AOI的基本原理与设备构成

　　AOI（automatically optical inspection）光学自动检测，顾名思义是通过光学系统成像实现自动检测的一种手段，同时也是众多自动图像传感检测技术中的检测技术之一，准确且高质量的光学图像并加工处理是其核心技术点

　　

　　AOI检测技术应运而生的背景是电子元件集成度与精细化程度高，检测速度与效率更高，检测零缺陷的发展需求

　　其最大优点是节省人力，降低成本，提高生产效率， 统一检测标准和排除人为因素干扰，保证了检测结果的稳定性，可重复性和准确性，及时发现产品的不良，确保出货质量

　　AOI检测原理是采用摄像技术将被检测物体的反射光强以定量化的灰阶值输出，通过与标准图像的灰阶值进行比较，分析判定缺陷并进行分类的过程

　　

　　与人工检查做一个形象的比喻，AOI采用的普通LED或特殊光源相当于人工检查时的自然光，AOI采用的光学传感器和光学透镜相当于人眼，AOI的图像处理与分析系统就相当于人脑，即“看”与“判”两个环节

　　AOI检测的工作逻辑可以分为图像采集阶段（光学扫描和数据收集），数据处理阶段（数据分类与转换），图像分析段（特征提取与模板比对）和缺陷报告阶段这四个阶段（缺陷大小类型分类等）

　　为了支持和实现AOI检测的上述四个功能，AOI设备的硬件系统包括了工作平台，成像系统，图像处理系统和电气系统四个部分，是一个集成了机械，自动化，光学和软件等多学科的自动化设备

　　

　　图像采集阶段

　　AOI的图像采集系统主要包括光电转化摄影系统，照明系统和控制系统三个部分

　　因为摄影得到的图像被用于与模板做对比，所以获取的图像信息准确性对于检测结果非常重要，可以想象一下，如果图像采集器看不清楚或看不到被检测物体的特征点，那么也就无法谈到准确的检出

　　光电转化摄影系统

　　光电转化摄影系统指的是光电二极管器件和与之搭配的成像系统。是获得图像的”眼睛”, 原理都是光电二极管接受到被检测物体反射的光线，光能转化产生电荷，转化后的电荷被光电传感器中的电子元件收集，传输形成电压模拟信号

　　二极管吸收光线强度不同时生成的模拟电压大小不同，依次输出的模拟电压值被转化为数字灰阶0-255值，灰阶值反映了物体反射光的强弱，进而实现识别不同被检测物体的目的

　　

　　光电转化器可以分为CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）两种

　　因为制作工艺与设计不同，CCD与CMOS传感器工作原理主要表现为数字电荷传送的方式的不同

　　CCD采用硅基半导体加工工艺，并设置了垂直和水平移位寄存器，电极所产生的电场推动电荷链接方式传输到中央模数转换器。这样的结构与设计很难集成很多的感光单元，制造成本高且功耗大

　　

　　而CMOS采用了无机半导体加工工艺，每像素设计了额外的电子电路，每个像素都可以被定位，无需CCD中那样的电荷移位设计，而且其对图像信息的读取速度远远高于CCD芯片，因光晕和拖尾等过度曝光而产生的非自然现象的发生频率要低得多，价格和功耗相较CCD光电转化器也低。但其也有非常明显的缺点，作为半导体工艺制作的像素单元缺陷多，灵敏度会有一些问题，同时，为每个像素电子电路提供所需的额外空间不会作为光敏区域

　　而且CMOS芯片表面上的光敏区域部分小于CCD芯片。从理论上讲，这个原因导致可以收集的图像信息光子数会有所减少，所以，CMOS光电转化元件一般需要搭配高亮度光源一起使用，同时其噪音也比较大

　　

　　不论CCD还是CMOS结构，一个光电转化器单元即为一个像素点，若干个光电转化器以行列的方式进行排列形成矩阵就构成了图像传感器。衡量图像传感器性能主要是有解析度，尺寸或面积，灵敏度，信噪比等，其中解析度与尺寸是最重要的指标。图像传感器拍摄被检测物体画面时，光电转化器的尺寸越小像素密度越小就可以将物体“看”得更细致

　　因此，理论上光电转化器件的像素数量应该越多越好。但像素数量的增加会提高制造成本和导致成品率下降。因此，将光学透镜与光电转化器件结合在一起，可以将微小的被检测物体放大成像在光电转化器件上，也可以实现高解析度检测效果，所以，实际AOI检测设备会根据客户的需求进行配置

　　数据处理阶段

　　数据处理阶段是图像的预处理阶段，是采集图像的加工处理过程，为图像比对提供准确可靠的图片信息，主要包含了背景噪音减少，图像增强和锐化等过程

　　背景噪音减少

　　图像背景噪音减小一般为图像的低通滤波平滑法，图像增强和锐化则是提高被检测特征的对比度，突出图像中需要关注的特征，忽略不需要关注的部分，方法是图像二值化处理，经过二值化处理的图像数据量明显减少，能凸显出需要关注的轮廓

　　

　　滤波的定义是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。

　　在AOI检测中，噪声是造成图像退化的原因之一，其起因是AOI图像在传输过程中，外界杂散光，光电二极管电子噪声及温度，光源的不稳定不均匀，机械系统的抖动，传感器温度等原因导致，这样就会不可避免的使得图像因含有噪音而变得模糊。给图像识别，图像切割等后续处理工作带来了困难。因此，为了获得真实的图像信息，除去噪声的滤波处理必不可少

　　滤波的过程简单说就是图像平滑技术，空域滤波与频域滤波是滤波经常采用的方法。具体讲空域滤波是一种邻域处理方法，通过直接在图像空间中对邻域内像素进行处理，达到平滑或锐化，图像空间中增强图像的某些特征或者减弱图像的某些特征。频域滤波指的是允许或者限制一定的频率成分通过。在数字图像处理中，线性滤波通常是利用滤波模板与图像的空域进行卷积来实现。滤波的方法很多，要达到好的使用效果和目的，必须对图像中的噪音类型有所了解，才能做到有的放矢

　　图像的平滑除了在空间域中进行外，也可以在频率域中进行。频域滤波简单说就是在频域里，采用简单平均法求频谱的直流分量。可以构造一个低通滤波器，使低频分量顺利通过而有效地阻于高频分量，再经过反变换来取得平滑的图像。

　　频域滤波可以分为高斯滤波，巴特沃斯滤波，梯形滤波等。由于噪声主要集中在高频部分，阻挡高频率噪声处理后就可达到平滑图像的目的

　　图像的增强

　　图像增强处理也是图像预处理的常用方法，分为频域和空域两种。频域增强是在图像的变换域上对图像进行运算，然后再将计算后的图像进行逆向变换转到空间域。空域增强则是直接在空域对图像的像素进行运算处理，常见的是直方图处理和灰阶变化。空域增强的方法主要是直方图法，还有差影法和灰度变化法

　　二值化是合适阈值消波是根据不同应用场合有不同的阈值取值方法之一。二值化就是包像素点的灰阶值定义为0和255两种极端值，这样就可以让整个图像有突出的黑白效果，给图像设定适当的阈值，经过二值化处理后的图像数据量明显变少，除此之外还有全局阈值法，最小偏态法和自适应阈值等

　　

　　全局阈值法是根据整个图像的灰阶值范围来决定，就是取灰阶平均值阈值作为唯一的阈值进行二值化处理，有时取整个图像的灰阶值的直方图，进而确定合适的阈值，一般情况下选择两个波峰之间的波谷最低位置作为图像二值化处理的阈值

　　最小偏态法，是随机样本的数据平均值是样品的一阶统计距，衡量数据的平均值，样本的方差是样本的二阶统计中心距，用来衡量数据的离散程度，偏态是样本的三阶统计距，用来衡量数据的正太分布。当阈值取得合理时，被阈值划分后的背景与物体的灰阶值分布就会最接近正态分布。自适应阈值分割法，是加入了学习的方法，能够根据图像的不同，选择最优化的阈值

　　图像锐化处理

　　图像锐化处理是指补偿不清楚图像的轮廓，增强灰阶跳变的部分和图像的边缘， 因为图像平滑处理的同时也会破坏图像的边界轮廓，使得边界变得模糊

　　

　　图像平滑的过程是一个积分或平均值的计算，因此，锐化就是其反方向的微分运算，具体方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是欧几里得空间的一个二阶微分算子，表示为梯度的散度，在图像处理中被用于线性锐化滤波器使用

　　关于频域增强方法是通过改变图像中不同频率分量来实现的，不同的滤波器滤除的频率和保留的保留的频率不同，可获得不同的增强效果，其方法步骤分为先将图像从图像空间转换到频域空间，如傅里叶变化，然后在频域空间对图像增强，如玉频率滤波器相乘， 最后增强后的图像再从频域空间转化到图像空间，做傅里叶的反变换

　　图像分析阶段

　　图像分析阶段就是将图像中包含的边，角和区域等拥有独有属性的特征，使用数学手段通过编程实现图像属性的量化表达。进而进行图像的分割后比对完成分析处理

　　边缘的表现形式是组成两个图像区域之间边界（或边缘）的像素。 表现为局部一维结构。实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集，可以认为灰阶相同点的集合。角是图像中点的特征，在局部它有两维结构，现在的主流算法是直接在图像梯度中寻找高度曲率，可以在图像中本来没有角的地方发现具有同角一样的特征的区域。

　　区域的表现形式是面形式的区域结构，区域的大小可能仅由一个像素组成，也可能是一个比较多的像素组成的面，如果面积比较大，则体现的形式即是灰阶值相同的区域

　　特征提取的方法主要是HOG，LBP和HAAR三种主要手段

　　HOG

　　HOG （Histogram of Oriented Gradient）方向梯度直方分布图，它的大致做法是将归一化的图像分割为若干小块，再在每一小块内进行亮度梯度的直方统计，最后将所有区块的亮度梯度的直方统计串联起来，就构成图像的HOG特征

　　

　　LBP

　　LBP（Local Binary Patterns）即局部二值模式，它通过遍历图像，将每一个像素点周围的像素与其相比较，比较值大于等于为1，比较值小于为0，得出四周的二值将这些二值连起来得到一个二进制的数，转换为10进制之后变为该像素的LBP值，所以LBP特征维度大小是和原图一样大的（边缘部分会做特殊处理）

　　

　　Haar

　　Haar特征起初是用于人脸表示。它包括了三类特征边缘特征的线性，中心和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况

　　

　　图像分割主要有两种方法：

　　一是鉴于度量空间的灰度阈值分割法

　　根据图像灰度直方图来决定图像空间域像素聚类，但它只利用了图像灰度特征，并没有利用图像中的其它有用信息，使得分割结果对噪声十分敏感

　　二是空间与区域增长分割方法

　　它是对在某种意义上如灰度级、组织、梯度等具有相似性质的像素连通集构成分割区域。该方法有很好的分割效果，但缺点是运算复杂，处理速度慢。其它的方法还有如边缘追踪法、锥体图像数据结构法、标记松弛迭代法、基于知识的分割方法等等

　　特征提取后进入图像分析阶段的逻辑比较阶段，主要包含了

　　模板匹配和模式分析二个方面

　　模板匹配就是先设定已知模板，已知模板是AOI检测中没有缺陷的实物影像或最小重复单元影像，通常情况下PCBAOI检测中以实物影像为已知模板，FPD AOI检测中则是最小重复单元

　　将采集到的图像与模板影像进行重合比对，然后平移到下一个单元进行同样比对，出现灰阶有差异的部分就被怀疑为缺陷，这里我们给灰阶差异设定一个阈值，当灰阶差超过设定阈值后，就被判定为真正的缺陷。从细节上讲，阈值的设定过于严格出现误判的概率就会增加，而阈值设定过于宽松漏检出的概率就会增加，因此，被检测物体的特征提取可以提高比对的对位精度，进而对检测结果起到了决定性的作用

　　缺陷报告阶段

　　缺陷部分是否上报时，系统算法主要有增加比对次数和范围（Multi check）

　　增加对比次数，也就是比对的维度从一维扩展到二维，甚至三维。以下图为例，当要判定红色单元是否为缺陷时，通常的算法是纵向或横向的一维比较，随着算法的逻辑关系的不断优化，先进行纵向重复模板对比，再增加横向，对角线，甚至更外围的模板比较，可以大大提高检测结果的准确度

　　

　　此外，模板比较时即便进行了多次数比较，仍有不容易判定的情况，这时可以追加多重判定算法，以下图为例

　　

　　一种光源检测时所得到的信息往往是有限的，将多种光源扫描的信息合并在一起综合判定，会进一步提高判定的准确性。其中，典型的多角度判定方法之一是多重阈值设定模式（MTS：multi Thresholds system），针对不同缺陷物质的特性对不同波长光的敏感度不同分别设定阈值，一般采集不同光学波长下的灰阶值，并追加三者之间判定的逻辑关系达到提高检出正确性

　　在实际应用中，将以上方法相结合，通过对采集图像进行预处理去噪，对影响增强，进行多重逻辑关系判定可以达到很好的效果

　　随着现代电子产品的高精细化发展，微小缺陷的检出要求越来越高，提高图像传感器解析度是一种比较直接的选择，对细微缺陷点，线宽有更强识别能力，但检测能力提升的同时，也必须考虑到设备成本问题，IP（image processor）处理量大，数据处理能力要求高，甚至出现影响产能等负面问题，因此，不会单独提高硬件成本，搭配合适的光源，提高后台算法逻辑对同一缺陷进行复判是各AOI公司重点研发的方向

　　举报/反馈