基于序贯相似性与光源自动调节的芯片表面缺陷检测算法
冯莉 龚子华
摘 要： 为了解决当前缺陷检查算法在保护罩反光环境下易导致采集芯片连接器图像光照不均，使其缺陷检测精度较低，无法精确定位出浅插与破损的不足，设计了基于序贯相似性检测匹配与光源自动调节的芯片连接器表面缺陷检测识别算法。首先，基于序贯相似性检测匹配，定位出连接器位置，提取出连接器不良常发区域；然后设计了光源自动调节机制，视觉软件通过光源数字控制器SDK与网线触发光源关闭或调暗，消除保护罩反光对图像质量的影响；最后采用线检测，统计缺陷区域二值图特征，完成缺陷检查。实验数据显示，与当前缺陷检查技术相比，在面对保护罩反光严重环境下的芯片连接器缺陷检查时，该算法具有更高的检查精度。
关键词： 缺陷检测； 图像处理； 光源自动调节； 序贯相似性检测； 线检测
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）05?0058?05
Abstract： Since the current defect detection algorithm used in the protection cover reflective environment is easy to result in the nonuniform illumination of the acquired image of the chip connector， make its defect detection precision low， and is unable to locate the shallow insert and damage， an algorithm for chip connector′s surface defect detection based on the sequential similarity detecting marching and light source automatic adjustment was designed. On the basis of the sequential similarity detection matching， the position of the connector is located to extract the often occurring nonuniform illumination area of the connector. The light source automatic adjustment mechanism was designed. The visual software triggers the light source′s turnoff or dimming through the light source digital controller SDK and cable to eliminate the effect of light reflected by the protection cover on image quality. The line detection is used to count the features of the binary image of the defect area to detect the defect. The experimental data shows that， in comparison with the current defect detecting technology， the algorithm proposed in this paper has higher detecting precision while detecting the defect of the chip connector in the protection cover reflective environment.
Keywords： defect detection； image processing； light source automatic adjustment； sequential similarity detection； line detection
0 引 言
隨着“中国制造2025”概念的深化，将智能化、自动化技术应用于制造业，从而提高制造水平、生产效率，降低人力成本，成为非常迫切的需求[1?2]。芯片连接器是电子制造业的核心部件，产量高、工艺复杂，对后续表面缺陷检查有很大的挑战，而表面缺陷检查直接关系到产品质量，因此将智能化技术应用在芯片连接器表面缺陷检查是非常必要的[3]。以往国内很多厂家依靠人眼检查，检查结果容易受主观影响，效率低、人力成本高，后来部分厂家推进自动化视觉检查设备，在一定程度上提高了检查精度、效率[4?5]。但是，当芯片连接器成像不良、背景复杂时，检查性能大大降低，影响设备的使用，本文针对这种情况开发出一套芯片连接器表面缺陷检查算法。
在产品表面缺陷检查方面，国内研究人员开始将图像处理与计算机视觉技术引入到缺陷检查中，对其展开研究。如文献[6]为了提高磁环端面缺陷检测率，提出基于机器视觉的磁环端面缺陷检测，通过轮廓定位优化算法，求解圆环内外径尺寸及圆心坐标，计算得到了掩模图，并测量了特征尺寸，完成了缺陷识别，实验结果显示其算法具有较高的缺陷检测率。但是，此技术依靠目标轮廓定位缺陷完成检查，在缺陷图像光照不均时，往往影响缺陷轮廓，导致缺陷检查失误。文献[7]提出基于Gabor特征的曲面工件缺陷检测方法，使用Gabor函数能够提取出图像在不同位置、频率和方向上的特征，构建滤波器组，提取灰度均值和方差作为纹理特征向量，最后达到缺陷检查的目的。然而，这种技术是依靠空域滤波，在缺陷背景复杂的情况下，往往不能区分缺陷与背景，导致缺陷检查失败。
为了提高缺陷检查算法的适应性，使其在背景复杂、光照不均的环境下仍然能够精确检查出缺陷：浅插与破损，本文提出了基于图像处理与光源自动调节的芯片连接器表面缺陷检查算法。先设计基于序贯相似性的定位算子完成芯片定位；然后通过光源自动调节，消除光照不均，基于线检测完成缺陷检查；最后，测试了本文缺陷检查算法的精度与稳定性。
1 本文芯片缺陷检查算法
本文算法流程见图1。该算法首先将芯片连接器随传送带运动到工业相机镜下进行图像采集，随后基于序贯相似性完成芯片定位。然后视觉软件触发数字光源控制器，关闭光源，重新采集图像，提取出芯片区域，即缺陷高发区域。最后设计了线检测方法，统计黑白区域变更次数，进而判断是否存在不良缺陷。
芯片连接器的整体图像如图2所示，芯片连接器在图像中间，背景复杂。正常的芯片连接器如图3所示，有明显的光照不均。本文主要研究两种缺陷：浅插与破损。浅插不良，即金属丝露出如图4所示。破损不良，即芯片破损，金属丝露出，如图5所示。两种缺陷都是金属丝违规露出，属同质缺陷，故本文用同一种算法完成对两种缺陷的检查。
芯片连接器随传送带到相机镜下，图像采集完成后，首先需要对芯片连接器进行定位，为后续缺陷检查工作做好准备。芯片连接器背景复杂，对定位算法精度要求较高，且直接影响后续缺陷检出率，故本文引入序贯相似性定位算法来定位。序贯相似性算法在待匹配图像的每个位置上累计模板和待匹配图像在位置上的灰度差，若累计值大于某一指定阈值，则说明该位置为非匹配位置，停止本次计算，进行下一个位置测试，直到找到最佳匹配位置为止[8]。序贯相似性算法能很快丢弃不匹配点，减少花在不匹配点的计算量，从而更精准地定位目标[9]：
式中：图像尺寸是[n×m；]模板图像尺寸是[k×l； f（u，v）]为图像某点；[m（u，v）]是该点邻域与模板间的相似度。如果在[（u，v）]处存在与模板一致的图案时，则[m（u，v）]越小，反之，则[m（u，v）]值越大。特别是在模板与图像完全不一致时，如果在模板内的各像素上与图像的灰度差的绝对值依次加下去，其和就会急剧增大，因在做加法过程中，如果灰度差的部分和超过了某一阈值，就认为该位置上和模板一致的图案不存在，从而转移到下一个位置上进行[m（u，v）]的计算[10]。因此不仅提高定位精度，也提高了算法效率。
2 耦合光源自动调节与线检测的缺陷检查
完成芯片连接器定位后，需要对连接器区域进行缺陷检查。由于芯片连接器外有塑料保护罩覆盖，在光源照射下，不可避免的会有反射，造成光照不均（如图4所示），影响缺陷检查结果。而在前期目标定位时需要光源照射，无法完全取消光源，因此，本文采用视觉软件对光源控制器自动控制的方法，即在拍照完成图像定位采集后，缺陷检查前，软件触发数字光源控制器，关闭光源。光源由光源控制器控制，配有控制器SDK，本文开发出集成控制器SDK的视觉软件，自动调节光源机制如图7（a）所示，软件触发光源关闭，消除反光造成的光照不均，软件修改增大相机曝光值，补偿无光源环境，然后进行缺陷检查前的图像采集，如图7（b）所示。
然后由上到下统计每次白色像素连续出现的个数，即计算金属丝的厚度，得到符合金属丝厚度的目标达到兩个时，即判为浅插不良，并将缺陷处标出，如图9所示，本文缺陷算法检查出缺陷位置，应用于破损缺陷检查同理。完成缺陷检查后，软件触发光源恢复开启，相机曝光值复原，为下一连接器的定位处理做准备。
3 实验与讨论
为了体现本文算法的优势，将当前缺陷检查性能较好的技术——文献[6]设为对照组。以图10为检测对象，其包含带有缺损不良的芯片连接器图像。
而利用对照组技术处理图10时，由于单纯采用轮廓波处理，在图像背景复杂的情况下，往往对目标定位不准，且由于保护罩反光，目标提取后往往有明显的光照不均，二值化后，缺陷往往被噪声淹没。同样采用线检测，但由于文献[1]技术的定位不准或光照不均，导致缺陷漏检。
4 结 论
为了解决缺陷背景复杂且光照不均环境下的缺陷漏检问题，本文设计了基于图像处理与光源自动调节的缺陷检查算法，实现对芯片连接器采集图像的定位、光照不均消除、缺陷检查。实验结果表明，与当前缺陷检查技术相比，在面对反光严重、背景复杂环境下导致的缺陷漏检时，本文方法具有更好的精度和稳定性，为不良检出提供了技术保障。
参考文献
[1] 李新科，高潮，郭永彩，等.利用改进的SIFT算法检测桥梁拉索表面缺陷[J].武汉大学学报，2015，40（1）：71?76.
[2] 迟大钊，刚铁.基于超声杂波抑制的缺陷检测[J].焊接学报，2015（10）：17?20.
[3] TSAI D M， CHEN M C， LI W C. A fast regularity measure for surface defect detection [J]. Machine vision and applications， 2012， 23（5）： 869?886.
[4] TAJERIPOUR F， FEKRI?ERSHAD S. Developing a novel approach for stone porosity computing using modified local binary patterns and single scale Retinex [J]. Arabian journal for science and engineering， 2014， 39（2）： 875?889.
[5] SCHOLZ?REITER B， WEIMER D， THAMER H. Automated surface inspection of cold?formed micro?parts [J]. CIRP annals?manufacturing technology， 2012， 61（1）： 531?534.
[6] 王玉槐，贾虹，陈永清，等.基于机器视觉的磁环端面缺陷检测[J].工程图学学报，2010，31（5）：63?68.
[7] 唐玮，余桂英，郑春煌，等.基于Gabor特征的曲面工件缺陷检测方法的研究[J].中国计量学院学报，2015，26（1）：46?49.
[8] MA G H， WANG C， LIU P. Sequential similarity detection algorithm based on image edge feature [J]. Journal of Shanghai Jiaotong University （Science）， 2014， 19（1）： 79?83.
[9] YU Xiaqiong， CHEN Xiangning， JIANG Mingyong. Motion detection in moving background using a novel algorithm based on image features guiding self?adaptive sequential similarity detection algorithm [J]. Optik?international journal for light and electron optics， 2012， 123（22）： 2031?2037.
[10] 温丽华.基于序贯相似性检测思想的字符识别技术研究[D].大连：大连理工大学，2014：16?37.
摘 要： 为了解决当前缺陷检查算法在保护罩反光环境下易导致采集芯片连接器图像光照不均，使其缺陷检测精度较低，无法精确定位出浅插与破损的不足，设计了基于序贯相似性检测匹配与光源自动调节的芯片连接器表面缺陷检测识别算法。首先，基于序贯相似性检测匹配，定位出连接器位置，提取出连接器不良常发区域；然后设计了光源自动调节机制，视觉软件通过光源数字控制器SDK与网线触发光源关闭或调暗，消除保护罩反光对图像质量的影响；最后采用线检测，统计缺陷区域二值图特征，完成缺陷检查。实验数据显示，与当前缺陷检查技术相比，在面对保护罩反光严重环境下的芯片连接器缺陷检查时，该算法具有更高的检查精度。
关键词： 缺陷检测； 图像处理； 光源自动调节； 序贯相似性检测； 线检测
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）05?0058?05
Abstract： Since the current defect detection algorithm used in the protection cover reflective environment is easy to result in the nonuniform illumination of the acquired image of the chip connector， make its defect detection precision low， and is unable to locate the shallow insert and damage， an algorithm for chip connector′s surface defect detection based on the sequential similarity detecting marching and light source automatic adjustment was designed. On the basis of the sequential similarity detection matching， the position of the connector is located to extract the often occurring nonuniform illumination area of the connector. The light source automatic adjustment mechanism was designed. The visual software triggers the light source′s turnoff or dimming through the light source digital controller SDK and cable to eliminate the effect of light reflected by the protection cover on image quality. The line detection is used to count the features of the binary image of the defect area to detect the defect. The experimental data shows that， in comparison with the current defect detecting technology， the algorithm proposed in this paper has higher detecting precision while detecting the defect of the chip connector in the protection cover reflective environment.
Keywords： defect detection； image processing； light source automatic adjustment； sequential similarity detection； line detection
0 引 言
隨着“中国制造2025”概念的深化，将智能化、自动化技术应用于制造业，从而提高制造水平、生产效率，降低人力成本，成为非常迫切的需求[1?2]。芯片连接器是电子制造业的核心部件，产量高、工艺复杂，对后续表面缺陷检查有很大的挑战，而表面缺陷检查直接关系到产品质量，因此将智能化技术应用在芯片连接器表面缺陷检查是非常必要的[3]。以往国内很多厂家依靠人眼检查，检查结果容易受主观影响，效率低、人力成本高，后来部分厂家推进自动化视觉检查设备，在一定程度上提高了检查精度、效率[4?5]。但是，当芯片连接器成像不良、背景复杂时，检查性能大大降低，影响设备的使用，本文针对这种情况开发出一套芯片连接器表面缺陷检查算法。
在产品表面缺陷检查方面，国内研究人员开始将图像处理与计算机视觉技术引入到缺陷检查中，对其展开研究。如文献[6]为了提高磁环端面缺陷检测率，提出基于机器视觉的磁环端面缺陷检测，通过轮廓定位优化算法，求解圆环内外径尺寸及圆心坐标，计算得到了掩模图，并测量了特征尺寸，完成了缺陷识别，实验结果显示其算法具有较高的缺陷检测率。但是，此技术依靠目标轮廓定位缺陷完成检查，在缺陷图像光照不均时，往往影响缺陷轮廓，导致缺陷检查失误。文献[7]提出基于Gabor特征的曲面工件缺陷检测方法，使用Gabor函数能够提取出图像在不同位置、频率和方向上的特征，构建滤波器组，提取灰度均值和方差作为纹理特征向量，最后达到缺陷检查的目的。然而，这种技术是依靠空域滤波，在缺陷背景复杂的情况下，往往不能区分缺陷与背景，导致缺陷检查失败。
为了提高缺陷检查算法的适应性，使其在背景复杂、光照不均的环境下仍然能够精确检查出缺陷：浅插与破损，本文提出了基于图像处理与光源自动调节的芯片连接器表面缺陷检查算法。先设计基于序贯相似性的定位算子完成芯片定位；然后通过光源自动调节，消除光照不均，基于线检测完成缺陷检查；最后，测试了本文缺陷检查算法的精度与稳定性。
1 本文芯片缺陷检查算法
本文算法流程见图1。该算法首先将芯片连接器随传送带运动到工业相机镜下进行图像采集，随后基于序贯相似性完成芯片定位。然后视觉软件触发数字光源控制器，关闭光源，重新采集图像，提取出芯片区域，即缺陷高发区域。最后设计了线检测方法，统计黑白区域变更次数，进而判断是否存在不良缺陷。
芯片连接器的整体图像如图2所示，芯片连接器在图像中间，背景复杂。正常的芯片连接器如图3所示，有明显的光照不均。本文主要研究两种缺陷：浅插与破损。浅插不良，即金属丝露出如图4所示。破损不良，即芯片破损，金属丝露出，如图5所示。两种缺陷都是金属丝违规露出，属同质缺陷，故本文用同一种算法完成对两种缺陷的检查。
芯片连接器随传送带到相机镜下，图像采集完成后，首先需要对芯片连接器进行定位，为后续缺陷检查工作做好准备。芯片连接器背景复杂，对定位算法精度要求较高，且直接影响后续缺陷检出率，故本文引入序贯相似性定位算法来定位。序贯相似性算法在待匹配图像的每个位置上累计模板和待匹配图像在位置上的灰度差，若累计值大于某一指定阈值，则说明该位置为非匹配位置，停止本次计算，进行下一个位置测试，直到找到最佳匹配位置为止[8]。序贯相似性算法能很快丢弃不匹配点，减少花在不匹配点的计算量，从而更精准地定位目标[9]：
式中：图像尺寸是[n×m；]模板图像尺寸是[k×l； f（u，v）]为图像某点；[m（u，v）]是该点邻域与模板间的相似度。如果在[（u，v）]处存在与模板一致的图案时，则[m（u，v）]越小，反之，则[m（u，v）]值越大。特别是在模板与图像完全不一致时，如果在模板内的各像素上与图像的灰度差的绝对值依次加下去，其和就会急剧增大，因在做加法过程中，如果灰度差的部分和超过了某一阈值，就认为该位置上和模板一致的图案不存在，从而转移到下一个位置上进行[m（u，v）]的计算[10]。因此不仅提高定位精度，也提高了算法效率。
2 耦合光源自动调节与线检测的缺陷检查
完成芯片连接器定位后，需要对连接器区域进行缺陷检查。由于芯片连接器外有塑料保护罩覆盖，在光源照射下，不可避免的会有反射，造成光照不均（如图4所示），影响缺陷检查结果。而在前期目标定位时需要光源照射，无法完全取消光源，因此，本文采用视觉软件对光源控制器自动控制的方法，即在拍照完成图像定位采集后，缺陷检查前，软件触发数字光源控制器，关闭光源。光源由光源控制器控制，配有控制器SDK，本文开发出集成控制器SDK的视觉软件，自动调节光源机制如图7（a）所示，软件触发光源关闭，消除反光造成的光照不均，软件修改增大相机曝光值，补偿无光源环境，然后进行缺陷检查前的图像采集，如图7（b）所示。
然后由上到下统计每次白色像素连续出现的个数，即计算金属丝的厚度，得到符合金属丝厚度的目标达到兩个时，即判为浅插不良，并将缺陷处标出，如图9所示，本文缺陷算法检查出缺陷位置，应用于破损缺陷检查同理。完成缺陷检查后，软件触发光源恢复开启，相机曝光值复原，为下一连接器的定位处理做准备。
3 实验与讨论
为了体现本文算法的优势，将当前缺陷检查性能较好的技术——文献[6]设为对照组。以图10为检测对象，其包含带有缺损不良的芯片连接器图像。
而利用对照组技术处理图10时，由于单纯采用轮廓波处理，在图像背景复杂的情况下，往往对目标定位不准，且由于保护罩反光，目标提取后往往有明显的光照不均，二值化后，缺陷往往被噪声淹没。同样采用线检测，但由于文献[1]技术的定位不准或光照不均，导致缺陷漏检。
4 结 论
为了解决缺陷背景复杂且光照不均环境下的缺陷漏检问题，本文设计了基于图像处理与光源自动调节的缺陷检查算法，实现对芯片连接器采集图像的定位、光照不均消除、缺陷检查。实验结果表明，与当前缺陷检查技术相比，在面对反光严重、背景复杂环境下导致的缺陷漏检时，本文方法具有更好的精度和稳定性，为不良检出提供了技术保障。
参考文献
[1] 李新科，高潮，郭永彩，等.利用改进的SIFT算法检测桥梁拉索表面缺陷[J].武汉大学学报，2015，40（1）：71?76.
[2] 迟大钊，刚铁.基于超声杂波抑制的缺陷检测[J].焊接学报，2015（10）：17?20.
[3] TSAI D M， CHEN M C， LI W C. A fast regularity measure for surface defect detection [J]. Machine vision and applications， 2012， 23（5）： 869?886.
[4] TAJERIPOUR F， FEKRI?ERSHAD S. Developing a novel approach for stone porosity computing using modified local binary patterns and single scale Retinex [J]. Arabian journal for science and engineering， 2014， 39（2）： 875?889.
[5] SCHOLZ?REITER B， WEIMER D， THAMER H. Automated surface inspection of cold?formed micro?parts [J]. CIRP annals?manufacturing technology， 2012， 61（1）： 531?534.
[6] 王玉槐，贾虹，陈永清，等.基于机器视觉的磁环端面缺陷检测[J].工程图学学报，2010，31（5）：63?68.
[7] 唐玮，余桂英，郑春煌，等.基于Gabor特征的曲面工件缺陷检测方法的研究[J].中国计量学院学报，2015，26（1）：46?49.
[8] MA G H， WANG C， LIU P. Sequential similarity detection algorithm based on image edge feature [J]. Journal of Shanghai Jiaotong University （Science）， 2014， 19（1）： 79?83.
[9] YU Xiaqiong， CHEN Xiangning， JIANG Mingyong. Motion detection in moving background using a novel algorithm based on image features guiding self?adaptive sequential similarity detection algorithm [J]. Optik?international journal for light and electron optics， 2012， 123（22）： 2031?2037.
[10] 温丽华.基于序贯相似性检测思想的字符识别技术研究[D].大连：大连理工大学，2014：16?37.
