基于图像识别的摄像头自动调焦检测系统的设计与实现
王震 彭刚 张晓欢
【摘要】? ? 针对智能终端摄像头模组调焦问题,设计并实现了一套基于图像识别的镜头自动调焦检测系统。该系统摈弃传统由人工作业方式,采用八工位六过程的设计方案,将上料、检测、调焦、点胶、烘干和分拣下料集成一起,简化了操作过程,提高了生产效率,并保证了产品一致性。
【关键词】? ? 摄像头模组? ? 自动调焦? ? 对比传动? ? 图像识别
引言:
近年来,随着智能终端产业的快速发展,摄像头模组作为智能终端不可缺少的部件,这个产业也在飞速前进[1]。作为一个集聚了大量资金技术密集型产业,中国作为智能终端摄像头模组生产的重要基地,在全球整个智能终端行业的供应链中位于不可或缺的位置。但是,相比于摄像头模组产业蓬勃发展的景象,摄像头模组测试方面的发展却相对缓慢,存在着自动化程度不高,和国外厂家相比有很大的差距,而成熟的自动化测试却受限于国外厂家[2]。 国内现阶段摄像头模组测试产业发展的现状主要表现为,虽然规模很大,但是测试自动化程度却很低,有的产线还依赖于人眼检查判断,导致摄像头模组生产过程中测试不严格而导致次品流出的结果。为了改变现状、提高品质,本项目设计了一个基于图像识别的镜头自动调焦检测系统。
一、结构设计
笔记本/平板电脑等设备在生产时,需要加上摄像头模组。该摄像头模组在出厂后并没有调好焦距,所以不能直接安装到设备上。因此,在安装到设备上面之前,需要完成:1.检测该模组是否为合格品;2.调整焦距到合适位置;3.检测调焦后的产品是否符合品质要求;4.点胶固定;5.UV灯照射固化胶水。目前,在生产车间,上述五个步骤均为人工完成。人工会产生若干问题,如产品品质的不稳定性,不良品过高,品质不一致,人员流动性引起的相关问题等。且人工成本过高。基于上述原因,设计出了摄像头自动调焦生产系统,如图1所示。
该系统主要有如下功能和步骤。
1.1自动上料
镜头模组板(一般一板为40个摄像头模组)经过激光切割后,放到该生产线的自动上料机构上,该生产线可以完成自动上料,即采用自动机械手将单个摄像头模组夹取到工位盘上的工位上面,并进行固定。自动上料机构单次可以装填10个摄像头组板,每板40个摄像头,共计400个摄像头。
1.2姿态检测
摄像头放置到工位盘上之后,工位盘会自动转动到检测调味工位,同时检测摄像头是否放置正确。若放置位置不正确(如摄像头放歪等情况)则系统会自动跳过该摄像头后续步骤。
1.3智能调焦
摄像头转到调焦工位,该生产线会自动连接摄像头触点并将调焦盘卡到摄像头花瓣上,同时从摄像头读取取景信息。系统软件和算法会判断取景信息并转到调焦盘,直到摄像头五个区域(四个角和中心点区域)MTF值综合最优为止。并判断该调焦后的摄像头是否符合品质要求。如不符合,则跳过后续步骤。
1.4自动点胶
该系统自动判断摄像头花瓣缺口,并从六个缺口中选择各不相临的三个缺口进行喷胶固定[6]。
1.5 UV烘干
对胶水进行UV烘干固定。
1.6分拣下料
系统将符合品质的摄像头依次摆放到下料盘,对于不符合要求的摄像头分为三种情况,即脏污/焦距不准/其他,分别放到三个不良品下料盒中。
二、软件设计
摄像头自动调焦生产线的软件系统主要分为两部分。第一部分为PLC控制部分。该部分依据时序和反馈,主要控制机械部分的移动。第二部分为摄像头调焦和检测算法[3],采用MTF算法检测摄像头的成像结果并对其进行分析,同时反馈给PLC控制部分驱动调焦机构进行调焦和检测[4,5]。本文主要分析第二部分软件系统的设计和实现。
如图1中,当摄像头模组转动到工位3时,系统会连接上摄像头模组,同时从摄像头模组读取成像数据。摄像头正上方放置一张网格白板,算法依据摄像头的成像判断摄像头焦距是否调整到位。初始时,摄像头的调焦花瓣在最内侧(逆时针方向)。系统调焦时,需要将摄像头调焦花瓣顺时针转动,直到最佳焦距。但是实际调焦时,花瓣持续顺时针转动,系统会记录下每个位置的成像数据,直到转动到最佳位置。
本算法中,根据对比传动函数CTF的值判定调焦情况。
定义:CTF 对比传递函数
其中:Imax和Imin表示所选区域的最强和最弱的亮度值。
起始点定位情况:
情况1. 起始点定位在区域左边,此时CTF值可以稳定增长到最大值。这种情况一般用于新的还没有调整过的镜头。如图2.A所示。
情况2. 起始点定位在区域中,此时CTF值稳定增长到最大值。如图2.B所示。
情况3. 起始点定位在定位在区域右边,此时CTF值稳定从最大值下降。如图2.C所示。
为了避免损坏已经调焦过的镜头,或者试图重新调整焦距不准确的镜头,一般需要使用情况2和情况3过程。
调焦算法步骤如下:
1.检查初始CTF值。如果CTF>10%,(这种情况可能会出现在上面情况1和情况2),逆时针旋转L1,否则,跳过这步。2.设置高速旋转速度值(从S1加速到S2), 顺时针旋转到当前CTF值超过10%为止。旋转圈数不能超过L1。如果超过了限制圈数,而仍然CTF10%,则跳过这步。3.设置一个较低的稳定旋转速度,顺时针旋转。旋转过程中,保存CTF最大值到一个变量中,并同时记录该值所对应的位置(旋转的位置)。继续旋转,一旦当前CTF值小于最大CTF值90%时,停止旋转。记录硬限制旋转值(圈数)为L2。4.逆时针返回到最大CTF值并加上Lgap圈(以便松开齿轮与镜头的咬合)。
需要注意的是,调焦结构在将齿轮啮合调焦花瓣时,采用齿轮旋转的方式进行调焦时,无法完全确定当齿轮转动到什么角度才能够完全卡上镜头的花瓣(即镜头圆周边缘)。同时,也无法确定齿轮再被旋转模块咬紧时所处的初始位置。为了确定当齿轮回转到CTF最大值时的齿轮位置,需要对齿轮咬合間隙进行补偿。图2.D中,“a”表示小的(镜头的)齿轮厚度,“g”表示调焦齿轮的两个齿之间的距离,“x”鄙视齿轮所在的初始位置(当镜头被咬合时)。
当旋转机构往一个方向(如顺时针)移动时,齿轮背隙(即两个齿轮咬合时,两个咬合的齿轮的间隙)对应于x。 当向相反方向(如逆时针)移动时,背隙为“g-a-x”。我们并不知道x的值,但是为了精确调焦,当齿轮移动时需要考虑该背隙的值。在上述提到的算法中,我们采用相对定位方式,且在第一次顺时针旋转后重置当前坐标为0。所以我们确定顺时针旋转是背隙为0, 逆时针旋转式背隙为g-a。 在后面的步骤中,所有的移动距离均大于g-a。 然后再最后的步骤我们加上“g-a”到对应的距离上面。
根据上述算法,即可完成摄像头的调焦动作。
三、测试分析
依据上述设计方案,设计出了摄像头自动调教检测系统样机。经过测试运行,该系统能够用来对手机镜头进行自动调焦,测试,刷选优良品和不良品。手机镜头放置在上料区,由机械手自动上料、分板,然后进行调焦,不良品分拣;点胶、烘干,下料装箱,全流程自动化。正常情况下,该系统完成一个单个摄像头整个流程约14s。目前人工仅调焦一个摄像头时间约12s左右,加上其他步骤与机器相当,但是需要四个人工同时工作。即一台机器可以完全取代至少四个人工。若全部取代人工,则一个工人可以看管至少十台机器(依据工厂具体情况变化),每台机器仅需每两个小时进行依次上料下料盘更换即可。系统测试结果达到了设计预期。
四、结束语
摄像头自动调焦检测系统是惠州学院计算机科学与工程学院研发一套手机镜头、电脑镜头、平板镜头等自动调焦检测的生产线。该生产线能够依据适用于不同的镜头类型,根据预先设定好的参数进行自动调焦、检测、判优,其检测与调焦结果可以存储于计算机中,并能够标示出合格品与不良品,及不良品质类型。引进该设备后,企业将大大提供生产效率的同时,能够提高优良率,降低人工不稳定导致的不良情况,降低人工成本,提高产品品质。
参? 考? 文? 献
[1]肖强. 智能手机的图像传感器及其应用[J]. 集成电路应用, 2017, 034(003):64-66.
[2]韩鑫. 摄像头模组组装及成像质量一站式检测方法的研究[D]. 江西理工大学.
[3]王竑舒. 基于图像处理的小镜头自动调焦调心系统研究[D]. 长春理工大学, 2019.
[4]张命令, 罗宏, Zhang,等. 交通摄像头手动镜头自动调焦控制系统的研究[J]. 机械制造, 2017, 10(No.503):47-51.
[5]郭彦珍, 邱宗明, 李信,等. 图像测量技术中一种调焦的判别方法[J]. 西安理工大学学报, 2001, 17(1):18-19.
[6]基于手机摄像头模组封装制造的精密点胶工艺应用[C]// 2018中国高端SMT学术会议论文集. 2018.