基于仿生复眼系统的图像拼接技术

    燕飞+郭云芝+史立芳+陈建清

    

    

    

    摘 要： 针对传统单孔径光学系统无法解决大视场与高分辨率之间的矛盾， 设计了一套3×3球面仿生复眼光学系统。 首先， 研究了子眼系统视场和复眼系统总视场的数学关系， 进而得到子眼排布方式， 在此基础上形成了视场为±53°×±70°的复眼光学系统； 然后， 基于此系统提出一种图像拼接算法， 采用SIFT（Scale Invariant Feature Transform）算法对各个子眼图像进行特征点提取， 利用RANSAC（Random Sample Consensus）算法对提取出的特征点进行精确匹配， 通过加权平滑算法实现多个子眼图像的拼接融合， 实现整个场景无盲区拼接。 3×3仿生复眼系统样机的仿真结果表明， 设计的复眼系统可以有效地实现多通道图像的大视场无盲区拼接， 验证了复眼光学系统设计的正确性以及拼接算法的有效性。 该研究可进一步推进仿生复眼成像系统的应用。

    关键词： 仿生复眼； 图像拼接； SIFT； RANSAC； 变换矩阵； 特征捉取

    中图分类号： TP391 文献标识码： A 文章编号： 1673-5048（2017）06-0049-05[SQ0]

    0 引 言

    随着计算机技术的快速发展， 传统的单孔径光学系统已经无法满足人们的应用需求， 尤其在目标定位、 识别、 跟踪等领域暴露出越来越多的问题， 例如大视场与高分辨率的矛盾[1-3]。 近年来， 昆虫复眼以体积小、 质量轻、 视场大、 对移动物体反应迅速等显著特点[4-5]引起了研究人员的关注， 仿生复眼理论发展迅速， 在多个领域应用广泛。 目前， 国外已提出多个基于微透镜阵列的仿生复眼成像系统， 例如日本研究小组提出的TOMBO成像系统[6]， 德国研究小组提出的人造并列复眼成像系统APCO等。 但这些复眼成像系统大多采用平面阵列， 丧失了曲面的优势[7]。 为避免平面复眼阵列的缺点， 在曲面上模拟昆虫复眼视觉系统是一个可行的选择。

    图像拼接[8-9]研究的重点是将两幅或两幅以上具有一定重叠区域的图像进行拼接， 得到比单幅图像更大视场的图像。 基于特征的拼接方法是一类应用广泛的图像配准方法， 重点是要找出不同图像间的对应特征点对。 Harris角点算法[10]、 SUSAN角点算法、 SIFT特征提取算法[11]是目前研究较多的算法。 尽管SIFT算法性能最佳[12]， 但在實际应用中发现SIFT特征匹配的方法存在不足[13]， 不能有效地剔除错误匹配的点对。

    针对以上问题， 设计了一种曲面排布的大视场复眼结构， 通过对子眼系统视场与复眼系统总视场之间的关系进行分析， 推导各个参数之间的数学关系， 在此基础上搭建3×3球面仿生复眼光学系统实物样机。 基于此系统提出了图像拼接处理算法， 实现了球面仿生复眼成像系统的大视场无盲区拼接。

    1 仿生球面复眼系统设计

    1.1 子眼排布方式分析

    在本文设计中， 每一个子眼作为一个独立的光学系统按照一定的数学规律排布在曲面上， 然后对各个子眼获得的图像进行拼接， 从而获得视场较大的完整图像。 各个子眼与光轴的夹角以及子眼的视场角决定了整个复眼系统总视场大小。 因此， 确定子眼排布方式需要考虑子眼视场角和复眼系统总视场角的关系。

    为了便于分析， 以3 个子眼为例， 考虑其在X方向上视场角的关系， 如图1所示。 假设该系统的总视场角为2θ； 2β1， 2β2， 2β3分别为子眼1， 2， 3在X方向的视场角； α1， α2为相邻子眼系统的光轴夹角。

    在进行视场拼接时， 为保证视场空间无盲区， 同时考虑各个子眼镜头的机械间隔， 上述参数应满足下式关系[14]：

    同理， Y方向视场拼接也遵循式（1）。 依据上述分析， 可确定大孔径复眼系统各个子眼的排布形式， 从而实现视场空间的无盲区全覆盖。

    1.2 球面复眼系统

    依据上述分析， 设计完成一套3×3仿生复眼光学系统， 如图2所示。 球面半径为60 mm， 单个子眼视场角为40°。 为实现相邻成像通道之间的视场空间无盲区覆盖， 外围子眼镜头的中心视轴与中间子眼镜头的视轴夹角如下： 水平方向夹角为44°； 竖直方向夹角为33°； 其余夹角均为55°。

    建立单个成像通道的成像空间， 根据各个成像通道之间的位置关系， 模拟整体复眼结构的视场空间， 如图3所示， 可形成±53°×±70°的视场空间无盲区覆盖。

    1.3 球面复眼系统信息处理

    复眼成像探测结构的信号处理包括图像采集、 图像配准以及图像拼接融合。 图像采集与常规的单孔径成像系统相同， 将探测器输出的信号送入计算机进行处理。 由于复眼系统为多孔径系统， 后续的处理与常规的单孔径系统不同， 复眼中的每个单眼形成局部视场图像， 通过图像拼接形成一个完整的大视场图像。

    2 图像拼接

    2.1 特征点提取及匹配

    采用SIFT算法进行特征点提取， 该算法主要由尺度空间极值点检测、 关键点精确定位、 关键点方向分配、 生成特征点描述子四个步骤组成， 算法具体过程可参见文献[11]， 这里不再赘述。

    提取特征点后需要对其进行匹配， 欧氏距离法简单易实现， 但准确率比较低； 目前常用的有M-estimators[15]、 RANSAC等方法， 其中RANSAC应用最为广泛。

    图像中匹配特征点对存在如下的关系：

    其中： Xi=[xi，yi，1]T， xi， yi为参考图像特征点的坐标值， X′i=[xi′， y′ i，1]T， xi′， y′ i为待匹配图像特征点的坐标值； H为变换矩阵， 可以看出H为3×3矩阵。

    理论上变换矩阵的估计需要4对匹配点对， 如果4对匹配点对是正确的， 计算出的变换矩阵和实际的变换矩阵很接近； 如果包含错误的匹配点对， 则得到的变换矩阵和实际的变换矩阵差异较大， 不利于后续的拼接。 为得到正确的变换矩阵， 可以采用以下步骤：

    （1） 随机抽取4对匹配点对， 计算变换矩阵。

    （2） 计算内点匹配点与变换点之间的距离之和， 设置阈值， 结果大于阈值， 则继续； 反之将当前点加入到内点集合中， 更新变换矩阵。 重复此步骤直到内点个数不再增加。

    （3） 重复进行前述步骤， 得到合格匹配点对集合（内点个数最多的组）。

    2.2 图像融合

    图像融合处理算法的目的是消除在拼接过程中对图像重叠区域进行简单叠加而形成的较为明显的拼接缝。 加权平均是常用的融合方法， 该方法通过设置渐变系数d， 当其由1变化到0时， 图像从I1（x，y）慢慢过渡到I2（x，y）， 数学表达式为

    式中， I （x， y）为重叠区域图像的像素值。 其关键是重叠区域的确定以及渐变系数的设置。 两幅图像重叠区域的范围在球面仿生复眼系统设计后已经确定； 渐变系数的设置可随着重叠区域像素点坐标值的不同进行动态变化， 为简单起见， 这里采用如下表达式：

    式中， xend和xstart分别表示重叠区域x方向的上下边界。

    式（4）仅对x方向进行了平滑融合处理， y方向同理。

    3 实验结果与分析

    制备一套九镜头（3×3）的人工复眼光学系统： 球面的半径为60 mm， 子眼视场角为40°。 该结构实物图如图4所示。

    利用该结构对实验室某区域进行图像采集， 目标与实验样机的距离为5 m， 子眼的9张样本图像如图5所示。

    以图5（h）和图5（i）为例得到的特征点对粗匹配和精匹配后的仿真图如图6所示。 对图像进行SIFT特征点提取及匹配后得到88对匹配点， 剔除误匹配点后的匹配点对为76对。

    通过特征点匹配， 以参考图像为基准， 对待匹配图像估计变换矩阵， 将输入图像变换到参考图像的坐标系上以实现拼接。

    采用对每一层分别进行拼接， 然后将三层图像再次拼接的拼接方案。 整体拼接结果见图7。

    为进一步验证该实验样机以及拼接算法的性能， 将样机移至室外， 对整个实验楼进行图像采集， 目标与实验样机的距离为50 m， 子眼的9张样本图像以及拼接图见图8。

    由图7和图8可以看出， 将系统对不同距离采集到的图像经拼接处理后， 实现了不同距离视场空间的无盲区全覆盖， 表明子眼系统排布合理， 设计的仿生复眼光学系统以及采用的图像拼接算法可行有效。

    4 结 论

    本文在传统单孔径光学系统不能解决大视场与高分辨率之间矛盾的情况下， 利用子眼系统视场和复眼系统总视场的数学关系， 得到子眼排布方式， 在此基础上设计了一套3×3仿生球面复眼系统， 基于此系统提出一种图像拼接算法。 仿真结果表明， 设计的复眼系统实现了±53°×±70°的视场空间无盲区覆盖， 拼接算法可以有效地实现多通道图像的大视场无盲区拼接。

    参考文献：

    [1] 徐琰， 颜树华， 周春雷， 等.昆虫复眼的仿生研究进展[J].光学技术， 2006， 32（S1）： 10-12.

    Xu Yan， Yan Shuhua， Zhou Chunlei， et al. Advances in Bionic Study on Insects Compound Eyes[J].Optical Technique， 2006， 32（S1）： 10-12.（in Chinese）

    [2] Flores A， Wang M R， Yang J J. Achromatic Hybrid Refractive-Diffractive Lens With Extended Depth of Focus[J]. Applied Optics， 2004， 43（30）： 5618-5630.

    [3] 邢强， 戴振东， 王浩. 仿复眼视觉系统的研究进展[J]. 光学仪器， 2013， 35（3）： 89-94.

    Xing Qiang， Dai Zhendong， Wang Hao. Research Progress on Artificial Visual System Inspired by Compound Eyes[J].Optical Instruments， 2013， 35（3）： 89-94.（in Chinese）

    [4] 冷雪， 那杰. 昆蟲复眼的结构和功能[J].沈阳师范大学学报（自然科学版）， 2009， 27（2）： 241-244.

    Leng Xue， Na Jie. Structure and Function of Insect Compound Eyes [J].Journal of Shenyang Normal University（Natural Science Edition）， 2009， 27（2）： 241-244.（in Chinese）

    [5] 邸思， 徐洪奎， 杜如虚. 人造复眼成像系统研究的新进展[J].光学与光电技术， 2008， 6（4）： 93-96.

    Di Si， Xu Hongkui， Du Ruxu. New Progress of Artificial Compound Eye Imaging Systems [J].Optics & Optoelectronic Technology， 2008， 6（4）： 93-96.（in Chinese）

    [6] Horisaki R， Tanida J. Compact Compound-Eye Projector Using Super Resolved Projection [J]. Optics Letters， 2011， 36（2）： 121-123.

    [7] Garza-Rivera A， Renero-Carrillo F J.Design of Artificial Apposition Compound Eye with Cylindrical Micro-Doublets[J].Optical Review， 2011， 18（1）： 184-186.

    [8] 車静， 卢鹏， 韩焱， 等. 仿生复眼视觉系统中全景图拼接算法[J].应用光学， 2013， 34（5）： 815-819.

    Che Jing， Lu Peng， Han Yan， et al. Panorama Mosaic in Bionic Compound Eye Visual System [J].Journal of Applied Optics， 2013， 34（5）： 815-819.（in Chinese）

    [9] Gümüstekin S， Hall R W. Image Registration and Mosaicing Using a Self-Calibrating Camera[C]∥International Conference on Image Processing， Chicago， Illinois， 1998： 818-822.

    [10] Pei Soochang， Ding Jianjiun.Improved HarrisAlgorithm for Corner and Edge Detections[C]∥IEEE International Conference on Image Processing， San Antonio， Texas， 2007： Ⅲ-57-Ⅲ-60.

    [11] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

    [12] Mikolajczyk K， Schmid C. A Performance Evaluation of Local Descriptors[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， Madison， Wisconsin， 2003： Ⅱ-257-Ⅱ-263.

    [13] 邓荣峰， 李熙莹. 基于SIFT特征匹配的稳健图像拼接算法[J]. 计算机应用， 2009， 29（S1）： 219-221.

    Deng Rongfeng， Li Xiying. Robust Image Mosaic Algorithm Based on SIFT Feature Matching [J]. Journal of Computer Applications， 2009， 29（S1）： 219-221.（in Chinese）

    [14] 付跃刚， 赵宇， 刘智颖， 等. 基于视场拼接方法的仿生复眼光学系统设计[J]. 仪器仪表学报， 2015， 36（2）： 422-429.

    Fu Yuegang， Zhao Yu， Liu Zhiying， et al. Design of the Bionic Compound Eye Optical System Based on Field Splicing Method [J]. Chinese Journal of Scientific Instrument， 2015， 36（2）： 422-429.（in Chinese）

    [15] Chen Jiunhung， Chen Chusong， Chen Yongsheng. Fast Algorithm for Robust Template Matching with M-Estimators[J].IEEE Transactions on Signal Processing， 2003， 51（1）： 230-243.

    Research of Image Mosaic Algorithm Based on Bionic Compound Eye System

    Yan Fei1， Guo Yunzhi1， Shi Lifang2， Chen Jianqing1

    （1. China Airborne Missile Academy， Luoyang 471009， China； 2. Institute of Optics and Electronics， Chinese Academy of Science， Chengdu 610209， China）

    Abstract： For solving the contradiction between large field of view and high resolution of traditional single-aperture optical system， a 3×3 bionic spherical compound eyes system is designed. Firstly， the mathematical relationship between the sub-eye field of view and the total field of view of compound system is studied， and the sub-eye distribution is gotten. Based on this， the complete compound optical system with ±53°×±70° field of view is formed. Then， an image mosaic algorithm based on this structure is proposed. SIFT algorithm is used to extract feature points from the images of sub-eye， and feature points are precisely matched by RANSAC algorithm， seamless mosaics of the sub-eye images are completed with weighted smoothing algorithm. The results of the simulation and experiment show that the optical system could effectively realize multi-channel images mosaic with large field of view， which validates the correctness of the optical system and the effectiveness of the mosaic algorithm. This study could further promote the application of compound eye imaging system.

    Key words： bionic compound eye； image mosaic； SIFT； RANSAC； transformation matrix； feature extraction