基于SURF和双向自适应阈值配准的红外图像拼接

    谢红梅 刘强 夏磊 邱赫

    

    

    

    DOI：10.19297/j.cnki.41-1228/tj.2018.06.014

    摘要：针对当前SIFT图像配准与融合拼接算法复杂度高的缺陷，鉴于SURF（speeduprobustfeatures）算法具有快速且鲁棒性较好的特点，提出了一种基于SURF特征点检测和自适应阈值特征匹配的图像拼接算法。首先用SURF算法提取图像特征后，使用双向匹配策略和自适应阈值的BBF（BestBinFirst）匹配算法寻找图像间的匹配点，同时结合Laplacian标识符来分离不同类型特征点，减少计算量，再通过RANSAC算法求出图像之间的映射关系，最后采用加权平均融合方法进行图像融合。通过对红外图像进行拼接实验表明，该方法图像拼接质量速度均有提高，实现了图像的无缝拼接，满足红外图像拼接应用的实际需求。

    关键词：SURF;双向匹配;自适应阈值;Laplacian标识符;红外图像拼接

    中图分类号：TJ760;TP391文献标识码：A文章编号：1673-5048（2018）06-0084-06[SQ0]

    0引言

    图像拼接是对同一场景在不同条件下（如不同的时间、拍摄环境、视场角、传感器等）得到的两幅或多幅图像进行对准、融合的过程[1]，其广泛应用于多个领域，如计算机视觉、全景图像拼接、遥感勘测、虚拟现实、医学诊断与辅助治療以及军事等。

    红外图像是由成像设备捕捉目标和背景向外辐射的能量差而形成的。因其成像的特殊性，使其具有可以全天候采集、穿透能力强和像素点灰度值稳定的优势。基于以上特点，红外图像已经被广泛应用于航天、航空、航海等军事领域，如弱小红外目标跟踪和识别探测、红外预警、环视扫描、红外线探伤等。

    图像配准是图像拼接的核心，按照图像配准的方式可分为基于区域和基于特征两类，其中基于区域的方法运算量大且不能适应图像旋转和尺度缩放的场合，而基于特征的配准方法有很强的鲁棒性，应用广泛。有关于后者的研究也较多，该方法的大体流程是：先通过点特征或其他特征提取进行特征检测;接着用相关查找算法完成不同图像间的特征匹配;通过匹配的特征求解得到图像间的变换矩阵;最后叠加融合出配准后的图像。特征的选择跟图像的内容有很大的关系，一般而言，点特征相对易于提取，而且可以适用于图像的各种变换并保持很好的性能。如Harris[2]，SUSAN[3]，DOG[4]，Harris-Laplace，Hessian-Laplace[5]等方法提取的特征点。Lowe等人[6]提出的SIFT算法是一种鲁棒性好的尺度不变特征描述方法，但SIFT算法计算数据量大、时间复杂度高、算法耗时长。徐佳佳[7]等人将尺度空间理论应用于Harris算法中，使检测的角点具有尺度不变性，并采用SIFT描述子生成方法进行特征点描述，完成图像配准。

    燕飞[8]等人基于仿生复眼系统提出一种采用SIFT的图像拼接算法，有效地实现了多通道图像的大视场无盲区拼接。Bay等人提出了快速鲁棒特征（SURF）算法[9]，除在可重复性和鲁棒性方面优于现有方法外，还能够获得较快的计算速度，因此在实时物体识别、图像检索、图像拼接等方面有较大的应用价值。李红波[10]等人在经典SURF算法基础上，提出一种基于距离约束的SURF算法。然而图像配准研究在可见光中做得较多，针对红外图像的研究比较少，袁梦笛[11]将角点法和相位相关法相结合来进行图像配准。Dong[12]等人采用SUSAN算法来检测红外图像的特征点，然后采用免疫记忆克隆选择算法获得匹配点的位置，达到红外图像配准的目的。刘炳国[13]等人针对同一目标的红外与可见光所形成的异源图像对，提出了一种基于改进SIFT与互信息的算法，寻找两幅图像中的相关点，从而实现两幅图像的匹配。但是这些算法对成像情况有较严格的要求、计算比较复杂。本文将结合红外图像的特点，利用SURF算法对适用于红外图像的匹配和拼接进行相关研究。

    1红外图像拼接方法和过程

    红外图像成像具有分辨率低、噪声大、边缘模糊等特点。本文结合红外图像的特点提出的基于SURF的红外图像拼接方法流程如图1所示，首先用SURF方法提取特征点，用基于双向匹配策略的自适应阈值匹配算法得到两幅图像的匹配点对，再通过RANSAC算法剔除误匹配，同时求解出图像间的变换关系，最后对图像进行融合，得到无拼接痕迹且保持高分辨率的完整图像。

    中，（a）图检测得到的特征点个数为127，（b）图检测得到特征点个数为139。采用单向匹配策略后特征点对数139，匹配结果如图（c），出现了“一对多”的匹配结果。而采用双向匹配策略后特征点对数为44，匹配结果如图（d）。可以看出，两种匹配策略的匹配点对数差为95。所以说，单向匹配的结果中存在大量的误匹配点，而双向匹配策略可以大幅降低误匹配情况，从而提高配准精度。因此后续均采用双向匹配策略。

    2.2自适应阈值的验证

    自适应阈值的验证需依据配准率的大小，两幅图像配准率可由下式求得：

    其中，PR表示两幅图像的正确匹配对数，PA表示两幅图像特征点匹配的所有对数，RT表示两幅图像配准率大小。如果RT越大，两幅图像配准精度越高，说明特征点匹配时阈值选取越接近真实值;反之，说明特征点匹配时阈值选取不合理。

    为验证文中提出的自适应阈值算法的有效性，在Windows7操作系统下，利用MATLAB2014a软件进行仿真实验。实验中将两幅不同视角的红外图像图5（a）～（b）采用SURF算法进行特征点检测，然后采用自适应阈值进行特征点匹配，得到PA值，最后采用RANSAC算法进行特征点提纯得到RR值，则可求得两幅红外图像的配准率RT，如表1所示。图5（e）～（f）分别为对应的采用固定阈值和自适应阈值的匹配结果。由表1可以看出，采用自适应阈值进行红外图像配准后的配准率要明显高于采用固定阈值进行配准后的配准率。

    表2为其他六组不同视角红外图像分别采用固定阈值及自适应阈值进行特征点匹配得到的配准率结果。

    3结论

    本文实现了一种新的基于SURF特征点配准的红外图像拼接算法。实验证明，提出的双向匹配结合自适应阈值的BBF匹配算法大大提高了配准精度即配准率。使用Laplacian标识符分离亮斑和暗斑两类特征点后，在保证良好匹配精度的同时有效降低了寻找匹配点的时间。使用加权平均融合方法对配准后的图像进行融合，有效地抑制了红外图像之间的拼接缝。

    参考文献：

    [1]ZitovB，FlusserJ.ImageRegistrationMethods：ASurvey[J].ImageandVisionComputing，2003，21（11）：977-1000.

    [2]HarrisCG，StephensMJ.ACombinedCornerandEdgeDetector[C]∥ProcessingsFourthAlveyVisionConference，Manchester，1988：147-151.

    [3]SmithSM，BradyJM.SUSANANewApproachtoLowLevelImageProcessing[J].InternationalJournalofComputerVision，1997，23（1）：45-78.

    [4]LoweDG.ObjectRecognitionfromLocalScaleInvariantFeatures[C]∥InternationalConferenceonComputerVision，Corfu，Greece，1999：1150-1157.

    [5]MikolajczykK，SchmidC.Scale&AffineInvariantInterestPointDetectors[J].InternationalJournalofComputerVision，2004，60（1）：63-86.

    [6]LoweDG.DistinctiveImageFeaturesfromScaleInvariantKeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

    [7]徐佳佳，张叶，张赫.基于改进HarrisSIFT算子的快速图像配准算法[J].电子测量与仪器学报，2015，29（1）：48-54.

    XuJiajia，ZhangYe，ZhangHe，etal.FastImageRegistrationAlgorithmBasedonImprovedHarrisSIFTDescriptor[J].JournalofElectronicMeasurementandInstrumentation，2015，29（1）：48-54.（inChinese）

    [8]燕飞，郭云芝，史立芳，等.基于仿生复眼系统的图像拼接技术[J].航空兵器，2017（6）：49-53.

    YanFei，GuoYunzhi，ShiLifang，etal.ResearchofImageMosaicAlgorithmBasedonBionicCompoundEyeSystem[J].AeroWeaponry，2017（6）：49-53.（inChinese）

    [9]BayH，TuvtellarsT，GoolLVan.SURF：SpeededupRobustFeatures[C]∥ProceedingsoftheEuropeanConferenceonComputerVision，2006：404-417.

    [10]李红波，赵永耀，吴渝，等.一种基于距离约束的改进SURF算法[J].系统仿真学报，2014，26（12）：2944-2949.

    LiHongbo，ZhaoYongyao，WuYu，etal.ImprovedSURFAlgorithmBasedonDistanceConstraint[J].JournalofSystemSimulation，2014，26（12）：2944-2949.（inChinese）

    [11]袁夢笛.基于特征点的红外图像拼接研究[D].南京：南京理工大学，2013.

    YuanMengdi.ResearchonInfraredImageMosaicBasedonFeaturePoints[D].Nanjing：NanjingUniversityofScienceandTechnology，2013.（inChinese）

    [12]DongLin，FuDongmei，YuXiao，etal.TheStudyonInfraredImageMosaicApplicationUsingImmuneMemoryClonalSelectionAlgorithm[C]∥ProceedingsoftheTenthWorldCongressonIntelligentControlandAutomation，2012：4831-4836.

    [13]刘炳国，陈力，刘国栋.基于改进SIFT与互信息的异源图像匹配[J].航空兵器，2014（5）：15-18.

    LiuBingguo，ChenLi，LiuGuodong.MultiSensorImagesMatchingBasedonCombinedImprovedSIFTandMutualInformation[J].AeroWeaponry，2014（5）：15-18.（inChinese）

    [14]BeisJS，LoweDG.ShapeIndexingUsingApproximateNearestNeighborSearchinHighDimensionalSpaces[C]∥ProceedingsoftheConferenceonComputerVisionandPatternRecognition，SanJuan，PuertoRico，1997：1000-1006.

    [15]刘奇，何明一.基于SURF特征匹配的图像拼接算法[J].测控技术，2010，29（10）：27-31.

    LiuQi，HeMingyi.ImageStitchingBasedonSURFFeatureMatching[J].Measurement&ControlTechnology，2010，29（10）：27-31.（inChinese）