基于多镜头多传感器系统的图像合成
殷惠莉 杜娟 胡池
摘 要： 图像配准是图像合成的关键步骤，该文用两个具有平行光轴结构的多镜头多传感器系统进行图像采集，利用H矩阵与插值算法相结合，快速地完成了两张图像的配准工作，实现了对一个平面上的图像信息的合成，具有提高公共区域信噪比的功能；并在此基础上，提出了一种针对无穷远平面的图像配准方法，有利于进行立体图像的快速配准以及深度图像的求取。
关键词： 多镜头多传感器系统； H矩阵； 图像映射； 插值算法
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）06?0122?04
Abstract： The image registration is a critical step of image synthesis. The multi?lens and multi?sensor （MLMS） system with two parallel optical axis structures is used to acquire the image. The H?matrix and interpolation algorithm are combined to match two images quickly， and synthesize the image information on a plane， which can improve the SNR in public area. On this basis， an image registration method for the plane at infinity is proposed， which is beneficial for the fast registration of the 3D image and the acquisition of the depth image.
Keywords： multi?lens and multi?sensor system； H?matrix； image mapping； interpolation algorithm
图像配准是图像合成中的关键步骤，现阶段的配准方法主要有直接配准和分部配准。直接配准主要分为基于特征的配准和基于区域的配准。本文研究具有平行光轴结构的多镜头多传感器（MLMS）系统，由于相机之间存在确定的几何约束关系，因而选择分部配准的方法更为合适。本文提出如下方法：首先借助于一个正对镜头采集方向的平面，利用Homography矩阵[（H]矩阵）建立基于平面图像的图像对齐，同时完成镜头间的极线矫正过程。然后使用图像金字塔结构的方式对水平方向进行图像块搜索，完成快速匹配。
上述方法首先确保了两幅图像有超过[12]以上的公共区域，寻找两幅图像公共区域上的对应点，使用经典的直接线性变换算法DLT（Direct Linear Transformation）[1?2]，建立齐次方程，通过奇异值分解（SVD）算法，求取齐次方程的近似解，得到[H]矩阵；然后使用[H]矩阵以及插值算法，构建两张图像在公共区域的映射关系，并通过颜色插值，进行公共区域的图像合成，并提出了无穷远平面的图像对齐方法。
1 投影点对应关系[H]矩阵的计算
1.1 [H]矩阵
在MLMS（Multi?lens Multi?sensors）立体视觉系统中，如图1所示，空间中某一平面π上的任意点[P]，设[Pl]为[P]在左图像（即镜头1拍摄图像）上的投影点，[Pr]为[P]在右图像（即镜头2拍摄图像）上的投影点，由映射关系可得：
2 建立映射关系及图像合成
2.1 建立坐标映射表
在求[H]矩阵的过程中，要计算[T-1l]，需要使用两次除法运算，本文使用插值方法降低运算复杂度，同时还通过定点化后的移位运算代替了除法运算。本文将在图3上进行图像合成。
首先以图3整数点坐标为基准，计算出一张离散的坐标映射表。
假设在图3上覆盖满了若干个16×16的小方框（根据实验结果误差分析以及计算机移位规律选取的，方框大小可再调整）。选取方框顶点的坐标位置，通过式（3）和式（15），求取[Pl]的坐标[Pl]（X，Y）并存储起来，形成一张离散的坐标映射表。该坐标一般是一个浮点数，引入定点化的方法，将浮点数坐标值扩大64倍并四舍五入取整，存储为整数坐标。
接着利用离散的坐标映射表以及插值运算生成一张完整的坐标映射表。
采用常规的双线性插值方法，按照16×16的方框逐个进行。在每一个方框内部，利用式（16）插值出四条边的对应坐标，利用式（17）插值出方框的内部区域的对应坐标。其中f（1），f（2），f（3），f（4）分别指的是方框四个顶点位置的映射坐标。
遍历方框内部每一个点，使用上述方法进行插值，即可得到一张完整图像的坐标映射表。表1随机选取了10组点，进行映射坐标分析。插值计算坐标（本来是整数形式）换算成它的浮点数形式放在表1中，便于比较，两种方法均保留三位有效数字。
通过误差比较，两种方法计算出来的映射坐标误差均限制在1%个像素点以内，满足工程应用的精度要求。
2.2 图像的合成
图像合成的过程为摄像头抓拍图像，利用图2和映射表计算得到投影变换图像（PT图像），PT图像与图3完成图像合成，得到结果图。其中PT图像只能得到公共区域图像，其坐标位置与图3相同，而颜色信息来自图2。
求取PT图像的过程需要使用双线性插值算法。新建一张图像，遍历该图像上每一个像素位置，利用映射表及插值算法，结合图2信息计算出该点的颜色值，填充得到PT图像。
最后进行PT图像和图3的合成。将公共区域两者相加取平均，或者可以根据需要分区域用不同的权重进行加权合成，得到最后的合成图像。本文以图3为底稿，将图2映射后进行融合。反之亦然。
2.3 无穷远平面的图像对齐
如果P点不在采集匹配点的那张平面上，则上述方法计算得到的[H]矩阵将不能用于描述其两个投影点[Pl]和[Pr]的映射关系。对于平行光轴并排摆放结构的多镜头系统，一张图像上任意参考点在另一张图像上对应的极线基本平行于图像[x]轴。但由于镜头安装存在不可避免的误差，该极线往往不是水平的。上述方法具有矫正极线的功能。即图2经过投影变换，得到的PT图像上任意点在图3上对应的极线是水平的，反之亦然。对于空间中任意不在上述平面上的点P，假设[Pl]和[Pr]是它在两幅图上的投影点，则[Pl]和[HPr]之间仅存在水平视差。这种矫正极线的方法仅适用于平行光轴并排摆放的多镜头相机。
垂直摄像机光轴方向布置一个较远的平面（10 m以上），通过得到的[H]矩阵，计算一张PT图像，找到几组PT图像与图3在该平面上的对应点，计算其水平视差的均值（坐标值之差），并记录下来。然后利用该视差值来平移整个映射表，即可得到[H∞]矩阵对应的映射表；或者修改H矩阵的[H31]（x方向平移参数），直接得到[H∞]矩阵。从而完成了从一个平面到无穷远平面对齐的转换。
3 实验结果及分析
通过图4、图5对比，可以看出合成图像公共局部图像区域信噪比有所提高。同时使用一张在更低ISO参数下相同位置拍摄的图像作为参考图像，如图6所示，便于计算右图与合成图像的MSE和PSNR。
传统的图像质量评价方法是通过计算失真图像与参考图像像素点间的数学误差来衡量的。本文使用均方误差（MSE）和峰值信噪比（PSNR）作为信噪比的评价指标[5?6]：
在PC机上使用了两个640×480分辨率的摄像头进行了实验，使用25 f的视频采样速率，可以达到实时处理的功能，并且合成效果与单次运行时大致相同。
左图PT后图像和右图原图作为对比，如图7、图8所示。从墙上选择的三个参考点来看，该平面上的点坐标是基本对齐的。超过8对匹配点，利用如下约束关系和SVD算法，计算出基本矩阵（Fundamental矩阵）。如下：
并选择三个参考点，计算其在另一张图上对应的极线。从图中显示可知：该组点在对应图像上的极线是基本水平的，验证了文中所述的匹配点之间只存在水平视差，并且从画面的卷尺可以看出，呈现深度越小，视差越大的规律。
4 结 语
本文采用具有平行光轴的MLMS系统采集图像，利用[H]矩阵这一工具来描述两张图像公共区域的映射关系，通过插值运算的引入和定点化处理，提高了计算速度，能够满足实时融合图像的要求。经过上述分析和实验结果可以看出，该方法可以较单镜头的图像具有更高的信噪比，同时对于立体图像的匹配和融合仍然具有意义。并通过计算等效[H∞]，完成无穷远平面的图像对齐。
注：本文通讯作者为杜娟。
參考文献
[1] CYGANEK. B， SIEBERT J P. An introduction to 3D computer vision techniques and algorithms [M]. New York： Wiley， 2009： 31?50.
[2] HARTLEY R. In defense of the 8?point algorithm [J]. IEEE transactions on pattern analysis and machine intelligence， 1997， 19（6）： 580?593.
[3] HARTLEY R. Multiple view geometry in computer vision [M]. 2nd ed. Cambridge： Cambridge University Press， 2004.
[4] AGARWAL A， JAWAHAR C V， NARAYANAN P J. A survey of planar homography estimation techniques [R]. Hyderabad： International Institute of Information Technology， 2005.
[5] ESKICIOGLU A M， FISHER P S. Image quality measures and their performance [J]. IEEE transactions on communications， 1995， 43（12）： 2959?2965.
[6] 朱莹.自适应夜视图像处理技术研究[D].南京：南京理工大学，2007.
摘 要： 图像配准是图像合成的关键步骤，该文用两个具有平行光轴结构的多镜头多传感器系统进行图像采集，利用H矩阵与插值算法相结合，快速地完成了两张图像的配准工作，实现了对一个平面上的图像信息的合成，具有提高公共区域信噪比的功能；并在此基础上，提出了一种针对无穷远平面的图像配准方法，有利于进行立体图像的快速配准以及深度图像的求取。
关键词： 多镜头多传感器系统； H矩阵； 图像映射； 插值算法
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）06?0122?04
Abstract： The image registration is a critical step of image synthesis. The multi?lens and multi?sensor （MLMS） system with two parallel optical axis structures is used to acquire the image. The H?matrix and interpolation algorithm are combined to match two images quickly， and synthesize the image information on a plane， which can improve the SNR in public area. On this basis， an image registration method for the plane at infinity is proposed， which is beneficial for the fast registration of the 3D image and the acquisition of the depth image.
Keywords： multi?lens and multi?sensor system； H?matrix； image mapping； interpolation algorithm
图像配准是图像合成中的关键步骤，现阶段的配准方法主要有直接配准和分部配准。直接配准主要分为基于特征的配准和基于区域的配准。本文研究具有平行光轴结构的多镜头多传感器（MLMS）系统，由于相机之间存在确定的几何约束关系，因而选择分部配准的方法更为合适。本文提出如下方法：首先借助于一个正对镜头采集方向的平面，利用Homography矩阵[（H]矩阵）建立基于平面图像的图像对齐，同时完成镜头间的极线矫正过程。然后使用图像金字塔结构的方式对水平方向进行图像块搜索，完成快速匹配。
上述方法首先确保了两幅图像有超过[12]以上的公共区域，寻找两幅图像公共区域上的对应点，使用经典的直接线性变换算法DLT（Direct Linear Transformation）[1?2]，建立齐次方程，通过奇异值分解（SVD）算法，求取齐次方程的近似解，得到[H]矩阵；然后使用[H]矩阵以及插值算法，构建两张图像在公共区域的映射关系，并通过颜色插值，进行公共区域的图像合成，并提出了无穷远平面的图像对齐方法。
1 投影点对应关系[H]矩阵的计算
1.1 [H]矩阵
在MLMS（Multi?lens Multi?sensors）立体视觉系统中，如图1所示，空间中某一平面π上的任意点[P]，设[Pl]为[P]在左图像（即镜头1拍摄图像）上的投影点，[Pr]为[P]在右图像（即镜头2拍摄图像）上的投影点，由映射关系可得：
2 建立映射关系及图像合成
2.1 建立坐标映射表
在求[H]矩阵的过程中，要计算[T-1l]，需要使用两次除法运算，本文使用插值方法降低运算复杂度，同时还通过定点化后的移位运算代替了除法运算。本文将在图3上进行图像合成。
首先以图3整数点坐标为基准，计算出一张离散的坐标映射表。
假设在图3上覆盖满了若干个16×16的小方框（根据实验结果误差分析以及计算机移位规律选取的，方框大小可再调整）。选取方框顶点的坐标位置，通过式（3）和式（15），求取[Pl]的坐标[Pl]（X，Y）并存储起来，形成一张离散的坐标映射表。该坐标一般是一个浮点数，引入定点化的方法，将浮点数坐标值扩大64倍并四舍五入取整，存储为整数坐标。
接着利用离散的坐标映射表以及插值运算生成一张完整的坐标映射表。
采用常规的双线性插值方法，按照16×16的方框逐个进行。在每一个方框内部，利用式（16）插值出四条边的对应坐标，利用式（17）插值出方框的内部区域的对应坐标。其中f（1），f（2），f（3），f（4）分别指的是方框四个顶点位置的映射坐标。
遍历方框内部每一个点，使用上述方法进行插值，即可得到一张完整图像的坐标映射表。表1随机选取了10组点，进行映射坐标分析。插值计算坐标（本来是整数形式）换算成它的浮点数形式放在表1中，便于比较，两种方法均保留三位有效数字。
通过误差比较，两种方法计算出来的映射坐标误差均限制在1%个像素点以内，满足工程应用的精度要求。
2.2 图像的合成
图像合成的过程为摄像头抓拍图像，利用图2和映射表计算得到投影变换图像（PT图像），PT图像与图3完成图像合成，得到结果图。其中PT图像只能得到公共区域图像，其坐标位置与图3相同，而颜色信息来自图2。
求取PT图像的过程需要使用双线性插值算法。新建一张图像，遍历该图像上每一个像素位置，利用映射表及插值算法，结合图2信息计算出该点的颜色值，填充得到PT图像。
最后进行PT图像和图3的合成。将公共区域两者相加取平均，或者可以根据需要分区域用不同的权重进行加权合成，得到最后的合成图像。本文以图3为底稿，将图2映射后进行融合。反之亦然。
2.3 无穷远平面的图像对齐
如果P点不在采集匹配点的那张平面上，则上述方法计算得到的[H]矩阵将不能用于描述其两个投影点[Pl]和[Pr]的映射关系。对于平行光轴并排摆放结构的多镜头系统，一张图像上任意参考点在另一张图像上对应的极线基本平行于图像[x]轴。但由于镜头安装存在不可避免的误差，该极线往往不是水平的。上述方法具有矫正极线的功能。即图2经过投影变换，得到的PT图像上任意点在图3上对应的极线是水平的，反之亦然。对于空间中任意不在上述平面上的点P，假设[Pl]和[Pr]是它在两幅图上的投影点，则[Pl]和[HPr]之间仅存在水平视差。这种矫正极线的方法仅适用于平行光轴并排摆放的多镜头相机。
垂直摄像机光轴方向布置一个较远的平面（10 m以上），通过得到的[H]矩阵，计算一张PT图像，找到几组PT图像与图3在该平面上的对应点，计算其水平视差的均值（坐标值之差），并记录下来。然后利用该视差值来平移整个映射表，即可得到[H∞]矩阵对应的映射表；或者修改H矩阵的[H31]（x方向平移参数），直接得到[H∞]矩阵。从而完成了从一个平面到无穷远平面对齐的转换。
3 实验结果及分析
通过图4、图5对比，可以看出合成图像公共局部图像区域信噪比有所提高。同时使用一张在更低ISO参数下相同位置拍摄的图像作为参考图像，如图6所示，便于计算右图与合成图像的MSE和PSNR。
传统的图像质量评价方法是通过计算失真图像与参考图像像素点间的数学误差来衡量的。本文使用均方误差（MSE）和峰值信噪比（PSNR）作为信噪比的评价指标[5?6]：
在PC机上使用了两个640×480分辨率的摄像头进行了实验，使用25 f的视频采样速率，可以达到实时处理的功能，并且合成效果与单次运行时大致相同。
左图PT后图像和右图原图作为对比，如图7、图8所示。从墙上选择的三个参考点来看，该平面上的点坐标是基本对齐的。超过8对匹配点，利用如下约束关系和SVD算法，计算出基本矩阵（Fundamental矩阵）。如下：
并选择三个参考点，计算其在另一张图上对应的极线。从图中显示可知：该组点在对应图像上的极线是基本水平的，验证了文中所述的匹配点之间只存在水平视差，并且从画面的卷尺可以看出，呈现深度越小，视差越大的规律。
4 结 语
本文采用具有平行光轴的MLMS系统采集图像，利用[H]矩阵这一工具来描述两张图像公共区域的映射关系，通过插值运算的引入和定点化处理，提高了计算速度，能够满足实时融合图像的要求。经过上述分析和实验结果可以看出，该方法可以较单镜头的图像具有更高的信噪比，同时对于立体图像的匹配和融合仍然具有意义。并通过计算等效[H∞]，完成无穷远平面的图像对齐。
注：本文通讯作者为杜娟。
參考文献
[1] CYGANEK. B， SIEBERT J P. An introduction to 3D computer vision techniques and algorithms [M]. New York： Wiley， 2009： 31?50.
[2] HARTLEY R. In defense of the 8?point algorithm [J]. IEEE transactions on pattern analysis and machine intelligence， 1997， 19（6）： 580?593.
[3] HARTLEY R. Multiple view geometry in computer vision [M]. 2nd ed. Cambridge： Cambridge University Press， 2004.
[4] AGARWAL A， JAWAHAR C V， NARAYANAN P J. A survey of planar homography estimation techniques [R]. Hyderabad： International Institute of Information Technology， 2005.
[5] ESKICIOGLU A M， FISHER P S. Image quality measures and their performance [J]. IEEE transactions on communications， 1995， 43（12）： 2959?2965.
[6] 朱莹.自适应夜视图像处理技术研究[D].南京：南京理工大学，2007.
