基于图像处理的车辆类型识别的研究
朱金荣+张广杰+夏长权
摘 要： 为了完善车型检测识别的算法，首先利用傅里叶描述子的方法建立车辆图形库，对摄像头采集到的车辆侧面图像进行形态学操作，得到车辆轮廓封闭曲线并与图形库模板匹配，确定车型；然后利用基于积分的方法处理车辆顶面图像，计算出相应特征参数，确定车辆大小信息，解决车型检测的多检、错检现象。该文对图像处理算法做了具体推导并给出了实现流程，通过仿真实验表明，该文的算法能够充分地提取车辆的形状与几何尺寸信息，车型识别正确率很高，且計算量小。
关键词： 智能交通； 车型检测； 傅里叶描述子； AOI区域划分
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）04?0016?03
Research on vehicle type recognition based on image processing
ZHU Jinrong， ZHANG Guangjie， XIA Changquan
（College of Physical Science and Technology， Yangzhou University， Yangzhou 225002， China）
Abstract： In order to optimize the algorithm of vehicle type detection， the graphic base of vehicles was established with the method of Fourier descriptor. The vehicle side images acquired by camera are treated by means of morphological operation to get the closed curves of vehicle contour and match them with the templates in the graphic base to determine the vehicle type. The vehicle top images are processed with the integral method to calculate the corresponding characteristic parameters to ensure the size information of a vehicle， so as to eliminate the phenomenon of the wrong detection. The image processing algorithm is derived and its implementation flow process is given in this paper. The simulation experiment result shows that the algorithm is able to adequately extract the information of vehicle shape and size， the recognition accuracy is high， and the calculated amount small.
Keywords： intelligent traffic； vehicle type detection； Fourier descriptor； AOI region partition
0 引 言
车型识别技术是智能交通很重要的方面，车型识别技术[1]用于解决以下几方面问题：ETC收费系统[2]通过车载收发机自动收费，全国各地区车辆分类标准及收费额度不统一，车载标签容易被人更换，造成通行费的损失；车辆犯罪的问题主要表现为肇事逃逸和盗抢车辆，罪犯更换车辆牌照和改变车辆颜色等手段使得现有的车型识别技术不易鉴别；交通管理部门制定运营方案和选择工程技术，需要对各路段进行交通量调查，系统地收集整理资料和数据，为城乡交通进行布局和规划。
以上各方面使得车型识别技术成为不可或缺的方法，现代化的设施也为车型识别提供了条件。ETC专用车道摄像头有安置在道路两侧和龙门架上[2]的：安置与道路两侧的摄像头视角垂直于车辆行进方向，与路面夹角很小，采集到车辆侧面图像；龙门架上的摄像头高度很高，拍摄视角与路面夹角接近90°。大部分公路监控摄像头都是这样的视角，因此对ETC车道的车辆检测算法具有普适性。本文对ETC车道车辆侧面图像采用了基于傅里叶描述子[3?4]的检测算法，通过形状信息建立车辆图形库，用于检测车型，对车顶面图像采用了基于积分思想的方法，计算出车辆的大小特征参数，两种方法相结合判定车型。
1 车辆图像库
车辆类型检测的过程是通过CCD摄像头采集到视频帧数据，经图像采集卡传递到视频处理器[5]进行运算的过程，视频处理器中拷入的不仅有算法，还需要大量的车辆检测样本作为数据库，称为图像库。本节具体给出通过傅里叶描述子构建图像库的操作过程。
1.1 傅里叶描述子归一化
对车辆图像经过处理后能得到车辆对外边界，显示了车辆的形状，呈一条封闭曲线。对一条封闭曲线按相等间隔取N个采样点，在xy平面上从任意点开始，沿逆时针方向得到N个边界点，，用复变量表示为，该坐标序列是周期函数，以曲线的周长为周期。在一个周期内对坐标序列进行快速离散傅里叶变换（FFT）[3]：
复系数即边界的傅里叶描述子，该数组描述了边界的变化。当该曲线旋转角、平移和放大倍，FFT变换边界起始点沿着封闭曲线移动了个采样点后，复系数为：
（1）
式中，，车辆的运动和摄像头的视场会造成上述曲线的平移、放大和FFT起始点的变化，因此需要提取曲线不随上述因素的参数。观察发现，当曲线平移时，只有分量的值发生改变。为低频系数，对应于。因此把每一个复系数的幅值除以，得到归一化傅里叶描述子：
（2）
归一化后的傅里叶描述子可以计算任意2个车辆i和j间的相似程度，定义为离散度：
当趋近于0时，表示两辆车形状基本一致；越大，说明车辆形状的差异越大。
1.2 检测模板选取
将视频帧RGB图像进行去背景、灰度化、车辆目标提取[4]，然后进行二值化处理、边界提取得到车辆轮廓的闭合曲线，用于傅里叶描述子的检测。进行车辆检测需要一定数量的图像库，对同类车需要选取可靠的检测模板，构建图像库。图1为不同形状的小型家用汽车经过处理后的图片，得到了車辆图像的边界和中心点。上下列分别表示向车辆左右行驶，使用归一化傅里叶描述子计算不同形状汽车的相似度差异。
如表1所示，总共8个样本，A1与a1，A2与a2，A3与a3，A4与a4呈镜像对称，离散度值都小于0.05，说明了行驶方向不对车辆检测产生影响。A1，A2，A4汽车及向右行驶的a1，a2，a4汽车与其他7个样本的离散度有的达到0.2，相对较大，因此不具备检测车型的条件，不能构建图像库。A3和a3样本的平均离散度最小，且与其他样本的离散度值都小于0.15，因此可以作为图像库检测模板。其他车型也通过此种方法确定检测模板。
表1 车辆类间离散度
1.3 基准特征向量
车型特征向量是识别车辆类型的基准系数，车型检测通过计算待识别车辆图像的归一化傅里叶描述子与车型特征向量的距离来完成。本文总结了几种车型的基准特征向量，经过大量的统计分析，可以对各类车型计算出具有普适性的傅里叶描述子作为基准特征向量[5]，用于车辆检测。表2为各种车型的归一化傅里叶描述子（为了避免漏检，需要增加样本数量，实际的图像库中没类车型都有很多组基准特征向量）。进行车辆检测时，计算机经过图像处理操作得到被检车辆的傅里叶描述子，然后计算出与各基准特征向量的值，值小于设定阈值T的所对应车型即为所检测出车型。
2 车辆特征参数
现实中有很多大小、功能类型不同的车辆形状却很相似，第1.3节中通过被检车辆与图像库的离散度判断车辆类型的方法会出现几种车型无法区分的情况，因此需要确定车辆的大小。通过安置于道路两侧的摄像头采集的图像不能够准确得到车辆的大小信息。但是安装于高处的摄像头能够更大视角地采集路面图像如图2所示，计算车辆大小参数。利用基于积分的数学方法可以提取车辆大小特征参数[6]。车辆在车道上会覆盖相应的区域，称为AOI区域，即感兴趣区域。本文通过AOI（Area of Interesting）区域将被检测车道划分成多个子区域来实现摄像机像平面的标定和车辆大小的计算。
本文算法设置的每个AOI区域与实际道路长度相等，顺着车道方向延伸。拍摄到的图像是实物在摄像机像平面上的投影，如图3所示，摄像机安装位置及拍摄角度确定后，可以测出摄像机视角，光轴与竖直方向的夹角和摄像头焦点C与地面的距离H。
AOI区域划分为n个实际长度相同的子区域：
，，，，，为AOI区域在像平面上的分界点，与光轴相垂直。图3中点为焦点在车道面上的投影，为与之间的夹角，与之间的夹角为。经过几何推导得到：
设对应于像平面中的与之比为，与之比为，证得：
因此，图像中的感兴趣区域长度与图像中的总长度的对应关系为。通过计算得到车头至车尾的区域，从而计算出车长。结合第1节中的方法求得车辆高度，得到车辆特征参数。此算法计算出车辆的大小特征，进一步缩小了车型判断的范围，使得由1.3节中的基准特征向量检测车型不易出现误判。
3 结 论
本文对表2中各类机动车各选取了100多个样本进行仿真计算，实验结果表明，通过图形库实现的车型检测可以检测出车辆类型，但有24.7%的情况检测出多种车型；车辆特征参数的计算对车辆大小进行限制，再次计算全部都判断出车型。由于人为原因，有2%左右出现了误判。在计算量上，基于傅里叶描述子的算法只对车辆外轮廓使用了100个边界采样点，取了10个低频分量的傅里叶描述子计算待检测目标与图像库模板的欧氏距离，减少了特征参数的维数，计算量小。第2节的方法只需要计算车辆的长度，且通过数学推导得到了很简化的车长计算公式，计算量也很小，因此适用于交通流速很快的城市道路，具有普适性与鲁棒性。本文的车型检测算法旨在完善当前车辆视频检测的不足。第2节中车辆大小特征参数的算法能将车辆长宽高的计算误差控制在6%以内，但只能确定车辆大小规模，不能够确定车辆具体车型、功能，其目的是为了减少第1节不同大小却形状相似的车辆之间的误判。基于傅里叶描述子检测车辆类型的算法，最大程度地提取了车辆的形状信息，且建立了图像库，可用于各种交通检测系统，更有利于现代智能交通的完善。
参考文献
[1] XU Zewei， CHEN Xianqiao.Vehicle recognition and classification method based on laser scanning point cloud data [C] //International Conference on Transportation Information and Safety（ICTIS）. [S.l.]： IEEEXplore， 2015：44?49.
[2] HSU G H， LIN L R， JAN R H， et al. Design of ETC violation enforcement system for non?payment vehicle searching [C]// Proceedings of International Conference on Advanced Communication Technology. [S.l.]： ICACT， 2013： 169?178.
[3] 赵涛，邓伟.结合PCA和FPD的傅里叶形状描述子[J].计算机工程，2011，37（21）：149?151.
[4] ZHAO Lele， WANG Bing， SHU Huazhong. Multi?scale Fourier descriptor with phase information for image retieval [C]// 1st International Conference on Energy Systems and Electrical Power. [S.l.： s.n.]， 2011： 5068?5075.
[5] MITHUN Niluthpol Chowdhury. Detection and classification of vehicle from video using multiple time?spatial images [J]. IEEE transactions on intelligent transportation systems， 2012， 13： 1215?1225.
[6] 黄震宇.成雅高速公路收费系统的设计与实现[D].成都：电子科技大学，2013.
[7] 张茜婷，闫国伟.基于三维逆投影图的车速检测[J].现代电子技术，2015，38（16）：70?72.
摘 要： 为了完善车型检测识别的算法，首先利用傅里叶描述子的方法建立车辆图形库，对摄像头采集到的车辆侧面图像进行形态学操作，得到车辆轮廓封闭曲线并与图形库模板匹配，确定车型；然后利用基于积分的方法处理车辆顶面图像，计算出相应特征参数，确定车辆大小信息，解决车型检测的多检、错检现象。该文对图像处理算法做了具体推导并给出了实现流程，通过仿真实验表明，该文的算法能够充分地提取车辆的形状与几何尺寸信息，车型识别正确率很高，且計算量小。
关键词： 智能交通； 车型检测； 傅里叶描述子； AOI区域划分
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）04?0016?03
Research on vehicle type recognition based on image processing
ZHU Jinrong， ZHANG Guangjie， XIA Changquan
（College of Physical Science and Technology， Yangzhou University， Yangzhou 225002， China）
Abstract： In order to optimize the algorithm of vehicle type detection， the graphic base of vehicles was established with the method of Fourier descriptor. The vehicle side images acquired by camera are treated by means of morphological operation to get the closed curves of vehicle contour and match them with the templates in the graphic base to determine the vehicle type. The vehicle top images are processed with the integral method to calculate the corresponding characteristic parameters to ensure the size information of a vehicle， so as to eliminate the phenomenon of the wrong detection. The image processing algorithm is derived and its implementation flow process is given in this paper. The simulation experiment result shows that the algorithm is able to adequately extract the information of vehicle shape and size， the recognition accuracy is high， and the calculated amount small.
Keywords： intelligent traffic； vehicle type detection； Fourier descriptor； AOI region partition
0 引 言
车型识别技术是智能交通很重要的方面，车型识别技术[1]用于解决以下几方面问题：ETC收费系统[2]通过车载收发机自动收费，全国各地区车辆分类标准及收费额度不统一，车载标签容易被人更换，造成通行费的损失；车辆犯罪的问题主要表现为肇事逃逸和盗抢车辆，罪犯更换车辆牌照和改变车辆颜色等手段使得现有的车型识别技术不易鉴别；交通管理部门制定运营方案和选择工程技术，需要对各路段进行交通量调查，系统地收集整理资料和数据，为城乡交通进行布局和规划。
以上各方面使得车型识别技术成为不可或缺的方法，现代化的设施也为车型识别提供了条件。ETC专用车道摄像头有安置在道路两侧和龙门架上[2]的：安置与道路两侧的摄像头视角垂直于车辆行进方向，与路面夹角很小，采集到车辆侧面图像；龙门架上的摄像头高度很高，拍摄视角与路面夹角接近90°。大部分公路监控摄像头都是这样的视角，因此对ETC车道的车辆检测算法具有普适性。本文对ETC车道车辆侧面图像采用了基于傅里叶描述子[3?4]的检测算法，通过形状信息建立车辆图形库，用于检测车型，对车顶面图像采用了基于积分思想的方法，计算出车辆的大小特征参数，两种方法相结合判定车型。
1 车辆图像库
车辆类型检测的过程是通过CCD摄像头采集到视频帧数据，经图像采集卡传递到视频处理器[5]进行运算的过程，视频处理器中拷入的不仅有算法，还需要大量的车辆检测样本作为数据库，称为图像库。本节具体给出通过傅里叶描述子构建图像库的操作过程。
1.1 傅里叶描述子归一化
对车辆图像经过处理后能得到车辆对外边界，显示了车辆的形状，呈一条封闭曲线。对一条封闭曲线按相等间隔取N个采样点，在xy平面上从任意点开始，沿逆时针方向得到N个边界点，，用复变量表示为，该坐标序列是周期函数，以曲线的周长为周期。在一个周期内对坐标序列进行快速离散傅里叶变换（FFT）[3]：
复系数即边界的傅里叶描述子，该数组描述了边界的变化。当该曲线旋转角、平移和放大倍，FFT变换边界起始点沿着封闭曲线移动了个采样点后，复系数为：
（1）
式中，，车辆的运动和摄像头的视场会造成上述曲线的平移、放大和FFT起始点的变化，因此需要提取曲线不随上述因素的参数。观察发现，当曲线平移时，只有分量的值发生改变。为低频系数，对应于。因此把每一个复系数的幅值除以，得到归一化傅里叶描述子：
（2）
归一化后的傅里叶描述子可以计算任意2个车辆i和j间的相似程度，定义为离散度：
当趋近于0时，表示两辆车形状基本一致；越大，说明车辆形状的差异越大。
1.2 检测模板选取
将视频帧RGB图像进行去背景、灰度化、车辆目标提取[4]，然后进行二值化处理、边界提取得到车辆轮廓的闭合曲线，用于傅里叶描述子的检测。进行车辆检测需要一定数量的图像库，对同类车需要选取可靠的检测模板，构建图像库。图1为不同形状的小型家用汽车经过处理后的图片，得到了車辆图像的边界和中心点。上下列分别表示向车辆左右行驶，使用归一化傅里叶描述子计算不同形状汽车的相似度差异。
如表1所示，总共8个样本，A1与a1，A2与a2，A3与a3，A4与a4呈镜像对称，离散度值都小于0.05，说明了行驶方向不对车辆检测产生影响。A1，A2，A4汽车及向右行驶的a1，a2，a4汽车与其他7个样本的离散度有的达到0.2，相对较大，因此不具备检测车型的条件，不能构建图像库。A3和a3样本的平均离散度最小，且与其他样本的离散度值都小于0.15，因此可以作为图像库检测模板。其他车型也通过此种方法确定检测模板。
表1 车辆类间离散度
1.3 基准特征向量
车型特征向量是识别车辆类型的基准系数，车型检测通过计算待识别车辆图像的归一化傅里叶描述子与车型特征向量的距离来完成。本文总结了几种车型的基准特征向量，经过大量的统计分析，可以对各类车型计算出具有普适性的傅里叶描述子作为基准特征向量[5]，用于车辆检测。表2为各种车型的归一化傅里叶描述子（为了避免漏检，需要增加样本数量，实际的图像库中没类车型都有很多组基准特征向量）。进行车辆检测时，计算机经过图像处理操作得到被检车辆的傅里叶描述子，然后计算出与各基准特征向量的值，值小于设定阈值T的所对应车型即为所检测出车型。
2 车辆特征参数
现实中有很多大小、功能类型不同的车辆形状却很相似，第1.3节中通过被检车辆与图像库的离散度判断车辆类型的方法会出现几种车型无法区分的情况，因此需要确定车辆的大小。通过安置于道路两侧的摄像头采集的图像不能够准确得到车辆的大小信息。但是安装于高处的摄像头能够更大视角地采集路面图像如图2所示，计算车辆大小参数。利用基于积分的数学方法可以提取车辆大小特征参数[6]。车辆在车道上会覆盖相应的区域，称为AOI区域，即感兴趣区域。本文通过AOI（Area of Interesting）区域将被检测车道划分成多个子区域来实现摄像机像平面的标定和车辆大小的计算。
本文算法设置的每个AOI区域与实际道路长度相等，顺着车道方向延伸。拍摄到的图像是实物在摄像机像平面上的投影，如图3所示，摄像机安装位置及拍摄角度确定后，可以测出摄像机视角，光轴与竖直方向的夹角和摄像头焦点C与地面的距离H。
AOI区域划分为n个实际长度相同的子区域：
，，，，，为AOI区域在像平面上的分界点，与光轴相垂直。图3中点为焦点在车道面上的投影，为与之间的夹角，与之间的夹角为。经过几何推导得到：
设对应于像平面中的与之比为，与之比为，证得：
因此，图像中的感兴趣区域长度与图像中的总长度的对应关系为。通过计算得到车头至车尾的区域，从而计算出车长。结合第1节中的方法求得车辆高度，得到车辆特征参数。此算法计算出车辆的大小特征，进一步缩小了车型判断的范围，使得由1.3节中的基准特征向量检测车型不易出现误判。
3 结 论
本文对表2中各类机动车各选取了100多个样本进行仿真计算，实验结果表明，通过图形库实现的车型检测可以检测出车辆类型，但有24.7%的情况检测出多种车型；车辆特征参数的计算对车辆大小进行限制，再次计算全部都判断出车型。由于人为原因，有2%左右出现了误判。在计算量上，基于傅里叶描述子的算法只对车辆外轮廓使用了100个边界采样点，取了10个低频分量的傅里叶描述子计算待检测目标与图像库模板的欧氏距离，减少了特征参数的维数，计算量小。第2节的方法只需要计算车辆的长度，且通过数学推导得到了很简化的车长计算公式，计算量也很小，因此适用于交通流速很快的城市道路，具有普适性与鲁棒性。本文的车型检测算法旨在完善当前车辆视频检测的不足。第2节中车辆大小特征参数的算法能将车辆长宽高的计算误差控制在6%以内，但只能确定车辆大小规模，不能够确定车辆具体车型、功能，其目的是为了减少第1节不同大小却形状相似的车辆之间的误判。基于傅里叶描述子检测车辆类型的算法，最大程度地提取了车辆的形状信息，且建立了图像库，可用于各种交通检测系统，更有利于现代智能交通的完善。
参考文献
[1] XU Zewei， CHEN Xianqiao.Vehicle recognition and classification method based on laser scanning point cloud data [C] //International Conference on Transportation Information and Safety（ICTIS）. [S.l.]： IEEEXplore， 2015：44?49.
[2] HSU G H， LIN L R， JAN R H， et al. Design of ETC violation enforcement system for non?payment vehicle searching [C]// Proceedings of International Conference on Advanced Communication Technology. [S.l.]： ICACT， 2013： 169?178.
[3] 赵涛，邓伟.结合PCA和FPD的傅里叶形状描述子[J].计算机工程，2011，37（21）：149?151.
[4] ZHAO Lele， WANG Bing， SHU Huazhong. Multi?scale Fourier descriptor with phase information for image retieval [C]// 1st International Conference on Energy Systems and Electrical Power. [S.l.： s.n.]， 2011： 5068?5075.
[5] MITHUN Niluthpol Chowdhury. Detection and classification of vehicle from video using multiple time?spatial images [J]. IEEE transactions on intelligent transportation systems， 2012， 13： 1215?1225.
[6] 黄震宇.成雅高速公路收费系统的设计与实现[D].成都：电子科技大学，2013.
[7] 张茜婷，闫国伟.基于三维逆投影图的车速检测[J].现代电子技术，2015，38（16）：70?72.
