基于改进卷积神经网络的车牌识别方法
徐绍凯 陈尹 赵林娟 姜代红
摘 要：研究车牌识别技术时，存在着识别准确率波动较大，准确率较低等问题。为提高车牌识别准确率，提出了一种改进的卷积神经网络算法，在卷积神经网络模型的基础上对其层次、参数进行改进，通过设置对照实验获得较好的训练参数数值，使改进的卷积神经网络对车牌识别的准确率有一定提升。根据实验方案，对全连接神经网络、LeNet-5，以及改进的卷积神经网络在识别准确率方面进行对比实验，实验数据表明，改进的卷积神经网络在识别准确率方面高于全连接神经网络和LeNet-5。
关键词：机器学习；车牌识别；卷积神经网络
中图分类号：TP183 文献标识码：A
Abstract：In the study of license plate recognition technology，there are some problems，such as large fluctuation of recognition accuracy，low accuracy and so on.In order to improve the accuracy of license plate recognition，an improved convolutional neural network algorithm is proposed.On the basis of the convolutional neural network model，the hierarchy and parameters are optimized.Better training parameters are obtained by setting the control experiment，which enables the improved convolutional neural network to improve the accuracy of license plate recognition to a certain extent.According to the experimental scheme，a comparison experiment is carried out on the recognition accuracy of fully connected neural network，LeNet-5 and improved convolutional neural network.The experimental data shows that the improved onvolutional neural network is better than the other two neural networks in recognition accuracy.
Keywords：machine learning；license plate recognition；convolutional neural network
1 引言（Introduction）
全球的經济发展迅速，汽车数量不断增加，交通堵塞、交通事故多发、交通环境日趋恶化等问题是各个国家都无法忽视的，智能交通系统（简称ITS）[1]开始进入人们的视线。车牌识别技术（简称LPR）作为ITS领域中不可或缺的一部分发挥着越来越重要的作用。
由于缺乏大规模图像数据库和硬件性能不足，造成了早期的CNN不能处理复杂问题。近年来由于硬件技术上的突破和越来越多的大规模图像数据库被人民建立，CNN逐渐成为人工智能方面研究热点，随着对其不断的研究，许多新的结构被人们提出。近年比较有名的CNN结构有ResNet[2]、AlexNet[3]、VGGNet[4]、GoogleNet[5]等。在应用方面上，图像识别方面[6]，动态视频分析[7]、自然语言处理[8]等方面都取得了很多成果。由于CNN在图片识别方面具有很好的性能，所以将CNN应用到LPR领域。
本文首简单介绍卷积神经网络的结构，提出了几种改进方案对卷积神经网络的结构进行了改进，对于改进后的卷积神经网络结构进行介绍和分析，改进后的卷积神经网络解决了识别准确率低的问题。设计了实验方案，实验对比了改进卷积神经网络与、文献[9]中的卷积神经网络和全连接神经网络识别准确率，得出了改进后的卷积神经网络在识别准确率方面有所提升的结论
2 卷积神经网络结构（Convolution neural network structure）
卷积神经网络是近年来兴起的人工神经网络的一个特例，在图片和语言识别领域取得了较多的研究成果。这种技术被广泛传播和应用，最常见的应用是在计算机图像识别方面，药物发现、动态视频分析、自然语言处理也都使用了这门技术。
卷积神经网络不再是对图片的一个个像素点进行处理，而是使用卷积核对一块像素区域进行扫描，这种方法是为了加强图像信息的连续性，加深神经网络对图像的理解。经典的卷积神经网络主要由三个部分组成：输入层为第一部分，两层卷积层和降采样层构成第二部分，卷积层计算特征图公式如式（1）所示：
3 改进后的卷积神经网络（Improved convolution neural network）
3.1 设计方案
针对我国车牌中存在10个数字和24个字母（不包含I、O）的情况，我们将神经网络的输出层中的神经元个数改为34，对识别准确率方面提出以下方法进行改进：
（1）参照Lenet-5卷积神经网络结构添加C5层。
（2）在卷积层和降采样层之间添加标注化层。
（3）调整C5层的卷积核个数。
3.2 网络结构
改进后的卷积神经网络层次如图2所示。输入层为第一部分，由卷积层、激活函数、标准批处理层、池化层这三部分组成第二部分。全连接层、Softmax层和输出层构成第三部分。
改进后的卷积神经网络结构如图3所示，改进后的卷积神经网络结构各层介绍：（1）输入层为字符的图片，图片大小32×32；（2）C1为卷积层，输入图片经过该层后得到6张28×28的特征图，该层中共用了6个大小为5×5的过滤器；（3）S2为池化层，6张C1层处理得出的的特征图经过池化变成大小为 28×28 的特征图，每个过滤器大小为2×2；（4）C3为卷积层，池化处理过的图片经过C3层后得到16个10×10的特征图，每个过滤器大小为5×5，共16×6个卷积核；（5）S4为为池化层，16张C3层处理得出的的特征图经过池化变成大小为5×5的特征图，每个过滤器大小为2×2；（6）C5层为卷积层，池化处理过的图片经过C3层后得到120个1×1的特征图，每个过滤器大小为5×5；（7）F6层为全连接层，C5层的120个特征图经过F6层后得到120×1×1共120个神经元，输出节点数为84个；（9）输出层包含34个神经元，对应着34个字符的输出。
3.3 实验结果
实验环境：GPU为NVIDIA GTX960M独立显示芯片，2G独立显存；CPU为Intel i5-6300HQ，主频2.30GHz、4GB内存、4核；64位Microsoft Windows 10操作系统，MatlabR2017b编程语言。DeepLearnToolbox-master深度学习算法软件包，使用GPU计算。在Chars74K数据集中选取36040张字符图像，每个字符1060张，共34个字符（10类数字字符，24类字母字符，除去字母O和I）。
3.3.1 标准化层对识别准确率的影响
实验对象：卷积神经网络与改进卷积神经网络。实验结果如表1所示。
从表中可以看出在相同的参数下，加入标准化层与未加入标准化层的卷积神经网络在识别率上由94.12%提高到了94.95%。由此可以看出标准化层对卷积神经网络在识别准确率方面有一定提升。
3.3.2 C5层和C5层卷积核个数对识别率的影响
实验对象：卷积神经网络与含C5层的卷积神经网络。实验结果如表2所示。
从表中可以看出在相同的参数下，加入C5卷积层与未加入C5卷積层的卷积神经网络在识别率上由94.12%提高到了94.83。根据该实验数据可以得出C5卷积层在提高识别准确率方面有着一定效果。
实验对象：C5层卷积核个数。实验结果如表3所示。
从表中可以看出C5层卷积核个数对识别准确率有着一定的影响，随着卷积核个数的提高识别准确率也随之提高，这体现了在输出层的神经元个数增加后，识别精度随着卷积核数增加而提高，但当卷积核数增加到一定数目时，识别精度不会提高。
3.3.3 三种神经网络的对比
实验对象：全连接神经网络、卷积神经网络与改进卷积神经网络。参数设置：迭代次数30，学习率0.003，实验数据集：4200张样本图片。实验结果如表4所示。
从表中可以看出改进后的卷积神经网络与全连接神经网络相比识别准确率提高了约10%，与卷积神经网络相对比识别准确率提高了约2%。
3.3.4 三种神经网络准确率对比图
图4表示的是这三种神经网络在相同迭代次数下的准确率对比图，长划线类型曲线代表全连接神经网络的准确率变化图，系统点线类型曲线代表LeNet-5神经网络的准确率变化图，长划线—点线类型代表改进后的卷积神经网络准准确率变化图。由图4可知，卷积神经网络在图像识别方面确实优于全连接神经网络，而改进后的卷积神经网络的识别准确率最好。
4 结论（Conclusion）
本文对卷积神经网络对车牌识别方面进行了深入的研究。为了提高车牌识别准确率，我们对卷积神经网络的层次结构进行改进，改进后的卷积神经网络经过试验中参数的调整准确率达到了96.24%，相较于经典的卷积神经网络准确率提高了大约2%。
参考文献（References）
[1] 赵娜，袁家斌，徐晗.智能交通系统综述[J].计算机科学，2014，41（11）：7-11；45.
[2] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[EB/OL].https：//arx-iv.org/abs/1512.03385，2016-12-10.
[3] Ding，H.Li，C.Hu，et al.ALEXNET FEATURE EXTRACTION AND MULTI-KERNEL LEARNING FOR OBJECTORIENTEDCLASSIFICATION[J].ISPRS-International Archives of the Photogrammetry，Remote Sensing and SpatialInformationSciences，2018，XLII-3.
[4] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[EB/OL].https：//arxiv.org/abs/1409.1556，2016-12-10.
[5] Pengjie Tang，Hanli Wang，Sam Kwong.G-MS2F：GoogLeNet based multistage feature fusion of deep CNN for scene recognition[J].Neurocomputing，2017，225（15）：188-197.
[6] 易超人，邓燕妮.多通道卷积神经网络图像识别方法[J].河南科技大学学报（自然科学版），2017，38（03）：41-44；5-6.
[7] 单勇，程环环，张晓燕.基于多观察层次动态贝叶斯网络的视频行为分析[J].电路与系统学报，2012，17（06）：124-131.
[8] 奚雪峰，周国栋.面向自然语言处理的深度学习研究[J].自动化学报，2016，42（10）：1445-1465.
[9] 赵志宏，杨绍普，马增强.基于卷积神经网络LeNet-5的车牌字符识别研究[J].系统仿真学报，2010，22（03）：638-641.
作者简介：
徐绍凯（1997-），男，本科生.研究领域：软件开发，人工智能.
陈 尹（1997-），男，本科生.研究领域：软件开发，人工智能.
赵林娟（1993-），女，本科生.研究领域：软件开发，人工智能.
姜代红（1969-），女，博士，教授.研究领域：数据库，人工智能.
摘 要：研究车牌识别技术时，存在着识别准确率波动较大，准确率较低等问题。为提高车牌识别准确率，提出了一种改进的卷积神经网络算法，在卷积神经网络模型的基础上对其层次、参数进行改进，通过设置对照实验获得较好的训练参数数值，使改进的卷积神经网络对车牌识别的准确率有一定提升。根据实验方案，对全连接神经网络、LeNet-5，以及改进的卷积神经网络在识别准确率方面进行对比实验，实验数据表明，改进的卷积神经网络在识别准确率方面高于全连接神经网络和LeNet-5。
关键词：机器学习；车牌识别；卷积神经网络
中图分类号：TP183 文献标识码：A
Abstract：In the study of license plate recognition technology，there are some problems，such as large fluctuation of recognition accuracy，low accuracy and so on.In order to improve the accuracy of license plate recognition，an improved convolutional neural network algorithm is proposed.On the basis of the convolutional neural network model，the hierarchy and parameters are optimized.Better training parameters are obtained by setting the control experiment，which enables the improved convolutional neural network to improve the accuracy of license plate recognition to a certain extent.According to the experimental scheme，a comparison experiment is carried out on the recognition accuracy of fully connected neural network，LeNet-5 and improved convolutional neural network.The experimental data shows that the improved onvolutional neural network is better than the other two neural networks in recognition accuracy.
Keywords：machine learning；license plate recognition；convolutional neural network
1 引言（Introduction）
全球的經济发展迅速，汽车数量不断增加，交通堵塞、交通事故多发、交通环境日趋恶化等问题是各个国家都无法忽视的，智能交通系统（简称ITS）[1]开始进入人们的视线。车牌识别技术（简称LPR）作为ITS领域中不可或缺的一部分发挥着越来越重要的作用。
由于缺乏大规模图像数据库和硬件性能不足，造成了早期的CNN不能处理复杂问题。近年来由于硬件技术上的突破和越来越多的大规模图像数据库被人民建立，CNN逐渐成为人工智能方面研究热点，随着对其不断的研究，许多新的结构被人们提出。近年比较有名的CNN结构有ResNet[2]、AlexNet[3]、VGGNet[4]、GoogleNet[5]等。在应用方面上，图像识别方面[6]，动态视频分析[7]、自然语言处理[8]等方面都取得了很多成果。由于CNN在图片识别方面具有很好的性能，所以将CNN应用到LPR领域。
本文首简单介绍卷积神经网络的结构，提出了几种改进方案对卷积神经网络的结构进行了改进，对于改进后的卷积神经网络结构进行介绍和分析，改进后的卷积神经网络解决了识别准确率低的问题。设计了实验方案，实验对比了改进卷积神经网络与、文献[9]中的卷积神经网络和全连接神经网络识别准确率，得出了改进后的卷积神经网络在识别准确率方面有所提升的结论
2 卷积神经网络结构（Convolution neural network structure）
卷积神经网络是近年来兴起的人工神经网络的一个特例，在图片和语言识别领域取得了较多的研究成果。这种技术被广泛传播和应用，最常见的应用是在计算机图像识别方面，药物发现、动态视频分析、自然语言处理也都使用了这门技术。
卷积神经网络不再是对图片的一个个像素点进行处理，而是使用卷积核对一块像素区域进行扫描，这种方法是为了加强图像信息的连续性，加深神经网络对图像的理解。经典的卷积神经网络主要由三个部分组成：输入层为第一部分，两层卷积层和降采样层构成第二部分，卷积层计算特征图公式如式（1）所示：
3 改进后的卷积神经网络（Improved convolution neural network）
3.1 设计方案
针对我国车牌中存在10个数字和24个字母（不包含I、O）的情况，我们将神经网络的输出层中的神经元个数改为34，对识别准确率方面提出以下方法进行改进：
（1）参照Lenet-5卷积神经网络结构添加C5层。
（2）在卷积层和降采样层之间添加标注化层。
（3）调整C5层的卷积核个数。
3.2 网络结构
改进后的卷积神经网络层次如图2所示。输入层为第一部分，由卷积层、激活函数、标准批处理层、池化层这三部分组成第二部分。全连接层、Softmax层和输出层构成第三部分。
改进后的卷积神经网络结构如图3所示，改进后的卷积神经网络结构各层介绍：（1）输入层为字符的图片，图片大小32×32；（2）C1为卷积层，输入图片经过该层后得到6张28×28的特征图，该层中共用了6个大小为5×5的过滤器；（3）S2为池化层，6张C1层处理得出的的特征图经过池化变成大小为 28×28 的特征图，每个过滤器大小为2×2；（4）C3为卷积层，池化处理过的图片经过C3层后得到16个10×10的特征图，每个过滤器大小为5×5，共16×6个卷积核；（5）S4为为池化层，16张C3层处理得出的的特征图经过池化变成大小为5×5的特征图，每个过滤器大小为2×2；（6）C5层为卷积层，池化处理过的图片经过C3层后得到120个1×1的特征图，每个过滤器大小为5×5；（7）F6层为全连接层，C5层的120个特征图经过F6层后得到120×1×1共120个神经元，输出节点数为84个；（9）输出层包含34个神经元，对应着34个字符的输出。
3.3 实验结果
实验环境：GPU为NVIDIA GTX960M独立显示芯片，2G独立显存；CPU为Intel i5-6300HQ，主频2.30GHz、4GB内存、4核；64位Microsoft Windows 10操作系统，MatlabR2017b编程语言。DeepLearnToolbox-master深度学习算法软件包，使用GPU计算。在Chars74K数据集中选取36040张字符图像，每个字符1060张，共34个字符（10类数字字符，24类字母字符，除去字母O和I）。
3.3.1 标准化层对识别准确率的影响
实验对象：卷积神经网络与改进卷积神经网络。实验结果如表1所示。
从表中可以看出在相同的参数下，加入标准化层与未加入标准化层的卷积神经网络在识别率上由94.12%提高到了94.95%。由此可以看出标准化层对卷积神经网络在识别准确率方面有一定提升。
3.3.2 C5层和C5层卷积核个数对识别率的影响
实验对象：卷积神经网络与含C5层的卷积神经网络。实验结果如表2所示。
从表中可以看出在相同的参数下，加入C5卷积层与未加入C5卷積层的卷积神经网络在识别率上由94.12%提高到了94.83。根据该实验数据可以得出C5卷积层在提高识别准确率方面有着一定效果。
实验对象：C5层卷积核个数。实验结果如表3所示。
从表中可以看出C5层卷积核个数对识别准确率有着一定的影响，随着卷积核个数的提高识别准确率也随之提高，这体现了在输出层的神经元个数增加后，识别精度随着卷积核数增加而提高，但当卷积核数增加到一定数目时，识别精度不会提高。
3.3.3 三种神经网络的对比
实验对象：全连接神经网络、卷积神经网络与改进卷积神经网络。参数设置：迭代次数30，学习率0.003，实验数据集：4200张样本图片。实验结果如表4所示。
从表中可以看出改进后的卷积神经网络与全连接神经网络相比识别准确率提高了约10%，与卷积神经网络相对比识别准确率提高了约2%。
3.3.4 三种神经网络准确率对比图
图4表示的是这三种神经网络在相同迭代次数下的准确率对比图，长划线类型曲线代表全连接神经网络的准确率变化图，系统点线类型曲线代表LeNet-5神经网络的准确率变化图，长划线—点线类型代表改进后的卷积神经网络准准确率变化图。由图4可知，卷积神经网络在图像识别方面确实优于全连接神经网络，而改进后的卷积神经网络的识别准确率最好。
4 结论（Conclusion）
本文对卷积神经网络对车牌识别方面进行了深入的研究。为了提高车牌识别准确率，我们对卷积神经网络的层次结构进行改进，改进后的卷积神经网络经过试验中参数的调整准确率达到了96.24%，相较于经典的卷积神经网络准确率提高了大约2%。
参考文献（References）
[1] 赵娜，袁家斌，徐晗.智能交通系统综述[J].计算机科学，2014，41（11）：7-11；45.
[2] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[EB/OL].https：//arx-iv.org/abs/1512.03385，2016-12-10.
[3] Ding，H.Li，C.Hu，et al.ALEXNET FEATURE EXTRACTION AND MULTI-KERNEL LEARNING FOR OBJECTORIENTEDCLASSIFICATION[J].ISPRS-International Archives of the Photogrammetry，Remote Sensing and SpatialInformationSciences，2018，XLII-3.
[4] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[EB/OL].https：//arxiv.org/abs/1409.1556，2016-12-10.
[5] Pengjie Tang，Hanli Wang，Sam Kwong.G-MS2F：GoogLeNet based multistage feature fusion of deep CNN for scene recognition[J].Neurocomputing，2017，225（15）：188-197.
[6] 易超人，邓燕妮.多通道卷积神经网络图像识别方法[J].河南科技大学学报（自然科学版），2017，38（03）：41-44；5-6.
[7] 单勇，程环环，张晓燕.基于多观察层次动态贝叶斯网络的视频行为分析[J].电路与系统学报，2012，17（06）：124-131.
[8] 奚雪峰，周国栋.面向自然语言处理的深度学习研究[J].自动化学报，2016，42（10）：1445-1465.
[9] 赵志宏，杨绍普，马增强.基于卷积神经网络LeNet-5的车牌字符识别研究[J].系统仿真学报，2010，22（03）：638-641.
作者简介：
徐绍凯（1997-），男，本科生.研究领域：软件开发，人工智能.
陈 尹（1997-），男，本科生.研究领域：软件开发，人工智能.
赵林娟（1993-），女，本科生.研究领域：软件开发，人工智能.
姜代红（1969-），女，博士，教授.研究领域：数据库，人工智能.
