基于深度学习的安全带检测系统

    王猛

    摘要：安全带检测是智能交通系统中的一个重要研究课题。本文提出了一种在复杂道路环境下，基于深度学习的安全带检测算法。首先从带标签的车辆区域、车窗区域以及安全带区域提取特征，通过深度学习算法训练检测器；然后，检测车辆、车窗及安全带3个部件的位置，根据各部件的相对位置关系以及检测得分训练一个支持向量机（SVM）分类模型，最后通过该分类模型对安全带区域进行精细定位与识别。该方法在道路监控摄像头采集的数据库上表现良好。

    关键词：安全带检测；深度学习；支持向量机；智能交通；特征提取

    中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）11-0240-03

    Abstract：Seat belt detection in intelligent transportation systems is an important research area. A seat belt detection algorithm for complex road backgrounds based on deep learning is proposed. It first extracts features from labeled vehicle， windshield， and seat belt regions， and those features are used to train the detection models by deep learning. Then， it detects the locations of the vehicle， windshield， and seat belt regions， and uses the relative positions among these vehicle components and their detection scores to train a support vector machine classification model. Finally， it performs a fine mapping and identification process using this classification model on the seat belt region. This method performs well when applied to a database of images collected by road surveillance cameras.

    Key words： Seat belt detection； deep learning； support vector machine； intelligent transportation； feature extraction

    针对驾驶员未系安全带的这种危险驾驶行为，以及为了响应公安部门的需求，目前出现了很多种安全带检测方法。现有的安全带检测方法大多是基于边缘检测[1-2]和Hough变换[3]的方法进行安全带检测。Guo等人[4]提出了安全带检测系统，包括安全带检测和驾驶员区域定位两个模块。该算法利用线性滤波器在HSV颜色空间[5]通过水平方向和垂直方向投影来确定车牌的位置，然后利用边缘检测算子（Sobel[6]，Canny[7]等）通过边缘检测得到车窗的上下边缘，再通过几何关系确定驾驶员区域的位置。该方法容易受到车身颜色影响，稳定性较差。

    为了解决安全带检测过程中的光照、车型、驾驶员着装等因素对检测结果的影响，本文提出了一种基于卷积神经网络（CNN[8]）的安全带检测系统。当采集到图片后，首先粗定位车辆区域，并根据检测算法得到车窗区域粗定位模块，找到图像上若干个车窗候选区域，最后通过安全带检测模型及支持向量机（SVM）分类器[9]处理得到安全带检测结果。

    1 基于深度学习的安全带检测

    1.1 CNN特征提取算法

    深度学习[11-12]是通过大量的简单神经元组成，根据非线性关系将底层特征抽象表示为高层特征。卷积神经网络[13]是一个多层的神经网络，每层由多个二维平面组成，而每个平面包括多个独立神经元。网络中由一些简单元和复杂元组成，分别记为S-元和C-元。

    1.2 检测模型的构建

    如图1所示，我们构建了由三个CNNs组成的多尺度的特征提取模型。每个CNN模型共有八层，其中有五个卷积层和三个全连接层。对于每一张图片，都会自动的提取三个嵌套的越来越小的矩形窗口的特征，分别为车辆区域、车窗区域以及安全带区域。这三个由CNNs提取的特征送到两个全连接层，第二个全连接层的输出被送到输出层，最后用线性支持向量机分类器对所有子块进行分类。

    2 实验结果

    2.1 车辆及车窗检测

    本实验训练集包括戴安全带和未戴安全带各2000张的车辆图像，测试集包括戴安全带和未戴安全带各100张的图像。本文共完成车辆检测、车窗检测和安全带检测三个实验。其中，对于车辆和车窗检测部分，使用检测率（CIR）和漏检率（MIR）来作为系统的评价指标，计算方式如下式所示：

    对于车辆检测实验，选取6000车辆图片用于训练模型。然后选取2000张车辆图片作为测试图片，并随机分成10份。检测结果示例如图2（a）。平均检测率为93.3%，平均漏检率为6.7%。同时，对比了基于Adaboost算法[10]的车辆检测模型，检测结果示例如图2（b），平均检测率为90.6%，平均漏检率为9.4%。

    由此可以看出，本文算法在相同的数据库上比Adaboost算法表现更好，具有更低的漏检率和误检率。并且车辆检测结果更适合用于后面的车窗检测实验。

    车窗检测实验的示例如图3所示。选取6000张车窗正面车窗图片用于训练模型，选取2000张图片作为测试集，并随机分成10份。平均检测率为93.6%，平均漏检率为9.4%。

    2.2 安全带检测

    对于安全带检测部分，使用检测率（CIR）、虚警率（WIR）和漏检率（MIR）作为安全带检测系统的评价指标，计算方式如下式所示：

    选取戴安全带和未戴安全带图片各2000张图片用于训练模型。选取2000安全带区域图片作为测试图片，并随机分成10份，每份包含戴安全带图片和未戴安全带图片各100张。通过基于深度学习的安全带检测算法，检测结果示例如图4所示，平均检测率为92.1%，平均虚警率为6.4%，平均漏检率为2.5%。

    3 结论

    安全带检测是智能交通系统中的一个重要研究课题。本文提出了一个高效的进行安全带检测的系统，对于检测部分，我们采用深度神经网络的特征提取方法，该特征更加适用于训练检测模型。同时，我们结合SVM的后处理，提高了安全带检测系统的鲁棒性，并且很大程度上减低了虚警率和漏检率。

    参考文献：

    [1] Ha D M， Lee J M， Kim， Y D. Neural-edge-based vehicle detection and traffic parameter extraction [J]. Image and vision computing， 2004， 22（11）： 899-907.

    [2] Song G Y， Lee K Y， Lee J W. Vehicle detection by edge-based candidate generation and appearance-based classification [C]//Intelligent Vehicles Symposium， IEEE， 2008： 428-433.

    [3] Ballard D H. Generalizing the Hough transform to detect arbitrary shapes [J]. Pattern recognition， 1981， 13（2）： 111-122.

    [4] Guo H， Lin H， Zhang S. Image-based seat belt detection [C]//2011 IEEE International Conference on Vehicular Electronics and Safety （ICVES）. IEEE， 2011： 161-164.

    [5] 王运琼， 游志胜. 基于色差均值的快速车窗定位算法[J]. 计算机应用与软件， 2004， 21（1）： 78-79.

    [6] 张建军， 罗静. 基于改进Sobel算子的表面裂纹边缘检测算法[J]. 合肥工业大学学报（自然科学版）， 2011年06期.

    [7] Ali M， Clausi D. Using the Canny edge detector for feature extraction and enhancement of remote sensing images [C]//IEEE 2001 International Geoscience and Remote Sensing Symposium. 2001：2298-2300.

    [8] Li Guanbin， Yu Yizhou. Visual Saliency Based on Multiscale Deep Features [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2015： 5455-5463.

    [9] 骆玉荣. 安全带识别系统的研究与实现[D]. 北京：北京工业大学， 2008.

    [10] 吴法. 图像处理与机器学习在未系安全带驾车检测中的应用[D]. 杭州：浙江大学， 2013.

    [11] A. Krizhevsky， I. Sutskever， G. E. Hinton. Imagenet classification with deep convolutional neural networks [C]//Advances in neural information processing systems， 2012：1097-1105.

    [12] 余凯贾磊陈雨强徐伟.深度学习的昨天，今大和明天[J].计算机研究与发展，2013，50（9）：1799-1804.

    [13] Ouyang W， Wang X. Joint deep learning for pedestrian detection[C]//Computer Vision（ICCV），2013 IEEE International Conference on. Conference on. IEEE，2013：2056-2063.