| 标题 | 一种基于HOG和颜色自相似性特征的行人检测方法 |
| 范文 | 张金慧+吴斌+邵延华 摘要：行人检测在计算机视觉领域中越来越广泛的应用，使其有着重要的研究意义。尽管技术得到了显著的改进，行人检测仍然是一个存在挑战的难题，需要更精确更高效的算法。针对HOG特征的传统检测方法中存在的问题，该文提出一种融合颜色自相似性（CSS）特征的方法。利用颜色自相似性特征与描述人体轮廓特征的HOG特征互补，CSS反映图像内在几何布局和形状属性的特性，为提高检测效率，使用经主成分分析法（PCA）降维处理HOG和CSS特征。实验采用INRIA数据集作为训练样本训练SVM。对比单一使用HOG，该文的方法在检测速度和准确性上得到有效提高。实验结果也验证了本算法的有效性。 关键词：行人检测；梯度方向直方图；颜色自相似性；融合 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）02-0146-03 Method Human Detection Based on HOG and CSS Characteristics ZHANG Jin-hui， WU Bin， SHAO Yan-hua （School of information and engineering， Southwest University of Science and Technology，Mianyang 621010， China） Abstract： Pedestrian detection is becoming more and more widely used in the field of computer vision， and it has important research significance. Despite the significant improvements in technology， pedestrian detection is still a challenging problem， requiring more accurate and efficient algorithms. For the existing problems in the traditional detection of HOG， this paper proposes a method of fusing color self similarity （CSS） features. CSS is complementary to the HOG that describes the human contour features. CSS reflects the intrinsic geometric and shape attributes of the image. To improve the detection efficiency， we use the principal component analysis （PCA） to reduce the dimension of the HOG and CSS. The INRIA data set is used as training sample to train SVM. Compared with single use of HOG， this method has been effectively improved in detection speed and accuracy. The experimental results also verify the effectiveness of the algorithm. Key words： pedestrian detection； HOG； CSS； fusion 1 背景 人類只需要几眼就能分辨事物和人，确认事件性质并发现可能存在的危险。不同视觉刺激的正确解释是人类能够完成复杂任务的关键，特定的计算机视觉算法旨在以单帧或者一系列帧的形式自动解读场景的视觉内容，并作出相应的反应[1]。随着整个社会AI技术的发展和推广，行人检测成为多个领域中许多高级应用的关键技术。而且，越来越强大的硬件系统的诞生使行人检测在精度和效率方面得到了显著的改进。 人与物之间相互遮挡、人体姿势变化、服饰多样、光照强弱、背景杂波以及视角等原因使准确快速地检测行人的难度加大。为提高行人检测的检测准确率，提高检测速度，国内外研究人员经历了十多年的研究，提出了各种方案，取得了很好的研究成绩。根据现有技术的总结分类，可将检测技术的方法分为基于行人模型、基于特征分类和基于深度学习的方法等，其中大多数都是基于特征分类的，常用到的特征有Haar特征[2]、梯度方向直方图（HOG）[3]、尺度不变特征（SIFT）[4]、局部二进制模式（LBP）[5]、颜色自相似性特征（CSS）[6]、协方差[7]以及局部自相似性特征（LSS）[8]等。其中，Haar特征适用于有固定结构的目标；SIFT特征具有强烈方向及亮度性，适合检测图像几何和光学变化较弱的目标；最初LBP的特征主要用于识别人脸；HOG特征主要是描述人体的轮廓信息，在图像的局部单元格上进行操作，能很好地识别出人体动作的细微变化。但由于HOG特征的计算量大，对外界噪声干扰鲁棒性不强，在进行检测时会出现漏检和误检。由于使用单一特征检测存在一定的局限性，本文将结合颜色自相似性特征，在视频帧图像中提取HOG和CSS特征，融合这两个特征获得描述行人的特征算子，结合SVM分类检测。 2 算法分析 当改变图像几何或者光照时，HOG特征能保持良好的不变性。HOG特征对人体的边缘轮廓有比较强的描述能力，只要行人大体上保持直立状态，即便是有细微的变化，使用HOG也能有较好的检测效果。但HOG对背景以及身体躯干特征描述不明显，并且稳定性差。而CSS特征更容易捕捉人体躯干等信息，所以将这两种特征联合起来描述行人，在获得行人梯度信息的同时，也能获取身体的颜色信息，一定程度上加多行人的描述特征信息可以提高检测的准确度。 本文的行人检测算法步骤如下： 1） 输入视频源图像，高斯降噪处理和归一化处理。 2） 提取图像预处理后的HOG和CSS特征，构成[α]、[β]特征集。 3） 分别计算HOG、CSS特征的特征值、特征向量和协方差矩阵。 4） PCA降维处理HOG特征、CSS特征并串行融合构成特征C。 5） 将特征C输入线性SVM进行判别检测。 本文中行人检测的流程图如下所示： 2.1 HOG特征 2005年，Dalal等提出使用HOG结合SVM的方法，在检测行人时取得较好的效果，成为经典的行人检测方法。HOG特征描述了图像局部区域的梯度强度以及梯度方向分布，能很好地表达行人的外观和形状，对光照和小量的偏移具有很好的鲁棒性能。但HOG特征的维度比较高，满足不了实时性检测的要求。近年来，有不少的研究人员致力于研究行人检测，提出各种改进基于HOG的检测方法，有效地改善了检测效果。HOG特征提取的具体步骤： ①采用伽玛压缩进行用全局图像归一化。此步骤可有效减少光照和对比度对图像的影响。 ②计算图像梯度并统计局部图像梯度信息。把样本图像分割成若干8×8像素的单元细胞（cell），计算每个cell的一个1-D的加权梯度方向直方图；每个单元内将[-π2，π2]的梯度方向平均划分成9个区間（bin），统计各个方向bin区间的像素梯度幅值，得到一个9维特征向量。 ③计算块中的直方图。每相邻4个单元（2×2 cell）为一个块（block），联起4个单元的特征向量得到该块的36维梯度方向直方图向量。 ④特征向量归一化。采用L2-Norm with Hysteresis threshold方式归一化特征向量，并将直方图向量中的bin值限制在0.2以下，归一化处理后的特征向量对光照、阴影、边缘对比度等具有更好的不变性。 ⑤生成HOG特征。组合起来所有块中的HOG描述向量，生成最后的特征向量，得到的特征向量描述图像检测窗口中的的图像内容。比如，用块大小的窗口扫描对样本图像，移动步长为一个单元，将最后所有的块的特征串联起来生成样本图像中行人的特征。本文中采用样本图像大小为64×128，最后就获得3780维的HOG特征向量。 2.2 颜色自相似性 作为图像的一项重要辨别信息，颜色特征不会受图像的旋转、平移以及尺度变化等改变，并且由于计算简单和其稳定性，颜色在图像处理中得到广泛的研究和应用。颜色是人类识别图像的感知特征之一，基于颜色特征的信息检索渐渐成为图像信息搜索中的一项重要的方式。 行人衣着服饰多色，行走的姿势各样，在识别行人的过程中，使能准确描述行人的特征的难度加大。但行人的身体具有一定的结构特性，身体本身和服饰在某种程度上具备一定的自相似性，比如人脸的肤色与两只手臂的皮肤颜色，或者是两条裤腿、两只脚的颜色等都有一定的对称性。利用人体结构部位具有相对稳定的特征，Walk等人提出一种在某颜色通道上的自相似性特征。CSS特征是根据人眼视觉对颜色的认识习惯，描述图像中不同区域间的颜色的相似性关系。颜色自相似性特征（CSS）提取步骤如下： ①空间转换。对输入的彩色样本图像进行颜色空间转换，转换到HSV空间，分别为在H、S、V的三个颜色通道上的图像（图3），并分别在这三个通道图像上构建和提取特征。 ②统计直方图信息。颜色自相似性特征是基于某个图像通道R的一个矩形框内数值之和的矩形特征的。对两个矩形[C1]、[C2]（两矩形块的长宽相同，在同一图像中位置不同）通过下式作差，衡量它们的相似度。 [MRC=u，v∈Cx，y，w，hRu，v]（1），[FRC1，C2=MRC1-MRC2] （2） ③条件约束。假如矩形块之间的位置相差比较大，光照等会带来比较大的影响。因此，需要对矩形块位置引入领域约束。 [C1x-C2x≤ra-1C1w] （3） [C1y-C2y≤ra-1C1h] （4） 上式中[x]、[y]、[w]、[h]分别是矩形的左上顶点坐标和宽高，[ra]是领域约束值（一般默认取3）。本文中的两个矩形块相似性比较采用的是差值比较，比值结果在约束范围内，差值在4以内，则认为两矩形块相似对称，检测为人的可能性较高。 ④生成CSS特征。将图像中所有块的直方图信息组合起来形成最终的CSS特征向量。比如，统计一副大小为64×128的HSV直方图信息，将其分割成8×8的小块，则共有8×16=128个块，分别将第1个块与其后127个块求直方图相交的距离，继续将第2个块与其后126个块分别求直方图相交的距离，以此类推，生成一个描述颜色自相似性的N×（N-1）/2=8128（N=128）维度的特征。 2.3 PCA降维 由上可知，HOG特征和CSS特征的维度都比较高，导致获得的描述行人的特征中存在大量的冗余信息，会影响检测速率，对此，本文将在HOG与CSS特征提取后加入PCA降维处理，即对原样本空间进行空间变化，将其投影到一个新的维度较低、相互正交的空间上，最后生成HOG-PCA，CSS-PCA特征。 一般是通过此公式计算特征主成分： [y=UTxi-x] （5） 其中y为主成分特征，[x]为训练样本的特征均值，[xi]为需降维的特征，[UT]为协方差矩阵，其计算公式有： [UT=1Nn=1Nxi-xxi-xT] （6） 进一步的，基于HOG的降维步骤：1）计算训练样本HOG特征均值[x1]；2）计算HOG的特征值、特征向量以及协方差矩阵[U1]；3）取计算得到的协方差矩阵前p个主成分，分别对每个HOG特征降维，得到降维处理后的HOG特征。 2.4 特征融合 当物体遮挡住行人时，HOG特征检测效果会受到影响，CSS特征由于其特征的本性可以很好的处理这种情况。而且，单纯使用HOG特征在检测过程中需对图像进行缩放，在不同的尺度下计算特征，这样会降低行人检测的速度，CSS特征能克服此不足。并行融合特征的方式相对复杂，而串行特征融合的方法简单易行，运算量少。因此，本文中根据HOG与CSS特征提取原理以及特征特点等的不同，采用串行融合方式。合并后的特征为：[γ=αβ，α∈A，β∈B，γ∈C]（7），[α]，[β]和[γ]分别代表HOG-PCA和CSS-PCA。 3 实验结果及分析 3.1 实验背景 本文的实验环境为64位Windows8和 MATLAB2012，计算机的配置为2.8GHz CPU和6GB内存，采用INRIA数据集，训练集中包含2416张行人图像的正样本和2436张负样本（从数据集中的1218张负样本图像中每张随机截取2张图像）。INRIA数据库的图像背景多样，行人姿势多变，更接近模拟复杂的现实场景，实用性较强，检测结果更为准确。 至于PCA维数为多少时，检测效果最优，需要经过多次实验才能确定。基于INRIA行人数据库，对比多个主成分值的实验效果，结果如下图所示： 上表中的结果显示，PCA维度p取值在大约为300时，HOG检测效果达到峰值，而PCA维度p取值为2000左右时，CSS检测识别效果呈现最优。下表将列举出降维后的融合特征和未进行降维处理的融合特征在训练时间、检测时间以及识别率的比较。 3.2 实验结果 本文采用的检测方法，相比较于使用单一HOG特征，融合分别降维处理后的两个特征在识别率和识别效率上得到提高。输入一段监控视频，经过本算法的检测，显示的检测结果如下所示： 4 结束语 本文提出一种利用PCA降维的HOG特征与颜色自相似性特征融合的行人检测方法，对比使用单一一种特征检测，改善检测效果，验证了此方法的有效性。利用PCA将HOG特征的维数从3780维降至300维，串行融合颜色自相似性特征，结合线性SVM分类器判断检测，提高行人识别率，也降低了整个过程中的训练时间和检测时间。本文提出的方法虽然在检测速度和准确率上有了一定的提高，但是在情景复杂的环境中实现准确的检测还存在一定的难度，要达到实时检测的要求还需要进一步的改进，所以下一步的可以考虑再融合一个LBP纹理特征解决检测精度的问题，并引入积分图等方法解决计算复杂度的问题。 参考文献： [1] Tome D， Monti F， Baroffio L， et al. Deep Convolutional Neural Networks for pedestrian detection[J]. Signal Processing-image Communication， 2016，47（C）：482-489. [2] Mohan A， Papageorgiou C， Poggio T. Example-based object detection in images by components[J]. PAMI， 2001， 23（4）：349-361. [3] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. CVPR， 2005： 886-893. [4] Lowe D G. Distincive image features from scale-invariant keypoints[C]. IJCV， 2004. [5] Mu Y， Yan S， Liu Y， et al. Discriminative local binary patterns for human detection in personal album[C]. CVPR， 2008： 1-8. [6] Walk S， Majer N， Schindler K， et al. New features and insights for pedestrian detection[C]. CVPR， 2010： 1030-1037. [7] Tuzel O， Porikli F， Meer P. Pedestrian detection via classification on Riemannian manifolds[J]. PAMI， 2008， 30（10）：1713-1727. [8] 顧志航，陈淑荣.一种基于HOG与LSS融合的行人检测算法[J].微型机与应用，2016，35（8）：37-39，43. |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。