基于改进多块局部二进制模式的人眼定位算法
鹿艳晶++方加娟
摘 要： 人眼定位是人脸识别系统中必须解决的问题，为了提高人眼定位的精确度和速度，提出一种基于改进多块局部二进制模式的眼睛中心定位算法。该算法构建了所有可能的弱分类器作为多分支的树枝，然后通过三个强分类器和迭代计算确认眼睛中心点。基于标准BioID和FERET图像数据库，将提出算法与其他两种方法进行比较，实验结果显示提出方法的精确度更高。失真图像的测试结果表明，对噪声失真而言，提出的算法足够稳健。
关键词： 人脸识别； 人眼中心定位； 局部二进制模式； 分类器
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）11?0058?03
Human eye positioning algorithm based on improved multi?block local binary pattern
LU Yanjing1， FANG Jiajuan1， 2
（1. Department of Software Engineering， Zhengzhou Technical College， Zhengzhou 450121， China；
2. College of Computer Science and Engineering， Nanjing University of Science and Technology， Nanjing 210094， China）
Abstract： The human eye positioning is a problem which must be solved for the human face recognition system. In order to improve the accuracy and speed of human eye localization， a human eye center positioning algorithm based on improved multi?block local binary pattern is proposed. All possible weak classifiers were constructed as the branchy branches with the algorithm. The center point of the human eye is confirmed by means of three strong classifiers and iterative computation. On the basis of standard BioID and FERET image database， the proposed algorithm is compared with other two methods. The experimental results show that the proposed algorithm has higher accuracy. The test results of the distorted image show that the algorithm is robust enough for noise distortion.
Keywords： human face recognition； human eye center positioning； local binary pattern； classifier
0 引 言
作為人脸最富有表现力和特征的一部分，眼睛是脸部分析非常重要的信息来源。眼睛中心定位是人脸识别系统中至关重要的一步，诸如凝视估计、姿态估计、表达分析、脸部追踪、脸部识别、脸部表情识别、以及人机界面等[1]。然而，由于眼睛的外观变化程度高，比如大小、形状、颜色、纹理和各种外界环境的变化，眼睛中心的精确定位问题具有较大的挑战性。
在参考文献[2?4]中，研究人员发现眼睛定位的准确性对人脸识别的精确度有很大的影响，这就有必要在现实生活的场景中实现稳健又准确的眼睛定位。文献[5]提出基于多块局部二值模式特征的 adaboost算法和模板匹配的人眼定位方法。文献[6]提出基于图像梯度的算法。上述两种方法的精确度较高，但是实现步骤较复杂。文献[7]提出一种贝叶斯方法，但是在处理低质量图片时精确度不高。
因此，本文提出一种简单的基于改进局部二进制模式的迭代眼睛中心定位算法。该算法构建了所有可能的弱分类器作为多分支的树枝，然后通过三个强分类器和迭代计算来确认眼睛中心点。基于标准的BioID和FERET图像数据库将提出的眼睛中心定位算法与其他先进的方法相比较，测试结果证明了提出算法的先进性和稳健性。
1 提出的眼睛中心定位方法
近年来，有许多基于多块局部二进制模式（Multi?block Local Binary Patterns，MB?LBP）的方法得到了图像处理研究领域越来越多的关注[8?10]。MB?LBP理论上简单，但是在处理图像的矩形区域方面却是高效的运算方法。为了对矩形进行编码，通过比较中央矩形与其相邻矩形的平均强度，对MB?LBP运算公式进行了定义[9]：
（1）
其中的定义如下：
（2）
式中：表示中心矩形的平均强度；表示其相邻矩形的强度。
图像表示为特征向量其中为MB?LBP所有可能的数值。数量由图像大小进行定义。
本文提出将所需训练集合表示为成对的数值，其中表示例子的等级标签。强分类器由弱分类器叠加构成：
（3）
在每个步骤中，构建所有可能的弱分类器作为多分支的树枝。多分支的树枝总共有256个树枝，而且每个树枝对应MB?LBP特征的特定离散数值。在步骤中，为了最小化加权平方误差，选择弱分类器：
（4）
在此之后，作为训练例子的权重根据式（5）和式（6）进行更新：
（5）
（6）
对于三个比例的眼孔图样而言，构建三个强分类器和。
本文提出算法的流程如图1所示。对最初检测到的脸进行转换，构造出积分图像。之后，在搜索窗口发现个点，具备粗分类器的最大输出值。如果这个点值的总和小于阈值或脸的宽度最小值那么具备最大值的点就被认为是眼睛的中心，否则将脸部图像转换为规模较小的图像，并且重复相同的过程。三个比例的眼孔图样分别对应三个强分类器，如图2所示。
对于低分辨率的脸部图像，仅仅使用粗分类器。同样，更多数量的分类器可以应用构造高分辨率的图像。
2 评估指标
为了验证提出算法的性能，选择普通和失真的图像进行实验。对左右眼睛中心进行定位测试。选择两种较先进的方法（简单的贝叶斯方法[7]和基于圖像梯度的算法[6]），与提出算法进行比较。
2.1 标准数据库
在试验的第一部分中，从BioID数据库[6]和FERET数据库[7]提取图像进行试验。
FERET图像都是在室内拍摄，有良好的分辨率，优质的图像质量以及有限的照明变化。在这些图像中，脸部姿态通常非常接近前额。在实验中，把选自FERET的3 363张图片分成两个部分：一部分图像用于训练；另一部分图像用于测试。MB?LBP和贝叶斯算法都是从3 363张图片中选择1 000张进行训练，不需要对梯度探测器进行培训。在其余的2 363张前额图像中，人脸检测器能够准确检测到脸部的有2 350张图片，这些图片被保留用于测试。
BioID数据库包含23个不同测试者的1 521张灰度级图像，在不同的位置，在白天不同的时段拍摄这些图像，产生可变的光照条件，可与户外场景相媲美。在1 521张图像中，人脸检测器正确检测到脸部的有1 469张图片，将这些图片作为所有算法的测试集。
2.2 图像失真
噪声成像条件引起图像的非线性失真，并且对图像质量有重大的影响。因此眼睛定位系统的噪声失真应该具有稳健性。
选择FERET数据库进行图像失真实验。噪声失真均应用来自FERET数据库的图像：加性高斯白噪声（AWGN）。
2.3 误差测量
归一化误差[10]用于评估眼睛的定位位置和地面实际位置之间的误差：
（7）
其中和分别为左右眼睛的地面实际位置；和是该算法定位的眼睛位置。
3 实验结果
在本节中，简单的贝叶斯方法、本文方法以及基于图像梯度的算法，三种方法的实验结果如图3所示。图3显示了普通图像在FERET数据库和BioID数据库的归一化误差曲线。曲线显示图像的归一化数量，图像的归一化误差率等于或者小于横坐标轴上对应的数值。
从BioID数据库的试验结果可以看出，改进MB?LBP在大误差范围内的准确度更高，但是在小误差范围内的准确度较低。改进MB?LBP定位眼睛中心，图像以100%的比例显示，误差率等于或者小于0.25。90%以上的图像误差率还可以等于或者小于0.1，而使用其他方法来处理相同数量的图像，它们的误差率更高。
处理更高品质的图像，基于改进MB?LBP的算法得出的实验结果胜过基于图像梯度的算法得出的实验结果，类似于贝叶斯方法得出的实验结果，具备加性高斯白噪声的图像产生的峰值信噪比（PSNR）>27 dB。同样，当处理品质较差的图像（如失真图像）时，改进MB?LBP要比其他方法更胜一筹。实验结果见图4。
三种不同的方法实现眼睛中心定位的时间结果如表1所示，可以看出提出算法的速度明显优于其他两种方法。
图5为从FERET数据库提取的人脸识别的结果。表示人脸识别率，err表示眼睛中心定位误差。可以看到，眼睛定位的精确度对人脸识别率有很大的影响。正确定位眼睛中心的人脸识别率等于98%，定位误差小于50%，误差> 0.15。
图5 人脸识别率
4 结 论
本文提出一种新的基于MB?LBP的眼睛中心定位算法。测试结果表明，在误差范围比较大的情况下，尤其是应用BioID数据库时，相比基于图像梯度计算和简单的贝叶斯方法，提出的算法精确度更高。失真图像的测试结果表明，对噪声失真而言，提出的新算法足够稳健，而且可以提高人脸识别率。
参考文献
[1] 刘淑琴，彭进业.基于人眼视觉的航空图像检索仿真[J].计算机仿真，2013，30（12）：395?398.
[2] 张波，王文军，张伟，等.驾驶人眼睛局部区域定位算法[J].清华大学学报（自然科学版），2014（6）：756?762.
[3] 郝明刚，董秀成，黄亚勤.一种精确的人眼瞳孔定位算法[J].计算机工程，2012，38（8）：141?143.
[4] 王灿进， 孙涛，王锐，等.基于彩色二进制局部不变特征的图像配准[J].中国激光，2015（1）：260?268.
[5] 王小玉，张亚洲，陈德运.基于多块局部二值模式特征和人眼定位的人脸检测[J].仪器仪表学报，2014（12）：2739?2745.
[6] TIMM F， BARTH E. Accurate eye centre localization by means of gradients [C]// Proceedings of the Sixth International Conference on Computer Vision Theory and Applications. [S.l.]： IEEE， 2011： 125?130.
[7] 谭台哲，叶青.基于形态学商模板的人眼定位方法[J].计算机应用与软件，2015，32（1）：194?198.
[8] 邓亮，张新曼，许学斌，等.一种结合分离滤波器与局部二进模式的快速人眼定位方法[J].微电子学与计算机，2011，28（6）：36?40.
[9] 刘丽，谢毓湘，魏迎梅，等.局部二进制模式方法综述[J].中国图象图形学报，2014，19（12）：1696?1720.
[10] 符志鹏，侯海燕，胡志刚.基于局部对称性及灰度统计特征的人眼定位方法[J].辽宁工程技术大学学报（自然科学版），2011，30（4）：619?622.
摘 要： 人眼定位是人脸识别系统中必须解决的问题，为了提高人眼定位的精确度和速度，提出一种基于改进多块局部二进制模式的眼睛中心定位算法。该算法构建了所有可能的弱分类器作为多分支的树枝，然后通过三个强分类器和迭代计算确认眼睛中心点。基于标准BioID和FERET图像数据库，将提出算法与其他两种方法进行比较，实验结果显示提出方法的精确度更高。失真图像的测试结果表明，对噪声失真而言，提出的算法足够稳健。
关键词： 人脸识别； 人眼中心定位； 局部二进制模式； 分类器
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）11?0058?03
Human eye positioning algorithm based on improved multi?block local binary pattern
LU Yanjing1， FANG Jiajuan1， 2
（1. Department of Software Engineering， Zhengzhou Technical College， Zhengzhou 450121， China；
2. College of Computer Science and Engineering， Nanjing University of Science and Technology， Nanjing 210094， China）
Abstract： The human eye positioning is a problem which must be solved for the human face recognition system. In order to improve the accuracy and speed of human eye localization， a human eye center positioning algorithm based on improved multi?block local binary pattern is proposed. All possible weak classifiers were constructed as the branchy branches with the algorithm. The center point of the human eye is confirmed by means of three strong classifiers and iterative computation. On the basis of standard BioID and FERET image database， the proposed algorithm is compared with other two methods. The experimental results show that the proposed algorithm has higher accuracy. The test results of the distorted image show that the algorithm is robust enough for noise distortion.
Keywords： human face recognition； human eye center positioning； local binary pattern； classifier
0 引 言
作為人脸最富有表现力和特征的一部分，眼睛是脸部分析非常重要的信息来源。眼睛中心定位是人脸识别系统中至关重要的一步，诸如凝视估计、姿态估计、表达分析、脸部追踪、脸部识别、脸部表情识别、以及人机界面等[1]。然而，由于眼睛的外观变化程度高，比如大小、形状、颜色、纹理和各种外界环境的变化，眼睛中心的精确定位问题具有较大的挑战性。
在参考文献[2?4]中，研究人员发现眼睛定位的准确性对人脸识别的精确度有很大的影响，这就有必要在现实生活的场景中实现稳健又准确的眼睛定位。文献[5]提出基于多块局部二值模式特征的 adaboost算法和模板匹配的人眼定位方法。文献[6]提出基于图像梯度的算法。上述两种方法的精确度较高，但是实现步骤较复杂。文献[7]提出一种贝叶斯方法，但是在处理低质量图片时精确度不高。
因此，本文提出一种简单的基于改进局部二进制模式的迭代眼睛中心定位算法。该算法构建了所有可能的弱分类器作为多分支的树枝，然后通过三个强分类器和迭代计算来确认眼睛中心点。基于标准的BioID和FERET图像数据库将提出的眼睛中心定位算法与其他先进的方法相比较，测试结果证明了提出算法的先进性和稳健性。
1 提出的眼睛中心定位方法
近年来，有许多基于多块局部二进制模式（Multi?block Local Binary Patterns，MB?LBP）的方法得到了图像处理研究领域越来越多的关注[8?10]。MB?LBP理论上简单，但是在处理图像的矩形区域方面却是高效的运算方法。为了对矩形进行编码，通过比较中央矩形与其相邻矩形的平均强度，对MB?LBP运算公式进行了定义[9]：
（1）
其中的定义如下：
（2）
式中：表示中心矩形的平均强度；表示其相邻矩形的强度。
图像表示为特征向量其中为MB?LBP所有可能的数值。数量由图像大小进行定义。
本文提出将所需训练集合表示为成对的数值，其中表示例子的等级标签。强分类器由弱分类器叠加构成：
（3）
在每个步骤中，构建所有可能的弱分类器作为多分支的树枝。多分支的树枝总共有256个树枝，而且每个树枝对应MB?LBP特征的特定离散数值。在步骤中，为了最小化加权平方误差，选择弱分类器：
（4）
在此之后，作为训练例子的权重根据式（5）和式（6）进行更新：
（5）
（6）
对于三个比例的眼孔图样而言，构建三个强分类器和。
本文提出算法的流程如图1所示。对最初检测到的脸进行转换，构造出积分图像。之后，在搜索窗口发现个点，具备粗分类器的最大输出值。如果这个点值的总和小于阈值或脸的宽度最小值那么具备最大值的点就被认为是眼睛的中心，否则将脸部图像转换为规模较小的图像，并且重复相同的过程。三个比例的眼孔图样分别对应三个强分类器，如图2所示。
对于低分辨率的脸部图像，仅仅使用粗分类器。同样，更多数量的分类器可以应用构造高分辨率的图像。
2 评估指标
为了验证提出算法的性能，选择普通和失真的图像进行实验。对左右眼睛中心进行定位测试。选择两种较先进的方法（简单的贝叶斯方法[7]和基于圖像梯度的算法[6]），与提出算法进行比较。
2.1 标准数据库
在试验的第一部分中，从BioID数据库[6]和FERET数据库[7]提取图像进行试验。
FERET图像都是在室内拍摄，有良好的分辨率，优质的图像质量以及有限的照明变化。在这些图像中，脸部姿态通常非常接近前额。在实验中，把选自FERET的3 363张图片分成两个部分：一部分图像用于训练；另一部分图像用于测试。MB?LBP和贝叶斯算法都是从3 363张图片中选择1 000张进行训练，不需要对梯度探测器进行培训。在其余的2 363张前额图像中，人脸检测器能够准确检测到脸部的有2 350张图片，这些图片被保留用于测试。
BioID数据库包含23个不同测试者的1 521张灰度级图像，在不同的位置，在白天不同的时段拍摄这些图像，产生可变的光照条件，可与户外场景相媲美。在1 521张图像中，人脸检测器正确检测到脸部的有1 469张图片，将这些图片作为所有算法的测试集。
2.2 图像失真
噪声成像条件引起图像的非线性失真，并且对图像质量有重大的影响。因此眼睛定位系统的噪声失真应该具有稳健性。
选择FERET数据库进行图像失真实验。噪声失真均应用来自FERET数据库的图像：加性高斯白噪声（AWGN）。
2.3 误差测量
归一化误差[10]用于评估眼睛的定位位置和地面实际位置之间的误差：
（7）
其中和分别为左右眼睛的地面实际位置；和是该算法定位的眼睛位置。
3 实验结果
在本节中，简单的贝叶斯方法、本文方法以及基于图像梯度的算法，三种方法的实验结果如图3所示。图3显示了普通图像在FERET数据库和BioID数据库的归一化误差曲线。曲线显示图像的归一化数量，图像的归一化误差率等于或者小于横坐标轴上对应的数值。
从BioID数据库的试验结果可以看出，改进MB?LBP在大误差范围内的准确度更高，但是在小误差范围内的准确度较低。改进MB?LBP定位眼睛中心，图像以100%的比例显示，误差率等于或者小于0.25。90%以上的图像误差率还可以等于或者小于0.1，而使用其他方法来处理相同数量的图像，它们的误差率更高。
处理更高品质的图像，基于改进MB?LBP的算法得出的实验结果胜过基于图像梯度的算法得出的实验结果，类似于贝叶斯方法得出的实验结果，具备加性高斯白噪声的图像产生的峰值信噪比（PSNR）>27 dB。同样，当处理品质较差的图像（如失真图像）时，改进MB?LBP要比其他方法更胜一筹。实验结果见图4。
三种不同的方法实现眼睛中心定位的时间结果如表1所示，可以看出提出算法的速度明显优于其他两种方法。
图5为从FERET数据库提取的人脸识别的结果。表示人脸识别率，err表示眼睛中心定位误差。可以看到，眼睛定位的精确度对人脸识别率有很大的影响。正确定位眼睛中心的人脸识别率等于98%，定位误差小于50%，误差> 0.15。
图5 人脸识别率
4 结 论
本文提出一种新的基于MB?LBP的眼睛中心定位算法。测试结果表明，在误差范围比较大的情况下，尤其是应用BioID数据库时，相比基于图像梯度计算和简单的贝叶斯方法，提出的算法精确度更高。失真图像的测试结果表明，对噪声失真而言，提出的新算法足够稳健，而且可以提高人脸识别率。
参考文献
[1] 刘淑琴，彭进业.基于人眼视觉的航空图像检索仿真[J].计算机仿真，2013，30（12）：395?398.
[2] 张波，王文军，张伟，等.驾驶人眼睛局部区域定位算法[J].清华大学学报（自然科学版），2014（6）：756?762.
[3] 郝明刚，董秀成，黄亚勤.一种精确的人眼瞳孔定位算法[J].计算机工程，2012，38（8）：141?143.
[4] 王灿进， 孙涛，王锐，等.基于彩色二进制局部不变特征的图像配准[J].中国激光，2015（1）：260?268.
[5] 王小玉，张亚洲，陈德运.基于多块局部二值模式特征和人眼定位的人脸检测[J].仪器仪表学报，2014（12）：2739?2745.
[6] TIMM F， BARTH E. Accurate eye centre localization by means of gradients [C]// Proceedings of the Sixth International Conference on Computer Vision Theory and Applications. [S.l.]： IEEE， 2011： 125?130.
[7] 谭台哲，叶青.基于形态学商模板的人眼定位方法[J].计算机应用与软件，2015，32（1）：194?198.
[8] 邓亮，张新曼，许学斌，等.一种结合分离滤波器与局部二进模式的快速人眼定位方法[J].微电子学与计算机，2011，28（6）：36?40.
[9] 刘丽，谢毓湘，魏迎梅，等.局部二进制模式方法综述[J].中国图象图形学报，2014，19（12）：1696?1720.
[10] 符志鹏，侯海燕，胡志刚.基于局部对称性及灰度统计特征的人眼定位方法[J].辽宁工程技术大学学报（自然科学版），2011，30（4）：619?622.
