基于子空间半监督学习线性判别方法的目标跟踪技术研究
李红军 赵明莉 母方欣
关键词： 半监督学习; 目标跟踪; 增量线性判别分析; 置信度; 分类面; 状态估计
中图分类号： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ?文献标识码： A ? ? ? ? ? ? ? ? ? ? ? ?文章编号： 1004?373X（2019）03?0052?04
Abstract： A linear discriminate analysis method based on semi?supervised learning is proposed for object tracking. According to the few object image and background image samples， the incremental linear discriminate analysis is used to find the classification plane with maximum labeled sample classification interval. The current frame is sampled to acquire a large number of unlabeled image samples， and the samples are projected into subspace. The semi?supervised learning is used to modify the classification plane. The nearest object which is farthest away the background in candidate objects is selected as the target to estimate the state of current frame. The object image and background image samples with high confidence are selected from classification results to add them into the training set. The object image and background image samples with low confidence are deleted in training set， and the bases of projected subspace are updated. The experimental results show that the proposed method can adapt to various changes of object perfectly， and acquire better results than the method based on supervised learning.
Keywords： semi?supervised learning; object tracking; incremental linear discriminate analysis; confidence; classification plane; state estimation0 ?引 ?言
目标跟踪是计算机视觉的一个重要组成部分，广泛应用于民用和军用领域，如智能视频监控、视频检索、人机交互、战场监控等，越来越多地吸引了众多研究人员及团体的关注。
基于分类的跟踪是寻找一个目标和背景之间的最优分类面，从而在图像序列中跟踪目标，如图1所示。与模板匹配的不同之处在于，基于分类的跟踪不仅考虑目标，还考虑背景信息。Lin等利用Fisher线性判别函数在子空间中对目标区域和背景区域分类，取得了比较好的结果，Nguyen等也采用Fisher线性判别函数来分类，不同之处在于前者选用的全局特征，而后者选用局部特征。由于Fisher线性判别函数最优的前提条件是目标和背景都是等方差单高斯分布，而在实际中很难满足这个假设。针对这个问题，将目标和背景分布嵌入到图模型中[1]，解决背景多模态的问题，然而这种方法需要对每一帧图像建立图模型，而且这种方法属于自学习的方法，分类结果误差的积累将会导致跟踪任务的失败。
传统基于监督学习的方法需要大量标注的样本，在实际应用中，一般很难获得完备的训练集[2]，但可以获得大量未标注的样本。针对目标和背景变化以及模板漂移的问题，本文提出一种基于半监督学习的判别方法用于目标跟踪。如图1所示，半监督学习就是同时利用标注样本和未标注样本，从而获得更好的分类器。在这些候选目标中找到离目标最近、离背景最远的目标，作为目标在当前帧的状态估计。同时，挑选置信度高的目标图像和背景图像样本加入到训练集中，删除训练集中置信度低的目标图像和背景图像样本，并更新投影子空间的基。
4 ?实验结果与分析
为了测试上述跟踪算法的有效性，采用真实视频序列进行测试。在实验中，目标的初始状态是手动标注的，采样粒子数均设为600，此外，将本文提出方法和文献[7]提出的基于监督学习的方法进行对比实验。
在视频序列“dudek”上进行实验，状态各参数的方差为[52，52，0.012，0.022，0.002 2，0.001 2]。在这个视频中，目标在角度和尺度上都有大的变化，而且有严重遮挡发生。跟踪结果如图5所示，从中可知，目标在角度和尺度发生大的变化以及发生严重的遮挡时，基于自学习的方法发生严重的遮挡仍然将跟踪结果作为正样本加入到训练集中，导致目标中心严重偏离真实的目标中心，这种误差将会随着跟踪的执行而不断积累，最终导致任务失败。而本文提出的方法利用未标记的样本修正分类面，而且不断更新训练集，用置信度高的样本取代置信度低的样本，可以较好地处理这种情形。跟踪结果的平方根误差如图6所示，由结果可以看出，本文提出的基于半监督线性判别分析的方法可以很好地适应目标的各种变化，并且跟踪误差要小于文献[7]中的方法。
5 ?结 ?论
本文提出一种基于半监督学习的线性判别方法用于目标跟踪。用含有隐含变量的一阶马尔科夫模型来描述运动目标的跟踪过程。通过粒子滤波在当前图像中采样，获得大量候选目标。将跟踪问题作为一个半监督学习来处理，半监督学习同时利用标注样本和未标注样本，标记样本用来最大化不同类别之间的分类间隔，未标记样本用来逼近数据的内部结构，从而获得好的分类结果。然而跟踪是一个在线过程，很难获得完备的训练数据，本文在分类结果中挑选置信度高的目标图像和背景图像样本加入到训练集中，删除训练集中置信度低的目标图像和背景图像样本，并更新投影子空间的基。通过视频序列对本文提出的方法进行测试，实验结果表明，本文提出的方法可以很好地适应目标的各种变化，并获得比基于监督学习方法更好的效果。
参考文献
[1] 杨晓伟，赵海军.自动目标识别与机动目标建模及跟踪方法研究[J].电子科技，2017，30（10）：127?130.
YANG Xiaowei， ZHAO Haijun. Research on automatic target recognition and maneuvering target modeling and tracking [J]. Journal of electronic science and technology， 2017， 30（10）： 127?130.
[2] 朱文青，刘艳，卞乐，等.基于生成式模型的目标跟踪方式综述[J].微处理机，2017（1）：41?47.
ZHU Wenqing， LIY Yan， BIAN Le， et al. Survey on object tracking method base on generative model [J]. Microprocessors， 2017（1）： 41?47.
[3] 王苹，张磊，吴泽民，等.视频目标跟踪典型算法比较与分析[J].电视技术，2015，39（23）：79?84.
WANG Ping， ZHANG Lei， WU Zemin， et al. Comparison and analysis of state?of?the?art visual object tracking algorithms [J]. Video engineering， 2015， 39（23）： 79?84.
[4] 吴建宁，徐海东，凌云，等.基于块稀疏贝叶斯学习的人体运动模式识别[J].计算机应用，2016，36（4）：1039?1044.
WU Jianning， XU Haidong， LING Yun， et al. Human activity pattern recognition based on block sparse Bayesian learning [J]. Journal of computer applications， 2016， 36（4）： 1039?1044.
[5] 张汝云，许明艳，江涛.一种基于隐马尔科夫模型的目标轨迹跟踪算法[J].计算机应用研究，2013，30（5）：1455?1470.
ZHANG Ruyun， XU Mingyan， JIANG Tao. Partial CSI based affinity propagation dynamic clustering algorithm [J]. Application research of computers， 2013， 30（5）： 1455?1470.
[6] AKARM ?B， ?MARC ?P， ?DUC A T. A study on human activity recognition using accelerometer data from smart phones [J]. Procedia computer science， 2014， 34： 450?457.
[7] ZHANG X， HU W， MAYBANK S， et al. Graph based discri?minative learning for robust and efficient object tracking [C]// 2007 IEEE the 11th International Conference on Computer Vision. Rio de Janeiro， Brazil： IEEE， 2007： 1?8.
关键词： 半监督学习; 目标跟踪; 增量线性判别分析; 置信度; 分类面; 状态估计
中图分类号： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ?文献标识码： A ? ? ? ? ? ? ? ? ? ? ? ?文章编号： 1004?373X（2019）03?0052?04
Abstract： A linear discriminate analysis method based on semi?supervised learning is proposed for object tracking. According to the few object image and background image samples， the incremental linear discriminate analysis is used to find the classification plane with maximum labeled sample classification interval. The current frame is sampled to acquire a large number of unlabeled image samples， and the samples are projected into subspace. The semi?supervised learning is used to modify the classification plane. The nearest object which is farthest away the background in candidate objects is selected as the target to estimate the state of current frame. The object image and background image samples with high confidence are selected from classification results to add them into the training set. The object image and background image samples with low confidence are deleted in training set， and the bases of projected subspace are updated. The experimental results show that the proposed method can adapt to various changes of object perfectly， and acquire better results than the method based on supervised learning.
Keywords： semi?supervised learning; object tracking; incremental linear discriminate analysis; confidence; classification plane; state estimation0 ?引 ?言
目标跟踪是计算机视觉的一个重要组成部分，广泛应用于民用和军用领域，如智能视频监控、视频检索、人机交互、战场监控等，越来越多地吸引了众多研究人员及团体的关注。
基于分类的跟踪是寻找一个目标和背景之间的最优分类面，从而在图像序列中跟踪目标，如图1所示。与模板匹配的不同之处在于，基于分类的跟踪不仅考虑目标，还考虑背景信息。Lin等利用Fisher线性判别函数在子空间中对目标区域和背景区域分类，取得了比较好的结果，Nguyen等也采用Fisher线性判别函数来分类，不同之处在于前者选用的全局特征，而后者选用局部特征。由于Fisher线性判别函数最优的前提条件是目标和背景都是等方差单高斯分布，而在实际中很难满足这个假设。针对这个问题，将目标和背景分布嵌入到图模型中[1]，解决背景多模态的问题，然而这种方法需要对每一帧图像建立图模型，而且这种方法属于自学习的方法，分类结果误差的积累将会导致跟踪任务的失败。
传统基于监督学习的方法需要大量标注的样本，在实际应用中，一般很难获得完备的训练集[2]，但可以获得大量未标注的样本。针对目标和背景变化以及模板漂移的问题，本文提出一种基于半监督学习的判别方法用于目标跟踪。如图1所示，半监督学习就是同时利用标注样本和未标注样本，从而获得更好的分类器。在这些候选目标中找到离目标最近、离背景最远的目标，作为目标在当前帧的状态估计。同时，挑选置信度高的目标图像和背景图像样本加入到训练集中，删除训练集中置信度低的目标图像和背景图像样本，并更新投影子空间的基。
4 ?实验结果与分析
为了测试上述跟踪算法的有效性，采用真实视频序列进行测试。在实验中，目标的初始状态是手动标注的，采样粒子数均设为600，此外，将本文提出方法和文献[7]提出的基于监督学习的方法进行对比实验。
在视频序列“dudek”上进行实验，状态各参数的方差为[52，52，0.012，0.022，0.002 2，0.001 2]。在这个视频中，目标在角度和尺度上都有大的变化，而且有严重遮挡发生。跟踪结果如图5所示，从中可知，目标在角度和尺度发生大的变化以及发生严重的遮挡时，基于自学习的方法发生严重的遮挡仍然将跟踪结果作为正样本加入到训练集中，导致目标中心严重偏离真实的目标中心，这种误差将会随着跟踪的执行而不断积累，最终导致任务失败。而本文提出的方法利用未标记的样本修正分类面，而且不断更新训练集，用置信度高的样本取代置信度低的样本，可以较好地处理这种情形。跟踪结果的平方根误差如图6所示，由结果可以看出，本文提出的基于半监督线性判别分析的方法可以很好地适应目标的各种变化，并且跟踪误差要小于文献[7]中的方法。
5 ?结 ?论
本文提出一种基于半监督学习的线性判别方法用于目标跟踪。用含有隐含变量的一阶马尔科夫模型来描述运动目标的跟踪过程。通过粒子滤波在当前图像中采样，获得大量候选目标。将跟踪问题作为一个半监督学习来处理，半监督学习同时利用标注样本和未标注样本，标记样本用来最大化不同类别之间的分类间隔，未标记样本用来逼近数据的内部结构，从而获得好的分类结果。然而跟踪是一个在线过程，很难获得完备的训练数据，本文在分类结果中挑选置信度高的目标图像和背景图像样本加入到训练集中，删除训练集中置信度低的目标图像和背景图像样本，并更新投影子空间的基。通过视频序列对本文提出的方法进行测试，实验结果表明，本文提出的方法可以很好地适应目标的各种变化，并获得比基于监督学习方法更好的效果。
参考文献
[1] 杨晓伟，赵海军.自动目标识别与机动目标建模及跟踪方法研究[J].电子科技，2017，30（10）：127?130.
YANG Xiaowei， ZHAO Haijun. Research on automatic target recognition and maneuvering target modeling and tracking [J]. Journal of electronic science and technology， 2017， 30（10）： 127?130.
[2] 朱文青，刘艳，卞乐，等.基于生成式模型的目标跟踪方式综述[J].微处理机，2017（1）：41?47.
ZHU Wenqing， LIY Yan， BIAN Le， et al. Survey on object tracking method base on generative model [J]. Microprocessors， 2017（1）： 41?47.
[3] 王苹，张磊，吴泽民，等.视频目标跟踪典型算法比较与分析[J].电视技术，2015，39（23）：79?84.
WANG Ping， ZHANG Lei， WU Zemin， et al. Comparison and analysis of state?of?the?art visual object tracking algorithms [J]. Video engineering， 2015， 39（23）： 79?84.
[4] 吴建宁，徐海东，凌云，等.基于块稀疏贝叶斯学习的人体运动模式识别[J].计算机应用，2016，36（4）：1039?1044.
WU Jianning， XU Haidong， LING Yun， et al. Human activity pattern recognition based on block sparse Bayesian learning [J]. Journal of computer applications， 2016， 36（4）： 1039?1044.
[5] 张汝云，许明艳，江涛.一种基于隐马尔科夫模型的目标轨迹跟踪算法[J].计算机应用研究，2013，30（5）：1455?1470.
ZHANG Ruyun， XU Mingyan， JIANG Tao. Partial CSI based affinity propagation dynamic clustering algorithm [J]. Application research of computers， 2013， 30（5）： 1455?1470.
[6] AKARM ?B， ?MARC ?P， ?DUC A T. A study on human activity recognition using accelerometer data from smart phones [J]. Procedia computer science， 2014， 34： 450?457.
[7] ZHANG X， HU W， MAYBANK S， et al. Graph based discri?minative learning for robust and efficient object tracking [C]// 2007 IEEE the 11th International Conference on Computer Vision. Rio de Janeiro， Brazil： IEEE， 2007： 1?8.
