《一种新的标签散布相关分析方法》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

一种新的标签散布相关分析方法

范文

周渝皓张玉赵东生

摘要：典型相关分析是多视图特征学习领域的研究热点，然而监督信息的缺失使其难以学习强鉴别力的相关特征，为此本文提出了一种新的鉴别相关特征学习方法，即标签散布相关分析（Label Scatter Correlation Analysis，LSCA）。该方法借助类标签信息，最大化了视图间类内相关性，并且最小化了视图间类间相关性和视图内类内散布，进而学习的相关特征在最大化相关性同时，尽可能的保留了类标签的鉴别力和散布结构。良好的实验结果已经显示该方法在图像识别中的有效性。

关键词：特征学习;相关分析;多视图数据处理;图像识别

中图分类号：TP311? ? ? 文献标识码：A

文章編号：1009-3044（2019）21-0200-04

开放科学（资源服务）标识码（OSID）：

Abstract： Canonical correlation analysis （CCA） is a hot research in multi-view feature learning. However， due to the lack of supervised information， CCA is difficult to obtain correlation features with well discrimination power. To solve this issue， we propose a novel discriminant correlation feature learning method， i.e. label scatter correlation analysis （LSCA）. By means of class label information， the method maximizes intra-class correlations between different views， and minimizes between-view inter-class correlations and within-view intra-class scatters. Thus correlation features learned by our method not only consider the maximum of between-view correlations but also further preserve the discrimination power of class labels and the scatter structures. Encouraging experimental results has showed the effectiveness of the method.

Keywords： Feature Learning; Correlation analysis; multi-view data processing; image recognition

1 引言

多视图特征学习是模式识别和机器视觉的热门研究课题，其中最具代表性的是典型相关分析（Canonical Correlation Analysis，CCA）[1]。CCA是用来解决两个随机变量之间相关性的统计学方法，目前已经广泛应用于过程控制[2]、多特征融合[3]、图像检索[4]、文本分析与检索[5]、信号处理[6]等多个领域。

CCA通过最大化相关准则能够求解出多视图数据的相关投影方向，进而获得低维一致子空间中的相关特征。Sun等人[7]首次将CCA用于模式识别，并在多视图图像识别任务中获得了良好的实验结果。CCA本身是一种线性特征学习方法，因此难以很好地揭示原始数据间的非线性关系。为了掌握原始高维数据的非线性信息，相关特征学习经常借助图理论的优势来探索数据的局部几何结构。局部保持CCA（LPCCA）[8]将原始高维数据的局部邻域关系嵌入到相关分析理论，进而获得尽量保留局部几何信息的非线性相关特征。为了进一步增强非线性相关特征的鉴别力，Wang等人[9]提出了一种替代LPCCA（ALPCCA）的方法，并在人脸识别和多特征分类中验证了该方法的有效性。借助正则化技术，异构结构融合（HSF）方法[10]自然地将CCA和局部保持投影（LPP）[11]结合在一起，并试图从原始数据中捕获和保存非线性的局部几何结构。这些方法在数据可视化、姿态估计、形状分析、红外目标分析等方面都取得了成功。然而，缺乏监督信息限制了它在识别分类任务中的鉴别力。

监督信息也是一种非常重要的鉴别信息，利用它可以对信息进行更好的分类和分析。鉴别CCA（DCCA）[12]是一种典型的监督特征学习方法，通过约束视图间鉴别相关性来学习鉴别相关特征。基于监督信息的相关特征学习方法一般仅考虑了视图间的相关监督信息，而忽略了视图内的鉴别散布结构。为此，本文提出了一种新的鉴别相关特征学习方法，即标签散布相关分析（Label Scatter Correlation Analysis，LSCA）。该方法在类标签信息的指导下，最大化了视图间类内相关性，同时最小化了视图间类间相关性和视图内类内散布结构，从而获得了类分离性更高、鉴别性更强的相关特征。为了评估LSCA方法，在两个常用的图像数据集上设计一些针对性实验，大量的实验结果能够给出一个合理的观察：提出的方法是一种有效的特征学习方法。

其余部分组织如下，第二节简要回顾了CCA，第三节详细描述了LSCA方法，在第四节中给出实验结果和相应的分析，第五节讨论了LSCA的本质以及对本文的总结。

2 典型相关分析

假设[X=x1，x2，...，xN∈Rdx × N]和[Y=y1，y2，...，yN∈Rdy × N]是同一目标的两个视图的数据集，其中[dx]，[dy]是样本[x]和[y]的维数，[N]为样本数，同时[xi，yii=1，2，...，N]是对应同一目标的样本对。CCA旨在优化相关准则来求解相关投影方向[α∈Rdx × 1]和[β∈Rdy × 1]，进而使得相关特征[αTX]和[βTY]拥有最大的相关性，其中CCA的相关准则能够表示为

其中[Sxy=1Ni=1Nxi-xyi-yT]为数据集[X]和[Y]的协方差矩阵，[Sxx=1Ni=1Nxi-xxi-xT]（or[Syy=1Ni=1Nyi-yyi-yT]）是数据集[X]（或[Y]）的方差。正如文献[13]指出，[Sxy]揭示了视图间的相关性，而[Sxx]和[Syy]反映了视图内数据的总体散布信息，然而该相关性和总散布结构没有监督信息的指导，难以借助类标签的信息有效增强相关的鉴别力。

3 标签散布相关分析方法

由于CCA仅仅只利用了成对的样本信息，无法使用监督信息来增强鉴别力，为此本文提出了LSCA方法，该方法能借助类标签信息，构建有效的鉴别相关分析理论，进而获得强鉴别力的相关特征。

首先，利用类标签信息指导了视图间类内和类间相关性的构建。具体而言，视图间类内相关性[αTRβ]能够构建为

同样视图间类间相关性[αTHβ]可以表述为：

为了增强视图内的类聚集性，进一步构建了基于类标签的视图内类内散布。以数据集[X]为例，视图内类内散布可以构建为

则数据集[Y]的视图内类内散布为：

LSCA方法在最大化视图间类内相关性的同时，最小化了视图间类间相关性和视图内类内散布，因此LSCA方法的相关准则可以构建为

其中[η]为平衡参数，用于平衡[cw]和[cb]的相对重要性。为了便于模型的分析和优化求解，进一步对公式（6）进行推导。视图间类内相关性能够进一步等价推导为

其中带有类标签的数据集X能够重新表述为[X=x11，…，x1n1，…，xc1，…，xcnc]，对应的类指示向量为，[Ini×ni∈Rni×ni]的矩阵元素全为1，[Λ=In1×n1...Ini×ni...Inc×nc∈Rn×n]是一个对角的对称半正定矩阵，且秩为[c]。

类似公式（7），视图间类间相关性同样能够进一步推导为：

视图内的类内相关关系定义如下：

通过求解上述的广义特征值问题，可以获得前[d]个最大特征值对应的特征向量[{α1，α2，...，αd}]和[{β1，β2，...，βd}]，进而可以构建数据集[X]和[Y]对应的相关投影矩阵，即[A=α1，α2，...，αdT∈Rdx×d]和[B=β1，β2，...，βdT∈Rdy×d]，并获得数据集[X]和[Y]对应相关特征[ATX]和[BTY]。

4 实验的结果和分析

为了验证提出方法的有效性，在AR图像数据集和XM2VTS图像数据集设计了针对性实验。AR图像数据集包含126人的正面图像，这些图像具有不同表情、照明条件和遮挡等。在该实验部分，我们选择AR图像的一个常用子集，该子集由120人的每人14幅无遮挡图像组成。XM2VTS数据库中包含295人的2360幅面部图像，图像中人脸的角度、表情和眼镜等各不相同。从本质上而言，这两个数据集属于单模态数据集。为此借助模态策略[13]获取了每幅图像两个视图数据。具体而言，利用Coiflets和Daubechies小波变换方法来获取每幅图像的两个视图数据，随后使用主成分分析将视图数据的维数约减到100维，以减少小样本问题。在实验部分，LSCA方法和CCA、DCCA进行了对比分析。对于所有方法，在这两个数据集上都是每类随机选择q （q=3， 4， 5， 6）幅图像用于训练，剩余图像作为测试图像，并且独立运行10次样本随机试验，在表1和表2中展示了平均识别率。此外，所有方法都是使用了基于欧式距离的最近邻分离器[13]来获得而最终的实验结果，并且展示的是所有可能维数下的最优识别率。

CCA仅仅利用了成对的样本信息，且无法有效地利用监督信息，进而难以获得强鉴别力的相关特征，然而LSCA和DCCA都属于监督相关学习方法，借助监督信息进一步增强了相关特征的类分离性，并且CCA在表1和表2中也显示出了最低识别率。当实验采用少量训练图像进行实验时，使用LSCA获得的平均识别率与DCCA和CCA获得平均识别率相差不大。随着训练图像的增加，LSCA，DCCA，CCA的识别率都呈现增加的趋势。与DCCA相比，LSCA不仅考虑了视图间的监督相关信息，而且进一步约束了视图内类内散布结构，这是LSCA表1和表2上拥有更好识别性能的重要原因。

5 结束语

多视图特征学习的核心任务是为多视图数据学习线性或非线性的投影方向，将原始高维数据投影到低维空间，并且低维特征能够尽量保留原来数据的有效信息，进而更利于数据的进一步处理。CCA是基于相关分析理论的多视图特征学习方法，該方法本身是一种无监督的方法，难以有效利用类标签的优势来增强相关特征的鉴别力，为此，本文提出了一种新的LSCA方法。LSCA在类标签的指导下构建了视图间类内相关性、视图间类间相关性以及视图内类内散布，进而形成了LSCA的相关优化模型，并在理论上进一步推导出了该模型的解析解，获得了强鉴别力的相关特征。为了验证提出方法的有效性，在两个常用的图像数据集上设计了针对性实验，良好的实验结果已经揭示了LSCA的有效性。

参考文献：

[1] Hardoon D R， Szedmak S， Shawe-Taylor J. Canonical correlation analysis： An overview with application to learning methods[J]. Neural computation， 2004， 16（12）： 2639-2664.

[2] Liu Y， Liu B， Zhao X， et al. A mixture of variational canonical correlation analysis for nonlinear and quality-relevant process monitoring[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6478-6486.

[3] Chen J， Wang G， Giannakis G B. Graph multiview canonical correlation analysis[J]. IEEE Transactions on Signal Processing， 2019.

[4] X.Y. Wang， L.L. Liang， W.Y. Li， et al.， A new SVM-based relevance feedback image retrieval using probabilistic feature and weighted kernel function， J. Vis.Commun[J]. Image Represent，2016，38：256–275.

[5] X.Z. Gao， Q.S. Sun， H.T. Xu， Multiple instance learning via semi-supervised Laplacian TSVM， Neural Process. Lett. 46 （2017） 219–232.

[6] M. Borga， Learning multidimensional signal processing，Link?ping studies in science and technology， Dissertations， vol.531， Department of Electrical Engineering， Link?ping University， Link?ping， Sweden， 1998.

[7] Q.-S. Sun， S.-G. Zeng， Y. Liu， P.-A. Heng， and D.-S. Xia， “A new method of feature fusion and its application in image recognition，”Pattern Recognit.， vol. 36， no. 12， pp. 2437–2448， Dec. 2005.

[8] T. Sun， S. Chen， Locality preserving CCA with applications to data visualization and pose estimation， Image Vis. Comput. 25 （5）（2007） 531–543.

[9] F. Wang， D. Zhang， A new locality-preserving canonical correlation analysis algorithm for multi-view dimensionality reduction， Neural Process. Lett. 37 （2）（2013） 135–146.

[10] G. Lin， G. Fan， X. Kang， et al.， Heterogeneous feature structure fusion for classifification， Pattern Recogn. 53 （1）（2016） 1–11.

[11] X. He， S. Yan， Y. Hu， et al.， Face recognition using Laplacianfaces， IEEE Trans.Pattern Anal. Mach. Intell. 27 （2005） 328–340.

[12] T. Sun， S. Chen， J. Yang， et al.， A supervised combined feature extraction method for recognition， in： Proceedings of the IEEE International Conference on Data Mining， 2008， pp. 1043–1048.

[13] Su S， Ge H， Tong Y. Multi-graph embedding discriminative correlation feature learning for image recognition[J]. Signal Processing： Image Communication， 2018， 60： 173-182.

【通聯编辑：梁书】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。