《基于受限玻尔兹曼机的压缩感知方法研究》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

基于受限玻尔兹曼机的压缩感知方法研究

范文

廖志

摘要：该文提出了一种心电信号的压缩感知方法，该方法利用受限玻尔兹曼机的表征能力来模拟同一类信号的稀疏模式的先验分布。然后，将确定的概率分布用于最大后验方法以重构信号。从训练数据集中学习先验分布的参数。此方法的旨在是模拟稀疏表示系数之间的高阶统计依赖关系，最终达到改进重构的目的。在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心电信号数据库上验证了所提出的方法的性能。

关键词：心电信号;压缩感知方法;受限玻尔兹曼机

中图分类号：TP393? ? ? ? 文献标识码：A? ? ? ? 文章编号：1009-3044（2018）35-0262-03

在过去数十年，压缩传感已经成为一个广泛的研究领域，因为它具有从一小组线性投影中完美地重构稀疏信号的潜能。从本质上讲，压缩感知表示在某些条件下，信号的采样数远远少于香农 - 奈奎斯特定理的规定的采样数。当前，压缩感知领域已经扩展到需要结构化信号模型的新应用，这些模型已不仅是简单的稀疏模型，如心电信号。尽管心电（ECG）信号具有丰富的结构，但大多数先前的心电信号的压缩感知工作仅利用信号稀疏性，并没有利用信号的结构信息。

在本文中，提出的方法使用受限玻尔兹曼机（RBM）学习待恢复信号的稀疏模式的先验分布。然后，将确定的概率分布用于最大后验方法（MAP）以重建信号。在此方法中，需要与感兴趣的信号相同类别的先验训练数据，并将获得稀疏模式先验分布的过程称为训练阶段。在训练阶段，采用受限玻尔兹曼机（RBM）的目的主要包含两方面。首先，它们具有强大的学习能力; 第二，使用对比分歧算法训练可以有效地实现模型参数的学习[1]-[3]。实际上，Le Roux等人[1]表明受限玻尔兹曼机（RBM）可以模拟任何离散分布。此外，除非受限玻尔兹曼机（RBM）已经完美地对数据建模，否则添加隐藏单元会增强模型的性能。

除了训练阶段之外，所提出的方法的另一个贡献与重构算法有关。将确定的先验用于最大后验的重建方法，由于复杂度随信号长度呈指数增加，因此获得精确的最大后验（MAP）估计可能变得不可行。为了克服这个限制，我们提出了一种贪婪的方法，通过修改[4]中提出的基于正交匹配追踪的算法来实现，以最大化稀疏模式的后验分布。

在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心电信号数据库上验证方案的性能。实验结果包括与基追踪去噪算法（BPDN）、基追踪算法（BP）、正交匹配算法（OMP）、硬迭代阈值算法（IHT）的比较。

1 方法详述

1.1 受限玻尔兹曼机

受限玻尔兹曼机属于概率生成模型，其目的是学习训练数据的联合分布。受限玻尔兹曼机是一种无向二分圖模型，由一层二元随机隐藏单元[[h1，h2，...，hP]T]和一层随机可见单元[[v1，v2，...，vJ]T]组成。可见层表示需要被建模的数据，隐藏层则捕获在可见单元处观察到的高阶数据相关性。在我们的方法中，两层均服从伯努利分布，且通过权重矩阵[WJ×P]连接，结构如图1所示。

在受限玻尔兹曼机中，可见层的概率分布被定义为：

1.2 基于受限玻尔兹曼机的压缩感知方法

我们最近提出的方案采用受限玻尔兹曼机（RBM）来模拟信号稀疏模式的概率分布，并将之称为基于受限玻尔兹曼机的压缩感知（RBM-CS）方案。该方案的主要优点是它挖掘稀疏系数之间的高阶依赖性，最终转化为减少必要测量的数量以实现精确重建。图2给出了RBM-CS方案的框图，其包括两个阶段，即训练阶段和压缩感测阶段。本节提供了每个阶段的详细信息。

1.2.1 压缩感知阶段

在本文中，[x∈RN]代表原始信号，[D∈RN×Q]是稀疏变换矩阵，[x]在稀疏变换[D]下是稀疏的，即可表示为：[x=Ds+r]，其中，[s]和[r]分别表示稀疏表示和稀疏误差。稀疏误差[r]服从高斯分布[N（0，Σr）]。稀疏表示[s]的支持，维度为[K]，表示为[θ]。[sθ]表示稀疏表示[s]的非零系数。对于，稀疏表示[s]的每个非零系数[si，i∈θ]均服从均在为零均值，方差为[σ2si]的高斯分布。因此，在给定[θ]下的[sθ]的概率分布被定义为[sθ|θ～N（0，Σθ）]，[Σθ∈RK×K]是一个对角矩阵，其对角上的元素为非零系数[si，i∈θ]的方差[σ2si]。

稀疏模式[S]被定义为[S∈RN]，[Si=1，si≠00，si=0]。

在本文中，我们考虑传统的基于合成的压缩感知方法，旨在重建信号[x]的稀疏表示，从欠采样和噪声测量的观测[y=Φx+n]。[ΦM×N]为测量矩阵，[n]为零均值和方差[σ2n]的加性高斯采样噪声。于是，完整的压缩感知框架为：[y=Ξs+η]，其中，[Ξ=ΦD]，[η=?r+n]。综上所述，在给定[θ]的情况下[y]的概率分布被定义为：

在RBM-CS方案中，采用最大后验（MAP）估计恢复稀疏表示[s]。[s]的MAP估计需要知道支持[θ]，其估计如下：

其中[p（θ）]为受限玻尔兹曼机（RNM）可见单位上的概率分布，可由公式（1）计算得出。因此，[sθ]为[s]的最大后验估计，直接从后验的平均值获得：

为了求解（4）获得支持的估计[θ]，RBM-CS方案使用基于正交匹配追踪（OMP）的贪婪追踪算法[5]。该算法首先将支持初始化为空集。然后，它搜索可以添加到支持的元素[i]，以便在每次迭代时最大化[p（θ|y）]。当迭代次数超过预定义的稀疏度阈值时，算法停止。一旦计算出信号支持，就通过最大后验（MAP）（7）估计稀疏表示[sθ]。

1.2.2 训练阶段

在训练阶段，需要进行构造训练数据集和信号稀疏模式先验分布的参数学习。在本文中，我们考虑正交基作为稀疏变换矩阵。

让[G=[G·1，G·2，...，G·B]∈RN×B]表示和信号[x]属于同一类[N]维训练数据集。对于每一个[G·j]，有[G·j=DA·j]，其中[A·j]为[G·j]在[D]中的表示。令[A·j]为保持[A·j]中最大的[K]个系数（在量纲上）不变，其它赋值为零。因此，信号[G]可以被建模为[G=DA+E]，其中[E]是稀疏误差矩阵。

向量集合[U=[u1，u2，...，uB]]表示信号[G=[G·1，G·2，...，G·B]∈RN×B]的稀疏模式，可由将[A]中非零系数置为1获得。稀疏模式[U]作为训练数据用于训练受限波尔茨曼机模型。在本方法中，对比分歧算法用于训练波尔茨曼机模型[6]。此外，稀疏编码集合[A]可以被用来估计信号[x]稀疏表示非零系数的方差[σ2si]，

对于协方差矩阵[Σr]的估计，假定稀疏误差系数[ri]和[rj]（[i≠j]）是独立的。因此，协方差矩阵[Σr]是一个对角矩阵，其每个元素为稀疏表示误差稀疏的方差[σ2ri]，[i=1，2，...，N]。[∑r]表示[Σr]的估计，根据稀疏误差矩阵[E=[E·1，E·2，...，E·B]]估计而来。因此，协方差矩阵[Σr]对角上的每个元素的估计值为：

从而可得到[Ση]的估计为[∑η=Φ∑rΦT+σ2nI]。

2 实验结果

为了验证RBM-CS方案改善压缩感知系统性，对Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心电信号数据库进行了实验。该数据集由具有不同心脏病的各种信号组成，例如瓣膜性心脏病和心律失常。我们已经考虑所有549个诊断数据，并且选择了第一个通道数据实例来评估算法性能。测量矩阵采用随机高斯矩阵。每次实验重复执行50次，每次随机测量矩阵的不同实现，呈现的结果50次实验的平均值。重建SNR（ reconstruction SNR，R-SNR）用作一维信号的性能度量。重建SNR定义为：

其中，[x]和[x]分别表示为原始信号和重构信号。

该实验的训练和测试数据集由窗口大小[N=512]的8475和1500个段组成，从数据集PTBD中随机提取。从每个记录中提取相同数量的段。使用受限玻尔兹曼机（RBM）来对稀疏图案的先验分布进行建模，其中隐藏单元的数量被设置为等于可见单元。高斯测量矩阵[?]用于对测试数据集进行采样。加性高斯噪声，零均值和方差[σ2n=1]。采用4折小波变换（Daubechies-4 wavelet transform）作为稀疏矩阵。为了更方便地比较算法，所有算法的稀疏度阈值固定为[K=0.125×N]。

由图3可知，RBM-CS的算法具有优于其他传统压缩感知方法的重建性能，并且需要显著更少的测量来实现精确的重建。尤其是在低采样率的情況下，RBM-CS的性能提升尤为明显。为了更好地显示RBM-CS方法对于心电信号的重构，选取PTBD数据中编号为018的病人的数据，该患者患有心肌病/心力衰竭为测试数据，观测各算法在采样率为0.2（即[M=0.2×N]）下的重构效果。如图4所示，使用RBM-CS算法的恢复信号比传统压缩感知算法获得的信号更好地估计原始信号。

3 结束语

在本文中，展示了压缩感知系统如何利用受限玻尔兹曼机捕获输入数据的复杂统计结构的能力。统计依赖性是信息性的，利用它们可以改善重建性能。受限玻尔兹曼机用于模拟信号稀疏模式的先验分布。这种先验被最大后验估计（MAP）用于重建。通过实验显示，所提出的方案在重建结果时具有显著优势。尤其是在采样率极低的情况下，性能提升尤为明显。下一步可将方案用于图片、语音和雷达信号，观测重构性能是否得到充分提升。

参考文献：

[1] N. Le Roux and Y. Bengio.Representational power of restricted Boltzmann machines and deep belief networks[J].Neural Computer， 2008，20（6）：1631-1649.

[2] I. Sutskever and G. Hinton.Deep， narrow sigmoid belief networks are universal approximators[J].Neural Comput.， 2008，20（11）：2629-2636.

[3] Y. Bengio.Learning deep architectures for AI.Found. Trends Mach. Learn.， 2009，2（1）：1-127.

[4] T. Peleg， Y. Eldar， and M. Elad.Exploiting statistical dependencies in sparse representations for signal recovery[J].IEEE Trans. Signal Process.， 2012，60（5）：2286-2303.

[5] L. Polanía， K. Barner， Exploiting restricted Boltzmann machines and deep belief networks in compressed sensing， IEEE Trans. Signal Process，2017，65 （17）：4538-4550.

[6] G. Hinton， Training products of experts by minimizing contrastive divergence， Neural Comput. 14 （8）（2002） 1771-1800.

[通联编辑：唐一东]

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。