基于受限玻爾茲曼機(jī)的壓縮感知方法研究

廖志

摘要：該文提出了一種心電信號的壓縮感知方法，該方法利用受限玻爾茲曼機(jī)的表征能力來模擬同一類信號的稀疏模式的先驗分布。然后，將確定的概率分布用于最大后驗方法以重構(gòu)信號。從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)先驗分布的參數(shù)。此方法的旨在是模擬稀疏表示系數(shù)之間的高階統(tǒng)計依賴關(guān)系，最終達(dá)到改進(jìn)重構(gòu)的目的。在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數(shù)據(jù)庫上驗證了所提出的方法的性能。

關(guān)鍵詞：心電信號;壓縮感知方法;受限玻爾茲曼機(jī)

中圖分類號：TP393? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? 文章編號：1009-3044（2018）35-0262-03

在過去數(shù)十年，壓縮傳感已經(jīng)成為一個廣泛的研究領(lǐng)域，因為它具有從一小組線性投影中完美地重構(gòu)稀疏信號的潛能。從本質(zhì)上講，壓縮感知表示在某些條件下，信號的采樣數(shù)遠(yuǎn)遠(yuǎn)少于香農(nóng) - 奈奎斯特定理的規(guī)定的采樣數(shù)。當(dāng)前，壓縮感知領(lǐng)域已經(jīng)擴(kuò)展到需要結(jié)構(gòu)化信號模型的新應(yīng)用，這些模型已不僅是簡單的稀疏模型，如心電信號。盡管心電（ECG）信號具有豐富的結(jié)構(gòu)，但大多數(shù)先前的心電信號的壓縮感知工作僅利用信號稀疏性，并沒有利用信號的結(jié)構(gòu)信息。

在本文中，提出的方法使用受限玻爾茲曼機(jī)（RBM）學(xué)習(xí)待恢復(fù)信號的稀疏模式的先驗分布。然后，將確定的概率分布用于最大后驗方法（MAP）以重建信號。在此方法中，需要與感興趣的信號相同類別的先驗訓(xùn)練數(shù)據(jù)，并將獲得稀疏模式先驗分布的過程稱為訓(xùn)練階段。在訓(xùn)練階段，采用受限玻爾茲曼機(jī)（RBM）的目的主要包含兩方面。首先，它們具有強(qiáng)大的學(xué)習(xí)能力; 第二，使用對比分歧算法訓(xùn)練可以有效地實現(xiàn)模型參數(shù)的學(xué)習(xí)[1]-[3]。實際上，Le Roux等人[1]表明受限玻爾茲曼機(jī)（RBM）可以模擬任何離散分布。此外，除非受限玻爾茲曼機(jī)（RBM）已經(jīng)完美地對數(shù)據(jù)建模，否則添加隱藏單元會增強(qiáng)模型的性能。

除了訓(xùn)練階段之外，所提出的方法的另一個貢獻(xiàn)與重構(gòu)算法有關(guān)。將確定的先驗用于最大后驗的重建方法，由于復(fù)雜度隨信號長度呈指數(shù)增加，因此獲得精確的最大后驗（MAP）估計可能變得不可行。為了克服這個限制，我們提出了一種貪婪的方法，通過修改[4]中提出的基于正交匹配追蹤的算法來實現(xiàn)，以最大化稀疏模式的后驗分布。

在Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數(shù)據(jù)庫上驗證方案的性能。實驗結(jié)果包括與基追蹤去噪算法（BPDN）、基追蹤算法（BP）、正交匹配算法（OMP）、硬迭代閾值算法（IHT）的比較。

1 方法詳述

1.1 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)屬于概率生成模型，其目的是學(xué)習(xí)訓(xùn)練數(shù)據(jù)的聯(lián)合分布。受限玻爾茲曼機(jī)是一種無向二分圖模型，由一層二元隨機(jī)隱藏單元[[h1，h2，...，hP]T]和一層隨機(jī)可見單元[[v1，v2，...，vJ]T]組成?？梢妼颖硎拘枰唤５臄?shù)據(jù)，隱藏層則捕獲在可見單元處觀察到的高階數(shù)據(jù)相關(guān)性。在我們的方法中，兩層均服從伯努利分布，且通過權(quán)重矩陣[WJ×P]連接，結(jié)構(gòu)如圖1所示。

在受限玻爾茲曼機(jī)中，可見層的概率分布被定義為：

1.2 基于受限玻爾茲曼機(jī)的壓縮感知方法

我們最近提出的方案采用受限玻爾茲曼機(jī)（RBM）來模擬信號稀疏模式的概率分布，并將之稱為基于受限玻爾茲曼機(jī)的壓縮感知（RBM-CS）方案。該方案的主要優(yōu)點是它挖掘稀疏系數(shù)之間的高階依賴性，最終轉(zhuǎn)化為減少必要測量的數(shù)量以實現(xiàn)精確重建。圖2給出了RBM-CS方案的框圖，其包括兩個階段，即訓(xùn)練階段和壓縮感測階段。本節(jié)提供了每個階段的詳細(xì)信息。

1.2.1 壓縮感知階段

在本文中，[x∈RN]代表原始信號，[D∈RN×Q]是稀疏變換矩陣，[x]在稀疏變換[D]下是稀疏的，即可表示為：[x=Ds+r]，其中，[s]和[r]分別表示稀疏表示和稀疏誤差。稀疏誤差[r]服從高斯分布[N（0，Σr）]。稀疏表示[s]的支持，維度為[K]，表示為[θ]。[sθ]表示稀疏表示[s]的非零系數(shù)。對于，稀疏表示[s]的每個非零系數(shù)[si，i∈θ]均服從均在為零均值，方差為[σ2si]的高斯分布。因此，在給定[θ]下的[sθ]的概率分布被定義為[sθ|θ～N（0，Σθ）]，[Σθ∈RK×K]是一個對角矩陣，其對角上的元素為非零系數(shù)[si，i∈θ]的方差[σ2si]。

稀疏模式[S]被定義為[S∈RN]，[Si=1，si≠00，si=0]。

在本文中，我們考慮傳統(tǒng)的基于合成的壓縮感知方法，旨在重建信號[x]的稀疏表示，從欠采樣和噪聲測量的觀測[y=Φx+n]。[ΦM×N]為測量矩陣，[n]為零均值和方差[σ2n]的加性高斯采樣噪聲。于是，完整的壓縮感知框架為：[y=Ξs+η]，其中，[Ξ=ΦD]，[η=?r+n]。綜上所述，在給定[θ]的情況下[y]的概率分布被定義為：

在RBM-CS方案中，采用最大后驗（MAP）估計恢復(fù)稀疏表示[s]。[s]的MAP估計需要知道支持[θ]，其估計如下：

其中[p（θ）]為受限玻爾茲曼機(jī)（RNM）可見單位上的概率分布，可由公式（1）計算得出。因此，[sθ]為[s]的最大后驗估計，直接從后驗的平均值獲得：

為了求解（4）獲得支持的估計[θ]，RBM-CS方案使用基于正交匹配追蹤（OMP）的貪婪追蹤算法[5]。該算法首先將支持初始化為空集。然后，它搜索可以添加到支持的元素[i]，以便在每次迭代時最大化[p（θ|y）]。當(dāng)?shù)螖?shù)超過預(yù)定義的稀疏度閾值時，算法停止。一旦計算出信號支持，就通過最大后驗（MAP）（7）估計稀疏表示[sθ]。

1.2.2 訓(xùn)練階段

在訓(xùn)練階段，需要進(jìn)行構(gòu)造訓(xùn)練數(shù)據(jù)集和信號稀疏模式先驗分布的參數(shù)學(xué)習(xí)。在本文中，我們考慮正交基作為稀疏變換矩陣。

讓[G=[G·1，G·2，...，G·B]∈RN×B]表示和信號[x]屬于同一類[N]維訓(xùn)練數(shù)據(jù)集。對于每一個[G·j]，有[G·j=DA·j]，其中[A·j]為[G·j]在[D]中的表示。令[A·j]為保持[A·j]中最大的[K]個系數(shù)（在量綱上）不變，其它賦值為零。因此，信號[G]可以被建模為[G=DA+E]，其中[E]是稀疏誤差矩陣。

向量集合[U=[u1，u2，...，uB]]表示信號[G=[G·1，G·2，...，G·B]∈RN×B]的稀疏模式，可由將[A]中非零系數(shù)置為1獲得。稀疏模式[U]作為訓(xùn)練數(shù)據(jù)用于訓(xùn)練受限波爾茨曼機(jī)模型。在本方法中，對比分歧算法用于訓(xùn)練波爾茨曼機(jī)模型[6]。此外，稀疏編碼集合[A]可以被用來估計信號[x]稀疏表示非零系數(shù)的方差[σ2si]，

對于協(xié)方差矩陣[Σr]的估計，假定稀疏誤差系數(shù)[ri]和[rj]（[i≠j]）是獨立的。因此，協(xié)方差矩陣[Σr]是一個對角矩陣，其每個元素為稀疏表示誤差稀疏的方差[σ2ri]，[i=1，2，...，N]。[∑r]表示[Σr]的估計，根據(jù)稀疏誤差矩陣[E=[E·1，E·2，...，E·B]]估計而來。因此，協(xié)方差矩陣[Σr]對角上的每個元素的估計值為：

從而可得到[Ση]的估計為[∑η=Φ∑rΦT+σ2nI]。

2 實驗結(jié)果

為了驗證RBM-CS方案改善壓縮感知系統(tǒng)性，對Physikalisch-Technische Bundesanstalt（PTB） Diagnostic心電信號數(shù)據(jù)庫進(jìn)行了實驗。該數(shù)據(jù)集由具有不同心臟病的各種信號組成，例如瓣膜性心臟病和心律失常。我們已經(jīng)考慮所有549個診斷數(shù)據(jù)，并且選擇了第一個通道數(shù)據(jù)實例來評估算法性能。測量矩陣采用隨機(jī)高斯矩陣。每次實驗重復(fù)執(zhí)行50次，每次隨機(jī)測量矩陣的不同實現(xiàn)，呈現(xiàn)的結(jié)果50次實驗的平均值。重建SNR（ reconstruction SNR，R-SNR）用作一維信號的性能度量。重建SNR定義為：

其中，[x]和[x]分別表示為原始信號和重構(gòu)信號。

該實驗的訓(xùn)練和測試數(shù)據(jù)集由窗口大小[N=512]的8475和1500個段組成，從數(shù)據(jù)集PTBD中隨機(jī)提取。從每個記錄中提取相同數(shù)量的段。使用受限玻爾茲曼機(jī)（RBM）來對稀疏圖案的先驗分布進(jìn)行建模，其中隱藏單元的數(shù)量被設(shè)置為等于可見單元。高斯測量矩陣[?]用于對測試數(shù)據(jù)集進(jìn)行采樣。加性高斯噪聲，零均值和方差[σ2n=1]。采用4折小波變換（Daubechies-4 wavelet transform）作為稀疏矩陣。為了更方便地比較算法，所有算法的稀疏度閾值固定為[K=0.125×N]。

由圖3可知，RBM-CS的算法具有優(yōu)于其他傳統(tǒng)壓縮感知方法的重建性能，并且需要顯著更少的測量來實現(xiàn)精確的重建。尤其是在低采樣率的情況下，RBM-CS的性能提升尤為明顯。為了更好地顯示RBM-CS方法對于心電信號的重構(gòu)，選取PTBD數(shù)據(jù)中編號為018的病人的數(shù)據(jù)，該患者患有心肌病/心力衰竭為測試數(shù)據(jù)，觀測各算法在采樣率為0.2（即[M=0.2×N]）下的重構(gòu)效果。如圖4所示，使用RBM-CS算法的恢復(fù)信號比傳統(tǒng)壓縮感知算法獲得的信號更好地估計原始信號。

3 結(jié)束語

在本文中，展示了壓縮感知系統(tǒng)如何利用受限玻爾茲曼機(jī)捕獲輸入數(shù)據(jù)的復(fù)雜統(tǒng)計結(jié)構(gòu)的能力。統(tǒng)計依賴性是信息性的，利用它們可以改善重建性能。受限玻爾茲曼機(jī)用于模擬信號稀疏模式的先驗分布。這種先驗被最大后驗估計（MAP）用于重建。通過實驗顯示，所提出的方案在重建結(jié)果時具有顯著優(yōu)勢。尤其是在采樣率極低的情況下，性能提升尤為明顯。下一步可將方案用于圖片、語音和雷達(dá)信號，觀測重構(gòu)性能是否得到充分提升。

參考文獻(xiàn)：

[1] N. Le Roux and Y. Bengio.Representational power of restricted Boltzmann machines and deep belief networks[J].Neural Computer， 2008，20（6）：1631-1649.

[2] I. Sutskever and G. Hinton.Deep， narrow sigmoid belief networks are universal approximators[J].Neural Comput.， 2008，20（11）：2629-2636.

[3] Y. Bengio.Learning deep architectures for AI.Found. Trends Mach. Learn.， 2009，2（1）：1-127.

[4] T. Peleg， Y. Eldar， and M. Elad.Exploiting statistical dependencies in sparse representations for signal recovery[J].IEEE Trans. Signal Process.， 2012，60（5）：2286-2303.

[5] L. Polanía， K. Barner， Exploiting restricted Boltzmann machines and deep belief networks in compressed sensing， IEEE Trans. Signal Process，2017，65 （17）：4538-4550.

[6] G. Hinton， Training products of experts by minimizing contrastive divergence， Neural Comput. 14 （8） （2002） 1771-1800.

[通聯(lián)編輯：唐一東]