結合先驗知識和稀疏表示誤差的感知矩陣設計

何熊熊，姜倩茹，李 勝，常麗萍，張 霓

(浙江工業(yè)大學 信息工程學院，浙江 杭州 310023)

大數(shù)據(jù)[1-2]時代對如何實現(xiàn)節(jié)約數(shù)據(jù)存儲空間和提高數(shù)據(jù)傳輸效率提出了巨大的挑戰(zhàn)。壓縮感知技術[3-8]能夠將可被稀疏表示[9-10]的數(shù)據(jù)通過一個感知矩陣[11-13]進行壓縮，并通過求解欠定方程從低維觀測值中成功重構原始數(shù)據(jù)[14-16]。該技術現(xiàn)已被廣泛應用于醫(yī)學圖像處理[17]、深度學習[18]、人臉識別[19]以及無線傳感網(wǎng)絡[20]等領域。在傳統(tǒng)的感知矩陣設計方法[21-22]中，通常將字典的Gram矩陣逼近單位矩陣，如Duarte-Carvajalino等[21]在2009年提出將等效字典Gram矩陣近似逼近單位矩陣，但是此算法的物理意義不明確。Li等[22]在2013年提出將Gram矩陣直接逼近單位矩陣，但是沒有考慮稀疏表示誤差對系統(tǒng)的影響，使得該算法不適用于存在不可忽略的稀疏表示誤差的圖片數(shù)據(jù)中。Li等[23]在2015年又提出在感知矩陣設計中考慮稀疏表示誤差對系統(tǒng)的影響，增加了系統(tǒng)的魯棒性，但是稀疏表示誤差中巨大的數(shù)據(jù)量會給系統(tǒng)帶來過大的運算負擔。因此Hong等[24]在2018年提出了通過對感知矩陣映射下的稀疏表示誤差進行估計的感知矩陣設計方法，與文獻[23]提出的算法具有相似的恢復效果，但大大降低了其計算復雜度。Li等[25]在2017年提出將等效字典Gram矩陣逼近單位矩陣的代價函數(shù)中，引入根據(jù)稀疏系數(shù)幅值產(chǎn)生的先驗知識設計感知矩陣，雖然在數(shù)據(jù)恢復的精確度上有所提高，但該設計不適用于圖片恢復。因為圖片[26]列與列之間的稀疏系數(shù)的非零幅值千差萬別，采用此方法則需要不停地設計感知矩陣，增加了計算負擔。

為了提高圖片數(shù)據(jù)恢復的精確度并降低計算負擔，筆者結合從圖片中提取先驗知識和對感知矩陣映射下的稀疏表示誤差進行估計這兩方面來設計感知矩陣。首先將圖片樣本在字典下進行稀疏表示獲得稀疏矩陣，然后通過統(tǒng)計稀疏矩陣行的非零元素分布率來提取先驗知識，該先驗知識反映的是字典(或者等效字典)原子被使用的程度。利用該先驗知識設置一個對角權重矩陣來構造感知矩陣設計模型，在此權重矩陣作用下使得等效字典Gram矩陣無限接近單位矩陣來減小等效字典的平均互相關系數(shù)[11]，尤其是那些被頻繁使用的等效字典原子的平均互相關系數(shù)。與此同時對感知矩陣映射下的稀疏表示誤差進行估計并用合適參數(shù)配置下的感知矩陣的佛羅貝尼烏斯(Frobenius)范數(shù)進行替代。可總結為：1) 從大量圖片樣本的統(tǒng)計信息中提取先驗知識，利用先驗知識構造一個權重矩陣用于感知矩陣設計；2) 在感知矩陣設計模型中考慮稀疏表示誤差對數(shù)據(jù)恢復的影響，對感知矩陣映射下的稀疏表示誤差進行估計并用合適參數(shù)配置下的感知矩陣的佛羅貝尼烏斯范數(shù)進行替代來減小計算復雜度[27]；3) 該感知矩陣設計算法分別用于合成數(shù)據(jù)和實際場景圖片可獲得良好的恢復效果。

1 問題描述

傳統(tǒng)的感知矩陣設計模型可表示為

(1)

式中：‖·‖F(xiàn)為矩陣的佛羅貝尼烏斯(Frobenius)范數(shù)；IK為K維單位矩陣；G為等效字典的Gram矩陣，被定義為G=DTD=ΨTΦTΦΨ，其中Φ∈RM×N為感知矩陣，Ψ∈RN×K為字典，D∈RM×K為等效字典。分析式(1)可知：

(2)

式中：G(i,j)表示矩陣G的第i行，第j列的元素。要使得等價函數(shù)最小，可將等效字典進行歸一化使得Gram矩陣對角元素為1，還需將Gram矩陣的非對角元素值逼近單位矩陣的零元素。Gram矩陣非對角元素表示等效字典對應原子之間的互相關性[11]，因此傳統(tǒng)的感知矩陣設計是基于減小等效原子之間的互相關性而實現(xiàn)的。

在圖片恢復的真實應用場景中，需要利用大量圖片樣本對字典進行訓練[28-29]使得圖片能夠被更好地稀疏表示。字典訓練模型可表示為

(3)

(4)

式中向量p為從圖片樣本中獲取的關于稀疏矩陣行的非零元素分布率的先驗知識。在感知矩陣設計模型中，根據(jù)字典原子被使用頻率的不同，加入一個關于先驗知識的權重矩陣，著重減小那些使用頻率較高的原子之間的互相關性，使得數(shù)據(jù)恢復精確度被進一步的提高。關于先驗知識的權重矩陣ΣW可表示為

ΣW(k,k)=τ+(1-τ)p(k)

(5)

可得式(5)的感知矩陣設計模型被優(yōu)化為

(6)

由于圖片中存在不可忽略的稀疏表示誤差(SRE)[23]，可表示為

(7)

(8)

通過對代價函數(shù)式進行求解來設計感知矩陣，在該模型中同時考慮概率型先驗知識和稀疏表示誤差，求得的感知矩陣為解析解。

2 基于先驗知識并考慮稀疏表示誤差的感知矩陣設計

結合先驗知識和稀疏表示誤差對系統(tǒng)的影響，感知矩陣設計的代價函數(shù)可表示為

(9)

(10)

式中tr[·]表示矩陣求跡，其中

(11)

(12)

那么，式(9)可化簡為

(13)

其中

(14)

(15)

(16)

1) 當λM>0時，觀察可得：

(17)

根據(jù)文獻[30]附錄B中的引理1可知：

(18)

(19)

(20)

(21)

總結以上3 種情況，感知矩陣解的形式可表示為

(22)

式中：U為任意的正交矩陣；Σs,V11,V22分別根據(jù)以上3 種情況而設計。

3 仿真與實驗結果分析

針對合成數(shù)據(jù)和真實應用場景圖片對所提出的感知矩陣算法與現(xiàn)有算法進行仿真對比來驗證算法的有效性。

3.1 數(shù)據(jù)恢復的評價指標

根據(jù)上述合成數(shù)據(jù)中非零元素的概率分布，利用平均二元熵(Average binary entropy, ABE)[31]，來測試稀疏系數(shù)信息的不確定性，以概率為p(k)的伯努利分布的熵定義為

(23)

式中H(p(k))=-p(k)logp(k)-(1-p(k))·log(1-p(k))是二元熵函數(shù)。稀疏系數(shù)非零元素概率分布越不均勻，平均二元熵就越小。

對于數(shù)據(jù)恢復的性能指標，將采用平方根誤差(Mean square error, MSE)[30]，定義為

(24)

還對恢復的稀疏系數(shù)位置的準確率進行對比，將此性能指標定義為

(25)

針對圖片數(shù)據(jù)的恢復，采用峰值信噪比(Peak signal-to-noise ratio，PSNR)[30]作為性能指標，其計算式為

(26)

式中每個像素點的r=8 bits。圖片的均方根誤差可寫為

(27)

3.2 合成數(shù)據(jù)對比仿真

3.2.1 合成數(shù)據(jù)的產(chǎn)生

3.2.2 合成數(shù)據(jù)對比結果與分析

在此對比實驗中，感知矩陣大小為M×200，字典大小為200×240。稀疏系數(shù)的維度為K=240，稀疏度為S。此向量被分成J=4段，每段元素個數(shù)為K1=160,K2=50,K3=20,K4=10。稀疏系數(shù)中的非零元素服從N(0,1)的高斯分布。測試數(shù)據(jù)x是含有一定稀疏表示誤差的可壓縮數(shù)據(jù)，其信噪比可表示為SNR，即x=Ψα+eSNR。此實驗重復L=1 000 次。

筆者提出的感知矩陣設計方法為SMW-HT算法，對比算法分別是：感知矩陣為Φ0的SMRAN算法、SMDCS算法[21]、SMLG算法[23]以及SMHT算法[24]。采用的恢復算法為正交匹配追蹤算法(OMP)[15]。

該實驗首先對感知矩陣設計的代價函數(shù)的參數(shù)τ,δ進行選取，τ的取值從0到1，取值間隔為0.1。δ的取值從0到2，取值間隔為0.1。經(jīng)過實驗表明：當τ=0.6,δ=0.1時，測試數(shù)據(jù)的MSE最小。在以下對比實驗中，SMW-HT算法的參數(shù)取值為τ=0.6,δ=0.1，SMHT算法的參數(shù)取值[24]為δ=0.1，SMLG算法的參數(shù)取值[23]為δ=1。

實驗1表1分別列出了5 種對比算法的Gram矩陣與單位矩陣的接近程度、感知矩陣映射下的稀疏表示誤差、互相關系數(shù)以及平均互相關系數(shù)[11]。該實驗中感知矩陣維數(shù)M=50，稀疏度S=12，表示誤差信噪比為SNR=20 dB。從表1可以看出：筆者提出的SMW-HT算法在以上4 種性能指標中均與同類算法SMLG，SMHT表現(xiàn)相似，下面實驗將對數(shù)據(jù)的恢復效果作進一步的驗證。

表1 5 種感知矩陣設計算法的性能評估Table 1 Performance evaluated with five sensing matrices

實驗2將5 種觀測矩陣設計算法在測試數(shù)據(jù)包含不同信噪比的稀疏表示誤差下進行對比來驗證合成數(shù)據(jù)的恢復效果，圖1顯示的是SNR從15 dB到40 dB變化下的均方根誤差(MSE)，圖2顯示的是稀疏系數(shù)非零元素位置恢復準確率。此實驗的參數(shù)為M=50,S=12。

圖1 不同信噪比下5 種感知矩陣設計算法的均方根誤差Fig.1 The MSE versus different level SNR for sensing matrices

圖2 不同信噪比下5 種感知矩陣設計算法的稀疏系數(shù)非零元素位置恢復準確率Fig.2 The proportion of successful recovery coefficients five versus different level SNR for five sensing matrices

實驗3將5 種觀測矩陣設計算法在不同稀疏度下進行對比來驗證合成數(shù)據(jù)的恢復效果，圖3顯示的是稀疏度從8到24下的均方根誤差(MSE)，圖4顯示的是稀疏系數(shù)非零元素位置恢復準確率。此實驗的參數(shù)為M=50,SNR=20 dB。

圖3 不同稀疏度下5 種感知矩陣設計算法的均方根誤差Fig.3 The MSE versus different sparsity for five sensing matrices

圖4 不同稀疏度下5 種感知矩陣設計算法的稀疏系數(shù)非零元素位置恢復準確率Fig.4 The proportion of successful recovery coefficients versus different sparsity for five sensing matrices

實驗4將5 種觀測矩陣設計算法在不同壓縮維度下進行對比來驗證合成數(shù)據(jù)的恢復效果，圖5顯示的是觀測矩陣維度從35到65下的均方根誤差(MSE)，圖6顯示的是稀疏系數(shù)非零元素位置恢復準確率。此實驗的參數(shù)為S=12,SNR=20 dB。

圖5 感知矩陣不同維度下5 種感知矩陣設計算法的均方根誤差Fig.5 The MSE versus different dimension of sensing matrix for five sensing matrices

圖6 感知矩陣不同維度下5 種感知矩陣設計算法的稀疏系數(shù)非零元素位置恢復準確率Fig.6 The proportion of successful recovery coefficients versus different dimension of sensing matrix for five sensing matrices

從圖1～6可以看出：筆者提出的SMW-HT感知矩陣設計方法在均方根誤差和稀疏系數(shù)非零元素位置恢復準確率這兩方面的性能指標上較其他4 種感知矩陣設計方法具有最好的性能。此外，當測試數(shù)據(jù)的表示誤差、稀疏度、數(shù)據(jù)壓縮比(即感知矩陣維度)等這3 個參數(shù)分別變化時，筆者提出的SMW-HT感知矩陣設計方法始終保持性能最好。分析文獻[24]可得：在數(shù)據(jù)量不大的情況下(L=1 000)，SMLG算法，SMHT算法性能相似，這在仿真結果中也得到了驗證。

實驗5為了驗證數(shù)據(jù)所包含信息的不確定性而產(chǎn)生不同先驗概率對信號恢復精確度的影響，將稀疏系數(shù)進行不同的分段，分段方案如表2所示。

表2 稀疏系數(shù)的不同分段中每段所含元素個數(shù)Table 2 The length of every group in each simulation

圖7，8分別展示了不同先驗知識作用下的SMW-HT感知矩陣將測試數(shù)據(jù)進行壓縮后通過OMP算法恢復的效果。根據(jù)平均二元熵(ABE)的定義可知：平均二元熵越小，則概率分布越不均勻，也就是所含先驗知識的信息量越大。從仿真結果看：先驗知識所含的信息量越大，對感知矩陣的設計幫助越大。

圖7 感知矩陣不同維度下對于不同先驗知識作用下的感知矩陣設計算法的均方根誤差Fig.7 The MSE versus different dimension of sensing different probability distribution of non-zero sparse coefficient

圖8 感知矩陣不同維度下對于不同先驗知識作用下的感知矩陣設計算法的稀疏系數(shù)非零元素位置恢復準確率Fig.8 The proportion of successful recovery coefficients matrix for versus different dimension of sensing matrix for element in different probability distribution of non-zero element in sparse coefficient

3.3 實際應用場景圖片對比實驗

將筆者提出的算法和對比算法用于實際應用場景圖片來驗證圖片的恢復效果。與合成數(shù)據(jù)中的對比算法相同，采用感知矩陣為Φ0的SMRAN算法、SMDCS算法[21]、SMLG算法[23]和SMHT算法[24]與新提出的SMW-HT算法進行對比。從LabelMe圖片訓練庫[32]中隨機選取400 張圖片，又從每張圖片中隨機選擇15 個8×8的塊，排列成64×6 000的列作為訓練樣本。字典選用64×100的離散余弦變換(DCT)字典為起點，利用這些樣本采用KSVD算法[29]對字典進行訓練。該實驗采用的恢復算法為OMP算法[15]。將峰值信噪比(PSNR)作為評價圖像恢復效果的性能指標。

實驗6計算圖片恢復的峰值信噪比驗證感知矩陣設計的性能。表3對12 張自然圖片進行恢復，并計算它們的峰值信噪比。其中，感知矩陣維度為M=20，稀疏度S=4。根據(jù)文獻[24]關于算法中參數(shù)的選擇，SMLG算法、SMHT算法的參數(shù)設置為δ=0.1，因此將SMW-HT算法中的參數(shù)也設置為δ=0.1，以及關于先驗知識的權重矩陣的參數(shù)設置為τ=0.5。圖9展示的是圖片“Elaine”在各種算法下的恢復的視覺效果。

表3 12 張圖片在不同感知矩陣算法下恢復的峰值信噪比Table 3 The PSNR of twelve images for different sensing matrices

圖9 圖片“Elaine”在不同感知矩陣設計算法中恢復的視覺效果Fig.9 The visual result for the recovery of “Elaine” using different sensing matrix algorithms

從以上實驗可以看出：對于沒有考慮稀疏表示誤差的算法SMRAN和SMDCS，圖片恢復的峰值信噪比較差。SMLG算法與SMHT算法考慮了稀疏表示誤差對于壓縮感知系統(tǒng)的影響使得圖片恢復的峰值信噪比結果相似，且優(yōu)于SMRAN和SMDCS算法。SMW-HT算法因為加入了先驗知識且考慮了稀疏表示誤差，使得峰值信噪比最好且計算復雜度較低。實際應用場景的仿真實驗也說明了利用先驗知識并同時考慮稀疏表示誤差來設計感知矩陣能夠提高圖片的恢復效果。

4 結 論

對壓縮感知系統(tǒng)中的感知矩陣進行設計，設計過程中加入先驗知識并同時考慮稀疏表示誤差對數(shù)據(jù)恢復的影響。該先驗知識從圖片的稀疏表示矩陣中獲得。此外，考慮到稀疏表示誤差數(shù)據(jù)量巨大，還對感知矩陣映射下的稀疏表示誤差進行估計，以減小計算負擔。通過對合成數(shù)據(jù)和真實應用場景的圖片進行仿真實驗，證明筆者提出的感知矩陣設計方法可提高數(shù)據(jù)恢復的準確度。