結(jié)合自適應(yīng)字典學(xué)習(xí)的稀疏貝葉斯重構(gòu)

王 勇,喬倩倩,楊笑宇,徐文娟,賈 拯,陳楚楚,高全學(xué)

(1.西安電子科技大學(xué)電子工程學(xué)院,陜西西安 710071; 2.西安電子科技大學(xué)通信工程學(xué)院,陜西西安 710071)

結(jié)合自適應(yīng)字典學(xué)習(xí)的稀疏貝葉斯重構(gòu)

王 勇1,喬倩倩1,楊笑宇1,徐文娟1,賈 拯1,陳楚楚1,高全學(xué)2

(1.西安電子科技大學(xué)電子工程學(xué)院,陜西西安 710071; 2.西安電子科技大學(xué)通信工程學(xué)院,陜西西安 710071)

貝葉斯壓縮感知是一種基于統(tǒng)計(jì)分析的壓縮感知算法,具有很好的魯棒性,能夠充分利用信息間的相關(guān)性,它的重構(gòu)依賴于圖像的稀疏性表達(dá).針對(duì)貝葉斯壓縮感知的深層次稀疏化問(wèn)題,筆者結(jié)合自適應(yīng)字典學(xué)習(xí)思想,提出一種冗余自適應(yīng)字典表示的稀疏貝葉斯學(xué)習(xí)算法.該算法對(duì)圖像進(jìn)行局部分塊,從待重建圖像的迭代中間圖像分塊中學(xué)習(xí)字典,并以該字典作為圖像的稀疏變換基,通過(guò)稀疏貝葉斯學(xué)習(xí)算法獲得稀疏解.實(shí)驗(yàn)結(jié)果表明,基于自適應(yīng)字典的貝葉斯學(xué)習(xí)算法能提高稀疏化,明顯改善圖像的重構(gòu)質(zhì)量.

稀疏貝葉斯學(xué)習(xí);自適應(yīng)字典;貝葉斯壓縮感知

壓縮感知理論打破了傳統(tǒng)采樣定理的限制,將可壓縮信號(hào)在降采樣觀測(cè)后以很高的精度重建出原始信號(hào),已經(jīng)應(yīng)用于醫(yī)學(xué)、遙感、雷達(dá)、導(dǎo)航等領(lǐng)域.文獻(xiàn)[1]證明了壓縮感知信號(hào)重構(gòu)問(wèn)題可以轉(zhuǎn)化為求解最小L0范數(shù)問(wèn)題,但是最小L0范數(shù)的問(wèn)題是一個(gè)非確定多項(xiàng)式(Non-deterministic Polynomial,NP)難問(wèn)題,窮舉出來(lái)是很困難的,因此,誕生了很多近似優(yōu)化求解算法,如貪婪追蹤類算法[2]和優(yōu)化最小全變分法[3].貝葉斯先驗(yàn)方法[4-5]提出了新的框架和解決方案.基本思想是稀疏系數(shù)滿足一定的先驗(yàn)分布,通過(guò)分析可得到后驗(yàn)分布信息,基于相關(guān)向量機(jī)獲得稀疏系數(shù)的一個(gè)點(diǎn)估計(jì).在實(shí)際中,采樣過(guò)程會(huì)引入噪聲和其他干擾,通過(guò)貝葉斯分析獲得噪聲和干擾在概率最大時(shí)的估計(jì)值.然而,該框架下的稀疏問(wèn)題依然存在.為了提高稀疏性,筆者提出一種自適應(yīng)字典學(xué)習(xí)的貝葉斯壓縮感知重構(gòu)算法,引入交替迭代逐步逼近學(xué)習(xí)的思想獲得更精確的重構(gòu)圖像.

1　問(wèn)題描述

根據(jù)壓縮感知理論,觀測(cè)結(jié)果可以表示為y=Φx=ΦDθ,其中對(duì)于原始信號(hào)x的稀疏表示為x=Dθ.Φ是M×N(M?N)維隨機(jī)觀測(cè)矩陣,D為稀疏基,θ為稀疏系數(shù).由于M?N,稀疏系數(shù)的求解是一個(gè)病態(tài)問(wèn)題.利用已知正交基稀疏表示后的系數(shù),通過(guò)L1范數(shù)正則化求得這個(gè)逆問(wèn)題的解,可以近似得到這個(gè)稀疏系數(shù)的估計(jì).

其中,拉格朗日乘子ρ為尺度標(biāo)量.對(duì)圖像進(jìn)行小波變換,保留低頻子帶并置零,然后采樣,重建高頻子帶,最后經(jīng)過(guò)小波反變換重建圖像.若信號(hào)在某個(gè)變換基下足夠稀疏,那么在較低的采樣率下可以獲得較好的重建效果.

2　自適應(yīng)冗余字典

冗余字典是一種基于學(xué)習(xí)的稀疏化方法,在圖像超分辨重建、修復(fù)、分類以及分解等反問(wèn)題中獲得了較好的效果[6-10].它通過(guò)選取訓(xùn)練樣本,經(jīng)過(guò)學(xué)習(xí),獲得一個(gè)全局的字典,然后以該字典為稀疏變換基,利用圖像在該字典下具有稀疏性對(duì)圖像反問(wèn)題進(jìn)行求解.

設(shè)輸入信號(hào)x∈RN×N,為了對(duì)信號(hào)x進(jìn)行稀疏表示,需要一個(gè)尺度為N×M(N?M)的字典,則可以建立信號(hào)x的稀疏表示模型如下:

其中,θ是稀疏的,ε表示誤差.式(2)中的x和θ都是未知量.信號(hào)x在字典D下是稀疏的,通過(guò)求解式(2)的最稀疏(或近似最稀疏)的解θ,即可以獲得原始信號(hào)x.

3　模型建立

設(shè)待重建圖像x∈RN×N,觀測(cè)圖像y=Φx,其中Φ為觀測(cè)矩陣,y是測(cè)量值.對(duì)x進(jìn)行有重疊的分塊,記這些分塊為xij,1≤i,j≤N-n+1,從原圖中獲得子圖xij的操作符為Rij.設(shè)第k次迭代所獲得的圖像為x(k),利用K奇異值分解(K-Singular Value Decomposition,K-SVD)算法[11]從x(k)的分塊x(k)ij,1≤i,j≤N-n+1可以獲得一個(gè)冗余字典D(k),通過(guò)求解最優(yōu)化問(wèn)題式(2),得到下一次迭代的圖像模型如下:

其中,λ和μ為用于平衡各項(xiàng)的參數(shù).圖像每塊的稀疏向量θij和每一次迭代的中間圖像均未知,對(duì)其中的一個(gè)未知參數(shù)賦予一定的初值,采用交替迭代思想[7]求解.

4　稀疏貝葉斯學(xué)習(xí)重構(gòu)

θ是稀疏的.對(duì)θ建模,在該模型下可以縮小求解范圍,從而達(dá)到近似求解θ的目的.式(2)中的θ服從超高斯分布,根據(jù)觀測(cè)值x將先驗(yàn)概率密度轉(zhuǎn)化為后驗(yàn)概率密度,使得對(duì)于每個(gè)輸入信號(hào)x,θ的后驗(yàn)概率密度函數(shù)值在待估計(jì)參數(shù)真實(shí)值附近形成最大尖峰.

圖1引入稀疏向量的分層先驗(yàn)?zāi)Ｐ?超參數(shù)α未知,其中α={α1, α2,…,αN},則稀疏向量中每個(gè)變量相互獨(dú)立且是一個(gè)零均值,方差為1/αi的高斯分布.

圖1　貝葉斯參數(shù)模型

這是相關(guān)向量機(jī)分層模型的第1層,第2層假設(shè)超參數(shù)α和σ2(設(shè)β=σ-2)分別是一個(gè)伽馬分布,即

其中,a、b、c和d是參數(shù)模型中的超參數(shù),α得到稀疏向量先驗(yàn)分布形式如下:

根據(jù)以上先驗(yàn)分布以及觀測(cè)信號(hào)y,由貝葉斯公式,可得以下后驗(yàn)分布:

這樣就把后驗(yàn)密度函數(shù)分解為兩部分,等號(hào)右邊第一項(xiàng)實(shí)際上是一個(gè)多維高斯分布,因?yàn)?/p>

其中,A=diag(α1,α2,…,αN).式(10)中p(α,σ2|y)是超參數(shù)α和σ2的后驗(yàn)分布.為了獲得一致分布,令a=b=0,通過(guò)最大化p(α,σ2|y)邊緣似然函數(shù)(最大二型似然估計(jì)法)[10]估計(jì)超參數(shù)α和σ2.

通過(guò)求解L2范數(shù)最優(yōu)化問(wèn)題式(14)可得到更加逼近原圖的中間圖像.

選取醫(yī)院放射科2016年2月—2017年2月收治的40例腹部創(chuàng)傷患者，其中男性22例，平均年齡（35.45±4.6）歲，女性患者18例，平均年齡（30.68±3.12）歲。將40例患者隨機(jī)分為對(duì)照組和觀察組各20例。兩組患者基本資料無(wú)顯著性差異（P＞0.05）具有可比性。

其中,x′為式(3)獲得的稀疏系數(shù)重建的中間圖像.需要多次迭代求解式(3)和式(14),直到兩次迭代的誤差足夠小.在進(jìn)行下一次迭代時(shí)必須實(shí)時(shí)更新噪聲,可以根據(jù)式(15)更新噪聲n.

5　算法流程

筆者根據(jù)欠采樣數(shù)據(jù),通過(guò)反投影法重建初始圖像,從該圖像出發(fā),采用交替迭代逐步逼近來(lái)獲得較精確的結(jié)果.其算法流程如下:

(1)按照反投影法重建一幅初始圖像.

(2)初始化噪聲n=0,前后兩次誤差占前一次迭代結(jié)果的比δ=0.0001,迭代次數(shù)k=0,初始迭代圖像為步驟(1)所得到的圖像.

(3)對(duì)中間圖像分塊,并采用K-SVD算法得到一個(gè)字典D.

(5)利用共軛梯度法求解L2范數(shù)最優(yōu)化問(wèn)題式(14).

(6)判斷是否達(dá)到停止迭代條件.若達(dá)到,輸出為最終重建圖像;否則,執(zhí)行步驟(7).

(7)按照式(15)更新噪聲,返回步驟(3).

6　實(shí)驗(yàn)結(jié)果及分析

為了說(shuō)明文中方法的有效性,分別選擇30%、40%、50%的采樣率對(duì)圖像進(jìn)行測(cè)試.實(shí)驗(yàn)平臺(tái)在處理器為Intel(R)Xeon E5-5503 CPU@2.30 GHz,內(nèi)存為16 GB,操作系統(tǒng)為Windows XP(64 bit),環(huán)境為Matlab2012b的條件下進(jìn)行.在同樣的條件下,本實(shí)驗(yàn)分別在正交匹配追蹤(Orthogonal Matching Pursuit, OMP)算法、小波貝葉斯壓縮感知(Bayesian Compressed Sensing-Discrete Wavelet Transform,BCS-DWT)算法及文中算法方面進(jìn)行了比較.表1是各種算法在不同采樣率下的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structural SIMilarity,SSIM)的比較.模型(4)中的參數(shù)λ和μ分別選取為0.01和0.15.

表1　不同算法的重建圖像PSNR和SSlM比較：PSNR(dB)/SSlM

表1的數(shù)據(jù)結(jié)果表明,在低采樣率下(采樣率為30%時(shí)),文中算法的PSNR較OMP算法和BCS-DWT算法要高出5 dB到9 dB,結(jié)構(gòu)相似度高出0.2到0.3.文中算法的兩種性能指標(biāo)數(shù)值解優(yōu)于其他兩種算法.

文中算法采用稀疏參數(shù)θij與迭代中間圖像交替求解的思想,這對(duì)描述圖像的細(xì)節(jié)有重要的意義.為從視覺(jué)上進(jìn)行更直觀的比較,在有限的篇幅下僅列舉Barbara圖像進(jìn)行視覺(jué)上的重構(gòu)比較,如圖2所示.

圖2　算法實(shí)驗(yàn)比較結(jié)果

在圖2中,Barbara圖像具有很好的局部紋理特性和邊緣特性.對(duì)于OMP算法,重構(gòu)有較多的毛刺現(xiàn)象,其中的邊緣保持效果較差,有較多的噪聲干擾,圖像上織物的紋理受干擾很嚴(yán)重;BCS-DWT算法優(yōu)于OMP算法,重構(gòu)質(zhì)量有一定的提高.而文中算法得出的結(jié)果邊緣特性和紋理特性優(yōu)于其他兩種算法,圖像質(zhì)量普遍提升,視覺(jué)效果很好.

7　結(jié) 論

筆者提出了一種基于自適應(yīng)字典的貝葉斯學(xué)習(xí)算法,將圖像的小范圍分塊在自適應(yīng)冗余字典下具有稀疏性這一先驗(yàn)引入壓縮感知,代替?zhèn)鹘y(tǒng)的正交變換稀疏先驗(yàn).有效利用了圖像的局部結(jié)構(gòu)信息,對(duì)圖像可以更好地稀疏表示,降低了采樣率.此算法能夠在低采樣率下更好地描述信號(hào)的細(xì)節(jié)信息,重建出高質(zhì)量的圖像.挖掘更多先驗(yàn)信息,并將其加入到正則項(xiàng)中將是未來(lái)的研究方向.

[1]DONOHO D L.Compressed Sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[2]TROPP J A,GILBERT A C.Signal Recovery from Random Measurements via Orthogonal Matching Pursuit[J].IEEE Transactions on Information Theory,2007,53(12):4655-4666.

[3]王勇,馮唐志,陳楚楚,等.結(jié)合自適應(yīng)稀疏表示和全變分約束的圖像重建[J].西安電子科技大學(xué)學(xué)報(bào),2016,43(1): 15-21. WANG Yong,FENG Tangzhi,CHEN Chuchu,et al.Image Reconstruction Based on Adaptive Sparse Representation and Total Variation Constraint[J].Journal of Xidian University,2016,43(1):15-21.

[4]JI S,XUE Y,CARIN L.Bayesian Compressive Sensing[J].IEEE Transactions on Signal Processing,2007,56(6): 2346-2356.

[5]BABACAN S D,LUESSI M.Sparse Bayesian Methods for Low-rank Matrix Estimation[J].IEEE Transactions on Signal Processing,2012,60(8):3964-3977.

[6]王良君,石光明,李甫,等.多稀疏空間下的壓縮感知圖像重構(gòu)[J].西安電子科技大學(xué)學(xué)報(bào),2013,40(3):73-80. WANG Liangjun,SHI Guangming,LI Fu,et al.Compressed Sensing Image Reconstruction in Multiple Sparse Spaces [J].Journal of Xidian University,2013,40(3):73-80.

[7]HUANG H J,YU J,SUN W D.Superresolution Mapping Using Multiple Dictionaries by Sparse Representation[J]. IEEE Geoscience and Remote Sensing Letters,2014,11(12):2055-2059.

[8]DONG W,ZHANG L,SHI G,et al.Nonlocally Centralized Sparse Representation for Image Restoration[J].IEEE Transactions on Image Processing,2013,22(4):1620-1630.

[9]YANG M,ZHANG L,FENG X C,et al.Sparse Represention Based Fisher Discrimination Dictionary Learing for Image Classification[J].International Journal of Computer Vision,2014,109(3):209-232.

[10]HUANG D,KANG L W,WANG Y F,et al.Self-learning Based Image Decomposition with Applications to Single Image Denoising[J].IEEE Transactions on Multimedia,2014,16(1):83-93.

[11]AHARON M,ELAD M,BRUCKSTEIN A.K-SVD:An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J].IEEE Transactions on Signal Processing,2006,15(12):3736-3745.

(編輯:李恩科)

Sparse Bayesian reconstruction combined with self-adaptive dictionary learning

WANG Yong1,QIAO Qianqian1,YANG Xiaoyu1,XU Wenjuan1, JIA Zheng1,CHEN Chuchu1,GAO Quanxue2
(1.School of Electronic Engineering,Xidian Univ.,Xi’an 710071,China; 2.School of Telecommunication Engineering,Xidian Univ.,Xi’an 710071,China)

Bayesian compressive sensing(BCS),a kind of compressive sensing algorithm based on statistical analysis,uses information correspondence to get robust performance in image reconstruction.But it depends on image sparsity strongly.In order to solve further level sparsity of BCS,this paper presents a novel self-adaptive Bayesian compressive sensing algorithm combined with redundancy self-adaptive dictionary learning.The algorithm firstly decomposes an image into local patches and builds the dictionary from the iterating transition image.Then the image is represented by this dictionary space.Finally,the image is reconstructed using the sparse Bayesian learning algorithm.Experimental results show that the proposed algorithm obtains deep sparse representation and improves image reconstruction quality.

sparse Bayesian learning;self-adaptive dictionary;Bayesian compressive sensing

TP751

A

1001-2400(2016)04-0001-04

10.3969/j.issn.1001-2400.2016.04.001

2015-05-20 網(wǎng)絡(luò)出版時(shí)間：2015-10-21

國(guó)家自然科學(xué)基金資助項(xiàng)目(61271296);陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃資助項(xiàng)目(2016JM6012);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(JB150218);西安電子科技大學(xué)教育教學(xué)改革研究資助項(xiàng)目(B1311);西安電子科技大學(xué)新實(shí)驗(yàn)開發(fā)與新實(shí)驗(yàn)設(shè)備研制及實(shí)驗(yàn)教學(xué)改革資助項(xiàng)目(SY1354)

王 勇(1976-),男,副教授,E-mail:yongwang@126.com.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20151021.1046.002.html