錢 沖,常冬霞
1.北京交通大學 計算機與信息技術(shù)學院,北京 100044
2.北京交通大學 信息科學研究所,北京 100044
圖像去噪是計算機視覺中的經(jīng)典問題之一,眾多學者針對該問題已經(jīng)展開了廣泛研究。在現(xiàn)實生活中,圖像在采集和傳輸過程中不可避免地會產(chǎn)生噪聲,在進行各種圖像處理前去除圖像噪聲是必不可少的步驟。稀疏作為自然圖像的最重要特征之一[1],被成功應用于圖像去噪[2]問題。
傳統(tǒng)的基于稀疏表示的圖像處理,往往采用一個過完備字典將圖像塊編碼為該字典的稀疏線性組合,并采用稀疏編碼和字典學習交替進行[3-4]?;贙奇異值分解(K-singular value decomposition,K-SVD)的去噪方法[5]是一個經(jīng)典的基于稀疏表示的圖像去噪算法,具有較好的去噪效果。然而在K-SVD中,字典學習是一個大規(guī)模的非凸問題,具有較高的計算復雜度。此外,稀疏編碼過程往往采用非線性估計,往往具有不穩(wěn)定、不精確等問題[6]。因此,為了改善其性能,文獻[7]提出了基于稀疏變換學習的圖像去噪算法。稀疏變換學習[8-9]使用一個變換矩陣將圖像信號近似稀疏化,大大減少了字典學習的計算量并獲得了較為精確的稀疏編碼。
除稀疏表示外,其他方法也能很好地進行圖像去噪。非局部自相似性是自然圖像的顯著特征之一,它認為圖像的紋理和結(jié)構(gòu)在一定區(qū)域內(nèi)是重復出現(xiàn)的。非局部均值算法[10]首次利用圖像的非局部自相似性來去除圖像噪聲,在去噪的同時盡可能保留圖像的細節(jié)。然而,該算法存在參數(shù)非自適應且去噪后邊緣易模糊的缺點,針對這些問題提出了一系列基于非局部自相似性的圖像恢復算法[11-13]。其中,塊匹配3D濾波(block-matching and 3D filtering,BM3D)去噪算法[14]由于其出色的去噪性能,成為目前最先進的方法之一。此外,為了在去噪的同時更好地保持圖像的幾何結(jié)構(gòu),很多學者提出了基于圖的去噪算法[15]?;诤讼嗨贫群蛨D拉普拉斯矩陣,KSID(kernel similarity-based image denoising)算法[16]設計了一個新的損失函數(shù),在圖像去噪和去模糊上都取得了較好的結(jié)果。而文獻[17]將圖拉普拉斯矩陣的特征向量作為一組基函數(shù)來重建圖像。為了從理論上對基于圖的去噪算法進行解釋分析,OGLR(optimal graph laplacian regularization)算法[18]將圖拉普拉斯正則化解釋為連續(xù)域的各向異性擴散格式,并推導出最優(yōu)的度量空間,進而計算出最優(yōu)的邊緣權(quán)值,從而得到離散域去噪的最優(yōu)圖拉普拉斯正則化器?;诖?,文獻[19]提出了將最優(yōu)圖拉普拉斯正則化器與稀疏學習相結(jié)合的去噪算法,但其計算復雜度高且并未考慮圖像的非局部信息。
近年來,很多學者提出了將圖像的稀疏性和非局部自相似性結(jié)合的圖像去噪算法[20-21]。文獻[22]提出相似的圖像塊在稀疏分解中具有相似的稀疏編碼,但是該算法過于強調(diào)稀疏系數(shù)沿行方向?qū)R,使得相似圖像塊向量組成的矩陣行空間和列空間稀疏度不一致。為了恢復行與列空間之間稀疏度的對稱性,文獻[23]通過引入一個右乘矩陣,將lp,q范數(shù)約束下的聯(lián)合稀疏問題轉(zhuǎn)化為具有核范數(shù)約束的低秩問題,簡化了優(yōu)化過程,但是時間和空間復雜度較高。由于稀疏變換學習計算量小且能獲得較為準確的稀疏編碼,因此文獻[24]提出了一種基于稀疏變換學習和非局部低秩的圖像去噪算法STROLLR(sparsifying transform learning and low-rank),該算法求解步驟簡單且去噪性能良好。然而,該算法將圖像劃分成相互重疊的圖像塊并為其添加低秩和稀疏約束,大大破壞了圖像的結(jié)構(gòu)特征。
針對STROLLR模型沒有考慮圖像空間幾何信息的問題,通過引入圖拉普拉斯正則化,提出了一個圖拉普拉斯正則化稀疏變換學習圖像去噪算法GLRSTL(graph Laplacian regularized sparse transform learning)。采用圖拉普拉斯矩陣對圖像的底層結(jié)構(gòu)進行編碼,在去噪的同時保護圖像的結(jié)構(gòu)細節(jié)不被破壞。此外,由于STROLLR模型在進行低秩估計時,需要通過塊匹配操作來獲得相似的圖像塊組,并為其添加低秩約束,而在有噪聲情況下,只使用歐式距離來度量圖像塊之間的相似度是不準確的。為了獲得更準確的相似圖像塊,在塊匹配操作中引入優(yōu)化的稀疏編碼來度量圖像塊間的相似性。實驗結(jié)果表明,所提算法在改善視覺效果的同時,獲得了較高的峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似指數(shù)(structural similarity index,SSIM)。
圖拉普拉斯矩陣將圖像表示為一個定義在離散加權(quán)圖上的函數(shù),頂點為圖像的像素值,每個像素通過加權(quán)邊與其他像素連接,邊權(quán)重反映了像素點間的相關(guān)性。因此,邊權(quán)重的定義是構(gòu)造圖拉普拉斯矩陣的關(guān)鍵步驟。傳統(tǒng)的圖拉普拉斯矩陣根據(jù)像素值確定邊權(quán)重,然而在噪聲圖像中,噪聲的存在會使其魯棒性較差。文獻[18]提出了一種基于最優(yōu)度量空間的權(quán)值定義方法。該方法利用非局部自相似像素塊的梯度、像素值以及像素的二維坐標為像素定義了一個新的特征描述,根據(jù)此特征獲得魯棒性更強的邊權(quán)重。鑒于該特征描述的優(yōu)越性,在提出的GLRSTL算法中采用該特征描述來計算邊權(quán)重。接下來對圖拉普拉斯矩陣的構(gòu)造過程進行詳細介紹。
其中,ε和r的設置參考文獻[18]。因此,鄰接矩陣N(i,j)=wij,度矩陣圖拉普拉斯矩陣為:
圖像中的每個圖像塊都有對應的圖拉普拉斯矩陣。這種圖拉普拉斯矩陣構(gòu)造方法考慮了像素值的相似和空間上的相近,前者保證了圖像的局部光滑,后者保證了圖像的空間結(jié)構(gòu)。
令y=x+e表示噪聲圖像,其中e表示均值為0,方差為σn的加性高斯白噪聲。圖像去噪的目的就是從噪聲圖y中盡可能準確地恢復干凈圖像x。針對STROLLR模型在去噪時沒有考慮圖像的局部幾何結(jié)構(gòu)的問題,提出了一種圖拉普拉斯正則化稀疏變換學習圖像去噪算法GLRSTL。通過引入圖拉普拉斯建立像素點和像素點間的關(guān)系,保護圖像的局部結(jié)構(gòu)。此外,為了更有效地利用圖像的非局部信息,在距離度量中結(jié)合了優(yōu)化后的稀疏編碼,獲得較好的塊匹配結(jié)果。
對于噪聲圖像y,其圖像塊向量表示為Y∈Rb×n,即Y=[y1,y2,…,yn]。與傳統(tǒng)的稀疏表示算法不同,在稀疏變換學習中,Y在稀疏變換矩陣W∈Rb×b的作用下可以近似稀疏,即WY=A+E,其中A∈Rb×n表示稀疏編碼矩陣,E∈Rb×n表示建模誤差。假設噪聲信號Y待恢復的信號為X∈Rb×n,即X=[x1,x2,…,xn],那么可以通過最小化||WX-A||2F來獲得去噪信號X。稀疏變換學習利用局部圖像塊的稀疏先驗來進行圖像去噪,而除了局部結(jié)構(gòu)外,自然圖像還包含自相似性形式的非局部結(jié)構(gòu)。對于每個圖像塊向量yi,通過塊匹配操作可以找到K個與其相似圖像塊向量并構(gòu)成一個組Vi∈Rb×K,Vi具有低秩特性,這就是基于圖像非局部結(jié)構(gòu)的低秩先驗。STROLLR算法充分利用自然圖像的局部稀疏性和非局部自相似性,結(jié)合稀疏變換學習和非局部低秩先驗,獲得了良好的去噪性能。但其忽略了自然圖像的空間結(jié)構(gòu)特性,因此,為了保護圖像的內(nèi)在結(jié)構(gòu)信息,提出了GLRSTL算法,通過引入圖拉普拉斯正則項來對鄰域關(guān)系進行約束,從而保護圖像的局部結(jié)構(gòu)關(guān)系。算法模型如下:
其中,γs、γl、γf、θ和λ表示正則化參數(shù),rank(·)表示矩陣的秩,Pi∈Rb×K表示組Vi的低秩估計,xi∈Rb表示待恢復的干凈圖像塊,xTi表示xi的轉(zhuǎn)置矩陣,Li∈Rb×b表示圖像塊yi的歸一化圖拉普拉斯矩陣。
在構(gòu)建組Vi時,進行塊匹配操時通常采用歐氏距離度量圖像塊之間的相似性,然而由于隨機噪聲的存在,該度量方法容易產(chǎn)生偏差,進而影響去噪效果。因此,提出了一種新的度量方法。相似的圖像塊通常具有相似的稀疏編碼,而優(yōu)化后的稀疏編碼由于去除了部分噪聲的影響可以更加準確地反映圖像塊間的相似性。去噪前的圖像雖然含有噪聲,但是含有大量圖像細節(jié)。因此,采用優(yōu)化后的稀疏編碼和像素值的歐氏距離相結(jié)合的方法來度量圖像塊間的相似性:
采用簡單的塊坐標下降法[25]對算法進行求解,每次沿一個方向優(yōu)化獲取最小值,因此目標函數(shù)式(7)的優(yōu)化可以轉(zhuǎn)化為求解以下四個子問題:
具體求解上述四個子問題的方法如下:(1)W^—子問題求解
式(9)是優(yōu)化稀疏變換矩陣W的目標函數(shù)式,它是一個有正交約束的lF范數(shù)優(yōu)化問題。在求解的過程中,固定A和X。式(9)可以變換為:
令Z=GTWS,可知Z是一個正交矩陣,因此|Zij|≤1,?i,j且可以推斷出:
式(16)中等號成立的條件為:
因此,式(17)為稀疏變換矩陣W最終的優(yōu)化結(jié)果。
(2)—子問題求解
式(10)是稀疏編碼矩陣A的目標函數(shù)式,這是一個標準的稀疏編碼問題,可以采用硬閾值方法求解。根據(jù)文獻[26],可得式(10)的解為:
(3)—子問題求解
式(11)為低秩估計矩陣Pi的目標函數(shù)式。根據(jù)文獻[13],可以得到最優(yōu)解為:
(4)—子問題求解
式(12)為圖像塊向量恢復的目標函數(shù)式,xi所對應的稀疏編碼為ai。在對稀疏編碼矩陣A、稀疏變換矩陣W和組低秩估計矩陣Pi進行更新后,可以對每個圖像塊向量進行重構(gòu)。將式(12)對xi求導,并令其為0可得:
綜上,所提GLRSTL算法如下所示。
為了驗證所提算法的有效性,通過實驗對所提GLRSTL與K-SVD[5]、BM3D[14]、KSID[16]、OGLR[18]和STROLLR[24]進行對比。實驗中采用圖1所示的五幅大小為256×256的灰度圖像作為測試圖像,并采用PSNR和SSIM作為去噪質(zhì)量的評價指標。實驗中,圖像塊大小b=8,搜索窗大小S=40,每個組圖像塊個數(shù)K=60。參考文獻[24],γf=1/σn,γs=2.5σn。由于所提算法采用式(8)度量圖像塊間的相似性以獲得更好的低秩估計,因此,對于與低秩估計有關(guān)的參數(shù)γl,和θ,通過遍歷尋優(yōu)的方法進行選取,最終確定γl=3.5σn,θ=2σn。正則化參數(shù)λ,則采用偏差準則[27]來確定。
圖1 測試圖像Fig.1 Test images
首先對圖1所示的5幅測試圖像的去噪結(jié)果進行比較。對測試圖像分別添加均值為0,方差為5、10、15、20、25、30的高斯白噪聲。表1和表2分別給出了不同噪聲水平下所有算法去噪后的PSNR值和SSIM值,表中粗體字體表示最優(yōu)值。由表1至表2的結(jié)果可知,GLRSTL算法性能優(yōu)于K-SVD、BM3D、KSID、STROLLR和OGLR算法,對測試圖像獲得了較高的PSNR和SSIM值。
表1 不同去噪方法對5幅測試圖像去噪的PSNR值Table 1 PSNR value of 5 test images with different denoising methods dB
表2 不同去噪方法對5幅測試圖像去噪的SSIM值Table 2 SSIM value of 5 test images with different denoising methods
為了從視覺效果上對五種算法進行比較,圖2和圖3給出了對Lax和Satellite圖像去噪結(jié)果的細節(jié)對比。從圖中所示結(jié)果可見,相比其他算法,所提GLRSTL算法可以更好地保持圖像細節(jié)的特征,同時保證原始結(jié)構(gòu)不被破壞,得到清晰的邊緣和細節(jié),使去噪后的圖像獲得良好的視覺效果。具體來說,由圖2和圖3可見,對Lax圖像,GLRSTL算法恢復的圖像能夠較好地保護紋理細節(jié),特別是對右側(cè)黑色方塊結(jié)構(gòu)的恢復明顯優(yōu)于其他算法。而對于Satellite圖像,GLRSTL算法則較好地保留了馬路上的紋理,同時對房頂房檐等部分的恢復效果也較好。
圖2 不同方法對圖像Lax的去噪結(jié)果(σn=15)Fig.2 Denoising results of different methods on image Lax(σn=15)
圖3 不同方法對圖像Satellite的去噪結(jié)果(σn=20)Fig.3 Denoising results of different methods on image Satellite(σn=20)
為了進一步驗證所提GLRSTL相比STROLLR性能的改善,采用圖4(a)和(d)所示的圖像對兩個算法進行對比。從圖4可以看出,STROLLR恢復出來的圖像在平滑區(qū)域含有大量偽影,在邊緣區(qū)域會變形,在紋理區(qū)域也會出現(xiàn)模糊現(xiàn)象。而GLRSTL由于考慮了圖像的空間幾何信息,對平滑區(qū)域的噪聲去除得更干凈,且能更好地保護邊緣結(jié)構(gòu),獲得更加清晰的紋理細節(jié)。
圖4 不同方法對測試圖像A、B的去噪結(jié)果Fig.4 Denoising results of different methods on test images A,B
前面采用五張測試圖像對算法的去噪性能進行了定量和視覺效果對比,為了進一步驗證所提算法的性能,將上述五種算法對BSD68、BSD100和BSD300三個數(shù)據(jù)集進行去噪,表3給出了各算法在三個數(shù)據(jù)集上的平均PSNR值,其中最佳結(jié)果用粗體標記。可以看出,在多張圖片組成的數(shù)據(jù)集中,GLRSTL算法獲得了較好的性能。
表3 不同去噪方法對數(shù)據(jù)集去噪的PSNR值Table 3 PSNR value of datasets with different denoising methods dB
為了對比算法的運行效率,表4給出了不同去噪算法在5張測試圖像上運行時間的平均值,與STROLLR算法相比,GLRSTL由于需要構(gòu)建圖拉普拉斯矩陣,因此時間復雜度略有提高。由表4可見運行時間增加并不顯著,而由去噪性能對比可見,GLRSTL算法的圖像局部結(jié)構(gòu)保持和去噪性能均優(yōu)于STROLLR算法。
表4 運行時間對比Table 4 Comparison of running time
為了在圖像去噪的同時保護圖像的結(jié)構(gòu)信息不被破壞,維護相鄰像素點間的相似性關(guān)系,通過引入圖拉普拉斯正則,提出了一種圖拉普拉斯正則化稀疏變換學習的圖像去噪算法。此外,在度量圖像塊間相似度時,不僅考慮了像素值的歐式距離,同時也考慮了優(yōu)化后的稀疏編碼,進而可以找到更加準確的組。在實驗中,針對給定圖像數(shù)據(jù)在不同噪聲水平下驗證了所提算法具有較好的去噪性能,獲得了較高的PSNR和SSIM值,并通過去噪后的圖像細節(jié)圖可見恢復后的圖像更好地保持了圖像的紋理細節(jié)及邊緣結(jié)構(gòu)特征,提高了圖像恢復的質(zhì)量。
然而,在噪聲較大時圖像細節(jié)破壞嚴重,往往無法獲得較優(yōu)的先驗信息來構(gòu)造圖拉普拉斯矩陣,此時,所提算法的性能還需要進一步改善。因此,如何在強噪聲下獲得較好的圖像去噪效果是未來研究的重點。