基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原方法

楊 航，吳笑天，王宇慶

(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原方法

楊 航*，吳笑天，王宇慶

(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033)

本文提出一種新的結(jié)構(gòu)字典學(xué)習(xí)方法,并利用它進(jìn)行圖像復(fù)原。首先給出結(jié)構(gòu)字典學(xué)習(xí)的基本內(nèi)容和方法，然后將傅里葉正則化方法和結(jié)構(gòu)字典學(xué)習(xí)方法有效整合到圖像復(fù)原算法中。結(jié)構(gòu)字典學(xué)習(xí)方法是先將原圖像進(jìn)行結(jié)構(gòu)分解，再分別學(xué)習(xí)出每個(gè)結(jié)構(gòu)圖像中的字典，最后利用這些字典對(duì)原圖像進(jìn)行稀疏的表示。結(jié)合傅里葉正則化，提出了一種有效的迭代圖像復(fù)原算法：第一步在傅里葉域利用正則化反卷積方法得到圖像的初步估計(jì)；第二步采用結(jié)構(gòu)字典學(xué)習(xí)的方法對(duì)遺留的噪聲進(jìn)行去噪處理。實(shí)驗(yàn)結(jié)果表明，提出的方法在改進(jìn)信噪比和視覺質(zhì)量上都要優(yōu)于6種先進(jìn)的圖像復(fù)原方法,改進(jìn)的信噪比平均提升0.5 dB以上。

結(jié)構(gòu)字典;字典學(xué)習(xí);圖像復(fù)原;反卷積

1 引 言

圖像復(fù)原是一個(gè)經(jīng)典的反問題，它廣泛的存在于圖像處理的各個(gè)領(lǐng)域中，包括：航空探測(cè)[1]、物理光學(xué)[2-3]、醫(yī)療診斷[4]以及天文觀測(cè)等。舉個(gè)例子來說，在捕獲圖像的過程中，相機(jī)可能會(huì)發(fā)生相對(duì)于拍攝目標(biāo)的運(yùn)動(dòng)，因此在成像后就會(huì)導(dǎo)致運(yùn)動(dòng)模糊[5-6]，另外一個(gè)比較常見的例子就是離焦模糊.在數(shù)學(xué)上,圖像模糊的過程可以表達(dá)為一個(gè)點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF)與真實(shí)圖像之間的一個(gè)卷積，同時(shí)伴有噪聲的干擾。一個(gè)降質(zhì)觀測(cè)圖像y可以寫成如下形式：

式中，uorig、y和h分別表示原始圖像，觀測(cè)圖像和點(diǎn)擴(kuò)散函數(shù)。γ表示在圖像成像過程中引入的噪聲，一般而言，都假設(shè)它為獨(dú)立同分布的零均值高斯噪聲，方差為σ2, “*”表示循環(huán)卷積。

在離散傅里葉變換(DFT)域中，方程(1)可以寫成：

式中，Y、H、Uorig、Γ分別為y、h、uorig、γ的Fourier變換。模糊過程的逆過程被稱作圖像復(fù)原。圖像復(fù)原的目的是從降質(zhì)圖像y重新構(gòu)造真實(shí)的圖像。而圖像復(fù)原問題是著名的病態(tài)問題，因此為了獲得圖像的合理估計(jì)，需要用到正則化等相關(guān)方法。

在圖像成像過程中噪聲是廣泛存在的，因而在圖像高頻部分小的變化都會(huì)導(dǎo)致振鈴效應(yīng)。Wiener濾波[7-8]和限制最小二乘[7]方法能夠在頻域快速估計(jì)出真實(shí)圖像，但復(fù)原出的圖像往往質(zhì)量不高；基于全變差(total variantion,TV)模型的圖像復(fù)原方法是現(xiàn)今比較流行的方法之一，具有代表性的方法有快速全變差復(fù)原(fast TV deconvolution,FTVd)[9]、極大極小全變差(majorization-minimization based TV,TVMM)[10]等等。這些方法具有很好的邊緣保持能力，取得了不錯(cuò)的復(fù)原效果。然而，對(duì)于大部分自然圖像，全變差模型經(jīng)常導(dǎo)致細(xì)小尺度信息的丟失，例如紋理等。迭代閾值收縮(iterative shrinkage threshold,IST)算法也是近些年來被廣泛使用的方法，在文獻(xiàn)[11]中，IST方法在數(shù)學(xué)理論上被闡明，隨后快速IST算法(fast IST algorithm,FISTA)[12]和兩步迭代閾值收縮方法(two-step IST,TwIST)[13]對(duì)經(jīng)典的IST方法進(jìn)行改進(jìn)。這兩種方式可以處理一般的圖像反問題，例如圖像反卷積、圖像去噪以及超分辨率重構(gòu)(其基本數(shù)學(xué)模型與反卷積有很大程度的相似性[14-15])等，但相關(guān)的算法只是針對(duì)小波、全變差模型進(jìn)行處理，所以也不能很好的解決細(xì)節(jié)丟失問題。現(xiàn)階段，很多有效的圖像復(fù)原方法采用了兩步法[16-18]：第一步，對(duì)模糊圖像進(jìn)行直接逆濾波，比如Fourier逆濾波；第二步對(duì)第一步得到的圖像使用去噪方法去除遺漏的噪聲和振鈴。因此各種有效的去噪方法都被用來進(jìn)行圖像復(fù)原，例如高斯混合模型(Gaussian mixed method,GMM)[19]、形狀自適應(yīng)離散余弦變換(shape adaptive-DCT,SA-DCT)[20]、以及塊匹配的3D濾波(block matching 3D,BM3D)[21-22]。最近基于邊緣保持濾波器的圖像復(fù)原算法也取得了很好的處理效果[23,24]。另外，很多學(xué)者對(duì)字典學(xué)習(xí)的方法進(jìn)行了廣泛的討論，例如K均值奇異值分解(K-means SVD,KSVD)[25]，模糊與清晰字典學(xué)習(xí)(blurred and shaped dictionary learning,BSDL)[26]等在圖像復(fù)原問題上都取得了一定的效果，但這些方法大都沒有很好的抑制振鈴或者保持圖像的細(xì)節(jié)清晰。單一的字典分解圖像往往很難精確刻畫圖像的特征，因此學(xué)者們提出了雙字典的方法用以描述圖像[27-28]，主要利用圖像中的不同特征，例如邊緣、紋理等構(gòu)造新的字典。更多有用的算法和技術(shù)可以參考文獻(xiàn)[29-32]。

在本文中，我們首先提出結(jié)構(gòu)字典學(xué)習(xí)的概念，然后利用結(jié)構(gòu)字典學(xué)習(xí)提出一個(gè)有效的迭代復(fù)原算法。復(fù)原算法將Fourier正則化和字典學(xué)習(xí)技術(shù)有效的整合到同一個(gè)框架下。由于自然圖像可以看成是由多個(gè)不同類型的結(jié)構(gòu)圖像組合而成的，因此對(duì)于各個(gè)結(jié)構(gòu)圖像采用不同的字典進(jìn)行表示往往會(huì)得到優(yōu)于整體字典表示的效果。由此，在本文中，我們給出了結(jié)構(gòu)字典學(xué)習(xí)的概念，它能夠?qū)D像進(jìn)行更加稀疏的表示。另外，提出的復(fù)原算法由兩部分構(gòu)成：逆濾波和去噪。在逆濾波過程中，雖然得到了信息豐富的估計(jì)圖像，但卻放大了噪聲，同時(shí)引入了振鈴；因此在去噪階段，采用基于結(jié)構(gòu)字典學(xué)習(xí)的方法能夠有效的抑制噪聲和振鈴。最后,在實(shí)驗(yàn)部分, 通過與6種先進(jìn)的圖像復(fù)原算法的對(duì)比，驗(yàn)證了本文提出的算法有效性。

2 結(jié)構(gòu)字典學(xué)習(xí)

本文提出了一種結(jié)構(gòu)字典的學(xué)習(xí)方法，該方法利用圖像中不同的結(jié)構(gòu)信息來構(gòu)造不同的字典，以此達(dá)到對(duì)圖像更加稀疏的表示。例如，圖像可以看成是由紋理和卡通兩種結(jié)構(gòu)組成，因此我們分別構(gòu)造紋理字典和卡通字典，這樣就能夠?qū)γ總€(gè)結(jié)構(gòu)都有滿足各自特點(diǎn)的字典(也可稱為基底)，能夠得到比一般字典學(xué)習(xí)方法更加優(yōu)越的結(jié)果。

2.1 基于學(xué)習(xí)的稀疏表示

本小節(jié)簡(jiǎn)單回顧一下字典學(xué)習(xí)方法：基于圖像塊的稀疏分解。對(duì)于一個(gè)字典矩陣D=[d1,…,dK] ∈RL×K，一個(gè)信號(hào)x∈RL可以由 [d1,…,dK]的線性組合進(jìn)行表示。在一般的圖像處理應(yīng)用中，L的值比較小，例如對(duì)于8×8大小的圖像子塊，L=64。當(dāng)K=L時(shí)，D是一個(gè)滿秩的矩陣，稱D為完備的，當(dāng)K>L時(shí)，字典D稱之為過完備的。稱字典D是適合信號(hào)x的，如果存在一個(gè)稀疏的向量α∈RK，使得x可以寫成D與α的乘積，即x=Dα。

對(duì)于固定字典，如小波、曲波、輪廓波、剪切波、波原子等，它們往往將圖像限制到某一種類型，而學(xué)習(xí)得到的字典是從當(dāng)前圖像中得到的，其應(yīng)用范圍可以適合于任何類型的圖像。基于學(xué)習(xí)的字典包括自適應(yīng)字典學(xué)習(xí)(K-SVD)[25]，局部字典學(xué)習(xí)[33]以及學(xué)習(xí)的稀疏編碼[34]。這些稀疏表示的方法可以有效的對(duì)圖像進(jìn)行表示，非常有利于圖像的去噪[25]、修補(bǔ)以及復(fù)原[35]，因?yàn)樗麄儗W(xué)習(xí)得到的字典比那些固定字典更加適合圖像的各種先驗(yàn)估計(jì)。

s.t.‖

式中，S表示需要的稀疏度，而符號(hào)‖αt‖0表示向量的“l(fā)0范數(shù)”，意思是向量中非零元素的個(gè)數(shù)。特別是，Elad提出的K-SVD方法能夠很好的從噪聲圖像b中恢復(fù)真實(shí)圖像u：

‖Dαt-

式中，b=u+γ,E=[α1,α2,…,αT]表示圖像子塊的稀疏矩陣，λ>0 表示正則化參數(shù)。求解一般分為兩個(gè)步驟交替進(jìn)行：稀疏編碼階段(固定字典D求u和E)和字典D更新階段(固定u和E求字典D)。

2.2 結(jié)構(gòu)字典學(xué)習(xí)

針對(duì)自然圖像，Elad等人提出了一種形態(tài)成分分析(morphological component analysis,MCA)的理論[36]，它是結(jié)合了圖像的稀疏表示理論和變分優(yōu)化方法，將圖像分解成例如卡通成分和紋理成分等多種結(jié)構(gòu)，再尋找能夠?qū)Ω鱾€(gè)結(jié)構(gòu)進(jìn)行稀疏表示的字典(這里的字典是固定字典)，并把這種理論成功的應(yīng)用在圖像去噪和修補(bǔ)等問題中。受此工作的啟發(fā)，我們將圖像模型表示為光滑部分和紋理部分，即

式中，u1和u2分別表示圖像的光滑部分和紋理部分，這個(gè)模型能夠較好的逼近自然圖像。為了能夠?qū)D像進(jìn)行稀疏表示，需要對(duì)不同結(jié)構(gòu)的圖像分別建立相應(yīng)的字典，各個(gè)字典能夠較優(yōu)的匹配圖像中特定的局部結(jié)構(gòu)。這些字典互相補(bǔ)充，組成一個(gè)結(jié)構(gòu)字典集合。這個(gè)結(jié)構(gòu)字典能夠有效的匹配圖像中的重要結(jié)構(gòu)，形成對(duì)圖像的有效表示。

對(duì)于圖像的結(jié)構(gòu)字典，我們給出一般形式：

本文采用一種簡(jiǎn)化的策略，第一步對(duì)圖像b進(jìn)行結(jié)構(gòu)分解，第二步分別對(duì)每個(gè)結(jié)構(gòu)圖像進(jìn)行字典學(xué)習(xí)，進(jìn)行KSVD計(jì)算，這樣就大大的節(jié)省了運(yùn)算時(shí)間，同時(shí)還能保證處理效果。

對(duì)自然圖像進(jìn)行結(jié)構(gòu)分離，研究人員提出了很多種辦法。本文提出的算法采用卷簾導(dǎo)引濾波(Rolling guidance filter,RGF)[37]對(duì)圖像進(jìn)行結(jié)構(gòu)/紋理分解。卷簾導(dǎo)引濾波是一種新的邊緣保持濾波器，在光滑圖像的過程中保持邊緣不模糊，同時(shí)能夠?qū)D像中的紋理信息濾除.而這種性質(zhì)非常適合于圖像結(jié)構(gòu)分解。記圖像b的卷簾導(dǎo)引濾波為RGF(b)，則有：

z2=b-z1.

圖1顯示了卷簾導(dǎo)引濾波的結(jié)構(gòu)紋理分離效果。

圖1 卷簾導(dǎo)引濾波結(jié)構(gòu)分解效果圖Fig.1 Results of rolling guidance filter

其中，為了試驗(yàn)?zāi)：驮肼晫?duì)于圖像分解的影響, 我們?cè)趫D1的(d)～(f)給出了一個(gè)退化圖像分解實(shí)例，從圖中可以看出，RGF依然得到了一個(gè)較好的結(jié)構(gòu)分解(圖1中的(e)和(f))。

在得到當(dāng)前圖像的結(jié)構(gòu)、紋理分解后, 分別對(duì)分解后的兩幅圖像進(jìn)行單獨(dú)的字典學(xué)習(xí), 因此問題(6)可以用如下方式替換：

求解(9)和(10)的方法有很多，在本文中我們采用K-SVD[25]求解的原理，它是一種交替更新字典和稀疏矩陣的方法。K-SVD的核心是一種正交匹配追蹤(Orthogonal Matching Pursuit,OMP)方法：第一步，選擇與當(dāng)前殘差相關(guān)性最大的字典原子；第二步利用奇異值分解(SVD)順序更新，每迭代一次更新一列，反復(fù)迭代，直到滿足條件。OMP算法通過對(duì)字典原子進(jìn)行正交處理，能夠保證達(dá)到當(dāng)前的最優(yōu)解，即不存在反復(fù)迭代的情況，因此在相同條件下OMP算法的收斂速度很快。

通過對(duì)兩個(gè)子問題的分別求解，最后我們得到了一組結(jié)構(gòu)字典{D1,D2} 和一組結(jié)構(gòu)圖像{u1,u2}。 具體的求解步驟如下：

算法1 結(jié)構(gòu)字典學(xué)習(xí)框架

輸入：結(jié)構(gòu)圖像u1=z1和紋理圖像u2=z2以及D1=D2=ODCT

輸 出 ：重構(gòu)圖像u和結(jié)構(gòu)字典D1,D2

循環(huán)：

Step1.稀疏編碼階段：使用OMP方法對(duì)每一個(gè)Rt(ui) 計(jì)算系數(shù)αi(i=1,2)，逼近如下問題的解：

Step2.字典更新階段：對(duì)于字典Di(i=1,2)中的每一列(t=1,2,…,T)，使用奇異值分解(SVD) 順序的更新它們，每次更新一列。

Step3.設(shè)學(xué)習(xí)得到的字典為D1,D2

u=u1+u2.

式中，ODCT表示過完備離散余弦變換，σ2為b(z1+z2)的方差。因?yàn)閰?shù)λi與當(dāng)前圖像中的方差有關(guān)，同時(shí)由于在對(duì)b卷簾導(dǎo)引濾波之后，在光滑部分的噪聲方差會(huì)有所降低，因此z1和z2的方差是不同的,因此對(duì)各自參數(shù)的設(shè)置也是不同的,本文設(shè)C1=1.2,C2=1.8以及λ1=50/σ,λ2=25/σ。

3 基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原

本節(jié)將詳細(xì)描述一種基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原方法。本文采用迭代的方式復(fù)原模糊圖像.方法主要由兩大部分構(gòu)成：(1)傅里葉域上的正則化反卷積；(2)利用結(jié)構(gòu)字典學(xué)習(xí)進(jìn)行圖像去噪。本節(jié)詳細(xì)描述這兩個(gè)部分。

與方程(4)類似，采用如下正則化模型：

‖Dαt-

在這個(gè)模型中，卷積算子h和稀疏表示字典Dα是耦合的，因此我們采用一種分離變量的方法去除耦合，通過引入一個(gè)中間變量v將問題(11)轉(zhuǎn)化為

令r=λ/ξ，則將上述問題分解成兩個(gè)子問題：

3.1 直接反卷積

圖像復(fù)原的目標(biāo)是將模糊的圖像變清晰，對(duì)于局部信息的觀測(cè)具有正效應(yīng)，而它的負(fù)效應(yīng)則是引入了振鈴以及噪聲。

考慮到方程(15)是一個(gè)簡(jiǎn)單的最小二乘問題，因此可以求出v的解析解。利用卷積定理，在Fourier域上，可以直接寫出方程(13)的解：

式中，F(xiàn)表示DFT算子，F(xiàn)*表示其復(fù)共軛.算式中的加、減、乘、除均為逐像素運(yùn)算。

正則化參數(shù)rk在本方法中起著重要作用，需要在每一次迭代中進(jìn)行更新。在實(shí)踐中，我們發(fā)現(xiàn)大的rk能夠較為明顯的降低噪聲的方差，但卻會(huì)導(dǎo)致較為明顯的振鈴效應(yīng)。因此應(yīng)該選擇較小的rk，這樣雖然遺留了更多的噪聲，但是能夠保留圖像中更多的邊緣、紋理等信息，這樣在接下來的去噪階段，有效的結(jié)構(gòu)字典學(xué)習(xí)方式能夠去除遺留噪聲同時(shí)保留更多的圖像細(xì)節(jié)信息。

對(duì)于一個(gè)N×N大小的圖像，在第k步迭代，使用如下公式計(jì)算參數(shù)rk：

在直接逆濾波之后，對(duì)F(vk+1)做Fourier逆

變換，就得到了含有噪聲以及豐富細(xì)節(jié)信息的圖像。接下來將對(duì)這個(gè)結(jié)果圖像vk+1進(jìn)行去噪處理。

3.2 利用結(jié)構(gòu)字典學(xué)習(xí)的振鈴消除

圖像的稀疏性質(zhì)和字典學(xué)習(xí)在圖像去除高斯白噪聲上展現(xiàn)了很大的優(yōu)勢(shì)，因此我們將提出的結(jié)構(gòu)字典學(xué)習(xí)整合到圖像復(fù)原中，期望能夠很好的去除直接反卷積后遺留的噪聲。

問題(21)和(22)恰是本文第二節(jié)中所描述的結(jié)構(gòu)字典學(xué)習(xí)問題，因此我們采用“算法1”結(jié)構(gòu)字典學(xué)習(xí)框架來處理，即可得到最優(yōu)解。

特別的是，由于在復(fù)原過程中，圖像的噪聲方差會(huì)隨著參數(shù)的不同而改變，因此我們使用文獻(xiàn)[38]中的方法來估計(jì)。

最后我們總結(jié)提出的圖像復(fù)原算法：

算法2 基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原算法

輸入：u0=0,D1=D2=ODCT

輸出：uiter

迭代k=1,2…,iter

Step1 傅里葉正則化：利用式(18)獲得vk+1；

傳統(tǒng)的字典學(xué)習(xí)方法沒有考慮到圖像內(nèi)容的差異性，只學(xué)習(xí)得到一組字典，在圖像處理中缺乏對(duì)圖像各種結(jié)構(gòu)的區(qū)分性，不能夠根據(jù)圖像不同結(jié)構(gòu)的性質(zhì)來適時(shí)選擇合適的方法，這樣就可能對(duì)圖像的復(fù)原效果產(chǎn)生偏差；另外，在圖像復(fù)原的過程中，雖然基于稀疏表示的單字典學(xué)習(xí)方法已經(jīng)能夠重構(gòu)出高質(zhì)量的復(fù)原圖像，但是還是無法避免丟失一部分細(xì)節(jié)信息，這就大大地影響了復(fù)原圖像的視覺質(zhì)量。

本文提出的基于結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原方法，較好地整合了字典學(xué)習(xí)的方法與結(jié)構(gòu)分解的方法，從而構(gòu)建了用于進(jìn)行圖像復(fù)原的雙字典。根據(jù)圖像內(nèi)容的差異，將圖像分成結(jié)構(gòu)部分和紋理部分，分別構(gòu)建適合自身性質(zhì)的字典，使得學(xué)習(xí)得到的字典集合的適應(yīng)性更強(qiáng)，對(duì)圖像的稀疏表達(dá)更有效。

4 數(shù)值實(shí)驗(yàn)

本文的實(shí)驗(yàn)采用的參數(shù)如下：圖像子塊大小為8×8個(gè)像素，字典選擇為L(zhǎng)=64,K=256。為了驗(yàn)證提出的算法的有效性，考慮7組經(jīng)典復(fù)原實(shí)驗(yàn)，這些實(shí)驗(yàn)被廣泛用在圖像復(fù)原算法的驗(yàn)證實(shí)驗(yàn)中,例如文獻(xiàn)[19][26]等。在這些實(shí)驗(yàn)中，原始圖像分別為256×256大小的“House”圖像(實(shí)驗(yàn)1,2)，512×512大小的“Lena”圖像(實(shí)驗(yàn)3,4)和512×512大小的“Barbara”圖像(實(shí)驗(yàn)5,6,7).使用3種點(diǎn)擴(kuò)散函數(shù)(pointspreadfunction,PSF)：

PSF1：hi,j=1/81, i,j=-4,…,4

PSF2：[1,4,6,4,1]T[1,4,6,4,1]/256

PSF3：25×25，方差為1.6的高斯核函數(shù)

所有的點(diǎn)擴(kuò)散函數(shù)都進(jìn)行了歸一化∑hi,j=1。具體的實(shí)驗(yàn)設(shè)置如下：

·Experiment1:PSF1, σ2=0.165,andHouse

·Experiment2:PSF3, σ2=4,andHouse

·Experiment3:PSF1, σ2=0.195,andLena

·Experiment4:PSF3, σ2=4,andLena

·Experiment5:PSF2, σ2=49,andBarbara

·Experiment6:PSF3, σ2=4,andBarbara

·Experiment7:PSF1, σ2=0.49,andBarbara

表1給出本文的算法與現(xiàn)今主流算法的數(shù)值對(duì)比。在本小節(jié)中，通過上述7組實(shí)驗(yàn)與ForWaRD(Fourierandwaveletregularizationdeconvolution)[16]，F(xiàn)TVd[9]，BM3DDEB(blockmatching3Dfilteringbaseddeblurring)[22]，L0-ABS(L0normanalysisbasedsparseoptimization)[30]，BSDL[26]以及SURE-LET(Stein′sunbiasedriskestimate-linearexpansionofthresholds)[32]等6種算法進(jìn)行對(duì)比，其實(shí)驗(yàn)數(shù)據(jù)均由中其作者提供的程序以及建議的參數(shù)設(shè)置而得到。

表1 本文算法與現(xiàn)今主流算法ISNR值對(duì)比

在這些實(shí)驗(yàn)中，我們使用改進(jìn)的信噪比(improvement signal to noise rate,ISNR)來衡量算法的有效性。ISNR的定義如下：

在實(shí)驗(yàn)Exp1和Exp2中，“House”圖像被兩種不同的模糊核降質(zhì)，且被高斯白噪聲干擾。在表1中的第2和第3欄給出不同算法獲得的ISNR值。從ISNR值中可以看出，本文的方法要好于其他幾種圖像復(fù)原方法，圖2顯示針對(duì)Exp2各個(gè)算法復(fù)原出的圖像細(xì)節(jié)。從圖2(c)中可以看，F(xiàn)orWaRD算法的結(jié)果對(duì)比度較低同時(shí)還有一些振鈴存在(房子的頂部)；FTVd的處理效果(圖2(d))在圖像中存在一些塊效應(yīng)，例如窗戶附近； SURE-LET的算法得到的效果顯示在圖2(e)中，仔細(xì)觀察可以看出在窗戶附近依然有些振鈴；圖2(f)是BSDL的處理效果，在白色豎直邊緣依然比較模糊;而BM3DDED的復(fù)原效果有明顯的振鈴，見圖2(g)。本文方法得到的效果顯示在圖2(h)中，可以看出圖像的一些邊緣得到了恢復(fù)，如窗戶，房頂?shù)取?/p>

圖2 Exp2視覺效果對(duì)比圖Fig.2 Visual comparison of House image in Exp2

實(shí)驗(yàn)Exp3和Exp4是對(duì)模糊的“Lena”圖像進(jìn)行復(fù)原.數(shù)值模擬結(jié)果顯示在表2的Exp3和Exp4欄中。從ISNR值可以看出，本文的方法要好于其他6種算法。圖3顯示的是Exp3各個(gè)算法的復(fù)原圖像細(xì)節(jié)。從圖3的對(duì)比中可以發(fā)現(xiàn)，本文提出的方法不僅在ISNR上有著一定的優(yōu)勢(shì)，而且在視覺效果上也要好于其他幾個(gè)算法。

在實(shí)驗(yàn)Exp5、Exp6和Exp7中，實(shí)驗(yàn)圖片是紋理信息豐富的“Barbara”。分別用PSF2、PSF3和PSF1來模糊原始清晰圖像，同時(shí)加入一定量的噪聲。不同算法的ISNR結(jié)果總結(jié)在表1的最后3欄中。同樣可以發(fā)現(xiàn)，在對(duì)比的算法中，我們的方法依然取得了較好的結(jié)果.在圖4中給出了Exp5的復(fù)原圖像細(xì)節(jié)對(duì)比。從圖4(c)中可以看出，F(xiàn)orWaRD算法復(fù)原的效果幾乎將原來褲子中的紋理全部丟失，而圖4(d)顯示的是FTVd的效果，依然有噪聲殘留下來。圖4(e)和4(f)分別顯示的是L0-ABS和BSDL的效果，可以看到Barbara的褲線中大部分的細(xì)節(jié)已經(jīng)不見了。BM3DDEB的處理效果顯示在圖4(g)中，可以看到在褲子的周圍，有振鈴殘留；圖4(h)顯示的是本文的算法得到的效果，從視覺效果上看，它要好于圖4(c)～4(g)。

圖3 Exp3視覺效果對(duì)比圖Fig.3 Details of the image deconvolution experiment with a Lena in Exp3

圖4 Exp5視覺效果對(duì)比圖Fig.4 Details of the image deconvolution experiment with a Barbara in Exp5

圖5給出了Exp7中本文方法與BSDL算法的效果對(duì)比。從圖中可以明顯看出，同為字典學(xué)習(xí)類的圖像復(fù)原方法，我們的方法在視覺質(zhì)量和ISNR數(shù)值上都要好于BSDL方法。主要原因在于我們使用了分別表示紋理和結(jié)構(gòu)的雙字典，相對(duì)于僅僅使用單一字典的學(xué)習(xí)方法，更有利于對(duì)圖像進(jìn)行稀疏表示。

圖5 Exp7實(shí)驗(yàn)效果對(duì)比圖Fig.5 Details of the image deconvolution experiment with a Barbara in Exp7

在表2中，我們給出了各個(gè)算法的運(yùn)算時(shí)間。因?yàn)楦鱾€(gè)方法的運(yùn)算時(shí)間都只與圖像分辨率有關(guān)，因此我們給出不同分辨率下各個(gè)算法的時(shí)間對(duì)比。

表2 本文算法與現(xiàn)今主流算法實(shí)驗(yàn)運(yùn)行時(shí)間(秒)對(duì)比

5 結(jié) 論

在本文中，我們提出結(jié)構(gòu)字典學(xué)習(xí)方法和利用結(jié)構(gòu)字典學(xué)習(xí)的圖像復(fù)原算法.首先根據(jù)自然圖像的一般特性，將圖像分為平滑部分和紋理部分，然后分別對(duì)兩部分構(gòu)造字典，進(jìn)而得到對(duì)各個(gè)部分的稀疏表示。最后采用一種分離變量的思想對(duì)正則化復(fù)原模型中的卷積算子和字典表示進(jìn)行解耦和，得到了一個(gè)迭代格式。同時(shí)數(shù)值模擬實(shí)驗(yàn)，本文提出的復(fù)原算法要好于現(xiàn)今6種經(jīng)典復(fù)原算法， ISNR值平均提升0.5 dB以上。將來的主要工作是想將該方法引申到盲復(fù)原方法中，將點(diǎn)擴(kuò)散函數(shù)(模糊核)的估計(jì)與字典學(xué)習(xí)整合到一起.同時(shí)該方法也可以延伸到其他圖像問題中，例如圖像去噪和超分辨率重構(gòu)等。

[1] 沈峘, 李舜酩,毛建國(guó),等.數(shù)字圖像復(fù)原技術(shù)綜述[J].中國(guó)圖像圖形學(xué)報(bào)，2009，14(9):1764-1775. SHEN H,LI S M,MAO J G,etal.. Digital image restoration techniques:a review[J].J.ImageandGraphics,2009，14(9):1764-1775.(in Chinese)

[2] 楊亞威,胡雙演,張士杰,等.基于字典對(duì)聯(lián)合學(xué)習(xí)的退化圖像復(fù)原方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,3:406-413. YANG Y W,HU SH Y，ZHANG SH J,etal.. A degraded image restoration approach based on pairs of dictionaries jointly learning[J].J.Computer-AidedDesign&ComputerGraics,2015,3:406-413.(in Chinese)

[3] 陳曦,汪彥剛,彭思龍,等.部分模糊核已知的混合模糊圖像復(fù)原算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,2:272-278. CHEN X,WANG Y G,PENG S L,etal.. Restoration of degraded image from partially known mixed blur[J].J.Computer-AidedDesign&ComputerGraphics,2010,2:272-2781.(in Chinese)

[4] JAIN A K.FundamentalofDigitalImageProcessing[M]. Prentice-Hall. Inc.,1989:1420-1424.

[5] 朱明,楊航,賀柏根,等.聯(lián)合梯度預(yù)測(cè)與導(dǎo)引濾波的圖像運(yùn)動(dòng)模糊復(fù)原[J].中國(guó)光學(xué),2013,6(6):850-855. ZHU M,YANG H,HE B G,etal.. Image motion blurring restoration of joint gradient prediction and guided filter[J].ChineseOptics,2013,6(6):850-855.(in Chinese)

[6] 劉成云,常發(fā)亮.基于稀疏表示和Weber定律的運(yùn)動(dòng)圖像盲復(fù)原[J].光學(xué) 精密工程,2015,23(2):600-608. LIU C Y,CHANG F L. Blind moving image restoration based on sparse representation and Weber′s law[J].Opt.PrecisionEng.,2015,23(2):600-608.(in Chinese)

[7] BANHAM M R,KATSAGGELOS A K. Digital image restoration[J].IEEESiggcalProcessingMagazine,1997,14(2):24-41.

[8] HANSEN P C.Rank-deficientandDiscreteill-posedProblems:NumericalAspectsofLinearInversion[M]. Philadelphia,PA:SIAM,1998.

[9] WANG Y,YANG J,YIN W,etal.. Anew alternating minimization algorithm for total variation image reconstruction[J].SIAMJ.Imag.Sci.,2008,1(3):248-272.

[10] OLIVEIRA J,BIOUCAS-DIAS J M,FIGUEIREDO M A,etal.. Adaptive total variation image deblurring:a majorization-minimization approach[J].SignalProcessing,2009,89(9):1683-1693.

[11] DAUBECHIES I,DEFRISE M,AND MOL C,etal.. An iterativethresholding algorithm for linear inverse problemswith a sparsity constraint[J].CommunicationsonPureandAppliedMathematics,2004,57(11):1413-1457.

[12] BECK A,TEBOULLE M A. Fast iterativeshrinkage-thresholding algorithm for linear inverseproblems[J].SIAMJ.Imag.Sci.,2009(2):183-202.

[13] BIOUCAS-DIAS J,FIGUEIREDO M. A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration[J].IEEETrans.ImageProcess,2007,16(12):2992-3004.

[14] 張振東,陳健,王偉國(guó),等.基于SSIM_NCCDFT的超分辨率復(fù)原評(píng)價(jià)方法研究[J].液晶與顯示,2015,30(4):713-721. ZHANG ZH D,CHEN J,WANG W G,etal.. Evaluation method of super-resolution restoration based on SSIM_NCCDFT[J].ChineseJ.LiquidCrystalsandDisplays,2015,30(4):713-721.(in Chinese)

[15] 郭萌,趙巖,王世剛,等.基于區(qū)域選擇的紅外弱小目標(biāo)超分辨率復(fù)原算法[J].液晶與顯示,2016,31(4):415-420. GUO M,ZHAO Y,WANG SH G,etal.. Infrared dim-small target super-resolution restoration algorithm based on region selection[J].ChineseJ.LiquidCrystalsandDisplays,2016,31(4):415-420.(in Chinese)

[16] NEELAMANI R,CHOI H,BARANIUK R G. ForWaRD:Fourier-wavelet regularized deconvolution for ill-conditioned systems[J].IEEETrans.SignalProcess,2004,52(2):418-433.(in Chinese)

[17] PATEL V M,EASLEY G R,HEALY D M. Shearlet-based deconvolution[J].IEEETrans.ImageProcess,2009,18(12):2673-2685.

[18] YANG H,ZHANG Z B. Fusion of wave atom-based wiener shrinkage filter and joint non-local means filter for texture-preserving image deconvolution[J].OpticalEngineering,2012,51(6):67-75.

[19] GUERRERO-COLON J A,MANCERA L,PORTILL J. Image restoration using space-variant Gaussian scale mixtures in overcomplete pyramids[J].IEEETrans.ImageProcess,2007,17(1):27-41.

[20] FOI A,DABOV K,KATKOVNIK V,etal.. Shape-adaptive DCT for denoising and image reconstruction[J].SPIE,2006,6064:203-214.

[21] DABOV K,FOI A,KATKOVNIK V,etal.. Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEETrans.ImageProcess,2007,16(8):2080-2095.

[22] DABOVE K,FOI A,Image restoration by sparse 3D transform-domain collaborative filtering[J].SPIE,2008,6812:681207-12.

[23] YANG H,ZHU M,ZHANG Z B,etal.. Guided filter based edge-preserving image non-blind deconvolution[C]. Proc. 20th IEEE International Conference on Image Processing(ICIP),Melbourne,Australia,2013:4593-4596.

[24] YANG H,ZHANG Z B,ZHU M,etal.. Edge-preserving image deconvolution with nonlocal domain transform″[J].OpticsandLaserTechnology,2013,54:128-136.

[25] ELAD M,AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J].IEEETransactionsonImageProcessing,2006,15(12):3736-3745.

[26] COUZINIE-DEVY F,MAIRAL J,BACH F,etal.. Dictionary learning for deblurring and digital zoom[EB/OL]. [2011-09-28]. https://hal.inria.fr/inria-00627402.

[27] JAIN A K,CAO K. Fingerprint image analysis:role of orientation patch and ridge structure dictionaries[J].GeometryDrivenStatistics,2015:121-288.

[28] LI K,SHAO F,JIANG G,etal.. Joint structure texture sparse coding for quality prediction of stereoscopic images[J].ElectronicsLetters,2015,51(24):1994-1995.

[29] YUAN L,SUN J,QUAN L,etal.. Progressive inter-scale and intra-scale non-blind image deconvolution[J].ACMTransactiononGraphics,2008,27(3):74-83.

[30] PORTILLA J. Image restoration through l0 analysis based sparse optimization in tight frames[C]. Proc. 16th IEEE ICIP,Cairo,Egypt,2009:3909-3912.

[31] NI J,TURAGA P,PATEL V M,CHELLAPPA R. Example-driven manifold priors for image deconvolution[J].IEEETrans.ImageProcess,2011,20(11):3086-3096.

[32] XUE F,LUISIER F,BLU T. Multi-wiener SURE-LET deconvolution[J].IEEETrans.ImageProcess,2013,22(5):1954-1968.

[33] CHATTERJEE P ,MILANFAR P . Clustering-based denoising with locally learned dictionaries[J].IEEETrans.ImageProcess,2009,18(7):1438-1451.

[34] MAIRAL J,BACH F,PONCE J,etal.. Non-local sparse models for image restoration[C]. Proc. IEEE Int. Conf. Comput. Vis.,Kyoto,Japan,2009:2272-2279.

[35] LIU Q G,WANG S S,YING L L,etal.. Adaptive dictionary learning in sparse gradient domain for image recovery[J].IEEETransactionsonImageProcessing,2013,22(12):4652-4663.

[36] STARCK J L,ELAD M,DONOHO D ,etal.. Redundant multiscale transforms and their application for morphological component analysis[J].J.AdvancesinImagingandElectronPhysics,2004,132:287-348.

[37] ZHANG Q,SHEN X Y,XU L,etal.. Rolling guidance filter[C]. Europ. Conf.Comput.Vision. Springer,2014:815-830.

[38] YANG H,ZHU M,WU X T,etal.. Dictionary learning approach for image deconvolution with variance estimation[J].AppliedOptics,2014 53(24):5677-5683.

Image restoration approach based on structure dictionary learning

YANG Hang*, WU Xiao-tian, WANG Yu-qing

(ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China)

*Correspondingauthor,E-mail:yhang3109@163.com

In this paper, we propose a new structure dictionary learning method, and perform image restoration based on this approach. First, we define the structure dictionary for the nature image. Second, an iterative algorithm is proposed with the decouple of deblurring and denoising steps in the restoration process, which effectively integrates the Fourier regularization and structure dictionary learning technique into the deconvolution framework. Specifically, we propose an iterative algorithm. In the deblurring step, we involve a regularized inversion of the blur in Fourier domain. Then we remove the remained noise using the structure dictionary learning method in the denoising step. Experiment results show that this approach outperforms 6 state-of-the-art image deconvolution methods in terms of improvement signal to noise rate(ISNR) and visual quality, and the ISNR can be improved by more than 0.5 dB.

structure dictionary;dictionary learning;image restoration;deconvolution

楊 航(1985—)，男，吉林長(zhǎng)春人，博士，助理研究員，20012年于吉林大學(xué)獲得博士學(xué)位，主要從事機(jī)器視覺及圖像復(fù)原方面的研究。E-mail:yhang3109@163.com

2016-10-12；

2016-12-05

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61401425) Supported by National Natural Science Foundation of China(No.61401425)

2095-1531(2017)02-0207-12

TP391

A

10.3788/CO.20171002.0207