基于重加權(quán)二階正則項(xiàng)的圖像修復(fù)算法

鄭建煒,練義欣,蔣嘉偉

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310023)

1 引 言

圖像作為信息傳遞的主要載體之一,由于其簡(jiǎn)易的表達(dá)方式而在日常生活中得到了廣泛的應(yīng)用.但是,在圖像傳輸過(guò)程中,由于傳感器以及存儲(chǔ)設(shè)備的故障極易導(dǎo)致圖像信息損壞,由于存儲(chǔ)不當(dāng)而導(dǎo)致圖像出現(xiàn)劃痕,由于圖像分辨率降低而導(dǎo)致圖像模糊,以上種種均會(huì)大大影響圖像的后續(xù)使用.因此,圖像修復(fù)(image inpainting)是一項(xiàng)重要的研究工作,是一種建立已知像素和未知像素之間關(guān)系的技術(shù).在現(xiàn)實(shí)世界中,數(shù)據(jù)通常存在一些潛在的相關(guān)因素,如連續(xù)性、對(duì)稱性、重復(fù)性等,圖像修復(fù)技術(shù)基于上述特性,通過(guò)已知像素提供的信息補(bǔ)全未知像素,使圖像信息完整,滿足人類的視覺(jué)感知要求[1].圖像修復(fù)作為底層視覺(jué)任務(wù),是后續(xù)下游任務(wù)(如檢測(cè))順利應(yīng)用的基礎(chǔ).該項(xiàng)工作最早可追溯到中世紀(jì),計(jì)算機(jī)技術(shù)與圖像處理技術(shù)齊頭并進(jìn),不斷發(fā)展,如今,圖像修復(fù)技術(shù)已經(jīng)成為計(jì)算機(jī)視覺(jué)(computer vision)和計(jì)算機(jī)圖形學(xué)(computer graphic)領(lǐng)域的重要研究方向,結(jié)合現(xiàn)有應(yīng)用,修復(fù)的作用體現(xiàn)在許多科學(xué)和工程領(lǐng)域中,例如上下文信息識(shí)別[2]、推薦系統(tǒng)[3]、X射線CT中金屬偽影的去除[4]以及退化圖像的恢復(fù)等,也被廣泛應(yīng)用于影視、生活、安防等領(lǐng)域.

依計(jì)算技術(shù)而言,圖像修復(fù)有兩種主流的方法,即數(shù)據(jù)驅(qū)動(dòng)法和知識(shí)驅(qū)動(dòng)法.數(shù)據(jù)驅(qū)動(dòng)法即以大量數(shù)據(jù)為基礎(chǔ)的分析方法,如經(jīng)典的基于深度學(xué)習(xí)的方法.在實(shí)踐中,一些基于深度網(wǎng)絡(luò)的方法,如卷積神經(jīng)網(wǎng)絡(luò)[5]和生成對(duì)抗網(wǎng)絡(luò)[6,7],已在圖像重建領(lǐng)域獲得成功應(yīng)用.然而,雖然深度學(xué)習(xí)擁有良好的性能,在分層非線性圖像表示方面表現(xiàn)出色,但其固有缺陷仍嚴(yán)重阻礙了在小尺寸單張圖像修復(fù)中的應(yīng)用.首先,神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化需要大量的訓(xùn)練時(shí)間和訓(xùn)練數(shù)據(jù),進(jìn)一步提升了高性能硬件需求,導(dǎo)致無(wú)法大規(guī)模應(yīng)用于非商用家庭電腦.另一方面,尤其在圖像修復(fù)領(lǐng)域,大多數(shù)基于深度神經(jīng)網(wǎng)絡(luò)的參數(shù)對(duì)于圖像丟失區(qū)域的類型和丟失率的敏感度較高,導(dǎo)致擴(kuò)展性能弱化.因此,本文采用基于知識(shí)驅(qū)動(dòng)的單例圖像修復(fù)方法,不依靠任何輔助圖像或者預(yù)訓(xùn)練模型,只使用待測(cè)圖像的先驗(yàn)知識(shí)引導(dǎo)修復(fù)問(wèn)題和縮小解空間.

圖像修復(fù)問(wèn)題可以公式化為從一組有噪聲的線性測(cè)量中恢復(fù)圖像f∈m×n.

y=Φf+ε

(1)

其中ε指噪聲,操作算子Φ指造成圖像損壞的具體形式,如模糊、像素丟失或下采樣,因此測(cè)量數(shù)據(jù)y僅捕獲原始圖像f的一部分.公式(1)是各類典型問(wèn)題的一般化數(shù)學(xué)表達(dá),包括去噪、去模糊、修復(fù)、超分辨率、壓縮傳感以及更高級(jí)的線性計(jì)算成像方式.眾所周知,從部分信息中恢復(fù)原始圖像是一個(gè)不適定問(wèn)題.為獲得可解的適定問(wèn)題,需要利用圖像的一些先驗(yàn)知識(shí),如稀疏性、相似性、平滑性等.通常,先驗(yàn)知識(shí)以不同的正則項(xiàng)給出.在正則項(xiàng)約束下,圖像處理問(wèn)題可轉(zhuǎn)化為以下優(yōu)化問(wèn)題:

(2)

基于擴(kuò)散的方法通常以傳播機(jī)制為核心,通過(guò)不同的傳播策略將已知區(qū)域的信息傳播到待修復(fù)區(qū)域以實(shí)現(xiàn)圖像修復(fù),如基于偏微分(Partial Differential Equation,PDE)的修復(fù)技術(shù)和基于幾何圖像模型的變分修復(fù)技術(shù).前者將待修復(fù)區(qū)域周圍的信息傳播到修復(fù)區(qū)域中,典型方法包括C.Tian等[8]提出的基于偏微分方程的高效局部無(wú)紋理圖像修復(fù)模型和Z.Liu等[9]提出的利用曲率擴(kuò)散強(qiáng)度CDD(Curvature-Driven-Diffusions)的圖像修復(fù)模型.后者通過(guò)建立圖像的先驗(yàn)?zāi)Ｐ秃蛿?shù)據(jù)模型,利用泛函和全變分知識(shí),將圖像修復(fù)問(wèn)題轉(zhuǎn)化為一個(gè)泛函求極值的變分問(wèn)題.這類算法主要包括全變分(Total Variation,TV)模型[10]、Euler′s elastica模型[11]、Mumford-Shah模型[12]等.此類基于擴(kuò)散的修復(fù)方法在處理小尺度圖像破損時(shí)效果較好,但在缺失區(qū)域較大或缺失區(qū)域及周圍紋理復(fù)雜時(shí),修復(fù)效果趨于模糊.

基于樣本的修復(fù)技術(shù)更加適用于大區(qū)域損壞圖像的修復(fù),可以取得較好的視覺(jué)感知效果,通過(guò)已知樣本數(shù)據(jù)推測(cè)計(jì)算缺失區(qū)域信息,不但可以靈活應(yīng)對(duì)缺失范圍大小不一的問(wèn)題,還可以修復(fù)損壞的細(xì)節(jié)紋理.此類方法一種簡(jiǎn)單經(jīng)典的思路是將圖像分解為結(jié)構(gòu)和紋理兩部分,并分別進(jìn)行修復(fù).另一種更常用、效果更佳的策略則是以設(shè)計(jì)匹配為基本原則,從全局搜索出與待修復(fù)區(qū)域相似度最高的圖像塊來(lái)填充缺失區(qū)域.例如Ram等人[13]提出在最短路徑上對(duì)圖像塊進(jìn)行排序,然后進(jìn)行協(xié)同過(guò)濾修復(fù).Jin和Ye等人[14]提出使用低秩Hankel結(jié)構(gòu)化矩陣完成修復(fù)算法.非局部算法(如GSR[15])在每組相似圖像塊中應(yīng)用字典學(xué)習(xí),并以稀疏表示改善修復(fù)效果.最近,圖像塊低維特征被引入圖像修復(fù),有研究提出低維流形約束(Low Dimensional Manifold Model,LDMM)[16]并在修復(fù)任務(wù)中取得不錯(cuò)效果.但是,LDMM僅采用了拉普拉斯一階梯度算子,難以保證重構(gòu)圖像的平滑性及對(duì)顏色變化的約束性.Dong等人提出一種二階低維流形(nonlocal second order,NSR)提升了圖像的平滑度[17],Zheng等人提出一種加權(quán)非局部二階流形約束[18](weighted nonlocal second order,WNSR),在修復(fù)高光譜圖像上取得了優(yōu)秀的效果.在上述研究的基礎(chǔ)上,本文將低維流形模型重新推導(dǎo)并理解為圖像分解系數(shù)的加權(quán)正則項(xiàng),并提出一種重加權(quán)的二階低維流形正則項(xiàng),進(jìn)一步提升了修復(fù)效果.

2 相關(guān)工作

為更好理解所提算法,本節(jié)介紹能量集中特性、基于圖像塊的流形結(jié)構(gòu)定義和非局部二階低維流形算法.

2.1 能量集中特性

圖像作為一種二維信號(hào),其能量集中在少數(shù)低頻分量,這是圖像壓縮、去噪、修復(fù)等算法的基礎(chǔ).圖像變換是將N×N維空間圖像數(shù)據(jù)變換為一組基向量空間的坐標(biāo)參數(shù),使這些離散圖像信號(hào)坐標(biāo)參數(shù)更集中,就意味著能夠更好的利用圖像中的有效信息,以達(dá)成更好的圖像修復(fù)效果.通?？梢愿鶕?jù)奇異值的分布特點(diǎn)來(lái)判斷能量是否集中,當(dāng)非零元素位于矩陣對(duì)角線中,即遵循能量集中特性.非零元素集中在左上角的程度越高,即能量集中性越強(qiáng).在實(shí)踐中,特定域中信號(hào)表示的能量集中模式已被廣泛利用,以設(shè)計(jì)更強(qiáng)大的正則化方案,以便從噪聲測(cè)量中重建信號(hào).局部基與非局部基本身的優(yōu)勢(shì)對(duì)于特定的信號(hào)處理任務(wù)具有很好的效果.已知常見(jiàn)的局部基如傅里葉、小波基或相關(guān)函數(shù)都具有“能量緊致”特性.非局部基一般從非線性降維或核PCA獲得,被看作是定義數(shù)據(jù)集嵌入的坐標(biāo)函數(shù),通過(guò)用相對(duì)較少的基函數(shù)捕獲數(shù)據(jù)中盡可能多的“奇異值”.因此數(shù)據(jù)集的大部分可變性主要在基函數(shù)中編碼.流形模型具備很好的能量集中特性,在流形學(xué)習(xí)的上下文中,假設(shè)數(shù)據(jù)點(diǎn)是從平滑流形中采樣的,對(duì)應(yīng)于協(xié)方差矩陣“相對(duì)較大”特征值的特征向量的數(shù)量被視為對(duì)底層平滑流形的維數(shù)估計(jì).為合理利用圖像有效信息,保證圖像修復(fù)效果,本文采用流形模型作為算法模型的基礎(chǔ).

2.2 塊流形結(jié)構(gòu)

給定圖像f∈m×n,m,n分別表示圖像的長(zhǎng)度和寬度.在原始圖像f上的任何坐標(biāo)x∈(i,j),可定義大小為s1×s2的2D圖像塊pij(f).其中坐標(biāo)(i,j)位于大小為s1×s2的矩形左上角,且(i,j)滿足(i,j)∈{1,2,…,m}×{1,2,…,n}.令所有圖像塊的集合為F,定義如下:

F={pij(f):(i,j)}∈N×l,l=s1×s2

(3)

其中,N=m×n,圖像塊是嵌入在N×l中的低維平滑流形M(f)子樣本[16],即F為f的塊流形.對(duì)F做奇異值分解,可得:

F=ΦΣVT,F,Σ∈N×l,Φ∈N×N,V∈l×l

(4)

其中,ΦTΦ=IN,VTV=Il,Φ可視為F的非局部基,V為局部基.根據(jù)奇異值的分布特點(diǎn),系數(shù)矩陣C=ΦTFV=Σ中的非零元素位于l×l上端的對(duì)角線中,即遵循能量集中特性.

2.3 非局部二階低維流形

圖像塊所在流形維度[19]可用以下公式計(jì)算:

(5)

其中,u代表流形M上的坐標(biāo)函數(shù),梯度▽u(x,y)通常用離散設(shè)置下的非局部梯度表示:

(6)

(7)

(8)

3 重加權(quán)二階正則項(xiàng)模型

本文將NSR解釋為基于分解系數(shù)的正則化形式,分析得出其有效性源自將系數(shù)矩陣能量集中在上側(cè).在此基礎(chǔ)上,本文算法將通過(guò)施加更強(qiáng)的約束項(xiàng)將能量集中區(qū)域向系數(shù)矩陣的左上方推動(dòng),提升了修復(fù)效果.

3.1 加權(quán)l(xiāng)2形式下的NSR

(9)

(10)

其中L是歸一化圖擴(kuò)散拉普拉斯算子.因此,求解式(10)等于最小化以下目標(biāo)函數(shù):

(11)

(12)

(13)

(14)

類似于式(13)有:

(15)

(16)

3.2 重加權(quán)二階正則模型

(17)

(18)

將該二次能量項(xiàng)代替式(11)和式(16)中的原始約束,得到以下優(yōu)化問(wèn)題:

(19)

使用點(diǎn)積分法PIM[22],式(19)的歐拉-拉格朗日方程可轉(zhuǎn)化為相應(yīng)的線性方程:

((γj(D-W)+λγj(D-W)T(D-W))+μW)Fvj=μWEvj,j=1,…,l

(20)

在實(shí)踐中,觀察到僅懲罰前幾列中的系數(shù)就足以滿足需求,即僅需γj,1≤j≤r,r?l,得到:

(21)

其中Vr∈l×r由V的左r列組成,由E的其余列組成.只對(duì)式(21)右側(cè)求和中的第1項(xiàng)進(jìn)行加權(quán),即替換式(18)為:

(22)

相應(yīng)線性系統(tǒng)式(20)改為:

((γj(D-W)+λγj(D-W)T(D-W))+μW)Fvj=μWEvj,j=1,…,r(D-W+λ(D-W)T(D-W))+μW)Fvj=μWEvj,j=r+1,…,l

(23)

在本文數(shù)值實(shí)驗(yàn)中,令r≈0.2l,僅對(duì)前20%的列系數(shù)進(jìn)行加權(quán).采用這種加權(quán)策略,可在不影響算法性能的同時(shí),提升計(jì)算效率.很明顯,相較式(15)使用完整的SVD分解,式(16)使用局部SVD分解,可避免計(jì)算vr+1,…,vl.

(24)

總結(jié)上述過(guò)程,re-NSM模型求解過(guò)程如算法1所示.依此算法模型思路,本文進(jìn)行了大量數(shù)值實(shí)驗(yàn),所有結(jié)果均體現(xiàn)了所提re-NSM算法的優(yōu)越性.

算法1.re-NSM模型

初始化：不完整的觀測(cè)圖像b∈N.圖像塊大小l,重加權(quán)前r項(xiàng),r=0.2l.塊矩陣F∈N×l,f(0)→F,0∈N×l→d(0).

while not converge do

1.通過(guò)SVD將F(n)進(jìn)行分解獲得[s1,…,sr],[v1,…,vr]

4.F(n)-d(n)→E(n)

forj=1:rdo

end for

5.解決以下線性方程獲得U(n)

((D(n)-W(n))+λ(D(n)-W(n))T(D(n)-W(n)))+

8.將索引像素值重置為其已知值獲得f(n+1)

9.將f(n+1)重建為F(n+1)

11.n=n+1

end while

返回f(n)

結(jié)束算法

4 算法模型實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提re-NSM方法在圖像修復(fù)任務(wù)上的有效性,選取4種最近提出的修復(fù)算法作為對(duì)比,含NSR、加速近似梯度算法APG[23]、低維流形模算法LDMM[16],以及奇異值偏和法PSSV[24],APG利用圖像的低秩性近似缺失像素.其中本文方法re-NSM、NSR、LDMM是以流形模型為基礎(chǔ)的,算法中利用了流形結(jié)構(gòu)的能量集中特性,APG、PSSV算法中不涉及能量集中體現(xiàn).LDMM將圖像映射在低維空間上進(jìn)行模型構(gòu)造和修復(fù).NSR在LDMM基礎(chǔ)上引入了二階低維流形,以流形的曲率作為正則項(xiàng)約束修復(fù)模型.PSSV則通過(guò)優(yōu)化奇異值分布重建圖像.所有的對(duì)比算法均采用作者推薦的最優(yōu)參數(shù).此外,為了徹底地評(píng)價(jià)不同算法的表現(xiàn),本文通過(guò)定性評(píng)價(jià)標(biāo)準(zhǔn)和定量評(píng)價(jià)標(biāo)準(zhǔn)來(lái)多方面比較各種模型的修復(fù)效果.定量評(píng)價(jià)標(biāo)準(zhǔn)包括峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structural Similarity Indices,SSIM).兩者均是衡量圖像修復(fù)質(zhì)量最常用的指標(biāo),PSNR定義為:

(25)

其中MSE是均方差,可由如下公式獲得:

(26)

SSIM則定義為:

(27)

4.1 實(shí)驗(yàn)設(shè)置

使用經(jīng)典的圖像處理數(shù)據(jù)集Set12,BSD68,RN16進(jìn)行實(shí)驗(yàn),在圖1中僅展示了其中6張圖片的實(shí)驗(yàn)效果.選取不同形式的像素丟失率和條紋設(shè)置于圖像中,具體實(shí)驗(yàn)如下:

圖1 實(shí)驗(yàn)所用圖像Fig.1 Original image used in the experiment

實(shí)驗(yàn)1.5種不同的隨機(jī)丟失率:60%、65%、70%、75%、80%,被獨(dú)立地添加到圖像中.

實(shí)驗(yàn)2.在50%丟失率的基礎(chǔ)上,20條寬度為1的噪聲線被隨機(jī)添加到圖像中.

4.2 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)1設(shè)置下,分別對(duì)數(shù)據(jù)集Set12、BSD68、RN16進(jìn)行修復(fù)實(shí)驗(yàn),論文中僅羅列出針對(duì)圖像anges、hill、house、smoker、barbara、man進(jìn)行修復(fù)實(shí)驗(yàn)的圖像和數(shù)據(jù).針對(duì)圖1的6幅圖像,表1詳細(xì)記錄了其在不同程度像素點(diǎn)丟失情況下的數(shù)值評(píng)價(jià)結(jié)果,其中加粗?jǐn)?shù)據(jù)為最優(yōu)值,次優(yōu)數(shù)據(jù)用下劃線表示.表2詳細(xì)記錄了幾個(gè)數(shù)據(jù)集在不同程度像素點(diǎn)丟失情況下的數(shù)值評(píng)價(jià)結(jié)果的平均值,其中加粗?jǐn)?shù)據(jù)為最優(yōu)值,次優(yōu)數(shù)據(jù)用下劃線表示.圖2與圖3分別是實(shí)驗(yàn)1和實(shí)驗(yàn)2的可視化對(duì)比結(jié)果.

表1 實(shí)驗(yàn)1的定量數(shù)值評(píng)價(jià)表Table 1 Quantitative Results of Experiment 1

圖3 實(shí)驗(yàn)2恢復(fù)結(jié)果的可視化對(duì)比,括號(hào)內(nèi)為對(duì)應(yīng)算法的PSNR值Fig.3 Visual comparison of the results from experiment 2,the PSNR values are also given in parentheses

從表1可以看出,在不同丟失率情況下,所提re-NSM在PSNR和SSIM上均表現(xiàn)最優(yōu),LDMM次之,APG和NSR的數(shù)值表現(xiàn)相近.不難發(fā)現(xiàn),利用能量集中特性的算法都表現(xiàn)出較強(qiáng)的修復(fù)效果,可以得出能量集中在圖像修復(fù)效果方面的優(yōu)勢(shì).就SSIM而言,NSR和APG的數(shù)值較低,PSSV稍高一些,但與re-NSM和LDMM有一定差距,re-NSM和LDMM在數(shù)值上相差不多,但隨著丟失率的降低PSNR數(shù)值差異愈加明顯.對(duì)比表格中其他數(shù)據(jù)可得,6組實(shí)驗(yàn)中本文方法均具有最高的平均修復(fù)結(jié)果.

表2為丟失率不同的情況下,測(cè)試數(shù)據(jù)集通過(guò)各算法修復(fù)的數(shù)值結(jié)果的平均值匯總表.從表2可以看出,所提方法re-NSM較穩(wěn)定,在PSNR和SSIM上均表現(xiàn)最優(yōu),LDMM次之.APG和NSR的數(shù)值表現(xiàn)相近,在PSNR和SSIM上均與本文方法存在較大差距.在像素點(diǎn)丟失80%的情況下,re-NSM的平均PSNR值達(dá)到32.26dB,高于次優(yōu)方法LDMM 0.99dB.對(duì)比表格中其他數(shù)據(jù),不難看出,在大量圖像實(shí)驗(yàn)中,本文修復(fù)方法效果較穩(wěn)定,均優(yōu)于對(duì)比實(shí)驗(yàn).

為進(jìn)一步驗(yàn)證不同算法的視覺(jué)修復(fù)效果,圖2展示了不同圖像在實(shí)驗(yàn)1中的修復(fù)效果.由于圖像數(shù)據(jù)過(guò)多,文中僅展示在像素丟失率為80%的情況下6組圖像的視覺(jué)修復(fù)效果.以agnes圖像實(shí)驗(yàn)為例,即圖2中的a系列,能夠明顯看出APG算法修復(fù)后的圖像存在一些模糊點(diǎn)和偽影,視覺(jué)感官較差.通過(guò)LDMM算法修復(fù)的圖像有清晰的輪廓和較完整的細(xì)節(jié),但是整體色調(diào)偏亮,與原圖差異較大.通過(guò)NSR算法修復(fù)后的圖像在色調(diào)上與原圖較接近,但是由于二階正則項(xiàng)的約束,圖像修復(fù)效果偏向于平滑,損失較多圖像細(xì)節(jié).通過(guò)PSSV算法修復(fù)的圖像除恢復(fù)效果一般外,額外會(huì)產(chǎn)生一些條紋,使得圖像條紋感明顯,恢復(fù)效果不佳.本文提出算法re-NSM恢復(fù)后的圖像在保持平滑性的同時(shí),保存較多精準(zhǔn)細(xì)節(jié),且與原圖無(wú)明顯色差,視覺(jué)感受上效果更佳.

從6組圖像的視覺(jué)效果中可看出,APG和PSSV的修復(fù)結(jié)果會(huì)產(chǎn)生一些模糊點(diǎn)和偽影,其中PSSV會(huì)產(chǎn)生額外的細(xì)條紋,這可能是由于PSSV采用的低秩逼近算法將修復(fù)過(guò)程中產(chǎn)生的條紋視為低秩分量.而NSR算法會(huì)產(chǎn)生過(guò)度平滑的現(xiàn)象,在高丟失率的情況下,由于二階正則項(xiàng)的約束,NSR的修復(fù)效果更偏向于光滑從而損失一些圖像細(xì)節(jié).LDMM算法在保存細(xì)節(jié)方面表現(xiàn)較好,但是圖像的色彩明顯偏亮,與原圖存在色差.所提re-NSM同樣采用了二階正則項(xiàng)技術(shù),但是所涉及的重加權(quán)策略更好地分配了能量流動(dòng),在保持平滑性的同時(shí)仍能保留更精準(zhǔn)的細(xì)節(jié).綜合所有圖像,所提方法在視覺(jué)感受上效果更佳,細(xì)節(jié)修復(fù)較好,且與原圖無(wú)明顯色差,證明了該方法的優(yōu)越性.

實(shí)驗(yàn)2在6張圖像上分別加入了20條噪聲干擾線,圖3為相應(yīng)視覺(jué)修改結(jié)果以及PSNR值.可以從圖3中看出,PSSV對(duì)修復(fù)條紋失效,從圖像中(如圖3(a)-5)可以明顯看出邊界清晰的條紋豎線,這說(shuō)明條紋圖像低秩分量有等效性,算法難以區(qū)分條紋和干凈圖像,即條紋被誤認(rèn)為干凈圖像的組成部分之一.APG能大致修復(fù)條紋,但仍能在數(shù)據(jù)中(如圖3(a)-2,(c)-2,(e)-2)看到明顯的線條痕跡和一些異常點(diǎn).LDMM,NSR和re-NSM均能修復(fù)條紋和缺失像素,圖像輪廓修復(fù)較好,相比之下,LDMM修復(fù)結(jié)果較模糊,放大后能看到明顯的異常點(diǎn),缺少細(xì)節(jié)元素.NSR的修復(fù)圖像過(guò)于光滑,缺少細(xì)節(jié)元素.從數(shù)值指標(biāo)PSNR和視覺(jué)效果均能看出,re-NSM表現(xiàn)最佳,恢復(fù)圖像中看不到線條痕跡,且能較好的恢復(fù)原圖內(nèi)容,細(xì)節(jié)保留較多,再一次證明了所提重加權(quán)策略的有效性.

4.3 參數(shù)分析

本節(jié)對(duì)所提算法的兩個(gè)重要參數(shù)進(jìn)行敏感度分析,即圖像補(bǔ)丁大小p和權(quán)重參數(shù)γ,實(shí)驗(yàn)在50%采樣率且無(wú)條紋情況下的smoker圖像進(jìn)行.所有結(jié)果取自10次試驗(yàn)的平均值.

1)圖像大小p:通過(guò)將從1調(diào)整到10,圖4給出了相應(yīng)的PSNR變化曲線.由圖可知,本文方法在p從1調(diào)整到10的過(guò)程中,數(shù)值逐漸增大.當(dāng)p>4時(shí),數(shù)值趨于平穩(wěn).為精細(xì)化對(duì)比,圖5進(jìn)一步給出了p>4時(shí)的結(jié)果曲線,從中可見(jiàn),PSNR獲得最佳數(shù)值效果時(shí) 的大小設(shè)置為7,當(dāng)p>7后PSNR呈下降趨勢(shì).因此在本文實(shí)驗(yàn)中,圖像塊大小(patch size)的默認(rèn)數(shù)值設(shè)置為7.

圖5 參數(shù)patch大小對(duì)PSNR的影響(P>4細(xì)節(jié)圖)Fig.5 Influence of patch size on PSNR(P>4)

2)權(quán)重參數(shù)γ:參數(shù)γ是二階正則項(xiàng)權(quán)重.如圖6所示,隨著權(quán)重參數(shù)γ的增加,所提方法的PSNR先增后減.當(dāng)γ=0.01時(shí),re-NSM取得最佳值.當(dāng)γ>0.01時(shí),數(shù)值呈下降趨勢(shì).因此γ=0.01是本文實(shí)驗(yàn)所用圖像的推薦設(shè)置.然而,由于不同圖像的特征差異,實(shí)際應(yīng)用中γ的合適取值可在0.01～0.05范圍內(nèi)調(diào)優(yōu)選擇.

圖6 權(quán)重參數(shù)γ大小對(duì)PSNR的影響Fig.6 Influence of weight parameter γ on PSNR

5 結(jié) 語(yǔ)

本文提出一種重加權(quán)的二階低維流形正則項(xiàng)用于自然圖像缺失像素修復(fù).所提方法結(jié)合了圖像處理的局部和非局部基,并展示了其在線性變換框架下的能量集中特性.基于此,將該特性通過(guò)圖像塊的局部基形式納入之前的正則化機(jī)制,能更好地分配修復(fù)過(guò)程中的能量流動(dòng),保留更多非規(guī)則化紋理細(xì)節(jié).所提模型使用廣義最小殘差分(GMRES)求解.在與多種經(jīng)典和新穎算法的比較實(shí)驗(yàn)中證明了所提正則項(xiàng)的優(yōu)越性.當(dāng)前算法版本中,將圖像塊大小作為超參數(shù)且按經(jīng)驗(yàn)設(shè)值.然而,已有分形圖像壓縮和深度卷積網(wǎng)絡(luò)的工作表明同一圖像中感知不同大小圖像塊的重要性.在之后的工作中,可以結(jié)合不同圖像塊尺度構(gòu)建多分辨率的修復(fù)模型.此外,所提算法需要消耗較多的運(yùn)行時(shí)間,后續(xù)將進(jìn)一步簡(jiǎn)化二階優(yōu)化算法,提升模型應(yīng)用的實(shí)時(shí)性并使之能用于自然彩圖、遙感影像等更豐富的實(shí)際場(chǎng)景.