基于對數(shù)函數(shù)的非局部總變分圖像修復模型

楊文霞，張 亮

(武漢理工大學理學院，武漢430070)

(*通信作者電子郵箱wenxiayang@163.com)

0 引言

數(shù)字圖像修復［1］是針對圖像中損壞或遺失的部分，采取適當?shù)臄?shù)學模型，對破損區(qū)域進行修復，以形成良好的視覺效果或便于后續(xù)處理。數(shù)字圖像修復在文物修復、特定目標移除(如:人臉識別系統(tǒng)中的眼鏡去除)等領域具有廣泛的應用價值。目前常見的圖像修復方法大體上基于兩類框架:一類是基于偏微分方程的修復方法及其改進算法，如經(jīng)典的總變分(Total Variation，TV)最小化模型［2］、曲率驅動擴散(Curvature Driven Diffusion，CDD)模型［3］、分數(shù)階總變分模型［4］、4階總變分模型［5］等。在該圖像修復框架下，圖像修復問題轉化為一個使用變分法求解的泛函極值問題，其極值條件為一組偏微分方程，使用數(shù)值迭代方法求得穩(wěn)態(tài)解。Gilboa等［6］將非局部思想引入到總變分框架下，提出基于L2范數(shù)的非局部梯度總變分模型，將該模型用于圖像修復，獲得比較好的效果。楊文波等［7］使用非局部變分修復法去除高密度椒鹽噪聲。Zhang等［8］利用空間非局部梯度設計圖像的非局部擴散張量，并建立了非局部擴散張量的各向異性擴散模型。這些模型都是以圖像的局部梯度信息或曲率等作為迭代求解的參量，待修補區(qū)域由外向內(nèi)以同心層剝洋蔥的方式進行求解，對擴散函數(shù)的選擇缺乏統(tǒng)一規(guī)律，大部分是根據(jù)實際經(jīng)驗選取。當圖像破損區(qū)域變大，或在待修復圖像特征信息不明顯的平坦區(qū)域，其穩(wěn)態(tài)解容易引入“階梯效應”，產(chǎn)生假邊緣，從而使修復圖像視覺效果不夠自然。

另一類圖像修復算法是由Criminisi等［9］提出的基于樣例的圖像修復(Exemplar-based image inpainting)算法。通過在資源區(qū)搜索與目標塊的最優(yōu)匹配塊，并將其直接復制到待修復區(qū)域來實現(xiàn)圖像修復。該算法的最大優(yōu)點是通過計算待修復區(qū)域像素的修復優(yōu)先權值，期望保留紋理特性的一致性。該框架下的改進算法主要集中在待修復區(qū)優(yōu)先權值的計算模型上，如引入自適應梯度分析［10］或增加方向優(yōu)先系數(shù)，進行基于子塊的稀疏性的優(yōu)先權構造［11］。鄒瑋剛等［12］通過利用非降采樣輪廓波變換把圖像分解成低頻和高頻部分，分別給予修復。這類算法在計算過程中容易受到紋理細節(jié)和噪聲干擾而產(chǎn)生樣本塊的誤匹配，造成鋸齒效應，若待修補區(qū)域與圖像其他區(qū)域紋理結構差異明顯，圖像修復效果欠佳。

在非局部總變分最小化框架下，本文提出了一個基于對數(shù)函數(shù)的總變分能量泛函，從理論上可以證明它能更好地滿足圖像修復的擴散函數(shù)的需求，并能避免反擴散。對紋理圖像修復的實驗結果表明，本文模型能很好地保持圖像的紋理和邊緣信息，降低了假邊緣和階梯效應;對舊照片修復和人臉眼鏡摘除的實驗結果表明，本文模型避免了基于樣例的圖像修復所帶來的誤匹配現(xiàn)象，總體上能獲得更為自然的修復效果。

1 總變分框架下的圖像修復模型

1.1 局部擴散行為分析

設原始圖像為u0，D為待修補區(qū)域，E是緊鄰D的邊界帶狀區(qū)域。記修補完以后的圖像為u，定義圖像u的能量泛函為R(u)= ∫E∪Dr(| u|)dx，這里 r(s) 是一個當 s為正時、值域也為正的函數(shù)。依賴于時間的總變分圖像修復模型為:

1.2 r(s)需滿足的一般特性分析

為表述上的方便，記s=| u|。首先，能量泛函必須為嚴格下凹函數(shù)，此時正好有一個最小值，擴散穩(wěn)定;同時，擴散行為在圖像的不同區(qū)域也應該有所區(qū)別。具體表現(xiàn)為:

1)在同質平坦區(qū)域，梯度模值很小時，應為近似各向同性擴散。為滿足此條件，要求:

2)在圖像的邊緣區(qū)域，即梯度模值較大時，希望保持圖像邊緣，使擴散僅沿著等照度方向，即ξ方向進行，而不是跨過它而造成模糊邊緣，此時應消除uηη的系數(shù)，而增強uξξ的系數(shù)。于是=β＞0。根據(jù)函數(shù)極限的定義，這兩個條件是不能同時滿足的。在實際應用中，只能選擇兩者折中的能量函數(shù)，即當s→+∞ 時，uηη的系數(shù)r″(s)比uξξ的系數(shù)r'(s)/s速度更快地趨近于0。即:

3)此外，為體現(xiàn)擴散差異以及擴散的穩(wěn)定性，要求uξξ和uηη的系數(shù)不同且均為正值。即:

在標準的 TV 模型中，r(s) = s，此時 uηη的系數(shù)r″(| u|)=0，于是得到，即擴散只沿著圖像等照度方向擴散，算法修復效果有限，且需要較長的運行時間。

2 基于對數(shù)函數(shù)的總變分圖像修復模型

本文首先對TV模型中的r(s)進行優(yōu)化，引入對數(shù)函數(shù)r(s)=s ln(1+s)，提出一種新的能量泛函為:

下面對該能量泛函的性質和擴散行為進行證明與比較分析。

2.1 本文模型的能量泛函性質分析

式(7)取得極小值滿足的Euler-Lagrange方程為:

性質1 能量泛函E(u)=∫E∪D| u|ln(1+| u|)dx是凹函數(shù)，存在唯一局部最優(yōu)值，即全局最優(yōu)解。

性質1指出本文所提出的能量泛函E(u)全局最優(yōu)解的存在性和唯一性。

性質2表明本文提出的函數(shù)，在圖像平坦區(qū)為近似各向同性擴散，可以降低階梯效應，避免假邊緣。

性質3 表明在圖像紋理區(qū)，uηη的系數(shù) r″(s) 比 uξξ的系數(shù)r'(s)/s速度更快地趨近于0，即擴散行為沿等照度方向擴散更快，而不會跨過該方向擴散，避免造成嚴重的局部模糊。綜合性質1、2、3可見，本文提出的能量泛函滿足1.2節(jié)中良好擴散函數(shù)所需的所有特性。

2.2 本文模型局部擴散性能的比較分析

本節(jié)對本文模型的局部擴散行為進行分析。由式(2)得:

且有:

可以看出r(s)在梯度較小的地方，本文模型與You等［5］提出的四階統(tǒng)計量模型效果相近，可有效地避免圖像平滑區(qū)域修復時產(chǎn)生的“階梯效應”;在梯度較大的地方，其值介于經(jīng)典TV模型和文獻［4］模型之間，可有效地修復圖像。

圖1為本文能量泛函所對應的擴散函數(shù)與經(jīng)典TV模型及P-M(Perona-Malik)模型［13］在等照度方向及梯度方向擴散函數(shù)對比，橫坐標為梯度幅度| u|，縱坐標為擴散函數(shù)值。其中P-M模型對應的偏微分方程為:=g(| u|)uξξ+(g(| u|)+g'(| u|)| u|)uηη，擴散系數(shù)為 g(s)=，k=0.01為梯度門限。理論分析與圖1表明，與經(jīng)典的TV模型相比，本文模型函數(shù)在梯度小的區(qū)域，對應的擴散系數(shù)g(| u|)的值較小，且為同階等價無窮小，從而在圖像的平滑區(qū)域可以減少“階梯效應”;而擴散系數(shù)在梯度較大的區(qū)域，其值大于原TV模型和P-M模型，進行適當?shù)钠交杉涌靾D像信息的擴散。此外，從圖1(b)可以看出，本文模型沒有P-M模型的反向擴散，從而避免不恰當?shù)匿J化及假邊緣。

3 非局部對數(shù)總變分圖像修復模型

3.1 非局部對數(shù)總變分模型

本節(jié)將非局部算子運用于對數(shù)總變分模型中。對于圖像u，其定義域Ω為二維空間的有界開集，Ω∈R2， Ω為其邊界，像素點x，y∈Ω，定義在像素點x處關于像素點y的非局部偏導數(shù)，此處珘d(x，y)為衡量以像素點x和 y為中心的圖像塊的距離測度。定義 ω(x，y)=于是非局 部 梯 度 為(NLu)(x，y): = Ω → Ω × Ω， 其 中(NLu)(x，y)=(u(y) － u(x))非 局 部 梯 度 模 值 為 |(NLu) |(x) =x∈ Ω，y∈ Ω)。此時，基于非局部梯度的圖像正則化能量泛函為:

式中 (s)是正的函數(shù)，如對于非局部TV模型 (s) =，式(11)變化為:

圖1 不同模型擴散函數(shù)對比Fig.1 Diffusion function contrast of different models

本文所提出的對數(shù)非局部總變分能量泛函為:

將該模型用于圖像修復，其數(shù)學模型為:

定義向量v的局部散度為非局部梯度的共軛，即divNLv(x)= ∫Ω(v(x，y) － v(y，x))。式(13) 第一項對應的變分為:

因此對應的Euler-Lagrange方程為:

綜上，對數(shù)非局部總變分最小化的圖像修復模型為:

3.2 離散化數(shù)值計算方法與參數(shù)設置

4 實驗與結果分析

4.1 針對無噪聲圖像的修復實驗

為測試本文模型的修復效果，本文根據(jù)圖像修復的不同應用目的，選取三幅典型圖像進行處理。圖2為待修復的受損舊照片(尺寸:405×483)，毀損形狀包括不規(guī)則條狀毀損及較大塊毀損;圖3為人臉識別系統(tǒng)中所需要的眼鏡摘除(尺寸:276×222);圖4為大面積損傷的紋理圖像的目標移去與修復(尺寸:460×322)。三幅圖像的待修復區(qū)域，其最長連通區(qū)域的長度分別為235、140和138個像素點，最大內(nèi)切圓半徑分比為16、5和24個像素點。

圖2 待修復的舊照片及各模型修復結果Fig.2 Old photo to be repaired and inpainting results by different inpainting models

分別采用文獻［2］模型(總變分最小化)、文獻［4］模型(分數(shù)階總變分)、文獻［6］模型(非局部總變分算法)、文獻［10］模型(基于樣例的修復改進算法)及本文模型進行圖像修復。非局部總變分和基于樣例的修復算法中，圖像塊大小均為7×7，局部搜索區(qū)域大小為31×31，其他參數(shù)均與對應文獻中相同。

圖3 摘除眼鏡的待修復圖像及各模型修復結果Fig.3 Image to be repaired and inpainting results of image-eyeglasses to be removed by different inpainting models

圖4 紋理圖像的大面積待修復圖像及各模型修復結果Fig.4 Texture image with large area to be restored and inpainting results by different inpainting models

就主觀視覺效果而言，圖2和圖3中的細小條狀和半徑較小的圓形毀損:文獻［2］、［4］、［6］模型和本文模型均獲得較自然的視覺效果，而文獻［10］模型則造成較多的誤匹配。然而，對于寬度大于5個像素點的條狀毀損，或者最大內(nèi)切圓半徑大于6的圓形毀損:文獻［2］、［4］、［6］模型的修復結果存在明顯的階梯效應，視覺上有一條較明顯的假邊緣，或在梯度較大的地方造成反向擴散(圖2(c)眼睛及圖3(d)鼻梁處);本文模型的修復結果，在邊緣處過渡較自然，有效地降低了階梯效應，視覺效果上明顯優(yōu)于各對比模型。對于圖4，由于需要填充的面積較大:文獻［2］、［4］模型的修復效果為一個局部加權模糊，不適用于大面積缺損的圖像修復;文獻［6］模型的修復雖然不是簡單的局部加權模糊結果，但階梯效應較嚴重，產(chǎn)生了一個局部馬賽克似的效果;文獻［10］模型在該局部紋理比較明顯的圖像修復中獲得較自然的效果，但仍有一些誤匹配效應(右邊上兩條臺階處);本文模型修復圖中可見比較自然的臺階線，也適合存在紋理特征的大面積修復。

在修復效果的客觀評價上，采用峰值信噪比(Peak Signalto-Noise Ratio，PSNR)和結構相似性指數(shù) (Structural SIMilarity index，SSIM)［15］(0 ～1 的無量綱數(shù))來衡量不同的圖像修復算法的好壞。其中SSIM越大，代表兩幅圖像的結構相似度越強，即修復效果越好。計算SSIM時的滑動窗口大小也為7×7，SSIM的其余參數(shù)和文獻［12］的設置一樣。由于在實際的修復過程中，待修復區(qū)域是未知的，因此本文參考圖像為受損的待修復圖像。各圖修復前后的SSIM及PSNR值的結果如表1所示。表1結果表明，本文模型各項指標亦優(yōu)于各對比模型，與各對比實驗中各對比模型的平均結果(圖2、圖3、圖4)相比，SSIM 分別提高了 0.065、0.022 和 0.051;PSNR 分別提高了5.94 dB、4.00 dB 和6.22 dB。

表1 不同修復模型的PSNR和SSIM值對比Tab.1 PSNR and SSIM comparison of different inpainting models

4.2 算法魯棒性分析

為測試本文模型的魯棒性，對圖2添加不同水平的高斯隨機噪聲后進行圖像修復。此時，在源圖像區(qū)，算法起到去噪和平滑效果，因此，模型式(13)中的保真項∫(u － u0)2dxΩ的參數(shù)λ對修復效果至關重要，它起到權衡修復效果和去掉噪聲的作用。λ較大時，意味著模型側重于修復圖像和原始圖像的保真度，此時修復后的圖像可能仍然含有一些噪聲;λ較小時，意味著更看重模型的去噪能力，但此時不可避免地帶來一定的邊緣模糊。圖5(a)和5(b)是添加零均值、標準差分別為25和40的待修復高斯噪聲圖像，圖5(c)和5(d)分別是λ =0.1時的修復效果;圖5(e)和5(f)分別是λ =0.5時的修復效果。各修復結果的PSNR和SSIM如表2所示。

實驗結果表明，本文模型具有較好的魯棒性，對含噪聲圖像的修復也獲得較高的PSNR和SSIM。事實上，由于噪聲圖像對視覺的干擾，修復后的圖像，人眼對噪聲去除的效果感受更強烈，以至于可以相對忽略修復瑕疵。表2結果表明，當噪聲方差較低時，本文模型使用較小的λ也能獲得理想的修復效果，而不至于造成嚴重的邊緣模糊;但噪聲方差增加時，λ也必須相應增加，才能明顯地去除圖像源數(shù)據(jù)區(qū)的噪聲，而此時亦會使修復圖像變得相對模糊。

圖5 本文模型對含高斯白噪聲的圖像修復結果Fig.5 Inpainting results of the proposed model for image with white Gaussian noise

表2 對噪聲圖像修復后的PSNR和SSIMTab.2 PSNR and SSIM of restored noisy images

5 結語

本文提出了一個基于對數(shù)函數(shù)的非局部總變分能量的圖像修復模型，并分析了其局部擴散行為，證明本文模型滿足擴散方程的一般約束，且可以避免反向擴散。實驗結果表明，當待修復區(qū)域的毀損半徑大于12個像素點時，由于基于總變分框架的局部特性，使圖像修復效果較差，而修復圖像“視覺效果”的好壞，也與待修復區(qū)域的實際像素分布相關。具體而言，若待修復區(qū)域為一個像素值差異很小的均勻區(qū)域，那變分框架的模型都能獲得較為自然的效果(如圖2的中間女孩的右肩膀上方)，但對紋理圖像修復效果較差。若待修復區(qū)域為復雜紋理結構區(qū)域，變分框架修復呈現(xiàn)局部模糊和假邊緣，此時基于樣例的修復效果較好。由于對數(shù)非局部總變分模型能量泛函本身在等照度方向和梯度方向具有較優(yōu)良的擴散特性，且在計算過程中引入圖像塊以衡量非局部圖像塊相似性，通過選取相似圖片區(qū)域進行擴散，避免了總變分模型的局部性，而因此本文模型對紋理圖像和非紋理圖像都獲得較為自然的修復效果。對噪聲圖像的修復實驗表明本文模型也具有較好的魯棒性。同時注意到，本文算法對紋理圖像的修復仍然存在一些結構不連貫(如圖4(f)中修復后臺階線略有上下偏移)，因此必須要將圖像待修補區(qū)的局部結構信息考慮進來，構建最大紋理一致性模型，這正是進一步的研究重點。