一種連續(xù)性非局部變分圖像修復(fù)模型

李 蘭，陳明舉，熊興中，楊志文，張勁松

(1.四川輕化工大學(xué) 自動化與信息工程學(xué)院，四川 宜賓 644000；2.四川輕化工大學(xué) 人工智能四川省重點實驗室，四川 宜賓 644000)

0 引言

數(shù)字圖像修復(fù)技術(shù)通過相應(yīng)的、適當(dāng)?shù)臄?shù)學(xué)模型對圖像缺損區(qū)域進(jìn)行修復(fù)，以改善圖像的視覺效果[1]。數(shù)字圖像修復(fù)已應(yīng)用在文物保護(hù)、影視制作、刑事案件的偵破以及老照片的修復(fù)等各個領(lǐng)域[2-3]。近年來，變分技術(shù)將圖像修復(fù)問題轉(zhuǎn)化為泛函空間的極值問題[4]，通過數(shù)值迭代方法有效地實現(xiàn)圖像破損區(qū)域的修復(fù)，基于變分(Total Variation，TV)技術(shù)的圖像修復(fù)技術(shù)已成為當(dāng)前研究熱點。

Bertalmio等[5]最早將變分技術(shù)應(yīng)用于圖像修復(fù)中，該方法在圖像破損區(qū)域邊界沿著等照度線方向擴(kuò)散，從而實現(xiàn)利用已知的信息傳播修補(bǔ)破損區(qū)域。隨后，一些學(xué)者在此基礎(chǔ)上提出了總變分圖像修復(fù)模型[6]、幾何信息驅(qū)動的曲率擴(kuò)散圖像修復(fù)模型[7]以及分?jǐn)?shù)階總變分圖像修復(fù)模型[8]等。這些圖像變分模型利用圖像的結(jié)構(gòu)連續(xù)性較好地實現(xiàn)小破損區(qū)域的修復(fù)。當(dāng)破損區(qū)域較大時，圖像的修復(fù)性能變差。為有效實現(xiàn)較大的破損區(qū)域的修復(fù)，Gilboa等人[9]利用圖像的自相似性，提出了l2范數(shù)的非局部變分模型，該模型在考慮到圖像信息的連續(xù)性的同時利用圖像非局部的相似性有效地實現(xiàn)大破損圖像的修復(fù)。隨后，Yang等人[10]利用l1范數(shù)的異向特性，建立非局部異向擴(kuò)散的圖像非局部變分模型；Shi與Li等人[11-12]針對圖像的修復(fù)問題，在l1范數(shù)非局部變分的基礎(chǔ)上提出了非局部變分修復(fù)(Non-local Total Variation，NLTV)模型。圖像修復(fù)的非局部變分利用圖像的相似信息有效地實現(xiàn)大破損區(qū)域的修復(fù)，其修復(fù)性能在局部變分的基礎(chǔ)上有一定提高。

NLTV模型實質(zhì)上是將圖像看作真實信息區(qū)域與破損區(qū)域2個部分，利用圖像已知的信息向破損區(qū)域擴(kuò)散，從而有效地實現(xiàn)破損區(qū)域的填補(bǔ)[13]。然而，該非局部變分修復(fù)模型存在考慮不足之處[14-15]：① 模型僅考慮圖像破損區(qū)域的修復(fù)，未考慮到破損區(qū)域與信息區(qū)域的交界區(qū)域，從而造成修復(fù)后的圖像在交界區(qū)域存在不連續(xù)性現(xiàn)象；② 修補(bǔ)過程中信息區(qū)域參與的擴(kuò)散強(qiáng)度恒定，未充分利用信息區(qū)域的有效信息。

為了在實現(xiàn)圖像的破損區(qū)域修復(fù)的同時，考慮到破損區(qū)域與信息區(qū)域邊界的連續(xù)性，并且消除修復(fù)區(qū)域產(chǎn)生的“階梯”現(xiàn)象，提出了一種連續(xù)性非局部變分的圖像修復(fù)模型，采用羅賓邊界算子[16]描述破損區(qū)域與信息區(qū)域的邊界，針對破損程度的大小，實現(xiàn)對圖像修復(fù)擴(kuò)散強(qiáng)度自適應(yīng)控制。

1 自適應(yīng)連續(xù)性非局部變分修復(fù)模型

1.1 非局部變分修復(fù)模型的不足

非局部變分技術(shù)利用圖像信息區(qū)域的相似信息實現(xiàn)圖像破損區(qū)域的修復(fù)。定義P={p1,p2,…,pn}為Rd空間的圖像集合，S={s1,s2,…,sn}為P的子集。待修復(fù)圖像u由集合P確定，子集S的像素值已知，滿足u(s)=g(s)，g(·)表示無損原始圖像。圖像的非局部變分修復(fù)模型利用圖像的相似性與梯度的連續(xù)性實現(xiàn)待修復(fù)區(qū)域信息的重構(gòu)，如圖1所示。

圖1 圖像修復(fù)示意Fig.1 Schematic diagram of image inpainting

s.t.u(x)=g(x)x∈S。

(1)

上述能量泛函極小問題可以通過歐拉拉格朗日方程表示為：

(2)

從式(2)可以看出，圖像的非局部變分修復(fù)模型對于信息區(qū)域S保持不變，對于破損區(qū)域PS，采用圖像的非局部梯度作為圖像修復(fù)的擴(kuò)散因子，利用非局部相似信息實現(xiàn)圖像破損區(qū)域的修復(fù)。然而該方程未考慮到破損區(qū)域的邊界，遺漏了破損區(qū)域與信息區(qū)域的連續(xù)性問題，從而在修復(fù)后的邊界區(qū)域出現(xiàn)“階梯”現(xiàn)象。另外，該模型修復(fù)過程中的擴(kuò)散強(qiáng)度僅與非局部梯度有關(guān)，未考慮到信息區(qū)域參與的程度問題，因此，NLTV模型的修復(fù)性能有待進(jìn)一步提高。

1.2 自適應(yīng)連續(xù)性非局部變分修復(fù)模型的建立

將破損區(qū)域的邊界?B考慮進(jìn)去，在式(2)中增加邊界區(qū)域擴(kuò)散項，歐拉拉格朗日方程可進(jìn)一步轉(zhuǎn)化為：

(3)

(4)

式中，μ為羅賓邊界參數(shù)，其取值為0<μ<<1，上述方程組進(jìn)一步表示為：

(5)

此時，式(5)歐拉拉格朗日方程對應(yīng)的非局部變分修復(fù)模型為：

s.t.u(x)=g(x)，x∈S。

(6)

該非局部變分修復(fù)模型將圖像的信息區(qū)域、破損區(qū)域以及邊界區(qū)域都考慮，實現(xiàn)修復(fù)區(qū)域邊界的連續(xù)性。式(6)中，信息區(qū)域變分部分乘以權(quán)值2/μ(2/μ>>1)，該項側(cè)重于利用信息區(qū)域的相似信息實現(xiàn)破損區(qū)域的恢復(fù)，同時減弱交界區(qū)域的不連續(xù)現(xiàn)象。理論上，當(dāng)圖像的破損區(qū)域較大時，信息區(qū)域參與權(quán)重也應(yīng)該相應(yīng)地增大；反之，破損區(qū)域較小時，信息區(qū)域參與權(quán)重也相應(yīng)地較小。對上述邊界連續(xù)的非局部變分模型的權(quán)值參數(shù)進(jìn)行修正，以實現(xiàn)信息區(qū)域參與權(quán)重的自適應(yīng)，從而建立自適應(yīng)連續(xù)非局部變分修復(fù)模型為：

s.t.u(x)=g(x)x∈S，

(7)

式中，|P|/|S|表示求圖像塊包含面積的個數(shù)。在該模型中，當(dāng)破損區(qū)域較大時，權(quán)值|P|/|S|的值較大，這時該模型著重利用信息區(qū)域的信息實現(xiàn)破損區(qū)域信息的修復(fù)，以更好地重構(gòu)圖像破損區(qū)域的信息，從而消除分界區(qū)域不連續(xù)現(xiàn)象。

1.3 自適應(yīng)連續(xù)性非局部變分修復(fù)模型的求解

為方便實現(xiàn)對自適應(yīng)連續(xù)非局部變分修復(fù)模型的求解，定義：

(8)

此時，自適應(yīng)連續(xù)非局部變分修復(fù)模型可進(jìn)一步表示為：

s.t.u(x)=g(x),x∈S。

(9)

采用分裂迭代(Split Bregman Iteration，SBI)的思想[18]，并令D(x,y)=DNLu(x,y)，進(jìn)一步轉(zhuǎn)化為求解2個極小化問題：

s.t.u(x)=g(x),x∈S，

(10)

Qk+1=Qk+(DNLuk+1-Dk+1),

(11)

式(10)涉及參數(shù)u與D兩個極小化問題的求解，分別轉(zhuǎn)化成u與D兩個變量的極小化問題：

s.t.u(x)=g(x),x∈S，

(12)

(13)

定義：

(14)

令Dx=D(x,:)，則：

(15)

D的極小化問題可以進(jìn)一步分解成對D(x,:)分別求解：

(16)

(17)

Dk+1的迭代求解為：

(18)

u的求解可通過式(18)的梯度為0求得：

(19)

其中，

(20)

此時，uk可以通過2FFT快速求解。

綜上，圖像修復(fù)的自適應(yīng)連續(xù)非局部變分修復(fù)模型的SBI求解流程如下：

輸入:破損圖像f;輸出:處理后的圖像u。初始化:u0=f,D0=0,err=1,λ=γ=0.1,并計算P/S的值,破損區(qū)域填充隨機(jī)像素值;Whileerr≥0.01對于圖像點x,尋找其相似圖像塊集合;計算非局部相似系數(shù)系數(shù);按式(18)更新Dk+1;按式(20)更新λk;利用2D-FFT求解式(19)得到uk+1;按式(11)更新Qk+1;計算誤差值err=‖uk-uk-1‖2;End

2 實驗結(jié)果與分析

為驗證本文提出的連續(xù)性非局部變分修復(fù)模型的性能，將連續(xù)性非局部變分修復(fù)模型的修復(fù)結(jié)果與NLTV修復(fù)結(jié)果進(jìn)行對比。圖2給出了“Lena”圖像采用2種算法修復(fù)后的結(jié)果，以及修復(fù)后圖像與原始圖像的差值圖像。從圖2中可以看出，本文提出的連續(xù)性非局部變分修復(fù)模型相對于NLTV模型更好地修復(fù)圖像的信息，差值圖像灰度值較小，修復(fù)后的圖像更好地接近真實圖像。

(a) 原真實圖

為了進(jìn)一步說明自適應(yīng)連續(xù)非局部變分修復(fù)模型具有更好的圖像修復(fù)性能，選“carriage”“temple”“parrots”“butterfly”4幅彩色圖像(如圖3所示)分別加入字幕、隨機(jī)斑塊、劃痕以及方塊噪聲的破壞，采用NLTV與自適應(yīng)連續(xù)非局部變分修復(fù)模型2種模型進(jìn)行修復(fù)，修復(fù)結(jié)果如圖4所示。為便于對比修復(fù)的效果，在圖4中各個圖的右下角給出綠色區(qū)域的放大圖。

(a) 四輪馬車

(a) 破損圖像

對比2種模型修復(fù)的結(jié)果可以看出，自適應(yīng)連續(xù)非局部變分修復(fù)模型修復(fù)后的圖像細(xì)節(jié)與邊緣都得到更好的重建，如，carriage圖中的欄桿與parrots圖中的羽毛采用ACNLTV模型修復(fù)后更清楚，temple圖中的文字邊界與butterfly的斑塊紋理邊界采用自適應(yīng)連續(xù)非局部變分修復(fù)模型修復(fù)后更明顯。

客觀評價方面，采用Peak Signal to Noise Ratio(PSNR)峰值信噪比和Structural Similarity Index(SSIM)結(jié)構(gòu)相似性作為評價指標(biāo)，其中PSNR是用來評估2張圖像中對應(yīng)的像素點之間的誤差，值越高表示失真越小。SSIM是用來評估2張圖像在亮度、對比度以及結(jié)構(gòu)3個方面的整體相似性，其結(jié)果越接近1表明相似性越高。圖4中圖片修復(fù)前后的PSNR與SSIM如表1所示。

表1 不同圖片2種模型修復(fù)性能比較Tab.1 Inpainting performance comparison of two models for different images

由表1可以看出，自適應(yīng)連續(xù)非局部變分修復(fù)模型修復(fù)的PSNR與SSIM明顯高于NLTV修復(fù)的結(jié)果，其PSNR與SSIM分別高于NLTV約為0.5 dB與0.2，從客觀指標(biāo)再次說明ACNLTV模型修復(fù)更優(yōu)。

3 結(jié)束語

本文提出了一種連續(xù)性非局部變分圖像修復(fù)模型。采用羅賓邊界算子描述破損區(qū)域與信息區(qū)域的邊界，并針對破損程度的大小實現(xiàn)對圖像修復(fù)擴(kuò)散強(qiáng)度自適應(yīng)控制，從而提出連續(xù)性非局部變分的圖像修復(fù)模型，并給出了該模型的交替極小化求解過程。在試驗中，通過與NLTV模型對比分析，證明本文提出的連續(xù)性非局部變分的圖像修復(fù)模型在圖像修復(fù)過程中更好地修復(fù)圖像的細(xì)節(jié)信息，峰值信噪比更高，圖像修復(fù)性能更明顯。因此，本文提出的連續(xù)性非局部變分的圖像修復(fù)模型具有很好的應(yīng)用前景。