基于圖像結(jié)構(gòu)-紋理分解及局部總變分最小化的圖像修復(fù)模型

楊文霞，張 亮

(武漢理工大學(xué) 理學(xué)院，武漢 430070)(*通信作者電子郵箱wenxiayang@163.com)

0 引言

圖像修復(fù)技術(shù)在文物修復(fù)、圖像糾錯(cuò)和目標(biāo)隱藏等領(lǐng)域具有廣泛的應(yīng)用。由于圖像待修復(fù)區(qū)域的內(nèi)容未知，理論上的修復(fù)結(jié)果并不唯一，故圖像修復(fù)屬于一種無(wú)監(jiān)督方法[1]。目前，無(wú)監(jiān)督圖像修復(fù)方法大致分為基于偏微分方程和變分法的圖像修復(fù)[2-3]和基于圖像塊樣例的修復(fù)[4]以及一些混合方法[5]。偏微分框架下的圖像修復(fù)只適用于小面積非紋理受損圖像(如寬度小于5個(gè)像素點(diǎn)的細(xì)長(zhǎng)條毀損)，此時(shí)，圖像修復(fù)問(wèn)題轉(zhuǎn)化為一個(gè)使用變分法求解的泛函極值問(wèn)題，其極值條件為一組偏微分方程，使用數(shù)值迭代方法求得穩(wěn)態(tài)解。

當(dāng)待修復(fù)區(qū)域較大時(shí)，Criminisi等[4]提出基于樣例的修復(fù)方法(Exemplar-Based Inpainting)，其基本思想是：首先計(jì)算待修復(fù)區(qū)域的邊緣上各像素點(diǎn)的修復(fù)優(yōu)先度，按貪心算法的機(jī)制，得到具有最高優(yōu)先度的待修復(fù)像素點(diǎn)，并以此像素點(diǎn)為圖像塊中心，統(tǒng)計(jì)全圖中和該圖像塊相似性測(cè)度最大的圖像塊，將該圖像塊復(fù)制并拷貝到待修補(bǔ)區(qū)域，然后更新待修復(fù)區(qū)域，開(kāi)始下一輪修復(fù)，直至待修復(fù)區(qū)域被全部填充完畢。由于該修復(fù)方法的“復(fù)制-粘貼”模式避免了偏微分修復(fù)框架的局部模糊效應(yīng)，能較好地保持圖像的結(jié)構(gòu)和紋理信息，因此被廣泛應(yīng)用于大面積的圖像修復(fù)應(yīng)用中。影響該算法修復(fù)性能的關(guān)鍵點(diǎn)為：1)優(yōu)先度的計(jì)算；2)圖像塊相似性的度量；3)最優(yōu)匹配圖像塊的搜索和選擇。其中2)和3)互相影響。

國(guó)內(nèi)外學(xué)者針對(duì)以上三點(diǎn)提出了很多改進(jìn)算法。Wexler等[6]提出采用金字塔模式和期望最大化算法，通過(guò)最小化一致性參數(shù)進(jìn)行圖像修復(fù);Buyssens等[7]引入圖像塊的局部結(jié)構(gòu)張量，將RGB三個(gè)通道方向的局部張量加權(quán)和與法向的內(nèi)積作為衡量數(shù)據(jù)項(xiàng)的因素;Xu等[8]將結(jié)構(gòu)稀疏度引入優(yōu)先權(quán)計(jì)算中;Cao等[9]通過(guò)引入圖像的局部結(jié)構(gòu)特征來(lái)引導(dǎo)填充區(qū);He等[10]通過(guò)統(tǒng)計(jì)圖像己知區(qū)域中相似圖像塊的偏移量，形成一個(gè)候選匹配塊集合，構(gòu)造KD樹(shù)(K-Dimension tree)搜索以減少計(jì)算時(shí)間和降低匹配錯(cuò)誤概率;Kumar等[11]將圖像修復(fù)轉(zhuǎn)換為度量標(biāo)記優(yōu)化問(wèn)題，使用模擬退火算法求解;Chen等[12]利用圖像塊的梯度模值對(duì)優(yōu)先項(xiàng)中的數(shù)據(jù)項(xiàng)進(jìn)行改進(jìn)，并通過(guò)大量實(shí)驗(yàn)，得出圖像塊窗口的最優(yōu)尺寸為9到17之間的奇數(shù)這一結(jié)論;劉華明等[13]通過(guò)對(duì)待修復(fù)圖像進(jìn)行均值濾波并引入自適應(yīng)梯度分析以及分級(jí)搜索策略，保持自然圖像的邊緣光滑性;于文靜等[14]通過(guò)統(tǒng)計(jì)相同結(jié)構(gòu)偏移量的分布特征獲取最優(yōu)匹配信息;李夢(mèng)雪等[15]通過(guò)對(duì)圖像進(jìn)行特征子區(qū)域劃分搜索子區(qū)域，提高修復(fù)速度。

受以上模型和思想啟發(fā)，本文提出了一個(gè)基于結(jié)構(gòu)-紋理分解和局部總變分最小化的圖像修復(fù)模型。首先利用對(duì)數(shù)總變分最小化模型將待修復(fù)圖像進(jìn)行結(jié)構(gòu)-紋理分解，利用卡通圖像中的大尺度和顯著性結(jié)構(gòu)邊緣信息來(lái)計(jì)算修復(fù)優(yōu)先權(quán)的數(shù)據(jù)項(xiàng)；其次，按局部總變分最小化原則，將圖像塊的最佳匹配轉(zhuǎn)換成一個(gè)0-1優(yōu)化問(wèn)題，使匹配原則有利于保持圖像結(jié)構(gòu)和紋理的一致性，更符合人眼視覺(jué)特性。

1 基于樣例的修復(fù)方法及存在的問(wèn)題

1.1 基于樣例的修復(fù)方法

(1)

此處ψ(p)所在區(qū)域用Np表示。分母|Np|代表圖像塊ψ(p)中的像素點(diǎn)數(shù)。C(q)代表q點(diǎn)的置信度：如果是待修復(fù)區(qū)域，則為0；如果是源圖像區(qū)，則為1。因此，式(1)中的分子代表在圖像塊ψ(p)中的不需要修復(fù)的數(shù)據(jù)點(diǎn)數(shù)(真實(shí)數(shù)據(jù))。這一項(xiàng)的含義是，如果待修補(bǔ)的p點(diǎn)所在圖像塊中有足夠多的真實(shí)數(shù)據(jù)，那么該圖像塊所提供的真實(shí)信息越多(即可信度越高)，應(yīng)該優(yōu)先被修復(fù)。

數(shù)據(jù)項(xiàng)D(p)的計(jì)算公式為:

(2)

圖1為待修復(fù)灰度圖像的一個(gè)局部放大區(qū)域。其中，斜線填充的像素點(diǎn)表示待修復(fù)區(qū)域邊界?Ω上的像素點(diǎn)，p1、p2、p3和p4點(diǎn)分別是待修復(fù)的幾個(gè)特殊點(diǎn)。設(shè)圖像塊大小為5×5,由式(1)不難算出，這四個(gè)點(diǎn)的置信項(xiàng)分別是C(p1)=23/25，C(p2)=2/25，C(p3)=10/25，C(p4)=13/25。p1和p2分別擁有最大和最小的置信項(xiàng)；而p3的等照度方向和邊緣法向量的方向(與水平方向的夾角為45°)是重合的，因此該點(diǎn)擁有最大的數(shù)據(jù)項(xiàng)；p4的等照度方向?yàn)樗椒较?，但邊緣法向量的方向與水平方向的夾角為90°，因此p4點(diǎn)擁有最小的數(shù)據(jù)項(xiàng)0。

圖1 圖像的局部待修復(fù)區(qū)域邊界

1.2 算法特性與不足

首先，由1.1節(jié)中的算法原理可知，優(yōu)先權(quán)的設(shè)置和計(jì)算對(duì)修復(fù)結(jié)果有著重大的影響。如圖2(a)所示，空白區(qū)域?yàn)榇迯?fù)區(qū)域，從視覺(jué)合理性出發(fā)，要求修復(fù)后的圖像，其幾何結(jié)構(gòu)和邊緣信息等保持完整性和連續(xù)性,因此，期望得到如圖2(d)的修復(fù)效果。圖2(b)和(c)分別是采取由上向下和由下向上的修復(fù)順序得到的修復(fù)結(jié)果，圖2(d)則是按式(1)和(2)計(jì)算修復(fù)順序后的修復(fù)結(jié)果，其優(yōu)先順序大致為從待修復(fù)區(qū)域的左右兩側(cè)往中心地帶修復(fù)，顯然圖2(d)更具視覺(jué)合理性。

圖3是圖2(a)按照式(1)和(2)在修復(fù)迭代過(guò)程中的C(p)、D(P)及P(p)的變化，其中橫坐標(biāo)為迭代次數(shù)?？梢?jiàn)，置信項(xiàng)C(p)在修復(fù)過(guò)程中的迅速下降主導(dǎo)著優(yōu)先權(quán)P(p)的變化；D(p)雖然在迭代過(guò)程中出現(xiàn)幾次突變型高峰值，但由于此時(shí)對(duì)應(yīng)的C(p)非常小，由于乘積效應(yīng)，使得數(shù)據(jù)項(xiàng)D(p)將不再發(fā)揮重要作用，導(dǎo)致優(yōu)先權(quán)的計(jì)算背離結(jié)構(gòu)一致性優(yōu)先的初衷。圖2中只有一條明顯的邊緣結(jié)構(gòu)，尚能得到較好的修復(fù)效果。若對(duì)復(fù)雜結(jié)構(gòu)的圖像進(jìn)行修復(fù)，修復(fù)積累誤差將對(duì)視覺(jué)可信性造成較大影響。

圖2 待修復(fù)圖像及按不同優(yōu)先順序得到的修復(fù)結(jié)果

圖3 圖2(d)修復(fù)過(guò)程中的置信項(xiàng)、數(shù)據(jù)項(xiàng)和優(yōu)先權(quán)項(xiàng)變化

其次，最優(yōu)匹配塊的選取原則也對(duì)修復(fù)效果有重大的影響。對(duì)于待修復(fù)圖像塊ψ(p),經(jīng)典的衡量?jī)蓚€(gè)圖像塊的相似度的度量是差值平方和(Sum of Square Differences，SSD)。 SSD越小，圖像塊越相似。

(3)

但按此規(guī)則計(jì)算的SSD最小的匹配塊可能不止一個(gè)，算法在實(shí)際處理時(shí)可能會(huì)隨機(jī)取一個(gè)塊，或者程序在循環(huán)過(guò)程中以搜尋到的第一個(gè)或最后一個(gè)作為最優(yōu)匹配塊，這樣就忽略了圖像塊內(nèi)的局部結(jié)構(gòu)。圖4是待修補(bǔ)塊ψ(p)及兩個(gè)SSD最小的匹配塊ψq1與ψq2,不難算出ψq1和ψq2分別與ψ(p)有相同的SSD，但是ψq1和ψq2卻有著差異非常大的局部結(jié)構(gòu)，這顯然會(huì)導(dǎo)致誤差及積累誤差，因此搜尋原則和匹配原則必須進(jìn)行改進(jìn)。

圖4 與待修復(fù)圖像塊的SSD相同的兩個(gè)圖像塊

2 本文模型

為解決1.2節(jié)中提出的問(wèn)題，本文首先采用文獻(xiàn)[16]提出的對(duì)數(shù)函數(shù)總變分最小化模型對(duì)待修復(fù)圖像進(jìn)行結(jié)構(gòu)-紋理分解，使用結(jié)構(gòu)分量來(lái)獲得圖像的等照度方向等信息，以減少等照度方向的噪聲和保持大結(jié)構(gòu)的一致性；并修改優(yōu)先權(quán)函數(shù)，提高計(jì)算魯棒性和可靠性。然后構(gòu)建局部總變分最小化模型，選取最優(yōu)匹配塊，以保證圖像的局部結(jié)構(gòu)一致性和視覺(jué)可信性。

2.1 圖像的結(jié)構(gòu)-紋理分解模型及優(yōu)先權(quán)計(jì)算

本文通過(guò)對(duì)數(shù)總變分最小化模型獲得圖像的結(jié)構(gòu)成分u。u是圖像f的分片光滑部分，包含f的幾何結(jié)構(gòu)和等照度信息；而紋理分量包含圖像中的小尺寸細(xì)節(jié)及隨機(jī)噪聲等[17]。

假設(shè)原圖像f的結(jié)構(gòu)分量為u,紋理分量為v, 則u可以表示為一個(gè)有界變分(Bounded Variation)BV(Ω),它保留了圖像的銳利邊界和等高線信息，去掉了紋理和噪聲成分。殘差v=f-u為定義在L2(Ω)上的泛函。對(duì)圖像的結(jié)構(gòu)-紋理分解可以由如下的凸最小化問(wèn)題求解：

(4)

(5)

圖5、6中，(a)和(c)分別是待修復(fù)原始圖像和經(jīng)過(guò)結(jié)構(gòu)-紋理分解后的結(jié)構(gòu)圖像，(b)和(d)分別是方框內(nèi)的放大細(xì)節(jié)，圖(e)和(f)分別是放大細(xì)節(jié)中的一部分的等照度矢量圖。由圖(b)和(d)可以看出，圖像的紋理部分保留了圖像的大邊緣結(jié)構(gòu)信息而去掉了紋理細(xì)節(jié)；由圖(e)和(f)可見(jiàn)，原始圖像的等照度方向矢量存在許多局部雜亂，而經(jīng)過(guò)結(jié)構(gòu)紋理分解后的圖像，其等照度方向更加清晰、一致，保留了大尺度結(jié)構(gòu)，而小尺度細(xì)節(jié)紋理被去掉，可以更好地反映圖像的全局結(jié)構(gòu)信息。

在得到待修復(fù)圖像的結(jié)構(gòu)圖像后，直接在結(jié)構(gòu)圖像u上計(jì)算優(yōu)先權(quán)，為克服乘積效應(yīng)的影響，將優(yōu)先權(quán)計(jì)算規(guī)則修改為：

P(p)=ξC(p)+(1-ξ)D(p)

(6)

其中，權(quán)值ξ控制C(p)和D(p)的側(cè)重，這里選擇ξ=0.5。這樣，首先在結(jié)構(gòu)圖像上計(jì)算置信項(xiàng)，去掉了一些局部細(xì)小紋理噪聲的干擾，同時(shí)避免了當(dāng)置信項(xiàng)很高而數(shù)據(jù)項(xiàng)非常小時(shí)的優(yōu)先權(quán)很小這一缺點(diǎn)，使優(yōu)先項(xiàng)的計(jì)算更為可信，此外，和參考文獻(xiàn)中的改進(jìn)算法相比，優(yōu)先權(quán)計(jì)算公式中沒(méi)有引入額外的計(jì)算量，簡(jiǎn)單方便。

圖5 待修復(fù)舊照片原圖和結(jié)構(gòu)圖及其等照度矢量圖

圖6 待修復(fù)圖像原圖和結(jié)構(gòu)分量及其局部等照度矢量

2.2 基于局部總變分最小化的0-1優(yōu)化匹配策略

目標(biāo)函數(shù)：

決策變量：

ci,i=1,2,…,k

ci={0,1},i=1,2,…,k

對(duì)于具有多個(gè)最小SSD的匹配區(qū)，此時(shí)不再是隨機(jī)選擇圖像塊，或者是選擇在循環(huán)查找中遇到的第一個(gè)或最后一個(gè)圖像塊，避免了1.2節(jié)中所述的缺點(diǎn)。而與文獻(xiàn)[18]不同的是，本文的最優(yōu)匹配圖像塊是根據(jù)局部總變分最小這一合理準(zhǔn)則從k個(gè)圖像塊中選出一個(gè)，而不是簡(jiǎn)單的這k個(gè)備選圖像塊的加權(quán)平均，從而避免了人為造成圖像模糊的可能。

2.3 本文算法步驟與復(fù)雜度分析

綜上所述，本文算法步驟描述如下：

算法 基于圖像結(jié)構(gòu)-紋理分解及局部總變分最小化的圖像修復(fù)模型。

步驟1 讀入待修復(fù)圖像f及待修復(fù)區(qū)域掩膜M。

步驟2 根據(jù)對(duì)數(shù)總變分模型得到f的結(jié)構(gòu)圖像u。

步驟3 確定待修復(fù)邊界?Ω上像素點(diǎn)的集合S。

步驟4 對(duì)結(jié)構(gòu)圖像u及待修補(bǔ)點(diǎn)p,對(duì)于每個(gè)以p∈?Ω為中心的圖像塊，根據(jù)式(1)計(jì)算置信項(xiàng)C(p)，根據(jù)式(2)計(jì)算數(shù)據(jù)項(xiàng)D(p)，根據(jù)式(6)計(jì)算優(yōu)先權(quán)P(p)。

步驟5 確定優(yōu)先權(quán)最大的點(diǎn)p,以及對(duì)應(yīng)的f中的待修復(fù)圖像塊ψp,并記錄下ψp所在位置信息。

步驟7 更新掩膜M,更新ψp置信度。

步驟8 判斷掩膜M是否為空，若為空，則算法結(jié)束；否則轉(zhuǎn)步驟3。

計(jì)算時(shí)間復(fù)雜度和待修復(fù)區(qū)域總像素?cái)?shù)及形狀、圖像塊大小patchsize及Wp和k相關(guān)。因?yàn)橐鎯?chǔ)輔助的圖像結(jié)構(gòu)分量，本文和經(jīng)典Criminisi算法相比，空間復(fù)雜度增加一倍；時(shí)間復(fù)雜度多了一個(gè)求解總變分最小化優(yōu)化過(guò)程，設(shè)共有N個(gè)點(diǎn)需要修復(fù)，則時(shí)間復(fù)雜度約為O(N*Wp*patchsize*k)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 參數(shù)設(shè)置

利用對(duì)數(shù)總變分最小化模型進(jìn)行圖像的結(jié)構(gòu)-紋理分解時(shí)，參數(shù)λ=0.15， 圖像塊ψp的patchsize不宜太大或太小。patchsize太大，會(huì)造成SSD的計(jì)算不具備參考性，容易出現(xiàn)誤判；而patchsize太小則計(jì)算耗時(shí)長(zhǎng)，且難以捕捉到圖像的結(jié)構(gòu)信息。根據(jù)文獻(xiàn)[12]的建議，本文選取patchsize=9。在非局部總變分最小化模型中，計(jì)算的非局部總變分窗口，即Wp的尺寸為27×27。

計(jì)算SSD最小的前k個(gè)備選圖像塊區(qū)域ψ1,ψ2,…,ψk時(shí)：k值太小，ψ1,ψ2,…,ψk的區(qū)域可能會(huì)發(fā)生重疊；k太大，又會(huì)增加不必要的優(yōu)化模型計(jì)算量。經(jīng)過(guò)大量實(shí)驗(yàn)，在綜合考慮計(jì)算量和計(jì)算可信度基礎(chǔ)上，實(shí)驗(yàn)選取k=10。

3.2 實(shí)驗(yàn)結(jié)果與比較分析

為測(cè)試本文模型的修復(fù)效果，根據(jù)圖像修復(fù)的不同應(yīng)用目的，選取5幅具有不同典型結(jié)構(gòu)紋理特性及待修復(fù)區(qū)域的圖像進(jìn)行修復(fù)。其中各修復(fù)圖像的黑色部分為待修復(fù)區(qū)域。將本文方法和文獻(xiàn)[4]、文獻(xiàn)[7]及文獻(xiàn)[13]的算法進(jìn)行對(duì)比。其中圖7～10的待修復(fù)圖片來(lái)自圖片庫(kù)http://yokoya.naist.jp/research2/inpainting/，大小為200×200。

實(shí)驗(yàn)計(jì)算機(jī)主板為Inter i7-4600,2.10 GHz, 內(nèi)存為8.00 GB,操作系統(tǒng)為Windows 10。程序采用Matlab 2017(b)編寫，在步驟2中，使用矩陣整體運(yùn)算進(jìn)行加速。

3.2.1 實(shí)驗(yàn)圖片及主觀視覺(jué)效果比較分析

圖7用來(lái)測(cè)試具有簡(jiǎn)單大結(jié)構(gòu)和局部細(xì)小紋理的大面積受損圖像修復(fù)結(jié)果，方框內(nèi)是一些重點(diǎn)對(duì)比區(qū)域。從圖7(b)～(e)的實(shí)驗(yàn)結(jié)果可以看出，路面小徑和草地之間的邊界被很好地修復(fù)，視覺(jué)效果非常自然。可見(jiàn)基于樣例的修復(fù)算法及該框架下的改進(jìn)算法，對(duì)于具有簡(jiǎn)單大邊界結(jié)構(gòu)的圖像可以獲得非常好的修復(fù)結(jié)果。此外，修復(fù)結(jié)果也和源區(qū)圖像的結(jié)構(gòu)相關(guān)。若源區(qū)是大片的同質(zhì)細(xì)小紋理結(jié)構(gòu)，各算法都可以獲得自然的修復(fù)結(jié)果。

圖8用來(lái)測(cè)試跨越多個(gè)不同結(jié)構(gòu)的受損區(qū)域及帶局部細(xì)節(jié)毀損的圖像修復(fù)效果。可以看出，各算法都能很好地保留大結(jié)構(gòu)邊緣(上面兩個(gè)方框內(nèi)的斜向山體和白云、植被柵欄與草坪)，但文獻(xiàn)[4]、[7]算法的柵欄修復(fù)缺少一根小柵欄，文獻(xiàn)[4]算法的山修復(fù)順序與實(shí)際情況不符，帶來(lái)了一些假邊緣；文獻(xiàn)[13]算法修復(fù)的藍(lán)天和柵欄處都有些微視覺(jué)不自然的地方；而本文算法對(duì)這三個(gè)關(guān)鍵部位都獲得了比較好的效果。同時(shí)注意到，視覺(jué)效果的好壞與圖像本身的特性是高度相關(guān)的，如圖8(d)中最左邊的橢圓內(nèi)，雖然明顯誤匹配到樹(shù)葉，可由于背景是山體和白云，人眼感覺(jué)仿佛是山的一角露出在白云之外，并沒(méi)有感覺(jué)是明顯的瑕疵。

圖9用來(lái)測(cè)試具有大幾何結(jié)構(gòu)及局部結(jié)構(gòu)與小尺度重復(fù)紋理的大面積受損圖像修復(fù)。由實(shí)驗(yàn)結(jié)果可以看出，隨著受損面積的增大，各算法的修復(fù)效果都有一些不盡如人意的瑕疵。如窗子部分的修復(fù)結(jié)果明顯受優(yōu)先權(quán)影響，文獻(xiàn)[4]算法修復(fù)結(jié)果的臺(tái)階擴(kuò)張到了草坪上，文獻(xiàn)[7]、[13]算法修復(fù)結(jié)果的窗子邊框都出現(xiàn)明顯的視覺(jué)不連續(xù)，而本文算法的修復(fù)結(jié)果中最下面的窗戶邊框能獲得和橫向規(guī)律一致的效果。

圖10用來(lái)測(cè)試具有復(fù)雜結(jié)構(gòu)和紋理跳變的待修復(fù)圖像的效果。由于待修復(fù)區(qū)域包含多種不一樣的材質(zhì)(墻壁、地面、樹(shù)干、門框、臺(tái)階線)，修復(fù)后的效果都具有人眼可見(jiàn)的比較明顯的瑕疵。如文獻(xiàn)[4]算法修復(fù)結(jié)果的樹(shù)干明顯被橫向截?cái)?，文獻(xiàn)[4]和文獻(xiàn)[13]算法修復(fù)結(jié)果的窗子邊緣及地面紋理都不自然，文獻(xiàn)[7]和本文算法對(duì)墻壁的豎線能獲得非常好的修復(fù)結(jié)果，但是文獻(xiàn)[7]和[13]算法修復(fù)結(jié)果的臺(tái)階線處瑕疵較明顯，左側(cè)地面白線出現(xiàn)了不合理走向，門框內(nèi)的修復(fù)瑕疵較多?？傮w而言，本文算法對(duì)樹(shù)干、墻壁及門框與墻壁交界處都獲得了較好的效果。

圖11(大小為344×416)用來(lái)測(cè)試對(duì)兼具均勻漸變(皮膚)和大結(jié)構(gòu)漸變(臉的輪廓、眼球、嘴唇)的圖像修復(fù)效果。從眼珠、嘴巴、右側(cè)臉頰和眉毛等結(jié)構(gòu)邊緣的整體修復(fù)可以看出，本文算法的效果相對(duì)是最好的。但同時(shí)也必須承認(rèn)，各類算法在人臉皮膚的修復(fù)上存在很多誤匹配和馬賽克效應(yīng)，可見(jiàn)基于樣例的修復(fù)算法不適用于均勻漸變的圖像修復(fù)。

3.2.2 客觀參數(shù)對(duì)比

采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似性指數(shù) (Structural SIMilarity index, SSIM)[19]來(lái)衡量不同算法的圖像修復(fù)結(jié)果。其中SSIM越大，代表兩幅圖像的結(jié)構(gòu)相似度越強(qiáng)，即修復(fù)效果越好。計(jì)算SSIM時(shí)的滑動(dòng)窗口大小也為7×7,SSIM的其余參數(shù)和文獻(xiàn)[11]的設(shè)置一樣。

表1為各圖修復(fù)前后的SSIM及PSNR值的結(jié)果，表2給出了各待修復(fù)圖像的待修復(fù)區(qū)像素點(diǎn)數(shù)和面積百分比。數(shù)據(jù)表明，本文模型各項(xiàng)指標(biāo)亦優(yōu)于各對(duì)比模型,與各對(duì)比模型的最好結(jié)果相比，SSIM分別提高了0.014、0.016、0.023、0.016及0.022，PSNR分別提高了2.22 dB、 2.07 dB、 1.81 dB、 1.32 dB及1.12 dB。

圖7 移除小動(dòng)物的修復(fù)結(jié)果

圖8 移除電線桿的修復(fù)結(jié)果

圖9 移除人像的修復(fù)結(jié)果

圖10 移除板凳的修復(fù)結(jié)果

圖11 移除鐵絲網(wǎng)的修復(fù)結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)基于樣例的修復(fù)方法進(jìn)行改進(jìn)，在待修復(fù)圖像的結(jié)構(gòu)分量上進(jìn)行優(yōu)先權(quán)計(jì)算，以更好地提取出等照度信息，提高算法跟蹤和修復(fù)邊緣結(jié)構(gòu)完整性的能力，并利用圖像的局部總變分最小化來(lái)確保匹配結(jié)果的視覺(jué)一致性最優(yōu)。實(shí)驗(yàn)結(jié)果表明，視覺(jué)效果的好壞與圖像本身的特性及待修復(fù)區(qū)域周圍的局部特性相關(guān)性較大。當(dāng)待修復(fù)圖像包含簡(jiǎn)單大結(jié)構(gòu)，且待修復(fù)區(qū)域和源區(qū)包含很多細(xì)小紋理區(qū)域時(shí)，基于樣例的修復(fù)框架下的修復(fù)算法均能取得較好的修復(fù)效果；當(dāng)待修復(fù)區(qū)域較大，以及待修復(fù)區(qū)域包含復(fù)雜結(jié)構(gòu)的圖像時(shí)，修復(fù)結(jié)果會(huì)存在較多積累誤差；而當(dāng)待修復(fù)區(qū)域?yàn)闈u變平緩區(qū)域(如皮膚)時(shí)，修復(fù)結(jié)果存在較明顯的局部馬賽克效應(yīng)，視覺(jué)效果較差，這時(shí)可以和基于偏微分框架下的修復(fù)算法結(jié)合起來(lái)使用。此外，式(6)

中的權(quán)值ξ和式(7)中的非局部窗口Wp尺寸都可以考慮根據(jù)圖像的局部特征進(jìn)行自適應(yīng)選擇，也是下一步的研究方向。

表1 各修復(fù)模型的PSNR和SSIM值對(duì)比

表2 各待修復(fù)圖像的修復(fù)區(qū)域參數(shù)