結(jié)合自適應(yīng)梯度分類匹配的改進(jìn)Criminisi圖像修復(fù)算法

張從飛,邵利平,師 軍

(陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,西安 710119)

1 引 言

圖像修復(fù)是對(duì)圖像破損區(qū)域修復(fù)重建或信息填充,使修復(fù)后圖像滿足一定視覺質(zhì)量,在文物保護(hù)、圖像復(fù)原、目標(biāo)障礙物剔除以及高分辨率圖像再現(xiàn)上有著重要應(yīng)用價(jià)值.

基于變分PDE和紋理合成的圖像修復(fù)技術(shù)是2類主要的圖像修復(fù)策略.其中,變分PDE圖像修復(fù)技術(shù)本質(zhì)是一種偏微分方程(partial differential equation,PDE)修復(fù)算法[1-3],主要思想是利用物理學(xué)熱擴(kuò)散方程將待修補(bǔ)區(qū)域周圍信息傳播到待修補(bǔ)區(qū)域,這類方法能很好地保留圖像線性結(jié)構(gòu),在小尺度破損圖像修復(fù)上有較好的修復(fù)效果,但對(duì)大范圍破損或富紋理缺失區(qū)域修復(fù)質(zhì)量則整體較差.

針對(duì)以上問題,基于紋理合成的圖像修復(fù)方法被廣泛提出,其中典型的方法是Criminisi圖像修復(fù)算法[4].Criminisi算法主要由修復(fù)區(qū)域優(yōu)先權(quán)計(jì)算、修補(bǔ)塊全局匹配搜索和匹配塊填充3步組成,其主體思想是從待修補(bǔ)區(qū)域邊界上選取修復(fù)優(yōu)先權(quán)最高點(diǎn),以該點(diǎn)為中心建立待修補(bǔ)塊,利用待修補(bǔ)塊已知信息在已知區(qū)域(含已修補(bǔ)區(qū)域)內(nèi)尋找與該塊紋理最接近的塊,利用塊內(nèi)已知信息來對(duì)待修補(bǔ)塊中未知信息進(jìn)行填充.盡管該算法能夠?qū)Υ蠓秶笔畔D像產(chǎn)生較好修復(fù)質(zhì)量,但依然存在很多不足:①優(yōu)先權(quán)模型中置信項(xiàng)在多次迭代后急劇下降趨于零值,而數(shù)據(jù)項(xiàng)保持平穩(wěn)變化,使得數(shù)據(jù)項(xiàng)受制于趨于零值的置信項(xiàng),優(yōu)先權(quán)計(jì)算不再可靠,導(dǎo)致錯(cuò)誤填充順序;②在修復(fù)時(shí)并未對(duì)待修補(bǔ)塊信息進(jìn)行具體分析,易將紋理部分誤認(rèn)為邊緣部分而出現(xiàn)紋理延伸;③在圖像已知信息區(qū)域(含已修補(bǔ)區(qū)域)尋找合適匹配塊會(huì)帶來高昂匹配代價(jià).

針對(duì)Criminisi算法優(yōu)先權(quán)模型設(shè)計(jì)不合理導(dǎo)致錯(cuò)誤填充順序問題,文獻(xiàn)[5,6]在優(yōu)先權(quán)模型[4]上附加結(jié)構(gòu)信息增益項(xiàng).文獻(xiàn)[7]將優(yōu)先權(quán)模型[4]修正為加法模型,并對(duì)數(shù)據(jù)項(xiàng)和引入伸縮因子的置信項(xiàng)賦予簡(jiǎn)單權(quán)重.為保持優(yōu)先權(quán)模型置信項(xiàng)和數(shù)據(jù)項(xiàng)平衡,文獻(xiàn)[8]給出了基于伸縮因子的改進(jìn)置信項(xiàng)和數(shù)據(jù)項(xiàng)優(yōu)先權(quán)模型.結(jié)合文獻(xiàn)[7]工作,文獻(xiàn)[9]給出了數(shù)據(jù)項(xiàng)與改進(jìn)置信項(xiàng)乘積的優(yōu)先權(quán)模型來避免置信項(xiàng)為0時(shí)優(yōu)先權(quán)趨近于0.文獻(xiàn)[10]引入補(bǔ)償因子和加權(quán)系數(shù)根據(jù)整幅圖像紋理結(jié)構(gòu)信息來動(dòng)態(tài)調(diào)節(jié)補(bǔ)償因子和加權(quán)系數(shù),使得不同圖像對(duì)應(yīng)于不同優(yōu)先權(quán)模型.文獻(xiàn)[11]將置信項(xiàng)改為指數(shù)函數(shù)形式并根據(jù)圖像結(jié)構(gòu)紋理信息來人為選取權(quán)重因子控制置信項(xiàng)與數(shù)據(jù)項(xiàng)比例.以上文獻(xiàn)[5-11]是通過引入不同控制參數(shù)來對(duì)優(yōu)先權(quán)模型[4]中置信項(xiàng)和數(shù)據(jù)項(xiàng)進(jìn)行加權(quán)調(diào)控,但僅能起到有限的調(diào)控作用,且在調(diào)控時(shí)未對(duì)圖像中邊緣和紋理進(jìn)行仔細(xì)區(qū)分,易導(dǎo)致屬于紋理部分的圖像塊優(yōu)先修復(fù),造成紋理延伸并影響圖像修復(fù)質(zhì)量.

為避免Criminisi算法紋理延伸問題,文獻(xiàn)[12，13]對(duì)待修補(bǔ)塊采用均值差和方差差值兩個(gè)因素來進(jìn)行紋理邊緣區(qū)分,但采用的方法是將待修補(bǔ)塊已知信息按法線方向分割成兩塊,可能會(huì)導(dǎo)致分割后信息量不等從而降低計(jì)算準(zhǔn)度.同時(shí)文獻(xiàn)[12，13]也未對(duì)圖像已知區(qū)域內(nèi)所有信息進(jìn)行仔細(xì)劃分,因此依然無法有效地解決紋理延伸問題.

為緩解Criminisi算法全局搜索匹配導(dǎo)致的高昂匹配計(jì)算代價(jià),文獻(xiàn)[12,14]通過減少和限定匹配塊搜索空間來提高搜索效率,但簡(jiǎn)單搜索空間限制,會(huì)導(dǎo)致合理匹配塊丟失,若設(shè)定搜索空間或約束距離過大,則所述策略依然趨于全局匹配,所能緩解的計(jì)算代價(jià)十分有限.文獻(xiàn)[12,13]盡管試圖通過均值差和方差差值兩個(gè)因素來對(duì)圖像待修補(bǔ)塊進(jìn)行紋理邊緣區(qū)分,但在匹配最佳目標(biāo)塊時(shí)并沒有對(duì)待修補(bǔ)塊進(jìn)行分類搜索,因此依然不能有效緩解計(jì)算代價(jià).

為提高匹配準(zhǔn)度,文獻(xiàn)[15]引入待修補(bǔ)像素熵來改進(jìn)相似度計(jì)算方法,利用結(jié)構(gòu)相似性來搜索與待修補(bǔ)塊差異最小的目標(biāo)塊;文獻(xiàn)[16]引入距離修正因子,將待修補(bǔ)塊與目標(biāo)塊幾何距離引入到相似性度量函數(shù)中,在搜索目標(biāo)塊時(shí)首先通過歐式距離相似性函數(shù)找出3個(gè)目標(biāo)塊,然后根據(jù)幾何距離修正因子來找出最佳匹配塊.

但以上文獻(xiàn)[15，16]同文獻(xiàn)[4-14]都是將更新后已知區(qū)域作為待修補(bǔ)塊與目標(biāo)匹配塊搜索區(qū)域,隨著修復(fù)過程不斷進(jìn)行,新更新已知區(qū)域可靠性不斷下降,不僅增加了塊匹配計(jì)算代價(jià)也降低了修復(fù)質(zhì)量.

同以上文獻(xiàn)不同,本文給出一種結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法.所提方法首先對(duì)待修補(bǔ)圖像的已知和待修補(bǔ)區(qū)域進(jìn)行標(biāo)記,對(duì)落入已知區(qū)域的所有像素計(jì)算梯度直方圖并自適應(yīng)地劃分為平滑、紋理和邊緣3種類型,采用優(yōu)先權(quán)系數(shù)自適應(yīng)加權(quán)策略,避免了文獻(xiàn)[5-11]人為設(shè)定優(yōu)先權(quán)權(quán)重和手動(dòng)選擇不同優(yōu)先權(quán)計(jì)算模型所導(dǎo)致的低效率和無法進(jìn)行自適應(yīng)的優(yōu)先權(quán)計(jì)算.其次,所提方法結(jié)合基于塊分類的改進(jìn)優(yōu)先權(quán)函數(shù)來增強(qiáng)對(duì)邊緣紋理部分的辨別能力,避免了文獻(xiàn)[12，13]通過實(shí)驗(yàn)閾值采用均值差和方差差值對(duì)邊緣和紋理進(jìn)行強(qiáng)制劃分的低效率.再次,同文獻(xiàn)[12-14]不同,所提方法通過建立自適應(yīng)塊大小函數(shù)來保證不同類型塊按不同塊大小修復(fù),并且只在對(duì)應(yīng)類型中進(jìn)行匹配來提高匹配效率.最后,同文獻(xiàn)[4-16]不同,所提方法在修復(fù)過程中不更新已知區(qū)域,在避免修復(fù)誤差傳遞的同時(shí)也減少了計(jì)算代價(jià).

2 Criminisi算法及其改進(jìn)算法

圖1 Criminisi算法修復(fù)過程Fig.1 Processing of Criminisi algorithm

在Criminisi算法中,邊界點(diǎn)p的優(yōu)先權(quán)P(p)被定義為式(1)所示的乘積模型,用于保證具有較多已知信息和較強(qiáng)結(jié)構(gòu)信息的待修補(bǔ)塊被優(yōu)先修復(fù).

P(p)=C(p) ·D(p)

(1)

式(1)中,C(p)為置信項(xiàng),表示ψp中已知信息所占比例,D(p)為數(shù)據(jù)項(xiàng),表示等照度線和法線方向余弦夾角,C(p)和D(p)具體定義如式(2)和式(3)所示:

(2)

(3)

(4)

(5)

(6)

Criminisi算法反復(fù)執(zhí)行式(1)～(6),直至Φ=I,即完成最終修復(fù).但在式(1)中,優(yōu)先權(quán)P(p)等價(jià)為C(p)和D(p)乘積會(huì)導(dǎo)致2個(gè)問題:①當(dāng)p點(diǎn)等照度線與法線趨于垂直時(shí),D(p)趨近于0導(dǎo)致優(yōu)先權(quán)不可靠;②C(p)在多次迭代后急劇下降,而D(p)保持平穩(wěn)變化,會(huì)導(dǎo)致D(p)在P(p)計(jì)算中貢獻(xiàn)率下降,同樣使得優(yōu)先權(quán)不可靠.基于此,文獻(xiàn)[5,6]在文獻(xiàn)[4]乘積模型上附加了結(jié)構(gòu)信息增益項(xiàng),使得當(dāng)C(p)趨于0時(shí),只考慮D(p),如式(7)所示,其中n為結(jié)構(gòu)信息增益因子,文獻(xiàn)[6]中取n=7.

P(p)=C(p)D(p)+n·D(p)

(7)

為避免D(p)或C(p)趨于0時(shí),P(p)趨近于0,文獻(xiàn)[7]引入加法模型,采用權(quán)重因子α和β來對(duì)引入伸縮因子ω的C(p)以及D(p)權(quán)重進(jìn)行調(diào)控,如式(8)所示:

P(p)=α((1-ω)C(p)+ω)+βD(p),0≤α,β≤1

(8)

結(jié)合文獻(xiàn)[7]加法模型,文獻(xiàn)[10]給出了基于補(bǔ)償因子和加權(quán)系數(shù)的優(yōu)先權(quán)計(jì)算模型,如式(9)所示:

P(p)=(C(p)+α)+(γ×D(p))

(9)

式(9)中,α為補(bǔ)償因子,γ是加權(quán)系數(shù).

式(7)、式(8)和式(9)本質(zhì)出發(fā)點(diǎn)是通過引入不同參數(shù)來對(duì)C(p)和D(p)進(jìn)行加權(quán),從而對(duì)式(1)起到一定調(diào)控作用,但所能起到的調(diào)控作用十分有限.同時(shí)文獻(xiàn)[5-11]均未對(duì)圖像邊緣和紋理進(jìn)行仔細(xì)區(qū)分,易導(dǎo)致屬于紋理部分的圖像塊被優(yōu)先修復(fù)從而造成紋理延伸.

(10)

(11)

文獻(xiàn)[14]盡管通過式(10)對(duì)搜索空間進(jìn)行限制提高了計(jì)算效率,但所能緩解的匹配代價(jià)十分有限.

同以上文獻(xiàn)不同,本文依據(jù)Otsu閾值分割法,將已知區(qū)域所有像素點(diǎn)按梯度直方圖細(xì)分為紋理、邊緣和平滑區(qū)域.為避免Criminisi算法優(yōu)先權(quán)計(jì)算模型不合理,本文提出了結(jié)合塊分類的改進(jìn)優(yōu)先權(quán)函數(shù)來增強(qiáng)對(duì)邊緣紋理部分的辨別能力,從而有效地避免紋理延伸.Criminisi算法在已修補(bǔ)區(qū)域?qū)ふ液线m的匹配塊會(huì)導(dǎo)致高昂匹配計(jì)算代價(jià)[4],針對(duì)此問題,本文建立自適應(yīng)塊大小函數(shù)來保證不同類型塊采用不同大小塊修復(fù),并且只在初始已知區(qū)域?qū)?yīng)類型塊中進(jìn)行匹配來提高匹配效率和避免使用可靠性不斷下降的新增已知區(qū)域.

3 基于Otsu閾值分割和梯度直方圖的已知像素和圖像待修補(bǔ)區(qū)域分類策略

考慮到圖像梯度信息可很好地反映出圖像像素變化,一般梯度變化劇烈的像素往往位于圖像分割邊緣,梯度變化相對(duì)緩慢的區(qū)域則對(duì)應(yīng)圖像平滑區(qū)域,而介于兩者之間的像素梯度信息則對(duì)應(yīng)于圖像紋理變化區(qū)域,這里可對(duì)圖像已知區(qū)域所有像素進(jìn)行梯度統(tǒng)計(jì),通過梯度直方圖來確定圖像邊緣、紋理和平滑像素,對(duì)圖像已知區(qū)域像素紋理、邊緣和平滑區(qū)域劃分,也避免了文獻(xiàn)[12,13]僅對(duì)含有缺失信息的待修補(bǔ)塊進(jìn)行邊緣、紋理和平滑細(xì)分所導(dǎo)致的計(jì)算不準(zhǔn)確.

Otsu法被認(rèn)為是分割閾值自動(dòng)選取的最優(yōu)方法,其基本思想是通過類間方差最大值來確定最佳分割閾值.因此本文引入Otsu法來提高分割閾值的計(jì)算準(zhǔn)度,并且Otsu法分割閾值可針對(duì)不同類型圖像進(jìn)行自適應(yīng)地調(diào)整.

記G=(gi,j)m×n為待修補(bǔ)圖像A=(ai,j)m×n的梯度圖,將G初始化為(-1)m×n,B=(bi,j)m×n為標(biāo)記矩陣,其中bi,j=1對(duì)應(yīng)為已知區(qū)域Φ,bi,j=0對(duì)應(yīng)為待修補(bǔ)區(qū)域Ω,記Φ′為已修復(fù)區(qū)域,初始化Φ′=Φ.

對(duì)?ai,j∈Φ,可按式(12)計(jì)算ai,j的梯度值gi,j:

(12)

式(12)中,gx和gy分別是ai,j的x和y方向梯度,其計(jì)算方法如式(13)和式(14)所示:

gx=ai,j+1-ai,j-1

(13)

gy=ai+1,j-ai-1,j

(14)

式(13)和式(14)中,若?ax,y∈{ai,j+1,ai,j-1,ai-1,j,ai+1,j}且ax,y∈Ω,即bx,y=0,即存在不在Φ中像素ax,y,則用ai,j替代ax,y,從而保證每個(gè)像素ai,j∈Φ在G中都有梯度值并按式(15)劃分為3種類型:

(15)

式(15)中,type(k)=0,1,2對(duì)應(yīng)為平滑、紋理和邊緣區(qū)域,λ1和λ2對(duì)應(yīng)為分割閾值且滿足0≤λ1≤λ2≤L-1,其中L為Φ中像素梯度階數(shù).

(16)

式(16)中,λ為分割閾值,λbegin,λend分別為起始和終止梯度階,hk為第k階梯度階出現(xiàn)頻次,Pk為Φ中第k階梯度階出現(xiàn)概率,如式(17)所示;upart1,upart2,utotal分別對(duì)應(yīng)為梯度區(qū)間[λbegin,λ],[λ,λend],[λbegin,λend]梯度階期望,按式(18)、式(19)和式(20)進(jìn)行計(jì)算.

(17)

(18)

(19)

(20)

將λbegin=h0,λend=hL-1代入式(16),可確定分割閾值λ1,將λbegin=λ1+1,λend=hL-1代入式(16),可確定分割閾值λ2,而待修補(bǔ)塊梯度則可按式(21)確定:

(21)

式(21)中,q為待修補(bǔ)塊ψp落入已修補(bǔ)區(qū)域Φ′的坐標(biāo),aq為A中對(duì)應(yīng)像素.由式(21)可對(duì)待修補(bǔ)塊梯度進(jìn)行估計(jì),然后按式(15)確定待修補(bǔ)塊類型.結(jié)合待修補(bǔ)塊梯度信息和塊類型還可自適應(yīng)地選擇優(yōu)先權(quán)計(jì)算策略和設(shè)定圖像在已知區(qū)域搜索范圍,從而進(jìn)一步提高修復(fù)準(zhǔn)度和降低搜索匹配代價(jià).

圖2 分類結(jié)果圖Fig.2 Classification results

圖2是對(duì)分辨率為512×512灰度測(cè)試圖像Lena按梯度分類策略進(jìn)行平滑、紋理和邊緣分類結(jié)果.從圖2可看出,梯度分類策略可較好地把原圖分為平滑、紋理和邊緣3類.

4 結(jié)合梯度的改進(jìn)優(yōu)先權(quán)計(jì)算策略和初始已知區(qū)域分類匹配策略

考慮到梯度可作為紋理復(fù)雜程度的有效度量手段,當(dāng)待補(bǔ)塊處于邊緣區(qū)域時(shí),圖像信息變化比較強(qiáng)烈,此時(shí)梯度項(xiàng)處于絕對(duì)支配地位,而當(dāng)待補(bǔ)塊處于近似平滑區(qū)域,此時(shí)梯度項(xiàng)趨近于0,而置信項(xiàng)處于絕對(duì)支配地位,因此可將優(yōu)先權(quán)修正為式(22)并通過式(23)來確定權(quán)重α.

P(p)=αC(p)+(1-α)G(p)

(22)

(23)

由于直接確定不同梯度值下權(quán)重α非常困難,因此式(23)首先確定邊界權(quán)重:即當(dāng)G(p)=0,對(duì)應(yīng)為梯度值最小情況,此時(shí)僅考慮C(p),因此α=1,而當(dāng)G(p)=L-1時(shí),即梯度值最大情況,此時(shí)僅考慮G(p),因此α=0,而當(dāng)G(p)∈(0,L-1)時(shí)對(duì)應(yīng)的權(quán)重系數(shù),則由α=1和α=0的情況線性插值出來.因此改進(jìn)優(yōu)先權(quán)函數(shù)能自適應(yīng)根據(jù)梯度信息改變優(yōu)先權(quán)模型權(quán)重因子,增強(qiáng)邊緣紋理辨別能力,提高優(yōu)先權(quán)計(jì)算可靠性.

Criminisi算法通常采用固定大小的待修補(bǔ)塊,但采用不同大小塊會(huì)導(dǎo)致不同修復(fù)結(jié)果.圖3是對(duì)分辨率為213×284的測(cè)試圖像Bw采用Criminisi修復(fù)算法并設(shè)定不同大小塊進(jìn)行修復(fù)的實(shí)驗(yàn)結(jié)果.

從圖3結(jié)果可看出由于標(biāo)準(zhǔn)Criminisi算法[4]優(yōu)先權(quán)定義為置信項(xiàng)與數(shù)據(jù)項(xiàng)乘積,而采取不同大小塊會(huì)影響待修補(bǔ)圖像邊界點(diǎn)置信項(xiàng)大小,即樣本塊中已知信息所占比例,從而導(dǎo)致圖像修復(fù)時(shí)優(yōu)先權(quán)順序改變,進(jìn)而影響圖像視覺修復(fù)質(zhì)量.

圖3 采用不同大小塊的標(biāo)準(zhǔn)Criminisi算法修復(fù)結(jié)果Fig.3 Standard Criminisi algorithm inpainting results with different block sizes

(24)

(25)

5 結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法

結(jié)合第2節(jié)和第3節(jié)所完成工作,以下給出完整的結(jié)合自適應(yīng)梯度分塊的改進(jìn)Criminisi圖像修復(fù)算法.

第1步.對(duì)?ai,j∈Φ,按式(12)計(jì)算Φ內(nèi)所有圖像像素點(diǎn)ai,j對(duì)應(yīng)的梯度值gi,j;

第2步.將Φ中所有像素梯度值按式(16)采用Otsu閾值分割方法分割得到兩個(gè)閾值λ1和λ2;

第3步.將Φ中所有像素梯度根據(jù)閾值λ1和λ2按式(15)劃分為3種類型:平滑、邊緣和紋理;

第8步.反復(fù)執(zhí)行第4步～第7步,直到圖像中待修補(bǔ)區(qū)域Ω中所有像素點(diǎn)修復(fù)完畢,即B=(bi,j)m×n中所有元素都調(diào)整成bi,j=1,修復(fù)結(jié)束.

在上述算法中,步驟1～步驟3用于將待修補(bǔ)圖像已知區(qū)域像素按Otsu法自適應(yīng)地劃分為平滑、紋理和邊緣3種類型.步驟4用于對(duì)待修補(bǔ)塊梯度估計(jì)并自適應(yīng)地根據(jù)置信項(xiàng)和梯度項(xiàng)權(quán)重來確定優(yōu)先權(quán)最大的邊界像素點(diǎn),從而相對(duì)于文獻(xiàn)[4-11]未進(jìn)行分類估計(jì)以及文獻(xiàn)[12,13]僅依據(jù)待修補(bǔ)塊信息進(jìn)行不同區(qū)域細(xì)分提高了分類可靠性,同時(shí)依據(jù)不同區(qū)域自適應(yīng)地計(jì)算優(yōu)先權(quán),增強(qiáng)了對(duì)圖像邊緣紋理部分的辨別能力,從而避免了文獻(xiàn)[4-13]存在的紋理延伸問題.步驟5～步驟7用于對(duì)待修補(bǔ)塊僅在初始已知區(qū)域中進(jìn)行搜索匹配填充并依據(jù)待修補(bǔ)塊類型來自適應(yīng)地確定塊大小,避免了使用可靠性不斷下降的已修補(bǔ)區(qū)域[4-11]和避免簡(jiǎn)單搜索空間限制導(dǎo)致的合理匹配塊丟失[12-14]以及全局搜索所帶來的高昂計(jì)算代價(jià)[12-16].

6 實(shí) 驗(yàn)

以下通過4個(gè)實(shí)驗(yàn):①結(jié)構(gòu)圖像修復(fù)對(duì)比實(shí)驗(yàn)、②小尺度樣本缺失修復(fù)對(duì)比實(shí)驗(yàn)、③大尺度樣本缺失修復(fù)對(duì)比實(shí)驗(yàn)、④時(shí)間代價(jià)對(duì)比實(shí)驗(yàn)來對(duì)所提算法性能進(jìn)行檢驗(yàn)并與文獻(xiàn)[4,8,11,13,16]進(jìn)行實(shí)驗(yàn)對(duì)比.由于文獻(xiàn)[4,8,11,13,16]都采用固定大小塊進(jìn)行修復(fù),為便于比較,將待修補(bǔ)塊統(tǒng)一為7×7,其他參數(shù)都采用對(duì)應(yīng)文獻(xiàn)默認(rèn)參數(shù).實(shí)驗(yàn)中,采用的測(cè)試環(huán)境為Window10,CPU為Intel(R) Core(TM) i5-6600 4核CPU,單處理核心主頻3.30GHz,內(nèi)存為8.00GB,實(shí)驗(yàn)編碼語言為JAVA.實(shí)驗(yàn)中使用PSNR來衡量視覺質(zhì)量,按式(26)計(jì)算:

(26)

(27)

6.1 結(jié)構(gòu)圖像修復(fù)對(duì)比實(shí)驗(yàn)

為驗(yàn)證所提算法在結(jié)構(gòu)圖像上的修復(fù)性能,對(duì)分辨率為213×284的圖像Bw按文獻(xiàn)[4,8,11,13,16]所提策略和本文所述策略進(jìn)行修復(fù),修復(fù)結(jié)果如圖4所示.

從圖4可看出:Criminisi算法采用優(yōu)先權(quán)乘積模型,置信項(xiàng)和數(shù)據(jù)項(xiàng)多次迭代會(huì)導(dǎo)致優(yōu)先權(quán)趨近于0,使得即使數(shù)據(jù)項(xiàng)很大也得不到優(yōu)先修復(fù),因此圖4(c)存在明顯線性結(jié)構(gòu)失真;文獻(xiàn)[8,11]結(jié)合數(shù)據(jù)項(xiàng)權(quán)重因子提高周圍結(jié)構(gòu)豐富像素優(yōu)先權(quán),因此圖4(d)-圖4(e)相比于Criminisi算法有了一定提高,但仍然存在小塊紋理延伸;由圖4(f)-圖4(h)可看出,文獻(xiàn)[13,16]和本文所述策略在結(jié)構(gòu)圖像修復(fù)上具有較好修復(fù)質(zhì)量,但整體性能差異不大,其中文獻(xiàn)[13]和本文所述策略都可對(duì)圖4(a)進(jìn)行完整恢復(fù),而文獻(xiàn)[16]相對(duì)于文獻(xiàn)[13]和本文所述策略存在少許偏差.因此引入圖像待修補(bǔ)塊平滑、紋理和邊緣分塊將有助于減少紋理延伸和提高修復(fù)可靠性.

圖4 結(jié)構(gòu)圖像Bw修復(fù)結(jié)果Fig.4 Bw structure image inpainting results

6.2 小尺度樣本缺失修復(fù)對(duì)比實(shí)驗(yàn)

為驗(yàn)證所提算法在小尺度樣本缺失圖像修復(fù)上的性能,對(duì)分辨率為256×256的Lena測(cè)試圖像進(jìn)行隨機(jī)擦除,然后按文獻(xiàn)[4,8,11,13,16]和本文所述策略進(jìn)行修復(fù),實(shí)驗(yàn)結(jié)果如圖5所示.

圖5 Lena小尺度樣本缺失修復(fù)結(jié)果Fig.5 Lena small scale sample missing inpainting results

由圖5可看出,標(biāo)準(zhǔn)Criminisi算法[4]在Lena圖像臉部缺失區(qū)域修復(fù)時(shí)產(chǎn)生一定紋理延伸,同時(shí)在帽子以及圖像右下角缺失區(qū)域存在明顯誤匹配現(xiàn)象(圖5(c));從圖5(d)-圖5(g)可看出改進(jìn)算法[8,11,13,16]對(duì)于強(qiáng)邊緣區(qū)域相比于Criminisi算法有一定提高,但對(duì)于頭發(fā)缺失區(qū)域存在紋理延伸問題,而本文算法則較好克服了上述問題,對(duì)于圖像邊緣和紋理區(qū)域都有著較好的圖像修復(fù)結(jié)果.

6.3 大尺度樣本缺失修復(fù)對(duì)比實(shí)驗(yàn)

為驗(yàn)證所提算法在大尺度樣本缺失圖像修復(fù)性能,對(duì)分辨率為206×308的Bungee測(cè)試圖像和362×362 Truck測(cè)試圖像進(jìn)行大范圍擦除,然后按文獻(xiàn)[4,8,11,13,16]和本文策略進(jìn)行修復(fù),其實(shí)驗(yàn)結(jié)果如圖6和圖7所示.

圖6 Bungee大尺度樣本缺失修復(fù)結(jié)果Fig.6 Bungee large scale samples missing inpainting results

從圖6可看出,文獻(xiàn)[4]在河邊區(qū)域存在明顯紋理延伸(圖6(c));文獻(xiàn)[11,13]在房子缺失區(qū)域存在斷裂(圖6(e)-圖6(f));文獻(xiàn)[16]在房子頂部區(qū)域存在瓦塊延伸(圖6(g));以上修復(fù)結(jié)果在房子周圍或河邊都存在明顯紋理延伸或結(jié)構(gòu)斷裂問題;文獻(xiàn)[8]在對(duì)圖6(b)缺失區(qū)域修復(fù)表現(xiàn)出了較好地修復(fù)性能,本文算法則稍遜于文獻(xiàn)[8]修復(fù)結(jié)果,但依然能較好地保持整體結(jié)構(gòu)性.從圖7可看出,由于置信項(xiàng)和數(shù)據(jù)項(xiàng)權(quán)重分配不合理,導(dǎo)致文獻(xiàn)[4,8,11,13,16]在修復(fù)過程中道路出現(xiàn)大范圍紋理延伸(圖7(c)-圖7(h)).而本文算法結(jié)合自適應(yīng)分類策略可有效地調(diào)控置信項(xiàng)和梯度項(xiàng)權(quán)重,更好地解決紋理延伸問題,相比于文獻(xiàn)[4,8,11,13,16]道路上的紋理延伸明顯減少,提高了修復(fù)視覺質(zhì)量.

圖7 Truck大尺度樣本缺失修復(fù)結(jié)果對(duì)比實(shí)驗(yàn)Fig.7 Truck large scale samples inpainting results

6.4 時(shí)間代價(jià)對(duì)比實(shí)驗(yàn)

為驗(yàn)證所提算法在時(shí)間處理代價(jià)上性能,對(duì)實(shí)驗(yàn)6.1-6.3所進(jìn)行的修復(fù)實(shí)驗(yàn)連續(xù)進(jìn)行10次,統(tǒng)計(jì)其平均處理時(shí)間代價(jià),如表1所示.其中表1為結(jié)構(gòu)圖像樣本缺失圖像修復(fù)時(shí)間代價(jià)對(duì)比數(shù)據(jù),單位為S(秒).

從表1實(shí)驗(yàn)結(jié)果可看出,本文所提策略由于在匹配時(shí)僅根據(jù)待修補(bǔ)塊塊類型在對(duì)應(yīng)塊區(qū)域中進(jìn)行匹配搜索,在簡(jiǎn)單結(jié)構(gòu)圖像,小尺度樣本缺失圖像以及大尺度樣本缺失圖像修復(fù)上比文獻(xiàn)[4,8,11,13,16]計(jì)算效率上有了很大提高,具有最小的時(shí)間處理代價(jià).

表1 修復(fù)時(shí)間代價(jià)對(duì)比實(shí)驗(yàn)
Table 1 Inpainting time cost comparative experiments

修復(fù)策略修復(fù)平均耗時(shí)(S)圖4b圖5b圖6b圖7b文獻(xiàn)[4]221332234文獻(xiàn)[8]211130220文獻(xiàn)[11]201231215文獻(xiàn)[13]221229223文獻(xiàn)[16]211132230所提策略1071782

以上實(shí)驗(yàn)表明,本文所述策略相對(duì)于文獻(xiàn)[4,8,11,13,16]具有較好修復(fù)性能且整體修復(fù)結(jié)果較為穩(wěn)定可靠,同時(shí)由于僅根據(jù)待修補(bǔ)塊塊類型在對(duì)應(yīng)塊區(qū)域內(nèi)匹配搜索,具有最小的時(shí)間處理代價(jià).

7 結(jié)束語

以上本文給出了一種結(jié)合自適應(yīng)梯度分類的改進(jìn)Criminisi圖像修復(fù)算法.所提算法對(duì)待修補(bǔ)圖像落入已知區(qū)域所有像素按梯度直方圖劃分為平滑、紋理和邊緣3種類型從而避免了文獻(xiàn)[12,13]單純依賴待修補(bǔ)塊已知信息和使用手動(dòng)設(shè)定閾值對(duì)待修補(bǔ)塊進(jìn)行紋理、邊緣和平滑細(xì)分所導(dǎo)致的計(jì)算不準(zhǔn)確.所提方法結(jié)合塊分類自適應(yīng)優(yōu)先權(quán)計(jì)算函數(shù)增強(qiáng)了對(duì)邊緣紋理部分的辨別能力克服了傳統(tǒng)Criminisi圖像修復(fù)算法[4-13]存在的紋理延伸問題.所提算法對(duì)待修補(bǔ)塊僅在初始已知區(qū)域進(jìn)行搜索匹配填充并依據(jù)待修補(bǔ)塊類型來自適應(yīng)地確定塊大小,從而避免了使用可靠性不斷下降的已修補(bǔ)區(qū)域[4-11]和避免簡(jiǎn)單搜索空間限制導(dǎo)致的合理匹配塊丟失[12-14]以及全局搜索所帶來的高昂計(jì)算代價(jià)[12-16].實(shí)驗(yàn)表明所提方法可較好地克服紋理延伸,時(shí)間復(fù)雜度高等問題,同現(xiàn)有Criminisi算法及其改進(jìn)算法相比,在降低時(shí)間復(fù)雜度的同時(shí)也進(jìn)一步提高了圖像修復(fù)質(zhì)量.

[1] Bertalmio M,Sapiro G,Caselles V,et al.Image inpainting[C].Proceedings of the International Conference on Computer Graphics and Interactive Techniques,2000:417-424.

[2] Chan T F,Shen J.Mathematical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathematics,2002,62(3):1019-1043.

[3] Chan T F,Shen J.Nontexture inpainting by curvature-driven diffusions[J].Journal of Visual Communication & Image Representation,2001,12(4):436-449.

[4] Criminisi A,Perez P,Toyama K.Region filling and object removal by exemplar-based image inpainting.[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[5] Zhou Y,Li L,Xia K.Research on weighted priority of exemplar-based image inpainting[J].Journal of Electronics(China),2012,29(1-2):166-170.

[6] Nan A,Xi X.An improved Criminisi algorithm based on a new priority function and updating confidence[C].Biomedical Engineering and Informatics (BMEI),2014 7th International Conference on.IEEE,2015:885-889.

[7] Cheng W H,Hsieh C W,Lin S K,et al.Robust algorithm for exemplar-based image inpainting[C].The International Conference on Computer Graphics,Imaging and Vision (CGIV 2005),2005:64-69.

[8] Liang Shu-fen,Guo Min,Liang Xiang-qun.Enhanced Criminisi algorithm of digital image inpainting technology[J].Computer Engineering and Design,2016,37(5):1314-1345.

[9] Wang J,Lu K,Pan D,et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing,2014,123(S1):150-155.

[10] Lin Yun-li,Zhao Jun-hong,Zhu Xue-feng,et al.An improved algorithm for image inpainting based on texture synthesis[J].Computer Applications and Software,2010,27(10):11-12.

[11] Liu Ye-fei,Wang Fu-long,Xi Xiang-yan,et al.Improved algorithm for image inpainting based on texture synthesis.[J].Journal of Chinese Computer Systems,2014,35(12):2754-2758.

[12] Ren Shu,Tang Xiang-hong,Kang Jia-lun.Improved Criminisi algorithm with the texture and edge features[J].Journal of Image and Graphics,2012,17(9):1085-1091.

[13] Ren Shu,Tang Xiang-hong,Kang Jia-lun.An image inpainting algorithm combined with texture edge features[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(11):1682-1693.

[14] Dai Shi-mei,Zhang Hong-ying,Zeng Chao.A fast algorithm of exemplar based image completion[J].Microcomputer and its Applications,2010,29(22):34-36.

[15] Vantigodi S,Babu R V.Entropy constrained exemplar-based image inpainting[C].Signal Processing and Communications (SPCOM),2014 International Conference on.IEEE,2014:1-5.

[16] Wang Xin-nian,Wang Zhe,Wang Yan.Improved Criminisi algorithm based on geometry distance[J].Computer Engineering and Design,2015,36(7):1835-1839.

[17] Wu Ya-dong,Zhang Hong-ying,Wu Bin.Digital image inpainting techniques[M].Beijing:Science Press,2010.

[18] Zhang Hong-ying.Research and application on digital image impainting[D].Chengdu:University of Electronic Science and Technology,2006.

[19] Xu Z,Sun J.Image inpainting by patch propagation using patch sparsity[J].IEEE Transactions on Image Processing,2010,19(5):1153-1165.

[20] Fan Q,Zhang L F,Hu X L.Exemplar-based image inpainting algorithm using adaptive sample and candidate patch system[C].12th IEEE International Conference on Electronic Measurement & Instruments (ICEMI),IEEE,2015.

[21] Liu Y,Liu C J,Zou H L.A novel exemplar-based image inpainting algorithm[C].International Conference on Intelligent Networking and Collaborative Systems(INCOS),2015:86-90.

[22] Li Hua-qiang,Yu Qing-cang,Fang Mei.Application of otsu thresholding method on canny operator[J].Computer Engineering and Design,2008,29(9):2297-2299.

[23] Jothi J A A,Rajam V M A.Effective segmentation and classification of thyroid histopathology images[J].Applied Soft Computing,2016,46:652-664.

附中文參考文獻(xiàn)：

[8] 梁淑芬,郭 敏,梁湘群.改進(jìn)的Criminisi算法的數(shù)字圖像修復(fù)技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(5):1314-1345.

[10] 林云莉,趙俊紅,朱學(xué)峰,等.改進(jìn)的紋理合成圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2010,27(10):11-12.

[11] 劉業(yè)妃,王福龍,奚祥艷，等.改進(jìn)的Criminisi圖像修復(fù)算法[J].小型微型計(jì)算機(jī)系統(tǒng),2014,35(12):2754-2758.

[12] 任 澍,唐向宏,康佳倫.利用紋理和邊緣特征的Criminisi改進(jìn)算法[J].中國圖象圖形學(xué)報(bào),2012,17(9):1085-1091.

[13] 任 澍,唐向宏,康佳倫.紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(11):1682-1693.

[14] 代仕梅,張紅英,曾 超.一種基于樣例的快速圖像修復(fù)算法[J].微型機(jī)與應(yīng)用,2010,29(22):34-36.

[16] 王新年,王 哲,王 演.基于幾何距離的Criminisi圖像修復(fù)算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2015,36(7):1835-1839.

[17] 吳亞東,張紅英,吳 斌.數(shù)字圖像修復(fù)技術(shù)[M].北京:科學(xué)出版社,2010.

[18] 張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用[D].成都：電子科技大學(xué),2006.

[22] 李華強(qiáng),喻擎蒼,方 玫.Canny算子中Otsu閾值分割法的運(yùn)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(9):2297-2299.