基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法

孫 宇,李 晗

(1. 新疆理工學(xué)院信息工程學(xué)院,新疆 阿克蘇 843000;2. 遼寧工業(yè)大學(xué)電子與信息工程學(xué)院,遼寧 錦州 121000)

1 引言

圖像修復(fù)是根據(jù)圖像的已知區(qū)域特征修補(bǔ)圖像受損區(qū)域或移除圖像多余的區(qū)域[1],使修復(fù)后圖像能夠滿足視覺(jué)要求的方法。隨著科技的不斷發(fā)展,數(shù)字圖像技術(shù)不斷提升[2],圖像修復(fù)技術(shù)受到更高的關(guān)注,已被廣泛地應(yīng)用于電影電視修復(fù),藝術(shù)作品修復(fù)、醫(yī)學(xué)影像修復(fù)、工業(yè)圖像修復(fù)等行業(yè)之中,因此對(duì)數(shù)字圖像修復(fù)技術(shù)進(jìn)行更加深入的研究至關(guān)重要。

李雪瑾[3]等人將數(shù)據(jù)集解析的樣本作為概率分布的樣本點(diǎn),通過(guò)GANs輸出偽造圖像,通過(guò)附近待修復(fù)圖像的編碼構(gòu)建模型,運(yùn)用該模型來(lái)預(yù)測(cè)受損內(nèi)容,從而完成圖像的修復(fù)。韓棟[4]等人通過(guò)曲率約束因子構(gòu)建優(yōu)先級(jí)度量函數(shù),將調(diào)整后的樣本塊邊緣作為約束,結(jié)合SSD模型對(duì)受損圖像進(jìn)行修復(fù)。裴晨[5]等人將圖像轉(zhuǎn)換到CIELab空間內(nèi)完成a,b分量的聚類運(yùn)算并獲取K個(gè)聚類中心,根據(jù)迭代次數(shù)變化進(jìn)行粗分割,通過(guò)細(xì)化分割結(jié)果,分離目標(biāo)與環(huán)境,將色彩遷移后完成圖像修復(fù)。以上方法沒(méi)有對(duì)邊緣的銜接效果進(jìn)行考慮,導(dǎo)致視覺(jué)效果差、SSIM與PSNR值低的問(wèn)題。

為了解決上述方法中存在的問(wèn)題,提出基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法。

2 數(shù)字圖像結(jié)構(gòu)-紋理分解

對(duì)于待處理圖像,可以將其表示為f(i,j)的形式,f(i,j)中包含紋理及噪聲等振蕩部分[6],將其表示為v(i,j),圖片處理就是從f(i,j)中提取出有用的部分,可以將其理解為逆問(wèn)題[7],即對(duì)于給定的f(i,j),找到與其相似的u(i,j),使其無(wú)限接近f(i,j),u即為f(i,j)的結(jié)構(gòu)部分,遵循f(i,j)=u(i,j)+v(i,j),圖像修復(fù)的目的是從f(i,j)提取u(i,j),v中紋理代表的模式為重復(fù)的小規(guī)模細(xì)節(jié),噪音代表的模式為隨機(jī)的小規(guī)模細(xì)節(jié)[8],兩者可通過(guò)振蕩函數(shù)加以區(qū)分。

設(shè)圖像的全區(qū)域用Ω表示,受損區(qū)域用D表示,拉格朗日乘子用λ表示[9],將TV模型和L1范數(shù)模型L1(Ω)和L2(Ω)相結(jié)合得到TV-L1模型和空間BV(Ω)的表達(dá)形式如下[10]

(1)

設(shè)梯度的模用|?u|表示,圖像局部梯度模函數(shù)用p(|?u|)和q(|?u|)表示,ξ為保證f≈u+v=u+divξ前提的參數(shù),λ和μ為結(jié)合實(shí)際情況取值的參數(shù),建立L1范數(shù)自適應(yīng)模型如下所示

(2)

(3)

式(2)為一個(gè)能量泛函式[11],其中的第一項(xiàng)為規(guī)整項(xiàng),第二項(xiàng)為L(zhǎng)1的逼近項(xiàng),第三項(xiàng)為圖像中v的能量,通過(guò)范數(shù)表示,u和v分別所處的空間為對(duì)偶空間,所以存在(1/p)+(1/q)=1,通過(guò)變分法求解式(2),得到滿足諾依曼條件的歐拉拉格朗日方程的如下所示[12]

(4)

式(4)中,ξ1和ξ2為拉格朗日中值定理參數(shù),σ為懲罰因子,根據(jù)圖像模值可以將式(4)分為以下兩種情況:

①圖像模值很大

當(dāng)圖像的模值很大時(shí),根據(jù)式(3)得到q≈1,p→1,該情況下的式(4)可表示為如下形式

(5)

②圖像模值趨近于零

當(dāng)圖像的模值趨近于零時(shí),q≈2,p≈2,該情況下的式(4)可表示為如下形式

(6)

在式(5)和式(6)中為了避免分母為零的情況,引入?yún)?shù)ε,使其滿足

(7)

通過(guò)以上計(jì)算,完成數(shù)字圖像結(jié)構(gòu)與紋理的分解。

3 數(shù)字圖像分層修復(fù)方法

3.1 圖像預(yù)填充

因?yàn)樵诮Y(jié)構(gòu)部分中只存在光滑區(qū)域和邊緣的特點(diǎn),可以將結(jié)構(gòu)部分看作近似于處處連續(xù)的函數(shù),將像素I(y)在點(diǎn)x處依據(jù)泰勒公式展開(kāi)得到

I(y)=I(x)+?I(x)·(y-x)+o(|y-x|2)

(8)

其中,o(|y-x|2)為高階項(xiàng),將其舍棄后得到

I(y)=I(x)+?I(x)·(y-x)

(9)

(10)

為了保障受損區(qū)域能夠按照由邊界向內(nèi)部的順序拓展,基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法引入快速行進(jìn)法進(jìn)行計(jì)算[13],結(jié)合點(diǎn)q處參數(shù)T(q)的大小,得到權(quán)重W(p,q)的計(jì)算公式如下

(11)

結(jié)合實(shí)際情況對(duì)更新參數(shù)T進(jìn)行修正,設(shè)點(diǎn)q的鄰近區(qū)域內(nèi)四個(gè)點(diǎn)用qw、qs、qe和qn表示,得到修正后公式如下

T(q)=min{T(q),min{solve(qw,qs),solve(qe,qs),solve(qe,qn),solve(qw,qn)}}

(12)

3.2 結(jié)構(gòu)修復(fù)算法

在圖像修復(fù)的過(guò)程中,為了避免修補(bǔ)受損區(qū)域后造成的全局模糊,基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法對(duì)上文運(yùn)用的修復(fù)模型進(jìn)行改進(jìn),設(shè)(x,y)是受損區(qū)域D內(nèi)的一點(diǎn),t=f(x,y),得到改進(jìn)后表達(dá)式如下所示:

(13)

(14)

與傳統(tǒng)TV模型相比,基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法運(yùn)用的修復(fù)模型具有以下幾個(gè)優(yōu)點(diǎn):

①在對(duì)待修復(fù)先進(jìn)行修復(fù)時(shí)選取鄰近區(qū)域的12個(gè)點(diǎn)的加權(quán)組合對(duì)其進(jìn)行更新,獲取到的修復(fù)結(jié)果具有更好的銜接效果,避免了灰度跳變的問(wèn)題。

②對(duì)修復(fù)模型進(jìn)行改進(jìn)后避免了對(duì)受損區(qū)域修復(fù)時(shí)全局模糊的情況。

③遵循視覺(jué)的連接性準(zhǔn)則,對(duì)等照度線方向進(jìn)行考慮,使信息傳播的效率更高。

3.3 紋理修復(fù)算法

通過(guò)統(tǒng)計(jì)法對(duì)BSDS300數(shù)據(jù)庫(kù)中圖像的局部相似性進(jìn)行統(tǒng)計(jì)分析[15],首先選定塊的尺寸,記作(2pSize+1)×(2pSize+1),在全部圖像中任意選取中心點(diǎn),記作(x0,y0),根據(jù)中心點(diǎn)確定尺寸為(2pSize+1)×(2pSize+1)的塊,然后在全部原圖像、結(jié)構(gòu)圖像和紋理圖像中提取每個(gè)可能的尺寸為(2pSize+1)×(2pSize+1)的圖像塊,圖像塊的中心坐標(biāo)為(x,y),再對(duì)塊和圖像塊之間的曼哈頓距離[16]以及兩者中心點(diǎn)的歐氏距離[17]進(jìn)行計(jì)算,最后獲取兩者中心距離為Dis的塊和圖像塊的平均距離。

對(duì)計(jì)算結(jié)果進(jìn)行統(tǒng)計(jì)分析可知,獲取到的圖像具有局部相似性特征,引入改進(jìn)的Criminisi算法,在尋找最佳匹配塊過(guò)程中用運(yùn)用局部搜索代替全局搜索,在受損區(qū)域邊界為B的范圍內(nèi)尋找最佳匹配塊以提高算法效率,在Criminisi算法中,全部已知點(diǎn)對(duì)相似度的貢獻(xiàn)值均一致,因此將其轉(zhuǎn)換為與距離相關(guān)的加權(quán)相似度貢獻(xiàn)方式,設(shè)中心點(diǎn)p到點(diǎn)xp的距離為dist(xp,p),以p為中心的區(qū)域用ψp表示,已知信息區(qū)域用Φ表示,q為Φ上一點(diǎn),以q為中心的區(qū)域用ψq表示,得到相似度d(ψp,ψq)計(jì)算方式如下

(15)

通過(guò)以上計(jì)算,完成基于結(jié)構(gòu)-紋理分解算法的數(shù)字圖像分層修復(fù)。

4 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法的整體有效性,需要對(duì)該算法進(jìn)行測(cè)試。

實(shí)驗(yàn)計(jì)算機(jī)設(shè)備選取Inter i7-4600,2.10GHz主板,8GB內(nèi)存,Windows10系統(tǒng)。為了驗(yàn)證修復(fù)效果,選取四組不同的待修復(fù)圖像進(jìn)行修復(fù),將所提方法處理的圖像與文獻(xiàn)[3]和文獻(xiàn)[4]處理的圖像進(jìn)行對(duì)比分析,處理結(jié)果如圖1所示。

圖1 人像移除修復(fù)結(jié)果

由圖1人像移除修復(fù)結(jié)果可以看出,在文獻(xiàn)[3]的處理結(jié)果中,邊緣部分存在部分殘留,影響視覺(jué)效果,文獻(xiàn)[4]的處理結(jié)果路沿部分及圍欄部分嚴(yán)重變形,出現(xiàn)視覺(jué)不連貫的情況,地面與路沿的顏色不均勻,陰影過(guò)渡不自然,所提方法的修復(fù)結(jié)果中路面與路沿連接處表現(xiàn)出橫向一致的效果,路面及圍欄均保持原形態(tài),符合視覺(jué)需求。

由圖2物體移除修復(fù)結(jié)果可以看出,在大面積簡(jiǎn)單結(jié)構(gòu)和局部細(xì)微紋理結(jié)構(gòu)均有受損的情況下,文獻(xiàn)[3]處理結(jié)果表現(xiàn)不佳,受損區(qū)域在處理后出現(xiàn)明暗交疊的色塊重復(fù)情況,嚴(yán)重影響視覺(jué)效果,整體不流暢,而且整個(gè)圖像的清晰度下降,圖像質(zhì)量出現(xiàn)模糊情況,文獻(xiàn)[4]處理結(jié)果中受損部位邊緣未完全消除,且修補(bǔ)處出現(xiàn)大面積色塊,嚴(yán)重偏離原圖效果,整體效果不好,所提方法處理結(jié)果對(duì)光亮與陰影情況均有考慮并加以合適的處理,使光影過(guò)渡更加自然,視覺(jué)效果更好。

圖2 物體移除修復(fù)結(jié)果

對(duì)圖3粗劃痕修復(fù)結(jié)果進(jìn)行分析,在同時(shí)包含大面積均勻漸變(皮膚)和結(jié)構(gòu)漸變(面部輪廓)受損的情況下,經(jīng)過(guò)文獻(xiàn)[3]方法處理的結(jié)果面部輪廓明顯有突出,邊界與背景混合造成大面積色塊,影響視覺(jué)感受,且全局像素降低出現(xiàn)模糊情況,文獻(xiàn)[4]處理結(jié)果面部向背景過(guò)渡處出現(xiàn)大面積模糊,效果不夠自然,出現(xiàn)明顯的明暗交界,沒(méi)有對(duì)光澤的明暗變化情況加以考慮,視覺(jué)效果差,所提方法對(duì)于面部過(guò)渡的處理優(yōu)于兩種方法,面部輪廓較為清晰。

圖3 粗劃痕修復(fù)結(jié)果

對(duì)圖4去文字修復(fù)結(jié)果進(jìn)行分析,在大面積區(qū)域受損的情況下,文獻(xiàn)[3]處理結(jié)果仍有文字邊緣存在,修復(fù)效果不佳,影響原圖像效果,文獻(xiàn)[4]雖將文字去除,但云彩過(guò)渡明暗效果不自然,視覺(jué)效果不夠流暢,所提方法對(duì)于文字的消除處理效果更為順暢,更接近原圖效果。

圖4 去文字修復(fù)結(jié)果

通過(guò)結(jié)構(gòu)相似性指數(shù)(SSIM)和峰值信噪比(PSNR)對(duì)三種方法的修復(fù)結(jié)果進(jìn)行客觀對(duì)比,SSIM和PSNR均與圖像的修復(fù)效果成正比,得到檢測(cè)效果如圖5所示:

圖5 SSIM與PSNR檢測(cè)效果

對(duì)圖5分析可以看出,所提方法的SSIM與PSNR值均比文獻(xiàn)[3]方法和文獻(xiàn)[4]方法優(yōu)異,因?yàn)樗岱椒ㄔ趯?duì)受損區(qū)域進(jìn)行修復(fù)時(shí),選取了待修復(fù)點(diǎn)鄰近區(qū)域的12個(gè)點(diǎn)的加權(quán)組合進(jìn)行更新,獲取到更好的銜接效果,避免了灰度跳變的情況,從而使所提方法的修復(fù)效果更好。

5 結(jié)束語(yǔ)

圖像是人們獲取信息的主要途徑,這說(shuō)明了圖像處理技術(shù)至關(guān)重要,而圖像修復(fù)是其中不可或缺的一部分,對(duì)圖像修復(fù)進(jìn)行深入的研究與應(yīng)用是圖像處理技術(shù)發(fā)展的關(guān)鍵。為了解決目前方法中存在的視覺(jué)效果差、SSIM與PSNR值低問(wèn)題,提出基于結(jié)構(gòu)-紋理分解的數(shù)字圖像分層修復(fù)算法,通過(guò)TV-L1模型將數(shù)字圖像拆分為結(jié)構(gòu)部分和紋理部分,并分別進(jìn)行修復(fù),完成數(shù)字圖像的分層修復(fù)。該方法能夠有效地改善視覺(jué)效果,提高SSIM與PSNR值,為更好地進(jìn)行數(shù)字圖像修復(fù)奠定基礎(chǔ)。