紋理萃取耦合U型更新的圖像修復(fù)算法

唐寶燕

(濰坊工程職業(yè)學(xué)院 信息工程系，山東 青州 262500)

對(duì)圖像中已知信息的充分分析，并找出圖像中破損區(qū)域殘留的紋理特征，在已知的圖像信息中尋找出與破損圖像紋理特征最相似的圖像塊對(duì)破損區(qū)域進(jìn)行填充，從而達(dá)到圖像修復(fù)的效果，這就是圖像修復(fù)技術(shù)[1-2]的主要目的。

近年來(lái)，不少專家學(xué)者都提出了自己的圖像修復(fù)方法。例如，Qian等人[3]提出通過(guò)引入自適應(yīng)圖像塊調(diào)節(jié)的方法來(lái)計(jì)算圖像塊的稀疏度，從而改變圖像塊的大小。然后計(jì)算不同旋轉(zhuǎn)角度下的最大相似性，搜索出最相似的旋轉(zhuǎn)不變匹配塊。此方法對(duì)于紋理豐富的圖像中存在破壞區(qū)域?qū)挾容^大的圖像修復(fù)效果較好，不僅能夠?qū)ζヅ湎袼貕K的選取有了更加精準(zhǔn)的分析，并且能夠保持合理的視覺(jué)效果。但是對(duì)于紋理平滑的破損圖像修復(fù)質(zhì)量較差，容易出現(xiàn)振鈴效應(yīng)。Pierre等人[4]利用特定的數(shù)學(xué)模型加入到模糊的圖像中進(jìn)行深度地修復(fù)，從而解決模糊圖像紋理不清晰的問(wèn)題，并且對(duì)彩色的破損區(qū)域采用基于深度引導(dǎo)的修補(bǔ)方式進(jìn)行替換，以此來(lái)完成破損圖像的全面修復(fù)。此方法是將模糊圖像的信息深度解析后再進(jìn)行重建模型的，從修復(fù)質(zhì)量上來(lái)看還是很有效果，修復(fù)后的紋理清晰順滑，流暢自然，但是此方法修復(fù)耗時(shí)太高，效率低下，對(duì)于需要時(shí)效性的圖像修復(fù)而言不太理想。Sridevi等人[5]通過(guò)建立分?jǐn)?shù)階變分模型對(duì)破損圖像進(jìn)行分化解析，從而消除圖像修復(fù)過(guò)程中常出現(xiàn)的修復(fù)模糊現(xiàn)象，這種利用非線性擴(kuò)散的魯棒特征修復(fù)算法能夠?qū)ζ茡p圖像的模糊邊緣進(jìn)行優(yōu)化處理，從而獲得較好的邊緣修復(fù)效果，但是修復(fù)后的圖像會(huì)出現(xiàn)修復(fù)殘留現(xiàn)象，修復(fù)質(zhì)量不理想。Huang等人[6]提出借助紋理分割對(duì)待修復(fù)圖像進(jìn)行分劃的修復(fù)算法。通過(guò)分水嶺圖像分割算法將破損圖像采取分劃的預(yù)處理，利用紋理特征中的曲率特征量來(lái)加強(qiáng)數(shù)據(jù)項(xiàng)的權(quán)重，從而優(yōu)化優(yōu)先權(quán)的計(jì)算，通過(guò)將搜索區(qū)域縮小到圖像分劃區(qū)域內(nèi)的辦法快速匹配最優(yōu)匹配塊，減少修復(fù)耗時(shí)。此方法利用了圖像分割方式帶來(lái)的便利性和高效性，能夠快速完成對(duì)破損圖像的修復(fù)，但是由于縮小了匹配范圍，也就意味著失去更多的匹配選擇，很有可能出現(xiàn)匹配塊選取對(duì)象少的原因，導(dǎo)致誤匹配概率大大增加，修復(fù)效果難以提升。Deng等人[7]提出通過(guò)對(duì)匹配塊匹配過(guò)程的研究，引入了一種獨(dú)立的策略。首先定義一個(gè)新的分離優(yōu)先權(quán)算法來(lái)計(jì)算幾何結(jié)構(gòu)的優(yōu)先權(quán)，優(yōu)先修復(fù)圖像的幾何結(jié)構(gòu)，然后再計(jì)算紋理信息的優(yōu)先權(quán)來(lái)合成圖像的紋理，通過(guò)分別計(jì)算不同的優(yōu)先權(quán)來(lái)更好地恢復(fù)圖像的幾何和紋理。此方法在修復(fù)效果上有所提升，但是修復(fù)過(guò)程須要花費(fèi)過(guò)多的時(shí)間，時(shí)效性較差。

上述方法各有利弊，本文提出一種紋理萃取耦合U型更新的圖像修復(fù)算法。本方法通過(guò)對(duì)圖像中的破損區(qū)域進(jìn)行紋理萃取處理，利用小波變換的方法去噪再結(jié)合角點(diǎn)檢測(cè)分析，萃取出破損區(qū)域的紋理指標(biāo)，這樣能有效地彌補(bǔ)了傳統(tǒng)修復(fù)算法沒(méi)有對(duì)破損區(qū)域進(jìn)行合理有效預(yù)先處理的短板。紋理指標(biāo)可以有效反應(yīng)破損區(qū)域圖像與匹配圖像的相似度，在優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)可以增加對(duì)最優(yōu)匹配塊優(yōu)先選取的可靠性，減少錯(cuò)誤匹配的發(fā)生，避免紋理延伸。本文利用U型計(jì)算方式對(duì)修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，避免傳統(tǒng)Criminisi算法中置信度值因?yàn)椴粩嗟牡鷷?huì)快速趨0的現(xiàn)象出現(xiàn)，解決了修復(fù)圖像連貫性差的問(wèn)題，優(yōu)化了圖像修復(fù)的視覺(jué)效果。通過(guò)實(shí)驗(yàn)表明，本文所提修復(fù)方法具有更加穩(wěn)定修復(fù)效果，更加符合肉眼在對(duì)圖像觀察時(shí)的視覺(jué)要求。

1 破損圖像紋理萃取處理

為了對(duì)圖像破損區(qū)域內(nèi)的紋理信息實(shí)現(xiàn)準(zhǔn)確分析和萃取，首先需要對(duì)該區(qū)域進(jìn)行紋理分割，從而獲取破損圖像邊界指標(biāo)。紋理的多尺度分割方式為：

(1)

式中，α1、α2為破損區(qū)域中的任意2個(gè)不同像素點(diǎn)，d(α1,α2)為像素點(diǎn)α1、α2之間的幾何距離，L為紋理被分割的層數(shù)，Z(α1)表示破損圖像邊界指標(biāo)，表達(dá)式為：

(2)

獲得破損圖像邊界指標(biāo)后，接著對(duì)破損圖像邊緣進(jìn)行小波去噪處理和角點(diǎn)檢測(cè)。通過(guò)對(duì)破損圖像邊緣小波去噪處理[8]可以獲得破損區(qū)域圖像灰度直方圖C(α1)；通過(guò)對(duì)破損圖像邊緣進(jìn)行角點(diǎn)檢測(cè)[9]可以獲得圖像破損區(qū)域邊緣特征約束函數(shù)dα1,α2

mn(x,y)。

令Pα1(α2)為破損圖像灰度值，則破損區(qū)域圖像灰度直方圖C(α1)和邊緣特征約束函數(shù)dα1,α2

mn(x,y)計(jì)算公式如下：

(3)

(4)

其中，x、y分別為偏導(dǎo)數(shù)梯度，θα1,α2

m為圖像破損區(qū)域邊緣強(qiáng)度，β為常數(shù)。

根據(jù)圖像破損區(qū)域邊緣特征約束函數(shù)完成對(duì)破損圖像邊緣的檢測(cè)以及圖像融合[10]處理。處理后再進(jìn)行破損區(qū)域紋理密度計(jì)算。紋理密度計(jì)算式為：

(5)

其中，Hm,Hn表示破損圖像中m、n方向的矢量，|H|為破損區(qū)域紋理密度集合，R表示破損圖像紋理的歸一統(tǒng)計(jì)總和。

通過(guò)以上處理并累積加權(quán)可得圖像破損區(qū)域邊緣波域特征提取的不變距為：

(6)

結(jié)合邊緣波域特征分割和離散化處理得到待修復(fù)區(qū)域的矢量值a,bm，然后計(jì)算破損區(qū)域紋理的超像素級(jí)視覺(jué)特征[11]Aa(Cα1)，計(jì)算式如下：

Aa(Cα1)=Z(α1)+Aα1(Cα1)

(7)

其中，Aα1(Cα1)(α1=1,2,3,4,…，n)為圖像破損區(qū)域中的紋理結(jié)構(gòu)表征[12]。結(jié)合圖像增強(qiáng)技術(shù)手段實(shí)現(xiàn)對(duì)破損區(qū)域不同像素梯度的特征進(jìn)行匹配和融合，得到圖像破損區(qū)域的紋理萃取指標(biāo)，函數(shù)表達(dá)式如下：

(8)

經(jīng)過(guò)以上所述步驟可以得到破損圖像中的紋理萃取結(jié)果，通過(guò)這樣處理可以有效地彌補(bǔ)了傳統(tǒng)Criminisi修復(fù)算法沒(méi)有對(duì)破損區(qū)域進(jìn)行合理有效預(yù)先處理的短板。紋理指標(biāo)可以有效反應(yīng)破損區(qū)域圖像與匹配圖像的相似度，在優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)可以增加對(duì)最優(yōu)匹配塊優(yōu)先選取的可靠性，減少錯(cuò)誤匹配的發(fā)生，避免紋理延伸。

2 改進(jìn)U型函數(shù)更新置信度的Criminisi算法

2.1 Criminisi算法

利用圖像紋理信息對(duì)破損圖像進(jìn)行修復(fù)算法有很多種，其中應(yīng)用最廣泛的是Criminisi算法。

1)計(jì)算優(yōu)先權(quán)

如圖1所示，在一幅破損圖像中，已知區(qū)域?yàn)镸，待修復(fù)區(qū)域?yàn)镹。K為M區(qū)域與N區(qū)域的邊緣線，p為邊緣線上的某一個(gè)像素點(diǎn)。以p為中心點(diǎn)的待修復(fù)像素塊為Up。np為p點(diǎn)的法向量， 表示點(diǎn)p點(diǎn)的等照度線向量，C(p)為p點(diǎn)的置信項(xiàng)，D(p)為p點(diǎn)的數(shù)據(jù)項(xiàng)。Criminisi算法中通過(guò)C(p)和D(p)信息來(lái)獲取優(yōu)先權(quán)P(p),計(jì)算式如下：

P(p)=C(p)×D(p)

(9)

置信項(xiàng)C(p)數(shù)據(jù)項(xiàng)D(p)兩者的表達(dá)式分別是：

(10)

(11)

其中，q為待匹配像素點(diǎn)，|Up|為Up中像素點(diǎn)的總數(shù)，α為系數(shù)，取α=255。

經(jīng)過(guò)優(yōu)先權(quán)計(jì)算，選取計(jì)算值最大的待修復(fù)塊作為優(yōu)先修復(fù)塊。

2)搜索最優(yōu)匹配

Criminisi算法將根據(jù)SSD匹配準(zhǔn)則[13]，在已知區(qū)域中，搜索篩選出與優(yōu)先修復(fù)塊紋理結(jié)構(gòu)最相近的圖像塊作為最優(yōu)匹配塊Uq。

利用SSD匹配準(zhǔn)則獲取最優(yōu)匹配塊U(q)的計(jì)算表達(dá)式為：

Uq=arg mind(Up,Uq)

(12)

式中，d(.)是Uq與Up中對(duì)應(yīng)顏色差的平方和計(jì)算公式，其表達(dá)式如下：

(13)

3)更新置信度

Criminisi算法更新置信度C(p)的計(jì)算為：

(14)

即用Uq的圖像信息替換Up內(nèi)的信息，完成更新操作。

Criminisi算法通過(guò)重復(fù)計(jì)算優(yōu)先權(quán)、待修復(fù)塊的匹配和更新置信度這3個(gè)流程，最終完成破損圖像的修復(fù)。

2.2 改進(jìn)U型函數(shù)更新置信度

由于傳統(tǒng)Criminisi圖像修復(fù)算法中計(jì)算須要不斷迭代的原因，暴露出置信度值快速趨0的弊端，為此本文提出U型函數(shù)計(jì)算方法對(duì)置信度更新進(jìn)行改進(jìn)。

U型函數(shù)計(jì)算表達(dá)式為：

(15)

則結(jié)合U型函數(shù)改進(jìn)的置信度更新計(jì)算為：

(16)

其中，λ為調(diào)節(jié)因子，經(jīng)過(guò)多組實(shí)驗(yàn)得出，取λ=1.3時(shí)，可得到較好的修復(fù)結(jié)果。

為了較為直觀的對(duì)比，用X代表傳統(tǒng)Criminisi圖像修復(fù)算法中的C(p)，則置信度更新可以簡(jiǎn)化表示為f(x)=x，x∈[0，1]。圖2為傳統(tǒng)Criminisi圖像修復(fù)算法中的置信度更新函數(shù)和本位所提結(jié)合U型函數(shù)改進(jìn)的置信度更新函數(shù)對(duì)比結(jié)果圖。

通過(guò)圖2中的線條陡緩可以明顯觀察出，x在0到1的取值范圍內(nèi)，y1=f(x)呈現(xiàn)出的斜線斜率比較大，而且隨著的變小而快速下降。但是同樣的x在0到1的取值范圍內(nèi)，y2=h(x)呈現(xiàn)出的斜線較為平緩。y1=f(x)與y2=h(x)在點(diǎn)(x0,y0)處相交，x在0到x0的取值范圍內(nèi)時(shí)，y1=f(x)在y2=h(x)下方并且呈現(xiàn)出的斜線斜率比較大；x在x0到1的取值范圍內(nèi)時(shí)，雖然y1=f(x)出現(xiàn)在了y2=h(x)的上方但是呈現(xiàn)出的斜線斜率依然比較大。由此說(shuō)明y2=h(x)在x在0到1的取值范圍內(nèi)變化較為平緩，并且不會(huì)出現(xiàn)因?yàn)閤快速減小而快速趨于0的結(jié)果。

因此本文利用U型計(jì)算方式對(duì)修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，解決修復(fù)圖像連貫性差的問(wèn)題，優(yōu)化圖像修復(fù)的視覺(jué)效果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用MATLAB7.0作為軟件平臺(tái)，在2.4 GHz主頻、8 GB內(nèi)存、Intel酷睿雙核計(jì)算機(jī)上進(jìn)行圖像修復(fù)對(duì)比實(shí)驗(yàn)。對(duì)所提算法進(jìn)行實(shí)驗(yàn)測(cè)試，并將與文獻(xiàn)[14]、文獻(xiàn)[15]中所用方法進(jìn)行對(duì)比。

3.1 對(duì)小狗圖像的實(shí)驗(yàn)與分析

如圖3中所示為3種算法對(duì)小狗破損圖像的修復(fù)效果對(duì)比。文獻(xiàn)[14]方法對(duì)破損圖像修復(fù)之后，在足球頂部還有微小紅色修復(fù)殘留，在小狗背部和尾巴下方存在明顯未修復(fù)到的紅色區(qū)域，在小狗前爪處原來(lái)的白色出現(xiàn)了黑色模糊塊，出現(xiàn)明顯振鈴現(xiàn)象。文獻(xiàn)[15]方法修復(fù)之后，在小狗頭部、前爪下方、尾巴上均有較小的紅色破損殘留。本文算法對(duì)破損的小狗圖像進(jìn)行修復(fù)后沒(méi)有出現(xiàn)振鈴現(xiàn)象，也未見(jiàn)明顯修復(fù)殘留，圖像修復(fù)質(zhì)量較為理想。

3.2 對(duì)保溫杯圖像的實(shí)驗(yàn)與分析

不同算法對(duì)保溫杯破損圖像的修復(fù)效果對(duì)比如圖4中所示。文獻(xiàn)[14]方法對(duì)破損圖像修復(fù)之后的效果為圖4(c)?？梢钥匆?jiàn)較為明顯的1處紅色修復(fù)殘留；在木板縫隙處修復(fù)效果不佳，有修復(fù)間斷的痕跡；藍(lán)色保溫杯的白色字跡修復(fù)不完整。文獻(xiàn)[15]方法修復(fù)之后，有2處紅色修復(fù)殘留，其中1處紅色斑塊面積比較大。本文算法修復(fù)后未見(jiàn)明顯修復(fù)殘留，但在保溫杯下方藍(lán)色標(biāo)記處有微小面積的模糊現(xiàn)象，未仔細(xì)查看較難發(fā)現(xiàn)，圖像修復(fù)視覺(jué)效果有較好的改善。

4 結(jié)論

本方法對(duì)破損區(qū)域進(jìn)行紋理萃取處理，結(jié)合小波變換去噪和角點(diǎn)檢測(cè)分析，萃取出破損區(qū)域的紋理指標(biāo)，優(yōu)先權(quán)計(jì)算時(shí)結(jié)合萃取的紋理指標(biāo)增加對(duì)了匹配塊優(yōu)先選取的可靠性。利用U型計(jì)算方式對(duì)修復(fù)塊的置信度進(jìn)行強(qiáng)化從而抑制置信度的快速衰減，解決修復(fù)圖像連貫性差的問(wèn)題，優(yōu)化圖像修復(fù)的視覺(jué)效果。通過(guò)與不同的圖像修復(fù)算法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文所提修復(fù)方法具有更加穩(wěn)定修復(fù)效果，更加符合肉眼在對(duì)圖像觀察時(shí)的視覺(jué)要求，說(shuō)明所提方法具有更好的修復(fù)性能。