結(jié)構(gòu)優(yōu)化的彩色圖像稀疏表示的修復(fù)方法

張少鵬，唐向宏，來(lái)伊麗，何雨亭

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

結(jié)構(gòu)優(yōu)化的彩色圖像稀疏表示的修復(fù)方法

張少鵬，唐向宏，來(lái)伊麗，何雨亭

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

針對(duì)彩色圖像修復(fù)過(guò)程中，RGB顏色模型三通道間的相關(guān)性以及其結(jié)構(gòu)復(fù)雜性導(dǎo)致修復(fù)效果不理想的缺點(diǎn)，提出了將修復(fù)過(guò)程從RGB顏色模型轉(zhuǎn)化到Y(jié)UV顏色模型進(jìn)行，采用稀疏表示的方法來(lái)提高彩色圖像的修復(fù)效果.首先將圖像從RGB顏色模型映射到Y(jié)UV顏色模型并對(duì)不同成份進(jìn)行分塊，然后利用FastICA算法分類訓(xùn)練獲得相對(duì)應(yīng)的完備字典，最后利用優(yōu)先權(quán)函數(shù)約束待修復(fù)塊的修復(fù)順序，并結(jié)合重構(gòu)算法SL0對(duì)修復(fù)塊進(jìn)行重構(gòu)，實(shí)現(xiàn)了圖像的修復(fù).實(shí)驗(yàn)表明，運(yùn)用該方法能較好地修復(fù)條狀破損、小塊破損以及大塊破損的圖像和文字移除，改善了傳統(tǒng)修復(fù)方法在邊緣修復(fù)時(shí)出現(xiàn)的邊緣斷裂或者紋理延伸現(xiàn)象.在修復(fù)時(shí)，利用優(yōu)先權(quán)函數(shù)來(lái)決定修復(fù)優(yōu)先度，使邊界和紋理的修復(fù)更加符合人眼視覺(jué)效果.

YUV；FastICA算法；學(xué)習(xí)字典；優(yōu)先權(quán)函數(shù)

0 引 言

圖像修復(fù)就是對(duì)破損圖像中破損區(qū)域進(jìn)行合理信息填充的過(guò)程.在不破壞圖像整體性的同時(shí)，恢復(fù)圖像丟失信息，使修復(fù)后的圖像符合人眼的視覺(jué)效果.對(duì)于彩色圖像的修復(fù)，文獻(xiàn)[1]利用Criminisi算法整體修復(fù)彩色圖像，將待修復(fù)塊與匹配塊的熵的差值用于約束最佳匹配塊的選取，有效克服了虛假邊，并且使用了16級(jí)顏色直方圖來(lái)約束顏色信息的檢索，使得匹配塊的選取更加準(zhǔn)確.文獻(xiàn)[2]基于Criminisi算法利用顏色信息與結(jié)構(gòu)信息的相互結(jié)合來(lái)確定待修復(fù)區(qū)域的優(yōu)先級(jí)，在未破損區(qū)域?qū)ふ易罴哑ヅ鋲K進(jìn)行填充修復(fù).文獻(xiàn)[3]利用大量自然圖像訓(xùn)練一個(gè)超完備字典，然后基于結(jié)構(gòu)張量對(duì)待修復(fù)區(qū)域進(jìn)行整體重構(gòu)填充修復(fù).由于在填充過(guò)程中未考慮修復(fù)優(yōu)先度的問(wèn)題，導(dǎo)致圖像紋理缺少連續(xù)性.文獻(xiàn)[4]利用FastICA訓(xùn)練完備字典，通過(guò)掩膜來(lái)確定和提取待修復(fù)塊并進(jìn)行重構(gòu).由于未考慮修復(fù)塊的優(yōu)先順序使得修復(fù)效果不理想.由于彩色圖像RGB三層分量之間的相關(guān)性[5]會(huì)導(dǎo)致修復(fù)失真，同時(shí)，修復(fù)優(yōu)先權(quán)對(duì)修復(fù)邊界和紋理也產(chǎn)生一定的影響，為此，本文探討采用結(jié)構(gòu)優(yōu)化的彩色圖像稀疏方法來(lái)修復(fù)圖像，以提高彩色圖像的修復(fù)效果.

1 算法原理及實(shí)現(xiàn)

本文算法首先將待修復(fù)彩色圖像進(jìn)行顏色空間的轉(zhuǎn)化，在YUV顏色空間[6-7]中，利用Fast-ICA算法分類訓(xùn)練不同的分量信息獲取各自分量的完備字典，引入優(yōu)先權(quán)函數(shù)來(lái)保證邊緣區(qū)域的優(yōu)先修復(fù)，最后結(jié)合SL0算法實(shí)現(xiàn)待修復(fù)塊的重構(gòu)并完成修復(fù).

1.1 完備字典的訓(xùn)練

獨(dú)立分量分析方法(Independent Component Analysis，ICA)是近幾年發(fā)展起來(lái)的一種處理數(shù)據(jù)的高效方法[8].ICA方法能完成分量間高階冗余的去除及獨(dú)立信源的提取.因此ICA方法適用于字典訓(xùn)練[4].相對(duì)于傳統(tǒng)的K-SVD訓(xùn)練方法，ICA方法訓(xùn)練字典不僅在重構(gòu)效果上具有優(yōu)勢(shì)而且還可降低字典訓(xùn)練計(jì)算的復(fù)雜度，保證訓(xùn)練字典的過(guò)完備性，便于擴(kuò)展完備字典使其更具靈活性，同時(shí)還能改善因字典原子間的互相干性導(dǎo)致邊界稀疏修復(fù)的不理想現(xiàn)象.

xi=ai1s1+ai2s2+…+ainsni=1,2,…,n

(1)

其中，a1,a2,···,an為混合矩陣A的元素.因此式(1)可改寫(xiě)成：

X=AS

(2)

由于FastICA算法本質(zhì)上是一種最小化估計(jì)分量互信息的神經(jīng)網(wǎng)絡(luò)方法，利用最大熵原理來(lái)近似負(fù)熵，并通過(guò)一個(gè)合適的非線性函數(shù)g訓(xùn)練W達(dá)到最優(yōu)解[9].因此，本文采用FastICA方法來(lái)獲取完備字典.由于僅利用待修復(fù)圖像的有效信息來(lái)填充待修復(fù)區(qū)域，先驗(yàn)信息有限，并且自適應(yīng)性差.因此，本文利用大量的樣本圖像和待修復(fù)圖像的有效信息來(lái)訓(xùn)練學(xué)習(xí)字典.這樣不僅充分利用了樣本塊的先驗(yàn)知識(shí)，同時(shí)也考慮到了待修復(fù)圖像自身的信息[10].為此，選取一部分自然圖像，轉(zhuǎn)化成灰度圖像.隨機(jī)從每幅圖像中提取1 000個(gè)7×7大小的圖像塊，獲得一個(gè)49×50 000大小的數(shù)據(jù)矩陣X.其中矩陣X中每一個(gè)列向量代表一個(gè)圖像塊.利用FastICA算法訓(xùn)練該圖像庫(kù)X，估計(jì)出分離矩陣W，該分離矩陣就是訓(xùn)練得到的基.

1.2 重構(gòu)優(yōu)先順序的約束

在現(xiàn)有的稀疏表示的圖像修復(fù)中，人們通常采用整體重構(gòu)，即使采用分塊重構(gòu)時(shí)，較少考慮重構(gòu)的順序，從而導(dǎo)致修復(fù)失真.在灰度圖像修復(fù)時(shí)，文獻(xiàn)[11]將樣本塊填充問(wèn)題轉(zhuǎn)化為不完整信號(hào)稀疏重建問(wèn)題，對(duì)待修復(fù)塊進(jìn)行稀疏表示，雖在修復(fù)過(guò)程中引入優(yōu)先權(quán)函數(shù)來(lái)確定修復(fù)順序，但結(jié)構(gòu)部分未能得到優(yōu)先修復(fù)，致使結(jié)構(gòu)部分的修復(fù)缺少連貫性.為此，本文算法在修復(fù)時(shí)，不僅采用分塊重構(gòu)，同時(shí)對(duì)重構(gòu)順序加以約束，通過(guò)優(yōu)先權(quán)函數(shù)決定待修復(fù)塊的修復(fù)順序，保證邊緣部分會(huì)優(yōu)先得到修復(fù)，從而保證了圖像的整體結(jié)構(gòu).

圖1 修復(fù)優(yōu)先權(quán)原理圖

修復(fù)優(yōu)先權(quán)原理如圖1所示.Φ為圖像未破損區(qū)域，Ω為圖像待修復(fù)區(qū)域，ψp為修復(fù)邊界?Ω以點(diǎn)p為中心的待修復(fù)塊.其優(yōu)先權(quán)定義如下[12]：

P(p)=C(p)·D(p)

(3)

其中，C(p)為置信項(xiàng)，D(p)為數(shù)據(jù)項(xiàng)，分別定義為：

(4)

和順縣的輻射水源井主要是遠(yuǎn)離河流集取地下水型，以小泉小水為水源的農(nóng)村飲水安全工程，可通過(guò)實(shí)施水平輻射把漏失的泉水和未開(kāi)發(fā)的散泉集中起來(lái)，增水效果十分明顯，比如橫嶺鎮(zhèn)的龍旺村、陽(yáng)照村等，尤其適宜厚度較薄的含水層以及不易用滲渠開(kāi)采的厚度薄、埋深大的含水層。主要優(yōu)點(diǎn)：（1）山區(qū)輻射井水源工程多為引水工程，管理方便，運(yùn)行成本較低。（2）集水范圍大，含水層厚時(shí)可多層設(shè)置集水孔，此水水質(zhì)優(yōu)良且水量穩(wěn)定，受季節(jié)影響較小。

為了保證邊緣能優(yōu)先修復(fù)并提高其可靠性，得到更好的修復(fù)效果，本文通過(guò)改進(jìn)梯度表示方式，增大了數(shù)據(jù)項(xiàng)D(p)的權(quán)重，優(yōu)化了D(p)，使其能更好地區(qū)分紋理區(qū)域和邊緣區(qū)域，得到更多的邊緣信息，使得邊緣信息更加容易被優(yōu)先修復(fù).

設(shè)p點(diǎn)處的梯度為：

I=[Ix,Iy]

(5)

其中，Ix，Iy分別為x，y方向的偏導(dǎo).在傳統(tǒng)方法中，梯度計(jì)算都是用基于歐式距離來(lái)表示：

(6)

本文采用的絕對(duì)值之和來(lái)計(jì)算梯度：

(7)

圖2分別給出了Bar圖采用傳統(tǒng)方法梯度法和絕對(duì)值之和的梯度提取的結(jié)果.從圖2(b)和圖2(c)的放大部分可以看出，使用傳統(tǒng)的梯度法在某些邊緣區(qū)域(如圖中圓圈所示)，無(wú)法提取到該區(qū)域的邊緣結(jié)構(gòu)信息.但采用本文定義的梯度表示方法則較好的提取邊緣結(jié)構(gòu)信息.另外，由于光照線強(qiáng)度決定了數(shù)據(jù)項(xiàng)D(p)的大小，從圖2中可以看出圖像線性結(jié)構(gòu)部分的光照線強(qiáng)度明顯比傳統(tǒng)方法的強(qiáng).因此，在計(jì)算優(yōu)先權(quán)時(shí)，采用本文梯度表示方法可以提高數(shù)據(jù)項(xiàng)的權(quán)重，使邊緣區(qū)域更加容易被優(yōu)先修復(fù).

圖2 Bar圖像的梯度圖

在實(shí)驗(yàn)中，通過(guò)大量實(shí)驗(yàn)數(shù)據(jù)分析發(fā)現(xiàn)，紋理和邊緣的數(shù)據(jù)項(xiàng)較為接近，從而出現(xiàn)紋理優(yōu)先于邊緣修復(fù)導(dǎo)致紋理延伸的現(xiàn)象.因此，為了增加紋理和邊緣的區(qū)分度，在本文中重新定義數(shù)據(jù)項(xiàng)為：

D′(p)=αγ(p)D(p)

(8)

其中，α為經(jīng)驗(yàn)常數(shù)，一般取100.參數(shù)γ(p)大小由下面方式獲得.沿待修復(fù)塊p的法線方向分割待修復(fù)塊，獲得兩塊大小相近的圖像塊(分別記作p1和p2)，分別計(jì)算p1和p2中已知像素的均值，記作E(p1)和E(p2)，則參數(shù)γ(p)大小定義為：

(9)

其中，η為歸一化參數(shù)取η=255.這樣，本文重新定義的優(yōu)先級(jí)函數(shù)為：

P(p)=C(p)·D′(p)

(10)

圖3給出文獻(xiàn)[3]提出的Criminisi算法與本文改進(jìn)優(yōu)先級(jí)函數(shù)的修復(fù)結(jié)果的比較，可以看出，改進(jìn)的優(yōu)先權(quán)函數(shù)保證了邊緣區(qū)域能夠優(yōu)先紋理區(qū)域得到修復(fù)，改善了邊緣延伸的現(xiàn)象，本文改進(jìn)后修復(fù)的峰值信噪比為41.067 5dB比Criminisi算法修復(fù)的峰值信噪比39.986 6dB高出了將近1dB.

對(duì)于稀疏重構(gòu)，由于SL0算法[13]是一種近似l0范數(shù)的稀疏重構(gòu)算法，通過(guò)尋求一個(gè)連續(xù)函數(shù)逼近l0范數(shù)，求解函數(shù)的最優(yōu)解來(lái)實(shí)現(xiàn)稀疏重構(gòu).相比于OMP算法，具有不需要事先估計(jì)信號(hào)的稀疏度，重構(gòu)精度高等優(yōu)點(diǎn).因此，本算法選用文獻(xiàn)[14]中改進(jìn)的SL0算法來(lái)完成稀疏重構(gòu).

綜上所述，本文算法流程如圖4所示.首先將RGB彩色圖像轉(zhuǎn)換成YUV分量，然后分別對(duì)3個(gè)分量Y，U，V修復(fù)，修復(fù)完成后由YUV空間轉(zhuǎn)化回到RGB空間.具體步驟如下：

圖4 修復(fù)流程圖

1)利用FastICA算法訓(xùn)練過(guò)完備字典Dy，Du，Dv；

2)提取待修復(fù)區(qū)域邊緣；

3)計(jì)算邊緣所有點(diǎn)的優(yōu)先權(quán)，按優(yōu)先權(quán)大小將待修復(fù)塊排序，將優(yōu)先級(jí)最大的待修復(fù)塊設(shè)為當(dāng)前待修復(fù)塊；

4)選取當(dāng)前待修復(fù)塊，利用SL0算法對(duì)其進(jìn)行重構(gòu)；

5)更新邊緣信息；

6)按照步驟3-5進(jìn)行像素修復(fù)，直到圖像修復(fù)完畢.

2 實(shí)驗(yàn)結(jié)果及分析

為了檢驗(yàn)改進(jìn)算法的修復(fù)效果，在計(jì)算機(jī)上對(duì)條狀破損、小塊破損、大塊破損、文字去除等進(jìn)行了仿真實(shí)驗(yàn).實(shí)驗(yàn)中用Matlab R2013a作為工具，在處理器為3.5 GHz INTEL酷睿I7-4710HQ，內(nèi)存為4 GB，操作系統(tǒng)為windows8的PC機(jī)上進(jìn)行模擬仿真.采用的是7×7大小的字典，并與文獻(xiàn)[3]、文獻(xiàn)[4]、文獻(xiàn)[11]算法的修復(fù)結(jié)果進(jìn)行比較分析.下面僅給出部分仿真實(shí)驗(yàn)結(jié)果.

圖5-8分別給出了4種算法對(duì)不同彩色破損圖像的修復(fù)效果.文獻(xiàn)[3]和文獻(xiàn)[4]算法在修復(fù)過(guò)程直接利用掩膜方式確定修復(fù)塊，未考慮圖像的結(jié)構(gòu)信息，導(dǎo)致紋理上缺少連續(xù)性出現(xiàn)顏色斷裂和紋理延伸現(xiàn)象.在YUV空間中，其U，V分量主要是色度信息，其中的結(jié)構(gòu)信息較少，因此在U，V層分量的修復(fù)上，修復(fù)效果較好，使得整體的修復(fù)效果有了較大的提高，但在Y分量上的修復(fù)效果仍然不理想.文獻(xiàn)[11]引入優(yōu)先權(quán)約束圖像塊的修復(fù)順序，但其優(yōu)先級(jí)函數(shù)不能確保結(jié)構(gòu)部分優(yōu)先得到修復(fù)，導(dǎo)致邊緣出現(xiàn)斷裂與紋理延伸的現(xiàn)象.本文算法采用改進(jìn)優(yōu)先級(jí)函數(shù)，修復(fù)的圖像更加自然和諧，符合人眼視覺(jué).

圖5 彩色Stone破損圖像修復(fù)效果比較

圖6 彩色Lena破損圖像修復(fù)效果比較

圖7 彩色baboon破損圖像修復(fù)效果比較

圖8 文字移除效果比較

4種算法修復(fù)的峰值信噪比(PSNR)值和耗時(shí)如表1所示.可以看出，文獻(xiàn)[3]和文獻(xiàn)[4]算法修復(fù)的PSNR較低，本算法的PSNR最高，相對(duì)提高了1～4 dB；由于文獻(xiàn)[3]算法利用三維張量對(duì)彩色圖像直接修復(fù)，耗時(shí)最短，而本文算法需要確定修復(fù)優(yōu)先級(jí)順序，所以耗時(shí)比其他方法要長(zhǎng)，但修復(fù)效果較好.

表1 各算法修復(fù)的PSNR和耗時(shí)比較

3 結(jié)束語(yǔ)

本文提出了一種結(jié)構(gòu)優(yōu)化的彩色圖像稀疏表示的圖像修復(fù)算法.本文方法綜合性較好，不僅克服了RGB分量之間的相關(guān)性問(wèn)題，同時(shí)也提高了字典訓(xùn)練的質(zhì)量，有效地改善了邊緣斷裂以及紋理延伸的現(xiàn)象.但是對(duì)于較大塊圖像的破損以及紋理較為復(fù)雜區(qū)域的修復(fù)還是不夠理想，修復(fù)時(shí)間較長(zhǎng)，有待進(jìn)一步研究和改進(jìn).

[1]VANTIGODI S, BABU R V. Entropy constrained exemplar-based image inpainting[C]//2014 International Conference on Signal Processing and Communications (SPCOM). IEEE, 2014:1-5.

[2]XU Y, WANG S. Image inpainting base on color differences and structure differences[C]//Computer Science and Network Technology (ICCSNT), 2013 3rd International Conference on. IEEE, 2013:364-368.

[5]湯慧梅,趙躍進(jìn).分?jǐn)?shù)階微分的CIE L*a*b*顏色空間邊緣檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(6):19-27.

[6]朱光,師文,朱學(xué)芳,等.結(jié)合SURF特征的多功能彩色圖像水印算法[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(012):1694-1702.

[7]何娟芝.基于YUV顏色空間的邊緣檢測(cè)算法研究[D].杭州電子科技大學(xué),2013.

[8]LIU J, SHE K. Independent component analysis algorithm using wavelet filtering[J]. Journal of Electronic Measurement & Instrument, 2010,24(1):39-44

[9]MIN Z, MU Z, WENJIE M. Implementation of FastICA on DSP for Blind Source Separation[J]. Procedia Engineering, 2012,29:4228-4233.

[10]李民,程建,李小文,等.非局部學(xué)習(xí)字典的圖像修復(fù)[J].電子與信息學(xué)報(bào),2011,33(11):2672-2678.

[11]SHEN B, HU W, ZHANG Y, et al. Image inpainting via sparse representation[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2009:697-700.

[12]侯玉婷,彭進(jìn)業(yè),韓東辰.改進(jìn)的Criminisi圖像修復(fù)算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(11):135-138.

[13]MOHIMANI H, BABAIE-ZADEH M, JUTTEN C. A fast approach for overcomplete sparse decomposition based on smoothedl0norm[J]. IEEE Transactions on Signal Processing, 2009,57(1):289-301.

[14]屠雅麗,唐向宏,張東,等.SL0分類稀疏表示的圖像修復(fù)算法[J].杭州電子科技大學(xué)學(xué)報(bào),2016,36(1)：32-36.

Color Inpainting by Structural Optimization and Sparse Representation

ZHANG Shaopeng, TANG Xianghong, LAI Yili, HE Yuting

(SchoolofCommunicationEngineering,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

Since the correlation and the complexity structure of RGB color model leads to the shortcomings on non-ideal effect of the color image restoration process, this paper proposes a new sparse representation color inpainting method to improve the repair effect. Firstly, the RGB color image is mapped into YUV model and divided parts. Then useful information is extracted from the volume of natural and undamaged images. Using the FastICA algorithm to obtain a complete dictionary; at last priority function is used to determine to repair the turn to be repaired, combining with reconstruction algorithm SL0 to treat repair piece of reconfiguration and repaint. Experimental results show that proposed method can effectively repair the strip breakage, small damage, large pieces of broken images and the text removed, and repairing boundary and the texture is more conformed to the human eye vision effect.

YUV; FastICA algorithm; learned dictionary; priority function

10.13954/j.cnki.hdu.2017.03.007

2016-09-09

張少鵬(1992-)，男，浙江武義人，碩士研究生，數(shù)字圖像修復(fù).通信作者：唐向宏教授，E-mail：tangxh@hdu.edu.cn.

TP391

A

1001-9146(2017)03-0029-06