基于梯度調(diào)節(jié)規(guī)則的圖像修復(fù)算法研究

馬鳳娟，宋大偉，趙 華

?

基于梯度調(diào)節(jié)規(guī)則的圖像修復(fù)算法研究

*馬鳳娟1，宋大偉1，趙 華2

(1. 濰坊工程職業(yè)學(xué)院，山東，濰坊 262500；2. 山東科技大學(xué)，山東，青島 266590 )

當(dāng)前較多圖像修復(fù)算法采用單一大小樣本塊進(jìn)行圖像修復(fù)，不能適應(yīng)圖像不同差異的紋理豐富度變化，使得修復(fù)結(jié)果存在塊效應(yīng)以及模糊效應(yīng)等不足。本文利用圖像的梯度值，設(shè)計(jì)了基于梯度調(diào)節(jié)規(guī)則的圖像修復(fù)算法。將圖像的梯度信息引入優(yōu)先權(quán)計(jì)算，聯(lián)合數(shù)據(jù)項(xiàng)、置信度項(xiàng)目構(gòu)造優(yōu)先權(quán)計(jì)算函數(shù)，以計(jì)算優(yōu)先修復(fù)塊。利用圖像的梯度變化率，建立梯度調(diào)節(jié)規(guī)則，用以調(diào)節(jié)樣本塊大小，適應(yīng)不同的紋理豐富度。引入(Sum of squared differences)函數(shù)從源區(qū)域中尋找最優(yōu)匹配塊，實(shí)現(xiàn)圖像修復(fù)。實(shí)驗(yàn)結(jié)果顯示，所設(shè)計(jì)方法修復(fù)的圖像具有良好的視覺效果。

圖像修復(fù)；梯度信息；優(yōu)先權(quán)計(jì)算；樣本塊大??；紋理豐富度；SSD函數(shù)

0 引言

數(shù)字圖像具有便于獲取、儲存方便以及易于傳輸?shù)葍?yōu)點(diǎn)，已被廣泛用于遙感探測、醫(yī)療診斷以及考古研究等多個技術(shù)領(lǐng)域[1-2]。但是，由于圖像采集設(shè)備的技術(shù)瓶頸以及圖像采集的自然環(huán)境等影響因素，使得數(shù)字圖像經(jīng)常出現(xiàn)破損的問題。這種破損圖像不能較好地適應(yīng)人們的視覺感知以及信息的傳遞，需要對破損的數(shù)字圖像進(jìn)行修復(fù)。

1 算法設(shè)計(jì)

圖1 所提算法的修復(fù)過程

1.1 優(yōu)先權(quán)計(jì)算

從現(xiàn)在開始，我稱呼那個矮個子男人叫黑背心，這個高個子漢子叫泰森，當(dāng)然還有前面那個讓我想入非非的漂亮女孩就叫短裙子女孩吧，因?yàn)樵谝院蟮那楣?jié)里我始終都沒有叫過他們的名字，當(dāng)然，是因?yàn)槲易允贾两K都不知道他們的名字。

其中，0.5、0.3與0.2均為權(quán)值，主要是通過多次實(shí)驗(yàn)確定的一組較優(yōu)值。

1.2 樣本塊調(diào)節(jié)

圖像的紋理復(fù)雜度體現(xiàn)了圖像的平滑性。紋理結(jié)構(gòu)較復(fù)雜的區(qū)域，平滑度較低，梯度變化率較大，此時(shí)需要縮小樣本塊大小，以適應(yīng)紋理結(jié)構(gòu)的變化，降低畸變發(fā)生的概率[10-11]。紋理結(jié)構(gòu)較單一的區(qū)域，平滑度較高，梯度變化率較小，此時(shí)需要擴(kuò)大樣本塊大小，以增加修復(fù)速度。

1.3 匹配最優(yōu)匹配塊

2 實(shí)驗(yàn)結(jié)果

2.1 修復(fù)結(jié)果對比

不同算法對小面積破損圖像的修復(fù)結(jié)果如圖2所示。通過觀察圖2可見，圖2(c)示的修復(fù)結(jié)果中不僅存在較多修復(fù)殘留，而且還存在塊效應(yīng)與模糊效應(yīng)。圖2(d)所示的修復(fù)結(jié)果中存在不連續(xù)效應(yīng)以及修復(fù)殘留。圖2(e)所示的修復(fù)結(jié)果中存在輕微模糊現(xiàn)象。不同算法對大面積破損圖像的修復(fù)結(jié)果對比如圖3所示。通過觀察圖3可見，圖3(c)所示的修復(fù)結(jié)果中具有修復(fù)殘留以及振鈴效應(yīng)。圖3(d)所示的修復(fù)結(jié)果中存在模糊效應(yīng)以及不連續(xù)效應(yīng)。圖2(e)所示的修復(fù)結(jié)果中存在一處修復(fù)殘留。由此可見，本文算法的修復(fù)結(jié)果具有較好的視覺效果。因?yàn)楸疚睦脠D像的梯度值構(gòu)造了梯度因子，并將其引入優(yōu)先權(quán)的計(jì)算，提高了優(yōu)先權(quán)計(jì)算的準(zhǔn)確性與穩(wěn)定性。同時(shí)還采用SSD函數(shù)從源區(qū)域準(zhǔn)確匹配最優(yōu)匹配塊對待修復(fù)塊進(jìn)行修復(fù)，從而提高了算法的修復(fù)效果。

圖2 不同算法修復(fù)結(jié)果對比圖

2.2 客觀評價(jià)對比

以圖3(a)為測試圖像，將其設(shè)置不同程度的破損，并通過不同算法對破損圖像進(jìn)行修復(fù)。利用修復(fù)圖像常用的測試指標(biāo)峰值信噪比（Peak Signal to Noise Ration, PSNR）作為客觀評價(jià)指標(biāo)。

圖4 不同修復(fù)算法的PSNR測試結(jié)果

3 結(jié)論

[1] Buyssens P, Meur O L, Daisy M. Depth-Guided Disocclusion Inpainting of Synthesized RGB-D Images[J].IEEE Transactions on Image Processing, 2017, 26(2): 525-538.

[2] 李光耀,耿瑞全,譚云蘭. 基于區(qū)域分割和均方誤差改進(jìn)的圖像修復(fù)算法[J].井岡山大學(xué)學(xué)報(bào):自然科學(xué)版, 2013, 34(6):44-50.

[3] Wang S, Guo W H, Huang T Z. Image Inpainting Using Reproducing Kernel Hilbert Space and Heaviside Functions[J]. Journal of Computational and Applied Mathematics, 2017, 311(8): 551-564.

[4] Vahid K A, Farzin Y. Exemplar-Based Image Inpainting Using SVD-Based Approximation Matrix and Multiscale Analysis[J]. Multimedia Tools and Applications,2017, 76(5): 7213-7234.

[5] 李旭峰,王靜,劉紅敏. 特征優(yōu)先塊匹配圖像修復(fù)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(7): 1131-1137.

[6] Li S J, Yang X H. Novel Image Inpainting Algorithm Based on Adaptive Fourth-Order Partial Differential Equation[J]. IET Image Processing,2017,11(10):870-879.

[7] Dai L, Jiang D H, Ding B. Improved Digital Image Restoration Algorithm Based on Criminisi[J]. Journal of Digital Information Management,2016,14(5):302-310.

[8] 彭春華,唐利明. 非均勻紋理圖像的分層Criminisi修復(fù)算法[J].紅外技術(shù),2017,39(9):814-823.

[9] Peng C H, Tang L M. Multi-layer Criminisi Inpainting Algorithm for Non-Uniform Texture Images[J]. Infrared Technology, 2017,39(9):814-823.

[10] He K, Gao J Q, Lu W X. Image Inpainting Algorithm Based on Improved Confidence Function and Matching Criterion[J]. Journal of Tianjin University, 2017,50(4): 399-404.

[11] Rajesh P B, Sanjiv V B. Image Restoration Using Prioritized Exemplar Inpainting with Automatic Patch Optimization[J]. Journal of The Institution of Engineers,2017,98(3):311-319.

[12] 梁淑芬,郭敏,梁湘群. 改進(jìn)的Criminisi算法的數(shù)字圖像修復(fù)技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(5):1314- 1318+1345.

[13] Wang H X, Jiang L, Liang R H. Exemplar-Bsed Image Inpainting Using Structure Consistent Patch Matching[J]. Neurocomputing, 2017, 269(1): 90-96.

[14] 謝斌,丁成軍,劉壯. 自適應(yīng)分?jǐn)?shù)階TV修復(fù)算法與研究[J].微電子學(xué)與計(jì)算機(jī),2017,34(12):45-49.

[15] Hiromu F, Junichi M, Takio K. Image Inpainting by Recursive Estimation Using Neural Network and Wavelet Transformation[C]. Guangzhou: Neural Information Processing: 24th International Conference, 2017: 652-661.

Research of Image Inpainting Algorithm Based on Gradient Adjustment Rule

*MA Feng-juan1, SONG Da-wei1, ZHAO Hua2

(1. Weifang engineering Career Academy, Weifang, Shandong 262500, China; 2. Shandong University of Science and Technology, Qingdao, Shandong 266590, China)

At present, many image restoration algorithms use only one size sample block for image restoration, which is difficult to adapt to the different texture richness of the image, resulting in the defect of blocking and blurring effect. In this paper, we use the gradient value of image to design an image inpainting algorithm based on gradient adjustment rule. The gradient information of image is introduced into priority calculation, and priority calculation function is constructed by combining data items and confidence items to calculate priority repair blocks. The gradient adjustment rules are established to adjust the size of the sample block and adapt to different texture richness by using the gradient change rate of the image. The SSD function is introduced to find the best matching block from the source area and repair the repair block. Experimental results show that the image repaired by this algorithm has better visual effect.

image inpainting; gradient information; priority computation; sample block size; texture richness; SSD function

1674-8085(2019)01-0034-05

TP391

A

10.3969/j.issn.1674-8085.2019.01.008

2018-09-14；

2018-12-04

山東省自然科學(xué)基金項(xiàng)目(ZR2013FQ030)

*馬鳳娟(1975-)，女，山東濰坊人，副教授，主要從事計(jì)算機(jī)圖像、多媒體技術(shù)、數(shù)據(jù)庫等方面的研究(E-Mail: juanfm@tom.com);

宋大偉(1976-)，男，山東濰坊人，副教授，主要從事圖像處理、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫技術(shù)研究(E-Mail: songdiv@sohu.com);

趙 華(1980-)，男，山東泗水人，副教授，博士，主要從事圖像處理、話題檢測與跟蹤、網(wǎng)絡(luò)輿情挖掘研究(E-Mail: songdiv@sohu.com).