CNN圖像修復(fù)區(qū)域故障檢測(cè)的迭代方法

胡德敏，胡鈺媛，褚成偉，胡 晨

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

1 引 言

圖像修復(fù)[1,2]是數(shù)字圖像處理技術(shù)的一個(gè)重要分支，指通過(guò)圖像中未受損的信息對(duì)受損區(qū)域進(jìn)行演算從而得到最佳修復(fù)效果.這一問(wèn)題多年來(lái)受到圖像處理和計(jì)算機(jī)視覺界的高度關(guān)注，并在該領(lǐng)域取得了關(guān)鍵進(jìn)展[3].

基于補(bǔ)丁[11]的方法使用從相同或其他圖像提取的圖像塊，以便在缺失區(qū)域中合成紋理，大多數(shù)方法解決了涉及缺失區(qū)域中的像素值以及類似圖像塊搜索的優(yōu)化問(wèn)題.由于相似的圖像補(bǔ)丁搜索，該優(yōu)化問(wèn)題具有很強(qiáng)的非凸性，過(guò)早導(dǎo)致局部最小值出現(xiàn)，遠(yuǎn)離大缺失區(qū)域邊界的像素幾乎不受邊界條件的約束，因此基于補(bǔ)丁的方法容易從其他區(qū)域復(fù)制不可信的紋理.通常采用人工標(biāo)注的方法，反復(fù)標(biāo)記這些故障區(qū)域，直到算法給出滿意的圖像，但容易造成邊界模糊且人工過(guò)程繁瑣.

我們?cè)诨谘a(bǔ)丁的圖像修復(fù)基礎(chǔ)上，提出了一種具有修復(fù)區(qū)域故障自動(dòng)檢測(cè)的處理方法，用于提高現(xiàn)有圖像修復(fù)算法的結(jié)果質(zhì)量.通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)完成對(duì)于補(bǔ)丁的故障檢測(cè)，自動(dòng)確定故障區(qū)域，將檢測(cè)到的故障區(qū)域進(jìn)行迭代修復(fù)，逐步減少故障區(qū)域，得到圖像修復(fù)的最佳結(jié)果.通過(guò)實(shí)驗(yàn)將其與手動(dòng)標(biāo)記方法和非迭代方法進(jìn)行了比較.結(jié)果表明，相對(duì)于其他修復(fù)結(jié)果，該方法能在一定范圍內(nèi)降低故障像素與原始缺失區(qū)域的面積之比.

2 相關(guān)工作

圖像修復(fù)的方法可以大致分為兩種類型，即基于樣本和基于擴(kuò)散的方法.基于擴(kuò)散的方法[4,5]在一定的邊界條件下，將缺失區(qū)域邊緣像素一階導(dǎo)數(shù)以保證缺失區(qū)域邊界的平滑性.它們適用于填充小區(qū)域，因?yàn)樗鼈儾粫?huì)在區(qū)域中合成紋理，會(huì)導(dǎo)致修復(fù)邊界模糊的偽影，所以不宜處理大區(qū)域.基于樣本的方法可以分為基于神經(jīng)網(wǎng)絡(luò)和基于補(bǔ)丁的方法[10].基于神經(jīng)網(wǎng)絡(luò)的方法使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)估計(jì)缺失區(qū)域中的相似紋理，通過(guò)對(duì)有缺失區(qū)域和無(wú)缺失區(qū)域的圖像進(jìn)行訓(xùn)練.盡管基于神經(jīng)網(wǎng)絡(luò)[6，7]的方法最初只能處理較小的缺失區(qū)域，但由于對(duì)抗性網(wǎng)絡(luò)(GAN)[8].的生成，處理大缺失區(qū)域的紋理[9,10]的方法得到應(yīng)用.基于補(bǔ)丁的方法是根據(jù)圖像或其他圖像中的紋理合成缺失區(qū)域的紋理，該方法復(fù)制圖像補(bǔ)丁中從圖像的其余部分提取的像素值，并且與缺失區(qū)域邊界周圍的像素類似.由于它的合成結(jié)果很大程度上取決于提取的順序.因此，近幾年來(lái)采用的方法都是基于紋理結(jié)構(gòu)和稀疏性來(lái)計(jì)算缺失區(qū)域邊界上的每個(gè)像素的優(yōu)先級(jí)[12].由于這種方法在合成區(qū)域仍然存在不連續(xù)性，在文獻(xiàn)[13]中提出了一種多匹配塊隨機(jī)查找像素的迭代方法，該方法將圖像的完整性轉(zhuǎn)化為一個(gè)能量最小化問(wèn)題，涉及丟失區(qū)域中的所有像素值和類似的圖像補(bǔ)丁搜索.由于能量函數(shù)的非凸性，該方法迭代過(guò)程尋找最佳的圖像補(bǔ)丁，并根據(jù)圖像補(bǔ)丁更新像素值，直至收斂.所以，它很容易過(guò)早導(dǎo)致局部最小值.這一問(wèn)題是不可避免的，尤其是在缺失區(qū)域較大的情況下，遠(yuǎn)離大缺失區(qū)域邊界的像素幾乎不受邊界條件的約束，算法會(huì)從其他區(qū)域復(fù)制不真實(shí)的紋理.為了解決這個(gè)問(wèn)題，目前采用人工標(biāo)記出不真實(shí)真理區(qū)域，對(duì)于少量的圖像可以做到精確，但是面對(duì)數(shù)量較大的圖像時(shí)，過(guò)程繁瑣且誤差變大.

對(duì)于當(dāng)前人工標(biāo)記補(bǔ)丁區(qū)域故障問(wèn)題，本文提出了一種精確化、自動(dòng)化檢測(cè)故障區(qū)域的處理方法.給定一個(gè)圖像缺失區(qū)域Ω，首先進(jìn)行圖像修復(fù)，然后通過(guò)CNN將Ω中的每個(gè)像素劃分為有效或無(wú)效.對(duì)于分類為無(wú)效的像素，再次應(yīng)用圖像修復(fù)算法，引入啟發(fā)式閾值對(duì)修復(fù)圖像多次迭代直至收斂.

3 基于CNN圖像修復(fù)區(qū)域故障檢測(cè)的迭代方法

3.1 基于補(bǔ)丁的圖像修復(fù)算法

設(shè)Ω′為是包含任意i∈Ω為中心的核k覆蓋的像素區(qū)域，如圖1所示.區(qū)域Φ是Ω′的補(bǔ)碼，稱為數(shù)據(jù)區(qū)域.大多數(shù)基于補(bǔ)丁的圖像修復(fù)算法都被定義為一個(gè)優(yōu)化問(wèn)題，這使得能量最小化.文獻(xiàn)[13]方法使用以下能量編碼：i)Ω復(fù)制Φ中的像素值；ii)相似的圖案通常位于附近區(qū)域：

(1)

其中，wi是像素i的權(quán)重，它基于距邊界的距離和紋理復(fù)雜度；k是控制每個(gè)像素的預(yù)測(cè)范圍的參數(shù).

圖1 缺失區(qū)Ω、擴(kuò)展缺失區(qū)Ω′、數(shù)據(jù)區(qū)Φ

SSD(i,j,Hij)是基于圍繞i和j的像素在j附近的某些局部幾何變換為Hij之后的平方差的總和，在它們的方法中，Hij是標(biāo)識(shí)、水平翻轉(zhuǎn)或垂直翻轉(zhuǎn).將xi,xj∈R2作為像素i和j的位置，將I(xi)為xi處的像素值，SSD定義為：

(2)

其中，αij用于調(diào)整補(bǔ)丁的亮度.ER是一個(gè)正則化術(shù)語(yǔ)，用于提取附近像素，這是由公式(3)使用Sigmoid函數(shù)定義的.

(3)

其中|K|是K中的像素?cái)?shù)，a和b是預(yù)定常數(shù)，G是大常數(shù).我們通過(guò)迭代兩個(gè)過(guò)程來(lái)最小化等式(1)中的能量.第一個(gè)過(guò)程是解決內(nèi)部最小化問(wèn)題，即找到一個(gè)以j為中心的圖像補(bǔ)丁，它與以i∈Ω′為中心的補(bǔ)丁最相似.我們可以通過(guò)Patch Match算法[15]解決這個(gè)問(wèn)題，大大降低了計(jì)算復(fù)雜度.第二個(gè)過(guò)程是計(jì)算補(bǔ)丁中的像素值的加權(quán)平均值，該加權(quán)平均值與每個(gè)i∈Ω的像素值I(xi)包括i的補(bǔ)丁最相似.

3.2 利用CNN查找故障像素

上述最小化問(wèn)題容易過(guò)早導(dǎo)致出現(xiàn)局部最小值.為了避免這種情況，算法可以通過(guò)手動(dòng)標(biāo)記開始更多輪修復(fù)，以識(shí)別缺失區(qū)域.我們?cè)O(shè)計(jì)并訓(xùn)練了一個(gè)CNN，使標(biāo)記自動(dòng)化，它將原始缺失區(qū)域Ω中的每個(gè)像素分類為有效或無(wú)效.

3.2.1 數(shù)據(jù)

當(dāng)手動(dòng)在循環(huán)圖像修復(fù)系統(tǒng)中標(biāo)注故障像素時(shí)，他們只看到生成的圖像，無(wú)法考慮生成圖像中的語(yǔ)義，因此很難找到故障像素.為了彌補(bǔ)缺失的語(yǔ)義，除了初始圖像修復(fù)后的圖像外，我們還考慮了圖像修復(fù)過(guò)程中可以獲得的額外數(shù)據(jù)，即圖像修復(fù)后的RGB圖像、SSD、到邊界(DB)地圖的距離以及到類似補(bǔ)丁(DSP)的距離.

SSD映射存儲(chǔ)了像素i∈Ω和像素j∈Φ附近的圖像塊之間的差異性，這在大多數(shù)圖像修復(fù)算法中都得到了應(yīng)用.故障區(qū)域通常包含具有較大SSD值的像素，因?yàn)樽钚』療o(wú)法找到平滑連接該區(qū)域中不同部件的良好圖像補(bǔ)丁.這表明，SSD可以很好地提示尋找故障區(qū)域.我們的案例使用修改過(guò)的SSD，亮度調(diào)整系數(shù)在等式(2)中定義.

DB(數(shù)據(jù)庫(kù)映射)存儲(chǔ)缺失區(qū)域中的像素和數(shù)據(jù)區(qū)域中的像素之間的最小距離.通常，對(duì)于遠(yuǎn)離缺失區(qū)域Ω和數(shù)據(jù)區(qū)域Φ邊界的像素，圖像修復(fù)失敗的可能性更大.因?yàn)檫@些像素幾乎不受周圍數(shù)據(jù)區(qū)域的約束，因此在查找類似的補(bǔ)丁時(shí)會(huì)受到模糊性的影響.對(duì)于此類像素，圖像修復(fù)算法可能會(huì)放置無(wú)效的像素，為了找到這樣的像素，本文使用一個(gè)DB數(shù)據(jù)庫(kù)映射.

DSP映射沿兩個(gè)軸存儲(chǔ)每個(gè)像素及其相關(guān)圖像補(bǔ)丁之間的距離.地圖的概念來(lái)自于一個(gè)物體通常具有一致紋理的事實(shí)，因此圖像中的紋理是局部一致的.由于這種紋理位置，圖像修復(fù)算法通常會(huì)從更近的區(qū)域中挑選要復(fù)制到像素的圖像塊；否則，生成的圖像可能具有局部不一致的紋理.因此，我們使用每個(gè)像素與其相關(guān)的圖像補(bǔ)丁之間的距離作為紋理位置，以方便我們的分類任務(wù).

從每個(gè)像素到其關(guān)聯(lián)圖像的相對(duì)方向是信息性的，因?yàn)榻^對(duì)方向(相對(duì)于圖像水平和垂直軸的方向)并不是信息性的，因此，我們找到了長(zhǎng)軸和短軸，其中長(zhǎng)軸是大多數(shù)類似像素可能所在的方向，短軸是其正交的.為此，我們的方法計(jì)算數(shù)據(jù)區(qū)域Φ中所有像素的最相似面的方向直方圖，并使用最有優(yōu)先權(quán)的方向作為主軸.

3.2.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

對(duì)于缺失區(qū)域Ω中像素i的有效/無(wú)效標(biāo)記，我們提取以像素i為中心的56×56圖像區(qū)域，稱為子區(qū)域Ri.子區(qū)域Ri有7個(gè)通道，包括RGB映射(3個(gè)通道)、D映射(1個(gè)通道)、DB映射(1個(gè)通道)和DSP映射(2個(gè)通道).

由于這些豐富的輸入數(shù)據(jù)，我們使用了一個(gè)相對(duì)較淺的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示.我們的網(wǎng)絡(luò)有三個(gè)3×3核卷積層，每個(gè)卷積層有30個(gè)信道，其次是2×2最大池化層和ReLU非線性.在此之上，它有兩個(gè)完全連接的層：下層具有100個(gè)單元，具有ReLU非線性，上層具有2個(gè)單元，分別對(duì)應(yīng)SOFTMax輸出的有效和無(wú)效像素.

圖2 體系結(jié)構(gòu)圖

3.2.3 訓(xùn)練網(wǎng)絡(luò)

為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們從網(wǎng)上收集了1078張圖片.將這些圖像中的某些對(duì)象標(biāo)記為缺失區(qū)域，并應(yīng)用圖像修復(fù)算法.主觀地手動(dòng)標(biāo)記成功/失敗像素.通過(guò)水平翻轉(zhuǎn)和調(diào)整大小來(lái)增強(qiáng)數(shù)據(jù).然后，我們從中提取了146556對(duì)56×56子區(qū)域和有效/無(wú)效補(bǔ)丁.為了進(jìn)行驗(yàn)證，我們收集了其他78個(gè)圖像，并以相同的方式提取了11000對(duì).訓(xùn)練和驗(yàn)證集中提取的成功/失敗示例的比率分別為50%和50%.

我們使用SoftMax交叉熵作為訓(xùn)練損失.為了減輕過(guò)度擬合，在完全連接層之前應(yīng)用了脫落技術(shù).采用隨機(jī)梯度下降(SGD)算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，最小批量為150，存儲(chǔ)了比驗(yàn)證數(shù)據(jù)集具有最佳分類性能的網(wǎng)絡(luò)參數(shù).

3.3 迭代策略

在手動(dòng)標(biāo)記系統(tǒng)中，圖像修復(fù)過(guò)程和像素有效/無(wú)效標(biāo)記過(guò)程依次迭代數(shù)次，直到得到滿意的結(jié)果.自動(dòng)化系統(tǒng)也遵循這個(gè)流程，但是直到它沒有無(wú)效標(biāo)簽或者達(dá)到預(yù)定的i次迭代.

本文使用具有兩個(gè)可能補(bǔ)丁的SoftMax輸出像素的有效或無(wú)效.如果在無(wú)效區(qū)域中有標(biāo)記為成功的像素，則圖像修復(fù)過(guò)程會(huì)受到這些像素的約束，導(dǎo)致不合理的紋理，因?yàn)闃?biāo)記為成功的像素是固定的，并在隨后的迭代中用作示例.為了避免這個(gè)問(wèn)題，我們?cè)诔跏夹迯?fù)后將以啟發(fā)式閾值θ應(yīng)用到與迭代m=1…m的成功標(biāo)簽相對(duì)應(yīng)的輸出.

(4)

其中T是一個(gè)預(yù)定參數(shù).隨著迭代M的進(jìn)行，閾值θ逐漸增加，這比僅使用θ=0.5更為收斂，因?yàn)轭~外應(yīng)用圖像修復(fù)得到成功像素通常不會(huì)導(dǎo)致質(zhì)量下降(因?yàn)榻Y(jié)果不會(huì)發(fā)生其他變化，所以每次迭代都需要減少無(wú)效區(qū)域).

基于CNN圖像修復(fù)區(qū)域故障檢測(cè)的迭代方法的算法如下：

算法.基于CNN圖像修復(fù)區(qū)域故障檢測(cè)的迭代算法

輸入：缺失區(qū)域Ω填充補(bǔ)丁像素

輸出：迭代后不存在失效像素的補(bǔ)丁

Step 1.int m=1,Q=Ω，Q為屬于Ω的一組像素，必須進(jìn)行修復(fù)，最初，Q=Ω.

Step 3.對(duì)每一個(gè)p∈P，評(píng)估屬于p的k×k鄰域的像素值的一致性水平.

Step 4.完成迭代i：將已修復(fù)的像素視為已知像素，并將其從Q中移除.

Step 5.ifQ=?，程序結(jié)束.else Q≠?，m：=m+1，重復(fù)步驟2、3和4.

4 實(shí)驗(yàn)與結(jié)果分析

由于分類性能不一定與生成圖像的感知質(zhì)量相關(guān)，因此我們用用戶研究的結(jié)果來(lái)評(píng)估修復(fù)質(zhì)量.為了實(shí)現(xiàn)CNN，我們使用了Caffe框架[17].在實(shí)驗(yàn)中，手動(dòng)標(biāo)記了25個(gè)測(cè)試圖像中的目標(biāo)對(duì)象，用于訓(xùn)練和驗(yàn)證CNN的分類性能.

4.1 驗(yàn)證對(duì)數(shù)據(jù)集的分類性能

我們使用驗(yàn)證數(shù)據(jù)集上的準(zhǔn)確率評(píng)估了基于CNN的分類器的分類性能，以發(fā)現(xiàn)特征的良好組合.為了進(jìn)行比較，還評(píng)估了基于SVM的分類器，該分類器以扁平和連接的子區(qū)域?yàn)樘卣?對(duì)于基于CNN的分類器，本文對(duì)它們進(jìn)行了四次訓(xùn)練，并選擇了最好的一次，由于SGD算法，訓(xùn)練過(guò)程是隨機(jī)的，盡管在四次訓(xùn)練中準(zhǔn)確率相對(duì)穩(wěn)定.當(dāng)SVM訓(xùn)練長(zhǎng)時(shí)間不收斂時(shí)，我們將SVM訓(xùn)練中的迭代次數(shù)限制為1000次.我們使用了Liblinear，懲罰參數(shù)為c=1.

表1 分類精度百分比

Table 1 Percentage of classification accuracy

Comb.#RGBSSDDBDSPCNNSVM1√√√√84.0370.352√√√81.6065.263√√√81.1673.775√√√81.6259.916√√78.2656.637√74.4454.508√√√81.8272.579√√81.4859.7310√79.0468.6411√63.5559.8012√78.5660.79

結(jié)果如表1所示.“√”表示在該組合中使用了相應(yīng)的映射，使用所有映射的組合1明顯優(yōu)于其他組合.在使用單一類型映射的組合中(即組合7、10、11和12)，組合11的精度低于其他組合.這意味著數(shù)據(jù)庫(kù)映射本身對(duì)于這個(gè)分類任務(wù)的用處較小.此外，組合8的低精度率僅使用RGB映射(即圖像修復(fù)結(jié)果)，顯示了我們?yōu)樵摲诸惾蝿?wù)定制的特征映射的優(yōu)勢(shì).本文基于CNN的分類器大多優(yōu)于基于SVM的分類器.

4.2 迭代參數(shù)設(shè)置

為了顯示迭代策略的參數(shù)(即閾值參數(shù)T和迭代次數(shù)M)的影響，運(yùn)行本文提出的自動(dòng)化系統(tǒng)為25個(gè)測(cè)試圖像生成不同的參數(shù)值.

為了說(shuō)明T是如何影響修復(fù)結(jié)果的，本文將系統(tǒng)進(jìn)行圖像測(cè)試，T從0.2到0.5，步長(zhǎng)為0.05，M固定為3.圖3展示了帶有缺失區(qū)域(左)及其初始圖像修復(fù)結(jié)果(右)的測(cè)試圖像示例，用于測(cè)試T如何影響結(jié)果.圖4顯示了圖3中圖像具有不同T的示例結(jié)果.這表明T=0.2過(guò)于保守，無(wú)效區(qū)域幾乎沒有減少.由于缺失區(qū)域和無(wú)效區(qū)域相似，初始和第一輪圖像修復(fù)的結(jié)果也相似.另一方面，時(shí)一些故障像素沒有標(biāo)記為故障.因?yàn)槲覀儺?dāng)前的系統(tǒng)不會(huì)改變像素，一旦它們被標(biāo)記為成功，反過(guò)來(lái)又會(huì)限制它們接觸的區(qū)域的圖像修復(fù).T=0.35的迭代策略比其他策略效果更好.顯示了最終修復(fù)結(jié)果中不符合紋理區(qū)域面積與25個(gè)測(cè)試圖像原始缺失區(qū)域面積之比之間的關(guān)系，在T=0.35得到了最小的不符合紋理區(qū)域.

圖3 測(cè)試圖像示例

圖4 不同T的失敗像素標(biāo)記和圖像修復(fù)

如圖4所示，從左到右不同T的失敗像素標(biāo)記和圖像修復(fù)示例，分別為T=0.2、0.35和0.5.從上到下：第一輪故障像素標(biāo)記結(jié)果、第一輪圖像修復(fù)結(jié)果和第三輪(最終)圖像修復(fù)結(jié)果.

如圖5所示，M與25個(gè)測(cè)試圖像中故障區(qū)域面積與原始缺失區(qū)域面積之比的平均值之間的關(guān)系.結(jié)果表明，比值在M=5附近幾乎收斂.因此，我們的自動(dòng)化系統(tǒng)在初始修復(fù)后，將故障像素標(biāo)記和圖像修復(fù)過(guò)程重復(fù)5次，T=0.35.所有25個(gè)測(cè)試圖像的結(jié)果，以及與文獻(xiàn)[15，16]中的圖像修復(fù)方法獲得的結(jié)果相比，所提出的迭代系統(tǒng)生成的紋理更加合理.本文還將系統(tǒng)應(yīng)用于不同M的測(cè)試圖像，從1到7，T=0.35.如圖6所示.從左到右，從上到下：缺失區(qū)域的原始圖像，初始圖像修復(fù)結(jié)果，M=1、2、3、4、5、6、7的最終一輪圖像修復(fù)后的結(jié)果.

為了客觀地評(píng)估本文自動(dòng)化系統(tǒng)修復(fù)結(jié)果的質(zhì)量，我們進(jìn)行了比較與研究，如圖7所示，不同方法修復(fù)后得到的結(jié)果圖，從左到右：有缺失區(qū)域的原始圖像通過(guò)(Ⅰ)到(Ⅴ)的方法修復(fù)圖像，比較了以下五種方法，以證明迭代系統(tǒng)的有效性：(Ⅰ)文獻(xiàn)[12]中描述的方法、(Ⅱ)文獻(xiàn)[13]方法的迭代應(yīng)用、(Ⅲ)本文方法(T=0.5,M=1)、(Ⅳ)本文方法(T=0.35，M=5)、(Ⅴ)文獻(xiàn)[14]方法由人工手動(dòng)標(biāo)記無(wú)效像素.

圖5 參數(shù)T和參數(shù)M與故障區(qū)域和原始缺失區(qū)域之比

圖6 不同M最終圖像修復(fù)結(jié)果

從結(jié)果圖7來(lái)看，我們的自動(dòng)化系統(tǒng)(Ⅳ)明顯優(yōu)于除(Ⅴ)以外的其他系統(tǒng).對(duì)比(Ⅱ)和(Ⅳ)，確認(rèn)了圖像修復(fù)結(jié)果的質(zhì)量取決于補(bǔ)丁，即使迭代次數(shù)相同.對(duì)比(Ⅳ)和(Ⅴ)，可以發(fā)現(xiàn)(Ⅴ)在紋理與缺失區(qū)域紋理相似的數(shù)據(jù)區(qū)域中，當(dāng)圖像包含較少的區(qū)域時(shí)是有利的.這是因?yàn)楸疚南到y(tǒng)有時(shí)將成功像素標(biāo)記為失敗像素(由于T=0.35)，而手動(dòng)標(biāo)注則將其標(biāo)記為盡可能小的區(qū)域.因此，帶有人工標(biāo)注的算法可以使用較大的數(shù)據(jù)區(qū)域來(lái)填充較小的區(qū)域.尤其是在粗到細(xì)的方法中，當(dāng)對(duì)最粗的層次應(yīng)用圖像補(bǔ)全時(shí)，較大的缺失區(qū)域會(huì)阻礙算法找到最佳的補(bǔ)丁，因?yàn)樗赡馨讦浮渲?，這是缺失區(qū)域Ω的擴(kuò)展.最粗糙層次的不恰當(dāng)?shù)膶?duì)應(yīng)通常保持在最精細(xì)的層次，導(dǎo)致不真實(shí)的紋理.

圖7 不同方法修復(fù)后得到的結(jié)果圖

5 結(jié) 論

人工循環(huán)圖像修復(fù)系統(tǒng)是一種很有前途的方法，以獲得更高質(zhì)量的圖像修復(fù)結(jié)果.為了減輕人工工作，我們提出了一個(gè)自動(dòng)檢測(cè)循環(huán)式圖像修復(fù)的方法，利用CNN對(duì)故障區(qū)域進(jìn)行自動(dòng)檢測(cè)，并為基于補(bǔ)丁的圖像修復(fù)定制了大量數(shù)據(jù).實(shí)驗(yàn)結(jié)果表明，我們的自動(dòng)化系統(tǒng)優(yōu)于人工注標(biāo)記的人工循環(huán)系統(tǒng).我們未來(lái)的工作包括尋求更好的網(wǎng)絡(luò)架構(gòu)，例如完全卷積網(wǎng)絡(luò)反卷積網(wǎng)絡(luò)，可能與集成語(yǔ)義獲取方法，以及增加更深層網(wǎng)絡(luò)架構(gòu)的培訓(xùn)數(shù)據(jù)數(shù)量等.