基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像重建算法①

于 波,方業(yè)全,劉 閩,董君陶

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計算技術(shù)研究所,沈陽 110168)

3(沈陽市環(huán)境檢測中心站,沈陽 110000)

4(沈陽市第二十七中學(xué),沈陽 110011)

視頻或者圖像在傳輸過程中,可能出現(xiàn)隨機性的誤碼、突發(fā)性的誤碼、傳輸中的丟包、時延過大或不均勻、定時抖動、傳輸包倒序等等問題,導(dǎo)致接收端解碼出的圖像質(zhì)量嚴(yán)重下降.例如視頻在網(wǎng)絡(luò)傳輸中由于網(wǎng)絡(luò)擁堵導(dǎo)致視頻編碼后某一幀的宏塊包丟失造成解碼端產(chǎn)生誤碼,解碼輸出的視頻幀出現(xiàn)類似馬賽克的色塊,還會影響到與之相關(guān)的后續(xù)數(shù)據(jù)的解碼,造成誤碼擴散,使誤碼環(huán)境下解碼生成的畫面連續(xù)出現(xiàn)色斑,造成視頻質(zhì)量嚴(yán)重下降.于是,建立合適的模型利用退化系統(tǒng)的先驗知識來降低或者消除觀察圖像中的失真,得到一個高質(zhì)量的圖像以便于觀察或者進一步處理圖像復(fù)原過程顯得尤為重要.目前圖像重建技術(shù)主要分為兩類:一是基于插值的重建方法,利用多張圖像的豐富信息,圖像間的相同或相異信息以及圖像的先驗知識進行重建,例如鄰域像素重復(fù)技術(shù)和雙三次圖像插值技術(shù)等,修復(fù)效果不佳.二是基于學(xué)習(xí)的圖像重建方法,目前用于單幅圖像重建的最先進的方法大多是基于樣本學(xué)習(xí)的.這些方法主要利用相同圖像的內(nèi)部相似性,或外部樣本學(xué)習(xí)映射函數(shù).基于樣本的外部方法通常提供有大量豐富樣本,但是受到有效緊湊建模數(shù)據(jù)困難的挑戰(zhàn).

近年來,基于深度學(xué)習(xí)的方法得到了廣泛的關(guān)注,在如目標(biāo)分類、人臉識別、文本識別[1,2]等眾多計算機視覺問題中取得了優(yōu)于傳統(tǒng)方法的顯著效果.本文對深度學(xué)習(xí)在圖像恢復(fù)重建問題中的應(yīng)用進行探索,設(shè)計了用于圖像重建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用重建損失和對抗損失優(yōu)化模型參數(shù),增強重建圖像的紋理細節(jié)信息,減少重建圖像與真實圖像在結(jié)構(gòu)誤差.用海量圖像構(gòu)造訓(xùn)練樣本,對設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練以實現(xiàn)圖像的重建,在三組包含大量弱紋理區(qū)域的測試圖像序列中取得了優(yōu)于基于插值方法的效果.

1 卷積神經(jīng)網(wǎng)絡(luò)模型總體設(shè)計

本文提出的神經(jīng)網(wǎng)絡(luò)模型主要分為三個模塊:對圖像進行卷積操作提取特征、對提取的特征進行反卷積重建圖像,利用重建的圖像與原圖像的重建損失和對抗損失優(yōu)化模型參數(shù).

神經(jīng)網(wǎng)絡(luò)模型的設(shè)計總框架如圖1所示.

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.1 卷積提取圖像特征

本文卷積模塊基于標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)進行設(shè)計,由卷積層和激活函數(shù)層交替重復(fù)排列.卷積層中本文將卷積核尺寸、步幅和內(nèi)邊距填充依次設(shè)為 4,2,1.激活函數(shù)層則采用線性單元激活函數(shù).如圖1所示,輸入圖片的尺寸為 128×128,數(shù)據(jù)經(jīng)過 64 個 4×4×3 的卷積核和激活函數(shù)進行處理得到64個64×64的特征圖,然后進入下一層特征提取,其中卷積核為64個4×4×64,得到64個32×32的特征圖,同樣依次處理,最后得到包含4000個元素的特征向量.

1.2 反卷積重建圖像

1.3 重建圖像損失

為了計算重建圖像的損失,損失函數(shù)考慮了重建損失和對抗損失.重建損失則采用基于原圖像和重建圖像矩陣之間的2-范數(shù)作為標(biāo)準(zhǔn).在實驗中發(fā)現(xiàn),如果只考慮重建損失,會導(dǎo)致訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)重建出的圖像丟失過多圖像結(jié)構(gòu)等輪廓細節(jié)信息.所以本文損失函數(shù)引入對抗損失,利用對抗神經(jīng)網(wǎng)絡(luò)[6]測度重建出的圖像與真值圖像之間的結(jié)構(gòu)信息損失.模型總的損失設(shè)計為重建損失和對抗損失的加權(quán)和.

2 神經(jīng)網(wǎng)絡(luò)模型各個模塊的原理

算法的整個計算過程:輸入圖像→卷積→激活→圖像特征→反卷積→激活→重建的圖像.可視化網(wǎng)絡(luò)結(jié)構(gòu)如圖2.

2.1 特征提取

本文的特征提取部分采用6層卷積網(wǎng)絡(luò)結(jié)構(gòu)[7],并采用多個卷積核對圖像進行卷積提取特征,得到圖像特征向量.圖像的卷積操作,可以寫成矩陣形式.

圖2 可視化神經(jīng)網(wǎng)絡(luò)模型

圖3表示對圖像做卷積,一個典型的4×4卷積核,其輸出結(jié)果中的每個元素都與輸入圖片一個4×4小方塊相連,也就是說輸出層的這個像素值只是通過輸入層的這個小方塊中的像素值計算而來.整個輸出層就相當(dāng)于將原矩陣按照順序?qū)⒏鲄^(qū)域元素與權(quán)重W矩陣做內(nèi)積,W矩陣為:

圖3 圖像卷積示意圖

式(1)矩陣中的權(quán)重系數(shù)1表示權(quán)重矩陣的初始值,卷積神經(jīng)網(wǎng)絡(luò)每次迭代計算都更新權(quán)重矩陣中的權(quán)重系數(shù).卷積核對圖像進行操作,相當(dāng)于對圖像進行了低通濾波.因此卷積核核也被稱為濾波器,整個操作過程稱為卷積.對二維圖像的卷積操作可以看成對圖像進行濾波處理,比如常見的高斯濾波、拉普拉斯濾波(算子)等.如果要識別圖像中的某種特征,這個濾波器要對這種特征有很高的輸出,對其他形狀則輸出很低,這也就像是神經(jīng)元的激活.

在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的時,使用一系列不同的濾波器提取圖片不同的特征,訓(xùn)練神經(jīng)網(wǎng)絡(luò)中不斷迭代更新濾波器權(quán)重系數(shù)、偏置系數(shù)等參數(shù).如圖2所示,特征提取的第一層采用64個4×4的濾波器,輸出層得到64個特征圖,然后對特征圖做池化激活處理,第二層用128個濾波器處理這64個特征圖得到128個特征圖,后面的卷積層依次處理,最后得到輸入圖像的特征向量.

2.2 圖像重建

圖像重建部分主要對卷積模塊生成的特征向量進行反卷積處理.反卷積層由反卷積核和線性單元激活函數(shù)交替組成,反卷積能輸出高分辨率圖像,可以理解為對輸入進行卷積計算后再做上采樣的處理,直到輸出圖像大小和真值圖像大小相同.

在神經(jīng)網(wǎng)絡(luò)中,線性單元激活函數(shù)是用于保證每層輸出的激活值都是正數(shù),因此對于反向過程,同樣需要保證每層的特征圖為正值,也就是說這個反激活過程和激活過程沒有什么差別,直接采用線性單元激活函數(shù).如圖2可視化神經(jīng)網(wǎng)絡(luò)模型所示,圖像重建部分每一層由向上卷積核和池化函數(shù)、激活函數(shù)組成,第一層將特征提取部分輸出的特征向量進行向上卷積、池化、激活處理得到512個4×4的特征圖,然后經(jīng)過下一層處理得到512個8×8的特征圖,依次處理重建出原圖像缺失部分的局部圖像,然后將原圖像與重建的局部圖像[8]融合成一張128×128的目標(biāo)圖像.

工程地質(zhì)勘察是工程設(shè)計的基礎(chǔ)。地質(zhì)調(diào)查的質(zhì)量對工程的建設(shè)與設(shè)計有著重要的影響。必須加強工程地質(zhì)勘察的質(zhì)量管理。在目前的工程地質(zhì)勘察質(zhì)量管理中，仍然存在一些影響地質(zhì)勘察質(zhì)量管理的問題。

2.3 損失函數(shù)

為了測度重建圖像與真值圖像在紋理細節(jié)和結(jié)構(gòu)上的差距,使重建圖像的紋理細節(jié)和結(jié)構(gòu)信息損失最小化,本文神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)采用了重建損失和對抗損失的加權(quán)和.重建損失使用2-范數(shù)測度重建圖像和真值圖像之間的距離,公式為:

式(2)中,Z表示輸入原圖像,G(Z)表示重建圖像,lγ表示重建損失.

引入生成對抗神經(jīng)網(wǎng)絡(luò)得到重建圖像的對抗損失,對抗神經(jīng)網(wǎng)絡(luò)如圖4所示,主要由卷積神經(jīng)網(wǎng)絡(luò)G和卷積神經(jīng)網(wǎng)絡(luò)D組成,卷積神經(jīng)網(wǎng)絡(luò)G表示生成模型,D表示判別模型,其中G:Z→X將來自噪聲分布Z的樣本映射到數(shù)據(jù)分布X.學(xué)習(xí)過程是雙人游戲,其中判別器D同時考慮G和真實樣本的預(yù)測,并試圖區(qū)分它們,而G試圖通過產(chǎn)生盡可能表現(xiàn)為“真實”的樣本來混淆D.判別器D的目標(biāo)是指示輸入是真實樣本還是預(yù)測樣本的邏輯可能性.

圖4 對抗神經(jīng)網(wǎng)絡(luò)示意圖

圖4中生成模型G重建出的圖像為G(Z),圖像X表示與殘缺圖像Z對應(yīng)的原完整圖像,在判別模型D中,重建圖像G(Z)和原完整圖像X為輸入圖像,D的輸出則是判斷圖像G(Z)與圖像X是同一幅圖像的邏輯可能性,是一個常量.判別圖像對于G來說,重建出的圖像要不斷的欺騙判別D,那么也就是:

對于D來說,要不斷的學(xué)習(xí)防止被G欺騙,也就是:

式(4)中,lα表示在判別神經(jīng)網(wǎng)絡(luò)模型中重建圖像與原圖像之間的誤差.

本文中對抗損失則為生成對抗神經(jīng)網(wǎng)絡(luò)的整個輸出值,即生成模型G輸出的重建圖像為真實圖像的邏輯可能性.

重建損失主要反映了新生成的圖像內(nèi)容紋理細節(jié)與真值圖像的距離,對抗損失使用對抗神經(jīng)網(wǎng)絡(luò)模型測度重建圖像和真值圖像在結(jié)構(gòu)上的差異.為了使重建的圖像更加逼近真實圖像.本文中損失函數(shù)定義為:

式(5)中,λγ和 λα表示重建損失和對抗損失的對應(yīng)的權(quán)重系數(shù),本文分別設(shè)置為 λγ=0.95和 λα=0.05.式(5)表示卷積神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)由重建損失和對抗損失的加權(quán)和組成.因此,在本文的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中既考慮了重建損失又考慮了對抗損失.

3 卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練與實驗

本文使用Google發(fā)布的Open Image圖片數(shù)據(jù)集訓(xùn)練上文設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)模型,該數(shù)據(jù)集包含大概900萬張圖片,這些圖像橫跨6000多個類別,具有很高的分辨率.實驗證明采用高分辨率圖像數(shù)據(jù)集比采用較低分辨率圖像數(shù)據(jù)集,使模型有更強的魯棒性.本文隨機從Open Image數(shù)據(jù)集中選取100 000張圖像作為訓(xùn)練集,并進行尺寸為1 2 8×128的預(yù)處理得到圖像集H,然后將H中心的一個邊長為原圖一半的矩形區(qū)域添加噪音像素填充為白色,構(gòu)造出帶有色塊(受損)的圖像集Z,將圖像集Z和原圖像集作為訓(xùn)練數(shù)據(jù)集,訓(xùn)練上文的卷積神經(jīng)網(wǎng)絡(luò)模型.

本文的卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練分為兩個階段:首先模型先經(jīng)過一個六層的卷積神經(jīng)網(wǎng)絡(luò)提取特征,輸出一個包含4000個元素的特征向量;其次,將特征向量輸入反卷積重建神經(jīng)網(wǎng)絡(luò),重建生成缺失的圖像塊,將生成的圖像塊與原圖像拼接成完整圖像.在反復(fù)的訓(xùn)練中發(fā)現(xiàn)去除卷積神經(jīng)網(wǎng)絡(luò)中的池化層,激活函數(shù)使用線性單元函數(shù),重建的圖像能保持較好的局部紋理細節(jié).在神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中初始學(xué)習(xí)率設(shè)為 0.001,batch 設(shè)置為 50,不斷訓(xùn)練模型,優(yōu)化權(quán)重參數(shù),直到損失函數(shù)值穩(wěn)定在區(qū)間[0.005+0.0005].

本文算法評估數(shù)據(jù)集使用超分辨率研究領(lǐng)域通用的測試數(shù)據(jù)集合 Set5[9]、Set14[9]、BSD100[10],評測標(biāo)準(zhǔn)為PSNR(峰值信噪比),單位是dB,PSNR是最普遍,最廣泛使用的評鑒畫質(zhì)的客觀量測法,其值越大就代表失真越少.公式為:

其中,MSE是原圖像與重建圖像之間均方誤差.

實驗中本文算法與SRCNN[9]算法、Bicubic算法、ESRCNN算法在評測數(shù)據(jù)集上進行對比.本文算法在Set5、Set14、BSD100數(shù)據(jù)集上PSNR值(表1)與另外3個算法相近,ESRCNN算法為SRCNN算法的改進型增加了卷積層,Ours(lα)表示本文算法模型的損失函數(shù)只考慮了重建損失,Ours(lα+lγ)表示本文算法模型損失函數(shù)考慮了重建損失和對抗損失.本文算法模型的損失函數(shù)不考慮對抗損失時,在評測數(shù)據(jù)集上本文的算法僅比SRCNN算法PSNR值大,表明本文算法重建生成的圖像比ESRCNN算法和Bicubic算法重建生成的圖像失真程大,比SRCNN算法重建生成的圖像失真程度小.本文模型的損失函數(shù)考慮對抗損失時,在評測數(shù)據(jù)集上本文算法和其他三種算法PSNR值相當(dāng),相比其他三種算法,本文算法平均PSNR值略大,表示考慮了對抗損失的模型重建的圖像更逼近原圖,對抗損失較多的反映在圖像的整體結(jié)構(gòu)上,從圖5所示的圖像中可以直觀看到本文的算法模型重建的圖像相比其他算法較好的還原了圖像內(nèi)部之間的輪廓結(jié)構(gòu)信息.

表1 四種算法實驗結(jié)果(PSNR)

圖5是四種算法的圖像重建實驗結(jié)果,從左到右依次為SRCNN算法、Bicubic算法、ESRCNN算法和本算法重建生成的圖像,Bicubc算法重建的第一幅圖像生成的圖像塊在結(jié)構(gòu)上有錯位,ESRCNN算法重建的第三幅圖像生成的圖像塊在結(jié)構(gòu)上比原圖像多出一部分.從圖5中可以看出本文提出的算法基重建生成的圖像在結(jié)構(gòu)上與原圖像中其他部分融合的很好,視覺上沒有明顯的突兀感.另外本文提出的重建算法生成的圖像在紋理細節(jié)上比較清晰,圖中重建出的樹和背景圖像層次分明.直觀的從視覺上分析結(jié)果和表1數(shù)據(jù)反映結(jié)果一致.總的來說,本文給出的神經(jīng)網(wǎng)絡(luò)模型重建的圖像失真度較小,較好地重建了圖像的紋理和結(jié)構(gòu)信息.

4 結(jié)論與展望

本文提出了一種基于圖像背景預(yù)測模糊區(qū)域內(nèi)容的無監(jiān)督圖像重建神經(jīng)網(wǎng)絡(luò)模型,引入了對抗神經(jīng)網(wǎng)絡(luò)模型計算重建圖像的對抗損失,重建損失主要反映了新生成的圖像內(nèi)容紋理細節(jié)與真值圖像的距離,對抗損失使用對抗神經(jīng)網(wǎng)絡(luò)模型測度重建圖像和真值圖像在結(jié)構(gòu)上的差異.最后模型在三個不同的數(shù)據(jù)集下進行了實驗,并且證明該算法模型能夠較好地重建圖像.下一步工作,考慮將圖像重建應(yīng)用到視頻單幀圖像重建,視頻相鄰幀之間存在著大量的互補冗余信息,重建視頻幀可以同時利用幀之間的時序相性和單幀圖像塊之間的空間相關(guān)性來改進模型使之可以處理視頻信息,提高視頻質(zhì)量,嘗試結(jié)合視頻幀的時序、空域相關(guān)性等特征信息共同參與模型的訓(xùn)練和學(xué)習(xí).

圖5 四種算法的圖像重建實驗結(jié)果