基于多尺度殘差網(wǎng)絡(luò)的壓縮感知重構(gòu)算法

練秋生 富利鵬 陳書貞 石保順

傳統(tǒng)的奈奎斯特采樣速率必須達到信號帶寬的兩倍以上才能精確重構(gòu)出原始信號.然而隨著科技的不斷進步,所處理信號的帶寬也在不斷地增加,這對傳統(tǒng)的采樣系統(tǒng)提出了挑戰(zhàn).近年來,由Donoho 和Candes 等提出的壓縮感知理論[1?4],突破了這一限制,其主要思想是利用隨機測量矩陣ΦRm×n對信號Rn×1進行采樣,將x投影到m維的低維空間,并證明這樣隨機投影的測量值Rm×1(yΦx)中包含了重構(gòu)信號的足夠信息,通過求解一個稀疏優(yōu)化問題,利用投影在低維空間的測量信號可重構(gòu)出原始信號.

在圖像壓縮感知問題中,測量值y的維度m遠小于原始信號x的維度n,圖像壓縮感知重構(gòu)本質(zhì)上是求解一個欠定方程,如何從這個欠定方程中尋找出最優(yōu)解是重構(gòu)的關(guān)鍵.近年來眾多學(xué)者提出了基于圖像在某種變換域具有稀疏性的圖像重構(gòu)算法,該類算法利用lp(0≤p ≤1)范數(shù)衡量稀疏系數(shù)的稀疏性,通常使用正交匹配追蹤(Orthogonal matching pursuit,OMP)算法[5],迭代硬閾值(Iterative hard-thresholding)算法[6]等求解對應(yīng)的稀疏編碼問題.還有學(xué)者提出利用梯度稀疏性[7]、非局部稀疏性[8]和塊稀疏性[9]作為先驗知識對原始信號進行重構(gòu),基于混合基稀疏圖像表示[10],基于非局部相似性[11]的壓縮感知圖像重構(gòu)算法也被提出.然而這些重構(gòu)算法都需要進行復(fù)雜的迭代運算,重構(gòu)時間較長,并且在較低的采樣率下,重構(gòu)圖像質(zhì)量較差.

深度學(xué)習(xí)自提出以來,在計算機視覺和圖像處理方面,受到廣泛關(guān)注,如,圖像超分辨率重建[12]、圖像語義分割[13]、圖像去噪[14]等,并且在這些方面都呈現(xiàn)出較好的效果.最近,有學(xué)者將深度學(xué)習(xí)應(yīng)用在壓縮感知上,利用堆降噪自編碼模型[15](Stacked denoiseing auto-encoders,SDA)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)[16]學(xué)習(xí)一個端到端的映射,利用測量值,通過網(wǎng)絡(luò)直接重構(gòu)圖像.在文獻[15]中,Mousavi 等利用SDA 訓(xùn)練得到測量值與重構(gòu)圖像的映射,使用該映射利用測量值進行圖像重構(gòu).Kulkarni 等在文獻[16]中提出的ReconNet 網(wǎng)絡(luò)將兩個SRCNN (11-1-7)模型[12]堆疊,在卷積網(wǎng)絡(luò)前級聯(lián)一個全連接層,實現(xiàn)了非迭代圖像壓縮感知重構(gòu),但重構(gòu)質(zhì)量相對較差.Yao 等將ReconNet 網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)[17]結(jié)構(gòu)相結(jié)合提出了DR2-Net[18],網(wǎng)絡(luò)由全連接層和四個殘差塊(12層卷積層)組成.DR2-Net 相對于ReconNet 網(wǎng)絡(luò)提高了重構(gòu)質(zhì)量,但是由于含有較多的卷積層需要花費較長的重構(gòu)時間.

本文在ReconNet 和DR2-Net 的基礎(chǔ)上提出多尺度殘差重構(gòu)網(wǎng)絡(luò),使用不同尺寸的卷積核組合成多種感受野,捕捉圖像中不同尺度的特征,進而重構(gòu)出高質(zhì)量的圖像.在重構(gòu)網(wǎng)絡(luò)中,引入擴張卷積(Dilate convolution)[19],僅使用7 層卷積層,重構(gòu)圖像的質(zhì)量優(yōu)于DR2-Net,且重構(gòu)時間比其短.

1 圖像壓縮感知重構(gòu)

圖像壓縮感知重構(gòu)主要是對圖像進行隨機投影采樣,并利用圖像在某種變換域的稀疏性作為先驗知識,從少量測量數(shù)據(jù)中重構(gòu)出原始圖像.對于nW ×H的圖像,將其向量化為Rn×1,取m×n維的測量矩陣Φ 對原始圖像x進行采樣得:

當時,式(1)是一個病態(tài)問題,存在無窮多個解.利用圖像在變換域具有稀疏性的先驗知識:

其中,Ψ 中的每一列是變換域的一個基向量,s是x在變換域Ψ 的稀疏系數(shù)組成的向量.對于式(2)可以通過求解下式的非凸優(yōu)化問題:

式(3)是一個典型的NP-Hard 問題,一般常用l1范數(shù)代替l0范數(shù)轉(zhuǎn)化為凸優(yōu)化問題即式(4):

求解該問題時需要多次迭代運算,因此重構(gòu)速度較慢.

傳統(tǒng)的優(yōu)化方法基本不能實現(xiàn)實時重構(gòu),如果用m×n的測量矩陣Φ 對圖像nH×W進行采樣時計算量和存儲量比較大,影響重構(gòu)速度.為了減少存儲量,提高采樣速度,對圖像進行分塊采樣[20]重構(gòu).將圖像分成B×B的小塊,用相同的采樣矩陣ΦB對圖像塊進行采樣.則每個小塊對應(yīng)的測量信號表示為yiΦBxi,其中ΦB是一個nB×B2的行正交高斯矩陣.

2 重構(gòu)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示,受文獻[18]的啟發(fā),本文首先使用線性重構(gòu)網(wǎng)絡(luò)即一個全連接層對圖像進行重構(gòu),得到原始圖像xiRn×1的近似解,再通過多尺度殘差網(wǎng)絡(luò)學(xué)習(xí)與原始圖像xi的殘差di,最終得到高質(zhì)量的重構(gòu)圖像.

圖1 多尺度殘差重構(gòu)網(wǎng)絡(luò)(MSRNet),s-Dconv 表示擴張卷積, s 1,2,4Fig.1 Mult-scale residuce recontruction network,s-Dconv denotes s-dilate convolution,here s 1,2 and 4

2.2 線性生成網(wǎng)絡(luò)

在文獻[18]中,使用一層全連接層對圖像進行初等的重構(gòu).本文在圖像重構(gòu)過程中也引入這一結(jié)構(gòu).訓(xùn)練集包含N個訓(xùn)練樣本即{(y1,x1),(y2,x2),···,(yN,xN)},yiRm×1為測量值,yiAxi,Rm×n為隨機行正交的高斯矩陣,xiRn×1為對應(yīng)的圖像塊,損失函數(shù)使用均方誤差函數(shù)如式(6)所示:

使用Adam (Adaptive moment estimation)[21]方法進行訓(xùn)練,優(yōu)化得到WfR1089×m,使得 式(6)最小.Ff(·)表示由一個全連接層組成的線性映射,網(wǎng)絡(luò)Ff(·)包含1 089 個神經(jīng)元,訓(xùn)練完成后利用測量值yi通過式(7)重構(gòu)得到xi的近似解.

2.3 多尺度殘差網(wǎng)絡(luò)

線性映射網(wǎng)絡(luò)Ff(·)重構(gòu)出的圖像,圖像質(zhì)量較差,為了提高重構(gòu)圖像的質(zhì)量,引入多尺度殘差網(wǎng)絡(luò)Fmsr(·).

如圖1 所示,線性網(wǎng)絡(luò)的輸出作為多尺度殘差網(wǎng)絡(luò)Fmsr(·)的輸入,通過網(wǎng)絡(luò)輸出大小為33×33的圖像塊.多尺度殘差網(wǎng)絡(luò)有7 層卷積核大小為3×3 的卷積層,除最后一層其他所有卷積層的激活函數(shù)為ReLU (Rectified linear units)[22],第1 層到第6 層輸出64 個特征圖,第7 層輸出一個特征圖.網(wǎng)絡(luò)中有3 層多尺度層,分別是第1 層、第3 層和第5 層,每一個多尺度層由兩種不同擴張因子的擴張卷積組成,第1 層擴張因子s為1 和2,第3、5 層的擴張因子s為1 和4,每一種擴張卷積輸出32 個特征圖,然后將每一層輸出的特征圖級聯(lián),輸出64個特征圖.為了增大網(wǎng)絡(luò)的感受野,剩下的卷積層也使用擴張卷積,第2,4,6,7 層的擴張因子s分別為2,4,2,1.

測量值yi作為網(wǎng)絡(luò)的輸入,首先由線性映射層Ff(·)重構(gòu)出一幅中間圖像,再通過多尺度殘差網(wǎng)絡(luò)Fmsr(·)估計出殘差di,最后由式(8)得到重構(gòu)圖像

將式(6)求解所得的Wf作為式(9)中Wf的初始值,使用Adam 算法更新MSRNet 中的參數(shù)Wf和Wmsr.所使用的損失函數(shù)為均方誤差(Mean squared error,MSE)損失函數(shù),即式(10):

其中,N表示訓(xùn)練集中樣本的數(shù)目,yi為壓縮感知測量值,xi為yi對應(yīng)的圖像塊標簽,為網(wǎng)絡(luò)的輸出即重構(gòu)圖像塊.

2.4 多尺度卷積層

卷積神經(jīng)網(wǎng)絡(luò)中的卷積核常常用來提取圖像中的特征,但是相同尺寸的卷積核只能提取同一尺度特征,MSRNet 在同一層使用兩種不同尺寸的卷積核提取圖像中不同尺度的特征,通過級聯(lián)操作(Concat)將多尺度層的特征信息融合作為下一層的輸入.本算法分別在網(wǎng)絡(luò)的第1 層、第3 層和第5 層使用多尺度層,組合成多種感受野,捕獲圖像中不同尺度的特征,提高圖像的重構(gòu)質(zhì)量.多尺度層如圖2 所示,由一個卷積層和一個級聯(lián)層組成.s1和s2為不同值的擴張因子,將3×3 的卷積核擴張為不同尺寸大小的卷積核,組成多尺度卷積層.每一個卷積核輸出32 個特征圖,再通過級聯(lián)層將不同尺度的特征融合為64 個特征圖,作為下一層的輸入.

圖2 多尺度卷積層Fig.2 Multi-scale convolution layer

2.5 使用擴張卷積增大網(wǎng)絡(luò)感受野

圖像重構(gòu)過程中,感受野是非常重要的,大的感受野可以捕捉更多的圖像信息,提高圖像重構(gòu)質(zhì)量.在卷積神經(jīng)網(wǎng)絡(luò)中,一般使用大尺寸的卷積核、增加卷積層的層數(shù)和引入池化層(Pooling layer),來增加網(wǎng)絡(luò)的感受野.但是隨著卷積核的增大和網(wǎng)絡(luò)層數(shù)的增加,網(wǎng)絡(luò)的計算復(fù)雜度也會增加,使得圖像重構(gòu)時間變長.池化雖然沒有增加網(wǎng)絡(luò)的計算復(fù)雜度,但是丟失了許多的信息,導(dǎo)致重構(gòu)圖像質(zhì)量較差.本文引入文獻[19]中的擴張卷積來增大網(wǎng)絡(luò)的感受野.擴張卷積增大了網(wǎng)絡(luò)的感受野,但不增加網(wǎng)絡(luò)的參數(shù),使得圖像重構(gòu)速度較快.例如,使用擴張因子s2 對3×3 的卷積核進行擴張,得到(2s+1)×(2s+1)即5×5 的卷積核,該卷積核有9 個位置不為零,其余位置都為零,感受野從原來的3×3 變?yōu)?×5,如圖3 所示,左邊為普通的卷積,右邊為s2 的擴張卷積.

在MSRNet 網(wǎng)絡(luò)中引入多尺度卷積核用來提取圖像中不同尺度的特征,提高重構(gòu)圖像的質(zhì)量.本文在第1 層、第3 層和第5 層分別加入多尺度卷積核,使得MSRNet 有多種感受野,其尺寸分別為25×25、27×27、31×31、33×33、37×37 和39×39.網(wǎng)絡(luò)中不同大小的感受野可以捕獲圖像中不同尺度的特征,從而提高重構(gòu)圖像的質(zhì)量.

圖3 擴張卷積Fig.3 Dilate convolution

2.6 重構(gòu)過程

在圖像重構(gòu)過程中,給出一幅圖像,對圖像進行非重疊取塊,塊大小為33×33.用隨機行正交高斯矩陣對每一個圖像塊進行采樣,得到的測量值y作為MSRNet 網(wǎng)絡(luò)的輸入,重構(gòu)出高質(zhì)量的圖像塊.由于MSRNet 所重構(gòu)出的圖像塊在測量矩陣上的投影與測量值具有一些誤差,所以本文對重構(gòu)圖像進行修正,進一步提高圖像的重構(gòu)質(zhì)量.利用式(11)對重構(gòu)圖像進行修正:

其中,為修正后的重構(gòu)圖像塊,為網(wǎng)絡(luò)重構(gòu)的圖像塊,A為隨機行正交的高斯采樣矩陣.在式(11)中,這一項衡量重構(gòu)圖像塊在測量矩陣上投影與測量值的誤差,使得修正后的圖像塊與網(wǎng)絡(luò)重構(gòu)圖像塊更加接近,實驗中令參數(shù)λ1.對式(11)求導(dǎo),令導(dǎo)數(shù)為零,得

其中,I為1 089×1 089 的單位陣.然后使用BM3D[23]去除塊效應(yīng),再通過式(12)進行一次修正,最終獲得一幅高質(zhì)量的重構(gòu)圖像.利用式(12)進行修正時,(ATA+λI)?1計算一次即可,因此在修正過程中只需計算(ATy+)這一項,修正過程時間復(fù)雜度較低.

圖4 顯示了Barbara 重構(gòu)圖像塊修正前后在測量矩陣上投影與測量值誤差的比較,明顯可以看出修正后的圖像塊在測量矩陣的投影與測量值更加接近.誤差Error 為重構(gòu)圖像在測量矩陣的投影與測量值的差的l2范數(shù),N為重構(gòu)圖像塊的序號.

3 網(wǎng)絡(luò)的訓(xùn)練

3.1 訓(xùn)練多尺度殘差網(wǎng)絡(luò)

本文使用和文獻[16]一樣的訓(xùn)練集,共91 幅圖像.將圖像分別放縮到0.75、1、1.25 三個不同的尺度得到273 幅圖像.不同的顏色空間對圖像分類、圖像分割有一定的影響[24],但對圖像重構(gòu)方面影響較小.為了公平起見,本文采用與ReconNet 和DR2-Net 相同的顏色空間,將RGB 圖像空間變換到Y(jié)CrCb 圖像空間,選取亮度通道,對圖像進行取塊操作,塊大小為33×33,取塊步長為14.為了增加訓(xùn)練集中圖像數(shù)量,分塊前對圖像做翻轉(zhuǎn),旋轉(zhuǎn)等操作,最終得到128×5 414 塊圖像塊.再對圖像塊進行隨機投影,將33×33 的圖像塊向量化為1 089×1 維的向量.本文采用4 種不同的采樣率對圖像塊進行采樣,分別是0.25、0.1、0.04、0.01,每一個圖像塊有1 089 個像素,所以測量值yi的長度分別是272、109、43、10.訓(xùn)練過程中使用圖5 中的圖像作為測試集.使用Tensorflow[25]深度學(xué)習(xí)開源工具訓(xùn)練網(wǎng)絡(luò),所有實驗均在Inter Core i5-7500 CPU,主頻3.4 GHz,內(nèi)存16 GB,顯卡GTX 1080ti平臺下完成.

圖4 重構(gòu)圖像塊修正前后誤差的比較(Barbara 圖像)Fig.4 The comparison of the error of the reconstructed image block before and after refined (Barbara)

圖5 標準測試集圖像Fig.5 Standard test set images

3.2 網(wǎng)絡(luò)參數(shù)初始化

訓(xùn)練線性生成網(wǎng)絡(luò)Ff(·)時,使用均值為0,方差為0.01 的高斯矩陣初始化權(quán)重,偏置初始化為0.訓(xùn)練多尺度殘差網(wǎng)絡(luò)Fmsr(·)時,所有卷積層的權(quán)重,使用Xavier[26]初始化方法進行初始化,偏置初始化為0.

3.3 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

網(wǎng)絡(luò)分兩步進行訓(xùn)練,首先使用比較大的學(xué)習(xí)率訓(xùn)練子網(wǎng)絡(luò)Ff(·),學(xué)習(xí)率為0.001,最大迭代次數(shù)為1 000 000,每訓(xùn)練200 000 次學(xué)習(xí)率衰減為原來的0.5 倍.子網(wǎng)絡(luò)Ff(·)訓(xùn)練完成后,使用較小的學(xué)習(xí)率對整個網(wǎng)絡(luò)進行訓(xùn)練,迭代120 輪、學(xué)習(xí)率為0.0001,每訓(xùn)練40 輪學(xué)習(xí)率衰減為原來的0.5倍.使用Adam[21]方法訓(xùn)練網(wǎng)絡(luò),動量因子分別為0.9 和0.999.圖6 為訓(xùn)練期間采樣率為0.10、0.25時,損失函數(shù)隨迭代次數(shù)的衰減曲線.圖中損失函數(shù)的值隨迭代次數(shù)的增加逐漸降低,當?shù)?0 輪時,學(xué)習(xí)率衰減為原來的0.5 倍,損失函數(shù)的值會驟降,迭代到80 輪時,學(xué)習(xí)率繼續(xù)衰減0.5 倍,損失函數(shù)的值變化較小,隨著迭代次數(shù)的增加,曲線趨于平穩(wěn),網(wǎng)絡(luò)收斂.

4 實驗結(jié)果

4.1 重構(gòu)結(jié)果

本文與已有的五種算法進行比較,這五種算法分別是TVAL3[27]、NLR-CS[28]、DAMP[29]、ReconNet、DR2-Net.前三種是基于迭代優(yōu)化的算法,后兩種是基于深度學(xué)習(xí)的算法.實驗結(jié)果如表1 所示,在測量值沒有噪聲的情況下,本文算法具有較好的重構(gòu)效果.圖7 顯示,本文提出的算法能夠有效地重構(gòu)出圖像的細節(jié),在采樣率較大時重構(gòu)圖像中含有的偽跡較少.

表1 顯示了6 幅測試圖像在不同算法不同測量率下的PSNR 和圖5 中11 幅測試圖像的平均PSNR.TVAL3、NLR-CS 和D-AMP 使用文獻[16]提供的結(jié)果,表中“w/o BM3D”表示未使用BM3D去除塊效應(yīng),“w/BM3D”表示使用BM3D 去除塊效應(yīng),“平均PSNR”表示圖5 中11 幅圖像的平均PSNR.從表1 中看出,多尺度殘差網(wǎng)絡(luò)(MSRNet)的重構(gòu)圖像平均PSNR 最高.在較高的采樣率下,基于深度學(xué)習(xí)的算法ReconNet 重構(gòu)性能低于傳統(tǒng)的優(yōu)化迭代算法TVAL3、NLR-CS、DAMP.但是本文算法和DR2-Net 的重構(gòu)性能優(yōu)于上述三種算法,相比于上述五種算法,本文算法重構(gòu)圖像質(zhì)量較好.例如,在MR0.25 的情況下,平均PSNR 比DR2-Net 高0.82 dB,高于NLR-CS算法1.43 dB.在較低采樣率下,傳統(tǒng)的優(yōu)化迭代算法TVAL3、NLR-CS、D-AMP 基本不能夠重構(gòu)出有意義的圖像,但是基于深度學(xué)習(xí)的算法Recon-Net、DR2-Net、MSRNet 都能重構(gòu)出圖像的大致信息,且本文算法性能優(yōu)于ReconNet 和DR2-Net.

圖6 訓(xùn)練期間的損失Fig.6 The network losses in training phase

圖像重構(gòu)質(zhì)量的評價也應(yīng)該包含人的視覺效果.結(jié)構(gòu)相似指數(shù)(Structural similarity index,SSIM)是衡量兩幅圖像的相似度.SSIM 越接近于1,表示兩幅圖像越相似.比較結(jié)果如表2 所示,本文算法的平均SSIM 明顯高于其他算法,重構(gòu)圖像質(zhì)量不僅PSNR 值比較高,且有較好的視覺效果.

圖8 顯示了修正前后的Barbara 圖像,從圖中可以看出修正后的圖像塊效應(yīng)明顯減少,與修正前圖像相比細節(jié)更加清晰.如表3 所示,修正后的重構(gòu)圖像PSNR 和SSIM 均有不同程度的提高,有更好的視覺效果.

4.2 擴張卷積對圖像重構(gòu)性能的影響

擴張卷積能夠增大網(wǎng)絡(luò)的感受野,本文算法中所有的卷積層都使用擴張卷積.為了比較使用擴張卷積的網(wǎng)絡(luò)與普通卷積網(wǎng)絡(luò)的重構(gòu)性能,本文設(shè)計了一組對比實驗,訓(xùn)練兩個網(wǎng)絡(luò),即采用普通卷積的網(wǎng)絡(luò)和采用擴張卷積的網(wǎng)絡(luò),分別對BSD500 數(shù)據(jù)集和圖5 中的11 幅圖像進行測試.測試結(jié)果如表4、5 所示,在圖5 中測試集上,當采樣率為0.25、0.10、0.04 和0.01 時,使用擴張卷積網(wǎng)絡(luò)的重構(gòu)圖像平均PSNR 分別高于普通卷積網(wǎng)絡(luò)0.43 dB、0.37 dB、0.18 dB 和0.04 dB.在BSD500 測試集上,使用擴張卷積網(wǎng)絡(luò)的重構(gòu)圖像平均PSNR 也都高于普通卷積網(wǎng)絡(luò).結(jié)果表明,使用擴張卷積的網(wǎng)絡(luò)重構(gòu)性能優(yōu)于普通卷積網(wǎng)絡(luò).

表1 6 幅測試圖像在不同算法不同采樣率下的PSNRTable 1 PSNR values in dB for six testing images by different algorithms at different measurement rates

圖7 比較幾種算法的重構(gòu)性能(第1 行到第3 行采樣率MR 0.25,0.10,0.04)Fig.7 Comparison of reconstruction performance of various algotithms (MR 0.25,0.10,0.04)

表2 不同算法下11 幅測試圖像平均SSIMTable 2 Mean SSIM values for 11 testing images by different algorithms

圖8 修正前后的重構(gòu)圖像對比(MR 0.25)Fig.8 The comparison of reconstructed images before and after refined (MR 0.25)

4.3 時間復(fù)雜度

重構(gòu)時間也是比較的重要標準之一.基于深度學(xué)習(xí)的重構(gòu)算法比傳統(tǒng)的迭代算法快100 多倍[16],所以只比較MSRNet 和其他基于深度學(xué)習(xí)算法的重構(gòu)時間.為了公平起見,表6 只比較網(wǎng)絡(luò)重構(gòu)圖像所消耗的時間.如表6 所示,與DR2-Net 相比,本文算法重構(gòu)時間較短.與ReconNet 相比,重構(gòu)時間基本相同,但本文算法重構(gòu)性能較好.

4.4 大數(shù)據(jù)集下的評估

為了驗證本文算法在大測試集上的泛化能力,比較MSRNet、DR2-Net 和ReconNet 在BSD500(該數(shù)據(jù)集包含500 張圖像)上的重構(gòu)性能.MSRNet、DR2-Net 和ReconNet 的模型參數(shù)都是基于相同訓(xùn)練集訓(xùn)練得到的.如表7 所示(重構(gòu)圖像未經(jīng)修正),本文算法在BSD500 測試集下也表現(xiàn)出較好的重構(gòu)性能.在采樣率為0.25、0.10、0.04 和0.01 時,MSRNet 的重構(gòu)圖像平均PSNR 和SSIM都高于DR2-Net.實驗表明,本文算法在大的測試集中也能表現(xiàn)出較好的重構(gòu)性能.

表3 MSRNet 重構(gòu)圖像修正后11 幅測試圖像的PSNR (dB)和SSIMTable 3 The PSNR (dB)and SSIM of 11 test images of refined MSRNet reconstruction

表4 不同卷積方式在圖5 的測試集中重構(gòu)圖像的平均PSNR (dB)Table 4 Mean PSNR in dB for testing set in Fig.5 by different convolution

表5 不同卷積方式在BSD500 測試集中重構(gòu)圖像平均PSNR (dB)Table 5 Mean PSNR in dB for BSD500 testing set by different convolution

4.5 網(wǎng)絡(luò)的抗噪性能

對圖像測量值添加四種不同水平的高斯噪聲,噪聲強度0.01、0.05、0.10、0.25.使用的MSRNet模型是在無噪測量值下訓(xùn)練得到的.如表8、9 所示(重構(gòu)圖像未經(jīng)修正),在采樣率MR0.25、0.10時四種不同噪聲強度下,本文算法重構(gòu)圖像的平均PSNR 均高于ReconNet 和DR2-Net,尤其在MR0.25,噪聲強度σ0.25,圖5 中的測試集上重構(gòu)圖像的平均PSNR 比ReconNet 和DR2-Net 分別高4.31 dB 和4.14 dB.在測試集BSD500 上,本文算法在不同噪聲的強度下,對圖像的重構(gòu)性能也優(yōu)于ReconNet 和DR2-Net.因此,本文算法相比ReconNet、DR2-Net 對噪聲具有更好的魯棒性.

表6 重構(gòu)一幅256×256 圖像的運行時間(s)Table 6 Time (in seconds)for reconstruction a single 256×256 image

表7 不同算法在BSD500 測試集的平均PSNR (dB)和平均SSIMTable 7 Mean PSNR in dB and SSIM values for BSD500 testing images by different algorithms

表8 比較ReconNet、DR2-Net 和MSRNet 三種算法對高斯噪聲的魯棒性(圖5 中11 幅測試圖像)Table 8 Comparison of robustness to Gaussian noise among of ReconNet,DR2-Net,MSRNet(11 testing images in Fig.5)

表9 比較ReconNet、DR2-Net 和MSRNet 三種算法對高斯噪聲的魯棒性(BSD500 數(shù)據(jù)集)Table 9 Comparison of robustness to Gaussian noise among of ReconNet,DR2-Net,MSRNet (BSD500 dataset)

5 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的多尺度殘差網(wǎng)絡(luò)結(jié)構(gòu),利用測量值通過網(wǎng)絡(luò)重構(gòu)圖像.網(wǎng)絡(luò)引入多尺度卷積層用來學(xué)習(xí)圖像中的多尺度信息,重構(gòu)網(wǎng)絡(luò)中使用擴張卷積增大網(wǎng)絡(luò)中的感受野從而重構(gòu)出高質(zhì)量的圖像.最后,本文算法對網(wǎng)絡(luò)重構(gòu)圖像進行了修正,使得重構(gòu)圖像在測量矩陣上的投影更加接近測量值.在常用的11 幅測試圖像和BSD500 測試集的實驗結(jié)果進一步表明了本文的算法相比于其他幾種算法在圖像重構(gòu)質(zhì)量和重構(gòu)時間擁有更好的表現(xiàn),并且對噪聲具有魯棒性.