基于多尺度循環(huán)殘差神經(jīng)網(wǎng)絡(luò)的圖像去運(yùn)動(dòng)模糊

方 睿，周 愉+，劉 鵬，劉 凱

(1.成都信息工程大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610225； 2.成都信息工程大學(xué) 控制工程學(xué)院，四川 成都 610225)

0 引 言

最為典型的引起圖像退化的原因主要有如下3點(diǎn)：大氣湍流、太陽(yáng)輻射等引起的失真、相機(jī)和物體相對(duì)運(yùn)動(dòng)產(chǎn)生的模糊、對(duì)焦不準(zhǔn)產(chǎn)生的模糊。圖像運(yùn)動(dòng)模糊是指拍攝時(shí)，被拍攝的目標(biāo)物體與攝像裝置之間發(fā)生相對(duì)運(yùn)動(dòng)，而引發(fā)的模糊。圖像模糊的過(guò)程被建模為如下形式

IB=K(M)*IS+N

(1)

式中：IB是模糊后的圖像，K(M) 是模糊核，IS代表清晰的圖像，*表示空間卷積，N為加性噪聲。目前圖像復(fù)原算法大致分為兩種：一是傳統(tǒng)方法。圖像復(fù)原的最初手段是直接做逆濾波，在上個(gè)世紀(jì)六十年代中期已經(jīng)被大范圍應(yīng)用在該領(lǐng)域，但有結(jié)果表明直接逆濾波的性能是比較差的。文獻(xiàn)[1]提到，Shan和Fergus等都是通過(guò)各種方法構(gòu)建了圖像恢復(fù)過(guò)程的正則項(xiàng)，雖然在一定程度上抑制了振鈴效應(yīng)，減少了噪聲等，但是他們的復(fù)原結(jié)果并不是很理想。傳統(tǒng)方法有一個(gè)共同的特點(diǎn)就是都要預(yù)估模糊核，對(duì)圖像噪聲和飽和很敏感[2]，并且一般產(chǎn)生的運(yùn)動(dòng)模糊都是非均勻模糊，精確預(yù)估模糊核是很難的。二是基于學(xué)習(xí)的方法，它是通過(guò)學(xué)習(xí)大量的數(shù)據(jù)樣本學(xué)習(xí)得到一個(gè)網(wǎng)絡(luò)模型，然后把運(yùn)動(dòng)模糊圖像放到該模型中，端到端地復(fù)原出潛在的清晰圖像。深度學(xué)習(xí)的典型算法之一是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)[3]，隨之發(fā)展，CNN逐漸在圖像復(fù)原領(lǐng)域也受到了很大的重視。Sun等[4]利用深度學(xué)習(xí)方法，首先嘗試預(yù)測(cè)給定圖像的小區(qū)域中的運(yùn)動(dòng)模糊核信息，然后嘗試?yán)迷撃：^察來(lái)恢復(fù)清晰圖像。該方法在對(duì)模糊核添加約束的條件下，使處理后的圖片達(dá)到了較為理想的去模糊效果。Schuler等[5]以粗糙到精細(xì)的方式堆疊了多個(gè)CNN，以模擬迭代優(yōu)化。Chakrabarti等[6]在頻域中預(yù)測(cè)了反卷積核，這些方法遵循傳統(tǒng)框架，只有其中幾個(gè)部分被CNN模塊取代。Ke等[7]提出一種不同層數(shù)的CNN以處理模糊圖像，取得了較好的效果。這些網(wǎng)絡(luò)的共同不足之處在于網(wǎng)絡(luò)層數(shù)較淺，很難提取到圖片更深層次的語(yǔ)義信息。之后U-net[8]得到了改進(jìn)，也稱(chēng)為編碼器-解碼器網(wǎng)絡(luò)[9]，極大地提高了回歸能力，并在FlowNet的最新工作中被廣泛使用[10]。Nah等[11]訓(xùn)練了一個(gè)多尺度的深度網(wǎng)絡(luò)(MS-CNN)，通過(guò)端到端的方法逐步恢復(fù)清晰的圖像，在圖像去模糊方面是比較成功的，但仍然存在圖像運(yùn)動(dòng)模糊的問(wèn)題。Tao等[12]在Nah的基礎(chǔ)上進(jìn)行改進(jìn)，提出了尺度循環(huán)網(wǎng)絡(luò)(SRN-DeblurNet)簡(jiǎn)稱(chēng)SRN，它是由香港中文大學(xué)、騰訊優(yōu)圖實(shí)驗(yàn)室和曠視科技的研究者合作提出的模型。但是不足的是它們使得圖像復(fù)原的結(jié)果邊緣特征并不明顯，高頻信息少，原因在于他們依賴(lài)于最小化L2損失，導(dǎo)致復(fù)原后的圖像為均值最優(yōu)顯得過(guò)于平滑，并產(chǎn)生偽影現(xiàn)象，使得最后的復(fù)原結(jié)果上在視覺(jué)感知上并不能符合我們的要求，并且它們?cè)诰矸e層使用大的卷積核，就導(dǎo)致對(duì)特征的學(xué)習(xí)能力不強(qiáng)。

針對(duì)上述問(wèn)題，本文在SRN的基礎(chǔ)上改進(jìn)了一種用于圖像去運(yùn)動(dòng)模糊的更有效的網(wǎng)絡(luò)結(jié)構(gòu)。加深了SRN的網(wǎng)絡(luò)結(jié)構(gòu)，在網(wǎng)絡(luò)中堆疊多個(gè)小卷積核代替大卷積核，使其可以更好擬合圖片的特征信息。并且為使紋理信息更強(qiáng)，保護(hù)圖像邊緣信息等，本文進(jìn)行了多損失融合改進(jìn)。并將其應(yīng)用于真實(shí)運(yùn)動(dòng)模糊圖片的處理，實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法生成的網(wǎng)絡(luò)模型取得了更好的去模糊結(jié)果，主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)明顯改善，圖像清晰度提高，細(xì)節(jié)損失減少。

1 多尺度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)算法改進(jìn)

1.1 改進(jìn)思想

網(wǎng)絡(luò)的深度和寬度是影響網(wǎng)絡(luò)效果的最重要的兩個(gè)因素。因此本文基于這兩點(diǎn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。首先在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上，本文在Tao等[12]提出的SRN網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行改進(jìn)，加深了SRN的網(wǎng)絡(luò)結(jié)構(gòu)，在其卷積層使用堆疊的小卷積核代替大卷積核，不僅與原來(lái)具有相同的感受野，而且可以減少網(wǎng)絡(luò)的參數(shù)，對(duì)特征的學(xué)習(xí)能力更強(qiáng)，更好地?cái)M合圖片的特征信息。同時(shí)為了提高模型訓(xùn)練過(guò)程中的收斂速度，防止過(guò)擬合，提高圖像中的高頻細(xì)節(jié)信息，保護(hù)圖像邊緣信息等，本文進(jìn)行了多損失融合改進(jìn)。如圖1所示，使得改進(jìn)后的網(wǎng)絡(luò)在客觀評(píng)價(jià)指標(biāo)取得更高的值以外，主觀視覺(jué)效果也得到一定的改善。保護(hù)圖像邊緣信息等，本文進(jìn)行了多損失融合改進(jìn)。

圖1 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

1.2 復(fù)原過(guò)程

該網(wǎng)絡(luò)由3個(gè)尺度的網(wǎng)絡(luò)組成，每一個(gè)尺度都是由編碼器-解碼器(encoder-decoder)[9]網(wǎng)絡(luò)構(gòu)成，它是對(duì)稱(chēng)的CNN結(jié)構(gòu)。在本文中，為滿足本文任務(wù)需求，我們?cè)诖嘶A(chǔ)上設(shè)計(jì)了一個(gè)參數(shù)更少并且易于訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。在每個(gè)尺度上生成清晰的圖像，作為圖像去模糊任務(wù)的子問(wèn)題，它將模糊圖像和初始去模糊結(jié)果(從先前尺度上進(jìn)行上采樣)作為輸入，并且在該尺度下估計(jì)清晰圖像。因此，每個(gè)尺度輸出的圖像如式(2)所示

Ii,hi=Ndeblur(Bi,Ii+1,hi+1;θSR)

(2)

式中：i是其尺度標(biāo)號(hào)，Bi代表第i個(gè)尺度下模糊的圖片，Ii代表第i個(gè)尺度下估計(jì)的清晰圖片。N是前面所提出的多尺度循環(huán)網(wǎng)絡(luò)，θSR是訓(xùn)練中產(chǎn)生的參數(shù)。由于網(wǎng)絡(luò)是循環(huán)的，因此隱藏狀態(tài)特征hi可以跨越尺度，從先前的網(wǎng)絡(luò)中捕獲圖像結(jié)構(gòu)和內(nèi)核信息。

為保證此網(wǎng)絡(luò)可以解決更加復(fù)雜的運(yùn)動(dòng)模糊問(wèn)題，我們?cè)诖司W(wǎng)絡(luò)中做了一些改進(jìn)，如圖2所示，本文加深了InBlock和OutBlocks的結(jié)構(gòu)，在其卷積層使用了2個(gè)3×3堆疊的卷積核。在編碼器/解碼器網(wǎng)絡(luò)中，每個(gè)尺度網(wǎng)絡(luò)包含1個(gè)InBlock，2個(gè)EBlock，然后是ConvLSTM循環(huán)，2個(gè)DBlock和1個(gè)OutBlock。編碼器部分，每一層卷積層后面添加3個(gè)殘差網(wǎng)絡(luò)，稱(chēng)之為EBlock；解碼器部分，使用了2個(gè)DBlocks(Decoder ResBlock)，每一層去卷積層前面添加3個(gè)殘差網(wǎng)絡(luò)，稱(chēng)之為DBlock。InBlock產(chǎn)生32通道特征圖，OutBlock將先前的要素圖作為輸入并生成輸出圖像。EBlock的通道數(shù)量分別為64，128。DBlock通道數(shù)量分別為128，64。每一個(gè)殘差網(wǎng)絡(luò)都包含2個(gè)卷積層，它是為了提供更大的感受野并且防止訓(xùn)練過(guò)程中梯度消失的問(wèn)題。中間部分使用的是ConvLSTM循環(huán)，Conv和Deconv中使用的激活函數(shù)都是ReLU。該網(wǎng)絡(luò)可以被表示為式(3)

(3)

式中：i是其尺度標(biāo)號(hào)，Bi代表第i個(gè)尺度下模糊的圖片，Ii代表第i個(gè)尺度下估計(jì)的潛在清晰圖片。NEnconder是前面所提出的編碼器網(wǎng)絡(luò)，θE是編碼器訓(xùn)練過(guò)程中產(chǎn)生的參數(shù)。NDecoder是解碼器網(wǎng)絡(luò)，θD是解碼器訓(xùn)練中產(chǎn)生的參數(shù)。θLSTM是ConvLSTM訓(xùn)練時(shí)產(chǎn)生的參數(shù)，hi是隱藏狀態(tài)特征。

圖2 卷積核堆疊替代5*5卷積核

1.3 多損失融合改進(jìn)

損失函數(shù)是影響圖像復(fù)原效果的主要因素之一，它是用來(lái)估量模型的預(yù)測(cè)值與真實(shí)值的不一致程度，損失函數(shù)越小，預(yù)測(cè)值越逼近真實(shí)值。為了估計(jì)，需要通過(guò)最小化損失函數(shù)在訓(xùn)練過(guò)程中不斷優(yōu)化網(wǎng)絡(luò)的參數(shù)，如下所示

(4)

在本文中，感知損失Lx、L1損失融合被用來(lái)提高復(fù)原后圖像的細(xì)節(jié)，提升模型訓(xùn)練過(guò)程中的收斂速度，改善由于使用傳統(tǒng)L2損失函數(shù)作為優(yōu)化目標(biāo)會(huì)導(dǎo)致生成圖像上的模糊偽像[13]。

1.3.1 感知損失

由于使用L2損失函數(shù)作為優(yōu)化目標(biāo)會(huì)導(dǎo)致生成圖像上的模糊偽像，且容易在視覺(jué)感知上產(chǎn)生平滑，所以在本文中，使用了近兩年提出來(lái)的感知損失[14]。感知損失是簡(jiǎn)單的L2損失，在網(wǎng)絡(luò)模型訓(xùn)練中，訓(xùn)練速度快，并且收斂效果好，具有高頻細(xì)節(jié)信息。故以感知損失函數(shù)表示生成圖像I與清晰圖像S之間的差異，它的定義如下，可參考文獻(xiàn)[14]

(5)

式中：φi,j是VGG19網(wǎng)絡(luò)中激活之后的第j個(gè)卷積在第i層最大池化之前所取得的特征映射，Wi,j是特征映射的寬度，Hi,j是特征映射的高度。

1.3.2 L1損失

本文在損失函數(shù)中添加了L1范數(shù)損失函數(shù)，無(wú)論對(duì)于什么樣的輸入值，都有著穩(wěn)定的梯度，不會(huì)導(dǎo)致梯度爆炸問(wèn)題，具有較為穩(wěn)健性的解。因?yàn)樽钚〗^對(duì)值偏差能處理數(shù)據(jù)中的異常值，所以它的魯棒性更好，同時(shí)也能夠保護(hù)圖像邊緣部分的信息

(6)

式中：Ii為本網(wǎng)絡(luò)中第i尺度輸出的去模糊圖片，Si是清晰圖像像素值。

1.3.3 總損失

對(duì)于本文提出的去模糊算法，總損失函數(shù)由感知損失Lx、L1損失融合而成，最小化復(fù)原圖像與真實(shí)圖像的誤差，保證圖像的復(fù)原質(zhì)量，其中k為融合系數(shù)

L=Lx+k·L1

(7)

趨向視覺(jué)感知的損失函數(shù)能夠提高感知質(zhì)量，但是評(píng)價(jià)指標(biāo)較低，且缺少生成約束。因此為了平衡PSNR指標(biāo)與視覺(jué)感知質(zhì)量，總損失融合了以上感知損失Lx、 和L1損失。

1.4 小卷積核堆疊

多個(gè)小卷積核疊加使用遠(yuǎn)比一個(gè)大的卷積核單獨(dú)使用效果要好得多。在VGG16[15]中，使用了更小的卷積核來(lái)保證當(dāng)前網(wǎng)絡(luò)精度的情況下，減少了參數(shù)。圖像去運(yùn)動(dòng)模糊處理需要大的感受野，所以SRN結(jié)構(gòu)的卷積層中原先使用的都是5*5，但是大的卷積核存在加大了網(wǎng)絡(luò)參數(shù)并且特征學(xué)習(xí)能力不強(qiáng)的問(wèn)題。

假設(shè)圖片(Input)尺寸為M×M， 卷積核(Filter)大小為K×K， 填充(Padding)為P， 步長(zhǎng)(stride)為S， 則卷積輸出(Output)特征圖大小為式(8)

Output=(M+2P-K)/S+1

(8)

為保證此網(wǎng)絡(luò)可以解決更加復(fù)雜的運(yùn)動(dòng)模糊問(wèn)題，所以在此網(wǎng)絡(luò)中做了一些改進(jìn)，在卷積層中使用2個(gè)3*3的卷積核替代原先的卷積核，如圖2所示。如式(8)所示，改進(jìn)之后的網(wǎng)絡(luò)在保持感受野大小不變的情況之下，減少了網(wǎng)絡(luò)訓(xùn)練中的參數(shù)，并且具有更多的非線性，使得對(duì)特征能力的學(xué)習(xí)能力變強(qiáng)。

2 實(shí)驗(yàn)結(jié)果分析

本文的所有實(shí)驗(yàn)均是在基于TensorFlow框架的深度學(xué)習(xí)服務(wù)器平臺(tái)上進(jìn)行，使用的計(jì)算機(jī)是3.7 GHz的i3處理器臺(tái)式機(jī)，NVIDA GTX1060顯卡，16 GB RAM。

2.1 數(shù)據(jù)集預(yù)處理

為實(shí)現(xiàn)與現(xiàn)有先進(jìn)的MS-CNN、SRN等去模糊算法比較，本文使用兩個(gè)指定的標(biāo)準(zhǔn)數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試我們的模型。此外，我們?cè)谡鎸?shí)的模糊圖像數(shù)據(jù)集上驗(yàn)證了模型的泛化能力。

(1)GoPro公開(kāi)數(shù)據(jù)集：Nah等[11]創(chuàng)建了GoPro數(shù)據(jù)集，它模擬復(fù)雜的相機(jī)抖動(dòng)和物體運(yùn)動(dòng)，其中含有的運(yùn)動(dòng)模糊場(chǎng)景有行人移動(dòng)、車(chē)輛運(yùn)動(dòng)等，更適合于真實(shí)場(chǎng)景中的模糊圖像。模型在256×256像素的GoPro數(shù)據(jù)集上訓(xùn)練，其中包括3214對(duì)模糊/清晰的圖片。本文中使用其中的2103對(duì)進(jìn)行訓(xùn)練，剩余的1111對(duì)進(jìn)行測(cè)試。

(2)K?hler數(shù)據(jù)集：K?hler數(shù)據(jù)集是評(píng)估盲去模糊的標(biāo)準(zhǔn)，由4個(gè)清晰圖像和相應(yīng)的48個(gè)模糊圖像組成，這些模糊圖像是由重播記錄的6D攝像機(jī)運(yùn)動(dòng)引起的，本文將K?hler數(shù)據(jù)集用作模型性能評(píng)估的測(cè)試集。

(3)真實(shí)的模糊圖像數(shù)據(jù)集：本文還對(duì)實(shí)際情況下的圖片進(jìn)行了測(cè)試，本數(shù)據(jù)集由10個(gè)清晰圖像和相應(yīng)的50個(gè)模糊圖像組成，這些圖片包括都是汽車(chē)在高速行駛下，通過(guò)行車(chē)記錄儀設(shè)備拍攝得到行駛中的汽車(chē)車(chē)牌、交通線、建筑等視頻，再使用空間變化的運(yùn)動(dòng)模糊退化模型方法合成的運(yùn)動(dòng)模糊圖像，目的是為了驗(yàn)證模型的泛化能力。

2.2 模型訓(xùn)練以及評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于模型訓(xùn)練，本文使用Tensorflow訓(xùn)練我們所提出的模型。對(duì)于網(wǎng)絡(luò)優(yōu)化問(wèn)題，本文采用Adam優(yōu)化器，其中參數(shù)均為默認(rèn)值，β1=0.9，β2=0.999，ε=10-8。 訓(xùn)練到2000 epochs時(shí)，學(xué)習(xí)率從初始值1e-4下降到1e-6。 在多次實(shí)驗(yàn)的結(jié)果調(diào)整下，本模型將k值設(shè)置為0.05。每一次迭代，我們對(duì)一批16張模糊圖像進(jìn)行采樣，將訓(xùn)練集尺寸隨機(jī)剪裁為256×256作為訓(xùn)練的輸入。

對(duì)復(fù)原后的圖像評(píng)價(jià)標(biāo)準(zhǔn)主要分為兩種：主觀評(píng)價(jià)標(biāo)準(zhǔn)和客觀評(píng)價(jià)標(biāo)準(zhǔn)。主觀評(píng)價(jià)標(biāo)準(zhǔn)具有簡(jiǎn)單直觀的特點(diǎn)，通過(guò)肉眼去觀察對(duì)比，這種方式容易受到主觀因素等多方面的影響，比如每個(gè)人的心理狀態(tài)?？陀^評(píng)價(jià)標(biāo)準(zhǔn)采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)，其中PSNR和SSIM的值越大，就代表圖像失真越少，復(fù)原的效果越好。綜上所述，要綜合考慮客觀評(píng)價(jià)標(biāo)準(zhǔn)和主觀評(píng)價(jià)標(biāo)準(zhǔn)才能對(duì)復(fù)原后的圖像做出科學(xué)、客觀的評(píng)價(jià)。

PSNR定義如式(9)、式(10)所示

PSNR=10lg((2n-1)2/MSE)

(9)

(10)

其中，圖像的大小為H×W，S為清晰圖像，Y為模糊圖像通過(guò)網(wǎng)絡(luò)復(fù)原后的圖像，這里的n取值為8，因?yàn)楸疚氖褂玫氖遣噬珗D像。

SSIM定義如式(11)～式(14)所示，SSIM的取值為[0,1]，值越大，代表圖像失真越小，圖像的去模糊效果越好。分別從亮度l(X,Y)、 對(duì)比度c(X,Y)、s(X,Y) 結(jié)構(gòu)這3個(gè)方面進(jìn)行比較

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(11)

(12)

(13)

(14)

其中，X為清晰圖像，Y為模糊圖像通過(guò)網(wǎng)絡(luò)復(fù)原后的圖像，μX為圖像X的均值，μY為圖像Y的均值；σX為圖像X的方差，σY為圖像Y的方差；σXY為圖像X、Y的協(xié)方差。c1、c2、c3均為常數(shù)，避免除零，c1=(K1×L)2，c2=(K2×L)2，c3=c2/2，K1=0.01，K2=0.03， 均為默認(rèn)值，L=255。

2.3 實(shí)驗(yàn)結(jié)果

2.3.1 多損失融合性能驗(yàn)證

這一部分將通過(guò)實(shí)驗(yàn)驗(yàn)證該損失融合的性能，在本文的圖像去運(yùn)動(dòng)模糊任務(wù)中，我們將其與L2損失進(jìn)行比較。多損失融合性能驗(yàn)證模型設(shè)計(jì)見(jiàn)表1。

表1 多損失融合性能驗(yàn)證模型設(shè)計(jì)

感知損失可以使得模型具有更好的復(fù)原效果，邊緣特征更加明顯。Net-L2模型使得復(fù)原后的圖像為均值最優(yōu)顯得過(guò)于平滑，并產(chǎn)生偽影現(xiàn)象，使得最后的復(fù)原結(jié)果上在視覺(jué)感知上并不能符合我們的要求。Net-PR1模型使得復(fù)原后的效果更加逼真，提高了復(fù)原后圖像的細(xì)節(jié)，改善了由于使用傳統(tǒng)L2損失函數(shù)作為優(yōu)化目標(biāo)會(huì)導(dǎo)致生成圖像上的模糊偽像。如圖3所示，從左到右依次為：模糊圖像、Net-L2的去模糊結(jié)果、Net-PR1模型的去模糊結(jié)果。

圖3 不同損失函數(shù)的去模糊結(jié)果

該模型在GoPro數(shù)據(jù)集上訓(xùn)練迭代55萬(wàn)次后達(dá)到收斂狀態(tài)。表2列出了兩種模型在GoPro測(cè)試集下平均PSNR和SSIM值的比較。

表2 GoPro測(cè)試集下的質(zhì)量評(píng)價(jià)

從表2的結(jié)果中可以看出Net-PR1模型在測(cè)試集上的平均PSNR值和SSIM值都比Net-L2模型要高，多損失的融合改進(jìn)也使得圖片質(zhì)量效果更好。

2.3.2 小卷積核堆疊性能驗(yàn)證

本文在2.3.1的實(shí)驗(yàn)基礎(chǔ)上，為了驗(yàn)證小卷積核堆疊的性能，本文訓(xùn)練了經(jīng)小卷積核堆疊處理與未經(jīng)過(guò)處理的兩個(gè)模型進(jìn)行比較，驗(yàn)證模型設(shè)計(jì)見(jiàn)表3。

表3 小卷積核堆疊性能驗(yàn)證模型設(shè)計(jì)

實(shí)驗(yàn)設(shè)置550 000次迭代，每經(jīng)過(guò)5000次訓(xùn)練保存并輸出模型，并對(duì)模型在GoPro數(shù)據(jù)集中進(jìn)行PSNR指標(biāo)檢測(cè)，結(jié)果顯示網(wǎng)絡(luò)如果在卷積層使用小卷積核堆疊的模型PSNR評(píng)價(jià)指標(biāo)要明顯高于直接在卷積層使用大的卷積核的模型，其中比較結(jié)果如圖4所示。

圖4 小卷積核堆疊性能驗(yàn)證PSNR指標(biāo)結(jié)果比較

在卷積層應(yīng)用小卷積核堆疊后的Net-KS模型，在保持感受野大小不變的情況之下，減少了網(wǎng)絡(luò)訓(xùn)練中的參數(shù)，并且具有更多的非線性，使得對(duì)特征能力的學(xué)習(xí)能力變強(qiáng)。結(jié)果顯示Net-KS模型的圖像復(fù)原具有更清晰逼真的細(xì)節(jié)紋理，其中比較結(jié)果如圖5所示。

圖5 小卷積核堆疊性能驗(yàn)證視覺(jué)質(zhì)量比較

2.3.3 與其它模型比較

整個(gè)訓(xùn)練過(guò)程是在GoPro訓(xùn)練集上進(jìn)行的，經(jīng)過(guò)550 000次迭代后達(dá)到收斂狀態(tài)。將本文方法ELKS-SRN與其它算法從主觀上和客觀上進(jìn)行比較。圖6主要是主觀上對(duì)從GoPro數(shù)據(jù)集上的測(cè)試集進(jìn)行評(píng)價(jià)，其中的測(cè)試圖包含了各個(gè)不同的運(yùn)動(dòng)模糊場(chǎng)景。圖6中的圖像從左到右依次為模糊圖像、文獻(xiàn)[7]的去模糊結(jié)果、文獻(xiàn)[12]模型的去模糊結(jié)果以及本文所提模型的去模糊結(jié)果。

圖6 GoPro數(shù)據(jù)集去模糊結(jié)果

從圖6的運(yùn)動(dòng)模糊圖像復(fù)原結(jié)果來(lái)看，本文提出的模型去模糊效果在高頻細(xì)節(jié)和邊緣特征等方面明顯好于文獻(xiàn)[12]。本文復(fù)原后的圖像消除了較明顯的偽影，如第一張圖中的指示牌邊緣以及車(chē)牌中的字符“0”“1”“2”等。本文所提出的去運(yùn)動(dòng)模糊算法盡可能保證了復(fù)原后圖像的真實(shí)度，提升了圖像的高頻細(xì)節(jié)信息，保護(hù)了圖像的邊緣特征。該模型有效地解決了物體間相對(duì)運(yùn)動(dòng)造成的模糊。

圖7是K?hler數(shù)據(jù)集中的去模糊結(jié)果，從上到下依次為模糊圖像、Tao等的去模糊結(jié)果、本文所提模型的去模糊結(jié)果。如圖7所示，我們對(duì)比第一幅圖中的圖(c)、圖(e)，可以看出圖(e)的紋理信息比圖(c)強(qiáng)，圖(c)圈出來(lái)的墻壁明顯過(guò)于平滑。對(duì)比圖(d)、圖(f)兩張圖片可以發(fā)現(xiàn)，圖(d)圈出來(lái)的那一排時(shí)針數(shù)字，邊緣模糊，其中還出現(xiàn)較明顯的偽影現(xiàn)象，相較于圖(d)來(lái)說(shuō)，圖(f)圖恢復(fù)得更好，邊緣特征較明顯，沒(méi)有出現(xiàn)大幅度的偽影現(xiàn)象。相較于圖(f)，圖(d)中的時(shí)針數(shù)字“9”周?chē)吘壉容^模糊，邊緣特征沒(méi)有圖(f)明顯。

圖7 K?hler數(shù)據(jù)集去模糊結(jié)果

表4列出了幾種算法比較，從左到右分別是GoPro測(cè)試集下平均PSNR與SSIM值、K?hler測(cè)試集下平均PSNR與SSIM值、在測(cè)試集中恢復(fù)圖片的平均時(shí)間。

從表4的結(jié)果中可以看出本文所提出的模型在測(cè)試集上的平均PSNR值和SSIM值都比前面提出的算法要高，特別相對(duì)于Tao等來(lái)說(shuō)，雖然我們?cè)诖嘶A(chǔ)上加深了整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，但是并沒(méi)有使網(wǎng)絡(luò)的收斂速度變慢，反之，恢復(fù)的時(shí)間反而更快。驗(yàn)證了在卷積層使用小卷積核疊代替

表4 測(cè)試集下的質(zhì)量評(píng)價(jià)以及性能

大卷積核會(huì)使得整個(gè)網(wǎng)絡(luò)收斂速度更快，多損失的融合改進(jìn)也使得圖片質(zhì)量效果更好。

2.3.4 真實(shí)模糊圖片處理

為驗(yàn)證模型的泛化能力，本文再對(duì)真實(shí)的模糊圖片進(jìn)行處理，因?yàn)镚opro測(cè)試集和K?hler測(cè)試集中的圖片是在高速相機(jī)下采集后合成的，它和實(shí)際情況下的模糊圖片有可能不同，所以在這一小節(jié)，本文使用訓(xùn)練好的模型來(lái)處理實(shí)際情況下的模糊圖片，這些圖片都是實(shí)際情況中，汽車(chē)在高速行駛下，通過(guò)行車(chē)記錄儀設(shè)備拍攝得到行駛中的汽車(chē)、交通線、建筑等視頻。去模糊結(jié)果對(duì)比如圖8所示，圖8中的圖像從左到右依次為模糊圖像、文獻(xiàn)[12]模型的去模糊結(jié)果以及本文所提模型的去模糊結(jié)果。

圖8 真實(shí)模糊圖片去模糊結(jié)果

在實(shí)際場(chǎng)景下，本文提出的去模糊算法相較于其它算法保證了圖片的復(fù)原效果，并且邊緣模糊小。如在第一張圖片中，“大眾的標(biāo)志”、“標(biāo)志旁邊的棱”、“3”等字符的去模糊處理效果都較好；第二張圈出來(lái)的“交通線”的去模糊結(jié)果顯示出整張圖片的模糊程度減??；第三張圖片中的車(chē)牌，文獻(xiàn)[12]還原的車(chē)牌字符“6”“2”相較于本文所提出的去模糊模型明顯帶有一定的失真，并且邊緣模糊區(qū)域大，而本文的去模糊效果好。所以綜上所述，本文提出的算法可以較好地處理運(yùn)動(dòng)模糊。

3 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的圖像去運(yùn)動(dòng)模糊方法，通過(guò)多損失融合和在卷積層使用小型卷積核堆疊平衡了評(píng)價(jià)指標(biāo)(PSNR、SSIM)與感知質(zhì)量，提高圖像中的高頻細(xì)節(jié)信息等，并且使得網(wǎng)絡(luò)參數(shù)更少更容易訓(xùn)練，并且更好擬合圖片的特征信息。最終的實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法生成的網(wǎng)絡(luò)模型取得了更好的去模糊結(jié)果，主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)明顯改善，圖像清晰度顯著提高，細(xì)節(jié)損失減少，并且算法在去模糊的速度上相比于其它的算法也有明顯的提升。