融合DenseNet的多尺度圖像去模糊模型

劉萬(wàn)軍，張正寰，曲海成

遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島125105

圖像去模糊在計(jì)算機(jī)視覺(jué)界占有重要地位，也是圖像增強(qiáng)領(lǐng)域的核心內(nèi)容。通常是在圖像的成像過(guò)程中，拍攝相機(jī)等由于抖動(dòng)、長(zhǎng)時(shí)間曝光以及失焦等原因，無(wú)法清晰捕獲到目標(biāo)物體，從而導(dǎo)致最終呈現(xiàn)出來(lái)的圖像質(zhì)量大幅度減退，無(wú)法達(dá)到使用標(biāo)準(zhǔn)。為此，圖像去模糊算法得以產(chǎn)生并發(fā)展，其目的是將原始的模糊圖像通過(guò)算法處理，逐步恢復(fù)出清晰潛像，進(jìn)而使最終的清晰圖像能夠直接被利用。對(duì)畫(huà)質(zhì)復(fù)原的需求促進(jìn)了去模糊技術(shù)的探索與進(jìn)步，并逐步在動(dòng)態(tài)場(chǎng)景[1]中應(yīng)用，包括醫(yī)療成像、航空拍攝、刑事偵查、交通抓拍和監(jiān)控分析在內(nèi)的眾多行業(yè)領(lǐng)域無(wú)不需要該項(xiàng)技術(shù)的支撐。

近年來(lái)去模糊研究已經(jīng)分化出多個(gè)理論分支，主要有：（1）基于濾波的去模糊算法，該算法主要以逆濾波法、維納濾波等為主；（2）基于統(tǒng)計(jì)的去模糊算法，該方法主要通過(guò)求取條件概率最大化，進(jìn)行圖像修復(fù)，如采用變分貝葉斯原理的復(fù)原算法；（3）基于正則化的去模糊算法，低質(zhì)量圖像可看成模糊算子在真實(shí)圖像上卷積加噪聲形成，因此可以將復(fù)原當(dāng)作其逆運(yùn)算來(lái)處理，鑒于出現(xiàn)的模糊矩陣病態(tài)程度較高，可將其復(fù)原看成是在求解大規(guī)模病態(tài)逆問(wèn)題的模型。這就需要正則化約束[2]來(lái)解決，基于正則化[3]的研究方法也是學(xué)者們研究的重點(diǎn)；（4）基于GAN的去模糊算法，在GAN被提出之后，研究人員將其引入到去模糊中并獲得了成功。該算法可在非成對(duì)數(shù)據(jù)集（即真實(shí)拍攝的模糊圖像）上訓(xùn)練，進(jìn)而避免合成模糊圖像訓(xùn)練帶來(lái)的誤差；（5）基于卷積神經(jīng)網(wǎng)絡(luò)的去模糊算法，早期有研究者開(kāi)創(chuàng)性地將自然圖像先驗(yàn)[4]應(yīng)用在抑制偽影和提高圖像質(zhì)量上。Sun等人[5]則將深度學(xué)習(xí)融入到非均勻模糊分布概率的預(yù)測(cè)中，進(jìn)而得到一系列該領(lǐng)域的先進(jìn)算法。

Nah等人[6]在處理模糊的過(guò)程中采用多尺度卷積神經(jīng)網(wǎng)絡(luò)并取得了較好成果，其實(shí)驗(yàn)從模糊圖像的粗尺度開(kāi)始，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，逐層進(jìn)行恢復(fù)，最終在全分辨率下獲得高質(zhì)量目標(biāo)圖像。通過(guò)對(duì)這些方法進(jìn)行研究，不難發(fā)現(xiàn)在成熟的多尺度中，由于其目標(biāo)是解決相同的問(wèn)題，所以對(duì)應(yīng)的求解器和不同尺度之間的參數(shù)通常都是相同的。隨著研究的深入，證實(shí)了引起算法和模型不穩(wěn)定的主要原因是不同尺度上參數(shù)的變化，同時(shí)會(huì)引發(fā)無(wú)約束解空間等額外問(wèn)題。在不同尺度上單獨(dú)進(jìn)行調(diào)參，又有可能因?yàn)檫^(guò)擬合而導(dǎo)致方案只能針對(duì)特定的模糊圖像甚至只能在某些固定的運(yùn)動(dòng)尺度上進(jìn)行去模糊處理。綜上所述，基于CNN的圖像去模糊算法仍然是該實(shí)驗(yàn)的首選方案，在不同尺度上進(jìn)行參數(shù)調(diào)整、解決現(xiàn)有問(wèn)題是研究和優(yōu)化關(guān)鍵所在。

本文提出在網(wǎng)絡(luò)不同尺度間共享權(quán)重，不僅能夠顯著降低實(shí)驗(yàn)的訓(xùn)練難度，并且在模型的穩(wěn)定性提升方面發(fā)揮了作用。對(duì)于模型訓(xùn)練，該方案在減少訓(xùn)練參數(shù)方面的效果非常顯著，因?yàn)樵谏婕暗蕉喑叨饶Ｐ陀?xùn)練時(shí)，即使是在訓(xùn)練數(shù)據(jù)規(guī)模相當(dāng)?shù)那闆r下，如果優(yōu)先采取權(quán)重共享的方式，其效果等價(jià)于多次使用同樣規(guī)模數(shù)據(jù)來(lái)進(jìn)行參數(shù)的學(xué)習(xí)，這在一定程度上類(lèi)似于對(duì)數(shù)據(jù)進(jìn)行了規(guī)模性擴(kuò)充。為進(jìn)一步提升網(wǎng)絡(luò)層捕獲特征的能力，在當(dāng)前網(wǎng)絡(luò)結(jié)構(gòu)中融入了密集塊，同時(shí)深度遞歸模塊內(nèi)部的隱藏層不僅能夠及時(shí)捕獲有益信息，而且會(huì)按照不同比例對(duì)圖像進(jìn)行恢復(fù)。

1 圖像去模糊模型

1.1 圖像去模糊通用模型

通常對(duì)圖像去模糊算法的定義為：

公式（1）主要從模糊圖像的形成過(guò)程出發(fā)，解釋了清晰圖像如何被模糊因子影響以及這一過(guò)程給去模糊處理帶來(lái)的啟發(fā)。參數(shù)b和s分別代表的是模糊圖像與原本清晰的真實(shí)圖像，k代表的是模糊核，n通常指的是高斯白噪聲或其他椒鹽噪聲，?代表的是卷積算子，指模糊核在清晰圖像上的卷積操作。即原本清晰的圖像經(jīng)過(guò)模糊算子的一系列卷積操作，然后在噪聲的作用下就形成了經(jīng)典的模糊圖像，圖像的去模糊操作則是從這種已經(jīng)退化的圖像b中恢復(fù)出s來(lái)，即公式（1）的某種逆操作。

近年來(lái)隨著深度神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展，Sun等人使用這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)模糊的方向和寬度進(jìn)行預(yù)測(cè)，Schuler等人[7]則遵循由粗到精的策略將多個(gè)CNN進(jìn)行堆疊，以此模擬迭代和優(yōu)化過(guò)程，Chakrabarti則預(yù)測(cè)了頻域中的反卷積核，以上諸多子問(wèn)題的研究使得深度神經(jīng)網(wǎng)絡(luò)在圖像去模糊中的應(yīng)用得到推廣和加強(qiáng)。并且以上方法都是在遵循傳統(tǒng)框架的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中的幾個(gè)部分用CNN進(jìn)行了替換。

1.2 多尺度網(wǎng)絡(luò)下的圖像去模糊模型

多尺度卷積神經(jīng)網(wǎng)絡(luò)和級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò)[8]均是從較小尺度開(kāi)始，逐步細(xì)化輸出，以此來(lái)達(dá)到簡(jiǎn)化訓(xùn)練的目的，以上算法分別在圖像去模糊和圖像合成方面取得了成功，這也成為當(dāng)前選擇使用多尺度卷積神經(jīng)網(wǎng)絡(luò)的主要原因。在近些年來(lái)比較經(jīng)典的多尺度圖像去模糊網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸入都是以均勻模糊或者運(yùn)動(dòng)造成的模糊圖像為主，將這類(lèi)圖像按照不同比例作為輸入，再經(jīng)過(guò)不同方案的卷積網(wǎng)絡(luò)做進(jìn)一步的銳化處理，當(dāng)被輸入的圖像經(jīng)過(guò)多個(gè)不同尺度深度神經(jīng)網(wǎng)絡(luò)的迭代處理，最后在全分辨率下獲得的最清晰圖像作為最終的輸出結(jié)果。在這種遵循傳統(tǒng)的由粗到精的策略中，網(wǎng)絡(luò)跨多個(gè)尺度，在每個(gè)尺度網(wǎng)絡(luò)最終會(huì)有一個(gè)潛在清晰圖像產(chǎn)生，將其作為圖像去模糊任務(wù)的一個(gè)子問(wèn)題，該子問(wèn)題取一個(gè)模糊的圖像和一個(gè)初始去模糊結(jié)果（通過(guò)上采樣）作為輸入，進(jìn)一步估計(jì)出該尺度下的清晰圖像，過(guò)程可表示為：

公式（2）是對(duì)多尺度網(wǎng)絡(luò)下圖像去模糊處理的詳細(xì)定義，參數(shù)i用來(lái)表示網(wǎng)絡(luò)層尺度scale的索引，當(dāng)索引的值為1的時(shí)候，表示此時(shí)的狀態(tài)為最小尺度。參數(shù)Bi和Di則是表示在第i尺度下需要修復(fù)的模糊圖像和處理后的潛在清晰圖像，用NetMS表示該結(jié)構(gòu)中的網(wǎng)絡(luò)，參數(shù)θMS是它的訓(xùn)練參數(shù)，下標(biāo)是多尺度Multi-Scale的首字母縮寫(xiě)。這種多尺度的網(wǎng)絡(luò)結(jié)構(gòu)具有遞歸的特點(diǎn)，其中的參數(shù)hi用來(lái)捕獲圖像的結(jié)構(gòu)和其他內(nèi)部信息，為滿足實(shí)驗(yàn)需要，該參數(shù)需要從較粗尺度開(kāi)始，按照由粗到細(xì)的順序在不同尺度之間流動(dòng)。公式中(i+1)↑是用來(lái)表示將特征映射的尺度從第(i+1)階調(diào)整至第i階的算子。

1.3 融合DenseNet的多尺度圖像去模糊模型

融合DenseNet結(jié)構(gòu)的圖像多尺度去模糊網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。近年來(lái)編碼器-解碼器[9]結(jié)構(gòu)對(duì)計(jì)算機(jī)視覺(jué)方面的貢獻(xiàn)[10]越來(lái)越多，受此啟發(fā)，本文將這種結(jié)構(gòu)引入圖像去模糊中。編解碼器網(wǎng)絡(luò)是一種對(duì)稱(chēng)的CNN結(jié)構(gòu)，它的前半部分被稱(chēng)為編碼器，主要由多個(gè)卷積層和池化層組成，目的是將數(shù)據(jù)轉(zhuǎn)換為空間較小、特征映射信道較多的結(jié)構(gòu)。后半部分這種包含多個(gè)上采樣層與卷積層的結(jié)構(gòu)則是被稱(chēng)為解碼器的部分，該結(jié)構(gòu)位于整體的后半部分，并且在最后會(huì)添加一層用于對(duì)圖像像素進(jìn)行分類(lèi)的激活函數(shù)，該函數(shù)會(huì)再將其轉(zhuǎn)回最初輸入時(shí)的狀態(tài)，這樣有利于梯度傳播并且能夠加速收斂。編碼器部分包含的多個(gè)卷積層階段，在解碼器模塊中會(huì)使用一系列反卷積層[11]或者通過(guò)調(diào)整大小來(lái)實(shí)現(xiàn)，在每一層之外插入額外的卷積層以進(jìn)一步增加深度。實(shí)驗(yàn)證明現(xiàn)有的編碼器-解碼器結(jié)構(gòu)并不能在這種新的網(wǎng)絡(luò)結(jié)構(gòu)中發(fā)揮最佳效果，首先是在去模糊這類(lèi)圖像任務(wù)中，需要保留較大的感受野，因此只能通過(guò)不斷增加編解碼器的層次來(lái)應(yīng)對(duì)劇烈的運(yùn)動(dòng)，從而會(huì)導(dǎo)致結(jié)構(gòu)的層次堆積得更多。另外，在實(shí)踐中直接引用這種原始編解碼器的做法并不妥當(dāng)，因?yàn)槠湓谠黾訁?shù)的過(guò)程中會(huì)使用大量的中間特征通道。除此之外，這種編解碼器結(jié)構(gòu)中特征映射的空間尺寸過(guò)小，不能夠完整保留重建所需的空間信息。最后，在結(jié)構(gòu)中添加更多的卷積層會(huì)導(dǎo)致網(wǎng)絡(luò)的收斂速度大幅度減緩。為此，本文提出采用一種改進(jìn)后的編解碼器結(jié)構(gòu)，該結(jié)構(gòu)包含具有捕獲深層特征信息的密集塊（DenseBlock），在引入密集塊并作為編解碼器主要結(jié)構(gòu)的過(guò)程中，根據(jù)訓(xùn)練需要對(duì)其進(jìn)行了優(yōu)化，與傳統(tǒng)的殘差塊（ResBlock）相比較，密集塊可更進(jìn)一步提升網(wǎng)絡(luò)層捕獲特征的能力。最初的殘差網(wǎng)絡(luò)及本文使用的密集塊結(jié)構(gòu)如圖2所示。

圖1 融合DenseNet的多尺度圖像去模糊網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of image deblurring based on multi-scale deep neural network

圖2 殘差塊和密集塊結(jié)構(gòu)Fig.2 Structure of residual block and dense block

圖2 分別為原始的殘差塊和當(dāng)前所使用的密集塊結(jié)構(gòu)，可以看出殘差塊主要包括兩個(gè)內(nèi)核數(shù)相等的卷積層及激活函數(shù)ReLU，而密集塊是殘差塊的一種變體和改進(jìn)，在本實(shí)驗(yàn)中表現(xiàn)更為良好。

本文網(wǎng)絡(luò)結(jié)構(gòu)中融合的密集塊和編解碼器，能將二者優(yōu)點(diǎn)放大，并在訓(xùn)練中產(chǎn)生積極作用，隨之產(chǎn)生的較大感受野對(duì)于運(yùn)動(dòng)圖像的去模糊至關(guān)重要。網(wǎng)絡(luò)結(jié)構(gòu)中的圖像Bk表示在高斯金字塔第k尺度上輸入的需要被復(fù)原的模糊圖像，Dk和Sk則分別表示該尺度上初始去模糊得到的結(jié)果以及真實(shí)的清晰圖像。上下不同尺度圖像之間執(zhí)行一次0.5倍的下采樣，除第三層以外，每層輸入都是模糊圖像和上一層輸出清晰圖像經(jīng)上采樣以后兩者的結(jié)合。本文對(duì)卷積層采取交叉跳躍連接，變成密集連接的DenseNet網(wǎng)絡(luò)[12]，可以更輕松地訓(xùn)練模型從而獲得最佳質(zhì)量以減少損失。網(wǎng)絡(luò)中編碼器密集塊（圖1中Encoder-DenseBlock）包含一個(gè)步長(zhǎng)均為2的卷積層和3個(gè)密集塊，可以將上一層的內(nèi)核數(shù)量增加一倍，并采用降采樣將特征映射的數(shù)量減半。與之相對(duì)的另一部分稱(chēng)為解碼器密集塊（圖1中Decoder-Dense-Block），與編碼器密集塊對(duì)稱(chēng)，每個(gè)解碼器密集塊包含3個(gè)密集塊和一個(gè)反卷積層，它的作用則是相反的，可以將前半部分被減半的特征映射數(shù)量增加一倍，與此同時(shí)在通道數(shù)量方面執(zhí)行減半操作。

為進(jìn)一步保證模型恢復(fù)效果，對(duì)傳統(tǒng)多尺度網(wǎng)絡(luò)層內(nèi)部也進(jìn)行了改進(jìn)操作，將網(wǎng)絡(luò)層不同尺度之間的連接采取深度遞歸模塊來(lái)實(shí)現(xiàn)，通過(guò)將卷積操作插入到包含隱藏狀態(tài)的遞歸模塊來(lái)實(shí)現(xiàn)。通常這種不同尺度之間遞歸網(wǎng)絡(luò)的選擇靈活性較大，比如遞歸神經(jīng)網(wǎng)絡(luò)中常用的RNN、LSTM[13]和GRU（門(mén)控遞歸單元），LSTM和GRU相對(duì)CNN來(lái)說(shuō)，能有效防止梯度彌散，因此前兩者在此類(lèi)實(shí)驗(yàn)中通常比普通CNN使用率更高。該模塊主要用于獲取網(wǎng)絡(luò)的狀態(tài)并將其傳遞給下一個(gè)尺度，本文選擇ConvGRU，因?yàn)镃onvGRU擁有更快的訓(xùn)練速度和更小的內(nèi)存需求，結(jié)果也表明這種帶卷積的門(mén)控遞歸單元表現(xiàn)更佳。另外，不同尺度間圖像在傳遞的過(guò)程中有一次上采樣操作，此時(shí)上采樣算子的選擇也出現(xiàn)了多樣性，比如常見(jiàn)的包括使用反卷積、亞像素卷積[14]或者圖像大小調(diào)整等，為了進(jìn)一步確保圖像邊緣平滑，取得主觀視覺(jué)上的良好效果且不影響計(jì)算結(jié)果的精度，采用了雙三次線性插值。此外，所有卷積操作均使用5×5大小的卷積核。

網(wǎng)絡(luò)結(jié)構(gòu)可表示為：

NetEN和NetDE分別代表的是帶有參數(shù)θEN和θDE的編解碼器網(wǎng)絡(luò)，網(wǎng)絡(luò)主體結(jié)構(gòu)中編碼器密集塊和解碼器密集塊的兩個(gè)階段分別被用在NetEN和NetDE中。參數(shù)θGRU用在ConvGRU中，遞歸模塊中用于表示隱藏狀態(tài)的參數(shù)hi包含大量的中間結(jié)果和模糊模式等有用信息，并且該參數(shù)在不同尺度上流動(dòng)，主要作用是負(fù)責(zé)尺度的進(jìn)一步精細(xì)化。

該模型共包含3個(gè)尺度，第(i+1)個(gè)尺度的大小是第i個(gè)尺度大小的1/2。對(duì)于包含密集塊的編碼器-解碼器網(wǎng)絡(luò)，在編碼器部分是3個(gè)編碼器密集塊，中間的遞歸模塊是一個(gè)卷積的GRU，接下來(lái)的解碼器部分又是3個(gè)解碼器密集塊，經(jīng)實(shí)驗(yàn)證實(shí)，這樣的網(wǎng)絡(luò)結(jié)構(gòu)可使訓(xùn)練和測(cè)試達(dá)到最佳效果。網(wǎng)絡(luò)層最前端的第一個(gè)輸入模塊能夠產(chǎn)生一個(gè)通道的特征映射，而每層最后一個(gè)輸出模塊則是將前面的映射作為輸入并生成輸出圖像。這3個(gè)編碼器密集塊的內(nèi)核分別為32、64和128，3個(gè)解碼器密集塊的內(nèi)核分別為128、64和32。將存在于編碼器密集塊中的卷積層和解碼器密集塊中的反卷積層的步長(zhǎng)均定為2，其他層的步長(zhǎng)均為1，并且在所有層的激活都選擇使用ReLU函數(shù)，內(nèi)核設(shè)為5。通過(guò)整個(gè)實(shí)驗(yàn)發(fā)現(xiàn)使用這種循環(huán)迭代的深度神經(jīng)網(wǎng)絡(luò)，可綜合上述諸多優(yōu)點(diǎn)，從而使得在這種端到端的深度圖像去模糊框架下，在模型的訓(xùn)練方面時(shí)間比原來(lái)節(jié)約了3/4，并且訓(xùn)練的參數(shù)大約為原來(lái)的1/3即可實(shí)現(xiàn)類(lèi)似的恢復(fù)，除此之外，實(shí)驗(yàn)方法在數(shù)量和質(zhì)量上都能夠比現(xiàn)有的方法提升更高。

1.4 損失值計(jì)算

本文采用歐幾里德范數(shù)損失對(duì)網(wǎng)絡(luò)結(jié)構(gòu)中輸出的去模糊結(jié)果圖像和真實(shí)圖像之間的進(jìn)行損失計(jì)算（使用雙三次線性插值降采樣到相同大?。?，可表示為：

2 實(shí)驗(yàn)及結(jié)果分析

2.1 訓(xùn)練數(shù)據(jù)集

圖像去模糊中的數(shù)據(jù)集創(chuàng)建較為復(fù)雜，因?yàn)閳D像有均勻模糊和非均勻模糊之分，后者亦被稱(chēng)為運(yùn)動(dòng)模糊。為創(chuàng)建規(guī)模較大且有參照的數(shù)據(jù)集，在傳統(tǒng)的基于學(xué)習(xí)的方法[15]中，使用不同的模糊核去卷積真實(shí)的尖銳圖像，進(jìn)一步合成均勻/非均勻模糊圖像。由于這一過(guò)程簡(jiǎn)化了成像模型，合成的數(shù)據(jù)與真實(shí)攝像機(jī)采集的數(shù)據(jù)仍然存在較大差異。近年來(lái)，有研究人員提出，可借助高速攝像機(jī)在拍攝中對(duì)連續(xù)短曝光幀進(jìn)行均值化處理，用來(lái)近似長(zhǎng)曝光的模糊幀，從而生成對(duì)應(yīng)的模糊圖像。實(shí)際應(yīng)用中這種方法生成的幀更加接近真實(shí)運(yùn)動(dòng)模糊圖像，因?yàn)樗軌蚰M出比較復(fù)雜的相機(jī)抖動(dòng)和被拍攝物體的運(yùn)動(dòng)。為了對(duì)所涉及到的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行公平比較和驗(yàn)證，實(shí)驗(yàn)選擇與Nah等人相同的策略，使用GOPRO數(shù)據(jù)集來(lái)訓(xùn)練該網(wǎng)絡(luò)，該數(shù)據(jù)集屬于大型去模糊數(shù)據(jù)集，其中共包含3 214對(duì)清晰/模糊（sharp/blur）圖像，并且也將其中的2 103對(duì)圖像用來(lái)訓(xùn)練并生成模型，剩下的1 111對(duì)則是用來(lái)進(jìn)行模型的測(cè)試與評(píng)估。

2.2 模型訓(xùn)練

實(shí)驗(yàn)采用Tensorflow[16]深度學(xué)習(xí)框架，在GTX 1080Ti GPU上進(jìn)行訓(xùn)練。在該網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中，選擇使用Adam優(yōu)化器，對(duì)其參數(shù)的設(shè)定分別為β1=0.9，β2=0.999，ε=10-8。并將衰減系數(shù)設(shè)定為0.3，當(dāng)處于2 000個(gè)epochs的時(shí)候，學(xué)習(xí)率會(huì)從0.000 1衰減至1E-6，根據(jù)以往經(jīng)驗(yàn)，epochs達(dá)到2 000時(shí)候足以收斂，作為訓(xùn)練過(guò)程中的迭代輸入，每次隨機(jī)抽取16幅模糊圖像，將其不定順序裁剪成寬高均為256的像素點(diǎn)，同時(shí)，在對(duì)應(yīng)的尖銳圖像上也產(chǎn)生相同斑點(diǎn)。實(shí)驗(yàn)變量采用Xavier初始化方法，上述參數(shù)對(duì)實(shí)驗(yàn)都是固定的。實(shí)驗(yàn)涉及到網(wǎng)絡(luò)層之間的遞歸，梯度裁剪只針對(duì)其中的ConvGRU模塊的權(quán)值進(jìn)行穩(wěn)定訓(xùn)練。模型對(duì)圖像的處理能力由計(jì)算機(jī)硬件配置決定，原則上只要GPU內(nèi)存足夠大，可以輸入任意大小的圖像，當(dāng)前實(shí)驗(yàn)測(cè)試GOPRO數(shù)據(jù)集中的一張1 280×720大小的圖像約耗時(shí)1.92 s。

為了客觀全面地評(píng)價(jià)這種尺度遞歸網(wǎng)絡(luò)，實(shí)驗(yàn)專(zhuān)門(mén)設(shè)置了不同的基線模型進(jìn)行測(cè)試，并且將所有卷積層的核大小設(shè)為3，以便在對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行評(píng)價(jià)時(shí)能夠獲得合理的效率。在評(píng)價(jià)單尺度模型SS（Single Scale）時(shí)，采用當(dāng)前模型相同結(jié)構(gòu)，為避免出現(xiàn)因卷積層數(shù)量不等造成的誤差，使用一個(gè)卷積層來(lái)替換當(dāng)前遞歸模塊。模型SC（Scale-Cascaded）則完全按照Nah等人的策略設(shè)計(jì)，是包含三個(gè)獨(dú)立網(wǎng)絡(luò)的尺度級(jí)聯(lián)結(jié)構(gòu)，內(nèi)部每層網(wǎng)絡(luò)都和單尺度模型SS結(jié)構(gòu)類(lèi)似，正是這個(gè)原因，其可訓(xùn)練參數(shù)達(dá)到SS模型的三倍之多。模型SW（Shared Weight）中不包含遞歸模塊，因此該模型在此處的作用相當(dāng)于SC的一個(gè)共享權(quán)重版本，SR-1、SR-2和SR-3表示包含遞歸模塊，且尺度的值分別為1、2和3的網(wǎng)絡(luò)，各基線模型在測(cè)試數(shù)據(jù)集上的測(cè)試結(jié)果見(jiàn)表1。

表1 基線模型的定量測(cè)試結(jié)果Table 1 Quantitative test results of baseline model

觀察表1可知，各模型表現(xiàn)相差較大。首先，測(cè)試結(jié)果表明了多尺度策略對(duì)于圖像的去模糊是非常有效的，其中SS模型使用的結(jié)構(gòu)和參數(shù)均與本文相同，但是相比本文，模型SS在PSNR方面表現(xiàn)的更差（28.40 dB vs 29.98 dB），這種單尺度模型SS可以從嚴(yán)重模糊的圖像中恢復(fù)出比較清晰的結(jié)構(gòu)，但是字符等細(xì)節(jié)仍然不夠清楚，無(wú)法真正識(shí)別。然而，當(dāng)選擇使用尺度為2的模型時(shí)，結(jié)果得到了大幅度提升，因?yàn)閳D像的多尺度信息已經(jīng)有效合并。尺度為3的包含遞歸模塊的模型是當(dāng)前參與對(duì)比的模型中結(jié)果表現(xiàn)最好的。但是尺度設(shè)為4的時(shí)候結(jié)果卻大幅度下降，因此尺度為3是最佳選擇。

通過(guò)對(duì)比實(shí)驗(yàn)還發(fā)現(xiàn)，每個(gè)尺度上獨(dú)立設(shè)置參數(shù)是不必要的，甚至這樣的做法是有害的，事實(shí)表明，模型SC比模型SW和SR-3表現(xiàn)得更差。通過(guò)分析發(fā)現(xiàn)其根本原因在于，雖然更大規(guī)模的參數(shù)能夠產(chǎn)生更大的模型，但同時(shí)這也需要更長(zhǎng)的訓(xùn)練時(shí)間和更大的訓(xùn)練數(shù)據(jù)集。在固定的數(shù)據(jù)集和訓(xùn)練周期等約束條件下，模型SC可能無(wú)法得到最優(yōu)訓(xùn)練。對(duì)包含遞歸模塊的網(wǎng)絡(luò)進(jìn)行了不同尺度下測(cè)試結(jié)果表明，在模型SR-3上的使用效果最好。

2.3 在數(shù)據(jù)集GOPRO上進(jìn)行測(cè)試

為了對(duì)模型的學(xué)習(xí)能力和泛化能力進(jìn)一步檢驗(yàn)，選取數(shù)據(jù)集GOPRO上未參與訓(xùn)練的test部分，共計(jì)1 111對(duì)尖銳/模糊圖像，作為模型有參照測(cè)試的數(shù)據(jù)。并在定量定性條件下與以往的方法進(jìn)行了比較，測(cè)試結(jié)果中將同等條件下得到的PSNR和SSIM作為評(píng)價(jià)指標(biāo)。由于文中所設(shè)計(jì)模型處理的是由相機(jī)在拍攝過(guò)程中抖動(dòng)或物理運(yùn)動(dòng)等造成的模糊（即動(dòng)態(tài)去模糊），因此和傳統(tǒng)的均勻去模糊模型相比較是不公平的，在設(shè)計(jì)對(duì)比實(shí)驗(yàn)的過(guò)程中，參考近年來(lái)在運(yùn)動(dòng)模糊處理方面最新成果，主要有三種算法，包括文獻(xiàn)[1]中的DSD算法、文獻(xiàn)[5]中的NMBR算法和文獻(xiàn)[6]中的MS-DSD算法。DSD是較早的動(dòng)態(tài)場(chǎng)景去模糊算法，NMBR和MS-DSD算法在去模糊的過(guò)程中均選擇使用CNN來(lái)估計(jì)模糊核，并采用傳統(tǒng)的反卷積法來(lái)恢復(fù)清晰圖像。按照不同算法作者所提供的操作和默認(rèn)的參數(shù)進(jìn)行在GOPRO數(shù)據(jù)集上進(jìn)行二次實(shí)驗(yàn)，定量實(shí)驗(yàn)的結(jié)果見(jiàn)表2。

表2 不同算法在GOPRO數(shù)據(jù)集上的測(cè)試結(jié)果Table 2 Test results of different algorithms on GOPRO dataset

通過(guò)表2可以得出，在評(píng)價(jià)指標(biāo)PSNR、SSIM和時(shí)間上，相比DSD、NMBR和MS-DSD算法產(chǎn)生的結(jié)果，當(dāng)前算法訓(xùn)練的模型所產(chǎn)生的結(jié)果質(zhì)量更高。為了更直觀體現(xiàn)該算法在視覺(jué)任務(wù)中的先進(jìn)性，將部分測(cè)試結(jié)果進(jìn)行展示，仍然將PSNR和SSIM作為算法評(píng)價(jià)指標(biāo)，測(cè)試結(jié)果如圖3所示。

圖3 其他文獻(xiàn)算法與本文算法結(jié)果對(duì)比Fig.3 Comparison of results between other algorithms and proposed algorithm

圖3 為GOPRO數(shù)據(jù)集上三種不同圖像，將其分別在NMBR算法MS-DSD算法和本文算法進(jìn)行定量和定性測(cè)試，由上至下，各行的圖片分別代表的是輸入的模糊圖像、NMBR算法測(cè)試結(jié)果、MS-DSD算法測(cè)試結(jié)果和本文算法測(cè)試結(jié)果。顯然，本文算法在評(píng)價(jià)指標(biāo)和主觀視覺(jué)方面表現(xiàn)明顯優(yōu)于其他算法。

2.4 在Kohler數(shù)據(jù)集上測(cè)試

Kohler[17]數(shù)據(jù)集包含4組不同圖像，是典型的盲去模糊數(shù)據(jù)集。每組圖像分別由12種不同模糊核在同一清晰圖像上卷積而成。因此該數(shù)據(jù)集對(duì)于考察模型的去模糊能力非常重要，也是眾多去模糊算法必選數(shù)據(jù)集。選取其中兩組圖像進(jìn)行去模糊測(cè)試和比較，仍然通過(guò)PSNR和SSIM對(duì)去模糊后的結(jié)果圖像進(jìn)行評(píng)價(jià)，不同算法在Kohler數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果見(jiàn)表3。

表3 不同算法在Kholer數(shù)據(jù)集上的測(cè)試結(jié)果Table 3 Test results of different algorithms on Kholer dataset

圖4 （a）～（d）分別表示處理前的模糊圖像、采用MS-DSD算法處理后得到的結(jié)果圖像、采用本文算法處理后得到的結(jié)果圖像以及真實(shí)的清晰圖像。顯然，本文算法處理后的鐘表盤(pán)和屋檐等在細(xì)節(jié)方面清晰度高于Nah等人的MS-DSD算法，表明其在處理復(fù)雜模糊核方面具有較強(qiáng)的魯棒性。

圖4 Kohler數(shù)據(jù)集測(cè)試結(jié)果Fig.4 Test results of Kohler dataset

2.5 在Lai數(shù)據(jù)集上測(cè)試

Lai[18]數(shù)據(jù)集不同于GOPRO和Kohler數(shù)據(jù)集，它的提出是為了進(jìn)一步研究符合真實(shí)運(yùn)動(dòng)規(guī)律的模糊圖像。該數(shù)據(jù)集的不同之處在于，其中Real Dataset部分是真實(shí)場(chǎng)景下由運(yùn)動(dòng)形成的模糊圖像，不同于以往采用模糊核卷積形成的運(yùn)動(dòng)模糊，因而能夠徹底表達(dá)出真實(shí)運(yùn)動(dòng)模糊的復(fù)雜性，從而得出的實(shí)驗(yàn)結(jié)果更具說(shuō)服力，也更加符合實(shí)際場(chǎng)景。

由于Lai數(shù)據(jù)集中Real Dataset部分圖像為真實(shí)運(yùn)動(dòng)下的模糊圖像，沒(méi)有清晰圖像作為對(duì)比，因而無(wú)法在該數(shù)據(jù)集上對(duì)本文方法進(jìn)行有參考評(píng)價(jià)。但是通過(guò)視覺(jué)觀察可知，對(duì)圖像中細(xì)節(jié)部分的復(fù)原效果方面，本文方法仍然優(yōu)于NMBR和MS-DSD算法，具體結(jié)果如圖5所示。

圖5 Lai數(shù)據(jù)集測(cè)試結(jié)果Fig.5 Test results of Lai dataset

通過(guò)對(duì)比在數(shù)據(jù)集Lai上的測(cè)試結(jié)果，可以看出本文方法明顯優(yōu)于其他兩種算法，在圖像中，本文去模糊結(jié)果分別在建筑文字、標(biāo)識(shí)文本和女孩眼睛等部位獲得了更好的復(fù)原效果。

3 結(jié)論

本文以多尺度神經(jīng)網(wǎng)絡(luò)下圖像去模糊算法為基礎(chǔ)，通過(guò)對(duì)當(dāng)前流行算法進(jìn)行評(píng)測(cè)，發(fā)現(xiàn)在不同尺度間調(diào)參會(huì)引發(fā)參數(shù)過(guò)大、穩(wěn)定性降低、無(wú)約束解空間等問(wèn)題。在總結(jié)引起算法穩(wěn)定性差及參數(shù)過(guò)大等原因之后，提出跨尺度共享網(wǎng)絡(luò)權(quán)重的方案。在改進(jìn)網(wǎng)絡(luò)參數(shù)設(shè)定的過(guò)程中將融合密集塊的編解碼器結(jié)構(gòu)引入其中，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，借助深度遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了不同尺度間的參數(shù)傳遞。在對(duì)當(dāng)前算法進(jìn)行評(píng)價(jià)的過(guò)程中，將其在大型公開(kāi)數(shù)據(jù)集GOPRO上訓(xùn)練，得到訓(xùn)練參數(shù)減少2/3、訓(xùn)練時(shí)間節(jié)省近3/4的新模型，并在GOPRO和Kohler等數(shù)據(jù)集上同當(dāng)前較為先進(jìn)的3種算法做了比較。結(jié)果表明，在PSNR、SSIM和模糊處理時(shí)間Time上，本文方法明顯優(yōu)于其他方法，處理后的圖像在視覺(jué)上也取得了更為良好的效果。通過(guò)在不同模糊核上的表現(xiàn)，表明本文方法在單幅圖像運(yùn)動(dòng)模糊的去除方面具有明顯優(yōu)勢(shì)。