基于深度信念沙漏網(wǎng)絡(luò)的無(wú)人機(jī)運(yùn)動(dòng)模糊圖像的恢復(fù)

蔡 鍔 鄧春華

(武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 湖北 武漢 430065)(智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430065)

0 引 言

隨著科學(xué)技術(shù)的發(fā)展，無(wú)人機(jī)已經(jīng)開始滲透到越來越多的領(lǐng)域，尤其是農(nóng)業(yè)、醫(yī)療、拍攝等，為人們的生活帶來了極大的便利[1-3]。近年來，諸如無(wú)人機(jī)等低空飛行器已經(jīng)成為許多玩家的玩具，但是絕大多數(shù)飛行器都沒有民航管理部門的適航許可，飛行器玩家也沒有相關(guān)部門頒發(fā)的駕駛執(zhí)照。無(wú)人機(jī)使用不當(dāng)會(huì)帶來嚴(yán)重危害[4-6]。例如，無(wú)人機(jī)未經(jīng)許可闖入公共及敏感區(qū)域、意外墜落、影響客機(jī)正常起降、碰撞高層建筑等。同時(shí)，開始出現(xiàn)利用無(wú)人機(jī)販毒、運(yùn)違禁物品走私等新的犯罪形態(tài)，給公共安全帶來了新的問題。因此，對(duì)黑飛無(wú)人機(jī)進(jìn)行監(jiān)管勢(shì)在必行。

當(dāng)通過人工巡邏對(duì)無(wú)人機(jī)監(jiān)視時(shí)，人工觀察的視野容易受到樹木和建筑的遮擋，并且人工追蹤也容易受到地面建筑和道路的限制，效率低下[7]。因此，開發(fā)巡邏飛行器進(jìn)行反無(wú)人機(jī)技術(shù)應(yīng)運(yùn)而生。通常，巡邏飛行器覆蓋的區(qū)域相對(duì)較大，而民用無(wú)人機(jī)個(gè)體相對(duì)較小，從巡邏飛行器上拍攝的圖片中，無(wú)人機(jī)目標(biāo)一般比較小。由于巡邏飛行器和無(wú)人機(jī)都在三維空間中直線運(yùn)動(dòng)，巡邏飛行器拍攝到的圖片容易產(chǎn)生運(yùn)動(dòng)模糊。因此，恢復(fù)運(yùn)動(dòng)模糊圖像中的無(wú)人機(jī)小目標(biāo)是反無(wú)人機(jī)技術(shù)亟待解決的問題。本文的任務(wù)是通過深度學(xué)習(xí)在運(yùn)動(dòng)模糊圖像中恢復(fù)無(wú)人機(jī)小目標(biāo)。

運(yùn)動(dòng)模糊圖像可以看作模糊核與清晰圖像卷積的結(jié)果[8]。傳統(tǒng)的去運(yùn)動(dòng)模糊方法有快速傅里葉變換法、維也納濾波器法、Lucy-Richardson濾波法等[9-11]。傳統(tǒng)方法一般會(huì)利用圖像先驗(yàn)信息或者對(duì)模糊過程作出假設(shè)，求出模糊核，然后對(duì)模糊圖像進(jìn)行反卷積操作，估算出清晰圖像。但這些傳統(tǒng)方法的數(shù)學(xué)模型和求解方法比較復(fù)雜，算法效率低，魯棒性不強(qiáng)，不能適應(yīng)不同的數(shù)據(jù)集或不同因素造成的模糊。因此，傳統(tǒng)方法不適合高速運(yùn)動(dòng)模糊圖像中小目標(biāo)的恢復(fù)。

近些年來，卷積神經(jīng)網(wǎng)絡(luò)(CNN)[12]在計(jì)算機(jī)視覺領(lǐng)域越來越流行。Su等[13]將CNN引入到圖像模糊復(fù)原領(lǐng)域中，提出一種DeBlurNet。DeBlurNet的效果遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)方法，但對(duì)高速運(yùn)動(dòng)模糊圖像不能有效地進(jìn)行復(fù)原。Goodfellow等提出了生成對(duì)抗網(wǎng)絡(luò)(GAN)，GAN能夠保留圖像中豐富的圖像細(xì)節(jié)、創(chuàng)造出和真實(shí)圖像十分相近的圖像，GAN在圖像增強(qiáng)、圖像重建等問題上取得了很好的效果[14]。Kupyn等[15]在GAN的基礎(chǔ)上提出了DeblurGAN，DeblurGAN是當(dāng)前比較流行的端到端學(xué)習(xí)方法的去模糊網(wǎng)絡(luò)。同時(shí)，DeblurGAN也承襲了GAN的缺點(diǎn)。由于無(wú)人機(jī)在自然環(huán)境中的高速運(yùn)行，圖片的拍攝過程中產(chǎn)生的模糊的情況復(fù)雜。當(dāng)運(yùn)動(dòng)模糊程度比較大時(shí)，DeblurGAN不容易訓(xùn)練，模型可能會(huì)出現(xiàn)坍縮，導(dǎo)致生成的圖片會(huì)產(chǎn)生奇怪的涂鴉[16-17]。最近兩年，深度信念網(wǎng)絡(luò)在超分辨率領(lǐng)域中應(yīng)用非常成功[18]。深度信念網(wǎng)絡(luò)是一種深層的概率有向圖模型，具有訓(xùn)練穩(wěn)定和容易收斂等優(yōu)點(diǎn)。為了解決上述問題，本文引入深度信念網(wǎng)絡(luò)用于運(yùn)動(dòng)模糊圖像的恢復(fù)。

文獻(xiàn)[18]中的網(wǎng)絡(luò)模型是一種全局性概率生成模型，適合小圖像的恢復(fù)。文獻(xiàn)[18]的實(shí)驗(yàn)主要是將8×8像素大小的圖像恢復(fù)成32×32像素大小的圖像。它不適合對(duì)大范圍或者局部?jī)?nèi)容差異較大的圖像進(jìn)行恢復(fù)。如果直接將文獻(xiàn)[18]的超分辨率方法應(yīng)用于模糊圖像的恢復(fù)，這樣的應(yīng)用有一定的效果，但是不能有效恢復(fù)模糊圖像的局部細(xì)節(jié)。因此，本文將深度信念網(wǎng)絡(luò)與沙漏網(wǎng)絡(luò)相結(jié)合，構(gòu)建一種適合小目標(biāo)的模糊圖像恢復(fù)的網(wǎng)絡(luò)模型。

本文的主要工作包括三個(gè)方面：① 將深度信念網(wǎng)絡(luò)引入到無(wú)人機(jī)小目標(biāo)模糊圖像的恢復(fù)任務(wù)中，并設(shè)計(jì)一種適合局部迭代恢復(fù)的網(wǎng)絡(luò)框架；② 將深度信念網(wǎng)絡(luò)與沙漏網(wǎng)絡(luò)相結(jié)合，構(gòu)建一種適合小目標(biāo)的模糊圖像恢復(fù)的深度信念沙漏網(wǎng)絡(luò)；③ 建立了模擬仿真的無(wú)人機(jī)高速運(yùn)動(dòng)模糊圖像數(shù)據(jù)集。

1 相關(guān)工作

1.1 信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(Deep Belief Nets)[19]是由Hinton等于2006年提出的一種生成模型。它通過訓(xùn)練神經(jīng)元間的權(quán)重，讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練樣本。深度信念網(wǎng)絡(luò)可以用來識(shí)別特征、樣本分類，還可以用來生成樣本。

像素卷積神經(jīng)網(wǎng)絡(luò)(PixelCNN)[20]是由Oord等于2016年提出的由多層全卷積層[21]組成的深度卷積神經(jīng)網(wǎng)絡(luò)，屬于全可見信念網(wǎng)絡(luò)。PixelCNN對(duì)像素點(diǎn)的概率分布進(jìn)行建模，當(dāng)給模型一組描述性的向量時(shí)，PixelCNN便能生成大量有變化的圖片樣本。該模型提供了一個(gè)易于評(píng)估的指標(biāo)，這個(gè)指標(biāo)通過計(jì)算數(shù)據(jù)的似然來評(píng)估生成的樣本的質(zhì)量。PixelCNN對(duì)圖像的像素施加順序，將圖像表示為由像素組成的長(zhǎng)序列。PixelCNN使用條件概率和鏈?zhǔn)揭?guī)則表示圖片x的條件概率分布，表示為p(x)。p(x)為每一個(gè)像素xi的條件概率分布p(xi)的乘積，表示如下：

(1)

PixelCNN中每一個(gè)像素xi的條件概率分布p(xi)取決于其之前的像素(x1,x2,…,xi-1)，如圖1所示[20]。

圖1 像素xi的概率

PixelCNN通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的概率分布進(jìn)行建模，并將p(x)的似然最大化來學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。計(jì)算像素xi的概率需要考慮xi之前的像素。在生成圖片時(shí)，PixelCNN從圖片的左上角開始，逐像素點(diǎn)地生成像素。

文獻(xiàn)[18]構(gòu)造了一個(gè)簡(jiǎn)單的多模態(tài)MNIST角點(diǎn)數(shù)據(jù)集實(shí)驗(yàn)。實(shí)驗(yàn)證明了相對(duì)于像素獨(dú)立模型，PixelCNN模型在多模態(tài)任務(wù)中的優(yōu)越性。

因此，本文將PixelCNN深度信念網(wǎng)絡(luò)引入到無(wú)人機(jī)小目標(biāo)模糊圖像的恢復(fù)任務(wù)中。它用于學(xué)習(xí)無(wú)人機(jī)清晰圖像的先驗(yàn)知識(shí)。在恢復(fù)模糊圖片時(shí)，深度信念網(wǎng)絡(luò)將使生成不帶有像素殘影的清晰圖片。然而，深度信念網(wǎng)絡(luò)不能有效地對(duì)模糊圖像的局部細(xì)節(jié)進(jìn)行恢復(fù)。

1.2 沙漏網(wǎng)絡(luò)

堆疊沙漏網(wǎng)絡(luò)(Stacked Hourglass Networks)[22]是由Newell等提出的一種堆疊沙漏型的全卷積網(wǎng)絡(luò)。沙漏網(wǎng)絡(luò)可以捕捉圖像的多尺度特征，并從粗到細(xì)地預(yù)測(cè)對(duì)象的關(guān)鍵點(diǎn)出現(xiàn)在圖像中每個(gè)位置的概率。位置概率用熱力圖表示。

沙漏模塊的結(jié)構(gòu)如圖2所示。模塊的兩端具有較大的特征尺度，模塊的中間具有較小的特征尺度，整個(gè)模塊為一個(gè)對(duì)稱的結(jié)構(gòu)。這種結(jié)構(gòu)設(shè)計(jì)是為了捕獲對(duì)象的多尺度信息，從而獲得更準(zhǔn)確的預(yù)測(cè)。

圖2 沙漏模塊

沙漏模塊中殘差層[23]的結(jié)構(gòu)如圖3所示。殘差層能在保留原始特征信息的前提下進(jìn)一步提取更深的特征，同時(shí)也能使網(wǎng)絡(luò)更深而梯度不會(huì)消失且無(wú)法訓(xùn)練。

圖3 殘差模塊

將上一層沙漏模塊輸出的熱力圖作為下一層沙漏模塊的輸入，下一層沙漏模塊就可以使用圖像中關(guān)鍵點(diǎn)間的相互關(guān)系。因此，相比于單個(gè)的沙漏模塊，串聯(lián)的沙漏模塊復(fù)用了全部關(guān)鍵點(diǎn)的信息，從而提高了關(guān)鍵點(diǎn)的識(shí)別精度。

傳統(tǒng)的識(shí)別或檢測(cè)網(wǎng)絡(luò)的損失函數(shù)只比較網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與標(biāo)簽之間的差異。這樣則會(huì)容易出現(xiàn)梯度消失的情況。沙漏網(wǎng)絡(luò)中每個(gè)沙漏模塊之后的輸出結(jié)果都可以參與損失的計(jì)算中。這樣可以起到中間監(jiān)督的作用，從而可以適當(dāng)?shù)馗碌讓訁?shù)，并提高生成的圖像的準(zhǔn)確性。

由于深度信念網(wǎng)絡(luò)不能有效恢復(fù)模糊圖像的局部細(xì)節(jié)，本文將利用沙漏網(wǎng)絡(luò)的多尺度提取、多模塊串聯(lián)和中間監(jiān)督的特點(diǎn)，來獲得無(wú)人機(jī)的關(guān)鍵點(diǎn)特征，從而使深度信念網(wǎng)絡(luò)能對(duì)運(yùn)動(dòng)模糊圖像的局部細(xì)節(jié)進(jìn)行恢復(fù)。

2 深度信念沙漏網(wǎng)絡(luò)

為了解決拍攝高速運(yùn)動(dòng)的物體時(shí)圖像產(chǎn)生運(yùn)動(dòng)模糊的問題，本文提出了一種基于深度信念網(wǎng)絡(luò)和沙漏網(wǎng)絡(luò)的像素遞歸生成模型。該模型記為DB-HG，如圖4所示。

圖4 DB-HG模型

DB-HG模型分為兩個(gè)部分。第一部分將模糊圖像進(jìn)行初步復(fù)原，第二部分將初步復(fù)原的圖像再次復(fù)原。每個(gè)部分由兩個(gè)網(wǎng)絡(luò)組成，分別為使用PixelCNN深度信念網(wǎng)絡(luò)的優(yōu)先網(wǎng)絡(luò)和使用沙漏網(wǎng)絡(luò)的調(diào)節(jié)網(wǎng)絡(luò)。優(yōu)先網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，調(diào)節(jié)網(wǎng)絡(luò)中的沙漏模塊結(jié)構(gòu)如圖2所示。

圖5 優(yōu)先網(wǎng)絡(luò)結(jié)構(gòu)

(2)

本文需要解決確定p(y|x)的適當(dāng)形式，使模型能夠?qū)崿F(xiàn)有效的學(xué)習(xí)，生成逼真的、清晰的輸出。本文使用文獻(xiàn)[18]中的PixelCNN深度信念網(wǎng)絡(luò)，以便能夠?qū)ι上袼刂g的統(tǒng)計(jì)依賴性進(jìn)行建模，從而在給出非常模糊的圖像輸入的情況下產(chǎn)生清晰的合成圖像。

文獻(xiàn)[18]中的自回歸模型部分的優(yōu)先網(wǎng)絡(luò)捕獲像素之間依賴性，而調(diào)節(jié)部分的調(diào)節(jié)網(wǎng)絡(luò)捕獲圖像的全局結(jié)構(gòu)。文獻(xiàn)[18]所處理的數(shù)據(jù)主要針對(duì)8×8像素大小的圖像。這種逐像素點(diǎn)與全局關(guān)聯(lián)模式對(duì)超小目標(biāo)非常有效，隨著范圍擴(kuò)大，性能將會(huì)顯著下降。為了克服這個(gè)缺點(diǎn)，本文提出了基于局部條件的深層信念網(wǎng)絡(luò)像素生成策略：

(3)

式中：Ei={ej|‖ej-ei‖|<δ,j

這種基于局部條件的策略，不僅對(duì)超小目標(biāo)有效，而且不受尺度大小的約束。為了彌補(bǔ)全局條件的損失，本文設(shè)計(jì)了迭代生成的網(wǎng)絡(luò)模式，增大了推演單個(gè)像素點(diǎn)的視野。此外，本文的調(diào)節(jié)部分使用沙漏網(wǎng)絡(luò)，配合優(yōu)先網(wǎng)絡(luò)完成像素生成。

給定輸入x∈RL，令A(yù)(x):RL→RK表示預(yù)測(cè)第i個(gè)輸出像素K個(gè)可能值對(duì)應(yīng)的概率向量的調(diào)節(jié)網(wǎng)絡(luò)。類似地，令Bi(yEi):Ri-1→RK表示預(yù)測(cè)第i個(gè)輸出像素K個(gè)可能值對(duì)應(yīng)的概率向量的優(yōu)先網(wǎng)絡(luò)。本文的概率模型通過將兩組概率值相加并在它們上應(yīng)用softmax運(yùn)算來預(yù)測(cè)第i個(gè)輸出像素的分布，表示為：

p(yi|x,yEi)=softmax(Ai(x)+Bi(yEi))

(4)

(5)

式中：lse(·)是softmax函數(shù)分母的對(duì)數(shù)運(yùn)算符，1[k]表示第k維的值設(shè)置為1的K維獨(dú)熱向量。

為了解決用式(5)訓(xùn)練的模型容易忽略調(diào)節(jié)網(wǎng)絡(luò)的問題[18]，本文增加了調(diào)節(jié)網(wǎng)絡(luò)損失的權(quán)重。最終的總損失函數(shù)表示為：

(6)

DB-HG模型的兩個(gè)部分包括優(yōu)先網(wǎng)絡(luò)和調(diào)節(jié)網(wǎng)絡(luò)兩個(gè)支路。優(yōu)先網(wǎng)絡(luò)是一個(gè)PixelCNN深度信念網(wǎng)絡(luò)，其接收標(biāo)準(zhǔn)清晰圖像作為輸入。調(diào)節(jié)網(wǎng)絡(luò)為一個(gè)堆疊沙漏模塊的沙漏網(wǎng)絡(luò)，其接收模糊圖像作為輸入。優(yōu)先網(wǎng)絡(luò)與調(diào)節(jié)網(wǎng)絡(luò)輸出的特征大小都為[32,32,768]，將兩個(gè)網(wǎng)絡(luò)的輸出相加并通過softmax交叉熵計(jì)算，得到32×32×3的輸出。

如圖6(a)所示，圖像的生成過程分為兩個(gè)部分。在第一部分中，網(wǎng)絡(luò)將一個(gè)空白圖像(零矩陣)和模糊的無(wú)人機(jī)圖像作為輸入，將生成的圖像更新空白圖像的一個(gè)像素。在更新空白圖像后，網(wǎng)絡(luò)將更新后的圖像作為新的輸入。重復(fù)這樣逐像素的更新操作，直到網(wǎng)絡(luò)更新了整個(gè)空白圖像，得到初步復(fù)原的生成圖像1。在第二部分中，網(wǎng)絡(luò)將一個(gè)空白圖像(零矩陣)和生成圖像1作為輸入。重復(fù)上述更新操作，直到網(wǎng)絡(luò)完整地更新空白圖像，得到最終復(fù)原的生成圖像2。圖像的更新過程如圖6(b)所示。

圖6 圖像生成的過程

本文首先提出了基于局部條件的像素生成策略，使深度信念網(wǎng)絡(luò)不僅對(duì)超小目標(biāo)有效，而且不受尺度大小的約束。并且設(shè)計(jì)了迭代生成的網(wǎng)絡(luò)模式，增大了推演單個(gè)像素點(diǎn)的視野。然后，本文將深度信念網(wǎng)絡(luò)與沙漏網(wǎng)絡(luò)相結(jié)合，使網(wǎng)絡(luò)能有效地恢復(fù)圖像的局部細(xì)節(jié)。最后，本文將模糊圖像進(jìn)行兩次恢復(fù)，使恢復(fù)的圖像更加清晰。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

由于人工條件下難以拍攝得到大量的無(wú)人機(jī)圖像，而且拍攝得到的模糊圖像沒有對(duì)應(yīng)的清晰圖像。因此本文使用模擬仿真的方式對(duì)清晰圖片進(jìn)行模糊操作，生成訓(xùn)練樣本。該操作采用高斯過程模擬運(yùn)動(dòng)軌跡，運(yùn)動(dòng)軌跡上的每一點(diǎn)都與上一點(diǎn)的位置和速度有關(guān)。然后添加高斯噪聲、椒鹽噪聲以增加運(yùn)動(dòng)隨機(jī)性。最后對(duì)運(yùn)動(dòng)軌跡進(jìn)行子像素插值得到模糊核。

首先，本文收集清晰的無(wú)人機(jī)圖像。然后，將清晰的無(wú)人機(jī)圖像經(jīng)過翻轉(zhuǎn)與旋轉(zhuǎn)處理，得到大量的清晰的無(wú)人機(jī)圖像，將其作為標(biāo)準(zhǔn)清晰圖像。最后，將每幅標(biāo)準(zhǔn)清晰圖像經(jīng)過模糊處理，得到對(duì)應(yīng)的模糊的無(wú)人機(jī)圖像，所有圖像都設(shè)置為32×32像素大小。本文總共得到60 000對(duì)無(wú)人機(jī)圖像，按5∶1比例將圖像劃分為訓(xùn)練集和測(cè)試集。部分圖像數(shù)據(jù)如圖7所示，其中每?jī)尚袨橐唤M，上一行是運(yùn)動(dòng)模糊的圖像，下一行為對(duì)應(yīng)的清晰圖像。

圖7 部分訓(xùn)練數(shù)據(jù)

3.2 圖像相似度評(píng)估

通過比較現(xiàn)有的圖像相似度評(píng)估算法[24-26]，本文選用以下三種評(píng)估方法對(duì)生成圖像與標(biāo)準(zhǔn)圖像的相似度進(jìn)行評(píng)估。

峰值信噪比(pSNR)是一個(gè)表示信號(hào)最大可能功率和影響它的表示精度的破壞性噪聲功率的比值的工程術(shù)語(yǔ)。由于許多信號(hào)都有非常寬的動(dòng)態(tài)范圍，pSNR常用對(duì)數(shù)分貝單位(dB)來表示。pSNR經(jīng)常用作圖像壓縮等領(lǐng)域中信號(hào)重建質(zhì)量的測(cè)量方法，它通常簡(jiǎn)單地通過均方誤差(MSE)進(jìn)行定義。兩個(gè)m×n單色圖像I和K，如果一個(gè)為另外一個(gè)的噪聲近似，那么它們的MSE定義為：

(7)

MSE指標(biāo)的值越小，代表兩個(gè)圖像的像素誤差越小。pSNR定義為：

(8)

式中：MAXI是表示像素點(diǎn)顏色的最大數(shù)值，8bit表示的圖像中MAXI為255。信噪比數(shù)值越大，代表圖像的失真越少。

結(jié)構(gòu)相似度(SSIM)是一種用以衡量?jī)煞鶊D像相似度的指標(biāo)。當(dāng)一幅圖像為無(wú)失真圖像，另一幅圖像為失真后的圖像時(shí)，兩幅圖像之間的SSIM可以看成是失真圖像的圖像品質(zhì)衡量指標(biāo)。相較于傳統(tǒng)使用的圖像品質(zhì)衡量指標(biāo)，SSIM在圖像品質(zhì)的衡量上更能符合人眼對(duì)圖像品質(zhì)的判斷。給定兩個(gè)圖像x和y，兩者的SSIM定義為：

SSIM=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(9)

式中：l(x,y)比較x和y的亮度，c(x,y)比較x和y的對(duì)比度，s(x,y)比較x和y的結(jié)構(gòu)，α>0、β>0、γ>0為調(diào)整l(x,y)、c(x,y)、s(x,y)的參數(shù)。SSIM指標(biāo)的值越大，代表兩幅圖像的相似性越高。

本文使用pSNR、MSE和SSIM來計(jì)算生成的清晰圖像與標(biāo)準(zhǔn)清晰圖像之間的相似度。

3.3 實(shí)驗(yàn)結(jié)果分析

本文將DeblurNet、DeblurGAN與文獻(xiàn)[18]中的超分辨率網(wǎng)絡(luò)模型應(yīng)用于本文數(shù)據(jù)集進(jìn)行橫向?qū)Ρ龋謩e記為DeblurNet、DeblurGAN和PRSR。此外，本文還在實(shí)驗(yàn)中設(shè)計(jì)了三種網(wǎng)絡(luò)模型進(jìn)行縱向?qū)Ρ?，分別記為DB-ResN、DB-HG1和DB-HG2。DB-ResN為用深度殘差網(wǎng)絡(luò)(ResNet)代替DB-HG中調(diào)節(jié)部分的網(wǎng)絡(luò)模型。DB-HG1為使用單個(gè)沙漏模塊的DG-HG網(wǎng)絡(luò)模型。DB-HG2為串聯(lián)了兩個(gè)沙漏模塊的DB-HG網(wǎng)絡(luò)模型。評(píng)估結(jié)果如表1所示。

表1 評(píng)估結(jié)果

去模糊效果對(duì)比如圖8所示?？梢钥闯鯠eBlurNet與DeblurGAN生成的清晰圖像較平滑，圖像帶有一些殘影，不清晰。并且DeblurNet生成的圖像帶有黑色的邊框，DeblurGAN生成的圖像的顏色趨于一致。而基于深度信念網(wǎng)絡(luò)的模型生成的清晰圖像與標(biāo)準(zhǔn)清晰圖像在色調(diào)上保持一致，且紋理信息更加豐富，細(xì)節(jié)更清楚。

圖8 去模糊效果對(duì)比

從表1也可以看出，本文基于深度信念網(wǎng)絡(luò)提出的(DB-HG)模型比DeBlurNet與DeblurGAN模型表現(xiàn)得更好。直接將超分辨率模型(PRSR)應(yīng)用到無(wú)人機(jī)模糊圖像中進(jìn)行恢復(fù)也能起到一定的效果，但是表現(xiàn)不佳。使用深度殘差網(wǎng)絡(luò)的DB-HG模型(DG-ResN)比使用單層沙漏模塊的DB-HG模型(DB-HG1)表現(xiàn)得好，而隨著串聯(lián)的沙漏模塊的增加，DB-HG模型(DG-HG2)表現(xiàn)得更好。

實(shí)驗(yàn)結(jié)果表明，與已有的方法相比，本文構(gòu)建的深度信念沙漏網(wǎng)絡(luò)在無(wú)人機(jī)小目標(biāo)模糊圖像恢復(fù)任務(wù)中的效果更好。

3.4 GoPro數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

GoPro數(shù)據(jù)集是目前為數(shù)不多的運(yùn)動(dòng)模糊圖像公開數(shù)據(jù)集。GoPro數(shù)據(jù)集使用GOPRO4 HERO Black相機(jī)拍攝了240幀/s的街景視頻，對(duì)連續(xù)的7到13幀取平均獲得模糊程度不一的模糊圖像。數(shù)據(jù)集將模糊圖像對(duì)應(yīng)的清晰圖像定義為處于中間位置的一幀圖像。數(shù)據(jù)集包含3 214對(duì)圖像，訓(xùn)練集和測(cè)試集分別為2 103對(duì)圖像和1 111對(duì)圖像，圖像分辨率為1 280×720像素大小。但是GoPro數(shù)據(jù)集的圖像中的場(chǎng)景復(fù)雜、圖像分辨率高、ground truth畫質(zhì)不佳、圖像數(shù)量少，不適用于本文所研究的對(duì)象。

為了在GoPro數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，本文GoPro數(shù)據(jù)集進(jìn)行增強(qiáng)處理。首先將訓(xùn)練集中的每幅圖像十字剪切出4幅小圖像。然后將這5幅圖像進(jìn)行一次翻轉(zhuǎn)與三次旋轉(zhuǎn)，增加訓(xùn)練集的數(shù)據(jù)量到84 120對(duì)圖像。最后將所有的圖像放縮到32×32像素大小進(jìn)行訓(xùn)練。

GoPro數(shù)據(jù)集實(shí)驗(yàn)的評(píng)估結(jié)果如表2所示。

表2 GoPro數(shù)據(jù)集評(píng)估結(jié)果

從表2可以看出，本文提出的DB-HG模型(DG-HG2)的復(fù)原效果比DeBlurNet與DeblurGAN模型更好。而PRSR模型則無(wú)法通過超分辨率的方法對(duì)復(fù)雜場(chǎng)景下的運(yùn)動(dòng)模糊的圖像進(jìn)行有效恢復(fù)。

GoPro數(shù)據(jù)集去模糊效果如圖9所示?？梢钥闯鯠eblurGAN和DB-HG模型能有效對(duì)模糊圖像進(jìn)行復(fù)原。而DeblurNet生成的圖像帶有黑色的邊框，PRSR生成的圖像更加模糊。

圖9 GoPro數(shù)據(jù)集去模糊效果

實(shí)驗(yàn)結(jié)果表明，與已有的方法相比，本文構(gòu)建的深度信念沙漏網(wǎng)絡(luò)在GoPro數(shù)據(jù)集中對(duì)運(yùn)動(dòng)模糊的圖像進(jìn)行復(fù)原的效果最好。

4 結(jié) 語(yǔ)

本文將深度信念網(wǎng)絡(luò)引入到無(wú)人機(jī)小目標(biāo)模糊圖像的恢復(fù)任務(wù)中，并設(shè)計(jì)了一種適合局部迭代恢復(fù)的網(wǎng)絡(luò)框架。然后由于沙漏網(wǎng)絡(luò)具有能在不同尺度上學(xué)習(xí)圖像的細(xì)節(jié)和輪廓特征的特性，本文將深度信念網(wǎng)絡(luò)與沙漏網(wǎng)絡(luò)相結(jié)合，提出了DB-HG網(wǎng)絡(luò)模型。DB-HG網(wǎng)絡(luò)模型通過對(duì)模糊圖像進(jìn)行兩次復(fù)原，使模糊圖像的恢復(fù)更加清晰。在對(duì)比實(shí)驗(yàn)中， DB-HG網(wǎng)絡(luò)模型在無(wú)人機(jī)數(shù)據(jù)集和GoPro數(shù)據(jù)集上表現(xiàn)出比當(dāng)前已有的網(wǎng)絡(luò)模型更好的模糊圖像復(fù)原效果。