密集殘差網(wǎng)絡(luò)紅外圖像超分辨率重構(gòu)

賈 宇,溫 習(xí),王晨晟

(1.華中光電技術(shù)研究所-武漢光電國(guó)家研究中心,湖北 武漢 430223；2.中國(guó)人民解放軍32381部隊(duì),北京 100072)

1 引 言

對(duì)于成像系統(tǒng)而言,更高的分辨率代表著更豐富的細(xì)節(jié)信息。一般而言,在未達(dá)到衍射極限的情況下,可以通過(guò)光學(xué)系統(tǒng)的設(shè)計(jì)和增大靶面像素?cái)?shù)來(lái)提高圖像的分辨率。但在實(shí)際應(yīng)用中,由于體積與成本的限制,不可能無(wú)限制地采用復(fù)雜、昂貴的光學(xué)系統(tǒng)與探測(cè)器。這就需要在硬件條件一定的情況下,通過(guò)算法來(lái)進(jìn)行圖像的超分辨率增強(qiáng)。因此,圖像超分辨率(SR)也一直是學(xué)術(shù)界關(guān)注的研究熱點(diǎn)[1]。超分辨率旨在提高圖像的像素分辨率,將一定分辨率的圖像轉(zhuǎn)換成具有更高(通常是倍增)分辨率的圖像,以使其具有更好的視覺(jué)質(zhì)量和更精細(xì)的細(xì)節(jié)信息[2-3]。

通過(guò)超分辨率提升獲得的高分辨率圖像,更多的是以提供給人眼觀察為主。因此,作為顯示輸出端的優(yōu)化手段,它對(duì)于如電腦顯示器,高清監(jiān)視器和手持設(shè)備(智能電話和平板電腦等)來(lái)說(shuō)異常重要。在應(yīng)用領(lǐng)域上,超分辨率可用于場(chǎng)景中的物體檢測(cè)、監(jiān)視視頻中的人臉識(shí)別、醫(yī)學(xué)成像、遙感成像和天文圖像等。醫(yī)學(xué)圖像SR技術(shù)的應(yīng)用可以給醫(yī)生呈現(xiàn)更清晰的細(xì)節(jié),幫助醫(yī)生做出更準(zhǔn)確的醫(yī)學(xué)診斷[4-7]；SR技術(shù)應(yīng)用在航空遙感[8-9]探測(cè)中可以獲得更復(fù)雜的地表紋理信息細(xì)節(jié)；在刑偵上應(yīng)用的SR技術(shù)可以幫助警方提供更準(zhǔn)確的犯罪嫌疑人外形與面貌信息,為偵查過(guò)程提供更有效的線索[10]。

很多超分辨率算法都要借助與額外的機(jī)構(gòu)或成像器件,如基于亞像元微位移的多幅低分辨率圖像重構(gòu)方法[11]、基于微掃描獲取的多幅低分辨圖像重構(gòu)方法[12]與基于壓縮感知方法構(gòu)建測(cè)量矩陣的超分辨率重構(gòu)方法[13]。這三種SR方法都需要微掃描系統(tǒng)、多個(gè)CCD或壓縮采樣等硬件設(shè)備和復(fù)雜的后續(xù)處理技術(shù)來(lái)提高圖像分辨率,占據(jù)成像系統(tǒng)空間。

因此,很多采用了純計(jì)算的方式來(lái)實(shí)現(xiàn)超分辨率圖像增強(qiáng)。這種方法可大致分為兩大類(lèi):傳統(tǒng)方法和深度學(xué)習(xí)方法。經(jīng)典算法已經(jīng)存在了數(shù)十年,但與基于深度學(xué)習(xí)的算法相比卻表現(xiàn)不佳。因此,最新算法依賴(lài)于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型來(lái)重構(gòu)所需的細(xì)節(jié),以實(shí)現(xiàn)準(zhǔn)確的超分辨率。

基于深度學(xué)習(xí)的超分辨率重構(gòu)方法是一種新興的方法。與傳統(tǒng)方法相比,具有清晰度好、精度高等優(yōu)點(diǎn)。然而,一些基于深度學(xué)習(xí)的SR算法以均方差最小化為優(yōu)化目標(biāo)[14-17]。該方法雖然能提高重構(gòu)圖像的客觀評(píng)價(jià)指標(biāo),但不能有效地重構(gòu)圖像的細(xì)節(jié)紋理。Ledig等人提出(使用對(duì)抗式生成網(wǎng)絡(luò)的超分辨率,SRGAN)將對(duì)抗式生成網(wǎng)絡(luò)應(yīng)用于SR領(lǐng)域[18]。重構(gòu)后的圖像紋理相對(duì)清晰,但與真實(shí)圖像相比有些圖像細(xì)節(jié)不真實(shí)。

為了重構(gòu)更真實(shí)的高分辨率紅外圖像細(xì)節(jié)信息,從提高低分辨率紅外圖像中缺失的高頻細(xì)節(jié)信息的角度出發(fā),本文提出了一種密集殘差網(wǎng)絡(luò)和對(duì)抗式生成網(wǎng)絡(luò)相結(jié)合的SR算法。在該算法中,密集殘差網(wǎng)絡(luò)有效利用了低分辨率紅外圖像的全部特征,生成高清晰度的高分辨率紅外圖像。最后,利用判別網(wǎng)絡(luò)對(duì)生成的網(wǎng)絡(luò)輸出圖像是否為高分辨率紅外圖像進(jìn)行識(shí)別。該方法利用密集殘差網(wǎng)絡(luò)和對(duì)抗式生成網(wǎng)絡(luò)在紅外圖像SR領(lǐng)域的優(yōu)勢(shì),使重構(gòu)圖像具有更好的紋理信息和更清晰的視覺(jué)效果。

2 模型設(shè)計(jì)

本文提出的紅外圖像SR算法結(jié)合了密集殘差網(wǎng)絡(luò)和對(duì)抗式生成網(wǎng)絡(luò)。對(duì)抗式生成網(wǎng)絡(luò)的優(yōu)點(diǎn)是可以重構(gòu)具有更真實(shí)紋理細(xì)節(jié)的紅外高分辨率圖像。在網(wǎng)絡(luò)中,利用密集殘差網(wǎng)絡(luò)有效利用了低分辨率紅外圖像的全部特征,提高網(wǎng)絡(luò)在訓(xùn)練過(guò)程中對(duì)紅外圖像局部細(xì)節(jié)的理解。最后,該方法可以重構(gòu)出具有較好細(xì)節(jié)和清晰度的高頻高分辨率紅外圖像。本節(jié)將詳細(xì)介紹這種紅外圖像SR方法的具體操作。

2.1 對(duì)抗式生成網(wǎng)絡(luò)

對(duì)抗式生成網(wǎng)絡(luò)由生成式網(wǎng)絡(luò)和判別式網(wǎng)絡(luò)組成。對(duì)抗式生成網(wǎng)絡(luò)的訓(xùn)練過(guò)程是判別式網(wǎng)絡(luò)訓(xùn)練N次,穿插生成式網(wǎng)絡(luò)訓(xùn)練1次的交替優(yōu)化過(guò)程。其優(yōu)化損失函數(shù)可定義為:

(1)

其中,V(D,G)表示對(duì)抗式生成網(wǎng)絡(luò)的損失優(yōu)化函數(shù)；G代表生成式網(wǎng)絡(luò)；D代表判別式網(wǎng)絡(luò)；Pdata(x)表示真實(shí)圖像所服從的分布；Pz(z)表示噪聲所服從的分布；E表示數(shù)學(xué)期望。這樣,生成網(wǎng)絡(luò)可以不斷優(yōu)化,得到與原始圖像非常相似的輸出結(jié)果。因此,基于對(duì)抗式生成網(wǎng)絡(luò)的SR方法可以重構(gòu)出具有良好視覺(jué)效果的高分辨率圖像,圖1為對(duì)抗式生成網(wǎng)絡(luò)流程圖。

圖1 對(duì)抗式生成網(wǎng)絡(luò)流程圖

1)生成網(wǎng)絡(luò)

根據(jù)對(duì)抗式生成網(wǎng)絡(luò)的定義,通過(guò)求解式(1)中的最優(yōu)化問(wèn)題,得到Pdata(x)的超參數(shù)θg:

(2)

其中,該公式包括四個(gè)功能模塊:邊緣信息提取、殘差密集學(xué)習(xí)、邊緣增強(qiáng)融合和圖像上采樣模塊。生成網(wǎng)絡(luò)框架如圖2所示。邊緣提取模塊通過(guò)拉普拉斯銳化濾波器獲得初步邊緣紅外圖像,并通過(guò)3×3卷積層將邊緣的先驗(yàn)信息轉(zhuǎn)化為高分辨特征；殘差密集塊(RDB)形成連續(xù)存儲(chǔ)機(jī)制,RDB中的局部特征融合可自適應(yīng)學(xué)習(xí)通過(guò)計(jì)算圖像特征空間中的間隙,使圖像特征之間的歐氏距離最小,從而使以前更有效的特征能夠穩(wěn)定網(wǎng)絡(luò)訓(xùn)練過(guò)程和感知損失,從而使生成的圖像在語(yǔ)義上與高分辨率紅外圖像特征差別較小,生成的圖像能夠擬合高分辨率紅外圖像特征的潛在分布。定義Ωi(·)表示RDB的第i層卷積之后的輸出特征映射的激活值。感知損失函數(shù)的表達(dá)式為:

lfeature=

(3)

圖2 生成網(wǎng)絡(luò)框架

2)判別網(wǎng)絡(luò)

利用判別網(wǎng)絡(luò)對(duì)實(shí)際樣本數(shù)據(jù)和生成網(wǎng)絡(luò)生成的虛假圖像進(jìn)行概率估計(jì),通過(guò)優(yōu)化公式(1)中的最小最大化問(wèn)題得到Ωi。判別網(wǎng)絡(luò)框架如圖3所示。判別網(wǎng)絡(luò)主要用于二值分類(lèi),以區(qū)分生成圖像的真實(shí)性。D的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。利用步長(zhǎng)為1的卷積層提取紅外圖像的淺層特征,利用步長(zhǎng)為2的卷積層減小紅外圖像尺寸。然后利用4個(gè)密集連接塊(DDB)對(duì)圖像特征進(jìn)行密集連接學(xué)習(xí),利用具有PReLU和Sigmoid激活函數(shù)的密集層對(duì)圖像特征的真、假屬性進(jìn)行判別。

(4)

ladv_D(X,Y)=EY～Pdata(Y)[logD(Y)]+EEX～Pdata(x)

[log(1-D(G(X)))]

(5)

圖3 判別網(wǎng)絡(luò)框架

由于重構(gòu)圖像放大后的紋理太不自然,為了解決這一問(wèn)題,在對(duì)抗式生成網(wǎng)絡(luò)中加入了圖像變換系數(shù)處理過(guò)程,使網(wǎng)絡(luò)能夠訓(xùn)練出紅外圖像的超系數(shù)α,從而提高了圖像的高分辨率和頻率細(xì)節(jié)信息使圖像的紋理更逼真。因此,在本文中,我們的損失函數(shù)將系數(shù)的損失加到SRGAN感知損失函數(shù)中。損失函數(shù)可以表示為:

loss=ladv_D(X,Y)+αladv_G(X,Y)

(6)

3 實(shí)驗(yàn)和分析

3.1 實(shí)驗(yàn)設(shè)備和數(shù)據(jù)集

本文提出的基于GAN的紅外圖像SR模型已經(jīng)在Ubuntu 16.04上的PyTorch 0.4.1中實(shí)現(xiàn),其中CUDA 8、CUDNN 5.1和NVIDIA 1080Ti都是基于GAN的。所有實(shí)驗(yàn)都是在高分辨率紅外圖像數(shù)據(jù)集上進(jìn)行的。數(shù)據(jù)集一包含2000個(gè)訓(xùn)練圖像和200個(gè)測(cè)試圖像,數(shù)據(jù)集二包含400個(gè)圖像?；旌虾蟮膱D像被隨機(jī)分為兩部分:A部分和B部分。A部分包括2000個(gè)圖像,B部分包括其他400個(gè)圖像。

訓(xùn)練數(shù)據(jù)集由2400幅高分辨率紅外圖像組成,其中2000幅來(lái)自數(shù)據(jù)集一中的訓(xùn)練圖像,其余來(lái)自數(shù)據(jù)集二中的訓(xùn)練圖像。測(cè)試數(shù)據(jù)集由200個(gè)獨(dú)立于訓(xùn)練圖像的低分辨率紅外圖像組成。所有圖像首先調(diào)整為1024×1024像素,作為參考高分辨率(HR)圖像。圖4為超分辨率重構(gòu)示例圖。

3.2 評(píng)價(jià)指標(biāo)

在超分辨率重構(gòu)領(lǐng)域,評(píng)價(jià)重構(gòu)圖像質(zhì)量最常用的指標(biāo)是峰值信噪比(PSNR)和結(jié)構(gòu)相似性指數(shù)(SSIM)。然而,許多研究表明,均方誤差和峰值信噪比不能準(zhǔn)確反映圖像的視覺(jué)質(zhì)量,因此我們還引用特征相似性(FSIM)、通用圖像質(zhì)量(UIQ)來(lái)評(píng)價(jià)重構(gòu)圖像的質(zhì)量。根據(jù)人類(lèi)視覺(jué)系統(tǒng)(HVS),FSIM主要通過(guò)圖像的低級(jí)特征來(lái)理解圖像。相位一致性(PC)可以提取高維度的圖像特征,但無(wú)法對(duì)圖像對(duì)比度的變動(dòng)做出響應(yīng),因此引入梯度特征獲取圖像對(duì)比度信息。相位一致性是FSIM的主要特征,梯度是FSIM的次要特征。FSIM值越大,圖像之間的特征相似度越高,重構(gòu)圖像的質(zhì)量越好。FSIM表示如下:

(7)

其中,Φ表示圖像的整個(gè)像素域;SPC(x)和SG(x)分別表示為圖像的相位一致性和梯度大小。SL(x)和PCm(x)表示為:

SL(x)=[SPC(x)α]·[SG(x)β]

(8)

PCm(x)=max(PC1(x),PC2(x))

(9)

UIQ是一種綜合了線性相關(guān)損失、亮度失真和對(duì)比度失真三個(gè)因素的圖像質(zhì)量評(píng)價(jià)指標(biāo)。UIQ值越大,重構(gòu)圖像與原始圖像在線性、亮度和對(duì)比度方面的相關(guān)性越高,重構(gòu)圖像的質(zhì)量越好。UIQ定義如下:

(10)

其中,式(10)中的第一項(xiàng)表示x與y之間的線性相關(guān)系數(shù)。當(dāng)值為1時(shí),表示x和y是線性相關(guān)的。第二項(xiàng)表示圖像亮度的相關(guān)性,第三項(xiàng)表示圖像對(duì)比度的相關(guān)性。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了顯示本文方法的性能,我們將本文方法與SRGAN方法進(jìn)行了定量比較。使用兩個(gè)紅外高分辨率圖像測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),得到的重構(gòu)圖像的PSNR和SSIM結(jié)果分別為2、3和4,如表1所示。從表1的結(jié)果可以看出,本文提出的改進(jìn)方法的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)PSNR和SSIM比以往大多數(shù)方法有了顯著的改進(jìn)。為了更準(zhǔn)確地評(píng)價(jià)重構(gòu)圖像的質(zhì)量,我們利用FSIM和UIQ對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了進(jìn)一步的分析。從表2可以看出,我們提出的方法在FSIM和UIQ兩個(gè)評(píng)價(jià)指標(biāo)上都取得了良好的效果。

表1 測(cè)試數(shù)據(jù)集PSNR/SSIM對(duì)比表

表2 測(cè)試數(shù)據(jù)集FSIM/UIQ對(duì)比表

4 結(jié) 論

通過(guò)對(duì)基于深度學(xué)習(xí)的SR算法研究,我們發(fā)現(xiàn)對(duì)抗式生成網(wǎng)絡(luò)模型可以重構(gòu)紋理更清晰的紅外高分辨率圖像。由于密集殘差網(wǎng)絡(luò)具有將圖像中的高頻細(xì)節(jié)和低頻細(xì)節(jié)分解并分別表示的特點(diǎn),為進(jìn)一步提高重構(gòu)圖像質(zhì)量,提出將密集殘差網(wǎng)絡(luò)融合到對(duì)抗式生成網(wǎng)絡(luò)結(jié)構(gòu)中。通過(guò)一系列實(shí)驗(yàn)驗(yàn)證,本文提出的超分辨率重構(gòu)算法能夠有效地改善SRGAN算法重構(gòu)圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)中測(cè)量值較低的缺點(diǎn),PSNR、SSIM、FSIM和UIQ都有所提高。同時(shí),該算法生成具有真實(shí)紋理細(xì)節(jié)的重構(gòu)圖像。該方法充分體現(xiàn)了該方法在紅外圖像SR領(lǐng)域的優(yōu)勢(shì)。