雙判別生成對(duì)抗網(wǎng)絡(luò)的紅外圖像超分辨重建

邢志勇,肖兒良,簡(jiǎn)獻(xiàn)忠

1(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

2(上海市現(xiàn)代光學(xué)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,上海 200093)

E-mail:passix@163.com

1 引 言

紅外圖像是通過紅外設(shè)備“測(cè)量”物體向外輻射的熱量而獲得的,能夠在惡劣環(huán)境下獲取圖像信息.但由于硬件條件限制,紅外圖像分辨率差、對(duì)比度低、視覺效果模糊等.因此利用圖像處理的方法獲取高分辨率紅外圖像在遙感、監(jiān)控、目標(biāo)檢測(cè)、軍事等領(lǐng)域有重要的現(xiàn)實(shí)意義.

圖像超分辨重建技術(shù)[1]SR(Super Resolution)借助相關(guān)網(wǎng)絡(luò)模型,可以有效地提高圖像的質(zhì)量.其主要分為三個(gè)方向:基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法.基于插值的方法是通過將低分辨率圖像的像素點(diǎn)映射到高分辨率圖像上,對(duì)缺失的像素點(diǎn)用已知的像素點(diǎn)來(lái)估計(jì),經(jīng)典的方法有局部邊緣自適應(yīng)法[2,3]、雙三插值法[4].基于重建的方法是通過挖掘低分辨率圖像中高頻信息,結(jié)合圖像的先驗(yàn)信息,求解低分辨率成像的逆過程,從而恢復(fù)圖像中的高頻信息.如相似性冗余先驗(yàn)[5,6]、梯度輪廓先驗(yàn)[7]算法等.基于學(xué)習(xí)的方法是通過學(xué)習(xí)大量的樣本集,從而構(gòu)建出含有先驗(yàn)信息的低分辨率圖像到高分辨圖像之間的映射關(guān)系,實(shí)現(xiàn)圖像超分辨重建.后隨著深度學(xué)習(xí)的發(fā)展,該方法在圖像超分辨領(lǐng)域中占據(jù)著主導(dǎo)地位.2014年,Chao Dong 等人提出的SRCNN[8]算法用三層卷積網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨重建,首次實(shí)現(xiàn)了深度學(xué)習(xí)在圖像超分辨重建上的應(yīng)用.2016年Kim在SRCNN模型上進(jìn)行改進(jìn),提出VSDR[9]、DRCN[10]算法,通過加深網(wǎng)絡(luò)模型深度來(lái)重建出質(zhì)量更好的高分辨率圖像.2017年Ledig等人提出基于GAN網(wǎng)絡(luò)的SRGAN[11]算法,采用判別對(duì)抗的訓(xùn)練模式,使超分辨重建出的圖像在視覺感知上更進(jìn)一步.2018年,Zhang等人提出的RDN算法,利用密集連接的思想充分提取底層模型的低分辨率圖像特征.RDN中的局部特征融合能自適應(yīng)地學(xué)習(xí)來(lái)自先前和當(dāng)前局部特征的有效信息,實(shí)現(xiàn)連續(xù)記憶(CM)機(jī)制,從而降低數(shù)據(jù)維度,增強(qiáng)模型的泛化能力,使訓(xùn)練更加穩(wěn)定.

特別地,2018年邵保泰等人將SRGAN算法[12]應(yīng)用在紅外圖像領(lǐng)域,取得了較好的效果.但該算法在生成器上采用常規(guī)的SRCNN網(wǎng)絡(luò)結(jié)構(gòu),相對(duì)來(lái)說模型較為簡(jiǎn)單,特征提取不夠充分,使得生成的紅外圖像在高頻細(xì)節(jié)上存在丟失問題.

為更好的提高紅外圖像超分辨重建的質(zhì)量,充分提取圖像的高頻細(xì)節(jié)特征,本文在SRGAN網(wǎng)絡(luò)模型基礎(chǔ)上進(jìn)行改進(jìn),利用RDN網(wǎng)絡(luò)殘差密集連接的特性,提出一種雙判別生成對(duì)抗網(wǎng)絡(luò)紅外圖像超分辨重建算法(DD-SRGAN).在生成網(wǎng)絡(luò)中,引入無(wú)BN層的RIRB,內(nèi)部殘差塊密集連接,外部殘差塊采用遠(yuǎn)、近跳躍連接,實(shí)現(xiàn)紅外圖像信息在這種跳躍連接中傳遞到深層網(wǎng)絡(luò).去掉BN層可提高模型的泛化能力,減弱重構(gòu)圖像的偽影.在判別網(wǎng)絡(luò)中,引入雙判別器,圖像判別器ID(Image Discriminator)和特征判別器FD(Feature Discriminator).ID:在像素域上對(duì)輸入的紅外圖像進(jìn)行判別;FD:通過對(duì)特征圖結(jié)構(gòu)信息進(jìn)行編碼,并利用高頻分量和結(jié)構(gòu)分量來(lái)區(qū)分超分辨SR紅外圖像和真實(shí)高分辨HR(High-resolution)紅外圖像.同時(shí),本文利用感知損失和雙判別損失函數(shù)優(yōu)化訓(xùn)練,并根據(jù)紅外圖像特征性質(zhì)減少數(shù)據(jù)通道參數(shù),簡(jiǎn)化訓(xùn)練過程.實(shí)驗(yàn)結(jié)果表明,在4倍超分辨重建紅外圖像的情況下,也能達(dá)到更好的視覺效果.

2 理論基礎(chǔ)

2014年,Goodfellow等人提出的生成對(duì)抗網(wǎng)絡(luò)GAN[14]模型在圖像超分辨領(lǐng)域引起了科學(xué)界的高度關(guān)注,和常規(guī)基于深度學(xué)習(xí)的圖像超分辨重建算法相比,該算法生成的圖像質(zhì)量明顯得到改善.GAN網(wǎng)絡(luò)模型包括一個(gè)生成器G和一個(gè)判別器D,生成器G用給定的噪聲z(一般服從均勻分布或正態(tài)分布)生成一個(gè)類似真實(shí)樣本的數(shù)據(jù)G(z);而判別器D是一個(gè)二分類器,對(duì)生成器G生成的數(shù)據(jù)和真實(shí)數(shù)據(jù)進(jìn)行判別分類.GAN網(wǎng)絡(luò)的訓(xùn)練過程就是訓(xùn)練D最大化判別正確率,同時(shí)訓(xùn)練G最小化log(1-D(G(z)))的過程.即G和D的訓(xùn)練就是關(guān)于函數(shù)值極大極小的博弈問題.目的是能夠?qū)崿F(xiàn)生成器生出判別器無(wú)法對(duì)真實(shí)數(shù)據(jù)和生成數(shù)據(jù)進(jìn)行判別的結(jié)果,達(dá)到欺騙的目的.函數(shù)式如公式(1)所示:

(1)

依據(jù)GAN網(wǎng)絡(luò)的思想,結(jié)合超分辨圖像的特性,本文將其運(yùn)用在紅外圖像超分辨領(lǐng)域.對(duì)生成器來(lái)說,輸入為低分辨率圖像ILR,輸出則為高分辨率圖像ISR,判別器的輸入為生成的高分辨率圖像ISR和原始高分辨率圖像IHR,輸出則是對(duì)圖像的來(lái)源進(jìn)行判定.函數(shù)式如公式(2)所示:

(2)

在訓(xùn)練過程中,生成器G盡可能生成能欺騙判別器D的高分辨率紅外圖像ISR,而判別器D則對(duì)生成的高分辨紅外圖像ISR和真實(shí)的高分辨率IHR紅外圖像進(jìn)行判別,通過這種反復(fù)優(yōu)化訓(xùn)練促使生成器能夠重建出接近于真實(shí)紅外圖像IHR的高分辨率紅外圖像ISR,達(dá)到紅外圖像超分辨重建的目的.

3 重建算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文引用上述GAN網(wǎng)絡(luò)的思想,通過引入額外的特征判別器FD,協(xié)同原有的圖像判別器ID,和生成器G進(jìn)行對(duì)抗,實(shí)現(xiàn)紅外圖像的超分辨重建.

整個(gè)生成網(wǎng)絡(luò)架構(gòu)包括16個(gè)外部殘差塊、4個(gè)內(nèi)部殘差塊、兩個(gè)亞像素卷積層和多個(gè)跳躍連接.子像素卷積層使用64個(gè)濾波器,其他卷積層均采用128個(gè)濾波器.殘差塊中去掉BN層,只保留卷積和池化層.生成網(wǎng)絡(luò)及內(nèi)部殘差塊結(jié)構(gòu)如圖1所示.

圖1 生成網(wǎng)絡(luò)模型

生成網(wǎng)絡(luò)的具體實(shí)現(xiàn)過程如下:

1)首先對(duì)輸入的低分辨率紅外圖像ILR進(jìn)行一層9×9的卷積,提取低頻紅外圖像特征.

2)利用密集連接的RIRB加深網(wǎng)絡(luò)深度,學(xué)習(xí)更多非線性和更大感受野的高頻紅外圖像特征.

3)通過對(duì)每個(gè)外部殘差塊的輸出進(jìn)行一次1×1的卷積,聚合不同殘差塊紅外圖像的特征.

4)將RIRB中獲得的特征通過兩個(gè)亞像素卷積層,實(shí)現(xiàn)對(duì)低分辨紅外圖像ILR4倍的上采樣.

5)最后通過3×3卷積,完成紅外圖像的超分辨重建.

判別網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示[15],該網(wǎng)絡(luò)以生成的超分辨紅外圖像ISR和原始高分辨紅外圖像IHR為輸入,通過8個(gè)卷積層提取圖像的512維特征,作為兩個(gè)全連接層、sigmoid激活函數(shù)的輸入,再計(jì)算樣本分類概率,判定紅外圖像來(lái)源.

3.2 損失函數(shù)

在圖像的超分辨重建領(lǐng)域,主要用損失函數(shù)評(píng)判網(wǎng)絡(luò)性能.傳統(tǒng)方法中應(yīng)用最廣泛的損失函數(shù)是最小均方誤差(Mean-Square Error,MSE),MSE越小,超分辨出的圖像和原圖像相似度就越高.其對(duì)應(yīng)的損失函數(shù)定義如公式(3)所示:

(3)

基于MSE損失函數(shù)能帶來(lái)較高的峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16],但結(jié)果會(huì)因缺乏高頻細(xì)節(jié)而圖像過于平滑.為了提高紅外圖像的質(zhì)量,獲取更多高頻細(xì)節(jié)特征,本文采用兩個(gè)損失分量:感知損失分量[17]和雙判別網(wǎng)絡(luò)損失分量.該損失函數(shù)分別定義如公式(4)、公式(5)所示:

(4)

(5)

(6)

(7)

和LMSE不同,感知相似性損失LP是在特征域中測(cè)兩個(gè)圖像之間的差異.函數(shù)定義如公式(8)所示:

(8)

圖2 判別網(wǎng)絡(luò)模型圖

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)

本文中,紅外圖像超分辨重圖像主要來(lái)源CVC-09/14:(FIR Sequence Pedestrian Dataset)數(shù)據(jù)庫(kù)[19],主要場(chǎng)景涉及行人、車輛、建筑、街道等.數(shù)據(jù)采集首先對(duì)CVC-09/14數(shù)據(jù)庫(kù)紅外圖像(640×480)進(jìn)行剪切、翻轉(zhuǎn)得到9000張(296×296)紅外圖像IHR作為訓(xùn)練集,再對(duì)IHR進(jìn)行4倍降采樣,得到像素大小為74×74的ILR作為本文模型的輸入.

4.2 實(shí)驗(yàn)細(xì)節(jié)

首先,對(duì)輸入的ILR和IHR紅外圖像進(jìn)行歸一化處理,使灰度取值范圍線性映射到[0,1]區(qū)間,設(shè)置方程(5)中平衡項(xiàng)λ值為10-3.采用VGG19網(wǎng)絡(luò)模型的前五層,在激活函數(shù)之前獲取紅外圖像特征圖φm.為平衡不同的損失項(xiàng),在計(jì)算損失項(xiàng)前采用比例因子r為1/12.75對(duì)特征圖進(jìn)行縮放[20].

其次,為防止DD-SRGAN模型在訓(xùn)練過程中出現(xiàn)局部最優(yōu)的情況,先對(duì)生成網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練處理.隨機(jī)選取自建數(shù)據(jù)庫(kù)中64張對(duì)應(yīng)的IHR和ILR紅外圖像進(jìn)行訓(xùn)練,采用Adam算法[21]進(jìn)行優(yōu)化,優(yōu)化參數(shù)β設(shè)為0.9,迭代次數(shù)為96000,初始預(yù)訓(xùn)練模型的學(xué)習(xí)速率為10-4,下降速率為0.1.

最后,在對(duì)抗訓(xùn)練階段,利用預(yù)訓(xùn)練好的初始化生成模型,對(duì)DD-SRGAN網(wǎng)絡(luò)進(jìn)行對(duì)抗優(yōu)化訓(xùn)練,優(yōu)化過程同樣使用β為0.9的Adam算法,迭代次數(shù)為90000,初始學(xué)習(xí)速率設(shè)為10-4.訓(xùn)練過程的損失函數(shù)指標(biāo)變化曲線如圖3(a)、圖3(b)所示,圖3(a)為判別網(wǎng)絡(luò)損失函數(shù)變化曲線,圖3(b)為生成網(wǎng)絡(luò)損失函數(shù)變化曲線.整個(gè)實(shí)驗(yàn)過程在matlab2016、python3.0計(jì)算機(jī)(windows10,Intel core i7-8700,內(nèi)存12GB)上進(jìn)行的.

圖3 DD-SRGAN損失函數(shù)曲線

4.3 質(zhì)量評(píng)定標(biāo)準(zhǔn)

評(píng)判超分辨率紅外圖像質(zhì)量的好壞主要取決于兩個(gè)方面,一是主觀評(píng)價(jià),通過視覺感知來(lái)判別紅外圖像的亮度、清晰度、框架和細(xì)節(jié)信息等;二是客觀評(píng)價(jià),通過算法模型計(jì)算各類指標(biāo)參數(shù),依據(jù)量化指標(biāo)評(píng)定,客觀評(píng)價(jià)主要參考兩項(xiàng)指標(biāo):圖像的峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM(Structural Similarity)[22].

(9)

(10)

式中M、N為紅外圖像的尺寸,μIHR和σIHR分別為IHR的平均灰度值和方差,μISR和σISR分別為ISR的平均灰度值和方差,σIHRISR為IHR和ISR的協(xié)方差,C1、C2為常數(shù).

4.4 實(shí)驗(yàn)結(jié)果分析

利用4.3節(jié)超分辨率質(zhì)量評(píng)定方法,在CVC-09測(cè)試集中隨機(jī)抽取四張紅外圖片進(jìn)行測(cè)試,將結(jié)果與Bicubic、SRCNN、RDN、SRGAN四種經(jīng)典的超分辨算法進(jìn)行量化對(duì)比,得到表1、表2所示數(shù)據(jù).從數(shù)據(jù)中可知,本文算法所重建出的紅外圖像在亮度、對(duì)比度、清晰度上要優(yōu)于前四種算法.特別地,和RDN以及SRGAN算法相比,本文算法證明了在生成網(wǎng)絡(luò)中采用密集殘差連接的方式,以及引入雙判別網(wǎng)絡(luò)的思想有利于重建圖像質(zhì)量的進(jìn)一步提高.在視覺效果上,本文算法生成的高分辨率紅外圖像ISR在邊緣輪廓以及細(xì)節(jié)紋理等高頻特征上也更加清晰、豐富.如例1中頭部細(xì)節(jié)紋理信息更加突出,例2中車牌標(biāo)志相比較RDN、SRCNN算法,本文算法避免了突出高頻特征導(dǎo)致圖像過于平滑的問題,例3、例4在細(xì)節(jié)上也能體現(xiàn)出本文算法所帶來(lái)的更好的視覺感受.五種算法的重建結(jié)果圖如圖4所示.

表1 5 種算法的 4倍SR 重建 PSNR /dB結(jié)果

Table 1 ×4 SR of 5 algorithms PSNR /dB results

BicubicSRCNNRDNSRGAN本文例126.50 31.2430.7631.2830.87例224.64 30.9529.6830.2729.94例324.83 29.4030.0129.3829.70例425.31 31.7732.5330.9430.63均 值25.32 30.8430.7530.4730.29

本文對(duì)CVC-14中測(cè)試集以及自建紅外數(shù)據(jù)集中隨機(jī)抽取20張紅外圖像進(jìn)行驗(yàn)證,結(jié)果如表3所示.在SSIM指標(biāo)上,本文算法比SRGAN綜合提高0.045,在PSNR上提高0.89dB.但相比于SRCNN、RDN,本文算法在PSNR上不具備優(yōu)勢(shì),主要原因是傳統(tǒng)卷積網(wǎng)絡(luò)采用MSE損失函數(shù),而本文算法采用對(duì)抗損失和感知損失函數(shù).

表2 5 種算法的4倍 SR 重建 SSIM 結(jié)果

Table 2 ×4 SR of 5 algorithms SSIM results

BicubicSRCNNRDNSRGAN本文例10.785 0.8300.870 0.9090.966例20.717 0.8010.822 0.9070.967例30.735 0.7930.815 0.8990.961例40.802 0.8440.869 0.9190.974均 值0.759 0.8170.844 0.9080.967

圖4 五種算法的重建結(jié)果

由傅里葉頻譜圖特性可知,頻譜圖中亮點(diǎn)數(shù)越多,圖像的高頻細(xì)節(jié)特征就越充分[23].為證明本文算法在獲取高頻特征上的優(yōu)越性,分別對(duì)例1、例2進(jìn)行二維傅里葉離散變換,再進(jìn)行灰度處理.結(jié)果如圖5所示,(a)、(b)分別表示SRGAN算法重建圖像的頻譜圖和本文算法重建圖像的頻譜圖.由圖可知,本文算法的頻譜圖對(duì)應(yīng)的亮點(diǎn)數(shù)較為密集,證明了本文算法在提取紅外圖像高頻特征上相比于SRGAN算法具有更大的優(yōu)勢(shì).

此外,為進(jìn)一步驗(yàn)證本文算法在處理圖像細(xì)節(jié)偽影上的優(yōu)勢(shì),采用Laplace算子[24],分別對(duì)SRGAN和本文算法所得到的紅外圖像進(jìn)行邊緣紋理特征分析.以例1為例,得到如圖6所示的結(jié)果,(a)、(b)分別表示為上述兩種算法重建圖像的Laplace算子紋理特征圖.由細(xì)節(jié)部分圖像的紋理特性可知,本文算法能做到,噪聲影響較少,邊緣偽影現(xiàn)象不明顯.

表3 兩種數(shù)據(jù)集下的測(cè)試結(jié)果

Table 3 Test results under two datasets

BicubicSRCNNRDNSRGAN本文CVC-14PSNR26.7530.6931.0229.9130.58SSIM0.7390.8270.8810.9030.944自建數(shù)據(jù)PSNR27.8031.9633.2030.0631.17SSIM0.7610.8400.9080.9150.963

圖5 傅里葉頻譜圖

圖6 Laplace算子紋理特征圖

5 結(jié)束語(yǔ)

本文在SRGAN圖像超分辨算法的基礎(chǔ)上對(duì)模型進(jìn)行改進(jìn),提出了基于DD-SRGAN的單幀紅外圖像超分辨重建算法,有效地提高了紅外圖像的質(zhì)量,弱化了圖像細(xì)節(jié)偽影問題,使得圖像的邊緣和紋理特征更加明顯.本文算法核心是運(yùn)用兩個(gè)判別器與生成器對(duì)抗訓(xùn)練.對(duì)于生成網(wǎng)絡(luò),引入無(wú)BN層的殘差中的殘差塊(RIRB),內(nèi)部殘差塊密集連接,外部殘差塊遠(yuǎn)、近跳躍連接,實(shí)現(xiàn)高頻信息能有效的提取并傳遞到深層網(wǎng)絡(luò).實(shí)驗(yàn)結(jié)果表明,該算法在客觀評(píng)價(jià)和主觀視覺上較SRGAN算法都有較好提升,為后續(xù)實(shí)現(xiàn)紅外圖像檢測(cè)與識(shí)別提供保障.但紅外圖像本身邊緣信息平滑,圖像數(shù)據(jù)信息較少,制約了超分辨網(wǎng)絡(luò)性能的進(jìn)一步提高.因此相比于可見光圖像,紅外圖像超分辨重建在圖像特征信息提取上還有很多有待解決的問題.