改進(jìn)的深度反投影網(wǎng)絡(luò)紅外圖像超分辨率重建

林仁浦，張 力，馬晨暉，劉 軒，張 豪

改進(jìn)的深度反投影網(wǎng)絡(luò)紅外圖像超分辨率重建

林仁浦1，張 力1，馬晨暉1，劉 軒1，張 豪2

（1. 火箭軍工程大學(xué)，陜西 西安 710025；2. 31608部隊(duì)，福建 廈門 361023）

深度反投影網(wǎng)絡(luò)在可見光圖像的超分辨率重建中具有優(yōu)異的表現(xiàn)，本文探索將深度反投影網(wǎng)絡(luò)應(yīng)用到紅外圖像超分辨率重建中。針對(duì)紅外圖像對(duì)比度低、圖像質(zhì)量不高的特點(diǎn)，在深度反投影網(wǎng)絡(luò)框架上作如下改進(jìn)：在上采樣模塊之前添加串聯(lián)層，將前一次的下采樣輸出和原始低分辨率預(yù)處理圖像串聯(lián)作為上采樣模塊的輸入，以此提高網(wǎng)絡(luò)獲取圖像高頻信息的能力，增強(qiáng)生成圖像的細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果證明，本文算法較改進(jìn)前能夠得到細(xì)節(jié)更加豐富、視覺效果更加良好的紅外超分辨率重建圖像。

紅外圖像；超分辨率；深度反投影網(wǎng)絡(luò)

0 引言

紅外圖像是利用探測(cè)器捕獲物體紅外輻射所呈現(xiàn)出的圖像，自然界中不存在絕對(duì)零度的物體，任何物體都會(huì)向外輻射紅外線。物體輻射紅外線的強(qiáng)度受物體的溫度、材料、形狀等影響，物體輻射紅外線強(qiáng)度的差異，在紅外探測(cè)設(shè)備上得以表現(xiàn)，進(jìn)而將這種差異用于區(qū)分成像物體。紅外圖像反映的是被觀測(cè)物體和背景之間的溫度差，這一特性使得紅外圖像通常不受天候的影響，因而紅外圖像常被用于夜間的監(jiān)控和偵察。受制于紅外硬件系統(tǒng)的客觀發(fā)展，紅外圖像在實(shí)際應(yīng)用中都會(huì)涉及到分辨率較低的問題，提高紅外圖像的分辨率在遙感、目標(biāo)檢測(cè)識(shí)別等領(lǐng)域具有迫切的應(yīng)用需求[1]。

當(dāng)前，圖像的超分辨率重建技術(shù)是一個(gè)熱點(diǎn)研究方向，超分辨率重建技術(shù)通常被分為3類：基于插值的算法[2]、基于重建的算法[3]和基于深度學(xué)習(xí)的算法[4]。基于插值的方法通常利用圖像相鄰像素之間的統(tǒng)計(jì)特征處理圖像，這種方法雖然能夠增強(qiáng)圖像分辨率，但圖像的邊緣會(huì)比較模糊?；谥亟ǖ乃惴ㄖ饕糜诨謴?fù)圖像的高頻信息，對(duì)于結(jié)構(gòu)復(fù)雜的圖像，處理效果較差。基于深度學(xué)習(xí)的算法通過對(duì)大量數(shù)據(jù)樣本的學(xué)習(xí)，能夠建立高分辨率圖像和低分辨率圖像之間的非線性映射關(guān)系，目前此類方法在超分辨率重建中取得了較好的應(yīng)用效果。

Dong等[5]首次提出用于解決圖像超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)SRCNN（Super-Resolution Convolutional Neural Networks），該網(wǎng)絡(luò)主要由3個(gè)卷積層構(gòu)成，由于卷積操作無法對(duì)圖像進(jìn)行放大，所以在使用SRCNN網(wǎng)絡(luò)時(shí)，首先需要利用雙三次插值算法對(duì)圖像進(jìn)行預(yù)處理，將低分辨率圖像放大至目標(biāo)大小。之后Dong等又提出改進(jìn)型算法FSRCNN[6]（Faster Super-Resolution Convolutional Neural Networks），在FSRCNN結(jié)構(gòu)中引入反卷積操作作為圖像放大的手段，替代雙三次插值的預(yù)處理。Kim等[7]提出用于圖像超分辨率的深度卷積神經(jīng)網(wǎng)絡(luò)VDSR（Very Deep Convolutional Networks），該方法利用梯度剪裁來解決由網(wǎng)絡(luò)結(jié)構(gòu)過深而引起的梯度消失和梯度爆炸。Haris等[8]提出深度反投影網(wǎng)絡(luò)DBPN（Deep Back-Projection Networks），該網(wǎng)絡(luò)包含相互依賴的上-下采樣模塊，通過這樣的方式提供錯(cuò)誤反饋機(jī)制，同時(shí)利用深度級(jí)聯(lián)的方式將不同的圖像退化和超分辨率組件包含在網(wǎng)絡(luò)中，DBPN相對(duì)于SRCNN、FSRCNN、VDSR等算法在圖像超分辨率重建質(zhì)量上有較明顯的提升，但在實(shí)際訓(xùn)練中DBPN從原始低分辨率圖像上只進(jìn)行了一次信息獲取，一旦前面的上下采樣層丟失細(xì)節(jié)信息較多，那么該網(wǎng)絡(luò)的特征提取能力就會(huì)顯著下降。目前神經(jīng)網(wǎng)絡(luò)算法在可見光領(lǐng)域中的超分辨率重建中取得了一定的技術(shù)性突破，探究將這類算法改進(jìn)運(yùn)用到紅外圖像的超分辨率重建中，將會(huì)推動(dòng)紅外圖像成像技術(shù)的發(fā)展。

考慮到DBPN在可見光圖像超分辨率重建算法中相較其他圖像重建算法效果更加優(yōu)異，本文探索在DBPN算法結(jié)構(gòu)的基礎(chǔ)上，提出一種可以適合紅外圖像超分辨率重建的方法。

1 本文算法

本文針對(duì)紅外圖像的特征，在DBPN算法的基礎(chǔ)上提出改進(jìn)型算法，提高網(wǎng)絡(luò)對(duì)紅外圖像高頻信息的獲取能力。

1.1 深度反投影網(wǎng)絡(luò)

深度反投影網(wǎng)絡(luò)由Haris等人[8]于2018年提出，該網(wǎng)絡(luò)結(jié)構(gòu)包含數(shù)個(gè)串聯(lián)的上下采樣層，通過不斷地對(duì)圖片進(jìn)行退化和超分辨率重建來提取圖片中的空間細(xì)節(jié)信息。深度反投影網(wǎng)絡(luò)主要包括初始化特征提取模塊，反投影模塊，以及重建模塊，具體框架結(jié)構(gòu)，如圖1所示。改進(jìn)型算法是在原先的算法基礎(chǔ)上添加了融合通道，融合預(yù)處理圖像和網(wǎng)絡(luò)處理過程中的中間變量。

1.1.1 初始化特征提取模塊

初始化特征提取模塊由兩個(gè)卷積層組成，其中第一個(gè)卷積層的卷積核大小kernel＝3，卷積操作的步長(zhǎng)stride＝1，零填充padding＝1，經(jīng)過該層卷積操作圖像的尺寸大小沒有發(fā)生改變，但是卻可以根據(jù)實(shí)驗(yàn)需求改變圖像的通道數(shù)；第二層卷積操作是一個(gè)卷積核大小kernel＝1的卷積操作，該層操作主要是修改圖像的通道數(shù)，生成與原始圖像相同通道數(shù)的圖片。初始化特征提取模塊通過卷積操作提取圖像中的特征細(xì)節(jié)。

1.1.2 反投影模塊

反投影模塊由多個(gè)上下采樣層相互連接組成，這種連接方式使得網(wǎng)絡(luò)能夠在不同深度獲取HR（High-Resolution）的特征，同時(shí)上下采樣層可以使用不同類型的圖像退化和超分辨率組件，從而能夠更加豐富地獲取圖像細(xì)節(jié)信息。

圖1 深度反投影網(wǎng)絡(luò)結(jié)構(gòu)圖，主要包括初始化特征提取、反投影和重建3個(gè)部分

如圖2所示，深度反投影網(wǎng)絡(luò)的向上反投影單元，主要經(jīng)過反卷積操作、卷積操作和反卷積操作，具體步驟如下：

放大：

縮?。?/p>

殘差計(jì)算：

殘差結(jié)果放大：

輸出特征圖：

如圖3所示，深度反投影網(wǎng)絡(luò)的向下反投影單元，主要經(jīng)過卷積操作、反卷積操作和卷積操作，具體步驟如下：

縮小：

放大：

殘差計(jì)算：

殘差結(jié)果縮?。?/p>

輸出特征圖：

式中：p－1￠代表反卷積操作；g－1￠代表卷積操作。

1.1.3 重建模塊

重建模塊包含一個(gè)串聯(lián)層和卷積層，串聯(lián)層將所有上采樣層的輸出進(jìn)行串聯(lián)，這使得網(wǎng)絡(luò)能夠充分利用前面所有的高分辨率特征圖，最后通過卷積層來融合所有特征圖的特征信息，并歸一化圖片的通道。

1.1.4 融合通道

如圖4所示，本文提出的改進(jìn)算法在原算法的基礎(chǔ)上，在上反投影單元之前添加串聯(lián)層，將經(jīng)過預(yù)處理的圖像Lpre和下反投影單元的輸出串聯(lián)后輸入到上反投影單元，通過這樣的方式不斷強(qiáng)化網(wǎng)絡(luò)獲取高頻信息的能力。反投影模塊中的上下反投影單元采用不同的HR和LR（Low-Resolution）算法，融合通道為不同的上下反投影單元提供了細(xì)節(jié)信息更加豐富的輸入圖像，由于不同HR、LR算法在圖像紋理信息獲取能力不同，引入融合通道能夠結(jié)合不同HR、LR算法的特點(diǎn)，圖5為添加了融合通道的改進(jìn)型算法模型。

圖2 深度反投影網(wǎng)絡(luò)的向上反投影單元

圖3 深度反投影網(wǎng)絡(luò)中的向下反投影單元

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)

本文數(shù)據(jù)采用CVC-09以及CVC-14紅外公開數(shù)據(jù)集[9]，選用CVC-09數(shù)據(jù)集中的7000張紅外圖像作為訓(xùn)練集，選用CVC-14中的部分紅外圖像作為測(cè)試集，在進(jìn)行訓(xùn)練前，分別對(duì)訓(xùn)練集和測(cè)試集圖像進(jìn)行下采樣操作獲得用于訓(xùn)練和測(cè)試的低分辨率數(shù)據(jù)集，下采樣因子為4。使用主觀評(píng)價(jià)方法和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）[10]3種評(píng)價(jià)方法對(duì)本文算法效果進(jìn)行評(píng)估，同時(shí)選用Bicubic[11]、SRCNN和DBPN算法作為本文算法的對(duì)比算法。

2.2 實(shí)驗(yàn)設(shè)置

本文神經(jīng)網(wǎng)絡(luò)訓(xùn)練平臺(tái)采用pytorch，GPU采用GTX1080ti，設(shè)定的學(xué)習(xí)速率為0.0001，采用Adam模型優(yōu)化，迭代次數(shù)50000次。

2.3 質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)

圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)是衡量超分辨率圖像重建算法的重要指標(biāo)，目前圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)主要分為客觀評(píng)價(jià)方法與主觀評(píng)價(jià)方法?？陀^評(píng)價(jià)方法是通過設(shè)計(jì)系統(tǒng)的算法，依據(jù)圖像的客觀數(shù)據(jù)衡量超分辨率圖像的質(zhì)量。主觀評(píng)價(jià)方法是通過人眼觀測(cè)圖像，并對(duì)圖像質(zhì)量進(jìn)行評(píng)判的方法。

2.4 實(shí)驗(yàn)結(jié)果討論

實(shí)驗(yàn)選用了CVC-14中的圖片作為測(cè)試集，在網(wǎng)絡(luò)模型放大因子為4的基礎(chǔ)上，將本文算法的結(jié)果與Bicubic、SRCNN、DBPN的重建結(jié)果進(jìn)行比較，并利用主觀和客觀兩類評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比。

2.4.1 主觀評(píng)價(jià)效果

我們從實(shí)驗(yàn)數(shù)據(jù)中選取了4張圖片，在4倍放大因子的基礎(chǔ)上，對(duì)比不同算法的實(shí)際重建效果，具體情況如圖6、圖7、圖8、圖9所示。

圖4 改進(jìn)后的深度反投影網(wǎng)絡(luò)

圖5 改進(jìn)后的上采樣層

圖6 行車圖像使用不同超分辨率重建方法的重建結(jié)果對(duì)比

圖7 行人圖像使用不同超分辨率方法的重建結(jié)果對(duì)比

圖9 馬路圖像使用不同超分辨率方法的重建結(jié)果對(duì)比

圖6表示的是行駛中汽車的街景圖片，對(duì)比本文提出的算法和其他算法，放大街景圖片中的長(zhǎng)凳，本文所提算法能夠清晰地還原出長(zhǎng)凳的細(xì)節(jié)，從細(xì)節(jié)對(duì)比來看，本文算法相比其他算法具有一定的優(yōu)勢(shì)；圖7表示的是街邊的行人圖片，放大街邊建筑物的細(xì)節(jié)后進(jìn)行觀察對(duì)比，可以看出本文提出的算法在紋理細(xì)節(jié)上更加豐富；圖8拍攝的是斑馬線圖片，截取圖片中的建筑物細(xì)節(jié)，可以發(fā)現(xiàn)本文算法能夠比較逼真的還原原始圖像的細(xì)節(jié)；圖9表示的是行駛過程中拍攝的馬路圖片，放大遠(yuǎn)處的物體，本文提出的算法能夠較平滑地還原物體細(xì)節(jié)。因此，我們可以推斷本文算法在與Bicubic、SRCNN、DBPN等算法相比，在圖像超分辨率重建方面具有明顯的優(yōu)勢(shì)。

2.4.2 客觀評(píng)價(jià)效果

本文采用的客觀圖像指標(biāo)有PSNR和SSIM。峰值信噪比是對(duì)比兩幅圖像對(duì)應(yīng)像素之間的誤差，通過誤差值判斷圖像的失真程度，峰值信噪比的數(shù)值越大表明生成圖像越接近原始高分辨率圖像，圖像的重建質(zhì)量越好。結(jié)構(gòu)相似度用來衡量圖像的相似程度，該指標(biāo)數(shù)值越接近1，則表明生成的超分辨率圖像越接近原始高分辨率圖像，超分辨率重建效果越好。

在4倍放大因子的條件下，選用CVC-14中的4張圖片，對(duì)比本文算法和Bicubic、SRCNN、DBPN在PSNR和SSIM標(biāo)準(zhǔn)下的重建效果。如表1和表2所示，本文算法在PSNR和SSIM評(píng)價(jià)標(biāo)準(zhǔn)下都能夠取得優(yōu)于其它算法的實(shí)驗(yàn)結(jié)果，因此可以證明本文算法要優(yōu)于其它算法。

表1 不同重建方法的PSNR評(píng)價(jià)效果對(duì)比

表2 不同重建方法的SSIM評(píng)價(jià)效果對(duì)比

3 結(jié)論

本文通過改進(jìn)深度反投影網(wǎng)絡(luò)算法，獲得了一種可以應(yīng)用到紅外圖像超分辨率重建的模型。在DBPN的網(wǎng)絡(luò)模型中引入融合通道，提高了上采樣層對(duì)高頻信息的獲取能力，較原始網(wǎng)絡(luò)結(jié)構(gòu)能夠獲取更豐富的紋理信息。實(shí)驗(yàn)結(jié)果表明該方法能夠重建出細(xì)節(jié)信息豐富的紅外圖像，具有較好的視覺感知效果。最后通過主觀和客觀圖像質(zhì)量評(píng)估方法，證明了本文改進(jìn)算法在重建紅外圖像上的實(shí)際效果。

[1] DONG W, SHI G, LI X, et al. Image reconstruction with locally adaptive sparsity and nonlocal robust regularization[J]., 2012, 27(10): 1109-1122.

[2] YANG H, HUANG Z. Fast image interpolation algorithm based on gradient[J]., 2013, 32(10): 2821-2823.

[3] Papyan V, Elad M. Multi-Scale Patch-Based Image Restoration[J]., 2015, 25: 249-261.

[4] 王威, 張彤, 王新. 用于圖像超分辨率重構(gòu)的深度學(xué)習(xí)方法綜述[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2019, 40(9): 1891-1896.

WANG Wei, ZHANG Tong, WANG Xin. Survey of Single Image Super-resolution Based on Deep Learning[J]., 2019, 40(9): 1891-1896.

[5] DONG C , LOY C C , HE K , et al. Image Super-Resolution Using Deep Convolutional Networks[J]., 2016, 38(2): 295-307.

[6] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//, 2016: 391-407.

[7] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//, 2016: 1646-1654.

[8] Haris M, Shakhnarovich G, Ukita N. Deep Back-Projection Networks for Super-Resolution[C]//, 2018: 1664-1673.

[9] SOCARRAS Y, RAMOS S, VAZQUEZ D, et al. Adapting Pedestrian Detection from Synthetic to Far Infrared Images[C]//–, 2013: 1-3.

[10] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[11] ZHANG L , WU X. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

Improved Super-resolution Reconstruction of Infrared Images Based on Deep Back-projection Networks

LIN Renpu1，ZHANG Li1，MA Chenhui1，LIU Xuan1，ZHANG Hao2

(1. Rocket Force University of Engineering, Xi’an 710025, China;2. 31608 Troops, Xiamen 361023, China)

Deep back-projection networks have excellent performance in the super-resolution reconstruction of visual images. This paper explores the application of deep back-projection networks to the super-resolution reconstruction of infrared images. In view of the characteristics of low infrared image contrast and low image quality, the following improvements were made in the framework of the deep back-projection network: adding a concatenation layer before the upsampling module, cascading the previous downsampling output and the original low-resolution preprocessed image as the input of the upsampling module. This was designed to improve the network's ability to obtain high-frequency information of the image and enhance the detail of the generated image. The experimental results proved that the proposed algorithm could create infrared super-resolution reconstructed images with richer details and improved visual effects.

infrared images, super-resolution, deep back-projection networks

TP183

A

1001-8891(2020)09-0873-07

2020-06-15；

2020-09-03.

林仁浦（1991-），男，碩士，主要從事數(shù)字圖像處理和超分辨率研究工作。E-mail:18752659887@163.com