基于輕量級(jí)金字塔密集殘差網(wǎng)絡(luò)的紅外圖像超分辨增強(qiáng)

左 岑，楊秀杰，張 捷，王 璇

基于輕量級(jí)金字塔密集殘差網(wǎng)絡(luò)的紅外圖像超分辨增強(qiáng)

左 岑1，楊秀杰2，張 捷3，王 璇2

（1. 重慶電子工程職業(yè)學(xué)院 人工智能與大數(shù)據(jù)學(xué)院，重慶 401331；2. 重慶望江工業(yè)集團(tuán)有限公司，重慶 400071；3. 中國(guó)人民解放軍陸軍重慶軍代局，重慶 400050）

現(xiàn)有的紅外制導(dǎo)武器嚴(yán)重依賴操作手對(duì)目標(biāo)的捕獲，其捕獲的精度與目標(biāo)的紋理細(xì)節(jié)正相關(guān)。為了提升弱小區(qū)域的顯示質(zhì)量，滿足現(xiàn)有導(dǎo)引頭小型化、模塊化、低成本的設(shè)計(jì)要求，本文設(shè)計(jì)了一種基于輕量級(jí)金字塔密集殘差網(wǎng)絡(luò)的圖像增強(qiáng)模型，該模型在密集殘差網(wǎng)絡(luò)基礎(chǔ)上通過密集連接層和殘差網(wǎng)絡(luò)來學(xué)習(xí)不同尺度圖像之間的非線性映射，充分利用多尺度特征進(jìn)行高頻殘差預(yù)測(cè)。同時(shí)，采用深度監(jiān)督模塊指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，有利于實(shí)現(xiàn)較大上采樣因子的超分辨增強(qiáng)，提高其泛化能力。大量仿真實(shí)驗(yàn)結(jié)果表明本文所提出的超分辨模型能夠獲得高倍率的超分辨增強(qiáng)效果，其重建質(zhì)量也優(yōu)于對(duì)比算法。

超分辨增強(qiáng)；輕量級(jí)；紅外圖像；深度學(xué)習(xí)；特征級(jí)聯(lián)；損失函數(shù)；恒等映射

0 引言

紅外熱像儀是光電設(shè)備不可或缺的成像模塊，通過采集熱輻射生成紅外圖像，能夠?qū)崿F(xiàn)全天候、全天時(shí)目標(biāo)搜索、跟蹤與識(shí)別、實(shí)現(xiàn)導(dǎo)航制導(dǎo)、態(tài)勢(shì)感知、威脅告警、對(duì)地觀瞄等功能[1]。由于紅外設(shè)備作用距離遠(yuǎn)，初始目標(biāo)的對(duì)比度低、尺寸小，如何能快速發(fā)現(xiàn)目標(biāo)是克敵制勝的關(guān)鍵。然而，紅外熱像儀易受大氣湍流、氣溶膠散射等干擾的影響，導(dǎo)致獲取的紅外圖像退化且分辨率較低，很難從圖像中分辨出目標(biāo)細(xì)節(jié)[2]。因此，只有將低分辨紅外圖像進(jìn)行超分辨增強(qiáng)才能看清楚目標(biāo)，進(jìn)而實(shí)現(xiàn)目標(biāo)的高精度鎖定。

隨著大數(shù)據(jù)處理與硬件性能提升，深度學(xué)習(xí)模型已經(jīng)在視覺任務(wù)中獲得了成果的應(yīng)用，并展現(xiàn)了強(qiáng)大的學(xué)習(xí)性能，如圖像分割[3]、目標(biāo)檢測(cè)與識(shí)別[4]、地物分類等[5]。2016年，Dong等人[6]首次將深度模型應(yīng)用于超分辨領(lǐng)域，通過對(duì)雙三次插值結(jié)果進(jìn)行端到端深度學(xué)習(xí)，獲取到高分辨率與低分辨率之間的非線性映射關(guān)系，實(shí)現(xiàn)圖像重建；Riegler等人[7]提出將深度卷積網(wǎng)絡(luò)與與總廣義變分方法相結(jié)合，在總變差正則化約束下提升超分辨的重建質(zhì)量。在此基礎(chǔ)上，國(guó)內(nèi)外學(xué)者提出了許多優(yōu)秀的改進(jìn)方法，通過引入不同的先驗(yàn)信息作為正則化約束條件，利用深度模型得到潛在的隱藏特征，先驗(yàn)約束確保學(xué)習(xí)到細(xì)節(jié)信息與基準(zhǔn)一致。文獻(xiàn)[8]設(shè)計(jì)了一種兩階段深度網(wǎng)絡(luò)的重建模型，首先利用深度網(wǎng)絡(luò)檢測(cè)單幀圖像中的邊緣結(jié)構(gòu)，然后在邊緣結(jié)構(gòu)引導(dǎo)下逐漸微調(diào)深度模型的參數(shù)，最終實(shí)現(xiàn)高質(zhì)量的超分辨圖像。由于紅外圖像存在大量的團(tuán)狀噪聲，導(dǎo)致深度網(wǎng)絡(luò)獲取的高分辨圖像存在偽影與劃痕[9]。為了實(shí)現(xiàn)超分辨增強(qiáng)并抑制住噪聲，文獻(xiàn)[10]在SRCNN（super-resolution convolutional neural network）[6]重建模型中增加了一路圖像增強(qiáng)分支，利用高頻特征與低頻特征的一致性，有效地恢復(fù)出超分辨后的高頻信息?；赟RCNN的改進(jìn)算法都是將圖像插值一定的倍數(shù)作為輸入圖像，再通過不同的網(wǎng)絡(luò)模型實(shí)現(xiàn)低質(zhì)量圖像塊的非線性映射，然而插值圖可能會(huì)引入噪聲并大大增加計(jì)算復(fù)雜度，同時(shí)存在上采樣二義性。楊明等人[11]重新設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，通過將低層次特征和高層次特征聚合連接形成新的特征，以此提高圖像放大的性能，項(xiàng)目組對(duì)該方法仿真結(jié)果表明，該方法雖然增加了圖像的顯示效果，但引入了太多的虛假場(chǎng)景，尤其是在空中背景重建出規(guī)則紋理，不適合觀瞄應(yīng)用。不同于前面提出的深度模型，Hui等人[12]提出了一種基于多尺度引導(dǎo)網(wǎng)絡(luò)的超分辨模型，該模型直接使用低分辨圖作為輸入，通過反卷積進(jìn)行上采樣，通過兩個(gè)連續(xù)的卷積層進(jìn)行特征融合，以重構(gòu)丟失的細(xì)節(jié)信息。文獻(xiàn)[13]設(shè)計(jì)了一個(gè)拉普拉斯金字塔深度網(wǎng)絡(luò)，可以生成多種分辨率的高分辨結(jié)果。隨著拉普拉斯金字塔結(jié)構(gòu)的引入，超分辨網(wǎng)絡(luò)可以進(jìn)行有監(jiān)督學(xué)習(xí)，并隨即提出了許多改進(jìn)的深度模型[14-15]。然而，現(xiàn)有的深度模型超分辨增強(qiáng)算法大都是通過堆疊卷積層使得模型更深更寬[16]，忽視了圖像內(nèi)部的層次結(jié)構(gòu)，導(dǎo)致模型不適合低成本的嵌入式平臺(tái)。而且，大多數(shù)深度網(wǎng)絡(luò)都在單一層次上生成高分辨圖像，主要應(yīng)用于低倍率圖像放大，對(duì)高倍率超分辨應(yīng)用的重建效果差。

針對(duì)深度網(wǎng)絡(luò)超分辨增強(qiáng)模型存在的不足，本文提出了一種基于輕量級(jí)金字塔密集殘差網(wǎng)絡(luò)，該模型并不直接預(yù)測(cè)高分辨圖像，而是通過密集連接與殘差網(wǎng)絡(luò)直接學(xué)習(xí)出具有任意放大倍率的高頻殘差圖像，所有特征提取操作均在低分辨空間域中進(jìn)行。通過使用金字塔結(jié)構(gòu)，該網(wǎng)絡(luò)可以生成各種尺度因子的高分辨圖，利用不同層次的特征逐步生成多層次高頻圖，降低模型訓(xùn)練難度，并進(jìn)一步提高重建性能。在訓(xùn)練階段，通過一次前向傳播逐步生成各種層次的超分辨圖，這使得網(wǎng)絡(luò)更加靈活。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有對(duì)比方法相比，本文模型的重建效果具有顯著提升。

1 本文提出的超分辨網(wǎng)絡(luò)模型

現(xiàn)有的深度模型超分辨增強(qiáng)算法大都是通過堆疊卷積層使得模型更深更寬，雖然一定程度上增強(qiáng)了超分辨重構(gòu)的性能，但都是以大量的計(jì)算資源為代價(jià)。對(duì)于硬件余量有限的武器裝備，很難直接將超分辨模型運(yùn)用于型號(hào)產(chǎn)品。

由于現(xiàn)有的深度模型忽視了圖像內(nèi)部的層次結(jié)構(gòu)，僅僅在單一層次上生成高分辨圖像，對(duì)高倍率超分辨應(yīng)用的重建效果差。因此，本文提出了一個(gè)具有金字塔結(jié)構(gòu)的深度密集殘差網(wǎng)絡(luò)，充分利用密集連接和殘差學(xué)習(xí)實(shí)現(xiàn)高頻殘差預(yù)測(cè)。同時(shí)，采用深度監(jiān)督模塊指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，實(shí)現(xiàn)較大上采樣因子的超分辨增強(qiáng)。該模型不需要構(gòu)建更深更寬的深度網(wǎng)絡(luò)就能實(shí)現(xiàn)任意尺度高精度的超分辨增強(qiáng)。本章將詳細(xì)描述所提出的單幀圖像超分辨率網(wǎng)絡(luò)結(jié)構(gòu)。

1.1 密集殘差模塊

密集殘差模塊的結(jié)構(gòu)如圖1所示，該結(jié)構(gòu)包含兩個(gè)分支：高頻殘差圖預(yù)測(cè)和圖像重建，其中高頻殘差圖預(yù)測(cè)的核心功能是使用多層次卷積從輸入的低分辨圖中提取深度特征；圖像重建則是利用低頻圖與高頻殘差圖一起重構(gòu)出高分辨圖。假定SF表示卷積運(yùn)算，sf是密集模塊的輸入，高頻殘差圖可以表示為如下等式：

sf＝SF(l) (1)

式中：l表示低分辨圖。密集模塊由個(gè)密集連接卷積層[17]和瓶頸層[18]組成。顯然，密集模塊中第個(gè)Conv層的輸出可以表示成如下等式：

式中：bn是瓶頸層的權(quán)值矩陣。在此基礎(chǔ)上，增加兩個(gè)以上的Conv層以提取深度特征，如等式(4)所示：

式中：DF表示深度特征提取。本文提出的模型采用殘差學(xué)習(xí)[15]來組合多尺度特征得到高頻殘差rf。針對(duì)以上分析，我們能得到rf＝df＋sf。由于卷積層的前向傳播過程就是反卷積層的反向傳播過程，因此低分辨圖可以由反卷積層進(jìn)行尺度放大，即：

式中：UP表示反卷積操作。因此，高分辨圖和雙三次插值圖之間的殘差圖像r可以由卷基層RI表示，即：

r＝RI(up) (6)

由于圖像重建則是使用雙三次插值法將低頻圖放大2倍，然后與高頻殘差圖一起重構(gòu)出高分辨圖，即biscubic＝(l)，其中表示雙三次插值，其結(jié)果通過與預(yù)測(cè)的殘差圖合并（逐元素求和）以生成高分辨圖。

h＝r⊕biscubic(7)

1.2 輕量級(jí)超分辨增強(qiáng)模塊

本文模型除了瓶頸層[18]和反卷積層（卷積核大小分別為1×1和4×4）之外，其他卷基層Conv的大小都設(shè)置為3×3。密集模塊具有8個(gè)Conv層，得到16個(gè)特征圖，其他Conv層具有16個(gè)濾波器。所有濾波器的權(quán)重和偏置均通過文獻(xiàn)[18]的策略進(jìn)行初始化。本文選擇PReLU（parametric rectified linear unit）作為非線性激活函數(shù)，實(shí)驗(yàn)結(jié)果表明它比ReLU更魯棒。為了保持所有層次輸出的結(jié)果大小不變，本文采用零填充進(jìn)行處理。由于瓶頸層采用1×1卷積可以降低特征維數(shù)，以更少的信息損失進(jìn)行更快的計(jì)算，大大降低網(wǎng)絡(luò)參數(shù)量。首先使用卷積模塊和像素重整模塊搭建深度殘差網(wǎng)絡(luò)，使用獨(dú)立的卷積層和數(shù)據(jù)疊加層得到圖像殘差信號(hào)，然后中間數(shù)據(jù)經(jīng)過像素重整模塊，里面的上采樣操作將輸入圖像的清晰度提高，該模型可以處理不同尺寸圖像的超分辨率增強(qiáng)，提高紅外圖像的清晰度和分辨率。

1.3 損失函數(shù)

2 實(shí)驗(yàn)仿真及掛飛驗(yàn)證

為了驗(yàn)證本文提出的超分辨增強(qiáng)算法的有效性，本章將從靜態(tài)仿真與動(dòng)態(tài)外場(chǎng)掛飛進(jìn)行評(píng)價(jià)分析。

2.1 實(shí)驗(yàn)數(shù)據(jù)

由于紅外圖像很少有基準(zhǔn)高/低分辨率數(shù)據(jù)庫(kù)。為了便于定量性能分析，本文采用制冷型銻化銦紅外探測(cè)器采集高分辨圖像，其對(duì)應(yīng)的低分辨紅外圖像是由雙線性下采樣獲取。本文將每個(gè)訓(xùn)練庫(kù)的圖像按照尺度因子生成不同尺度的塊作為訓(xùn)練樣本，并排除了沒有紋理信息的塊，最終得到大約有190000個(gè)訓(xùn)練樣本對(duì)。為了進(jìn)一步擴(kuò)大訓(xùn)練集，本文通過雙三次插值對(duì)高分辨子圖像進(jìn)行下采樣以獲得低分辨樣本。由于實(shí)際的紅外圖像沒有對(duì)應(yīng)的高分辨的圖像用做定量分析，采用低成本非制冷探測(cè)器采集的低分辨紅外圖像（320×240）進(jìn)行超分辨增強(qiáng)，從邊緣銳度、對(duì)比對(duì)、紋理特性等角度定量分析重建性能。

2.2 網(wǎng)絡(luò)模型參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

網(wǎng)絡(luò)在初始化后，采用更多的迭代（大約100 Epoch）來訓(xùn)練模型，以獲得更準(zhǔn)確的特征表示。每個(gè)卷積層設(shè)置的步幅為1，反卷積層設(shè)置的步幅為2。學(xué)習(xí)率設(shè)置為0.001，Dropout參數(shù)設(shè)置為0.8，最高迭代次數(shù)設(shè)置為10000次；為了提高優(yōu)化效率，本文采用ADAM迭代地更新神經(jīng)網(wǎng)絡(luò)參數(shù)。本文針對(duì)2×、4×、8×和16×比例因子訓(xùn)練了網(wǎng)絡(luò)，所提出的模型在TensorFlow框架下進(jìn)行訓(xùn)練和測(cè)試，其中2×、4×、8×和16×超分辨的訓(xùn)練時(shí)間分別約為3h、6h、13h和16h。本文硬件平臺(tái)采用Core i5 7600處理器：主頻 3.94GHz，內(nèi)存32G，GPU GTX1080Ti。本算法掛飛硬件平臺(tái)是采用基于ARM的開發(fā)板。

為了分析密集連接，殘差學(xué)習(xí)和深度監(jiān)督的有效性，選用峰值信噪比（peak signal-to-noise ratio, PSNR）和結(jié)構(gòu)相似性（structural similarity index measurement, SSIM）進(jìn)行定量描述.

2.3 模型分析

本文提出了一種基于金字塔密集殘差網(wǎng)絡(luò)的單幀圖像超分辨增強(qiáng)模型，該模型的基本框架是密集殘差塊，通過密集連接層和殘差學(xué)習(xí)來模擬高頻殘差和低分辨圖像之間的非線性映射。表1展示了殘余學(xué)習(xí)（residual learning，RL），密集連接（dense connection，DC）和深度監(jiān)督（deep supervision，DS）模塊對(duì)低分辨紅外圖像放大4倍的重建效果，其中黑色方塊表明基準(zhǔn)網(wǎng)絡(luò)中替換掉的模塊，無黑色方塊則表示該模塊與基線網(wǎng)絡(luò)一致。首先，將沒有3種模塊的超分辨網(wǎng)絡(luò)作為重建基準(zhǔn)進(jìn)行了訓(xùn)練與優(yōu)化，其超分辨效果僅優(yōu)于雙線性插值。然后，將密集連接，殘余學(xué)習(xí)與深度監(jiān)督模塊分別替換掉基準(zhǔn)網(wǎng)絡(luò)。從表1的結(jié)果可以看出密集連接模塊和殘差學(xué)習(xí)模塊的性能都優(yōu)于基準(zhǔn)網(wǎng)絡(luò)，但深度監(jiān)督模塊改進(jìn)網(wǎng)絡(luò)的性能有限。這些比較表明了密集連接和殘差學(xué)習(xí)的有效性，同時(shí)也說明簡(jiǎn)單地堆疊卷積層以使網(wǎng)絡(luò)更深更寬并不能增強(qiáng)網(wǎng)絡(luò)的性能。若同時(shí)替換基準(zhǔn)網(wǎng)絡(luò)中兩個(gè)模塊，可以看出采用任意個(gè)模塊的性能要優(yōu)于僅采用一個(gè)模塊的性能。值得注意的是具有密集連接網(wǎng)絡(luò)的性能總是比具有殘差學(xué)習(xí)網(wǎng)絡(luò)的性能更好，這是由于在預(yù)測(cè)高頻殘差時(shí)，殘差學(xué)習(xí)僅利用淺層特征來轉(zhuǎn)換成高層次深度特征，而密集連接則利用分層結(jié)構(gòu)提取多尺度特征。實(shí)驗(yàn)結(jié)果也表明具有深度監(jiān)督的網(wǎng)絡(luò)比沒有深度監(jiān)管的網(wǎng)絡(luò)表現(xiàn)更好，這是由于深度監(jiān)督可以指導(dǎo)網(wǎng)絡(luò)預(yù)測(cè)不同級(jí)別的高頻殘差。當(dāng)上采樣因子較大時(shí)，可以解決邊緣模糊問題。當(dāng)密集連接，殘差學(xué)習(xí)和深度監(jiān)督同時(shí)使用時(shí)，它們各自對(duì)超分辨網(wǎng)絡(luò)都有不同的貢獻(xiàn)，最終提升網(wǎng)絡(luò)的整體性能。

表1 不同模塊性能分析

2.4 仿真結(jié)果與分析

本文選用了目前最新的5種超分辨方法進(jìn)行定性定量比較：EDSR（enhanced deep-networks for super-resolution）[19]，SRCNN[6]，SRMD（super- resolution with multiple degradations）[20]，GANSR（super-resolution using a generative adversarial network）[21]和Meta-SR（magnification-arbitrary network）[22]。其中Meta-SR可以通過輸入縮放因子動(dòng)態(tài)地預(yù)測(cè)網(wǎng)絡(luò)的權(quán)重，實(shí)現(xiàn)任意縮放因子問題。SRMD是采用維度拉伸策略使得卷積神經(jīng)網(wǎng)絡(luò)可以處理維度不同的輸入，實(shí)現(xiàn)多退化模型的圖像SR增強(qiáng)；GANSR是利用生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)紅外人臉圖像超分辨增強(qiáng)。所有的代碼均從Github下載，并按配置要求進(jìn)行設(shè)置，部分程序修改過配置參數(shù)，但不影響算法性能分析。為了客觀公正地進(jìn)行比較，所有基于深度學(xué)習(xí)模型的超分辨算法都采用相同的訓(xùn)練數(shù)據(jù)集進(jìn)行重新訓(xùn)練。與以前的工作類似，采用SSIM與PSNR來定量分析重建的高分辨圖的質(zhì)量，其結(jié)果在表2中顯示。可以看出，本文提出的超分辨網(wǎng)絡(luò)在所有尺度因子下均獲得較高的SSIM與PSNR，尤其是在Image6圖像的PSNR比SRCNN高0.48。同時(shí)，本文提出的方法與MSG-Net性能相當(dāng)，大部分結(jié)果比GANSR高0.3dB左右，一些結(jié)果甚至超過0.51dB左右，充分說明本文模型具有一定的優(yōu)勢(shì)，適合復(fù)雜紅外背景下低對(duì)比度區(qū)域超分辨增強(qiáng)。

定量分析結(jié)果表明基于生成對(duì)抗網(wǎng)絡(luò)的超分辨方法感知損失函數(shù)作為優(yōu)化目標(biāo)，有效解決了SRCNN基于2損失函數(shù)導(dǎo)致重建圖像模糊的問題，但由于紅外圖像中存在大量模糊區(qū)域，通過對(duì)抗學(xué)習(xí)丟失的細(xì)節(jié)，會(huì)造成重構(gòu)偏差。雖然一定程度上提升了視覺效果，但重構(gòu)的圖像與實(shí)際不符，嚴(yán)重影響武器裝備的可靠性。另外，生成器與鑒別器的復(fù)雜度也較大，不滿足實(shí)時(shí)需求。本文提出的模型在實(shí)際應(yīng)用中能更有效地抑制噪聲并增強(qiáng)細(xì)節(jié)特征。

表2 不同算法的重建指標(biāo)對(duì)比

在對(duì)空的紅外圖像中，由于圖像大部分區(qū)域都是空中背景且背景噪聲較大，GANSR本文提出的算法將圖像中存在的隨機(jī)斑點(diǎn)噪聲進(jìn)行了重建，導(dǎo)致獲得的高分辨圖像存在很多劃痕，放大了背景噪聲。而本文算法引入了深度監(jiān)督模塊，在超分辨的同時(shí)也完成了圖像去噪增強(qiáng)，其性能也有顯著提升。

圖2是Image 1與Image 6圖像下，不同算法的超分辨增強(qiáng)效果。從實(shí)驗(yàn)結(jié)果可以看出，所有算法的重建質(zhì)量相比雙線性插值有一定的提升，對(duì)于具有明顯邊界的區(qū)域夠得到清晰的紋理。圖2(a)是SRCNN的結(jié)果，是最早利用深度模型學(xué)習(xí)非線性映射函數(shù)，并成功應(yīng)用在超分辨率重建中，由于網(wǎng)絡(luò)只有3層，其結(jié)果在均勻區(qū)域容易出現(xiàn)偽影，尤其是第一行圖像中空中區(qū)域出現(xiàn)大量虛假紋理信息；圖2(b)是EDSR的結(jié)果，該網(wǎng)絡(luò)堆疊更多的殘差層或者使每層提取更多的特征，從而得到更好的性能表現(xiàn)。由于本文是處理紅外灰度圖像，只選擇了單通道進(jìn)行重建，刪除了多通道轉(zhuǎn)移層，但實(shí)際效果也優(yōu)于SRCNN模型。圖2(c)中，Meta-SR模型對(duì)部分勻質(zhì)區(qū)域過于平滑，而缺少一些細(xì)節(jié)上的真實(shí)感。圖2(d)中，GANSR是基于對(duì)抗網(wǎng)絡(luò)的重建模式，其結(jié)果容易重建出一些虛假的紋理。圖2(e)中，SRMD并不假設(shè)退化的圖像服從某種先驗(yàn)分布，可對(duì)任意退化圖像進(jìn)行超分辨增強(qiáng)，實(shí)際結(jié)果中，該模型也優(yōu)于其他4種對(duì)比算法。本文所提模型的結(jié)果如圖2(f)所示，該模型也適用于任意復(fù)雜退化先驗(yàn)，同時(shí)在深度監(jiān)督模塊約束下進(jìn)行網(wǎng)絡(luò)訓(xùn)練，有利于實(shí)現(xiàn)較大上采樣因子的超分辨增強(qiáng)。超分辨結(jié)果中，圖像細(xì)節(jié)明顯，尤其是建筑邊緣等具有規(guī)則紋理區(qū)域的重建效果較好。

圖3展示了不同模型對(duì)低分辨紅外圖像的重建效果?？梢钥闯?，本文提出的網(wǎng)絡(luò)對(duì)復(fù)雜的雜亂紋理的重建效果較好，尤其是建筑旁邊柵欄、樹枝等區(qū)域。草地上的雜亂區(qū)域也重建效果較好，細(xì)節(jié)比較清晰。得益于密集連接，殘差學(xué)習(xí)和深度監(jiān)督模塊的引入，本文所提出的模型可以獲得更加理想的高分辨圖像，解決了不規(guī)則紋理的模糊問題。另外，通過采用金字塔結(jié)構(gòu)，該網(wǎng)絡(luò)可以生成不同尺度的高分辨圖像而不需要額外加寬加深網(wǎng)絡(luò)結(jié)構(gòu)，降低了硬件資源的需求。

2.5 掛飛視頻對(duì)比分析

本文提出超分辨模型已經(jīng)移植到Hi3559AV100嵌入式系統(tǒng)中，該平臺(tái)可以將工作站上訓(xùn)練好的最優(yōu)模型，以及對(duì)應(yīng)的配置文件遷移到該框架下的對(duì)應(yīng)目錄中，實(shí)現(xiàn)紅外圖像超分辨重構(gòu)。工程研制的硬件機(jī)械結(jié)構(gòu)采用了ATX機(jī)箱，內(nèi)置母版、信號(hào)處理板、主控接口板、電源板，其中信號(hào)處理板可以完成目標(biāo)輔助識(shí)別與電子變倍等功能。該機(jī)箱接收非制冷紅外熱像儀采集的紅外數(shù)字圖像，其圖像比較模糊，細(xì)節(jié)不明顯，對(duì)比度也較低。通過本文設(shè)計(jì)的超分辨平獲得的高分辨圖像比較清晰，一些模糊的區(qū)域也呈現(xiàn)出一些細(xì)節(jié)特征，有利于增強(qiáng)目標(biāo)鎖定的精度。本文掛飛的視頻不便于論文展示。為了便于性能分析，本節(jié)對(duì)中科院技物所團(tuán)隊(duì)開源的SITP-Infra數(shù)據(jù)集進(jìn)行對(duì)比分析。由于該數(shù)據(jù)集與掛飛熱像儀的輸出CameraLink圖像都是14位原始圖像，因此所有對(duì)比算法都相同非線性拉伸模型下進(jìn)行8位轉(zhuǎn)換并顯示，最后對(duì)局部區(qū)域的超分辨結(jié)果進(jìn)行對(duì)比，其結(jié)果如圖3所示。圖3所展示的數(shù)據(jù)已經(jīng)在可以看出本文提出的方法對(duì)局部區(qū)域放大后的性能較好，生成具有豐富細(xì)節(jié)而清晰的高分辨紅外圖像。

圖3 不同算法對(duì)CASIA數(shù)據(jù)集中真實(shí)紅外定性分析

3 結(jié)論

針對(duì)深度網(wǎng)絡(luò)超分辨增強(qiáng)模型存在的不足，本文提出了一種基于金字塔密集殘差網(wǎng)絡(luò)的單幀圖像超分辨增強(qiáng)模型，該模型充分利用密集連接和殘差學(xué)習(xí)進(jìn)行高頻殘差預(yù)測(cè)，并在深度監(jiān)督模塊約束下進(jìn)行網(wǎng)絡(luò)訓(xùn)練，有利于實(shí)現(xiàn)較大上采樣因子的超分辨增強(qiáng)。實(shí)驗(yàn)仿真與外場(chǎng)掛飛結(jié)果表明本文模型能夠生成具有豐富細(xì)節(jié)而清晰的高分辨紅外圖像，重建效果具有顯著提升。在海思嵌入式深度學(xué)習(xí)平臺(tái)上實(shí)現(xiàn)了高質(zhì)量的超分辨增強(qiáng)，具有較高的工程應(yīng)用價(jià)值。

[1] 廖小華, 陳念年, 蔣勇, 等. 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)紅外圖像超分辨率算法[J]. 紅外技術(shù), 2020, 42(1): 075-80. LIAO Xiaohua, CHEN Niannian, JIANG Yong, et al. Infrared image super-resolution using improved convolutional neural network[J]., 2020, 42(1): 075-80.

[2] 田廣強(qiáng). 一種新穎高效的紅外動(dòng)態(tài)場(chǎng)景多目標(biāo)檢測(cè)跟蹤[J]. 紅外技術(shù), 2018, 40(3): 259-263. TIAN Guangqiang. A novel algorithm for efficient multi-object detection and tracking for infrared dynamic frames[J]., 2018, 40(3): 259-263.

[3] 曾金發(fā), 吳恩斯, 李能勇. 基于雙核協(xié)同學(xué)習(xí)模型的紅外目標(biāo)跟蹤算法[J]. 紅外技術(shù), 2018, 40(5): 438-443. ZENG Jinfa, WU Ensi, LI Nengyong. Infrared object-tracking algorithm based on dual-kernelized collaborative learning[J]., 2018, 40(5): 438-443.

[4] 韓團(tuán)軍, 尹繼武. 一種魯棒的自適應(yīng)更新策略的彈載計(jì)算機(jī)紅外目標(biāo)跟蹤算法[J]. 紅外技術(shù), 2018, 40(7): 625-631. HAN Tuanjun, YIN Jiwu. Robust adaptive updating strategy for missile-borne infrared object-tracking algorithm[J]., 2018, 40(7): 625-631

[5] 艾志偉, 嵇建波, 李靜, 等. 快速反射鏡狀態(tài)模型構(gòu)建方法及其控制系統(tǒng)設(shè)計(jì)[J]. 紅外技術(shù), 2020, 42(1): 40-45. AI Zhiwei, JI Jianbo, LI Jing, et al. State model construction method for fast steering mirror and its control system design[J]., 2020, 42(1): 040-45.

[6] DONG C, Loy C C, He K, et al. Learning a deep convolutional network for image super-resolution[C]//, 2014: 184-199.

[7] Riegler G, Rther M, Bischof H. ATGV-Net: accurate depth super resolution[C]//2016: 268-284.

[8] SHI Y, LI S, LI W, et al. Fast and Lightweight Image Super-resolution based on dense residuals two-channel network[C]//2019(ICIP), 2019: 2826-2830.

[9] WANG Wei, JIANG Yongbin, LUO Yanhong, et al. An advanced deep residual dense network(DRDN) approach for image super-resolution[J]., 2019, 12(2): 1592-1601.

[10] WU Y, JI X, JI W, et al. CASR: a context-aware residual network for single-image super-resolution[J]., 2019: 1-16.

[11] 楊明, 王璇, 高宏偉. 基于多級(jí)深度網(wǎng)絡(luò)的高清晰度紅外電子變倍算法[J]. 彈箭與制導(dǎo)學(xué)報(bào), 2020, 40(4): 14-19.

YANG Ming, WANG Xuan, GAO Hongwei. High-definition infrared electronic zooming algorithm based on multi-level deep network[J].,,, 2020, 40(4): 14-19.

[12] HUI T, Loy C C, TANG X. Depth map super-resolution by deep multi-scale guidance[C]//, 2016: 353-369.

[13] QIU Y, WANG R, TAO D, et al. Embedded block residual network: a recursive restoration model for single-image super – resolution [C]//, 2019: 4180-4189.

[14] CAO Y, HE Z, YE Z, et al. Fast and accurate single image super -resolution via an energy-aware improved deep residual network[J]., 2019, 162: 115-125.

[15] Anwar S, Barnes N. Densely residual Laplacian super-resolution[J/OL].[2020-09-20]( DOI:10.1109/TPAMI.2020.3021088).

[16] WANG Z, Chen J, Hoi S C H. Deep learning for image super-resolution: a survey[J/OL].[2020-09-20]. https://ieeexplore.ieee.org/document/9185010(doi: 10.1109/ TPAMI. 2020. 2982166).

[17] LONG J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//, 2015: 3431-3440.

[18] HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: Surpassing human-level performance on image net classification[C]//, 2015: 1026-1034.

[19] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//, 2017: 136-144.

[20] HUI T W, Loy C C, TANG X. Depth map super-resolution by deep multi-scale guidance[C]//,, 2016: 353-369.

[21] Guei A C, Akhloufi M. Deep learning enhancement of infrared face images using generative adversarial networks[J]., 2018, 57(18): 98-107.

[22] ZHANG X, LI C, MENG Q, et al. Infrared image super resolution by combining compressive sensing and deep learning[J]., 2018, 18(8): 2587-2599.

Super-resolution Enhancement of Infrared Images Using a Lightweight Dense Residual Network

ZUO Cen1，YANG Xiujie2，ZHANG Jie3，WANG Xuan2

(1.,,401331,;2...,400071,; 3.,400050,)

Existing infrared-guided weapons heavily rely on operators to acquire targets, and the accuracy of acquisition is positively correlated with a target’s texture details. To improve the display quality of weak small regions and meet the design requirements of miniaturization, modularization, and low-cost seekers, an image super-resolution(SR) reconstruction algorithm based on a pyramid dense residual network is proposed. The dense residual network is the basic framework of the proposed model. Through the dense connection layer and the residual network, the model can learn the non-linear mapping between images of different scales, and the multi-scale feature can be used to predict the high-frequency residual. In addition, using the deep supervision module to guide network training is conducive to the realization of SR reconstruction with a larger upper-sampling factor and improvements to its generalization ability. A large number of simulation results show that our proposed model outperforms comparison algorithms and that it has a high engineering application value.

SR reconstruction, lightweight, infrared image, dense residual-network, loss function, deep supervision

TP391

A

1001-8891(2021)03-0251-07

2019-05-19；

2020-03-23.

左岑（1986-），女，漢族，重慶墊江人，碩士，高級(jí)實(shí)驗(yàn)師，研究方向：計(jì)算機(jī)技術(shù)、模式識(shí)別等。E-mail：xuzq1979@outlook.com。

重慶市教委課題（KJ1729409）；重慶市教委教改重點(diǎn)項(xiàng)目（162072）；裝備預(yù)研船舶重工聯(lián)合基金。