基于多級深度網(wǎng)絡(luò)的高清晰度紅外電子變倍算法*

楊 明，王 璇，高宏偉,2

(1 北華航天工業(yè)學(xué)院雙創(chuàng)中心， 河北廊坊 065000;2 榆林學(xué)院現(xiàn)代設(shè)計(jì)與先進(jìn)制造技術(shù)研究中心, 陜西榆林 719000)

0 引言

現(xiàn)有的紅外制導(dǎo)武器大都采用“發(fā)射前鎖定，發(fā)射后不管”模式，發(fā)射前操作手鎖定目標(biāo)精度的高低將直接影響最終武器系統(tǒng)命中目標(biāo)的精度[1]。為了降低操作手的捕獲誤差，往往通過加強(qiáng)操作手捕控操作訓(xùn)練，提高操控的熟練程度以及對目標(biāo)區(qū)域的熟悉程度。提高捕控精度，雖然能在一定程度上減小操作手的捕控誤差，但該方法十分依賴操作手的經(jīng)驗(yàn)與技術(shù)，而且還存在主觀性強(qiáng)、重復(fù)性低、效率低下等缺點(diǎn)。

為了提升弱小區(qū)域的顯示質(zhì)量，目前裝備大多采用多視場光學(xué)變焦和數(shù)碼變焦兩種設(shè)計(jì)模式進(jìn)行變倍。前者是通過大視場捕獲目標(biāo)，小視場瞄準(zhǔn)跟蹤目標(biāo)，但這無疑增加了光學(xué)系統(tǒng)設(shè)計(jì)復(fù)雜性，以及加工裝調(diào)難度，無法滿足現(xiàn)有導(dǎo)引頭小型化、模塊化、低成本的設(shè)計(jì)要求；后者則是通過相應(yīng)的軟件算法設(shè)計(jì)對低分辨圖像進(jìn)行超分辨重建，估計(jì)出相應(yīng)的高分辨圖像。可以看出，采用超分辨重建電子變倍提升圖像質(zhì)量是目前最經(jīng)濟(jì)可行的方案，然而目前武器裝備的電子變焦功能大多采用插值放大，雖然一定程度上放大了目標(biāo)區(qū)域的尺寸，但并不能提供紋理清晰的高分辨圖像[2]。

基于插值的方法假設(shè)像素的灰度值是連續(xù)變化的，并利用鄰近像素的灰度值計(jì)算待插值像素的灰度值，該方法簡單易行，但重建圖像高頻信息缺失，圖像過于模糊?；趯W(xué)習(xí)的超分辨重建算法則是通過算法模型學(xué)習(xí)出先驗(yàn)知識(shí)，如稀疏特征、鄰域嵌入、低秩等進(jìn)行特征學(xué)習(xí)[3]。由于圖像先驗(yàn)知識(shí)依賴于實(shí)際問題的約束，所以基于知識(shí)重建的方法魯棒性不高。

近年來，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度網(wǎng)絡(luò)強(qiáng)調(diào)模型的深度，通過將低層次特征進(jìn)行逐層組合優(yōu)化，獲得更加抽象的高層次特征，增強(qiáng)目標(biāo)模型的表征能力，如VGG、ResNet等[4]都極大地提升了單幀圖像超分辨率重建的效果，然而大多數(shù)深度學(xué)習(xí)方法都沒有充分利用圖像局部特征，且硬件資源有限，很難通過簡單的增加網(wǎng)絡(luò)深度的策略提高重建圖像質(zhì)量[5]。

為了讓卷積神經(jīng)網(wǎng)絡(luò)更好的勝任紅外導(dǎo)引頭或光電跟蹤系統(tǒng)電子變倍任務(wù)，適應(yīng)現(xiàn)代戰(zhàn)爭對精確打擊與遠(yuǎn)程攻擊能力的要求，文中重新設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，通過將低層次特征和高層次特征聚合連接形成新的特征，并采用雙參數(shù)損失函數(shù)來優(yōu)化訓(xùn)練深度網(wǎng)絡(luò)，提高網(wǎng)絡(luò)模型的泛化能力。仿真實(shí)驗(yàn)與掛飛驗(yàn)證結(jié)果表明，文中所提出的電子變倍方法能夠生成具有豐富細(xì)節(jié)而清晰的高分辨紅外圖像，增強(qiáng)了目標(biāo)鎖定的精度。

1 深度殘差網(wǎng)絡(luò)

眾所周知，理論上深度模型網(wǎng)絡(luò)越深，其表達(dá)能力越強(qiáng)，能處理的訓(xùn)練數(shù)據(jù)也更多；實(shí)際上，網(wǎng)絡(luò)越深，其優(yōu)化過程越困難，誤差回傳會(huì)導(dǎo)致梯度消失問題[5]。為了解決網(wǎng)絡(luò)越深精度迅速退化的問題，He等提出了深度殘差網(wǎng)絡(luò)(deep residual network resnet)[6]，其模型結(jié)構(gòu)如圖1所示，其中Conv與ReLU分別表示卷積算子與線性整流函數(shù)。假定xl與yl分別表示第l層的輸入與輸出；網(wǎng)絡(luò)恒等映射函數(shù)為H(xl)；f(yl)為相應(yīng)激活函數(shù)，可以得到：

圖1 恒等映射

(1)

若模型為恒等映射，其f(yl)=yl，H(xl)=xl，代入式(1)可以看出：

xl+1=xl+F(xl,wl)

(2)

因此，遞歸推導(dǎo)可以得到第L層的輸出結(jié)果，如式(3)所示。

(3)

若l=0，則x0表示模型中第一層的輸入原始信號?？梢钥闯?，第L層的輸出結(jié)果則是所有層的殘差之和，即多級聯(lián)網(wǎng)絡(luò)進(jìn)行堆疊而成。當(dāng)采用反向傳播優(yōu)化求解時(shí)，其代價(jià)函數(shù)可以表示為：

2 多層次特征耦合網(wǎng)絡(luò)

雖然深度殘差網(wǎng)絡(luò)可以利用恒等映射提升網(wǎng)絡(luò)的深度，提高深度特征的表征能力。但對于硬件余量有限的武器裝備，提升深度將增加網(wǎng)絡(luò)復(fù)雜度，很難通過簡單增加網(wǎng)絡(luò)深度的策略提高重建圖像質(zhì)量。由于圖像的低層次局部特征具有豐富細(xì)節(jié)信息，深度特征具有較強(qiáng)的結(jié)構(gòu)表征能力[7]。因此，文中提出了一種多層次特征耦合網(wǎng)絡(luò)，通過將低層次特征和高層次特征聚合連接形成新的特征，并采用雙參數(shù)損失函數(shù)來優(yōu)化訓(xùn)練深度網(wǎng)絡(luò)，提高網(wǎng)絡(luò)模型的泛化能力。

2.1 特征耦合模塊

特征耦合能增加模塊間的依賴性，降低模塊獨(dú)立性，提升目標(biāo)的表征能力[8]。為了學(xué)習(xí)到圖像中更豐富的深層次特征，文中采用特征耦合將網(wǎng)絡(luò)的低分辨特征與深度特征進(jìn)行融合，并采用一個(gè)跨連接操作將低層次特征與高層次特征以端到端用多層的方式級聯(lián)起來，然后輸入到上采樣模塊，其子網(wǎng)絡(luò)模塊如圖2所示，該模塊設(shè)計(jì)的耦合操作由兩個(gè)不同層次的特征獲取最優(yōu)特征表示，采用1×1卷積層實(shí)現(xiàn)不同層次特征交互和信息整合，并采用3×3卷積核對不同維度下的特征進(jìn)行計(jì)算，增加網(wǎng)絡(luò)的深度，以提取更多的區(qū)域細(xì)節(jié)。

圖2 特征耦合

直接對原始低分辨圖像進(jìn)行多層卷積，上采樣模塊實(shí)現(xiàn)了多層次卷積特征圖的融合，經(jīng)過多個(gè)卷積層后，得到r2個(gè)特征圖，其中r表示超分辨放大倍率。通過將各像素對應(yīng)的r2通道的特征排列成r×r的子圖像，經(jīng)像素重整模塊得到大小為rH×rW的高分辨圖像。該策略不直接對多特征圖上采樣映射，而是通過逐層學(xué)習(xí)挖掘深度特征，具有很高的效率和表征能力。

為了增強(qiáng)模型對復(fù)雜背景下目標(biāo)區(qū)域的表征能力，多層次耦合子模塊經(jīng)過次級聯(lián)構(gòu)成了深度網(wǎng)絡(luò)的基本模型架構(gòu)。然后針對稠密卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的思想，采用1×1卷積層連接3×3卷積層結(jié)構(gòu)，作為子塊的基準(zhǔn)結(jié)構(gòu)，并且每個(gè)卷積層都采用ReLU作為激活函數(shù)；在基準(zhǔn)結(jié)構(gòu)的基礎(chǔ)上，增加一個(gè)3×3卷積層，作為子塊結(jié)構(gòu)的改進(jìn)結(jié)構(gòu)；最后，將子塊結(jié)構(gòu)的基準(zhǔn)結(jié)構(gòu)和改進(jìn)結(jié)構(gòu)在特征圖通道維度進(jìn)行堆疊，作為子塊結(jié)構(gòu)的融合結(jié)構(gòu)。

2.2 基于多級深度網(wǎng)絡(luò)的電子變倍架構(gòu)

低層次特征主要由局部特征組成，如邊緣、輪廓和角點(diǎn)等，在區(qū)域描述上良好的旋轉(zhuǎn)不變性和灰度不變性，以及較強(qiáng)的可解釋性，有利于電子變倍任務(wù)[9]。深度特征則強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，而且更突出特征學(xué)習(xí)的重要性。通過逐層特征變換，挖掘數(shù)據(jù)豐富的內(nèi)在信息。但深度增加會(huì)加大模型復(fù)雜度。因此提出的耦合策略，在不提升深度的情況下增強(qiáng)模型表征能力，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該網(wǎng)絡(luò)將圖2所示的子模塊進(jìn)行堆疊，通過恒等映射連接，確保了低層次特征能用于超分辨重建，從而使得網(wǎng)絡(luò)完全融合了局部特征和全局特征。先使用一系列卷積模塊和像素重整模塊搭建深度殘差網(wǎng)絡(luò)，使用獨(dú)立的卷積層和數(shù)據(jù)疊加層得到圖像殘差信號，然后中間數(shù)據(jù)經(jīng)過像素重整模塊，里面的上采樣操作將輸入圖像的清晰度提高，該模型可以使不同尺寸圖像的超分辨率增強(qiáng)，提高紅外圖像的清晰度和分辨率。

圖3 深度網(wǎng)絡(luò)結(jié)構(gòu)

由于1×1卷積層可以降低特征維數(shù)，以更少的信息損失進(jìn)行更快的計(jì)算。因此，網(wǎng)絡(luò)結(jié)構(gòu)先利用1×1卷積層降維，然后在另一個(gè)1×1卷積層下做還原，既保持了精度又減少了計(jì)算量。將低分辨率圖像塊輸入一個(gè) 7×7的卷積層，并采用ReLU作為激活函數(shù)。7×7卷積層的輸出特征輸入多連接結(jié)構(gòu)塊，其中每個(gè)多連接結(jié)構(gòu)塊均包括一個(gè)子塊結(jié)構(gòu)和一個(gè)恒等映射；通過堆疊多連接結(jié)構(gòu)塊，然后將最后一個(gè)多連接結(jié)構(gòu)塊的輸出特征圖輸入一個(gè)1×1卷積層，降低特征圖的維數(shù)；采用一個(gè)跨連接層，將7×7卷積層輸出的特征圖和1×1卷積層降維后的特征圖堆疊起來，共同作為放大模塊的輸入；最后采用低分辨率特征圖按次序拼接成高分辨率特征圖的方法，將低分辨率特征圖放大到一定的倍數(shù)。

2.3 雙參數(shù)損失函數(shù)

深度殘差網(wǎng)絡(luò)的損失函數(shù)可表示為：

(5)

式中：(xi,yi)代表低分辨圖像與高分辨圖像組成的訓(xùn)練樣本；m表示訓(xùn)練樣本的個(gè)數(shù)；hθ(x) 代表邏輯回歸函數(shù)[16]。訓(xùn)練過程即是使損失函數(shù)最小的參數(shù)求解過程。然而，該函數(shù)對極端情況下的樣本擬合能力較差。因此，采用了一種改進(jìn)的雙參數(shù)損失函數(shù)，該函數(shù)可以推廣到目前許多流行的魯棒損失函數(shù)。假定IHR和SHR之間的誤差可以表示為e=IHR-SHR，文中采用的損失函數(shù)可以表示為：

(6)

式中：ρ(α)=max(1, 2-α)；α、β是具有連續(xù)值屬性的參數(shù)，可以通過不同的參數(shù)設(shè)置，模擬出任意的損失函數(shù)。相比于傳統(tǒng)固定參數(shù)損失函數(shù)，采用雙參數(shù)損失函數(shù)可以通過微調(diào)α和β獲得更優(yōu)的損失函數(shù)，具有很大的靈活性，可以適應(yīng)更復(fù)雜的場景。

3 實(shí)驗(yàn)仿真及掛飛驗(yàn)證

為了驗(yàn)證文中提出的多級深度網(wǎng)絡(luò)高清晰度電子變倍算法的有效性，將從靜態(tài)實(shí)驗(yàn)室仿真與動(dòng)態(tài)外場掛飛進(jìn)行評價(jià)分析。

3.1 網(wǎng)絡(luò)模型參數(shù)設(shè)置

第一卷積層：卷積核大小為3×3，輸出特征圖個(gè)數(shù)為64，卷積步長為1；非線性激活函數(shù)采用ReLU激活函數(shù)，其作用為引入非線性操作，將特征圖中小于零的值變成零，而大于零的值維持不變，即f(x)=max(0,x) 。第二卷積層：卷積核大小為3×3，輸出特征圖個(gè)數(shù)為64，卷積步長為1；文中采用的多層次耦合層，包括低層次局部特征與高層次深度特征兩路分支；在處理中間數(shù)據(jù)時(shí)，輸入到每一個(gè)卷積模塊時(shí)的數(shù)據(jù)流D1和該數(shù)據(jù)流經(jīng)過一般結(jié)構(gòu)層處理后的數(shù)據(jù)流D2進(jìn)行合并，并且作為該卷積模塊的輸出，繼續(xù)輸入到下一卷積模塊；深度支路最初的輸入圖像經(jīng)過卷積層后的數(shù)據(jù)流Dint與經(jīng)過全部卷積模塊和批歸一化處理后的數(shù)據(jù)流Dall進(jìn)行疊加，輸入到像素重整模塊。像素重整模塊，包括一個(gè)卷積層和一個(gè)像素重整層，其中卷積核大小為3×3，輸出特征圖個(gè)數(shù)為256，卷積步長為1，像素重整層使用比例系數(shù)C=0.01，對輸入數(shù)據(jù)流進(jìn)行上采樣操作。訓(xùn)練時(shí)，批處理的大小設(shè)為64，動(dòng)量參數(shù)設(shè)為0.9，權(quán)重衰減設(shè)為0.000 1；采用可變學(xué)習(xí)率的學(xué)習(xí)策略，初始學(xué)習(xí)率設(shè)為0.01，當(dāng)誤差停滯時(shí)，學(xué)習(xí)率衰減為之前的10%。α和β分別設(shè)置為1.12和0.05。

實(shí)驗(yàn)選擇Tensorflow深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練，其硬件平臺(tái)采用Core i5 7600處理器:主頻為3.94 GHz，內(nèi)存為32 G，GPU GTX1080。本算法掛飛硬件平臺(tái)采用RK3399開發(fā)板。

3.2 仿真結(jié)果與分析

由于紅外圖像很少有不同分辨率的基準(zhǔn)數(shù)據(jù)庫。為了便于定性定量的分析算法的有效性，采用武漢高德紅外生產(chǎn)的制冷型銻化銦紅外探測器ZCM01A，其分辨率為1 280×1 024，像元尺寸是12 μm；工作波段 3.7～4.8 μm，其對應(yīng)的低分辨紅外圖像是由高斯模糊采樣獲取。由于實(shí)際的紅外圖像沒有對應(yīng)的高分辨的圖像用做定量分析，只能從對比度、邊緣區(qū)域的銳度、同質(zhì)區(qū)域的平滑性等方面主觀定性的對比分析。因此，采用低成本非制冷探測器采集的低分辨紅外圖像(320×240)進(jìn)行超分辨重建，從對比度、邊緣銳度、紋理特性等角度定量分析重建性能。

將文中方法與基于參數(shù)化稀疏表示的圖像超分辨算法(PSC)[10]，基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨算法(SRCNN)[4]，基于亞像素深度網(wǎng)絡(luò)超分辨重建(ESPCN)[8]、基于生成對抗網(wǎng)絡(luò)的超分辨重建(GANSR)[11]和基于遞歸殘差超分辨(VDSR)[12]進(jìn)行對比。峰值信噪比(PSNR)[13]和結(jié)構(gòu)相似度(SSIM)[14]被用來定量評價(jià)超分辨結(jié)果的性能。表1列出了各種超分辨方法獲得的PSNR值和SSIM值。

表1 不同算法的重建效果定量值

從表1的數(shù)據(jù)可以看出：基于深度學(xué)習(xí)重建性能明顯優(yōu)于基于參數(shù)化稀疏表示的圖像超分辨算法，其中SRCNN的平均PSNR比PSC高0.5 dB, SSIM值高0.1?；趨?shù)化稀疏表示的圖像超分辨算法是目前傳統(tǒng)機(jī)器學(xué)習(xí)中最優(yōu)算法，其重建結(jié)果與深度學(xué)習(xí)算法仍有一點(diǎn)的差距。文中提出的方法與GANSR性能相當(dāng)，大部分結(jié)果與SRCNN相差0.3 dB左右，一些結(jié)果甚至超過0.5 dB。在圖像2上所有算法的重建結(jié)果都不理想，主要是由于圖像2中圖像存在大量的熱浪，沒有明顯的紋理結(jié)構(gòu)，深度學(xué)習(xí)的效果比較虛化，但從指標(biāo)上看，文中算法的PSNR比GANSR的PSNR高0.28 dB, SSIM指標(biāo)也要高0.132，充分說明提出的多層次深度耦合網(wǎng)絡(luò)具有一定的優(yōu)勢，適合復(fù)雜紅外背景下弱小區(qū)域超分辨重建。

圖4是圖像3與圖像4不同算法的重建效果。從實(shí)驗(yàn)結(jié)果可以看出：所有算法的重建質(zhì)量相比直接插值有一定的提升，對于強(qiáng)邊緣區(qū)域可以得到清晰的紋理邊緣結(jié)構(gòu)。圖4(a)是利用一種混合參數(shù)模式，不僅從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出非參數(shù)圖像，還要估計(jì)出先驗(yàn)參數(shù)，該方法對邊緣區(qū)域效果較好，但勻質(zhì)區(qū)域容易出現(xiàn)偽影；SRCNN、ESPCN、GANSR、VDSR是深度學(xué)習(xí)超分辨領(lǐng)域比較有代表性的方法，從實(shí)驗(yàn)結(jié)果可以看出，此類方法的效果較好。圖4(c)中，ESPCN引入了亞像素卷積層，將插值函數(shù)隱含地包含卷積層，直接在低分辨率圖像上計(jì)算卷積得到高分辨率圖像，該方法對部分勻質(zhì)區(qū)域過于平滑，而缺少一些細(xì)節(jié)上的真實(shí)感。圖4(d)中，GANSR是基于對抗網(wǎng)絡(luò)的重建模式，理論上重建的高分辨率圖像與真實(shí)圖像無論是低層次的像素值上，還是高層次的抽象特征上都應(yīng)當(dāng)接近。該方法對自然圖像的效果較好，但對于紅外圖像，由于大部分紅外圖像缺乏明顯細(xì)節(jié)，對比度較低，代價(jià)函數(shù)容易過擬合，其結(jié)果容易重建出一些虛假的紋理。

文中提出的網(wǎng)絡(luò)模型是對深度殘差網(wǎng)絡(luò)的改進(jìn)，通過引入具有明顯像素特性低層次特征與高層次深度特征耦合，使得模型并不需要太深的結(jié)構(gòu)就能實(shí)現(xiàn)較好的效果。從圖4(f)的效果可以看出，該方法獲得的放大區(qū)域比較清晰，紋理結(jié)構(gòu)明顯。操作手只需要將波門拉到攻擊區(qū)域附近，通過子圖就能清晰的看到目標(biāo)細(xì)節(jié)，方便鎖定最佳攻擊位置。

圖4 不同算法的放大結(jié)果分析

3.3 掛飛視頻對比分析

文中提出的算法已經(jīng)移植到基于ARM平臺(tái)的嵌入式系統(tǒng)[15]中，采用非制冷紅外熱像儀進(jìn)行視頻采集。操作手利用文中算法獲取變倍后的高分辨圖像鎖定目標(biāo)，能夠清晰的看見弱小區(qū)域的邊緣、紋理信息，增強(qiáng)了目標(biāo)中心鎖定的精度。對掛飛圖像進(jìn)行對比分析，其結(jié)果如圖5所示，所有圖像都是3倍放大后的結(jié)果。可以看出：文中提出的方法通過跳躍式連接耦合不同層次的特征，能夠同時(shí)表征各種復(fù)雜的重構(gòu)場景，生成具有豐富細(xì)節(jié)而清晰的高分辨紅外圖像。

圖5 不同算法對掛飛視頻定量分析

4 結(jié)論

為了提升紅外導(dǎo)引頭或光電跟蹤系統(tǒng)電子變倍獲取的放大圖像的質(zhì)量，增強(qiáng)邊緣、紋理等細(xì)節(jié)信息，便于操作手鎖定最佳攻擊點(diǎn)，對深度殘差網(wǎng)絡(luò)進(jìn)行有效改進(jìn)，通過多層跨連接將低層次特征和高層次特征聚合形成新的特征，能夠表征各種復(fù)雜的重構(gòu)場景，并采用雙參數(shù)損失函數(shù)來優(yōu)化深度網(wǎng)絡(luò)，提高模型的泛化能力。實(shí)驗(yàn)仿真與外場掛飛結(jié)果表明所提出的電子變倍方法能夠生成具有豐富細(xì)節(jié)而清晰的高分辨紅外圖像，增強(qiáng)了目標(biāo)鎖定的精度。