基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合算法

許云英，楊 瑞，賀天福，劉尚為，范太然，徐晨晨

基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合算法

許云英，楊 瑞，賀天福，劉尚為，范太然，徐晨晨

（江蘇海洋大學(xué) 電子工程學(xué)院，江蘇 連云港 222005）

紅外圖像和可見光圖像均存在一定的局限性，依靠單個(gè)種類圖像無(wú)法滿足工程實(shí)際需求，可通過引入圖像融合技術(shù)，獲取高質(zhì)量的融合圖像。為更好保障輸出信息特征的多樣性，本文引入一種雙分支卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)紅外與可見光圖像局部融合；在雙分支卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，同時(shí)從紅外圖像、可見光圖像得到跨渠道信息、渠道內(nèi)信息種特征，增加了融合圖像的信息量。采用整數(shù)小波變換方法進(jìn)行圖像壓縮。建立顏色空間模型時(shí)，合理調(diào)節(jié)因子的數(shù)值，獲得理想的融合圖像。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方法相比，本方法融合后圖像邊緣信息得到充分保留，圖像細(xì)節(jié)得到增強(qiáng)，紅外與可見光圖像融合效果更好。

雙分支卷積神經(jīng)網(wǎng)絡(luò)；紅外與可見光圖像；梯度下降理論；小波變換；圖像插值；圖像融合

0 引言

紅外圖像在很多重要領(lǐng)域發(fā)揮著重要的作用。紅外圖像通過熱像儀獲取[1]，紅外圖像可以反映超越人眼的紅外波段信息，轉(zhuǎn)換為可見信息映射至圖像，但是紅外圖像對(duì)比度以及細(xì)節(jié)表現(xiàn)能力不足[2]。可見光圖像具有較好分辨率，對(duì)于目標(biāo)圖像的紋理邊緣信息具有較好的反映效果，但是成像質(zhì)量受到外界因素影響較大[3]。因此，紅外圖像和可見光圖像均存在一定的局限性，依靠單個(gè)種類圖像無(wú)法滿足工程實(shí)際需求，可通過引入圖像融合技術(shù)，獲取高質(zhì)量圖像。

王興龍、朱芳等[4]提出通過雙通道PCNN（Pulse Coupled Neural Network）處理高頻子帶，同時(shí)低頻子帶處理方法為小波變換，該方法使圖像融合效果得到提升。陳潮起等[5]提出的紅外圖像與可見光圖像融合方法是基于多尺度低秩分解。通過多尺度方式低秩分解圖像，將圖像分解為多層次局部以及全局低秩圖，結(jié)合最優(yōu)融合規(guī)則，該方法通過多層次的融合可有效補(bǔ)償圖像信息，圖像融合效果顯著。沈瑜等[6]提出通過構(gòu)建多尺度幾何變換模型快速融合圖像。以上各種方法在圖像融合整體效果上有所提升，但在圖像細(xì)節(jié)和邊緣信息保留方面還有提升空間。

隨著深度學(xué)習(xí)研究的日新月異，卷積神經(jīng)網(wǎng)絡(luò)框架層次不窮，卷積神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的特征提取功能，在目標(biāo)檢測(cè)與識(shí)別融合領(lǐng)域發(fā)揮了重要作用[7]。利用雙分支卷積神經(jīng)網(wǎng)絡(luò)可以更好地完成檢測(cè)。任立成等[8]提出一種基于特征融合的雙分支模塊更新跟蹤算法，通過構(gòu)架分類和回歸兩個(gè)分支，實(shí)現(xiàn)一種高置信度的模板更新策略，使跟蹤穩(wěn)定，并且能更好地適應(yīng)快速移動(dòng)和遮擋。吳佼華等[9]將雙分支神經(jīng)網(wǎng)絡(luò)在SAR（Synthetic Aperture Radar）與多光譜圖像融合中應(yīng)用，增加了融合圖像細(xì)節(jié)信息，得到高分辨率質(zhì)譜（Mass Spectrum）圖像。薛盼盼等[10]提出雙分支特征提取，構(gòu)建低幀頻分支和高幀頻分支，獲得更多的空間語(yǔ)義信息。張雪等[11]提出雙分支網(wǎng)絡(luò)分別進(jìn)行全局和局部特征提取，更好地進(jìn)行車輛重識(shí)別。

但目前利用雙分支卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)紅外與可見光圖像融合方面的研究還很少，基于以上研究，本文提出雙分支卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紅外與可見光圖像融合，以期獲得更多的特征信息。該方法，由渠道內(nèi)分支和跨渠道分支組成，然后將兩個(gè)分支結(jié)果進(jìn)行疊加，形成最終的融合圖像，可以保留更多的圖像信息，保障了融合圖像特征的多樣性，減少信息量損失；同時(shí)本文采用整數(shù)小波變換方法壓縮圖像，達(dá)到縮減圖像儲(chǔ)存空間目的，運(yùn)用二值自適應(yīng)算術(shù)編碼對(duì)變換后的數(shù)據(jù)進(jìn)行壓縮；通過圖像插值方法實(shí)現(xiàn)圖像配準(zhǔn)；建立顏色空間模型，合理調(diào)節(jié)因子的數(shù)值，完成特征提取，實(shí)現(xiàn)較好的融合結(jié)果。

1 基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像局部融合

1.1 雙分支卷積神經(jīng)網(wǎng)絡(luò)

本文提出從紅外圖像、可見光圖像同時(shí)獲取兩種特征，如圖1所示，分別是跨渠道信息和渠道內(nèi)信息[12]，構(gòu)成跨渠道分支和渠道內(nèi)分支，和并兩種特征，得到最終融合圖像。本文提出的雙分支卷積網(wǎng)絡(luò)可獲取的融合圖像信息量更多，融合圖像信息特征的多樣性加強(qiáng)，信息量損失減少。

在本文提出的雙分支卷積神經(jīng)網(wǎng)絡(luò)中，將標(biāo)注任務(wù)和標(biāo)注者引入到神經(jīng)元結(jié)構(gòu)。公式為：

式中：x是第個(gè)輸入；w是權(quán)重值；是偏置值；是神經(jīng)元激活函數(shù)。對(duì)T的結(jié)果進(jìn)行分析后可以發(fā)現(xiàn)，其主要呈現(xiàn)為線性關(guān)系，將T的結(jié)果映射引入到函數(shù)中[13]。在雙分支的卷積神經(jīng)元網(wǎng)絡(luò)中，輸入值在這一網(wǎng)絡(luò)中被設(shè)定為，權(quán)值矩陣在這一網(wǎng)絡(luò)中被設(shè)定為，偏置矩陣在這一網(wǎng)絡(luò)中被設(shè)定為，輸出在這一網(wǎng)絡(luò)中被設(shè)定為h,b，反向傳播期望輸出值在這一網(wǎng)絡(luò)中被設(shè)定為()[14]。樣本量在這一網(wǎng)絡(luò)中被設(shè)定為，損失函數(shù)在該研究中被設(shè)定為，接下來可以選擇采用以下表達(dá)式來表示損失函數(shù)平方誤差：

對(duì)以及初始化[15]，更新神經(jīng)網(wǎng)絡(luò)中的參數(shù)，詳見圖2所示。

圖1 二分支卷積單元

圖2 神經(jīng)網(wǎng)絡(luò)中的梯度下降圖

結(jié)合梯度下降方向獲得、，更新、的值。公式如下：

1.2 圖像壓縮

在本文方法中為減少圖像儲(chǔ)存空間，采用整數(shù)小波變換IWT（Integer Wavelet Transform）的方法對(duì)圖像進(jìn)行處理[18]。小波變換可以通過以下步驟實(shí)現(xiàn)：

假設(shè)輸入初始圖像信號(hào)為s，其中∈＋，通過小波變分解圖像信號(hào)序列，形成偶數(shù)以及奇數(shù)兩種不同形式：

1,l0＝even(s)＝2l(5)

1,l0＝odd(s)＝2l＋1(6)

小波對(duì)偶提升方式為預(yù)測(cè)因子的構(gòu)造，技術(shù)序列預(yù)測(cè)依照于偶數(shù)序列[19]，預(yù)測(cè)誤差計(jì)算方式如下所示：

假設(shè)做次對(duì)偶提升和基本提升可得：

1,l＝1,l/(8)

1,l＝1,l(9)

式中：1,l指做次對(duì)偶提升后得到的偶數(shù)圖像序列；1,l指的是次對(duì)偶提升后得到的基本提升值。

用以上方案對(duì)圖像進(jìn)行壓縮，將可見光圖像序列的前一幀作為后一幀的參考圖像，從而進(jìn)行譜間預(yù)測(cè)，以消除譜間的相關(guān)性[20]。接著對(duì)處理后所獲得的殘差圖像進(jìn)行整數(shù)小波變換處理，圖像壓縮框如圖3所示。

圖3 圖像壓縮方案框架

其中運(yùn)用二值自適應(yīng)算術(shù)編碼對(duì)整數(shù)小波變換后的數(shù)據(jù)進(jìn)行壓縮，去除小波系數(shù)存在空間相關(guān)性，與其他編碼相比較，該方法能自動(dòng)控制進(jìn)位擴(kuò)散并且對(duì)硬件要求不高[21]。通過上述框架完成對(duì)圖像的壓縮處理。

1.3 圖像配準(zhǔn)

本文方法為更好地實(shí)現(xiàn)圖像融合、保證融合后圖像清晰程度，在圖像序列融合之前，需要進(jìn)行配準(zhǔn)處理。在不同場(chǎng)合、時(shí)間、位置等條件下，獲取圖像之間的幾何關(guān)系，確定兩幅圖像之前的幾何變換。同時(shí)為了避免采集到的圖像出現(xiàn)模糊不清或失真情況[22]，采集紅外光譜圖像后，需要通過紅外光譜成像系統(tǒng)，實(shí)施圖像校正，校正圖像的公式如下所示：

式中：、、、分別代表初始圖像、白板校正圖像、黑板校正圖像、被校正過的圖像。通過紅外光譜儀對(duì)紅外光譜圖像中樣本的光譜信息進(jìn)行提取，該過程在校正圖像后進(jìn)行，光譜值為使用紅外光譜的平均值。

本文所提方法為了使表征結(jié)果更加符合人體眼球的視覺特征，把視覺傳達(dá)下紅外圖像RGB顏色空間模型替換成HSV空間模型，通過顏色特征統(tǒng)計(jì)使其變?yōu)樘卣魇噶?，將紅外圖像不同顏色分量組合為統(tǒng)一特征矢量，表現(xiàn)形式為：

＝9＋3＋(11)

這樣、、三種分量在紅外圖中就能夠在一維矢量中分布開來。視覺傳達(dá)上紅外圖像區(qū)域顏色最多鏈接區(qū)域R，可通過顏色C中同一種顏色構(gòu)成的最大鏈接區(qū)域字塊表述，其滿足：

area(R)＝{(Max(Area(R,C8)))} (12)

式中：C8表示落入色彩C的紅外圖像像素?cái)?shù)目，實(shí)行鏈接標(biāo)記，(Max(Area(R,C8)))表示落入色彩C紅外圖像像素建造的最大鏈接區(qū)域的像素?cái)?shù)量[23]。經(jīng)過估算紅外圖像邊緣像素以st為中心的不同領(lǐng)域的色彩粗糙度來表征邊緣區(qū)域的劇烈程度，并通過紅外圖像整體的最大鏈接區(qū)域的均勻色彩粗糙度來表征該區(qū)域和周圍區(qū)域色彩的變化程度：

以視覺傳達(dá)紅外圖像的子塊分割為基本，把一幅紅外圖像分割成×種子塊，提取出紅外圖像所有子塊內(nèi)不同色彩的鏈接區(qū)域和邊緣的粗糙度，估算出紅外圖像和所有分塊之間的類似度，把通過分塊處理的紅外圖像的類似度設(shè)定成所有分塊類似度的均值，即：

式中：S表示紅外圖像某種子塊之間的類似度；b表示以分塊作為基礎(chǔ)的紅外圖像的類似度。

圖像配準(zhǔn)需要對(duì)比圖像灰度值轉(zhuǎn)換空間坐標(biāo)點(diǎn)，使其呈現(xiàn)離散分布狀態(tài)[24]。促使經(jīng)過變換的點(diǎn)無(wú)法正好落在網(wǎng)格節(jié)點(diǎn)上面，本文通過雙線性差值的方法進(jìn)行坐標(biāo)值估計(jì)[25-26]。具體如圖4所示。

圖4 雙線性差值方法

以下分別給出對(duì)應(yīng)點(diǎn)和的灰度值，具體如以下公式所示：

()＝(￠－)[()－()]＋() (15)

()＝(￠－)[()－()]＋() (16)

此時(shí)(￠,￠)坐標(biāo)處對(duì)應(yīng)的灰度值為(￠,￠)：

(￠,￠)＝(￠－)[()－()]＋() (17)

利用圖5給出插值。

圖5 PV插值

根據(jù)上述理論，即可完成視覺傳達(dá)下紅外圖像的優(yōu)化設(shè)計(jì)。

1.4 圖像特征提取

在本文方法中為更好地進(jìn)行圖像融合，對(duì)可見光圖像構(gòu)建圖像空間結(jié)構(gòu)的顏色特征[27]，建立顏色空間模型。

IHS顏色空間模型：在IHS顏色空間中，I代表圖像亮度，H代表顏色，S代表圖像色彩的深淺度。顏色空間表征方式如圖6所示。

圖6 IHS顏色空間

為解決IHS進(jìn)行變換時(shí)較為費(fèi)時(shí)且效率較低的問題，提出一種快速IHS變換方法，其表達(dá)式為：

式中：＝－，＝0＋0＋0，代表黑白影像的灰度值；0、0以及0代表色彩影像的不同波段，new、new以及new代表完成融合后的圖像。

通過均值標(biāo)準(zhǔn)差實(shí)施歸一化處理，得出表達(dá)式即：

式中：￠代表配準(zhǔn)結(jié)束后的高分辨率黑白影像；代表未配準(zhǔn)時(shí)的高分辨率黑白影像；HRP代表未配準(zhǔn)時(shí)的影像均值；HRP代表未配準(zhǔn)時(shí)的方差；LRI代表未配準(zhǔn)時(shí)較低分辨率的均值；LRI代表未配準(zhǔn)時(shí)低分辨率的分量方差。

Brovery變換法：其影像方式主要根據(jù)較高分辨率的色彩影像和多光譜影像共有的波譜區(qū)間為基礎(chǔ)[28]，其表達(dá)式為：

式中：0、0以及0所描述的是色彩影像的不同波段；描述的是未配準(zhǔn)時(shí)的高分辨率黑白影像。

在本文方法中為了更好地突出主體和客體的不同，提出對(duì)上述公式進(jìn)行改進(jìn)，得出其表達(dá)式為：

從式(21)中可得出，改變值，實(shí)現(xiàn)不同顏色空間模型。在＝1情況下，代表Brovery變換方式；在?￥情況下，則代表IHS變換方式，根據(jù)調(diào)節(jié)值進(jìn)一步操控兩種方式間的變化。綜上所述，通過適當(dāng)改變數(shù)值，進(jìn)一步增強(qiáng)兩者之間的對(duì)比度，對(duì)所表達(dá)的具體內(nèi)容予以最好的傳達(dá)，實(shí)現(xiàn)更加符合人眼視覺效果的融合圖像。

1.5 圖像融合

本文利用整數(shù)小波變換對(duì)輸入數(shù)據(jù)進(jìn)行分解，高頻分量采用能量重組，低頻分量進(jìn)行絕對(duì)值最大規(guī)則融合，最后進(jìn)行小波重建，將圖像轉(zhuǎn)換為圖像，完成圖像融合。

1.6 評(píng)價(jià)指標(biāo)

本文方法采用絕對(duì)均方亮度表征圖像亮度，AMSLE（Absolute Mean Square Luminance Error）值越小，表示圖像亮度維持效果越好，表征圖像融合效果越好，形成圖像質(zhì)量越高，計(jì)算方式如下所示：

AMSLE＝|Meanf－MeanG|(22)

式中：Meanf表示輸入圖像的亮度均值；MeanG表示輸出圖像的亮度均值。

本文方法重點(diǎn)選用均方根誤差來準(zhǔn)確衡量圖像的配準(zhǔn)精度，以下給出具體的計(jì)算式：

式中：(,)表示參考圖像中的特征點(diǎn)；(￠,￠)為校正前后待配準(zhǔn)圖像中相對(duì)應(yīng)的特征點(diǎn)；為最終的特征點(diǎn)對(duì)數(shù)。

2 實(shí)驗(yàn)分析

本文方法為了驗(yàn)證圖像融合性能，分析紅外與可見光圖像融合效果，進(jìn)行了實(shí)驗(yàn)分析。為了突出本文方法的有效性，實(shí)驗(yàn)通過對(duì)本文方法、文獻(xiàn)[4]方法、文獻(xiàn)[5]方法以及文獻(xiàn)[6]方法進(jìn)行對(duì)比。實(shí)驗(yàn)中所利用的光源線是成像鏡頭構(gòu)建的紅外光譜正向系統(tǒng)，采集紅外光譜圖像，實(shí)驗(yàn)操作系統(tǒng)為Windows XP系統(tǒng)，其運(yùn)行內(nèi)存為16 GB，CPU為intel酷睿i7-7700，設(shè)定紅外光譜圖像的分辨率為330pixel×267pixel。本文實(shí)驗(yàn)選擇的圖像來自O(shè)TCBVS數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)中共包含13個(gè)子數(shù)據(jù)集合。

將紅外光譜成像系統(tǒng)曝光時(shí)間、控制平臺(tái)移動(dòng)速度和物鏡尺寸進(jìn)行合理調(diào)節(jié)，再收集紅外光譜圖像。把物鏡的尺寸調(diào)節(jié)至90cm，曝光的時(shí)間調(diào)節(jié)到1/5722，平臺(tái)的移動(dòng)速度調(diào)整到35.8mm/s，曝光時(shí)間、移動(dòng)速度與物鏡的高度都是通過較多實(shí)驗(yàn)后得出的準(zhǔn)確數(shù)值。

圖7是一組源圖像，左側(cè)是紅外圖像，右側(cè)是可見光圖像。圖8是由圖7的紅外圖像和可見光圖像進(jìn)行融合得到的圖像進(jìn)行實(shí)驗(yàn)分析，從左到右依次是文獻(xiàn)[4]方法、文獻(xiàn)[5]方法、文獻(xiàn)[6]方法、本文方法所得的實(shí)驗(yàn)結(jié)果，從上到下依次對(duì)該組圖像的人物、路況和樹枝細(xì)節(jié)進(jìn)行對(duì)比。由圖8可以看出，本文方法從不同角度觀測(cè)圖像邊緣均較明顯，證明圖像邊緣信息得到充分保留，圖像細(xì)節(jié)信息增強(qiáng)。經(jīng)所提方法處理后，不同光譜之間區(qū)分分明，主要原因在于所提方法綜合了粒子群算法與特征提取方法，較單一特征的設(shè)計(jì)精準(zhǔn)度要高。

如表1所示，在同等實(shí)驗(yàn)條件下，相比其他方法，本文所提方法的均方誤差、均方亮度誤差以及模糊熵均達(dá)到了更好的結(jié)果，均方亮度誤差達(dá)到0.98，模糊熵值最高達(dá)到6.23，融合處理后的圖像視覺信息顯著性更高，所得圖像信息質(zhì)量更優(yōu)。

圖7 實(shí)驗(yàn)數(shù)據(jù)集中的一組紅外圖像（左側(cè)）和可見光圖像（右側(cè)）

圖8 紅外與可見光融合圖像在細(xì)節(jié)部分的實(shí)驗(yàn)對(duì)比

表1 本實(shí)驗(yàn)的結(jié)果對(duì)比

與文獻(xiàn)[4]方法相比，本文方法在時(shí)間上增加11.7%，但是均方亮度誤差提升達(dá)36.4%，模糊熵提升了32.8%，均方誤差提升18.2%；與文獻(xiàn)[5]方法相比，本文方法時(shí)間增加相對(duì)較多，但是在均方亮度誤差、均方誤差方面提升效果最好，分別達(dá)到51.2%、23.8%，同時(shí)模糊熵提升了4.7%?？傮w而言，本文方法在時(shí)間花費(fèi)有一定程度增加的情況下，其它指標(biāo)均獲得了更好的結(jié)果，能獲得更優(yōu)質(zhì)的融合圖像。本文方法更適用于對(duì)融合圖像質(zhì)量要求較高的場(chǎng)合。

為了進(jìn)一步驗(yàn)證所提方法的優(yōu)越性，均方根誤差對(duì)比結(jié)果如表2所示。

表2 不同方法的均方根誤差

詳細(xì)分析表2可知，本文所提方法的均方根誤差在4種方法中為最低，均方根誤差最低為0.01，說明圖像的配準(zhǔn)效果更好，圖像融合效果更好，主要原因在于本文所提的雙分支卷積網(wǎng)絡(luò)可獲取得輸出信息量更多，保障了輸出信息特征的多樣性，減少信息量損失。

實(shí)驗(yàn)結(jié)果表明，融合后圖像邊緣信息得到充分保留，圖像細(xì)節(jié)信息增強(qiáng)，模糊熵值最高達(dá)到6.23，均方根誤差最低為0.01，則說明圖像的配準(zhǔn)效果好，證明紅外與可見光圖像的融合達(dá)到了更好的效果。

3 結(jié)論

本文引入雙分支卷積神經(jīng)網(wǎng)絡(luò)，保障了輸出信息特征的多樣性，減少信息量損失；采用整數(shù)小波變換方法壓縮圖像縮減圖像儲(chǔ)存空間；基于圖像插值法配準(zhǔn)圖像，保障融合圖像呈現(xiàn)較強(qiáng)清晰度；根據(jù)合理調(diào)節(jié)因子的數(shù)值，獲得最佳顏色空間模型，獲取到較理想的融合結(jié)果。融合后圖像邊緣信息得到充分保留，圖像細(xì)節(jié)信息增強(qiáng)，圖像的配準(zhǔn)效果好，紅外與可見光圖像融合效果好。實(shí)驗(yàn)結(jié)果表明：采用本文方法紅外與可見光圖像融合圖像精度有所提升，細(xì)節(jié)信息增強(qiáng)，更加符合人眼視覺效果。

[1] 朱瑩, 夏亦犁, 裴文江. 基于改進(jìn)的BEMD的紅外與可見光圖像融合方法[J]. 計(jì)算機(jī)科學(xué), 2020, 47(3): 124-129.

ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]., 2020, 47(3): 124-129.

[2] 蘇金鳳, 張貴倉(cāng), 汪凱. 結(jié)合魯棒主成分分析和非下采樣輪廓波變換的紅外與可見光圖像的壓縮融合[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(4): 84-93.

SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]., 2020, 57(4): 84-93.

[3] 鄧秋菊, 王寧. 非下采樣輪廊波變換的紅外與可見光圖像融合[J]. 激光雜志, 2020, 41(4): 92-95.

DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]., 2020, 41(4): 92-95.

[4] 王興龍, 朱芳. 基于雙通道PCNN的NSST域紅外與可見光圖像融合[J]. 平頂山學(xué)院學(xué)報(bào), 2020, 35(2): 55-61.

WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]., 2020, 35(2): 55-61.

[5] 陳潮起, 孟祥超, 邵楓, 等. 一種基于多尺度低秩分解的紅外與可見光圖像融合方法[J]. 光學(xué)學(xué)報(bào), 2020, 40(11): 72-80.

CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition [J]., 2020, 40(11): 72-80.

[6] 沈瑜, 陳小朋, 苑玉彬,等. 基于顯著矩陣與神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(20): 76-86.

SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network [J]., 2020, 57(20): 76-86.

[7] 張貴倉(cāng), 蘇金鳳, 拓明秀. DTCWT域的紅外與可見光圖像融合算法[J]. 計(jì)算機(jī)工程與科學(xué), 2020, 42(7): 1226-1233.

ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain [J]., 2020, 42(7): 1226-1233.

[8] 任立成, 劉勇, 張建林, 等. 基于特征融合的雙分支模板更新跟蹤算法[J]. 國(guó)外電子測(cè)量技術(shù), 2021, 40(5): 14-21.

REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion [J]., 2021, 40(5): 14-21.

[9] 吳佼華, 楊學(xué)志, 方帥,等. 基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的SAR與多光譜圖像融合實(shí)驗(yàn)[J]. 地理與地理信息科學(xué), 2021, 37(2): 22-30.

WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network [J]., 2021, 37(2): 22-30.

[10] 薛盼盼, 劉云, 李輝, 等. 基于時(shí)域擴(kuò)張殘差網(wǎng)絡(luò)和雙分支結(jié)構(gòu)的人體行為識(shí)別[J/OL]. 控制與決策: 1-10. [2021-09-29]. https://doi.org/ 10.13195/j.kzyjc.2021. 0648.

XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL].: 1-10. [2021-09-29]. https ://doi.org/ 10.13195/j.kzyjc.2021.0648.

[11] 張雪, 孟令燦, 聶秀山. 基于雙分支網(wǎng)絡(luò)特征融合的車輛重識(shí)別方法[J]. 數(shù)據(jù)采集與處理, 2021, 36(3): 468-476.

ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion [J]., 2021, 36(3): 468-476.

[12] 賀雙龍, 楊斌. 基于局部結(jié)構(gòu)和視覺顯著特征的紅外和可見光圖像泊松重構(gòu)融合算法[J]. 南華大學(xué)學(xué)報(bào): 自然科學(xué)版, 2020, 34(5): 62-70, 76.

HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features [J]., 2020, 34(5): 62-70, 76.

[13] 周嘵玲, 江澤濤. 結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)與引導(dǎo)濾波的紅外與可見光圖像融合[J]. 光學(xué)學(xué)報(bào), 2019, 39(11): 132-139.

ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]., 2019, 39(11): 132-139.

[14] 劉明君, 董增壽. 基于多特征的紅外與可見光圖像融合[J]. 激光雜志, 2019, 40(10): 81-85.

LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features [J]., 2019, 40(10): 81-85.

[15] 王寧, 周銘, 杜慶磊. 一種紅外可見光圖像融合及其目標(biāo)識(shí)別方法[J]. 空軍預(yù)警學(xué)院學(xué)報(bào), 2019, 33(5): 328-332.

WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]., 2019, 33(5): 328-332.

[16] 宮睿, 王小春. BEMD分解和W變換相結(jié)合的紅外與可見光圖像融合[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019, 24(6): 987-999.

GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]., 2019, 24(6): 987-999.

[17] 張雷雷, 王鐸. 基于局部能量和鄰域信息的紅外與可見光圖像融合[J]. 光電技術(shù)應(yīng)用, 2019, 34(3): 19-22.

ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]., 2019, 34(3): 19-22.

[18] 榮傳振, 賈永興, 吳城,等. 紅外與可見光圖像分解與融合方法研究[J]. 數(shù)據(jù)采集與處理, 2019, 34(1): 146-156.

RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods [J]., 2019, 34(1): 146-156.

[19] 馮鑫. Tetrolet框架下紅外與可見光圖像融合[J]. 光子學(xué)報(bào), 2019, 48(2): 76-84.

FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]., 2019, 48(2): 76-84.

[20] 朱平哲. 基于DCT與PSO的可見光與紅外圖像融合方法[J]. 新疆大學(xué)學(xué)報(bào): 自然科學(xué)版, 2018, 35(4): 452-458.

ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO [J].: Natural Science Edition, 2018, 35(4): 452-458.

[21] 孔玲君, 張志華, 曾茜, 等. 基于NSST和SWT的紅外與可見光圖像融合算法研究[J]. 包裝工程, 2018, 39(19): 216-222.

KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT [J]., 2018, 39(19): 216-222.

[22] 邱澤敏. 結(jié)合區(qū)域與邊緣特征的紅外與可見光圖像融合算法[J]. 紅外技術(shù), 2018, 40(5): 449-454.

QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]., 2018, 40(5): 449-454.

[23] 朱亞輝. 聚類分析的紅外與可見光融合質(zhì)量指標(biāo)相似性研究[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2018, 27(2): 216-222.

ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]., 2018, 27(2): 216-222.

[24] 吳冬鵬, 畢篤彥, 馬時(shí)平, 等. 邊緣和對(duì)比度增強(qiáng)的NSST域紅外與可見光圖像融合[J]. 紅外技術(shù), 2017, 39(4): 358-364.

WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images [J]., 2017, 39(4): 358-364.

[25] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學(xué)學(xué)報(bào), 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]., 2017, 46(2): 357-362.

[26] 李昌興, 王志強(qiáng). 基于視覺特性的紅外與可見光圖像融合[J]. 西安郵電大學(xué)學(xué)報(bào), 2016, 21(6): 98-102.

LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics [J]., 2016, 21(6): 98-102.

[27] 周華兵, 侯積磊, 吳偉, 等. 基于語(yǔ)義分割的紅外和可見光圖像融合[J]. 計(jì)算機(jī)研究與發(fā)展, 2021, 58(2): 436-443.

ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]., 2021, 58(2): 436-443.

[28] 張蕾. 采用改進(jìn)平均梯度與自適應(yīng)PCNN的圖像融合[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2021, 38(3): 218-223.

ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN [J]., 2021, 38(3): 218-223.

Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network

XU Yunying，YANG Rui，HE Tianfu，LIU Shangwei，F(xiàn)AN Tairan，XU Chenchen

(School of Electronic Engineering, Jiangsu Ocean University, Lianyungang 222005, China)

Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.

two-branch convolutional neural network, infrared and visible light images, Gradient descent theory, wavelet transform, image interpolation, image fusion

TP391.4

A

1001-8891(2022)05-0521-08

2021-09-23；

2022-05-03

許云英（1990-），女，碩士研究生，研究方向：圖像處理。E-mail：371739272@qq.com。

楊瑞（1976-），男，副教授，研究方向：智能信息處理、程序分析及測(cè)試等。E-mail：yangrui@jou.edu.cn。

江蘇海洋大學(xué)電子工程學(xué)院研究生科研創(chuàng)新項(xiàng)目（DZXS202006）。