一種基于U2-Net的紅外熱成像與可見(jiàn)光圖像融合方法

謝 迅，程為彬

（長(zhǎng)江大學(xué)地球物理與石油資源學(xué)院，湖北 武漢 430100）

0 引 言

紅外熱成像技術(shù)也稱為被動(dòng)型紅外成像技術(shù)，主要是通過(guò)將物體自身所散發(fā)出的熱輻射轉(zhuǎn)換成可見(jiàn)光的技術(shù)。由于紅外熱成像設(shè)備中紅外焦平面探測(cè)器的技術(shù)發(fā)展所限，致使紅外成像設(shè)備具有體積大、分辨率低的缺點(diǎn)，故結(jié)合可見(jiàn)光設(shè)備體積小、分辨率高且成本低的優(yōu)點(diǎn)，提出紅外熱成像與可見(jiàn)光圖像融合的方案。

李霖等人在紅外與可見(jiàn)光圖像深度學(xué)習(xí)融合方法綜述中提出，融合方法可分為不同的類(lèi)別[1]，包括基于多尺度變換[2]、基于稀疏表示[3]、基于神經(jīng)網(wǎng)絡(luò)[4]、基于子空間[5]、基于顯著性[6-10]、混合模型[11]和其他融合方法[12-13]。

QIN X 等人提出針對(duì)顯著目標(biāo)檢測(cè)的U2-Net 結(jié)構(gòu)[6]。U2-Net 是一種兩級(jí)嵌套的U 型網(wǎng)絡(luò)結(jié)構(gòu)，主要用于顯著目標(biāo)檢測(cè)。顯著目標(biāo)檢測(cè)（Salient Object Detection）通過(guò)模擬人類(lèi)視覺(jué)感知系統(tǒng)來(lái)定位場(chǎng)景中最吸引人的目標(biāo)，已被廣泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)任務(wù)中。

葉明等人在電阻抗成像方面采用U2-Net 模型，使得輸入層結(jié)構(gòu)簡(jiǎn)單，運(yùn)算速度快[7]；項(xiàng)家偉等人在面部屬性編輯技術(shù)中采用Trans-GAN，將融合U2-Net 特征提取器作為編碼器結(jié)構(gòu)，提高網(wǎng)絡(luò)對(duì)面部空間信息的提取能力[8]；王昱翔等人在金屬表面缺陷方面，采用U2-Net 結(jié)構(gòu)解決實(shí)際生產(chǎn)中金屬表面圖像噪點(diǎn)過(guò)多，導(dǎo)致背景誤判和采樣層獲取信息不夠細(xì)致的問(wèn)題[9]；孟森等人在天然氣泄漏檢測(cè)方面，使用U2-Net 圖像分割網(wǎng)絡(luò)代替背景建模方法來(lái)提取泄漏氣體區(qū)域[10]。

本文基于U2-Net 的顯著目標(biāo)檢測(cè)技術(shù)可將圖像中目標(biāo)物體與背景分隔，舍棄紅外熱成像圖像背景溫度信息，保留重要部件圖像溫度信息，并結(jié)合可見(jiàn)光設(shè)備體積小且分辨率高的優(yōu)點(diǎn)，提出一種基于U2-Net 的紅外熱成像與可見(jiàn)光圖像融合方法，降低設(shè)備成本，提升系統(tǒng)整體的可視性。

1 圖像融合原理

1.1 U2-Net結(jié)構(gòu)

利用U2-Net結(jié)構(gòu)將紅外熱成像與可見(jiàn)光圖像作為輸入圖像，采用基于DUTS數(shù)據(jù)集所訓(xùn)練出的全尺寸U2-Net模型，進(jìn)行顯著性目標(biāo)檢測(cè)。該數(shù)據(jù)集包含10 553 個(gè)訓(xùn)練圖像和5 019 個(gè)測(cè)試圖像。通過(guò)U2-Net 結(jié)構(gòu)模型對(duì)圖像中的顯著目標(biāo)物體的輪廓特征信息進(jìn)行提取，將圖像中的目標(biāo)物體與背景進(jìn)行分隔，去除圖像中雜亂的背景，分別對(duì)紅外熱成像圖像與可見(jiàn)光圖像進(jìn)行預(yù)處理。U2-Net 的網(wǎng)絡(luò)結(jié)構(gòu)總體上與傳統(tǒng)的U-Net 的U 形結(jié)構(gòu)相同，但是將每一層U-Net 結(jié)構(gòu)中的卷積結(jié)構(gòu)換成RSU 殘差結(jié)構(gòu)，可形成如圖1 所示的嵌套U 形結(jié)構(gòu)。

圖1 U2-Net 的網(wǎng)絡(luò)結(jié)構(gòu)

RSU 殘差結(jié)構(gòu)主要由卷積輸入層、對(duì)稱編碼器-解碼器結(jié)構(gòu)與顯著圖融合模塊三部分組成。卷積輸入層主要作用是將圖像的局部特征信息通過(guò)普通卷積層進(jìn)行提??；解碼器階段與編碼器階段結(jié)構(gòu)相似，每個(gè)解碼器階段將來(lái)自其前一階段的上采樣特征圖和來(lái)自其對(duì)稱編碼器階段的上采樣特征圖的連接作為輸入；顯著圖融合模塊主要是用于生成顯著概率圖。

1.2 顯著目標(biāo)多邊形逼近檢測(cè)及形心計(jì)算

顯著目標(biāo)多邊形逼近檢測(cè)可以通過(guò)U2-Net 結(jié)構(gòu)對(duì)提取的輪廓信息進(jìn)行篩選，濾除未封閉的圖像輪廓，提取出顯著目標(biāo)物體的最大輪廓，并對(duì)其最大輪廓信息進(jìn)行相關(guān)處理。多邊形逼近檢測(cè)原理主要是通過(guò)Douglas-Peucker 算法完成，對(duì)輪廓信息進(jìn)行數(shù)字化采樣，在輪廓曲線上取有限個(gè)點(diǎn)連接成為折線，在一定的程度上能夠保持輪廓的原有形狀[14]。

通過(guò)多邊形逼近檢測(cè)可以有效濾除過(guò)多的復(fù)雜的輪廓信息，篩選出更加平滑的曲線信息，進(jìn)一步對(duì)U2-Net 結(jié)構(gòu)模型提取后圖像中目標(biāo)物體輪廓邊緣的瑕疵信息進(jìn)行濾除，保障圖像在后期融合過(guò)程的觀感，提升整體的圖像評(píng)價(jià)質(zhì)量。

經(jīng)過(guò)多邊形逼近檢測(cè)提取輪廓后，圖像中的目標(biāo)物體成為一個(gè)大多邊形，在OpenCV 庫(kù)中，通過(guò)moments 函數(shù)返回圖像矩，其計(jì)算方法如式（1）所示，并根據(jù)式（2）進(jìn)行多邊形形心計(jì)算。

1.3 紅外熱成像圖像無(wú)損仿射變換

三維目標(biāo)信息壓縮在二維圖像顯示過(guò)程中，由于相機(jī)鏡頭的物理特性等，會(huì)遺失較多空間信息，而對(duì)于圖像融合方面，雙機(jī)位分別拍攝的紅外熱成像圖像與可見(jiàn)光圖像在空間角度與空間距離維度方面存在著差異[15-16]。為減少信息差異，避免后期在相似性匹配中進(jìn)行角度變換調(diào)整過(guò)程中丟失圖像信息，需要對(duì)紅外熱成像圖像進(jìn)行無(wú)損仿射變換。

紅外熱成像圖像無(wú)損仿射變換從本質(zhì)上來(lái)看，就是矩陣無(wú)損仿射變換。仿射變換是二維坐標(biāo)到二維坐標(biāo)的線性變換，能保證二維圖形之間的相對(duì)位置關(guān)系不變，包含旋轉(zhuǎn)、平移、伸縮、反射和剪切變換[17]，公式如下：

式中：（a，b）為形心坐標(biāo)；θ為旋轉(zhuǎn)角度。

通過(guò)M矩陣?yán)@形心進(jìn)行旋轉(zhuǎn)變換，避免圖像丟失信息，使得圖像中的目標(biāo)信息始終完整展示，其旋轉(zhuǎn)所產(chǎn)生的空缺區(qū)域以0 補(bǔ)齊。圖像仿射變換示意圖如圖2所示。

圖2 圖像仿射變換示意圖

經(jīng)過(guò)M矩陣的旋轉(zhuǎn)仿射變換，圖像外圍整體的尺寸信息會(huì)隨著圖像目標(biāo)信息的旋轉(zhuǎn)進(jìn)行動(dòng)態(tài)調(diào)整，保證圖像中的目標(biāo)信息完整顯示，避免在后面的相似性匹配過(guò)程中，由于圖像信息丟失的差異而導(dǎo)致相似性檢測(cè)結(jié)果出現(xiàn)較大的誤差。

1.4 紅外熱成像圖像相似性匹配定位

在OpenCV 庫(kù)中，圖像進(jìn)行相似性匹配通常采用模板匹配的方法。模板匹配通常有6 種方式，分別是平方差匹配、標(biāo)準(zhǔn)平方差匹配、相關(guān)性匹配、標(biāo)準(zhǔn)相關(guān)性匹配、相關(guān)性系數(shù)匹配、標(biāo)準(zhǔn)相關(guān)性系數(shù)匹配[18]。

通過(guò)采用平方差匹配（TM_SQDIFF）的方式，將紅外熱成像圖像在可見(jiàn)光圖像中進(jìn)行自左向右、自上而下的移動(dòng)，遍歷可見(jiàn)光圖像的所有像素，對(duì)每次移動(dòng)位置的兩部分圖像進(jìn)行平方差運(yùn)算，兩者計(jì)算值越小則相似度越高。假設(shè)紅外熱成像圖像左上角的坐標(biāo)為（x，y），可見(jiàn)光圖像上左上角的坐標(biāo)為（x′，y′），且x′-x=dx，y′-y=dy，即紅外熱成像圖像的寬為w，高為h，來(lái)計(jì)算紅外熱成像圖像在可見(jiàn)光圖像所有對(duì)應(yīng)位置像素點(diǎn)的像素平方差之和[19]公式如下：

通過(guò)式（4）可知，當(dāng)計(jì)算值為0 時(shí)，則表示兩者完全相同，故計(jì)算值越小則相似度越高。

將紅外熱成像圖像當(dāng)作可移動(dòng)圖像，如圖3a）所示，將可見(jiàn)光圖像當(dāng)作固定圖像，如圖3b）所示，將兩者圖像尺寸進(jìn)行相加構(gòu)成新尺寸圖像，如圖3c）所示，避免由于兩者圖像尺寸不一致而導(dǎo)致無(wú)法遍歷所有像素點(diǎn)的問(wèn)題。

圖3 數(shù)字圖像存儲(chǔ)網(wǎng)格

將紅外熱成像圖像疊加在所形成的新尺寸圖像（圖4a））上，進(jìn)行自左向右（圖4b））、自上而下（圖4c））操作，遍歷所有像素點(diǎn)，計(jì)算出在橫向與縱向方位上最相似的區(qū)域。由于雙機(jī)位所拍攝出的圖像存在一定的角度差異，只在橫向與縱向方位進(jìn)行相似性匹配無(wú)法呈現(xiàn)出最好的狀態(tài)，故本文在該相似度匹配方法基礎(chǔ)上，結(jié)合圖像仿射變換操作，在橫向與縱向方位最佳匹配區(qū)域以多邊形的形心進(jìn)行旋轉(zhuǎn)匹配，消除存在的角度誤差。

圖4 數(shù)字圖像疊加匹配過(guò)程

2 實(shí)驗(yàn)仿真結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)備

紅外熱成像設(shè)備采用基于MLX90640 的紅外熱成像傳感器，擁有32×24 分辨率，主控芯片為GD32F103 CBT6，擁有108 MHz 的主頻，64 KB 內(nèi)置閃存。通過(guò)主控芯片，將紅外熱成像傳感器32×24 分辨率所采集的數(shù)據(jù)經(jīng)過(guò)編碼、插值等方式，存儲(chǔ)為320×240 分辨率的BMP 圖像。紅外熱成像采集設(shè)備如圖5 所示。

圖5 紅外熱成像采集設(shè)備

采用的可見(jiàn)光圖像拍攝設(shè)備為安卓手機(jī)，搭載的鏡頭為索尼IMX586，拍攝照片分辨率為3 000×4 000，以jpg 格式存儲(chǔ)，未經(jīng)其他圖像處理操作。

2.2 實(shí)驗(yàn)步驟

1）將所采集的紅外熱成像圖像與可見(jiàn)光圖像分別通過(guò)U2-Net 結(jié)構(gòu)模型進(jìn)行顯著目標(biāo)檢測(cè)以及背景去除操作，效果圖如圖6 所示。

圖6 U2-Net 模型進(jìn)行背景去除

2）對(duì)去除背景的目標(biāo)物體的紅外熱成像圖像與可見(jiàn)光圖像分別進(jìn)行多邊形輪廓逼近檢測(cè)以及形心位置計(jì)算。輪廓逼近、形心計(jì)算及融合效果如圖7 所示。

圖7 輪廓逼近、形心計(jì)算及融合效果

3）將紅外熱成像圖像中的目標(biāo)物體疊加在可見(jiàn)光圖像，在橫向與縱向方位上進(jìn)行相似性匹配，在匹配最佳區(qū)域，以紅外熱成像圖像中目標(biāo)物體的形心進(jìn)行圖像仿射變換，同時(shí)進(jìn)行相似性匹配，確定出最終匹配位置。

2.3 實(shí)驗(yàn)結(jié)果分析

基于以上實(shí)驗(yàn)步驟所運(yùn)行出來(lái)的結(jié)果，本文采用圖像質(zhì)量主觀評(píng)價(jià)與圖像質(zhì)量客觀評(píng)價(jià)相結(jié)合的方式進(jìn)行實(shí)驗(yàn)結(jié)果分析。圖像A、圖像B 與圖像C 效果對(duì)比如圖8 所示。

圖8 圖像A、圖像B 與圖像C 效果對(duì)比

本文主要采用Brenner 梯度函數(shù)、Tenengrad 梯度函數(shù)、Laplacian 梯度函數(shù)、SMD（灰度方差）函數(shù)、SMD2（灰度方差乘積）函數(shù)、Variance（方差）函數(shù)等6 種方法對(duì)融合圖像進(jìn)行評(píng)價(jià)[20]，結(jié)果如表1 所示。

表1 圖像質(zhì)量客觀評(píng)價(jià)

根據(jù)表1 的6 種質(zhì)量客觀評(píng)價(jià)算法計(jì)算結(jié)果數(shù)值來(lái)看：圖像A 在Brenner 梯度函數(shù)、Tenengrad 梯度函數(shù)、Laplacian 梯度函數(shù)、SMD 函數(shù)、SMD2 函數(shù)中，具有最大計(jì)算數(shù)值，故圖像A 在圖像清晰度方面具有較高質(zhì)量，融合效果好；圖像C 只有在Variance 函數(shù)中得到最大的計(jì)算數(shù)值。故從圖像質(zhì)量客觀評(píng)價(jià)效果排序?yàn)椋簣D像A＞圖像C＞圖像B。

從圖像質(zhì)量主觀評(píng)價(jià)來(lái)看，圖像A 在圖像目標(biāo)邊緣匹配與面積覆蓋率方面獲得最佳效果，圖像B 在瓶蓋位置出現(xiàn)部分邊緣融合偏差，圖像C 則在瓶身上半部分就開(kāi)始出現(xiàn)邊緣融合偏差，故從圖像質(zhì)量主觀評(píng)價(jià)效果排序?yàn)椋簣D像A＞圖像B＞圖像C。

3 結(jié) 語(yǔ)

本文結(jié)合紅外熱成像分辨率低、成本高昂的缺點(diǎn)，與可見(jiàn)光成像分辨率高、成本相對(duì)較低的優(yōu)點(diǎn)，進(jìn)行優(yōu)劣互補(bǔ)，提出一種紅外熱成像與可見(jiàn)光圖像融合的方法。該方法所采用的MLX90640 熱成像傳感器的分辨率為32×24，圖像數(shù)據(jù)經(jīng)過(guò)雙線性插值后，與可見(jiàn)光圖像相融合。實(shí)驗(yàn)結(jié)果表明，所提方法對(duì)于目標(biāo)物體的可視性檢測(cè)具有良好的效果。若進(jìn)一步提高熱成像傳感器分辨率，將對(duì)于紅外熱成像目標(biāo)物體邊緣處理更加清晰，融合效果將進(jìn)一步提升。同時(shí)，本文中采用的是U2-Net 結(jié)構(gòu)全尺寸通用模型，針對(duì)不同領(lǐng)域可構(gòu)建基于U2-Net 結(jié)構(gòu)的訓(xùn)練模型，在推理速度與目標(biāo)識(shí)別率也將會(huì)進(jìn)一步提升。

注：本文通訊作者為程為彬。