融合紅外與可見光的實(shí)驗(yàn)室火焰圖像分割識(shí)別

李 頎，張 冉

（陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021）

1 引言

近年來(lái)，教育體系引入安全發(fā)展理念，其中實(shí)驗(yàn)室安全建設(shè)尤為重要。高校實(shí)驗(yàn)室事故仍時(shí)有發(fā)生。2021 年7 月，南方科技大學(xué)化學(xué)實(shí)驗(yàn)室在實(shí)驗(yàn)過(guò)程中發(fā)生火災(zāi)；2021 年10 月，南京航空航天大學(xué)一實(shí)驗(yàn)室發(fā)生爆炸；2022 年4 月，中南大學(xué)實(shí)驗(yàn)室發(fā)生火災(zāi)。安全是教育事業(yè)不斷發(fā)展、學(xué)生成長(zhǎng)成才的基本保障［1］。

當(dāng)檢測(cè)到早期火苗判斷火災(zāi)有可能發(fā)生，應(yīng)及時(shí)預(yù)警，避免火災(zāi)的發(fā)生，降低實(shí)驗(yàn)室損失?；馂?zāi)發(fā)生必會(huì)伴隨火焰煙霧產(chǎn)生，可見火焰煙霧識(shí)別仍必不可少。

近年來(lái)，基于圖像處理的火焰煙霧檢測(cè)技術(shù)發(fā)展迅速，檢測(cè)方法包括傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩類。早期Toreyin 等提出基于小波變換和背景去除的方法提取煙霧火焰的邊緣紋理特征，判斷視頻中是否存在煙霧發(fā)生火災(zāi)［2］。Gong 等通過(guò)獲取圖像質(zhì)心點(diǎn)以解決火焰形狀的不規(guī)則問題，結(jié)合顏色空間和火焰特征檢測(cè)火焰，但該方法泛化能力不足，易受光線干擾［3］。Kim 等提出了多輸出編碼器-解碼器的火災(zāi)檢測(cè)框架，雖檢測(cè)準(zhǔn)確率有較大提升，但需要人工操作［4］。周泊龍等提出結(jié)合動(dòng)態(tài)和靜態(tài)煙霧火焰特征識(shí)別視頻火災(zāi)煙霧，但該方法易受形似煙霧物質(zhì)的干擾，誤報(bào)率高［5］。

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)獲取火焰煙霧特征信息對(duì)火焰進(jìn)行識(shí)別，提高了火焰識(shí)別準(zhǔn)確率，但卷積神經(jīng)網(wǎng)絡(luò)巨大的計(jì)算導(dǎo)致檢測(cè)實(shí)時(shí)性較差［6］。嚴(yán)忱等提出了融合尺度特征的視頻火焰檢測(cè)方法［7］。Hosseini等提出一種高效卷積神經(jīng)網(wǎng)絡(luò)模型UFSNet 以檢測(cè)視頻中的火焰和煙霧［8］。本文提出一種基于紅外和可見光圖像融合的實(shí)驗(yàn)室火焰煙霧分割識(shí)別模型，該模型通過(guò)融合紅外圖像和可見光圖像增強(qiáng)火焰煙霧目標(biāo)圖像的顯著性，以提高實(shí)驗(yàn)室內(nèi)早期火苗識(shí)別準(zhǔn)確性；根據(jù)不受煙霧遮擋影響的熱紅外圖像提供的熱輻射信息，增強(qiáng)可見光圖像光譜信息，同時(shí)通過(guò)邊緣提取模塊增強(qiáng)邊緣信息，以提高煙霧遮擋下火焰的分割識(shí)別精度。

2 語(yǔ)義感知實(shí)時(shí)紅外和可見圖像融合分割網(wǎng)絡(luò)

實(shí)驗(yàn)室需要實(shí)時(shí)檢測(cè)實(shí)驗(yàn)室內(nèi)火焰和煙霧，因此要求融合網(wǎng)絡(luò)的實(shí)時(shí)性。語(yǔ)義感知的實(shí)時(shí)圖像融合分割網(wǎng)絡(luò)將圖像融合網(wǎng)絡(luò)和語(yǔ)義分割網(wǎng)絡(luò)級(jí)聯(lián)，利用語(yǔ)義分割損失約束圖像融合，再通過(guò)新的融合結(jié)果和優(yōu)化聯(lián)合損失函數(shù)來(lái)更新分割模型的參數(shù)，可提高高層視覺任務(wù)在融合圖像上的性能，增強(qiáng)煙霧和蒸汽情況下火焰圖像的顯著性。網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 語(yǔ)義感知實(shí)時(shí)紅外和可見圖像融合分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Diagram of semantic perception of real-time infrared and visible image fusion division network structure

2.1 基于GRDB 的輕量級(jí)紅外與可見光圖像融合網(wǎng)絡(luò)

為了實(shí)時(shí)融合熱紅外圖像和可見光圖像，語(yǔ)義感知實(shí)時(shí)紅外和可見圖像融合網(wǎng)絡(luò)采用基于梯度殘差密集塊（GRDB）的輕量級(jí)紅外與可見光圖像融合網(wǎng)絡(luò)，融合可見光紋理信息和熱紅外中的熱輻射信息［9］。如圖2 所示，該網(wǎng)絡(luò)由特征提取器和圖像重構(gòu)器組成，特征提取器包含紅外特征提取流通道A 和可見特征提取流通道B，每個(gè)由一個(gè)公共卷積層、兩個(gè)梯度殘差密集塊組成來(lái)提取細(xì)粒度特征。圖像重構(gòu)是由3 個(gè)串聯(lián)的3×3 卷積層和一個(gè)1×1 卷積層組成。3×3 卷積層采用LRe-LU 作為激活函數(shù)，1×1 卷積層采用Tanh 作為激活函數(shù)。

圖2 基于GRDB 的輕量級(jí)紅外與可見光圖像融合網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Diagram of lightweight infrared and visible light image fusion network structure based on GRD

2.2 語(yǔ)義分割Deeplabv3+網(wǎng)絡(luò)模型

Deeplabv3+網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示［10］。Deeplabv3+網(wǎng)絡(luò)分為編碼器和解碼器兩部分。編碼器包含主干網(wǎng)絡(luò)和空洞空間金字塔池化模塊（ASPP）。主干網(wǎng)絡(luò)通過(guò)下采樣提取高級(jí)語(yǔ)義特征，生成特征圖，隨后通過(guò)由3 個(gè)空洞率分別為6，8，12 的空洞卷積核、一個(gè)1×1 的卷積核和一個(gè)全局平均池化層組成的ASPP 模塊得到5 個(gè)特征圖，將特征圖進(jìn)行級(jí)聯(lián)后經(jīng)過(guò)一個(gè)1×1 的卷積核實(shí)現(xiàn)通道降維。解碼器是將主干網(wǎng)絡(luò)中4 倍下采樣獲取的低級(jí)語(yǔ)義特征圖經(jīng)過(guò)一個(gè)1×1 的卷積核進(jìn)行通道降維，隨后再與編碼器進(jìn)行4 倍上采樣后的特征圖進(jìn)行拼接，實(shí)現(xiàn)高級(jí)特征語(yǔ)義特征與低級(jí)特征語(yǔ)義特征圖的融合。再經(jīng)過(guò)3×3 的卷積核提取融合后的圖像特征，最后再進(jìn)行4 倍上采樣，最終輸出預(yù)測(cè)分割圖像。

圖3 Deeplabv3+網(wǎng)絡(luò)模型Fig.3 Deeplabv3+network model

3 改進(jìn)的語(yǔ)義感知實(shí)時(shí)紅外和可見圖像融合分割模型及訓(xùn)練

3.1 改進(jìn)的融合網(wǎng)絡(luò)

在融合網(wǎng)絡(luò)訓(xùn)練階段，由于損失函數(shù)只考慮了強(qiáng)度和梯度信息，當(dāng)存在煙霧遮擋或?qū)嶒?yàn)室環(huán)境設(shè)備雜亂時(shí)，可能會(huì)丟失重要結(jié)構(gòu)信息［11］。為解決該問題，本文設(shè)計(jì)一種中間特征傳輸塊，建立網(wǎng)絡(luò)中前后信息流之間的連接，避免卷積造成火焰圖像信息丟失。同時(shí)在網(wǎng)絡(luò)中引入權(quán)重塊，實(shí)現(xiàn)自適應(yīng)結(jié)構(gòu)相似性損失約束，減少中間信息損失，起到信息保護(hù)的作用。改進(jìn)的融合網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)的融合網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Diagram of improved fusion network structure

3.1.1 權(quán)重模塊

權(quán)重模塊結(jié)構(gòu)如圖5 所示。該模塊由3 部分組成，即特征度量、softmax 和相似性約束，特征度量過(guò)程可定義為：

圖5 權(quán)重模塊結(jié)構(gòu)圖Fig.5 Diagram fo weight module structure

其中：Φc(I)表示提取的熱紅外圖像特征Φc(IA)或可見光圖像特征Φc(IB)，H、W和N表示圖像的高度、寬度和顏色通道，?2為拉普拉斯算子，‖ · ‖F(xiàn)表示Frobenius范數(shù)。為保留紅外和可見光圖像的細(xì)節(jié)，融合采用邊緣定位能力強(qiáng)、銳化效果好的拉普拉斯算子。

特征度量輸出結(jié)果為GIA和GIB，然后輸入到softmax 中。softmax 函數(shù)計(jì)算為：

其中：ω1和ω2的值在0～1 之間，且ω1+ω2=1；c為預(yù)定義的正態(tài)尺度常數(shù)，用于調(diào)節(jié)權(quán)重分布。權(quán)重越高，相應(yīng)源圖像保留信息越多。損失函數(shù)通過(guò)權(quán)重ω1、ω2實(shí)現(xiàn)自適應(yīng)相似性約束，提高融合圖像結(jié)構(gòu)和內(nèi)容的完整性。

3.1.2 中間特征傳輸塊

中間特征傳輸塊（IFTB）結(jié)構(gòu)如圖6 所示。特征圖Φc(IA)和Φc(IB)連接后分別輸入到兩個(gè)1×1 卷積層和LReLU 卷積層組合中，提高速度同時(shí)防止過(guò)擬合。經(jīng)過(guò)中間特征傳輸塊后的輸出結(jié)果分別傳輸至A 通道和B 通道，并與處理前特征圖Φc(IA)和Φc(IB)分別進(jìn)行串聯(lián)連接，來(lái)交換A、B 通道之間的信息，對(duì)可見光和熱紅外圖像信息進(jìn)行預(yù)融合，同時(shí)加強(qiáng)圖像重構(gòu)階段的信息，以防止可見光圖像背景特征丟失。

圖6 IFTB 結(jié)構(gòu)圖Fig.6 Diagram of IFTB structure

3.2 改進(jìn)的Deeplabv3+語(yǔ)義分割識(shí)別模型

為提高實(shí)驗(yàn)室復(fù)雜環(huán)境細(xì)小火苗的識(shí)別，通過(guò)改進(jìn)的Deeplabv3+對(duì)融合后的實(shí)驗(yàn)室火焰圖像進(jìn)行分割，得到細(xì)小火苗語(yǔ)義分割圖，并對(duì)火苗分割圖進(jìn)行識(shí)別。主干網(wǎng)絡(luò)Xception 通過(guò)4 倍下采樣獲取圖像低級(jí)特征作為解碼器輸入，但實(shí)驗(yàn)室設(shè)備器材多、背景復(fù)雜，引入大量實(shí)驗(yàn)室背景特征、火焰煙霧邊緣模糊會(huì)導(dǎo)致邊緣語(yǔ)義分割不精確。為增強(qiáng)對(duì)邊緣模糊特征的感知，提高火焰煙霧檢測(cè)分割能力，對(duì)Deeplabv3+模型的解碼器中Xception引入梯度變換邊緣特征提取模塊（EMM）［12-13］，改進(jìn)后的Deeplabv3+網(wǎng)絡(luò)如圖7所示。

圖7 改進(jìn)的Deeplabv3+模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Improved Deeplabv3+ model network structure

由于熱紅外提高了融合圖像中火焰煙霧的顯著性，火焰煙霧邊緣明暗變化較大，因此采用梯度處理融合圖像進(jìn)行邊緣提取。首先，EMM 對(duì)融合圖像中的火焰進(jìn)行顯示建模，將底層圖像特征中的火焰煙霧邊緣特征提取出來(lái)。然后，將火焰煙霧邊緣語(yǔ)義特征與特征ASPP 提取的高級(jí)語(yǔ)義特征融合，并對(duì)融合特征輸出解碼以增強(qiáng)火焰煙霧邊界特征。邊緣特征提取模塊結(jié)構(gòu)如圖8 所示。

圖8 基于梯度變換的邊緣提取模塊結(jié)構(gòu)圖Fig.8 Diagram of edge extraction module structure based on gradient transformation

將Xception主干網(wǎng)絡(luò)提取的特征圖作為輸入，然后分別經(jīng)過(guò)全局平均池化和全局最大池化，在加強(qiáng)實(shí)驗(yàn)室場(chǎng)景變換魯棒性的同時(shí)保留局部特征信息。使用1×1 卷積對(duì)池化后的特征圖進(jìn)行卷積操作，得到通道數(shù)為K的特征M∈RW×H×K，然后通過(guò)argmax 得到K類標(biāo)簽圖M'，對(duì)標(biāo)簽圖進(jìn)行梯度變換，獲取K個(gè)掩模版?M'（?M1，?M2，…，?MK）。設(shè)置Sigmoid 激活函數(shù)并與M融合得到特征圖B∈RW×H×K，其表達(dá)式如式（3）、（4）所示：

其中：δ表示Sigmoid 激活函數(shù)；dis 表示距離轉(zhuǎn)換，該運(yùn)算通過(guò)非背景像素點(diǎn)與背景像素點(diǎn)最近距離，計(jì)算火焰煙霧與背景之間的邊界處點(diǎn)的梯度值?M'。通過(guò)火焰煙霧邊緣掩模乘以特征圖M，可以在訓(xùn)練過(guò)程中抑制非邊緣像素，同時(shí)在分割網(wǎng)絡(luò)中增強(qiáng)圖像中火焰煙霧邊緣定位的細(xì)節(jié)信息。

3.3 損失函數(shù)

融合火焰圖像分割的損失函數(shù)包含兩部分：一是內(nèi)容損失函數(shù)，即紅外圖像中的突出目標(biāo)和可見光圖像中的紋理細(xì)節(jié)保真度；二是語(yǔ)義損失函數(shù)，通過(guò)語(yǔ)義損失來(lái)反映融合圖像對(duì)高級(jí)視覺任務(wù)的貢獻(xiàn)程度［14-15］。

3.3.1 內(nèi)容損失

改進(jìn)的融合網(wǎng)絡(luò)利用結(jié)構(gòu)相似性和灰度分布實(shí)現(xiàn)自適應(yīng)相似性約束，通過(guò)梯度損失保證豐富的紋理細(xì)節(jié)。因此最終內(nèi)容損失函數(shù)Lcontent(θ，D)由3 部分組成：

其中：θ表示網(wǎng)絡(luò)中的參數(shù)，D是訓(xùn)練數(shù)據(jù)集，LSSIM(·)和LMSE(·)是源圖像和融合圖像之間的相似性損失項(xiàng)，LGrad(θ，D)為梯度損失約束，α為平衡均方誤差系數(shù)。

相似性約束包括結(jié)構(gòu)相似性（SSIM）和強(qiáng)度分布（MSE）。結(jié)構(gòu)相似性指數(shù)度量（SSIM）是一種有效的度量，廣泛用于兩幅圖像之間的結(jié)構(gòu)相似性。SSIM 結(jié)合了亮度、結(jié)構(gòu)和對(duì)比度3 個(gè)組成部分［16-17］。均方誤差（MSE）用來(lái)約束融合圖像以保持與源圖像相似的強(qiáng)度分布。LSSIM(θ，D)和LMSE(θ，D)的公式定義如式（6）、（7）所示：

式中：IA表示熱紅外圖像，IB表示可見光圖像，If表示融合圖像。權(quán)重ω1和ω2為權(quán)重模塊的輸出結(jié)果，為控制相似信息的保留度。其中，SSIM 和MSE 具體計(jì)算公式為：

式中：Ia表示熱紅外圖像或可見光圖像，If表示融合圖像，μ代表平均值，σ代表標(biāo)準(zhǔn)差，C1、C2和C3是用來(lái)保持矩陣穩(wěn)定的參數(shù)，M為圖像If的像素總數(shù)，N為圖像Ia的像素總數(shù)。梯度損失函數(shù)為：

式中：H、W表示圖像的高度和寬度，If表示融合圖像，IA表示熱紅外圖像，IB表示可見光圖像，λA和λB分別表示特征提取通道A 和特征提取通道B的梯度權(quán)重，?為梯度算子。由于紅外圖像和可見圖像中包含的可見紋理細(xì)節(jié)在融合時(shí)易丟失，因此參數(shù)設(shè)置時(shí)需滿足λA＞λB。

3.3.2 語(yǔ)義損失

本文引入實(shí)時(shí)語(yǔ)義分割模型來(lái)分割火焰煙霧融合圖像，分割網(wǎng)絡(luò)輸出包括分割結(jié)果Is∈RH×W×C和輔助分割結(jié)果Isa∈RH×W×C，因此語(yǔ)義損失包括主語(yǔ)義損失和輔助語(yǔ)義損失。主語(yǔ)義損失和輔助語(yǔ)義損失定義如式（11）、（12）所示：

其中：H、W、C分別表示圖像高度寬度和通道數(shù)，是對(duì)語(yǔ)義分割標(biāo)簽Ls=(1，C)H×W進(jìn)行One-Hot 編碼。語(yǔ)義損失表示如式（13）所示：

其中μ用于平衡語(yǔ)義損失和輔助語(yǔ)義損失的常數(shù)，初始值設(shè)置為0.1。

最后，構(gòu)建聯(lián)合損失函數(shù)Lloss，用于融合模型的訓(xùn)練，其定義為：

其中β是表征語(yǔ)義損失Lsemantic的超參數(shù)。隨著訓(xùn)練的進(jìn)行，分割網(wǎng)絡(luò)與融合模型變得自適應(yīng)，β根據(jù)低級(jí)和高級(jí)聯(lián)合自適應(yīng)訓(xùn)練策略逐漸增加。

3.4 可見光與熱紅外融合分割網(wǎng)絡(luò)聯(lián)合訓(xùn)練

傳統(tǒng)任務(wù)驅(qū)動(dòng)低層次視覺方法有兩種：一是采用預(yù)先訓(xùn)練的高級(jí)模型來(lái)引導(dǎo)低層次視覺任務(wù)模型的訓(xùn)練；二是在同一個(gè)階段聯(lián)合訓(xùn)練高、低級(jí)視覺任務(wù)模型的訓(xùn)練。然而，在圖像融合網(wǎng)絡(luò)設(shè)計(jì)中，無(wú)法提供融合圖像好壞的衡量準(zhǔn)則去訓(xùn)練一個(gè)高級(jí)視覺任務(wù)模型。此外，同一個(gè)階段的聯(lián)合訓(xùn)練策略可能會(huì)破壞高低視覺任務(wù)訓(xùn)練之間的平衡。因此，本文對(duì)融合網(wǎng)絡(luò)和分割網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，迭代次數(shù)設(shè)置為M。首先，在聯(lián)合損失Lloss的約束下，利用Adam 優(yōu)化器對(duì)融合網(wǎng)絡(luò)中的參數(shù)進(jìn)行優(yōu)化，并通過(guò)迭代結(jié)果動(dòng)態(tài)調(diào)整超參數(shù)β，如式（15）所示：

其中，m表示第m次的迭代。β隨著m增大而逐漸增加，因此分割網(wǎng)絡(luò)可以逐漸適應(yīng)融合模型，語(yǔ)義損失函數(shù)可以更準(zhǔn)確地引導(dǎo)融合網(wǎng)絡(luò)的訓(xùn)練。γ為平衡語(yǔ)義損失和內(nèi)容損失的常數(shù)。最后，通過(guò)最新的融合結(jié)果和優(yōu)化語(yǔ)義損失函數(shù)來(lái)更新分割模型的參數(shù)。

4 實(shí)驗(yàn)結(jié)果及對(duì)比分析

4.1 實(shí)驗(yàn)配置和數(shù)據(jù)集構(gòu)建

本文實(shí)驗(yàn)硬件選擇AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz 和NVIDIA GeForce RTX 3060 Laptop GPU 6G，軟件環(huán)境選擇Python 3.7 和PyTorch 1.7.1。

本文通過(guò)數(shù)據(jù)清洗從MFNet 數(shù)據(jù)集中篩選4 000 對(duì)熱紅外圖像和可見光圖像（一對(duì)數(shù)據(jù)包含一張熱紅外圖像以及一張相應(yīng)可見光圖像），同時(shí)在生物化學(xué)實(shí)驗(yàn)室通過(guò)奧比中光相機(jī)和Lepton3.0 模塊采集成對(duì)數(shù)據(jù)集，數(shù)據(jù)集包含實(shí)驗(yàn)室正常情況下的650 對(duì)、火焰燃燒前期情況下的650 對(duì)以及有大量煙霧遮擋情況下的650 對(duì)圖像。分別對(duì)3 種情況下的數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)至2 000 對(duì)圖像，最終總數(shù)據(jù)集包含10 000 對(duì)圖像（其中60% 為實(shí)驗(yàn)室自采數(shù)據(jù)集，40% 為MFNet 數(shù)據(jù)集），其中7 000 對(duì)作為訓(xùn)練數(shù)據(jù)集，2 000 對(duì)設(shè)定為驗(yàn)證數(shù)據(jù)集，1 000 對(duì)作為測(cè)試集。在訓(xùn)練階段，融合網(wǎng)絡(luò)中紅外和可見光特征提取通道的梯度權(quán)重λA=6，λB=5，正態(tài)尺度常數(shù)c=3×103，損失函數(shù)中平衡均方誤差系數(shù)α=20，聯(lián)合自適應(yīng)訓(xùn)練中M=4，γ=1。網(wǎng)絡(luò)epoch 設(shè)置為5 000，batch size 為8，Adam 優(yōu)化器初始學(xué)習(xí)速率為5×10-4，終止學(xué)習(xí)率為1×10-5。

4.2 融合網(wǎng)絡(luò)權(quán)重模塊和IFTB 模塊的消融實(shí)驗(yàn)

為了驗(yàn)證權(quán)重模塊和IFTB 模塊的有效性，本文對(duì)有無(wú)模塊的性能進(jìn)行了比較實(shí)驗(yàn)?？梢姽夂蜔峒t外原圖如圖9（a）、（b）所示。

圖9 有無(wú)權(quán)重和IFTB 模塊的融合結(jié)果對(duì)比圖Fig.9 Comparison of fusion results with or without weights and IFTB module

同時(shí)對(duì)比了無(wú)權(quán)重模塊且無(wú)IFTB 模塊、僅添加權(quán)重模塊、僅添加IFTB 模塊以及同時(shí)添加兩種模塊的4 種融合結(jié)果，如圖9（c）、（d）、（e）和（f）所示，測(cè)試時(shí)其他模塊和參數(shù)不變。由融合結(jié)果對(duì)比圖可知，無(wú)權(quán)重模塊的融合圖像會(huì)丟失結(jié)構(gòu)細(xì)節(jié)信息，導(dǎo)致整體圖像細(xì)節(jié)信息丟失。圖9 中第一組添加了權(quán)重模塊的融合圖像的手部結(jié)構(gòu)細(xì)節(jié)清晰，第二組添加權(quán)重模塊的燒杯邊緣信息較清晰。因此通過(guò)權(quán)重模塊獲得的權(quán)值控制損失函數(shù)，可以達(dá)到更好的約束效果。

對(duì)有無(wú)IFTB 模塊的算法進(jìn)行融合實(shí)驗(yàn)。同樣由對(duì)比結(jié)果可得，第一組添加IFTB 模塊的墻面線條信息較清晰，第二組添加IFTB 模塊的凳子結(jié)構(gòu)信息較清晰，無(wú)IFTB 模塊的融合圖像相較改進(jìn)的融合結(jié)果圖明顯缺乏詳細(xì)的紋理信息?？梢娞砑覫FTB 模塊對(duì)可見光與熱紅外進(jìn)行預(yù)融合可以減少卷積造成的細(xì)節(jié)丟失。同時(shí)本文測(cè)試了驗(yàn)證數(shù)據(jù)集，通過(guò)7 個(gè)融合網(wǎng)絡(luò)主流評(píng)價(jià)指標(biāo)來(lái)進(jìn)行客觀驗(yàn)證融合網(wǎng)絡(luò)，包括熵（En）、空間頻率（SF）、視覺信息融合保真（VIFF）、差異相關(guān)性的總和（SCD）、平均梯度（AG），圖像結(jié)構(gòu)相似度指標(biāo)（QY）以及基于人類感知的度量（QCB）。由表1 可知，添加了IFTB 模塊的融合網(wǎng)絡(luò)在空間頻率和平均梯度上提升較大。同時(shí)可看出，增加了權(quán)重模塊在圖像熵和結(jié)構(gòu)相似度指標(biāo)上提升較大。權(quán)重模塊因增加了火焰煙霧權(quán)重導(dǎo)致融合圖像整體空間頻率下降，但權(quán)重模塊使紅外圖像和可見圖像之間的特征緊密相連，在迭代學(xué)習(xí)過(guò)程中，緊密連接的特征的傳輸使融合更加充分。綜合比較，同時(shí)添加權(quán)重模塊和IFTB 模塊能全面提升圖像融合網(wǎng)絡(luò)的融合效果。

表1 權(quán)重模塊和IFTB模塊在融合結(jié)果上的平均估計(jì)指標(biāo)Tab.1 Average estimation indicator of the weight module and IFTB module on the fusion result

4.3 分割網(wǎng)絡(luò)分割效果與性能評(píng)估

對(duì)于改進(jìn)后的語(yǔ)義分割網(wǎng)絡(luò)，本文通過(guò)對(duì)比平均交并比（Mean intorsection over unin，MIoU）和每秒檢測(cè)幀數(shù)（FPS）來(lái)評(píng)估網(wǎng)絡(luò)的分割精度和檢測(cè)效率［18-19］。MIoU 計(jì)算公式如式（16）所示：

式中：TP 表示正確分割實(shí)驗(yàn)室火焰煙霧區(qū)域的像素?cái)?shù)量，F(xiàn)N 表示被錯(cuò)誤標(biāo)記為實(shí)驗(yàn)室內(nèi)背景的火焰煙霧區(qū)域像素?cái)?shù)量，F(xiàn)P 表示被錯(cuò)誤標(biāo)記為實(shí)驗(yàn)室背景的像素?cái)?shù)量。改進(jìn)的Deeplab3+分割網(wǎng)絡(luò)和Deeplab3+基礎(chǔ)分割網(wǎng)絡(luò)的融合實(shí)驗(yàn)室火災(zāi)煙霧圖像分割量化指標(biāo)對(duì)比結(jié)果如表2 所示。

由表2 可知，改進(jìn)Deeplabv3+分割網(wǎng)絡(luò)模型的MIoU 和FPS 分別為91.27%和11.96，兩種指標(biāo)比Deeplabv3+基礎(chǔ)分割網(wǎng)絡(luò)模型分別提升了3.47%和-0.6，因此改進(jìn)Deeplabv3+分割網(wǎng)絡(luò)可以通過(guò)損失較少檢測(cè)效率取得更高的分割精度。

本文在煙霧遮擋以及火苗小的情況下，通過(guò)改進(jìn)后的Deeplabv3+分割網(wǎng)絡(luò)分別對(duì)可見光與融合圖像中的火焰進(jìn)行分割識(shí)別，分析融合網(wǎng)絡(luò)對(duì)兩種情況下火焰煙霧分割識(shí)別性能的提升。不同情況下的Deeplabv3+火焰分割識(shí)別MIoU 結(jié)果如表3 所示。由表3 可知在煙霧遮擋情況下，融合熱紅外與可見光圖像提供熱輻射信息，提高火焰分割識(shí)別精度。在火焰燃燒前期，火苗較小，融合圖像通過(guò)增強(qiáng)顯著性提高了小火苗的分割識(shí)別精度。

表3 不同情況下改進(jìn)Deeplabv3+的火焰分割識(shí)別結(jié)果（MIoU）Tab.3 Flame segmentation and recognition results of improved Deeplabv3+ in different cases （MIoU）

為驗(yàn)證改進(jìn)后的分割網(wǎng)絡(luò)模型的分割性能，在相同實(shí)驗(yàn)環(huán)境下，對(duì)改進(jìn)的Deeplabv3+網(wǎng)絡(luò)與Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)室火焰煙霧分割效果對(duì)比，結(jié)果如圖10 所示。實(shí)驗(yàn)包含4 組，其中組1 和組2 為Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)和改進(jìn)的Deeplabv3+網(wǎng)絡(luò)對(duì)融合圖像的分割識(shí)別，由分割識(shí)別結(jié)果可知，融合后的圖像可以更好地結(jié)合可見光紋理信息和熱紅外熱輻射信息，精確地分割出火焰煙霧區(qū)域。Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)可完整地分割識(shí)別實(shí)驗(yàn)室火災(zāi)煙霧區(qū)域，但火焰煙霧邊緣處理相較于標(biāo)注圖仍存在不小的差異，將標(biāo)注圖中的火焰煙霧邊緣分割過(guò)于平滑，邊緣細(xì)節(jié)信息丟失嚴(yán)重。在火焰煙霧與實(shí)驗(yàn)室背景對(duì)比度較低的區(qū)域，Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)存在誤分割情況。改進(jìn)的Deeplabv3+網(wǎng)絡(luò)可以在相同圖像場(chǎng)景下對(duì)火焰煙霧邊緣分割識(shí)別更加準(zhǔn)確清晰，較好地保留了火焰煙霧細(xì)節(jié)特征，具備較好的泛化能力。組3 和組4 為不同情況下改進(jìn)的Deeplabv3+網(wǎng)絡(luò)對(duì)可見光圖像與融合圖像的分割結(jié)果對(duì)比。由組3 結(jié)果可知，當(dāng)火焰初期火苗較小時(shí)，融合圖像增強(qiáng)火焰效果顯著，改進(jìn)的Deeplabv3+網(wǎng)絡(luò)可分割識(shí)別出小火苗。組4結(jié)果顯示，當(dāng)存在煙霧遮擋時(shí)，改進(jìn)的Deeplabv3+網(wǎng)絡(luò)通過(guò)融合圖像熱輻射信息可精確分割識(shí)別出火焰。對(duì)于小火苗和煙霧遮擋情況，融合圖像通過(guò)提供熱輻射信息增強(qiáng)火焰顯著性，提高火焰分割識(shí)別精度。

圖10 改進(jìn)Deeplabv3+網(wǎng)絡(luò)與Deeplabv3+基礎(chǔ)網(wǎng)絡(luò)分割結(jié)果對(duì)比圖Fig.10 Comparison of segmentation results between the improved Deeplabv3+ network and the Deeplabv3+ infrastructure network

5 結(jié)論

針對(duì)實(shí)驗(yàn)室環(huán)境復(fù)雜、火苗小以及燃燒產(chǎn)生煙霧遮擋等導(dǎo)致相機(jī)采集到的火焰圖像顯著性不高，以及火焰伴隨煙霧遮擋影響識(shí)別精度的問題，本文改進(jìn)了一種語(yǔ)義感知的實(shí)時(shí)紅外和可見圖像融合網(wǎng)絡(luò)，用于融合可見光與熱紅外圖像，提高火焰圖像顯著性，再對(duì)融合圖像進(jìn)行火焰煙霧分割識(shí)別。對(duì)融合網(wǎng)絡(luò)增加中間特征傳輸模塊以及權(quán)重模塊，對(duì)Deeplabv3+語(yǔ)義分割網(wǎng)絡(luò)添加基于梯度變換的邊緣提取模塊。最后對(duì)融合網(wǎng)絡(luò)和分割網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，并對(duì)驗(yàn)證數(shù)據(jù)集進(jìn)行測(cè)試。實(shí)驗(yàn)數(shù)據(jù)顯示，基于融合紅外與可見光的火焰煙霧分割識(shí)別算法在測(cè)試集中平均交并比為91.27%，分割效率為11.96 FPS，分割效果優(yōu)于Deeplabv3+分割算法。該網(wǎng)絡(luò)對(duì)融合實(shí)驗(yàn)室圖像中火焰煙霧區(qū)域具有良好的分割識(shí)別能力，全場(chǎng)景語(yǔ)義細(xì)節(jié)分割能力突出，對(duì)于實(shí)驗(yàn)室火災(zāi)檢測(cè)具有一定的現(xiàn)實(shí)應(yīng)用價(jià)值。