基于深度學(xué)習(xí)的煙霧與火災(zāi)檢測(cè)算法綜述

祝玉華，司藝藝，李智慧

1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州 450001

2.糧食信息處理與控制教育部重點(diǎn)實(shí)驗(yàn)室（河南工業(yè)大學(xué)），鄭州 450001

火的應(yīng)用，是人類(lèi)早期偉大的成就之一，在人類(lèi)文明發(fā)展史上極具重要意義。然而，意外發(fā)生的火災(zāi)對(duì)人們的財(cái)產(chǎn)安全和生命安全會(huì)造成嚴(yán)重危害。在當(dāng)今工業(yè)化時(shí)代，工廠(chǎng)及生產(chǎn)車(chē)間設(shè)備機(jī)械化程度高，由于機(jī)械設(shè)備故障、電路短路等，極易產(chǎn)生火花，若發(fā)現(xiàn)不及時(shí)，火勢(shì)極易沿著設(shè)備蔓延擴(kuò)大，從而造成嚴(yán)重火災(zāi)。由于火災(zāi)具有破壞力強(qiáng)、蔓延速度快等特性，所以應(yīng)對(duì)早期火災(zāi)特征快速檢測(cè)，以減少損失。但當(dāng)前的火災(zāi)探測(cè)方式仍以傳統(tǒng)的感煙、感溫和感光等傳感器為主，當(dāng)它們距離火源較近時(shí)，才能通過(guò)電離產(chǎn)生的粒子探測(cè)到煙和火，然后進(jìn)一步激活火警和滅火系統(tǒng)。這種方法相當(dāng)穩(wěn)健，但存在延遲，這會(huì)導(dǎo)致火勢(shì)迅速蔓延而無(wú)法控制。此外，傳感器不能提供火災(zāi)初始位置、傳播方向、規(guī)模、增長(zhǎng)速度等信息。隨著視頻監(jiān)控的大量普及，解決這些問(wèn)題的方法是使用監(jiān)控系統(tǒng)的視頻圖像數(shù)據(jù)。在視頻圖像中，火通常被描述為從一邊移動(dòng)到另一邊的橙色或黃色火焰，由各種原因引起，如縱火、電火花、化學(xué)反應(yīng)等。通過(guò)視頻圖像檢測(cè)火災(zāi)面臨著一系列挑戰(zhàn)，所提算法應(yīng)該能夠區(qū)分有火焰的圖像和有橙色或紅色類(lèi)似火狀物體的圖像、有煙霧的圖像和有云等類(lèi)似煙霧的圖像。此外，使用監(jiān)控系統(tǒng)需要處理大量的數(shù)據(jù)，如果手動(dòng)完成，將對(duì)勞動(dòng)力造成巨大損失。因此，國(guó)內(nèi)外研究學(xué)者提出基于視頻圖像的火災(zāi)自動(dòng)檢測(cè)算法，主要包括基于傳統(tǒng)火災(zāi)檢測(cè)算法和基于深度學(xué)習(xí)的火災(zāi)檢測(cè)算法。傳統(tǒng)煙霧與火災(zāi)檢測(cè)框架主要包含3個(gè)階段，首先采用不同尺度的滑動(dòng)窗口遍歷輸入圖像，得到可能存在煙霧或火災(zāi)的區(qū)域；其次使用HOG[1]、SIFT[2]、LBP[3]等人工特征抽取方法提取煙霧或火焰的顏色、邊緣、紋理等特征，將候選區(qū)域的圖像轉(zhuǎn)換為特征向量并傳入分類(lèi)器訓(xùn)練；最后采用SVM、貝葉斯網(wǎng)絡(luò)、隨機(jī)森林、BP神經(jīng)網(wǎng)絡(luò)等分類(lèi)器將這些提取的特征與一組現(xiàn)有的標(biāo)準(zhǔn)特征進(jìn)行比較，以判斷圖像中是否包含煙霧或火焰。傳統(tǒng)煙霧火災(zāi)檢測(cè)算法工作流程如圖1所示，在預(yù)處理階段存在大量冗余計(jì)算開(kāi)銷(xiāo)，影響算法的運(yùn)行速度；在特征提取階段僅能獲取圖像的低級(jí)特征，且提取的特征依賴(lài)于先驗(yàn)知識(shí)，缺乏普適性。計(jì)算機(jī)視覺(jué)和監(jiān)督學(xué)習(xí)領(lǐng)域的新技術(shù)，如深度學(xué)習(xí)，為火災(zāi)探測(cè)帶來(lái)了很大的希望。本文重點(diǎn)從目標(biāo)分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)分割3個(gè)領(lǐng)域分析火災(zāi)檢測(cè)的深度學(xué)習(xí)方法的優(yōu)缺點(diǎn)，之后列舉了火災(zāi)檢測(cè)數(shù)據(jù)集，最后分析了火災(zāi)檢測(cè)未來(lái)研究方向。

圖1 煙霧火災(zāi)檢測(cè)的傳統(tǒng)圖像處理方法流程圖Fig.1 Flow chart of traditional image processing method for smoke fire detection

1 基于深度學(xué)習(xí)的煙霧火災(zāi)檢測(cè)算法

深度學(xué)習(xí)是一種能夠自動(dòng)學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)內(nèi)部結(jié)構(gòu)的多層級(jí)神經(jīng)網(wǎng)絡(luò)算法，可自動(dòng)檢測(cè)和學(xué)習(xí)特征，圖2描述了煙霧火災(zāi)檢測(cè)深度學(xué)習(xí)方法的框架。與傳統(tǒng)的煙霧火災(zāi)檢測(cè)算法相比，基于深度學(xué)習(xí)的煙霧火災(zāi)檢測(cè)算法可抽取更抽象化、更高階的特征，具有速度快、準(zhǔn)確性強(qiáng)、在復(fù)雜環(huán)境下魯棒性更強(qiáng)的優(yōu)勢(shì)。其可分為目標(biāo)分類(lèi)模型、目標(biāo)檢測(cè)模型、目標(biāo)分割模型3大類(lèi)方法。目標(biāo)分類(lèi)任務(wù)是對(duì)于給定的圖像，只需輸出一個(gè)類(lèi)標(biāo)簽，用于判斷圖像中是否含有目標(biāo)，經(jīng)典的分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet[4]、GoogLeNet[5]、VGGNet[6]、ResNet[7]、SENet[8]等。目標(biāo)檢測(cè)是對(duì)多個(gè)目標(biāo)定位和圖像分類(lèi)，需要在原圖像中將目標(biāo)用矩形框框出，經(jīng)典的檢測(cè)網(wǎng)絡(luò)有Faster RCNN[9]、SSD[10]、RefineDet[11]、YOLOv3[12]等。目標(biāo)分割是逐像素判斷哪些像素屬于哪些目標(biāo)，在檢測(cè)的基礎(chǔ)上，不再使用bounding box框出目標(biāo)的位置，而是將目標(biāo)和背景分離，找出目標(biāo)的輪廓線(xiàn)，經(jīng)典的分割網(wǎng)絡(luò)有FCN[13]、U-Net[14]、DeepLab[15]等。目標(biāo)分類(lèi)既是計(jì)算機(jī)視覺(jué)的基礎(chǔ)問(wèn)題，也是圖像分割、目標(biāo)檢測(cè)等高層次視覺(jué)任務(wù)的基礎(chǔ)。分類(lèi)的數(shù)據(jù)集不需要手動(dòng)標(biāo)注目標(biāo)位置框，而檢測(cè)是同時(shí)輸出類(lèi)別和位置框，數(shù)據(jù)集需要手動(dòng)標(biāo)注目標(biāo)，這既復(fù)雜又耗時(shí)。因此，大多數(shù)火災(zāi)檢測(cè)算法傾向于使用分類(lèi)網(wǎng)絡(luò)，但檢測(cè)的實(shí)時(shí)性要比分類(lèi)高，而且可以檢測(cè)出發(fā)生火災(zāi)的位置。分割網(wǎng)絡(luò)則是更精確化火災(zāi)區(qū)域，能夠判斷火災(zāi)的規(guī)模，但模型一般較大，工業(yè)部署困難。

圖2 煙霧火災(zāi)檢測(cè)的深度學(xué)習(xí)方法框架Fig.2 Deep learning method framework for smoke fire detection

1.1 基于目標(biāo)分類(lèi)模型的煙霧火災(zāi)檢測(cè)算法

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）由一個(gè)輸入層和一個(gè)輸出層組成，有多個(gè)隱含層，輸入層能夠處理多維數(shù)據(jù)，隱藏層通常由卷積層、池化層、全連接層組成，輸出層輸出一個(gè)二維特征圖。卷積層提取特征，池化層縮小特征圖簡(jiǎn)化計(jì)算復(fù)雜圖，同時(shí)進(jìn)行特征壓縮提取主要特征；全連接層連接所有特征并輸出到分類(lèi)器。卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)視頻圖像中的火災(zāi)特征，并根據(jù)學(xué)習(xí)到的特征對(duì)圖像進(jìn)行分類(lèi)，不再需要人工構(gòu)建特征。Frizzi等[16]構(gòu)建9層的卷積神經(jīng)網(wǎng)絡(luò)將視頻圖像分為煙霧、火災(zāi)、正常3類(lèi)，在由1 427幅火災(zāi)圖像、1 758幅煙霧圖像和2 399幅正常圖像組成的測(cè)試集上的分類(lèi)準(zhǔn)確率達(dá)到97.9%，但是該模型只能檢測(cè)紅色的火焰，對(duì)其他顏色的火焰以及煙霧的檢測(cè)效果不理想。此外，只能對(duì)視頻幀逐幀處理，沒(méi)有考慮幀間煙霧與火災(zāi)的運(yùn)動(dòng)特征。

1.1.1 基于與傳統(tǒng)特征相結(jié)合的方法

由于早期火災(zāi)特征不明顯，目標(biāo)較小且無(wú)關(guān)區(qū)域較大，若僅使用CNN提取的靜態(tài)特征進(jìn)行火災(zāi)與煙霧識(shí)別，會(huì)增大計(jì)算復(fù)雜度，影響模型檢測(cè)性能，識(shí)別精度降低。煙霧的特征之一是可透視性，當(dāng)煙霧開(kāi)始擴(kuò)散時(shí)，仍然可以觀(guān)察到被煙霧覆蓋的物體，若只使用靜態(tài)圖像進(jìn)行特征提取，背景的原始視覺(jué)特征將不可避免地干擾煙霧特征的提取。然而，煙霧的移動(dòng)、閃爍和擴(kuò)散等動(dòng)態(tài)特征為煙霧檢測(cè)提供了重要信息，因此，可以根據(jù)運(yùn)動(dòng)差異來(lái)過(guò)濾非煙霧區(qū)域。為此，研究人員專(zhuān)注多融合方法，將深度特征與傳統(tǒng)特征相結(jié)合，成為主流思想。馮路佳等[17]構(gòu)建了基于目標(biāo)區(qū)域的火災(zāi)煙霧檢測(cè)網(wǎng)絡(luò)，提出MD_CNN結(jié)構(gòu)。首先在目標(biāo)區(qū)域定位層，采用改進(jìn)的背景差分法的運(yùn)動(dòng)檢測(cè)算法提取出待檢測(cè)視頻中包含的目標(biāo)煙霧區(qū)域并傳入煙霧識(shí)別層；將煙霧識(shí)別層中的Conv3與Conv4中卷積核大小更改為3×3，以提取更詳細(xì)的煙霧信息；最后將輸出傳到softmax函數(shù)，輸出煙霧的概率。MD_CNN模型相較于全CNN模型，能夠過(guò)濾掉大量無(wú)關(guān)信息，提高檢測(cè)效果，但由于場(chǎng)景的復(fù)雜性、環(huán)境干擾和噪聲的存在，使用背景拆分法易受疑似煙霧目標(biāo)的影響，造成誤檢。此外，煙霧識(shí)別層的網(wǎng)絡(luò)設(shè)計(jì)對(duì)于不同應(yīng)用場(chǎng)景泛化性差。

1.1.2 基于多尺度特征融合方法

由于火災(zāi)目標(biāo)尺度變化大，基于單尺度特征圖進(jìn)行火災(zāi)分類(lèi)的方法，對(duì)于不同尺度的火災(zāi)不穩(wěn)健。Yuan等[18]構(gòu)建深度多尺度神經(jīng)網(wǎng)絡(luò)，特征提取層由多個(gè)并行的卷積層組成，通過(guò)多尺度卷積核來(lái)實(shí)現(xiàn)多尺度特征提取，解決了光照、尺度不變所引起的問(wèn)題，實(shí)現(xiàn)高準(zhǔn)確率，但是使用多個(gè)卷積塊，不可避免地會(huì)增大模型復(fù)雜度，以致難以部署。Jeon等[19]提出基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度火災(zāi)預(yù)測(cè)框架，每個(gè)尺度的特征圖通過(guò)特征擠壓塊和softmax函數(shù)預(yù)測(cè)火災(zāi)，再用投票加權(quán)算法綜合不同尺度的預(yù)測(cè)，確定最終結(jié)果。采取特征擠壓塊，首先通過(guò)1×1的卷積將多維通道縮減為二維通道，再通過(guò)最大池化縮小尺寸，最后采用全連接層輸出2×1向量。從空間和通道兩方面對(duì)特征映射進(jìn)行擠壓，有效提取多尺度特征圖信息，且使用1×1卷積核能有效減少模型參數(shù)，實(shí)現(xiàn)跨通道信息組合，增加了非線(xiàn)性特征，使新特征圖的特征表達(dá)更佳。基于多尺度特征融合的方法雖一定程度上能夠提升模型檢測(cè)效果，但僅僅融合了煙霧與火災(zāi)的靜態(tài)特征，未融入動(dòng)態(tài)特征。

1.1.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

卷積神經(jīng)網(wǎng)絡(luò)只能單獨(dú)地處理每一個(gè)輸入，即前一個(gè)輸入與后一個(gè)輸入不相關(guān)?；馂?zāi)和煙霧檢測(cè)任務(wù)需要關(guān)注前后幀之間的關(guān)系，以提取動(dòng)態(tài)特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）能夠更好地處理序列信息，因此得以發(fā)展。文獻(xiàn)[20]基于卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)視頻序列中的煙霧進(jìn)行檢測(cè)，CNN用來(lái)提取特征，RNN用于提取同一目標(biāo)不同幀中對(duì)應(yīng)特征之間的關(guān)系。但只能捕捉短時(shí)間尺度上的時(shí)空特征，不能代表煙霧與火焰的長(zhǎng)期變化。長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）可以在一定程度上解決這個(gè)問(wèn)題，能夠有效地為視頻序列建模。RNN具有對(duì)前面信息進(jìn)行長(zhǎng)時(shí)記憶的特點(diǎn)，在此基礎(chǔ)上，LSTM通過(guò)增加遺忘門(mén)避免長(zhǎng)期依賴(lài)的問(wèn)題，通過(guò)構(gòu)造三個(gè)門(mén)來(lái)控制信息傳遞，解決了傳統(tǒng)RNN模型中梯度消失的問(wèn)題。因此，LSTM在序列檢測(cè)領(lǐng)域得到了廣泛的應(yīng)用，并取得了良好的效果。文獻(xiàn)[21]提出基于卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的多級(jí)火災(zāi)檢測(cè)算法，第一步利用HSV顏色模型和火焰的亮度閃爍頻率確定候選區(qū)域，用CNN網(wǎng)絡(luò)提取候選區(qū)域的靜態(tài)特征并輸入到Bi-LSTM網(wǎng)絡(luò)，最后softmax分類(lèi)器確定目標(biāo)是火焰還是疑似火焰的運(yùn)動(dòng)物體，算法結(jié)構(gòu)如圖3所示。該模型利用CNN與雙向LSTM網(wǎng)絡(luò)同時(shí)提取火焰的空間域特征以及時(shí)間域特征，有較高的F1值，既能實(shí)現(xiàn)高準(zhǔn)確率及低召回率，又能滿(mǎn)足實(shí)時(shí)要求。但由于數(shù)據(jù)集的限制，對(duì)于藍(lán)色火焰及白色火焰在初期提取候選框時(shí)，易造成誤判。Bi-LSTM只是拼接了向前的特征與向后的特征，兩個(gè)特征之間無(wú)關(guān)聯(lián)，且向前的神經(jīng)元在學(xué)習(xí)過(guò)程中只學(xué)習(xí)向前的特征，并未學(xué)習(xí)向后的特征，所以可能并不是一個(gè)最優(yōu)的結(jié)果?；贚STM網(wǎng)絡(luò)的方法加入了時(shí)間序列，能夠融入煙霧與火災(zāi)的動(dòng)態(tài)特征，但網(wǎng)絡(luò)中全連接層數(shù)量較多，時(shí)間跨度大、網(wǎng)絡(luò)深，計(jì)算量相當(dāng)大，難以訓(xùn)練。

圖3 CNN-BiLSTM火災(zāi)分類(lèi)模型架構(gòu)Fig.3 Fire classification model architecture based on CNN-BiLSTM

1.1.4 基于3DCNN的方法

2D CNN對(duì)視頻中每一幀圖像分別利用CNN進(jìn)行識(shí)別，忽略了幀間關(guān)系，因此幀間運(yùn)動(dòng)信息會(huì)丟失。除使用LSTM網(wǎng)絡(luò)外，3D CNN[22]也能更好地提取視頻中的時(shí)間和空間的特征信息，提高檢測(cè)效率，在視頻分類(lèi)、動(dòng)作識(shí)別等領(lǐng)域能夠發(fā)揮巨大優(yōu)勢(shì)。吳凡等[23]提出時(shí)空域火災(zāi)煙霧檢測(cè)算法，利用高斯混合模型和四幀拆分法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法分割圖像，過(guò)濾掉非煙霧區(qū)域，再輸入到由二維空間域卷積層與一維時(shí)間域卷積層組成的3D卷積網(wǎng)絡(luò)模型，最后檢測(cè)出結(jié)果后分塊標(biāo)定煙霧區(qū)域。相較于原3D模型能夠降低計(jì)算成本，但是仍難以滿(mǎn)足工業(yè)實(shí)時(shí)性需求。并且3DCNN主要用于短期時(shí)序建模，適用于短期變化較明顯的火災(zāi)檢測(cè)，對(duì)于長(zhǎng)期的時(shí)間特征提取能力并不能與RNN相媲美。

更多更詳細(xì)的基于目標(biāo)分類(lèi)模型的煙霧火災(zāi)檢測(cè)算法如表1所示，從表中可以看出基于目標(biāo)分類(lèi)模型的煙霧與火災(zāi)檢測(cè)算法改進(jìn)方向主要包括與傳統(tǒng)特征融合的方法、改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法、與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，以及融合多尺度特征的方法。與傳統(tǒng)特征相結(jié)合的方法，能夠?qū)熿F與火災(zāi)的紋理、顏色、閃爍、擴(kuò)散等傳統(tǒng)特征與CNN提取的深度特征相結(jié)合完成分類(lèi)，使用傳統(tǒng)特征過(guò)濾掉圖像中大量的無(wú)關(guān)區(qū)域，再傳入CNN提取深度特征，提升了模型穩(wěn)健性，降低CNN運(yùn)算量，但提取可疑區(qū)域的計(jì)算成本會(huì)增加；改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法能夠通過(guò)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)更適用于特定場(chǎng)景，提取更多有效特征，提高檢測(cè)效率，但會(huì)影響算法的泛化性；與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法可以使用煙霧與火災(zāi)視頻相鄰幀間的相關(guān)性，更好地捕捉煙霧與火災(zāi)的動(dòng)態(tài)特征，減少誤檢，但是針對(duì)煙霧與火災(zāi)變化緩慢的視頻改進(jìn)效果不明顯，此外，網(wǎng)絡(luò)模型較深，難以訓(xùn)練，檢測(cè)速度慢；基于多尺度融合的方法通過(guò)融合不同尺度卷積核提取的特征實(shí)現(xiàn)，對(duì)尺度變化大的煙霧與火災(zāi)有較好的檢測(cè)效果，但是增加多尺度卷積層會(huì)增加運(yùn)算量。

表1 基于目標(biāo)分類(lèi)的煙霧火災(zāi)檢測(cè)算法Table 1 Smoke fire detection algorithm based on target classification

1.2 基于目標(biāo)檢測(cè)模型的煙霧火災(zāi)檢測(cè)算法

目標(biāo)分類(lèi)只能判斷是否有火災(zāi)發(fā)生，卻無(wú)法定位火災(zāi)的位置，因此研究學(xué)者開(kāi)始探索基于目標(biāo)檢測(cè)的煙霧火災(zāi)檢測(cè)算法?；谀繕?biāo)檢測(cè)的煙霧火災(zāi)檢測(cè)算法包括基于區(qū)域提取的算法、基于目標(biāo)回歸的算法以及基于A(yíng)nchor-free的算法。

1.2.1 基于區(qū)域提取的檢測(cè)方法

基于區(qū)域提取的煙霧火災(zāi)檢測(cè)算法主要包括從圖像中生成候選區(qū)域、使用候選區(qū)域的特征圖判斷物體類(lèi)別以及回歸檢測(cè)框位置兩個(gè)階段，因此也稱(chēng)兩階段檢測(cè)算法。經(jīng)典的算法有Faster R-CNN、FCN等。對(duì)二階段檢測(cè)算法的改進(jìn)方式主要包括改進(jìn)生成候選區(qū)域的過(guò)程與提取特征的過(guò)程。

文獻(xiàn)[36]基于Faster R-CNN改進(jìn)提取特征的過(guò)程實(shí)現(xiàn)火災(zāi)檢測(cè)，引入FPN特征融合網(wǎng)絡(luò)，以融合淺層特征和高層次特征。通過(guò)Inception Module結(jié)構(gòu)，使用不同尺寸的卷積核，提取更豐富、多尺寸的特征，并加入注意力機(jī)制，抑制無(wú)關(guān)信息，能夠提升網(wǎng)絡(luò)表達(dá)能力，適應(yīng)火災(zāi)多尺度的特性，從而生成更準(zhǔn)確的火災(zāi)特征圖，提升火災(zāi)區(qū)域定位性能。但使用FPN進(jìn)行特征融合過(guò)程中易造成信息衰減，同時(shí)存在跨尺度融合中的混疊效應(yīng)。二階段的目標(biāo)檢測(cè)算法精度高，定位準(zhǔn)確，但是模型較復(fù)雜，檢測(cè)速度慢。因此，基于目標(biāo)檢測(cè)模型的煙霧火災(zāi)檢測(cè)算法開(kāi)始面向高效的端到端的一階段目標(biāo)檢測(cè)算法。

1.2.2 基于回歸的檢測(cè)方法

基于回歸的目標(biāo)檢測(cè)算法不需要候選區(qū)域提取階段，直接產(chǎn)生物體的類(lèi)別概率和位置坐標(biāo)值，經(jīng)過(guò)一個(gè)階段即可直接得到最終的檢測(cè)結(jié)果，因此也稱(chēng)一階段檢測(cè)算法。經(jīng)典的基于回歸的目標(biāo)檢測(cè)算法有SSD、YOLO。一階段目標(biāo)檢測(cè)算法改進(jìn)方式有優(yōu)化主干網(wǎng)絡(luò)提取特征的過(guò)程，優(yōu)化Neck網(wǎng)絡(luò)融合特征的過(guò)程以及輕量化模型。

文獻(xiàn)[37]使用通道剪枝方法輕量化YOLOv3并用于火災(zāi)檢測(cè)，依據(jù)BN層weights的系數(shù)來(lái)判斷通道的重要性，移除掉不重要的通道，達(dá)到減少卷積參數(shù)的效果，通道剪枝結(jié)構(gòu)圖如圖4所示。但通道剪枝的過(guò)程中，輸入和輸出維度的改變會(huì)引起一些偏差。且使用YOLOv3檢測(cè)火災(zāi)時(shí)隨著IOU閾值的增加性能會(huì)顯著下降。

圖4 通道剪枝結(jié)構(gòu)圖Fig.4 Channel-wise pruning structure diagram

文獻(xiàn)[38]指出單個(gè)網(wǎng)絡(luò)模型難以實(shí)現(xiàn)多復(fù)雜場(chǎng)景中的特征提取，每個(gè)單獨(dú)的網(wǎng)絡(luò)都能提取出不同的特征，因此設(shè)計(jì)實(shí)現(xiàn)集成3個(gè)深度網(wǎng)絡(luò)的模型改進(jìn)特征提取過(guò)程用于森林火災(zāi)檢測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。YOLOv5與EfficientDet兩個(gè)目標(biāo)檢測(cè)器協(xié)同工作并行檢測(cè)火災(zāi)，通過(guò)生成候選框以及非極大值抑制確定目標(biāo)火災(zāi)區(qū)域，引入EfficientNet用于關(guān)注全局信息，以降低誤報(bào)率。集成3個(gè)網(wǎng)絡(luò)的火災(zāi)檢查模型，改善特征提取方法，能夠最大化利用全局特征和局部特征，提升小目標(biāo)檢測(cè)精度，提高召回率。但集成模型必定會(huì)以速度為代價(jià)來(lái)完成推理。文獻(xiàn)[39]提出將YOLOv2-Tiny檢測(cè)框架部署到K210開(kāi)發(fā)板實(shí)現(xiàn)無(wú)人機(jī)的火災(zāi)檢測(cè)與跟蹤，但是該模型易對(duì)類(lèi)火物體誤檢?；谝浑A段的目標(biāo)檢測(cè)方法，直接生成類(lèi)別概率與回歸檢測(cè)框位置，是一個(gè)端到端過(guò)程，檢測(cè)速度快。但是提取到的淺層特征較少，對(duì)小目標(biāo)與重疊目標(biāo)檢測(cè)效果不好，位置不精確。

圖5 集成網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.5 Integrated network model structure diagram

1.2.3 基于A(yíng)nchor-free的方法

兩階段、單階段目標(biāo)檢測(cè)算法都是基于錨框的，檢測(cè)性能受錨框的大小、數(shù)量、縱橫比影響較大，需要人為地根據(jù)經(jīng)驗(yàn)對(duì)錨框超參數(shù)進(jìn)行調(diào)節(jié)以適應(yīng)不同場(chǎng)景的火災(zāi)，并且調(diào)整后的錨框尺寸固定，對(duì)于多尺度的火災(zāi)檢測(cè)效果不佳，因此無(wú)錨框的方法是成為當(dāng)下研究熱點(diǎn)。文獻(xiàn)[40]采用Ancho-free網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)火災(zāi)檢測(cè)模型，選用MobileNetv2作為主干網(wǎng)絡(luò)進(jìn)行特征提取，在特征選擇層加入FSAF特征選擇模塊選擇合適的特征層傳入預(yù)測(cè)層，訓(xùn)練時(shí)選擇損失和最小的特征層回傳梯度，預(yù)測(cè)時(shí)選擇目標(biāo)置信度最高的特征層。在分類(lèi)子網(wǎng)絡(luò)中采取可形變卷積模塊以解決特征不對(duì)齊問(wèn)題，能夠更好地適應(yīng)各種形狀的火焰，但是同時(shí)增加了計(jì)算量。Anchor-free的方法能夠減少錨框的參數(shù)量，但是由于只在距離真實(shí)框較近的位置預(yù)測(cè)，導(dǎo)致煙霧與火災(zāi)的召回率低。

更多更詳細(xì)的基于目標(biāo)檢測(cè)的煙霧火災(zāi)檢測(cè)算法如表2所示，基于目標(biāo)檢測(cè)的煙霧火災(zāi)檢測(cè)算法的改進(jìn)方向主要分為基于兩階段算法的改進(jìn)、基于單階段的改進(jìn)以及基于A(yíng)nchor-free的改進(jìn)?；趦呻A段目標(biāo)檢測(cè)算法的煙霧火災(zāi)檢測(cè)模型先生成候選區(qū)域，保證足夠的準(zhǔn)確率和召回率，再對(duì)目標(biāo)特征圖進(jìn)行分類(lèi)與定位，首先完成了前景背景篩選，能夠選擇性地對(duì)樣本進(jìn)行分類(lèi)回歸，比一階段目標(biāo)檢測(cè)算法直接分類(lèi)回歸訓(xùn)練難度小，且正負(fù)樣本也更均衡，因此精度會(huì)更高，適用于對(duì)精度要求高的場(chǎng)景，但經(jīng)歷兩個(gè)階段，模型復(fù)雜、速度慢；基于單階段的煙霧火災(zāi)檢測(cè)模型無(wú)需生成候選區(qū)域，是一個(gè)端到端的模型，運(yùn)算速度快，適用于對(duì)實(shí)時(shí)性要求高的場(chǎng)景，并且使用focal loss能解決樣本不均衡問(wèn)題，但是容易漏檢小目標(biāo)；基于A(yíng)nchor-free結(jié)構(gòu)的煙霧火災(zāi)檢測(cè)模型無(wú)錨框參數(shù)量，有更大更靈活的解空間，可實(shí)現(xiàn)實(shí)時(shí)高精度，但是檢測(cè)效果不穩(wěn)定，需要改進(jìn)調(diào)整權(quán)重的方法。

表2 基于目標(biāo)檢測(cè)的煙霧火災(zāi)檢測(cè)算法對(duì)比Table 2 Comparison of smoke fire detection algorithms based on object detection

1.3 基于目標(biāo)分割模型的煙霧火災(zāi)檢測(cè)算法

目標(biāo)分類(lèi)與目標(biāo)檢測(cè)的方法只能判斷圖像中是否有煙霧和火災(zāi)及位置信息，不能檢測(cè)火的更詳細(xì)信息，如形狀、大小等。有時(shí)，需要關(guān)注火災(zāi)的蔓延趨勢(shì)，解決這一問(wèn)題的較好方法就是煙霧火災(zāi)分割算法。

文獻(xiàn)[50]基于Mask RCNN對(duì)室內(nèi)可燃物識(shí)別與分割，所得分割物體的尺寸、數(shù)量與分布用于預(yù)測(cè)火災(zāi)負(fù)荷。文獻(xiàn)[51]提出基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測(cè)和分割框架，更適合于朦朧的環(huán)境，采用輕量化的卷積神經(jīng)網(wǎng)絡(luò)EfficientNet分類(lèi)；再利用DeepLabv3+網(wǎng)絡(luò)對(duì)煙霧幀分割，能夠有效降低誤檢率。但是像素級(jí)標(biāo)注的數(shù)據(jù)集需要大量的人力，實(shí)際應(yīng)用時(shí)，數(shù)據(jù)集是問(wèn)題。在檢測(cè)火災(zāi)時(shí)，有時(shí)不僅需要判斷是否有火災(zāi)或煙霧產(chǎn)生，還需要檢測(cè)火災(zāi)位置、形狀、大小等更詳細(xì)的信息，用于評(píng)定火災(zāi)或煙霧的等級(jí)，以便消防員關(guān)注火災(zāi)煙霧蔓延區(qū)域。

文獻(xiàn)[52]開(kāi)發(fā)了森林火災(zāi)煙霧的協(xié)作區(qū)域檢測(cè)和分級(jí)的框架，框架圖如圖6所示，該框架是一種混合模型，單個(gè)模型難以完成復(fù)雜的煙霧火災(zāi)檢測(cè)任務(wù)，因此通過(guò)將幾個(gè)簡(jiǎn)單的模型集成為混合模型，以獲得更好的性能。每個(gè)簡(jiǎn)單模型完成一部分任務(wù)，最后采用某種學(xué)習(xí)策略匯總輸出結(jié)果。采用基于分類(lèi)的模型（ShuffleNet）、基于分割的模型（WSFS）和基于區(qū)域的模型（輕量級(jí)Faster R-CNN）來(lái)預(yù)測(cè)圖像中存在火災(zāi)煙霧的概率，能夠定位、分割并預(yù)測(cè)輸入圖像中火災(zāi)煙霧的位置、區(qū)域和類(lèi)別，基于堆積法學(xué)習(xí)策略確定3個(gè)模型的權(quán)重并由3個(gè)模型的推理結(jié)果計(jì)算最后的結(jié)果。此外還開(kāi)發(fā)了一個(gè)模糊評(píng)價(jià)系統(tǒng)，用于火災(zāi)煙霧分級(jí)。該框架能夠使用圖像級(jí)標(biāo)注的數(shù)據(jù)集完成分割，實(shí)現(xiàn)火災(zāi)煙霧的早期報(bào)警、區(qū)域檢測(cè)、分類(lèi)和分級(jí)。但是模型非常復(fù)雜，訓(xùn)練占用顯存太大，對(duì)硬件設(shè)備要求極高。

圖6 森林火災(zāi)煙霧檢測(cè)與分級(jí)框架Fig.6 Forest fire smoke detection and classification framework

基于目標(biāo)分割模型的煙霧火災(zāi)檢測(cè)算法可以更精確地定位視頻幀中煙霧與火災(zāi)的邊界，能提供更詳細(xì)的火災(zāi)信息，但模型一般較大，若要應(yīng)用于現(xiàn)實(shí)場(chǎng)景需要更短的響應(yīng)時(shí)間，此外，若是需要大量的像素級(jí)標(biāo)注數(shù)據(jù)集才能提高網(wǎng)絡(luò)模型，會(huì)耗費(fèi)大量的人力。

2 常用數(shù)據(jù)集

由于訓(xùn)練深度學(xué)習(xí)模型依賴(lài)于數(shù)據(jù)集，下面給出了一些常用的和公開(kāi)的煙霧與火災(zāi)數(shù)據(jù)集。但由于火的顏色范圍從藍(lán)色到紅色，背景各不相同，煙也是材料燃燒的指示器，有灰色、白色或黑色，進(jìn)行火災(zāi)探測(cè)的場(chǎng)所或位置可能是一個(gè)工業(yè)、核電站、建筑、住宅或森林，為了滿(mǎn)足如此廣闊的應(yīng)用領(lǐng)域的圖像特征的分布，將需要非常大和多樣化的數(shù)據(jù)集。目前不存在一個(gè)用于煙霧與火災(zāi)檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集，因此如何定義一個(gè)規(guī)范化的、多樣化的煙霧與火焰數(shù)據(jù)集成為煙霧火災(zāi)檢測(cè)未來(lái)需要完善的方向。

（1）KMU Fire & Smoke Database

KMU Fire & Smoke數(shù)據(jù)庫(kù)由4個(gè)類(lèi)別的視頻組成，有室內(nèi)室外短距離火災(zāi)、室內(nèi)室外短距離煙霧、野火煙霧、煙霧狀與火狀的移動(dòng)物體等[53]。整個(gè)數(shù)據(jù)集有308.1 MB，視頻的幀速率為30 Hz，輸入圖像大小為320×240像素。

（2）Fire Dunning Dataset

這個(gè)數(shù)據(jù)集包含正常圖像和有火的圖像，正負(fù)樣本不均衡，包括強(qiáng)度、亮度、大小等不同場(chǎng)景的火災(zāi)圖像[54]。

（3）VisFire

這個(gè)數(shù)據(jù)集來(lái)自Bilkent大學(xué)，采集自監(jiān)控視頻，由4個(gè)類(lèi)別的視頻組構(gòu)成：火、煙霧、森林煙霧、其他?；馂?zāi)視頻組有13段火災(zāi)場(chǎng)景視頻；煙霧組有21段視頻，包含各種環(huán)境中的煙霧場(chǎng)景；森林煙霧組有4段森林地區(qū)的視頻；其他組有2段視頻，一個(gè)是汽車(chē)，一個(gè)是火；整個(gè)樣本數(shù)據(jù)集總共40個(gè)視頻片段[55]。

（4）BoWFire

訓(xùn)練集由240幅分辨率為50×50像素的圖像組成，其中80張有火，160張無(wú)火，非火災(zāi)圖像中包含紅色或黃色類(lèi)似火的物體。測(cè)試集由226幅不同分辨率的圖像組成，其中包含119張有火圖片和107張無(wú)火圖片?；馂?zāi)圖像由不同場(chǎng)景的緊急火災(zāi)事件組成，如建筑物著火、工業(yè)火災(zāi)、車(chē)禍和騷亂[56]。數(shù)據(jù)集還對(duì)火災(zāi)區(qū)域分割，可以用于火焰分割任務(wù)。

（5）Mivia Fire & Smoke Detection Dataset

由薩勒諾大學(xué)的MIVIA實(shí)驗(yàn)室創(chuàng)建，火災(zāi)數(shù)據(jù)集由31個(gè)視頻組成，包含14個(gè)火災(zāi)視頻和17個(gè)無(wú)火視頻，無(wú)火視頻內(nèi)含煙霧、云、移動(dòng)的紅色物體等干擾；煙霧數(shù)據(jù)集包括149個(gè)視頻。這些視頻均來(lái)自真實(shí)環(huán)境，每個(gè)視頻長(zhǎng)達(dá)15 min[55]。

（6）State Key Laboratory of Fire Science Dataset

該數(shù)據(jù)集有30 000個(gè)合成圖像，3 578個(gè)真實(shí)圖像，能夠勝任深度網(wǎng)絡(luò)的訓(xùn)練。合成煙霧和非煙霧圖像的渲染、照明與風(fēng)的參數(shù)在一定范圍內(nèi)隨機(jī)設(shè)置，以實(shí)現(xiàn)圖像多樣性。由于不同的參數(shù)集直接影響合成煙霧圖像的外觀(guān)，這些圖像將是真實(shí)的或非真實(shí)的。

（7）火災(zāi)科學(xué)國(guó)家實(shí)驗(yàn)室的煙霧數(shù)據(jù)集

由中國(guó)科學(xué)技術(shù)大學(xué)消防科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室創(chuàng)建，該數(shù)據(jù)集包含4組煙霧和非煙霧圖像，其中組1包括552個(gè)煙霧和831個(gè)非煙霧圖像，組2包括668個(gè)煙霧和817個(gè)非煙霧圖像，組3包括2 201個(gè)煙霧和8 511個(gè)非煙霧圖像，組4包括2 254個(gè)煙霧和8 363個(gè)非煙霧圖像[18]。除了這些圖像數(shù)據(jù)集外，還有另外648張黑白煙霧圖像和兩組非煙霧數(shù)據(jù)集，每組分別由27 707和28 760張圖像組成。

3 總結(jié)與展望

對(duì)煙霧或火災(zāi)的早期精準(zhǔn)檢測(cè)是控制火災(zāi)的最佳方法，深度學(xué)習(xí)以高精度、高速度、強(qiáng)穩(wěn)定性等優(yōu)勢(shì)在煙霧火災(zāi)檢測(cè)領(lǐng)域中表現(xiàn)優(yōu)異，因此本文從目標(biāo)分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)分割3個(gè)方面對(duì)比分析了煙霧火災(zāi)檢測(cè)算法現(xiàn)狀，列舉了主流的煙霧火災(zāi)檢測(cè)算法的改進(jìn)措施、優(yōu)勢(shì)以及存在的問(wèn)題。目前，這些技術(shù)還處于發(fā)展階段，深度學(xué)習(xí)在煙霧火災(zāi)檢測(cè)應(yīng)用中仍存在一些無(wú)法回避的問(wèn)題亟待解決：（1）火災(zāi)探測(cè)的地點(diǎn)可能是一個(gè)工業(yè)、核電站、建筑、住宅或森林，因此煙霧和火焰的形態(tài)比較多樣，尺度多變，特征變化大。（2）早期火災(zāi)目標(biāo)小，特征不明顯，早期火災(zāi)檢測(cè)困難。（3）現(xiàn)有的火災(zāi)評(píng)估模型大多是依據(jù)對(duì)環(huán)境各方面的分析以評(píng)估發(fā)生火災(zāi)風(fēng)險(xiǎn)的可能性以及火災(zāi)隱患，以提前制定預(yù)案防止火災(zāi)發(fā)生[57-59]，用于評(píng)估火災(zāi)發(fā)生后火災(zāi)等級(jí)的模型較少。

針對(duì)以上問(wèn)題，本文經(jīng)過(guò)分析認(rèn)為煙霧與火災(zāi)檢測(cè)算法還有以下幾個(gè)方面需深入研究：

（1）制作一個(gè)全面合理的數(shù)據(jù)集

眾所周知，深度學(xué)習(xí)算法依賴(lài)大量的數(shù)據(jù)集，一個(gè)全面的數(shù)據(jù)集能夠使模型提取更豐富多樣的特征，以大幅提高檢測(cè)效果。然而火災(zāi)檢測(cè)領(lǐng)域始終沒(méi)有一個(gè)權(quán)威且全面的數(shù)據(jù)集，生成對(duì)抗網(wǎng)絡(luò)[60]可以使用已有的原始數(shù)據(jù)集生成逼真的人造數(shù)據(jù)，以豐富數(shù)據(jù)集。此外，還可以通過(guò)裁剪、旋轉(zhuǎn)變換、顏色變換、噪聲注入、元學(xué)習(xí)數(shù)據(jù)增強(qiáng)等數(shù)據(jù)增強(qiáng)方法進(jìn)一步擴(kuò)充樣本數(shù)量，優(yōu)化泛化性弱的檢測(cè)局限性。

（2）改進(jìn)網(wǎng)絡(luò)特征融合模塊

現(xiàn)代網(wǎng)絡(luò)體系結(jié)構(gòu)中特征融合模塊通常通過(guò)求和或concatenation等簡(jiǎn)單的線(xiàn)性操作實(shí)現(xiàn)不同層或分支的特征組合，但由于輸入特征的語(yǔ)義和尺度不一致性，導(dǎo)致這可能并不是最佳選擇。構(gòu)建多尺度通道注意力特征融合模塊，以融合更多有效特征，改善煙霧火焰尺度變化大帶來(lái)的檢測(cè)困難問(wèn)題。（3）提升小火焰檢測(cè)性能

可通過(guò)copy pasting方法增加小火焰數(shù)量，解決小火焰數(shù)據(jù)不易采集，本身判別性特征少的問(wèn)題。在主干網(wǎng)絡(luò)中引入注意力機(jī)制與擴(kuò)張卷積等模塊，加強(qiáng)特征提取能力，使提取到的特征具有更高的辨識(shí)度和魯棒性，提高模型對(duì)小火焰的檢測(cè)性能。

（4）構(gòu)建更輕量化的模型

選取MobileNetV3[61]等更先進(jìn)的輕量化網(wǎng)絡(luò)進(jìn)行特征提取，采用通道剪枝[62]等方法對(duì)模型壓縮，使用深度可分離卷積[63]與殘差結(jié)構(gòu)等減少參數(shù)量，提升模型的檢測(cè)速度，能夠及時(shí)發(fā)現(xiàn)火災(zāi)，減少損失。

（5）有效利用煙霧與火焰的特征

煙霧與火焰具有顏色、紋理、閃爍等特征，使用這些特征在檢測(cè)模型中添加前處理或后處理，能夠降低模型誤警率。

（6）開(kāi)發(fā)綜合火災(zāi)檢測(cè)系統(tǒng)

目前的研究工作大多是對(duì)煙霧和火災(zāi)進(jìn)行識(shí)別檢測(cè)，但是缺乏對(duì)火災(zāi)形勢(shì)變化的判斷。開(kāi)發(fā)綜合火災(zāi)檢測(cè)系統(tǒng)，該系統(tǒng)可識(shí)別不同類(lèi)型、地點(diǎn)、大小和級(jí)別的火災(zāi)或煙霧，檢測(cè)到煙霧或火焰時(shí)發(fā)出警報(bào)，并能預(yù)估火勢(shì)變化，以助于消防員根據(jù)火勢(shì)更好地開(kāi)展救援工作。

4 結(jié)束語(yǔ)

通過(guò)對(duì)基于深度學(xué)習(xí)的煙霧火災(zāi)檢測(cè)算法當(dāng)前研究現(xiàn)狀的分析可知，深度學(xué)習(xí)技術(shù)為解決傳統(tǒng)煙霧火災(zāi)檢測(cè)的問(wèn)題提供了更好的方法。本文首先圍繞基于目標(biāo)分類(lèi)、基于目標(biāo)檢測(cè)以及基于目標(biāo)分割3種不同的深度學(xué)習(xí)方法對(duì)煙霧火災(zāi)檢測(cè)算法分析總結(jié)；之后介紹了幾種公開(kāi)的煙霧火災(zāi)數(shù)據(jù)集；最后分析現(xiàn)有方法的不足并展望未來(lái)研究方向。