基于稠密光流和目標(biāo)檢測的煙霧檢測算法

葉寒雨， 李傳昌， 劉 淼， 崔國華， 張偉偉

(1.上海工程技術(shù)大學(xué)，上海 201000； 2.清華大學(xué)，北京 100000)

0 引言

火災(zāi)是種危害極大且發(fā)生頻率高的災(zāi)難。在火災(zāi)即將發(fā)生前，通常都會有大量的煙霧產(chǎn)生，通過對煙霧的測量、分析，可判斷被檢測區(qū)域是否會發(fā)生火災(zāi)。傳統(tǒng)的煙霧檢測方法是基于各種傳感器進(jìn)行檢測，其中，離子感煙探測器的原理是通過在電離室中的放射源镅使電離室中的空氣產(chǎn)生電離，進(jìn)而使得空氣在電路中呈現(xiàn)電阻特性。煙霧進(jìn)入傳感器的電離室中會引起電離的電流發(fā)生改變，也就是電離室的阻抗發(fā)生變化。最后根據(jù)阻抗變化的大小判定煙霧大小。光電感煙探測器則是利用煙霧會吸收和散射光的特性來檢測煙霧。雖然這些傳感器能準(zhǔn)確地檢測到煙霧，但其存在安裝成本高昂、覆蓋面積有限、響應(yīng)速度慢等問題。隨著機(jī)器視覺與深度學(xué)習(xí)的發(fā)展，加之監(jiān)控視頻的普及，基于視頻圖像的煙霧檢測方法逐漸成為主流研究方向。

基于圖像的煙霧檢測方法主要分為基于顏色的方法、基于運(yùn)動的方法和基于熱量的方法。其中，基于顏色的煙霧檢測并不完全可靠，因?yàn)榛疑蚝谏臒熿F對于其他物體的非煙霧像素來說是常見的；除了顏色之外，由于煙霧流體特性，其形狀、陰影、運(yùn)動和密度也無法預(yù)測，并且難以檢測；動態(tài)紋理在煙霧檢測中也起著重要作用，大多數(shù)時候，煙霧會使圖像模糊，并且從中提取的特征變得不可靠。

ZHAO等[1]通過提取煙霧的飄動、熱量和顏色特征，使用CS Adaboost算法對這些特征進(jìn)行分類。 CS Adaboost算法通過更新訓(xùn)練樣本或輸入的權(quán)重提高分類的精度；WANG[2]首先通過模糊邏輯提高圖像質(zhì)量，然后提取圖像靜態(tài)特征和動態(tài)特征，將它們輸入到SVM分類器，該方法具有可靠、實(shí)時性高等優(yōu)點(diǎn)；LEE等[3]結(jié)合了煙霧的時間和空間特征(如顏色、運(yùn)動、熱量分析和混亂分析等)，最后使用聚類算法找到煙霧區(qū)域；XIONG等[4]通過提取背景、閃爍頻率、輪廓等特征，再根據(jù)煙霧序列的周長和面積對煙霧區(qū)域進(jìn)行分類；楊劍等[5]通過改進(jìn)殘差網(wǎng)絡(luò)(ResNET)結(jié)構(gòu)，實(shí)現(xiàn)精確的煙霧區(qū)域檢測；YUAN[6]研究了煙霧在RGB空間中的規(guī)律，通過煙霧的顏色來檢測煙霧；王衛(wèi)兵等[7]使用最優(yōu)質(zhì)量傳輸光流作為描述符用于火焰和煙霧檢測，采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行特征提取，能夠準(zhǔn)確地區(qū)分煙霧與類似煙霧的云；顏洵等[8]通過改進(jìn)YOLOv4網(wǎng)絡(luò)模型對火焰和煙霧的目標(biāo)進(jìn)行檢測，能夠快速并準(zhǔn)確地檢測濃烈的煙霧和火焰。

目前主流的煙霧檢測算法都是基于檢測較大的煙霧而設(shè)計(jì)的，對于小煙霧的檢測效果不佳，因?yàn)闊熿F過小、不成形且呈現(xiàn)半透明狀態(tài)，極易誤檢、漏檢?；谏鲜隹紤]，本文提出針對小煙霧的檢測算法，使用光流對煙霧的運(yùn)動進(jìn)行估計(jì)。由于光流會受到運(yùn)動物體的影響，本文引入目標(biāo)檢測算法對運(yùn)動物體的干擾進(jìn)行剔除。

1 色彩空間轉(zhuǎn)換

RGB顏色空間是圖像處理中最基本、最常用的顏色空間，大部分通過視頻采集的圖像都是處于該顏色空間。在該顏色空間下任何顏色都由R,G,B這3個分量組成，由于R,G,B這3個分量都受到亮度變化影響，即對亮度變化敏感，所以該顏色空間不適用于本文的光流估計(jì)。

基于上述問題，本文采用HSV顏色空間。HSV是根據(jù)顏色的直觀特性而建的一種顏色空間，其表達(dá)彩色圖像的方式由色調(diào)(H)、飽和度(S)、明度(V)3個部分組成。由于其亮度被放在了單獨(dú)的一個通道中，故使用該色彩空間的圖像用作光流估計(jì)可以得到更加準(zhǔn)確的結(jié)果。

設(shè)r，g，b為一個顏色的紅、綠、藍(lán)三色分量，Cmax等價于r,g和b中的最大者，Cmin等于這些值中的最小者。則RGB色彩空間轉(zhuǎn)換到HSV色彩空間的算式為

(1)

(2)

V=Cmax。

(3)

2 光流估計(jì)算法

光流估計(jì)是一種具有視覺直觀性的圖像處理算法，其在圖像分割、視頻處理和目標(biāo)跟蹤等領(lǐng)域取得了不少成果。光流的原理是通過計(jì)算連續(xù)圖像間同一像素的移動方向和距離，其受相機(jī)的運(yùn)動和拍攝場景中移動目標(biāo)的運(yùn)動共同影響。另外，光流還易受到諸如快速移動的對象、物體遮擋、運(yùn)動模糊和無紋理的表面等因素影響。近年來，基于深度學(xué)習(xí)的方法已經(jīng)替代傳統(tǒng)方法成為研究的主流，它可以通過訓(xùn)練直接預(yù)測光流而不必人工設(shè)計(jì)估計(jì)方法，具有計(jì)算速度快、估計(jì)準(zhǔn)確等優(yōu)點(diǎn)。

光流估計(jì)總體可分為稀疏光流估計(jì)和稠密光流估計(jì)兩種方法。其中，稀疏光流估計(jì)算法的代表為Lucas-Kanade算法[9]，由LUCAS和KANADE于1981年提出。

目前主流的稠密光流估計(jì)算法大多基于深度學(xué)習(xí)，其中典型代表為2015年在ICCV會議中提出的FlowNet[10]，它是第一個嘗試?yán)镁矸e神經(jīng)網(wǎng)絡(luò)去直接預(yù)測光流的算法。HUI等[11]于2018年在CVPR會議中提出了LiteFlowNet，引入了級聯(lián)預(yù)測光流和特征正則的思想，進(jìn)一步提升了光流估計(jì)算法的性能。

2.1 LiteFlowNet光流估計(jì)算法

LiteFlowNet的網(wǎng)絡(luò)由兩個緊湊的子網(wǎng)絡(luò)組成，兩個子網(wǎng)絡(luò)分別用于金字塔特征提取和光流估計(jì)。其中，NetC負(fù)責(zé)將任何給定的圖像對轉(zhuǎn)換為多尺度高維特征的兩個金字塔，另一個NetE由級聯(lián)流推理和正則化模塊組成，用于估計(jì)從粗到細(xì)的流場。

在NetC中，對兩個金字塔特征提取網(wǎng)絡(luò)共享權(quán)重，將圖像分辨率以一定的比例降低來生成圖像金字塔，對每個金字塔層的圖片進(jìn)行特征提取，生成特征金字塔。在NetE的每個金字塔級別，逐像素匹配高級特征集并生成粗略的光流估計(jì)，然后對光流進(jìn)一步細(xì)分并將其提高到亞像素精度。

2.2 算法改進(jìn)

在使用LiteFlowNet估計(jì)光流前必須對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)原生的權(quán)重用于檢測煙霧效果并不理想。本文采用常用的兩個光流數(shù)據(jù)集Kitti和Sintel分別對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其中，Kitti數(shù)據(jù)集是由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院建立的一個基于自動駕駛場景的數(shù)據(jù)集，其可用于光流訓(xùn)練與評測；而Sintel數(shù)據(jù)集則是基于Ton Roosendaal和Blender Foundation的開源動畫短片制作的數(shù)據(jù)集。

在實(shí)驗(yàn)室中使用配置如表1的工作站對兩個數(shù)據(jù)集分別進(jìn)行訓(xùn)練，兩個數(shù)據(jù)集使用相同的訓(xùn)練參數(shù)，具體參數(shù)見表2。

表1 配置表Table 1 Configuration table

表2 LiteFlowNet訓(xùn)練參數(shù)Table 2 Training parameters of LiteFlowNet

使用原生的網(wǎng)絡(luò)和訓(xùn)練好的網(wǎng)絡(luò)對采集的煙霧圖像分別進(jìn)行光流估計(jì)。通過對比大量的煙霧圖像檢測結(jié)果發(fā)現(xiàn)，Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)在檢測煙霧上更具優(yōu)勢，其結(jié)果更加精確，噪聲干擾更少，故選擇使用Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)作為本文的光流估計(jì)網(wǎng)絡(luò)。權(quán)重效果對比如圖1所示。

圖1 權(quán)重效果對比Fig.1 Comparison of weight effect

由于煙霧并非剛性物體，其運(yùn)動緩慢雜亂且形態(tài)不定，顏色也在不斷變化，故經(jīng)LiteFlowNet計(jì)算后的光流運(yùn)動圖中煙霧的運(yùn)動距離普遍較低，導(dǎo)致其易受噪聲干擾，雖然使用Sintel數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)對噪聲抑制有一定作用，但依然存在大量的噪點(diǎn)導(dǎo)致無法準(zhǔn)確估計(jì)煙霧。為了保證每次降噪處理后結(jié)果的一致性，本文通過對大量檢測結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)與分析，最終得到一個適用于本文所涉及硬件的像素運(yùn)動量閾值st用于剔除噪聲，將低于閾值st的像素運(yùn)動量s予以置零處理,大于等于st的保持不變，即

(4)

噪聲去除前后效果對比如圖2所示。

圖2 噪聲去除前后效果對比Fig.2 Comparison before and after noise removal

由圖2可以明顯看到，處理后除煙霧以外區(qū)域的噪聲被消除，提升了煙霧估計(jì)的精度便于后續(xù)的計(jì)算。

3 目標(biāo)檢測算法

YOLO(You Only Look Once)是由REDMON于2016年在CVPR會議中提出的一種快速且精度尚可的目標(biāo)檢測算法[12]。在此之后又更新了YOLOv2[13]與YOLOv3[14]，在精度和速度上二者均有所提升。

文獻(xiàn)[15]通過試驗(yàn)對比了近幾年來大量的最新的深度學(xué)習(xí)技巧，提出了馬賽克(Mosaic)增強(qiáng)、自對抗訓(xùn)練數(shù)據(jù)增強(qiáng)方法、改進(jìn)的空間注意力機(jī)制(SAM)、改進(jìn)的路徑聚合網(wǎng)絡(luò)(PANet)以及批歸一化等5大改進(jìn)。最終在平均精確度均值(mean Average Precision，mAP)和推理速度上遠(yuǎn)超YOLOv3，其中，mAP提升10%，推理速度提升12%。

YOLOv4具有簡單而高效的網(wǎng)絡(luò)架構(gòu)，其訓(xùn)練簡單，對硬件要求不高，并且檢測速度快、精度高，符合本文所需。本文通過YOLOv4檢測到目標(biāo)(如人或其他需要去除的物體)的矩形框坐標(biāo)，為了去除光流估計(jì)運(yùn)動物體時周圍產(chǎn)生的錯誤估計(jì)，將矩形框放大一定比例，再使用該矩形框坐標(biāo)去除動態(tài)目標(biāo)對煙霧檢測造成的干擾。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文使用的YOLOv4網(wǎng)絡(luò)采用CSPDarknet53作為骨干網(wǎng)絡(luò)BackBone， SPP作為Neck的附加模塊，PANet作為Neck的特征融合模塊，YOLOv3作為Head，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of YOLOv4 network

3.2 網(wǎng)絡(luò)改進(jìn)

原始的YOLOv4算法使用的是隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)[16]法，因?yàn)樽赃m應(yīng)學(xué)習(xí)率類優(yōu)化算法(如Adam[17])普遍存在泛化能力較差、檢測精度不穩(wěn)定等問題。針對以上問題，在研究了近年來新興的優(yōu)化算法后，選擇AdaBelief[18]算法作為YOLOv4的優(yōu)化器。AdaBelief通過改進(jìn)Adam中的二階動量，可根據(jù)當(dāng)前梯度與其指數(shù)移動平均值的差值來調(diào)整步長，具有Adam一樣快速的收斂速度，相比SGD也具有良好的泛化能力和檢測精度。

為了驗(yàn)證改進(jìn)的優(yōu)化算法是否有效果，本文使用VOC2007數(shù)據(jù)集分別對使用SGD，Adam，AdaBelief的YOLOv4進(jìn)行訓(xùn)練，使用收斂速度作為評價指標(biāo)，其中，損失下降如圖4所示。

圖4 損失下降圖Fig.4 Loss descent

使用訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重在VOC2007測試集上進(jìn)行測試，并采用mAP對結(jié)果進(jìn)行評估，結(jié)果如圖5所示。

圖5 mAP對比圖Fig.5 Comparison of mAP

從圖4、圖5可以看出，使用AdaBelief算法的YOLOv4要優(yōu)于另外兩種，故本文采用該算法作為YOLOv4的優(yōu)化器。

3.3 網(wǎng)絡(luò)訓(xùn)練

本文使用視覺對象分類評估數(shù)據(jù)集VOC2007進(jìn)行訓(xùn)練，因本文只檢測人物，故選擇包含人物的圖片進(jìn)行訓(xùn)練，使用與LiteFlowNet相同的工作站進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)如表3所示。

表3 YOLOv4訓(xùn)練參數(shù)Table 3 Training parameters of YOLOv4

訓(xùn)練好的網(wǎng)絡(luò)在VOC2007測試集中進(jìn)行測試，使用常用的目標(biāo)檢測算法評價指標(biāo)：準(zhǔn)確率(Precision)、召回率(Recall)和AP (Average precision)對本文的方法進(jìn)行評價，其中，準(zhǔn)確率是真正例在所有預(yù)測正例中的比例，召回率是真正例在所有真實(shí)正例中的比例，具體算式分別為

(5)

(6)

其中：FFN表示被判定為負(fù)樣本的正樣本；FFP表示被判定為正樣本的負(fù)樣本；TTN表示被判定為負(fù)樣本的負(fù)樣本；TTP表示被判定為正樣本的正樣本。根據(jù)檢測結(jié)果，以召回率為橫軸、準(zhǔn)確率為縱軸，就可以得到如圖6所示的PR曲線。

圖6 PR曲線Fig.6 PR curve

對PR曲線求取平均值，即

(7)

計(jì)算得到AAP=87.01%，能很好地滿足視頻圖像中人物的檢測。

4 算法整合

本文提出的煙霧檢測算法SmokeNet算法架構(gòu)如圖7所示。其主要流程如下：1) 將兩幅連續(xù)幀圖像輸入LiteFlowNet3網(wǎng)絡(luò)中得到煙霧的光流估計(jì)；2)使用YOLOv4檢測圖像中潛在移動物體；3)將潛在移動物體區(qū)域的光流估計(jì)予以棄置；4)對最終的光流估計(jì)進(jìn)行降噪處理；5)分析最終光流估計(jì)的結(jié)果，即運(yùn)動區(qū)域大小判斷其是否為煙霧以及煙霧大小，判斷閾值設(shè)置為圖像總像素點(diǎn)的5%。

圖7 SmokeNet算法架構(gòu)Fig.7 SmokeNet architecture

5 實(shí)驗(yàn)與分析

5.1 實(shí)驗(yàn)環(huán)境

在實(shí)驗(yàn)室中使用工作站、監(jiān)控相機(jī)、煙霧發(fā)生器、可燃物等搭建實(shí)驗(yàn)平臺來模擬煙霧。

5.2 實(shí)驗(yàn)步驟與結(jié)果

對本文提出的方法進(jìn)行驗(yàn)證，主要步驟有：

1) 使用電腦連接監(jiān)控相機(jī)對煙霧進(jìn)行實(shí)時采集圖像，取連續(xù)兩幀圖像作為整個系統(tǒng)的輸入圖像；

2) 使用訓(xùn)練好的YOLOv4網(wǎng)絡(luò)檢測原始輸入第1幀圖像中的人物，得到目標(biāo)的矩形框坐標(biāo)；

3) 將轉(zhuǎn)換過色彩空間的兩幀視頻圖像輸入到訓(xùn)練好的LiteFlowNet中，得到光流運(yùn)動圖；

4) 使用預(yù)先設(shè)定好的閾值對光流運(yùn)動進(jìn)行篩除，去除背景噪聲的干擾，得到運(yùn)動物體與煙霧的光流運(yùn)動；

5) 使用YOLOv4得到的矩形框坐標(biāo)經(jīng)過向外擴(kuò)充一定大小后的坐標(biāo)對光流運(yùn)動圖進(jìn)行修剪，去除運(yùn)動物體的光流運(yùn)動；

6) 統(tǒng)計(jì)最終圖像運(yùn)動像素的數(shù)量，再根據(jù)大量實(shí)驗(yàn)得到的閾值判斷當(dāng)前圖像是否有煙霧以及煙霧的大小規(guī)模。具體實(shí)驗(yàn)過程如圖8所示。

圖8 實(shí)驗(yàn)過程圖Fig.8 Experimental process

在實(shí)驗(yàn)室中通過監(jiān)控攝像機(jī)拍攝煙霧發(fā)生器及真實(shí)燃燒煙霧采集數(shù)段視頻，經(jīng)解幀后總計(jì)得到1124幀視頻圖像。本文使用TP表示真正例，即有煙且檢測到；FP表示假正例，即無煙但檢測到有煙；TN表示真反例，即無煙也未檢測到；FN表示假反例，即有煙但未檢測到。分別使用傳統(tǒng)的幀間差分法、基于YOLOv4的方法[7]和本文提出的光流估計(jì)法檢測，統(tǒng)計(jì)結(jié)果如表4所示。

表4 結(jié)果統(tǒng)計(jì)Table 4 Result statistics

根據(jù)實(shí)驗(yàn)結(jié)果使用準(zhǔn)確率(Precision)和召回率(Recall)進(jìn)行評估，結(jié)果如表5所示。

表5 評估結(jié)果Table 5 Evaluation results %

實(shí)驗(yàn)結(jié)果顯示，本文提出的方法在準(zhǔn)確率和召回率上均優(yōu)于傳統(tǒng)的幀間差分法和基于YOLOv4的方法；根據(jù)實(shí)驗(yàn)觀察，本文方法能夠滿足室內(nèi)煙霧檢測的需求，檢測魯棒性好，尤其是在煙霧較小的情況下也能準(zhǔn)確識別，且能夠排除潛在運(yùn)動物體的干擾，減少誤報的可能。

6 結(jié)論

本文通過對煙霧運(yùn)動的光流估計(jì)分析，結(jié)合使用固定閾值剔除噪聲以及使用YOLOv4剔除運(yùn)動物體的干擾，提出了煙霧檢測算法SmokeNet，實(shí)現(xiàn)了對煙霧的檢測，在實(shí)驗(yàn)中取得了93.53%的檢測準(zhǔn)確率和88%的召回率。本文提出的SmokeNet煙霧檢測算法能夠?qū)崟r、準(zhǔn)確地實(shí)現(xiàn)檢測，并能排除動態(tài)物體的干擾，及時發(fā)現(xiàn)火情，大大減少生命財產(chǎn)損失；而且無需增加額外傳感器，借助現(xiàn)有的監(jiān)控系統(tǒng)即可，易于大規(guī)模應(yīng)用。但本文方法尚存在一些問題，比如需要根據(jù)經(jīng)驗(yàn)設(shè)置閾值、對視頻畫面要求較高且運(yùn)行速度不夠快等，解決這些問題將是進(jìn)一步研究的方向。