嵌入通道注意力的YOLOv4火災煙霧檢測模型

謝書翰， 張文柱， 程 鵬， 楊子軒

(西安建筑科技大學 信息與控制工程學院，陜西 西安710048)

1 引 言

隨著經(jīng)濟的發(fā)展，大型場景的火災檢測任務越發(fā)重要，而傳統(tǒng)火災檢測環(huán)節(jié)中傳感器的檢測能力較差，檢測環(huán)節(jié)易受各種干擾因素的影響，從而使檢測的準確率較低[1]。隨著圖像、視頻處理技術(shù)的迅猛發(fā)展，各種基于圖像、視頻處理技術(shù)的煙霧檢測算法被提出，在各種大型空間火災檢測任務中效果顯著。煙霧先于火焰的發(fā)生而發(fā)生，且煙霧具有比火焰更強的擴散性，攝像頭更加容易捕捉到煙霧圖像，所以煙霧檢測在火災檢測任務中顯得格外重要。

目前，傳統(tǒng)基于圖像、視頻的火災煙霧檢測算法主要是根據(jù)煙霧的形狀、色彩、紋理、湍流、飄動等特征進行火災煙霧識別，研究者通過研究煙霧的一種或多種特征，使用各種不同的分類算法進行火災煙霧識別。Genovese等人[2]研究煙霧在YUV空間的顏色特性，得到煙霧檢測算法，但是對于擴散緩慢的煙霧以及復雜背景的煙霧視頻效果不佳。Sedlák V等人[3]研究了煙霧的運動特性、煙霧的顏色、面積增長率和運動方向，通過多特征進行分類識別，但是該方法小區(qū)域煙霧以及擴散不明顯的煙霧區(qū)域檢測效果較差。Gubbi等人[4]提出一種結(jié)合小波變換的檢測煙霧方法，利用小波分解得到子帶圖像，提取出幾十種煙霧特征。李紅娣等人[5]通過圖像金字塔和池化操作，提取LOBP和EOH直方圖，得到煙霧特征矢量，最后放入支持向量機進行訓練得到火災煙霧識別模型。

這些算法從煙霧的本質(zhì)特征進行研究，通過提取煙霧的一種或者多種特征進行煙霧識別。對于煙霧區(qū)域較大、背景單一的煙霧視頻圖像，傳統(tǒng)的視頻煙霧檢測效果較好，但是火災初期以及遠距離火災煙霧視頻圖像，煙霧區(qū)域往往較小，此時檢測效果較差，出現(xiàn)漏檢情況嚴重，而且不能在多場景任務中應用。

隨著卷積神經(jīng)網(wǎng)絡CNN的發(fā)展，針對上述問題，Zhang等人[6]和張倩等人[7]利用Faster R-CNN對煙霧圖像進行煙霧的識別。Frizz等人[8]和李鵬等人[9]使用卷積神經(jīng)網(wǎng)絡作為特征提取器，得到煙霧檢測模型，較傳統(tǒng)特征提取手段有著更佳的性能。富雅捷等人[10]通過選擇性搜索法獲取候選區(qū)域，將候選區(qū)域經(jīng)過CNN網(wǎng)絡得到高層特征，最后放入支持向量機訓練，得到煙霧檢測模型。馮路佳等人[11]提出了MD_CNN 煙霧檢測模型，通過背景差分法得到運動目標區(qū)域，將運動目標區(qū)域放入CNN網(wǎng)絡進行分類，最后得到煙霧區(qū)域。劉麗娟等人[12]利用SSD對煙霧圖像進行識別。

在火災煙霧檢測這一特定的領(lǐng)域，使用深度學習方法的研究和數(shù)據(jù)集相對較少。本文提出一種改進的YOLOv4[13]的火災煙霧檢測算法，在YOLOv4的基礎(chǔ)上嵌入通道注意力，以提高網(wǎng)絡預測頭的特征提取能力；使用K-means聚類獲取更符合火災煙霧檢測的候選框尺寸；根據(jù)火災煙霧檢測這一二分類場景，精簡了損失函數(shù)；訓練階段引入隨機擦除和標簽平滑，以降低過擬合風險。實驗結(jié)果表明，該算法能夠在多場景精準實現(xiàn)火災煙霧檢測。

2 本文算法

2.1 YOLOv4實時目標檢測框架

YOLOv4是一種端到端的實時目標檢測框架，由YOLOv3[14]改進而來，YOLOv4模型見圖1。YOLOv4主要包含 CSPDarkNet53 特征提取主干網(wǎng)絡、SPPNet(Spatial Pyramid Pooling Network)、PANet(Path Aggregation Network)多尺度預測網(wǎng)絡以及網(wǎng)絡預測頭(YOLO Head)。其中CSPDarknet53由5個大殘差塊組成，這5個大殘差塊包含的小殘差單元個數(shù)分別為1,2，8，8，4，也即是兩個CBM卷積模塊和一個CSPX卷積模塊共同構(gòu)成一個大殘差塊。在CSPDarknet53的最后一個特征層輸出之后加入SPPNet，分別利用4個不同尺度的最大池化進行處理，最大池化的池化核大小分別為13×13，9×9，5×5，1×1(1×1表示無處理)，這種池化操作能夠在幾乎不增加模型的推理時間的情況下提高模型的推理能力。PANet由上采樣和下采樣兩部分構(gòu)成，充分利用了特征融合。

YOLOv4有3個網(wǎng)絡預測頭，3個網(wǎng)絡預測頭輸出的形狀分別為(13,13,18)，(26,26,18)，(52,52,18)。最后一個維度為18,是因為該檢測算法基于火災煙霧數(shù)據(jù)集，僅識別火災煙霧一個類別，而YOLOv4針對每一個網(wǎng)絡預測頭存在3個先驗框，每個先驗框占據(jù)6維信息。

圖1 YOLOV4 網(wǎng)絡結(jié)構(gòu)圖Fig.1 YOLOV4 network structure diagram

2.2 候選框改進

網(wǎng)絡預測頭中候選框尺寸的設(shè)置是十分重要的，選擇符合煙霧大小特征的候選框尺寸可以有助于煙霧預測框位置的回歸，故在火災煙霧檢測任務中對候選框尺寸進行改進。

本文使用K均值聚類(K-means)為火災煙霧數(shù)據(jù)集生成新的候選框尺寸，本文算法的輸入火災煙霧圖像尺寸為416×416，使用K-means對416×416的火災煙霧圖像生成的9個新的候選框尺寸分別為12×16，19×36,40×28，36×75，76×55，72×146，142×110，192×243，362×322。

2.3 網(wǎng)絡預測頭改進

2.3.1 通道注意力

在每個卷積過程中，一些復雜的干擾信息不可避免地會分布在某些通道上，導致網(wǎng)絡性能降低。注意力機制在神經(jīng)網(wǎng)絡中得到了廣泛的使用[15-16]，隨著對通道注意力機制的深入研究，調(diào)整各通道信息的通道權(quán)重，對各通道信息賦予不同的權(quán)值，根據(jù)權(quán)值大小對通道信息進行篩選，這樣能有效緩解干擾信息的影響。通道注意力的典型代表是SENet(Squeeze-and-Excitation Networks)[17]。 如圖2所示。

圖2 通道注意力Fig.2 Channel attention

圖2中，輸入特征圖X,X有C個通道，每個通道空間大小為H×W，對每個通道進行全局平均池化，則通道權(quán)重Z的計算公式如式(1)所示：

(1)

其中輸出Z是長度為C的一維數(shù)組，表示壓縮通道得到的權(quán)重；(i,j)表示在大小為H×W的特征圖上橫縱坐標分別為i和j的點。

然后使用激活函數(shù)對各通道權(quán)重進行相關(guān)程度建模。公式如下：

SC=Fex(Z,W)=Sigmoid(W2×ReLU(W1,Z))，

(2)

其中:SC的維度是1×1×C，SC對應生成的通道注意力權(quán)重。通道注意力權(quán)值是需要經(jīng)過前面這些全連階層和非線性學習得到的;W1的維度是C/r×C，W2的維度是C×C/r,r為放縮系數(shù)，這是由兩個全連接層組成。

最后對輸入通道進行加權(quán)調(diào)整，通道注意力加權(quán)公式為：

(3)

SENet可以嵌入任意卷積層中，假若每個卷積層都嵌入SENet會帶來巨大的參數(shù)量，SENet的參數(shù)數(shù)目公式如下：

(4)

其中：N為參數(shù)數(shù)目，n為嵌入SENet的次數(shù)，參數(shù)數(shù)目主要來自于放置的兩個全連接層，所以C和r以及n決定了給網(wǎng)絡帶來的參數(shù)大小。

SENet帶來的參數(shù)量決定了SENet只能在某些卷積層使用。在特征提取主干網(wǎng)絡上加入SENet，可以提升特征提取主干網(wǎng)絡對圖像特征的提取，如文獻[18-19]取得了不錯的結(jié)果。本文算法的特征提取主干網(wǎng)絡為CSPDarkNet53，CSPDarkNet53結(jié)構(gòu)比較龐大，特征提取能力就火災煙霧圖像而言已經(jīng)足夠，不適宜嵌入SENet。

2.3.2 嵌入通道注意力

本文在網(wǎng)絡預測頭嵌入SENet，這樣做主要有兩個優(yōu)點：第一，減輕干擾信息的干擾，提升了網(wǎng)絡預測頭對特征信息的提取能力，從而提升了整個網(wǎng)絡的性能；第二，帶來了極小的參數(shù)量，僅為網(wǎng)絡增加了3MB的參數(shù)量。

圖3 算法改進前后對比。(a)改進前；(b)改進后；(c)SENet。Fig.3 Comparison of algorithm before and after improvement. (a) Before improvement; (b)After improvement; (c) SEnet.

本文在網(wǎng)絡預測頭嵌入SENet，如圖3所示。在3個CONV卷積操作后面加入SENet，圖3(c)為SENet的結(jié)構(gòu)。由上文知，第一個FC層的神經(jīng)元個數(shù)為C/r，第二個FC層神經(jīng)元個數(shù)為C，縮放系數(shù)r一般取2，4，8，16，SENet的效果會隨著縮放系數(shù)r的增大而變?nèi)酰s放系數(shù)r的增大會降低參數(shù)量，由于本文在網(wǎng)絡預測頭嵌入SENet，參數(shù)量是非常小的，所以縮放系數(shù)r取2是比較合理的。

2.4 損失函數(shù)改進

YOLOv4的損失函數(shù)如下：

L=Lcoord+Liou+Lclass，

(5)

其中：L為總損失函數(shù)；Lcoord為置信度損失函數(shù)，回歸是否存在物體信息；Liou為框損失函數(shù)，回歸位置信息；Lclass為分類損失函數(shù)，回歸類別信息。

火災煙霧數(shù)據(jù)集，僅存在火災煙霧一類，是二分類問題，所以Lcoord和Lclass是存在計算冗余的，本文采用式(6)作為損失函數(shù)。

L=Lcoord+Liou，

(6)

改進后的損失函數(shù)去掉了分類損失函數(shù)，精簡了損失函數(shù)的構(gòu)成以提升網(wǎng)絡的收斂速度和抗干擾性。

故3個網(wǎng)絡預測頭輸出的形狀分別從(13,13,18)，(26,26,18)，(26,26,18)變?yōu)?13,13,15)，(26,26,15)，(26,26,15)，如圖3所示。

3 實驗設(shè)計

3.1 火災煙霧數(shù)據(jù)集

本文除了主動在網(wǎng)上爬取火災煙霧圖像，還采用了目前煙霧檢測方向較為認可的中國科學院大學火災重點實驗室、韓國啟明大學和土耳其比爾肯大學的煙霧視頻數(shù)據(jù)，這些數(shù)據(jù)大多為avi格式的視頻數(shù)據(jù)，本文將視頻數(shù)據(jù)一幀一幀地制作成圖片數(shù)據(jù)加以使用。這些火災煙霧圖像包含遠景、近景、夜晚以及背景干擾因素較多的煙霧圖像，以此火災煙霧數(shù)據(jù)集作為證明本文算法有效性的證據(jù)。部分火災煙霧如圖4所示。

圖4 部分真實火災煙霧圖像Fig.4 Part of the real fire smoke images

3.2 實驗環(huán)境

本文實驗環(huán)境為：NVIDIA GeForce RTX 1660，64 位Win10操作系統(tǒng)。編程語言為Python，深度學習框架為Keras。

本文對于主干網(wǎng)絡CSPDarkNet53使用ImageNet大型數(shù)據(jù)集下分類任務的預訓模型，可以加快網(wǎng)絡收斂速度。根據(jù)文獻[13]實驗結(jié)論指出訓練階段分兩階段進行會有更好效果，第一階段凍結(jié)主干網(wǎng)絡CSPDarkNet53網(wǎng)絡參數(shù)，調(diào)整非主干網(wǎng)絡參數(shù)，優(yōu)化器使用Adam，此階段是粗調(diào)階段，最大學習率應設(shè)置得比第二階段要大，設(shè)置為0.001，Batch size根據(jù)顯卡的性能，由于只調(diào)整非主干網(wǎng)絡參數(shù)，故可以設(shè)置為8，訓練20個epoch；第二階段釋放主干網(wǎng)絡CSPDarkNet53網(wǎng)絡參數(shù)，優(yōu)化器使用Adam，此階段是微調(diào)階段，最大學習率設(shè)置得比第一階段要小，設(shè)置為0.000 1，Batch size根據(jù)顯卡的性能，由于調(diào)整整個網(wǎng)絡參數(shù)，故設(shè)置為2。

3.3 數(shù)據(jù)增強

在目標檢測中，為了防止檢測模型過擬合現(xiàn)象的出現(xiàn)，提升算法性能，需要輸入足夠的訓練數(shù)據(jù)?，F(xiàn)實中無法滿足足夠的訓練數(shù)據(jù)，此時就要對數(shù)據(jù)集進行數(shù)據(jù)增強操作，以彌補數(shù)據(jù)量小帶來的缺點。

本文采用了圖像翻轉(zhuǎn)、放縮、隨機擦除等數(shù)據(jù)增強方法以彌補數(shù)據(jù)量小帶來的缺點，從而降低過擬合風險。

放縮：圖像有75%的概率進行隨機比例的寬高放縮。

翻轉(zhuǎn)：圖像有75%的概率進行左右、上下翻轉(zhuǎn)。

隨機擦除：隨機擦除在目標檢測中得到大量應用，均取得不錯的效果[20-21]。訓練時，隨機擦除方法會在原圖隨機選擇一個矩形區(qū)域，將該區(qū)域的像素替換為隨機值。這個過程中，參與訓練的圖片會做不同程度的遮擋，這樣可以降低過擬合的風險并提高模型的魯棒性。

圖5 實驗檢測效果。(a)大區(qū)域煙霧；(b)中區(qū)域煙霧；(c)白天煙霧；(d)小區(qū)域煙霧且與背景相似；(e)小區(qū)域煙霧且煙霧不明顯；(f)夜晚煙霧。Fig.5 Experimental detection effect. (a) Smoke in a large area; (b) Smoke in a medium area; (c) Daytime smoke； (d) Smoke in a small area and similar to the background; (e) Smoke in a small area and smoke is not obvious；(f) Night smoke.

4 實驗結(jié)果及分析

4.1 評價指標

本 文 通 過 訓 練 后 模 型 檢 測 的 準 確 率(Precision)、召回率 (Recall)、調(diào)和平均值(Harmonic mean)、每秒檢測幀數(shù)FPS(Frames Per Second)以及模型大小(Size)作為參考進行對比，準 確 率、召回率和調(diào)和平均值由式(7)～(9)計算所得。

(7)

(8)

(9)

式(7)～式(9)中:P為準確率;R為召回率;H為調(diào)和平均值,調(diào)和平均值綜合了準確率和召回率，調(diào)和平均值越大，算法性能越好;TP為真正例;FP為假正例;FN為假負例。

4.2 實驗結(jié)果

YOLOv4與SE-YOLOv4的檢測結(jié)果對比如表1所示，實驗結(jié)果表明，SE-YOLOv4網(wǎng)絡模型僅犧牲了0.1幀/s的代價，準確率和召回率分別提高了0.9%，1.5%。

為了進一步驗證本文模型在火災煙霧檢測上的有效性，本文對比了文獻[6-7]提出的Faster R-CNN的煙霧檢測模型以及文獻[12]提出的SSD煙霧檢測模型，檢測結(jié)果對比見表1。

由表1可以看出，本文的火災檢測模型在準確率和召回率中有大幅度的提高，較文獻[6-7]無論從精度和速度都有較大提升；較于文獻[12]在準確率和召回率領(lǐng)先了1.9%，2.1%，在FPS落后了8.4幀/s的速度。

FPS的高低往往由模型的參數(shù)量所決定，一般情況下參數(shù)量越小，計算量則越小，檢測速度就越快。文獻[12]的FPS如此之高，是因為文獻[12]是基于SSD煙霧檢測模型，SSD網(wǎng)絡結(jié)構(gòu)精簡、參數(shù)量少，其網(wǎng)絡結(jié)構(gòu)擁有多尺度分類器，能較好地兼顧提取大、小目標。文獻[12]又將SSD的主干特征提取網(wǎng)絡VGG16改進為MobileNetV2，整個模型的計算量和參數(shù)量有明顯的下降，并且MobileNetV2作為主干特征提取網(wǎng)絡優(yōu)于VGG16。本文煙霧檢測模型的參數(shù)量是文獻[12]煙霧檢測模型參數(shù)量的近4倍，但是文獻[12]煙霧檢測模型結(jié)構(gòu)精簡、參數(shù)量少，不可避免地性能達不到最優(yōu)。

表1 其他煙霧檢測模型與本文模型對比Tab.1 Comparison of results between other fire smoke detection models and this model

實驗結(jié)果表明，本文模型具有一定的優(yōu)越性。本文基于YOLOv4的煙霧檢測具備良好的泛化能力，擁有高的準確率和召回率，適于多場景火災煙霧檢測，特別是在小區(qū)域火災煙霧圖像上也有良好表現(xiàn)。

4.3 YOLOv4-tiny

YOLOv4-tiny是YOLOv4輕量化的網(wǎng)絡架構(gòu)，本文對YOLOv4-tiny進行了實驗對比，如表2所示。

YOLOv4-tiny是在YOLOv4的基礎(chǔ)上所輕量化的算法，主干特征提取網(wǎng)絡進行了精簡；多尺度預測由3個降為2個，候選框則從9個降為4個；不使用PANet作為特征融合，改為使用傳統(tǒng)的FPN進行特征融合等。極大地精簡了網(wǎng)絡結(jié)構(gòu)和減少了參數(shù)量以及計算量。在精度上雖然有所降低，但在速度上遠超本文算法以及文獻[12]中的檢測算法，這給優(yōu)化本文模型帶來了思路，為之后如何平衡檢測精度和檢測速度帶來方向。

表2 YOLOv4-tiny與本文模型對比Tab.2 Comparison of detection results between YOLOv4-tiny and this model

5 結(jié) 論

本文在 YOLOv4的基礎(chǔ)上嵌入SENet，明顯提高了算法在多場景火災煙霧檢測上的性能；使用K-means聚類算法得到更加貼近火災煙霧數(shù)據(jù)集的候選框尺寸；引入翻轉(zhuǎn)和隨機擦除等數(shù)據(jù)增強手段降低過擬合風險；在二分類的基礎(chǔ)上，精簡了損失函數(shù)，提高了網(wǎng)絡的抗干擾能力。

實驗結(jié)果表明，本文改進后的方法與同類火災檢測算法相比，在準確度和速度上都具有良好的表現(xiàn)，在數(shù)據(jù)集上達到了 92.5%的準確率，87.7%的召回率，平均檢測速度達 5.1幀/s；但在平均檢測速度上還有很大的進步空間，在之后的工作中可以在不犧牲性能的情況下，減小模型大小，以提高平均檢測速度。火災煙霧數(shù)據(jù)可以繼續(xù)得到擴展，增加更多的火災煙霧場景，提高火災煙霧數(shù)據(jù)質(zhì)量。