基于高效全局上下文網(wǎng)絡(luò)的輕量級(jí)煙火檢測(cè)算法

魏倫勝，徐望明，2*，張景元，陳 彬

（1.武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081；2.武漢科技大學(xué) 教育部冶金自動(dòng)化與檢測(cè)技術(shù)工程研究中心，湖北 武漢 430081）

1 引言

全球范圍內(nèi)平均每天發(fā)生上千起火災(zāi)，造成數(shù)百人傷亡和大面積的森林植被破壞，且嚴(yán)重威脅人類生命財(cái)產(chǎn)安全和自然生態(tài)環(huán)境。火災(zāi)通常爆發(fā)突然，影響范圍廣，難以及時(shí)處理。因此，火災(zāi)的實(shí)時(shí)監(jiān)測(cè)尤為重要，早期發(fā)現(xiàn)火災(zāi)并進(jìn)行處理是減少損失的關(guān)鍵。傳統(tǒng)的火焰和煙霧探測(cè)系統(tǒng)通常是基于實(shí)時(shí)采樣溫度、濕度或一氧化碳濃度傳感器［1-2］。這些傳感器因成本低和使用方便而被廣泛使用，但存在難以克服的固有局限性，如煙霧傳感器經(jīng)常會(huì)出現(xiàn)錯(cuò)誤觸發(fā)的情況，而且，這些傳感器通常需要足夠的火災(zāi)觸發(fā)水平進(jìn)行探測(cè)，會(huì)導(dǎo)致長(zhǎng)時(shí)間探測(cè)延遲。除此之外，它們僅限應(yīng)用于狹小的室內(nèi)空間，無(wú)法應(yīng)用于戶外場(chǎng)景。

為了克服傳統(tǒng)火災(zāi)探測(cè)系統(tǒng)的局限性，近年來(lái)基于監(jiān)控視頻的火災(zāi)探測(cè)系統(tǒng)成為主流。在這類系統(tǒng)中，火焰和煙霧被抽象為由亮度、紋理、顏色以及運(yùn)動(dòng)信息生成的圖像特征。Chen 等人［3］在RGB 和HIS 顏色空間中利用火焰的動(dòng)態(tài)特性和不規(guī)則性來(lái)實(shí)現(xiàn)對(duì)火焰像素的分類。Celik 等人［4］提出一種基于YCbCr空間中色度和亮度可分離性的火災(zāi)探測(cè)器，并融合多種信息提高檢測(cè)性能。Rafiee 等人［5］通過(guò)使用二維小波變換將靜態(tài)和動(dòng)態(tài)特征結(jié)合起來(lái)檢測(cè)火焰及煙霧目標(biāo)。以上這些算法依賴于人工設(shè)計(jì)的圖像特征，在實(shí)際應(yīng)用場(chǎng)景下的魯棒性較差。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)受到了學(xué)術(shù)界和工業(yè)界的極大關(guān)注。深度學(xué)習(xí)具有自動(dòng)提取圖像特征的優(yōu)勢(shì)，顯示出從圖像或視頻中檢測(cè)火焰及煙霧的泛化能力。Wu 等人［6］使用AlexNet 從動(dòng)態(tài)和靜態(tài)信息中提取復(fù)合特征并提出一種自適應(yīng)加權(quán)方向算法檢測(cè)視頻中的火焰和煙霧。Wu 等人［7］使用Faster R-CNN［8］、YOLO［9-12］、SSD［13］等經(jīng)典目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)時(shí)檢測(cè)森林火災(zāi)。侯易呈等人［14］通過(guò)引入SENet模塊提出一種基于改進(jìn)Faster R-CNN 的火焰檢測(cè)方法，提升檢測(cè)精度。這些方法在檢測(cè)準(zhǔn)確率方面相對(duì)于傳統(tǒng)方法取得了明顯提升，但并未在嵌入式硬件平臺(tái)上提供低成本的實(shí)現(xiàn)，使得這些算法的落地應(yīng)用變得相當(dāng)困難。而且，這些算法未充分考慮火焰或煙霧目標(biāo)周圍的背景信息，從而導(dǎo)致誤報(bào)率升高。

近年來(lái)，在自然語(yǔ)言處理領(lǐng)域廣泛運(yùn)用的上下文信息（Context）也被用于計(jì)算機(jī)視覺(jué)領(lǐng)域，并展現(xiàn)出優(yōu)越的性能。Wang 等人［15］提出了NLNet（Non-local Network），該算法融合了全局上下文信息，在目標(biāo)檢測(cè)、圖像分類、實(shí)例分割等領(lǐng)域證明了其有效性，但會(huì)極大地增加計(jì)算量，不適合在輕量級(jí)模型上使用。Cao 等人［16］在Wang 等人的基礎(chǔ)上提出了GC-Ne（tGlobal-Context Network），在不降低精度的情況下提升了算法的運(yùn)行速度。劉波等人［17］提出了一種自適應(yīng)上下文感知相關(guān)濾波算法用于目標(biāo)跟蹤，提高了算法魯棒性。張瑞琰等人［18］提出了面向光學(xué)遙感目標(biāo)的全局上下文檢測(cè)模型，提高了復(fù)雜背景下的光學(xué)遙感圖像目標(biāo)檢測(cè)精度，并降低了檢測(cè)網(wǎng)絡(luò)復(fù)雜度。通過(guò)使用全局上下文信息，可建模目標(biāo)與背景的遠(yuǎn)程依賴（Long-range Dependency），加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程對(duì)視覺(jué)場(chǎng)景的全局理解，從而學(xué)習(xí)到更具判別性的特征。因此，在煙火檢測(cè)任務(wù)中，有效建模并利用煙火目標(biāo)的全局上下文信息，可學(xué)習(xí)到與類煙火目標(biāo)相區(qū)分的視覺(jué)特征，從而提高檢測(cè)性能。

針對(duì)以上問(wèn)題以及實(shí)際應(yīng)用場(chǎng)景對(duì)實(shí)時(shí)性的要求，本文算法選擇以輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOX［19］為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出了一種能高效建模圖像上下文信息的EGC-Net（Efficient Global Context Network）網(wǎng)絡(luò)，并將EGC-Net 嵌入到Y(jié)OLOX 的主干特征提取網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)之間形成EGC-YOLOX 網(wǎng)絡(luò)，實(shí)現(xiàn)了高精度且實(shí)時(shí)的煙火目標(biāo)檢測(cè)。

2 YOLOX 算法簡(jiǎn)介

YOLOX 是基于回歸的單階段目標(biāo)檢測(cè)算法，在YOLO 系列其他算法上所做的改進(jìn)使其在保持高精度的同時(shí)也可滿足在嵌入式設(shè)備上流暢運(yùn)行，深受工業(yè)界認(rèn)可。YOLOX 使用CSPDarknet 作為主干特征提取網(wǎng)絡(luò)，CSPDarknet 是由跨階段局部網(wǎng)絡(luò)（CSPNet）［20］與Darknet網(wǎng)絡(luò)共同構(gòu)造而成的，通過(guò)使用DenseNet［21］和CSP 結(jié)構(gòu)增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，減少了網(wǎng)絡(luò)模型的參數(shù)量，同時(shí)也保證了準(zhǔn)確性。YOLOX的主干特征提取網(wǎng)絡(luò)使用了SiLU［22］激活函數(shù)，具有無(wú)上界有下界、平滑、非單調(diào)特性，在深層模型上的效果優(yōu)于ReLU［23］函數(shù)。為了提升網(wǎng)絡(luò)的感受野，主干特征提取網(wǎng)絡(luò)使用SPP（Spatial Pyramid Pooling）結(jié)構(gòu)［24］。

不同于YOLO 系列其他算法，YOLOX 采用了無(wú)錨框（Anchor-free）檢測(cè)策略，極大降低了算法復(fù)雜程度，提高了檢測(cè)速度，對(duì)不同數(shù)據(jù)集、不同大小的目標(biāo)都有很好的魯棒性。在正負(fù)樣本平衡策略上，YOLOX 使用了SimOTA 算法來(lái)為不同大小的目標(biāo)動(dòng)態(tài)匹配正樣本，相比于OTA［25］算法在不損失精度的前提下速度更快，同時(shí)避免了設(shè)置大量額外超參數(shù)。

對(duì)于煙火檢測(cè)任務(wù)，為了較好地平衡檢測(cè)的精度和速度，本文選用了YOLOX 作為基礎(chǔ)網(wǎng)絡(luò)。然而，實(shí)驗(yàn)研究發(fā)現(xiàn)，直接使用YOLOX 而不進(jìn)行改進(jìn)時(shí)，存在煙火目標(biāo)漏檢和誤檢問(wèn)題。如圖1所示，YOLOX 未能檢測(cè)到圖1（a）中存在的火焰目標(biāo)，錯(cuò)誤地將圖1（b）中的電燈、圖1（c）中的夕陽(yáng)、圖1（d）中的水霧等具有強(qiáng)干擾性的類火或類煙目標(biāo)檢測(cè)為煙火目標(biāo)。究其原因，這主要是由YOLOX 網(wǎng)絡(luò)的本質(zhì)屬性所決定的，卷積操作擅長(zhǎng)分析圖像的空間局部信息，卷積核感受野大小與卷積核尺寸有關(guān)，一般輕量級(jí)網(wǎng)絡(luò)都選擇使用較小的卷積核參與運(yùn)算以減少計(jì)算量，故卷積神經(jīng)網(wǎng)絡(luò)易于提取圖像的局部特征，不易提取圖像的全局特征。而實(shí)際上在煙火檢測(cè)任務(wù)中，在圖像中煙火目標(biāo)較小或出現(xiàn)類煙火目標(biāo)時(shí)，其周圍的背景信息可以提供非常有用的全局上下文信息，作為網(wǎng)絡(luò)判斷目標(biāo)類別和定位的重要輔助信息。

圖1 YOLOX 煙火檢測(cè)算法出現(xiàn)的漏檢和誤檢結(jié)果。（a）漏檢結(jié)果；（b）、（c）、（d）誤檢結(jié)果。Fig.1 Missing and false detection results using YOLOXbased smoke and fire detection algorithm.（a）Missing detection result；（b），（c），（d）False detection results.

針對(duì)煙火檢測(cè)任務(wù)中檢測(cè)精度不夠及受類煙火目標(biāo)干擾的問(wèn)題，本文嘗試在YOLOX 網(wǎng)絡(luò)中加入提取圖像全局上下文信息的網(wǎng)絡(luò)進(jìn)行改進(jìn)，以期通過(guò)有效利用煙火目標(biāo)的背景信息來(lái)提升檢測(cè)性能。

3 本文算法

3.1 高效全局上下文網(wǎng)絡(luò)（EGC-Net）

圖像全局上下文網(wǎng)絡(luò)的作用是建模目標(biāo)和背景信息的遠(yuǎn)程依賴，加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程對(duì)視覺(jué)場(chǎng)景的全局理解。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層主要作用于圖像局部區(qū)域，遠(yuǎn)程依賴只能通過(guò)堆疊多個(gè)卷積層來(lái)建模，計(jì)算量大且難以優(yōu)化。為解決此問(wèn)題，NLNet［15］使用自注意力機(jī)制來(lái)建模遠(yuǎn)程依賴。為充分利用圖像中火焰和煙霧目標(biāo)周圍的背景信息，建模煙火目標(biāo)與背景信息的遠(yuǎn)程依賴關(guān)系，本文基于NLNet 構(gòu)造了一種新的高效全局上下文網(wǎng)絡(luò)（EGC-Net）。

NLNet 的核心思想是：某一位置的響應(yīng)是輸入特征圖中所有位置特征的加權(quán)和，通過(guò)計(jì)算這一響應(yīng)來(lái)獲得全局上下文信息。NLNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2（a）所示，圖中X、Z分別是輸入和輸出特征圖，其關(guān)系如式（1）和（2）所示：

其中，i是當(dāng)前被計(jì)算的響應(yīng)位置索引，j是所有位置的索引，Np是所有位置數(shù)量。f(xi，xj)用來(lái)計(jì)算兩個(gè)位置的相關(guān)性，方法之一是采用公式（2）的形式，且θ（xi）=Wθxi。?（xj）=W?xj，Softmax操作用于歸一化。Wg xj計(jì)算輸入特征在位置j時(shí)的表示，可通過(guò)1×1 的卷積來(lái)實(shí)現(xiàn)。因此，對(duì)于每一個(gè)位置，NLNet 均通過(guò)計(jì)算該位置與所有位置之間的關(guān)系來(lái)建立局部特征和全局特征的關(guān)系，從而獲取全局上下文信息，其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，且參數(shù)量和計(jì)算量都比較大。

Cao等人［16］通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，NLNet試圖計(jì)算每一個(gè)特定位置的全局上下文信息，但結(jié)果顯示圖像不同位置的注意力圖幾乎相同，這說(shuō)明圖像的全局上下文信息是不受位置依賴的。此外，NLNet算法本身的空間壓縮會(huì)導(dǎo)致通道注意力的丟失。鑒于此，本文對(duì)NLNet進(jìn)行改進(jìn)，依據(jù)ECA-Net［26］中不降維的局部跨信道交互策略，提出了結(jié)構(gòu)簡(jiǎn)單、參數(shù)量和計(jì)算量都很小的高效全局上下文網(wǎng)絡(luò)EGCNet，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2（b）所示。

EGC-Net 網(wǎng)絡(luò)結(jié)構(gòu)如式（3）所示：

EGC-Net 整體結(jié)構(gòu)包含3 個(gè)階段，即上下文建模（Context）、特征轉(zhuǎn)換（Transform）和特征融合（Fusion）。上下文建模階段計(jì)算全局上下文信息，此處Wk為二維1×1 卷積核。既然全局上下文信息與位置無(wú)關(guān)，故無(wú)需再針對(duì)每一個(gè)位置單獨(dú)計(jì)算，這就是公式（1）和公式（3）的主要區(qū)別。在上下文建模階段只需計(jì)算特征圖中一處位置的全局上下文信息，并對(duì)接下來(lái)輸入的所有位置都共享這一信息。Norm 是歸一化操作（Nor‐malization）。在特征轉(zhuǎn)換階段進(jìn)行非線性轉(zhuǎn)換，其本質(zhì)為通道注意力機(jī)制，用于篩選有用特征圖信息，此處Wq為一維卷積，卷積核大小k可根據(jù)通道數(shù)C自適應(yīng)調(diào)整，使得維數(shù)較高的通道可進(jìn)行遠(yuǎn)程交互而維數(shù)較低的通道可進(jìn)行短程交互。由于通道數(shù)通常情況下都為2 的指數(shù)，故可定義為：

故可得：

其中，參數(shù)設(shè)定為γ=2，b=1，odd 表示選擇距離結(jié)果最近的奇數(shù)。最后，特征融合階段將原來(lái)的輸入與特征轉(zhuǎn)換階段的輸出進(jìn)行融合得到最終的輸出。

3.2 EGC-YOLOX 煙火檢測(cè)算法

為改善YOLOX 網(wǎng)絡(luò)檢測(cè)煙火目標(biāo)的效果，本文算法將EGC-Net網(wǎng)絡(luò)插入到Y(jié)OLOX 的主干特征提取網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)之間，從而構(gòu)成EGC-YOLOX 網(wǎng)絡(luò)，目的是從主干特征提取網(wǎng)絡(luò)輸出的特征圖中建立煙火目標(biāo)與背景信息的遠(yuǎn)程依賴關(guān)系，即全局上下文信息，并進(jìn)行特征融合，從而學(xué)習(xí)到更具判別性的特征，使網(wǎng)絡(luò)預(yù)測(cè)結(jié)果更為精準(zhǔn)。

EGC-YOLOX 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，主要包含3個(gè)部分：主干網(wǎng)絡(luò)部分（Backbone）、特征增強(qiáng)部分（EGC-Net+FPN+PAN）和預(yù)測(cè)部分（Predict）。輸入待檢測(cè)圖像，通過(guò)主干網(wǎng)絡(luò)部分的Focus 操作得到多組特征圖，之后將其拼接并通過(guò)卷積運(yùn)算得到無(wú)信息丟失的雙下采樣特征圖，接著使用CSP結(jié)構(gòu)進(jìn)行特征提取，最后SPP 結(jié)構(gòu)采用1×1、5×5、9×9、13×13 最大池化進(jìn)行多尺度特征融合。在特征增強(qiáng)部分，通過(guò)插入具有全局上下文信息和通道信息的EGC-Net 網(wǎng)絡(luò)進(jìn)行多級(jí)特征提取和強(qiáng)化，并使用FPN 和PAN 特征金字塔結(jié)構(gòu)進(jìn)行特征融合。FPN 將圖像的語(yǔ)義特征從高層特征圖傳遞到低層特征圖，同時(shí)PAN 將圖像的定位特征從低層特征圖傳遞到高層特征圖，這兩種結(jié)構(gòu)共同加強(qiáng)了頸部網(wǎng)絡(luò)的特征融合能力，充分融合了EGC-Net中關(guān)于煙火目標(biāo)的全局上下文信息和通道信息。最終，在預(yù)測(cè)階段接收PAN輸出的3 個(gè)尺度的特征圖，并通過(guò)進(jìn)一步信息融合輸出預(yù)測(cè)結(jié)果，即圖像中煙火目標(biāo)的類別及位置信息。

圖3 EGC-YOLOX 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 EGC-YOLOX network structure

3.3 EGC-Net 對(duì)煙火目標(biāo)的特征學(xué)習(xí)能力

為了說(shuō)明EGC-Net 對(duì)煙火目標(biāo)特征學(xué)習(xí)的有效性，采用梯度加權(quán)類激活熱力圖［27］（Gradientweighted Class Activation Map，Grad-CAM）算法可視化EGC-Net 學(xué)習(xí)到的特征。

由于圖像分類任務(wù)中要提取的是圖像的全局特征，本文以圖像分類任務(wù)為例可視化EGCNet 提取圖像特征時(shí)關(guān)注的空間位置，對(duì)比了ResNet18［28］網(wǎng)絡(luò)和插入了EGC-Net 的EGCResNet18 網(wǎng)絡(luò)。以本文所使用的煙火圖像數(shù)據(jù)集的子集開(kāi)展實(shí)驗(yàn)，分3 類即火焰類（7 831 張）、煙霧類（14 394 張）、非煙火類（2 846 張）進(jìn)行實(shí)驗(yàn)。結(jié)果表明，EGC-ResNet18 網(wǎng)絡(luò)相比于原始ResNet18 網(wǎng)絡(luò)在模型大小基本不變的情況下，Top-1 分類準(zhǔn)確率從94.72%提升到97.82%，提升了3.1%。在測(cè)試集中挑選3 幅圖像使用Grad-CAM 進(jìn)行類激活熱力圖可視化，結(jié)果如圖4 所示，熱力圖局部越紅表示特征激活程度越強(qiáng)?？梢?jiàn)，基礎(chǔ)網(wǎng)絡(luò)加入EGC-Net 結(jié)構(gòu)后，在煙霧和火焰圖像中所關(guān)注的空間位置比原來(lái)更為精準(zhǔn)。

圖4 圖像分類Grad-CAM 結(jié)果。（a）原圖像；（b）ResNet18結(jié)果；（c）EGC-ResNet18 結(jié)果。Fig.4 Grad-CAM results for image classification.（a）Origi‐nal image；（b）Result of ResNet18；（c）Result of EGC-ResNet18.

目標(biāo)檢測(cè)任務(wù)會(huì)更多關(guān)注圖像的局部特征，進(jìn)一步地，對(duì)比了在煙火檢測(cè)任務(wù)中原始YOLOX網(wǎng)絡(luò)和本文提出的EGC-YOLOX 網(wǎng)絡(luò)的Grad-CAM 結(jié)果，如圖5 所示?？梢?jiàn)，EGC-YOLOX 比YOLOX 對(duì)于局部煙火目標(biāo)的特征關(guān)注得更為精準(zhǔn)，且更易于排除干擾，在同為真實(shí)煙火的位置特征激活程度也更強(qiáng)。由于EGC-Net既包含了全局上下文信息，同時(shí)也融合了通道注意力信息，能在關(guān)注目標(biāo)周圍背景信息的同時(shí)也關(guān)注目標(biāo)本身的特征，故使用了EGC-Net 的網(wǎng)絡(luò)。相比于原網(wǎng)絡(luò)，EGC-Net 對(duì)于圖像上的煙火目標(biāo)有著更好的特征學(xué)習(xí)能力。

圖5 目標(biāo)檢測(cè)Grad-CAM 結(jié)果。（a）輸入圖像；（b）YOLOX結(jié)果；（c）EGC-YOLOX結(jié)果。Fig.5 Grad-CAM results for object detection.（a）Input image；（b）Result of YOLOX；（c）Result of EGCYOLOX.

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺(tái)使用的框架為Pytorch 1.8.1，Python版本為3.7.9，模型訓(xùn)練平臺(tái)處理器為Intel（R）Xeon（R）CPU E5-2620 v4@ 2.10 GHz，RAM 為64G，GPU 為NVIDIA Quadro GP100，顯存為16G，軟件環(huán)境為Windows 操作系統(tǒng)。

由于目前公開(kāi)的煙火圖像數(shù)據(jù)集尤其是同時(shí)標(biāo)注了火焰和煙霧目標(biāo)的圖像數(shù)據(jù)集較少，本文自制了一個(gè)煙火圖像數(shù)據(jù)集，圖像總數(shù)為12 999幅，其中包括3 740 幅類火圖像和類煙圖像。實(shí)驗(yàn)中訓(xùn)練集、驗(yàn)證集以及測(cè)試集的劃分比例為8∶1∶1。

模型訓(xùn)練階段使用Adam 作為優(yōu)化器，整個(gè)過(guò)程分為兩個(gè)階段：第一階段采用遷移學(xué)習(xí)方式凍結(jié)部分層進(jìn)行訓(xùn)練，學(xué)習(xí)率為0.001，迭代50 次，并設(shè)定學(xué)習(xí)率每次迭代之后進(jìn)行衰減，衰減系數(shù)為0.005；第二階段解凍網(wǎng)絡(luò)所有層進(jìn)行訓(xùn)練，學(xué)習(xí)率為0.000 1，迭代100 次，同樣設(shè)定學(xué)習(xí)率每次迭代之后進(jìn)行衰減，衰減系數(shù)為0.000 5。

4.2 評(píng)價(jià)指標(biāo)

由于圖像或視頻中煙火目標(biāo)的形狀并不固定，通用的基于檢測(cè)框的目標(biāo)檢測(cè)算法評(píng)價(jià)指標(biāo)已不適用。從實(shí)用性的角度出發(fā)，由于煙火檢測(cè)的目的是發(fā)現(xiàn)圖像中的火焰或煙霧目標(biāo)并進(jìn)行及時(shí)報(bào)警處理，故對(duì)于一幅圖像而言，只要從中檢測(cè)到一處火焰或煙霧目標(biāo)即可，而如果該圖像中沒(méi)有煙火目標(biāo)，則不希望出現(xiàn)誤報(bào)。因此，本文引入了兩個(gè)煙火檢測(cè)任務(wù)的評(píng)價(jià)指標(biāo)：

（1）圖像級(jí)召回率（Image-level Recall，ILR），即所有存在煙火目標(biāo)的圖像中被至少檢測(cè)出一處火焰或煙霧目標(biāo)的圖像所占的比例。

（2）圖像級(jí)誤報(bào)率（Image-level False Alarm Rate，ILFAR），即所有不存在煙火目標(biāo)的圖像中被至少檢測(cè)出一處火焰或煙霧目標(biāo)的圖像所占的比例。

設(shè)測(cè)試集中存在煙火目標(biāo)的圖像總數(shù)為M，其中被算法檢測(cè)出存在火焰或煙火目標(biāo)的圖像數(shù)為m。測(cè)試集中不存在煙火目標(biāo)的圖像總數(shù)為N，其中被算法檢測(cè)出存在火焰或煙火目標(biāo)的圖像數(shù)為n。則圖像級(jí)召回率與誤報(bào)率可按式（6）、（7）計(jì)算：

4.3 實(shí)驗(yàn)結(jié)果

本文算法（EGC-YOLOX）和其他輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)結(jié)果如表1 所示。

表1 輕量級(jí)目標(biāo)檢測(cè)算法性能對(duì)比Tab.1 Performance comparison for lightweight algorithms of object detection

所對(duì)比算法包括YOLOv3-Tiny、YOLOv4-Tiny、YOLOv5s、原始YOLOX、插入了NLNet 結(jié)構(gòu)的NL-YOLOX 以及插入了GC-Net 結(jié)構(gòu)的GCYOLOX。除了圖像級(jí)召回率（ILR）、圖像級(jí)誤報(bào)率（ILFAR），表中還列出了網(wǎng)絡(luò)模型大?。⊿ize）和推理時(shí)間（Inference Time）。

由表1 可見(jiàn)，本文所提出的EGC-YOLOX 算法在圖像級(jí)召回率和誤報(bào)率指標(biāo)上均達(dá)到了最優(yōu)。其檢測(cè)速度相比于YOLOv3-Tiny、YOLOv4-Tiny、YOLOv5s 這3 種算法有所下降，其原因在于YOLOX 算法的參數(shù)量更多，有效保障了算法的檢測(cè)精度，雖然速度有所下降，但仍然滿足實(shí)時(shí)檢測(cè)的需求。EGC-YOLOX 算法相比改進(jìn)前的原YOLOX 算法在保持同樣速度的同時(shí)，圖像級(jí)召回率提升了4.8%，誤報(bào)率下降了4.39%，表明利用全局上下文信息可使網(wǎng)絡(luò)有更好的局部和全局特征學(xué)習(xí)能力，從而有效降低煙火檢測(cè)的漏檢率和誤檢率。此外，本文算法（EGC-YOLOX）相比于NL-YOLOX 和GC-YOLOX，不僅模型更加精簡(jiǎn)，速度更快，而且圖像級(jí)召回率分別提升了1.37%和1.47%，圖像級(jí)誤報(bào)率分別下降了3.23%和0.49%，說(shuō)明本文提出的EGC-Net 比改進(jìn)前的NLNet 和GC-Net 具有更好的全局上下文或遠(yuǎn)程依賴建模能力，從而有助于加強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中對(duì)視覺(jué)場(chǎng)景的全局理解。

4.4 煙火檢測(cè)實(shí)例展示

分別使用原YOLOX 和改進(jìn)后的EGCYOLOX 算法在測(cè)試集上檢測(cè)煙火目標(biāo)，并從結(jié)果中挑選了幾組典型圖像進(jìn)行可視化展示。結(jié)果如圖6 所示，圖6（a）、（b）兩列對(duì)比了含有煙火目標(biāo)的圖像。原YOLOX 算法出現(xiàn)了誤檢或漏檢的情況，且對(duì)于檢測(cè)到的真實(shí)存在的煙火目標(biāo)其置信度也低于EGC-YOLOX。圖6（c）、（d）兩列對(duì)比了含有類煙或類火等強(qiáng)干擾目標(biāo)的圖像，原YOLOX 算法把燈光、夕陽(yáng)晚霞誤檢為火焰目標(biāo)，把灰塵、水霧誤檢為煙霧目標(biāo)，若將其用于消防安全監(jiān)控，這種誤檢情況會(huì)極大消耗人力物力；而改進(jìn)后的EGC-YOLOX 算法在這些圖像中均表現(xiàn)出了更好的性能，具有更強(qiáng)的魯棒性，因而更具實(shí)用價(jià)值。

圖6 煙火檢測(cè)效果對(duì)比。（a）、（c）YOLOX 檢測(cè)結(jié)果；（b）、（d）對(duì)應(yīng)的EGC-YOLOX 檢測(cè)結(jié)果。Fig.6 Effect comparison for smoke and fire detection.（a），（c）Results of YOLOX；（b），（d）Corresponding results of EGC-YOLOX.

另外，如圖7 所示，本文還選取了實(shí)際生活中的多個(gè)火災(zāi)場(chǎng)景，包括汽車、火車、輪船、飛機(jī)、加油站、礦場(chǎng)、森林、高樓等，使用本文所提出的EGC-YOLOX 算法均能準(zhǔn)確地檢測(cè)到各實(shí)際場(chǎng)景下的煙火目標(biāo)。

圖7 本文算法在實(shí)際場(chǎng)景圖像中的煙火檢測(cè)結(jié)果Fig.7 Results of the proposed algorithm to detect smoke and fire in real-world images

5 結(jié)論

針對(duì)現(xiàn)有輕量級(jí)目標(biāo)檢測(cè)算法在煙火檢測(cè)任務(wù)中出現(xiàn)的漏檢和誤檢問(wèn)題，本文提出了一種基于高效全局上下文網(wǎng)絡(luò)的輕量級(jí)煙火檢測(cè)算法。該算法在輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOX 中插入了在NLNet 基礎(chǔ)上改進(jìn)的EGC-Net 網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了建模圖像全局上下文信息并減少計(jì)算量的目的。對(duì)EGC-Net 的梯度加權(quán)類激活熱力圖（Grad-CAM）進(jìn)行分析，結(jié)果表明EGC-Net 能增強(qiáng)網(wǎng)絡(luò)的局部和全局特征學(xué)習(xí)能力，將EGC-Net 與目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOX 相結(jié)合構(gòu)成EGC-YOLOX 網(wǎng)絡(luò)用于煙火檢測(cè)，通過(guò)有效建模煙火目標(biāo)和背景的全局上下文信息提升了煙火檢測(cè)的精度和魯棒性。實(shí)驗(yàn)結(jié)果表明，本文提出的EGC-YOLOX 煙火檢測(cè)算法的圖像級(jí)召回率為95.56%，圖像級(jí)誤報(bào)率為4.75%，均優(yōu)于對(duì)比的其他典型輕量級(jí)目標(biāo)檢測(cè)算法，且在速度上達(dá)到了實(shí)時(shí)要求。本文所提算法在安防和消防領(lǐng)域具有較好的實(shí)用價(jià)值和應(yīng)用推廣價(jià)值，可用于實(shí)際場(chǎng)景下的火災(zāi)監(jiān)控和預(yù)警管理。