基于深度學習的電廠消防器材移動檢測研究?

田維青，唐云鵬，周 超，王鑫靚，景文林，張 萌

(1.貴州黔源電力股份有限公司，貴州 貴陽 550002；2.南京南自信息技術(shù)有限公司，江蘇 南京 210003；3.東南大學電子科學與工程學院，江蘇 南京 210096)

隨著我國經(jīng)濟社會的高速發(fā)展與各項基礎(chǔ)建設(shè)的不斷推進，各種大小場景、事務(wù)中的安全隱患日益增多，安全問題越來越得到社會的廣泛關(guān)注，其中消防安全是安全問題中的重要一環(huán)，許多場景都格外重視消防安全，電廠也不例外。電廠是電力系統(tǒng)的核心，電廠的消防安全關(guān)系到電廠員工的生活安全與生產(chǎn)安全，關(guān)系到國家能源安全與電力系統(tǒng)的安全穩(wěn)定以及廣大公民的民生福祉[1]。因此對于電廠而言，為了避免經(jīng)濟損失、避免給現(xiàn)場員工帶來安全威脅，消防安全至關(guān)重要，防患于未然的同時，時刻監(jiān)控消防器材的狀態(tài)是對消防安全的又一有利保障。

隨著計算機技術(shù)與人工智能的飛速發(fā)展，越來越多需要大量人力的工作開始交付由計算機或者機器人來完成。智能是知識與智力的總和，人能夠獲取知識并利用知識解決問題，比如圖像識別等。人工智能是通過計算機編程，讓計算機擬合人類學習知識與解決問題的能力[2]。通過監(jiān)控攝像頭實時拍攝消防器材狀態(tài)并通過人力進行觀察，這種傳統(tǒng)方法智能化程度低，人力與時間消費大，如果監(jiān)控人員疏忽懈怠，無法及時發(fā)現(xiàn)消防事故地點附近的消防器材移動，會對電廠與電廠人員安全造成無法估計的嚴重后果[3]，這種方法無法真正實現(xiàn)對器材全天候無死角的監(jiān)控。而利用人工智能領(lǐng)域的深度學習目標檢測技術(shù)[4]，可以隨時將監(jiān)控攝像頭拍攝的實時圖片傳送到服務(wù)器，利用算法進行檢測識別，真正實現(xiàn)對消防器材全天候的監(jiān)控，讓電廠具備更先進的監(jiān)控技術(shù)，減少人工成本的使用，使電廠更加數(shù)字化、智能化，推動電廠朝更先進的方向快速發(fā)展。

因此，利用器材移動檢測技術(shù)對消防器材進行智能檢測，及時發(fā)現(xiàn)器材的實時狀態(tài)，發(fā)現(xiàn)問題后進行預警，是電廠消防安全體系的重要組成部分[5]。器材移動檢測技術(shù)分為兩個部分:首先是利用目標檢測算法對攝像頭獲取的視頻中的每一幀進行檢測識別，找出每一個消防器材所在的位置以及分類；其次就是通過對比預置幀與當前幀，判別消防器材是否移動。

傳統(tǒng)的計算機視覺圖像處理算法有基于顏色、紋理、梯度等類型，這些方法存在細節(jié)處理弱、泛化性不強的缺點，而深度學習神經(jīng)網(wǎng)絡(luò)可以有效解決傳統(tǒng)算法的這些問題[6]。目前國內(nèi)對消防方面的深度學習應(yīng)用較為薄弱，主要是應(yīng)用基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧識別算法來進行森林火災的檢測，而對消防器材的檢測識別較少。深度學習目標檢測的任務(wù)是找出圖像中所有感興趣的目標并確定他們的位置，是人工智能計算機視覺領(lǐng)域的核心問題之一[7]?，F(xiàn)有的目標檢測網(wǎng)絡(luò)包括兩階段檢測器如Fast-RCNN、Faster-RCNN 等，一階段檢測器如SSD、YOLO、EfficientDet、CenterNet 等。兩階段檢測器精度較高，先提取候選框并調(diào)整成固定大小，再輸入深度神經(jīng)網(wǎng)絡(luò)進行分類以及邊界框的回歸矯正[8]，但由于選擇搜索等模板匹配的過程以及輸入深度神經(jīng)網(wǎng)絡(luò)后計算大量重復而沒有共享計算，導致運算過慢，檢測速度不能滿足實時性，兩階段目標檢測算法適合在對準確性需求超過實時性的領(lǐng)域應(yīng)用，比如醫(yī)療等；而一階段檢測器將目標檢測轉(zhuǎn)換成一個回歸問題，利用圖片作為網(wǎng)絡(luò)輸入，經(jīng)過一個深度神經(jīng)網(wǎng)絡(luò)，將回歸信息與類別信息一起輸出[9]，使用邏輯回歸預測邊界框的置信度評分[10]，極大提升了目標檢測速度。

小目標檢測是目標檢測技術(shù)中的重難點，使用電廠工業(yè)電視攝像頭采集現(xiàn)場圖片對工業(yè)現(xiàn)場消防器材進行檢測，器材目標不僅分辨率低，且易出現(xiàn)阻擋密集的情況。小目標具有分辨率低、特征表達不充分，檢測難度高[11]等問題。針對小目標檢測，可以使用多尺度學習、數(shù)據(jù)增強擴充數(shù)據(jù)集等方式來提高對小目標的檢測性能。

當前目標檢測算法都是基于anchor 的，網(wǎng)絡(luò)輸出在基礎(chǔ)anchor 上的長寬以及中心點的偏移量來完成對目標的回歸。anchor-based 的目標檢測網(wǎng)絡(luò)是非常有效的，但是依然存在一些問題:為了確保與GT(Ground Truth)框，也就是真實框，充分重疊，需要大量anchor boxes，在正負樣本之間會造成巨大的不平衡，負樣本數(shù)量遠遠超于正樣本，減緩訓練速度；anchor 的使用引入了許多超參數(shù)和設(shè)計選擇，很大程度上是通過自組織啟發(fā)法做出的，當與多尺度體系結(jié)構(gòu)相結(jié)合時，情況會變得更加復雜；anchor 難以平衡小目標召回率與計算成本之間的矛盾，導致了小目標的正樣本與大目標的正樣本極度不均衡，使得模型更加關(guān)注于大目標的檢測性能，從而忽視了小目標的檢測。針對這些問題，可以采用anchorfree 方法，例如CornerNet、FCOS 等。

對于需要大數(shù)據(jù)訓練的深度學習目標檢測算法來說，擁有一個樣本數(shù)量多、種類場景多樣化的數(shù)據(jù)集，將模型輸出結(jié)果與真實結(jié)果對比計算損失函數(shù)，計算梯度，利用反向傳播算法對模型進行迭代優(yōu)化，是至關(guān)重要的。公開數(shù)據(jù)集中關(guān)于消防安全的比較少，然而對比于跑冒滴漏這種不常見的現(xiàn)象，消防器材是隨處可見的，圖片獲取途徑較多，比如網(wǎng)絡(luò)搜索或者實地拍攝。同時，消防器材的多樣性、分辨率大小以及遮擋密集等，在手工制作數(shù)據(jù)集時也易于實現(xiàn)。

本文以YOLOv5 為基礎(chǔ)，收集消防器材圖片并標定數(shù)據(jù)集，針對消防器材的特點改進YOLOv5 算法，用廠站現(xiàn)有工業(yè)電視攝像頭獲取現(xiàn)場實時圖像數(shù)據(jù)，對區(qū)域內(nèi)指定消防器材位置是否移動進行檢測，若區(qū)域內(nèi)指定消防器材位置移動超過一定時間，向平臺發(fā)出警告，提取關(guān)鍵幀保存，從而杜絕電廠安全隱患。本文的貢獻有以下幾點:①收集消防器材圖片構(gòu)建消防器材數(shù)據(jù)集；②給YOLOv5 算法增加一個尺度為4 倍的下采樣輸出，專注于改善小尺度器材的檢測；針對器材減小最大池化層池化核尺寸；添加Transformer Encoder；替換FCOS 檢測頭。

1 YOLOv5 原理

YOLOv5 算法的基本原理是先對圖像特征提取，將提取到的特征輸入特征金字塔網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)進行多尺度融合，最后經(jīng)由檢測頭輸出三種不同尺度的特征圖，分別適合檢測大、中、小三種尺寸的目標，在訓練階段區(qū)分正負樣本計算損失函數(shù)后反向傳播，在檢測階段進行非極大值抑制得到最終結(jié)果。

1.1 輸入端

YOLOv5 算法需要對圖像進行預處理，使圖像尺寸適應(yīng)網(wǎng)絡(luò)輸入，訓練時采用數(shù)據(jù)增強以提高模型性能。

YOLOv5 算法使用自適應(yīng)圖片縮放的圖像預處理方法。常用的圖像縮放方法是將原始圖片統(tǒng)一縮放到一個標準尺寸，再送入檢測網(wǎng)絡(luò)?？s放填充后不同尺寸圖片填充的黑邊大小都不同，而如果填充的比較多，就會出現(xiàn)信息冗余、影響推理速度的問題。YOLOv5 算法對原始圖像自適應(yīng)地添加最少的黑邊，將長邊縮放為需要的尺寸，短邊等比例縮放，將縮放后的短邊填充為最小的32 的倍數(shù)。訓練時不采用自適應(yīng)圖片縮放而是采用傳統(tǒng)填充的方式，而在測試、使用模型推理時，采用自適應(yīng)圖片縮放的方式，可提高檢測、推理的速度。

YOLOv5 算法與YOLOv4 算法一樣，訓練時在輸入端使用Mosaic 數(shù)據(jù)增強。Mosaic 數(shù)據(jù)增強參考CutMix 數(shù)據(jù)增強(用兩張圖片進行拼接)，采用4 張圖片進行隨機縮放裁剪排布的方式進行拼接[12]，如圖1 所示，大大豐富了數(shù)據(jù)集，隨機縮放豐富了許多小目標，增強檢測網(wǎng)絡(luò)的魯棒性，同時可以減少訓練占用GPU 顯存。在使用網(wǎng)絡(luò)進行推理時不使用Mosaic 數(shù)據(jù)增強。

圖1 Mosaic 數(shù)據(jù)增強示例圖

1.2 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)由三部分組成:Backbone、Neck、Head，如圖2 所示。

圖2 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)圖

Backbone 部分由YOLOv4 的CSPDarkNet 改進而來，首先是Focus 層，將特征圖切片后拼接再經(jīng)過一個卷積層，進行一次下采樣；隨后是四個卷積層與BottleneckCSP 層的組合，每一個組合都進行一次下采樣。BottleneckCSP 是一種殘差模塊，可以更有效地提取特征，將基礎(chǔ)層的特征映射劃分為兩部分，通過跨階段層次結(jié)構(gòu)將它們合并，在減少計算量的同時可以保證準確率。最后一個組合卷積層與BottleneckCSP 層中間有一個SPP 層，使用不同尺寸的池化核實現(xiàn)不同尺度的融合，比單純使用k×k最大池化，更有效地增加主干特征的接受范圍，顯著分離最重要的上下文特征。主干網(wǎng)絡(luò)Backbone 一共經(jīng)過5次下采樣，每次下采樣特征圖尺寸變?yōu)樵瓉淼?/2，第五次下采樣輸出的C5 特征圖尺寸是初始的1/32，也就是32 倍下采樣。將C3 特征圖(8 倍下采樣)、C4 特征圖(16 倍下采樣)、C5 特征圖輸出到下一部分Neck。YOLOv4 的CSPDarkNet 結(jié)構(gòu)如圖3所示，可以看出YOLOv5 的Backbone 主要改進了殘差模塊，并且使用了Focus 替換第一個下采樣模塊以及在殘差模塊之間穿插卷積層。

圖3 YOLOv4 CSPDarkNet 結(jié)構(gòu)圖

Neck 由特征金字塔網(wǎng)絡(luò)FPN(Feature Pyramid Network)和路徑聚合網(wǎng)絡(luò)PAN(Path Aggregation Network)組成，深層特征語義信息強，定位信息弱，淺層特征語義信息弱，定位信息強。FPN 自頂向下傳達強語義特征，將深層特征上采樣后與淺層特征融合，增強語義表達，PAN 自底向上傳達強定位特征，將FPN 融合后的結(jié)果用卷積層再次下采樣后與FPN 深層特征再次融合，增強定位能力。對比YOLOv4 的Neck 結(jié)構(gòu)采用普通的卷積操作，YOLOv5 采用Backbone 中使用的BottleneckCSP 結(jié)構(gòu)，加強特征融合能力。

Head 有三個分支，分別對應(yīng)尺寸為32 倍、16倍、8 倍下采樣的特征圖，經(jīng)過卷積層預測結(jié)果。在YOLOv1 中，直接對box 的位置進行預測，由于沒有類似RCNN 系列的候選框生成，網(wǎng)絡(luò)在前期訓練時非常困難，難以收斂。自YOLOv2 開始，引入了anchor box 機制，通過提前篩選(K-means 聚類)得到的具有代表性先驗框anchor，網(wǎng)絡(luò)回歸位置信息時預測box 中心相對于網(wǎng)格坐標的偏移量與box 寬高相對于anchor 寬高的偏移量，如圖4 所示，使得網(wǎng)絡(luò)在訓練時更容易收斂。

圖4 anchor 示意圖

YOLOv5 輸出三種尺度的特征圖，每一種尺度的特征圖都各自對應(yīng)三個anchor。假如輸入尺寸為640×640，32 倍下采樣特征圖輸出尺寸為20×20，將圖片分成20×20 個較大的網(wǎng)格，對應(yīng)尺寸較大的三個anchor，感受野最大，適合檢測大目標；16 倍下采樣特征圖輸出尺寸為40×40，將圖片分成40×40 個中等的網(wǎng)格，對應(yīng)尺寸中等的三個anchor，適合檢測一般大小的目標；8 倍下采樣特征圖輸出尺寸為80×80，將圖片分成80×80 個較小的網(wǎng)格，對應(yīng)尺寸較小的三個anchor，感受野最小，適合檢測小目標。每一個網(wǎng)格預測三個box 的anchor 偏移量、confidence以及分類概率。

1.3 損失函數(shù)

損失函數(shù)是YOLO 目標檢測算法的重要部分。第一代的YOLO 檢測器中，主要使用總方誤差來優(yōu)化，在YOLO 算法的發(fā)展中對置信度與分類概率改進使用交叉熵損失，以及對定位回歸使用IoU-Loss。對計算真實框GT(Ground Truth)落在哪個網(wǎng)格內(nèi)，利用四舍五入規(guī)則，找出最近的兩個網(wǎng)格，將這三個網(wǎng)格都認為是負責預測該GT。GT 與anchor 計算寬高比，如果寬高比例大于設(shè)定閾值，GT 與anchor 匹配度不夠，將該anchor 過濾暫時丟掉。正樣本參與回歸定位、置信度confidence 以及分類概率的loss計算，負樣本只參與置信度的loss 計算。

2 改進的YOLOv5 算法

本文在原有YOLOv5 算法的基礎(chǔ)上改進，增加一個尺度為4 倍的下采樣輸出，專注于改善小尺度器材的檢測；針對器材減小最大池化層池化核尺寸；添加Transformer Encoder；替換FCOS 檢測頭。改進的YOLOv5 算法網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 改進的YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 增加輸出塊

在原本的YOLOv5 算法中，PAN 輸出中有3 個不同尺度的特征圖C3、C4、C5，分別對應(yīng)8、16、32 倍下采樣的尺度。下采樣倍數(shù)越大，越適合檢測大目標，而在監(jiān)控攝像頭場景下，消防器材尺寸一般比較小，同時還有器材遮擋等情況的出現(xiàn)，因此，在改進的YOLOv5 算法中，添加一個額外的C2 輸出塊，它的特征圖尺寸為4 倍下采樣，有助于檢測尺寸稍小的消防器材。

2.2 減小SPP 層池化核尺寸

在原本的YOLOv5 算法中，SPP 層使用不同的池化核，實現(xiàn)不同尺度的融合以增加接收域，使用了3 個內(nèi)核大小:13×13、9×9、5×5。將其修改為更小的池化核:7×7、5×5、3×3，使用較小的核有助于更容易地檢測遮擋嚴重的器材以及尺寸較小的器材，提高整體消防器材檢測性能。

2.3 Transformer Encoder 模塊

使用Transformer Encoder 來代替路徑聚合網(wǎng)絡(luò)中的BottleneckCSP 模塊，Transformer Encoder 結(jié)構(gòu)如圖6 所示，一共有兩個殘差連接，第一個殘差連接先通過層間歸一化后使用多頭注意力，多頭注意力將原本的特征由高維投影到低維多次，將多次投影的自注意力結(jié)果拼接后投影回高維，隨后是Dropout隨機舍棄一部分神經(jīng)元，該操作可以緩解神經(jīng)網(wǎng)絡(luò)過擬合，最后與shortcut 路徑也就是輸入特征相加。自從Transformer 問世以來，自然語言處理(Natural Language Processing，NLP)領(lǐng)域中廣泛使用的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)逐漸被Transformer 取代，Transformer 成為NLP 的主流。隨著DETR(End-to-End Object Detection with Transformers) 目標檢測器與視覺Transformer 的問世，Transformer 開始應(yīng)用于計算機視覺領(lǐng)域，是目前的主流趨勢，對計算機視覺與自然語言處理大一統(tǒng)起到了推動作用。Transformer 具有獨特的全局注意力機制，效果比原先沒有注意力機制要更好。由于在輸入Transformer 之前已經(jīng)通過卷積神經(jīng)網(wǎng)絡(luò)提取特征，卷積操作給特征圖已經(jīng)帶來位置信息，因此在使用Transformer Encoder 時候無需再添加位置編碼。

圖6 Transformer Encoder 結(jié)構(gòu)圖

2.4 替換檢測頭

原版的YOLOv5 在Head 部分僅使用一個卷積將不同尺度的回歸與分類信息全部預測，本文將其用FCOS 的檢測頭替換，檢測頭結(jié)構(gòu)如圖7 所示。將分類與回歸分開預測，在特征圖的每個位置上預測C個分類參數(shù)與4 個距離參數(shù)(目標左側(cè)距離l，上側(cè)距離t，右側(cè)距離r以及下側(cè)距離b)以及1 個center-ness 參數(shù)反映該點距離目標中心的遠近程度，不再使用anchor。

圖7 FCOS 檢測頭結(jié)構(gòu)圖

3 實驗

3.1 數(shù)據(jù)集

在基于大數(shù)據(jù)的深度學習算法中，數(shù)據(jù)集是保證算法性能的重要一環(huán)，保證數(shù)據(jù)種類、場景(遮擋、光照)、尺寸的多樣性是算法高泛化性和魯棒性的保證。由于公開數(shù)據(jù)集中關(guān)于消防器材比較少，選擇實地拍攝微型消防站圖片以及截取監(jiān)控攝像頭視頻幀采集目標圖片，手工標定YOLO 格式標簽。數(shù)據(jù)集包含1 739 張圖片，包含消防帽、消防桶、滅火器、消防斧、消防鏟、滅火器箱六個目標分類。其中姿態(tài)、遮擋、疏密、光照、尺寸等有多樣性，加強了目標檢測的挑戰(zhàn)性，按照9 ∶1 的比例劃分訓練集和驗證集。

3.2 測試指標介紹

在目標檢測任務(wù)中，精度precision 是被檢索目標的準確率，召回率recall 是正確目標被檢索的比例。門限iou＿threshold 是在計算precision 和recall 時匹配檢測框與真實框的IoU(Intersection over Union，交并比)閾值，只有IoU 大于這個閾值才算匹配成功。每一個類別都可以計算出其precision 和recall，取不同的置信度閾值conf＿threshold，每個類別都可以得到一條PR 曲線，曲線下的面積就是平均精度(Average Precision，AP)的值。mAP 就是所有類的AP 值求平均。mAP＠.5 是門限iou＿threshold 取0.5 時的mAP，mAP＠.5:.95 是門限iou＿threshold 取0.5 到0.95 間的多個值時的mAP 的均值。

3.3 訓練與實驗結(jié)果

本次實驗環(huán)境為python3.9、pytorch1.12、cuda11.6、cudnn8.3.2，硬件平臺為Nvidia GeForce RTX 2080Ti GPU。

采用遷移學習技術(shù)，將官方在COCO 數(shù)據(jù)集上的預訓練權(quán)重作為初始權(quán)重，在初始模型的基礎(chǔ)上根據(jù)改進的YOLOv5 算法改變模型結(jié)構(gòu)。根據(jù)自己的數(shù)據(jù)集微調(diào)訓練150 個迭代輪次，完成源域也就是COCO 數(shù)據(jù)集到目標域也就是消防器材的遷移。訓練過程中，目標檢測評估指標mAP＠.5 達到最大0.927。保存最好的模型文件，訓練結(jié)果如圖8 所示，測試圖片結(jié)果如圖9 所示。

圖8 改進的YOLOv5 算法訓練結(jié)果圖

圖9 改進的YOLOv5 算法檢測消防器材測試圖

使用相同的超參數(shù)、數(shù)據(jù)集以及預處理過程，使用原本的YOLOv5 算法以及單獨加入各個改進方面的YOLOv5 算法進行消融實驗，訓練150 個迭代輪次，算法訓練結(jié)果對比如表1 所示。單獨加入各個改進方面的YOLOv5 算法比原本的YOLOv5 算法都有性能的提升；改進的YOLOv5 算法相比于原本的YOLOv5 算法準確率precision 和召回率recall 均有提高，算法最重要的評估指標mAP＠.5 提升了0.028 3，mAP＠.5:.95 提升了0.021 3。改進后的YOLOv5 算法在檢測效果上明顯有了較大的提升，使用改進后的YOLOv5 算法具有很高的可靠性。

表1 消融實驗結(jié)果表

將訓練好的模型轉(zhuǎn)化TensorRT 模型，部署在Nvidia GeForce RTX 2080Ti 的GPU 服務(wù)器上。TensorRT 是一款高性能深度學習推理SDK，包含深度學習推理優(yōu)化器和運行環(huán)境，可為深度學習推理應(yīng)用提供低延遲和高吞吐量。

4 消防器材移動檢測

對于每一個攝像頭，初始化每一種類器材的個數(shù)和位置。設(shè)置規(guī)則區(qū)域和超參數(shù)檢測間隔，若消防器材搬離原位置或者搬移出指定區(qū)域，持續(xù)一段時間后，則判斷消防器材移動，并保存移動前后關(guān)鍵幀，如圖10 所示，直到消防器材回歸原位。

圖10 器材移動前后關(guān)鍵幀

搬離原位置是一個比較嚴格的規(guī)則，對于初始狀態(tài)的每一個消防器材，假定該器材為m，在當前幀尋找是否有位置相近的同類器材，如果沒有，則判斷器材m 移動；如果有位置相近的同類器材n，計算器材m 與器材n 檢測框之間的IoU，若IoU 大于一定閾值，則判斷器材m 沒有移動，否則判斷該器材移動。

搬移出指定區(qū)域是一個比較寬松的規(guī)則，需要為每一個攝像頭指定規(guī)則區(qū)域。規(guī)則區(qū)域可以為每一個目標器材單獨設(shè)置，檢測到目標后在目標周圍自動生成規(guī)則區(qū)域；也可以單純地設(shè)置規(guī)則區(qū)域是攝像頭畫面區(qū)域，或者針對每一個攝像頭，手動設(shè)置規(guī)則區(qū)域。本文使用的方案是針對每一個攝像頭手動設(shè)置規(guī)則區(qū)域，對于每一類消防器材，若規(guī)則區(qū)域內(nèi)器材數(shù)量減少，則判斷器材移動。

5 結(jié)束語

目前對消防方面的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用較為薄弱，對消防器材的檢測識別較少。本文建立具有多樣性的消防器材數(shù)據(jù)集，通過增加輸出尺度、減小池化核尺寸、添加Transformer Encoder、替換FCOS 檢測頭改進了深度神經(jīng)網(wǎng)絡(luò)目標檢測YOLOv5 算法，以對消防器材進行檢測并且判斷移動，對六種不同的消防器材有很高的識別準確率，為電廠消防安全體系提供了質(zhì)量保證。