基于改進Faster R-CNN的石化裝置火災增強識別方法*

陳新果

(中石化安全工程研究院有限公司化學品安全控制國家重點實驗室,山東青島 266104)

0 前言

石化裝置生產過程高溫高壓,所涉介質易燃易爆,具有較高的火災、燃爆風險。近年來石化行業(yè)火災爆炸事故時有發(fā)生,且隨著生產裝置運行年限的增長,設備設施腐蝕老化所帶來的介質泄漏、檢維修動火作業(yè)頻率逐漸增加,使得石化裝置發(fā)生泄漏、火災、爆炸的風險顯著升高,給從業(yè)人員及附近居民的生命財產安全帶來了較大威脅[1-2]。

目前,石化企業(yè)主要依靠外操巡檢、內操監(jiān)盤的模式監(jiān)控裝置生產運行狀態(tài),此類方式受到人員能力、精神狀態(tài)、時間空間限制等多方面影響,難以保證第一時間發(fā)現(xiàn)異常和事故征兆,易導致錯失事故初期應急處置的關鍵時間窗口,造成事故擴大。隨著計算機視覺技術發(fā)展與企業(yè)監(jiān)控硬件設備升級,基于圖像識別的視頻監(jiān)控技術已成為事故監(jiān)測的一種有效方式,但仍存在著識別準確率較低、誤報率較高等問題,尤其是部分攝像頭監(jiān)控范圍較大,導致特征識別目標過小,難以有效檢出。

本文結合實際應用需求,綜合考慮計算速度、識別準確率、硬件要求等多個要素,對多類圖像識別算法進行了應用對比,優(yōu)選了算法基準網(wǎng)絡、錨框尺寸,利用基于遞歸策略的多尺度特征融合設計提升了算法對小微目標的識別能力,建立了基于深度學習的石化火災特征目標圖像識別方法,依托工業(yè)監(jiān)控的自動化信息報警系統(tǒng),可以為企業(yè)提供更加可靠和快速的事故關鍵信息反饋,為石化企業(yè)安全生產監(jiān)測、事故預防及初期應急處置提供支撐。

1 研究進展

在計算機視覺領域,通過先驗知識設計出更加高效的人工識別特征是一種有效手段,常用的圖像特征包括:顏色特征、紋理特征、形狀特征、空間關系特征等。Bohush,等[3]提出根據(jù)顏色特征對彩色火焰圖像進行分割,并采用灰度共生矩陣獲取火焰的紋理特征;劉愷,等[4]利用 YUV 顏色模型獲取疑似煙霧區(qū)域,提取到有關特征后利用 AdaBoost 級聯(lián)分類器完成煙霧檢測。柴茜,等[5]針對單一的隱馬爾科夫模型在圖像型火災探測中識別誤報率偏高的問題,提出了隱馬爾科夫模型和支持向量機相結合的圖像型火焰識別算法。除此以外,一些學者將目標的多幀動態(tài)特征檢測耦合到圖像特征識別中,從而獲得了更高的識別準確率[6-8]。

以上檢測方法具有高實時性、計算成本較低的優(yōu)點,可應用于設備性能有限的監(jiān)控場景,但此類方法抗干擾性能不佳, 識別準確率受人工特征設計的影響較大,且對復雜背景適應性差。近年來,以卷積神經網(wǎng)絡為基礎發(fā)展出了多種高效的圖像識別方法,卷積特征如圖1所示,主要包括以R-CNN系列為代表的基于區(qū)域建議的檢測網(wǎng)絡和以YOLO系列為代表的基于回歸的檢測網(wǎng)絡。

圖1 卷積特征可視化

其中,回歸類算法檢測速度快,對全局信息提取方面有較好的表現(xiàn),如YOLOv1-v7[9,10],SSD等,但該類算法在小微目標檢測上表現(xiàn)相對較差[11]。洪洋[12]提出了一種基于Yolo-v5的森林野火識別與檢測的總體框架與具體流程,實驗結果表明在火焰形態(tài)無規(guī)則變化的情況下,該算法檢測效果具有明顯優(yōu)勢。趙媛媛,等[13]采用了改進的 Yolo-v3算法完成了火焰的實時檢測,實時性良好,但誤檢率仍然較高。

區(qū)域建議類算法準確性高,檢測速度相對較慢,如Faster R-CNN、Mask R-CNN、Casecade R-CNN及HTC等。Hou,等[14]采用 Faster R-CNN進行火災檢測,其精度較好但實時性較弱,難以應用在邊緣設備上?；靥?等[15]利用改進的Faster R-CNN算法分別訓練各火焰類別的探測器并將其并聯(lián),在面對復雜背景和形態(tài)多樣的火焰圖像時依然保證較好的檢測精度。因石化裝置重點區(qū)域實時監(jiān)控視頻普遍已接入中控/外操室高性能服務器,目標識別的準確率和召回率將作為算法性能的主要衡量指標,因此本文選取Faster R-CNN作為網(wǎng)絡框架進行研究和改進。

2 網(wǎng)絡設計

Faster R-CNN是一種經典的二階段目標檢測算法,由骨干特征提取網(wǎng)絡,區(qū)域建議網(wǎng)絡和檢測子網(wǎng)絡(Fast R-CNN)3部分組成。其基本結構及本文主要改進如圖2所示。 骨干特征提取網(wǎng)絡利用卷積層提取特征圖,分別輸入到區(qū)域建議網(wǎng)絡和檢測子網(wǎng)絡中,本研究優(yōu)選ResNet-50作為特征提取網(wǎng)絡,同時,采用遞歸特征金字塔網(wǎng)絡對不同尺度特征進行融合,增強網(wǎng)絡提取特征的深度及魯棒性;區(qū)域建議網(wǎng)絡通過 Softmax 分類和邊界框回歸選擇建議框并對正負樣本進行采樣,使用 Softmax 計算樣本與真實框的分類損失,使用 Smooth L1計算邊界框回歸損失,其中錨框尺寸基于K-means++算法進行了聚類分析與優(yōu)化;在 Fast R-CNN 部分,區(qū)域建議網(wǎng)絡產生的建議框按比例映射到特征圖中,經過 RoI pooling 層固定到特定尺寸,通過 Softmax 分類和邊界框回歸得到最終的感興趣區(qū)域(Region of Interest, RoI),最后利用已經獲得的候選框特征圖,通過全連接層和 Softmax 計算候選框內目標分類,并再次對目標檢測框位置進行微調。

算法的損失函數(shù)遵循multi-task loss定義,在訓練階段所采用的損失函數(shù)L均可表示為公式(1)。Lcls為分類損失函數(shù);Lreg為位置回歸損失函數(shù)。

(1)

式中:Ncls——第一個最小批次所用的樣本總數(shù),取值為256;

Nreg——預測標定框的個數(shù);

pi——預測類別的概率;

ti——預測目標的位置;

λ——權重平衡系數(shù),λ取10。

2.1 特征提取網(wǎng)絡

深度學習網(wǎng)絡隨著網(wǎng)絡深度的增加會面臨梯度爆炸和梯度消失問題,造成網(wǎng)絡性能的退化,為解決該問題,He, 等[16]提出了基于殘差結構的ResNet,通過添加捷徑連接(shortcut connections)的方式,由卷積殘差塊(Conv Block)和恒等殘差塊(Identity Block)兩種結構組成,如圖3所示。該結構使網(wǎng)絡在前向傳播時,輸入信號可以從任意低層直接傳播到高層,建立了天然的恒等映射,一定程度可以解決網(wǎng)絡退化的問題;反向傳播時,錯誤信號可不經過任何中間權重矩陣變換直接傳播到底層,一定程度上緩解了梯度彌散問題,即殘差連接可以使得信息的前后向傳播更加順暢。

圖3 恒等殘差塊(左)與卷積殘差塊(右)結構

其中,恒等殘差塊的輸入與輸出維度一致,用于直接連接網(wǎng)絡層。

y=x+F(x,W)

(2)

卷積殘差塊的輸入和輸出維度不同,不能將網(wǎng)絡層直接連接,用于改變特征量的維度。

y=h(x)+F(x,W)

(3)

式中:x——輸入;

y——輸出;

h(x)——通過1×1 的卷積操作對x進行維度的改變;

F——殘差結構處理;

W——參數(shù)的權重。

選用ResNet-50作為特征提取骨干網(wǎng)絡,該網(wǎng)絡共分為5個stage(階段),Stage 0可以視其為對輸入的預處理,由一個7×7,步距為2的卷積+BN+RELU,加上3×3最大值池化,步長為2的池化層構成。后4個Stage都由Bottleneck組成,結構較為相似,Stage 1～4 分別包括3,4,6,3個Bottleneck,具體結構如圖4所示。

圖4 ResNet-50網(wǎng)絡結構

2.2 錨框尺寸優(yōu)化

錨框是區(qū)域候選網(wǎng)絡重要的目標定位,對于小目標識別問題,可以通過提高錨框的適應性來提高檢測精度和速度[17,18],選用K-means++算法對數(shù)據(jù)集中明火、煙霧的尺寸特征進行了聚類分析,基于分析結果優(yōu)化了錨框設置。相比于K-means聚類方法,其通過概率分析優(yōu)化初始聚類中心選擇方法,使算法具有了較好的魯棒性[9]。其中,度量對象的相似性定義為距離的倒數(shù),以歐氏距離d作為度量距離,以降低簇內誤差平方和(SSE)為優(yōu)化目標,如式(4)所示:

(4)

式中:x,y——樣本向量;

m——向量維度;

n——簇的數(shù)目;

Ci——第i個簇的數(shù)據(jù)集合;

μ(i)——簇Ci的中心點向量。

數(shù)據(jù)集中明火煙霧形狀尺寸不規(guī)則,測試了不同聚類中心數(shù)量的聚類效果,仍選擇模型默認數(shù)量9個聚類中心,如圖5所示。以明火為例,通過20次聚類分析,取得平均聚類結果為:{(101,122),(237,158),(352,198),(48,285),(350,375),(678,142) ,(256,52),(137,189),(68,532)}。

圖5 基于K-means++的火焰聚類測試結果

實驗結果表明,聚類分析得到的錨框不僅能更好地適應不同明火、煙霧的特征,同時在一定程度上減少了人工設計不合理對檢測結果造成的影響。

2.3 多尺度特征融合結構

石化火災爆炸事故往往是由于事故初期的局部泄漏或燃爆所致[19],此時的明火和煙霧目標較小,在監(jiān)控視頻中往往難以及時察覺,造成事故細節(jié)遺漏,延誤事故發(fā)現(xiàn)時機,嚴重影響初期應急響應與處置速度。由于CNN的卷積和池化操作不可避免地會導致感受野的降低,這也直接影響了原始的Faster R-CNN模型對小目標對象的識別效果,漏檢問題較為嚴重[20]。

為解決特征語義表達與位置信息表達間存在的固有矛盾,往往可以將特征提取網(wǎng)絡部分優(yōu)化為特征金字塔結構(FPN),使特征圖包含的信息更加全面,從而提高小微目標的識別能力。該網(wǎng)絡結構包括自底向上、自頂向下和橫向連接3條線路,如圖6所示。其中自頂向下的線路通過1×1的卷積操作與上采樣,然后通過3×3的卷積消除橫向連接后由多維特征不連續(xù)產生的混疊效應,從而得到新的特征圖。

圖6 FPN網(wǎng)絡結構

FPN網(wǎng)絡的輸出特征fi由式(5)定義,FPN網(wǎng)絡會輸出一組特征圖{fi|i=1,…,S},其中S是階段數(shù),ResNet-50網(wǎng)絡中S=4。

fi=Fi(fi+1,xi),xi=Bi(xi-1)

(5)

式中:xi——第i個階段的特征圖;

Bi——第i個階段的基準網(wǎng)絡特征提取;

Fi——第i個特征融合操作。

本文設計了一種基于FPN的多尺度特征融合方法,采用遞歸策略強化特征屬性提取能力,將高層語義實現(xiàn)了優(yōu)于FPN的目標識別效果。通過利用多尺度融合后的特征疊加于對應尺度的初始特征圖,即將FPN網(wǎng)絡結構中用于預測的特征圖與自底向上過程中對應尺度的初始特征圖部分疊加,形成新的圖像增強特征,RFPN網(wǎng)絡結構如圖7所示,該疊加過程理論上可執(zhí)行多次。

圖7 RFPN網(wǎng)絡架構

實驗結果表明,該方法可以有效增強目標特征提取能力,提高算法識別性能,但迭代次數(shù)對模型收斂難度影響較大,網(wǎng)絡設計時需根據(jù)目標復雜度綜合判斷,新的網(wǎng)絡輸出特征如式(6)所示,t為經過測試,本文數(shù)據(jù)集當t=2時效果最優(yōu)。

(6)

式中:t——迭代次數(shù),從1到n的正整數(shù)。

3 實驗結果分析

實驗基于TensorFlow深度學習框架進行,選用單塊NVIDIA RTX-2080Ti顯卡和Intel(R)Core I9-9900X CPU作為硬件平臺。本文采用Bilkent、UNISA、CVPR Lab等高校、實驗室發(fā)布的火焰煙霧數(shù)據(jù)集,因石化火災火焰、煙霧特性受燃燒物料性質、裝置區(qū)布局等影響,與森林火災、建筑物火災等存在一定差異,為更好地識別石化裝置火災特征,提高石化火災事故場景下火焰、煙霧識別準確率,自主收集了石化裝置典型火災事故圖像417幅,圖像利用LabelImg軟件進行標注,通過添加旋轉、縮放及高斯噪聲等方式進行數(shù)據(jù)增強,如圖8所示,實驗數(shù)據(jù)集共計2 623幅,按照8∶1的比例分配訓練集與測試集。

在火災目標檢測任務中,通常使用準確率、召回率(檢出率)和誤報率對網(wǎng)絡性能進行評價,其中準確率AP代表所有預測結果中正確的比例見式(7)。

(7)

式中:TP——正確預測的正樣本數(shù)量;

TN——正確預測的負樣本數(shù)量;

FP——錯誤預測的正樣本數(shù)量;

FN——錯誤預測的負樣本數(shù)量。

mAP表示所有類標簽的平均準確率,訓練類別包括明火和煙霧。mAP(s)表示所有類標簽中小目標的平均識別準確率,目標大小分類基于COCO數(shù)據(jù)集的劃分標準進行了微調。

召回率R代表正確預測的正樣本比例,即召回率越高,漏報的可能性越小,見式(8)。

(8)

誤報率FAR代表錯誤預測的正樣本比例,見式(9)。

(9)

為更好地橫向比較各類算法性能,分別對5種主流目標檢測算法進行了識別準確率和召回率分析,其中傳統(tǒng)算法模型的構建基于明火和煙霧的顏色(RGB+HIS)、紋理(LBP)等特征,采用SVM分類器進行目標識別,單階段算法選取了具有代表性的Yolov3及SSD512,兩階段算法選取了Faster R-CNN及R-FCN。在IoU>0.6時不同識別算法性能對比見表1及圖9。

表1 不同識別算法性能對比 %

圖9 不同算法火焰識別效果

由實驗測試結果可知,基于深度學習的算法,端到端的單階段檢測算法實時性雖然優(yōu)于兩階段的R-CNN系列算法,但準確性不足,尤其是在小微目標識別準確率方面,本文提出的改進方法帶來了性能提升,mAP(s)達到了81.2%,有利于快速識別石化初期火災的小微目標特征物,為事故初期應急處置贏得寶貴時間。

將算法基準網(wǎng)絡、多尺度特征融合方法、錨框設定方式等模塊進行消融分析,識別目標大小分類結合火焰、煙霧特性對COCO數(shù)據(jù)集的劃分標準進行了微調,實驗結果如表2所示。

表2 消融分析 %

平均檢測精度AUPR為P-R曲線圍起來的面積,不同檢測類別的平均檢測精度可以用來評估模型對該類別的檢測性能,如圖10所示,在 IoU >0.6閾值下,本文改進算法明火檢測AUPR≈0.98。

圖10 不同模型的PR曲線

(10)

4 總結與展望

本文通過改進,搭建了明火煙霧測試集,并對真實的石化火災爆炸事故監(jiān)控視頻進行了測試,對基礎的 Faster R-CNN算法框架提出了3個方面的改進。首先采用了基于殘差結構的ResNet-50替換了模型原有VGG-16基準網(wǎng)絡,有效增強了模型的特征提取能力;然后,利用K-Means++算法對本文數(shù)據(jù)集中明火煙霧的尺寸特征進行了聚類分析,改進了錨框的生成模式;最后,采取遞歸循環(huán)策略對金字塔FPN網(wǎng)絡進行了優(yōu)化,增強了特征融合與提取深度,顯著提高了算法對小目標的識別能力。實驗結果證明,本文改進算法針對石化裝置明火、煙霧識別的平均準確率(mAP) 可以達到 92.8%,相對于原始的Faster R-CNN算法提高了11.0%,小目標平均識別準確率(mAP(s))提高了19.7%。有助于更好地對視頻、圖像中的小微特征目標進行監(jiān)檢測。在未來工作中,一方面要繼續(xù)優(yōu)化算法網(wǎng)絡架構提升檢測精度,同時可以通過剪枝或使用輕量化特征提取網(wǎng)絡等方式進一步降低計算量,提高算法的計算效率。