基于機(jī)器視覺的內(nèi)燃機(jī)試驗(yàn)臺(tái)架火災(zāi)監(jiān)測(cè)方法

孫淑軍，郭永剛，劉 杰

（1. 內(nèi)燃機(jī)可靠性國家重點(diǎn)試驗(yàn)室，山東 濰坊 261061；2. 濰柴動(dòng)力股份有限公司，山東 濰坊 261061）

1 引言

內(nèi)燃機(jī)試驗(yàn)臺(tái)架在實(shí)際作業(yè)過程中有許多高溫源，如內(nèi)燃機(jī)增壓器、排氣管等，同時(shí)臺(tái)架內(nèi)部也存在許多易燃物，如燃?xì)狻⑷加?、機(jī)油、防凍液等，一旦臺(tái)架內(nèi)部發(fā)生故障很容易引發(fā)火災(zāi)，如果火災(zāi)不能被及時(shí)撲滅會(huì)造成極大的經(jīng)濟(jì)損失。因此發(fā)生初期火災(zāi)時(shí)報(bào)警系統(tǒng)能夠及時(shí)觸發(fā)報(bào)警尤為重要。

目前試驗(yàn)臺(tái)架內(nèi)部主要借助紫外和紅外火焰探測(cè)器對(duì)火焰進(jìn)行監(jiān)控，但是受探測(cè)器實(shí)際安裝位置和探測(cè)角度有限的影響，在試驗(yàn)臺(tái)架內(nèi)部一些位置發(fā)生初期火焰時(shí)，探測(cè)器無法探測(cè)到火焰從而無法可靠觸發(fā)報(bào)警，錯(cuò)過滅火最佳時(shí)期。而試驗(yàn)臺(tái)架內(nèi)部有相當(dāng)完善的攝像頭監(jiān)控系統(tǒng)，每個(gè)試驗(yàn)臺(tái)架部署有2個(gè)以上網(wǎng)絡(luò)監(jiān)控?cái)z像頭，基本實(shí)現(xiàn)了對(duì)試驗(yàn)臺(tái)架內(nèi)部的無死角監(jiān)控，且圖片信息隨時(shí)可以通過網(wǎng)絡(luò)推送到移動(dòng)客戶端等供相關(guān)用戶查看。正式借助網(wǎng)絡(luò)攝像頭視野廣的優(yōu)勢(shì)和試驗(yàn)室完善的智能報(bào)警安防系統(tǒng)，本文提出了基于機(jī)器視覺的臺(tái)架火災(zāi)監(jiān)測(cè)方法。

本監(jiān)測(cè)方法首先獲取網(wǎng)絡(luò)攝像頭傳輸?shù)囊曨l流，然后通過算法獲取每一幀圖片中可能為火焰的靜態(tài)區(qū)域，并結(jié)合幀間特征將動(dòng)態(tài)區(qū)域進(jìn)行捕獲，利用兩者的交集經(jīng)過一定的算法處理組合成關(guān)鍵特征圖片，將此圖片傳入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別，如果識(shí)別為火焰，系統(tǒng)便向試驗(yàn)室報(bào)警安防系統(tǒng)發(fā)出信息，控制安防系統(tǒng)發(fā)出警報(bào)，從而加速初期火災(zāi)撲滅進(jìn)度，提高試驗(yàn)臺(tái)架安全性。

2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

2.1 數(shù)據(jù)集制作

火焰實(shí)際發(fā)生時(shí)受光照、攝像頭參數(shù)等影響，經(jīng)攝像頭傳輸后其顏色特征極易發(fā)生變化，為了更好地針對(duì)內(nèi)燃機(jī)試驗(yàn)臺(tái)架這個(gè)特定環(huán)境，我們?cè)谂_(tái)架內(nèi)部進(jìn)行了模擬火焰發(fā)生試驗(yàn)，結(jié)合真實(shí)火災(zāi)事故和網(wǎng)絡(luò)上的部分火焰圖片，本方法共收集制作了40 720張圖片組成樣本集，其中火焰樣本集有15 100張圖片，部分參與訓(xùn)練的火焰樣本如圖1所示。本火焰樣本制作的目的是為了更好地發(fā)現(xiàn)初期火焰，因此要求樣本圖片中火焰像素占比盡量小同時(shí)又要防止占比過小引起訓(xùn)練過程中關(guān)鍵特征消失。因此收集的火焰圖片都是經(jīng)過篩選后火焰像素面積占比在6%～50%的圖片。

圖1 用于訓(xùn)練的火焰圖片

實(shí)際研究過程中發(fā)現(xiàn)臺(tái)架測(cè)功機(jī)、人員等均可能對(duì)模型識(shí)別產(chǎn)生干擾，因此我們采用分類神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)將圖像分成了4類，分別對(duì)應(yīng)火焰、測(cè)功機(jī)、人員和其他非火焰。

2.2 模型訓(xùn)練和驗(yàn)證

利用Pytorch工具對(duì)樣本集進(jìn)行一定的數(shù)據(jù)增強(qiáng)和歸一化處理后，修改InceptionV3網(wǎng)絡(luò)輸出層參數(shù)以符合分類需求，然后利用該網(wǎng)絡(luò)對(duì)制作好的樣本集進(jìn)行了訓(xùn)練和驗(yàn)證，訓(xùn)練準(zhǔn)確度大于99%時(shí)停止訓(xùn)練，從而得到最終的神經(jīng)網(wǎng)絡(luò)模型。經(jīng)驗(yàn)證，模型對(duì)驗(yàn)證集有很好地識(shí)別準(zhǔn)確率，準(zhǔn)確率大于96%。由于訓(xùn)練方法比較常見，本文不再詳細(xì)描述訓(xùn)練過程。雖然模型對(duì)驗(yàn)證集有較高的識(shí)別度，但是在實(shí)際測(cè)試時(shí)發(fā)現(xiàn)模型識(shí)別視頻中火焰的效果很差，分析發(fā)現(xiàn)攝像頭傳輸?shù)闹髁饕曨l幀分辨率很高，一般分辨率超過1 920像素×1 080像素。實(shí)際發(fā)生初期火災(zāi)時(shí)，火焰在原始圖片中的像素占比很?。娣e占比一般小于2%），如果直接將整張圖片傳入神經(jīng)網(wǎng)絡(luò)，將極大降低火焰識(shí)別準(zhǔn)確率。同樣如果直接訓(xùn)練這樣的圖片，因?yàn)榛鹧骊P(guān)鍵特征像素占比很小容易導(dǎo)致訓(xùn)練過程中火焰特征消失從而使得訓(xùn)練識(shí)別效果非常差。

3 關(guān)鍵特征圖像獲取

通過第1章分析可得出，模型在識(shí)別較大火焰圖片時(shí)效果較好，但是識(shí)別小火焰圖片時(shí)效果很差。根據(jù)我們對(duì)內(nèi)燃機(jī)試驗(yàn)臺(tái)架歷史火災(zāi)事故統(tǒng)計(jì)，96.2%以上的火焰圖片為分辨率小于56像素×56像素的圖片，為此有必要研究小火焰圖片識(shí)別準(zhǔn)確性的方法。因此，我們針對(duì)攝像頭傳來的視頻幀進(jìn)行了預(yù)處理：只有圖片中有符合我們要求的信息時(shí)才會(huì)傳入神經(jīng)網(wǎng)絡(luò)模型做進(jìn)一步分析。傳入神經(jīng)網(wǎng)絡(luò)模型前先對(duì)圖片進(jìn)行分類處理以獲得關(guān)鍵區(qū)域，將關(guān)鍵特征圖片分為三類，分別對(duì)應(yīng)224像素×224像素、112像素×112像素和56像素×56像素這三種。具體分類由實(shí)際關(guān)鍵特征圖片分辨率大小決定。

對(duì)于攝像頭傳來的原始幀，我們首先分析圖片的特征并與火焰顏色特征進(jìn)行比較，如果符合火焰顏色特征，則將符合的部分轉(zhuǎn)換成二值化圖片MASK1。其中火焰顏色特征主要參考何愛龍的判定規(guī)則結(jié)合臺(tái)架內(nèi)實(shí)際火焰特征定義規(guī)則為

規(guī)則中，R、G、B分別代表每個(gè)像素點(diǎn)在RGB空間上的紅色、綠色、藍(lán)色分量；H、S代表每個(gè)像素點(diǎn)在HSV空間上的色調(diào)、飽和度分量；R取115，S取55。當(dāng)獲取完圖片的火焰特征后再分析其動(dòng)態(tài)特征，利用高斯混合模型來獲取動(dòng)態(tài)特征，同樣將符合運(yùn)動(dòng)的部分轉(zhuǎn)換成二值化圖片MASK2，MASK1和MASK2的交集對(duì)應(yīng)原始幀中區(qū)域便是感興趣區(qū)域ROI，即ROI=MASK1∩MASK2，ROI經(jīng)過進(jìn)一步處理便可得到關(guān)鍵特征圖片。攝像頭關(guān)鍵特征圖片獲取示意圖如圖2所示，圖2 a為攝像頭傳來的原始視頻幀，圖2 b為通過上述方法來獲取關(guān)鍵特征圖片的示意圖，圖2 b中左側(cè)分別代表火焰的動(dòng)態(tài)特征和火焰的顏色特征，右側(cè)代表獲取到的關(guān)鍵特征圖。

圖2 攝像頭關(guān)鍵特征圖片獲取示意圖

如果交集ROI為0，則本幀圖片將不會(huì)被分析處理，系統(tǒng)將直接分析下一幀圖片；如果ROI不為0，則根據(jù)ROI大小先截取關(guān)鍵特征區(qū)域。如前文所述，如果ROI像素大于112像素×112像素，則以圖片為中心在原始幀上截取224像素×224像素分辨率的圖片，截取過程中可能會(huì)因?yàn)閳D片中心過于靠近原始幀邊界導(dǎo)致截取失敗，此時(shí)可以根據(jù)具體邊界情況適當(dāng)調(diào)整，以成功獲取需求的關(guān)鍵特征圖片。首先獲取ROI的起始像素點(diǎn)(S,S)，ROI高度R和寬度R以及原始幀的高度I和寬度I，然后按下述計(jì)算公式計(jì)算關(guān)鍵特征圖片的起始點(diǎn)(S’,S’)：

得到起始點(diǎn)后，便可以根據(jù)目標(biāo)分辨率截取關(guān)鍵特征圖片。

如果分辨率大于56像素×56像素且小于112像素×112像素，則按照上述方法截取112像素×112像素分辨率的圖片；獲取公式與上式類似。同理當(dāng)分辨率小于56像素×56像素時(shí)，按上述方法截取56像素×56像素分辨率的圖片。

驗(yàn)證發(fā)現(xiàn)，火焰區(qū)域分辨率大于56像素×56像素時(shí)，模型能較好地完成火焰識(shí)別工作，當(dāng)小于56像素×56像素時(shí)雖然也可以識(shí)別出火焰，但是很容易導(dǎo)致一些非火焰目標(biāo)被誤識(shí)別成火焰，為此，每當(dāng)獲取到一幀小于56像素×56像素分辨率的關(guān)鍵特征圖片時(shí)，我們都繼續(xù)以該圖片中心為中心截取接下來連續(xù)3幀原始幀對(duì)應(yīng)的區(qū)域作為關(guān)鍵特征圖片，分辨率仍然為56像素×56像素，這樣便得到了4張56像素×56像素的圖片，按照從左到右從上到下的順序把這4張圖片組合成一張112像素×112像素的圖片，以此作為關(guān)鍵特征圖片傳入神經(jīng)網(wǎng)絡(luò)再進(jìn)行分析，如圖3所示。

圖3 拼接組合的火焰圖片

根據(jù)關(guān)鍵特征圖片提取算法，共提取到1 182幀關(guān)鍵特征。因此方法相較原始幀直接傳入神經(jīng)網(wǎng)絡(luò)分析對(duì)計(jì)算機(jī)資源占用降低了98%。

利用4種方法將圖片傳入同一神經(jīng)網(wǎng)絡(luò)模型后識(shí)別統(tǒng)計(jì)結(jié)果見表1，其中火災(zāi)事故識(shí)別率定義為在火焰發(fā)生10 s內(nèi)模型監(jiān)測(cè)到火焰的概率，視頻幀識(shí)別率定義為每一幀火焰圖片傳入神經(jīng)網(wǎng)絡(luò)后被成功識(shí)別的概率，視頻幀誤檢率定義為每一幀非火焰圖片傳入神經(jīng)網(wǎng)絡(luò)后被誤識(shí)別成火焰圖片的概率，火災(zāi)事故誤報(bào)率定義為整個(gè)視頻播放期間模型將非火焰目標(biāo)誤識(shí)別成火焰目標(biāo)觸發(fā)誤報(bào)警的概率。表中方法A表示直接將原始幀傳入神經(jīng)網(wǎng)絡(luò)分析的方法；方法B表示將所有關(guān)鍵特征區(qū)域截取成224像素×224像素分辨率的圖片后進(jìn)行分析的方法；方法C是將實(shí)際關(guān)鍵特征區(qū)域劃分為224像素×224像素、112像素×112像素和56像素×56像素的關(guān)鍵特征圖片后進(jìn)行分析的方法；方法D是在方法C的基礎(chǔ)上，按照上文所述拼圖方法將56像素×56像素分辨率圖像拼接成1張112像素×112像素圖片后進(jìn)行分析的方法。

表1 不同方法下火焰識(shí)別能力比較

由上表分析可知，方法A和方法B雖然幾乎沒有火災(zāi)事故誤報(bào)率和視頻幀誤檢率，但火焰事故識(shí)別率較低，尤其是方法A，幾乎無識(shí)別能力。方法C和方法D都有很好的火災(zāi)事故識(shí)別率，雖然方法D相較方法C視頻幀識(shí)別率減少了4.76%，但是視頻幀誤報(bào)率只有方法C的8.95%，火災(zāi)事故誤報(bào)率相比方法C降低了91.68%。因此本文采用的方法D能夠?qū)?nèi)燃機(jī)試驗(yàn)臺(tái)架內(nèi)部火災(zāi)進(jìn)行可靠監(jiān)測(cè)同時(shí)又盡可能少的減少了誤報(bào)率。

4 視頻流獲取與圖像神經(jīng)網(wǎng)絡(luò)識(shí)別

基于前文的內(nèi)容，部署模型進(jìn)行內(nèi)燃機(jī)試驗(yàn)臺(tái)架火災(zāi)監(jiān)控測(cè)試。利用多線程的方式分別獨(dú)立獲取網(wǎng)絡(luò)攝像頭視頻流以及將視頻流傳入神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)攝像頭是非常成熟的產(chǎn)品，可以利用攝像頭廠家提供的SDK或者利用RTSP協(xié)議來獲取視頻流。然后利用OpenCV工具對(duì)視頻流進(jìn)行格式處理，結(jié)合第3章關(guān)鍵特征圖片獲取方法，將獲取的關(guān)鍵特征傳入OpenCV的DNN處理函數(shù)中，如果識(shí)別到火焰便以Web Sevice服務(wù)的形式傳送報(bào)警指令來控制報(bào)警系統(tǒng)報(bào)警，從而達(dá)到火災(zāi)監(jiān)測(cè)的目的。

5 結(jié)束語