基于視頻的林火煙霧檢測算法研究

梁新宇　劉凱　王笑松　劉恒旭

摘要：? 森林防火一直以來都是世界各國共同關(guān)注的一個話題，只有在林火發(fā)生前快速、準(zhǔn)確的確定著火地點，才能提前采取適當(dāng)?shù)拇胧┓乐够馂?zāi)的發(fā)生。傳統(tǒng)的目標(biāo)檢測方法有幀差法、光流法和背景減除法等；如今，隨和數(shù)值計算設(shè)備的改進，許多基于深度學(xué)習(xí)的目標(biāo)檢測方法開始出現(xiàn)，如基于RCNN的檢測算法、基于SSD的檢測算法和基于Yolo的檢測算法等，本文就各種目標(biāo)檢測算法進行了分析，比較了其優(yōu)缺點，并對今后目標(biāo)檢測技術(shù)的發(fā)展進行了展望。

關(guān)鍵詞：? 森林防火；? 目標(biāo)檢測；? 林火煙霧檢測

中圖分類號：? ?S 76? ? ? ? ? ? ? ?文獻標(biāo)識碼：? ?A? ? ? ? ? ? ? ? 文章編號：１００1 － 9499（２０23）06 － 0045 － 04

林火檢測的研究根據(jù)識別對象的不同，可分為煙霧識別和火焰識別兩類[ 2 ]。傳統(tǒng)的檢測方法主要有瞭望臺檢測、航空檢測和衛(wèi)星監(jiān)測等[ 3 ]。瞭望臺檢測即通過在瞭望臺上安裝傳感器來對一定區(qū)域范圍內(nèi)的林場進行檢測，常見的傳感器有用于火焰檢測的紅外傳感器和用于煙霧檢測的煙霧傳感器，瞭望臺檢測較后兩者而言，其成本較低，獲得的數(shù)據(jù)時效性較高，是目前對森林火災(zāi)進行檢測的一種較好的方法。由于煙霧產(chǎn)生的時間要早于火焰且其不易被障礙物遮擋，通過煙霧識別能更快、更準(zhǔn)確的檢測出林火產(chǎn)生的地點。典型的煙霧檢測算法有幀差法、光流法、背景減除法和深度學(xué)習(xí)等，本文將分別對這幾種煙霧檢測算法進行分析，并對其優(yōu)缺點進行評價。

1 幀差法煙霧檢測

幀差法是通過比較視頻中相鄰的兩幀圖像間的變化來對運動區(qū)域進行提取的算法，適用于背景變化較小的林區(qū)[ 4 ]。算法首先將第N幀的圖像與第N-1幀的圖像相減得到差分圖像，然后通過二值化的處理方法對閥值進行判斷，最后通過連通性分析判別該區(qū)域是否存在運動的物體（圖1）。

當(dāng)視頻中兩幀前后目標(biāo)的變化較快時，僅靠兩幀差法無法對快速變化的場景進行檢測[ 5 ]，在這種情況下，就需要采用三幀差法來確定完整的運動目標(biāo)。三幀差法首先將第N+1幀的圖像、第N幀的圖像和第N-1幀的圖像進行差分，然后再對差分后的圖像進行邏輯與運算，其余步驟與二幀差法相同（圖2）。

采用幀差法對煙霧進行檢測原理簡單，涉及的計算量較小，檢測結(jié)果的更新速度快，誤差累積小。但幀差法閥值的選擇很重要，當(dāng)閥值較小時，差分圖像中會存在較多的噪聲信號，當(dāng)閥值較大時，部分目標(biāo)信息可能會被掩蓋。因此，幀間差分法的適應(yīng)性較差，得到的檢測目標(biāo)可能會出現(xiàn)不完整的現(xiàn)象，當(dāng)煙霧的擴散速度較慢時，兩幀之間目標(biāo)的相對位置變化緩慢，重疊部分的檢測較難，所以幀差法在實際的運用中還需要將其與其他算法結(jié)合。

2 光流法煙霧檢測

1950年，為了描述空間上運動目標(biāo)像素運動的瞬間速度，Gibson提出了光流的概念[ 6 ]。光流法檢測[ 7 ]的主要目標(biāo)是在一定的約束條件下，尋找圖像相鄰幀之間的變化，從而計算出其之間的光流場。常用計算光流場的方法有基于區(qū)域或特征的匹配方法、基于頻域的光流計算方法和基于梯度的光流計算方法。其中基于梯度的光流計算方法又稱微分法，微分法又可分為全局微分法和局部微分法，經(jīng)典的全局微分法有Horn-Schunck算法[ 8 ]，其假設(shè)在整個圖像上光流光滑變換即速度的變化率為零。經(jīng)典的局部微分法有Lucas-Kanade算法[ 9 ]，其假設(shè)局部空間內(nèi)運動矢量保持不變，然后采用加權(quán)最小二乘法來對光流進行估計。

圖3為運動場和光流場的關(guān)系模型，其中運動向量為目標(biāo)物體在三維坐標(biāo)中的真實運動，光流向量為在成像平面上運動向量的投影。

采用光流法對煙霧進行檢測時不需要預(yù)先對場景的信息進行采集，且還能在背景是運動的場景下對目標(biāo)物進行檢測，但采集時涉及到的計算較為復(fù)雜，數(shù)據(jù)處理時間較長，無法確保獲得數(shù)據(jù)的實時性和實用性。

3 背景減除法煙霧檢測

背景減除法的核心為建立背景的參數(shù)模型，利用其來對背景圖像的像素值進行近似，再采用差分比較的方法對當(dāng)前幀的圖像與背景進行比較，從而檢測出運動區(qū)域，其中運動區(qū)域為差別較大的像素區(qū)，差別較小的像素區(qū)就被認(rèn)為是背景區(qū)域[ 10 ]。其公式為：

式中，diff為t時刻圖像和背景差分的絕對值；f為t時刻圖像的像素值；b為t時刻背景的像素值；F為背景差分的二值圖像；ForeObjThreshold_BS為預(yù)設(shè)的閥值。

在使用背景減除法時，背景圖像是關(guān)鍵，背景圖像需要在光照或其他外部環(huán)境變化時進行實時更新。在對如何建立一個具有自適應(yīng)性的背景模型方面，學(xué)者們提出了許多背景建模算法，其大體可以概括為非回歸遞推和回歸遞推兩大類。非回歸背景建模方法有利用緩存的樣本像素對背景模型進行估計的線性濾波器和利用部分歷史數(shù)據(jù)來估計背景像素密度的非參數(shù)模型[ 11 ]等?；貧w背景建模方法有混合高斯模型[ 12 ]和先行卡爾曼濾波法[ 13 ]等。

在采用背景減除法對煙霧進行檢測時，還涉及到特征類型和特征尺寸的選擇問題，其中特征尺寸的選擇包括了像素、塊和集群三種情況，特征類型的選擇包含了顏色特征、幀特征和紋理特征等。由于常用的顏色特征是RGB，易受到光線等外界因素的干擾，所以在采用顏色特征對運動目標(biāo)進行檢測時，若光線等外部因素發(fā)生變化，檢測的結(jié)果易出現(xiàn)較大的誤差。

4 基于深度學(xué)習(xí)的煙霧檢測

目前利用深度學(xué)習(xí)來對目標(biāo)進行檢測的算法大致可分為三類，分別為基于RCNN的檢測算法[ 14 ]、基于SSD的檢測算法和基于Yolo的檢測算法。

基于RCNN的目標(biāo)檢測算法于2014年由Ross B Girshick等人提出，其將候選區(qū)域算法Selective Search與CNN網(wǎng)絡(luò)相結(jié)合，提高了算法檢測的速度與精度。具體檢測流程為首先利用Selective Search對給定的圖片進行選擇性搜索，得到1 000～2 000多個形狀和大小不同的候選邊框，然后利用CNN網(wǎng)絡(luò)提取每一個候選邊框的深層特征，再利用SVM（線性支持向量機）對得到的深層特征進行分類，最后去除重疊的候選邊框，并將支持向量機得分較高的邊框提取出來（圖4）。

基于SSD的目標(biāo)檢測算法于2016年由Wei Liu等人提出，SSD算法采用單個深度神經(jīng)網(wǎng)絡(luò)，綜合不同卷積層的特征圖來對目標(biāo)進行檢測，VGG-16是算法的基礎(chǔ)網(wǎng)絡(luò)模型，模型的輸入要求為300*300的圖片，結(jié)構(gòu)如圖5所示。SSD目標(biāo)檢測算法的核心設(shè)計理念一為采用多尺度特征圖用于檢測；二為對每個單元設(shè)置的Default boxes的長寬比或尺度不同，并將其作為bounding boxes（預(yù)測的邊界框）的基準(zhǔn)，減少訓(xùn)練難度；三為在對不同的特征圖進行提取檢測時直接采用卷積的方法對其進行處理。采用SSD算法對目標(biāo)進行檢測較RCNN算法而言，運行速度更快，精度更高，但在對小尺寸的目標(biāo)進行識別時，精度較差。

基于Yolo的目標(biāo)檢測算法于2015年由Joseph Redmon等人提出，其基礎(chǔ)網(wǎng)絡(luò)模型為GoogLeNet模型（圖6）。Yolo目標(biāo)檢測算法的工作原理為利用多層卷積來對圖片中的特征進行提取，然后在輸出層直接回歸目標(biāo)框的坐標(biāo)和其所屬的類別，最后通過NMS對重疊的目標(biāo)框進行剔除。利用Yolo算法對目標(biāo)進行檢測時構(gòu)造的網(wǎng)絡(luò)簡單，訓(xùn)練速度快，但對細(xì)小密集的目標(biāo)，檢出概率依舊較低。

5 研究展望

由上述分析可知，幀差法、光流法和背景減除法這類傳統(tǒng)的目標(biāo)檢測方法雖然在一定條件下也能完成對目標(biāo)進行識別的任務(wù)，但大多都易受到光線等外界因素的干擾，且運算的速度較慢，耗時較長，無法確保得到信息的時效性。

另一方面，隨著數(shù)值計算設(shè)備的改進，深度學(xué)習(xí)得到了快速的發(fā)展，神經(jīng)網(wǎng)絡(luò)已被廣泛的運用于目標(biāo)檢測，如基于RCNN的檢測算法、基于SSD的檢測算法和基于Yolo的檢測算法等。雖然這些檢測算法在檢測速度和對較大目標(biāo)的檢測精度上都有很大的進步，但對細(xì)小密集型的目標(biāo)的檢出概率依舊不如人意，還有待提高。

參考文獻

［1］ 袁雯雯，? 姜樹海.? 林火圖像識別理論研究進展［J］. 世界林業(yè)研究， 2018， 31（1）：3 5 - 39.

［2］ 張靜，? 李鴻燕.? 融合獨立分量分析和視覺顯著性的煙霧分割檢測算法［J］. 科學(xué)技術(shù)與工程， 2017， 017（025）： 246 - 250.

［3］ 范一舟，? 馬洪兵.? 基于視頻的林火煙霧識別方法［J］. 清華大學(xué)學(xué)報（自然科學(xué)版）， 2015（2）： 243 - 250.

［4］ 相徐斌.? 基于視頻的煙霧檢測算法研究［D］. 杭州：? 浙江大學(xué)， 2017.

［5］ 許京港.? 基于深度學(xué)習(xí)的林火煙霧檢測算法的研究［D］. 哈爾濱：? 東北林業(yè)大學(xué)， 2019.

［6］ 朱正超.? 基于視頻分析的森林火災(zāi)煙霧檢測技術(shù)的研究［D］.南京：? 東南大學(xué)， 2017.

［7］ Yu C， Fang J， Wang J， et al. Video Fire Smoke Detection Using Motion and Color Features［J］. Fire Technology， 2010， 46（3）： 651 - 663.

［8］ 管飛，? 王榮.? 基于Horn-Schunck光流法的運動目標(biāo)檢測的研究［J］. 儀表技術(shù)， 2015（2）： 43 - 45.

［9］ 張辰，? 趙紅穎，? 錢旭.? 面向無人機影像的目標(biāo)特征跟蹤方法研究［J］.? 紅外技術(shù)， 2015， 37（3）： 224 - 228 + 239.

［10］ 安磊.? 基于幀差法和背景減除法的視頻監(jiān)控系統(tǒng)設(shè)計［D］.西安：? 西安科技大學(xué)， 2014.

［11］ 張?zhí)N奇.? 紅外預(yù)警系統(tǒng)中的圖像顯示與目標(biāo)檢測方法研究［D］.西安：? 西安電子科技大學(xué)， 2006.

［12］ 夏楠，? 邱天爽，? 李景春，? 等.? 一種卡爾曼濾波與粒子濾波相結(jié)合的非線性濾波算法［J］. 電子學(xué)報， 2013， 41（1）： 148 - 152.

［13］ 王永忠，? 梁彥，? 潘泉，? 等.? 基于自適應(yīng)混合高斯模型的時空背景建模［J］. 自動化學(xué)報， 2009， 35（4）： 371 - 378.