基于無人機視覺的森林火情預測

王 君，蒲 磊，黃 寧，陳楷升，梁薇薇，楊振威

(1.中山大學南方學院 電氣與計算機工程學院，廣東 廣州 510970；2.重慶郵電大學 自動化學院，重慶 400065)

0 引 言

森林火災是破壞森林最主要的災害，位居首位，森林火災的發(fā)生，直接危及林木、林下植物、土壤以及動物的生存，同時又使人類的生命財產(chǎn)和森林生態(tài)環(huán)境造成了巨大的危害。森林火災容易失去控制，隨著蔓延擴展，帶來危害和生命財產(chǎn)損失，有突發(fā)性強、破壞性大、過火面積大、救助困難等特點。所以，需要發(fā)現(xiàn)森林火情，及時發(fā)出報警，準確監(jiān)控火場面積以及燃燒的植被種類。發(fā)現(xiàn)自己處在森林火場中，監(jiān)控系統(tǒng)可以輔助救援決策，輔助向安全地帶迅速轉移[1-3]。基于機器視覺的無人機可用于發(fā)現(xiàn)森林火情，能對森林火災進行及時的預警與預測[4]。

隨著無人機技術的創(chuàng)新和普及，其精準、直觀的火場分析數(shù)據(jù)的特點，使無人機進行森林防火巡查成為趨勢[5]。該文針對單一提取顏色特征的誤檢測，綜合了顏色、尖角數(shù)、紋理等綜合特征進行檢測，過濾掉容易干擾結果的因素，并根據(jù)實時的火情，預測火勢蔓延的方向和位置，提升對特定區(qū)域識別火災情況的預判，為火情救援決策分析提供了依據(jù)。

1 森林火情分析

1.1 火焰特征分析

火災是一種復雜的燃燒現(xiàn)象，火焰是重要物理特征[6]。森林火災一般有比較明顯的可見視覺特征，如火焰的顏色、圓形度以及尖角數(shù)[7-8]等等?；鹧骖伾c煙霧是主要的識別要素，其顏色邊緣等特征也更為明顯。

森林火災的出現(xiàn)往往伴隨著煙霧和火焰[9-10]，煙霧因燃燒物的不同而不同。而火焰的顏色特征相對比較明顯，火焰的顏色在紅色到黃色范圍內變動[11-13]。可將尖角數(shù)作為是否為火焰的判據(jù)。因為穩(wěn)定的光源尖角數(shù)可能會有跳動?；鹧鎴D像中的尖角特征是局部極值點的頂點，在形態(tài)上表現(xiàn)為狹長、寬度偏小、高度偏高。

1.2 煙霧分析

森林火災的火焰燃燒時常常會伴隨著大量的煙霧，煙霧包含許多特征參數(shù)。森林火災的初期煙霧通常呈現(xiàn)的是青灰色，其煙霧圖像在RGB空間，三個顏色的基色數(shù)值非常接近，最大最小的數(shù)差通常小于某一值。

通過大量的實驗發(fā)現(xiàn)，火焰像素區(qū)域的紅色通道值大于綠色通道值，綠色通道值大于藍色通道值?？筛鶕?jù)識別火情圖像，設定偏差為±5°。

此外，分析煙霧圖像的紋理特征，其與清晰的圖像有很大區(qū)別，這也表明了煙霧圖像的獨特特征[14]。紋理特征的分析方法一般有灰度差分統(tǒng)計法、灰度共生矩陣等。該文使用了角二階矩的統(tǒng)計量來提取紋理特征。其中，角二階矩的定義為：

(1)

式中，Ng表示圖像的灰度量化級，p(i,j)表示灰度共生矩陣。可知，角二階矩值較大表示粗糙紋理，較小則表示細密紋理。

2 森林防火監(jiān)測系統(tǒng)設計

傳統(tǒng)的火災監(jiān)測，一般利用火災探測器來實現(xiàn)。而對于森林中的連續(xù)區(qū)域，如果使用傳統(tǒng)的火災探測器，投入成本較大，維護成本高，而且區(qū)域定位不夠靈活，同時，探測器的感知范圍較窄。

為了提高感知的精準度，需要在比較短的距離就要安裝一個探測器，如此大的排布密度增加了火災探測的成本。因此，基于機器視覺的火災監(jiān)控系統(tǒng)應運而生。

對于圖像型的火災監(jiān)控系統(tǒng)，直接對火焰進行顏色識別的方法很方便，但其檢測的準確度不高。在環(huán)境復雜的情況下，極易受到各種因素的干擾[15]。

單一識別算法導致系統(tǒng)的抗擾動性能較差，降低了系統(tǒng)的識別率，直接影響到了火災的監(jiān)測。作為監(jiān)控系統(tǒng)，穩(wěn)定性是一項重要的指標。

該系統(tǒng)結合火焰與煙霧多特征融合的識別，能極大地提高檢測準確度。為有效提高抗干擾能力，融合多種特點辨別方法將在未來的相關應用中越來越普及。

森林防火檢測系統(tǒng)的識別流程如圖1所示。

圖1 森林火災識別流程系統(tǒng)框圖

步驟總結如下：

(1)系統(tǒng)對實時拍攝到的視頻進行分幀處理，檢測當前圖像與相鄰幀的圖像之間的差異；

(2)結合火焰、煙霧特征提取，通過多特征融合，對獲得的圖像進行色彩、火焰尖角數(shù)、煙霧紋理驗證；

(3)分析火情，計算出火焰、煙霧的面積變化以及移動速度，并通過多項式擬合預測火情的趨勢，達到預警的效果。

2.1 火焰識別

圖像輸入系統(tǒng)后，為了排除干擾，增加系統(tǒng)的穩(wěn)定性，需要對圖像進行預處理。圖像的預處理一般包括增強、濾波、細化幾個方面。該系統(tǒng)對感興趣的區(qū)域進行預處理，目的是得到預期的火焰圖像效果。

在對火焰圖像進行預處理后，下一步就是對RGB顏色分量的提取。將這些圖片中的火焰像素點顏色分布與強光高溫等干擾的像素點的顏色分布進行對比分析。通過實驗可得含有火焰的火災圖像的三原色分量滿足一定閾值，從而對火情疑似區(qū)域進行分割。

對于檢測森林火災顏色模型來說，還存在諸如夕陽渲染的天空、秋天的葉子顏色等外界因素的干擾。由于葉子的顏色在顏色上與火焰十分接近，所以還要提取尖角數(shù)特征加以輔助來判斷是否發(fā)生了火災。

將分割后的圖片使用Harris角點檢測算法進行尖角數(shù)的提取。對比干擾場景下與火情場景下的尖角數(shù)，而紅葉干擾場景下的尖角數(shù)數(shù)量較少，可以通過尖角數(shù)量特征輔助判斷火情。

2.2 煙霧識別

與火災檢測部分類似，輸入待檢測圖像以后，對其進行預處理，適當強化細節(jié)、去除噪聲、銳化邊緣并得到供后續(xù)識別的圖像信息。在對煙霧圖像進行預處理后，下一步就是對圖像進行HIS顏色空間轉換。

對包含煙霧的圖片和不包含煙霧的圖片進行分析，將這些圖片中的煙霧像素點色度與不含煙霧的色度進行對比。

在H分量直方圖中，可以看見含煙霧的圖像在0.5左右處分量值較大，而不含煙霧的圖像在0.5處的分量值較小，轉化為角度關系可知直方圖0.5左右處的H分量角度值大約在175°±185°區(qū)間范圍內。因此，采取H分量值為180°±5°作為煙霧的判定依據(jù)。如某張圖像滿足此閾值，則進行分隔提取操作。

單一地提取煙霧特征，可能存在誤判，不足以成為火災的判定條件，還需要同時提取煙霧疑似區(qū)域的紋理。綜合紋理特征進而判斷是否發(fā)生火災。

可以使用計算共生灰度矩陣，角二階矩值綜合特征來識別煙霧區(qū)域的紋理特征。分割煙霧區(qū)域后，可以首先計算共生矩陣。然后，通過共生矩陣計算對應的煙霧區(qū)域能量。

本系統(tǒng)中使用計算共生灰度矩陣角二階矩值的方法，識別了煙霧區(qū)域的紋理特征。并通過分割煙霧區(qū)域后，計算共生矩陣。通過共生矩陣計算對應的煙霧區(qū)域能量，如圖2所示。

圖2 煙霧能量曲線

可以看出，煙霧圖像區(qū)域的角二階矩值(能量)比較大，所以此方法作為判定煙霧是否存在的判據(jù)是合理的。本系統(tǒng)把能量閾值設定為0.65。如果輸入的圖像滿足此能量閾值，則判定為發(fā)生火災，并發(fā)出警報。

3 實驗結果與分析

無人機采集到的照片，信息量大，影響了計算效率，很多干擾影響了識別成功率，所以要先進行預處理去除無用信息再進行后續(xù)識別。預處理后得到關鍵特征信息。此外，系統(tǒng)進一步簡化圖片信息數(shù)據(jù)，得到感興趣區(qū)域(region of interest，ROI)。通過ROI處理，可以減少圖片總信息數(shù)據(jù)量。然后，進行圖像歸一化處理，使識別過程中，減少環(huán)境光亮對輸入圖像的影響。通過采集的森林圖像，可以快速識別火焰顏色特征并對火焰ROI區(qū)域進行分割，分割后的區(qū)域使用Harris角點算法計算尖角數(shù)，進一步確定火焰特征。對于煙霧特征的提取，也與上述方法類似?；鹧媾c煙霧區(qū)域提取效果如圖3、圖4所示。

圖3 提取火焰圖像效果

圖4 提取煙霧圖像效果

確定為火焰和煙霧區(qū)域后，計算該區(qū)域的火焰和煙霧區(qū)域占整幅圖像的比例。實驗中將連續(xù)的7分鐘視頻等間隔采樣，取出7幀進行處理,其中實驗視頻的分辨率為1 280*720。將獲取到的7張火焰和煙霧ROI面積比例使用多項式進行曲線擬合操作，得到火焰和煙霧像素點面積增長曲線?；鹧?、煙霧區(qū)域的面積比例如表1所示。

表1 火焰、煙霧區(qū)域面積比例

續(xù)表1

通過多項式擬合得到的擬合曲線，可以預測出下一幀的火焰、煙霧面積。如需預測下幾幀的火焰或者煙霧面積變化趨勢，則需要添加實際的下一幀圖像來對擬合曲線參數(shù)進行修正，這樣得到的預測結果相對比較準確。

其中，圖5為火焰、煙霧面積擬合曲線圖。從實驗數(shù)據(jù)可以看出，對原始數(shù)據(jù)進行合適擬合后的曲線能大致表現(xiàn)火焰以及煙霧的變化趨勢，且通過擬合曲線得到預測第八幀數(shù)據(jù)(火焰像素點比例3.28%，煙霧像素點比例47.75%)與實際第八幀的數(shù)據(jù)(火焰像素點比例3.58%，煙霧像素點比例46.8%)，比較一致，火情面積持續(xù)增大，需要加強救援措施，如增加救援設備。因此在時間上，提前預警救援方向，并輔助救援決策。

圖5 過火面積、煙霧面積變化曲線

根據(jù)實際情況，研究發(fā)現(xiàn)，火勢蔓延主要與熱對流、熱輻射和熱傳導有關。熱對流是由于熱空氣上升，周圍冷空氣補充，在附近上方有對流煙柱，集聚了燃燒的主要能量。

在預熱階段，火源的引火，局部可燃物溫度上升，蒸發(fā)大量水汽，并伴隨產(chǎn)生大量煙霧。在可燃物呈現(xiàn)收縮和干燥，處于燃燒前的狀態(tài)。所以，在初期監(jiān)控系統(tǒng)可以用煙霧預警為主。

在氣體燃燒階段，隨著可燃物的溫度急驟增加，有黃紅色火焰，這時監(jiān)控系統(tǒng)以火焰識別為主，煙霧識別為輔。

在木炭燃燒階段，因為碳粒子燃燒，不容易見火焰，以煙霧并火焰的尖角點細化，增加火情判斷的敏感度，防止死灰復燃。

對于檢測運動的目標來說，重心位置是重要的特征?；鹧嬉约盁熿F的重心變化在一定程度上可以反映變化的趨勢。同樣的，計算得出的火焰和煙霧區(qū)域重心坐標也可以使用多項式進行曲線擬合，火焰和煙霧重心坐標的原始數(shù)據(jù)與擬合后的橫、縱坐標變化曲線分別如圖6、圖7所示。

圖6 火焰重心坐標變化曲線

圖7 煙霧重心坐標變化曲線

得出了預測幀與實際幀的火焰、煙霧重心坐標。通過擬合曲線可以預測下一幀的火焰的重心坐標(238,395)和煙霧的重心坐標(275,287)，與實際火焰的重心坐標(247,392)和煙霧的重心坐標(256,271)。最后通過坐標變化散點圖體現(xiàn)重心移動的方向性，如圖8所示。

圖8 火焰、煙霧坐標相對位置變化趨勢

雖然預測存在一定誤差，但在判斷火情發(fā)展趨勢的時候，為了使預測更加準確，同時結合火焰以及煙霧區(qū)域的重心坐標移動方向和面積變化，可以對下一幀的火焰區(qū)域進行預判，依次按時間遞推。提前發(fā)出預警，設定非安全區(qū)域，并用無人機機器視覺監(jiān)控火場面積以及燃燒的植被。在森林火場的區(qū)域范圍中，監(jiān)控系統(tǒng)可以輔助救援決策，輔助向安全地帶迅速轉移。

4 結束語

該文設計了基于圖像處理的森林防火檢測系統(tǒng)。針對單一的火焰識別技術容易受到環(huán)境的影響，提出了基于多特征識別相融合的識別系統(tǒng)。系統(tǒng)提取顏色特征、紋理特征以及能充分表明火焰存在的尖角數(shù)特征，通過多種特征的綜合識別，并分別在預熱階段、木炭燃燒階段，根據(jù)實際情況，調節(jié)各個特征的敏感度，從而判斷森林火災和火情預測。該系統(tǒng)采用多特征融合判斷方式，判斷的準確率較高，并且通過仿真表明，該系統(tǒng)能在很大程度上降低森林火災干擾因素的干擾，對復雜的森林環(huán)境也有很好的適應性。使用多項式擬合，能在一定程度上預測火災的趨勢，為搶險工作提供參考。