基于無人機攝影的森林火情早期探測系統(tǒng)

謝 振

（銅陵市消防救援支隊,安徽 銅陵 244400）

森林主要的災害是火災，當森林發(fā)生火災時，不僅會降低林木與動物的生存概率，還會威脅人們的生命安全，嚴重破壞森林生態(tài)環(huán)境[1-3]。同時，森林火災的控制難度也較高，因而需要及時發(fā)現(xiàn)森林早期火情，發(fā)出報警信息，避免火災破壞面積繼續(xù)擴大[4]。為此，設計森林火情早期探測系統(tǒng)，可降低火災對森林的影響[5]。例如，王利軍等（2022）通過溫度傳感器監(jiān)測森林溫度信息，利用溫度識別算法與預警溫度閾值，完成森林火情早期探測。該系統(tǒng)的火情早期探測響應時間低于5 s，可有效防止火情漏報問題，具備較優(yōu)的森林火情早期探測效果[6]。肖云丹等（2021）依據(jù)貝葉斯-零膨脹負二項模型設計森林火情早期探測系統(tǒng)，利用貝葉斯法探測森林火情早期發(fā)生概率，通過零膨脹負二項模型分析森林火情與氣象因子間的關系，為避免森林火情發(fā)生提供參考。該系統(tǒng)具備較優(yōu)的森林火情早期探測可靠性[7]。但上述系統(tǒng)的森林火情早期探測范圍較小，無法全面預防森林火情。無人機攝影技術是利用無人機搭載不同類型的傳感器，采集森林相關信息，并依據(jù)采集的信息進行森林火情早期探測。利用無人機的高機動性，可擴展森林火情早期探測范圍，提高探測效率[8-9]，提升森林火情預防的全面性。為此，本研究設計基于無人機攝影的森林火情早期探測系統(tǒng)，以提升火情早期探測精度，為火情救援決策分析提供參考。

1 森林火情早期探測系統(tǒng)

利用無人機搭載可見光相機與紅外相機，采集不同類型的森林圖像，并搭載煙霧探測器，采集森林煙霧信息，用于后續(xù)進行森林火情早期探測。基于無人機攝影的森林火情早期探測系統(tǒng)結構如圖1所示。

圖1 森林火情早期探測系統(tǒng)結構

森林火情早期探測系統(tǒng)總共包含兩個部分，分別是無人機子系統(tǒng)與地面子系統(tǒng)。無人機子系統(tǒng)中，利用飛控模塊，控制無人機飛行至指定位置。無人機搭載了可見光相機、紅外相機、GPS定位模塊與煙霧探測器。利用可見光相機與紅外相機，可在森林火情探測區(qū)域采集森林圖像信息；樹莓派利用USB接口讀取可見光相機采集的可見光圖像，利用SPI（serial peripheral interface，串行外設接口）讀取紅外相機采集的紅外圖像。再利用圖像發(fā)射機將采集的可見光圖像與紅外圖像，傳輸至地面子系統(tǒng)的圖像接收機內。利用單片機驅動無人機搭載的GPS定位模塊與煙霧探測器，采集森林氣體信息與位置信息。再利用數(shù)據(jù)發(fā)射機傳輸采集的氣體信息與位置信息至地面子系統(tǒng)的數(shù)據(jù)接收機內。地面子系統(tǒng)內，地面站PC機利用閾值分割法，分割可見光圖像與紅外圖像，獲取火焰圖像；在火焰圖像內，提取面積變化率與紋理特征；在RBF（radial basis function，徑向基函數(shù)）神經(jīng)網(wǎng)絡內，輸入面積變化率與紋理特征，以及氣體信息與位置信息，輸出森林火情早期探測結果。

1.1 無人機攝影飛控模塊設計

無人機子系統(tǒng)內，利用飛控模塊控制無人機的飛行狀態(tài)，該飛控模塊的核心是STM32主控芯片，其整體結構如圖2所示。

圖2 飛控模塊整體結構

該模塊內利用傳感器采集無人機飛行過程中的相關參數(shù)。STM32主控芯片包含多個IO接口，利于無人機搭載外設設備。通過電源單元為飛控模塊提供電源[10]。利用主控芯片處理采集的無人機相關參數(shù)，并經(jīng)由通信單元傳輸至顯示器內。操作人員可通過顯示器查看無人機的飛行狀態(tài)，依據(jù)無人機的飛行狀態(tài)，選擇遙控器控制或上位機控制，并將無人機控制指令，經(jīng)由通信單元傳輸至主控芯片內，主控芯片接收到控制指令后，對其進行解析[11]。依據(jù)解析后的控制指令，操作正、反槳電機驅動電路，驅動正、反槳電機電路，提升無人機飛行的可靠性與穩(wěn)定性。通過LED指示燈呈現(xiàn)無人機的狀態(tài)，當LED指示燈為紅色時，說明無人機處于異常狀態(tài)[12]，當LED指示燈為綠色時，說明無人機處于正常狀態(tài)。飛控模塊內傳感器的結構如圖3所示。利用三軸加陀螺儀、三軸加速度計、光流傳感器、GPS單元與三軸磁強計，采集無人機飛行過程中的姿態(tài)與速度等相關參數(shù)[13]。利用轉換芯片對采集的無人機相關參數(shù)進行模數(shù)轉換，轉換速率為120 kHz。再利用SPI將轉換后的數(shù)據(jù)傳輸至STM32主控芯片內[14]。

圖3 傳感器結構

利用飛控模塊控制無人機飛行，采集森林相關信息的流程如圖4所示。

圖4 無人機飛行流程

利用飛控模塊控制無人機飛行，采集森林相關信息的具體步驟如下：

（1）利用飛控模塊控制無人機起飛，令其上升至指定高度，得到森林探測區(qū)域的俯瞰視野。

（2）當無人機搭載的紅外相機采集的紅外圖像內出現(xiàn)高溫區(qū)域時，馬上降低無人機飛行高度，停留在高溫區(qū)域上方，采集紅外圖像，并利用可見光相機采集可見光圖像，通過煙霧探測器采集氣體信息，通過GPS定位模塊采集位置信息。

（3）依據(jù)采集的紅外圖像與可見光圖像，排查火情，得到火源信息，并將火源信息與位置信息傳輸至地面子系統(tǒng)內。

（4）利用氣體信息，復測火情，精準定位火情發(fā)生點，并發(fā)出報警信息，為消防人員提供精準的位置信息。

（5）無人機飛行時，始終需要監(jiān)測其電量是否超過返航電量閾值。若電量較低，那么需控制無人機返航，避免因電量過低，導致其墜毀。若電量充足，則繼續(xù)依照指定路線巡航，以到達指定終點為止。

1.2 森林火焰圖像特征提取

地面子系統(tǒng)利用圖像接收機接收無人機子系統(tǒng)傳輸?shù)纳旨t外圖像與可見光圖像后，通過地面站PC機，在接收的紅外圖像與可見光圖像內提取圖像特征。圖像特征提取前，需從紅外圖像與可見光圖像內分割出火焰圖像，提升特征提取精度。對于紅外圖像與可見光圖像來說，火焰處的灰度與其余位置的灰度不同，因此，可利用閾值分割法，分割紅外圖像與可見光圖像，得到森林火焰圖像。紅外圖像與可見光圖像的圖像分割與特征提取過程完全一致，因此，以下方法以紅外圖像為例。

令紅外相機采集的紅外圖像是J(x,y)，其中，像素是(x,y)，特征閾值是ε，那么紅外圖像分割結果為：

以面積變化率ΔAi與紋理特征為紅外圖像的特征，令第i幀火焰圖像內火焰面積是Ai，則ΔAi的計算公式如下：

利用灰度共生矩陣法，在火焰圖像內提取紋理特征。令b1的灰度共生矩陣是Q，Q的第個元素值是與灰度級j、l，按照指定方向θ距離d的灰度對一起出現(xiàn)的次數(shù)一致。因此，此時的概率,d)為：

其中，像素灰度對出現(xiàn)總次數(shù)是N；第個元素值是；在θ方向上，與b1的距離是d，則

利用灰度共生矩陣可提取14個紋理特征，文中以常用的熵H、能量E、相關性S為紋理特征。

H越小，火焰圖像紋理分布越緊密。H的計算公式如下：

E與火焰圖像紋理平滑程度具有負相關關系。E的計算公式如下：

S與火焰圖像元素分布均勻情況具有正相關關系。S的計算公式如下：

同理，利用閾值分割法，分割可見光圖像，得到火焰圖像，并在火焰圖像內，提取面積變化率與紋理特征。以紅外圖像的面積變化率與紋理特征、可見光圖像的面積變化率與紋理特征，以及氣體信息為數(shù)據(jù)樣本集，其中，樣本數(shù)量是m。

2 系統(tǒng)性能測試與分析

以吉林省的紅石國家森林公園為實驗對象，該森林公園位于吉林市樺甸市，占地面積28 574.6 hm2，水域面積2 269 hm2，森林覆蓋率84.6%。利用無人機攝影森林火情早期探測系統(tǒng)對該森林進行火情早期探測，驗證無人機攝影森林火情早期探測系統(tǒng)進行火情早期探測的可行性。無人機攝影森林火情早期探測系統(tǒng)利用四旋翼無人機搭載紅外相機、可見光相機、煙霧探測器與GPS定位模塊，采集森林相關信息，該四旋翼無人機的具體參數(shù)如表1所示。

表1 四旋翼無人機的具體參數(shù)

利用無人機攝影森林火情早期探測系統(tǒng)采集該森林出現(xiàn)火情時的紅外圖像與可見光圖像，圖像采集結果如圖5所示。根據(jù)圖5（a）可知，該系統(tǒng)可有效利用可見光相機，采集森林的可見光圖像。根據(jù)圖5（b）可知，該系統(tǒng)可有效利用紅外相機，采集森林的紅外圖像。實驗證明：無人機攝影森林火情早期探測系統(tǒng)可有效采集森林圖像，為后續(xù)火情早期探測提供數(shù)據(jù)支持。

圖5 可見光圖像與紅外圖像采集結果

利用無人機攝影森林火情早期探測系統(tǒng)對采集的圖像進行火焰分割，以可見光圖像為例，火焰分割結果如圖6所示。

圖6 可見光圖像火焰分割結果

根據(jù)圖6可知，該系統(tǒng)可有效從可見光圖像內分離獲取火焰圖像。進而在分離的火焰圖像內提取面積變化率與紋理特征，結果如圖7所示，其中紋理特征以熵為例。根據(jù)圖7（a）可知，該系統(tǒng)可有效在火焰圖像內提取面積變化率特征，由面積變化率特征提取結果可知，該森林的最大面積變化率在0.09左右，最小面積變化率在0.01左右。根據(jù)圖7（b）可知，該系統(tǒng)可有效提取熵-紋理特征，隨著森林圖像采集時間的延長，熵的值不斷下降，即火焰圖像紋理分布越緊密。實驗證明：無人機攝影森林火情早期探測系統(tǒng)具備火焰圖像面積變化率與紋理特征提取的可行性。

圖7 面積變化率與紋理特征提取結果

利用無人機攝影森林火情早期探測系統(tǒng)對該森林進行火情早期探測，探測結果如圖8所示。根據(jù)圖8可知，該系統(tǒng)可有效實現(xiàn)森林火情早期探測，并及時發(fā)出報警信息。該系統(tǒng)還可實時操控無人機的飛行速度以及飛行狀態(tài)。實驗證明：無人機攝影森林火情早期探測系統(tǒng)具備森林火情早期探測的有效性。

圖8 森林火情早期探測結果

利用均方根誤差，衡量無人機攝影森林火情早期探測系統(tǒng)的森林火情早期探測效果，其值越低，森林火情早期探測效果越佳。分析不同風速時，無人機攝影森林火情早期探測系統(tǒng)森林火情早期探測的均方根誤差，結果如圖9所示。根據(jù)圖9可知，不同情況下，隨著風速的增長，該系統(tǒng)探測森林火情的均方根誤差均呈上升趨勢。當風速低于3 m/s時，無人機不受風速影響，均方根誤差并未發(fā)生改變；當風速超過3 m/s時，無人機受風速影響，導致均方根誤差有所提升。其中，陰燃情況下，火情探測的均方根誤差最大，原因是陰燃探測難度最大，而最高均方根誤差在0.007左右，依舊較低，說明無人機攝影森林火情早期探測系統(tǒng)在不同風速下對森林火情早期探測的均方根誤差均較低，即火情早期探測的精度較高。

圖9 均方根誤差的分析結果

3 結論

如今，森林火災發(fā)生頻率越來越高，對森林火情探測研究的關注度也隨之提升。無人機具備非接觸、檢測范圍大等優(yōu)勢，因此，設計基于無人機攝影的森林火情早期探測系統(tǒng)，有助于及時發(fā)現(xiàn)早期火情，并快速控制火情，避免火情進一步發(fā)展，降低火情對森林的破壞程度。