深度學(xué)習(xí)在森林火災(zāi)檢測(cè)中的研究進(jìn)展

王麗霞 夏 雪 高 凡 劉 強(qiáng) 董霙達(dá) 郜曉晶

（內(nèi)蒙古農(nóng)業(yè)大學(xué)計(jì)算機(jī)與信息工程學(xué)院，內(nèi)蒙古 呼和浩特 010018）

森林吸收大量的CO2，在碳循環(huán)中起著不可替代的作用，同時(shí)在防災(zāi)防疫、調(diào)節(jié)氣候、保持水土等方面擁有巨大的價(jià)值[1]。然而，近些年受異常氣候影響，森林火災(zāi)或極端氣候事件的數(shù)量增加[2-5]。森林火災(zāi)是一個(gè)世界性的難題，準(zhǔn)確地檢測(cè)出森林火災(zāi)并進(jìn)行及時(shí)撲救尤為重要，但人工地面巡邏[6]、瞭望塔檢測(cè)[7]、全息影像技術(shù)[8]、傳感器檢測(cè)[9]等傳統(tǒng)林火檢測(cè)方法受制于其檢測(cè)性能、經(jīng)濟(jì)成本和可操作性等原因，無(wú)法有效預(yù)測(cè)火災(zāi)。近年來(lái)，隨著人工智能技術(shù)及計(jì)算機(jī)領(lǐng)域的快速發(fā)展，深度學(xué)習(xí)在圖像分類(lèi)、目標(biāo)檢測(cè)、人臉識(shí)別等計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用廣泛，各種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法層出不窮。深度學(xué)習(xí)技術(shù)通過(guò)設(shè)計(jì)網(wǎng)絡(luò)自動(dòng)提取圖像特征，具有效率高、適應(yīng)性強(qiáng)等優(yōu)勢(shì)。因此，將深度學(xué)習(xí)技術(shù)應(yīng)用于森林火災(zāi)檢測(cè)中，進(jìn)而全面監(jiān)測(cè)并及時(shí)高效預(yù)警，可以在更大限度上降低森林火災(zāi)造成的危害。

1 深度學(xué)習(xí)模型

深度學(xué)習(xí)[10]是機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的一個(gè)分支，通過(guò)構(gòu)建多個(gè)層次的網(wǎng)絡(luò)學(xué)習(xí)模型對(duì)大量數(shù)據(jù)進(jìn)行處理，使機(jī)器具有從原始數(shù)據(jù)中多層次抽象數(shù)據(jù)的自動(dòng)學(xué)習(xí)，以及特征提取分析的能力[11]。其網(wǎng)絡(luò)結(jié)構(gòu)主要由輸入層、輸出層以及兩者之間的多個(gè)隱藏層組成，學(xué)習(xí)方式主要分為有監(jiān)督和無(wú)監(jiān)督兩種。常見(jiàn)的深度學(xué)習(xí)模型有循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）等。表1總結(jié)了目前用于森林火災(zāi)檢測(cè)的主要深度學(xué)習(xí)模型的優(yōu)缺點(diǎn)。

表1 用于森林火災(zāi)檢測(cè)的深度學(xué)習(xí)算法比較Tab.1 Comparison of deep learning algorithms for forest fire detection

1.1 RNN模型

RNN[12]于20世紀(jì)80至90年代提出，以序列數(shù)據(jù)為輸入并在序列的演進(jìn)方向遞歸，是所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。RNN的典型架構(gòu)有基于長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory networks，LSTM）[13]和雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN, Bi-RNN）[14]，在圖像視頻字幕、手寫(xiě)識(shí)別、語(yǔ)言翻譯等方面表現(xiàn)出不俗的效果。RNN的優(yōu)勢(shì)在于，在對(duì)由非獨(dú)立元素序列組成的輸入和輸出建模，同時(shí)對(duì)多個(gè)尺度上的順序和時(shí)間依賴(lài)性建模，以保持?jǐn)?shù)據(jù)中的依賴(lài)關(guān)系[15]。在視頻圖像序列分析和交互任務(wù)等領(lǐng)域，輸入的學(xué)習(xí)模型必須以序列的形式。因此，RNN可作為一種合適的網(wǎng)絡(luò)模型。在森林火災(zāi)檢測(cè)中，通常需要以視頻或者照片的形式對(duì)場(chǎng)景進(jìn)行拍攝。RNN作為一種可以描述動(dòng)態(tài)時(shí)間行為的深度學(xué)習(xí)方法，對(duì)于視頻序列的處理具有強(qiáng)大的優(yōu)勢(shì)，因此可將其用于攝像機(jī)拍攝到的火災(zāi)視頻序列，進(jìn)行火災(zāi)中煙霧以及火焰等特征的學(xué)習(xí)分析。

1.2 CNN模型

CNN[16]的研究始于20世紀(jì)80～90年代，直至21世紀(jì)數(shù)值計(jì)算等理論及設(shè)備得到改進(jìn)后才進(jìn)入快速發(fā)展時(shí)期。CNN是一個(gè)具有層次結(jié)構(gòu)的多層感知器，其隱藏層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性，使其可以通過(guò)較小的計(jì)算量學(xué)習(xí)多個(gè)特征。基礎(chǔ)的CNN由輸入層、卷積層、激活層、池化層、連接層及輸出層組成。發(fā)展至今，各種基于CNN的模型涌現(xiàn)，如LeNet[17]、AlexNet、VGG[18]、GoogLeNet[19]、殘差網(wǎng)絡(luò)（Residual Network，ResNet）[20]等。CNN的最大優(yōu)勢(shì)是具有直觀、清晰的解釋機(jī)制和強(qiáng)大的學(xué)習(xí)與表征能力，廣泛應(yīng)用在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、人臉識(shí)別等方面，且對(duì)于在復(fù)雜環(huán)境下視頻圖像的特征學(xué)習(xí)仍具有穩(wěn)定效果。森林環(huán)境是極為復(fù)雜的，例如有蜿蜒的地勢(shì)、樹(shù)木的遮蔽、不定的風(fēng)向等，都會(huì)導(dǎo)致視頻序列中的火災(zāi)特征不明顯，致使判斷過(guò)程的誤差增大。CNN在復(fù)雜環(huán)境中的學(xué)習(xí)能力突出，故將其應(yīng)用到林火檢測(cè)中具有較高可行性。

1.3 DNN模型

隨著深度學(xué)習(xí)技術(shù)、GPU等其他硬件設(shè)備的快速發(fā)展，DNN出現(xiàn)并在大規(guī)模的圖像分類(lèi)與檢測(cè)任務(wù)中展現(xiàn)出強(qiáng)大的模型準(zhǔn)確度和特征學(xué)習(xí)能力，已被廣泛應(yīng)用在圖像識(shí)別、自然語(yǔ)言處理、建模等領(lǐng)域。它由多個(gè)層次的神經(jīng)網(wǎng)絡(luò)組成，通過(guò)卷積、池化、非線性激活等操作提取深層次的特征、提高算法性能，具有較強(qiáng)的數(shù)據(jù)表征能力[21]。與RNN、CNN不同，DNN是全連接的神經(jīng)元結(jié)構(gòu)，沒(méi)有RNN時(shí)間序列上的依賴(lài)關(guān)系，也不像CNN包含卷積單元。森林火災(zāi)中煙霧和火焰特征的學(xué)習(xí)和檢測(cè)是確定火災(zāi)位置的重要標(biāo)志，復(fù)雜因素下拍攝的視頻圖像質(zhì)量難以保證。因此，需要性能更高的算法進(jìn)行處理，而DNN不失為一個(gè)很好的選擇。

2 深度學(xué)習(xí)在森林火災(zāi)檢測(cè)中的應(yīng)用

在森林火災(zāi)檢測(cè)中，傳統(tǒng)的檢測(cè)方法難以避免數(shù)據(jù)的不可靠性和操作的盲目性、復(fù)雜性。深度學(xué)習(xí)通過(guò)樣本數(shù)據(jù)的自動(dòng)學(xué)習(xí)反應(yīng)數(shù)據(jù)差別的特征，執(zhí)行分類(lèi)、預(yù)測(cè)、識(shí)別等任務(wù)。通過(guò)多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡(jiǎn)單模型”即可完成復(fù)雜的分類(lèi)等學(xué)習(xí)任務(wù)[22]，為森林火災(zāi)檢測(cè)中的煙霧與火焰特征的提取、火災(zāi)與非火災(zāi)圖像的分類(lèi)、森林火災(zāi)的預(yù)判跟蹤等工作提供了新的手段。

2.1 煙霧與火焰特征提取

火焰是火災(zāi)最顯著的特征，火災(zāi)發(fā)生后火焰所處空間高大且火焰顏色、形狀分明并具有明顯的閃動(dòng)頻率，具有區(qū)別于煙霧和周?chē)鷺?shù)木的明顯特征。當(dāng)觀察到火焰時(shí)，需迅速采取撲救措施。Frizzi等[23]使用CNN作為火焰檢測(cè)器直接對(duì)原始RGB幀進(jìn)行操作，在最后一個(gè)池化層上使用滑動(dòng)窗口方法提取可疑區(qū)。然而，該模型對(duì)于定位火災(zāi)的位置還需要通過(guò)改進(jìn)數(shù)據(jù)集來(lái)進(jìn)一步提升準(zhǔn)確度。Faster R-CNN 是一種使用CNN進(jìn)行實(shí)時(shí)檢測(cè)的深度學(xué)習(xí)算法。張藝秋[24]將該方法應(yīng)用在森林火災(zāi)的識(shí)別與檢測(cè)上，其準(zhǔn)確率能夠達(dá)到99%以上，但沒(méi)有考慮到林火發(fā)生初期的煙霧特征。Akhloufi等[25]提出了一種Deep-Fire卷積神經(jīng)網(wǎng)絡(luò)算法，用于進(jìn)行森林野火的檢測(cè)和分割，在對(duì)火焰的檢測(cè)和分割過(guò)程中取得了較好的效果。

煙霧是火災(zāi)的預(yù)測(cè)標(biāo)志，在火災(zāi)發(fā)生初期，燃燒不完全會(huì)產(chǎn)生大量的煙霧，因此煙霧探測(cè)比火焰探測(cè)能提供更早的火災(zāi)警報(bào)。煙霧具有豐富的運(yùn)動(dòng)形態(tài)和變化尺寸，與周?chē)h(huán)境存在濃度差，且大量煙氣顆粒更易與空氣區(qū)分。Hohberg[26]使用GoogleNet卷積網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行煙霧顏色、紋理、形狀特征的學(xué)習(xí)和訓(xùn)練，并利用三維卷積來(lái)提取煙霧的時(shí)間動(dòng)態(tài)信息，取得了較好的檢測(cè)效果。陳俊周等[27]提出了一種級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)算法，對(duì)煙霧的靜態(tài)紋理特征使用空域和時(shí)域CNN識(shí)別，綜合分析了兩個(gè)不同域內(nèi)的識(shí)別結(jié)果判斷是否存在煙霧。該模型降低了復(fù)雜場(chǎng)景中的煙霧誤檢率，實(shí)時(shí)監(jiān)測(cè)速度也達(dá)到了使用要求。因此，針對(duì)于森林火災(zāi)復(fù)雜的場(chǎng)景，這種級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型具有很大的應(yīng)用價(jià)值。Filonenko等[28]以不同環(huán)境下的煙霧圖像為主要數(shù)據(jù)集，使用AlexNet、VGG、ResNet等幾種典型的二維卷積網(wǎng)絡(luò)對(duì)煙霧特征進(jìn)行訓(xùn)練和測(cè)試。試驗(yàn)表明：該方法在煙霧特征提取的準(zhǔn)確性方面具有較高的性能。Peng等[29]提出了一種結(jié)合提取煙霧可疑區(qū)域和深度學(xué)習(xí)的快速視頻火災(zāi)煙霧識(shí)別算法，該方法具有較高的分類(lèi)精度和速度，適用范圍更廣，并且對(duì)硬件設(shè)備要求更低。

攝像機(jī)監(jiān)測(cè)到的森林火災(zāi)視頻圖像是連續(xù)的，每一幀圖像中都包含著煙霧或火焰的動(dòng)態(tài)、尺寸大小、擴(kuò)散方向等信息。對(duì)于CNN而言，它可以從單個(gè)幀中自動(dòng)學(xué)習(xí)煙霧或火焰特征，但無(wú)法捕獲幀之間的運(yùn)動(dòng)信息，而RNN具有處理視頻序列的強(qiáng)大能力。針對(duì)森林火災(zāi)煙霧識(shí)別中的候選圖像序列分類(lèi)問(wèn)題，可以使用卷積神經(jīng)對(duì)候選塊提取煙霧空間特征，再利用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)圖像序列提取煙霧動(dòng)態(tài)特征。

2.2 火災(zāi)與非火災(zāi)圖像分類(lèi)

森林火災(zāi)與非火災(zāi)圖像的分類(lèi)是森林火災(zāi)檢測(cè)工作中的重要一環(huán)，是對(duì)煙霧或火焰特征提取后的森林火災(zāi)圖像的進(jìn)一步整理。正確分類(lèi)森林火災(zāi)與非火災(zāi)圖像，可為后續(xù)的森林火災(zāi)預(yù)判、跟蹤、定位等工作提供一個(gè)準(zhǔn)確、高質(zhì)量的數(shù)據(jù)集，提升整體的檢測(cè)速度。

森林火災(zāi)與非火災(zāi)圖像的分類(lèi)能夠以檢測(cè)到的煙霧與火焰特征為標(biāo)志進(jìn)行區(qū)分，從而判斷森林火災(zāi)是否發(fā)生。煙霧中的大量顆粒導(dǎo)致其與周?chē)h(huán)境存在明顯的濃度差，可根據(jù)濃度的不同將其與背景進(jìn)行區(qū)分。Pundir等[30]將深度置信網(wǎng)絡(luò)（Deep Belief Network,DBN）應(yīng)用在森林火災(zāi)煙霧的分類(lèi)檢測(cè)中，選擇了在野火煙霧視頻、山基煙霧視頻、室內(nèi)或室外煙霧視頻等不同場(chǎng)景下進(jìn)行測(cè)試，該方法的煙霧與非煙霧分類(lèi)準(zhǔn)確率達(dá)到了99.51%。在森林火災(zāi)與非火災(zāi)圖像分類(lèi)的研究上，森林火災(zāi)中的煙霧與薄霧，充分燃燒時(shí)的火焰顏色與楓樹(shù)、紅旗等顏色相近，在對(duì)它們的區(qū)分上存在一定難度。因此，火災(zāi)圖像與其他相似圖像的區(qū)分問(wèn)題需要特殊考慮，否則會(huì)導(dǎo)致森林火災(zāi)的誤判或者漏判，造成更大的損失。Sharma等[31]利用火災(zāi)圖像與非火災(zāi)圖像中的不同特征，訓(xùn)練ResNet網(wǎng)絡(luò)對(duì)火焰進(jìn)行檢測(cè)。同時(shí)，在ResNet網(wǎng)絡(luò)中添加了全連接層，提高了算法的健壯性和檢測(cè)精度，但也增加了訓(xùn)練時(shí)間。針對(duì)這一問(wèn)題，王勇等[32]提出一種基于稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)圖像分類(lèi)方法。稀疏自編碼是一種無(wú)監(jiān)督的特征學(xué)習(xí)算法，直接從圖像塊像素中提取火災(zāi)特征，該方法對(duì)森林火災(zāi)與相似圖像的分類(lèi)準(zhǔn)確率達(dá)到了79.5%，比于傳統(tǒng)的分類(lèi)方法準(zhǔn)確，但識(shí)別精度還需進(jìn)一步提高。針對(duì)森林火災(zāi)圖像背景復(fù)雜、識(shí)別率低的問(wèn)題，Liu等[33]使用精度較高的CNN+SVM分類(lèi)器對(duì)森林火災(zāi)區(qū)域進(jìn)行二次識(shí)別，識(shí)別率可達(dá)97.6 %，識(shí)別樣本圖片的平均時(shí)間僅為0.7 s，顯示出較高的有效性和魯棒性。

2.3 森林火災(zāi)的預(yù)判跟蹤

根據(jù)森林火災(zāi)中煙霧和火焰的特征，預(yù)判著火點(diǎn)的大小、位置、蔓延方向等信息，監(jiān)測(cè)跟蹤火情，為森林消防撲救工作提供更加精準(zhǔn)的火災(zāi)情況，減少火災(zāi)帶來(lái)的損失。Zhang等[34]基于深度學(xué)習(xí)算法結(jié)合局部信息與全局信息進(jìn)行森林火災(zāi)檢測(cè)，使用AlexNet網(wǎng)絡(luò)對(duì)局部塊和全局圖像進(jìn)行訓(xùn)練和測(cè)試，同時(shí)建立了火災(zāi)探測(cè)基準(zhǔn)。王飛[35]針對(duì)目前我國(guó)林火監(jiān)測(cè)系統(tǒng)在林火監(jiān)測(cè)過(guò)程中存在的各種問(wèn)題，提出了一種基于二維卷積神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)煙霧檢測(cè)算法，將網(wǎng)絡(luò)上搜集獲得的森林火災(zāi)煙霧視頻圖像作為數(shù)據(jù)集，然后使用Faster RCNN特征提取方法提取煙霧候選區(qū)，再使用3D卷積神經(jīng)網(wǎng)絡(luò)提取煙霧候選區(qū)的動(dòng)態(tài)特征，并據(jù)此算法設(shè)計(jì)了一套可以進(jìn)行林區(qū)環(huán)境監(jiān)測(cè)、煙霧識(shí)別和火災(zāi)自動(dòng)報(bào)警等功能的林火智能監(jiān)測(cè)系統(tǒng)。該研究結(jié)果進(jìn)一步證明了深度學(xué)習(xí)在森林火災(zāi)識(shí)別檢測(cè)中的適用性。

為有效避免直接調(diào)整森林火災(zāi)圖像大小帶來(lái)的特征損失，Zhao等[36]提出了一個(gè)15層的自學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）體系結(jié)構(gòu)“Fire_Net”，作為自學(xué)習(xí)的火災(zāi)特征提取器和分類(lèi)器，用于航空?qǐng)D像中核心火區(qū)火焰的快速定位和分割。對(duì)40幅野火抽樣圖像進(jìn)行測(cè)試，可有效地定位航空?qǐng)D像中的核心火區(qū)，即使是非常小的點(diǎn)火區(qū)也能很好地定位，且分割后的火災(zāi)圖像包含最大火災(zāi)特征，沒(méi)有嚴(yán)重失真或特征損失。Jindal等[37]使用LRCN（長(zhǎng)期遞歸卷積神經(jīng)網(wǎng)絡(luò)）來(lái)建立生成模型，作為強(qiáng)化學(xué)習(xí)模型動(dòng)態(tài)分析森林火災(zāi)衛(wèi)星圖像，預(yù)測(cè)火災(zāi)的蔓延趨勢(shì)、方向等，能夠快速、準(zhǔn)確地找到最佳切入點(diǎn)。

綜上所述，智能森林火災(zāi)監(jiān)控系統(tǒng)可為預(yù)測(cè)、跟蹤、定位火災(zāi)提供更加準(zhǔn)確的輸入信息，通過(guò)分析深度學(xué)習(xí)模型的特點(diǎn)，可將RNN模型用于處理視頻序列，CNN模型應(yīng)用在圖像特征提取與分類(lèi)上，而DNN模型對(duì)于深層次的特征提取與降維有顯著效果[38]。

3 結(jié)語(yǔ)

通過(guò)分析現(xiàn)有研究成果發(fā)現(xiàn)，深度學(xué)習(xí)技術(shù)在森林火災(zāi)檢測(cè)應(yīng)用中面臨的挑戰(zhàn)和問(wèn)題不容忽視。例如，煙霧或火焰動(dòng)態(tài)特征的提取能力與識(shí)別率低；森林火災(zāi)與非火災(zāi)圖像的數(shù)據(jù)不全面，分類(lèi)誤差大；在森林火災(zāi)圖像背景較為復(fù)雜時(shí)，算法的魯棒性和可擴(kuò)展性需要提升；火災(zāi)視頻圖像處理的速度、火災(zāi)點(diǎn)定位的準(zhǔn)確度還存在一定差距。因此，如何更早、更快、更準(zhǔn)確地檢測(cè)出火情是減少傷害最有效的方法，深度學(xué)習(xí)在森林火災(zāi)檢測(cè)應(yīng)用中未來(lái)的發(fā)展可以從以下方向探索：

1） 對(duì)于森林火災(zāi)檢測(cè)中深度學(xué)習(xí)模型本身而言，數(shù)據(jù)集的改進(jìn)、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的簡(jiǎn)化、參數(shù)的優(yōu)化、學(xué)習(xí)過(guò)程的強(qiáng)化、識(shí)別分類(lèi)正確率的提升以及算法的魯棒性，依然是今后研究的重點(diǎn)。

2） 區(qū)分與煙霧、火焰的相似物體特征。例如，在煙霧特征檢測(cè)中，會(huì)受到森林霧氣的干擾；在火焰特征檢測(cè)中，易受到陽(yáng)光、枯黃樹(shù)葉和紅楓樹(shù)葉的干擾。由于這些物體特征在顏色、紋理上與煙霧或者火焰的特征高度相似，很可能錯(cuò)判為火災(zāi)，導(dǎo)致信息傳遞出現(xiàn)誤差。因此，在與煙霧、火焰的相似物體特征的訓(xùn)練與檢測(cè)方面需要進(jìn)一步的研究。

3） 加強(qiáng)深度學(xué)習(xí)算法與無(wú)人機(jī)、傳感器技術(shù)的結(jié)合。智能森林火災(zāi)監(jiān)測(cè)系統(tǒng)是一個(gè)重要發(fā)展方向，無(wú)人機(jī)的實(shí)時(shí)性與遠(yuǎn)程操作性強(qiáng)，搭載傳感器后在一定范圍內(nèi)可根據(jù)火災(zāi)的溫度與燃燒氣味等特征進(jìn)行報(bào)警，是實(shí)時(shí)監(jiān)測(cè)森林火災(zāi)狀況的重要研究方向。