基于合成圖像的Faster R-CNN森林火災煙霧檢測

張 倩 周平平 王公堂 李天平

( 1) 山東師范大學物理與電子科學學院，250358，濟南； 2)鹽城生物工程高等職業(yè)技術(shù)學校，224051，江蘇鹽城 )

1 引 言

森林火災對自然環(huán)境和公共安全構(gòu)成嚴重威脅.森林火災的早期探測對于有效的撲救是非常重要的，因為森林火災一旦達到一定的規(guī)模就可能難以控制.與衛(wèi)星監(jiān)測相比，建立在地面上的視頻火災探測系統(tǒng)可以更快地探測森林火災.

根據(jù)探測對象的不同，基于視頻的火災探測方法可分為火焰探測和煙霧探測兩大類.由于森林火災產(chǎn)生的煙霧在火災前是可見的，因此視頻煙霧檢測在森林防火工程中越來越受到重視.傳統(tǒng)的視頻煙霧檢測方法主要是將靜態(tài)特征和動態(tài)特征相結(jié)合進行煙霧識別.煙霧的典型特征包括顏色、紋理、運動方向等等.Genoves[1]等人研究了YUV空間中的煙霧顏色特性.Yuan[2]提出了一種利用LBP和LBPV方差提取煙霧紋理特征的方法.Toreyin[3]利用空間小波變換對煙霧的半透明進行了監(jiān)測.Yu[4]利用光流計算來計算煙霧的運動特征.Jia[5]提出了一種基于顯著性的視頻序列煙霧檢測方法.不同的方法可以在特定的圖像數(shù)據(jù)集中獲得良好的性能.然而，由于算法的魯棒性較差，在不同的圖像數(shù)據(jù)集中性能往往較差，這些方法很難消除實際工程應用中的復雜干擾.

近年來，人工智能技術(shù)和計算機視覺技術(shù)迅速發(fā)展.基于卷積神經(jīng)網(wǎng)絡(CNN)的深度學習在圖像分類、目標檢測、人臉識別、語義分割等計算機視覺領(lǐng)域取得了成功的應用.與傳統(tǒng)的計算機視覺方法相比，深度學習算法避免了人工的復雜度，可以從大量的圖像數(shù)據(jù)集中學習復雜的表示.因此，我們有理由相信CNN也可以促進視頻煙霧檢測的發(fā)展.最近，研究人員嘗試使用CNN來檢測森林火災.Frizzi[6]提出了一個9層卷積神經(jīng)網(wǎng)絡，用于識別視頻中的火災或煙霧.Hohberg[7]訓練卷積神經(jīng)網(wǎng)絡來識別野外火災煙霧.Fu[8]提出了一種由完整圖像CNN和局部修補NN分類器組成的森林火災檢測模型，這兩個分類器共享相同的深度卷積神經(jīng)網(wǎng)絡.然而，這些框架的重點是在圖像分類上，需要首先滑動窗口或區(qū)域建議生成候選塊.Faster R-CNN是一個非常成功的通用對象檢測框架.我們可以利用它同時識別和定位視頻序列中的煙霧.與此同時，以前使用的數(shù)據(jù)集仍然相對較小，并且種類較為單調(diào).用于訓練的煙霧圖像一般是通過網(wǎng)絡和實驗獲得的，對于CNN模型的訓練其規(guī)模和多樣性是有限的.由于缺乏數(shù)據(jù)，Labati[9]等人提出通過生成插入到無煙圖像序列中的煙云來創(chuàng)建煙霧圖像序列.

本文采用兩種方法合成了大量的森林煙霧圖像，目的是驗證人工煙霧圖像訓練CNN的有效性.第一種方法是從綠色背景中提取真實煙霧，并將其插入森林背景.第二種方法是使用煙霧模擬軟件合成煙霧，并像前面一樣插入森林背景.

2 煙霧圖像

2.1真實圖像+森林背景為了在森林背景圖像中插入煙霧，需要從煙霧圖像中提取整個圖像區(qū)域中煙霧的紋理.但是根據(jù)煙霧的運動特點或亮度閾值提取的煙霧區(qū)域并不準確，這是由于煙霧形狀和環(huán)境光照度是在不斷變化的，這些閾值很難確定.

為了準確提取煙霧，我們選取以室內(nèi)的綠色幕布為背景的煙霧視頻，如圖1所示.首先，從圖像中提取運動像素和區(qū)域.它是通過使用Collins等人[10]開發(fā)的背景估計方法來確定的.在該方法中，從視頻的圖像幀In和背景圖像Bn中遞歸地估計出時間瞬間(n+1)的背景圖像Bn+1，如式(1)所示：

(1)

其中,In(x,y)表示第n個視頻幀中的像素In，a是介于0和1之間的參數(shù).移動像素是通過從背景圖像中減去當前圖像來確定的.

(2)

T是根據(jù)背景場景設(shè)置的閾值.

森林灌木燃燒產(chǎn)生的煙幾乎接近灰色.根據(jù)Chen[11]的研究，使用基于顏色的規(guī)則進一步檢查移動像素X(x,y).他認為煙霧通常呈現(xiàn)灰色的條件是R±a=G±a=B±a以及HIS顏色模型中Iint(強度)的范圍是K1≤Iint≤K2.K1和K2是用于確定煙霧像素的閾值.該規(guī)則意味著煙霧像素的三個分量R、G和B相等.利用綠色背景，可以有效地提取煙霧區(qū)域.在無煙區(qū)域，G分量高于R、B分量.在煙霧區(qū)，隨著煙霧濃度的增加，G分量逐漸接近R分量和B分量.從10個綠色背景的煙霧視頻中選取2 800個煙霧幀.煙霧識別的判定函數(shù)是像素點(i，j)的判定函數(shù).

m=max{R(i,j),G(i,j),B(i,j)},

(3)

n=min{R(i,j),G(i,j),B(i,j)},

(4)

(5)

如果像素X(x,y)同時滿足條件m-n

圖1 煙霧提取示例圖

在森林背景圖像中插入煙霧，實際上增加了像素的亮度，這與煙霧濃度和背景亮度有關(guān).例如，在明亮的天空中煙霧并不明顯.將煙霧插入森林背景圖像中，為了保證煙霧圖像的多樣性，采用2 460個煙霧幀提取煙霧.煙霧在形態(tài)上自由變化，將變化的煙霧隨地插入到10 000張森林背景圖像中.每個合成的森林煙霧圖像只包含一縷煙霧，在插入過程中自動給出煙霧的位置.圖2顯示了用真實煙霧生成的森林煙霧圖像的.可以看出，煙霧是真實的，并且用紅色方框?qū)⑵涠ㄎ怀鰜?

圖2 真實煙霧生成的森林煙霧圖像

2.2模擬圖像+森林背景我們建立一個途徑用來合成帶有綠色背景的煙霧圖像，如圖3所示.煙霧模擬軟件是Blender.煙從粒子系統(tǒng)發(fā)射到一個區(qū)域，由該區(qū)域內(nèi)的氣流控制煙的運動.為了增加多樣性，隨機設(shè)定初始流量、氣流、照明度和視角.模擬實驗獲得了860張合成煙霧照片.使用2.1中的方法，將合成煙霧插入到10 000張森林背景圖像中.如圖4所示，為合成煙霧生成的森林煙霧圖像的實例，可以看出，由于邊界更加清晰，紋理更加平滑，森林煙霧圖像中的合成煙霧與真實煙霧相比是不真實的.但是由于合成煙霧圖像的背景更加清晰，紅色方框所示的煙霧位置更加準確.

圖3 煙霧模擬圖示

圖4 虛擬煙霧生成的森林煙霧圖像

2.3測試圖像為了比較兩種方法的有效性，我們將使用真實的煙霧視頻進行測試.圖5為測試圖像示例.

圖5 測試圖像示例

3 Faster R-CNN

Faster R-CNN[12]可以簡單地看作是由區(qū)域建議網(wǎng)絡和具有卷積神經(jīng)網(wǎng)絡特征的快速區(qū)域組成的系統(tǒng).Faster R-CNN是一個端對端的完整網(wǎng)絡，它將輸入的煙霧圖像直接送到卷積神經(jīng)網(wǎng)絡中計算得到森林煙霧圖像的特征圖，最后一層特征圖像會送到區(qū)域推薦網(wǎng)絡進行候選區(qū)域的推薦，將推薦得出的候選區(qū)域框和其對應的特征區(qū)域經(jīng)過Fast R-CNN算法中提出的感興趣池化層合并為固定維度大小的特征矢量，最后將此特征矢量送入分類器和邊框回歸量計算器中同時進行分類判斷和邊框回歸修正.如圖6所示，F(xiàn)aster R-CNN算法的流程框架圖.

Faster R-CNN網(wǎng)絡的訓練過程為：第一步，訓練RPN網(wǎng)絡，RPN網(wǎng)絡實際上是一個全卷積網(wǎng)絡，其初始化模型使用的是ImageNet已經(jīng)訓練好的模型，然后端對端進行訓練.第二步，單獨訓練Fast R-CNN網(wǎng)絡模塊，該模塊同樣使用ImageNet預先訓練好的模型進行初始化.第三步，使用訓練后的Fast R-CNN網(wǎng)絡對RPN進行初始化，在訓練RPN網(wǎng)絡時保持共享的卷積層不變，僅對RPN獨有的網(wǎng)絡層進行微調(diào).最后，訓練Fast R-CNN網(wǎng)絡，訓練時也要使共享卷積層保持不變，僅對Fast R-CNN網(wǎng)絡獨有的網(wǎng)絡層進行微調(diào).至此，F(xiàn)aster R-CNN網(wǎng)絡結(jié)構(gòu)的訓練得以完成.

圖6 Faster R-CNN算法的流程框架圖

本文的森林煙霧圖像檢測方法對Faster R-CNN網(wǎng)絡的訓練采用的是caffe框架.在訓練網(wǎng)絡時采用反向傳播算法[13]和隨機梯度下降算法[14]對網(wǎng)絡參數(shù)進行微調(diào).選擇提取特征的卷積神經(jīng)網(wǎng)絡是ZF網(wǎng)絡[15].使用最小批隨機梯度下降算法進行訓練.設(shè)置最小批的大小為100張圖片一組，初始化學習率為0.001，學習率每2 000次迭代乘一次0.1.

圖7為Faster R-CNN森林煙霧檢測流程圖.當我們使用Faster R-CNN來檢測真實場景中的煙霧時，從真實森林火災場景中獲得的真實森林煙霧圖像可以增加訓練數(shù)據(jù)的豐富性.我們在真實煙霧+森林背景數(shù)據(jù)集(RF數(shù)據(jù)集)和模擬煙霧+森林背景數(shù)據(jù)集(SF數(shù)據(jù)集)上訓練Faster R-CNN森林煙霧檢測模型.經(jīng)過訓練后，我們在第2.3節(jié)中提到的測試圖像對經(jīng)過訓練的森林煙霧檢測模型進行了檢測，結(jié)果表明Faster R-CNN模型可以有效地檢測出森林背景下的煙霧區(qū)域.

圖7 使用Faster R-CNN進行森林煙霧探測的流程圖

4 實驗結(jié)果和分析

4.1FasterR-CNN與FastR-CNN本文的實驗硬件環(huán)境：Intel(R) core(TM)i5-6500 CPU @ 3.20GHz,8G安裝內(nèi)存；軟件環(huán)境：64位操作系統(tǒng)，MatlabR2014a，Caffe深度學習框架和CPU驅(qū)動等.

將相同的100張合成森林煙霧圖像放入Fast R-CNN模型中運行，設(shè)置的條件與參數(shù)均與Faster R-CNN一致.實驗結(jié)果顯示：Fast R-CNN檢測時間為200 s，F(xiàn)aster R-CNN的檢測時間為20 s.從而得出，F(xiàn)aster R-CNN的檢測時間比Fast R-CNN快了十倍.因此使用Faster R-CNN檢測森林中的煙霧的優(yōu)點如下：第一，不需要手動提取特性.第二，原始圖像作為整個網(wǎng)絡的輸入，無需進行預處理或塊分割，因此處理速度比Fast R-CNN更快，F(xiàn)aster R-CNN檢測率也比fast R-CNN高，性能更加優(yōu)異.

4.2真實模型與合成模型分別對RF數(shù)據(jù)集訓練的森林煙霧探測模型(真實模型)和SF數(shù)據(jù)集訓練的森林煙霧探測模型(合成模型)進行了交叉測試.結(jié)果如表1所示.兩種模型在各自的訓練數(shù)據(jù)集上都有很高的檢測率.通過對真實分類結(jié)果中的非煙霧圖像的檢查，我們發(fā)現(xiàn)幾乎所有煙霧都隱藏在白色背景中，如圖8(a)和(b)所示.無論是在RF數(shù)據(jù)集還是SF數(shù)據(jù)集中，可以發(fā)現(xiàn)大約30個圖像的外觀沒有煙霧，因為煙霧是隨機插入的.排除了這一因素的干擾，本文重點研究了假非的數(shù)目，即圖像存在煙霧，但隱藏在白色背景中沒有檢測出來，這是真正對煙霧檢測的誤判.

雖然SF數(shù)據(jù)集中的圖像在視覺上并不真實，但由于真實合成這一分類有541個假非，因此合成模型的檢測性能優(yōu)于真實模型.由于真實煙霧圖像背景比較復雜，插入算法中提供的煙霧位置有時不準確.因此，實際模型的一些標識框太大，如圖7所示，合成模型與真實模型檢測性對比圖，(a)和(b)為白色背景中隱藏的煙霧，(c)為RF據(jù)集中框出的煙霧，(d)為真實模型識別后框出的煙霧.

表1 RF數(shù)據(jù)集和SF數(shù)據(jù)集的交叉測試結(jié)果

圖8 合成模型與真實模型檢測性對比圖

真實模型和合成模型對森林背景中煙霧的檢測率對比如表2所示，測試結(jié)果示例如圖9所示.由于測試視頻中的每個幀都包含煙霧，表2中測試結(jié)果中的非煙霧圖像都為誤判.結(jié)果表明，合成森林煙霧圖像訓練模型在實際應用中是有效的.合成模型的檢測性能再次優(yōu)于真實模型.視頻2的檢測率較低，這意味著由于訓練數(shù)據(jù)缺乏相似的樣本，該模型對薄煙不敏感.利用幀統(tǒng)計算法可以解決這一問題，進一步豐富訓練數(shù)據(jù)集.

圖9 檢測結(jié)果示例

模型測試集采樣煙霧非檢測率(%)真實視頻 1168166298.81合成視頻 11681680100.00真實視頻 223812311551.68合成視頻 223813410456.30真實視頻 3129953473.64合成視頻 3129127298.44真實視頻 473730100.00合成視頻 473730100.00

5 結(jié) 語

本文采用Faster R-CNN檢測森林中的煙霧，F(xiàn)ASTER R-CNN的優(yōu)異性主要是設(shè)計了提取候選區(qū)域的網(wǎng)絡RPN，代替了費時的選擇性搜索，使得檢測速度大幅提高.由于用于深度模型訓練的森林火災煙霧圖像的規(guī)模和多樣性是有限的，因此我們將真實煙霧和模擬煙霧兩種煙霧類型分別插入森林背景，生成了合成森林煙霧圖像.實際對森林煙霧圖像測試得到的結(jié)果證明了該方法的可行性.它不僅解決了數(shù)據(jù)缺乏的問題，而且消除了樣本標注的工作.對于這兩種煙霧生成方法，雖然第二種方法將模擬煙霧插入森林背景合成的圖像在視覺上不真實，但性能較好.原因是第二種方法提供的煙霧位置比第一種方法更準確，可以通過改進森林煙霧圖像的合成過程或考慮將此解決方案擴展到視頻序列來進一步提高性能.