面向森林火災(zāi)煙霧識(shí)別的深度信念卷積網(wǎng)絡(luò)

杜嘉欣 常青 劉鑫

摘? 要： 對(duì)于CNN的圖像識(shí)別，采用隨機(jī)初始化網(wǎng)絡(luò)權(quán)值的方法很容易收斂達(dá)到局部最優(yōu)值。針對(duì)林火中的煙霧圖像識(shí)別，提出一種結(jié)合無監(jiān)督和有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)權(quán)值預(yù)訓(xùn)練算法。首先通過使用DBN預(yù)學(xué)習(xí)得到的特征初始化CNN的權(quán)值;然后通過卷積、池化等操作，提取訓(xùn)練樣本的特征，并采用全連接網(wǎng)絡(luò)對(duì)特征進(jìn)行分類;最后計(jì)算分類損失函數(shù)并優(yōu)化網(wǎng)絡(luò)參數(shù)。實(shí)驗(yàn)的訓(xùn)練結(jié)果顯示，基于DBN?CNN的森林火災(zāi)煙霧識(shí)別的準(zhǔn)確率達(dá)到了98.5%，相比于其他算法其準(zhǔn)確率更高。

關(guān)鍵詞： 深度信念網(wǎng)絡(luò); 森林火災(zāi)監(jiān)控; 煙霧識(shí)別; 權(quán)值初始化; 特征提取; 特征分類

中圖分類號(hào)： TN911.73?34; TP183? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）13?0044?05

DBN?CNN for forest fire smoke recognition

DU Jiaxin1，? CHANG Qing1，? LIU Xin2

（1. College of Information and Computer， Taiyuan University of Technology， Taiyuan 030024， China;

2. Network Management Center Wireless Room， Unit 32152 of PLA， Shijiazhuang 050000， China）

Abstract： For image recognition of convolutional neural networks （CNN）， the method of randomly initializing network weights can easily converge to local optimal values. In order to realize the smoke image recognition of forest fires， a network weight pre?training algorithm combining unsupervised and supervised learning is proposed in this paper. The weight of CNN is initialized by using the features obtained by the deep belief network （DBN） pre?learning. Then， the features of the training samples are extracted by means of the convolution， pooling and other operations， and the extracted features are classified by the fully connected network. Finally， the classification loss function is calculated and the network parameters are optimized. The experimental training results show that the accuracy of forest fire smoke recognition based on DBN?CNN reaches 98.5%， which is higher than that of other algorithms.

Keywords： deep belief network; forest fire monitoring; smoke recognition; weight initialization; feature extraction; feature classification

0? 引? 言

火災(zāi)對(duì)人類社會(huì)造成了無可比擬的重大損失，每年因?yàn)榛馂?zāi)而造成的人員傷亡不計(jì)其數(shù)。僅2018年1—8月，全國(guó)共發(fā)生失火事件16萬起，亡933人，傷560人，直接財(cái)產(chǎn)損失折合人民幣高達(dá)20.53億元?？v觀世界范圍，同年3月，印度南部山區(qū)發(fā)生大規(guī)模森林火災(zāi)，至少導(dǎo)致9人死亡，18人受傷。同年7月，加拿大出現(xiàn)嚴(yán)重的森林火災(zāi)，累計(jì)超過3 000人接受疏散。火災(zāi)嚴(yán)重危及了公共的生命安全，造成了大量經(jīng)濟(jì)損失、大氣環(huán)境污染、生態(tài)環(huán)境破壞、自然景觀毀壞等問題。因此，第一時(shí)間準(zhǔn)確地發(fā)現(xiàn)火災(zāi)的源頭，對(duì)火災(zāi)的預(yù)警和撲救工作意義重大。與室內(nèi)火災(zāi)成熟的實(shí)時(shí)監(jiān)控不同，野外火災(zāi)由于各種因素的限制，實(shí)時(shí)監(jiān)控技術(shù)還不成熟。計(jì)算機(jī)技術(shù)的發(fā)展和圖像識(shí)別技術(shù)的廣泛應(yīng)用給戶外火災(zāi)的實(shí)時(shí)監(jiān)控帶來了新的轉(zhuǎn)機(jī)，未來將通過視頻監(jiān)控智能地進(jìn)行火情監(jiān)控。而野外火災(zāi)由于自身具有隱蔽性的特點(diǎn)，直接對(duì)火焰進(jìn)行監(jiān)測(cè)作用不大，但對(duì)火災(zāi)發(fā)生時(shí)產(chǎn)生的大量煙霧進(jìn)行監(jiān)測(cè)則可以有效地進(jìn)行野外火災(zāi)的火險(xiǎn)預(yù)警，因而提升煙霧識(shí)別率就成為了當(dāng)今研究的重要方向。

近年來，隨著計(jì)算機(jī)性能的不斷提高，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用在各個(gè)領(lǐng)域，已成為模式識(shí)別應(yīng)用的研究熱點(diǎn)。根據(jù)樣本對(duì)象的類別標(biāo)簽是否已知，深度學(xué)習(xí)方法通?？煞譃闊o監(jiān)督的學(xué)習(xí)方法和有監(jiān)督的學(xué)習(xí)方法。由深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）代表的無監(jiān)督學(xué)習(xí)方法已被普遍用于手寫識(shí)別[1]、圖像識(shí)別[2]、音頻分類[3]和語音識(shí)別[4]領(lǐng)域。與此同時(shí)，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為代表的有監(jiān)督學(xué)習(xí)方法及各種改進(jìn)算法普遍應(yīng)用到圖像分類[5]、視頻分析[6]、自然語言處理[7]等任務(wù)中。

深度學(xué)習(xí)與視頻煙霧檢測(cè)的基本模式不同，它區(qū)別于以往傳統(tǒng)模式自發(fā)地從大數(shù)據(jù)里學(xué)習(xí)樣本特征的方法，而是將特征和分類器一并進(jìn)行優(yōu)化。文獻(xiàn)[8]所提出的煙霧檢測(cè)框架將靜態(tài)紋理的信息和動(dòng)態(tài)紋理的信息融合在了一起，將初始的圖像輸入為靜態(tài)的紋理，同時(shí)將初始圖像的光流輸入為動(dòng)態(tài)的紋理。文獻(xiàn)[9]將CNN用于火焰識(shí)別和煙霧識(shí)別。文獻(xiàn)[10]使用深度規(guī)范化的卷積神經(jīng)網(wǎng)絡(luò)（DNCNN）進(jìn)行煙霧識(shí)別，通過將傳統(tǒng)CNN中的卷積層改進(jìn)為歸一化的卷積層，有效地解決了網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的梯度分散和過擬合的問題，從而提升了煙霧圖像檢測(cè)的效果。同時(shí)，通過數(shù)據(jù)增強(qiáng)訓(xùn)練樣本的方法解決了正負(fù)樣本的不平衡。然而，現(xiàn)有的CNN及其改進(jìn)算法如隨機(jī)池化，仍然存在諸如卷積核參數(shù)初始化不合理和較長(zhǎng)訓(xùn)練時(shí)間的缺陷。本文結(jié)合無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)，提出基于深度信念的卷積神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練方法，通過有效地初始化設(shè)置CNN，縮短其訓(xùn)練過程，提高了算法的學(xué)習(xí)效率。

1? 深度信念網(wǎng)絡(luò)

DBN在2006年由Hinton等人提出，是一種高連通的概率生成模型，具有大量隱含層，且隱含層間具有強(qiáng)相關(guān)性，其基本思想是一種基于貪婪算法的無監(jiān)督學(xué)習(xí)，由多個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）組成。DBN將每個(gè)內(nèi)層視為一個(gè)RBM，RBM[11]是一種特殊類型的馬爾科夫隨機(jī)場(chǎng)（Markov Random Fired，MRF），它包含兩種類型的層：一層是伯努利的隨機(jī)隱層;另一層是隨機(jī)可見層（伯努利或高斯）。限制玻爾茲曼機(jī)具有隱藏和可見連接特點(diǎn)。在RBM中，能量函數(shù)[E（v，h;θ）]用于描述聯(lián)合分布[P（v，h;θ）]，其中，[v]為可見單元，[h]為隱藏單元，[θ]為定義給定的模型參數(shù)。參數(shù)的數(shù)學(xué)描述如下所示：

這里，[Z]是正態(tài)因子或者配分函數(shù)，數(shù)學(xué)上定義為：

可見向量[v]有一個(gè)邊際概率，數(shù)學(xué)上描述為：

對(duì)于RBM，根據(jù)伯努利可見和伯努利隱藏，能量為：

式中：[aj]和[bi]為偏置項(xiàng);[vi]和[hj]分別為可見單元和隱藏單元;[wij]對(duì)應(yīng)[vi]和[hj]之間的對(duì)稱相互作用項(xiàng)。

條件概率用數(shù)學(xué)方法計(jì)算為：

類似地，基于Gauss?Bernoulli的RBM的能量計(jì)算為：

條件概率為：

2? 卷積神經(jīng)網(wǎng)絡(luò)

CNN作為深度學(xué)習(xí)的一個(gè)分支，是前饋神經(jīng)網(wǎng)絡(luò)的一種。CNN有6個(gè)吸引人的特點(diǎn)：

1） 局部感知。在圖像空間中，局部像素具有密切的相關(guān)性，而距離像元之間的相關(guān)性不明顯，所以不需要每個(gè)神經(jīng)節(jié)點(diǎn)都感知全局圖像，而是只感知局部區(qū)域，然后在較高的層次上逐步整合局部圖像信息。

2） 權(quán)值共享。在不同的卷積區(qū)域中，CNN使用權(quán)值共享來減少計(jì)算。因?yàn)椴煌木植烤矸e區(qū)域具有相同的統(tǒng)計(jì)屬性，所以可以在不同的卷積區(qū)域使用相同的特征提取方法。

3） 濾波器。CNN構(gòu)建了許多過濾器來提取各種各樣的特征。該策略克服了共享權(quán)值特征提取具有單一性的缺點(diǎn)（不同卷積區(qū)域使用同一個(gè)濾波器）。

4） 二級(jí)抽樣。為了降低計(jì)算復(fù)雜度，CNN使用子采樣（也稱為下采樣）提取平移不變性的特征。

5） 完全連接。CNN將經(jīng)過多次卷積和池化后提取的抽象特征在高層進(jìn)行連接。

6） Softmax策略。CNN采用適用于雙分類和多分類的Softmax進(jìn)行分類。

2.1? CNN結(jié)構(gòu)

LeNet5[12]是典型的8層CNN。整個(gè)網(wǎng)絡(luò)主要由3個(gè)卷積層、3個(gè)池化層、1個(gè)全連通層和1個(gè)輸出層組成。

LeNet5的結(jié)構(gòu)圖框架如圖2所示。

具體過程為：

1） LeNet5的輸入為大小是32×32的灰度圖像。

2） C1層為卷積層，有6個(gè)尺寸為28×28的特征圖。圖中的每個(gè)神經(jīng)元分別連接到輸入層中的5×5鄰域。

3） S2層是下采樣層，有6個(gè)大小為14×14的特征圖。特征圖中的每個(gè)單元連接到C1中相應(yīng)特征映射的2×2鄰域。

4） C3將S2的輸出與16個(gè)大小為5×5的濾波器進(jìn)行卷積，輸出16個(gè)大小為10×10的特征圖。

5） S4與S2相似，輸出16個(gè)大小為5×5的特征圖。

6） C5輸出120個(gè)尺寸為1×1的特征圖。

7） F6表示與C5輸出完全連接，總參數(shù)為10 164。

8） LeNet的輸出由歐幾里得徑向基函數(shù)單元[е]組成，輸出的大小為10個(gè)類，分別用數(shù)字0～9表示。

2.2? 卷積層

卷積層作為CNN的重要組成部分，起著至關(guān)重要的作用。在卷積層中[13]將前一層的特征映射與卷積核進(jìn)行卷積后，通過激活函數(shù)得到輸出特征映射。每個(gè)輸出映射通過卷積與多個(gè)輸入映射相結(jié)合。一般來說，有：

式中：[?]表示層數(shù);kernel代表過濾器;[Mj]是輸入映射的一個(gè)選擇;[b]表示各層的偏置。每個(gè)輸出映射都有其附加偏差，輸入映射與不同的內(nèi)核進(jìn)行卷積得到特定的輸出映射。

2.3? 池化層

3? 基于DBN?CNN的森林火災(zāi)煙霧識(shí)別算法

傳統(tǒng)CNN訓(xùn)練時(shí)，卷積核通過對(duì)輸入信號(hào)的激活進(jìn)行卷積濾波，以在卷積核的作用下獲得當(dāng)前層的卷積輸出特性。卷積核學(xué)習(xí)的效果直接影響了是否可以提取有效的判別圖像特征。當(dāng)前常見卷積核的設(shè)置方法通常使用隨機(jī)初始化設(shè)置或在大的數(shù)據(jù)集中進(jìn)行預(yù)訓(xùn)練。

本文提出的基于DBN?CNN的森林火災(zāi)煙霧識(shí)別算法結(jié)合了無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)的方法，通過深度置信網(wǎng)絡(luò)對(duì)提取的樣本進(jìn)行無監(jiān)督特征提取，將獲得的一組有效權(quán)重對(duì)CNN進(jìn)行逐層初始化，使得第一次前向計(jì)算得到的特征基底更接近全局最優(yōu)值，有效解決了在梯度下降時(shí)陷入局部極小值的問題，模型學(xué)習(xí)難度的降低幅度明顯，整體損失函數(shù)得以更快收斂到全局最優(yōu)值。算法流程圖如圖3所示。

4? 實(shí)驗(yàn)設(shè)置及分析

4.1? 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)所使用的數(shù)據(jù)主要來源是煙霧公開數(shù)據(jù)和網(wǎng)絡(luò)采集，實(shí)驗(yàn)所使用的數(shù)據(jù)集為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。

4.2? 實(shí)驗(yàn)設(shè)置

本文所設(shè)置的對(duì)比實(shí)驗(yàn)有三個(gè)，即基于深度信念網(wǎng)絡(luò)的森林火災(zāi)煙霧識(shí)別、基于卷積神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)煙霧識(shí)別和基于DBN?CNN的森林火災(zāi)煙霧識(shí)別。為方便描述，本文依次稱之為DBN方法、CNN方法和DBN?CNN方法。

DBN方法對(duì)圖像進(jìn)行預(yù)處理歸一化，并將其置于深度信念網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，該方法使用了一個(gè)包含2個(gè)RBM層的訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

CNN方法主要包括3個(gè)卷積層，卷積濾波器的大小為3×3和5×5兩種，3個(gè)下采樣層以及1個(gè)全連接層。卷積層與下采樣層的連接采用的是交替連接的方式，然后與全連接層相連以進(jìn)行模型的訓(xùn)練。

DBN?CNN方法通過深度信念網(wǎng)絡(luò)對(duì)提取的樣本進(jìn)行無監(jiān)督特征提取，而后將獲得的一組有效權(quán)重對(duì)CNN進(jìn)行逐層初始化。

為了訓(xùn)練和測(cè)試，從10個(gè)視頻中選擇了10 000幀，其中7個(gè)視頻為森林火災(zāi)煙霧視頻，3個(gè)為非煙霧視頻。非煙霧視頻由霧、沙塵暴和云組成，在霧、云、沙塵暴等情況下方法表現(xiàn)良好。這是因?yàn)闊煹牧硪粋€(gè)特性總是處于運(yùn)動(dòng)狀態(tài)。從含煙視頻中提取了5 000幀，從無煙視頻中提取了5 000幀。由于數(shù)據(jù)集是由10 000幀組成的，所以煙霧和非煙霧類的分布是相等的，如圖4和圖5所示。其中，70%的幀用于系統(tǒng)訓(xùn)練，其余的幀用于測(cè)試。訓(xùn)練和測(cè)試的選擇標(biāo)準(zhǔn)是幀必須是連續(xù)的，這樣幀內(nèi)的時(shí)間信息才能保留下來，然后作為特征檢索，將這些幀序列裁剪并標(biāo)記為含煙和無煙。目前的方法總共使用了10 000幀，其中，7 000幀用于訓(xùn)練，3 000幀用于測(cè)試，無煙視頻的背景類似于含煙視頻。

4.3? 實(shí)驗(yàn)結(jié)果與分析

在數(shù)據(jù)集下DBN，CNN和DBN?CNN三種方法的折線圖如圖6所示。

三種方法的實(shí)驗(yàn)結(jié)果比較見表1。

本文方法通過預(yù)先對(duì)部分樣本圖片進(jìn)行預(yù)訓(xùn)練，提高了特征提取及權(quán)值更新的精度，在訓(xùn)練精度和測(cè)試精度上有優(yōu)勢(shì)，訓(xùn)練精度達(dá)到99.47%，測(cè)試精度達(dá)到98.52%，證實(shí)此方法可以較好地應(yīng)用于森林火災(zāi)煙霧識(shí)別領(lǐng)域。

5? 結(jié)? 語

針對(duì)林火中的煙霧圖像識(shí)別，本文提出了一種結(jié)合無監(jiān)督和有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)權(quán)值預(yù)訓(xùn)練算法。實(shí)驗(yàn)的訓(xùn)練結(jié)果顯示，基于DBN?CNN的森林火災(zāi)煙霧識(shí)別的準(zhǔn)確率達(dá)到了98.5%，相比于其他算法其準(zhǔn)確率更高。本文所提出的使用深度信念網(wǎng)絡(luò)優(yōu)化初始權(quán)值并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行森林火災(zāi)煙霧識(shí)別的方法，模型結(jié)構(gòu)簡(jiǎn)易，便于實(shí)現(xiàn)，在森林火災(zāi)煙霧識(shí)別領(lǐng)域較現(xiàn)有算法有一定的優(yōu)勢(shì)。

下一步工作將繼續(xù)對(duì)無監(jiān)督學(xué)習(xí)的過程進(jìn)行強(qiáng)化，使該方法在樣本圖片不充足的條件下，將誤差維持在較低的范圍內(nèi)。

注：本文通訊作者為常青。

參考文獻(xiàn)

[1] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J].Science， 2006， 313（5786）： 504?507.

[2] SIHAG S， DUTTA P K. Faster method for deep belief network based object classification using DWT [EB/OL]. [2015?11?19]. https：//arxiv.org/abs/1511.06276.

[3] TORRES?CARRASQUILLO P A， SINGER E， KOHLER M A， et al. Approaches to language identification using Gaussian mixture models and shifted delta cepstral features [EB/OL]. [2016?04?27]. https：//www.docin.com/p?1550291557.html.

[4] COLLOBERT R， BENGIO S. SVMTorch： support vector machines for large?scale regression problems [EB/OL]. [2001?09?01]. https：//dl.acm.org/doi/10.1162/15324430152733142.

[5] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM， 2017， 60（6）： 84?90.

[6] SIMONYAN K， ZISSERMAN A. Two?stream convolutional networks for action recognition in videos [EB/OL]. [2014?11?13]. https：//arxiv.org/pdf/1406.2199.pdf.

[7] COLLOBERT R， WESTON J， BOTTOU L， et al. Natural language processing （almost） from scratch [J]. Journal of machine learning research， 2011， 12（1）： 2493?2537.

[8] 陳俊周，汪子杰，陳洪瀚，等.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)態(tài)煙霧檢測(cè)[J].電子科技大學(xué)學(xué)報(bào)，2016，45（6）：992?996.

[9] FRIZZI S， KAABI R， BOUCHOUICHA M， et al. Convolutional neural network for video fire and smoke detection [C]//? Proceedings of the IECON 2016 ? 42nd Annual Conference of the IEEE Industrial Electronics Society. Florence， Italy： IEEE， 2016： 877?882.

[10] YIN Zhijian， WAN Boyang， YUAN Feiniu， et al. A deep normalization and convolutional neural network for image smoke detection [J]. IEEE access， 2017， 5： 18429?18438.

[11] HINTON G E. A practical guide to training restricted Boltzmann machines [J]. Momentum， 2010， 9（1）： 926?947.

[12] LECUN Y L， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[13] SCHMIDHUBER J. Deep learning in neural networks： an overview [J]. Neural networks， 2015， 61： 85?117.