基于顏色和紋理特征的森林火災(zāi)圖像識(shí)別

李巨虎 范睿先 陳志泊

(北京林業(yè)大學(xué) 信息學(xué)院，北京 100083)

森林火災(zāi)是對(duì)環(huán)境和經(jīng)濟(jì)發(fā)展影響范圍最大、破壞性最強(qiáng)的災(zāi)害之一。對(duì)森林火災(zāi)進(jìn)行預(yù)警和撲滅，可以減少人員傷亡和森林資源損失。目前所采用的人工瞭望、飛機(jī)航測(cè)、衛(wèi)星監(jiān)測(cè)等方式時(shí)效性低、經(jīng)濟(jì)成本高，難以滿足實(shí)時(shí)林火預(yù)警需要。隨著計(jì)算機(jī)視覺發(fā)展，基于圖像識(shí)別的視頻監(jiān)控技術(shù)逐漸成為森林火災(zāi)監(jiān)測(cè)預(yù)警的主要方式。

有些學(xué)者使用顏色空間規(guī)則進(jìn)行火焰識(shí)別，具有較好的識(shí)別效果；但是僅僅通過顏色空間規(guī)則提取火焰特征，較為片面，丟失了部分特征，使得結(jié)果有局限性。例如Poobalan等[1]設(shè)計(jì)了基于RGB和HSL濾波器的火焰探測(cè)算法；Bakri等[2]分別在RGB和YCbCr顏色空間制定規(guī)則，將滿足規(guī)則的火像素與背景分離；Wang等[3]提出了基于藍(lán)色分量的火災(zāi)識(shí)別模型，通過繪制大量樣本圖像的ROC曲線來(lái)確定關(guān)鍵閾值，實(shí)驗(yàn)可以消除部分噪聲干擾，但提取特征方式依然較單一；Ganesan等[4]提出了改進(jìn)的模糊C均值聚類方法，在RGB和CIELab顏色空間上進(jìn)行實(shí)驗(yàn)，該方法在高分辨率衛(wèi)星圖像的森林火災(zāi)檢測(cè)與分割中有較好表現(xiàn)，但方法受到圖像質(zhì)量限制。

還有很多學(xué)者使用多特征火焰檢測(cè)方法，火焰特征提取更加全面，但是適用于室內(nèi)火災(zāi)檢測(cè)，沒有在森林等開闊復(fù)雜的環(huán)境中實(shí)驗(yàn)。例如Wang等[5]提出基于火色分量的火災(zāi)探測(cè)模型，利用連續(xù)視頻幀的相似度，提出了基于檢測(cè)區(qū)域火焰運(yùn)動(dòng)特征的跟蹤算法，取得了不錯(cuò)的效果；Shi等[6]利用RGB-HIS模型檢測(cè)出與火焰相似的區(qū)域，通過識(shí)別連續(xù)圖像質(zhì)心變化檢測(cè)火焰，從而區(qū)分出火焰狀干擾源(如毛巾、手電光、反光金屬、強(qiáng)自然光等)；Gunawaardena等[7]使用自適應(yīng)背景減法檢測(cè)前景移動(dòng)對(duì)象，通過顏色規(guī)則確定檢測(cè)的前景對(duì)象是否為火焰，利用YCbCr顏色空間對(duì)火災(zāi)像素進(jìn)行建模分類，在時(shí)間域分析火災(zāi)候選區(qū)域，以檢測(cè)火焰閃爍，并區(qū)分火焰與干擾物。

有些學(xué)者在進(jìn)行火焰識(shí)別時(shí)，沒有對(duì)火焰狀干擾源進(jìn)行區(qū)分，容易產(chǎn)生虛假報(bào)警。例如Zhang等[8]利用像素變化和輪廓信息變化提取特征，并利用群體隱性馬爾可夫模型區(qū)分出火焰閃爍與近似火焰物體移動(dòng)方式不同，比較了火光與人造光的頻率成分，但是沒有對(duì)自然強(qiáng)光及其它類似火焰物體進(jìn)行對(duì)比驗(yàn)證，實(shí)驗(yàn)也僅僅基于6段視頻，場(chǎng)景較單一，不具有普遍性；Asatryan等[9]提出了基于RGB顏色空間的圖像完全分割和簡(jiǎn)化方法，分析了3種類型區(qū)域：包含有火、包含有煙和沒有煙和火的區(qū)域，但是沒有對(duì)火焰狀干擾源進(jìn)行對(duì)比實(shí)驗(yàn)，另外RGB顏色空間不能分離亮度和色度分量，該結(jié)果容易受圖像亮度影響，對(duì)煙霧的檢測(cè)率較低，只有80%左右。

還有學(xué)者對(duì)近似火焰圖像做了對(duì)比分析，但是沒有考慮森林中易與火焰混淆的紅葉。例如Vijayalakshmi等[10]基于HSV模型消除非煙和非火的區(qū)域，利用幀差法進(jìn)行運(yùn)動(dòng)檢測(cè)，利用時(shí)間分析法查看火焰像素值在連續(xù)序列中變化，進(jìn)行空間分析，減少近似火焰運(yùn)動(dòng)物體的誤檢，但是在實(shí)驗(yàn)中，樣本集較小，不具有說服力，檢測(cè)正確率也不高；Benjamin等[11]對(duì)RGB、HSV和YCbCr顏色空間定義顏色規(guī)則，用于分割火區(qū)，使用灰度共生矩陣(GLGM)計(jì)算火焰的5個(gè)紋理特征，但是灰度共生矩陣描述圖像易受光照影響，實(shí)驗(yàn)對(duì)非火焰干擾源(明亮的早晚太陽(yáng)光)檢測(cè)結(jié)果較差，容易產(chǎn)生誤檢；Yuan等[12]采用直方圖分割方法提取火災(zāi)候選區(qū)域，然后采用光流法計(jì)算候選區(qū)域的運(yùn)動(dòng)矢量以區(qū)分火災(zāi)和火災(zāi)類似物，設(shè)法提取圖像中的火焰區(qū)域，沒有對(duì)火災(zāi)圖像和非火圖像進(jìn)行系統(tǒng)訓(xùn)練、分類和測(cè)試；Dimitropoulos等[13]首先通過背景減法、顏色分析來(lái)定義候選區(qū)域，然后采用顏色概率、閃爍、時(shí)空能量等多種時(shí)空特征對(duì)火災(zāi)行為進(jìn)行動(dòng)態(tài)紋理分析，最后借助支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行檢測(cè)，實(shí)驗(yàn)取得了不錯(cuò)的效果，但分析火焰近似物時(shí)沒有考慮森林中易與火焰混淆的紅葉。

以上火焰檢測(cè)研究中，火焰特征的提取多采用人工設(shè)定并提取，過程較繁瑣，使用顏色直方圖、圖像通道、幀差法、運(yùn)動(dòng)特征檢測(cè)等處理技術(shù)。此類方法抗干擾性能差，當(dāng)圖像背景復(fù)雜時(shí)，誤差較大。深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的最新概念之一[14]，已廣泛應(yīng)用于諸多領(lǐng)域，具有識(shí)別準(zhǔn)確率高的特點(diǎn)。深度學(xué)習(xí)方法回避了繁瑣的人工特征提取操作，當(dāng)光照變化、圖像背景復(fù)雜時(shí)仍然能保持良好的檢測(cè)精度。在人臉識(shí)別領(lǐng)域，Vasudha等[15]使用局部方向位置模式(LDPP)和局部三元模式(LTP)作為面部識(shí)別方法，然后使用主成分分析(PCA)和一般判別分析(GDA)來(lái)降維，最后使用深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)學(xué)習(xí)、訓(xùn)練，識(shí)別率達(dá)到95.3%；Yuan等[16]利用谷歌研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)Tensorflow的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)進(jìn)行人臉識(shí)別，該方法在復(fù)雜環(huán)境下具有較高的識(shí)別精度和較高的魯棒性，準(zhǔn)確率達(dá)到87%；Fan等[17]將DBN用于人臉識(shí)別，以RL人臉圖像庫(kù)的400張圖像為樣本進(jìn)行實(shí)驗(yàn)，在小型數(shù)據(jù)集上獲得了良好的性能，識(shí)別率達(dá)到93.5%。深度學(xué)習(xí)在火災(zāi)煙霧的圖像識(shí)別上也有不錯(cuò)的效果；Zeng等[18]改進(jìn)了基于CNN的物體檢測(cè)方法來(lái)檢測(cè)火焰煙霧，超過了傳統(tǒng)方法的檢測(cè)精度，在開放空間中獲得了更好的性能；Kaabi等[19]提出了新的煙霧探測(cè)方法，基于DBN檢測(cè)林火的煙霧，檢測(cè)正確率可達(dá)95%。深度學(xué)習(xí)方法也非常適合高精度火焰檢測(cè)，Hüttner等[20]基于谷歌Tensorflow的Inception v3模型，進(jìn)行火災(zāi)圖像檢測(cè)，在實(shí)驗(yàn)數(shù)據(jù)集中可達(dá)到99%的準(zhǔn)確率。雖然深度學(xué)習(xí)具有識(shí)別率高的優(yōu)勢(shì)，但是神經(jīng)網(wǎng)絡(luò)層數(shù)多，訓(xùn)練和測(cè)試比較耗時(shí)[14]。在深度學(xué)習(xí)中，訓(xùn)練時(shí)間取決于設(shè)備的性能，使用GPU訓(xùn)練數(shù)據(jù)集時(shí)，其速度比使用CPU快約50倍；但是支持GPU加速的設(shè)備較昂貴且體積大，不能在嵌入式設(shè)備上實(shí)現(xiàn)。Vennelakanti等[21]利用Tensorflow實(shí)現(xiàn)CNN，對(duì)交通標(biāo)志檢測(cè)和識(shí)別，準(zhǔn)確率相當(dāng)高，可達(dá)到99.18%，但需要借助GPU加速，對(duì)設(shè)備要求高，無(wú)法在嵌入式上實(shí)現(xiàn)；Chin等[22]利用CNN進(jìn)行面部皮膚質(zhì)量檢測(cè)，訓(xùn)練中最高準(zhǔn)確率為97%，同樣需要GPU加速；Jhuang等[23]將DBN用于人臉驗(yàn)證，驗(yàn)證準(zhǔn)確率為96.43%，但預(yù)訓(xùn)練時(shí)間復(fù)雜度高、計(jì)算效率低；回天等[24]提出基于Faster R-CNN 的多類型火焰檢測(cè)方法，避免復(fù)雜的人工特征提取工作，在面對(duì)復(fù)雜背景、光照強(qiáng)度變化和形態(tài)多樣的火焰圖像時(shí)依然保證較好的檢測(cè)精度，該網(wǎng)絡(luò)雖然在上百萬(wàn)幅圖像上訓(xùn)練過，但對(duì)于火焰識(shí)別的專一性還有待提高，另外雖然可有效提高檢測(cè)精度，但檢測(cè)速度較慢，無(wú)法實(shí)時(shí)檢測(cè)。

森林火災(zāi)預(yù)警要求高實(shí)時(shí)性，且林間設(shè)備性能有限，深度學(xué)習(xí)方法并不適用；需要探索準(zhǔn)確率高、速度快、可運(yùn)行于嵌入式設(shè)備的火焰檢測(cè)方法。局部二值模式算法(Local Binary Pattern，LBP)具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)，廣泛應(yīng)用于目標(biāo)檢測(cè)等領(lǐng)域；此算法識(shí)別率高，不依賴機(jī)器運(yùn)算性能，在嵌入式設(shè)備上可以成功運(yùn)行，取得較好識(shí)別效果。張斌等[25]結(jié)合改進(jìn)的四幀差分法和高斯混合背景建模法提取煙霧運(yùn)動(dòng)前景，利用煙霧顏色特征、小波變換分析和LBP紋理特征，多特征線性融合并通過最近鄰(KNN)分類算法進(jìn)行識(shí)別；袁潔等[26]利用三幀差分法提取煙霧前景，然后通過LBP與灰度共生矩陣分別獲取煙霧紋理的局部特征和統(tǒng)計(jì)特征，最后將煙霧紋理特征輸入Fisher分類器以識(shí)別煙霧與非煙霧；嚴(yán)云洋等[27]改進(jìn)火焰顏色特征公式，根據(jù)LBP特征向量、火焰動(dòng)態(tài)紋理、火焰閃爍頻率特征進(jìn)行火焰識(shí)別，實(shí)驗(yàn)中非火焰干擾源為近似火焰顏色的地面和墻壁、車燈、外套顏色類似火焰的人，實(shí)驗(yàn)效果不錯(cuò)。

部分學(xué)者采用LBP算法提取圖像紋理特征的同時(shí)，選用SVM進(jìn)行分類，取得很好的實(shí)驗(yàn)效果。戴靜等[28]采用累積差分法檢測(cè)運(yùn)動(dòng)目標(biāo)，根據(jù)Ohta顏色空間找出圖像中具有火焰顏色的疑似區(qū)域，將疑似區(qū)域經(jīng)過BEMD分解，使用LBP算子對(duì)所提取的固有模態(tài)函數(shù)(IMF)圖像進(jìn)行紋理特征提取，最后將提取的紋理特征結(jié)合圓形度、矩形度、重心高度輸入到SVM里進(jìn)行火焰識(shí)別，實(shí)驗(yàn)中非火焰干擾源為近似火焰顏色的墻壁等，仿真結(jié)果較好，但火焰誤檢率和漏檢率受圖像庫(kù)的影響；盧英等[29]在RGB顏色空間對(duì)連續(xù)幀火災(zāi)圖像進(jìn)行預(yù)處理，并進(jìn)行頻閃特性分析以提取疑似火焰區(qū)域，建立疑似火焰圖像高斯差分尺度空間，利用LBP算法和全局二值模式算法(Global Binary Pattern，GBP)提取火焰局部紋理特征和全局紋理特征，最后將多尺度的紋理特征輸入到SVM進(jìn)行識(shí)別，取得了不錯(cuò)的效果；張霞等[30]首先用幀差法和RGB顏色高斯模型進(jìn)行運(yùn)動(dòng)顏色檢測(cè)，得到疑似火焰區(qū)域，再提取其紅色分量統(tǒng)計(jì)特征、小波高頻能量和LBP直方圖特征，最后將特征向量輸入SVM分類器進(jìn)行火焰識(shí)別，實(shí)驗(yàn)使用的非火焰干擾源為車燈、穿紅衣服的人等，效果也不錯(cuò)；Russo等[31]應(yīng)用中值濾波算法從輸入幀中減去背景，然后，應(yīng)用基于形狀的濾波方法獲得感興趣區(qū)域，計(jì)算LBP直方圖形成特征向量，應(yīng)用Bhattacharyya系數(shù)驗(yàn)證煙霧區(qū)域并使用SVM分類；Wang等[32]使用LBP和LBPV提取不同層次的靜態(tài)紋理特征，使用光流矢量分析確定可疑區(qū)域輪廓的運(yùn)動(dòng)方向，通過SVM識(shí)別煙霧圖像，也取得較好的效果，但是LBP算法只提取圖像的空域特征，具有局限性，可以考慮同時(shí)選取局部相位量化(Local Phase Quantization，LPQ)算法提取圖像的頻域特征，使提取的圖像特征更加豐富完整。

LBP結(jié)合LPQ提取圖像特征的方法在人臉表情識(shí)別領(lǐng)域已有廣泛應(yīng)用。朱長(zhǎng)水等[33]首先對(duì)人臉圖像分別在空域提取LBP特征、在頻域提取LPQ特征，然后融合成LBP、LPQ直方圖，進(jìn)行直方圖相似性比較，最后根據(jù)最近鄰原則進(jìn)行識(shí)別，得到了很好的效果；Gan等[34]利用LBP、LPQ方法從檢測(cè)到的人臉圖像中提取紋理特征，并基于圖像集對(duì)人臉進(jìn)行識(shí)別，實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)實(shí)用性強(qiáng)、對(duì)光照具有較強(qiáng)的魯棒性；Turan等[35]將4種描述符(LBP、LPQ、韋伯局部描述符和金字塔梯度方向直方圖)用于提取面部表情特征，并設(shè)計(jì)了自適應(yīng)的描述符選擇算法，實(shí)驗(yàn)結(jié)果表明所提出的分類方法比任何單個(gè)描述符分類方法都具有更高的識(shí)別率；Zhang等[36]和Doiphode等[37]也采取了LBP結(jié)合LPQ的算法進(jìn)行人臉識(shí)別，對(duì)7種不同表情的綜合成功識(shí)別率分別可達(dá)85.94%和88.11%，證明了這兩種算法結(jié)合用于紋理識(shí)別的有效性。

綜上所述，以往對(duì)林火圖像的研究集中在顏色空間選取、紋理提取、運(yùn)動(dòng)檢測(cè)以及分類器選擇等方面，使用的算法存在局限性，且實(shí)驗(yàn)設(shè)計(jì)存在缺陷，沒有考慮森林中易與火焰混淆的紅葉；深度學(xué)習(xí)方法具有識(shí)別率高的優(yōu)勢(shì)，但對(duì)機(jī)器性能要求較高、訓(xùn)練耗時(shí)較長(zhǎng)，不適用于實(shí)時(shí)林火監(jiān)測(cè)。本研究嘗試探索準(zhǔn)確度優(yōu)于深度學(xué)習(xí)、不依賴硬件性能、識(shí)別速度快且能夠在嵌入式設(shè)備上實(shí)現(xiàn)的方法，以提高火災(zāi)預(yù)警的準(zhǔn)確性和實(shí)時(shí)性，為在林中布設(shè)該設(shè)備提供算法基礎(chǔ)。很多研究證明了YCbCr顏色空間規(guī)則、LBP算法和LPQ算法提取紋理、SVM分類等單個(gè)方法在圖像識(shí)別方面的有效性，但是很少有學(xué)者將它們結(jié)合用于林火識(shí)別。

1 火焰疑似區(qū)域檢測(cè)

1.1 顏色空間轉(zhuǎn)換

攝像機(jī)拍攝的圖像通常為RGB格式，RGB顏色模型中色調(diào)、亮度和飽和度混合表示，難以分離，圖像細(xì)節(jié)不易數(shù)字化調(diào)整?；赗GB顏色空間的火焰分割提取，不能將像素值轉(zhuǎn)化為亮度和色度，較為依賴光照，如果光照發(fā)生變化，區(qū)分火焰像素效果較差；針對(duì)此缺陷需要將RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間。在YCbCr顏色空間提取火焰區(qū)域時(shí)，可以充分利用火焰亮度和色度信息，所以考慮在該顏色空間提取火焰，轉(zhuǎn)換公式如下所示[7]：

(1)

1.2 顏色空間分割火焰元素規(guī)則

將圖像轉(zhuǎn)化到Y(jié)CbCr顏色空間后，利用規(guī)則對(duì)圖像進(jìn)行處理，提取疑似火焰的區(qū)域，規(guī)則如下[38]。

規(guī)則1：

(2)

其中：I(x，y)表示輸入的RGB圖像，RⅠ(x，y)是應(yīng)用“規(guī)則1”后(x，y)點(diǎn)的像素值。

如果Y(x，y)>Cb(x，y)則該點(diǎn)保留原RGB圖對(duì)應(yīng)點(diǎn)的像素值，否則像素值置為0。

規(guī)則2：

(3)

其中：Ymean是原RGB圖像亮度的平均值，Crmean是原RGB圖像紅色色度的平均值，RⅡ(x，y)是應(yīng)用“規(guī)則1”和“規(guī)則2”后(x，y)點(diǎn)的像素值。

對(duì)圖像處理和計(jì)算是在YCbCr顏色空間進(jìn)行的，經(jīng)過處理后輸出圖像依舊為原來(lái)的顏色空間，省去了YCbCr空間向RGB空間的轉(zhuǎn)化，提高了效率。通過兩條規(guī)則進(jìn)行檢測(cè)，圖1和圖2給出了普通樹林和發(fā)生火災(zāi)樹林的近景、遠(yuǎn)景圖像及YCbCr提取結(jié)果；圖3是紅葉林圖像及YCbCr提取結(jié)果。

(a)普通樹林近景圖像

(b)普通樹林近景圖像的YCbCr提取結(jié)果

(c)普通樹林遠(yuǎn)景圖像

(d)普通樹林遠(yuǎn)景圖像的YCbCr提取結(jié)果

(a)發(fā)生火災(zāi)樹林近景圖像

(b)火災(zāi)樹林近景圖像的YCbCr提取結(jié)果

(c)發(fā)生火災(zāi)樹林遠(yuǎn)景圖像

(d)火災(zāi)樹林遠(yuǎn)景圖像的YCbCr提取結(jié)果

(a)紅葉林圖像

(b)紅葉林圖像的YCbCr提取結(jié)果

從圖2(b)中可發(fā)現(xiàn)，顏色空間規(guī)則只提取出了火焰區(qū)域，而沒有提取穿著紅色衣服的人，說明算法對(duì)部分類似火焰顏色的干擾物有排除功能，魯棒性較強(qiáng)。經(jīng)過兩條規(guī)則過濾，綠葉森林的圖像處理后基本為黑色，發(fā)生火災(zāi)的森林圖像經(jīng)過處理后火焰部分被順利提取；然而紅葉森林與火焰在顏色上相似，僅通過兩條規(guī)則不能區(qū)分紅葉林與火焰。

從圖2和圖3可以看出，火焰與紅葉林紋理存在明顯差異，火焰的紋理為片狀，中間部分是連續(xù)的；而紅葉林的葉子與葉子間存在縫隙，其紋理是由細(xì)密的點(diǎn)組成，中間往往不連續(xù)。因此考慮通過紋理特征的差異區(qū)分紅葉林與火焰；將顏色規(guī)則過濾后的圖像轉(zhuǎn)化為灰度圖，進(jìn)行紋理提取，轉(zhuǎn)化結(jié)果如圖4。

(a)普通樹林近景

(b)普通樹林遠(yuǎn)景

(c)發(fā)生火災(zāi)樹林近景

(d)發(fā)生火災(zāi)樹林遠(yuǎn)景

(e)紅葉林

Fig.4 Results of converting the extracted image into a grayscale image

2 火焰特征提取

為了區(qū)分紅葉林與森林火災(zāi)圖像，選取LBP與LPQ結(jié)合的方式提取紋理，LBP、LPQ分別從空域、頻域提取紋理，將圖像空域和頻域的特性結(jié)合起來(lái)，使得紋理特征提取更加全面。

2.1 LBP算法提取紋理

LBP是描述圖像局部紋理特征的算法，提取特征時(shí)計(jì)算量小，只需在很小的鄰域內(nèi)使用算法和查詢表。LBP算法的原理是比較中心像素與鄰域像素的灰度值[39]，如果鄰域某像素灰度值大于等于中心像素灰度值，則置為1，否則置為0。規(guī)則如式(4)-(5)所示：

(4)

(5)

其中：gc為中心像素點(diǎn)的灰度值；gi為其鄰域像素點(diǎn)的灰度值；P表示周圍像素點(diǎn)的個(gè)數(shù)；R表示鄰域半徑，鄰域半徑是中心像素點(diǎn)與鄰域像素點(diǎn)的歐式距離。

LBP算法的計(jì)算方式如圖5所示，圖5(a)中給出3×3的像素塊，共有9個(gè)像素，各自標(biāo)有該點(diǎn)灰度值；按照規(guī)則處理后，變?yōu)閳D5(b)。以順時(shí)針方向組合8個(gè)鄰域點(diǎn)的值，得出二進(jìn)制數(shù)，轉(zhuǎn)化為十進(jìn)制，便可以得到此區(qū)域的LBP特征，最終以直方圖方式得出圖像的LBP特征。因?yàn)楫?dāng)窗口9個(gè)像素灰度值同時(shí)出現(xiàn)亮度的非線性變換或者線性變換時(shí)，中心像素的灰度值與鄰域內(nèi)像素值大小關(guān)系不變，所以LBP提取紋理具有光照不變性，對(duì)于不同亮度下的圖像，魯棒性較好。

圖5 LBP算法

(6)

旋轉(zhuǎn)不變模式可以實(shí)現(xiàn)當(dāng)圖像旋轉(zhuǎn)或傾斜時(shí)LBP值保持不變。計(jì)算公式為

(7)

將上述兩種模式結(jié)合得到旋轉(zhuǎn)不變統(tǒng)一模式，公式描述如式(8)：

(8)

步驟1 將圖像劃分為N×N的圖像子塊，計(jì)算每一塊中每個(gè)像素的LBP值；

步驟2 對(duì)每個(gè)子塊進(jìn)行直方圖統(tǒng)計(jì)，獲得N×N個(gè)直方圖；

步驟3 利用這N×N個(gè)直方圖形成特征向量，描述圖像的紋理特征。

2.2 LPQ算法提取紋理

LPQ算法利用圖像的頻域相位信息提取紋理特征。LPQ算法可以提取在中心對(duì)稱模糊下具有模糊不變性的紋理特征，該特征通過短程傅里葉變換(STFT)計(jì)算得到圖像上像素點(diǎn)的局部相位信息，對(duì)于圖像f(x，y)，采用離散的短時(shí)傅里葉變換[33]，其計(jì)算方式如下所示：

(9)

傅里葉系數(shù)相位可以通過每部分的實(shí)數(shù)和虛數(shù)的符號(hào)來(lái)表示，如式(10)所示：

(10)

其中：gj是向量G(x)=[Re{F(x)} Im{F(x)}]的第j個(gè)部分。

然后對(duì)qj進(jìn)行二進(jìn)制編碼，如下所示：

(11)

其中：LPQ(x)表示窗口大小為M×M的算法，圖6是窗口為5×5的LPQ算法。后續(xù)實(shí)驗(yàn)中會(huì)檢測(cè)大小為3×3、5×5、7×7、9×9的窗口的各自表現(xiàn)，選取最合適窗口尺寸。

圖6 LPQ算法

2.3 LBP與LPQ融合的算法

對(duì)圖像的空域處理是處理圖像的像素本身，反映灰度變化；對(duì)圖像的頻域處理是處理圖像變換域的系數(shù)，反映了梯度變化。無(wú)論是空域還是頻域處理，進(jìn)行紋理分析時(shí)總會(huì)丟失部分信息，將兩者結(jié)合，能夠互相補(bǔ)充，使得丟失的信息盡可能少[33]。LBP提取的火焰紋理與紅葉林紋理、火焰與紅葉林的LBP直方圖如圖7、圖8所示；LPQ提取的火焰紋理與紅葉林紋理、火焰與紅葉林的LPQ直方圖如圖9、圖10所示。

(a)近景火焰紋理

(b)遠(yuǎn)景火焰紋理

(c)紅葉林紋理

Fig.7 Flame texture and red leaf forest texture extracted by LBP

(a)近景火焰LBP直方圖

(b)遠(yuǎn)景火焰LBP直方圖

(c)紅葉林LBP直方圖

(a)近景火焰紋理

(b)遠(yuǎn)景火焰紋理

(c)紅葉林紋理

Fig.9 Flame texture and red leaf forest texture extracted by LPQ

由圖7到圖10可看出，火焰圖像與紅葉林圖像的LBP、LPQ紋理存在明顯差異，因此可將圖像的LBP直方圖和LPQ直方圖組合起來(lái)，作為特征向量輸入SVM分類器進(jìn)行訓(xùn)練和測(cè)試。

(a)近景火焰LPQ直方圖

(b)遠(yuǎn)景火焰LPQ直方圖

(c)紅葉林LPQ直方圖

3 SVM分類

SVM非線性分類的思想是把輸入樣本經(jīng)過非線性變換映射到高維核空間，在高維核空間中尋找最優(yōu)分類超平面，將樣本集分為兩類，并使兩類間的間隔最大[30]。設(shè)有一個(gè)最優(yōu)超平面[41]能將兩個(gè)類別分開，同時(shí)有少許不能準(zhǔn)確分類的樣本點(diǎn)。引入松弛變量ξi度量樣本點(diǎn)與最優(yōu)超平面的距離程度。

yi(〈w·xi〉+b)+ξi-1≥0

(12)

其中，i=1，2，…，n。

構(gòu)造最優(yōu)超平面時(shí)所有樣本滿足式(13)：

(13)

其中：C為非負(fù)懲罰參數(shù)；w、b分別為超平面的法向量和截距。非負(fù)懲罰參數(shù)C越大，未落在正確類別的樣本對(duì)最優(yōu)超平面的懲罰越大。

SVM中提供了由低維空間到高維空間非線性映射的核函數(shù)機(jī)制，有3種非線性核函數(shù)：多項(xiàng)式核函數(shù)(Polynomial Kernel)、徑向基核函數(shù)(RBF Kernel)和Sigmoid核函數(shù)(Sigmoid Kernel)。本研究選擇RBF核函數(shù)作為分類函數(shù)。通過實(shí)驗(yàn)觀察核參數(shù)和懲罰因子取不同值時(shí)的識(shí)別率，如表1和表2所示。由表1和表2可見，當(dāng)核參數(shù)不變時(shí)，懲罰因子C=300識(shí)別率最高；當(dāng)懲罰因子不變時(shí)，核參數(shù)取值 1.6 識(shí)別效率最高。

表1 不同核參數(shù)的識(shí)別情況

表2 不同懲罰參數(shù)的識(shí)別情況

4 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果分析

文中實(shí)驗(yàn)平臺(tái)一是Windows7操作系統(tǒng)、AMD A10- 7300 Radeon R6處理器、4 GB內(nèi)存；實(shí)驗(yàn)平臺(tái)二是Ubuntu18.04LTS操作系統(tǒng)、Intel(R)Xeon(R)Bronze 3106 CPU @ 1.70 GHZ處理器、64 GB內(nèi)存、GTX1080Ti顯卡，支持GPU加速。算法在MATLAB 2014b和Python3.6上運(yùn)行。實(shí)驗(yàn)數(shù)據(jù)包括未發(fā)生火災(zāi)的森林(混合有綠葉林與紅葉林)和發(fā)生火災(zāi)森林的訓(xùn)練，測(cè)試圖像共2 200張，其中測(cè)試集占10%。森林圖像涵蓋寒帶、溫帶、熱帶的多種常見森林樹木，包括白樺林、落葉松、云杉、柏樹 、松林、楊樹林、馬尾松、楓葉林、水杉樹林、混交林等。由于森林火災(zāi)預(yù)警需要考慮大范圍、遠(yuǎn)距離的應(yīng)用場(chǎng)景，數(shù)據(jù)集包括500張遠(yuǎn)景拍攝、且起火面積較小的圖像。實(shí)驗(yàn)代碼包括3部分——YCbCr顏色空間提取疑似火焰區(qū)域、LBP和LPQ提取紋理以及SVM分類。其中LBP算法采用奧盧大學(xué)網(wǎng)站上的開源代碼(http：∥www.cse.oulu.fi/CMV/Downloads/L BPMatlab)，LPQ算法采用CodeForge網(wǎng)站上的開源代碼(http：∥www.codeforge.cn/read/252387/lpq.m_html)，SVM分類采用Matlab中的工具包LibSVM。算法的流程圖如圖11所示。

圖11 算法流程圖

使用YCbCr的規(guī)則處理圖像并轉(zhuǎn)化為灰度圖后，首先用LBP算法對(duì)原灰度圖(未統(tǒng)一圖像尺寸)進(jìn)行測(cè)試。不同LBP算法對(duì)原灰度圖識(shí)別情況如表3 所示。

分析表3所示數(shù)據(jù)，發(fā)現(xiàn)3種LBP算法的識(shí)別效率都不高，且耗時(shí)很長(zhǎng)。主要是因?yàn)樗脠D像普遍比較大，提取特征時(shí)耗費(fèi)了很多時(shí)間，而且由于圖像尺寸不一，提取到的特征向量泛化能力較弱。針對(duì)以上問題，采用雙線性差值辦法，將圖像統(tǒng)一到128×128像素大小，繼續(xù)測(cè)試。不同LBP算法對(duì)統(tǒng)一大小灰度圖識(shí)別情況如表4所示。

表3 不同LBP算法對(duì)原灰度圖識(shí)別情況

Table 3 Recognition result of original grayscale images by different LBP algorithms

LBP算法識(shí)別率/%向量維數(shù)平臺(tái)一總耗時(shí)/s平臺(tái)二總耗時(shí)/sLBPu2(8,2)59.0959515.574444.7524LBPu2(8,1)60.9159502.015443.6978LBPri(8,2)71.8236504.309043.8189LBPri(8,1)70.9136514.669144.1215LBPri,u2(8,2)60.9110502.827645.6398LBPri,u2(8,1)63.6410510.929646.3172

表4 不同LBP算法對(duì)統(tǒng)一大小灰度圖識(shí)別情況

Table 4 Recognition result of uniform size grayscale images by different LBP algorithms

LBP算法識(shí)別率/%向量維數(shù)平臺(tái)一總耗時(shí)/s平臺(tái)二總耗時(shí)/sLBPu2(8,2)73.1859162.18779.5941LBPu2(8,1)69.5559167.94689.1184LBPri(8,2)81.8236158.99129.3476LBPri(8,1)78.1836161.88029.6475LBPri,u2(8,2)80.010157.38679.2718LBPri,u2(8,1)76.3610160.13519.3587

分析表4可以發(fā)現(xiàn)，圖像經(jīng)過雙線性差值方法統(tǒng)一尺寸后，特征提取時(shí)間以及總耗時(shí)顯著下降，識(shí)別率明顯上升；但是識(shí)別率依舊沒有達(dá)到理想效果，對(duì)此采用分塊統(tǒng)計(jì)圖像LBP特征，最終匯總特征向量的方法來(lái)解決。這樣可以更加注重圖像每塊區(qū)域的細(xì)節(jié)，提高識(shí)別率。當(dāng)只采用LPQ算法時(shí)，在不同的窗口大小情況下進(jìn)行測(cè)試。不同窗口大小的LPQ算法識(shí)別情況如表5所示。

表5 不同窗口大小的LPQ算法識(shí)別情況

Table 5 Recognition result of LPQ algorithm with different window sizes

窗口大小識(shí)別率/%平臺(tái)一總耗時(shí)/s 平臺(tái)二總耗時(shí)/s3×375.91208.355016.91955×576.36218.938316.21137×777.73220.158816.21419×976.36 240.691917.7883

從表5可以看出，在窗口大小不同時(shí)，提取特征所需時(shí)間相差不多；采用大小為7×7的窗口時(shí)，識(shí)別率最高，可達(dá)到77.73%。

由于單獨(dú)使用LBP、LPQ時(shí)識(shí)別率較低，因此將兩種特征向量結(jié)合，測(cè)試結(jié)果如表6所示。

表6 LBP、LPQ算法結(jié)合的識(shí)別情況

Table 6 Recognition result after combining LBP and LPQ algorithms

LBP+LPQ算法識(shí)別率/%向量維數(shù)平臺(tái)一總耗時(shí)/s平臺(tái)二總耗時(shí)/sLBPu2(8,2)+LPQ793.183147 810.460145.2147LBPu2(8,1)+LPQ792.273147 813.289445.3178LBPri(8,2)+LPQ794.552020 532.508133.2543LBPri(8,1)+LPQ791.362020 538.156833.6239LBPri,u2(8,2)+LPQ794.55746 269.701820.3599LBPri,u2(8,1)+LPQ791.82746 272.828620.2974

表7 本算法與深度學(xué)習(xí)算法的對(duì)比

Table 7 Comparison of the proposed algorithm and deep learning algorithms

算法識(shí)別率/%平臺(tái)一總耗時(shí)/min平臺(tái)二總耗時(shí)/min本算法94.554.480.33DBN91.3618.231.86CNN90.91228.6417.23

由表7可見，本算法的正確率高于這兩種深度學(xué)習(xí)方法，在保證準(zhǔn)確性的同時(shí)，提高了火災(zāi)預(yù)警的實(shí)時(shí)性，預(yù)測(cè)耗時(shí)是DBN的1/4、是CNN的1/50。

森林火災(zāi)預(yù)警需要考慮大范圍、遠(yuǎn)距離的應(yīng)用場(chǎng)景，遠(yuǎn)處起火時(shí)，火災(zāi)初期的火焰面積較小，且容易被樹木遮擋，因此對(duì)遠(yuǎn)距離起火、不同遮擋程度的圖片進(jìn)行測(cè)試。圖12(a)和12(b)是被遠(yuǎn)處樹木嚴(yán)重遮擋的情況，圖12(c)和12(d)是有遮擋但不嚴(yán)重的情況；圖13是火焰區(qū)域提取結(jié)果。

實(shí)驗(yàn)結(jié)果顯示，有嚴(yán)重遮擋的圖像(圖12(a)和12(b))未能成功預(yù)警，圖12(c)和12(d)預(yù)警正確。因?yàn)閳D12(a)和12(b)火焰本身較小且距離遠(yuǎn)，被樹木枝干遮擋嚴(yán)重，對(duì)紋理造成較大干擾，導(dǎo)致提取出的特征向量和正?；鹧娌罹噍^大，在SVM分類時(shí)，誤判為未起火圖像。

對(duì)以上問題采用改進(jìn)措施：在林間不同高度、不同方位布設(shè)攝像機(jī)，對(duì)同片較大區(qū)域，獲取多種方位的拍攝視角，這樣能夠獲得未遭到嚴(yán)重遮擋的圖像，保證紋理提取更加完整，從而提高森林火災(zāi)預(yù)警成功率。對(duì)于照相機(jī)無(wú)法覆蓋的視野盲區(qū)及林木茂密、初期火焰易被遮擋的區(qū)域，增設(shè)ZigBee森林防火預(yù)警系統(tǒng)。例如文獻(xiàn)[42]選用傳感模塊和ZigBee模塊組成終端節(jié)點(diǎn)，芯片為CC2530，溫濕度傳感器選用SHT10，并用MQ- 2煙霧傳感器實(shí)時(shí)監(jiān)測(cè)森林的溫度、相對(duì)濕度、可燃?xì)怏w濃度等環(huán)境參數(shù)，通過GPRS模塊將數(shù)據(jù)發(fā)送到遠(yuǎn)程服務(wù)器，當(dāng)數(shù)據(jù)超過設(shè)定的閾值，可及時(shí)報(bào)警；文獻(xiàn)[43]使用基于ZigBee和GPRS的火災(zāi)探測(cè)系統(tǒng)，利用MQ- 2煙霧傳感器采集信號(hào)，成本低、反應(yīng)快速，能滿足森林環(huán)境監(jiān)測(cè)需要；文獻(xiàn)[44]使用ZigBee Pro技術(shù)，利用CC2531和溫濕度傳感器SHT11搭建森林火災(zāi)監(jiān)測(cè)系統(tǒng)，該系統(tǒng)工作穩(wěn)定，為森林火災(zāi)預(yù)防提供幫助。無(wú)線傳感器網(wǎng)絡(luò)有自動(dòng)組網(wǎng)、成本低的特點(diǎn)[45]，但監(jiān)控節(jié)點(diǎn)很難獲得持續(xù)供電，節(jié)點(diǎn)不能長(zhǎng)久工作[44]，單節(jié)點(diǎn)監(jiān)控范圍有限。在大范圍森林中需要大量節(jié)點(diǎn)，可靠性差，難以維護(hù)，在圖像處理無(wú)法監(jiān)測(cè)到的小片區(qū)域使用，和圖像監(jiān)控系統(tǒng)形成了有效補(bǔ)充。

5 結(jié)語(yǔ)

研究結(jié)果證明，本算法可以成功區(qū)分紅葉林與火焰，識(shí)別率高達(dá)94.55%，可降低紅葉林在森林火災(zāi)圖像識(shí)別中的干擾，具有一定的現(xiàn)實(shí)意義。算法的檢測(cè)率高、適應(yīng)性強(qiáng)、速度快，是高效的火焰檢測(cè)算法；本算法識(shí)別率高于兩種深度學(xué)習(xí)算法，大幅度的減少了訓(xùn)練和測(cè)試時(shí)間，預(yù)測(cè)耗時(shí)是DBN的1/4、是CNN的1/50，提高了火災(zāi)預(yù)警的實(shí)時(shí)性，為林火檢測(cè)算法在嵌入式設(shè)備上實(shí)現(xiàn)提供了依據(jù)。將來(lái)擬進(jìn)一步完善圖像集，擴(kuò)大測(cè)試樣本，使其盡可能包含更多不同形態(tài)、大小、顏色、燃燒程度的火焰，和多樣的綠葉林、紅葉林，并加入更多火焰狀干擾源圖像進(jìn)行測(cè)試，對(duì)遠(yuǎn)距離被樹木遮擋的火災(zāi)初期圖像進(jìn)行更深入的訓(xùn)練、測(cè)試，提高檢測(cè)率和算法的魯棒性；另外進(jìn)一步降低算法訓(xùn)練和測(cè)試時(shí)間，為快速高效的林火預(yù)報(bào)提供算法實(shí)現(xiàn)。