一種基于多尺度局部紋理特征和CART決策樹的野外火災(zāi)火焰圖像識(shí)別算法

馮麗琦 趙亞琴 孫一超 龔云荷

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院 江蘇 南京 210037)

0 引 言

野外雜草樹木叢生，發(fā)生火災(zāi)時(shí)蔓延速度很快，而且交通不便，火災(zāi)撲救難度很大，一旦發(fā)生火災(zāi)，會(huì)導(dǎo)致嚴(yán)重后果。因此，早期火災(zāi)識(shí)別和及時(shí)撲救就顯得尤為關(guān)鍵。視頻監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)24小時(shí)監(jiān)控，能夠及時(shí)發(fā)現(xiàn)早期火災(zāi)，很大程度上減少了早期火災(zāi)的誤報(bào)和漏報(bào)的情況。

許多研究者們致力于野外火災(zāi)識(shí)別研究，取得了一定的進(jìn)展，主要分為基于火焰圖像和基于火焰視頻兩大類。由于火焰區(qū)域的紋理特征與顏色相似的干擾對(duì)象有較大區(qū)別，因此，基于火焰圖像的識(shí)別方法主要研究火焰的紋理特征提取，如徐小軍等[1]采用灰度共生矩陣分析法分析火焰以及干擾物在能量、熵、慣性矩和局部平穩(wěn)性四個(gè)主要方面的紋理特征。盧英等[2]利用局部二值模式(LBP)和全局二值模式(GBP)提取火焰局部紋理特征和全局紋理特征。張霞[3]基于雙樹復(fù)小波變換特征和DRLBP模式分析火焰的紋理特征。嚴(yán)云洋等[4]提出用三正交平面局部混合模式(LMP-TOP)描述火焰的靜動(dòng)態(tài)紋理。白曉靜等[5]提出一種基于多尺度顏色特征和小波紋理特征(MCWT)的火焰圖像特征提取方法。宋昱等[6]提出了一種基于Log-Gabor小波和分?jǐn)?shù)階多項(xiàng)式核主成分分析(KPCA)的火焰圖像狀態(tài)識(shí)別方法。基于火焰視頻的火災(zāi)識(shí)別方法通過(guò)提取火焰的動(dòng)態(tài)特征來(lái)達(dá)到高的識(shí)別準(zhǔn)確率，如張興坤[7]綜合火焰顏色及運(yùn)動(dòng)的幀間相關(guān)性，融合多維度特征，用于火焰的識(shí)別。朱正超[8]利用Freeman鏈碼獲得火焰輪廓的外接矩形，利用KNN算法進(jìn)行火焰特征選擇。徐銘銘[9]基于滑動(dòng)時(shí)間窗將林火監(jiān)控視頻劃分成時(shí)空視頻塊，在視頻片段大粒度下分析火焰的時(shí)空特征。楊娟利[10]依據(jù)火焰運(yùn)動(dòng)累積和顏色特性，并結(jié)合視頻背景建模方法構(gòu)建火焰的時(shí)間顯著圖。

但是以上基于圖像的火災(zāi)識(shí)別算法對(duì)于復(fù)雜野外環(huán)境如枯草、可樹枝樹葉等情況下的野外火災(zāi)識(shí)別準(zhǔn)確率還有待提高?；谝曨l的火災(zāi)識(shí)別方法需要提取相鄰幀的動(dòng)態(tài)特征，使得火災(zāi)圖像識(shí)別的實(shí)時(shí)性不高。本文從提高野外復(fù)雜環(huán)境下的火災(zāi)識(shí)別準(zhǔn)確率和火災(zāi)識(shí)別速度兩方面考慮，首先提出一種多尺度局部紋理提取算法，對(duì)Gabor濾波的不同尺度圖像提取LBP局部紋理特征?？紤]到一個(gè)幀率內(nèi)火焰圖像區(qū)域的變化很小，選擇每一幀圖像進(jìn)行特征提取顯然是沒(méi)有必要的，為了提高識(shí)別效率，在保證識(shí)別準(zhǔn)確率的前提下，每3個(gè)幀率作為時(shí)間窗口，隨機(jī)選擇其中的5幅圖像的識(shí)別結(jié)果代替3個(gè)幀率的所有圖像。然后，對(duì)于LBP局部紋理特征運(yùn)用CART決策樹進(jìn)行降維處理，篩選特征以提高分類器的分類精度和速度?；鹧孀R(shí)別算法框架如圖1所示。

圖1 本文的火焰識(shí)別算法框架

1 基于顏色的疑似火焰區(qū)域檢測(cè)

本文基于RGB和HSV顏色模型計(jì)算不同像素對(duì)應(yīng)的不同的通道值，通過(guò)對(duì)不同場(chǎng)景拍攝的火災(zāi)火焰圖像像素的RGB值和HSV值分析，最終選定如下公式去除絕大多數(shù)的非火焰像素：

(1)

式中：R、G、B、V分別代表著圖像的紅色分量、綠色分量、藍(lán)色分量和亮度。如果圖像中的像素滿足式(1)，則被判斷為疑似火焰像素。但是，枯草和光照等干擾物的顏色與火焰的顏色相近，就很容易被誤判為火焰像素，因而需要結(jié)合其他特征來(lái)進(jìn)一步排除。圖2所示為3個(gè)包含干擾對(duì)象的實(shí)驗(yàn)視頻圖像的火焰像素檢測(cè)結(jié)果，從圖2中可以看出，由于枯草、光照等干擾對(duì)象的影響，所以一些非火焰像素被錯(cuò)誤地識(shí)別為火焰像素。

(a) 原始火焰圖像

(b) 疑似火焰像素提取結(jié)果圖圖2 像素提取效果圖

2 局部紋理特征提取和選擇

2.1 Gabor濾波提取紋理特征圖

(2)

實(shí)數(shù)和虛數(shù)部分分別如式(3)和式(4)：

(3)

(4)

式中：λ為波長(zhǎng)，θ為方向角，其指定了Gabor函數(shù)并行條紋的方向，φ為相位偏移，γ為長(zhǎng)寬比，b為帶寬，x′和y′的計(jì)算公式如下：

x′=xcosθ+ysinθ

y′=-xsinθ+ycosθ

(5)

本文的實(shí)驗(yàn)中選擇5個(gè)尺度8個(gè)方向的Gabor特征，分別取φ=0，γ=0.5，b=360°。將疑似火焰區(qū)域進(jìn)行Gabor濾波處理后，通過(guò)觀察各個(gè)方向、各個(gè)尺度的Gabor特征圖如圖3所示。可以發(fā)現(xiàn)其反映了火焰的不同特征，并且在不同的光照處理下其依舊可以保持穩(wěn)定的狀態(tài)，但有一部分特征圖并不是很清晰，例如λ=2.828 4，θ=157.5°和λ=5.656 9，θ=0°等的特征圖，火焰的本真信息難以完整地表達(dá)出來(lái)。

(a) 原圖

(b) Gabor特征圖圖3 Gabor濾波特征圖

2.2 基于Gabor特征圖的LBP局部紋理提取

本文運(yùn)用均勻模式LBP(Uniform LBP)提取局部紋理特征，LBP模式將中心位置像素的灰度值與8鄰域像素的灰度值進(jìn)行比較，如果某個(gè)鄰域像素的灰度值大于中心位置像素灰度值，則該鄰域像素點(diǎn)的位置被標(biāo)記為1，否則為0，從而得到中心像素的LBP值。其數(shù)學(xué)表達(dá)式如下[3]：

(6)

式中：(xc,yc)為中心像素的坐標(biāo)，p為鄰域的第p個(gè)像素，ip為鄰域像素的灰度值，ic為中心像素的灰度值，s(x)為符號(hào)函數(shù)，計(jì)算公式如下：

(7)

一個(gè)LBP算子可以得到不同的二進(jìn)制模式，得到256個(gè)LBP特征，而二進(jìn)制模式的種類還會(huì)隨著鄰域內(nèi)采樣點(diǎn)數(shù)的增加而急劇增加，這大大降低了紋理表達(dá)的效果。Uniform LBP對(duì)原始LBP進(jìn)行降維，將256個(gè)LBP特征值分為59個(gè)，這59個(gè)模式占據(jù)了圖像中所有模式的絕大部分，能夠較好地描述了圖像的局部紋理，圖4所示為某個(gè)火焰區(qū)域的原始LBP直方圖和Uniform LBP直方圖。同時(shí)，為了避免因?yàn)椤拔恢脹](méi)有對(duì)準(zhǔn)”而產(chǎn)生的誤差，本文將Gabor濾波特征圖以16×16的像素鄰域網(wǎng)格作為采樣窗口，以沒(méi)有重疊的方式遍布整張圖，從而對(duì)每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取LBP特征。

可以組建營(yíng)銷團(tuán)隊(duì)，講好朱家尖故事，圍繞故事展開AR內(nèi)容設(shè)計(jì)，讓游客的行程更加有趣，在應(yīng)用中充分考慮社交化，讓口碑傳播通過(guò)生動(dòng)有趣的AR應(yīng)用迅速且廣泛傳播。

(a) 原始LBP直方圖

(b) Uniform LBP直方圖圖4 某個(gè)火焰區(qū)域的原始LBP直方圖和Uniform LBP直方圖

2.3 基于單層決策樹的局部紋理特征選擇

由于對(duì)火焰圖像Gabor濾波后進(jìn)行LBP特征提取得到了40×59即2 360維特征向量，向量維數(shù)太高，而且包含大量的冗余特征，不利于后期的分類識(shí)別。因此，本文引入CART決策樹來(lái)挑選出最具代表性的特征，降低特征向量的維度。CART決策樹運(yùn)用AdaBoost算法的思想，即針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱學(xué)習(xí)算法，然后將這些弱學(xué)習(xí)算法集合起來(lái)，構(gòu)造一個(gè)更強(qiáng)的最終學(xué)習(xí)算法。

本文以CART決策樹作為弱分類器，將200棵決策樹通過(guò)Adaboost思想進(jìn)行集成，形成更加穩(wěn)定的強(qiáng)分類器。根據(jù)強(qiáng)分類器訓(xùn)練好的模型，可以得到2 360維特征對(duì)應(yīng)的重要性因子。再將2 360維特征的重要性因子進(jìn)行降序排列，最終選取特征重要性大于90%的前477維作為最終的特征向量。在合理的容錯(cuò)率范圍內(nèi)，將有效數(shù)據(jù)的維度降低。

3 實(shí)驗(yàn)數(shù)據(jù)和結(jié)果分析

本文采用SVM對(duì)火焰特征向量進(jìn)行分類，核函數(shù)選用高斯徑向基函數(shù)[12]：

(8)

式中：xi是輸入特征向量，δ是核函數(shù)的參數(shù)。

實(shí)驗(yàn)基于MATLAB R2017b編程環(huán)境，實(shí)驗(yàn)火焰視頻素材包含室內(nèi)、室外，火焰的背景靜止或運(yùn)動(dòng)等復(fù)雜場(chǎng)景。干擾視頻包含枯草、燃燒后的枯枝、濃煙、光照等。從每個(gè)不同場(chǎng)景的視頻中分別截取100幀圖片，隨機(jī)選取80幀圖片作為樣本集，剩余20幀圖片作為測(cè)試集。

為了驗(yàn)證本文的有效性，通過(guò)三種算法的實(shí)驗(yàn)來(lái)進(jìn)行對(duì)比分析。在同一個(gè)實(shí)驗(yàn)平臺(tái)下，相同的實(shí)驗(yàn)數(shù)據(jù)，使用不同的特征提取和選擇方法，記錄下支持向量機(jī)的平均準(zhǔn)確率作為本次實(shí)驗(yàn)的準(zhǔn)確率。

算法1采用本文方法，先基于顏色特征確定疑似火焰區(qū)域，再基于其Gabor濾波特征圖得到LBP特征向量，最后將2 360維特征向量經(jīng)CART決策樹降維處理后傳入SVM進(jìn)行訓(xùn)練得出實(shí)驗(yàn)結(jié)果。

算法2對(duì)2 360維特征向量經(jīng)PCA降維處理，其余操作步驟同實(shí)驗(yàn)1，記錄其實(shí)驗(yàn)結(jié)果。

算法3對(duì)輸入圖像經(jīng)過(guò)顏色特征確定疑似火焰區(qū)域，小區(qū)域分割后直接將其LBP特征向量傳入SVM進(jìn)行訓(xùn)練，記錄實(shí)驗(yàn)結(jié)果。

兩個(gè)復(fù)雜場(chǎng)景的火焰視頻(一個(gè)視頻包含濃煙和大量燃燒的枯枝，另一個(gè)視頻包含枯草和光照)的實(shí)驗(yàn)結(jié)果如圖5所示(第一行是原始火焰圖像，第二行是實(shí)驗(yàn)1結(jié)果圖，第三行是實(shí)驗(yàn)2結(jié)果圖，第四行是實(shí)驗(yàn)3結(jié)果圖)。

圖5 兩個(gè)復(fù)雜場(chǎng)景的火焰視頻實(shí)驗(yàn)結(jié)果圖

國(guó)內(nèi)文獻(xiàn)常用來(lái)驗(yàn)證的火焰視頻識(shí)別的算法的評(píng)價(jià)準(zhǔn)則是檢測(cè)一個(gè)視頻中有多少火焰圖片被檢測(cè)出來(lái)，從而用準(zhǔn)確率來(lái)進(jìn)行評(píng)價(jià)，這種評(píng)價(jià)方式很粗略，無(wú)法說(shuō)明一個(gè)火焰圖片中有多少前景像素沒(méi)有檢測(cè)出來(lái)，也無(wú)法說(shuō)明有多少背景像素被錯(cuò)誤地識(shí)別為前景。為了避免上述缺陷，本文用TPR和TNR從像素級(jí)來(lái)評(píng)價(jià)算法的性能[13]。

(9)

(10)

式中：TP是指正確識(shí)別出來(lái)的火焰像素?cái)?shù)目，F(xiàn)N是指背景像素被錯(cuò)誤地識(shí)別為火焰的像素?cái)?shù)目，TN是指正確識(shí)別出來(lái)的背景像素?cái)?shù)目，F(xiàn)P是把火焰像素錯(cuò)誤地識(shí)別為背景的像素?cái)?shù)目。三種算法的TPR和TNR實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 三種算法的TPR和TNR實(shí)驗(yàn)結(jié)果對(duì)比

從圖6可以看出，本文提出的算法的TPR平均值為87%，由于本文研究的是包含大量干擾對(duì)象的復(fù)雜野外環(huán)境(如圖5)，所以TPR值還是比較滿意的，TNR的值達(dá)到了98%，取得了很好的結(jié)果。與本文采用的CART決策樹相比，PCA的降維效果并不理想，這是因?yàn)镻CA尋求的是能夠有效表達(dá)同一類樣本共同特點(diǎn)的主軸方向，當(dāng)火災(zāi)視頻中包含多種干擾對(duì)象時(shí)，PCA選擇的主元特征難以很好地區(qū)分多個(gè)樣本類。

4 結(jié) 語(yǔ)

本文提出了一種基于Gabor濾波和LBP的CART決策樹降維處理的火焰識(shí)別算法。為了更好地區(qū)分火焰圖像和的枯草、枯枝、光照等復(fù)雜場(chǎng)景的干擾對(duì)象圖像，采用了Gabor濾波和Uniform LBP提取疑似火焰的局部紋理特征向量；為了有效提取特征向量的關(guān)鍵信息的同時(shí)減少特征向量的維度、提高運(yùn)算速度，采用了CART決策樹對(duì)紋理特征進(jìn)行選擇。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜的環(huán)境中，本算法的檢測(cè)率高、適應(yīng)性好，是一種高效的視頻火焰檢測(cè)算法。