基于幀間動態(tài)和紋理特征的郵輪艙室火焰識別*

藺 瑞 俞孟蕻 宋英磊 袁 偉

（江蘇科技大學(xué)電子信息學(xué)院 鎮(zhèn)江 212003）

1 引言

火焰分析在探測真實(shí)火災(zāi)中占有重要地位，火焰有許多的特征，例如顏色、形狀變化、閃爍和紋理等。單一特征的使用，火焰與類火焰色物體會產(chǎn)生混淆。因此，需要有效的火焰探測方法來理解真實(shí)的火焰?？紤]到火焰的動態(tài)性和紋理是兩個重要的火焰特性，對兩者的分析非常重要。近年來提出了許多火焰探測方法。文獻(xiàn)［1］提出基于Ohta 顏色空間結(jié)合動態(tài)閃爍特性的火焰探測方法，可以排除不具有火焰閃爍特征的前景，但是對于同樣閃爍特性的干擾項(xiàng)難以排除。文獻(xiàn)［2］提出了基于灰度差分統(tǒng)計(jì)的紋理特征的火焰探測，對不同火焰紋理所處的時期識別率較高，探測速度較快。文獻(xiàn)［3］提出了時間維度下的靜態(tài)紋理特征結(jié)合加權(quán)SVM的火焰探測方法，加入了時間維度，靜態(tài)紋理特征具有一定動態(tài)性，多火焰的識別和檢測效果有較大提升。上述文獻(xiàn)的火焰檢測方法都取得了不錯效果，但是特征的提取以及環(huán)境較為的單一。本文基于多尺度顏色空間建模，研究分析了火焰的動態(tài)特性和混合紋理特征，利用極限學(xué)習(xí)機(jī)進(jìn)行綜合學(xué)習(xí)，所得模型實(shí)現(xiàn)火災(zāi)的有效識別。

2 火焰探測方法

本文提出的火焰檢測方法如圖1 所示。首先在顏色空間中進(jìn)行顏色濾波，將輸入圖像中具有火焰狀的顏色區(qū)域分割為“候選火焰區(qū)域”。“候選火焰區(qū)域”包括火焰和類火焰顏色對象。然后通過靜動態(tài)紋理分析，從“候選火焰區(qū)域”中提取靜態(tài)和動態(tài)紋理特征。靜態(tài)紋理特征包括通過混合紋理描述符獲得的特征。動態(tài)紋理特征包括二維時空小波分解和三維體積小波分解得到的紋理特征。提取的特征用于極限學(xué)習(xí)機(jī)（ELM）分類器作分類處理，經(jīng)過訓(xùn)練的ELM 分類器可以有效地將分割出的候選火焰區(qū)域預(yù)測為“火焰”或“非火焰”。

圖1 火焰探測方法框圖

顏色是火焰的靜態(tài)特征之一，火焰在背景光源足夠亮的時候，攝像機(jī)捕捉到的火焰在色調(diào)上白色偏少，主要顏色為紅色到黃色，對應(yīng)到RGB 空間就是R＞G＞B。此外，在RGB 圖像下，火焰的R 通道成分占主要地位，R 成分大于閾值Rt。由于RGB 色彩空間較為依賴于背景光源亮度，光照條件變化，則疑似火焰像素點(diǎn)的提取效果變差。圖像處理中，一般轉(zhuǎn)換為其他色度空間。在YCbCr色彩空間，顏色分量的相關(guān)性較小，可以有效的表征火焰特征，其判據(jù)條件為Y（x，y）＞Cb（x，y），Cr（x，y）＞Cb（x，y）。在背景光源較強(qiáng)的時候，其散發(fā)光的飽和度較低，通過對飽和度S 分量設(shè)定閾值St，可以比較有效的排除光源的干擾。除了飽和度，背景光源明亮與否，火焰會呈現(xiàn)出不同的色調(diào)H，取H 大于其均值Hm，因而引入HSV色彩模型。

圖2 色彩空間模型

綜上所述，本文所采用的色彩空間為三者復(fù)合的多色彩空間模型，根據(jù)大量實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果［4］，式中 Rt和 St的取值范圍分別為 115～135 和 55～65 之間。對應(yīng)的公式如下：

下面通過兩種不同類型的火焰圖像，對所建立的色彩空間模型進(jìn)行驗(yàn)證對比，對比如圖2。

從實(shí)驗(yàn)結(jié)果，我們可以發(fā)現(xiàn)三個色彩空間的結(jié)合，可以更好地排除干擾源，但是加入HSV 色彩空間判據(jù)后，有的火源區(qū)域被過度減除。通過比對，過度減除的圖片，環(huán)境整體光線較為昏暗，火焰顏色飽和度比較高，HSV 色彩空間的探測效果不理想，疑似火焰區(qū)域幾乎被完全剔除。此時，RGB-YCbCr模型就可以達(dá)到較好的效果。針對這種情況，本文設(shè)置一個明暗度閾值（intensity），若所處空間的明暗達(dá)到一定的臨界值，HSV色彩空間可以發(fā)揮較好的作用時，結(jié)合HSV 色彩空間判據(jù)，達(dá)到較好的判斷效果。明暗度閾值取所有像素灰度值的均值，經(jīng)實(shí)驗(yàn)，明暗度閾值THi在28～32 之間，具體如式（2）。

火焰顏色模型取得了不錯的效果，但是圖像中的與火焰顏色相似的類火區(qū)域，通常也被提取為真實(shí)的火焰區(qū)域。這種情況來源于兩個方面：與火焰顏色相同的非火災(zāi)物體、與火災(zāi)類似的背景光源。這些情況使得火焰區(qū)域的提取過程復(fù)雜且不可靠。

3 動態(tài)和紋理特征提取

針對火焰候選區(qū)域的特征提取，很多方法都被提出來。由于火焰具有動態(tài)性，因而火焰的動態(tài)特性是一個重要的判據(jù)。本文研究中主要的干擾項(xiàng)是金屬墻壁的火焰光反射，由于其同樣具有運(yùn)動性且運(yùn)動頻率與火焰相似，所以純動態(tài)特征無法滿足要求，紋理特征是探測真實(shí)火焰的重要特征，它在噪聲、旋轉(zhuǎn)和光照變化方面具有不變性［4］。因而本文結(jié)合使用了動態(tài)特征和紋理特征。本文研究的動態(tài)特征有面積變化率和相似性，紋理特征有擴(kuò)展局部二值模式（ELBP）和結(jié)合局部二值模式的離散小波變換（ELBP-DWT）。

3.1 火焰面積變化率

火焰發(fā)生時，其形狀和大小在動態(tài)變化著，在其初期呈連續(xù)增長的趨勢。另一方面許多干擾源，如陽光、燈光等的面積保持相對穩(wěn)定。因此，火焰面積變化率可以作為識別火焰膨脹變化的重要標(biāo)準(zhǔn)?；鹧婷娣e變化率可根據(jù)相鄰幀的火焰像素變化來計(jì)算，具體如式（3）所示，I1和I2分別是前后兩幀的圖像，NI1和NI2分別是前后兩幀圖像探測到的火焰像素?cái)?shù)量。

對火焰、燈光和燭光等物體實(shí)驗(yàn)，火焰的面積變化率在［0.01，0.25］內(nèi)波動，燈光和陽光等干擾的相似度在［0.001，0.045］內(nèi)小幅波動。

3.2 火焰相似性

相鄰兩幀火焰的形狀相似性也遵循一定的原則。使用Ii-1(x，y)，Ii(x，y)分別表示從幀i-1 和i的圖像獲得的火焰二值圖像。如果（x，y）的像素被確定為火焰像素點(diǎn)，則像素點(diǎn)Pi-1(x，y) 或者Pi(x，y)的值為1，否則其值為0。Ii-1和Ii之間的火焰相似性如式（4）。

對火焰、燈光和陽光等實(shí)驗(yàn)，火焰的相似度在［0.75，1］內(nèi)大幅周期波動，太陽，燈光等干擾的相似度在［0.94，1］內(nèi)小幅波動。

3.3 擴(kuò)展局部二值模式ELBP

近年來，局部二值模式特征提取方法在紋理分析中取得了顯著的進(jìn)展。文獻(xiàn)［5］引入了LBP紋理操作符，它對紋理圖像中的像素信息進(jìn)行編碼。傳統(tǒng)的LBP 算子，不同的結(jié)構(gòu)模式下，相同的LBP 編碼值，很難說具有相同的局部結(jié)構(gòu)。因此，有必要提高LBP的識別能力。文獻(xiàn)［6］提出了完全局部二值模式描述符（CLBP），增加了基于像素強(qiáng)度的描述，對噪聲的敏感度低。文獻(xiàn)［7］提出的ELBP（擴(kuò)展局部二值模式）框架具有更好的特性和有效性。其3×3 局部區(qū)域的中心像素值被其平均局部灰度值取代。與中心灰度值運(yùn)算相比，平均灰度值對光照變化和噪聲的魯棒性更強(qiáng)。ELBP像素強(qiáng)度和差異描述子的數(shù)學(xué)公式如等式（5）和（6）所示。

式中xr，n為鄰域像素點(diǎn)的值，為鄰域像素點(diǎn)的均值。

圖3 非火焰與火焰的LBP紋理描述（上行為火焰區(qū)域，下行非火焰區(qū)域）

比對結(jié)果發(fā)現(xiàn)，相比于LBP 和CLBP 的圖像描述，ELBP 更為有效地描述了隨機(jī)強(qiáng)度變化的火焰紋理。將傳統(tǒng)的紋理描述符（如DWT）應(yīng)用于LBP、CLBP和ELBP圖像描述，可以形成一種混合紋理描述。這樣有助于區(qū)分火焰和類似火焰的干擾。

3.4 離散小波變換DWT

DWT 是用于圖像分層分解的數(shù)學(xué)工具，它提供了空間和頻率信息。因此，它在圖像處理應(yīng)用中得到了廣泛的應(yīng)用。2D-DWT 的元素有尺度變換函數(shù)φ(x，y)和三個小波函數(shù)ψH(x，y)、ψV(x，y)和ψD(x，y)，分別用于測量水平、垂直和對角線方向的灰度變化。如果有一點(diǎn)P(x，y)在輸入的m×n大小的圖像上，則圖像離散小波變換可由式（7）和（8）得來。

其中j0是初始任意尺度比例，通常選擇為0。尺度比例為j0時，系數(shù)Wφ(j0，m，n) 是P(x，y) 的近似值。尺度比例j≥j0時，系數(shù)為其添加了水平、垂直和對角線細(xì)節(jié)。此處采用Daubechies小波，其具有時間不變性、實(shí)數(shù)小波系數(shù)和銳化濾波過渡帶等特點(diǎn)，且在微觀和宏觀結(jié)構(gòu)具有不同的灰度變化，因此，它們在統(tǒng)計(jì)上具有子圖像特征［8］。為了觀察火焰圖像的微觀和宏觀結(jié)構(gòu)，對ELBP 圖像進(jìn)行了DWT小波變換。

圖4 等級L=2的DWT下候選火焰區(qū)域的混合紋理描述（上行為火焰區(qū)域，下行非火焰區(qū)域）

從圖4 可以看出，在混合紋理描述符中，火焰的水平、垂直和對角線系數(shù)比非火焰系數(shù)更具體。而且CRLBP-DWT 描述符更清楚地觀察到火焰紋理中像素強(qiáng)度的隨機(jī)分布。因此，CRLBP-DWT 混合紋理描述符對火焰紋理的描述更為有效。從CRLBP-DWT 中提取的特征包括不同級別（L=1～7）的小波子圖像的熵。在DWT 的每個級別上，都會生成三個子圖像（水平、垂直和對角線）。子圖像的熵共產(chǎn)生21個特征。

4 極限向量機(jī)分類火焰

ELM 是一種單隱層前饋人工神經(jīng)網(wǎng)絡(luò)（SLFN），適用于廣泛的非線性應(yīng)用。ELM 是最近提出的一種機(jī)器學(xué)習(xí)方法，與其他學(xué)習(xí)方法相比，它具有很低的計(jì)算成本和快速的訓(xùn)練速度，而且不需要麻煩的參數(shù)調(diào)整。ELM 以前被應(yīng)用于不同的任務(wù)，如文獻(xiàn)［9］的圖像超分辨率、文獻(xiàn)［10］的蝴蝶種類的識別、文獻(xiàn)［11］的人類行為識別和文獻(xiàn)［12］的面部識別。從火焰動力學(xué)分析中提取了27 個特征集。這些27 個特征被用作輸入特征向量來訓(xùn)練ELM分類器，訓(xùn)練網(wǎng)絡(luò)相當(dāng)于尋找最小二乘解。

圖5 實(shí)驗(yàn)?zāi)M視頻

從火焰視頻和非火焰視頻中提取的特征用作訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)及其相應(yīng)的標(biāo)簽被輸入到ELM 學(xué)習(xí)二進(jìn)制分類器，如圖5 為一些用于實(shí)驗(yàn)的視頻。在所提出的工作中，ELM的內(nèi)核版本使用了160 個隱藏節(jié)點(diǎn)和“徑向基函數(shù)”作為激活函數(shù)。對于火焰檢測，從給定的輸入視頻中提取特征，并使用ELM 分類器對火焰進(jìn)行預(yù)測。內(nèi)核在等式（9）中定義。

式中σ是核函數(shù)的寬度，設(shè)置為訓(xùn)練數(shù)據(jù)集之間的平均歐幾里得距離。

5 結(jié)果與討論

采用ELM 分類器對火焰、火焰光反射和火焰色物體等視頻進(jìn)行了火焰檢測實(shí)驗(yàn)。測試視頻如圖 5 的 6 組視頻，幀率為 25 幀/s～30 幀/s 不等，詳細(xì)描述如表1所示。火焰與非火焰的探測結(jié)果如表2所示。由于，本文所用的方法為動態(tài)紋理的混合特征，為了驗(yàn)證所提出的火焰檢測方法的有效性，將其與文獻(xiàn)［13～15］中的三種方法作比較。

表1 輸入視頻描述

方法1是文獻(xiàn)［13］“火焰圖像跳動特征的火災(zāi)識別算法”，為動態(tài)頻閃特征。方法2 是文獻(xiàn)［14］“基于多階段模式識別技術(shù)的視頻序列中的火焰檢測”方法，為幀間動態(tài)特征。方法3 是文獻(xiàn)［15］“基于視頻的時空火焰建模和紋理分析的火災(zāi)自動檢測”，為紋理特征。

在視頻（a）和（c）中，火焰反光干擾在一些幀中強(qiáng)度變大，看起來似乎和火焰相似，但是其前后幀動態(tài)形狀模糊，相似性較高，基于幀間動態(tài)性考慮，取得不錯的檢測效果。在視頻（b）中，火焰區(qū)域隨著時間的推移動態(tài)變化，紋理迅速擴(kuò)展，基于動態(tài)和紋理的特性，本方法具有較高的檢測率。從表2可以看出本方法是優(yōu)于前三種方法的，平均檢測率為95.45%，漏檢率4.55%，可以看出，所提出的基于動態(tài)和紋理特征的火焰檢測方法可以有效地區(qū)分火焰色運(yùn)動物體和真實(shí)火災(zāi)。

表2 本文火焰探測方法和三種文獻(xiàn)方法的結(jié)果比對

6 結(jié)語

火焰檢測在實(shí)踐中有許多潛在的應(yīng)用。提出的基于動態(tài)和紋理分析的火焰檢測方法，提高了分類的精度。在紋理分析中，與傳統(tǒng)的紋理描述符相比，在識別火焰和干擾方面，混合紋理描述符能產(chǎn)生有意義的特征向量。通過動態(tài)火焰分析，利用各種動態(tài)和紋理特征對火災(zāi)行為進(jìn)行建模，實(shí)現(xiàn)了95.45%的檢測率和4.55%漏檢率，同時減少了火焰色運(yùn)動物體引起的虛假報(bào)警。與其他基于單一動態(tài)和紋理建模的算法相比，該方法的計(jì)算要求更高。然而，該算法的平均幀速率對于火災(zāi)預(yù)警系統(tǒng)仍然是足夠的。此外，ELM 具有較好的泛化性能，在火焰分類中得到了很好的應(yīng)用。