運動區(qū)域提取和閃頻分析并行的火焰檢測算法*

陳垂雄 嚴云洋 劉以安 高尚兵 周靜波

(1.江南大學物聯(lián)網(wǎng)工程學院,無錫,214122;2.淮陰工學院計算機工程學院,淮安,223003)

運動區(qū)域提取和閃頻分析并行的火焰檢測算法*

陳垂雄1,2嚴云洋1,2劉以安1高尚兵2周靜波2

(1.江南大學物聯(lián)網(wǎng)工程學院,無錫,214122;2.淮陰工學院計算機工程學院,淮安,223003)

在火焰檢測中對火焰運動區(qū)域提取和閃爍特征分析大都分開進行，本文在提取運動區(qū)域的同時分析該區(qū)域的閃頻特性，即將火焰的運動特征和閃爍特征同時提取。首先基于Ohta顏色空間找出圖像中具有火焰顏色的疑似區(qū)域，其次根據(jù)視頻圖像某個位置在一段時間內(nèi)變化的程度和次數(shù)是否都達到一定程度提取具有閃爍特性的運動區(qū)域，最后根據(jù)具有火焰顏色的連通區(qū)域是否包含這種運動區(qū)域，且顏色區(qū)域與運動區(qū)域的面積比例是否達到一定比值，來判斷該連通區(qū)域是否為火焰。實驗結(jié)果表明該方法在提取運動區(qū)域的同時能排除不具火焰閃爍特征的前景，且能在運動區(qū)域提取不完整的情況下保持較高的火焰檢測率和較低的誤檢率。

運動區(qū)域；閃頻分析；火焰檢測；區(qū)域面積；不完整運動區(qū)域

引 言

傳統(tǒng)的火災警報系統(tǒng)是基于紅外監(jiān)控器、光學監(jiān)控器或者離子監(jiān)控器，依靠煙霧、熱和輻射等火災特性來判斷是否有火災發(fā)生。然而，這些傳統(tǒng)的火災報警系統(tǒng)要等到如熱量、煙霧粒子等報警信號[1]實際到達監(jiān)控器才觸發(fā)警報，并且它們通常不能提供火災的位置和火災的發(fā)展程度等信息。而基于計算機視覺的火災檢測方法因為適用于大空間，反應快速而得到廣泛的關注。嚴云洋等[2]提取火焰的顏色區(qū)域后，用邏輯回歸對火焰的閃頻特征進行分析。Chen等[3]通過改進高斯混合模型提取運動區(qū)域，用顏色特征提取疑似火焰區(qū)域，然后對具有火焰顏色的運動物體進行火焰的閃爍特征分析，從而達到最后的判斷。謝迪等[4]在分析火焰運動和顏色特征的基礎上，通過傅里葉變換提取火焰的閃爍特征，并將其和圓形度、角點等空域特征輸入神經(jīng)網(wǎng)絡進行訓練與判別。Wang等[5]提取運動區(qū)域與顏色區(qū)域后，用隱馬爾可夫模型模擬火焰的閃爍特征，并用亮度圖達到最后的判斷?？梢?，許多火焰檢測方法都對火焰的運動和閃頻這兩個重要特征進行了分析。然而，由于這兩個步驟是串行進行的，因此對于火焰檢測的實時性將有一定影響。上述方法在將顏色與運動區(qū)域相與的時候，對運動區(qū)域的提取提出了比較苛刻的要求，當運動區(qū)域提取不完整時，與顏色區(qū)域相與后得到的區(qū)域可能不再是火焰的真實外形，這對于進一步的閃爍特征分析或其他特征參數(shù)提取將產(chǎn)生較大的影響。更有甚者，在提取運動區(qū)域時，如果幀間間隔沒把握好，可能因幀間變化太小而提取不到運動區(qū)域。

本文根據(jù)火焰閃爍時本身所具有的運動特性，將兩個特征的提取同步進行，即在進行運動區(qū)域提取的同時，也判斷該運動區(qū)域是否具有火焰的閃爍特性。即使提取的火焰運動區(qū)域不完整，但通過對運動區(qū)域與顏色區(qū)域的重疊情況，可以判斷出該顏色區(qū)域是否同時具備運動和閃爍特性，從而達到火焰識別的目的。這樣在縮短識別過程的同時，可以最大限度地保留真實火焰的全貌，從而提高火焰的檢測準確率。

1 火焰顏色區(qū)域提取

一般可燃物燃燒的顏色在各個顏色空間中都有特定的分布模型，火焰外形呈現(xiàn)由內(nèi)到外由白變黃再到紅的環(huán)形嵌套結(jié)構(gòu)，并且對于每個火焰顏色像素，紅色分量都占較大比重。Yan等[6]對紅綠藍(Red,Green,Blue,RGB)分量進行線性變換，在Ohta顏色空間建立了應用于火焰檢測的一種色彩模型。由于火焰圖像在Ohta顏色空間次佳特征的直方圖都變?yōu)閱畏寤螂p峰特性，比較適合分割提取，所以本文使用該空間的次佳特征。但如果只使用該判別規(guī)則，可能把某些紅色分量沒有占據(jù)主要比重的像素也提取進來，故同時對紅色分量進行限制，從而提取類似火焰顏色的區(qū)域。具體判別如下

(1)

(2)

式中:I為Otha顏色空間的次佳特征;Rt為紅色分量閾值，取值范圍一般在160～200之間；R和B分別為RGB空間的紅色分量和藍色分量值。

當火焰內(nèi)部為白色時，使用該顏色模型得到的區(qū)域一般會產(chǎn)生空洞，但由于高溫的白色區(qū)域一般被外部溫度較低的黃-紅區(qū)域包圍，形成空洞，這時如果用空洞填充方法就能填充區(qū)域的空洞，從而提取較為完整的疑似火焰區(qū)域，效果如圖1所示。

圖1 基于顏色特征的疑似火焰區(qū)域提取Fig．1 Flame candidates extraction based on color feature

2 運動區(qū)域和閃爍特征提取

由于受氣體羽流卷吸及自身輻射的影響，火苗會出現(xiàn)無序閃動，具體表現(xiàn)為一種持續(xù)的高頻時序變化。大量研究表明，這種閃爍頻率主要在7～12Hz動態(tài)范圍內(nèi)[7]?；鹧骈W爍的一個顯著特征是火焰邊緣的像素灰度值在幀與幀之間發(fā)生較為明顯的變化，而運動區(qū)域的提取一般也是基于幀間像素灰度值的變化，所以火焰的閃爍特征其實也體現(xiàn)著火焰的運動。雖然火焰的閃爍特性分析是基于連續(xù)多幀圖像的，但考慮到火焰在短時間內(nèi)基本上是在同一位置抖動，所以可利用閃爍特征來提取火焰的運動區(qū)域，即將閃爍分析與運動區(qū)域提取合二為一，這樣提取出的運動區(qū)域同時也具有火焰的閃爍特性。

在對火焰的閃爍特性進行分析時，當前主流的方法有空間域向頻率域的轉(zhuǎn)化和基于某個像素在多幀之間的亮度或紅色分量變化次數(shù)兩種。由于空間域向頻率域轉(zhuǎn)化較費時，本文選擇第二種方法。如文獻[3]一樣，許多研究者將某個像素在幀間的亮度差取絕對值，根據(jù)該絕對值的大小及變化次數(shù)，判斷是否為火焰。為了更好地說明火焰的閃爍特性，本文進行運動提取與閃頻分析的方法如下。

首先建立兩個與原圖分辨率相同的計數(shù)矩陣map1和map2,t時刻，當某個像素(x,y)當前幀與前一幀紅色分量差值大于某個閾值T,將map1(x,y,t)在前一幀map1(x,y,t-1)的基礎上加1進行累加，map2(x,y,t)加0；當(x,y)當前幀與前一幀紅色分量差值小于某個閾值負T，將map2(x,y,t)加1，map1(x,y,t)加0；如果不是以上兩種情況，map1(x,y,t)和map2(x,y,t)都加0。

(3)

(4)

(5)

(6)

式中：T為一個正實數(shù)，用于消除系統(tǒng)噪聲等因素對像素紅色分量值產(chǎn)生的影響。T值一般在5～20之間，可以取固定值，也可以用Turgay Celik[8]提出的動態(tài)閾;R(x,y,t)和R(x,y,t-1)分別為t時刻與t-1時刻(x,y)像素的紅色分量值。在監(jiān)控視頻圖像序列中，靜止的目標區(qū)域紅色分量值基本不變，運動的車燈會讓像素的紅色分量有較大變化，但這些變化持續(xù)的時間比較短，并且一般是持續(xù)增加或減少，而火焰像素的紅色分量會在增加與減少之間反復多次出現(xiàn)，map1(x,y,t)和map2(x,y,t)的變化都會超出某一閾值。如果某個像素(x,y)在某段時間內(nèi)map1(x,y,t)和map2(x,y,t)的變化都超出某個閾值，則這個像素可能就是火焰的邊緣像素。火焰閃爍特性如式(7～9)所示

map1(x,y,t)=1map1(x,y,t)-map1(x,y,t-N)≥COUNT

(7)

map2(x,y,t)=1map2(x,y,t)-map2(x,y,t-N)≥COUNT

(8)

MAP=MAP1?MAP2

(9)

式中：MAP1，MAP2和MAP均為與原圖像分辨率相同的二值矩陣，符號?表示二值與運算；N為累加時間窗，大小與視頻采集的速率相當[9]，本文取19；COUNT為判斷像素是否閃爍的閾值，其值既與累加時間窗N有關，又與視頻采集速率有關，由于視頻采集速率一般為25 fps,火焰的閃爍頻率為7～12 Hz,這樣在20幀內(nèi)大概閃爍了6次，所以本文COUNT取值為3;map1(x,y,t),map2(x,y,t)和map1(x,y,t-N)、map2(x,y,t-N)分別為t和t-N時刻像素(x,y)的計數(shù)值。上式得到的二值圖map中為1的像素即為火焰的閃爍像素，同時也是火焰在時刻t的邊緣近似運動區(qū)域。為了去除圖像中存在的噪聲點并連接鄰近像素，本文使用二值形態(tài)學運算對二值圖MAP進行處理。實驗選取半徑分別為l和3的圓盤狀結(jié)構(gòu)元素對圖像進行腐蝕和膨脹，效果如圖2所示。

圖2 運動區(qū)域的提取Fig．2 Motion region extraction

從圖2可以看出，用混合高斯模型提取的運動區(qū)域包含走動的人和運動的車燈等干擾物，但用本文方法提取的運動區(qū)域能將上述干擾物排除，因為它們都不具備火焰的閃爍特性。

3 火焰的判別

由于本文提取的運動區(qū)域是基于前面幾幀圖像提取的，所以t時刻本文提取的運動區(qū)域與火焰的真實運動區(qū)域有點差別，但由于短時間內(nèi)火焰基本上在同一個位置重復運動，因此提取的區(qū)域還是火焰的近似運動區(qū)域。

火焰判別算法流程如圖3所示?？紤]到本文得到的顏色區(qū)域相對運動區(qū)域較為準確，它能刻畫火焰的外形、大小等特征，故本文先以顏色特征提取疑似火焰的區(qū)域，得到顏色圖。為避免運動區(qū)域因使用形態(tài)學算法使邊緣超出顏色區(qū)域，本文以顏色圖BW與運動圖MAP的交集MIX作為運動圖，該圖中的各個區(qū)域既具有火焰的顏色，又具有運動和閃爍特性。將顏色二值圖BW和交集圖MIX中的像素分別進行8鄰域連接形成連通區(qū)域，并對兩張圖中各個連通區(qū)域進行標記。對于每個顏色區(qū)域，如果它包含一個相交區(qū)域，并且該相交區(qū)域的面積達到顏色區(qū)域面積的一定程度P，則判定該顏色區(qū)域為火焰，該火焰判別方法能彌補運動區(qū)域提取不完全的缺陷，如式(10～11)所示，即

MIX=BW?MAP

(10)

BW(i)=1 MIX(j)?BW(i)&MIX(j).Area/BW(i).Area≥Pi=1,2,…,n;j?[1，m]

(11)

式中:i，j代表用連通區(qū)域標記法標記的某個連通區(qū)域;n為顏色圖總的連通區(qū)域個數(shù);m為交集圖總的連通區(qū)域個數(shù);MIX(j).Area代表某個相交區(qū)域的面積;BW(i).Area代表第i個顏色區(qū)域的面積;1代表該顏色區(qū)域為火焰，0代表該顏色區(qū)域為非火焰;P為區(qū)域頻閃特性的判斷閾值[9]，MIX(j).Area/BW(i).Area≥P說明火焰中心相對穩(wěn)定，邊緣隨機運動劇烈，區(qū)域變化像素點總數(shù)應穩(wěn)定于一定的范圍內(nèi)，P太大可能造成火焰的漏檢率增大，P太小可能使非火焰的誤檢率增大，為保證檢測率和減少漏檢率，P取0.1。

4 實驗結(jié)果及分析

本文在CPU為Inteli5，主頻為2.50GHz，內(nèi)存為4.00GB的實驗環(huán)境下用MatlabR2012b進行測試。選取Bilkent大學火災視頻庫(http://signal.ee.bilkent.edu.tr/VisiFire/index.html)的4段火焰視頻和2段非火焰視頻(描述如表1所示)進行測試，并與別的方法對比分析。

表1 視頻情況描述

樣本實例及檢測結(jié)果如圖4所示，火焰視頻和非火焰視頻檢測結(jié)果與文獻[10～12]對比情況如表2，3所示。由于本文的運動提取和閃頻分析是通過20幀累積的，所以視頻前19幀無法作判斷，為此在與文獻[10～12]比較時，檢測幀數(shù)也相應地去掉前19幀，計算得到它們新的檢測數(shù)據(jù)。

從表2和表3可以看出，文獻[11]對于森林火焰有較高的準確率，而對于其他類型的火焰，尤其是當非火焰干擾時準確率大幅度降低，這是因為它只用森林的火焰樣本進行統(tǒng)計分析，在其他場景的適用性較低；又因為其檢測步驟過于簡單，對火焰的一些主要特征缺少分析，所以對車燈等具有類似火焰顏色的運動物體誤檢率高。文獻[10]采用雙差法并結(jié)合HSI空間中的3個顏色公式檢測運動目標，雖然基于多閾值判定的雙差法在火焰視頻中檢測結(jié)果較好，但也容易誤檢類似火焰顏色的運動物體，所以對于車燈的干擾誤檢率極高。文獻[12]既用了火焰顏色與運動特征，又將火焰的表面粗糙度和邊界粗糙度等參數(shù)輸入BP神經(jīng)網(wǎng)絡訓練，所以準確率相比前面的文獻高。本文雖然在視頻5的誤檢率較高，但相比其他文獻在各種場景的準確率幾乎都有提高，視頻5由于雙向都有車燈，光線復雜，且卡車后車燈在大部分時間內(nèi)具有與火焰相似的閃爍特性，所以誤檢率較高。

圖4 視頻樣本示例及檢測效果Fig．4 Video examples and detection results

視頻總幀數(shù)火焰幀數(shù)文獻[10]文獻[9]文獻[11]本文算法準確率/%漏檢率/%準確率/%漏檢率/%準確率/%漏檢率/%準確率/%漏檢率/%136336358.341.790.79.390.79.31000.0261661682.018.093.36.777.922.188.111.9342042074.825.298.31.791.28.893.36.7420020095.54.596.04.090.59.599.50.5

表3 非火焰視頻檢測結(jié)果

5 結(jié)束語

本文用Ohta顏色空間提取火焰的顏色區(qū)域，并對區(qū)域可能出現(xiàn)的空洞進行填充，然后基于幀間的累積將運動區(qū)域提取與閃爍特性分析合二為一，最后結(jié)合運動和閃爍特性對每一個顏色區(qū)域進行判斷，看其是否為真實的火焰。實驗結(jié)果表明，本文提出的算法對不同場景具有較高的檢測率和較強的魯棒性。然而對于燃燒穩(wěn)定的火焰，閃爍特征將不那么明顯，本文的算法性能會下降，今后將考慮把火焰的其他靜態(tài)和動態(tài)特征融入火焰的檢測中，以提高檢測的準確率和抗干擾性。

[1] 李正周, 方朝陽, 顧園山, 等. 基于無線多傳感器信息融合的火災檢測系統(tǒng)[J]. 數(shù)據(jù)采集與處理, 2014,29(5):694-699.

Li Zhengzhou, Fang Chaoyang, Gu Yuanshan, et al. Fire detection system based on wireless multi-sensor information fusion[J]. Journal of Data Acquisition and Processing, 2014,29(5):694-699.

[2] 嚴云洋, 吳茜茵, 杜靜, 等. 基于色彩和閃頻特征的視頻火焰檢測[J]. 計算機科學與探索, 2014,8(10):1271-1279.

Yan Yunyang, Wu Xiyin, Du Jing. et al. Video fire detection based on color and flicker frequency feature[J]. Journal of Frontiers of Computer Science and Technology, 2014,8(10):1271-1279.

[3] Chen Juan, He Yaping, Wang Jian. Multi-feature fusion based fast video flame detection[J]. Building and Environment, 2010,45(5):1113-1122.

[4] 謝迪, 童若鋒, 唐敏, 等. 具有高區(qū)分度的視頻火焰檢測方法[J]. 浙江大學學報(工學版), 2012,46(4):698-704.

Xie Di, Tong Ruofeng, Tang Min, et al. Distinguishable method for video fire detection[J]. Journal of Zhejiang University(Engineering Science), 2012,46(4):698-704.

[5] Wang Liqiang, Ye Mao, Ding Jian, et al. Hybrid fire detection using hidden Markov model and luminance map[J]. Computers & Electrical Engineering, 2011,37(6):905-915.

[6] Yan Yunyang, Guo Zhibo, Wang Hongyan. Fire detection based on feature of flame color[C]∥ Proceedings of the 2009 Chinese Conference on Pattern Recognition. Washington D C, USA: IEEE Computer Society Press, 2009:349-353.

[7] 安患偉, 袁宏永, 屈玉貴. 數(shù)據(jù)采集在火焰閃爍頻率的測量研究及分析中的應用[J]. 火災科學, 2000,9(2):43-47.

An Huanwei, Yuan Hongyong, Qu Yugui. Data collection on the research of fire flash frequency[J]. Fire Safety Science, 2000,9(2):43-47.

[8] Celik T. Fast and efficient method for fire detection using image processing[J]. Etri Journal, 2010,32(6):881-890.

[9] 胡國良, 江熹, 王少龍. 基于多特征融合的視頻火焰檢測技術研究[J]. 機械設計與制造, 2012(7):213-215.

Hu Guoliang, Jiang Xi, Wang Shaolong. Research of video flame detecion based on multi-feature integration technology[J]. Machinery Design & Manufacture, 2012(7):213-215.

[10]Chen T H, Wu P H, Chiou Y C. An early fire-detection method based on image processing[C]∥Proceedings of the 2004 IEEE International Conference on Image Processing(ICIP04). Washington D C, USA: IEEE Computer Society Press, 2004:1707-1710.

[11]Celik T, Demirel H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal, 2009,44(2):147-158.

[12]Rong Jianzhong, Zhou Dechuang, Yao Wei, et al. Fire flame detection based on GICA and target tracking[J]. Optics & Laser Technology, 2013,47:283-291.

Fire Detection Based on Parallel Computing of Motion and Flicker Frequency Feature

Chen Chuixiong1,2, Yan Yunyang1,2, Liu Yi′an1, Gao Shangbing2, Zhou Jingbo2

(1.School of Internet of Things Engineering, Jiangnan University, Wuxi, 214122, China;2.Faculty of Computer Engineering, Huaiyin Institute of Technology, Huaian, 223003, China)

The extraction of motion regions and analysis of flicker are carried out separately in flame detection usually. A novel method is proposed here. Flicker of flame is detected while the motion regions are extracted. Firstly, candidate fire regions were detected based on Ohta color space with a color model of flame. Then, the motion regions with flicker frequency feature were extracted according to the degree and times of changes over a period at a certain position. Finally, the status whether the connected region is in flames or not was determined according to the intersection between the flame color region and the motion region. Experimental results show that the proposed method can ignore the regions which do not have the feature of flame flicker after the motion regions were extracted.It also performs well with high flame detection rate and lower false detection rate even if the motion region is incomplete.

motion region; analysis of flicker; flame detection; region area; incomplete motion region

國家自然科學基金(61402192)資助項目；教育部科學技術研究重大(311024)資助項目；江蘇省“六大人才高峰”(2013DZXX-023)資助項目；江蘇省“333工程”(BRA2013208)資助項目；江蘇省“青藍工程”資助項目；淮安市“533工程”資助項目；淮安市科技計劃(HAG2013057，HAG2013059)資助項目。

2015-05-20；

2015-07-20

TP391.41

A

陳垂雄(1988-)，男，碩士研究生，研究方向: 數(shù)字圖像處理、模式識別，E-mail:494231126@qq.com。

高尚兵(1981-)，男，博士、副教授，研究方向：數(shù)字圖像處理、模式識別。

嚴云洋(1967-)，男，博士、教授，研究方向：數(shù)字圖像處理、模式識別。

周靜波(1983-)，男，博士，研究方向：數(shù)字圖像處理、模式識別。

劉以安(1963-)，男，博士、教授，研究方向：模式識別、數(shù)據(jù)融合。