基于約束非均勻形變特征的小尺度火焰識(shí)別方法研究

王向軍，杜志偉，高 超

〈圖像處理與仿真〉

基于約束非均勻形變特征的小尺度火焰識(shí)別方法研究

王向軍1,2，杜志偉1,2，高 超3

（1. 天津大學(xué) 精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2. 天津大學(xué) 微光機(jī)電系統(tǒng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300072；3. 天津大學(xué) 智能與計(jì)算學(xué)部軟件學(xué)院，天津 300072）

基于視覺(jué)的火焰檢測(cè)是一種靈活、低成本的火焰檢測(cè)方式，但現(xiàn)階段常用的火焰特征不能對(duì)火焰和干擾物進(jìn)行有效的區(qū)分，有較大的誤警率。本文基于目標(biāo)輪廓的時(shí)序行為特征，將火焰的閃爍描述為一種有約束的非均勻形變過(guò)程，結(jié)合隱馬爾可夫模型和傳統(tǒng)幾何特征對(duì)火焰和干擾物進(jìn)行更準(zhǔn)確地區(qū)分。實(shí)驗(yàn)表明，通過(guò)引入補(bǔ)充的火焰特征顯著提高了火焰檢測(cè)的準(zhǔn)確率，有效減少了復(fù)雜環(huán)境下干擾物引起的虛警。

火焰檢測(cè)；特征提?。恢髑€；隱馬爾可夫模型

0 引言

火災(zāi)是受到廣泛重視的災(zāi)害之一，對(duì)火焰進(jìn)行快速、準(zhǔn)確的檢測(cè)是保證消防安全，降低火災(zāi)危害的關(guān)鍵。傳統(tǒng)的火災(zāi)檢測(cè)方法如煙霧傳感器、溫度傳感器等通常針對(duì)特定的位置進(jìn)行監(jiān)測(cè)，存在范圍小、響應(yīng)慢等問(wèn)題，對(duì)應(yīng)用環(huán)境有較高的要求。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，基于視頻的火焰檢測(cè)方法（video-based fire detection，VFD）成為火災(zāi)檢測(cè)的一種重要途徑[1]。基于視頻可以對(duì)火災(zāi)進(jìn)行遠(yuǎn)距離、大范圍的持續(xù)監(jiān)測(cè)，同時(shí)可以對(duì)火災(zāi)進(jìn)行準(zhǔn)確的定位，對(duì)火焰的起始位置、規(guī)模、增長(zhǎng)速率、傳播方向等進(jìn)行分析，作為確定消防方案的依據(jù)。

基于視頻的火焰檢測(cè)方案通常分為可見(jiàn)光波段的火焰檢測(cè)和紅外波段的火焰檢測(cè)兩類(lèi)，根據(jù)火焰顏色和形狀及其隨時(shí)間的變化趨勢(shì)進(jìn)行檢測(cè)。可見(jiàn)光波段可以取到清晰、準(zhǔn)確的火焰邊界，具有豐富的幾何信息和紋理信息，但數(shù)據(jù)量大，抗干擾性較差。相比可見(jiàn)光波段，在紅外波段進(jìn)行檢測(cè)可以降低干擾物數(shù)量，簡(jiǎn)化目標(biāo)特征的提取過(guò)程，減輕環(huán)境變化如光照、氣候的影響，且對(duì)煙霧遮擋具有較好的穿透性，較可見(jiàn)光波段更適用于火焰的檢測(cè)，本文采用紅外波段作為火焰檢測(cè)的波段。

火焰檢測(cè)常用描述特征包括其輪廓的變換域描述子、幾何特征、形狀描述矩、運(yùn)動(dòng)特征等[2-5]。其中閃爍現(xiàn)象作為火焰特有的運(yùn)動(dòng)特征，可以有效地對(duì)火焰和常見(jiàn)形變干擾物進(jìn)行區(qū)分。本文在傳統(tǒng)特征的基礎(chǔ)上，對(duì)火焰的閃爍過(guò)程進(jìn)行了更準(zhǔn)確的描述，顯著提高了識(shí)別算法的準(zhǔn)確率。

1 火焰閃爍特性分析

火焰的閃爍過(guò)程指在燃燒過(guò)程中由于熱對(duì)流、重力、湍流等共同作用產(chǎn)生的復(fù)雜現(xiàn)象，表現(xiàn)為火焰形狀高頻率的無(wú)序變化，是火焰燃燒不穩(wěn)定性的反映[6-7]。閃爍在一定程度上反映了火焰的燃燒特性，其中伸展閃爍與火焰的燃燒面積有較好的相關(guān)性[8-9]?；鹧嫒紵^(guò)程中的空氣來(lái)自外部環(huán)境空氣的擴(kuò)散，其中心區(qū)域所需的空氣經(jīng)過(guò)四周火焰并被不斷消耗。隨著火焰面積的增加，環(huán)境空氣的擴(kuò)散行程和擴(kuò)散損耗增大，火焰中心的空氣積蓄過(guò)程更加緩慢，火焰更加穩(wěn)定，閃爍頻率降低。Takahashi[10]等對(duì)不同尺度火焰的燃燒和閃爍現(xiàn)象進(jìn)行了分析，得到如(1)所述的經(jīng)驗(yàn)公式：

式中：為火源等效燃燒直徑，根據(jù)該公式可以通過(guò)測(cè)量的閃爍頻率對(duì)火焰的真實(shí)尺度進(jìn)行估計(jì)。

現(xiàn)階段對(duì)火焰閃爍頻率的描述通?；谝晥?chǎng)內(nèi)像素的整體特征，如面積、周長(zhǎng)等幾何特征，累計(jì)灰度變化、灰度直方圖等像素統(tǒng)計(jì)特征，輪廓變換域描述子等整體形狀特征[6,8-9,11-12]。這類(lèi)描述方式通?；谀繕?biāo)的全局特性，忽略了火焰像素的局部差異性，抗干擾性較差，特別是對(duì)復(fù)雜背景環(huán)境下的紅外形變干擾物如動(dòng)物、遮擋熱源等缺乏有效的區(qū)分能力。本文基于火焰邊緣像素的運(yùn)動(dòng)特征和分布概率構(gòu)造了閃爍的非均勻形變模型，對(duì)火焰的閃爍過(guò)程進(jìn)行了更準(zhǔn)確的描述，增強(qiáng)了對(duì)火焰和形變、運(yùn)動(dòng)干擾物的區(qū)分能力，同時(shí)結(jié)合隱馬爾科夫模型對(duì)火焰的閃爍頻率進(jìn)行了計(jì)算，以對(duì)火焰真實(shí)尺度進(jìn)行粗略估計(jì)。

2 閃爍過(guò)程的約束非均勻形變特征

采用圖1(a)中方框區(qū)域的火焰作為示例目標(biāo)。該測(cè)試視頻中包括兩個(gè)微小火源和一個(gè)規(guī)則干擾物。直接采用Canny算子提取的邊緣如圖1(b)所示，大量無(wú)關(guān)干擾邊緣也被提取了出來(lái)，這增大了后續(xù)處理的數(shù)據(jù)量，降低了火焰目標(biāo)檢測(cè)和識(shí)別的效率。本文在Canny算子的基礎(chǔ)上增加了鄰域灰度約束條件，對(duì)提取的邊緣進(jìn)行篩選，得到的實(shí)際輪廓如圖1(c)所示，圖中的3個(gè)輪廓分別為火點(diǎn)1、火點(diǎn)2、大面積干擾物。對(duì)左側(cè)火點(diǎn)(火點(diǎn)1)進(jìn)行進(jìn)一步分析，該火點(diǎn)的像面尺寸為10×15像素，如圖1(d)為該火焰目標(biāo)在連續(xù)20幀內(nèi)輪廓的變化過(guò)程，可以看出其幀間輪廓變化不具有規(guī)律性，但整體上具有約3次完整的漲落過(guò)程，且具有穩(wěn)定的漲落邊界。

2.1 輪廓像素的時(shí)域分布特征分析

如圖2(a)為1s內(nèi)目標(biāo)火焰的輪廓像素序列，可以看出火焰輪廓在該時(shí)間區(qū)間內(nèi)持續(xù)變化，輪廓的變化過(guò)程通常發(fā)生在火焰的鋒面區(qū)域，其基部輪廓像素通常保持穩(wěn)定。因此火焰的輪廓像素在其閃爍過(guò)程中的變化具有非均勻性，基部區(qū)域火焰輪廓像素較為穩(wěn)定，鋒面區(qū)域火焰輪廓像素存在劇烈的變化。

圖1 紅外視頻及火焰閃爍輪廓序列

對(duì)火焰輪廓像素在時(shí)域進(jìn)行積分，得到圖2(b)所示的輪廓像素積分概率圖，可以看出其輪廓像素的累計(jì)概率具有獨(dú)特的分布特征?；鹧婊康妮喞袼鼐哂休^大的累計(jì)概率，且截面寬度較小，這表明該部分輪廓像素在當(dāng)前時(shí)間區(qū)間內(nèi)持續(xù)穩(wěn)定存在，不具有明顯的變化，幀間波動(dòng)被限制在一個(gè)較狹窄的范圍內(nèi)；而火焰鋒面的輪廓像素累計(jì)概率值較低，截面寬度較大，具有較為分散的分布。整體上看越接近基部區(qū)域，輪廓像素的時(shí)域分布越集中；越接近鋒面區(qū)域，輪廓像素的時(shí)域分布越分散。這一分布特征可以作為火焰和形變干擾物區(qū)分的依據(jù)。

2.2 基于輪廓像素時(shí)域積分分布特征的火焰識(shí)別

2.2.1 輪廓點(diǎn)概率分布主曲線擬合

為描述目標(biāo)輪廓分布的非均勻性，需要對(duì)分散分布的離散輪廓點(diǎn)云進(jìn)行擬合，得到軸線輪廓作為輪廓描述的基準(zhǔn)。該軸線輪廓可以通過(guò)主曲線擬合方法得到。主曲線指穿過(guò)一組離散點(diǎn)樣本中心的自相合光滑曲線，給定數(shù)據(jù)點(diǎn)圍繞該曲線近似對(duì)稱(chēng)，因而可以將該曲線作為點(diǎn)云分布的擬合表示。

傳統(tǒng)無(wú)參數(shù)主曲線擬合方法魯棒性較差，計(jì)算復(fù)雜，Kegl等[13]引入了主曲線，基于多邊形逼近的方法對(duì)主曲線進(jìn)行擬合，并引入長(zhǎng)度約束條件和最小距離期望條件對(duì)逼近過(guò)程進(jìn)行約束，增強(qiáng)了主曲線擬合過(guò)程的收斂性和無(wú)偏性，對(duì)給定樣本點(diǎn)集X，規(guī)定長(zhǎng)度小于等于給定長(zhǎng)度的階曲線簇為S，則的階主曲線f*滿足最小平方距離期望條件，即有：

式中：()表示階曲線內(nèi)的任意點(diǎn)。其擬合過(guò)程如下：

1） 初始化，提取包含所有可能投影點(diǎn)的最短主成分線段1,n作為初始曲線；

2）樣本點(diǎn)投影，區(qū)別于樣本點(diǎn)到主曲線的投影方法，主曲線擬合根據(jù)樣本點(diǎn)到階多邊形各個(gè)頂點(diǎn)1,…,v＋1和邊1,…,s的距離將樣本點(diǎn)集X投影到2＋1個(gè)獨(dú)立的集合中，得到投影子集1,…,V＋1和1,…,S；

3）頂點(diǎn)坐標(biāo)優(yōu)化，遍歷當(dāng)前頂點(diǎn)，對(duì)閉合擬合多邊形曲線的頂點(diǎn)v，根據(jù)樣本點(diǎn){:?S－1,V,S}計(jì)算擬合誤差E，調(diào)整v使擬合誤差最小；

圖2 火焰輪廓像素時(shí)域分布特性

5）重復(fù)2）3）4）過(guò)程，直到滿足迭代終止條件；

為提高算法效率，本文基于輪廓像素分布點(diǎn)云最大內(nèi)接多邊形、最小外接多邊形對(duì)應(yīng)頂點(diǎn)的平均坐標(biāo)構(gòu)造了多邊形f0,n，替代1,n作為初始擬合曲線。且適當(dāng)增加了單次迭代過(guò)程的補(bǔ)充頂點(diǎn)數(shù)?？紤]到真實(shí)輪廓點(diǎn)為離散坐標(biāo)點(diǎn)，對(duì)擬合主曲線進(jìn)行離散坐標(biāo)近似，得到圖3所示的擬合輪廓。其中紅色離散點(diǎn)為擬合輪廓點(diǎn)，與輪廓像素分布的實(shí)際中心線較為接近。

圖3 K主曲線擬合平均輪廓線

2.2.2 擬合輪廓點(diǎn)鄰域分布特征提取

對(duì)擬合輪廓上的各像素點(diǎn)，可以通過(guò)其鄰域像素的統(tǒng)計(jì)特征描述火焰輪廓在該區(qū)域的存在概率分布特性。從鋒面輪廓到基部輪廓的邊緣像素點(diǎn)積分概率增大，截面寬度減小，法向概率梯度增大。計(jì)算輪廓點(diǎn)鄰域像素分布特征需要對(duì)鄰域像素點(diǎn)進(jìn)行提取，對(duì)擬合輪廓點(diǎn)(x,y)，其法向鄰域點(diǎn)(x,y)應(yīng)該滿足式(3)：

式中：dir表示當(dāng)前輪廓點(diǎn)的法向矢量方向。

由于真實(shí)圖像采用離散坐標(biāo)形式表述，采用上述直線方程提取鄰域像素需要進(jìn)行坐標(biāo)近似。為了對(duì)鄰域像素進(jìn)行更準(zhǔn)確的提取，構(gòu)造離散化鄰域像素模板以簡(jiǎn)化擬合輪廓點(diǎn)鄰域像素的提取過(guò)程，同時(shí)對(duì)鄰域點(diǎn)樣本數(shù)量做出規(guī)范，如圖4所示。模板包括中心像素在內(nèi)共21個(gè)樣本點(diǎn)，其中黑色像素為當(dāng)前輪廓點(diǎn)，灰色像素為提取的法向鄰域像素。

圖4 離散鄰域像素提取模板

2.2.3 基于法向梯度分布的非均勻性表征

對(duì)典型火焰和干擾物的紅外視頻進(jìn)行分析，對(duì)比其輪廓像素在時(shí)域行為上的差異，所選樣本的輪廓像素時(shí)域積分圖如圖6(a)所示，像素灰度值反應(yīng)了當(dāng)前像素的累計(jì)出現(xiàn)概率。樣本從左到右依次為真實(shí)火焰、穩(wěn)定熱源、運(yùn)動(dòng)熱源、動(dòng)態(tài)遮擋的熱源，其法向梯度分布如圖(b)～(d)左側(cè)圖所示?？梢钥闯?，真實(shí)火焰的梯度分布表現(xiàn)出顯著的的單峰特性，即有且僅有一段連續(xù)分布的穩(wěn)定邊緣區(qū)，且該穩(wěn)定邊緣長(zhǎng)度有限；穩(wěn)定熱源的輪廓邊緣全局穩(wěn)定，部分區(qū)域存在邊緣誤差引起的微小波動(dòng)；運(yùn)動(dòng)熱源與遮擋熱源的輪廓分布有較高的無(wú)序性，梯度通常表現(xiàn)為多峰分布。通過(guò)對(duì)梯度分布的單峰特征進(jìn)行描述，可以對(duì)火焰和此類(lèi)干擾物進(jìn)行有效區(qū)分。

采用極大值、方差、峰度特征等統(tǒng)計(jì)特征描述目標(biāo)擬合輪廓全局梯度分布與去峰梯度分布的統(tǒng)計(jì)差異，其中峰度特征用于描述數(shù)據(jù)分布的起伏程度，表示為如下形式：

式中：x表示第個(gè)輪廓點(diǎn)的法向梯度值。全局統(tǒng)計(jì)特征根據(jù)當(dāng)前所有有效輪廓點(diǎn)計(jì)算，去峰統(tǒng)計(jì)特征為去除最高峰部分輪廓后剩余樣本點(diǎn)的統(tǒng)計(jì)特征。根據(jù)峰值和全局統(tǒng)計(jì)特征動(dòng)態(tài)確定峰值區(qū)域的前后輪廓邊界，可以較完整地去除最穩(wěn)定的連續(xù)輪廓，去峰梯度分布如圖6(b)～(e)右側(cè)所示。

圖5 擬合輪廓鄰域點(diǎn)統(tǒng)計(jì)特征

上述樣本的全局統(tǒng)計(jì)特征和去峰統(tǒng)計(jì)特征如表1所示，樣本1、2、3、4分別為真實(shí)火焰，穩(wěn)定熱源，運(yùn)動(dòng)熱源，動(dòng)態(tài)遮擋熱源。真實(shí)火焰的分布具有明顯的單峰性，因此其全局分布特征和去峰分布特征具有顯著的差異性，去峰分布的峰值、方差、峰度均明顯下降；其他干擾物通常不具有唯一、連續(xù)的峰值區(qū)域，去除最大峰值區(qū)域?qū)φw分布特征的影響較小，統(tǒng)計(jì)特征不具有顯著的變化。因此根據(jù)全局梯度分布與去峰后梯度分布的統(tǒng)計(jì)特征差異可以對(duì)火焰和干擾物做出有效的區(qū)分。

表1 不同樣本全局分布與去峰分布統(tǒng)計(jì)特征

3 基于隱馬爾科夫模型的閃爍頻率估計(jì)

火焰的閃爍頻率通常采用火焰高度或面積時(shí)域變化曲線的頻域峰值進(jìn)行計(jì)算[6]。該方式在室內(nèi)穩(wěn)定環(huán)境下對(duì)單束火焰有較好的計(jì)算效果，但自然環(huán)境下的火焰具有隨機(jī)的伸展方向和不穩(wěn)定的閃爍頻率，其漲落間隔通常在區(qū)間范圍內(nèi)隨機(jī)變化，這導(dǎo)致傳統(tǒng)的變換域方法無(wú)法提取準(zhǔn)確的峰值頻率。

4 實(shí)驗(yàn)及結(jié)果分析

5 結(jié)束語(yǔ)

本文算法通過(guò)引入非均勻形變約束條件，對(duì)火焰輪廓像素的時(shí)域行為做出了更準(zhǔn)確的描述。算法顯著降低了識(shí)別算法的虛警率，提高了檢測(cè)的準(zhǔn)確性和可信性，降低了實(shí)際應(yīng)用場(chǎng)景中對(duì)人工復(fù)核的依賴程度，有較大的使用價(jià)值。但對(duì)存在嚴(yán)重遮擋的火焰識(shí)別能力有限，還有進(jìn)一步改進(jìn)的空間。

表2 不同特征檢測(cè)結(jié)果對(duì)比

[1] ?etin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection -review[J]., 2013, 23(6): 1827-1843.

[2] Owrutsky J C, Steinhurst D A, Minor C P, et al. Long wavelength video detection of fire in ship compartments[J]., 2006, 41(4): 315-320.

[3] Toreyin B U, Cinbis R G, Dedeoglu Y, et al. Fire detection in infrared video using wavelet analysis[J]., 2007, 46(6): 067204.

[4] 李濤, 向濤, 黃仁杰, 等. 基于新的運(yùn)動(dòng)特征的火焰檢測(cè)方法[J]. 計(jì)算機(jī)仿真, 2014, 31(9): 392-396.

LI Tao, XIANG Tao, HUANG Renjie, et al. Fire detection method based on new moving feature[J]., 2014, 31(9): 392-396.

[5] 朱思思, 丁德紅, 陳朝迎, 等. 基于圖像處理的森林火災(zāi)識(shí)別方法研究[J]. 紅外技術(shù), 2016, 38(5): 440-446.

ZHU Sisi, DING Dehong, CHEN Zhaoying, et al. The research of forest fire recognition method based on image processing[J]., 2016, 38(5): 440-446.

[6] 陳娟. 基于多特征融合的視頻火焰探測(cè)方法研究[D]. 北京: 中國(guó)科學(xué)技術(shù)大學(xué), 2009.

CHEN Juan. Study on Method of Multi-Feature Fusion Based Video Flame Detection[D]. Beijing: University of Science and Technology of China, 2009.

[7] CHEN J H, Im H G. Correlation of flame speed with stretch in turbulent premixed methane/air flames[J].(International), 1997, 27(1): 819-826.

[8] Hamins A, Yang J C, Kashiwagi T, An experimental investigation of the pulsation frequency of flames[J].(International), 1992, 24(1): 1695-1702.

[9] Chaconmurguia M I, Perezvargas F J. Thermal video analysis for fire detection using shape regularity and intensity saturation features [C]//, 2011: 118-126.

[10] Takahashi N, Suzuki M, Dobashi R, et al. Behavior of luminous zones appearing on plumes of large-scale pool fires of kerosene[J]., 1999, 33(1): 1-10.

[11] 程鑫, 王大川, 尹東良. 圖像型火災(zāi)火焰探測(cè)原理[J]. 火災(zāi)科學(xué), 2005(4): 239-245,196.

CHENG Xin, WANG Dachuan, YIN Dongliang. Image type fire flame detecting principle[J]., 2005(4): 239-245, 196.

[12] Paresh P A, Parameswaran L. Vision-based algorithm for fire detection in smart buildings[C]//, 2018: 1029-1038.

[13] Kegl B, Krzyzak A, Linder T, et al. A polygonal line algorithm for constructing principal curves[C]//, 1998: 501-507.

[14] WU Z, Fuller N W, Theriault D H, et al. A thermal infrared video benchmark for visual analysis[C]//, 2014: 201-208.

Small Scale Fire Identification Based on Constrained Inhomogeneous Deformation Feature

WANG Xiangjun1,2，DU Zhiwei1,2，GAO Chao3

(1.,,300072,;2.,,300072,;3.,,300072,)

Video based fire detection(VFD) is a convenient, low-cost method widely used in fire detection. However, it’s not credible enough to distinguish true fire from possible disruptors by traditional fire features. This paper extract two new features to analyze the time series behavior of fire based on the motion of edge pixels. The inter frame behavior of edge pixels is regarded as a nonuniformty constrained deformation procedure. Combined with HMM and additional geometric features to distinguish true fire from possible disruptors, the accuracy of fire detection is greatly improved and the false alarm rateis efficiently reduced.

fire detection, feature extraction, principal curves, HMM

TP391.4

A

1001-8891(2021)02-0145-08

2019-10-11；

2020-12-30.

王向軍（1955-），男，博士，教授，主要研究方向?yàn)楣怆娞綔y(cè)與測(cè)量和圖像測(cè)量與計(jì)算機(jī)視覺(jué)。E-mail：tjuxjw@126.com。