基于多特征融合的動(dòng)態(tài)火焰識(shí)別算法

葉子涵

（浙江工商大學(xué) 浙江 杭州 310018）

0 引言

隨著人類社會(huì)的發(fā)展進(jìn)步，火災(zāi)成為了不可忽視的多發(fā)性問題。隨著安防監(jiān)控科技的不斷發(fā)展，越來越多的火災(zāi)場(chǎng)景通過視頻進(jìn)行探測(cè)，視頻火焰檢測(cè)適用于多種火災(zāi)場(chǎng)景的同時(shí)能準(zhǔn)確檢測(cè)出火焰的相關(guān)信息，該方法比較適合于早期的火焰檢測(cè)。

火焰動(dòng)態(tài)特征檢測(cè)方法主要有背景差分法[1]、幀間差分法[2]和光流法[3]等。其中光流法算法的復(fù)雜性較高，實(shí)時(shí)性也較差。同時(shí)，由于實(shí)際火災(zāi)場(chǎng)景總是復(fù)雜多變的，且存在各種干擾，這會(huì)造成背景差分法的背景建模過程難度增加。相比較而言，幀間差分法有計(jì)算簡單、容易實(shí)現(xiàn)的特點(diǎn)。

火焰的靜態(tài)特征包括顏色特征、輪廓特征和結(jié)構(gòu)特征等。其中火焰的顏色特征比輪廓特征和結(jié)構(gòu)特征更直觀，因此本文將針對(duì)火焰的顏色特征進(jìn)行討論與分析?；鹧嬗兄@著的顏色特征，從焰心到外焰的顏色不同，一般由亮白色逐漸過渡到暗紅色。利用這一特性，火災(zāi)視頻中提取出的連續(xù)圖像幀，若符合顏色空間規(guī)則時(shí)，可判斷為疑似火焰區(qū)域。視頻火焰的顏色檢測(cè)方法可以基于RGB、HSI、HSV、YCbCr 等顏色空間。嚴(yán)云洋等[4]在RGB 色彩模型的基礎(chǔ)上，通過正交顏色特征判別火焰像素。Horng W B 和Peng J W 等[5]采用基于HSI 顏色模型提取火焰區(qū)域。Chen等[6]通過RGB 和HSI 顏色模型對(duì)火焰進(jìn)行分析，但該方法使得顏色與火焰相近的運(yùn)動(dòng)物體以及被火焰照亮的物體易被誤檢。陳天炎等[7]提出一種基于YCbCr 顏色空間的火焰顏色檢測(cè)算法，依然受到非火焰因素如黃色高亮區(qū)域的影響。吳茜茵等[8]提出了一種改進(jìn)的基于RGB和HSI顏色模型，提取的火焰區(qū)域較為完整，受非火焰因素干擾較少。

本文引入文獻(xiàn)[9]三幀差分法對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行提取，并在吳茜茵等[8]提出了一種改進(jìn)的基于RGB 和HSI 顏色模型的基礎(chǔ)上添加了新的火焰顏色檢測(cè)規(guī)則，實(shí)現(xiàn)對(duì)光照條件和火焰煙霧影響因素的排除，得到較為完整且準(zhǔn)確的火焰區(qū)域。最終本文將動(dòng)態(tài)火焰識(shí)別系統(tǒng)應(yīng)用于真實(shí)火災(zāi)場(chǎng)景，實(shí)驗(yàn)結(jié)果良好。

1 動(dòng)態(tài)火焰識(shí)別系統(tǒng)

根據(jù)動(dòng)態(tài)火焰特征，本文引入文獻(xiàn)[10]提出的火焰檢測(cè)系統(tǒng)，對(duì)此進(jìn)行改進(jìn)，建立自己的動(dòng)態(tài)火焰識(shí)別系統(tǒng)，該系統(tǒng)由動(dòng)態(tài)火焰檢測(cè)模塊和顏色檢測(cè)模塊組成。動(dòng)態(tài)火焰檢測(cè)模塊的主要功能是：提取視頻中可能存在火焰信號(hào)的動(dòng)態(tài)目標(biāo)，若視頻中不存在動(dòng)態(tài)像素，則讀取新的一幀圖像再次進(jìn)行動(dòng)態(tài)檢測(cè)；當(dāng)視頻中出現(xiàn)動(dòng)態(tài)目標(biāo)時(shí)，則系統(tǒng)進(jìn)入下一個(gè)環(huán)節(jié)，利用顏色檢測(cè)模塊對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行顏色匹配，若該動(dòng)態(tài)物體檢測(cè)不符合顏色空間規(guī)則，則判斷為非火焰像素，系統(tǒng)讀取新的一幀視頻圖像重新進(jìn)行動(dòng)態(tài)檢測(cè)；若該動(dòng)態(tài)物體檢測(cè)符合顏色規(guī)則約束，則系統(tǒng)判斷該目標(biāo)為火焰目標(biāo)，標(biāo)記為火焰信息。通過兩個(gè)模塊中火焰視頻特征的融合，實(shí)現(xiàn)動(dòng)態(tài)火焰的識(shí)別?；鹧孀R(shí)別系統(tǒng)流程圖見圖1。

1.1 動(dòng)態(tài)目標(biāo)檢測(cè)模塊

動(dòng)態(tài)目標(biāo)檢測(cè)模塊的主要功能是識(shí)別出視頻中的動(dòng)態(tài)目標(biāo)。本文引入幀間差分法作為動(dòng)態(tài)目標(biāo)檢測(cè)模塊的輸入方法。

幀間差分法依據(jù)的原則是：當(dāng)視頻中存在移動(dòng)的物體時(shí)，相鄰兩幀三幀之間會(huì)存在灰度差。當(dāng)求取各幀圖像灰度差的絕對(duì)值時(shí)，靜止的物體的差值圖像表現(xiàn)為全是0，而移動(dòng)物體尤其是移動(dòng)物體的輪廓處，由于存在灰度變化，其差值非0，若絕對(duì)值超過一定閾值時(shí)，便可判斷為動(dòng)態(tài)目標(biāo)。幀間差分法可以分為二幀差分和三幀差分兩種方法，不同方法對(duì)動(dòng)態(tài)火焰識(shí)別效果不同。

1.1.1 二幀差分法

記視頻序列中第n幀和第n-1 幀圖像為fn和fn-1，兩幀對(duì)應(yīng)像素點(diǎn)的灰度值記為fn（x，y）和fn-1（x，y），將兩幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值相減后取其絕對(duì)值，得到差分圖像Dn，最后逐個(gè)對(duì)像素點(diǎn)進(jìn)行二值化處理，公式可表示為：

具體流程見圖2。上下左右閃爍抖動(dòng)較快的特征，即火焰在不同圖像幀內(nèi)的位置明顯不同。同時(shí)火災(zāi)視頻中周圍的環(huán)境也經(jīng)常會(huì)有小規(guī)模變動(dòng)。從檢測(cè)效果可以看出，采用二幀差分法檢測(cè)出的動(dòng)態(tài)目標(biāo)會(huì)出現(xiàn)“重影”的現(xiàn)象，且將變動(dòng)較小的周圍壞境也識(shí)別為動(dòng)態(tài)目標(biāo)，這干擾了火焰區(qū)域的識(shí)別。而三幀差分法更能提取出完整和準(zhǔn)確的火焰目標(biāo)，且只將閃爍抖動(dòng)快的火焰區(qū)域認(rèn)定為動(dòng)態(tài)目標(biāo)。第30 幀和40 幀圖像的檢測(cè)結(jié)果見圖4 和圖5。

1.1.2 三幀差分法

記視頻序列中第n+1 幀、第n幀和第n-1 幀的圖像分別為fn+1、fn和fn-1，三幀對(duì)應(yīng)像素點(diǎn)的灰度值記為fn+1（x，y）、fn（x，y）和fn-1（x，y），分別得到差分圖像Dn+1和Dn，對(duì)差分圖像Dn+1和Dn進(jìn)行操作，得到圖像Dn，其中公式可表示為：

具體流程見圖3。

圖4、圖5 為火焰視頻第30 幀和40 幀原圖、二幀差分結(jié)果和三幀差分結(jié)果。因?yàn)橐曨l中動(dòng)態(tài)的火焰總是具有

1.2 顏色檢測(cè)模塊

通過三幀差分法提取動(dòng)態(tài)目標(biāo)之后，為了排除非火焰顏色信息的影響，提高視頻火焰檢測(cè)的可靠性，本文將通過設(shè)置顏色空間規(guī)則來約束火焰區(qū)間。

顏色特征的選擇有很多，其中RGB 顏色空間最為常見，其中火焰含有較大的紅色分量（R）和綠色分量（G），另外綠色分量（G）相較于藍(lán)色分量（B）更大，這也是一般人眼觀察到的顏色模型。但是，通過RGB 顏色模型來判定火焰會(huì)出現(xiàn)誤報(bào)的情況，Chen 等[6]應(yīng)用了一種更有效的方法，將RGB 與HIS 顏色模型的算法公式相結(jié)合，總結(jié)出了3 條表達(dá)式，公式可表示為：

其中，RT是紅色分量閾值，ST是飽和度閾值。ST介于55 ～65，RT介于115 ～135。

文獻(xiàn)[7]提出了基于YCbCr 顏色空間的火焰圖像分割方法。YCbCr 顏色空間的重要特性是把亮度作為主要組成，Y 表示光的濃度，CB 和CR 則為藍(lán)色和紅色的濃度偏移量成份。原始圖像中，YCbCr 3 個(gè)分量平均值的關(guān)系式可表示為：

其中，(xi,yi)代表圖像中像素點(diǎn)的空間位置，K為像素總數(shù)。文獻(xiàn)[7]中將火焰區(qū)域約束為：

為了對(duì)比兩種方法的優(yōu)劣性，本文選擇了不同場(chǎng)景下的火焰圖像作為火焰檢測(cè)輸入，發(fā)現(xiàn)基于YCbCr 顏色空間方法對(duì)黃光有較高的敏感性，極易將黃色高亮區(qū)域的火焰部分分割出來，但對(duì)亮度較低的紅光部分識(shí)別效果較差。同時(shí)RGB 和HSI 顏色模型對(duì)紅光有較高的敏感度，但部分高亮區(qū)域（尤其黃色高亮區(qū)域）并不滿足RGB 和HSI 顏色規(guī)則?；鹧骖伾珯z測(cè)對(duì)比結(jié)果見圖6。

火焰有著顯著的顏色特征，從焰心到外焰的顏色不同，一般由白色逐漸過渡到黃色，再到紅色。如圖6（b）和圖6（c）所示，RGB 和HSI 顏色模型方法容易造成火焰內(nèi)部空洞，同時(shí)YCbCr 顏色空間方法無法分割出完整的火焰圖像。如圖6（e）所示，RGB 和HSI 顏色模型方法把大量的非火焰像素（顏色與火焰相近的運(yùn)動(dòng)物體以及被火焰照亮的物體）誤判斷為火焰像素。而如圖6（g）所示，YCbCr 顏色空間方法同樣把大量的非火焰像素（暗黃色草地）誤判斷為火焰像素。

其中T1=R－G，T2=G－B，T3=R－B，Rth、Gth、Bth是改進(jìn)后火焰RGB 分量的閾值，Th1、Th2、Th3分別是T1、T2、（T2+T3）的閾值。文獻(xiàn)[8]將原來的規(guī)則1 做了修改，并且增加了規(guī)則4 及規(guī)則5。

應(yīng)用文獻(xiàn)[8]的規(guī)則后，火焰顏色像素的檢測(cè)對(duì)比圖見圖7。由圖7（b）可以看出，改進(jìn)后的方法能有效地排除天空中的白色區(qū)域和類似枯草的黃綠色區(qū)域，但依然有部分干擾物被檢測(cè)為火焰像素；由圖7（e）可以明顯看出，大量光照下區(qū)域與火災(zāi)煙霧區(qū)域被誤判。

因此，本文對(duì)含有大量光照因素或與火焰顏色相近的煙霧因素的圖片數(shù)據(jù)集進(jìn)行RGB 分量分析，發(fā)現(xiàn)光照下的部分多呈現(xiàn)暗黃色，且相較于火焰的B 分量，該類顏色分量值較低。因此本文在此基礎(chǔ)上，對(duì)規(guī)則4 的第1 條規(guī)則進(jìn)行補(bǔ)充，增加對(duì)B 分量的約束（B ≥Bth，Bth∈[80，100]），從而排除部分光照因素與火災(zāi)煙霧因素造成的影響。如圖7（c）和圖7（f）所示，改進(jìn)后的方法能夠有效地排除太陽光照射下天空中的暗黃區(qū)域和暗黃色煙霧區(qū)域，進(jìn)而得到較為準(zhǔn)確的火焰區(qū)域。另外，本文使用Dice score 對(duì)手動(dòng)標(biāo)注的火焰區(qū)域圖像與優(yōu)化算法識(shí)別的火焰區(qū)域圖像進(jìn)行重合率計(jì)算，其中圖7（c）與圖7（a）的重合率達(dá)到0.82，圖7（f）與圖7（d）的重合率達(dá)到0.77，可以看出火災(zāi)檢測(cè)模塊的識(shí)別準(zhǔn)確度較高。

基于文獻(xiàn)[8]對(duì)RGB 和HSI 顏色模型改進(jìn)后的方法，本文添加了新的火焰顏色檢測(cè)規(guī)則，盡量做到能夠排除更多非火焰因素的影響，火焰區(qū)域約束為：

2 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境為PyCharm Community Edition 2021.3，基本配置為CPU:Intel(R)Core(TM)i5-5300U CPU 2.30 GHz，內(nèi)存:16.0 GB。視頻的幀樣本示例及檢測(cè)結(jié)果見圖8。

本文引入了5 個(gè)不同場(chǎng)景的火災(zāi)視頻，應(yīng)用于動(dòng)態(tài)火焰識(shí)別系統(tǒng)，在視頻1 ～3 的顏色檢測(cè)模塊分別采取文獻(xiàn)[8]的顏色檢測(cè)規(guī)則與本文改進(jìn)后的規(guī)則。如檢測(cè)結(jié)果所示，對(duì)于含有大量光照或煙霧干擾的視頻中，改進(jìn)后的火焰識(shí)別結(jié)果明顯優(yōu)于前者。視頻4 ～5 只采用本文改進(jìn)后的顏色檢測(cè)算法，如檢測(cè)結(jié)果所示，當(dāng)視頻中含有與火焰顏色極為相似的干擾因素時(shí)，檢測(cè)效果欠佳。但總體而言檢測(cè)效果較好，說明本文的火焰識(shí)別系統(tǒng)計(jì)算簡單，檢測(cè)速度較快，能夠?qū)崟r(shí)進(jìn)行火焰檢測(cè)。

3 結(jié)語

本文通過對(duì)火焰靜動(dòng)態(tài)特征的研究，給出了一種適用于視頻的動(dòng)態(tài)火焰識(shí)別系統(tǒng)，該模型能提取出比較完整和準(zhǔn)確的動(dòng)態(tài)火焰目標(biāo)，并進(jìn)行標(biāo)記。在動(dòng)態(tài)目標(biāo)檢測(cè)模塊，本文在對(duì)比了二幀差法與三幀差分的優(yōu)劣性后，選擇三幀差分法提取火焰視頻中的動(dòng)態(tài)目標(biāo)。在顏色檢測(cè)模塊，本文在文獻(xiàn)[8]的一種新穎的基于RGB 和HSI 顏色空間的火焰顏色檢測(cè)方法的基礎(chǔ)上，對(duì)火焰區(qū)域約束規(guī)則進(jìn)行進(jìn)一步完善。最終，本文將動(dòng)態(tài)火焰識(shí)別系統(tǒng)應(yīng)用于真實(shí)火災(zāi)場(chǎng)景，改進(jìn)后的火焰區(qū)域約束規(guī)則可以排除更多的火焰干擾像素，識(shí)別效果好，但還是會(huì)受到部分非火焰因素的影響。在此基礎(chǔ)上可以引入其他特征，完善系統(tǒng)，增強(qiáng)火焰檢測(cè)效果。