基于目標(biāo)跟蹤和多特征融合的火焰檢測(cè)算法

張學(xué)敏，蔡曉東，梁玉敏，謝月飛，王春利

(桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004)

責(zé)任編輯:任健男

隨著CCTV(Close Circuit Television，閉路電視)監(jiān)控技術(shù)的發(fā)展，一種基于視頻的火焰檢測(cè)技術(shù)引起了業(yè)內(nèi)的廣泛關(guān)注。Healey等人［1］利用顏色和火焰運(yùn)動(dòng)的特性來(lái)區(qū)分火焰和非火焰區(qū)域，然而這種方法是依賴于理想環(huán)境(不具有類似火焰顏色的干擾物體的場(chǎng)景)中實(shí)現(xiàn)的。Foo［2］基于高速攝像機(jī)的灰度視頻提出基于統(tǒng)計(jì)的方法，這種方法雖然計(jì)算量較小，但是不具備很好的抗干擾特性，而且對(duì)普通的攝像機(jī)視頻30幀/秒(f/s)的情況就顯得有效性不足。Phollips等人［3］利用火焰的灰度直方圖強(qiáng)度以及相鄰幀的時(shí)間變化進(jìn)行火焰識(shí)別，同樣需要比較好的檢測(cè)環(huán)境(較少的移動(dòng)的非火焰亮光干擾)，而且其實(shí)驗(yàn)數(shù)據(jù)特征為自己主觀確定的，若輸入數(shù)據(jù)發(fā)生變化，則效果會(huì)大打折扣。Yamagishi和Yamaguchi［4］提出了一種基于神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)方法，在HSV色彩空間的火焰顏色模型來(lái)減弱環(huán)境對(duì)火焰檢測(cè)的影響，依據(jù)火焰區(qū)域顏色的飽和度和色調(diào)的持續(xù)變化來(lái)進(jìn)行火焰區(qū)域的分割，最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)用于識(shí)別火焰，這個(gè)算法取得的實(shí)驗(yàn)結(jié)果非常準(zhǔn)確，但是對(duì)于實(shí)時(shí)性的應(yīng)用而言計(jì)算量過(guò)大。

然而，以上方法都集中關(guān)注火焰的存在性，不能提供燃燒的狀態(tài)和過(guò)程信息，需要人工估計(jì)誤檢率，并且很難滿足高檢測(cè)率、低誤檢率、實(shí)時(shí)的工業(yè)需求。本文提出了一種基于目標(biāo)跟蹤和多特征融合的火焰檢測(cè)算法，能夠較好地適用于存在干擾的監(jiān)控環(huán)境，能夠有效排除干擾，及時(shí)發(fā)現(xiàn)火焰，并且可以對(duì)火焰進(jìn)行持續(xù)跟蹤和判斷其變化狀態(tài)。

1 算法描述

整體算法的流程如圖1所示。

1.1 混合高斯背景建模提取運(yùn)動(dòng)前景

火焰的特性之一就是燃燒過(guò)程中的閃動(dòng)特性，通常監(jiān)控視頻中的背景都是靜止不動(dòng)的，本文采用混合高斯建模［5］來(lái)背景建模。通過(guò)對(duì)背景建模，對(duì)一幅給定圖像分離出前景和背景，從而達(dá)到運(yùn)動(dòng)物體檢測(cè)的目的。

對(duì)差值圖進(jìn)行二值化處理然后經(jīng)過(guò)降噪濾波，得到較好的二值前景圖，將檢測(cè)為前景的區(qū)域結(jié)合火焰的顏色特征再次進(jìn)行判斷，進(jìn)一步提取出疑似火焰區(qū)域。

圖1 整體算法流程圖

1.2 火焰顏色模型

在彩色圖像中，高溫的火焰內(nèi)核會(huì)呈現(xiàn)亮白色，由內(nèi)向外隨著溫度的降低顏色會(huì)由黃變橙、變紅［6］。根據(jù)火焰顏色的以上特征，本文對(duì)火焰的內(nèi)焰和外焰分別進(jìn)行建模，然后將內(nèi)焰和外焰組合，從而得到疑似火焰區(qū)域。內(nèi)、外焰模型分別為

圖2、圖3、圖4 分別為Capture1，Capture2，Capture6 經(jīng)過(guò)高斯背景建模和繼續(xù)經(jīng)過(guò)顏色模型過(guò)濾得到的前景二值圖。從圖中可以看到相比只進(jìn)行背景重建得到的前景運(yùn)動(dòng)目標(biāo)的二值圖，再經(jīng)過(guò)顏色模型過(guò)濾可以得到位置相對(duì)準(zhǔn)確的疑似火焰區(qū)域，用此區(qū)域進(jìn)行Blob提取處理。

1.3 Blob 特征提取

在二值圖中，運(yùn)動(dòng)目標(biāo)呈現(xiàn)一個(gè)個(gè)白色的連通域(即Blob)，本文采用二值圖像連通域標(biāo)記算法將運(yùn)動(dòng)目標(biāo)從二值圖中提取出來(lái)，然后對(duì)原圖像只進(jìn)行一次掃描后，通過(guò)特殊的邊界像素標(biāo)記，便能獲得目標(biāo)集合特征參數(shù)。

經(jīng)過(guò)Blob特征提?。?］掃描，可以獲得目標(biāo)的輪廓，根據(jù)輪廓可以通過(guò)運(yùn)算得到目標(biāo)外接矩形、重心、周長(zhǎng)和面積等特征信息。

1.4 基于Kalman濾波器的運(yùn)動(dòng)目標(biāo)跟蹤

在利用Blob提取運(yùn)動(dòng)目標(biāo)特征的基礎(chǔ)上，系統(tǒng)采用了基于卡爾曼(Kalman)濾波器的算法［8］實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤?？柭鼮V波器可以用狀態(tài)方程和觀測(cè)方程來(lái)描述其數(shù)學(xué)模型:

狀態(tài)方程為

觀測(cè)方程為

根據(jù)Blob提取得到的重心、外接矩形、運(yùn)動(dòng)速度等信息來(lái)描述運(yùn)動(dòng)目標(biāo)在每一幀中的運(yùn)動(dòng)，因此狀態(tài)向量取Xk=［x，y，vx，vy］T，觀測(cè)向量取Zk=［x，y］T，其中x和y是運(yùn)動(dòng)目標(biāo)的橫縱坐標(biāo)，vx和vy是運(yùn)動(dòng)目標(biāo)在水平方向和垂直方向上的運(yùn)動(dòng)速度，Wk為系統(tǒng)噪聲向量，Vk為觀測(cè)噪聲向量。

狀態(tài)傳遞矩陣A，測(cè)量矩陣H，系統(tǒng)噪聲Wk的協(xié)方差矩陣Q，測(cè)量噪聲Vk的協(xié)方差矩陣R的值設(shè)定如下:

參數(shù)確定之后，基于卡爾曼濾波器的算法便可以經(jīng)過(guò)以下4個(gè)步驟完成對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤:

1)根據(jù)重心坐標(biāo)初始化卡爾曼濾波器，設(shè)運(yùn)動(dòng)速度初始化為0;

2)使用卡爾曼濾波器預(yù)測(cè)下一幀中對(duì)應(yīng)的目標(biāo)區(qū)域，并在下一幀中的預(yù)測(cè)區(qū)域進(jìn)行目標(biāo)匹配;

3)如果目標(biāo)匹配成功，則更新卡爾曼濾波器，并記錄當(dāng)前幀中運(yùn)動(dòng)目標(biāo)的特征信息;

4)如果匹配不成功，則擴(kuò)大搜索區(qū)域，重新搜索當(dāng)前幀，或者丟棄前一幀，直接處理下一幀。

火焰疑似目標(biāo)跟蹤的效果如圖5所示，圖5a、圖5b、圖5c為時(shí)間間隔相同的3個(gè)時(shí)刻的跟蹤結(jié)果。用跟蹤到的疑似火焰目標(biāo)進(jìn)行特征提取。

圖5 Capture4疑似火焰目標(biāo)跟蹤

1.5 特征提取

火焰具有許多獨(dú)有的特征。單純依靠火焰顏色特征來(lái)進(jìn)行火焰檢測(cè)得到的結(jié)果是不可靠的，特別是在有火焰顏色的運(yùn)動(dòng)物體存在的情況下。為了提高檢測(cè)的可靠性，以加權(quán)的方式結(jié)合火焰的多個(gè)特征，當(dāng)火焰特征的加權(quán)值超過(guò)預(yù)先設(shè)定的報(bào)警閾值時(shí)，就確認(rèn)檢測(cè)到的運(yùn)動(dòng)目標(biāo)為火焰。

1.5.1 火焰區(qū)域增長(zhǎng)性

在燃燒初期火焰的面積不斷的增大［9］，這個(gè)特征可以有助于區(qū)分與火焰顏色相似的大小固定不變的運(yùn)動(dòng)物體，比如汽車(chē)車(chē)燈等。本文用視頻幀數(shù)來(lái)表示時(shí)間，根據(jù)Blob特征提取得到的疑似火焰面積，求得第i幀到第i+k幀的火焰面積變化率，可用下面的公式表示

式中:Si和Si+k分別為第i幀和第i+k幀的疑似火焰面積，ΔSi即為間隔k幀的火焰區(qū)域像素的增長(zhǎng)率，設(shè)定上下限閾值dhigh和dlow，當(dāng)dlow＜ΔSi＜dhigh時(shí)，則判定為火焰，賦予一個(gè)報(bào)警權(quán)值。

1.5.2 火焰形狀的形狀相似度識(shí)別

相對(duì)成熟的圖像相似性度量可以歸結(jié)為兩大類:距離度量和相關(guān)度量［10］?？梢杂米飨嗨贫攘康牡湫徒Y(jié)構(gòu)描述包括顏色、亮度特性、區(qū)域的面積、形狀和區(qū)域結(jié)構(gòu)等。

相鄰幀的圖像之間的相似度在一定的區(qū)間內(nèi)變化。在火焰識(shí)別的過(guò)程中主要存在的干擾包括大面積光照變化和快速移動(dòng)的亮點(diǎn)，因此可考慮利用早期火焰形體相似度的變化規(guī)律來(lái)區(qū)分真實(shí)火焰與干擾。

計(jì)算前后兩幀圖像相似度的方法如下:

設(shè)得到的前后兩幀疑似火焰區(qū)域二值圖分別為binary1(x，y)，binary2(x，y)，疑似火焰區(qū)域分別為 Ω1，Ω2，前后兩幀圖像的相似度ξ定義為

一般的，當(dāng)ξ小于某個(gè)閾值T1時(shí)，即認(rèn)為待識(shí)別物體是快速運(yùn)動(dòng)的亮點(diǎn)。而ξ大于某個(gè)閾值T2時(shí)，認(rèn)為存在固定發(fā)光區(qū)域。當(dāng)ξ在2個(gè)閾值之間時(shí)，可以認(rèn)為該區(qū)域?yàn)榛鹧鎱^(qū)域。表1所示為火焰視頻(Capture1，Capture4)和干擾視頻(Capture10，Capture12)的連續(xù)8幀的相似度列表。可以看出，火焰視頻連續(xù)幀相似度和干擾視頻連續(xù)幀相似度存在明顯的差距，通過(guò)設(shè)定合理的閾值即可區(qū)分。

表1 視頻相鄰幀相似度列表

1.5.3 火焰跳動(dòng)頻率

火焰另一個(gè)區(qū)分于一般運(yùn)動(dòng)物體和光照的顯著特征就是燃燒過(guò)程中火焰閃爍的特性。眾多學(xué)者經(jīng)過(guò)大量的實(shí)驗(yàn)分析得出，火焰閃動(dòng)在具有一定的動(dòng)態(tài)頻率范圍(7～10 Hz左右)即目標(biāo)輪廓、色度或亮度都具有0.5～20 Hz之間的變化頻率時(shí)可能存在火焰的重要信號(hào)［11］。本文通過(guò)統(tǒng)計(jì)1 s內(nèi)對(duì)跟蹤到的疑似火焰目標(biāo)跳動(dòng)方向的變化次數(shù)來(lái)判斷火焰的跳動(dòng)頻率。計(jì)算方法如下

由式(7)可以計(jì)算出疑似火焰的跳動(dòng)頻率。如果Freq在0.5～20 Hz之間，則表明疑似火焰具有火焰閃爍的頻率，增加一個(gè)報(bào)警權(quán)值。

1.6 特征融合與火焰判定

對(duì)得到的以上3個(gè)火焰動(dòng)態(tài)特征進(jìn)行分析，給出合適的報(bào)警信號(hào)。分析方法如下:設(shè)火焰區(qū)域增長(zhǎng)性、形狀相似度、跳動(dòng)頻率的報(bào)警權(quán)值分別為α，β，γ，報(bào)警閾值為μ，報(bào)警結(jié)果為S，則有

當(dāng)S=1時(shí)，認(rèn)為是火焰，否則認(rèn)為目標(biāo)區(qū)域具有火焰顏色，但不是火焰。確定疑似火焰目標(biāo)為火焰后，將此運(yùn)動(dòng)目標(biāo)標(biāo)記為火焰，運(yùn)用其外接矩形和面積可以判斷火焰燃燒的變化趨勢(shì)。

2 實(shí)驗(yàn)結(jié)果

測(cè)試用PC配置為CPU Intel Core i3 M330 2.13 GHz，內(nèi)存為2 Gbyte，所有視頻的分辨率為704×576。本文實(shí)驗(yàn)視頻主要是用手持?jǐn)z像機(jī)和室內(nèi)監(jiān)控?cái)z像頭拍攝的，此外，還有從網(wǎng)站上下載的視頻，其中包括美國(guó)國(guó)家標(biāo)準(zhǔn)研究院建筑與火災(zāi)研究實(shí)驗(yàn)室的視頻http://www.fire.nist.gov/tree_fire.htm，共12個(gè)，測(cè)試庫(kù)視頻描述如表2所示。

表2 測(cè)試庫(kù)視頻

實(shí)驗(yàn)1，對(duì)各視頻從火焰出現(xiàn)的前150幀分別使用單特征和特征融合進(jìn)行檢測(cè)(見(jiàn)表3和表4)。實(shí)驗(yàn)2，運(yùn)用本文算法對(duì)測(cè)試視頻進(jìn)行火焰檢測(cè)，并記錄全過(guò)程(見(jiàn)圖6、圖7)。

表3 單特征實(shí)驗(yàn)結(jié)果

表4 多特征實(shí)驗(yàn)結(jié)果

圖6 Capture4檢測(cè)結(jié)果

圖7 不同場(chǎng)景的測(cè)試結(jié)果圖

從表3和表4可以看出，單特征的檢測(cè)無(wú)法達(dá)到高檢測(cè)率、低誤檢率的工業(yè)需求，而三特征融合可以有效提高檢測(cè)率，降低誤檢率。

圖6是Capture4的檢測(cè)結(jié)果圖，識(shí)別出的火焰用綠色框高亮顯示，火焰第一次出現(xiàn)在第226幀，檢測(cè)到火焰是在第278幀，結(jié)果表明本算法檢測(cè)到火焰只需2 s左右的時(shí)間。圖6中圖片順序?yàn)閺幕鹧骈_(kāi)始到結(jié)束，表明本算法可以對(duì)火焰的發(fā)展過(guò)程進(jìn)行全程跟蹤，有助于判斷火勢(shì)。

圖7是不同場(chǎng)景的測(cè)試結(jié)果圖，結(jié)果表明本算法成功排除光照、顏色、移動(dòng)燈光等干擾，穩(wěn)健地檢測(cè)出不同場(chǎng)景、不同光照下的火焰。而且在應(yīng)用中火焰檢測(cè)的處理效率達(dá)到了25 f/s(幀/s)，能很好地滿足工業(yè)需求。

3 總結(jié)

本文針對(duì)目前視頻火焰檢測(cè)算法無(wú)法達(dá)到高檢測(cè)率、低誤檢率、實(shí)時(shí)的工業(yè)需求，提出了一種基于目標(biāo)跟蹤和多特征融合的火焰檢測(cè)算法。經(jīng)過(guò)實(shí)驗(yàn)證明，在普通的監(jiān)控視頻25 f/s的情況下，本文的算法能夠較好地適用于存在干擾的監(jiān)控環(huán)境，能夠有效排除干擾，及時(shí)發(fā)現(xiàn)火焰，并且可以對(duì)火焰進(jìn)行持續(xù)跟蹤，判斷其變化狀態(tài)。與傳統(tǒng)的算法相比，具有更好的普適性、可靠性、實(shí)時(shí)性以及過(guò)程性。

［1］HEALEY G，SLATER D，LIN T，et al.A system for real－time fire detection［C］//Proc.Conference on Computer Vision and Pattern Recognition(CVPR’93).［S.l.］:IEEE Press，1993:605－610.

［2］FOO S Y.A rule－based machine vision system for fire detection in aircraft dry bays and engine compartments［J］.Knowledge－Based Systems，1996，9(8):531－540.

［3］PHILLIPS W，SHAN M，LOBO N V.Flame recognition in video［C］//Proc.the Fifth IEEE Workshop on Applications of Computer Vision.［S.l.］:IEEE Press，2000:224－229.

［4］YAMAGISHI H，YAMAGUCHI J.Fire flame detection algorithm using a color camera［C］//Proc.1999 International Symposium on Micromechatronics and Human Science.［S.l.］:IEEE Press，1999:255－260.

［5］TURDU D，ERDOGAN H.Improving gaussian mixture model based adaptive background modeling using hysteresis thresholding［C］//Proc.15th Signal Processing and Communications Applications.［S.l.］:IEEE Press，2007:1－4.

［6］LIU C B，AHUJA N.Vision based fire detection［C］//Proc.the 17th International Conference on Pattern Recognition(ICPR’04).［S.l.］:IEEE Press，2004:134－137.

［7］張修軍.帶標(biāo)記矯正的二值圖連通域像素標(biāo)記算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2003，8(2):198－202.

［8］KALMAN R E.A new approach to linear filtering and prediction problems［J］.Journal of Basic Engineering，1960，82(1):35－45.

［9］CHEN T H，YIN Y H，HUANG S F，et al.The smoke detection for early fire－alarming system based on video processing［C］//Proc.the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing.［S.l.］:IEEE Press，2006:427－430.

［10］劉興洪.基于內(nèi)容相似性的圖像特征提取［D］.重慶:重慶郵電大學(xué)，2007.［11］劉強(qiáng).基于多信息融合的火焰檢測(cè)［J］.電視技術(shù)，2012，36(1):126－128.