基于視覺特征的火焰探測技術(shù)

顧立春 汪興 侯其立

摘要：機(jī)器視覺的識別算法在火災(zāi)識別領(lǐng)域取得了一些成就，但是由于穩(wěn)定性等問題并沒能取代傳統(tǒng)感溫感煙探測器的地位。而煙溫傳感器需要在火災(zāi)發(fā)展到一定的規(guī)模才能實(shí)現(xiàn)預(yù)警，這時(shí)可能已經(jīng)造成了極大的人身危害和財(cái)產(chǎn)損失。文章提出了一種基于多特征融合的視頻圖像火災(zāi)探測技術(shù)?；谝曨l火焰的顏色、形狀、邊緣和運(yùn)動擴(kuò)散等特征，對火災(zāi)進(jìn)行綜合研判，在早期實(shí)現(xiàn)對火災(zāi)的預(yù)警。在各類數(shù)據(jù)集測試的過程中，多融合的探測算法對火焰有較高的識別率，且有效排除了燈光、環(huán)境光影擾動等干擾。

關(guān)鍵詞：HSI/RGB/YcbCr;顏色空間;Canny邊緣;圓形度;紋理特征

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）22-0005-03

1 概述

火災(zāi)是當(dāng)前社會中突發(fā)頻率較高且危害重大的災(zāi)害，每年全世界火災(zāi)造成了大量的人員傷亡和財(cái)產(chǎn)損失，因此火災(zāi)的探測和預(yù)防成為全社會關(guān)注的話題。燃燒會產(chǎn)生煙霧和火焰，通常以煙霧、熱、光、熱輻射、聲音等特征呈現(xiàn)，因此火災(zāi)的探測技術(shù)也是主要基于伴隨火災(zāi)發(fā)生過程一系列現(xiàn)象的研究。早期的火災(zāi)識別和探測方法有感光探測、感煙探測、感溫探測、氣體探測和復(fù)合探測等方式，其中煙感、溫感技術(shù)較為成熟，也成為當(dāng)前社會廣泛應(yīng)用的方法。但是隨著現(xiàn)在建筑結(jié)構(gòu)越來越復(fù)雜，類型越來越多，上述的各種探測器采集數(shù)據(jù)容易受到空間大小、空間復(fù)雜結(jié)構(gòu)、氣流速度、粉塵等多種因素的影響，難以做到準(zhǔn)確及時(shí)的早期預(yù)警。而火災(zāi)的有效防止撲救時(shí)間一般都在早期，當(dāng)火災(zāi)一旦大規(guī)模發(fā)生，目前的手段很難有效降低危害。

近些年，隨著計(jì)算機(jī)圖像處理技術(shù)的發(fā)展，圖像檢測技術(shù)已經(jīng)逐步應(yīng)用到了各類災(zāi)害的預(yù)防和探測中。視頻圖像火災(zāi)探測器通過圖像識別、模式匹配對火災(zāi)圖像特征進(jìn)行分析提取，達(dá)到識別早期火災(zāi)的目的。與傳統(tǒng)的探測器相比，圖像型火災(zāi)探測器具有以下優(yōu)點(diǎn)：

1） 利用圖像探測，不需要火災(zāi)發(fā)生到一定規(guī)模，可以在早期及時(shí)發(fā)現(xiàn)火災(zāi);

2） 不受空間、建筑結(jié)構(gòu)等影響，只要圖像覆蓋區(qū)域，均能實(shí)現(xiàn)實(shí)時(shí)探測;

3） 火災(zāi)的回溯，一般視頻數(shù)據(jù)會保存在存儲數(shù)據(jù)庫，方便人們查詢檢索，還原火災(zāi)過程;

4） 利用火焰或者煙霧圖像特征進(jìn)行識別，不需要像傳統(tǒng)火災(zāi)探測器通過火焰的煙塵、氣體或熱輻射等有害產(chǎn)物進(jìn)行識別;且消防控制室人員可以通過視頻圖像直接確認(rèn)火災(zāi)現(xiàn)場的情況。

視頻圖像處理中，圖像通常分為前景和背景部分，利用圖像分割技術(shù)提取出圖像中的感興趣區(qū)域，火焰區(qū)域的分割效果直接影響后續(xù)特征提取和火焰識別。目前火焰探測的主要方法有基于火焰顏色特征，火焰紋理特征和形狀，動態(tài)特征和能量信息等識別算法。Chen[1]等利用圖像的顏色特征，基于HSV顏色空間建立了高斯混合模型，分析提取火焰特征區(qū)域的運(yùn)動信息，進(jìn)行ROI區(qū)域的圖像分割，實(shí)現(xiàn)了較好的火焰識別效果。Celik[2]等采用RGB的顏色空間特征，利用統(tǒng)計(jì)學(xué)數(shù)據(jù)建立高斯分布的統(tǒng)計(jì)模型，再通過圖像幀間差分和背景減除提取火焰的ROI區(qū)域，運(yùn)算速度快且在試驗(yàn)的數(shù)據(jù)集上到了99%的識別率。Phillips[3]等手工提取出圖像的火焰疑似區(qū)域，利用火焰RGB顏色空間，計(jì)算顏色通道直方圖的分布并與設(shè)定閾值比較，最終確定火焰的區(qū)域。Healey[4]等最先利用了圖像的火焰顏色信息與火焰形狀相結(jié)合的方式，利用顏色信息提取出火焰的輪廓特征，為后面火焰的形狀和紋理特征識別提供了方向。Jiang[5]等使用了圖像處理的自適應(yīng)Canny邊緣檢測算子分割出火焰特征的邊緣信息，提取出ROI區(qū)域，然后結(jié)合了火焰的物理特性包括邊緣輪廓的圓形度、面積和周長等，有效識別出圖像的火焰區(qū)域。Toreyin [6]等采用了多特征融合的識別方法，顏色空間和運(yùn)動檢測的方法確定疑似火焰區(qū)域，再通過小波變換計(jì)算出火焰的邊緣能量特征，利用提取的火焰區(qū)域顏色 R 通道分量小波系數(shù)的變化來表征火焰的閃爍規(guī)律，達(dá)到了95%以上的識別率。Celik [7]等提出了將圖像轉(zhuǎn)換到顏色空間CIE L*a*b，利用前景背景減除確定火焰的疑似區(qū)域，再通過幀間差分得到火焰的運(yùn)動變化特征，通過數(shù)據(jù)統(tǒng)計(jì)的方式，用顏色空間CIE閾值的判別式確定火焰位置，該算法在大量的實(shí)驗(yàn)數(shù)據(jù)集上均得到了良好的效果?；趫D像的火災(zāi)探測技術(shù)也在多種場合得到應(yīng)用和推廣[8-9]。

綜上，目前這些算法在特定的數(shù)據(jù)集上都取得了較好的識別結(jié)果，但不同的算法機(jī)理各異，使用場景也不同，因此火災(zāi)探測系統(tǒng)的穩(wěn)定性受到很大的考驗(yàn)。實(shí)際應(yīng)用中為了防止漏報(bào)，常常對選取的火焰特征參數(shù)采用降低閾值的方法，又導(dǎo)致了誤報(bào)率的上升。本文采用了多特征融合特征識別圖像中的火焰信息，將圖像依據(jù)背景和火災(zāi)類型進(jìn)行分類識別，取得了良好的效果。

2 多特征融合的火焰探測

火災(zāi)早期階段，一般火焰從無到有，圖像在顏色空間、面積與周長比、邊緣變化、整體運(yùn)動等方面有一定的規(guī)律。本文通過提取火焰的這些特征并設(shè)定閾值，滿足多特征的判別規(guī)則時(shí)我們判斷為火焰，并與其他干擾圖像區(qū)分開來。

2.1 顏色特征

最為常見的顏色空間是RGB，也就是自然界的三基色，目前幾乎所有的顯示設(shè)備和圖像都采用RGB三基色。它的優(yōu)點(diǎn)是顯示直觀，肉眼可以清晰分辨，但是三基色的相關(guān)性在復(fù)雜背景的情況下，很容易出現(xiàn)誤識別。HSI顏色空間同樣符合人的色彩判斷，并且亮度與色調(diào)獨(dú)立符合火焰的高亮度特性，色度可直接用于顏色的區(qū)別，但是在圖像低飽和度下有識別不穩(wěn)定的情況。YCbCr同樣將色彩的亮度信息進(jìn)行了分離，三通道信息與三基色的原理一致，但是識別效果更好，復(fù)雜度略高。CIE lab可直接進(jìn)行色彩比較，并分離了色彩和亮度信息，與HSI類似有不穩(wěn)定特點(diǎn)?；鹧嬖诓煌伾臻g下特征取值如表1所示。

上面的顏色空間在不同的數(shù)據(jù)集上有各自的優(yōu)勢，但是針對不同類別的火焰圖像和常見干擾圖像，各顏色空間有一定的差異。本文通過4種顏色空間的綜合比對效果，對不同顏色空間的參數(shù)設(shè)定不同的權(quán)重閾值進(jìn)行火焰識別。

2.2 邊緣特征

圖像的邊緣提取基于圖像像素的微分算子，包括一階梯度、二階拉普拉斯算子等。圖像的運(yùn)算就是得到圖像中各相鄰像素的特征變化程度，一般的邊緣提取特征取灰度值?；叶戎底兓瘎×业挠?jì)算微分后的圖像值較大，反之較小，在通過一階二階運(yùn)算之后得到了灰度值變化大的區(qū)域，筆者認(rèn)為是圖像的局部特征邊緣，得到的圖像也就是邊緣圖像。

最常用的是Canny邊緣檢測，邊緣檢測的過程：首先對圖像進(jìn)行高斯濾波處理，濾除噪聲得到平滑圖像。

[Gx，y=fx，y*e-x2+y22δ2]? ? ? ? ? ? ? （1）

其中，f為原圖像，G為高斯卷積濾波后的圖像。

再對圖像G計(jì)算局部梯度g（x，y） 和邊緣方向α（x，y） 。

[gx，y=（G2x+G2y）12]? ? ? ? ? ? （2）

[αx，y=tan-1（Gx/Gy）]? ? ? ? ? ? （3）

其中，[Gx和Gy]使用sobel算子。

根據(jù)上述公式得到圖像計(jì)算灰度不為0的像素點(diǎn)，并計(jì)算鄰域的值，將相鄰的像素點(diǎn)連接起來，并不斷重復(fù)這個過程，最后得到圖像中所有的邊緣信息。

另外，火焰的燃燒變化過程中，對原視頻序列產(chǎn)生了背景的改變，圖像中增加了火焰的紋理特征。筆者利用小波變換，圖像背景的邊緣高頻信息降低，低頻信息增加，而隨著火焰的擴(kuò)散變化，圖像邊緣高頻低頻信息也呈現(xiàn)一定規(guī)律的變化。這種圖像紋理的特征變化也作為火焰判別的一個特征參數(shù)信息。

2.3 形狀特征

圓形度是描述圖形或圖像的不規(guī)則程度一個數(shù)學(xué)表達(dá)，其定義為：

[circularity=4π*AL]? ? ? ? ? ? ?（4）

其中A為圖形的面積，L為圖形區(qū)域的邊緣周長。根據(jù)數(shù)學(xué)經(jīng)驗(yàn)，正方形的圓形度為0.79，等邊三角形為0.6，圖形越不規(guī)則圓形度的值越小。在疑似圖形中，如車燈、飄揚(yáng)的紅旗等圓形度相對較大，火災(zāi)發(fā)生時(shí)火焰形狀不受控，依據(jù)上面的邊緣提取情況，圓形度的值通常低于0.3，筆者可以標(biāo)記為重點(diǎn)ROI區(qū)域。

火焰還有尖角特征，火焰的邊緣劇烈抖動是其一個重要表現(xiàn)，且會跳動無規(guī)則。對比光源，亮紅色物體，反光等一般不會出現(xiàn)尖角跳動現(xiàn)象。尖角識別是通過火焰的頂部三角形和頂點(diǎn)判定。

2.4 運(yùn)動趨勢

火焰的閃爍頻率約為8 Hz～12Hz，且這種頻率與燃燒類型、空間大小、環(huán)境溫度風(fēng)速等關(guān)聯(lián)不大，因此可作為火焰判定的一個重要特征。

火災(zāi)的發(fā)生時(shí)，一般在火災(zāi)早期是相對較微弱的火焰，常伴隨一定的煙霧，然后火焰慢慢蔓延，火勢逐漸增大，火焰的面積也逐漸擴(kuò)大?；馂?zāi)初期，火焰面積逐幀增大，是最顯著的一個特征。在火災(zāi)發(fā)生時(shí)，伴隨著可燃物的燃燒殆盡和周圍其他物質(zhì)的燃燒，火焰的位置會發(fā)生一定的變化，并且室外有風(fēng)的環(huán)境，火焰的中心位置通常沿著一個方向不斷變化?；馂?zāi)時(shí)火焰在整體移動的過程中是連續(xù)變化的，一般不會發(fā)生跳變，根據(jù)該特征可排除一些固定的疑似區(qū)域。

2.5 算法識別結(jié)果

筆者選取室內(nèi)、室外、燈光、森林火災(zāi)等環(huán)境對算法進(jìn)行了測試，依據(jù)場景和火災(zāi)類型的不同，多火焰特征參數(shù)做了適當(dāng)?shù)恼{(diào)整。用上述圖像特征提取算法判斷出火焰的疑似區(qū)域，再加以適當(dāng)權(quán)重，綜合評判火焰的位置。

實(shí)驗(yàn)室的棉條燃燒和燈光干擾試驗(yàn)，如圖1所示。圖1（a） 實(shí)驗(yàn)室棉條燃燒由于高溫火焰呈現(xiàn)亮白色，依據(jù)其邊緣、頻率、運(yùn)動區(qū)特征兩團(tuán)火焰得到了有效識別，并排除了遠(yuǎn)處的一個燈光反射干擾，但是離火焰較近的燈光由于火焰的運(yùn)動特性會形成連通區(qū)域，識別的火焰面積有了一定范圍的擴(kuò)大;而圖1（b） 晚間路燈和車燈，通過多特征的參數(shù)對比，算法實(shí)現(xiàn)了有效的屏蔽。

森林火災(zāi)采用公開數(shù)據(jù)集的測試數(shù)據(jù)，如圖2所示，算法對林火識別較為準(zhǔn)確，下方個別區(qū)域由于樹木的遮擋，火焰特征不滿足閾值要求，為了算法的穩(wěn)定性，不產(chǎn)生過多誤報(bào)，過小的火焰區(qū)域未判定為火焰區(qū)域。

室外環(huán)境同樣采用了公開數(shù)據(jù)集的火焰圖像，其中圖3（a） 白色圍墻存在火焰的運(yùn)動和反光等干擾，后方公路由于樹木和天空的光影擾動，利用顏色特征容易出現(xiàn)誤報(bào)。我們采用火焰的邊緣運(yùn)動特征和運(yùn)動特性有效排除干擾，對火焰區(qū)域?qū)崿F(xiàn)了準(zhǔn)確識別;圖3（b）火焰區(qū)域較小，但是整體視頻畫面擾動較少，算法采用顏色和形狀的圖像特征，并使用了紋理高頻能量的信息識別火焰區(qū)域。

3 結(jié)論

綜上所述，筆者采用了多特征融合的視頻處理算法實(shí)現(xiàn)對火災(zāi)火焰特征的識別。根據(jù)使用的公開數(shù)據(jù)集和設(shè)計(jì)的實(shí)驗(yàn)數(shù)據(jù)，算法在大空間，室外有光影等干擾，各類燈光干擾、森林火災(zāi)等環(huán)境下均有不錯的識別率。但是隨著場景的變化，算法的特征參數(shù)需要自適應(yīng)調(diào)整，算法的魯棒性需要進(jìn)一步提升。

參考文獻(xiàn)：

[1]Chen Lianghua， Huang Weicheng. Fire Detection Using Spatial-temporal Analysis[J].Lecture Notes in Engineering & Computer Science，2013（3）： 1-4.

[2] Celik T，Demirel H，Ozkaramanli H，et al.Fire detection using statistical color model in video sequences[J].Journal of Visual Communication and Image Representation，2007，18（2）：176-185.

[3] Phillips W，Shah M，da Vitoria Lobo N.Flame recognition in video[C]//Proceedings Fifth IEEE Workshop on Applications of Computer Vision.Palm Springs，CA，USA.IEEE，2000：224-229.

[4] Healey G，Slater D，Lin T，et al.A system for real-time fire detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York，NY，USA.IEEE，1993：605-606.

[5] Jiang Q，Wang Q.Large space fire image processing of improving canny edge detector based on adaptive smoothing[C]//2010 International Conference on Innovative Computing and Communication and 2010 Asia-Pacific Conference on Information Technology and Ocean Engineering.Macao，China.IEEE，2010：264-267.

[6] T?reyin B U，Dedeo?lu Y，Güdükbay U，et al.Computer vision based method for real-time fire and flame detection[J].Pattern Recognition Letters，2006，27（1）：49-58.

[7] Celik T.Fast and efficient method for fire detection using image processing[J].ETRI Journal，2010，32（6）：881-890.

[8] 周璟軍.城市道路隧道點(diǎn)型紅外火焰與圖像型火災(zāi)探測比較分析[J].交通科技，2020（6）：128-129，134.

[9] 杜志偉.基于紅外圖像動態(tài)特征的早期火焰探測方法研究[D].天津：天津大學(xué)，2019.

【通聯(lián)編輯：唐一東】