基于多特征融合的煙霧檢測(cè)

吳冬梅， 李白萍， 沈 燕， 王 靜， 何 蓉

(1. 西安科技大學(xué)通信學(xué)院，陜西 西安 710054；2. 江蘇省環(huán)境監(jiān)測(cè)中心，江蘇 南京 210004)

基于多特征融合的煙霧檢測(cè)

吳冬梅1， 李白萍1， 沈 燕2， 王 靜1， 何 蓉1

(1. 西安科技大學(xué)通信學(xué)院，陜西 西安 710054；2. 江蘇省環(huán)境監(jiān)測(cè)中心，江蘇 南京 210004)

針對(duì)傳統(tǒng)火災(zāi)探測(cè)技術(shù)的應(yīng)用弱點(diǎn)，研究基于視頻的火災(zāi)煙霧探測(cè)方法。首先，根據(jù)煙霧的顏色特征，提取視頻序列中的疑煙區(qū)域。然后，在疑煙區(qū)域中提取煙霧的3個(gè)動(dòng)態(tài)特征——擴(kuò)散特征、輪廓不規(guī)則特征和使背景模糊特征。最后，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)這些動(dòng)態(tài)特征進(jìn)行融合判定。實(shí)驗(yàn)結(jié)果表明，基于多特征融合的煙霧檢測(cè)方法能夠準(zhǔn)確、實(shí)時(shí)、有效地識(shí)別視頻中的煙霧。

煙霧；顏色特征；動(dòng)態(tài)特征；BP神經(jīng)網(wǎng)絡(luò)

由于傳統(tǒng)的基于傳感器的火災(zāi)探測(cè)系統(tǒng)在一些大型室內(nèi)空間或通風(fēng)場(chǎng)所會(huì)容易失效，研究一種基于計(jì)算機(jī)視覺和視頻圖像處理的新型火災(zāi)探測(cè)方法[1]具有重要意義。通常情況下，“煙為火始”，若能在視頻中及時(shí)地檢測(cè)到煙霧則可提供更早的火災(zāi)預(yù)警。利用視頻圖像處理技術(shù)監(jiān)測(cè)場(chǎng)景中的煙霧具有以下優(yōu)點(diǎn)：①不受距離空間環(huán)境限制；②響應(yīng)速度快；③探測(cè)直觀主動(dòng)，保護(hù)面積大。而且在各式建筑物中，視頻監(jiān)控系統(tǒng)已大量使用，利用視頻來(lái)探測(cè)火災(zāi)的技術(shù)將得以推廣。

目前，國(guó)內(nèi)外已經(jīng)提出了 3種視頻煙霧的探測(cè)算法：①基于顏色特征的煙霧檢測(cè)[2]，利用統(tǒng)計(jì)像素點(diǎn)的信息對(duì)比確定煙霧出現(xiàn)的可能性。②基于變換域視頻煙霧分析技術(shù)[3]，進(jìn)行小波變換后，再利用連續(xù)幀之間的動(dòng)態(tài)變化差別識(shí)別煙霧區(qū)域。③基于累計(jì)運(yùn)動(dòng)方向模型的煙霧檢測(cè)[4]，運(yùn)用

煙霧出現(xiàn)的趨向性對(duì)煙霧區(qū)域進(jìn)行判斷。以上方法對(duì)煙霧的檢測(cè)能夠起到一定的效果，但檢測(cè)的準(zhǔn)確性有待提高。本文針對(duì)現(xiàn)有方法準(zhǔn)確性不高且適應(yīng)性不強(qiáng)等問(wèn)題，提出了將煙霧的靜態(tài)特征和動(dòng)態(tài)特征相結(jié)合，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)這些特征進(jìn)行融合判定，提高了煙霧檢測(cè)的準(zhǔn)確率，多特征的融合也使適應(yīng)性有了較大提高。

1 視頻煙霧檢測(cè)算法架構(gòu)

視頻中的煙霧為運(yùn)動(dòng)目標(biāo)，且煙霧具有獨(dú)特的靜態(tài)及動(dòng)態(tài)特征。首先，利用混合高斯背景建模的方法提取視頻序列中的運(yùn)動(dòng)目標(biāo)，并對(duì)其進(jìn)行顏色分析和判斷，找到疑煙區(qū)域。然后，進(jìn)一步在疑煙區(qū)域內(nèi)分析和提取煙霧區(qū)別于其他運(yùn)動(dòng)物體的獨(dú)特的動(dòng)態(tài)特征，即擴(kuò)散特征、輪廓不規(guī)則特征和使背景模糊特征。最后，利用BP神經(jīng)網(wǎng)絡(luò)將提取的煙霧動(dòng)態(tài)特征融合，最終綜合判斷。其軟件算法流程如圖1所示。

圖1 視頻煙霧檢測(cè)算法流程

2 基于RGB空間的疑煙區(qū)域檢測(cè)

在RGB彩色模型中，強(qiáng)度最高的紅、綠、藍(lán)組合產(chǎn)生白色，而等值的紅、綠、藍(lán)相加可產(chǎn)生自然的灰色，較低值時(shí)產(chǎn)生深灰色，而高值時(shí)則產(chǎn)生淺灰色。為了利用顏色特征區(qū)分煙霧和其他運(yùn)動(dòng)物體，首先要分析煙霧顏色信息數(shù)據(jù)。經(jīng)研究發(fā)現(xiàn)，對(duì)大部分燃燒材料，當(dāng)溫度較低時(shí)，煙霧的顏色從青白色過(guò)渡到白色；隨著溫度的升高，直至燃燒，煙霧顏色逐漸加深，從灰白色過(guò)渡到灰黑色。

圖2給出了典型的煙霧圖像顏色在RGB三維空間中的分布情況，其中三維坐標(biāo)分別代表R、G、B三個(gè)分量。經(jīng)過(guò)一些典型煙霧顏色的數(shù)據(jù)分析，可發(fā)現(xiàn)煙霧的顏色基本上是分布在一條較為緊湊的窄帶中。即顏色分布在立方體的對(duì)角線上，其R、G、B三個(gè)分量值基本上相等。Chen等[5]基于此原理提出了一種煙霧顏色檢測(cè)的方法。

圖2 煙霧顏色在RGB三維空間中的分布

本文算法中煙霧顏色檢測(cè)模型是在文獻(xiàn)[5]的研究基礎(chǔ)上提出的，以下幾個(gè)準(zhǔn)則可判斷是否有類似煙霧顏色的區(qū)域存在，從而去除一些明顯的非煙區(qū)域。具體算法分析如下：

圖3 某場(chǎng)景的煙霧顏色檢測(cè)效果圖

3 動(dòng)態(tài)特征的提取

煙霧的視覺特征除了包含顏色、運(yùn)動(dòng)這些基本特征外，還有其特有的動(dòng)態(tài)特征，而提取并分析煙霧的這些動(dòng)態(tài)特征可進(jìn)一步排除具有相似顏色的非煙物體。需重點(diǎn)分析煙霧擴(kuò)散時(shí)面積的增加、輪廓的不規(guī)則和背景變模糊這3個(gè)動(dòng)態(tài)特性。

3.1 煙霧擴(kuò)散的面積增長(zhǎng)特征

視頻中若出現(xiàn)了疑似煙霧區(qū)域，則將第 ti時(shí)刻煙霧疑似區(qū)域的面積記為 Ai，第 ti+k時(shí)刻的煙霧疑似區(qū)域的面積記為 Ai+k，則 Ai+k- Ai表示 ti+k時(shí)刻相對(duì)于第 ti時(shí)刻煙霧疑似區(qū)域面積發(fā)生的變化。從第 ti時(shí)刻到第 ti+k時(shí)刻煙霧疑似區(qū)域面積增長(zhǎng)率[6]定義為：

為便于計(jì)算機(jī)程序?qū)崿F(xiàn)，將式(4)中煙霧區(qū)域的面積用提取的像素?cái)?shù)量來(lái)表示，而時(shí)間差用一段時(shí)間內(nèi)間隔的幀的數(shù)目表示。則上式可轉(zhuǎn)化為：

式(5)中 Pi表示第 ti時(shí)刻圖像的煙霧疑似區(qū)域的總的像素?cái)?shù)， Pi+k為第 ti+k時(shí)刻煙霧疑似區(qū)域的像素?cái)?shù)，則dP是像素?cái)?shù)量的變化。(i + k) -i即k表示兩幀圖像之間相隔的幀數(shù)， ΔAdi是從第i到 i+k幀之間的煙霧疑似區(qū)域的像素?cái)?shù)目的變化率，描述了從第i幀到 i+k幀這段時(shí)間的煙霧區(qū)域的面積變化情況。歸一化面積增長(zhǎng)率的數(shù)值，通過(guò)計(jì)算煙霧的絕對(duì)面積增長(zhǎng)率，作為BP神經(jīng)網(wǎng)絡(luò)的輸入，其表達(dá)式用像素?cái)?shù)表示則為：

圖 4(a)～(d)分別為一段含煙霧的視頻的第i幀和第 i+k幀的煙霧原始視頻圖像和提取的面積，經(jīng)計(jì)算，各自的連通區(qū)域的像素個(gè)數(shù)分別為 66 753個(gè)和69 101個(gè)。

圖4 煙霧面積增長(zhǎng)特征提取

3.2 煙霧輪廓不規(guī)則特征

火災(zāi)發(fā)生初期，煙霧會(huì)不停地從發(fā)煙點(diǎn)開始無(wú)規(guī)則地向周圍擴(kuò)散，其擴(kuò)散不同于其他運(yùn)動(dòng)物體，煙霧在運(yùn)動(dòng)過(guò)程中的邊緣輪廓始終呈現(xiàn)不規(guī)則狀態(tài)[7-8]。通過(guò)提取并計(jì)算煙霧疑似區(qū)域的邊緣長(zhǎng)度與面積之比，實(shí)現(xiàn)對(duì)煙霧輪廓的形狀在擴(kuò)散過(guò)程中的不規(guī)則性這一特征的判斷，判別公式如下：

式中，SEP表示被提取出來(lái)的煙霧區(qū)域的周長(zhǎng)，通過(guò)計(jì)算邊緣像素總數(shù)來(lái)表示，STP表示被提取出來(lái)的煙霧疑似區(qū)域的面積，用包含的連通區(qū)域的像素總數(shù)描述。以圖 4的煙霧區(qū)域的兩幀圖像為例，進(jìn)行邊緣提取后如圖5所示。

圖5 煙霧邊緣不規(guī)則性

圖 5(a)為第i幀圖像的輪廓，邊緣像素?cái)?shù)為1 863個(gè)，圖 5(b)為 i+k幀圖像的邊緣，像素總數(shù)為2 714個(gè)。用該特征判據(jù)作為BP神經(jīng)網(wǎng)絡(luò)的第

二個(gè)輸入特征。

3.3 背景模糊特征

隨著燃燒繼續(xù)，煙霧的濃度不斷提高，透明度則會(huì)降低；煙霧圖像具有半透明的特征，其他非煙霧圖像多將背景區(qū)域完全覆蓋，透過(guò)運(yùn)動(dòng)區(qū)域不能直接看到背景的紋理，而煙霧在未完全覆蓋整個(gè)場(chǎng)景之前，會(huì)使圖像的邊緣變平滑，導(dǎo)致圖像的邊緣和細(xì)節(jié)信息減少，與之對(duì)應(yīng)的高頻分量減少[9]。用小波變換的方法來(lái)分析煙霧區(qū)域的模糊性。

一幅視頻序列圖像經(jīng)二維離散小波變換后，被分解成4幅子圖像：1幅是低頻分量子圖像，3幅高頻分量子圖像分別包含了原始圖像在水平方向(HL)、豎直方向(LH)和對(duì)角方向(HH)的紋理信息，如圖6所示。

圖6 煙霧圖像的二維離散小波變換

隨著煙霧的出現(xiàn)以及逐漸蔓延，覆蓋并占據(jù)大幅圖像空間后，HL、LH、HH圖像的細(xì)節(jié)信息是會(huì)逐漸減少的。假設(shè) En表示包含了視頻序列的第n幀采集圖像中所有高頻圖像的高頻能量，高頻能量的公式表示如下：

則用 en表示第n幀煙霧疑似區(qū)域圖像的高頻能量、 ebn表示煙霧疑似區(qū)域?qū)?yīng)背景圖像經(jīng)二次小波變換后的高頻能量， en和 ebn由式(8)的方法得到。▽ en表示第n幀疑似區(qū)域的圖像所對(duì)應(yīng)的背景圖像的高頻能量減少的特性，即煙霧出現(xiàn)使圖像變模糊的特征：

當(dāng)視頻中出現(xiàn)煙霧時(shí)，通常會(huì)使 3幅高頻分量子圖像HL、LH、HH的總能量值減少。大量試驗(yàn)得出其他物體的高頻衰減一般遠(yuǎn)小于0.1，而有煙霧出現(xiàn)時(shí) ▽en的值大約為 0.2～0.8，將這一判據(jù)作為BP神經(jīng)網(wǎng)絡(luò)的第3個(gè)輸入特征。

4 融合煙霧動(dòng)態(tài)特征的神經(jīng)網(wǎng)絡(luò)檢測(cè)

根據(jù)煙霧檢測(cè)的實(shí)際需要設(shè)計(jì)一個(gè)BP神經(jīng)網(wǎng)絡(luò)，選取煙霧的 3個(gè)動(dòng)態(tài)特征作為神經(jīng)網(wǎng)絡(luò)的輸入，輸出為一個(gè)狀態(tài)信息。BP神經(jīng)網(wǎng)絡(luò)的輸入：①IN1：擴(kuò)散性特征；②IN2：形狀不規(guī)則特征；③IN3：背景模糊特征。輸出只有一個(gè)，輸出層用Sigmoid激發(fā)函數(shù)，使輸出值限定在0～1之間，用Out表示，判斷結(jié)果劃分為：為火災(zāi)煙霧狀態(tài)；為無(wú)煙正常狀態(tài)。

BP算法的基本思想是采用最速下降法(梯度法)，使網(wǎng)絡(luò)輸出值與實(shí)際的期望輸出值間的誤差平方和最小[10-11]。本文中網(wǎng)絡(luò)用于訓(xùn)練的圖像需要人為地給出輸出結(jié)果，如果圖像含有煙霧，輸出為1，對(duì)于沒有煙霧圖像，則輸出為0。

選取在各種動(dòng)態(tài)環(huán)境下拍攝的早期火災(zāi)煙霧及含干擾現(xiàn)象的視頻序列來(lái)作為網(wǎng)絡(luò)的學(xué)習(xí)樣本，視頻部分為自己拍攝，也有在互聯(lián)網(wǎng)站上下載得到的，其中含煙霧的視頻18個(gè)、同時(shí)含煙霧和火焰的視頻有3個(gè)、公路車流視頻2個(gè)、行人視頻 2個(gè)、每個(gè)視頻提取兩組數(shù)據(jù)，總共得到輸入數(shù)據(jù)50組，然后對(duì)該BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，步長(zhǎng)為0.01，訓(xùn)練的次數(shù)10 000次。

5 實(shí)驗(yàn)結(jié)果分析

由于目前的煙霧視頻沒有統(tǒng)一的視頻測(cè)試標(biāo)準(zhǔn)庫(kù)，本實(shí)驗(yàn)的測(cè)試視頻來(lái)源于網(wǎng)絡(luò)和個(gè)人實(shí)驗(yàn)拍攝，選取的視頻為各種場(chǎng)景下的煙霧視頻和非煙霧視頻。利用已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本之外的20個(gè)火災(zāi)煙霧視頻和干擾視頻進(jìn)行測(cè)試，提取數(shù)據(jù)40組，部分測(cè)試數(shù)據(jù)如表1所示。其中，序號(hào)7和序號(hào)9視頻為非含煙視頻，其余組中都含有煙霧，由實(shí)際輸出結(jié)果可以看出，含煙視頻均為大于0.7小于1的輸出數(shù)值，而非含煙視頻的輸出也是遠(yuǎn)小于0.7，說(shuō)明已訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)煙霧具有較好的準(zhǔn)確性和可靠性。

為了更直觀地說(shuō)明本文基于視頻的煙霧檢測(cè)算法的整體準(zhǔn)確有效性，將某個(gè)典型的測(cè)試視頻序列的檢測(cè)效果進(jìn)行幀提取并分析如下：該段視頻總共有2 345幀，幀大小是320×240，幀率25 fps。

視頻在開始時(shí)沒有煙霧，第75幀時(shí)有人出現(xiàn)并在290幀的時(shí)候放出煙霧，在本段視頻中有兩個(gè)人在煙霧周圍行走，遠(yuǎn)處有公交車駛過(guò)，并且該視頻中的行人所穿衣服的顏色和汽車的顏色都與煙霧顏色極為相近，這個(gè)過(guò)程中程序未對(duì)運(yùn)動(dòng)車輛和具有類似顏色的運(yùn)動(dòng)行人出現(xiàn)誤判情況。算法能夠準(zhǔn)確并及時(shí)標(biāo)注出煙霧，如圖7。

表1 部分測(cè)試樣本數(shù)據(jù)

圖7 典型視頻的檢測(cè)效果

圖8 測(cè)試視頻

由于視頻煙霧檢測(cè)尚無(wú)標(biāo)準(zhǔn)測(cè)試庫(kù)，已發(fā)表的文獻(xiàn)大多采用自拍的視頻煙霧進(jìn)行測(cè)試，無(wú)法進(jìn)行全面的定量比較。本文根據(jù)背景場(chǎng)景的不同、鏡頭遠(yuǎn)近的不同，同時(shí)煙霧的濃度和其他干擾都不同，對(duì) 5個(gè)視頻進(jìn)行檢測(cè)，以檢驗(yàn)算法的準(zhǔn)確性和環(huán)境適應(yīng)性。圖8是測(cè)試視頻的截圖。

表2給出了煙霧幀檢測(cè)結(jié)果。幀平均準(zhǔn)確率S依據(jù)式(10)計(jì)算。

其中，S代表視頻總幀數(shù)，F(xiàn)代表誤檢幀數(shù)，M代表漏檢幀數(shù)，n代表測(cè)試視頻數(shù)。計(jì)算得出此算法每幀的平均準(zhǔn)確率在87%左右。

在以上實(shí)驗(yàn)數(shù)據(jù)中，視頻播放速率為 25幀/秒，用25幀/秒作為觀測(cè)長(zhǎng)度，若是出現(xiàn)單一的報(bào)警信號(hào)，則認(rèn)為此視頻中的運(yùn)動(dòng)目標(biāo)為非煙霧，對(duì)誤檢目標(biāo)進(jìn)行有效剔除，可避免將不存在非煙視頻檢測(cè)為煙霧視頻的情況。即對(duì)帶有煙霧視頻能夠測(cè)出目標(biāo)，而對(duì)于非煙視頻做到不發(fā)生誤報(bào)。若以 4 s為檢測(cè)時(shí)間要求(從出現(xiàn)煙霧到發(fā)出報(bào)警信號(hào))，對(duì)測(cè)試視頻的煙霧檢測(cè)準(zhǔn)確率可達(dá)到99%。表明本算法具有較好的準(zhǔn)確性、較強(qiáng)的實(shí)時(shí)性，環(huán)境適應(yīng)性也較好。

表2 煙霧幀檢測(cè)結(jié)果

6 結(jié) 束 語(yǔ)

本文根據(jù)煙霧的顏色特征，提取了視頻中的疑煙區(qū)域，進(jìn)而在疑煙區(qū)域中提取煙霧區(qū)別于其他物體所特有的3個(gè)動(dòng)態(tài)特征，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)這些動(dòng)態(tài)特征進(jìn)行融合判定。經(jīng)大量的實(shí)驗(yàn)測(cè)試表明，融合多特征的煙霧檢測(cè)方法，只對(duì)極個(gè)別的視頻(發(fā)生源太遠(yuǎn)且持續(xù)時(shí)間較短)出現(xiàn)漏判，而對(duì)大部分的視頻，程序都能在 4 s內(nèi)(幀率為25 fps)做出正確的判斷，具備較好的實(shí)時(shí)性、準(zhǔn)確性和抗干擾能力，并且對(duì)硬件資源占用少。

[1] 薄立矗. 圖像型火災(zāi)探測(cè)技術(shù)及發(fā)展前景展望[J]. 武警學(xué)院學(xué)報(bào), 2010, 26(8)： 14-16.

[2] Maruta H, Nakamura A, Yamamichi T, et al. Image based smoke detection with local hurst exponent [C]// Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong, China, 2010：4653-4656.

[3] Rafiee A, Tavakoli R, Dianat R, et al. Fire and smoke detection using wavelet analysis and disorder characteristics [C]//2011 3rd International Conference on Computer Research and Development. Shanghai, China, 2011： 262-265.

[4] 袁非牛. 基于運(yùn)動(dòng)累積和半透明的視頻煙霧探測(cè)模型[J]. 數(shù)據(jù)采集與處理, 2007, 22(4)： 396-400.

[5] Chen T H, Kao Chengliang, Chang S M. An intelligent real-time fire-detection method based on video processing [C]//Proceedings of the IEEE 37th Annual (2003) International Carnahan Conference on Security Technology. Taipei, China, 2003： 104-111.

[6] Hong Wenbing, Peng Jianwen, Chen C Y. A new image-based real-time flame detection method using color analysis [C]//Proceedings of the 2005 IEEE International Conference on Networking, Sensing and Control. Tucson, Arizona, USA： IEEE Press, 2005： 100-105.

[7] Chen T H, Yin Y H, Huang Shifeng, et al. The smoke detection for early fire-alarming system base on video [C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP'06). California, USA, 2006： 806-813.

[8] 文永革, 何紅洲, 李海洋. 一種改進(jìn)的 Roberts 和灰色關(guān)聯(lián)分析的邊緣檢測(cè)算法[J]. 圖學(xué)學(xué)報(bào), 2014, 35(4)：637-642.

[9] 閆建強(qiáng). 基于DM642和圖像分析的林火煙霧檢測(cè)系統(tǒng)研究[D]. 杭州： 杭州電子科技大學(xué), 2010.

[10] Li Zhangqing, Khananian A, Fraser R H, et al. Automatic detection of fire smoke using artificial neural networks and threshold approaches applied to AVHRR imagery [J]. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(9)： 1859-1870.

[11] 李曉歌, 邵麗紅, 李 娜. 人工神經(jīng)網(wǎng)絡(luò)BP算法的實(shí)現(xiàn)[J]. 人工智能及識(shí)別技術(shù), 2007, 23(12)： 921-923.

Smoke Detection Based on Multi-Feature Fusion

Wu Dongmei1, Li Baiping1, Shen Yan2, Wang Jing1, He Rong1

(1. Department of Communication, Xi′an University of Science and Technology, Xi′an Shaanxi 710054, China; 2. Jiangsu Envoronmental Monitoring Center, Nanjing Jiangsu 210004, China)

A new smoke detection method based on video is researched due to the weakness of the traditional fire detection technology. Firstly, according to the characteristic of the smoke color, the suspect smoke regions are extracted in video sequences. Then, looking for three dynamic characteristics of smoke in the suspected smoke area, there are three features extracted, which respectively are the growth of the area in the smoke spread, irregular contour feature of the smoke region and the background to blurred when smoke appeared. And those three dynamic characteristics are fused by a BP neural network to determine smoke or not. Test results show that the multi-feature fusion smoke detection algorithm can identify smoke in video accurately, real-time and effectively.

smoke; color feature; dynamic characteristics; BP neural network

TP 391

A

2095-302X(2015)04-0587-06

2014-12-18；定稿日期：2014-12-30

陜西省工業(yè)攻關(guān)計(jì)劃資助項(xiàng)目(2012K06-16)；國(guó)家自然科學(xué)基金-青年科學(xué)基金資助項(xiàng)目(61302133)；西安科技大學(xué)博士啟動(dòng)金資助項(xiàng)目(2014QDJ066)

吳冬梅(1964–)，女，浙江義烏人，教授，碩士。主要研究方向?yàn)閳D像壓縮、圖像識(shí)別及視頻分析等。E-mail：wdm562@163.com