基于視頻圖像的煤垛自燃檢測(cè)算法研究

吳 南，朱向東，高雅昆，李海濱

(1.燕山大學(xué)電氣工程學(xué)院，河北 秦皇島 066000；2.秦皇島港股份有限公司第九港務(wù)分公司)

0 引言

煤垛在運(yùn)輸過程中發(fā)生自燃會(huì)造成巨大的經(jīng)濟(jì)損失和環(huán)境污染，因此需要找到有效的方法來解決該問題。

自燃檢測(cè)通常采用檢測(cè)煙霧特征的方法來實(shí)現(xiàn)，目前煙霧檢測(cè)技術(shù)大多是用于室內(nèi)場(chǎng)所的近距離感應(yīng)裝置，主要通過檢測(cè)周圍環(huán)境中的顆粒、溫度、濕度和透明度等來進(jìn)行煙霧檢測(cè)的，這些裝置往往安裝在被檢測(cè)對(duì)象附近，但是當(dāng)這些傳感器離被檢測(cè)對(duì)象較遠(yuǎn)時(shí)就很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，所以并不適用于室外環(huán)境。國(guó)內(nèi)外對(duì)室外的煙霧檢測(cè)技術(shù)的研究仍在初級(jí)階段，我國(guó)對(duì)于室外火災(zāi)的檢測(cè)大多是通過檢測(cè)火焰來實(shí)現(xiàn)的。文獻(xiàn)[1]提出了一種基于火焰彩色空間的探測(cè)方法；文獻(xiàn)[2]提出基于群智能技術(shù)和Kemdoids聚類的火焰像素檢測(cè)方法；文獻(xiàn)[3]提出通過探測(cè)極端溫度來檢測(cè)火焰。但是一般煙霧會(huì)先于火焰產(chǎn)生，若能準(zhǔn)確地檢測(cè)煙霧，可將火災(zāi)扼殺在搖籃中。我國(guó)的煙霧檢測(cè)技術(shù)尚不成熟，文獻(xiàn)[4]采取改進(jìn)的背景估計(jì)法并結(jié)合色彩判斷準(zhǔn)則來識(shí)別煙霧，實(shí)驗(yàn)結(jié)果表明，與單純的幀間差分法相比該方法有更好的抗干擾能力，但有時(shí)會(huì)將緩慢變化的煙霧當(dāng)作背景。曹希峰等人提出基于小波分析的圖像型火災(zāi)煙霧特征提取算法[6]，實(shí)驗(yàn)結(jié)果表明，該算法具有抗干擾能力強(qiáng)的優(yōu)點(diǎn)。鄭璐等人提出了引入歸一化的RGB空間進(jìn)行煙霧識(shí)別的新思路，增加了算法的穩(wěn)定性[7]，但是其閾值難以確定，不適用于本文研究的場(chǎng)景。

經(jīng)過對(duì)大量國(guó)內(nèi)外相關(guān)文獻(xiàn)的研究，本文針對(duì)國(guó)投曹妃甸港煤垛自燃的問題，提出一種基于視頻圖像的煙霧檢測(cè)算法。首先通過煙霧動(dòng)態(tài)特征確定疑似煙霧區(qū)域；然后在疑似煙霧區(qū)域搜索煙霧靜態(tài)特征完成識(shí)別。實(shí)驗(yàn)結(jié)果表明，和單純的幀間差分法和背景差分法相比，本文算法具有抗干擾能力強(qiáng)的優(yōu)勢(shì)，有效地解決了煤垛自燃識(shí)別問題。圖1為本文煙霧檢測(cè)算法流程圖。

圖1 本文算法流程圖

1 基于煙霧動(dòng)態(tài)特征的疑似煙霧區(qū)域提取

由于煙霧是緩慢變化的，所以當(dāng)有煙霧出現(xiàn)時(shí)，視頻中每一幀圖像都不一樣，因此，煙霧識(shí)別工作的第一步是基于煙霧動(dòng)態(tài)特征的疑似煙霧區(qū)域提取，如果能夠準(zhǔn)確提取疑似煙霧區(qū)域就可以大大減小煙霧識(shí)別工作量，常見的疑似煙霧區(qū)域提取的方法，以及本文所使用的算法將在本章中作詳細(xì)介紹。

1.1 幀間差分法

幀間差分法即用當(dāng)前圖像與前一幀圖像作差再將差分圖像二值化來獲得疑似煙霧區(qū)域的方法，其程序簡(jiǎn)單易于實(shí)現(xiàn)，對(duì)光照等輕微場(chǎng)景變化不敏感，有良好的目標(biāo)捕獲能力，穩(wěn)定性較好[4]。其效果依賴選擇的時(shí)間間隔，對(duì)于運(yùn)動(dòng)速度較快的物體，選擇較小時(shí)間間隔；對(duì)于煙霧這類漸變且運(yùn)動(dòng)速度慢的物體，選擇較大時(shí)間間隔。幀間差分法公式如下：

其中Ik(x,y)為(x,y)處像素在當(dāng)前幀圖像的像素值，Ik-1(x,y)為(x,y)處像素在前一幀圖像的像素值，T為閾值。Dk為將差分圖像二值化后的二值圖。

1.2 背景差分法

背景差分法即用當(dāng)前圖像與背景圖像作差再將差分圖二值化來獲取疑似煙霧區(qū)域的方法，其原理及實(shí)現(xiàn)簡(jiǎn)單，能得到較精確的煙霧目標(biāo)信息，但受外界干擾較大[4]。背景差分法和傳統(tǒng)的背景更新公式為：

其中，Bk-1為前一幀背景圖像，Ik為當(dāng)前幀圖像，Bk為當(dāng)前幀背景，T為閾值，a為權(quán)重系數(shù)。

針對(duì)上述算法的缺陷，本文在背景更新公式中引入初始背景，這樣可以有效地濾除視頻中的干擾物[4]，也不會(huì)把緩慢變化的煙霧當(dāng)作背景，改進(jìn)后的背景更新公式為：

其中，Bk-1為前一幀背景，Ik為當(dāng)前幀圖像。Bk為當(dāng)前幀背景。a，b為權(quán)重系數(shù)，且a+b＜1。通過多次實(shí)驗(yàn)，設(shè)置a=0.4，b=0.4使疑似煙霧區(qū)域提取效果達(dá)到最好。

1.3 結(jié)合幀間差分法和改進(jìn)的背景差分法，提取疑似煙霧區(qū)域

針對(duì)傳統(tǒng)幀間差分法和背景差分法的缺點(diǎn)，本文提出結(jié)合幀間差分法與改進(jìn)后的背景差分法來提取疑似煙霧區(qū)域[5]。算法主要為以下幾步：

⑴ 從初始幀開始，根據(jù)改進(jìn)的背景更新算法計(jì)算每一幀背景圖像；

⑵ 將當(dāng)前幀圖像與前一幀圖像和背景圖像分別作差，并將兩幅差分圖像二值化；

⑶ 將幀間差分圖和背景差分圖對(duì)應(yīng)像素點(diǎn)的像素值進(jìn)行與運(yùn)算，得到一幅新的二值圖像，新圖像中白色區(qū)域?yàn)橐伤茻熿F區(qū)域。

圖2為疑似煙霧區(qū)域提取算法流程。

圖2 疑似煙霧區(qū)域提取流程

對(duì)疑似煙霧區(qū)域進(jìn)行提取的實(shí)驗(yàn)結(jié)果如表1所示。

表1 疑似煙霧區(qū)域提取實(shí)驗(yàn)結(jié)果對(duì)比

2 基于煙霧靜態(tài)特征的煙霧判斷

從表1可知有時(shí)僅通過煙霧動(dòng)態(tài)特征不能有效排除視頻中的干擾進(jìn)而造成誤報(bào)，針對(duì)該問題，本文將在疑似煙霧區(qū)域搜索煙霧靜態(tài)特征完成識(shí)別。

2.1 基于煙霧模糊性特征的煙霧判斷

煙霧模糊性特征是指，當(dāng)圖像中有煙霧存在時(shí)，被煙霧覆蓋部分的圖像區(qū)域中與高頻分量相對(duì)應(yīng)的細(xì)節(jié)信息會(huì)發(fā)生明顯的衰減，圖像中的高頻分量大大減小。據(jù)此判斷疑似煙霧區(qū)域中是否可能有煙霧存在。

為了便于分析煙霧圖像中高頻分量變化情況，需要對(duì)圖像疑似煙霧區(qū)域進(jìn)行一級(jí)二維離散小波變換，其原理如下：

設(shè)Φ(x,y)為二維尺度函數(shù)，其水平、垂直、對(duì)角三個(gè)方向二維離散小波函數(shù)分別為Ψv(x,y)、ΨH(x,y)、ΨD(x,y)[6]。計(jì)算公式如下：

因此一幅圖像經(jīng)過一級(jí)二維離散小波變換后會(huì)得到四幅子圖，原圖像近似系數(shù)子圖LL1、細(xì)節(jié)系數(shù)矩陣的水平分量子圖HL1、垂直分量子圖LH1、對(duì)角分量子圖HH1[9]。其中，LL1為低頻分量子圖，HL1、LH1、HH1為高頻分量子圖，大小為原圖像四分之一。

由于二維離散小波變換只針對(duì)單通道數(shù)據(jù)圖像，需將RGB圖像轉(zhuǎn)化為灰度圖后再進(jìn)行小波變換，然后將三幅高頻分量子圖疊加起來形成一幅復(fù)合高頻圖像[15]：

該圖像小波高頻能量值計(jì)算公式[9]為：

其中，m和n表示圖像長(zhǎng)和寬，VE為小波高頻能量值。

煙霧模糊性特征識(shí)別煙霧算法如下：

If(S＞T)

{滿足煙霧條件}

Else

{不滿足煙霧條件}

其中，VE1是背景圖像疑似煙霧區(qū)域的小波高頻能量值，VE2是前景圖像疑似煙霧區(qū)域的小波高頻能量值，T為閾值。

在疑似煙霧區(qū)域中搜索煙霧模糊性特征進(jìn)行識(shí)別的實(shí)驗(yàn)結(jié)果如表2所示。

表2 基于煙霧模糊性特征的自燃檢測(cè)實(shí)驗(yàn)數(shù)據(jù)

2.2 基于顏色特征的煙霧判斷

從表2中可知，有時(shí)根據(jù)煙霧模糊性特征并不能十分準(zhǔn)確地將煙霧區(qū)域提取出來，所以當(dāng)判斷疑似煙霧區(qū)域中可能有煙霧存在時(shí)還要根據(jù)煙霧顏色特征作最終判斷。

在起火初期煙霧主要為灰白色，煙霧區(qū)域像素點(diǎn)R、G、B三通道值較接近[7]，它們的差一般不超過5，且它們的均值一般在80-90內(nèi)[9]。煙霧顏色特征判據(jù)如下：

條件1：C1-C2＜T1

條件2：T2＜I＜T3

條件3：R＜G

If{條件1}AND{條件2}AND{條件3}

{滿足煙霧條件}

Else

{不滿足煙霧條件}

其中，T1=5，T2=80，T3=90。

在可能有煙霧存在的區(qū)域中搜索煙霧顏色特征進(jìn)行識(shí)別的結(jié)果如表3所示。

表3 基于煙霧顏色特征的自然檢測(cè)實(shí)驗(yàn)數(shù)據(jù)

3 實(shí)驗(yàn)結(jié)果分析

本文所研究的樣本，是從國(guó)投曹妃甸現(xiàn)場(chǎng)監(jiān)控系統(tǒng)中獲得，包括10個(gè)煤垛的20個(gè)攝像頭數(shù)據(jù)，每個(gè)攝像頭的視頻信息時(shí)長(zhǎng)為10天，錄制視頻容量為367.54GB，現(xiàn)場(chǎng)10個(gè)煤垛的20個(gè)攝像頭錄制視頻總?cè)萘考s為7350GB，將這些樣本輸入到MATLAB平臺(tái)下進(jìn)行編程分析，實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果

4 結(jié)束語

煙霧檢測(cè)是近年才提出的，其研究還停留在初級(jí)階段。本文先通過煙霧動(dòng)態(tài)特征來提取疑似煙霧區(qū)域；然后在疑似煙霧區(qū)域內(nèi)搜索煙霧模糊性特征來判斷是否可能有煙霧存在；當(dāng)判斷可能有煙霧存在時(shí)還需在可能有煙霧存在的區(qū)域搜索煙霧顏色特征，完成煙霧的識(shí)別。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的幀間差分法和背景差分法相比，本文算法抗干擾能力較強(qiáng)并有效解決了煤垛自燃識(shí)別問題。但也存在一些不足，當(dāng)由于天氣原因?qū)е聰z像頭劇烈晃動(dòng)時(shí)便不能十分準(zhǔn)確地進(jìn)行煙霧識(shí)別，為此下階段重點(diǎn)研究深度學(xué)習(xí)等方法引入以解決此類問題。

參考文獻(xiàn)(References):

[1]Khatami A,Mirghasemi S,Khosravi A,et al.A New Color Space Based on K-Medoids Clustering for Fire Detection[C]// IEEE International Conference on Systems,Man,and Cybernetics.IEEE,2016:2755-2760

[2]Khatami A,Mirghasemi S,Khosravi A,et al.A New K-medoids Clustering and Swarm Intelligence Approach to FireFlameDetection[J].ExpertSystems with Applications,2017.68(C):69-80

[3]Dortch M D,Price L J,Wittman B A,et al.Fire detection system[J]. Optoelectronics Instrumentation & Data Processing,2016.45(2):140-145

[4]白書華,況明星.基于視頻流的林火煙霧運(yùn)動(dòng)目標(biāo)檢測(cè)方法的研究[J].江西師范大學(xué)學(xué)報(bào)(自然版),2016.40(6):644-647

[5]熊英.基于背景和幀間差分法的運(yùn)動(dòng)目標(biāo)提取[J].計(jì)算機(jī)時(shí)代,2014.3:38-41

[6]曹希鋒,梅真碩,張曦等.一種基于模糊特征的火災(zāi)煙霧實(shí)時(shí)識(shí)別算法[J].消防科學(xué)與技術(shù),2014.33(6):670-673

[7]鄭璐,陳俊周.基于運(yùn)動(dòng)和顏色的視頻煙霧檢測(cè)算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2010.31(21):4650-4652

[8]虞燕鳳.基于視頻圖像的火災(zāi)煙霧檢測(cè)研究[D].大連海事大學(xué),2013.

[9]馬玲,吳愛國(guó).基于混合高斯模型及小波分析的煙霧特征提取分析[J].煤炭技術(shù),2010.29(11):216-217

[10]肖林廠.基于視頻圖像的煙霧識(shí)別算法研究[D].吉林大學(xué),2012.

[11]文澤波.基于視頻圖像特征提取的煙霧檢測(cè)算法研究[D].中國(guó)科學(xué)技術(shù)大學(xué),2016.

[12]姜東海.基于圖像處理的火災(zāi)煙霧識(shí)別技術(shù)研究[D].華中科技大學(xué),2006.

[13]焦珂.基于圖像的火災(zāi)煙霧識(shí)別算法研究[D].西華大學(xué),2008.

[14]王娜娜.基于視頻的火災(zāi)煙霧檢測(cè)算法研究[D].西安科技大學(xué),2012.

[15]秦文政,馬莉.基于視覺顯著性和小波分析的煙霧檢測(cè)方法[J].杭州電子科技大學(xué)學(xué)報(bào),2011.31(4):114-117