基于顏色增強變換和MSER檢測的煙霧檢測算法

李筍， 石永生， 汪渤， 周志強， 王海羅

(北京理工大學(xué) 自動化學(xué)院， 北京 100081)

?

基于顏色增強變換和MSER檢測的煙霧檢測算法

李筍， 石永生， 汪渤， 周志強， 王海羅

(北京理工大學(xué) 自動化學(xué)院， 北京 100081)

在遠距離煙霧視頻監(jiān)控中，當煙霧區(qū)域小或運動緩慢時，煙霧檢測變得非常困難，為了解決這一問題，提出了一種基于煙霧增強顏色變換和MSER(maximally stable extremal regions)檢測的煙霧檢測算法. 首先提出了一種新型煙霧增強顏色變換，可使變換后圖像中煙霧區(qū)域更加突出，便于后續(xù)的分割；其次在變換圖像上檢測MSER區(qū)域，分割出煙霧區(qū)域，避免了基于顏色信息或運動信息等傳統(tǒng)方法難以準確分割煙霧的缺點；最后針對煙霧的特點，提出了煙霧的靜態(tài)和動態(tài)判據(jù)，并以通過靜態(tài)和動態(tài)判據(jù)的次數(shù)判定是否為煙霧，并進行報警. 實驗結(jié)果表明，該算法可在遠距離煙霧視頻監(jiān)控中準確地檢測出煙霧區(qū)域，具有較高的可靠性.

煙霧增強顏色變換；MSER；暗通道原理；煙霧檢測

目前，火災(zāi)是我國人民人身財產(chǎn)安全的一大威脅，因此研究及時準確的火災(zāi)早期預(yù)警具有重要的意義. 相比于傳統(tǒng)的感煙、感溫檢測裝置，基于視頻的煙火檢測技術(shù)具有價格低廉、非接觸、響應(yīng)速度快、可遠距離范圍內(nèi)使用等優(yōu)點[1-2]，甚至可以提供起火的位置以及火勢演變等信息，對制定科學(xué)的滅火決策起著重要的作用.

相比于明火，煙霧更容易被攝像機捕獲，因此火災(zāi)的早期預(yù)警常常是基于煙霧的檢測而進行預(yù)警. 目前基于視頻的煙霧檢測算法的一般流程可劃分為煙霧分割、煙霧特征提取和煙霧識別3個階段. 由于煙霧特征的提取好壞，決定了能否正確地檢測出煙霧，因此煙霧的分割階段和煙霧的特征提取階段在整個煙霧檢測算法中起著至關(guān)重要的作用. 而傳統(tǒng)基于顏色特性的分割方法[3]在復(fù)雜背景條件下，由于煙霧擴散與背景混合在一起，往往不能準確地分割出煙霧區(qū)域；基于運動特性的分割方法[4]在遠距離視頻監(jiān)控中，煙霧的運動并不明顯，如果設(shè)定的運動閾值過小，則分割出區(qū)域過多，且分割區(qū)域與實際的煙霧區(qū)域不一致；如果設(shè)定的運動閾值過大，則只能分割出實際煙霧區(qū)域的局部，甚至分割不出煙霧區(qū)域. 這些都影響了煙霧檢測算法的準確率. 最近也出現(xiàn)了不用分割，直接在單張圖片上進行煙霧識別的算法[1，5]，它們首先在煙霧訓(xùn)練樣本庫上提取LBP、Haar、EOH等通用紋理特征，然后利用AdaBoost等機器學(xué)習(xí)算法訓(xùn)練出分類器進行煙霧識別，這類方法盡管可以在煙霧區(qū)域比較大、紋理信息豐富的情況下正確識別出煙霧，但由于較少地利用煙霧的動態(tài)特性，在實際的視頻煙霧檢測中，存在一定的誤檢和漏檢.

為解決上述在遠距離視頻監(jiān)控中煙霧區(qū)域難以準確分割的問題，本文提出了基于煙霧增強顏色變換和MSER檢測的煙霧檢測算法. 首先，對煙霧進行增強的顏色變換，變換后的圖像的煙霧區(qū)域更加顯著，方便后續(xù)的煙霧分割；然后在變換后的圖像上進行MSER區(qū)域檢測，可以準確高效地分割出煙霧區(qū)域，避免了根據(jù)運動信息或顏色信息難以準確分割出煙霧的問題；在分割出疑似煙霧區(qū)域之后，對其區(qū)域的形狀、方差等煙霧靜態(tài)特征進行判斷，并進一步根據(jù)煙霧區(qū)域的邊緣常常出現(xiàn)運動的特點，在區(qū)域的邊緣處采用混合高斯模型提取其運動信息進行判斷；最后根據(jù)在時間軸上符合煙霧靜態(tài)和動態(tài)判據(jù)的累積次數(shù)進行最終的煙霧判別.

1 煙霧增強的顏色變換

在煙霧檢測中，顏色信息是一種非常重要的信息. 盡管不同的燃燒材料產(chǎn)生煙霧的顏色以及濃度不同，但在自然界中由森林火災(zāi)而產(chǎn)生的煙霧在圖像中大多呈現(xiàn)灰白色[6-7]，不具有色彩信息. 因此文獻[3，6]根據(jù)煙霧區(qū)域3個通道R、G、B應(yīng)當比較接近、不具有色彩信息和HSI空間中亮度I比較高等先驗知識，提出了煙霧區(qū)域3個通道值R、G、B應(yīng)滿足式(1)和(2)，

(1)

(2)

式中：r，g，b為使3個通道R、G、B各自相等的最小值；k、K1、K2為3個閾值. 文獻[2，8]為了便于快速計算，對式(1)和(2)進行改進

(3)

(4)

式中：

(5)

同時，在去霧中被廣泛應(yīng)用的暗通道原理[9]是取3通道R、G、B中最小值，并進行最小值濾波

(6)

式中：Ω(x)為以坐標x為中心的區(qū)域. 因煙霧等區(qū)域的3個通道值R、G、B都比較大，在暗通道圖像Jdark(x)中比較明亮；而其它一般自然區(qū)域大多數(shù)由于陰影、彩色表面等因素，3個通道值R、G、B中至少會有一個值比較小，在變換后的圖像上比較暗淡. 圖1(c)是圖1(a)變換后的暗通道圖像，從中可以看出，除了煙霧、河流和道路區(qū)域比較明亮之外，其它地區(qū)相對比較暗淡，甚至有些地區(qū)為純黑色，因此與亮度圖像(圖1(b))相比更容易采用分割算法分割出煙霧.

為了使變換后的圖像盡可能地抑制其它非煙霧區(qū)域，便于后續(xù)的煙霧分割，本文提出一種新型煙霧增強顏色變換

(7)

式中：

(8)

T(y)將暗通道原理與煙霧區(qū)域3個通道R、G、B應(yīng)當比較接近等先驗知識結(jié)合起來. 當為煙霧區(qū)域時，其暗通道值Cmin比較大，而色彩信息Cmax-Cmin比較小，T(y)就會比較大；而當為非煙霧區(qū)域時，其暗通道值Cmin比較小，而色彩信息Cmax-Cmin比較大，T(y)就會比較小.

同時，式(7)對T(y)進行中值濾波，既抑制了噪聲，又保持了濾波區(qū)域的邊緣. 圖1(d)是原圖像圖1(a)經(jīng)過煙霧增強顏色變換后的圖像，從該圖中可以看出與暗通道圖像(如圖1(c)所示)一樣，抑制了非煙霧區(qū)域，除了煙霧、河流和道路區(qū)域之外，其它區(qū)域都比較暗淡，但與暗通道圖像相比又較好地保持了煙霧區(qū)域的邊緣.

2 基于MSER的煙霧分割

煙霧區(qū)域的分割是煙霧檢測算法中最重要的一部分，分割出的疑似煙霧區(qū)域不僅可以加快后續(xù)的處理速度，更是在其區(qū)域上提取特征，最終根據(jù)這些特征確定該區(qū)域是否為煙霧區(qū)域. 在煙霧檢測算法中常見的有基于顏色特性或運動特性等分割方法，但它們在復(fù)雜背景和遠距離視頻監(jiān)控中，并不能準確地分割出煙霧區(qū)域. 而最大穩(wěn)定極值區(qū)域(MSER)[10]描述的是在漫水過程中具有局部穩(wěn)定特性的極值區(qū)域，與煙霧區(qū)域在顏色變換增強圖像上表現(xiàn)為一個灰白凸包相一致，因此本文在煙霧增強顏色變換圖像上檢測MSER區(qū)域以分割出煙霧區(qū)域.

(9)

(10)

3 基于煙霧靜態(tài)和動態(tài)特性判據(jù)的煙霧檢測算法

由于在煙霧增強顏色變換圖像上檢測的MSER區(qū)域并非全是煙霧區(qū)域(如圖1(d)所示)，因此需要利用煙霧的靜態(tài)和動態(tài)特性去剔除非煙霧區(qū)域，下面將分別介紹煙霧的靜態(tài)和動態(tài)特性判據(jù).

3.1 煙霧的靜態(tài)特性判據(jù)

在單幀圖像上，煙霧區(qū)域常常表現(xiàn)出一定的形狀和顏色特點，比如煙霧形狀的非細長性、不規(guī)則性和顏色方差在一定范圍內(nèi)等，都與其它非煙霧區(qū)域的表現(xiàn)不同，因此本文采用下面3種靜態(tài)特性判據(jù)[12].

① 對于煙霧區(qū)域形狀的非細長性，采用橢圓擬合其輪廓(如圖2所示)，計算橢圓的長軸r1與短軸r2的比值r1/r2，如果此比值r1/r2≥3，則認為該區(qū)域過于細長狹窄，屬于非煙霧區(qū)域. 反之，則認為是煙霧區(qū)域；

② 計算煙霧輪廓的外接矩形(如圖2所示)，求出煙霧區(qū)域所占的面積m與外接矩形面積wh的比值，如果該比值m/(wh)≤0.25，則認為該區(qū)域狹小，屬于非煙霧區(qū)域；如果該比值m/(wh)≥π/4，則認為該區(qū)域的形狀規(guī)整，例如矩形、正方形、圓形等，仍屬于非煙霧區(qū)域. 反之，0.25

③ 由于煙霧的濃度不均勻，煙霧區(qū)域的方差也常常與其它區(qū)域不同，因此通過計算該區(qū)域的方差δ，如果其方差g≤δ≤h，則認為是煙霧區(qū)域. 在大量的實驗中，設(shè)定g=20，h=200，可以剔除一些非煙霧區(qū)域，而不會意外地丟棄真正的煙霧區(qū)域.

3.2 煙霧的動態(tài)特性判據(jù)

單獨地使用煙霧的靜態(tài)特性去剔除非煙霧區(qū)域，常常會有與煙霧形狀、顏色比較類似的非煙霧區(qū)域難以剔除的情況發(fā)生，因此需要根據(jù)煙霧的動態(tài)特性進行進一步判斷. 文獻[4]中利用在煙霧擴散中，煙霧區(qū)域的小波系數(shù)能量逐漸變小的先驗知識進行非煙霧區(qū)域的剔除. 文獻[2]根據(jù)煙霧區(qū)域在時間軸上是上升趨勢的特性篩選出煙霧區(qū)域. 但在遠距離視頻的煙霧檢測中，由于煙霧的運動緩慢，這些動態(tài)特性的判斷效果并不理想. 經(jīng)過大量的實驗發(fā)現(xiàn)，盡管煙霧區(qū)域的內(nèi)部在遠距離情況下運動不明顯，但其邊緣的運動比較明顯，因此可以利用這個動態(tài)特性進行煙霧區(qū)域的確認. 判斷疑似煙霧邊緣區(qū)域是否運動，可對該區(qū)域進行3×3膨脹操作減去3×3腐蝕操作得到其邊緣區(qū)域，在這些邊緣區(qū)域建立自適應(yīng)的混合高斯模型[13]，通過判斷當前時刻的像素點是否符合前面時刻建立的混合高斯模型來判斷該像素點是否運動.

在具體的計算中，對整幅圖像建立混合高斯模型[12-13]，檢測出所有運動的像素點，計算出疑似煙霧區(qū)域邊緣上的運動率(邊緣上運動的像素點個數(shù)與整個邊緣上的像素點個數(shù)的比值)，如果該值大于10%，則認為該區(qū)域通過了煙霧動態(tài)特性的判據(jù)，屬于煙霧區(qū)域，反之則沒有通過. 圖3(a)為煙霧區(qū)域邊緣在某一時刻的運動情況. 為了消除運動圖像上面的噪聲，區(qū)別于簡單的時間域上單點累加濾波，本文提出一種基于時間域和空間域的濾波方法，在連通區(qū)域上進行時間域的累加濾波，具體的公式為

(11)

為了提高算法的魯棒性，算法進一步利用多幀的信息來進行煙霧的報警，當一個區(qū)域在連續(xù)120幀圖像里面，有50幀通過上面的煙霧靜態(tài)和動態(tài)特性判據(jù)，就確認該區(qū)域為煙霧區(qū)域. 綜上所述，本文的算法步驟如下：

① 對輸入的每幀圖像進行煙霧增強顏色變換；

② 在變換圖像上檢測MSER區(qū)域，對符合煙霧靜止特性的MSER區(qū)域進行合并；

③ 對步驟2的疑似煙霧區(qū)域進行煙霧靜態(tài)和動態(tài)特性的判斷；

④ 如果一個區(qū)域在連續(xù)120幀里面，有50幀通過煙霧的靜態(tài)和動態(tài)特性判據(jù)，就認為該區(qū)域為煙霧區(qū)域，并進行報警.

4 實驗結(jié)果及分析

為了驗證本文算法在遠距離視頻煙霧監(jiān)控中的有效性，下面給出了4組遠距離監(jiān)控視頻的煙霧檢測結(jié)果，其中視頻1和視頻2來自于Toreyin課題組的網(wǎng)站[14]，視頻3和視頻4由作者拍攝. 由于煙霧的準確分割與否是本文檢測算法的關(guān)鍵，因此圖4首先給出了基于顏色規(guī)則的分割結(jié)果[3]、基于混合高斯背景建模的分割結(jié)果[13]以及本文基于煙霧增強顏色變換的MSER分割結(jié)果. 如圖4(a)所示，基于顏色規(guī)則的分割方法盡管可以在視頻1和視頻3中分割出煙霧區(qū)域，但也分割出了大片天空區(qū)域，尤其是在視頻2中由于霧氣的存在，基本上分割出整幅圖像，同時在視頻4中分割出了大量白色建筑物. 與之相反的是，如圖4(b)所示，基于混合高斯背景建模的方法在4組視頻中都能分割出煙霧區(qū)域，但只是分割出了煙霧區(qū)域的邊緣部分. 而如圖4(c)所示，本文提出的基于煙霧增強顏色變換的MSER分割方法由于對煙霧區(qū)域進行了增強，且通過對MSER區(qū)域的檢測和符合煙霧靜態(tài)特征區(qū)域的合并，不僅可以準確地分割出煙霧區(qū)域，而且只有較少的非煙霧區(qū)域，這些都有利于后續(xù)的煙霧區(qū)域判斷.

圖5為本文算法與文獻[1，15]在4個遠距離煙霧視頻上的實驗結(jié)果.

如圖5(a)所示，文獻[1]直接采用各種尺度的檢測窗口在全局圖像上進行疑似煙霧區(qū)域檢測(圖5(a)中的綠色框為檢測出的疑似煙霧區(qū)域，當綠色框與其它檢測框的重疊面積大于一定閾值時變?yōu)榧t色框)，并根據(jù)疑似煙霧區(qū)域的重疊窗口數(shù)量以及持續(xù)時間進行最后的煙霧區(qū)域確認. 該算法在視頻1和視頻3中雖然會檢測出非煙霧區(qū)域(綠色框區(qū)域)，但進行重疊判斷之后的檢測區(qū)域(紅色框區(qū)域)可準確地檢測出煙霧區(qū)域，并進行準確的煙霧報警. 而在視頻2中，進行重疊判斷之后的檢測區(qū)域依然有大量的非煙霧區(qū)域，進行了錯誤的煙霧報警. 在視頻4中，由于檢測的疑似煙霧區(qū)域的數(shù)量和持續(xù)時間未超過閾值，在整個視頻中沒有進行煙霧的報警. 圖5(b)為文獻[15]的實驗結(jié)果，它采用緩慢運動區(qū)域檢測、灰度區(qū)域檢測、上升區(qū)域檢測和陰影區(qū)域檢測等4個子算法，并根據(jù)最小均方算法自適應(yīng)地調(diào)整相對應(yīng)的輸出權(quán)重，在4個視頻中都可以準確地進行報警，但在視頻3和視頻4中，由于存在微小的抖動，可能導(dǎo)致了上升區(qū)域檢測等子算法在一些幀上面的誤檢. 而如圖5(c)所示，本文算法在煙霧準確分割的基礎(chǔ)上，并進一步跟蹤進行煙霧靜態(tài)和動態(tài)特性的判斷，在4個視頻上都可以進行準確的煙霧報警和煙霧定位.

最后表1給出了各個算法在4個視頻中準確檢測煙霧的幀數(shù)(表中括號前數(shù)字)以及相應(yīng)視頻的煙霧持續(xù)幀數(shù)(表中括號中數(shù)字). 需指出的是，在人工判斷文獻[1]的檢測結(jié)果時，只考慮紅色框的檢測結(jié)果正確與否，而不考慮綠色框的檢測結(jié)果. 文獻[1]由于在視頻3中一直存在誤檢，而在視頻4中，沒有進行煙霧的報警，所以該算法在這兩個視頻的準確檢測幀數(shù)為0. 如表1所示，本文的算法除了在第一個視頻中的準確檢測幀數(shù)略少于文獻[15]的準確檢測幀數(shù)，在其它視頻中的準確檢測幀數(shù)均超過了文獻[1]和文獻[15].

表1 各個算法準確檢測煙霧的幀數(shù)以及視頻的煙霧持續(xù)幀數(shù)

Tab.1 The accurate smoke detection frames of each algorithms and the lasting smoke frames in videos

算法準確檢測幀數(shù)(煙霧持續(xù)幀數(shù))視頻1視頻2視頻3視頻4文獻[1]算法508(1391)0(576)452(1000)0(1490)文獻[15]算法1171(1391)203(576)240(1000)1076(1490)本文算法957(1391)335(576)630(1000)1378(1490)

5 結(jié) 論

提出一種基于煙霧增強顏色變換和MSER檢測的煙霧檢測算法. 首先根據(jù)暗通道原理與煙霧顏色等先驗知識，提出一種新型煙霧增強顏色變換；然后在變換后的圖像上檢測MSER區(qū)域，最后對這些疑似煙霧區(qū)域進一步做煙霧靜態(tài)和動態(tài)特性判斷，并根據(jù)多幀的累積判斷進行煙霧區(qū)域的確認. 實驗結(jié)果表明，該方法可在遠距離煙霧監(jiān)控視頻中準確可靠地檢測出煙霧，具有較高的實際應(yīng)用價值.

[1] Yuan F. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition， 2012，45(12):4326-4336.

[2] Yuan F. A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters， 2008，29(7):925-932.

[3] Chen T H， Yin Y H， Huang S F， et al. The smoke detection for early fire-alarming system base on video processing[C]∥Proceedings of International Conference on Intelligent Information Hiding and Multimedia Signal Processing， (IIH-MSP 2006). [S.l.]: IEEE，2006.

[4] Toreyin B U， Dedeoglu Y， Cetin A E. Wavelet based real-time smoke detection in video[C]∥Proceedings of 2005 13th European Signal Processing Conference. [S.l.]: IEEE， 2005:1-4.

[5] Yuan F. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal， 2011，46(3):132-139.

[6] Chen T H， Wu P H， Chiou Y C. An early fire-detection method based on image processing[C]∥Proceedings of International Conference on Image Processing， 2004(ICIP’04). [S.l.]: IEEE， 2004:1707-1710.

[7] Li J， Qi Q， Zou X， et al. Technique for automatic forest fire surveillance using visible light image[C]∥Proceedings of IEEE International Geoscience and Remote Sensing Symposium， 2005(IGARSS 2005). [S.l.]: IEEE, 2005:3135-3138.

[8] Chunyu Y， Jun F， Jinjun W， et al. Video fire smoke detection using motion and color features[J]. Fire Technology， 2010，46(3):651-663.

[9] He K， Sun J， Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33(12):2341-2353.

[10] Matas J， Chum O， Urban M， et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing， 2004，22(10):761-767.

[11] Nistér D， Stewénius H. Linear time maximally stable extremal regions[M]∥ Computer Vision-ECCV 2008. [S.l.]: Springer Berlin Heidelberg， 2008:183-196.

[12] Li S， Wang B， Gong L M， et al. A novel smoke detection algorithm based on MSER tracking[C]∥ Proceedings of Control and Decision Conference (CCDC).[S.l.]: IEEE， 2015:5676-5681.

[13] KaewTraKulPong P， Bowden R. An improved adaptive background mixture model for real-time tracking with shadow detection[M]∥Video-Based Surveillance Systems. [S.l.]: Springer US， 2002:135-144.

[14] Cetin A E. Computer vision based fire detection software[EB/OL].http:∥signal.ee.bilkent.edu.tr/VisiFire/.

[15] Toreyin B U， Cetin A E. Wildfire detection using LMS based active learning[C]∥ Proceedings of IEEE International Conference on Acoustics， Speech and Signal Processing(ICASSP 2009). [S.l.]: IEEE， 2009:1461-1464.

(責任編輯：李兵)

Video Smoke Detection Based on Color Transformation and MSER

LI Sun， SHI Yong-sheng， WANG Bo， ZHOU Zhi-qiang， WANG Hai-luo

(School of Automation， Beijing Institute of Technology， Beijing 100081， China)

In the long-range video surveillance， the smoke is difficult to detect when the smoke is small or it moves slowly. In order to solve this problem， a video smoke detection algorithm based on smoke color enhancement transform and maximally stable extremal regions (MSER) was proposed. Firstly， a smoke color enhancement transformation was proposed to make the smoke area more salient and easier to be segmented. Secondly， in order to avoid the difficulty of smoke segmentation in the traditional color-based and motion-based methods， the MSER detection was employed to segment the smoke area. Lastly， based on the accurate segmentation， a series of static and dynamic criterions for the characteristics of smoke was proposed and the smoke was determined by the cumulative number of passing through these static and dynamic criterions. Experimental results show that the proposed algorithm can accurately and reliability detect the smoke in the far-range video surveillance.

smoke color enhancement transformation; maximally stable extremal regions(MSER); dark channel prior; smoke detection

2015-01-09

李筍(1987—)，男，博士生，E-mail：lsbit@foxmail.com；汪勃(1963—)，男，博士，教授，博士生導(dǎo)師，E-mail:wangbo@bit.edu.cn.

TN 911.73

A

1001-0645(2016)10-1072-07

10.15918/j.tbit1001-0645.2016.10.016