基于圖像分離的視頻煙霧檢測方法

董蘭芳，余家奎

（1.中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)系，合肥230027；2.浙江大學(xué)流體動力與機電系統(tǒng)國家重點實驗室，杭州310027）

基于圖像分離的視頻煙霧檢測方法

董蘭芳1，2，余家奎1

（1.中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)系，合肥230027；2.浙江大學(xué)流體動力與機電系統(tǒng)國家重點實驗室，杭州310027）

為提高視頻中煙霧檢測的準確率，提出一種基于圖像分離的檢測方法。通過高斯混和模型和統(tǒng)計非參數(shù)方法建模背景、消除陰影和提取前景區(qū)域，在得到前景的基礎(chǔ)上結(jié)合暗通道得到候選煙霧區(qū)域，對候選區(qū)域進行分塊處理，利用大氣散射模型提取該區(qū)域內(nèi)每塊圖像幀中的煙霧成份，并逐一提取局部二值模式特征，使用支持向量機進行分類和判別，同時采用亮通道進一步加快煙霧成份分離速度。實驗結(jié)果表明，該方法能夠提高煙霧檢測準確率和檢測速度。

高斯混合模型；統(tǒng)計非參數(shù)方法；圖像分離；煙霧檢測；暗通道；亮通道

1 概述

火災(zāi)嚴重威脅人類的生命和財產(chǎn)安全，因此，及時檢測和預(yù)防火災(zāi)具有重要意義。目前，較成熟的火災(zāi)探測方法有感煙、感溫和感光等探測技術(shù)，但是這些基于傳感器的探測技術(shù)要求探測器必須安裝在起火點附近，且檢測依據(jù)單一，易受監(jiān)控環(huán)境的面積、濕度和氣流等因素影響，而且隨著數(shù)字圖像處理以及計算機視覺理論研究的發(fā)展和完善，基于視頻圖像的檢測方法越來越受到大家的關(guān)注。

在火災(zāi)監(jiān)控中，煙霧檢測對于實現(xiàn)早期火災(zāi)預(yù)警具有重要意義。目前，多數(shù)基于視覺的煙檢測技術(shù)主要采用模式識別的方法，首先對輸入圖像進行預(yù)處理，然后將每一幅圖像劃分成塊，并對每一塊提取對應(yīng)的顯著特征，根據(jù)這些特征判斷該塊所在區(qū)域是否為有煙區(qū)域，如文獻［1］利用2層小波變換的LH，HL和HH高頻子帶研究對背景高頻信息產(chǎn)生的衰減，并使用一維小波分解分析煙霧邊界像素的閃爍變化，同時檢驗YUV顏色空間中U和V通道值的變化；文獻［2］通過減背景法及顏色信息確定潛在煙霧區(qū)域，并采用Lucas Kanade光流法對潛在區(qū)域提取運動信息；文獻［3-4］通過煙霧的顏色和能量信息以及時空特征來對其進行檢測；文獻［5］通過使用運動累計性和主方向性來檢測煙霧。上述方法很大程度上依賴于視覺特征的選擇，此外，目前也很難對煙的視覺特征進行量化。因此，本文提出使用圖像分離的技術(shù)檢測煙霧。首先采用背景差分方法提取運動像素，結(jié)合暗通道的思想得到候選的像素，然后把圖像分塊，對每一個塊提取其對應(yīng)的煙霧，最后使用局部二值模式（Local Binary Pattern，LBP）［6］和支持向量機（Support Vector Machine，SVM）進行分類和判別。

2 結(jié)合暗通道的目標(biāo)檢測和提取

運動目標(biāo)的檢測和提取是視頻中煙霧檢測的基礎(chǔ)，目前常用的方法有背景差分法、幀間差分法和光流法等。本文采用背景差分方法對運動目標(biāo)進行檢測，提取ROI區(qū)域。由于背景差分法對于背景的建模有很大的依賴性，尤其在室外環(huán)境下，天氣、光照、風(fēng)吹動的樹木等其他擾動背景的影響非常嚴重，再加上視頻圖像中可能存在陰影，因此本文采用高斯混合模型（Gaussian Mixture Model，GMM）［7］和統(tǒng)計非參數(shù)方法（Statistical Non-parametric approach，SNP）［8］方法來檢測和提取運動像素。

經(jīng)統(tǒng)計發(fā)現(xiàn)，在絕大多數(shù)非天空的局部區(qū)域里，某一些像素總會至少有一個顏色通道具有很低的值，也就是說該區(qū)域的光強度的最小值是一個很小的數(shù)。對于任意的輸入圖像J，其暗通道［9］可以用如下公式表達：

其中，Jc表示彩色圖像的每一個通道；Ω（χ）表示以像素χ為中心的一個窗口。暗通道的先驗理論指出：

由式（1）和式（2）可知，對于視頻圖像中的煙霧來說一般是對應(yīng)暗通道中的亮區(qū)域（黑煙除外），因此可以通過設(shè)定一個閾值T_darK，來得到煙在暗通道中的候選區(qū)域ROI_darK，再將其與用GMM得到的運動區(qū)域求交，并使用形態(tài)學(xué)濾波等方法進一步的去除一些噪聲，即可得到煙的候選區(qū)域ROI_smoKe。圖1為檢測和提取煙的候選區(qū)域，其中，圖1（a）是視頻中的一幀圖像，即當(dāng)前圖像；圖1（b）是使用GMM建模的背景圖像；圖1（c）是使用暗通道圖像并且根據(jù)閾值得到的暗通道二值化圖像；圖1（d）是使用GMM得到的前景圖像；圖1（e）是合并暗通道二值化圖像和GMM的前景圖像；圖1（f）是對合并圖像進行形態(tài)學(xué)處理后的結(jié)果。

圖1 煙霧候選區(qū)域的檢測與提取

3 煙霧成份的分離

對煙霧成份的分離［10］，就是把一副圖像看成是由背景圖像和煙成份線性混合構(gòu)成的。通過把一副圖像劃分為一些不重疊的圖像塊，并且用ft∈RN表示含有N個像素在時刻t的圖像塊。根據(jù)2個基礎(chǔ)的大氣散射模型（衰減和大氣光模型）［11］，如果煙存在，由于散射的原因，那么在光線到達相機之前，其會衰減來自背景的光反射。同時煙也會產(chǎn)生一定的大氣光，其看起來像是光源。因此可知是由散射模型和大氣光模型決定ft，那么ft可以公式表示為：

其中，nt∈RN表示模型的噪聲；bt∈RN表示無煙情況下的背景和st∈RN表示被無窮厚度的煙所散射的部分；αt∈［0，1］表示時刻t的混合權(quán)重，其依賴于煙的散射系數(shù)和沿著視覺線煙的厚度。在一個圖像塊中，通常假設(shè)煙的厚度是一個常量，因此在一個圖像塊中αt被看成是一個常量，但是在不同的圖像塊中，其對應(yīng)的值是不同的。為了保持簡潔性，在本文的其余部分將省去下標(biāo)t。

假設(shè)f是通過靜止相機得到的圖像，通過使用高斯背景建模來得到b近似，那么問題就轉(zhuǎn)換為在給定f和b的條件下，通過最小化噪聲項來估計出α和s，即對應(yīng)以下公式：

由于其有N+1個變量，但是僅僅有N個等式，因此式（4）具有無窮多個解。為了使得解具有唯一性，需要對s和b中的1個或者2個進行約束，考慮到由于不同的應(yīng)用程序其背景b變化是很大的，而煙通常是有相對一致的視覺特征，再加上通過觀察知道，純煙圖像塊通常是很平滑的，也就是說在一個純煙圖像塊中的像素與其領(lǐng)域像素具有相似的亮度和顏色，因此可以得到如下最優(yōu)化問題：

其中，si是s的第i個元素；Ωi是第i個像素的小鄰域和λ是一個權(quán)衡殘余誤差和平滑約束的權(quán)重參數(shù)。通過定義一個矩陣T∈｛-1，0，1｝M×N，可以重寫式（5）中的第2項，得到如下的公式：

其中，A=TTT，并且T的行數(shù)M是由鄰域Ω的大小決定的。用式（6）替換式（5）中的第2項可以得到：

對于式（7）的求解，可以通過固定α求s和固定s求α迭代求得。通過固定α求s，式（7）變成了s的二次函數(shù)，那么可以得到：

其中，I∈RN×N表示N×N單位矩陣。通過固定s求 α，可以得到：

迭代上面的式（8）～式（10），直到α和s收斂或者達到了指定的迭代次數(shù)。

4 亮通道加速煙霧成份的求解

通過實驗發(fā)現(xiàn)，如果用式（8）～式（10）進行直接迭代求解，其速度較慢，為了提高求解的速度，提出利用與暗通道對應(yīng)的亮通道來加速求解。亮通道的定義如下：

其中，符號的含義與式（1）類似。使用得到的亮通道圖像作為的初值，然后使用式（8）～式（10）的順序來迭代求解，可以顯著加速求解的過程。

5 實驗結(jié)果及分析

為對提出的方法進行驗證，本文分別使用人工合成的圖像和真實采集到的視頻進行測試。實驗環(huán)境在Inter?CoreTMi5-2320 CPU和Visual Studio 2010平臺實現(xiàn)。

5.1 人工合成的煙霧成份提取性能

為合成大小為16×16的真實煙霧的圖像塊，使用無煙背景和純煙圖像來進行混合，其對應(yīng)的圖像如圖2所示，然后將這兩幅圖像進行混合，其中所用的混合因子α的值為0.1～1.0，每隔0.1取一個α值得到的10副混合圖像的結(jié)果如圖3所示（從左到右，從上到下，α的值從0.1～1.0，間隔0.1）。測試結(jié)果對比如表1所示。

圖2 背景與純煙圖像

圖3 混合后的圖像

表1 測試結(jié)果對比

由表1可以看出，使用亮通道和隨機值對煙成份進行初始化來計算權(quán)重混合因子α的2種方法，總體上來說本文提出的方法得到準確度要稍微優(yōu)于隨機值的方法。而且從表中可以明顯的看到，本文的方法在計算權(quán)重混合因子的時候其對應(yīng)的迭代次數(shù)要明顯優(yōu)于隨機的方法，而且在實際混合權(quán)重越大的情況下，這種優(yōu)勢越明顯，其主要是因為本文使用亮通道。已知白煙一般對應(yīng)的圖像的比較亮的部分，所以在實際混合權(quán)重比較大的情況下，結(jié)合亮通道能夠很大提高煙成份分離的速度和減少迭代的次數(shù)。

5.2 真實視頻幀中煙霧的檢測

對真實視頻中的煙霧的檢測，首先使用GMM和SNP提取前景圖像，把得到的前景圖像與暗通道圖像進行合并，得到候選煙霧的區(qū)域，根據(jù)當(dāng)前圖像和背景圖像的對應(yīng)候選煙霧的區(qū)域來提取煙霧成份，為了加快速度，以亮通道的值作為煙成分的初始值。對得到的煙霧成份圖像提取LBP特征，并將得到的LBP特征作為SVM的輸入，用SVM進行分類，判斷當(dāng)前塊是否含有煙霧，具體的流程如圖4所示。

圖4 真實視頻中的煙霧檢測流程

使用圖4真實視頻中煙檢測的流程中的步驟對文獻［12］提供的公共視頻集進行了測試，由于引入亮通道，本文方法的檢測速度從文獻［10］方法的每秒1幀～2幀提高到每秒3幀～4幀，平均速度提高了2倍以上。而且由于引入了暗通道，使得在前期處理的時候能夠更好的排除誤檢測部分，而且如表2所示，相對于文獻［10］方法的結(jié)果，其對應(yīng)的準確率提高了和誤檢率下降了，準確率從97.7%提高到了99.1%，提高了1.4%，誤檢測率從2.1%降到了0.6%，降低了1.5%。雖然準確率和誤檢測率都有改善，但是由于暗通道會排除一些可能是煙的部分，因此其對應(yīng)的漏檢測率會有所增加，實驗結(jié)果是漏檢率從0.2%增加到了0.3%，增加了0.1%。這種漏檢率的增加可以通過多幀的連續(xù)判斷來進一步的減少，因此，本文的方法相對于文獻［10］方法具有明顯優(yōu)勢的。

表2 不同方法的檢測效果對比 %

圖5是部分公共數(shù)據(jù)庫視頻集［12］中的一些視頻圖像幀的檢測效果，其中，圖5（a）表示當(dāng)前圖像幀，圖5（b）表示用高斯混合模型GMM建模得到的背景圖像，圖5（c）表示使用本文提出的基于圖像分離和結(jié)合亮、暗通道的方法檢測出煙的區(qū)域。

圖5 部分真實視頻幀的檢測效果

6 結(jié)束語

本文對視頻圖像中的煙霧建立一個分離模型。該模型是根據(jù)2個基礎(chǔ)的大氣散射模型（衰減和大氣光模型），把一副圖像看成是由背景圖像和煙霧成份線性混合構(gòu)成的，通過對建立的模型進行求解可以得到圖像幀中煙霧成份。同時使用LBP特征、SVM分類器和累計確認等方法進一步判斷得到的區(qū)域是否為煙霧成份。在整個檢測的過程中，為提高速度和準確率，本文使用亮、暗通道的方法，雖然速度上有明顯的提升，但是還遠不能滿足視頻檢測中的實時性要求，因此，下一步的工作是將其移植到多核上，以進一步加速視頻圖像中的煙霧檢測和分離速度。

［1］ Toreyin B U，Dedeoglu Y.Wavelet Based Real-time Smoke Detection in Video［C］//Proceedings of EUSIPCO'05.Antalya，Turkey：［s.n.］，2007：309-310.

［2］ Yu Chunyu，F(xiàn)ang Jun，W ang Jinjun，et al.Video Fire Smoke Detection Using Motion and Color Features［J］. Fire Technology，2010，46（3）：651-663.

［3］ Calderara S，Piccinini P.Vision Based Smoke Detection System Using Image Energy and Color Information［J］. Machine Vision and Applications，2011，22（4）：705-719.

［4］ Lee C，Lin C.Smoke Detection Using Spatial and Temporal Analyses［J］.International Journal of Innovative Computing，Information and Control，2012，8（7）：4749-4770.

［5］ 袁非牛，張永明，劉士興.基于累積量和主運動方向的視頻煙霧檢測方法［J］.中國圖象圖形學(xué)報，2008，13（4）：808-813.

［6］ Tina H.Smoke Detection in Videos Using Nonredundant Local Binary Pattern Based Features［C］// Proceedings of IEEE International Workshop on Multimedia Signal Processing.Washington D.C.，USA：IEEE Press，2011：1-4.

［7］ Zivkovic Z.Improved Adaptive Gaussian Mixture Model for Background Subtraction［C］//Proceedings of the 17 th International Conference on Pattern Recognition. Cambridge，UK：［s.n.］，2004：28-41.

［8］ Prati A.Detecting M oving Shadow s：Algorithm s and Evaluation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.Washington D.C.，USA：IEEE Computer Society，2003，25（7）：918-923.

［9］ He Kaiming.Single Image Haze Removal Using Dark Channel Prior［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.， USA：IEEE Press，2009：1956-1963.

［10］ Tian Hongda，Li Wanqing，Wang Lei，et al.Smoke Detection in Video：An Image Separation Approach［J］.International Journal of Computer Vision，2014，106（2）：192-209.

［11］ Narasimhan SG，Nayar S K.Vision and the Atmosphere［J］.International Journal of Computer Vision，2010，48（3）：233-254.

［12］ Cetin A E.Visor and Computer Vision Based Fire Detection Software［EB/OL］.［2014-08-10］.http：// signal.ee.bilkent.edu.tr/VisiFire/Demo/Sam pleClips.

編輯 金胡考

Sm oke Detection M ethod in Video Based on Image SeParation

DONG Lanfang1，2，YU Jiakui1
（1.Department of Computer Science and Technology，University of Science and Technology of China，Hefei230027，China；2.State Key Laboratory of Fluid Power Transmission and Control，Zhejiang University，Hangzhou 310027，China）

For improving the accuracy of detecting smoke in video，this paper presents a method using image separation.Firstly，it uses Gaussian Mixture Model（GMM）and Statistical Non-parametric approach（SNP）to model background，eliminates shadow and extracts foreground image.Meanwhile，it combines dark channel image to get candidate smoke regions.Secondly，it extracts smoke component from candidate regions.Thirdly，it extracts Local Binary Pattern（LBP）feature.Finally，it uses Support Vector Machine（SVM）to classify and identify.To speed up the smoke component separation，this paper uses bright channel.Experimental results show that the proposed method can im prove the speed and accuracy of smoke detection.

Gaussian Mixture Model（GMM）；Statistical Non-parametric approach（SNP）；image separation；smoke detection；dark channel；bright channel

董蘭芳，余家奎.基于圖像分離的視頻煙霧檢測方法［J］.計算機工程，2015，41（9）：251-254，260.

英文引用格式：Dong Lanfang，Yu Jiakui.Smoke Detection Method in Video Based on Image Separation［J］.Computer Engineering，2015，41（9）：251-254，260.

1000-3428（2015）09-0251-04

A

TP18

10.3969/j.issn.1000-3428.2015.09.046

浙江大學(xué)流體動力與機電系統(tǒng)國家重點實驗室開放基金資助項目（GZKF-201318）。

董蘭芳（1970-），女，副教授，主研方向：科學(xué)計算可視化，計算機動畫，視頻圖像智能分析；余家奎，碩士研究生。

2014-09-22

2014-10-20 E-m ail：lw jaiyjk@126.com