一種基于碼本背景建模和多特征融合的火災(zāi)煙霧檢測(cè)算法*

趙 亮 駱炎民 黃德天 歐陽(yáng)怡 徐志通

?

一種基于碼本背景建模和多特征融合的火災(zāi)煙霧檢測(cè)算法*

趙 亮1駱炎民1黃德天2歐陽(yáng)怡1徐志通1

1.華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 2.華僑大學(xué)工學(xué)院

該文提出一種基于碼本模型和多特征融合的火災(zāi)煙霧檢測(cè)算法。主要步驟是：首先，利用碼本模型提取出視頻中運(yùn)動(dòng)的前景像素；然后，結(jié)合暗通道先驗(yàn)知識(shí)對(duì)前景像素進(jìn)行過(guò)濾，消除部分干擾像素；最后，統(tǒng)計(jì)疑似煙霧區(qū)域的顏色直方圖、紋理直方圖和邊緣方向直方圖特征，利用多特征融合的方式加以分類(lèi)識(shí)別。多個(gè)視頻場(chǎng)景測(cè)試結(jié)果表明，該算法具有良好的煙霧檢測(cè)能力和抗干擾能力，可以基本滿(mǎn)足實(shí)時(shí)性的要求，具有一定的實(shí)際推廣價(jià)值。

碼本模型 暗通道先驗(yàn) 直方圖 多特征融合 煙霧檢測(cè)

1 概述

傳統(tǒng)的火災(zāi)探測(cè)器大多是通過(guò)檢測(cè)燃燒物產(chǎn)生的顆粒、火焰周?chē)鷾囟鹊纳呋蛘咧車(chē)h(huán)境濕度變化等原理進(jìn)行工作的，這類(lèi)探測(cè)器因價(jià)格便宜而被廣泛采用。由于這類(lèi)探測(cè)器必須靠近火源才能正常工作，在很大程度上限制了其應(yīng)用范圍?；谝曨l的火災(zāi)檢測(cè)可以很好地解決類(lèi)似缺陷，相比于傳統(tǒng)的火災(zāi)探測(cè)器，基于視頻的檢測(cè)設(shè)備不受空間范圍的影響并且可以迅速響應(yīng)。此外，還可以為安全人員提供火災(zāi)現(xiàn)場(chǎng)的實(shí)時(shí)信息[1]。近年來(lái)，隨著模式識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)域的發(fā)展，基于視頻的火災(zāi)檢測(cè)得到快速發(fā)展，可以分為基于火焰檢測(cè)和煙霧檢測(cè)兩類(lèi)，本文主要針對(duì)后一類(lèi)進(jìn)行論述。

火災(zāi)發(fā)生早期一般火焰較小，但這時(shí)候煙霧卻很明顯，所以基于視頻的煙霧檢測(cè)方法被廣泛提出。Toreyin等[2]提出了一種基于小波變換的視頻煙霧檢測(cè)算法，通過(guò)融合煙霧的運(yùn)動(dòng)、閃爍和邊緣模糊等特征實(shí)現(xiàn)判別，但是該方法在復(fù)雜場(chǎng)景下容易丟失邊緣信息，誤檢率會(huì)明顯上升。Gubbi等[3]提出了一種基于小波和支持向量機(jī)的視頻煙霧檢測(cè)算法，通過(guò)提取三層小波變換圖像的統(tǒng)計(jì)信息加以分類(lèi)識(shí)別，統(tǒng)計(jì)信息包含算術(shù)平均值、幾何平均值、標(biāo)準(zhǔn)差、偏度、峰值和熵，但是小波變換非常耗時(shí)。Fujiwara等[4]根據(jù)自相似分形理論，從圖像中直接提取煙霧區(qū)域。這一方法的缺點(diǎn)是，對(duì)于對(duì)比度較低和分辨率較低的煙霧圖像，提取的分形特征不夠穩(wěn)定，效果有限。Yuan[5]提出一種利用累積量估算主運(yùn)動(dòng)方向的方法檢測(cè)視頻煙霧，同時(shí)采用分塊的算法。該算法根據(jù)煙霧的運(yùn)動(dòng)特征，分析煙霧主運(yùn)動(dòng)方向向上運(yùn)動(dòng)特性，提高了檢測(cè)效率；在大風(fēng)等惡劣天氣條件下，該算法不能保證檢測(cè)的準(zhǔn)確率。Ko等人[6]提出了一種基于時(shí)空特征的BoF模型提取直方圖特征，該方法實(shí)現(xiàn)了靜態(tài)與動(dòng)態(tài)特征的結(jié)合，然后通過(guò)隨機(jī)森林分類(lèi)器做判別，檢測(cè)效果較好，具有一定的參考價(jià)值。Luo等[7]提出了一種較新穎的煙霧檢測(cè)方法，該方法通過(guò)時(shí)間壓縮圖像將煙霧視頻沿時(shí)間分別向x方向和y方向投影、累加，得到x-t和y-t圖像，然后根據(jù)時(shí)間壓縮軌跡，利用色彩、半透明、紋理和形狀等特性做綜合判斷。該算法環(huán)境適應(yīng)能力好，但對(duì)于較遠(yuǎn)或者擴(kuò)散緩慢的煙霧將無(wú)法檢測(cè)。

由于各種煙霧的差異比較大，現(xiàn)有基于視頻的檢測(cè)方法依然存在誤檢率較高或者檢測(cè)率較低的問(wèn)題，對(duì)煙霧準(zhǔn)確檢測(cè)依然面臨著很大的挑戰(zhàn)。其主要原因是[8]：（1）很多非煙霧物體具有和煙霧一樣的顏色特征；（2）煙霧的紋理和形狀總在不規(guī)則地改變；（3）由于分辨率問(wèn)題，在某些場(chǎng)景下很難提取出可靠的特征；（4）前景物體的遮擋。為此，本文提出了一種基于碼本模型和多特征融合的火災(zāi)煙霧檢測(cè)算法，該算法利用碼本模型提取出前景像素，然后根據(jù)煙霧的暗通道像素值偏高的特點(diǎn)，從前景像素中篩選出疑似煙霧區(qū)域。綜合煙霧的顏色直方圖、紋理直方圖和邊緣方向直方圖特征進(jìn)行分類(lèi)識(shí)別，實(shí)現(xiàn)煙霧的檢測(cè)。結(jié)果表明，算法在室外光照強(qiáng)度大、存在多種干擾的復(fù)雜環(huán)境下，該方法對(duì)較典型的煙霧檢測(cè)算法有較高的識(shí)別率。

2 運(yùn)動(dòng)前景檢測(cè)

火災(zāi)煙霧檢測(cè)的監(jiān)控設(shè)備，多數(shù)情況是靜止的，本文提出的算法也是只針對(duì)靜止條件。在監(jiān)控設(shè)備靜止的情形下，運(yùn)動(dòng)前景的檢測(cè)方法目前很多，主要有背景減除法、幀差法和光流法以及相應(yīng)的改進(jìn)算法等。這些算法大多對(duì)于剛性物體都有一定的檢測(cè)能力，但是對(duì)于無(wú)外力作用緩慢擴(kuò)散的煙霧檢測(cè)效果明顯下降，容易出現(xiàn)空洞的現(xiàn)象，不能提取出比較完整的煙霧區(qū)域，對(duì)疑似煙霧區(qū)域的特征提取和識(shí)別產(chǎn)生嚴(yán)重影響。

本文采用碼本模型對(duì)煙霧區(qū)域進(jìn)行提取，碼本模型是Kim[9]提出來(lái)的，模型針對(duì)每一個(gè)像素點(diǎn)連續(xù)采樣值的顏色距離和亮度范圍為每個(gè)像素點(diǎn)生成一個(gè)碼本，然后對(duì)視頻圖像序列中每一個(gè)像素點(diǎn)進(jìn)行學(xué)習(xí)，根據(jù)前景點(diǎn)和背景點(diǎn)在碼本序列中的變化特性分離出背景碼字，構(gòu)建出碼本背景模型，再利用常見(jiàn)的背景減除法提取出運(yùn)動(dòng)的前景像素。該算法抗干擾能力強(qiáng)，不僅對(duì)快速擴(kuò)散和緩慢擴(kuò)散的煙霧有一定的檢測(cè)效果，實(shí)時(shí)性也較好。

2.1 碼本背景模型

顏色失真度定義為：

亮度函數(shù)定義為

碼本的訓(xùn)練過(guò)程也是每個(gè)像素點(diǎn)的采樣過(guò)程，具體的步驟可以描述為：

(4)

(6)

那么該碼字更新為：

4）訓(xùn)練結(jié)束后，計(jì)算每個(gè)像素點(diǎn)的碼字的最大時(shí)間間隔，對(duì)于每個(gè)碼字，

(8)

2.2 基于碼本模型的前景檢測(cè)

(10)

從碼本M中找出與當(dāng)前像素x相匹配的碼字c，如果匹配，則設(shè)置相應(yīng)的，否則置為0，對(duì)應(yīng)的前景像素可以表示為：

圖1(b)為通過(guò)碼本模型檢測(cè)出的前景像素，可以看出，碼本模型可以很好地檢測(cè)出運(yùn)動(dòng)前景像素，其中包括運(yùn)動(dòng)的行人，可以根據(jù)煙霧的暗通道像素值偏高特性做進(jìn)一步的篩選以確定疑似煙霧區(qū)域。

（a）原始圖像?????（b）前景像素

圖1 碼本模型前景檢測(cè)結(jié)果

3 疑似煙霧區(qū)域確定

3.1 暗通道先驗(yàn)

暗通道的概念由He[10]提出，大量實(shí)驗(yàn)結(jié)果表明，在絕大數(shù)非天空的局部區(qū)域中，圖像在RGB顏色空間中總有一個(gè)顏色通道的灰度值很低，接近于0。換言之，該區(qū)域光強(qiáng)度的最小值很小。上述先驗(yàn)知識(shí)在自然場(chǎng)景中表現(xiàn)為：顏色鮮艷的物體，比如樹(shù)葉、行人、汽車(chē)等的暗通道像素值很低；而類(lèi)似煙霧、天空或者白色物體的暗通道像素值偏高。根據(jù)這個(gè)先驗(yàn)知識(shí)，在很大程度上可以在前景像素中過(guò)濾掉多數(shù)干擾像素。首先給出暗通道的公式定義：

（a）暗通道圖像?????（b）疑似區(qū)域

圖2 疑似煙霧區(qū)域

3.2 疑似煙霧區(qū)域

從暗通道圖像可以看出，穿藍(lán)色上衣和黑色褲子的行人在圖像中灰度值變成0，而煙霧區(qū)域保持為255，對(duì)比碼本模型提取的前景像素，可以達(dá)到過(guò)濾效果，得到圖2（b）所示的結(jié)果。當(dāng)然圖1（a）是一個(gè)特例，過(guò)濾后只剩下煙霧區(qū)域，在某些特殊場(chǎng)景下會(huì)出現(xiàn)類(lèi)似煙霧顏色的白色運(yùn)動(dòng)物體，上述提到的過(guò)濾方法會(huì)失效，因此需要進(jìn)一步的特征提取和判斷。

4 煙霧特征分析

4.1 顏色直方圖

煙霧的顏色特征是區(qū)別于其它物體的重要特性，Chen[11]通過(guò)大量實(shí)驗(yàn)統(tǒng)計(jì)分析煙霧像素點(diǎn)的顏色特征建立了煙霧的色彩模型，結(jié)果發(fā)現(xiàn)煙霧圖像在RGB顏色空間中三個(gè)通道的灰度值較平均，大致分布在80～220之間，而其它物體的顏色灰度值則沒(méi)有規(guī)律，分布比較隨機(jī)。因此，本文通過(guò)分別統(tǒng)計(jì)三個(gè)顏色通道的灰度直方圖來(lái)描述煙霧的顏色特征，具體描述為，，。

4.2 紋理分析

紋理分析在煙霧檢測(cè)中是一種有效的方法，但是大多數(shù)方法對(duì)于旋轉(zhuǎn)和光照較敏感。灰度共生矩陣是一種對(duì)旋轉(zhuǎn)不敏感的紋理分析方法，但容易受到光照的影響。通過(guò)直方圖均衡化在一定程度上可以消除部分影響，可同時(shí)會(huì)減少圖像本身的信息。

Ojala等人[12]提出了局部二值模式（LBP），LBP是一種灰度紋理算子，對(duì)旋轉(zhuǎn)和光照不敏感，它是通過(guò)比較一個(gè)像素與其領(lǐng)域像素的灰度值計(jì)算該像素的模式值，然后統(tǒng)計(jì)每個(gè)像素模式值的直方圖，達(dá)到對(duì)紋理特征的描述。計(jì)算方法為：

(14)

其中，g為區(qū)域灰度圖的中心像素，g代表鄰域像素灰度值，表示鄰域像素點(diǎn)個(gè)數(shù)，表示鄰域半徑，即中心像素到鄰域點(diǎn)的歐氏距離。圖3所示為兩種LBP算子。

?????

Ojala等提出了3種不同模式，分別為等價(jià)模式、旋轉(zhuǎn)不變模式和等價(jià)旋轉(zhuǎn)不變模式，本文選擇等價(jià)模式（ULBP）。Ojala等認(rèn)為，在實(shí)際圖像中，絕大多數(shù)LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，Ojala將ULBP定義為：當(dāng)某個(gè)LBP所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0到1或從1到0最多有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱(chēng)為一個(gè)等價(jià)模式類(lèi)。如00000000和11111111有0次跳變，而00000111、10001111和10010111分別有1、2和4次跳變，U分別為1、2和4。U可定義為：

當(dāng)滿(mǎn)足U≤2的模式稱(chēng)為等價(jià)模式，這樣模式值個(gè)數(shù)會(huì)被壓縮到59，即紋理直方圖可以表示為。

4.3 邊緣方向直方圖

梯度特征是用來(lái)檢測(cè)圖像邊緣的，一般出現(xiàn)在物體的邊緣，或者灰度值跳變較大的分界處，從表面觀察，煙霧具有明顯的邊緣輪廓。HOG是用于梯度特征提取的常見(jiàn)方法。HOG特征提取較復(fù)雜且特征向量多長(zhǎng)，本文采用邊緣方向直方圖（EOH）特征進(jìn)行邊緣特征提取[13]。對(duì)圖像提取EOH特征，首先利用Sobel算子對(duì)圖像進(jìn)行濾波操作，得到梯度圖像，其中是水平分量，是垂直分量；然后將梯度圖像轉(zhuǎn)換為極坐標(biāo)形式，分別得到梯度大小和方向：

(17)

4.4 特征直方圖

將上述提取的煙霧顏色直方圖、紋理直方圖和邊緣方向直方圖串聯(lián)（首尾連接）起來(lái)，得到特征直方圖序列，特征直方圖長(zhǎng)度為，然后通過(guò)計(jì)算機(jī)視覺(jué)庫(kù)提供的最近鄰分類(lèi)器進(jìn)行分類(lèi)識(shí)別。

5 實(shí)驗(yàn)結(jié)果

（a）視頻1?????（b）視頻2

（c）視頻3?????（d）視頻4

（e）視頻5?????（f）視頻6

為了比較同類(lèi)算法之間的性能，將Yuan[14]提供的算法記為算法1，本文算法記為算法2；為了更好地比較算法本身的性能，不考慮算法1中的動(dòng)態(tài)分析，實(shí)驗(yàn)詳細(xì)結(jié)果如表1、表2所示。從中可見(jiàn)，算法2對(duì)于稀薄煙霧檢測(cè)效果較好，在煙霧較濃時(shí)，兩個(gè)算法的性能相當(dāng)，總體而言算法2適用范圍更廣。綜合表2可以看出，算法1和算法2對(duì)樹(shù)枝搖擺所產(chǎn)生的干擾有良好的抗干擾能力；對(duì)于夜晚燈光的影響，算法2表現(xiàn)更好；在視頻5中由于霧氣的影響，算法1會(huì)一直報(bào)警，而算法2則不會(huì)出現(xiàn)。由此可見(jiàn)，算法2的綜合性能更優(yōu)。

表1 有煙霧視頻的檢測(cè)結(jié)果

表2 無(wú)煙霧視頻的誤檢結(jié)果

6 結(jié)束語(yǔ)

為了提高煙霧檢測(cè)的準(zhǔn)確率，本研究首先利用碼本模型提取前景像素，然后依據(jù)暗通道先驗(yàn)知識(shí)對(duì)前景像素進(jìn)行篩選，以確定疑似煙霧區(qū)域，最后得到煙霧的多特征直方圖，采用最近鄰分類(lèi)器進(jìn)行分類(lèi)識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法可以在多種場(chǎng)景下準(zhǔn)確檢測(cè)出煙霧區(qū)域，而且對(duì)于各種干擾具有較低的誤檢率，由于碼本模型運(yùn)行速度較快，一定程度上提高了算法的處理速度。但本文提出的算法對(duì)于黑色煙霧的處理效果較差，今后的工作重點(diǎn)需要放在建立更加本質(zhì)的煙霧特征模型上。

參考文獻(xiàn)：

[1] 羅勝, Yuzheng J. 視頻檢測(cè)煙霧的研究現(xiàn)狀[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(10): 1225-1236.

[2] Toreyin B U, Dedeoglu Y, Cetin A E. Wavelet based real-time smoke detection in video[C]//European Signal Processing Conference, 2005: 759-763.

[3] Gubbi J, Marusic S, Palaniswami M. Smoke detection in video using wavelets and support vector machines[J]. Fire Safety Journal, 2009, 44(8): 1110-1115.

[4] Fujiwara N, Terada K. Extraction of a smoke region using fractal coding[C] //IEEE International Symposium on Communications and Information Technology, 2004: 808-814.

[5] 袁非牛, 張永明, 劉士興. 基于累積量和主運(yùn)動(dòng)方向的視頻煙霧檢測(cè)方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2008, 13(4): 808-813.

[6] Ko B, Park J, Nam J-Y. Spatiotemporal bag-of-features for early wildfire smoke detection[J]. Image and Vision Computing, 2013, 31(10): 786-795.

[7] Luo S, Yan C, Wu K, et al. Smoke detection based on condensed image[J]. Fire Safety Journal, 2015, 75: 23-35.

[8] Yuan F, Fang Z, Wu S, et al. Real-time image smoke detection using staircase searching-based dual threshold AdaBoost and dynamic analysis[J]. Iet Image Processing, 2015, 9(10): 849-856.

[9] Kim K, Chalidabhongse T H, Harwood D, et al. Background modeling and subtraction by codebook construction[C]//International Conference on Image Processing, 2004: 3061-3064.

[10] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353.

[11] Chen T-H, Wu P-H, Chiou Y-C. An early fire-detection method based on image processing[C]//International Conference on Image Processing, 2004: 1707-1710.

[12] Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971-987.

[13] 李紅娣, 袁非牛. 采用金字塔紋理和邊緣特征的圖像煙霧檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(6): 772-780.

[14] Yuan F. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition, 2012, 45(12): 4326-4336.

* 華僑大學(xué)研究生科研創(chuàng)新能力培育計(jì)劃資助項(xiàng)目階段性成果之一。