基于Harris特征點檢測與跟蹤的火災(zāi)煙霧識別

胡燕，王慧琴，姚太偉，賈陽

1.西安建筑科技大學(xué)管理學(xué)院，西安 710055

2.西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055

基于Harris特征點檢測與跟蹤的火災(zāi)煙霧識別

胡燕1，2，王慧琴1，2，姚太偉2，賈陽2

1.西安建筑科技大學(xué)管理學(xué)院，西安 710055

2.西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055

針對現(xiàn)有的視頻火災(zāi)煙霧探測方法實時性差，誤報率和漏報率都比較高的問題，在深入分析煙霧圖像特征的基礎(chǔ)上，發(fā)現(xiàn)早期煙霧運(yùn)動緩慢且主要運(yùn)動方向呈向上趨勢，在連續(xù)幀中像素的強(qiáng)度變化具有一致性的特點，通過Harris檢測算法找到強(qiáng)度變化劇烈和圖像邊緣的特征點，根據(jù)光流場與運(yùn)動場的對應(yīng)關(guān)系由成像平面中光流的變化估計煙霧的相對運(yùn)動，計算運(yùn)動矢量信息，實現(xiàn)多特征煙霧檢測。該算法是基于煙霧灰度變化的特征點作為檢測對象，大大減少了待處理的數(shù)據(jù)量，縮短了算法處理時間，綜合了煙霧的局部特性和全局特性，具有較強(qiáng)的魯棒性和較高的檢測準(zhǔn)確率。

Harris；特征點；Lucas-Kanade目標(biāo)跟蹤；煙霧特征；煙霧識別

1 引言

近年來，隨著經(jīng)濟(jì)的發(fā)展和城市化進(jìn)程加快，大空間等高層建筑不斷出現(xiàn)，帶來了實用美觀、通透性和采光性好的同時，也帶來了新的消防隱患?？焖贉?zhǔn)確地實現(xiàn)大空間火災(zāi)探測成為研究的熱點問題?；谝曨l的火災(zāi)探測技術(shù)是通過現(xiàn)有監(jiān)控系統(tǒng)采集圖像，分析火焰和煙霧圖像變化特征探測火災(zāi)是否發(fā)生，是火災(zāi)探測領(lǐng)域新的研究方向，克服了傳統(tǒng)火災(zāi)探測技術(shù)在大空間應(yīng)用的局限。

火災(zāi)形成初期，大多數(shù)情況下并沒有明顯的火焰信號，只存在陰燃，并伴隨大量煙霧產(chǎn)生，因此通過煙霧檢測能更早地實現(xiàn)火災(zāi)的早期預(yù)警。目前，國內(nèi)外對視頻煙霧檢測技術(shù)的研究尚處于初級階段。大部分檢測方法使用了煙霧的可視化特征，如顏色特征、紋理特征、邊緣不規(guī)則特征、半透明性特征、面積增長特征等，并結(jié)合信息融合技術(shù)，如SVM、模糊推理、BP神經(jīng)網(wǎng)絡(luò)等，實現(xiàn)火災(zāi)煙霧識別。文獻(xiàn)[1-5]提出了采用固定閾值的背景差分法提取前景目標(biāo)。事實上，煙霧往往需要經(jīng)過一定的時間才能使前景和背景之間累計足夠的差異形成潛在目標(biāo)，差分閾值選取過大或過小均會造成過分割或漏分割。文獻(xiàn)[6-8]通過對煙霧像素建立一套色彩模型提取疑似區(qū)域，對疑似區(qū)域進(jìn)行靜態(tài)和動態(tài)特性分析實現(xiàn)煙霧檢測。當(dāng)煙霧顏色與背景對比度較低，易出現(xiàn)火災(zāi)誤判，且難以區(qū)分顏色相近的目標(biāo)。文獻(xiàn)[2]提取煙霧邊緣不規(guī)則性、面積增長特性和濃度變化特性，用訓(xùn)練樣本構(gòu)造煙霧識別SVM分類器。文獻(xiàn)[9]設(shè)計了用小波變換提取煙霧紋理特征作為神經(jīng)網(wǎng)絡(luò)輸入量實現(xiàn)煙霧分類識別的方法。因煙霧目標(biāo)具有離散性和時變性，很難選擇合理的訓(xùn)練樣本，算法的準(zhǔn)確性難以保證。文獻(xiàn)[10]提出的基于混合高斯模型定位目標(biāo)圖像再用灰度共現(xiàn)矩陣法提取煙霧紋理特征的算法只能對靜止背景中的目標(biāo)圖像進(jìn)行分割，要區(qū)分其他運(yùn)動物體，需結(jié)合諸如顏色、輪廓等特征，并且該方法不滿足視頻火災(zāi)探測對實時性的要求。

為了提高煙霧識別精度和抗干擾性，本文提出了基于Harris特征點檢測與跟蹤的火災(zāi)煙霧識別方法。首先用Harris[11]算法搜索只保存圖像部分?jǐn)?shù)據(jù)，卻攜帶了圖像大部分信息的特征點[12]，然后用Lucas-Kanade[13]光流算法跟蹤這些特征點，獲取其運(yùn)動平均偏移量，相位角分布比例和質(zhì)心相對運(yùn)動作為煙霧識別依據(jù)，判斷監(jiān)控區(qū)域是否有火災(zāi)發(fā)生。該算法不需要圖像的先驗知識，能消除光照、噪聲以及背景紋理的影響，對強(qiáng)度變化劇烈和圖像邊緣的特征點進(jìn)行跟蹤研究，極大提高了檢測算法的魯棒性和實時性。

2 基于Harris特征點檢測與跟蹤的火災(zāi)煙霧識別

煙霧是一種非剛性物體，由懸浮在空中的微小顆粒構(gòu)成，在熱氣流的作用下運(yùn)動相對緩慢和穩(wěn)定，整體呈現(xiàn)向上升騰狀態(tài)。通過深入分析煙霧與干擾在圖像上表現(xiàn)的特征差異，采用特征點檢測與Lucas-Kanade光流跟蹤技術(shù)在限定區(qū)域連續(xù)跟蹤目標(biāo)，得到相鄰幀特征點的運(yùn)動矢量作為煙霧和干擾的分類依據(jù)。

2.1 Harris特征點檢測

特征點是圖像的一種重要局部特征，是二維圖像強(qiáng)度變化劇烈或圖像邊緣曲線上曲率極大值的點[14]。Harris特征點檢測通過計算灰度自相關(guān)函數(shù)曲率確定角點位置，即在鄰域Ω內(nèi)使得式（3）取得最小值的點為跟蹤目標(biāo)。此方法利用圖像像素點本身的特性直接提取特征點，不依賴于圖像的其他局部特征，速度快、實時性強(qiáng)。閾值T的選擇是Harris檢測法得到較理想特征點的前提，取值過大或過小均會嚴(yán)重影響下一步特征點匹配[15]。本文設(shè)定搜索窗口為5，T分別取800，200，100，處理結(jié)果如圖1所示。

圖1 T=800，200，100時特征點檢測結(jié)果

當(dāng)T=800時，特征點分布密集，產(chǎn)生聚簇現(xiàn)象，數(shù)據(jù)冗余度增加。T=100時，特征點分布分散，數(shù)量太少，不能表征整個圖像特征。T=200時，特征點分布集中，數(shù)量適中，能夠完整表征整個圖像特征，容易在下一幀圖像中找到，便于目標(biāo)跟蹤。

2.2 Lucas-Kanade目標(biāo)跟蹤

Lucas-Kanade稀疏光流法是建立在灰度保持恒定、運(yùn)動保持連續(xù)和空間保持一致的三個假設(shè)的基礎(chǔ)上。假設(shè)在t時刻圖像中點(x，y)的灰度為I(x，y，t)，在t+Δt時刻移動的位移為(Δx，Δy)，對應(yīng)灰度為I(x+Δx，y+Δy，t+Δt)。當(dāng)Δt很小時，根據(jù)灰度恒定假設(shè)條件，得到光流基本約束方程：

約束方程假設(shè)在圖像幀中點(x，y)處的光流為(u，v)，并假設(shè)在該點的一個小鄰域Ω內(nèi)各點的光流基本相同。即鄰域內(nèi)每一點的光流都可以用(u，v)近似，可通過Ω領(lǐng)域內(nèi)不同點的權(quán)重計算該點的光流。

求解點(x，y)處Lucas-Kanade光流的過程就是使式（3）在(x，y)鄰域Ω內(nèi)取得最小值(u，v)的過程。設(shè)鄰域Ω內(nèi)共有n個像素點，使用加權(quán)最小二乘法得到點(x，y)處Lucas-Kanade光流方程組為：

其中Ixi、Iyi、Iti分別為鄰域Ω內(nèi)第i個像素在x、y、t方向上的梯度值；wi為鄰域Ω內(nèi)第i個像素權(quán)重。

當(dāng)(ATA)滿秩時，(ATA)可逆，反映在圖像上是邊緣的角點。當(dāng)跟蹤窗口的中心在圖像的角點區(qū)域時，(ATA)特性最好。正因為(ATA)在角點處有兩個大的特征向量，所以這些角點是可用于跟蹤的良好特征點。Lucas-Kanade目標(biāo)跟蹤算法流程圖如圖2所示。

圖2 基于Lucas-Kanade的特征點跟蹤算法流程圖

2.3 運(yùn)動目標(biāo)參數(shù)提取

相鄰幀的煙霧圖像滿足Lucas-Kanade光流算法的三個假設(shè)，而且煙霧邊緣很不規(guī)則，有很多適合跟蹤的特征點。通過對這些跟蹤特征點運(yùn)動參數(shù)的計算判斷是否有火災(zāi)產(chǎn)生。

（1）平均偏移量：利用運(yùn)動分割算法獲取可疑煙霧目標(biāo)，并對前后兩幀運(yùn)動目標(biāo)的特征點進(jìn)行跟蹤，得其運(yùn)動偏移量。假定某一區(qū)域內(nèi)有n個特征點，第i個特征點前后兩幀的坐標(biāo)分別為(xi，yi)，(x′i，y′i)。偏移量記為Li，則則這一目標(biāo)區(qū)域的平均偏移量Lˉ為：

（2）相位角分布比例：目標(biāo)區(qū)域的運(yùn)動趨勢可以通過統(tǒng)計這一區(qū)域目標(biāo)特征點的速度矢量在[0，2π)相位區(qū)間分布情況來確定，以π/4為間隔，逆時針方向依次將[0，2π)分為8個區(qū)間。假定某一特征點i的運(yùn)動矢量被分解成水平速度u和垂直速度v，其反正切值θi= arctan表示該特征點的相位角。再統(tǒng)計所有特征點的分布情況，由于煙霧運(yùn)動基本上呈現(xiàn)向上運(yùn)動的趨勢，反應(yīng)在相位空間中是運(yùn)動矢量主要集中在，即劃分的2，3區(qū)間。通過統(tǒng)計占這兩個區(qū)間的特征點的比例確定該目標(biāo)的主運(yùn)動趨勢：

其中λi為分布在第i(i=2，3)個區(qū)間特征點的個數(shù)，S為可疑目標(biāo)相位角分布比例。

（3）質(zhì)心相對運(yùn)動：隨著舊燃燒物燃盡和新的燃燒物被點燃，煙霧區(qū)域不斷擴(kuò)散并移動著位置，但是這種移動是非跳躍的，而是連續(xù)的、平滑的，相對穩(wěn)定的，用此特征可以排除運(yùn)動較快的干擾以及微風(fēng)帶來的影響。該區(qū)域在前后幀質(zhì)心相對運(yùn)動坐標(biāo)(ΔX，ΔY)為：

2.4 煙霧檢測準(zhǔn)則

為了保證算法的抗干擾性和穩(wěn)定性，統(tǒng)計連續(xù)10幀圖像的運(yùn)動目標(biāo)參數(shù)均值，煙霧識別規(guī)則為：

3 仿真實驗及數(shù)據(jù)分析

為了驗證算法的性能，分別在有煙和行人干擾的情況下進(jìn)行了仿真實驗，視頻格式為AVI，采樣率為25 frame/s，分辨率大小為320×240，如圖3所示，運(yùn)動目標(biāo)參數(shù)統(tǒng)計如表1所示。

從表1分析可知，在一段時間內(nèi)，圖3（a）運(yùn)動目標(biāo)參數(shù)分別為：60%滿足煙霧檢測規(guī)則；而圖3（b）運(yùn)動參數(shù)分別為：不滿足式（7）。雖然行人所穿的衣服與煙霧的顏色相近，在分割時都會當(dāng)做可疑運(yùn)動目標(biāo)被提取出來，但是行人運(yùn)動的速度相對煙霧運(yùn)動速度較快，在計算特征點的平均偏移量和質(zhì)心相對運(yùn)動坐標(biāo)的橫、縱坐標(biāo)值大于閾值，同時，行人在鏡頭前是由近到遠(yuǎn)運(yùn)動，表現(xiàn)在圖像上其的主要運(yùn)動方向朝下，與煙霧在熱量的驅(qū)使下主運(yùn)動方向朝上相違背，即＜80%。

圖3 火災(zāi)煙霧與行人運(yùn)動矢量圖

表1 火災(zāi)煙霧和行人圖像運(yùn)動矢量參數(shù)對比表

為了測試算法的性能，進(jìn)行了模擬火災(zāi)場景的現(xiàn)場實驗。實驗條件如下：（1）室外白天，強(qiáng)光直射；（2）終端處理系統(tǒng)鏡頭的垂直高度為9 m；（3）探測器與火源的水平距離為25 m；（4）攝像機(jī)鏡頭為4 mm；（5）燃燒盤規(guī)格為30 cm×30 cm；（6）燃燒材料：棉絮、塑料泡沫、紙質(zhì)物品和樹葉；（7）干擾源：穿著與煙霧顏色相近的行人、水蒸氣。測試結(jié)果如表2所示。

表2 煙霧探測算法測試結(jié)果

實驗結(jié)果表明，該煙霧探測算法能較準(zhǔn)確地檢測到四種點火材料產(chǎn)生的煙霧，響應(yīng)時間均小于20 s，其中棉絮產(chǎn)生的煙霧出現(xiàn)了2次漏報，這主要是因為棉絮產(chǎn)生的煙霧偏白，在白天強(qiáng)光下易與背景融為一體，較難被檢測到。穿著與煙霧顏色相近的行人因其運(yùn)動速度比煙霧的運(yùn)動速度快，用式（7）易于排除；水蒸氣無論在形態(tài)還是顏色方面都與煙霧非常相似，在實際的檢測中易出現(xiàn)誤報。因此在以后的研究中可以考慮提高水蒸氣的檢測率。

4 結(jié)束語

傳統(tǒng)的火災(zāi)煙霧探測是對分割后的可疑目標(biāo)區(qū)域所有像素進(jìn)行分析研究，往往比較耗時。本文通過對能夠表征圖像強(qiáng)度變化劇烈和邊緣的特征點進(jìn)行跟蹤，減少了待處理的數(shù)據(jù)，提高了算法的實時性。同時對連續(xù)10幀圖像疑似目標(biāo)特征點計算運(yùn)動參數(shù)，可有效排除諸如光線、陰影等干擾帶來的突發(fā)影響，確保了火災(zāi)煙霧識別精度。

[1]Xu Zhengguang，Xu Jialin.Automatic fire smoke detection based on image visual features[C]//International Conference on Computational Intelligence and Security Workshops，2007：316-319.

[2]Yang Jing，Chen Feng，Zhang Weidong.Visual-based smoke detecion using support vector machine[C]//Fourth International Conference on Natural Computation，2008：301-305.

[3]Toreyin B U，Dedeoglu Y，Cetin A E.Wavelet based realtime smoke detection in video[C]//13th European Signal Process Conference，2005.

[4]吳愛國，杜春燕，李明.基于混合高斯模型與小波變換的火災(zāi)煙霧探測[J].儀器儀表學(xué)報，2008（8）：1622-1626.

[5]Han Dongil，Lee B.Flame and smoke detection method for early real-time detection of a tunnel fire[J].Fire Safety Journal，2009，44：951-961.

[6]Thou Ho-chen，Yen Hui-yin，Shi Feng-huang，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427-430.

[7]Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters，2008，29（7）.

[8]Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc of Intelligent Information Hiding and Multimedia Signal，2006.

[9]Cui Yu，Dong Hua，Zhou Enze.An early fire detection method based on smoke texture analysis and discrimination[C]//Congress on Image and Signal Processing，2008：95-99.

[10]任厚平，張永明，張維農(nóng)，等.基于混合高斯模型定位的火災(zāi)煙霧紋理特征提取[J].微計算機(jī)信息，2005，21（11）：83-85.

[11]王葳，唐一平，任娟莉，等.一種改進(jìn)的Harris角點提取算法[J].光學(xué)精密工程，2008，16（10）：1995-2001.

[12]李文，郭立，袁紅星，等.多視環(huán)境下特征點提取的并行實現(xiàn)[J].計算機(jī)工程，2012，38（1）：182-184.

[13]于仕琪.學(xué)習(xí)OpenCV（中文版）[M].北京：清華大學(xué)出版社，2009：356-362.

[14]李淑尚，李雷達(dá)，何霽野，等.結(jié)合特征點與極諧變換的圖像拼接[J].計算機(jī)工程與應(yīng)用，2013，49（3）：234-237.

[15]李歡歡，黃山，張洪斌.基于Harris與SIFT算法的自動圖像拼接[J].計算機(jī)工程與科學(xué)，2012，34（11）：104-108.

HU Yan1，2,WANG Huiqin1，2,YAO Taiwei2,JIAYang2

1.School of Management,Xi’an University of Architecture and Technology,Xi’an 710055,China
2.School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

Aiming at the problem of lower real time,higher false alarm rate and miss rate in the existing video fire smoke detection methods,the feature that early smoke movement is slow,main movement trend is upward and pixel intensity change is consistent in successive frames is found after depth analysis of smoke image characteristics.Multiple feature smoke detection is realized through the Harris detection algorithm to find intensity changes and image edge feature point, based on the optical flow and the motion field correspondence by imaging plane optical flow estimation smoke changes in relative motion,calculation of motion vector information.This algorithm based on the smoke intensity change feature point as detection object greatly reduces the amount of data and shortens processing time.Because the smoke local and global characteristics are studied and applied,the proposed algorithm has the strong robustness and high detection accuracy rate.

Harris;feature point;Lucas-Kanade target tracking;smoke features;smoke recognition

A

TP391.41

10.3778/j.issn.1002-8331.1211-0362

HU Yan,WANG Huiqin,YAO Taiwei,et al.Fire smoke recognition based on Harris feature point detection and tracking.Computer Engineering and Applications,2014,50（21）：180-183.

高等學(xué)校博士學(xué)科點專項科研基金項目（No.20126120110008）；陜西省教育廳專項科研計劃項目（No.14JK1438）；西安建筑科技大學(xué)青年科技基金項目（No.QN1125）。

胡燕（1981—），女，博士研究生，工程師，主要研究方向：信息安全和數(shù)字圖像處理；王慧琴（1970—），女，博士后，教授，博士生導(dǎo)師，主要研究方向：數(shù)字圖像處理、計算機(jī)與通信網(wǎng)絡(luò)安全、智能信息處理；姚太偉（1985—），男，碩士研究生，主要研究方向：數(shù)字圖像處理；賈陽（1988—），女，碩士研究生，主要研究方向：數(shù)字圖像處理。E-mail：huyan.nancy@163.com

2012-11-29

2013-04-11

1002-8331（2014）21-0180-04