基于關(guān)鍵幀與多特征融合的煙霧識別算法研究

王能

摘要 ：在煙霧視頻監(jiān)控技術(shù)中，針對煙霧識別算法中特征提取計算量大、特征選擇單一的問題，提出了一種基于關(guān)鍵幀與多特征融合的煙霧識別算法。首先結(jié)合主成分分析（PCA）和聚類算法對視頻進行關(guān)鍵幀采樣，減少視頻幀間的冗余信息，然后建立煙霧視頻的靜態(tài)特征HOG、動態(tài)特征LBP-TOP模型，將這兩種特征送入極限學習機（ELM）中進行識別。實驗結(jié)果表明，該算法能夠有效剔除視頻幀間的冗余圖像幀，提高了煙霧識別算法的正確率和識別效率。

關(guān)鍵詞 ：煙霧檢測;主成分分析;極限學習機;圖像識別

中圖分類號： TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）21-0180-02

開放科學（資源服務）標識碼（OSID）：

火在我們?nèi)祟惖纳钪袩o處不在，在帶給我經(jīng)濟效益的同時也帶了人生財產(chǎn)嚴重損失的問題。因此火災的預防和報警受到多方重視[1，2]。傳統(tǒng)的火災探測器是基于傳感器技術(shù)，火災的漏報、誤報時有發(fā)生。隨著計算機視覺技術(shù)的發(fā)展和提高，基于視覺特征的火災探測成為火災監(jiān)測的重要研究方向。煙霧是火災發(fā)生早期的主要特征，如果能采用視頻技術(shù)快速準確的檢測到火災煙霧，對于火災的早期預警有著相當重要的意義。

基于煙霧的視覺特征，研究人員已經(jīng)取得一些研究成果。Fujiwara等人[3]采用分形理論提取煙霧的自相似分形特征，在圖像中搜索煙霧目標。ChenT H 等人[4]結(jié)合RGB顏色模型和 HIS 顏色模型中I分量進行了火災煙霧識別，其方法是基于火災煙霧顏色一般為灰色。Yuan[5]提出了一種基于局部二值模式（LBP）和局部二值模式方差（LBPV）金字塔多尺度特征的煙霧檢測算法，實現(xiàn)基于紋理特征的煙霧檢測。Tung等人[6]提出一種4階段視頻煙霧檢測算法。但這些方法都具有一定的局限性，在復雜場所下檢測性能會有一定程度下降。

煙霧檢測是一個復雜的過程，針對視頻幀間存在大量冗余幀導致識別算法中提取特征計算量大的問題，提出一種基于關(guān)鍵幀與多特征融合的煙霧識別算法。為驗證算法的有效性，利用真實煙霧視頻集對視頻煙霧識別算法進行了驗證，結(jié)果表明本文提出的基于關(guān)鍵幀與多特征融合的煙霧識別算法提高了煙霧識別的準確率和擴充了其適應范圍。

1 算法綜述

首先采用自底向上的注意模型[3]，利用煙霧顏色分布規(guī)律采用非線性增強方法增強煙霧亮度圖像，得到煙霧顯著區(qū)域;接著利用Hornt-Schunck稀疏光流算法[8]計算出運動前景，排除疑似煙霧干擾物，進行顯著圖的分割獲得完整的煙霧區(qū)域;然后提取視頻幀的顏色特征信息并運用主成分分析法（PCA）處理圖像特征，降低特征維數(shù);最后結(jié)合PCA和聚類在煙霧視頻關(guān)鍵幀的基礎(chǔ)上分別提取煙霧視頻的靜態(tài)特征HOG和動態(tài)特征LBP-TOP，將這兩種特征輸入極限學習機（ELM）進行判別。

2 疑似煙霧提取

由于煙霧處于緩慢運動的狀態(tài)，顏色分布為灰白色到白色，使得分割及其困難。在視頻圖像處理中，用非線性增強方法減少煙霧的色彩分布不均勻性干擾，使變換后的圖像盡可能地抑制其他非煙霧區(qū)域。使用近似人類視覺的Lab顏色空間來描述視頻煙霧區(qū)域。該顏色空間模型由像素亮度 （L）和a、b倆顏色通道組成，L分量來描述視頻煙霧的細節(jié)。在實驗過程中，圖像中一些灰度干涉也被加強。如圖1（b）中左上角與煙霧相似顏色區(qū)域也得到增強。為解決此問題，構(gòu)造運動能量估計函數(shù)[9]來判斷煙霧區(qū)域的可能性。

圖1展示了煙霧視頻的對比圖。相比與圖1（b）中的增強圖像，圖1（c）展示的運動能量圖，由于大部分靜態(tài)背景被抑制而顯然能更精確地顯示出煙霧區(qū)域。最后使用最大類間方差法[6]對原視頻圖1（a）進行煙霧區(qū)域分割獲得可疑分割結(jié)果圖1（d）。顯然，分割結(jié)果圖在各種復雜背景下，均顯示了完整的煙霧區(qū)域。

3 基于PCA和聚類的關(guān)鍵幀提取

（1）幀信息提?。菏紫忍崛∫曨l幀的圖像特征作為重要分類依據(jù)，本文選用不受圖像旋轉(zhuǎn)和平移變化影響的顏色直方圖方法[11]獲取視頻幀的顏色特征。

（2）關(guān)鍵幀提?。涸讷@取視頻幀顏色特征信息后，運用PCA主成分分析獲取圖像的主要特征降低特征維數(shù)，對PCA處理后的視頻幀用k均值聚類方法聚類。K均值聚類是從大量的數(shù)據(jù)對象中隨機選擇k個對象作為初始聚類中心，根據(jù)計算幀間的相似程度對數(shù)據(jù)對象進行分類，最后選擇不同類別的類中心對應的視頻幀作為該類別的關(guān)鍵幀。

（3）計算幀間視頻相似度：幀間相似度指兩個視頻幀的相似程度，其計算方法根據(jù)不同的處理對象而不同。本文中，利用歐氏距離表示兩個視頻幀之間的相似度。設(shè)PCA處理后的兩個視頻幀和，倆幀圖像的歐式距離為：

（4）視頻幀聚類：首先，獲取k幀圖像作為初始的聚類簇中心;其次，計算當前幀[Xi]與k個聚類簇中心的歐式距離，求得最小距離Dmin，如果Dmin小于設(shè)定的閾值T，則判定該視頻幀屬于距離它最近的簇中心的類別，否則當前幀[Xi]不屬于任何一個簇，而是單獨屬于一個簇。然后重新計算聚類簇中心。

基于多特征融合的煙霧識別

（1）—靜態(tài)特征提取

獲取煙霧視頻的m個關(guān)鍵幀[X′={X′1，X′2，...，X′m}]之和，采用加權(quán)的方式融合這m個關(guān)鍵幀的特征。需要利用PCA處理這些關(guān)鍵幀得到的特征值，由PCA選取主要特征的方式可得，特征值的大小決定其對應的特征的重要程度，特征值越大，對應特征越重要，因此求每個關(guān)鍵幀中的特征值之和[{λ′1，λ′2，...，λ′m}]，那么第i個關(guān)鍵幀[Xi′]對應的權(quán)重為：

從這個權(quán)重計算公式可以看出來，關(guān)鍵幀[Xi′]的特征值[λi′]越大，也就是該關(guān)鍵幀包含的煙霧圖像信息越多，那么它所獲得的權(quán)值越大。求得關(guān)鍵幀對應權(quán)值后，利用式 對這m個關(guān)鍵幀加權(quán)求和，那么第j段煙霧視頻得到的靜態(tài)特征[X″j]。

（2）動態(tài)特征提取

由于只使用靜態(tài)特征無法全面準確的描述煙霧信息，從而會影響最終煙霧識別效果。為此，本文引入動態(tài)紋理特征來表述視頻中煙霧的動態(tài)特性。

LBP-TOP 是 LBP 從二維空間到三維空間的拓展，在LBP-TOP中，引入了T這一變量，它存在有三個正交平面，即XY， XT 和 YT 三個方向是相互正交的。對于一段圖像序列來說，給出三個正交平面的紋理圖，XY 就是我們正常看到的圖像，XT 是每一行沿著時間軸掃描而過的紋理，YT 是每一列沿著時間軸掃描而過的圖像。簡單來說，我們可以在這三個平面都提取 LBP 特征，然后把三個平面的 LBP 特征連接起來，就是 LBP-TOP。 如圖2所示：

由于LBP-TOP在三個正交面上都提取了LBP特征，特征維數(shù)是只提取圖像LBP特征的三倍，這樣帶來了大量的計算量，因此，本文不再對視頻所有幀提取LBP-TOP特征，而是在獲取的關(guān)鍵幀基礎(chǔ)上來提取LBP-TOP特征，這樣不僅減少了計算的復雜度，而且保留了煙霧視頻中能表征煙霧特征的關(guān)鍵信息。

4 實驗仿真與分析

本文在基于Matlab R2015b，IntelI CoreI i3-4170 CPU@3.70GHz 4.00GB RAM的實驗環(huán)境進行算法仿真。與傳統(tǒng)的煙霧識別算法HSV+ELM和HOG+SVM做對比，最后用靈敏度與準確度來評價分類性能。實驗對比結(jié)果如表1所示。

靈敏度（Se），反映了所有真實事件被正確檢測出來的比例。準確度（Ac），反映了所有事件被正確檢測出來的比例。其公示表示如下：

其中，[TP]表示真陽性，即正確類別被正確地檢測的數(shù)量;[FP]表示假陽性，即其他類別被錯誤檢測成指定類別的數(shù)量;[TN]表示真陰性，即其他類別被正確檢測的數(shù)量;[FN]表示假陰性，即指定類別被錯誤檢測成其他類別的數(shù)量。

從表1實驗結(jié)果上來看，本文用到的基于關(guān)鍵幀與多特征融合的煙霧識別算法相較于另兩種傳統(tǒng)的煙霧識別算法提高了煙霧圖像識別準確率。雖然單一特征識別方法較本文用到的煙霧識別方法度快，但是煙霧圖像識別正確率不能滿足火災檢測要求。本文方法由于提取的關(guān)鍵幀數(shù)量多帶來更多的計算量，因此關(guān)鍵幀個數(shù)的選擇根據(jù)具體應用來選擇。

5 總結(jié)

火災煙霧圖像識別問題一直是備受關(guān)注的熱點問題，針對目前煙霧識別算法特征選擇單一，選擇的特征維數(shù)過高導致大量的計算問題，提出了一種基于關(guān)鍵幀與多特征融合的煙霧識別算法，在結(jié)合PCA和聚類在煙霧視頻關(guān)鍵幀的基礎(chǔ)上分別提取煙霧視頻的靜態(tài)特征HOG和動態(tài)特征LBP-TOP，將兩種特征送入ELM訓練，用于煙霧識別。在收集整理的煙霧圖像集上，本文提出的算法能夠有效地提高圖像中煙霧檢測的準確度，同時能夠較好滿足煙霧圖像實時性要求。

參考文獻：

[1] 桑培勇. 居民小區(qū)無線火災報警系統(tǒng)的研究與設(shè)計[D].安徽理工大學，2014.

[2] Toulouse T， Rossi L， Celik T， et al. Automatic fire pixel detection using image processing： a comparative analysis of rule-based and machine learning-based methods[J]. Signal， Image and Video Processing， 2016， 10（4）：647-654.

[3] LI X， Research and Application of Several Key Technologies of Significance Object Detection Algorithms[D].University of Electronic Science and Technology，2018.

[4] Chen T H， Wu P H， Chiou Y C.An early fire-detection method based on image processing[C]//Proceedings of International Conference on Image Processing，2004（ICIP04）.[S.I]：IEEE，2004：1707-1710.

[5] 袁潔，袁偉，賈陽，等. 一種基于紋理特征的主動紅外煙霧識別方法[J]. 安全與環(huán)境學報， 2015（8）.

[6] ?ETIN A E， DIMITROPOULOS K， GOUVERNEUR B， et al. Video fire detection–Review [J]. Digital Signal Processing， 2013， 23（6）： 1827-43.

[7] 蘭紅，周偉，齊彥麗.動態(tài)背景下的稀疏光流目標提取與跟蹤[J].中國圖象圖形學報，2016，21（06）：771-780.

[8] [62]Han F， Yao H F， Ling Q H. An improved evolutionary extreme learning machine based on particle swarm optimization[J]. Neurocomputing， 2013， 116：87-93.

【通聯(lián)編輯：唐一東】