基于機(jī)器視覺的森林火災(zāi)識(shí)別系統(tǒng)

朱 雪， 姜樹海， 崔嵩鶴， 鐘 旻， 伍澤宇， 趙建偉

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037)

森林是我國生態(tài)建設(shè)的主體，是實(shí)現(xiàn)我國可持續(xù)發(fā)展戰(zhàn)略目標(biāo)非常重要的一部分。據(jù)調(diào)查，自1950至2014年以來，我國年均發(fā)生森林火災(zāi)13 067起[1]?；跈C(jī)器視覺的森林火災(zāi)識(shí)別系統(tǒng)能及時(shí)且精準(zhǔn)地監(jiān)測到火災(zāi)的發(fā)生，實(shí)現(xiàn)對(duì)火災(zāi)的檢測是目前火災(zāi)檢測領(lǐng)域的研究熱點(diǎn)。近幾年來，對(duì)火災(zāi)識(shí)別的方法展開了深入的研究，提出了很多檢測方法。圖像識(shí)別技術(shù)[2]憑借處理精度高、處理內(nèi)容豐富、可處理復(fù)雜的非線性單元以及靈活的變通能力等優(yōu)點(diǎn)，對(duì)疑似火災(zāi)圖像進(jìn)行有效識(shí)別和分類。圖像識(shí)別主要是利用火焰的色彩(靜態(tài)特征)和閃爍(動(dòng)態(tài)特征)進(jìn)行火焰的采集和識(shí)別。利用火焰的靜態(tài)特征[3-4]對(duì)火災(zāi)區(qū)域進(jìn)行提取和識(shí)別時(shí)，由于火焰具有動(dòng)態(tài)特征[5-6]，所以運(yùn)動(dòng)目標(biāo)的檢測是火焰檢測的基礎(chǔ)。

HORNGW等首次將視頻處理技術(shù)運(yùn)用到林火檢測中來，以顏色為主要判據(jù)，受外界影響很大，誤報(bào)率比較高。禹素萍等[7]基于圖像分割的森林火災(zāi)早期煙霧檢測算法研究煙霧面積變化率的特征改進(jìn)，在一定程度上降低了誤報(bào)率。王欣剛等[8]引入了運(yùn)動(dòng)檢測手段對(duì)煙霧進(jìn)行動(dòng)態(tài)檢測，提供了大量的算法。Chen等[9]首次提出RGB空間模型準(zhǔn)確識(shí)別顏色。

提供一種可靠性高、穩(wěn)定性好、運(yùn)行效率高的火災(zāi)識(shí)別方法是當(dāng)前所面臨的主要問題，本文提出一種綜合火焰動(dòng)靜態(tài)進(jìn)行火災(zāi)識(shí)別的方法，實(shí)驗(yàn)表明該方法具有更高的可靠性、穩(wěn)定性和運(yùn)行效率。

1 火焰特征

1.1 火焰靜態(tài)特征

顏色特征[10-11]是一種全局特征，描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)，可以用顏色直方圖、顏色集、顏色矩、顏色聚合向量和顏色相關(guān)圖來描述。顏色矩是一種簡單有效的顏色特征表示方法，有一階矩(均值，mean)、二階矩(方差，variance)、三階矩(斜度，skewness)，由于大部分顏色信息主要分布在低階矩中，所以用一階矩、二階矩、三階矩足以表達(dá)圖像的顏色分布。因此，本文把顏色特征作為火災(zāi)判別的一種方法。

1.2 火焰動(dòng)態(tài)特征

1.2.1 面積變化率

火焰燃燒過程中，燃燒面積不斷地發(fā)生變化?？梢酝ㄟ^檢測火焰在連續(xù)若干幀中運(yùn)動(dòng)區(qū)域面積的相對(duì)變化率來判斷火焰的擴(kuò)散性，將火焰面積變化率作為一個(gè)有效特征來區(qū)別火焰和其他靜態(tài)高溫干擾物。把火焰面積變化率定義為ΔS，則面積變化率為：

(1)

式中：Si為當(dāng)前幀的火焰面積，Si+1為下一幀的火焰面積。

1.2.2 火焰運(yùn)動(dòng)方向

對(duì)于森林火災(zāi)來說，在火焰燃燒產(chǎn)生的熱量和風(fēng)力的作用下火焰會(huì)做向上或者左右的平移運(yùn)動(dòng)，所以運(yùn)動(dòng)方向也可以作為區(qū)分火焰和其他物體的一個(gè)有效特征。本文根據(jù)前后兩幀森林火災(zāi)圖像，對(duì)火焰進(jìn)行匹配搜索[12]?；鹧孢\(yùn)動(dòng)方向的判斷如圖1所示，圖1(a)為第一幀圖像，圖1(b)為第二幀圖像，圖1(c)和圖1(d)分別為圖1(a)和圖1(b)的檢測結(jié)果。得到圖1(c)和圖1(d)就可以確定火焰的位置，進(jìn)而可以知道火焰的運(yùn)動(dòng)方向。

1.2.3 質(zhì)心移動(dòng)速度

火焰在燃燒過程中是不斷移動(dòng)的，為了度量這一特征，首先要確認(rèn)火焰的質(zhì)心[13-15]。

可以把質(zhì)心看作一個(gè)二維隨機(jī)變量(x，y)。給定二維連續(xù)函數(shù)f(x，y)，定義其pq階矩：

(2)

根據(jù)帕普利斯唯一性定理[16]，矩能夠表征任意一幅二維圖像。二值化圖像f(x，y)滿足帕普利斯定理。

設(shè)第k幀火焰質(zhì)心坐標(biāo)為(Ckx，Cky)，第k+1幀火焰質(zhì)心坐標(biāo)為(C(k+1)x，C(k+1)y)，則火焰質(zhì)心移動(dòng)速度為：

(3)

通過運(yùn)動(dòng)目標(biāo)檢測，可以確定相鄰幀中的火焰區(qū)域，通過式(3)的計(jì)算可以獲得火焰質(zhì)心的移動(dòng)速度。

2 火焰檢測

2.1 運(yùn)動(dòng)目標(biāo)檢測

運(yùn)動(dòng)目標(biāo)的檢測算法[17]屬于機(jī)器視覺領(lǐng)域的基礎(chǔ)算法，根據(jù)攝像頭是否運(yùn)動(dòng)可以將運(yùn)動(dòng)目標(biāo)的檢測分為兩種情況：第一，固定攝像頭即靜態(tài)場景中檢測運(yùn)動(dòng)目標(biāo)；第二，移動(dòng)攝像頭即動(dòng)態(tài)場景中檢測運(yùn)動(dòng)目標(biāo)。一般情況下，在靜態(tài)攝像頭的場景檢測運(yùn)動(dòng)目標(biāo)比較容易，然而對(duì)于變化復(fù)雜的森林環(huán)境來說比較困難。隨著攝像頭的移動(dòng)，周圍環(huán)境時(shí)刻發(fā)生變化，由于光照、風(fēng)以及環(huán)境濕潤度等多種外界因素的影響，對(duì)運(yùn)動(dòng)目標(biāo)的識(shí)別和采集變得更加困難。

運(yùn)動(dòng)目標(biāo)檢測的主要方法有背景差分法、光流法和幀差法，現(xiàn)在背景差分法研究的重點(diǎn)在于對(duì)背景的建模和更新，背景的建模方法較多，主要有高斯建模、特征建模、vibe算法等。幀差法即幀間差分算法，適合動(dòng)態(tài)場景中的運(yùn)動(dòng)目標(biāo)，是一種有效的運(yùn)動(dòng)目標(biāo)檢測算法。光流法的計(jì)算量比較大，在硬件方面的需求比較高，在復(fù)雜多變的環(huán)境中，這些算法不能較好地采集出運(yùn)動(dòng)目標(biāo)。

圖1 火焰運(yùn)動(dòng)方向的判斷

移動(dòng)機(jī)器人裝載的攝像機(jī)因運(yùn)動(dòng)使得運(yùn)動(dòng)目標(biāo)的變化與背景的變化混在一起，情況相對(duì)于靜態(tài)場景下運(yùn)動(dòng)目標(biāo)的檢測變得復(fù)雜。但可以利用圖像的配準(zhǔn)思想，通過對(duì)梯度大的塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，然后將運(yùn)動(dòng)背景轉(zhuǎn)換為靜態(tài)背景，借鑒靜態(tài)背景下對(duì)運(yùn)動(dòng)目標(biāo)的檢測思想，分割出運(yùn)動(dòng)目標(biāo)。因此對(duì)于攝像頭的變化在這里只考慮平動(dòng)情況，假如兩幀圖像的背景只有平移變化時(shí)，通過平移量就能夠?qū)崿F(xiàn)圖像配準(zhǔn)。對(duì)于圖像的配準(zhǔn)方法主要包括塊匹配、光流法、特征點(diǎn)匹配等。塊匹配法比較簡單、計(jì)算量相對(duì)較小且易于實(shí)現(xiàn)，同時(shí)機(jī)器人目標(biāo)檢測對(duì)實(shí)時(shí)性要求較高，通過塊匹配法計(jì)算兩幀圖像背景的平移量，實(shí)現(xiàn)圖像配準(zhǔn)。

把源圖像分為許多的子塊，利用匹配準(zhǔn)則找出相鄰幀之間的匹配塊，從而找出兩幀之間的相對(duì)位移，也就是當(dāng)前幀中的塊的運(yùn)動(dòng)矢量[18]。利用SAD為匹配準(zhǔn)則，對(duì)應(yīng)像素灰度差絕對(duì)值SAD的表達(dá)式如下：

(4)

位移矢量R的表達(dá)式為：

(5)

2.2 SVM分類器的設(shè)計(jì)

2.2.1 支持向量機(jī)介紹

根據(jù)提取的動(dòng)靜態(tài)特征設(shè)計(jì)區(qū)分火焰所需要用到的分類器，本文采用支持向量機(jī)的方法設(shè)計(jì)分類器。支持向量機(jī)[19](SVM)是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面，該方法是由V.N.Vapnik，A.Y.Chervonenkis，C.Cortes等于1964年提出的，常用于解決人像識(shí)別，文本類別為等模式識(shí)別問題。本文中，SVM構(gòu)建火焰和非火焰兩類分類器。為了解決線性不可分問題，在 SVM 中引入核函數(shù)，將樣本映射到高維空間。目前常用的核函數(shù)[20]主要有多項(xiàng)式核函數(shù)、S 型核函數(shù)和徑向基核函數(shù)，其中徑向基核函數(shù)能夠較好地平衡運(yùn)算時(shí)間和預(yù)測效果，提高分類速度。因此，本文選擇徑向基核函數(shù)。

2.2.2 支持向量機(jī)原理

給定訓(xùn)練樣本集：D={(x1，y1)，(x2，y2)，L，(xm，ym)}

式中：xi∈{-1，+1}，yi∈(-1，+1)。分類學(xué)習(xí)最基本的方法就是基于訓(xùn)練集D在樣本空間中找到一個(gè)劃分超平面，分開不同類別的訓(xùn)練樣本。對(duì)于樣本空間來說，可通過如下線性方程來劃分超平面：WTx+b=0。W為法向量，確定超平面的方向，b為位移量，確定超平面到原點(diǎn)的距離。對(duì)于訓(xùn)練樣本(xi，yi)：

(6)

該公式被稱為最大間隔假設(shè)，yi=+1表示樣本為正樣本，yi=-1表示樣本為負(fù)樣本。間隔的計(jì)算等于兩個(gè)異類支持向量的差在W方向上的投影，即：

(7)

SVM將間隔最大化，即：

(8)

支持向量機(jī)的基本型：

(9)

2.2.3 基于SVM分類器的設(shè)計(jì)

從已有的圖片和視頻中獲取訓(xùn)練樣本。實(shí)驗(yàn)中，正負(fù)樣本的數(shù)據(jù)量均為200個(gè)，正樣本主要是火焰的各項(xiàng)數(shù)據(jù)，負(fù)樣本是一些常見的背景圖像[21]。從樣本數(shù)據(jù)中提取所需要的各種特征數(shù)據(jù)，根據(jù)需要進(jìn)行相關(guān)排列組合，將不同的特征值轉(zhuǎn)化為特征向量。依據(jù)各組正負(fù)訓(xùn)練樣本的特征數(shù)據(jù)，訓(xùn)練SVM分類器。對(duì)根據(jù)不同的特征組合進(jìn)行訓(xùn)練得到的SVM分類器進(jìn)行測試，找出最優(yōu)用于森林火災(zāi)檢測的特征組合。

3 實(shí)現(xiàn)以及結(jié)果分析

依據(jù)當(dāng)前的研究現(xiàn)狀，雖然算法已在不斷地改進(jìn)，但由于天氣狀況以及森林里面復(fù)雜的環(huán)境，識(shí)別林火的準(zhǔn)確度還較低，時(shí)間上也相對(duì)較慢。該系統(tǒng)通過增加林火識(shí)別的判據(jù)，一方面，提高發(fā)現(xiàn)林火的準(zhǔn)確率，另一方面，能有效地縮短林火識(shí)別的時(shí)間，從而更準(zhǔn)更快地識(shí)別林火，以便盡快做出反應(yīng)，處理火災(zāi)。

為了證明上述方案對(duì)森林火災(zāi)識(shí)別的可行性，本文方法目前已在 Windows 操作系統(tǒng)上借助Visual Studio 2012 和 OpenCV 實(shí)現(xiàn)。在該環(huán)境下，使用了幾段視頻進(jìn)行了測試，且在此程序中插入了攝像頭識(shí)別火焰，實(shí)現(xiàn)了實(shí)時(shí)檢測。該識(shí)別系統(tǒng)中基于SVM分類算法，可將火焰的各項(xiàng)特征進(jìn)行對(duì)比測試。流程圖如圖2所示(實(shí)驗(yàn)所使用的數(shù)據(jù)，圖片來自于實(shí)地拍攝，視頻數(shù)據(jù)來自于土耳其比爾肯大學(xué)提供的火災(zāi)視頻集)。

圖2 總流程圖

3.1 靜態(tài)特征識(shí)別

在該識(shí)別系統(tǒng)中，顏色特征用顏色矩表示。它是一種簡單有效的表示顏色特征的方法，本文主要是采用了一階矩均值(Mean)、二階矩方差(Variance)以及三階矩斜度(Skew ness)描述顏色的分布。

3.1.1 火焰的輪廓提取

火焰輪廓的提取為圖像預(yù)處理階段，如圖3所示。

3.1.2RGB處理

根據(jù)火焰的顏色特征，可以運(yùn)用RGB空間模型對(duì)火焰區(qū)域進(jìn)行分割[22]。在RGB顏色空間內(nèi)，R、G、B三個(gè)分量大小依次遞減，并且R通道分量是原始RGB空間模型建立的基礎(chǔ)，具有高亮度高飽和度的特點(diǎn)。因此，圖像中任意一火焰像素點(diǎn)(x，y)應(yīng)滿足以下條件：

R(x，y)≥Rt
R(x，y)>G(x，y)
0.25≤G(x，y)(R(x，y)+1+1)≤0.65
0.05≤B(x，y)(R(x，y)+1)≤0.45
0.20≤B(x，y)(G(x，y)+1)≤0.60

(10)

綜合以上公式，可以分割出火焰的二值圖像。RGB處理圖如圖4所示，火焰識(shí)別如圖5所示。

圖4 RGB處理圖

圖5 火焰識(shí)別

但是RGB判據(jù)不能全方位地表現(xiàn)圖像或圖像區(qū)域的方向、大小等變化，依靠該特征不能確切地判斷是否發(fā)生火災(zāi)，因此，RGB不能單獨(dú)作為識(shí)別森林火災(zāi)視頻圖像的判據(jù)。使用RGB-HSI判據(jù)，進(jìn)一步排除干擾、提高識(shí)別正確率。

3.2 動(dòng)態(tài)特征識(shí)別

火焰圖像的動(dòng)態(tài)特征有面積、閃動(dòng)頻率、質(zhì)心以及形體變化等，程序里融合了林火各項(xiàng)動(dòng)態(tài)特征的識(shí)別算法，實(shí)現(xiàn)了林火視頻圖像的識(shí)別以及攝像頭對(duì)林火的實(shí)時(shí)監(jiān)測。圖6為流程圖，圖7為通過識(shí)別視頻火焰的截圖，圖8為攝像頭識(shí)別火焰的截圖。

實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)所提出的算法能較準(zhǔn)確地檢測出林火。

圖6 圖像處理流程

圖7 視頻圖像識(shí)別

圖8 攝像頭實(shí)時(shí)檢測

4 結(jié)束語

基于SVM分類算法，運(yùn)用火焰的動(dòng)靜態(tài)特征對(duì)火焰運(yùn)動(dòng)區(qū)域進(jìn)行計(jì)算和分析，搭建了森林火災(zāi)識(shí)別系統(tǒng)。在該系統(tǒng)中，引入機(jī)器視覺圖像處理技術(shù)，在程序中插入了林火的動(dòng)靜態(tài)特征算法，通過多種特征融合提高林火識(shí)別的準(zhǔn)確率，并在實(shí)驗(yàn)室加以論證。在現(xiàn)實(shí)火災(zāi)發(fā)生的環(huán)境下，影響火災(zāi)的自然因素還有很多，結(jié)論還存在不足之處，林火受自然因素影響情況下的運(yùn)動(dòng)方向以及閃動(dòng)頻率等本文還沒有詳細(xì)的算法，未來還會(huì)繼續(xù)開展深入的研究。