多特征融合的視覺煙霧探測技術(shù)研究

顧立春，黎 川

（中國電子科技集團(tuán)第三十八研究所，安徽 合肥 230000）

0 引 言

隨著人類社會的發(fā)展和城鎮(zhèn)化的變遷，人們居住的越來越密集，高層建筑多且結(jié)構(gòu)復(fù)雜，這增大了火災(zāi)發(fā)生的危害性，給火災(zāi)的預(yù)防帶來了考驗(yàn)。根據(jù)世界火災(zāi)的統(tǒng)計(jì)數(shù)據(jù)，近20年來平均每年發(fā)生大小火災(zāi)約600萬起，造成約30萬人死亡、上千萬人受傷，帶來的經(jīng)濟(jì)損失僅次于洪澇自然災(zāi)害。

火災(zāi)發(fā)生早期，通常存在陰燃現(xiàn)象，陰燃伴隨著煙霧的擴(kuò)散和溫度的上升，然后才會逐漸出現(xiàn)明火并慢慢擴(kuò)大。因此煙霧的早期識別是預(yù)防大規(guī)?；馂?zāi)發(fā)生、降低火災(zāi)危害的重要手段。傳統(tǒng)的火災(zāi)煙霧探測器以感煙和氣體傳感器為主，它的優(yōu)勢是價(jià)格便宜且性能穩(wěn)定，因此在現(xiàn)代各類建筑里得到了大量的應(yīng)用。但是煙霧和氣體探測器需要煙霧或氣體在探測器周圍達(dá)到一定的濃度閾值時(shí)，才會報(bào)警，這時(shí)火災(zāi)通常達(dá)到了一定的程度，且容易受到安裝位置、高度、濕度、空氣對流等因素的影響，無法適用于一些大空間、強(qiáng)對流和室外等環(huán)境。

1 國內(nèi)外研究現(xiàn)狀

近年來，隨著人工智能和圖像處理技術(shù)的發(fā)展，視頻圖像檢測技術(shù)逐漸被應(yīng)用到了火災(zāi)探測中?；谝曨l圖像的火災(zāi)探測是一種結(jié)合模式識別和統(tǒng)計(jì)學(xué)原理的智能探測技術(shù)?；镜脑硎峭ㄟ^采集設(shè)備將前端視頻信號輸入到計(jì)算機(jī)設(shè)備，再用圖像處理算法對這些數(shù)字圖像進(jìn)行分析，提取感興趣區(qū)域，利用煙霧的特征參數(shù)進(jìn)行模式識別，最后判斷是否發(fā)生火災(zāi)，根據(jù)結(jié)果推送火災(zāi)報(bào)警器，或推送給消防控制室值班人員確認(rèn)。

國內(nèi)外很多學(xué)者對早期煙霧的識別做了深入的研究，并在某些場合得到了一定推廣和應(yīng)用。鄧彬等人[1]首先對圖像進(jìn)行預(yù)處理，利用貝葉斯分類器，提取圖像的靜態(tài)RGB特征，同時(shí)計(jì)算煙霧的擴(kuò)散特征和不規(guī)則特性，運(yùn)用多參數(shù)的處理算法來識別圖像中是否存在煙霧信息。Celik等[2]也同樣利用了煙霧擴(kuò)散的無規(guī)則特性，提取相鄰幀的光流場信息，利用圖像的光流方向分布熵實(shí)現(xiàn)煙霧判別。Toreyin等[3]利用了基于小波變換原理的煙霧提取算法。圖像的特征邊緣信息經(jīng)小波變換后會對應(yīng)高頻能量信息，而煙霧的擴(kuò)散過程中會掩蓋圖像的很多邊緣特征，使得該區(qū)域高頻能量衰減，低頻能量增加，達(dá)到煙霧識別的目的。任厚平等人[4]對輸入圖像進(jìn)行前景和背景提取，利用高斯混合模型得到前景目標(biāo)，再通過幀間的運(yùn)動(dòng)差分比對疑似煙霧運(yùn)動(dòng)區(qū)域，最后通過對這些區(qū)域提取紋理特征參數(shù)來判別圖像中是否存在煙霧。張燕君等人[5]提出了一種基于小波紋理特征分析的視頻煙霧檢測算法，該算法首先利用混合高斯模型提取前景和背景，分離煙霧圖像，再對煙霧進(jìn)行前景分離處理和二維離散小波變換，獲取煙霧的局部特征信息；然后利用灰度共生矩陣提取煙霧圖像的紋理特征；最后通過自適應(yīng)神經(jīng)網(wǎng)絡(luò)對煙霧進(jìn)行判別。煙霧火災(zāi)識別技術(shù)在現(xiàn)代建筑、隧道、森林等環(huán)境下得到了一定的應(yīng)用[6-10]。綜上所述，煙霧特征檢測主要算法包括顏色、運(yùn)動(dòng)特征和紋理能量特征算法等，這些算法在不同的場景下有其特定的優(yōu)勢，但是在環(huán)境復(fù)雜、光影雜亂、空氣對流大等場合存在誤報(bào)率高的問題，因此目前的研究多采用特征融合的算法保證煙霧識別的穩(wěn)定性。

2 疑似煙霧區(qū)域提取

在煙霧圖像的識別中，通常要先提取出圖像的疑似感興趣區(qū)域。對于輸入圖像，進(jìn)行濾波去燥、膨脹腐蝕等基本操作后，提取出疑似煙霧的運(yùn)動(dòng)區(qū)域，這樣可以提高煙霧的識別速度，并有效去除部分誤識別區(qū)域。疑似區(qū)域檢測方法對比情況見表1所列。

表1 疑似區(qū)域檢測方法對比

2.1 圖像差分法

圖像差分是通過計(jì)算圖像連續(xù)幀或固定間隔圖像的差值來找到運(yùn)動(dòng)區(qū)域，假設(shè)Ft+n(x,y)和Ft(x,y)為視頻間隔N幀的圖像，Dt(x,y)為差分后的圖像，關(guān)系式如下：

為了得到運(yùn)動(dòng)區(qū)域的圖像，對差分圖像Dt(x,y)作二值化處理，根據(jù)圖像的光影變化和噪聲程度適當(dāng)設(shè)定閾值T，通常圖像靜止部分差分圖像灰度接近于0，將灰度大于閾值T的像素部分認(rèn)為是前景運(yùn)動(dòng)區(qū)域，其他認(rèn)為是背景區(qū)域。二值化圖像方法如公式（2）：

通常煙霧特征幀間的變化不是非常明顯，因此間隔幀N的選取比較重要。因煙霧具有緩慢擴(kuò)散特征，也可以通過上述方法得到煙霧運(yùn)動(dòng)的邊緣信息。

2.2 煙霧面積變化率

煙霧的擴(kuò)散特性也呈現(xiàn)一定的規(guī)律，一般來說煙霧在火源的周圍向上方和兩側(cè)擴(kuò)散，而圖像的面積是不斷變化的，在火災(zāi)的最早期煙霧面積逐漸變大，開始時(shí)速度較為緩慢，發(fā)展到一定階段可能迅速增大，而到了后期出現(xiàn)明火后煙霧面積一般又會逐漸變小。通過圖像分割技術(shù)得到疑似煙霧區(qū)域面積，計(jì)Mi為第i幀圖像的疑似煙霧區(qū)域面積，計(jì)算其動(dòng)態(tài)變化率為：

煙霧的發(fā)展是一個(gè)過程，因此R的值是緩慢變化的，不會保持靜止，也不可能發(fā)生跳變。

2.3 光流法

光流法是基于運(yùn)動(dòng)的煙霧特征提取算法，光流是指圖像中各像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)，應(yīng)用到圖像中具體表達(dá)為圖像中任意點(diǎn)的灰度瞬時(shí)速度。通過該方法預(yù)測運(yùn)動(dòng)目標(biāo)可以描述為根據(jù)輸入圖像中所有像素的運(yùn)動(dòng)信息來近似估計(jì)空間中物體的運(yùn)動(dòng)信息，根據(jù)圖像的特征和不同環(huán)境下的經(jīng)驗(yàn)知識得到圖像中的運(yùn)動(dòng)區(qū)域。采用光流法檢測運(yùn)動(dòng)目標(biāo)首先要計(jì)算出圖像中的光流場，即圖像像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度方向，然后再運(yùn)用光流場把感興趣區(qū)域的運(yùn)動(dòng)信息從圖像中分離出來。光流場對于前景和背景運(yùn)動(dòng)較為明顯的圖像可以很好地提取出煙霧區(qū)域，但是對于火災(zāi)煙霧不明顯或者遠(yuǎn)距離圖像運(yùn)動(dòng)緩慢的情況效果相對較差。

2.4 高斯模型

高斯模型是另一種運(yùn)動(dòng)區(qū)域提取方法，高斯模型可分為單高斯模型和混合高斯模型。其主要算法流程為：大多數(shù)火災(zāi)發(fā)生前視頻圖像都會處于靜止或者運(yùn)動(dòng)緩慢的情形，對這些相對靜止的視頻序列進(jìn)行采集，會發(fā)現(xiàn)視頻的圖像像素符合單高斯分布；當(dāng)火災(zāi)發(fā)生時(shí)，圖像出現(xiàn)擾動(dòng)和光影的變化，這時(shí)視頻圖像的像素點(diǎn)就會變成多個(gè)高斯分布；當(dāng)煙霧或者其他特征出現(xiàn)閃爍、運(yùn)動(dòng)明顯時(shí)，那么連續(xù)幀的視頻圖像里這些運(yùn)動(dòng)目標(biāo)的像素點(diǎn)就不再滿足以前的高斯分布，由此可以提取出圖像中的運(yùn)動(dòng)區(qū)域。單高斯模型應(yīng)用較為簡單，對圖像相對單一、運(yùn)動(dòng)區(qū)域集中的圖像檢測效果較好。而混合高斯模型可以滿足更加復(fù)雜的場景，也得到了更加廣泛的應(yīng)用。

3 煙霧特征識別

3.1 算法流程

本文的識別方案是先對視頻圖像序列進(jìn)行去噪平滑等處理，然后依據(jù)上述方法檢測圖像的運(yùn)動(dòng)區(qū)域，按照不同環(huán)境的經(jīng)驗(yàn)參數(shù)，提取出候選疑似煙霧區(qū)域，再對其進(jìn)行顏色、紋理特征、小波高頻和低頻能量分析，最后判斷出煙霧區(qū)域。檢測流程如圖1所示。

圖1 算法檢測流程

3.2 煙霧圖像識別

依據(jù)上述煙霧的擴(kuò)散和運(yùn)動(dòng)特征分析算法，對圖2提取煙霧的疑似區(qū)域。從圖2（a）中可以看出，煙霧特征判斷沒有發(fā)生漏報(bào)，但是在圖像右側(cè)樹影和草地交接處存在誤識別；圖2（b）也存在同樣的情況，煙霧擴(kuò)散到白色墻壁，墻壁的光線變化擾動(dòng)對識別產(chǎn)生了一定的干擾。

圖2 煙霧疑似區(qū)域判定

沒有發(fā)生火災(zāi)時(shí)視頻幀的背景一般是紋理清晰的，而煙霧會對背景產(chǎn)生模糊?；馂?zāi)早期階段和一些陰燃火災(zāi)產(chǎn)生的大量煙霧向周圍擴(kuò)散時(shí)，圖像中的背景會受到煙霧的影響，圖像的邊緣輪廓被遮擋而變得模糊。圖像的邊緣和細(xì)節(jié)信息在頻域中對應(yīng)高頻信息，平滑均勻的圖像信息在頻域中對應(yīng)低頻信息。利用煙霧圖像中高頻信息逐漸減低的特征，對疑似區(qū)域進(jìn)行進(jìn)一步的特征提取，排除干擾區(qū)域。同時(shí)針對不同的背景圖像，還采用了煙霧的顏色分布、連通性原理等識別方法。如圖3所示，在圖3（a）中有效排除了墻面的干擾，圖3（b）是實(shí)驗(yàn)室的棉條陰燃實(shí)驗(yàn)，背景同樣存在大量的干擾，采用多種特征融合的算法得到了較好的識別效果。

圖3 基于紋理的煙霧區(qū)域確認(rèn)

針對火災(zāi)的煙霧特征，首先判定出煙霧的待選區(qū)域，再利用顏色、紋理等信息對待選區(qū)域進(jìn)行二次判定，最后確認(rèn)火災(zāi)煙霧圖像。通過后天控制系統(tǒng)，將火災(zāi)信號傳送物聯(lián)網(wǎng)網(wǎng)關(guān)；根據(jù)用戶設(shè)定，再推送給火災(zāi)報(bào)警主機(jī)或消防控制室值班人員。

在大量的數(shù)據(jù)集和場景實(shí)驗(yàn)中，有效識別率可達(dá)約98%。但是對于一定的復(fù)雜環(huán)境下的類似特征，如天空的烏云，特征與煙霧過于相似，雖然利用小波特性可以排除，但是在森林或者其他背景光影交叉的環(huán)境里，還是存在少量誤報(bào)。

4 結(jié) 語

本文描述了一種多特征算法融合的煙霧圖像分割和特征識別方法，利用煙霧的運(yùn)動(dòng)特性實(shí)現(xiàn)煙霧疑似區(qū)域的分割，再根據(jù)其連通性、顏色特征、擴(kuò)散的紋理特征進(jìn)行煙霧特征識別。圖像分割對圖像要求較高，參數(shù)選擇要符合場景的特征要求。通?；馂?zāi)可以接受少量誤報(bào)情況，而為了降低漏報(bào)本文對疑似區(qū)域的選擇特征稍微放寬，但這給后期的特征識別帶來了一定的壓力。雖然多種特征識別的方法可以排除大量誤報(bào)，但是當(dāng)圖像分辨率較低時(shí)紋理特性就難以發(fā)揮作用，顏色特性會受到水汽和云霧等因素的干擾。

目前煙霧檢測多集中于區(qū)域識別，如果要有效利用環(huán)境特征對煙霧特征識別產(chǎn)生巨大的輔助作用，還需要建立分類數(shù)據(jù)集樣本的標(biāo)準(zhǔn)化庫，對算法分類進(jìn)行完善。深度學(xué)習(xí)和語義分割的發(fā)展給火災(zāi)煙霧檢測提供了一個(gè)開闊的方向。