徐兵榮 葉炯耀
(華東理工大學(xué)信息科學(xué)與工程學(xué)院 上海 200237)
早期,人們使用傳統(tǒng)的感煙、感光、感溫傳感器[1]進(jìn)行火災(zāi)檢測(cè),但在煙霧顆?;驘崃繑U(kuò)散到達(dá)一定程度之前,傳感器不會(huì)發(fā)出警報(bào),因此導(dǎo)致火災(zāi)探測(cè)的大幅延遲,無法應(yīng)用于大型空間和開放式場(chǎng)所。近年來隨著計(jì)算機(jī)圖像處理技術(shù)的成熟,基于視頻圖像的火焰檢測(cè)技術(shù)受到極大關(guān)注,圖像型火焰檢測(cè)技術(shù)克服了傳感器火災(zāi)探測(cè)系統(tǒng)結(jié)構(gòu)單一、實(shí)時(shí)性差、準(zhǔn)確率較低的缺點(diǎn),通過對(duì)火焰動(dòng)、靜態(tài)等特征提取并進(jìn)行多特征融合實(shí)現(xiàn)火焰檢測(cè),是火焰檢測(cè)技術(shù)的重要突破。
目前,視頻圖像火焰檢測(cè)技術(shù)主要從火焰靜態(tài)特征和動(dòng)態(tài)特征兩個(gè)方面進(jìn)行分析。靜態(tài)特征中最具代表性的是火焰顏色空間特征,顏色空間主要包括RGB[2]、HIS[3]、YCbCr[4]等。Wang等[5]提出了基于火焰顏色色散模型的火焰檢測(cè)方法,該方法根據(jù)火焰溫度和顏色,將火分為焰心、內(nèi)焰和外焰。通過計(jì)算藍(lán)色分量B標(biāo)準(zhǔn)差的閾值排除常見干擾和噪聲的影響,能夠在室內(nèi)環(huán)境下準(zhǔn)確檢測(cè)出圖像中的火災(zāi)區(qū)域。Chen等[6]結(jié)合RGB與HIS顏色模型對(duì)火焰進(jìn)行靜態(tài)分析,通過R分量和飽和度來提取火焰特征像素,當(dāng)火焰噪聲干擾較大時(shí),該方法誤報(bào)率較大。Turgay等[7]提出了一種基于YCbCr顏色空間的火焰檢測(cè)算法,并利用大量的樣本圖像測(cè)試算法的性能,該方法的總體檢測(cè)率較高。
僅利用單一特征的火災(zāi)檢測(cè)方法存在準(zhǔn)確率低、誤報(bào)率高等缺點(diǎn),因此許多研究進(jìn)一步分析了火焰的動(dòng)態(tài)特征并融合火焰靜、動(dòng)態(tài)特征以降低火焰檢測(cè)誤報(bào)率。Lascio等[8]利用監(jiān)控?cái)z像機(jī)提取火焰顏色和運(yùn)動(dòng)特征來檢測(cè)火災(zāi)區(qū)域,該算法可靠性較高。Foggia等[9]提出了一種基于顏色、形狀變化和運(yùn)動(dòng)結(jié)合的火災(zāi)檢測(cè)方法,該方法在準(zhǔn)確性和誤報(bào)率方面表現(xiàn)較好。張進(jìn)華等[10]提出了一種基于置信度理論的靜態(tài)和動(dòng)態(tài)火焰特征相結(jié)合的火災(zāi)探測(cè)算法,該算法的處理速度很快,但是不能有效地排除噪聲和類似火的物體的干擾。Wang等[11]提出了一種火焰檢測(cè)特征融合方法,該算法融合了火焰顏色、移動(dòng)和區(qū)域變化來檢測(cè)視頻圖像中的火災(zāi)。Ali等[12]利用顏色和運(yùn)動(dòng)模型分別檢測(cè)出煙霧和火災(zāi)區(qū)域,并通過二維小波分析消除運(yùn)動(dòng)物體的干擾。該算法可以有效減少火災(zāi)誤報(bào)。Habiboglu等[13]提出了一種基于顏色、空間等特征的視頻火災(zāi)檢測(cè)方法,利用支持向量機(jī)(SVM)對(duì)提取的特征進(jìn)行訓(xùn)練和測(cè)試,該系統(tǒng)在沒有固定攝像機(jī)的情況下表現(xiàn)出良好的檢測(cè)性能。Wang等[14]提出了一個(gè)新穎的視頻火焰檢測(cè)系統(tǒng)來識(shí)別火焰,該系統(tǒng)融合了火焰顏色、相似度和質(zhì)心運(yùn)動(dòng)特征,在室內(nèi)環(huán)境下整體精度較高,能夠排除大部分疑似火焰干擾物。但是在室外或者強(qiáng)烈光照干擾下會(huì)把一些光源誤判為火焰,同時(shí)不能檢測(cè)出特殊燃料如鎂、磷、銅等產(chǎn)生的火焰?;鹧娴牧Ⅲw特征也被用于火災(zāi)探測(cè),Ko等[15]提出了基于雙目攝像機(jī)的火災(zāi)探測(cè)方法,該方法利用顏色和背景差異模型提取候選火災(zāi)區(qū)域,將火焰的大小、形狀和運(yùn)動(dòng)變化通過模糊邏輯方法進(jìn)行實(shí)時(shí)火災(zāi)驗(yàn)證,并且通過計(jì)算攝像機(jī)與火焰的距離重建了火焰的三維表面。
針對(duì)最新的視頻圖像火焰檢測(cè)方法[14]中存在的火焰誤判和漏檢等問題。本文提出一種基于火焰視覺虛化性的多特征融合火焰檢測(cè)系統(tǒng),通過雙目攝像頭與激光測(cè)距配合提取火焰視覺虛化性特征?;鹧嬉曈X虛化性一方面可以準(zhǔn)確地排除燈泡、反光、紅色滅火器等干擾,降低誤判率。另一方面可以檢測(cè)出各種燃料產(chǎn)生的火焰,降低漏檢率。最后通過MES融合火焰視覺虛化性與視頻圖像火焰特征。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)能夠準(zhǔn)確地檢測(cè)出火焰。
本文采用多特征融合技術(shù)進(jìn)行火焰檢測(cè),在本文提出的新的火焰視覺虛化性基礎(chǔ)上,建立多特征融合系統(tǒng),系統(tǒng)結(jié)構(gòu)如圖1所示,本文算法包括以下流程:
1) 利用RGB-HIS顏色模型分割疑似火焰區(qū)域。
2) 通過雙目與激光深度信息測(cè)量提取火焰視覺虛化性特征。
3) 結(jié)合圖像型火焰顏色色散、質(zhì)心運(yùn)動(dòng)、相似性特征。
4) MES多專家決策機(jī)制進(jìn)行多特征融合,識(shí)別火焰。
圖1 多特征融合火焰檢測(cè)系統(tǒng)
為了分割疑似火焰區(qū)域,使用火焰顏色特征作為先決條件,火焰燃燒由紅變黃,對(duì)應(yīng)RGB顏色空間,滿足R>G>B,由于火焰燃燒時(shí)紅色分量特征明顯,設(shè)置紅色分量閾值R>RT可以排除其他顏色物體。火焰飽和度高,設(shè)置火焰飽和度閾值ST可以避免如紅色行人、紅墻等飽和度低的背景物的影響。根據(jù)以上火焰特征,Chen等[6]提出RGB-HIS顏色模型分割疑似火焰區(qū)域,公式如下:
R>G>B
(1)
R>RT
(2)
S>(255-R)×ST/RT
(3)
式中:R、G、B分別為火焰紅、綠、藍(lán)色分量;RT是紅色分量閾值;ST是飽和度的值,飽和度將隨著R分量的增加而降低,R分量朝著最大值255增大,飽和度S將減小至零。RT和ST范圍為55~65和115~135[6],在本文中設(shè)定RT=55,ST=125。
火焰視覺虛化性是指火焰灼熱發(fā)光的氣化部分人眼可以觀測(cè)、攝像頭可見光能夠捕捉,但是激光等特殊光源穿透火焰,不能得到反射,火焰整體呈現(xiàn)出虛化的狀態(tài)。而常見的干擾物基本都是實(shí)體狀態(tài),不具備視覺虛化性。
受復(fù)雜環(huán)境和不同燃燒材料的干擾,僅將火焰的顏色、運(yùn)動(dòng)等視頻圖像特征作為火焰檢測(cè)特征依據(jù),仍舊存在較高的誤檢率。為了提高火焰檢測(cè)的準(zhǔn)確率,本文加入了火焰視覺虛化性這一新型的火焰特征,并結(jié)合雙目與激光測(cè)距檢測(cè)火焰視覺虛化性,
首先使用預(yù)先校準(zhǔn)的可變基線雙目攝像機(jī)(HNY-CV-002)測(cè)量火焰深度信息,根據(jù)雙目(CCD)[15]測(cè)量原理:兩個(gè)攝像頭同時(shí)從兩個(gè)不同的位置觀察火焰,利用三角形幾何原理計(jì)算圖像像素之間的位置偏差,即視差d,得到被測(cè)目標(biāo)三維信息,即點(diǎn)P三維坐標(biāo),如圖2所示。P(X0,Y0,Z0)為被測(cè)目標(biāo)火焰像素點(diǎn),Ol和Or分別是左右兩個(gè)相機(jī)的光心。pl(xl,yl)和pr(xr,yr)分別是點(diǎn)P在左右相機(jī)成像平面上的投影點(diǎn)。
圖2 雙目測(cè)量火焰原理
根據(jù)三角形相似原理,可得:
式中:X0、Y0、Z0為點(diǎn)P在xl-Ol-z坐標(biāo)系中的坐標(biāo);xl為pl在xl-Ol-z坐標(biāo)系中的x坐標(biāo);xr為pr在xr-Or-z坐標(biāo)系中的x坐標(biāo)。重新排列公式可得:
令d=xr-xl,可得:
式中:d為視差。由式(8)可知,當(dāng)b、f固定時(shí),坐標(biāo)Z0與視差d成反比,則從雙目到火焰的距離可以表示為:
激光測(cè)距(TOF)[16]的原理如圖3所示,通過發(fā)射脈沖掃描被測(cè)物體的時(shí)間或相位差獲得距離觀測(cè)值S,根據(jù)水平方向和豎直方向的掃描角度觀測(cè)值α和β獲取任意一個(gè)被測(cè)點(diǎn)P′并生成三維點(diǎn)云圖,X軸位于橫向掃描面內(nèi),Y軸在橫向掃描面內(nèi)垂直于X軸,Z軸垂直于橫向掃描面,激光測(cè)量火焰時(shí)穿透火焰像素點(diǎn)P,射向墻體、地面等背景物某點(diǎn)P′。
圖3 激光測(cè)距原理
被測(cè)點(diǎn)P′的三維坐標(biāo)為P′(Xc,Yc,Zc),公式如下:
Xc=Scosβcosα
(10)
Yc=Scosβsinα
(11)
Zc=Scosβ
(12)
激光測(cè)量系統(tǒng)測(cè)得深度信息depth′為:
depth′=S
(13)
為了分析火焰視覺虛化性,本文建立圖4所示雙目CCD與激光TOF火焰深度信息對(duì)比模型并作以下幾種情況分析。
(a) α=0°測(cè)量火焰
(b) α不同角度測(cè)量火焰
(c) 測(cè)量干擾物圖4 雙目-激光火焰深度信息對(duì)比模型
1) 如圖4(a)所示,系統(tǒng)與火焰同處水平位置α=0°,且無背景障礙物時(shí),激光穿過火焰射向無窮遠(yuǎn),τ→∞。
2) 如圖4(b)所示,系統(tǒng)測(cè)量角度α∈(0,90°),系統(tǒng)懸掛高度在實(shí)際場(chǎng)景中固定為h,火焰距離系統(tǒng)水平距離為s。
由三角形原理可得:
由梯形原理可得:
式中:h′=h-stanα。式(15)可以轉(zhuǎn)化為:
令兩個(gè)系統(tǒng)測(cè)量距離差為τ:
τ的值隨著α角度變化而改變,α越大τ越大,α越小τ越小。
3) 如圖4(c)所示,系統(tǒng)無論從什么角度和位置測(cè)量燈泡、行人等干擾物時(shí),激光不會(huì)穿透干擾物,系統(tǒng)測(cè)得的距離值不考慮器材物理差異,理論上是一致的,因此,τ=0。
本文選取了8個(gè)視頻作為深度信息檢測(cè)數(shù)據(jù)集,包含4個(gè)火焰視頻4個(gè)非火焰視頻,視頻的樣本示例如圖5所示。
圖5 雙目與激光測(cè)距數(shù)據(jù)樣本(視頻1-視頻8)
表1是所選取的8個(gè)視頻場(chǎng)景描述。場(chǎng)景分布包括室內(nèi)室外、行人、閃爍車燈、燈泡、飄動(dòng)紅旗。
表1 火焰與非火焰視頻場(chǎng)景描述
雙目與激光探測(cè)系統(tǒng)檢測(cè)到的火焰和非火焰深度信息以及距離差值τ如表2、表3所示。
表2 α=0°系統(tǒng)深度信息對(duì)比 單位:m
表3 α不同角度系統(tǒng)深度信息對(duì)比 單位:m
續(xù)表3
表2中,系統(tǒng)測(cè)量角度α=0°時(shí),系統(tǒng)與火焰同處水平位置,在室內(nèi)環(huán)境下,火焰存在墻壁等背景物,因此系統(tǒng)測(cè)得的距離差值τ為有限值,此外,τ的值取決于火焰到系統(tǒng)的距離以及火焰與背景物的距離。在室外空曠環(huán)境下,系統(tǒng)測(cè)量火焰的距離差值τ→∞。對(duì)于干擾物,τ≈0。
表3中,當(dāng)α為30°、45°等不同角度時(shí),激光穿透火焰射向地面,隨著α角度增大,τ增大。對(duì)于干擾物,τ≈0。
在實(shí)際環(huán)境中,攝像頭懸掛角度一般為30°到45°之間,根據(jù)雙目與激光TOF可以重建物體三維表面[16]的原理,對(duì)特征像素點(diǎn)組成的疑似火焰區(qū)域,通過雙目與激光測(cè)量區(qū)域內(nèi)特征像素點(diǎn)深度信息。其中τ≈0的像素點(diǎn)區(qū)域?yàn)楦蓴_物,而火焰區(qū)域內(nèi)τ為有限值或?yàn)闊o窮,通過對(duì)N個(gè)火焰像素點(diǎn)i距離差τi取均值,并設(shè)定閾值τ>τT可以提高系統(tǒng)的準(zhǔn)確性?;谝陨希岢龌鹧娴囊曈X虛化性模型。
根據(jù)實(shí)際場(chǎng)景中的實(shí)驗(yàn)樣本和數(shù)據(jù)分析設(shè)定本文的τT=0.61。
1) 顏色色散?;鹧嫒紵龝r(shí)的不同部位燃燒程度和溫度都不同,表現(xiàn)為一定程度的色散,色散由顏色分量的標(biāo)準(zhǔn)差定義[5],火焰的藍(lán)色成分是由燃燒氧氣產(chǎn)生的,在不同的火焰部位,藍(lán)色分量的差異很大,因此B分量標(biāo)準(zhǔn)差較大。而非火焰物體的B分量通常是由光決定的,在小范圍內(nèi)沒有色散,標(biāo)準(zhǔn)差非常小。設(shè)定B分量的標(biāo)準(zhǔn)差的閾值可以區(qū)分火焰和非火焰:
Bstd>BT
(19)
式中:Bstd為藍(lán)色分量標(biāo)準(zhǔn)差;BT為閾值,參考文獻(xiàn)[5],BT=11。
為了驗(yàn)證RGB-HIS顏色模型和B分量色散的可靠性,本文在實(shí)驗(yàn)室環(huán)境下的火焰圖像分割結(jié)果如圖6所示,RGB-HIS顏色模型提取的輪廓非常清晰準(zhǔn)確,沒有忽略任何可疑的火焰區(qū)域,比YCbCr顏色空間效果要好得多。同時(shí)B分量可以有效地排除地板反光。
(a) 原始圖像(b) YCbCr顏色空間分割
(c) RGB-HIS顏色空間分割(d) B分量分割圖6 火焰圖像分割
假設(shè)質(zhì)心距離最小的兩個(gè)區(qū)域?yàn)橄噜弾豢梢蓞^(qū)域的對(duì)應(yīng)區(qū)域。
式中:Ωi和Ωi-1分別為第i和第i-1幀需要進(jìn)行度量的連通區(qū)域。火焰的相似度主要分布在0.6到0.9之間,而焊接光等干擾物大部分等于0。
3) 質(zhì)心運(yùn)動(dòng)?;鹧嬖谝欢〞r(shí)間內(nèi)不斷閃爍,質(zhì)心以重復(fù)的方式運(yùn)動(dòng),因此火焰區(qū)域質(zhì)心總位移與質(zhì)心運(yùn)動(dòng)總距離之比RD小于一定的閾值。常見的干擾源,如移動(dòng)的手電筒在短時(shí)間內(nèi)質(zhì)心呈現(xiàn)出統(tǒng)一的運(yùn)動(dòng),所以比值較大。
同時(shí),由于火焰的閃爍是周期性的,所以火焰質(zhì)心運(yùn)動(dòng)距離與其面積的平方根之比BMS會(huì)在一定的范圍內(nèi)。相反,對(duì)于靜止干擾源,運(yùn)動(dòng)的絕對(duì)值幾乎可以忽略,因此其比值也很小。RD和BMS計(jì)算如下:
式中:DS為N幀質(zhì)心運(yùn)動(dòng)總位移;ZD為N幀質(zhì)心運(yùn)動(dòng)總距離;MS為疑似火災(zāi)區(qū)域的平均面積。設(shè)定閾值RD>RDT和BMS>BMST,可以區(qū)分火焰與干擾物。
MES多專家決策機(jī)制廣泛應(yīng)用于圖像識(shí)別領(lǐng)域,盡管多特征融合有許多方法,但加權(quán)分類是解決多特征融合最有效的方法之一,MES通過分割特征向量并采用一組分類器,每個(gè)分類器針對(duì)一個(gè)特征集進(jìn)行裁剪,然后將其訓(xùn)練為某個(gè)特征空間的專家。通過結(jié)合不同的單一分類器的結(jié)果來進(jìn)行決策,MES多專家決策系統(tǒng)性能在絕大多數(shù)情況下優(yōu)于單個(gè)最優(yōu)分類器。因此本文采用MES多專家決策機(jī)制進(jìn)行多特征融合。根據(jù)Foggia等[9]提出MES系統(tǒng)的原理和公式,本文建立如圖7所示基于火焰視覺虛化性特征的MES系統(tǒng)。
圖7 MES系統(tǒng)模型
圖7中,DE表示顏色專家,SE表示相似度專家,VE表示質(zhì)心運(yùn)動(dòng)專家,IE表示視覺虛化性專家,
式中:M為類的數(shù)量;cij為分類矩陣的值。最終的決策通過最大化整個(gè)MES的可靠性來識(shí)別特定的類,屬于第i類的blobs的可靠性是由投票加權(quán)計(jì)算得出:
c的決策最終通過最大化不同類的可靠性得出:
評(píng)估MES每個(gè)專家,如果滿足給定閾值或者區(qū)間條件,則將輸入的blobs分類為火焰,否則為非火焰:
目前大多數(shù)的火焰檢測(cè)方法,仍然是通過視頻圖像數(shù)據(jù)集來訓(xùn)練檢測(cè)火焰。Toreyin等[17]制作了大量的火災(zāi)和煙霧探測(cè)視頻,本文從中獲取并創(chuàng)建了一個(gè)由36 700幀組成的新數(shù)據(jù)集,部分?jǐn)?shù)據(jù)集如圖8所示。前4個(gè)視頻包含不同環(huán)境下的火災(zāi)場(chǎng)景,后4個(gè)視頻不包含火災(zāi)場(chǎng)景,但視頻中的干擾物有可能被誤判為火焰。尤其是基于顏色特征和運(yùn)動(dòng)的火焰檢測(cè)算法都有可能把干擾物如閃爍燈源、強(qiáng)烈的光照誤判為火焰。本文選用的數(shù)據(jù)集盡可能地包含了火焰場(chǎng)景與誤判較高的干擾物場(chǎng)景,以體現(xiàn)火焰檢測(cè)的環(huán)境復(fù)雜性,以便更好測(cè)試系統(tǒng)性能。
圖8 火焰與干擾物視頻樣本
根據(jù)準(zhǔn)確率的概念,定義真陽性率TPR、真陰性率TNR、假陽性率FPR、假陰性率FNR,公式如下:
FNR=1-TPR
(33)
FPR=1-TNR
(34)
式中:TP表示真陽性,即當(dāng)檢測(cè)到真實(shí)火災(zāi)為火災(zāi)時(shí),TP的數(shù)量加1;FP表示假陽性,當(dāng)誤判干擾物為火焰時(shí),F(xiàn)P的數(shù)量加1;TN表示真陰性,當(dāng)檢測(cè)到干擾物為非火焰時(shí),TN數(shù)加1;FN表示假陰性,當(dāng)誤判火焰為干擾物時(shí),F(xiàn)N的個(gè)數(shù)加1。
為了樣本計(jì)算。定義平均準(zhǔn)確率為:
利用數(shù)據(jù)集20%的隨機(jī)視頻對(duì)多專家系統(tǒng)進(jìn)行訓(xùn)練。訓(xùn)練結(jié)果如表4所示。
表4 多專家系統(tǒng)訓(xùn)練結(jié)果(%)
因此,三個(gè)專家的權(quán)重可以定義為:
由于假陰性在火焰檢測(cè)中造成的代價(jià)比假陽性大得多,本文將假陰性權(quán)重設(shè)為假陽性權(quán)重的10倍,每種方法的另一個(gè)目標(biāo)函數(shù)可設(shè)為:
F=Recognition-10×error=
(TP+TN)-10×FN
(37)
式中:Recognition表示陽性;error表示陰性。
由表5可知,本文提出的火焰視覺虛化性特征IE的假陰性率在單個(gè)特征中最低,平均準(zhǔn)確率達(dá)到了88.51%。同時(shí),本文MES多特征融合算法的假陰性率在較低(0.46%)基礎(chǔ)上,平均準(zhǔn)確率(95.86%)和F(1.90)均達(dá)到最佳。
表5 本文與其他方法的準(zhǔn)確率、假陽性率、假陰性率、F對(duì)比
表5還將本文算法和文獻(xiàn)[6,9,12-14]中基于顏色、運(yùn)動(dòng)和形狀等特征組合的方法作比較。文獻(xiàn)[14]建立的結(jié)合顏色、相似度和質(zhì)心運(yùn)動(dòng)特征的多特征融合系統(tǒng),在準(zhǔn)確率和假陰性率上都優(yōu)于前四種方法。然而,文獻(xiàn)[14]中仍然存在缺陷,本文相比于文獻(xiàn)[14]有以下改進(jìn):
首先是假陽性率,假陽性率即誤判率,在室外環(huán)境以及強(qiáng)光照干擾下,文獻(xiàn)[14]基于視頻圖像火焰特征的多特征融合算法假陽性率較高,會(huì)將強(qiáng)烈的光源以及閃爍車燈誤判為火焰,因?yàn)榈缆飞系碾p向車燈會(huì)有閃爍,形成了類似火焰的明亮區(qū)域。但本文的基于火焰視覺虛化性的多特征融合算法可以準(zhǔn)確地檢測(cè)出實(shí)體干擾物,并將其排除。其次是假陰性率,假陰性率即漏檢率,雖然文獻(xiàn)[14]假陰性率較低,但對(duì)于鎂磷燃燒時(shí)的白色火焰,銅燃燒時(shí)的綠色火焰,文獻(xiàn)中的顏色模型和B分量會(huì)漏判火焰,但本文火焰視覺虛化性不受顏色和運(yùn)動(dòng)條件的干擾,能夠檢測(cè)各種燃料產(chǎn)生的虛化火焰,進(jìn)一步降低假陰性率。本文算法不能將假陰性率降低到0,因?yàn)楫?dāng)火焰貼墻或者火焰距離系統(tǒng)太近時(shí),系統(tǒng)的精度受到干擾。
此外,與文獻(xiàn)[14]中提出的多特征融合方法相比,本文的火焰視覺虛化性、顏色、相似度、質(zhì)心運(yùn)動(dòng)多特征融合算法平均準(zhǔn)確度更高?;跀?shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,本文基于火焰視覺虛化性的多特融合MES火焰決策方法在平均準(zhǔn)確率、假陰性率、F等方面均優(yōu)于其他五種方法。
本文提出一種基于火焰視覺虛化性多特征融合的火焰檢測(cè)方法,利用雙目視覺和激光檢測(cè)火焰的深度信息,并通過對(duì)比實(shí)際場(chǎng)景中的兩個(gè)系統(tǒng)深度信息來建立火焰視覺虛化性模型。在顏色、相似度、質(zhì)心運(yùn)動(dòng)等圖像型火焰特征基礎(chǔ)上,融合本文提出的火焰視覺虛化性特征并輸入MES進(jìn)行火焰決策,大量數(shù)據(jù)集的測(cè)試結(jié)果表明,本文的MES多特征融合系統(tǒng)實(shí)現(xiàn)了火焰檢測(cè)假陽性率與假陰性率的平衡,在整體精度方面達(dá)到了最佳,并有效降低了火災(zāi)誤判率和漏檢率。實(shí)驗(yàn)中,火焰深度信息探測(cè)系統(tǒng)檢測(cè)火焰時(shí)的角度和距離需要進(jìn)一步考慮,此外人工神經(jīng)網(wǎng)絡(luò)也可以考慮用來進(jìn)行多特征融合。