艦船大空間疑似火焰目標(biāo)提取方法研究

胡興剛 李明宸 王 騰 卜樂平

（1.中國(guó)船舶重工集團(tuán)公司第七二六研究所 上海 201108）（2.92771部隊(duì) 青島 266400）（3.海軍工程大學(xué) 武漢 430022）

1 引言

火災(zāi)是影響艦船安全航行的巨大威脅。視頻火災(zāi)探測(cè)技術(shù)由于其探測(cè)范圍廣、實(shí)時(shí)性好、智能化程度高等獨(dú)特優(yōu)勢(shì)［1］在艦船大空間中得到廣泛應(yīng)用。采用普通彩色攝像頭進(jìn)行火災(zāi)探測(cè)與識(shí)別，一般先提取疑似火焰目標(biāo)區(qū)域，再利用火災(zāi)的圖像特征通過圖像識(shí)別算法對(duì)感興趣目標(biāo)區(qū)域進(jìn)行判別，繼而實(shí)現(xiàn)火災(zāi)的準(zhǔn)確探測(cè)［2］。疑似火焰目標(biāo)區(qū)域的有效提取是后期圖像特征分析和綜合識(shí)別的重要前提。

作為視頻火災(zāi)探測(cè)的重要一環(huán)，目標(biāo)提取主要用于將疑似火焰目標(biāo)區(qū)域與背景分割開來，可以根據(jù)火焰的靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行選取。根據(jù)火焰的靜態(tài)特征提取感興趣區(qū)域，可以利用顏色、紋理、形狀等特征對(duì)單幅圖像視野范圍內(nèi)的物體進(jìn)行篩選，因?yàn)榧y理、形狀等特征多是基于區(qū)域提取的，所以一般都是通過建立火焰或煙霧的顏色模型進(jìn)行像素級(jí)處理來選取感興趣的區(qū)域；根據(jù)火焰的動(dòng)態(tài)特征提取感興趣區(qū)域，需要對(duì)序列圖像中的運(yùn)動(dòng)物體進(jìn)行提取、跟蹤。因?yàn)槟壳敖^大部分的視頻火災(zāi)圖像算法是針對(duì)室外火災(zāi)或廣泛火源進(jìn)行的，不同的火源在不同的戶外環(huán)境中顏色上存在較大差異，而無論是何種火源產(chǎn)生的火焰或煙霧都是運(yùn)動(dòng)的，因此目前的視頻火災(zāi)探測(cè)方法多用運(yùn)動(dòng)檢測(cè)來提取感興趣目標(biāo)區(qū)域［3～21］。根據(jù)技術(shù)路線的不同，目前的運(yùn)動(dòng)目標(biāo)提取方法可以分為幀間差分法［3～7］、背景差分法［8～13］、光流法［14～15］、小波變換法［16～17］、分形編碼法［18］、均值漂移法［19］、最小能量法［20］和基于機(jī)器學(xué)習(xí)的方法。其中，幀間差分法、背景差分法和光流法能夠自動(dòng)提取運(yùn)動(dòng)物體，其他的幾種方法都需要人工干預(yù)提取過程才能實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的提取。

綜上所述，不同的目標(biāo)提取方法各有優(yōu)缺點(diǎn)，在不同的應(yīng)用場(chǎng)景中表現(xiàn)出不同的性能。因此，需要針對(duì)特定的應(yīng)用環(huán)境在提取精度、復(fù)雜度和實(shí)時(shí)性方面選擇或改進(jìn)合適的目標(biāo)提取方法以獲得最佳的目標(biāo)提取效果。

2 運(yùn)動(dòng)目標(biāo)提取

如引言中所述，因?yàn)橐曨l火災(zāi)探測(cè)是一項(xiàng)應(yīng)用性很強(qiáng)的技術(shù)，對(duì)于視頻的實(shí)時(shí)性處理要求運(yùn)動(dòng)目標(biāo)的探測(cè)必須自動(dòng)快速，因此本文只對(duì)前三種應(yīng)用廣泛的自動(dòng)目標(biāo)提取方法進(jìn)行研究。為了對(duì)比分析不同目標(biāo)提取方法在艦船大空間視頻火災(zāi)探測(cè)中的應(yīng)用性能，本文使用四種艦船大空間中典型的火焰及干擾（近距離明火，遠(yuǎn)距離小火，強(qiáng)光干擾下的火焰以及手電光）視頻圖像對(duì)各方法進(jìn)行檢驗(yàn)。

2.1 幀間差分法

幀間差分法是對(duì)連續(xù)圖像序列里兩個(gè)或三個(gè)相鄰幀圖像進(jìn)行差分運(yùn)算，得到相鄰幀圖像間對(duì)應(yīng)像素點(diǎn)發(fā)生的相對(duì)變化，再與設(shè)定的變化閾值進(jìn)行比較，進(jìn)而提取圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域。幀間差分法原理簡(jiǎn)單、運(yùn)算量小、在對(duì)實(shí)時(shí)性要求高的方向應(yīng)用廣泛。幀間差分法的關(guān)鍵在于設(shè)定合理的變化閾值，如果閾值過大，則會(huì)漏檢運(yùn)動(dòng)目標(biāo)或者讓運(yùn)動(dòng)目標(biāo)碎片化；如果閾值過小，又會(huì)引入大量的噪聲。所以差分閾值必須具有根據(jù)圖像整體特性進(jìn)行自適應(yīng)調(diào)整的能力。文獻(xiàn)［22］提出了一種根據(jù)差分圖像的灰度值分布確定自適應(yīng)閾值的方法。其主要內(nèi)容如下。

最后，對(duì)閾值進(jìn)行更新，并使用先開啟后閉合的數(shù)學(xué)形態(tài)學(xué)方法去除噪聲影響。

以此方法得到的幀間差分法對(duì)于室內(nèi)環(huán)境中典型的火焰及干擾檢測(cè)圖像如圖1。

從圖1的檢測(cè)效果圖可以看出，幀間差分法容易被噪聲干擾，即使使用數(shù)學(xué)形態(tài)學(xué)運(yùn)算進(jìn)行了一定程度的噪聲剔除，仍然存在很多噪聲，而且對(duì)于手電光和強(qiáng)烈燈光下的運(yùn)動(dòng)變化檢測(cè)非常不準(zhǔn)確，對(duì)于明顯火焰的提取也存在“空洞”現(xiàn)象。這些問題極大地限制了其在燈光復(fù)雜的室內(nèi)環(huán)境中視頻火災(zāi)檢測(cè)的應(yīng)用。

圖1 幀間差分法檢測(cè)結(jié)果

2.2 背景差分法

背景差分法是基于序列圖像建立起相對(duì)穩(wěn)定的背景模型，然后將其與當(dāng)前圖像做差以提取變化目標(biāo)區(qū)域的方法。相比于幀間差分法，背景差分法的背景圖像更加穩(wěn)定，更能反映出當(dāng)前圖像的真實(shí)變化，同時(shí)其根據(jù)圖像序列得到的差分閾值比兩三幀相鄰圖像得到的差分閾值也更加準(zhǔn)確有效。背景差分法的關(guān)鍵在于及時(shí)、準(zhǔn)確地對(duì)背景模型進(jìn)行更新。文獻(xiàn)［12］提出了一種基于背景模型更新實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)快速檢測(cè)的方法。該方法主要分為三個(gè)步驟實(shí)現(xiàn)。首先，在像素級(jí)別上計(jì)算出差分閾值；然后，根據(jù)當(dāng)前幀圖像和原背景圖像的差分提取目標(biāo)區(qū)域；最后，根據(jù)當(dāng)前幀圖像和背景圖像對(duì)背景模型進(jìn)行更新。具體實(shí)現(xiàn)如下。

設(shè)有圖像序列 f1，f2，…，fk-1，fk，fk+1，… ，當(dāng)前幀圖像 fk，通過如式（3）所示的RGB到HIS顏色空間的幾何轉(zhuǎn)換得到其強(qiáng)度圖像為Ifk，即有，Ifk=rgb2hsi(fk)。

其中χ為比率值，文中設(shè)為25%。ΔL和ΔH分別是閾值變化的減少率和增加率，文中都設(shè)定為30%。然后根據(jù)判斷各目標(biāo)區(qū)域內(nèi)的像素個(gè)數(shù)和圖像總像素?cái)?shù)的比值剔除噪聲，并根據(jù)當(dāng)前圖像fk和原背景圖像Bfk進(jìn)行更新：

其中，α為背景的更新速率，其值越大更新越快，同時(shí)背景圖像越不穩(wěn)定，文中設(shè)定為10%。

以此方法得到的背景差分法對(duì)于常見室內(nèi)環(huán)境中的火焰及干擾檢測(cè)圖像如圖2。

圖2 背景差分法檢測(cè)結(jié)果

從圖2的檢測(cè)效果來看，對(duì)于近距離明火，背景差分法能夠提取出其運(yùn)動(dòng)部分，但對(duì)于焰心等固定區(qū)域無法提取，同樣存在“空洞”現(xiàn)象。對(duì)于遠(yuǎn)距離的火焰因?yàn)樽兓幻黠@則不能檢測(cè)出運(yùn)動(dòng)部分。同樣，對(duì)于強(qiáng)光干擾下的火焰無法檢測(cè)出其變化，對(duì)于移動(dòng)手電光也是會(huì)把光束部分當(dāng)作目標(biāo)區(qū)域進(jìn)行提取。該方法在室外環(huán)境的火災(zāi)探測(cè)中獲得了較好的檢測(cè)效果［22］，但在復(fù)雜的室內(nèi)環(huán)境中卻無法準(zhǔn)確提取出火焰區(qū)域。因此，該方法同樣難以滿足艦船大空間內(nèi)的視頻火災(zāi)探測(cè)要求。

2.3 光流法

光流法是根據(jù)目標(biāo)和背景光流場(chǎng)之間的不連續(xù)性來實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)區(qū)域的提取的。根據(jù)目標(biāo)提取和光流計(jì)算之間關(guān)系的不同，光流法可以被分為貝葉斯法、參數(shù)聚類法、同時(shí)估算和檢測(cè)分割法三大類。光流法的優(yōu)點(diǎn)在于即使是在攝像機(jī)運(yùn)動(dòng)的情況下也能提取出不同速度的運(yùn)動(dòng)目標(biāo)區(qū)域。

圖3是根據(jù)文獻(xiàn)［26］的方法計(jì)算得到的光流，其中圖（d）是光流的顯示圖，不同的顏色表示光流場(chǎng)的大小。從圖中可以看到，在復(fù)雜環(huán)境中光流的計(jì)算也容易收到噪聲的干擾，對(duì)于遠(yuǎn)距離的火焰和強(qiáng)光干擾下的火焰都無法檢測(cè)出來。而且光流的計(jì)算非常耗時(shí)，以圖（3.3）為例，使用文中所提的經(jīng)典快速光流計(jì)算方法，在處理器為Inter（R）Core（TM） i5-4200M CPU@2.50GHz，安裝內(nèi)存為12.0GB的電腦上使用Matlab2012計(jì)算兩幀像素為720×1280的相鄰圖片光流場(chǎng)耗時(shí)352.537723s，大大超出了視頻火災(zāi)探測(cè)的實(shí)際應(yīng)用時(shí)間要求。因此，光流法也不適用于室內(nèi)環(huán)境中的目標(biāo)區(qū)域提取。

圖3 檢測(cè)圖像的光流

3 靜態(tài)目標(biāo)提取

從第2節(jié)的分析來看，因?yàn)槭覂?nèi)環(huán)境復(fù)雜，存在燈光干擾和光照迅速變化等情況，運(yùn)動(dòng)檢測(cè)方法并不適用于艦船大空間中的目標(biāo)區(qū)域提取。除去運(yùn)動(dòng)目標(biāo)提取方法，還可以根據(jù)火焰的靜態(tài)特征來提取感興趣區(qū)域，即利用顏色、紋理、形狀等特征對(duì)單幅圖像視野范圍內(nèi)的物體進(jìn)行篩選。因?yàn)榧y理、形狀等特征多是基于區(qū)域提取的，所以一般都是通過建立火焰或煙霧的顏色模型進(jìn)行像素級(jí)的處理來選取感興趣區(qū)域。

作為火焰最具代表特征的顏色，在視頻火災(zāi)探測(cè)中常被作為識(shí)別火災(zāi)的特征，研究者對(duì)火焰的顏色進(jìn)行分析，在不同的顏色空間建立不同的顏色模型。因?yàn)槭覂?nèi)和室外光照環(huán)境的差異，室內(nèi)和室外的火焰顏色是不一樣的。在室外環(huán)境中，尤其是天氣晴朗時(shí)候，攝像頭采集的圖片中火焰區(qū)域顏色偏暗，但是在室內(nèi)環(huán)境中，火焰區(qū)域偏亮。艦船大空間中光照變化頻繁，又存在較多燈光干擾，受自然光照影響較弱，其環(huán)境更接近于室內(nèi)光照。因此，本文主要對(duì)室內(nèi)火焰顏色模型進(jìn)行研究。其中最具代表性的就是Chen等［22］在RGB與HSI顏色空間的建立的火焰顏色模型和 Celik等［23～24］在 YCbCr顏色空間建立的火焰顏色模型。

3.1 RGB-HIS火焰顏色模型

火焰的早期顏色為紅色到黃色。紅色到黃色的顏色范圍對(duì)應(yīng)到RGB空間就是R≤G＞B。在火焰的RGB圖像中，R分量是主要分量，這是因?yàn)榛鹗且粋€(gè)光源，同樣視頻攝像機(jī)需要一個(gè)足夠的亮度在夜間捕捉圖像序列。因此，火焰的R分量應(yīng)該大于一個(gè)閾值RT。同時(shí)，為了避免背景光照的干擾，火焰的飽和度應(yīng)該大于一個(gè)閾值以排除其他類似火焰的干擾。這將推導(dǎo)出三個(gè)火焰圖像決策規(guī)則來提取火焰圖像，這些規(guī)則如下：

其中，RT、ST分別為R顏色分量、S顏色分量的閾值。關(guān)于火焰像素點(diǎn)的R值和S值之間的關(guān)系如圖4所示。根據(jù)大量實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)得到，ST和RT的取值范圍分別在55～65和115～135之間，本文所用ST值為55，RT值為120。

圖4 R-S關(guān)系

從圖5的檢測(cè)效果圖中可以發(fā)現(xiàn)，RGB-HIS火焰顏色模型對(duì)于室內(nèi)火焰具有很好的提取效果，無論是遠(yuǎn)距離的火焰還是被強(qiáng)光干擾的小火焰區(qū)域都能被準(zhǔn)確提地提取出來。即使對(duì)于一些干擾如反光、手電等不能有效去除，但這些干擾可以通過更高層次的特征進(jìn)行排除。所以這是一種適用于室內(nèi)環(huán)境中的火焰區(qū)域提取方法。

圖5 RGB-HIS火焰顏色模型檢測(cè)結(jié)果

3.2 YCbCr火焰顏色模型

為了排除圖像亮度對(duì)火焰顏色模型的干擾，Celik等將火焰的亮度和色度信息獨(dú)立出來，在YCbCr顏色空間建立了火焰顏色模型。在RGB顏色空間火焰像素顏色分量的關(guān)系R≥G≥B轉(zhuǎn)換到Y(jié)CbCr空間則有規(guī)則1。

設(shè) Ymean、Cbmean、Crmean分別為給定圖像在 YCbCr顏色空間的Y、Cb、Cr顏色分量的均值，即

式中，(xi，yi)為像素點(diǎn)在圖像中的坐標(biāo)，Ymean、Cb?mean、Crmean分別為圖像的亮度、藍(lán)色分量、紅色分量均值，K為圖像中像素點(diǎn)總數(shù)。

一般的火焰是場(chǎng)景中最亮的區(qū)域，因此在圖像中火焰亮度分量Y要大于圖像亮度均值Ymean。但是一般火焰場(chǎng)景圖像中，火焰藍(lán)色分量Cb要小于圖像藍(lán)色分量均值Cbmean，火焰紅色分量Cr比圖像紅色分量均值大。即有規(guī)則2：

根據(jù)文獻(xiàn)［25］的分析，火焰像素點(diǎn)的Cb分量成分更接近“黑色”，而Cr分量成分更接近“白色”。因此有規(guī)則3：

文中根據(jù)大量火焰圖像使用ROC曲線確定τ=40時(shí)能取得最佳的分割效果。

除了以上三條規(guī)則，Celik等還基于大量火焰圖像色度信息的統(tǒng)計(jì)分析建立了規(guī)則4：

根據(jù)該火焰顏色模型得到的檢測(cè)效果如圖6所示。

從圖6的檢測(cè)效果可以看出，YCbCr火焰顏色模型具有較強(qiáng)的抗干擾能力，能夠提出手電和金屬反光的干擾。但是該模型提取的火焰區(qū)域不完整，對(duì)于偏亮偏白的焰心區(qū)域無法提取出來，給進(jìn)一步分析帶來難處。所以，RGB-HIS火焰顏色模型可以作為艦船大空間中疑似火焰區(qū)域的提取方法。

4 結(jié)語

通過艦船大空間環(huán)境中四種典型的火焰及干擾視頻圖像的檢測(cè)結(jié)果對(duì)比分析可以看到，常用的運(yùn)動(dòng)檢測(cè)方法并不能準(zhǔn)確提取出遠(yuǎn)距離的小火和強(qiáng)光干擾下的火焰，而Chen等提出的RGB-HIS火焰顏色模型卻能準(zhǔn)確檢測(cè)出四種情況下的疑似火焰目標(biāo)區(qū)域，適用于艦船大空間的視頻火災(zāi)探測(cè)應(yīng)用，對(duì)于室內(nèi)火焰目標(biāo)提取具有一定的借鑒意義。