改進DeeplabV3+的火焰分割與火情分析方法

寧 陽，杜建超，韓 碩，楊傳凱

(1.西安電子科技大學 通信工程學院，陜西 西安 710071；2.國網陜西省電力公司 電力科學研究院，陜西 西安 710100)

如今火災事故頻發(fā)，每年都有大量生命財產因為火災而遭受巨大損失，且隨著社會的不斷發(fā)展和進步，火災對人類社會造成的危害也愈來愈大，因此針對火災的檢測與分析研究也顯得愈發(fā)重要。準確的火焰圖像分割是火勢發(fā)展分析的重要前提，一般傳統的分割方法主要基于火焰的顏色、空間結構和紋理信息等火焰特點[1-5]。如文獻[1]利用圖像的邊緣差異作為分割基礎，但只適用于簡單背景的圖像分割。文獻[2]結合RGB、YCbCr和區(qū)域生長算法，對火焰的面積、周長以及質心運動距離變化等進行了分析，能夠快速排除干擾目標。文獻[3]提出一種基于主成分分析和伽柏濾波響應的分割方法，引入了一種新的超像素提取方法，可以有效降低噪聲影響。文獻[4]則采用基于顏色和紋理特征的多尺度火焰圖像無監(jiān)督分割方法，結合了火焰的顏色與小波紋理特征，提高了分割的準確率和速度。另外，為了實現火焰圖像的自動分割，一種基于粒子群算法的改進的k-最近鄰算法(k-Nearest Neighbor，kNN)的分割算法[5]被提出。該算法采用改進的kNN對圖像像素進行分類，并結合歐氏距離定義了一個新的相似度函數來提高分類精度。但是，以上傳統方法都存在魯棒性差、分割速度慢和依賴手工特征的設計等缺點，在復雜場景中難以應用。近年來，計算機視覺與模式識別快速發(fā)展，語義分割作為該領域的研究重點，具有極高的研究價值和廣泛的應用前景。自全卷積神經網絡(Fully Convolutional Network，FCN)之后，學者們相繼提出了許多基于卷積神經網絡的語義分割算法。如文獻[6]使用全卷積網絡進行初步粗分割，再使用稠密條件隨機場對粗分割結果進行細化，實現最終的目標物分割。文獻[7]通過改變原卷積核，引入可形變卷積以適應分割任務，使得卷積操作更集中在目標位置附近，提高了語義分割精度。RONNEBERGER等人提出的Unet網絡[8]，由收縮路徑和擴張路徑組成，收縮路徑用于獲取上下文信息，擴張路徑用于精確定位，兩條路徑相互對稱，分割結果的邊緣信息更加精細。DeeplabV3+是谷歌開發(fā)的語義分割網絡[9]，該算法吸收了Deeplab系列方法的優(yōu)點，并采用了編碼器解碼器結構，被廣泛應用于煙霧分割[10]、合成孔徑雷達圖像分割[11]、道路分割[12]等場景，是目前圖像分割領域的優(yōu)秀框架。由于火焰尺度變化大且邊緣極不規(guī)則，對分割精度的要求較高，所以筆者在原DeeplabV3+分割網絡基礎上，增加了高低層特征的融合信息，并采用兩倍上采樣逐步恢復圖像尺寸，實現更為準確的火焰分割。

此外，隨著目前信息智能化程度的逐步加深，數據的價值也日益顯現，如何將數據分析應用到火情控制中對消防工作具有重要意義。但目前大多數研究只是針對火焰的檢測，缺乏對火情的具體分析，因此筆者通過將火焰分割得到的火焰像素數組成火勢發(fā)展序列，采用基于關鍵點的序列分段和線性擬合算法尋找火勢發(fā)展主要趨勢，來達到火情分析目的。另外，在序列分段的過程中，提出了一種自動確定關鍵點的方法，在保證序列擬合準確度的同時使分段數量更加合理。

1 火焰分割

DeeplabV3+網絡是建立在DeeplabV1-3的基礎上并采用了編碼器和解碼器結構的語義分割網絡。其中編碼器主要對圖像特征進行提取，獲取高級語義信息。在編碼器中使用Resnet進行特征提取，具體結構如表1所示。該結構沿“自下而上”的路徑依次連接了Conv 1、Conv 2_x～Conv 5_x共5級殘差模塊，x表示該級要串聯的模塊的數量。表1中每個中括號表示一個殘差塊的構成，例如 Resnet 50的Conv 2_x共有3個該模塊，其中每個模塊包含64個1×1卷積，64個3×3卷積，256個1×1卷積和跳躍連接，用以減輕網絡層數較深時的梯度消失問題，加快訓練過程。其次，Resnet中的下采樣雖然提高了感受野，但太多的下采樣會導致圖像分辨率過小，邊緣信息丟失過多。因此，設置最后一個模塊中3×3卷積核的移動步長為1，保證Conv 5_x與Conv 4_x的輸出分辨率相同。

表1 Resnet結構

解碼器的作用是通過逐步恢復圖像空間信息來捕獲更清晰的目標邊界，并得到密集預測。由于大尺度的低層特征圖包含的邊緣信息豐富，可以提升分割精度，而小尺度的高層特征圖感受野較大，得到的特征更抽象[13]。為了使分割網絡適應多尺度目標的檢測，一般需要將高低層的特征融合，以提高檢測精度，原DeeplabV3+網絡就使用輸出尺寸為原圖像1/4大小的低層特征和編碼器輸出的高層特征相融合，再直接4倍上采樣恢復到原始尺寸，得到最終的密集預測。但對于邊緣非常不規(guī)則且尺度變化大的火焰目標，僅單次融合沒有充分利用其他低層分支的有效信息，得到的分割邊界較為粗糙。

針對上述問題，筆者借鑒FPN[14]多尺度目標檢測網絡的思想，考慮對編碼器所有尺度的輸出特征圖都進行融合，使低層的細粒度特征能夠與高層的語義特征充分融合，保留更加豐富的邊緣信息。首先，為了融合不同尺度上的特征，將原網絡中的上采樣倍數從4倍改為2倍，通過4次的2倍上采樣來逐步恢復空間尺度，減少網絡逐層的信息丟失，并形成解碼器中“自上而下”的路徑來對應編碼器中“自下而上”路徑，以便后續(xù)進行特征融合。其次，特征融合的方式目前廣泛使用的有add和concat，區(qū)別在于add融合方式是對每一維下的信息進行疊加，而concat是通道的疊加，即特征維度的增加。需要注意的是，以add方式進行特征融合時，兩個特征的維度必須保持一致，即add方式認為疊加的各個特征貢獻度是相同的。但對火焰分割結果來說，其語義性更為重要，因此在融合過程中需要考慮到高低層特征融合時的權重問題。低層特征一般具有較多的通道數，如256個或512個，而高層特征輸出通道數為256個。使用通道壓縮是較好的做法，文獻[9]中也已說明48是較好的通道壓縮數，將低層特征的通道數進行壓縮，使高層特征通道數永遠大于低層特征通道數，之后再使用concat方式進行通道疊加，可以大大減小網絡的訓練難度。網絡的具體融合步驟如下：

(1)利用1×1卷積調整編碼器的輸出通道數為256。

(2)選擇Resnet的Conv 2_x，Conv 3_x和Conv 4_x這3個卷積層的輸出作為特征融合輸入，通過1×1卷積將通道數壓縮為48。

(3)與FPN網絡中的橫向連接類似，從編碼器的輸出高層特征開始，先采用2倍上采樣并將其結果與 Conv 4_x通道壓縮結果進行concat，再應用3×3卷積來細化特征，重新將特征數調整為256并作為下次融合的輸入，繼續(xù)使用該操作向下融合Conv 3_x層和Conv 2_x層特征。

(4)最后的一次的融合結果再經過2倍上采樣后調整輸出特征的通道數為2，輸出結果。

網絡的整體結構如圖1所示，在經過4次上采樣與3次特征融合后，輸出分辨率逐步恢復到輸入圖像的分辨率，保留了更多的邊緣信息。另外，低層特征與高層特征的結合，一方面增強了細節(jié)信息的表征能力，有助于模型進行更精準的預測；另一方面，反復的特征融合也有助于網絡在訓練過程中始終保持有效的多尺度信息，提升網絡分割精度。

圖1 網絡結構

2 火勢發(fā)展分析

2.1 序列壓縮平滑與異常值處理

對火勢發(fā)展情況進行分析。首先要統計火焰視頻分割結果中每幀得到的火焰像素數，將其組成火勢發(fā)展初始序列，如圖2所示。初始序列一般較為粗糙，并且主要關注的是火勢的變化趨勢，而不是每幀的局部信息，因此筆者采用每隔3幀取火焰像素平均值的操作對初始序列進行壓縮平滑處理，以減輕序列的抖動情況。如圖3所示，壓縮平滑后的序列毛刺較少，并保留了原有的火勢發(fā)展趨勢。

圖2 火勢發(fā)展初始序列

圖3 序列壓縮平滑結果

由于火焰的分割過程中偶爾會出現誤檢與漏檢情況，進而導致該幀得到的分割像素數明顯區(qū)別于其臨近幀的像素數。因此在不影響分析結果的前提下，可將某一幀突然增大或驟降的值定義為異常值。通過一個固定長度的滑動窗口進行異常值處理，窗口越小，窗口內的異常值表現越突出。但窗口過小時又無法準確捕捉出該異常值。經過實驗，針對序列異常處理，窗口長度為2時可以達到較好的效果，即當某一幀的結果值大于該幀前后各兩幀的平均值2倍或低于該平均值的1/10時即視為異常值，將其重新賦為平均值，表達式為

(1)

其中，n為當前序列的總長度，M表示以第i幀為中心的k幀窗口值，f(i)為第i幀的處理結果值，異常值檢測窗口的移動步長為1。

圖3序列經過異常值處理后的結果如圖4所示，虛線圈內為異常值部分處理后的結果。

圖4 異常值處理結果

2.2 基于序列分段與線性擬合的火情分析

基于關鍵點的序列分段算法[15]通過生成一系列關鍵點達到序列分段的目的，可以有效控制全局誤差。如圖5所示，該算法首先用直線連接當前序列的首尾兩點，通過遍歷當前序列，尋找與該直線最遠垂直距離[16]的點，若該距離不小于分段閾值，則將其作為一個關鍵點Ii；然后將序列從Ii處劃分為左子序列和右子序列；再利用相同的方法尋找左子序列中的關鍵點和右子序列中的關鍵點，繼續(xù)依次遞歸地劃分左右子序列和尋找關鍵點，直到所有最遠垂直距離小于初始設定的分段閾值時結束。

圖5 基于關鍵點的序列分段

通過上述算法可以得到序列中的所有關鍵點，這些關鍵點既是極值點，也是趨勢變化的轉折點，因此可以作為序列的分段點。在此基礎上再加上整個序列的首尾兩點，就得到了序列的全部分段點(I0，I1，…，Im)，這m+1個分段點就能依次將序列劃分為m段(L1，L2，…，Lm)。

由于筆者主要通過獲取火勢發(fā)展的關鍵趨勢來對火情進行分析，序列整體與各分段的線性擬合斜率是關鍵指標。因此，對整個序列及所有分段(L1，L2，…，Lm)基于最小二乘法做出線性擬合，即利用擬合直線上因變量值與實際值的殘差平方和最小作為優(yōu)化目標，定義如下：

(2)

其中，yj為第j幀的序列值，n為當前需要擬合的序列值總數，(k，b)為擬合直線的斜率與截距。斜率的正負即對應了火勢的增長與下降；斜率的大小表示火焰總體的變化大小，該值越大，表示火焰變化越大；當該值較小并接近于0時，說明火焰正處于穩(wěn)定的燃燒階段。

當火焰增長沒有受到太多外部環(huán)境干擾時，會經歷“初起—充分發(fā)展—衰減”3個主要的階段。首先，初起階段體現為火焰像素值從0開始突然持續(xù)上升，由于剛開始火焰增長較為緩慢，因此該段對應的斜率值也較小。相比之下，充分發(fā)展階段的斜率值就大得多，該階段內火焰快速燃燒，到該段的末尾時火勢會達到峰值，之后進入衰減階段。衰減階段的明顯特征就是斜率為負，火焰像素數持續(xù)下降，當火焰像素數降低至0且沒有再上升時，說明火焰熄滅。但火焰如果受到了風力等外部影響，火情就會變得更加復雜，分段數量也會隨之增加。

2.3 關鍵點的選取

在上述序列分段算法中，分段閾值的設定決定了關鍵點的選取，也決定了分段序列擬合的結果。分段閾值的設定需要人工估計，難以取得穩(wěn)定的效果。分段閾值小時，得到較多關鍵點，分段的數量也越多，但無法提取出火情發(fā)展的幾個關鍵趨勢。分段閾值太大時，得到的關鍵點又太少，少的分段數量難以準確反映火勢實際發(fā)展趨勢。因此，分段閾值的設定必須在分段數量與分段擬合準確度之間取得平衡。

當分段閾值從0開始增加時，由上述序列分段算法可知分段數量會不斷下降，最大與最小的分段數在量級上相差較大，因此將其歸一化到[0，1]范圍，以便后續(xù)與擬合準確度一同尋找最佳閾值，定義歸一化分段率公式為

(3)

其中，Si是閾值為i時的歸一化分段率；Xi為閾值為i時的分段數；當閾值取0時得到最大的分段數Xmax；Xmin為最小的分段數，設定為2，即至少將序列劃分為2段。

分段擬合準確度的計算主要考慮序列真實值與擬合值之間的關系，由于序列真實值可能為0，因此在其做分母時加1處理，表達式為

(4)

其中，Ai是閾值為i時的分段擬合準確度；m是總分段數；n是序列總長度；yj是第j幀序列真實值；fk(j)是第j幀所處第k段的線性擬合函數值，由式(2)根據其分段內的序列值擬合而來。當分段數Xi減少時，Si相應減小，由于序列總長度是固定值，因此，每個分段的序列長度就會變長，即式(2)中的n變大。基于最小二乘得到的擬合函數值也會相應增大，進而每個分段的誤差值增大，總誤差增大最終導致分段擬合準確度Ai減小。因此可知Si和Ai之間為正比關系，二者同步減小，但二者差值是變化的，若某一閾值可以取到最大差值，則說明該閾值能夠在較高分段擬合準確度和較低分段數量上取得最佳平衡，可以作為最終的分段閾值。

如圖6所示，讓分段閾值從0開始遞增，歸一化分段率下降到0時停止，找到其中使得分段擬合準確度Ai與歸一化分段率Si之間的差值達到最大的閾值T，作為最終的分段閾值，如式(5)所示。

圖6 分段閾值的設定

T=max(|Ai-Si|) 。

(5)

若出現多個T，則取達到最小歸一化分段率的第一個閾值。

3 實驗結果與分析

3.1 實驗數據集與網絡訓練

收集了來自土耳其比爾肯大學公開的火焰視頻庫中的10段火焰視頻，提取其中的部分視頻幀圖像，利用labelme軟件手工制作了語義分割標簽。圖像被分為背景和火焰兩大類，總共制作1 000張標簽圖像，從中隨機選取800張作為訓練集樣本圖像，剩余200張作為測試集圖像。

網絡訓練采用tensorflow1.9.0深度學習框架，windows10操作系統，cuda 9.0和python 3.6運行環(huán)境。在硬件平臺CPU：Intel(R)Core(TM)i5-9300H@2.40 GHz；GPU：NVIDIA GeForce 1660Ti上完成網絡的訓練與測試。由于硬件與內存限制，設置訓練中的batchsize為1，使用RMSProp優(yōu)化器，并設定全局初始學習率為0.000 1。每輪訓練800張訓練集樣本圖像，設置100輪次，即共進行80 000次迭代訓練。另外，為避免因訓練樣本集過少產生欠擬合問題，在每輪次的訓練過程中隨機對圖像進行水平翻轉、垂直翻轉和旋轉等操作，提升網絡的泛化能力和分割精度。

3.2 評價指標

采用以下指標來評價火焰分割效果和預測性能。TP表示真實值為火焰且被分割為火焰的像素數，FP表示真實值為背景但被分割為火焰的像素數，FN表示真實值為火焰但被分割為背景的像素數。

(1)精確率指標P。計算在所有分割為火焰的像素中，真實值也為火焰像素的占比。

(6)

(2)召回率指標R。計算在所有真實值為火焰的像素中，分割為火焰像素的占比。

(7)

(3)交并比(Intersection Over Union，IOU)是語義分割常用的評價指標，用IOU表示，其計算的是真實值為火焰像素與分割值為火焰像素的兩個集合的交集與并集之比，即

(8)

(4)一般情況下，P和R之間會呈現負相關性，考慮指標的平衡性，兼顧火焰分割的完整性與準確度，對以上3個指標進行加權處理，引入綜合指標S，表示為

S=0.4IOU+0.3R+0.3P。

(9)

3.3 火焰圖像分割結果

對測試集200張圖像進行分割，分別采用DeeplabV3+與筆者所提網絡。對每個網絡結構中編碼器使用Resnet 50和Resnet 101時的不同情況進行評估。另外，對網絡選用add與concat兩種特征融合方式的結果也進行對比，結果匯總如表2所示。表中數據為所有測試圖像的結果平均值。

表2 火焰分割性能對比 %

由表2可知，針對火焰圖像分割任務，筆者所提網絡使用concat融合方式的Resnet 50和Resnet 101結構的S值分別為0.824和0.822，都大于對應的add方式的0.817和0.817，體現了concat方式的有效性。另外，采用concat方式時，從編碼器的角度看，DeeplabV3+與筆者所提網絡Resnet 50結構的S值分別為 0.822 和0.824，都高于對應Resnet 101結構的0.808和0.822；從網絡角度看，筆者所提網絡2種編碼器結構的S值相對于原DeeplabV3+網絡也都得到了提升，其中筆者所提網絡Resnet 50_concat結構的S值達到了最高值0.824，證明其具有更好的火焰分割性能。

圖7展示了不同網絡結構的部分火焰圖像分割結果。從圖中也可以看出筆者所提網絡Resnet 50_concat的分割結果更接近于標簽圖像。

圖7 不同網絡的火焰分割結果對比

3.4 火情分析結果

選取3個包含火焰的視頻片段進行火勢發(fā)展分析，表3為實驗所用視頻描述。

表3 火焰視頻描述

將表3中測試視頻送入網絡Resnet 50_concat結構中進行火焰分割。將視頻每幀分割得到的火焰像素數組成火勢發(fā)展初始序列，進行序列的壓縮平滑、異常值處理和分段擬合。用K0表示序列整體的擬合斜率，用Km表示對應第m分段的擬合斜率，最終結果如表4與圖8所示。

表4 序列分段和線性擬合結果

從表4與圖8可以看出，Fire 1的分段數為3，整體擬合斜率K0為219.8，表明該火焰在快速增長。第1個分段點在第3.6秒，即火焰初現，從第3.6秒到第14.4秒，擬合斜率為98.7，該階段為火焰燃燒的初起階段，也是控火、滅火的最佳時期；第2段在第14.4秒到第18秒之間，斜率為655.7，增長速度較快，屬于火焰的充分發(fā)展階段，此時燃燒面積迅速擴大，火勢最為猛烈，到第18秒時火勢達到最大；隨后第3段從第18秒直到結束，擬合斜率為-265.6，火勢開始下降，但火焰像素數并未降低至0，表明火焰未熄滅。Fire 1的分段數少且分段擬合準確率高，說明該火勢發(fā)展狀態(tài)簡單，外在因素影響較少。

圖8 序列分段與線性擬合結果圖

Fire 2的K0為0.7，接近于0，表明該火勢整體變化不大。第1個分段從開始到第7.5秒，擬合斜率為8.7，增長速度較為緩慢；第2段從第7.5秒到第11秒，第3段從第11秒到第13.7秒，斜率分別分別為8.7和-12.8，對應火勢的短暫增長與下降，最后一段斜率也接近0。該火焰的開始和結束時刻火焰像素數都不為0，即該火焰是火情發(fā)展的中間一段時刻，火焰整體變化幅度小，說明其一直處于穩(wěn)定的燃燒階段。

Fire 3的K0為-2.7，表明該火焰呈緩慢下降趨勢。該火焰初起于第4.8秒，第1段在第4.8秒到第7.6秒之間，擬合斜率為100.6；隨后的第7.6秒到第10秒之間火勢開始下降，并在第10秒時火焰像素數降低至0，火焰接近熄滅；之后的第10秒到第15.6秒之間，火勢又重新快速增長，并在第15.6秒時達到最大值；第4段在第15.6秒到第18.7秒之間，斜率為-136.5，火勢開始下降并在末尾時接近熄滅，與第2段相似，火勢都在之后一段時間內重新增長，說明這兩段并不是火勢的衰減階段，而是受到了外部干擾；最后一段從第21.8秒到第26秒，擬合斜率為-42.3，火焰像素數降低至0，且直到視頻末尾持續(xù)為0，說明該段才是火勢真正的衰減階段，第26秒是火焰的最終熄滅時間。Fire 3的分段數最多且分段擬合準確度較低，說明該火焰的發(fā)展情況較為復雜，可能受到了外界因素影響，符合表3所述的火勢實際發(fā)展情況。

4 結束語

筆者提出了改進DeeplabV3+的火焰分割與火情分析方法。首先，在火焰分割網絡中，采用了Resnet結構對火焰特征進行初始提取，并且針對火焰的多尺度特性，在解碼器模塊中增加了高低層特征的融合信息并逐步恢復對應的空間維度。通過實驗對比，相較于原網絡，改進后的模型具有更高的分割精度。其次，將火焰視頻每幀分割得到的火焰像素數組成火勢發(fā)展序列，利用序列分段與線性擬合算法，獲得了火勢發(fā)展的重要轉折點與主要的趨勢變化，并且通過分段數與分段擬合準確度之間的關系自動尋找分段閾值，省去了用戶手動輸入參數的操作。實驗證明，筆者提出的算法具有較好的性能，可為火情分析與控制提供有效幫助。