基于YOLOv3 和光流的船舶火災(zāi)檢測?

馬世玲 袁 偉 俞孟蕻

（1.江蘇科技大學(xué)計算機學(xué)院 鎮(zhèn)江 212100）（2.江蘇科技大學(xué)電子信息學(xué)院 鎮(zhèn)江 212100）

1 引言

船舶是水運的核心工具，承擔著大量的運輸任務(wù)?；馂?zāi)是一項威脅船舶安全的重要因素。據(jù)國際 海 事 組 織（IMO）的 統(tǒng) 計 報 告 顯 示［1］，2009年-2019 年，造成船舶折損的前三個原因分別是沉船、擱淺和火災(zāi)，火災(zāi)事件相對較少但危害極大。船舶是漂浮于水面上的獨立個體，整體結(jié)構(gòu)由熱傳導(dǎo)性極強的鋼板構(gòu)成，內(nèi)部區(qū)域復(fù)雜，通道寬度有限，上述的種種特性會給火災(zāi)救援和人員逃生帶來極大困難。在火災(zāi)的發(fā)展過程中，煙霧往往是先于火焰出現(xiàn)在火源點，初期階段火災(zāi)危害較小，及早發(fā)現(xiàn)并處理火情，能夠有效控制火災(zāi)波及范圍，減少損失?，F(xiàn)有的船舶火災(zāi)檢測系統(tǒng)主要依賴于各種點傳感器探測火災(zāi)，然而其具有檢測延遲、誤報率高、易受海上周圍環(huán)境影響的特點，有一定局限性。采用視頻檢測方法相較于點傳感器，可以依附于現(xiàn)有的攝像機監(jiān)控系統(tǒng)，同時能獲得更具體的火災(zāi)信息。視頻檢測適應(yīng)性廣、響應(yīng)速度快，是一種有效且快速的檢測方法。

近年來，視頻檢測方法多采用深度學(xué)習，主要是基于卷積神經(jīng)網(wǎng)絡(luò)的各種衍生算法［2］。大體上可以分為兩類，一類是采用分類和預(yù)測框的二階段算法，如RCNN 系列［3］；一類是采用回歸思想的單階段算法，如YOLO 系列［4］、SSD 系列等［5］，較于前者速度快，檢測精度有一定下降。文獻［6］提出一種CNN 結(jié)構(gòu)，能在同一體系結(jié)構(gòu)內(nèi)實現(xiàn)特征提取和分類。文獻［7］使用Faster R-CNN 提取火災(zāi)區(qū)域并進行多維紋理分析，大大減少因顏色類似產(chǎn)生的誤報。文獻［8］探討對比了先進的CNN 模型在火災(zāi)檢測下的效果，對比結(jié)果體現(xiàn)了YOLOv3 在火災(zāi)檢測中的高準確度和極快的速度。大多數(shù)基于CNN 的火災(zāi)檢測算法僅僅考慮了圖像所攜帶的圖像信息，這樣很容易對周圍類似火焰或者煙霧的目標產(chǎn)生誤判。為了解決這個問題，一些算法在考慮火災(zāi)空間特征的同時，也加入了時間特征，提高模型的檢測性能。文獻［9］利用CNN 和LSTM 分別提取煙霧的圖像信息和時間信息，并利用注意力機制提取關(guān)鍵幀，優(yōu)化分類過程。文獻［10］結(jié)合ELASTIC-YOLOv3 和Fire-tube，提取圖像信息和時域的光流信息，并對光流信息進行再處理，以此來檢測夜間火焰，有效地降低了誤判率。文獻［11］在YOLOv3 骨干網(wǎng)絡(luò)的基礎(chǔ)上利用空洞卷積模塊提取上下文信息，實現(xiàn)了對火焰的檢測。當前的火災(zāi)研究在準確度上已有了高水準，但是在誤檢問題上仍有改進空間。

為了提高火災(zāi)視頻的檢測性能，本文提出基于YOLOv3 和光流的算法，該算法充分考慮火災(zāi)視頻的靜態(tài)信息和動態(tài)信息。光流特征能夠反映煙霧或者火焰在當前背景下的移動情況，YOLOv3 作為一種快速高效的算法，對后續(xù)的應(yīng)用有一定的輔助作用。本文算法提取視頻中的光流特征作為動態(tài)信息，并結(jié)合視頻幀的RGB 信息，采用YOLOv3 算法，進行對火災(zāi)視頻的檢測。

2 算法理論

2.1 光流

在視頻檢測中，光流是常用的運動信息，被定義為空間運動物體在觀察成像平面上的像素運動的瞬時速度［12］，能夠表征物體在相鄰幀中的運動信息。現(xiàn)有的光流計算技術(shù)按照理論基礎(chǔ)與數(shù)學(xué)方法分為以下類別［13］：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法、神經(jīng)動力學(xué)方法。Farnback［14］算法是一種利用多項式求解稠密光流的方法，針對煙霧和火焰這類紋理較多的目標，有較好的效果。光流計算方法有兩個重要假設(shè)：1）相鄰幀之間的亮度恒定；2）相鄰幀之間的物體運動微小。

Farnback 利用二次多項式模擬圖像中的像素鄰域，從多項式展開系數(shù)估計光流［15］。

其中x=(x,y)T是某個像素點的坐標，Α是一個對稱矩陣，b是一個向量，c是一個常數(shù)。

對于上一幀圖像中某一點像素有系數(shù)Α1,b1,c1，該像素移動d，則對于當前幀圖像對應(yīng)點有系數(shù)Α2,b2,c2，根據(jù)f1(x)=f2(x-d)可推得：

對于相鄰幀圖像，選用平均值表示真實值：

同時引入：

可得

由此推導(dǎo)出光流大小。

2.2 YOLOv3網(wǎng)絡(luò)

YOLO 系列是端到端的網(wǎng)絡(luò)結(jié)構(gòu)，采用回歸思想，在整張圖片信息的基礎(chǔ)上進行預(yù)測，在速度上超越了其他的滑窗式算法。相比于YOLO 系列的初期版本YOLOv1 和YOLOv2，YOLOv3［16］堆疊多層卷積結(jié)構(gòu)，借鑒多種算法，進行多種改進，使得檢測效果在速度和精度上都能保持高水準。

YOLOv3 的特征提取網(wǎng)絡(luò)Darknet-53 借鑒了Resnet［17］，引入了殘差模型（Residual Block），殘差基本單元是由1×1 和3×3 的卷積構(gòu)成的，其結(jié)構(gòu)如圖1 所示，這種結(jié)構(gòu)減少了網(wǎng)絡(luò)層數(shù)過深時梯度消失的風險，加強了網(wǎng)絡(luò)的學(xué)習能力。Darknet 由多組1×1 和3×3 卷積層構(gòu)成，在一定程度上減少了參數(shù)量和計算量，而且深層的網(wǎng)絡(luò)結(jié)構(gòu)，能更好地表達特征，有助于提高檢測效果。

圖1 YOLOv3的殘差基本單元

YOLOv3 還借鑒了FPN（Feature Pyramid Networks）［18］，利用多尺度融合在大中小三個尺度上進行目標檢測。淺層特征中幾何特征豐富，深層特征中語義特征豐富，三個尺度互為補充，使得檢測效果更好。YOLOv3 簡要的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，先采用Darknet-53 網(wǎng)絡(luò)提取特征，再運用多尺度檢測，在三個尺度上進行回歸檢測。

圖2 YOLOv3的簡要網(wǎng)絡(luò)結(jié)構(gòu)

2.3 網(wǎng)絡(luò)總結(jié)構(gòu)

利用深度學(xué)習進行火災(zāi)檢測時，常使用火災(zāi)中產(chǎn)生的煙霧和火焰作為檢測目標。在獲取的火災(zāi)視頻中，火災(zāi)圖像表現(xiàn)為RGB 形式，展示了火災(zāi)區(qū)域的顏色、紋理、輪廓等特征。僅僅使用圖像上表現(xiàn)的特征用作檢測很容易與相似的目標發(fā)生混淆。火災(zāi)視頻是時間軸上每一幀靜態(tài)火災(zāi)圖像的有序排列，從中提取的光流體現(xiàn)了動態(tài)信息。本文將光流圖像和RGB 圖像進行像素級融合，同時獲取靜態(tài)信息和動態(tài)信息。與背景區(qū)域的光流特征相比，火災(zāi)區(qū)域的光流特征在像素上的R、G、B 值普遍偏高，為了增強可視化效果，此處將RGB 圖像和光流圖像以一定的加權(quán)比例融合。然后利用YOLOv3 網(wǎng)絡(luò)提取煙霧和火焰的深層次特征，其結(jié)構(gòu)示意圖如圖3所示，從相鄰RGB圖像中提取出光流之后，火災(zāi)區(qū)域有別于背景區(qū)域，顯示出不同的色彩紋理。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.4 遷移學(xué)習

遷移學(xué)習是一種機器學(xué)習方法，從目標檢測任務(wù)的相關(guān)性出發(fā)，能夠?qū)⒃诖笮蛿?shù)據(jù)集中學(xué)習到的知識遷移到數(shù)據(jù)量偏小的數(shù)據(jù)集中［19］。建立深度學(xué)習下的火災(zāi)檢測模型需要龐大的數(shù)據(jù)以及與之對應(yīng)的人工標注，但是現(xiàn)有的火災(zāi)數(shù)據(jù)集沒有統(tǒng)一標準，數(shù)據(jù)量偏小，很容易過擬合，影響模型的檢測能力?，F(xiàn)有的目標檢測任務(wù)以大型數(shù)據(jù)集作支撐，如ImageNet 數(shù)據(jù)集、COCO 數(shù)據(jù)集等。這些數(shù)據(jù)集中的各種目標類別豐富、數(shù)量龐大。雖然這些數(shù)據(jù)和火災(zāi)的表征特征不是完全一樣，但是深度學(xué)習是針對圖片本身提取邊緣、紋理等特征，這種特征提取的能力具備普適性，對于火災(zāi)檢測有借鑒的空間。

3 實驗與分析

3.1 實驗數(shù)據(jù)集

利用仿建的船舶艙室，分別點燃木材、電纜等船用物品，模擬單個船舶艙室發(fā)生火災(zāi)的情形，同時使用攝像機記錄過程。由于數(shù)據(jù)量偏少，還使用了網(wǎng)絡(luò)上公開的火災(zāi)視頻數(shù)據(jù)，雖然其場景與船舶艙室不同，但是火災(zāi)表現(xiàn)出的特征是一樣的，仍可用于訓(xùn)練。本文實驗中使用的其余視頻數(shù)據(jù)，分別來自土耳其比爾肯特大學(xué)數(shù)據(jù)集、意大利薩萊諾大學(xué)數(shù)據(jù)集、韓國啟明大學(xué)數(shù)據(jù)集、中國科學(xué)技術(shù)大學(xué)火災(zāi)科學(xué)國家重點實驗室數(shù)據(jù)集［20］以及部分在網(wǎng)絡(luò)上搜集的火災(zāi)視頻數(shù)據(jù)。

從視頻數(shù)據(jù)集中挑選不同場景下的火災(zāi)視頻80 段，分別提取含有火災(zāi)目標的部分視頻幀，每隔五幀進行光流提取，最終共獲得3000 張的RGB 圖像以及相應(yīng)的光流圖像。在訓(xùn)練模型之前進行RGB圖像與光流圖像的融合，為了增加模型的魯棒性，加權(quán)融合比例在0.3~0.7 內(nèi)隨機選取。經(jīng)處理后采用LabelImage 軟件對數(shù)據(jù)集進行標記，并隨機選取80%作為訓(xùn)練集，其余20%作為測試集。由于數(shù)據(jù)集容量偏小，為了防止過擬合問題，采用隨機縮放、翻轉(zhuǎn)、色域扭曲等數(shù)據(jù)增強方法對原始數(shù)據(jù)集進行擴展。同時在訓(xùn)練過程中采用遷移學(xué)習方法，利用YOLOv3 在COCO 數(shù)據(jù)集上的預(yù)訓(xùn)練模型作為源域，遷移到火災(zāi)檢測領(lǐng)域，凍結(jié)YOLOv3 網(wǎng)絡(luò)的前端參數(shù)進行再訓(xùn)練。

3.2 實驗結(jié)果與分析

本文的實驗環(huán)境為Ubuntu 18.04系統(tǒng)、內(nèi)存Intel Core i7-8700K、圖形處理器GeForce GTX 1080、深度學(xué)習框架Keras。

本文采用平均精度均值（mean Average Precision，mAP）衡量模型性能，此外，計算了對于單張圖片的處理時間，以原始視頻幀為處理對象，計算單張圖像的處理時間，對火災(zāi)的實時檢測有一定的借鑒意義。

分別使用YOLOv3、Faster R-CNN［21］以及本文算法進行火災(zāi)檢測。實驗結(jié)果如表1 所示。本文算法相較于原始的YOLOv3 算法，模型檢測能力沒有明顯區(qū)別，對于煙霧的檢測性能略好一些。Faster R-CNN 在煙霧檢測模型上表現(xiàn)最優(yōu)，但是速度遠遠落后于另外兩種算法。本文算法由于需要進行光流的處理占據(jù)了一定的計算資源，因此耗費時間略長。在火災(zāi)的發(fā)展過程中，火災(zāi)區(qū)域是隨著時間不斷變化的，對視頻進行近距離的抽幀檢測并不影響對火災(zāi)結(jié)果的判斷，因此可以滿足實時檢測的需求。

表1 不同算法的對比結(jié)果

部分圖像的檢測效果如圖4 所示，圖4（a）、（b）、（c）分別為使用YOLOv3 算法、Faster R-CNN算法以及本文算法的檢測效果，都能夠準確地檢測火災(zāi)區(qū)域。在本文算法中，由于煙霧和火焰在圖像上的流動性，使得捕獲的火災(zāi)圖像中增添了顏色的多樣性。考慮以上信息，在火災(zāi)檢測中使用YOLOv3是比較好的方式。

圖4 三種算法下的檢測效果

為驗證算法在實際視頻處理中的性能，另取6段與訓(xùn)練集數(shù)據(jù)不同的視頻，進行進一步的分析，所取視頻如圖5 所示。圖5（a）、（b）為煙霧視頻，圖5（c）、（d）為火焰視頻，圖5（e）、（f）則為人員燈光干擾、車輛干擾下的干擾視頻。此處僅采用YOLOv3算法和本文算法進行驗證。

圖5 檢測視頻

對視頻均選取部分片段并以每兩幀的方式進行檢測，利用真陽性率TPR（True Positive Rate）以及真陰性率TNR（True Negative Rate）來評判算法性能，檢測結(jié)果如表2 所示，不可獲得的數(shù)據(jù)用“-”表示。從對比結(jié)果來看，本文算法的檢測率和誤報率綜合較優(yōu)。相較于原始的YOLOv3 算法，本文算法針對煙霧部分有明顯的改善作用。煙霧在RGB模式下有不同的顏色形式，多為灰白色、灰黑色，增加了光流的比例后，增強了目標區(qū)域的特征表達，使之更容易被檢測出。一般情況下占據(jù)視頻畫面較大的火焰本身顏色較為突出，增加光流的部分對于此類火焰沒有大的提升空間，但是針對于小區(qū)域顏色不明顯的火焰有一定的增強特征表達的作用。本文算法能有效識別火災(zāi)目標，抗干擾能力強，不易受人員、燈光、車輛等干擾影響。

表2 視頻檢測結(jié)果對比

4 結(jié)語

船舶的消防安全是重要問題，一旦發(fā)生火災(zāi)，要盡早發(fā)現(xiàn)火情。圖像檢測方案專注于圖像本身所表達的信息，而視頻檢測方案額外增添了運動信息，煙霧和火焰初期在小范圍內(nèi)蔓延，具有豐富的運動信息?；赮OLOv3 網(wǎng)絡(luò)，提出了一種融合靜態(tài)信息和運動信息的火災(zāi)視頻檢測方法。建立火災(zāi)視頻數(shù)據(jù)集，提取幀內(nèi)特征來獲取靜態(tài)信息，提取光流特征來尋找?guī)g目標運動信息，并利用遷移訓(xùn)練方法，采用YOLOv3 算法達成目標檢測。實驗結(jié)果表明，該方法能夠有效減少視頻檢測中煙霧和火焰的誤檢，保證火災(zāi)的識別精度，抽幀檢測時能夠滿足實時檢測的需求，綜合性能較優(yōu)。