YOLOv5上融合多特征的實(shí)時(shí)火焰檢測(cè)方法

張大勝 肖漢光 文 杰 徐 勇

目前的火焰監(jiān)測(cè)主要使用煙霧傳感器與溫度傳感器[1].傳統(tǒng)火焰?zhèn)鞲衅鲬{借廉價(jià)、易用的優(yōu)勢(shì)被廣泛應(yīng)用，然而此類傳感器僅限于小型封閉式空間，無(wú)法滿足大空間和室外等場(chǎng)景下的火焰檢測(cè).近年來(lái)，隨著視頻攝像頭的廣泛使用和圖像處理技術(shù)的快速發(fā)展，基于視頻監(jiān)控的火焰檢測(cè)技術(shù)被廣泛應(yīng)用于安防領(lǐng)域[2].相比傳統(tǒng)火焰?zhèn)鞲衅?，視頻火焰檢測(cè)技術(shù)具有識(shí)別速度較快、泛化能力較強(qiáng)等優(yōu)勢(shì).

傳統(tǒng)的火焰檢測(cè)方法主要依賴于多特征融合，通過(guò)提取火焰的靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行判識(shí).Prema等[3]分析森林場(chǎng)景中火焰的顏色空間和紋理，基于YCbCr顏色空間獲取火焰區(qū)域，并通過(guò)混合紋理特征檢測(cè)候選火焰區(qū)域.Zhu等[4]使用梯度特征(Gradient Features)表示RGB通道中的顏色變化，并應(yīng)用支持向量機(jī)和決策樹(shù)模型判斷火焰區(qū)域，但該模型對(duì)光照強(qiáng)度敏感，泛化性能較差.Chen等[5]提出基于RGB顏色模型的聚類方法，獲取疑似火焰區(qū)域，再提取火焰閃爍頻率，判別是否為火焰, 但在火災(zāi)初始階段假陽(yáng)率較高，實(shí)時(shí)性能不佳.Zhang等[6]提出基于RGB和HIS的色彩空間模型，提取疑似火焰區(qū)域，并結(jié)合三幀差分法和ViBe背景差分算法識(shí)別火焰.上述火焰檢測(cè)方法在一定程度上能有效檢測(cè)火焰，但存在大量誤檢和漏檢，火焰檢測(cè)速度較慢.

近年來(lái)，深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域取得突破性進(jìn)展，目標(biāo)檢測(cè)的精確度和效率都得到大幅提升[7-8].Muhammad等[9]提出基于GoogleNet架構(gòu)的高效卷積神經(jīng)網(wǎng)絡(luò)模型，但火焰檢測(cè)時(shí)誤報(bào)率較高.Cai等[10]提出基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)方法，使用全局平均池化代替全連接層，防止模型過(guò)擬合并提高檢測(cè)速度，但未在大型公開(kāi)火焰數(shù)據(jù)集上進(jìn)行驗(yàn)證.Kim等[11]提出基于深度學(xué)習(xí)的火焰檢測(cè)方法，采用Faster R-CNN(Faster Region-Based Convolutional Neural Network)[12]檢測(cè)可疑火焰區(qū)域后，再利用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-Short Term Me-mory Neural Network, LSTM)[13]進(jìn)行分類，但網(wǎng)絡(luò)參數(shù)量過(guò)大，檢測(cè)速度較慢.Muhammad等[14]提出較小卷積核且較低計(jì)算量的卷積神經(jīng)網(wǎng)絡(luò)(Convo-lutional Neural Network， CNN)架構(gòu)，實(shí)現(xiàn)檢測(cè)速度的提升.Wang等[15]提出基于火焰顏色特征和運(yùn)動(dòng)特征的兩階段火焰檢測(cè)方法，使用幀差法和顏色閾值確定火焰區(qū)域，再對(duì)火焰區(qū)域進(jìn)行二次判識(shí)，但無(wú)法實(shí)時(shí)檢測(cè)火焰.白巖等[16]運(yùn)用運(yùn)動(dòng)學(xué)理論、特征提取、CNN等方法，克服傳統(tǒng)方法對(duì)室內(nèi)煙霧和火焰識(shí)別不準(zhǔn)確的缺點(diǎn)，但缺少足夠的火焰訓(xùn)練數(shù)據(jù)供給模型學(xué)習(xí)，導(dǎo)致泛化能力不強(qiáng).Chaoxia等[17]提出信息引導(dǎo)的火焰檢測(cè)方法，采用并行網(wǎng)絡(luò)生成圖像全局信息，并改進(jìn)Faster R-CNN,執(zhí)行火焰檢測(cè)，但R-CNN(Region CNN)[18]和GIN(Global Informa-tion Network)共享特征圖時(shí)計(jì)算量較大，方法難以滿足實(shí)際應(yīng)用需求.Choueiri等[19]提出基于人工神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)方法，借助傳感器輔助估計(jì)火焰.Zhang等[20]提出改進(jìn)的特征提取方法，利用火焰的形態(tài)特征(如圓度、矩形)消除干擾，但在火焰早期檢測(cè)精度較低.Saponara等[21]提出基于YOLOv2(YOLO9000: Better, Faster, Stronger)[22]的實(shí)時(shí)視頻火焰檢測(cè)方法，并部署在低成本的嵌入式設(shè)備，但精度仍有待提高.Shahid等[23]通過(guò)時(shí)空網(wǎng)絡(luò)結(jié)合火焰形狀和運(yùn)動(dòng)頻閃特征獲得候選區(qū)，再利用分類器對(duì)火焰候選區(qū)域進(jìn)行二次甄別.李欣健等[24]使用深度可分離卷積設(shè)計(jì)輕量化火焰檢測(cè)方法，實(shí)現(xiàn)準(zhǔn)確性和速度的提升，但疑似火焰誤報(bào)問(wèn)題仍有待進(jìn)一步改善.Xu等[25]提出集成學(xué)習(xí)方法檢測(cè)森林火焰，采用集成模型綜合得分判識(shí)火焰，在一定程度上降低誤報(bào)率，但網(wǎng)絡(luò)結(jié)構(gòu)十分復(fù)雜，導(dǎo)致檢測(cè)速度較慢.

YOLOv5(You Only Look Once Version5)輕量、靈活、易用，是當(dāng)前通用的目標(biāo)檢測(cè)算法之一.文獻(xiàn)[26]采用縮放、色彩空間調(diào)整和Mosaic數(shù)據(jù)增強(qiáng)策略，其中Mosaic數(shù)據(jù)增強(qiáng)將4幅圖像以隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)分布方式進(jìn)行拼接.主干網(wǎng)絡(luò)使用CSPNet(Cross Stage Partial Network)[26]，從圖像中提取豐富的特征信息.YOLOv5憑借較強(qiáng)的靈活性和較高的推理速度，被應(yīng)用于不同對(duì)象的檢測(cè)中,但由于火焰數(shù)據(jù)樣本不均衡、對(duì)光照變化敏感、容易受背景干擾等因素，火焰識(shí)別率較低且存在大量真實(shí)火焰漏檢和疑似火焰誤檢的問(wèn)題，該模型無(wú)法直接應(yīng)用于火焰檢測(cè).

為了解決上述問(wèn)題，本文提出YOLOv5融合多特征的實(shí)時(shí)火焰檢測(cè)方法.在YOLOv5中引入Focal Loss損失函數(shù)[27],解決火焰檢測(cè)中正負(fù)樣本嚴(yán)重失衡的問(wèn)題.同時(shí)為了解決GIoU(Generalized Intersec-tion over Union)收斂較慢的問(wèn)題，并提高回歸精度，利用CIoU(Complete Intersection over Union)損失函數(shù)[28]，進(jìn)一步加速收斂并提升性能.結(jié)合火焰靜態(tài)特征和動(dòng)態(tài)特征，對(duì)候選火焰區(qū)域進(jìn)行二次判別.對(duì)YOLOv5檢測(cè)結(jié)果區(qū)域進(jìn)行顏色特征、相鄰幀差和時(shí)序信息分析，在一定程度上消除由于環(huán)境光照變化和易混疑似背景干擾引起的誤報(bào)，實(shí)現(xiàn)實(shí)時(shí)高效的火焰檢測(cè)方法.針對(duì)火焰數(shù)據(jù)集缺少的問(wèn)題，建立大型高質(zhì)量的十萬(wàn)量級(jí)火焰數(shù)據(jù)集(http://www.yongxu.org/databases.html)，采集大量不同場(chǎng)景下的火焰圖像，提升數(shù)據(jù)的多樣性.最后，在多個(gè)公開(kāi)火焰數(shù)據(jù)集上評(píng)估方法，實(shí)驗(yàn)表明，本文方法不僅有效降低誤報(bào)率，而且擁有實(shí)時(shí)檢測(cè)的速度.

1 YOLOv5融合多特征的實(shí)時(shí)火

焰檢測(cè)方法

自然場(chǎng)景下的火焰檢測(cè)任務(wù)主要存在如下3個(gè)困難：1)由于火焰訓(xùn)練數(shù)據(jù)集存在正負(fù)樣本、難易樣本極度不均衡問(wèn)題，同時(shí)實(shí)現(xiàn)低誤報(bào)率與低漏報(bào)率是一個(gè)很大的挑戰(zhàn).在應(yīng)用深度網(wǎng)絡(luò)進(jìn)行火焰檢測(cè)時(shí)，仍存在收斂效率與火焰檢測(cè)精度不高的問(wèn)題.2)火焰的紋理、尖角、邊緣、頻閃等特征具有多樣性和不確定性，并且現(xiàn)實(shí)世界中存在大量易混疑似火焰圖像，基于單一模型的火焰檢測(cè)方法無(wú)法有效剔除并解決問(wèn)題.3)自然場(chǎng)景中火焰易受光照強(qiáng)度變化、天氣情況的改變、易混疑似背景等因素的干擾，YOLOv5無(wú)法適應(yīng)全天候?qū)崟r(shí)火焰檢測(cè).

為了解決上述問(wèn)題，本文設(shè)計(jì)YOLOv5融合多特征的實(shí)時(shí)火焰檢測(cè)方法，總體流程如圖1所示.

圖1 本文方法總體流程Fig.1 Flow chart of the proposed method

本文方法首先利用改進(jìn)的YOLOv5進(jìn)行火焰的初步檢測(cè)，得出候選火焰區(qū)域.然后利用設(shè)計(jì)的誤報(bào)剔除策略和視頻序列的信息,去除候選火焰區(qū)域中存在的虛假火焰區(qū)域，最終保留的火焰區(qū)域被認(rèn)為是真正的火焰區(qū)域.誤報(bào)剔除策略同時(shí)利用火焰的動(dòng)態(tài)信息與靜態(tài)顏色信息，具體包括視頻中對(duì)應(yīng)候選火焰區(qū)域的幀差時(shí)序信息及RGB與HIS顏色空間中的信息.方法涉及的深度網(wǎng)絡(luò)與模型訓(xùn)練及應(yīng)用的流程如圖2所示.

圖2 深度網(wǎng)絡(luò)、模型訓(xùn)練及應(yīng)用流程Fig.2 Flow chart of deep network, model training and model application

1.1 候選火焰區(qū)域檢測(cè)

類別不均衡是影響火焰檢測(cè)模型精度的一大難點(diǎn),其中最嚴(yán)重的是正負(fù)樣本不均衡問(wèn)題，因?yàn)橐环鹧鎴D像中前景、背景類別極度不平衡，只有很少一部分包含真實(shí)火焰.易分負(fù)樣本過(guò)多會(huì)主導(dǎo)梯度和損失，導(dǎo)致模型進(jìn)行無(wú)效學(xué)習(xí)，不能較好地學(xué)習(xí)檢測(cè)火焰區(qū)域.針對(duì)火焰檢測(cè)的特點(diǎn)，為了緩解正負(fù)樣本不均衡的問(wèn)題并充分利用困難樣本的信息，在YOLOv5網(wǎng)絡(luò)中使用Focal Loss損失函數(shù)和CIoU損失函數(shù)，最大程度辨識(shí)真實(shí)火焰區(qū)域.

Focal Loss損失函數(shù)基于標(biāo)準(zhǔn)交叉熵?fù)p失，能動(dòng)態(tài)調(diào)整訓(xùn)練過(guò)程中簡(jiǎn)單樣本的權(quán)重，使模型更專注于困難樣本.標(biāo)準(zhǔn)交叉熵可表示為

其中,p表示預(yù)測(cè)樣本屬于1的概率，y表示類別標(biāo)簽，取值為±1.為了解決類別不均衡問(wèn)題，引入權(quán)重因子α，定義

則均衡交叉熵(α-balancedCE) 可表示為

CE(pt)=-αtlnpt.

雖然α能平衡正負(fù)樣本，但不能區(qū)分難易樣本.Focal Loss降低簡(jiǎn)單樣本的權(quán)重，并專注于對(duì)困難樣本的訓(xùn)練,具體可表示為

FL(pt)=-αt(1-pt)γlnpt.

其中：αt表示樣本權(quán)重，用于平衡正負(fù)樣本，解決樣本的不平衡問(wèn)題；(1-pt)γ表示調(diào)節(jié)因子，減少簡(jiǎn)單樣本對(duì)損失函數(shù)的影響，使模型專注于難分類的樣本，解決難易樣本不平衡的問(wèn)題.

本文引入改進(jìn)標(biāo)準(zhǔn)的二元交叉熵?fù)p失函數(shù)，控制對(duì)正負(fù)樣本的訓(xùn)練，消除由于火焰數(shù)據(jù)正負(fù)樣本比例嚴(yán)重失衡引起的檢測(cè)精度下降的問(wèn)題.

目標(biāo)檢測(cè)模型的損失函數(shù)包括類別損失和位置損失，損失函數(shù)的主要功能是使火焰識(shí)別準(zhǔn)確率更高，定位更精確.YOLOv5采用GIoU Loss計(jì)算邊界框(Bounding Box)回歸損失.GIoU Loss可表示為

其中,A、B表示2個(gè)任意框，C表示2個(gè)框的最小外接矩陣面積.GIoU包含IoU(Intersection over Union)所有的優(yōu)點(diǎn)，同時(shí)克服IoU損失在檢測(cè)框不重疊時(shí)出現(xiàn)的梯度問(wèn)題.但是，由于嚴(yán)重依賴IoU項(xiàng)，GIoU收斂較慢.

為了解決GIoU收斂較慢的問(wèn)題并提高回歸精度，同時(shí)考慮框回歸的三要素(重疊區(qū)域、中心點(diǎn)距離、寬高比)，本文使用CIoU損失函數(shù)，進(jìn)一步加速收斂和提升性能.CIoU損失函數(shù)可表示為

CIoU在IoU損失的基礎(chǔ)上增加懲罰項(xiàng)

為權(quán)重函數(shù)，

度量長(zhǎng)寬比的相似性，wgt、hgt表示真實(shí)框的寬和高，w、h表示預(yù)測(cè)框的寬和高.CIoU參數(shù)信息如圖3所示.

圖3 CIoU參數(shù)示意圖Fig.3 Illustration of CIoU parameters

1.2 誤報(bào)剔除

在不同場(chǎng)景下采集82 443幅真實(shí)火焰數(shù)據(jù)圖像和17 312幅易混疑似火焰數(shù)據(jù)圖像.改進(jìn)的YOLOv5適合對(duì)正樣本火焰的檢測(cè).負(fù)樣本包括室內(nèi)外各種光照強(qiáng)度、不同天氣情況和易混疑似背景等場(chǎng)景，檢測(cè)結(jié)果存在較多誤檢情況，必須通過(guò)后處理機(jī)制進(jìn)一步剔除誤報(bào).

本文基于模型檢測(cè)得出的候選火焰區(qū)域進(jìn)行后處理，提取火焰顏色特征、運(yùn)動(dòng)特征和多幀時(shí)序信息并進(jìn)一步過(guò)濾，使用火焰靜/動(dòng)態(tài)特征剔除誤檢目標(biāo)后，最終得到置信度較高的火焰區(qū)域.本文同時(shí)發(fā)現(xiàn)，限定適量疑似易混火焰圖像作為負(fù)樣本，能有效增強(qiáng)算法的魯棒性和準(zhǔn)確性.

1.2.1火焰顏色梯級(jí)策略

基于火焰獨(dú)有的顏色特征，結(jié)合Chen等[29]提出的RGB和HIS判斷依據(jù)，對(duì)模型檢測(cè)截取的候選火焰區(qū)域進(jìn)行二次篩選判別，提高火焰檢測(cè)方法整體準(zhǔn)確度.RGB和HIS約束規(guī)則可表示如下：

Rule1R≥G>B;

Rule2R>RT,RT∈[115,135];

其中:RT表示紅色分量閾值，ST表示飽和度閾值.選擇合適的閾值條件至關(guān)重要,本文將RT紅色分量閾值設(shè)為115，ST飽和度閾值設(shè)為60.先利用RGB和HIS約束規(guī)則篩選候選火焰截圖，再將圖像進(jìn)行二值化處理，并通過(guò)中值濾波消除噪聲干擾，使用形態(tài)學(xué)膨脹操作連接相鄰元素，最后得到火焰輪廓區(qū)域.

火焰顏色特征提取流程如圖4所示.顏色模型輪廓檢測(cè)結(jié)果如圖5所示.

圖4 火焰顏色特征提取流程Fig.4 Fire color feature extraction process

(a)真實(shí)火焰輪廓1 (b)真實(shí)火焰輪廓2(a)Real fire contour 1 (b)Real fire contour 2

研究顏色特征輪廓區(qū)域圖發(fā)現(xiàn)，對(duì)于改進(jìn)的YOLOv5檢測(cè)結(jié)果截取后的候選火焰區(qū)域圖像，真實(shí)火焰圖像顏色輪廓面積與候選區(qū)域總面積占比較高，且誤報(bào)火焰圖像占比極低.本文根據(jù)顏色輪廓面積與候選區(qū)域總面積占比大小，建立顏色梯級(jí)模型.通過(guò)實(shí)驗(yàn)選擇合適閾值對(duì)不同梯級(jí)占比進(jìn)行抑揚(yáng)，剔除部分誤報(bào)疑似火焰.選取22 231幅真實(shí)火焰圖像和1 914幅誤報(bào)火焰圖像進(jìn)行實(shí)驗(yàn)，最終得出合理的占比高低閾值(0.2和0.05).當(dāng)占比大于上限閾值時(shí)，認(rèn)為存在真實(shí)火焰，并進(jìn)行置信度增強(qiáng).當(dāng)占比小于下限閾值時(shí)，認(rèn)為不存在火焰，并進(jìn)行置信度削弱，抑制疑似火焰圖像誤檢.不同的顏色輪廓占比閾值對(duì)應(yīng)的誤報(bào)統(tǒng)計(jì)結(jié)果如表1所示.

由表1可見(jiàn)，當(dāng)輪廓占比閾值取0.05時(shí)，誤報(bào)率為0.106，能達(dá)到誤報(bào)和漏報(bào)的折衷.因此，當(dāng)顏色輪廓占比低于0.05時(shí)，對(duì)其置信度進(jìn)行梯級(jí)抑制.由于大多數(shù)真實(shí)火焰圖像顏色輪廓占比高于0.2,對(duì)其置信度進(jìn)行梯級(jí)增強(qiáng).通過(guò)火焰顏色梯級(jí)策略，能較好地抑制疑似火焰圖像誤檢，最終達(dá)到提升本文方法在自然場(chǎng)景下檢測(cè)精度的效果.

表1 不同顏色輪廓占比閾值的誤報(bào)統(tǒng)計(jì)信息Table 1 False positive statistics for different color contour percentage thresholds

1.2.2火焰區(qū)域運(yùn)動(dòng)特征策略

在火焰檢測(cè)中存在大量誤檢的靜止目標(biāo)，該類目標(biāo)與真實(shí)火焰具有相似的顏色、形狀、尖角和紋理等特征，但不具備運(yùn)動(dòng)趨勢(shì).然而，由于火焰本身的特點(diǎn)，火焰在燃燒過(guò)程中總有運(yùn)動(dòng)趨勢(shì)，因此可對(duì)改進(jìn)的YOLOv5檢測(cè)的候選火焰區(qū)域進(jìn)行運(yùn)動(dòng)檢測(cè)，剔除靜止目標(biāo)誤檢.

幀差法[30]是較常見(jiàn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，具有運(yùn)行速度較快，對(duì)環(huán)境光照變化不敏感等優(yōu)勢(shì).本文通過(guò)對(duì)視頻圖像中連續(xù)N幀圖像進(jìn)行差分運(yùn)算，獲得運(yùn)動(dòng)目標(biāo)的輪廓.由于候選火焰區(qū)域背景基本靜止不變，只有當(dāng)出現(xiàn)火焰目標(biāo)運(yùn)動(dòng)時(shí)，相鄰幀圖像間才會(huì)出現(xiàn)明顯的差別，因此可分析物體的運(yùn)動(dòng)特征，具體公式如下:

其中，D(x,y)表示連續(xù)兩幀間差分圖像，I(t-1)、I(t)表示前后幀圖像，Threshold表示差分圖像二值化時(shí)閾值.

本文使用相鄰幀差法進(jìn)行運(yùn)動(dòng)檢測(cè)，對(duì)當(dāng)前候選火焰區(qū)域與前一幀候選火焰區(qū)域進(jìn)行差分運(yùn)算，獲得運(yùn)動(dòng)目標(biāo)輪廓總面積.若輪廓總面積不小于Tarea，符合火焰運(yùn)動(dòng)特征，否則剔除當(dāng)前靜態(tài)目標(biāo)誤檢.實(shí)驗(yàn)中N=2，Tarea=300.

1.2.3火焰視頻多幀時(shí)序策略

針對(duì)視頻火焰數(shù)據(jù)，為了充分挖掘視頻前后幀時(shí)序信息，提高火焰檢測(cè)準(zhǔn)確率并有效降低誤報(bào)率，基于統(tǒng)計(jì)濾波的思想，本文提出多幀時(shí)序信息策略.多幀時(shí)序策略類似于一個(gè)面向分類的“級(jí)聯(lián)過(guò)濾器”，即只有在連續(xù)的多個(gè)幀都判別為火焰時(shí)，才認(rèn)為視頻中存在“真正的”火焰，這樣可有效應(yīng)對(duì)深度模型產(chǎn)生的火焰誤報(bào).

計(jì)算前K-1幀與當(dāng)前幀圖像置信度均值，作為當(dāng)前幀最終得分，利用火焰多幀置信度平均法，有效降低異常疑似火焰的單幀誤報(bào).多幀策略能有效抑制單幀疑似火焰誤報(bào)，并顯著提高真實(shí)火焰置信度.多幀時(shí)序均值如下所示:

其中，Confn表示視頻中第n幀圖像置信度，K表示進(jìn)行平均的幀數(shù)，threshold表示判定為真實(shí)火焰的閾值.第1個(gè)公式為初始化前K-1幀圖像置信度等于真實(shí)火焰閾值.在第2個(gè)公式中，當(dāng)前幀判定為非火焰時(shí)，設(shè)置其前K-2幀圖像置信度為0，當(dāng)前幀判定為火焰時(shí)，利用多幀時(shí)序信息設(shè)置當(dāng)前幀置信度為當(dāng)前幀與前K-1幀的均值.

多幀時(shí)序策略流程如圖6所示.該策略充分挖掘多幀間時(shí)序信息，利用多幀置信度平均法，能有效過(guò)濾非連續(xù)單幀誤報(bào)，并提升連續(xù)多幀真實(shí)火焰的檢測(cè).實(shí)驗(yàn)中K=3.

圖6 多幀時(shí)序策略流程圖Fig.6 Flow chart of multi-frame strategy

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)中使用的平臺(tái)是AMD R7-5800H 3.2 GHz和NVIDIA GeForce RTX 2060(6 GB獨(dú)顯).實(shí)驗(yàn)開(kāi)發(fā)環(huán)境為Python，火焰檢測(cè)模型由PyTorch框架構(gòu)建.

2.1 大規(guī)?；鹧鏀?shù)據(jù)集構(gòu)建

在計(jì)算機(jī)視覺(jué)領(lǐng)域，數(shù)據(jù)集發(fā)揮重要作用，數(shù)據(jù)驅(qū)動(dòng)模型.大規(guī)模、高質(zhì)量、多場(chǎng)景的標(biāo)注數(shù)據(jù)集有助于充分釋放模型性能.然而，由于數(shù)據(jù)集采集和數(shù)據(jù)標(biāo)注需要昂貴的人力成本，目前公開(kāi)可用的火焰數(shù)據(jù)集相對(duì)較少.因此，本文構(gòu)建一個(gè)大規(guī)模、高質(zhì)量的火焰數(shù)據(jù)集，包括遠(yuǎn)距離、多目標(biāo)、小目標(biāo)、不同光照條件、黑夜條件下的82 443幅真實(shí)火焰圖像和17 312幅易混疑似火焰圖像.為了保證數(shù)據(jù)集規(guī)范化，本文對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)一格式化命名并逐幅標(biāo)注.

為了得到不同質(zhì)量火焰數(shù)據(jù)，通過(guò)篩選分類將數(shù)據(jù)集分為best(優(yōu)質(zhì)火焰)、good(良好火焰)、normal(一般火焰)、special(特殊火焰)、nofire(易混火焰)5類，其中易混火焰用作負(fù)樣本訓(xùn)練模型.

本文使用收集的部分?jǐn)?shù)據(jù)訓(xùn)練模型，使用剩余數(shù)據(jù)驗(yàn)證模型性能.應(yīng)用數(shù)據(jù)集上標(biāo)注的5類數(shù)據(jù)，不僅可充分測(cè)試模型性能，而且有利于觀察模型在不同情況下的表現(xiàn)，并據(jù)此對(duì)模型進(jìn)行有針對(duì)性的進(jìn)一步訓(xùn)練，降低模型的誤報(bào)率和漏報(bào)率.同時(shí)，本文發(fā)現(xiàn)，建立火焰檢測(cè)數(shù)據(jù)集時(shí)，負(fù)樣本限定為疑似火焰圖像是一個(gè)較好的辦法，有利于訓(xùn)練出結(jié)果更優(yōu)的模型和方法.

2.1.1火焰圖像采集

在火焰圖像采集過(guò)程中，為了確保訓(xùn)練數(shù)據(jù)集的多樣性和豐富性，提高模型泛化性能，本文收集不同來(lái)源的火焰圖像.同時(shí)為了有效降低誤報(bào)率，收集大量容易混淆的疑似火焰圖像作為負(fù)樣本.數(shù)據(jù)集主要來(lái)源包括公開(kāi)視頻集(MIVIA[2]、KMU CVPR Lab Fire[31]、Bilkent University火焰視頻庫(kù)、Ultimate Chase視頻火焰數(shù)據(jù)集)、Corsician Fire數(shù)據(jù)集、BoWFire數(shù)據(jù)集[32]、MS COCO2014數(shù)據(jù)集、互聯(lián)網(wǎng)火焰圖像數(shù)據(jù)集(百度、谷歌)、自建火焰圖像數(shù)據(jù)集.該數(shù)據(jù)集以自建火焰圖像為主，詳細(xì)統(tǒng)計(jì)信息如表2所示.

表2 數(shù)據(jù)集詳細(xì)統(tǒng)計(jì)信息Table 2 Detailed information of datasets

本文在不同場(chǎng)景和不同天氣與光照情況下拍攝71 523幅真實(shí)火焰的圖像，注重小目標(biāo)火焰圖像的采集.這些圖像可用于提升模型的泛化性能和魯棒性.真實(shí)火焰數(shù)據(jù)集樣本如圖7所示，包括實(shí)地拍攝圖像與收集的火焰圖像.

由圖7可知，本文提出的火焰數(shù)據(jù)集場(chǎng)景豐富,質(zhì)量較高.在火焰圖像采集過(guò)程中，人工制造火焰并通過(guò)手機(jī)、攝像機(jī)等移動(dòng)設(shè)備拍攝錄制火焰數(shù)據(jù)，再對(duì)視頻數(shù)據(jù)每隔20幀進(jìn)行分幀保存火焰圖像.最終收集到的火焰數(shù)據(jù)集涵蓋室內(nèi)、室外、白天、黑夜、森林、工廠、房屋、池塘、公路、山地等不同場(chǎng)景，較好地?cái)M合不同實(shí)際場(chǎng)景.

(a)森林火災(zāi) (b)電器火焰 (c)房屋火災(zāi) (d)汽車火災(zāi)(a)Forest fire (b)Electrical fire (c)House fire (d)Car fire

同時(shí)為了解決樣本不均衡問(wèn)題和提升模型泛化性能，本文收集17 312幅易混火焰.易混疑似火焰圖像如圖8所示.

針對(duì)負(fù)樣本，本文提出的數(shù)據(jù)集涵蓋朝霞、夕陽(yáng)、汽車尾燈、臥室燈光、路燈、橙色衣物、枯樹(shù)葉等疑似火焰.

(a)朝霞圖像 b)夕陽(yáng)圖像 (c)臥室燈光 (d)客廳光影(a)Morning glow image (b)Sunset image (c)Bedroom lighting (d)Living room lighting

2.1.2火焰圖像標(biāo)注

由于采集的火焰圖像均無(wú)標(biāo)簽數(shù)據(jù)，因此本文使用LabelImg標(biāo)注工具逐一標(biāo)注每幅火焰圖像，并保存成VOC格式.對(duì)于負(fù)樣本圖像，生成YOLO格式空標(biāo)簽并存儲(chǔ)在txt文件中.為了保證82 443幅火焰圖像的一致性和高質(zhì)量，所有標(biāo)簽數(shù)據(jù)都逐一標(biāo)注并手動(dòng)多輪交叉檢查.經(jīng)過(guò)1 800多個(gè)工時(shí)的艱苦工作，完成整個(gè)數(shù)據(jù)集中火焰區(qū)域的精確標(biāo)記.

2.1.3圖像分類篩選

為了驗(yàn)證不同質(zhì)量數(shù)據(jù)集對(duì)方法性能的影響，本文通過(guò)篩選分類，將全部數(shù)據(jù)集分為5類.數(shù)據(jù)集分類統(tǒng)計(jì)信息如表3所示.由表可知，把數(shù)據(jù)集分為5類的同時(shí)，為了保證數(shù)據(jù)集的可擴(kuò)充性，對(duì)所有數(shù)據(jù)集進(jìn)行統(tǒng)一規(guī)范化命名，方便后續(xù)補(bǔ)充豐富數(shù)據(jù)集.

表3 數(shù)據(jù)集分類統(tǒng)計(jì)信息Table 3 Dataset classification statistics

2.2 評(píng)估方法

為了評(píng)估方法性能，本文使用的評(píng)價(jià)指標(biāo)包括精確率(Precision， P)、召回率(Recall， R)、綜合評(píng)價(jià)指標(biāo)(F-Measure)、準(zhǔn)確率(Accuracy， ACC)、誤報(bào)率(False Positive Rate， FPR)、漏報(bào)率(False Negative Rate， FNR).精確率反映模型正確預(yù)測(cè)正樣本精度的能力，召回率反映模型正確預(yù)測(cè)正樣本全度的能力，F(xiàn)-Measure是精確率和召回率的加權(quán)調(diào)和平均.準(zhǔn)確率反映模型判斷正確的能力，誤報(bào)率反映模型正確預(yù)測(cè)正樣本純度的能力，漏報(bào)率反映模型正確預(yù)測(cè)負(fù)樣本純度的能力.精確率、召回率越大，模型性能越優(yōu).誤報(bào)率、漏報(bào)率值越小，模型性能越優(yōu).評(píng)價(jià)指標(biāo)定義如下:

其中,NP表示真實(shí)火焰樣例數(shù)，NN表示非火焰樣例數(shù),TP(True Positive)表示真實(shí)火焰被正確預(yù)測(cè)數(shù)，F(xiàn)N(False Negative)表示真實(shí)火焰被錯(cuò)誤預(yù)測(cè)數(shù)，F(xiàn)P(False Positive)表示非火焰被錯(cuò)誤預(yù)測(cè)數(shù)，TN(True Negative)表示非火焰被正確預(yù)測(cè)數(shù).

2.3 不同公共數(shù)據(jù)集上實(shí)驗(yàn)對(duì)比2.3.1 BoWFire數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

BoWFire數(shù)據(jù)集較小卻十分經(jīng)典，包含大量與真實(shí)火焰高度相似、容易混淆的負(fù)樣本，如夕陽(yáng)、晚霞、強(qiáng)光、夜景等場(chǎng)景.因此檢測(cè)時(shí)具有挑戰(zhàn)性.BoWFire數(shù)據(jù)集樣例信息如圖9所示.

(a)日落余暉 (b)日落美景(a)Sunset afterglow (b)Sunset view

本文選擇如下對(duì)比方法：文獻(xiàn)[9]方法、文獻(xiàn)[14]方法、文獻(xiàn)[17]方法、文獻(xiàn)[29]方法、文獻(xiàn)[32]方法.文獻(xiàn)[9]方法和文獻(xiàn)[14]方法使用SqueezeNet和MobileNet.文獻(xiàn)[17]方法使用Faster R-CNN進(jìn)行檢測(cè).文獻(xiàn)[32]方法整合顏色、紋理特征進(jìn)行檢測(cè).

各方法在BoWFire數(shù)據(jù)集上的性能對(duì)比如表4所示，表中黑體數(shù)字表示最優(yōu)值.由表可知，本文方法在精確率、F-Measure、誤報(bào)率、準(zhǔn)確率等指標(biāo)上優(yōu)于其它方法,在速度方面也較好地達(dá)到實(shí)時(shí)性要求.

表4 各方法在BoWFire數(shù)據(jù)集上的性能對(duì)比Table 4 Performance comparison of different methods on BoWFire dataset

在BoWFire數(shù)據(jù)集的119幅火焰圖像和107幅非火焰圖像上，本文方法漏報(bào)7幅火焰圖像，誤報(bào)4幅非火焰圖像.本文方法具體檢測(cè)效果如圖10所示.

(a)夜景火焰 (b)消防圖像 (c)道路小火焰 (d)屋頂火焰(a)Night scene flame (b)Firefighting (c)Road small flame (d)Roof flame

2.3.2MIVIA數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

MIVIA數(shù)據(jù)集[2]包含從真實(shí)環(huán)境中獲取的31個(gè)視頻.其中前14個(gè)視頻為真實(shí)火焰，包括室外、室內(nèi)、遠(yuǎn)距離、森林等不同場(chǎng)景火焰.后17個(gè)視頻為非火焰數(shù)據(jù)，包含移動(dòng)中的紅色物體、森林煙霧、疑似云朵等干擾信息.MIVIA數(shù)據(jù)集需要申請(qǐng)權(quán)限下載，難以獲得.

本文鑒于MIVIA數(shù)據(jù)集上31個(gè)視頻中27個(gè)來(lái)自土耳其Bilkent大學(xué)火焰視頻庫(kù)，其余4個(gè)視頻由作者拍攝.因此，使用收集自Bilkent大學(xué)的27個(gè)視頻及1個(gè)作者拍攝視頻用于實(shí)驗(yàn).MIVIA數(shù)據(jù)集樣例信息如圖11所示.

(a)庭院火焰 (b)400米外火焰 (c)人為火焰 (d)森林火焰(a)Courtyard flame (b)Flame 400 meters away (c)Artificial flame (d)Forest flame

由圖11可見(jiàn)，MIVIA數(shù)據(jù)集場(chǎng)景豐富,貼切現(xiàn)實(shí)世界,包含庭院火焰(伴隨人員移動(dòng)干擾)、400米遠(yuǎn)距離火焰、山林人為火焰、室內(nèi)小火焰及存在大量云煙、山霧、紅色建筑、暖色強(qiáng)光、移動(dòng)物體干擾下的疑似火焰視頻，檢測(cè)難度較大.

鑒于MIVIA為視頻數(shù)據(jù)集，部分視頻中火焰非連續(xù)存在，因此計(jì)算評(píng)價(jià)指標(biāo)時(shí)，針對(duì)真實(shí)火焰幀數(shù)進(jìn)行統(tǒng)計(jì).

本文對(duì)比文獻(xiàn)[2]方法、文獻(xiàn)[9]方法、文獻(xiàn)[14]方法、文獻(xiàn)[29]方法，具體性能如表5所示，表中黑體數(shù)字表示最優(yōu)值.

由表5可知，本文方法在誤報(bào)率、準(zhǔn)確率等指標(biāo)上優(yōu)于其它方法，但漏報(bào)率略高，主要表現(xiàn)在對(duì)暖色光源、遠(yuǎn)距離火焰檢測(cè)有待提高.

表5 各方法在MIVIA數(shù)據(jù)集上的性能對(duì)比Table 5 Performance comparison of different methods on MIVIA dataset %

本文方法較好地控制疑似火焰誤報(bào)問(wèn)題，目前僅存的個(gè)別誤報(bào)主要是因?yàn)橐伤苹鹧鎴D像顏色、形狀與真實(shí)火焰高度相似.本文方法具體檢測(cè)效果如圖12所示.

(a)庭院火焰 (b)遠(yuǎn)距離火焰 (c)人為火焰 (d)森林火災(zāi)(a)Courtyard flame (b)Long-distance flame (c)Artificial flame (d)Forest fire

2.3.3其它數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

為進(jìn)一步驗(yàn)證模型性能，本文分別在KMU CVPR Lab Fire[31]、Ultimate Chase火焰視頻、自建火焰測(cè)試視頻上進(jìn)行測(cè)試.

KMU CVPR Lab Fire數(shù)據(jù)集包含38個(gè)視頻，分為近距離火焰、近距離煙霧、野火煙霧、疑似火焰煙霧4類.KMU CVPR Lab Fire數(shù)據(jù)集樣例信息如圖13所示.

(a)戶外火焰 (b)夜晚火焰(a)Outdoor flame (b)Night flame

Ultimate Chase火焰視頻包含14個(gè)視頻，12個(gè)為不同場(chǎng)景下的火焰視頻，2個(gè)為易混疑似火焰視頻.火焰視頻包括極端火焰、小船著火、煉油廠火焰、房屋著火、車輛火焰等不同場(chǎng)景.易混疑似火焰視頻包括森林煙霧、太陽(yáng)光疊影、高速公路遠(yuǎn)距離濃煙.Ultimate Chase火焰數(shù)據(jù)集樣例信息如圖14所示.

(a)小船著火 (b)房屋起火(a)Boat on fire (b)House on fire

本文自建測(cè)試火焰數(shù)據(jù)集包括90個(gè)視頻，13個(gè)為監(jiān)控視頻，34個(gè)為實(shí)地拍攝錄制視頻，43個(gè)為網(wǎng)絡(luò)爬取非火焰視頻.監(jiān)控視頻主要來(lái)自高速公路、教學(xué)樓、加油站，火焰視頻主要來(lái)自農(nóng)村實(shí)景拍攝，非火焰視頻主要來(lái)自互聯(lián)網(wǎng)爬取.監(jiān)控視頻、爬取視頻與真實(shí)火焰視頻極度相似.自建測(cè)試火焰數(shù)據(jù)集樣例信息如圖15所示.

(a)黃土火焰 (b)砂礫火焰(a)Loess flame (b)Gravel flame

本文方法在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表6所示,由此驗(yàn)證方法性能較優(yōu).

表6 本文方法在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 6 Experimental results of the proposed method on 3 datasets %

2.4 性能對(duì)比

在自建火焰數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，對(duì)比分析不同模塊對(duì)火焰檢測(cè)誤報(bào)率、漏報(bào)率和準(zhǔn)確率的影響，結(jié)果如表7所示.由表可見(jiàn)，在引入Focal Loss、CIoU Loss后，火焰檢測(cè)誤報(bào)率得到有效抑制，同時(shí)準(zhǔn)確率提升0.2%.

表7 改進(jìn)前后YOLOv5的檢測(cè)性能對(duì)比Table 7 Comparison of detection performance of YOLOv5 before and after improvement %

2.5 結(jié)果分析

綜合2.3節(jié)和2.4節(jié)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文方法在各大公開(kāi)數(shù)據(jù)集上均表現(xiàn)較佳，同時(shí)小目標(biāo)火焰檢測(cè)、實(shí)時(shí)速度均有明顯提升.經(jīng)過(guò)大量實(shí)踐測(cè)試發(fā)現(xiàn)，本文方法在低誤報(bào)、低漏報(bào)下較好地滿足實(shí)時(shí)性要求，火焰檢測(cè)速度可達(dá)25幀/秒，并支持8路攝像頭實(shí)時(shí)并行火焰檢測(cè).本文方法在不同場(chǎng)景下均表現(xiàn)出強(qiáng)大的實(shí)時(shí)火焰檢測(cè)性能.

3 結(jié) 束 語(yǔ)

本文提出在YOLOv5上融合多特征的實(shí)時(shí)火焰檢測(cè)方法.在各公認(rèn)的火焰測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)證實(shí)本文方法的有效性和優(yōu)越性，不僅可有效降低誤報(bào)率，而且能提高小目標(biāo)火焰檢測(cè)率.

此外，針對(duì)公開(kāi)火焰數(shù)據(jù)集規(guī)模較小和現(xiàn)有方法火焰檢測(cè)效果不佳的問(wèn)題，本文構(gòu)建一個(gè)大規(guī)模、多樣性的高質(zhì)量火焰數(shù)據(jù)集，不僅場(chǎng)景豐富、數(shù)據(jù)量大，而且注重小目標(biāo)和疑似負(fù)樣本的收集，并耗費(fèi)大量時(shí)間對(duì)其逐張標(biāo)注、篩選.實(shí)驗(yàn)結(jié)果充分表明適當(dāng)疑似易混的火焰負(fù)樣本的采集是提升數(shù)據(jù)集性能的重要手段，也是使模型訓(xùn)練具有強(qiáng)泛化性能的重要方式，但仍存在特定疑似火焰圖像誤報(bào)的問(wèn)題.今后將深入研究3D卷積神經(jīng)網(wǎng)絡(luò)在火焰誤報(bào)剔除上的應(yīng)用.