基于YOLOv4的多形態(tài)火焰目標(biāo)檢測(cè)模型訓(xùn)練方法研究

姜國(guó)龍, 褚云飛，陳業(yè)紅，吳朝軍

摘要：火災(zāi)是一種多發(fā)的破壞性災(zāi)難，通常會(huì)導(dǎo)致生命和財(cái)產(chǎn)巨大損失，利用圖像監(jiān)控系統(tǒng)，研究自動(dòng)化火焰目標(biāo)檢測(cè)模型意義重大。文章采用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)系統(tǒng)YOLOv4算法訓(xùn)練模型。自建了一個(gè)沒有重復(fù)數(shù)據(jù)，包含1566張火焰圖像的數(shù)據(jù)集Multifire，它是一個(gè)小規(guī)模的混合數(shù)據(jù)集，進(jìn)行了精心的數(shù)據(jù)標(biāo)注和清洗，旨在訓(xùn)練通用性好的多形態(tài)火焰檢測(cè)模型。通過(guò)在不同分布的火焰數(shù)據(jù)子集上實(shí)施交叉驗(yàn)證，篩選出3個(gè)性能良好的火焰檢測(cè)模型，模型針對(duì)規(guī)則火、森林野火和混合火進(jìn)行檢測(cè)，綜合性能指標(biāo)F1，分別達(dá)到了0.87、0.88和0.78。對(duì)于一般性的多形態(tài)火焰檢測(cè)任務(wù)，筆者提出一種集成檢測(cè)的策略，有效降低火焰目標(biāo)檢測(cè)的漏檢率，提高火焰檢測(cè)系統(tǒng)的可用性和安全性。

關(guān)鍵詞：YOLOv4 ；火焰目標(biāo)檢測(cè)；遷移訓(xùn)練；交叉驗(yàn)證

中圖分類號(hào)：TP183? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）32-0001-05

眾所周知，消防安全是保障人民生命財(cái)產(chǎn)的重要工作，火災(zāi)自動(dòng)檢測(cè)與預(yù)警意義重大。有很多基于計(jì)算機(jī)視覺的火焰目標(biāo)檢測(cè)應(yīng)用系統(tǒng)出現(xiàn)，然而，面對(duì)復(fù)雜環(huán)境和多形態(tài)火焰目標(biāo)時(shí)， 火焰檢測(cè)模型存在著很大的誤檢和漏檢的風(fēng)險(xiǎn)。近年來(lái)，因其具有強(qiáng)大的特征自動(dòng)學(xué)習(xí)的潛力，深度學(xué)習(xí)在圖像識(shí)別與目標(biāo)檢測(cè)領(lǐng)域取得了快速的發(fā)展和巨大的成功。本文旨在探討提高火焰檢測(cè)模型通用性和實(shí)用性的途徑。目標(biāo)是解決目前各種火焰檢測(cè)算法普遍存在的火情誤報(bào)和漏報(bào)嚴(yán)重的情況。筆者采用的主要研究方法包括：采用深度學(xué)習(xí)目標(biāo)檢測(cè)算法，建立有效的數(shù)據(jù)集，進(jìn)行數(shù)據(jù)整理和清洗，模型訓(xùn)練采取遷移方式，模型評(píng)估實(shí)施交叉驗(yàn)證。

1引言

物體檢測(cè)建模算法一般可以分為一階段和兩階段兩大類。一階段方法的代表如YOLO，模型訓(xùn)練和檢測(cè)的速度很快，被證實(shí)可以達(dá)到實(shí)時(shí)視頻處理的要求[1-2]。筆者的實(shí)驗(yàn)發(fā)現(xiàn)，YOLO訓(xùn)練的模型普遍能達(dá)到很高的檢測(cè)精度，很少誤報(bào)，但是存在漏報(bào)的情況，提高檢測(cè)模型的召回率ReCall或者綜合指標(biāo)F1是YOLO算法訓(xùn)練的主要方向。另外，一階段算法對(duì)于小目標(biāo)檢測(cè)普遍困難，有可能延遲發(fā)現(xiàn)隱患的時(shí)間，降低預(yù)警系統(tǒng)的應(yīng)用價(jià)值。文獻(xiàn)表明，使用殘差卷積網(wǎng)絡(luò)層做主干網(wǎng)，通過(guò)配置金字塔特征映射結(jié)構(gòu)，可以有效地減輕小目標(biāo)難檢測(cè)的問(wèn)題[3]。同時(shí)，很多最新的網(wǎng)絡(luò)配置也被用于提高火焰檢測(cè)性能的努力，例如，采用空洞卷積網(wǎng)絡(luò)層（又稱可變形卷積網(wǎng)絡(luò)層）來(lái)提高火焰目標(biāo)的模糊學(xué)習(xí)能力；采用注意力機(jī)制，顯著地幫助檢測(cè)網(wǎng)絡(luò)獲得更好的性能[4]。在YOLO之外，一些檢測(cè)網(wǎng)絡(luò)，例如SSD、RefineDet、RetinaNet，都針對(duì)小目標(biāo)和檢測(cè)速度的問(wèn)題進(jìn)行了改進(jìn)，在同樣數(shù)據(jù)集上對(duì)上述算法進(jìn)行對(duì)比將是非常有益的工作。

深度學(xué)習(xí)算法高度依賴數(shù)據(jù)集的質(zhì)量和數(shù)量。數(shù)據(jù)集的建設(shè)包括數(shù)據(jù)收集、清洗和標(biāo)注?；鹧鎴D像數(shù)據(jù)來(lái)源廣泛，例如來(lái)自監(jiān)控視頻、無(wú)人機(jī)航拍以及網(wǎng)上圖像搜索等。采用監(jiān)督方式訓(xùn)練模型，擴(kuò)大圖像數(shù)據(jù)集的規(guī)模必然需要提供更多的準(zhǔn)確標(biāo)注，然而火焰目標(biāo)標(biāo)注的不確定性大，存在著一定挑戰(zhàn)。

火焰檢測(cè)的訓(xùn)練一般都會(huì)涉及性能和模型大小之間的權(quán)衡。如果筆者采用更深更復(fù)雜的深度網(wǎng)絡(luò)結(jié)構(gòu)，能提高模型性能，但是也會(huì)增加模型存儲(chǔ)空間并延遲反應(yīng)時(shí)間，有時(shí)這些會(huì)限制模型在嵌入式設(shè)備中的靈活布設(shè)[5-8]。本文設(shè)計(jì)的實(shí)驗(yàn)方案，嘗試平衡算法處理性能和模型尺寸問(wèn)題。筆者采用YOLOv4深度目標(biāo)檢測(cè)算法進(jìn)行建模實(shí)驗(yàn)，通過(guò)交叉驗(yàn)證評(píng)估模型的泛化能力，最終篩選出了性能良好的通用火焰預(yù)警模型。具體設(shè)計(jì)路線如下：首先，建立包含各種應(yīng)用場(chǎng)景、多種火焰形態(tài)的無(wú)重復(fù)的訓(xùn)練數(shù)據(jù)集。根據(jù)火焰目標(biāo)學(xué)習(xí)的難度，將火焰圖像數(shù)據(jù)分為規(guī)則火焰和不規(guī)則火焰兩大類。其次，采用遷移訓(xùn)練的方法緩解深度學(xué)習(xí)對(duì)于大規(guī)模數(shù)據(jù)的依賴，在規(guī)模有限的火焰檢測(cè)數(shù)據(jù)集上對(duì)預(yù)訓(xùn)練一般性的目標(biāo)檢測(cè)模型進(jìn)行遷移[9-10]。實(shí)驗(yàn)表明，筆者訓(xùn)練的模型在規(guī)則火目標(biāo)檢測(cè)方面性能優(yōu)異，同時(shí)基于建立的多形態(tài)火焰混合數(shù)據(jù)集，訓(xùn)練的模型具有良好的泛化能力。

2 數(shù)據(jù)集建設(shè)

2.1 數(shù)據(jù)收集和劃分

為了訓(xùn)練健壯的通用火焰檢測(cè)模型，需要建立一個(gè)多樣化的火災(zāi)訓(xùn)練數(shù)據(jù)集。筆者收集了不同來(lái)源的火焰圖像數(shù)據(jù)，去除重復(fù)數(shù)據(jù)并重新標(biāo)注，構(gòu)造了一個(gè)無(wú)重復(fù)圖像的綜合數(shù)據(jù)集。此數(shù)據(jù)集內(nèi)又劃分為兩個(gè)獨(dú)立數(shù)據(jù)子集，保證子集之間都沒有重疊。數(shù)據(jù)子集按照形態(tài)特點(diǎn)分為規(guī)則火焰和不規(guī)則火焰子集。其中，規(guī)則火焰子集包含873張無(wú)重復(fù)圖像的火焰檢測(cè)數(shù)據(jù)；不規(guī)則火焰子集包含693張圖像。所謂的規(guī)則火焰，一般圖像質(zhì)量較好，圖像中的火焰目標(biāo)有清晰的外部輪廓并且形狀相近，如蠟燭、火柴、打火機(jī)等；或者能很好地分割出獨(dú)立的火焰目標(biāo)，如火炬、堆火、營(yíng)火等。不規(guī)則火焰主要來(lái)自火災(zāi)現(xiàn)場(chǎng)，包括社區(qū)房屋，道路交通以及室內(nèi)室外等，一般出現(xiàn)大量的遮擋、連綿燃燒物以及濃煙，不容易分割出獨(dú)立火焰目標(biāo)。規(guī)則數(shù)據(jù)集和不規(guī)則數(shù)據(jù)集之間是沒有重疊數(shù)據(jù)的。Multifire是一個(gè)混合火焰數(shù)據(jù)集，它是上面兩類數(shù)據(jù)集的合集，包含1566張圖像?？梢杂?xùn)練通用的火焰檢測(cè)模型。筆者的數(shù)據(jù)集中還包括了一個(gè)公開的數(shù)據(jù)集FLAM，它是來(lái)自北亞利桑那大學(xué)等單位學(xué)者公開的一個(gè)基于航拍圖像的森林火情檢測(cè)數(shù)據(jù)集。這些數(shù)據(jù)子集組成了筆者發(fā)布的火焰數(shù)據(jù)集QLFLAM。表1記錄了筆者建立的火焰檢測(cè)訓(xùn)練數(shù)據(jù)集中子集的劃分以及數(shù)據(jù)描述。

2.2 數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注也是數(shù)據(jù)集建設(shè)中工作量最大的部分。筆者使用Imagelabel軟件（https：//gitcode.net/mirrors/tzutalin/labelimg）建立了數(shù)據(jù)標(biāo)注或?qū)υ袠?biāo)注進(jìn)行校驗(yàn)。實(shí)踐證實(shí)，數(shù)據(jù)標(biāo)注的質(zhì)量直接會(huì)影響到模型訓(xùn)練的效果。標(biāo)注工作應(yīng)該盡量減少不一致。獨(dú)立分布的火焰以及輪廓規(guī)則的火焰更容易標(biāo)注，應(yīng)該盡量按照獨(dú)立和規(guī)則的原則標(biāo)注。被遮擋物割裂的零散火焰，應(yīng)該忽略遮擋物，把火焰各部盡量分放在一個(gè)標(biāo)注邊框里。對(duì)于小火簇，如灰燼中的火焰群，如果位置上接近，也盡量放在一個(gè)邊框里標(biāo)注。特別地，對(duì)于FLAM數(shù)據(jù)集中的數(shù)據(jù)，筆者還利用了數(shù)據(jù)集提供的圖像分割標(biāo)注數(shù)據(jù)輔助，更準(zhǔn)確地發(fā)現(xiàn)和定位火焰目標(biāo)。

3 主要算法和性能評(píng)估

3.1 深度目標(biāo)檢測(cè)算法

2014年，Ross Girshick提出R-CNN算法，首次將卷積神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測(cè)領(lǐng)域，繼之以Fast R-CNN、Faster R-CNN，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法不斷改進(jìn)。由于R-CNN的網(wǎng)絡(luò)是兩階段結(jié)構(gòu)，也就是將候選區(qū)域的檢測(cè)和分類識(shí)別分成兩個(gè)階段執(zhí)行，算法目標(biāo)檢測(cè)精度高，但是檢測(cè)速度慢，無(wú)法滿足實(shí)時(shí)性。2016年，Joseph Redmon提出YOLO算法，將候選區(qū)域檢測(cè)和分類識(shí)別合為一個(gè)，成為單階段結(jié)構(gòu)的開山之作，大大提高了目標(biāo)檢測(cè)的速度。在YOLO算法框架中，可以很好地結(jié)合上下文的圖像信息特征，檢測(cè)到的火焰目標(biāo)，準(zhǔn)確率（Precision， P ）都很高，這是YOLO誤檢率低的主要原因。然而，比起采用候選區(qū)域的Faster RCNN，YOLO檢測(cè)邊框的定位偏差比較大，召回率（Recall， RC）還有一定差距。采用YOLOv4算法訓(xùn)練的火焰檢測(cè)模型，整體性能強(qiáng)于YOLOv3和Faster RCNN，進(jìn)一步提高召回率是YOLOv4努力的方向。

3.2 遷移訓(xùn)練

YOLO模型的訓(xùn)練可以有兩種方式，即從頭訓(xùn)練方式，或是從預(yù)訓(xùn)練的主干網(wǎng)絡(luò)上進(jìn)行參數(shù)微調(diào)遷移。因?yàn)閿?shù)據(jù)量的缺乏，從頭訓(xùn)練火焰檢測(cè)模型的效果是很差的，需要采用預(yù)訓(xùn)練的模型進(jìn)行遷移訓(xùn)練。YOLO目標(biāo)檢測(cè)算法支持遷移訓(xùn)練，負(fù)責(zé)特征抽取任務(wù)的主干網(wǎng)絡(luò)一般采用在ImageNet上訓(xùn)練的一般圖像特征抽取模型進(jìn)行初始化。還需要在一些大型數(shù)據(jù)集預(yù)訓(xùn)練一般化的目標(biāo)檢測(cè)模型，例如在VOC或COCO上進(jìn)行預(yù)訓(xùn)練的初始目標(biāo)檢測(cè)網(wǎng)絡(luò)，分別能檢測(cè)20或80種常見目標(biāo)。訓(xùn)練火焰目標(biāo)檢測(cè)模型需要在火焰檢測(cè)數(shù)據(jù)集上，對(duì)于初始目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行遷移訓(xùn)練。在第一階段，將預(yù)學(xué)習(xí)的主干網(wǎng)的參數(shù)凍結(jié)，這是為了保持一般化的圖像特征的抽取，專門訓(xùn)練深度網(wǎng)絡(luò)中的其他參數(shù)，為了提高對(duì)火焰目標(biāo)的識(shí)別能力；第二階段，將所有參數(shù)凍結(jié)解除，繼續(xù)訓(xùn)練，這時(shí)可以學(xué)習(xí)到與火焰目標(biāo)相關(guān)的特征，并達(dá)到最終訓(xùn)練的模型。

3.3 火焰檢測(cè)模型訓(xùn)練和檢測(cè)整體路線

本文采取YOLOv4算法，通過(guò)遷移訓(xùn)練來(lái)突破深度學(xué)習(xí)模型訓(xùn)練對(duì)火焰標(biāo)注數(shù)據(jù)量的限制，在較小規(guī)模的數(shù)據(jù)集上訓(xùn)練出性能良好的目標(biāo)檢測(cè)模型。

圖2包括遷移訓(xùn)練、目標(biāo)檢測(cè)和性能評(píng)估幾個(gè)部分?；鹧嬗?xùn)練和火焰測(cè)試如果來(lái)自不同分布的數(shù)據(jù)子集，形成交叉驗(yàn)證，可以測(cè)試訓(xùn)練模型的通用性。其中橢圓標(biāo)注交叉驗(yàn)證實(shí)施時(shí)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的載入位置。

3.4主要性能評(píng)估指標(biāo)

目前，基于深度學(xué)習(xí)的火焰目標(biāo)檢測(cè)方法主要的挑戰(zhàn)來(lái)自檢測(cè)速度，模型存儲(chǔ)大小和檢測(cè)性能。這些方面的差距都影響了火焰檢測(cè)模型的訓(xùn)練和實(shí)際應(yīng)用的價(jià)值。YOLO算法的檢測(cè)速度公認(rèn)是最好的，本次研究主要關(guān)注平均準(zhǔn)確率AP，綜合評(píng)估F1，召回率Recall和精度Precession。特別的，F(xiàn)1更適合作為火焰檢測(cè)模型的評(píng)估標(biāo)準(zhǔn)。

3.4.1 IOU

計(jì)算兩個(gè)矩形框之間的重疊面積與重合面積之比得到IOU，如圖3所示。

通過(guò)設(shè)定IOU閾值可以定義目標(biāo)檢測(cè)是否成功，以及偏差的程度。

3.4.2 Precision和Recall

查準(zhǔn)率（Precision）也叫精確率；查全率（Recall）也叫召回率。對(duì)于二分類問(wèn)題，可將樣例根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測(cè)類別的組合劃分為真正例TP（True Positive）、假正例FP（False Positive）、真反例TN（True Negative）、假反例FN（False Negative）四種情形，令TP、FP、TN、FN分別表示其對(duì)應(yīng)的樣例數(shù)，則TP+FP+TN+FN=樣例總數(shù)。查準(zhǔn)率（精確率）（Precision）

[Precision=TP+FPTP]? ? ? ? ? ? ? ? ? ?（1）

查全率（召回率）（recall）

[Recall=TP+FNTP]? ? ? ? ? ? ? ?（2）

3.4.3? F1 score

Precision和Recall是一對(duì)矛盾的度量，一般來(lái)說(shuō)，Precision高時(shí)，Recall值往往偏低；而Precision值低時(shí)，Recall值往往偏高。當(dāng)分類置信度高時(shí)，Precision偏高；分類置信度低時(shí)，Recall偏高。為了能夠綜合考慮這兩個(gè)指標(biāo)，F(xiàn)-measure被提出（Precision和Recall的加權(quán)調(diào)和平均），即：

[F1=2×P×RP+R]? ? ? ? ? ? ? ? ?（3）

F1的核心思想在于，在盡可能提高Precision和Recall的同時(shí)，也希望兩者之間的差異盡可能小。

3.4.4 平均精度（AP）和平均精度均值（mAP）

對(duì)于IOU選取不同的閾值，可以繪制出P-R曲線，反映模型在選取不同閾值時(shí)，其精確度和召回率的趨勢(shì)走向。在YOLO中，根據(jù)檢測(cè)器的預(yù)測(cè)得分結(jié)果，對(duì)所有檢測(cè)樣本進(jìn)行降序排序，逐一作為正例的預(yù)測(cè)閾值，計(jì)算出對(duì)應(yīng)的Recall和Precision兩個(gè)值作為橫、縱坐標(biāo)就得到P-R曲線。AP 是計(jì)算某一類 P-R 曲線下的面積， mAP是對(duì)所有類別的 AP取平均值。和F1一樣，AP和mAP更好地反映整體應(yīng)能，也是常用的性能評(píng)價(jià)指標(biāo)之一。

[AP=01P（r）dr]? ? ? ? ? ? ? ? ? ? ? ? ?（4）

實(shí)際計(jì)算時(shí)一般并不進(jìn)行積分。

4 實(shí)驗(yàn)結(jié)果與討論

實(shí)驗(yàn)采用配有NVIDIA RTX2080Ti 圖像計(jì)算卡的工作站，Win10 操作系統(tǒng)， 64G RAM， Python 3.8 開發(fā)環(huán)境以及PyTorch 深度學(xué)習(xí)平臺(tái)。

4.1 多形態(tài)火焰檢測(cè)實(shí)驗(yàn)

首先，筆者在Pascal VOC數(shù)據(jù)集上訓(xùn)練模型初始權(quán)值作為20個(gè)類的通用對(duì)象檢測(cè)器，再在多形態(tài)火災(zāi)訓(xùn)練數(shù)據(jù)集上遷移模型參數(shù)。基于YOLOv4對(duì)于遷移學(xué)習(xí)的支持，在遷移訓(xùn)練的過(guò)程中，前半段，設(shè)置凍結(jié)骨干網(wǎng)參數(shù)，訓(xùn)練其余部分卷積層參數(shù)；后半段，放開全部參數(shù)權(quán)限繼續(xù)迭代優(yōu)化，直到收斂，得到火焰檢測(cè)模型。采用這樣的遷移訓(xùn)練，在小樣本訓(xùn)練集圖像上，依然可以得到評(píng)估指標(biāo)理想的檢測(cè)結(jié)果。

針對(duì)規(guī)則和不規(guī)則火子集，按照9：1的比率劃分訓(xùn)練集和校驗(yàn)集，分別將兩者的訓(xùn)練集train和校驗(yàn)集val合并，形成混合集的訓(xùn)練和校驗(yàn)集。表2記錄了在規(guī)則火、不規(guī)則火和混合火的數(shù)據(jù)上，遷移火焰檢測(cè)模型得到的性能評(píng)價(jià)結(jié)果。FLAM是一個(gè)圖像數(shù)量較大，背景比較單一的視頻幀數(shù)據(jù)集，作為平行對(duì)比。

經(jīng)過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，得到下列結(jié)論：

1）在數(shù)據(jù)集FLAM上訓(xùn)練得到的檢測(cè)模型，評(píng)估性能最好。分析原因主要是因?yàn)镕LAM圖像背景相似，視頻幀圖像彼此相關(guān)性大，并分散均勻。FLAM的主要挑戰(zhàn)來(lái)自樹枝遮擋、雪地反光和拍攝距離等。結(jié)果，在同分布測(cè)試數(shù)據(jù)上性能非常優(yōu)秀，mAP達(dá)到91.2%，F(xiàn)1達(dá)到最高的0.88。

2）在規(guī)則火焰數(shù)據(jù)集Regularfire上訓(xùn)練的檢測(cè)模型表現(xiàn)也很不錯(cuò)。規(guī)則火焰數(shù)據(jù)集上訓(xùn)練的檢測(cè)模型，評(píng)估指標(biāo)mAP達(dá)到80%以上，F(xiàn)1達(dá)到0.87。

3）在不規(guī)則火訓(xùn)練集UNregularfire上訓(xùn)練的檢測(cè)模型，評(píng)估性能較差，mAP比50%略高。這個(gè)可能是因?yàn)閿?shù)據(jù)量太少造成的。同時(shí)也說(shuō)明不規(guī)則火焰的檢測(cè)任務(wù)難度最大。在特征提取和選擇上加強(qiáng)模型能力，同時(shí)提高數(shù)據(jù)集數(shù)量和質(zhì)量是需要進(jìn)一步探索的途徑。

4）采用混合數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，訓(xùn)練模型性能優(yōu)于不規(guī)則火焰訓(xùn)練效果的。mAP相比較于Unregular上升到65%左右，F(xiàn)1也可以達(dá)到0.79。說(shuō)明通過(guò)添加規(guī)則火焰到不規(guī)則火焰檢測(cè)數(shù)據(jù)集里，可以提高不規(guī)則火焰檢測(cè)模型的效率。

綜上所述，在小樣本上通過(guò)遷移訓(xùn)練可以得到性能良好的規(guī)則火焰檢測(cè)模型和森林航拍火焰檢測(cè)模型。如果想要提高不規(guī)則火焰模型的性能，可以混入規(guī)則火焰訓(xùn)練數(shù)據(jù)。筆者也嘗試了采用數(shù)據(jù)集增廣程序增加訓(xùn)練集圖像數(shù)量，但效果不明顯。

4.2交叉驗(yàn)證

交叉驗(yàn)證實(shí)驗(yàn)可以用于研究在分布、規(guī)模和外觀等不同的數(shù)據(jù)集上訓(xùn)練出的火焰檢測(cè)模型的泛化能力。在訓(xùn)練數(shù)據(jù)較少的情況下，交叉驗(yàn)證尤其重要。筆者發(fā)現(xiàn)規(guī)則火、不規(guī)則火以及混合火訓(xùn)練的模型在FLAM上檢測(cè)性能指標(biāo)非常差，略去沒有記錄，反之依然，說(shuō)明FLAM訓(xùn)練的模型泛化能力不好。

表3記錄了交叉實(shí)驗(yàn)的驗(yàn)證結(jié)果數(shù)據(jù)。規(guī)則火焰和不規(guī)則火焰數(shù)據(jù)子集之間的交叉驗(yàn)證數(shù)據(jù)表明，模型交叉檢測(cè)性能不高，F(xiàn)1在0.5左右。說(shuō)明規(guī)則火焰上訓(xùn)練的檢測(cè)模型，不適合檢測(cè)不規(guī)則火焰類型的目標(biāo)。然而，在混合火焰Multifire訓(xùn)練集上得到模型，在規(guī)則火Regular和不規(guī)則火Unregular的驗(yàn)證集上檢測(cè)，都得到了較好的性能，F(xiàn)1能達(dá)到0.81和0.74。這說(shuō)明混合數(shù)據(jù)集訓(xùn)練模型適用于多種形式的火焰檢測(cè)。

4.3 集成檢測(cè)

從表2和表3可以看出，YOLO模型一般Precission都達(dá)到了很高的程度，說(shuō)明誤檢的情況不嚴(yán)重，但是RC數(shù)據(jù)波動(dòng)很大，漏檢情況還是比較多?；谏鲜鎏攸c(diǎn)，對(duì)不同火焰形態(tài)下訓(xùn)練的模型可以集成檢測(cè)結(jié)果，用于一般性的圖像火焰檢測(cè)的任務(wù)，提高模型的通用性。即對(duì)于一般性需要進(jìn)行火焰檢測(cè)的圖像，先用混合火焰模型檢測(cè)，之后，在前一步檢測(cè)基礎(chǔ)上，再疊加森林火焰模型檢測(cè)結(jié)果，最后，疊加規(guī)則火焰檢測(cè)模型的檢測(cè)結(jié)果。從圖4看出，集成檢測(cè)結(jié)果召回率提高，準(zhǔn)確度沒有太大影響。這樣集成檢測(cè)結(jié)果，勢(shì)必會(huì)進(jìn)一步提高現(xiàn)場(chǎng)火情的反應(yīng)速度和準(zhǔn)確度。

第一列是用混合數(shù)據(jù)訓(xùn)練模型檢測(cè)的結(jié)果，中間列在第一列結(jié)果上集成FLAM訓(xùn)練模型的檢測(cè)結(jié)果，最右列在中間列檢測(cè)結(jié)果的基礎(chǔ)上集成了Regular火焰訓(xùn)練模型的檢測(cè)結(jié)果。

在圖4中，需要檢測(cè)多形態(tài)火焰在一般性的圖像中是否存在，筆者首先選擇泛化能力好，性能也不錯(cuò)的混合數(shù)據(jù)訓(xùn)練的模型。因?yàn)榛鹧嫘螒B(tài)的多樣性，有一些火焰目標(biāo)還是檢測(cè)不出來(lái)（第1列），疊加檢測(cè)準(zhǔn)確度高的FLAM訓(xùn)練模型和Regular訓(xùn)練模型，結(jié)果將更多的火焰目標(biāo)檢測(cè)了出來(lái)，無(wú)疑會(huì)提高火焰檢測(cè)系統(tǒng)的實(shí)用性。

5 結(jié)論與展望

從研究和實(shí)驗(yàn)中可以發(fā)現(xiàn)，火焰檢測(cè)的難度來(lái)自火焰目標(biāo)形態(tài)的多樣性，以及圖像背景的復(fù)雜性。建立起來(lái)一系列火焰形態(tài)或者環(huán)境場(chǎng)景比較單調(diào)的火焰訓(xùn)練數(shù)據(jù)集非常重要。筆者建立了一個(gè)沒有重復(fù)數(shù)據(jù)的數(shù)據(jù)集Multifire，進(jìn)行了精心的標(biāo)注和清洗，最后得到規(guī)則火、不規(guī)則火的訓(xùn)練模型，F(xiàn)1分別達(dá)到了0.87、0.67。不規(guī)則火焰目標(biāo)包含的火焰形態(tài)分布廣泛，模型訓(xùn)練難度大。不規(guī)則訓(xùn)練集中添加規(guī)則火數(shù)據(jù)，混合火檢測(cè)模型更加健壯，F(xiàn)1指數(shù)達(dá)到0.78。這些數(shù)據(jù)集，都能保證在同分布的情況下訓(xùn)練模型有較好的性能。不過(guò)這些訓(xùn)練數(shù)據(jù)一般泛化性有限。提出一個(gè)一般化檢測(cè)的集成策略，即采用針對(duì)不同火焰形態(tài)和背景的多個(gè)訓(xùn)練模型進(jìn)行檢測(cè)，檢測(cè)結(jié)果通過(guò)集成疊加得到。

未來(lái)工作中，包括繼續(xù)建設(shè)火焰目標(biāo)多形態(tài)多場(chǎng)景的訓(xùn)練數(shù)據(jù)集，并對(duì)更多算法進(jìn)行平行測(cè)試和比較。

參考文獻(xiàn)：

[1] Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NV，USA.IEEE，2016：779-788.

[2] YOLOv4 model zoo website.https：//github.com/AlexeyAB/darknet/wiki/YOLOv4-model-zoo.

[3] Jahani Heravi E.An optimized convolutional neural network with bottleneck and spatial pyramid pooling layers for classification of foods[J].Pattern Recognition Letters，2018，105：50-58.

[4] Majid S.Attention based CNN model for fire detection and localization in real-world images[J].Expert Systems With Applications，2022，189：116114.

[5] Shen D Q，Chen X，Nguyen M，et al.Flame detection using deep learning[C]//2018 4th International Conference on Control，Automation and Robotics （ICCAR）.Auckland，New Zealand.IEEE，2018：416-420.

[6] Shetty A K，Saha I，Sanghvi R M，et al.A review：object detection models[C]//2021 6th International Conference for Convergence in Technology （I2CT）.Maharashtra，India.IEEE，2021：1-8.

[7] Yue C H，Ye J.Research on improved YOLOv3 fire detection based on enlarged feature map resolution and cluster analysis[J].Journal of Physics：Conference Series，2021，1757（1）：012094.

[8] Kang L W，Wang I S，Chou K L，et al.Image-based real-time fire detection using deep learning with data augmentation for vision-based surveillance applications[C]//2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance.Taipei，China.IEEE，2019：1-4.

[9] Li G Q，Song Z Y，F(xiàn)u Q.A new method of image detection for small datasets under the framework of YOLO network[C]//2018 IEEE 3rd Advanced Information Technology，Electronic and Automation Control Conference.Chongqing，China.IEEE，2018：1031-1035.

[10] Tan C Q，Sun F C，Kong T，et al.A survey on deep transfer learning[EB/OL].2018：arXiv：1808.01974.https：//arxiv.org/abs/1808.01974

【通聯(lián)編輯：唐一東】