基于YOLOv5網(wǎng)絡(luò)模型的火焰檢測(cè)

涂沛馳，傅鈺雯，熊宇璇，楊健晟

（1 貴州大學(xué) 電氣工程學(xué)院，貴陽(yáng) 550025；2 貴州交通職業(yè)技術(shù)學(xué)院 物流系，貴陽(yáng) 550025；3 貴州大學(xué) 外國(guó)語(yǔ)學(xué)院，貴陽(yáng) 550025）

0 引 言

近年來(lái)，隨著現(xiàn)代工業(yè)的不斷發(fā)展，發(fā)電站的發(fā)電量與日俱增。其中，燃煤發(fā)電作為主要的發(fā)電方式之一，有著十分重要的地位。在煤礦的開(kāi)采過(guò)程中，會(huì)伴隨著采出一種伴生資源煤層氣，煤層氣俗稱瓦斯。在煤礦的開(kāi)采過(guò)程中，如果將瓦斯直接排放至大氣中，將會(huì)產(chǎn)生十分嚴(yán)重的溫室效應(yīng)。研究發(fā)現(xiàn)瓦斯熱值高于通用煤1～4倍，與天然氣相當(dāng)，且燃燒后較為純凈，不會(huì)產(chǎn)生工業(yè)廢氣。因此，瓦斯可以作為一種良好的工業(yè)化工發(fā)電的燃料，但當(dāng)瓦斯中空氣濃度達(dá)到5%～16%時(shí)，遇到火焰會(huì)發(fā)生爆炸，這也是瓦斯發(fā)電站爆炸事故的根源。在瓦斯發(fā)電站中，火焰可能導(dǎo)致嚴(yán)重安全事故的發(fā)生，目前大多數(shù)工廠仍采用人工巡檢的方式對(duì)瓦斯發(fā)電站進(jìn)行檢查，巡檢效率會(huì)隨著時(shí)間的延長(zhǎng)而降低；由于火勢(shì)蔓延十分的迅速，人工巡檢很難早期發(fā)現(xiàn)并及時(shí)撲滅火焰。因此，急需一種能實(shí)時(shí)定位、識(shí)別火焰的方法來(lái)監(jiān)測(cè)瓦斯發(fā)電站內(nèi)可能出現(xiàn)的火焰。

與人工巡檢監(jiān)測(cè)火焰的方式相比，利用計(jì)算機(jī)視覺(jué)檢測(cè)火焰具有更高的效率。張汝峰等人以及蘇展等人將火焰圖片經(jīng)過(guò)圖像預(yù)處理操作后，再通過(guò)采用RGB、GBR與HSI兩兩結(jié)合的顏色模型，根據(jù)火焰的顏色、亮度等進(jìn)行檢測(cè)；何愛(ài)龍等人采用視頻檢測(cè)及圖像處理的方法，通過(guò)將火焰圖片進(jìn)行預(yù)處理后提取火焰區(qū)域，并選取其中較為明顯的火焰特征構(gòu)建火焰特征工程，進(jìn)行火焰的識(shí)別；侯易呈等人通過(guò)采用Faster R-CNN（Faster Region-Convolutional Neural Networks）網(wǎng)絡(luò)與深度殘差網(wǎng)絡(luò)相結(jié)合的方法提取火焰特征，采用激勵(lì)網(wǎng)絡(luò)減少相關(guān)度較低的冗余特征，最后使用多尺度特征融合結(jié)構(gòu)，豐富深層特征，以此來(lái)提高火焰識(shí)別的精度。但以上方法，對(duì)火焰的檢測(cè)主要集中在對(duì)火焰特征的提取，進(jìn)而以良好的準(zhǔn)確率識(shí)別檢測(cè)火焰，但在現(xiàn)實(shí)生活中，火勢(shì)蔓延十分迅速，故火焰檢測(cè)的實(shí)時(shí)性也是十分重要的一個(gè)環(huán)節(jié)。

隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法發(fā)展迅速，其主要分為單步目標(biāo)檢測(cè)算法以及雙步目標(biāo)檢測(cè)算法。雙步目標(biāo)檢測(cè)算法分為圖像的識(shí)別和定位兩個(gè)步驟，首先使用區(qū)域候選算法從待檢測(cè)圖像中提取候選區(qū)域；通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取及分類識(shí)別。雙步目標(biāo)檢測(cè)算法具有較高的準(zhǔn)確率，但是計(jì)算量大，運(yùn)算速度慢，針對(duì)于實(shí)時(shí)性要求高的目標(biāo)檢測(cè)不太適用。單步目標(biāo)檢測(cè)算法是將提取候選區(qū)域以及分類識(shí)別兩個(gè)部分融合到一個(gè)網(wǎng)絡(luò)里，直接由輸入圖像得到圖像中存在的物體類別及位置。單步目標(biāo)檢測(cè)算法，在精度不會(huì)丟失太多的同時(shí)兼具了運(yùn)算速度快，實(shí)時(shí)性好，對(duì)硬件要求低等優(yōu)點(diǎn)，被廣泛應(yīng)用于目標(biāo)實(shí)時(shí)檢測(cè)領(lǐng)域中。

1 YOLOv5模型的組成及原理

YOLO（You Only Look Once）算法是一種單步端到端的目標(biāo)檢測(cè)算法，將提取候選區(qū)域及識(shí)別分類融合在一起，具有檢測(cè)速度快、模型文件小等優(yōu)點(diǎn)。通過(guò)更新迭代，現(xiàn)如今更新到了YOLOv5模型。YOLOv5模型共有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4個(gè)版本，其中YOLOv5s網(wǎng)絡(luò)是YOLOv5系列中深度最小、模型文件最小，是其他版本網(wǎng)絡(luò)的基礎(chǔ)。綜合檢測(cè)的實(shí)時(shí)性與模型準(zhǔn)確性，本文采用YOLOv5s網(wǎng)絡(luò)作為火焰檢測(cè)的網(wǎng)絡(luò)。

YOLOv5的網(wǎng)絡(luò)架構(gòu)主要可分為4部分，依次為輸入端、骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、輸出端。

1.1 輸入端

YOLOv5網(wǎng)絡(luò)的輸入端采用Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放3種算法。

Mosaic數(shù)據(jù)增強(qiáng)方法在輸入的數(shù)據(jù)中隨機(jī)選取4張圖片進(jìn)行隨機(jī)的縮放、裁剪及排列?？蓪?shù)據(jù)擴(kuò)容，使得網(wǎng)絡(luò)的魯棒性得以提升；其次，通過(guò)圖片的拼接可以一次計(jì)算4張圖片的數(shù)據(jù)，從而提升模型的訓(xùn)練速度，降低模型的內(nèi)存要求。Mosaic數(shù)據(jù)增強(qiáng)操作原理如圖1所示。

圖1 Mosaic數(shù)據(jù)增強(qiáng)操作原理Fig.1 Mosaic data enhancement operation principle

自適應(yīng)錨框計(jì)算方法是在建立的數(shù)據(jù)集中設(shè)定指定長(zhǎng)寬的錨點(diǎn)框，以輸入圖像的每一個(gè)像素作為中心點(diǎn)，以此生成多個(gè)邊界框。當(dāng)網(wǎng)絡(luò)進(jìn)入到訓(xùn)練階段時(shí)，會(huì)在初始錨點(diǎn)框上輸出與其對(duì)應(yīng)的預(yù)測(cè)框，計(jì)算其與真實(shí)框的差距，進(jìn)行反向更新，進(jìn)而迭代更新網(wǎng)絡(luò)參數(shù)。

1.2 骨干網(wǎng)絡(luò)

YOLOv5網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)采用了Focus結(jié)構(gòu)及CSP（Cross Stage Partial）結(jié)構(gòu)。Focus結(jié)構(gòu)對(duì)輸入圖片切片操作，每一張圖片采集某個(gè)像素點(diǎn)的值后，不采集相鄰像素點(diǎn)的值，而是中間隔開(kāi)一個(gè)像素點(diǎn)，采集下一個(gè)像素點(diǎn)，從而擴(kuò)充輸入通道數(shù)；最后，將獲得的拼接圖片通過(guò)卷積操作，得到?jīng)]有特征信息丟失的二倍下采樣特征圖。Focus切片操作原理如圖2所示。

2.1.1 主莖?！傍櫢＝疸@蔓綠絨”及其親本的主莖均為圓柱形，“鴻福金鉆蔓綠絨”主莖上部為紅紫色，下部為黃綠色，莖節(jié)為紅紫色，其親本為黃綠色，莖節(jié)為紅紫色(表2)。種植12個(gè)月時(shí)“鴻福金鉆蔓綠絨”的平均主莖長(zhǎng)為12.3 cm，主莖粗為2.5 cm，其親本的主莖長(zhǎng)為12.3 cm，主莖粗為2.6 cm，差異不顯著(表3)。

圖2 Focus切片操作原理Fig.2 Focus slicing operation principle

以YOLOv5s位列，輸入圖像尺寸為640×640×3，將圖像輸出至Focus結(jié)構(gòu)中，通過(guò)切片操作，得到320×320×12的特征圖，最后經(jīng)過(guò)卷積核為32的卷積層，得到320×320×32的特征圖。

CSP結(jié)構(gòu)在Yolov5s網(wǎng)絡(luò)中有兩處應(yīng)用，Csp_1結(jié)構(gòu)應(yīng)用于骨架網(wǎng)絡(luò)中，Csp_2結(jié)構(gòu)則是應(yīng)用于頸部網(wǎng)絡(luò)中。Csp_1結(jié)構(gòu)中包含了CBL（Conv+BN+LeakyRelu）模塊以及多個(gè)殘差組件（Res unit）。CBL模塊與殘差組件的組成，如圖3所示。

殘差組件是借鑒了Resnet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，應(yīng)用于較深的網(wǎng)絡(luò)中，可以解決網(wǎng)絡(luò)層數(shù)過(guò)深而導(dǎo)致的梯度消失的問(wèn)題。Csp_2結(jié)構(gòu)中，使用普通的CBL模塊代替了殘差組件。Csp結(jié)構(gòu)用兩條支路，通過(guò)支路實(shí)現(xiàn)特征融合，提取更為豐富的特征信息。

圖3 CBL模塊及殘差組件的組成Fig.3 Composition of CBL module and residual components

SPP（Spatial Pyramid Pooling）是為了解決卷積神經(jīng)網(wǎng)絡(luò)輸入圖像數(shù)據(jù)大小固定的問(wèn)題而提出來(lái)的一種結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)是由卷積層和全連接層構(gòu)成，卷積層對(duì)輸入圖像數(shù)據(jù)大小沒(méi)有規(guī)定，但第一個(gè)全連接層對(duì)輸入圖像的數(shù)據(jù)大小是有要求的。因此卷積神經(jīng)網(wǎng)絡(luò)基本上對(duì)輸入數(shù)據(jù)的大小有所規(guī)定，針對(duì)許多數(shù)據(jù)高寬比不固定的情況，如果直接對(duì)圖片進(jìn)行切割，那么會(huì)存在丟失特征信息的可能性。因此，為了解決上述問(wèn)題，提出了SPP結(jié)構(gòu)，SPP結(jié)構(gòu)工作原理如圖4所示。YOLOv5中引進(jìn)了SPP結(jié)構(gòu)，用來(lái)解決圖像由于裁剪、縮放等操作而引起的特征丟失等問(wèn)題。

圖4 SPP結(jié)構(gòu)工作原理Fig.4 SPP structure working principle

1.3 頸部網(wǎng)絡(luò)

YOLOv5網(wǎng)絡(luò)的頸部網(wǎng)絡(luò)采用的是FPN（Feature Pyramid Networks）+PAN（Path Aggregation Network）結(jié)構(gòu)。FPN是自頂向下的，將高層特征通過(guò)上采樣和低層特征做融合得到進(jìn)行預(yù)測(cè)的特征圖。FPN是自頂向下的，將高層的強(qiáng)語(yǔ)義特征傳遞下來(lái)，對(duì)整個(gè)金字塔進(jìn)行增強(qiáng)，不過(guò)只增強(qiáng)了語(yǔ)義信息，對(duì)定位信息沒(méi)有傳遞，而在FPN的后面添加一個(gè)自底向上的金字塔，是對(duì)FPN的補(bǔ)充，將低層的強(qiáng)定位特征傳遞上去。

FPN就是把深層的語(yǔ)義特征傳到淺層，從而增強(qiáng)多個(gè)尺度上的語(yǔ)義表達(dá)。而PAN則是把淺層的定位信息傳導(dǎo)到深層，增強(qiáng)多個(gè)尺度上的定位能力。FPN+PAN結(jié)構(gòu)如圖5所示。

圖5 FPN+PAN結(jié)構(gòu)示意圖Fig.5 Schematic diagram of FPN+PAN structure

1.4 輸出端

其中，A為預(yù)測(cè)框與真實(shí)框的最小外接矩形，為A中不屬于預(yù)測(cè)框與真實(shí)框的部分。當(dāng)真實(shí)框與預(yù)測(cè)框越接近時(shí)，越小，從而使得越小。

YOLOv5網(wǎng)絡(luò)處于預(yù)測(cè)階段時(shí)，會(huì)產(chǎn)生許多圍繞同一目標(biāo)的預(yù)測(cè)框，通過(guò)使用非極大值抑制使得預(yù)測(cè)框合并。將GIoU損失函數(shù)與非極大值抑制結(jié)合可以更好的識(shí)別圖像中有重疊的目標(biāo)。

2 數(shù)據(jù)采集及數(shù)據(jù)集制作

2.1 數(shù)據(jù)來(lái)源

本文的火焰圖片數(shù)據(jù)來(lái)自公開(kāi)數(shù)據(jù)集以及手動(dòng)拍攝兩部分，手動(dòng)拍攝的數(shù)據(jù)為丁烷點(diǎn)火器生成的火焰視頻，將視頻截取成火焰圖片。此次數(shù)據(jù)共采集600張火焰圖片，通過(guò)數(shù)據(jù)增強(qiáng)的方法將原有數(shù)據(jù)進(jìn)行旋轉(zhuǎn)及亮度變換等操作，擴(kuò)容至3000張圖片，火焰數(shù)據(jù)圖片如圖6所示。

圖6 部分火焰圖片數(shù)據(jù)Fig.6 Part of the flame picture data

2.2 數(shù)據(jù)集建立

將得到的火焰圖片數(shù)據(jù)使用Labelimg軟件進(jìn)行標(biāo)注。在標(biāo)注過(guò)程中，盡可能的選取完整的火焰區(qū)域，防丟失圖像特征。本次實(shí)驗(yàn)對(duì)象為火焰一個(gè)類，通過(guò)手動(dòng)標(biāo)注后自動(dòng)生成txt文件，標(biāo)簽文件中包含了標(biāo)簽類別、預(yù)測(cè)框坐標(biāo)等信息。標(biāo)注結(jié)果如圖7所示。

圖7 火焰數(shù)據(jù)標(biāo)注圖像Fig.7 Flame data labeled image

火焰樣本數(shù)據(jù)標(biāo)注完成后，通過(guò)腳本文件自動(dòng)劃分成訓(xùn)練集和測(cè)試集。以便后續(xù)輸入模型訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

此次實(shí)驗(yàn)采用Windows10專業(yè)版操作系統(tǒng)，Pytorch1.7版本框架，集成開(kāi)發(fā)環(huán)境為Pycharm。平臺(tái)硬件參數(shù)如下：CPU為i9，內(nèi)存大小為32 GByte，GPU為Nvidia QUADRO RTX4000。

3.2 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)采用YOLOv5目標(biāo)檢測(cè)模型，總體訓(xùn)練輪數(shù)設(shè)置為200輪，分組大小設(shè)置為20，學(xué)習(xí)率設(shè)置為0.001。網(wǎng)絡(luò)訓(xùn)練過(guò)程中，訓(xùn)練前期模型的損失函數(shù)迭代收斂速度較快，隨著訓(xùn)練次數(shù)的增多，損失函數(shù)收斂速度逐漸趨于緩和，最終實(shí)現(xiàn)收斂，并結(jié)束模型的訓(xùn)練。訓(xùn)練完成后將保存一個(gè)最新訓(xùn)練的權(quán)值文件與一個(gè)最優(yōu)權(quán)值文件。網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖8所示，可以看出，值為096。

圖8 模型訓(xùn)練結(jié)果Fig.8 Model training results

平均精度與召回率是目標(biāo)檢測(cè)中常用的評(píng)價(jià)指標(biāo)，其計(jì)算公式如式（2）～（3）。

其中，表示將正類別預(yù)測(cè)為正確類別的個(gè)數(shù)；表示將負(fù)類別預(yù)測(cè)為正確類別的個(gè)數(shù)；表示將正類別預(yù)測(cè)為負(fù)類別的個(gè)數(shù)。

將訓(xùn)練好的權(quán)重文件導(dǎo)入模型之后，輸入火焰圖片進(jìn)行識(shí)別，識(shí)別所耗時(shí)間為0.245 s，識(shí)別效果如圖9所示。

圖9 火焰識(shí)別效果圖Fig.9 Flame recognition effect diagram

從圖9可以看出，針對(duì)不同情況下的火焰，訓(xùn)練后的模型對(duì)其識(shí)別后置信度為91%-93%，因此，經(jīng)過(guò)訓(xùn)練的YOLOv5模型對(duì)火焰的識(shí)別具有較高的準(zhǔn)確性，同時(shí)訓(xùn)練完成的檢測(cè)模型兼具良好的實(shí)時(shí)性。

4 結(jié)束語(yǔ)

針對(duì)火焰檢測(cè)存在實(shí)時(shí)性不足的問(wèn)題，本文提出了基于深度學(xué)習(xí)的火焰檢測(cè)方法，使用YOLOv5s目標(biāo)檢測(cè)算法模型，通過(guò)3000張火焰圖片數(shù)據(jù)的訓(xùn)練后，使用訓(xùn)練結(jié)果最優(yōu)的權(quán)重參數(shù)文件。實(shí)驗(yàn)后期采用火焰圖片數(shù)據(jù)對(duì)模型進(jìn)行檢測(cè)，具有較高的準(zhǔn)確性和良好的實(shí)時(shí)性，可以滿足實(shí)時(shí)性要求較高的火焰檢測(cè)場(chǎng)景。