基于卷積神經網(wǎng)絡的煙火智能識別算法應用研究

劉紅燕 李 謹 唐 振 賴 哲

（珠海供電局，廣東 珠海 519000）

0 前言

在很長一段時間內，對煙火進行識別所采用設備均為傳感器，強調通過傳感器對火焰燃燒給溫度、顆粒物密度產生的影響進行檢測，根據(jù)參數(shù)變化情況得出最終結論。但傳統(tǒng)方法在成本、智能程度還有覆蓋面積等方面的表現(xiàn)均無法滿足當今社會要求，基于此，研究人員提出引入深度學習法，依托YOLOv3將目標檢測相關問題向回歸問題進行轉化，在改進損失函數(shù)、網(wǎng)絡結構的基礎上，對邊界框所具有可靠性進行預測的方式，使物體識別精度最大程度接近理想水平。研究成果可為研發(fā)巡檢機器人、全新安防設備等工作助力，隨著火情防控力度得到提高，搶險能力自然可得到保證。

1 研究背景

以往對圖像進行識別的算法，均要人工篩選并對特征進行提取，只有在確定圖像特征后，才能對其進行識別。常見提取識別方法包括以下幾種：其一，先通過區(qū)域分割的方式，提取各亮點區(qū)及疑似區(qū)域對應邊界鏈碼，再對各區(qū)域對應圓形度進行計算，借助BP神經網(wǎng)絡展開檢測并得出最終結論。其二，對火焰候選區(qū)域所表現(xiàn)出空間、時間特征進行提取，利用改進所得紋理描述法對地形特征進行統(tǒng)計，借助BP神經網(wǎng)絡完成識別工作。其三，由高斯分塊模型負責劃分動態(tài)區(qū)域，由統(tǒng)計顏色概率的模型負責對各區(qū)域所表現(xiàn)出顏色特征進行提取，同時對疑似區(qū)域進行分割，根據(jù)各區(qū)域圓形度對其內部是否有火焰、火災存在進行判斷。

上述方法均要提前完成處理和分割圖像的操作，從而確保所得到煙霧、火焰特征具有實際意義，但相關算法均無法被用來對低紋理、中紋理圖像特征進行準確提取，極易出現(xiàn)漏檢或是誤檢的情況。將深度學習用于圖像識別，可確保所得到算法具有自我學習的能力，對復雜圖像特征進行提取的速度也會得到顯著提升，與手工篩選相比，由智能算法對特征進行提取，通常更利于事物本質的表達。有學者選擇利用傳統(tǒng)算法，深度學習算法，Dense-SIFT算法，分別對高大空間內部煙火進行檢測，對檢測結果進行分析可知，在隱層數(shù)量固定的前提下，深度學習算法所取得效果較其他算法更為理想。另外，相關研究還對ResNet、AlexNet和VGG等模型進行了運用，根據(jù)識別早期煙霧及火焰的結果可知，全新模型在識別精度方面均較傳統(tǒng)模型更為理想，現(xiàn)階段，國內外學者均將目光聚焦于煙火目標檢測，力求能夠獲得與以往不同的全新算法，為防控火情等工作的開展助力。

2 算法理論概述

2.1 檢測過程分析

YOLOv3由預測層、特征提取網(wǎng)絡構成，其中，預測層的數(shù)量為3個，可被用來對物體類別、所處位置進行直接預測。YOLOv3的創(chuàng)新之處在于以融合多尺度特征為前提，得出最終預測結論，可使顆粒度特征得到最大程度保留，即使檢測對象存在被遮擋或大小不同的情況，同樣可保證檢測結果具備理想精度。而利用Residual對特征提取網(wǎng)絡進行處理的目的，主要是對參數(shù)量、模型復雜程度加以控制，此舉一方面能夠增強收斂效果，另一方面可使深層網(wǎng)絡較易出現(xiàn)梯度消失情況的問題得到解決。全卷積網(wǎng)絡所包括卷積層的數(shù)量為53個，將LeakyRelu作為激活函數(shù)，利用Residual對各卷積層進行有效連接，確保初始數(shù)據(jù)能夠跳過指定層而到達網(wǎng)絡層，在保證預測精度的前提下，縮短預測時長。

2.2 增強采集數(shù)據(jù)

目標檢測對象以檢測目標存在顯著差異或較為復雜的場景為主，對相關數(shù)據(jù)進行采集時，研究人員應該重視以下內容：一是目標場景。對煙火進行檢測的環(huán)境往往較為復雜，通常存在建筑遮擋或光照差異大的情況，要想使模型盡快適應不同場景并完成預測工作，關鍵是要對采集數(shù)據(jù)的環(huán)節(jié)進行優(yōu)化，增加數(shù)據(jù)集所存儲數(shù)據(jù)的數(shù)量及復雜程度。二是目標多樣性。即使檢測目標固定，在不同角度對其進行拍攝所得圖片往往也會存在一定差異，鑒于此，在實地采集數(shù)據(jù)的環(huán)節(jié)，研究人員應考慮不同視角，確保設計所得模型能夠從不同角度對檢測目標進行判斷，并得出準確結果。

以圖1為例，研究人員借助數(shù)據(jù)增強算法，分別對圖片進行了剪切、調節(jié)色域、變換角度以及縮放處理，對處理所得圖片進行合并的方式，使檢測物體背景得到豐富。雖然物體形態(tài)、背景亮度存在細微差異，但其本質仍然為煙霧、火焰。

圖1 對圖片數(shù)據(jù)進行增強的效果對比

3 建立相關模型

3.1 高斯建模

傳統(tǒng)檢測器無法杜絕誤定位的情況發(fā)生，而改用高斯建模可有效解決該問題，高斯建模所預測對象以邊界框置信度為主，對邊界框相關信息進行獲取的方式，為算法所具有精度提供保證。該模型的特點是利用正態(tài)分布曲線，對事物進行精確量化。為保證所建立模型可發(fā)揮應有作用，有關人員應重視以下內容：灰度直方圖所反映信息以圖像出現(xiàn)特定灰度值的頻次、概率密度為主，若圖像背景區(qū)域與目標區(qū)域存在較大差異，對應灰度直方圖往往會呈現(xiàn)出雙峰谷的形狀，雙峰分別對應目標和中心灰度。一般來說，只需將多峰特性視為高斯分布疊加，就可以使圖像分割問題迎刃而解。該文所研究算法利用t，t，t，t對邊界框坐標進行表達，研究人員可利用高斯分布函數(shù)對以上數(shù)據(jù)進行建模，從而判斷邊界框是否具備良好可靠性。若將測試輸入設定為，高斯模型設定為，則可利用公式（1）對高斯參數(shù)進行表示。

式中：為高斯參數(shù)；為高斯函數(shù)對應數(shù)據(jù)具體數(shù)量。()為的平均值?！?)代表的方差。

為準確判斷邊界框定位是否可靠，該模型將對特征圖所包含邊界框坐標的平均值及方差進行預測。研究人員以該算法檢測層所表現(xiàn)出結構特點為依據(jù)，提出利用以下方法對高斯參數(shù)加以處理，如公式（2）所示。式中：t、t、t、t分別為各坐標分量對應高斯分布的平均數(shù)值，即預測坐標分量?！?span id="j5i0abt0b" class="emphasis_italic">、∑、∑、∑分別為坐標分量對應高斯方差，通常被用來衡量坐標分量定位所具有不確定性。

3.2 改進函數(shù)

考慮到本次高斯建模的主體為邊界框坐標，通常只需對相關損失函數(shù)進行重設即可，類別損失函數(shù)、目標損失函數(shù)均不需要加以調整?；谶吔缈蛳嚓P數(shù)值對損失函數(shù)進行重設所得結果如公式（3）所示。

在該函數(shù)表達式中，L代表坐標分量對應損失函數(shù)（坐標分量用t代表）。對其他損失函數(shù)進行計算的方法，可沿用L所用算法。代表圖片橫向網(wǎng)格數(shù)（寬度）。代表圖片縱向網(wǎng)格數(shù)（高度）。代表錨框數(shù)量。為損失函數(shù)具體數(shù)量。μt（x）代表算法檢測層所輸出數(shù)值，即在網(wǎng)格（，）中錨框對應t坐標?！?span id="j5i0abt0b" class="emphasis_italic">t（x）同樣代表檢測層所輸出數(shù)值，其所描述對象為坐標t所具有不確定性。x ijk代表坐標分量對應標簽值。

式中：代表尺度權重，通常以訓練過程中物體的尺寸進行分配。δ 為網(wǎng)格(，)中錨框與相關標簽值的交集，若該交集可達到最大值，則可將δ 參數(shù)設定為1，若交集未達到最大值，通常將該參數(shù)設定為0。的取值是10。

在確定以上參數(shù)值后，研究人員便可根據(jù)類別分數(shù)、邊界框所具有不確定性、目標分數(shù)完成檢測任務，本次試驗所采用檢測標準如公式（6）所示。

C=（）×（Class）×（1-Uncertainy） （6）式中:C代表監(jiān)測標準。()代表目標分數(shù)。(Class)代表物體對應分數(shù)。Uncertainy代表邊界框所具有不確定性的平均數(shù)值，其取值范圍為0~1，若類別分數(shù)、目標分數(shù)確定，邊界框可靠性將與不確定性成反比，即：邊界框可靠性可隨著不確定性的降低而提高。

研究表明，傳統(tǒng)檢測器無法徹底杜絕誤定位（即假陽例）情況出現(xiàn)?；馂耐哂袠O易被場景所干擾、類型相對復雜等特點，對其進行檢測時，出現(xiàn)誤定位的概率較大，對自動滅火平臺來說，一旦有誤定位情況存在，極易使自身出現(xiàn)闖入火災、意外制動或其他過度反應，甚至造成碰撞、錯誤報警乃至爆炸的嚴重后果。鑒于此，利用高斯函數(shù)對損失函數(shù)進行設計，獲得相應的邊界框模型極為重要，這是因為高斯建?？杀挥脕韺吔缈蛩哂锌煽啃赃M行預測，并根據(jù)置信度函數(shù)對其損失進行計算，定位精度自然可得到顯著提高。對該模型加以應用，不僅能夠降低誤定位的概率，還可以避免自動滅火平臺陷入危險，最大化地實現(xiàn)其價值。

3.3 改進網(wǎng)絡

該試驗所用SE-Net可被拆分成Excitation及Squeeze，其作用主要是增強模型敏感度，提高模型識別channel精度，同時對特征通道所存在依賴關系進行構建。Excitation的作用主體為全局特征，具體來說，就是利用全連接層對參數(shù)量、學習難度加以控制，確保所得到channel權重與實際情況相符。而Squeeze的核心功能是對特征圖進行轉換，從而獲得具有全局感受野的數(shù)值。正是因為特征提取網(wǎng)絡的加入，才使該文所設計算法能夠通過預測得出準確結果。考慮到Residual層主要負責對各層特征進行融合，研究人員最終決定以Residual層為載體，在嵌入SE-Net的基礎上，根據(jù)全局池化平均值對特征圖進行輸出的通道數(shù)量進行設定，確保所獲得子結構擴大特征圖感知范圍。

另外，由于需要對圖片局部信息與特征進行快速獲取，研究人員還在網(wǎng)絡結構中新增了SPP塊。SPP塊可被拆分成4個分支，具體包括Residual層1個、最大池化層3個，各分支的位置關系為并行。事實證明，對網(wǎng)絡模型進行上述調整，可增強其對局部特征進行獲取的能力，同時可以增強特征圖感受，能夠準確判別火焰所存在微小差別，樣本所存在檢測目標差異大、類別不均等問題迎刃而解，該模型對特征進行表達的效果也將更接近研究預期。

4 試驗結果討論

4.1 煙火數(shù)據(jù)集

獲取試驗數(shù)據(jù)集的途徑為公開數(shù)據(jù)集、互聯(lián)網(wǎng)圖片與視頻，研究人員共截取了12000張圖片，在對所截取圖片數(shù)據(jù)進行增強處理的基礎上，將其劃分成煙霧數(shù)據(jù)集、火焰數(shù)據(jù)集兩類，煙霧數(shù)據(jù)集又分為白色煙霧、黑色煙霧，而火焰數(shù)據(jù)集所包括數(shù)據(jù)，主要為室內/室外在白天及黑天的火焰，這樣設計的目的有兩個，一是確保數(shù)據(jù)集具備良好的泛化能力，二是做到精確識別不同場景。分別利用smoke、fire標注圖片煙霧區(qū)、火焰區(qū)，標注格式以PASALVOC為主，隨后，經由隨機函數(shù)對數(shù)據(jù)集進行劃分，獲得研究所需測試集、訓練集，二者所包括圖片總量的比值為1∶4，其中，訓練集又分為驗證集、訓練集兩部分，二者所包括圖片總量的比值為1∶9。

4.2 試驗討論

該算法向預訓練網(wǎng)絡進行遷移，采用對前端特征進行凍結的方式，達到提取網(wǎng)絡的效果，再以測試集、訓練集為依據(jù)，調整剩余網(wǎng)絡參數(shù)，使其具有實際研究意義。事實證明，遷移學習可使數(shù)據(jù)所具有泛化能力得到顯著提高，訓練環(huán)節(jié)用時隨之減少。假設SGD動量為0.9，對應IOU閾值是0.5，學習率初始值為0.001。

該試驗所使用系統(tǒng)版本為Ubuntu18.04，開發(fā)框架為Pytorch，同時配備16G內存，在基于數(shù)據(jù)集對檢測樣本進行采集的前提下，利用遷移學習完成訓練網(wǎng)絡模型操作，可得出“在迭代次數(shù)達到200次時，損失值變化幅度有所減小”的結論。

對火災檢測算法進行評價的核心指標為真陽例率，即對全部火災圖片進行檢測所得存在火災情況的圖片占比。另外，還可將樣本劃分成假陰例與真陰例，通常用及加以表示。研究結果表明，對數(shù)據(jù)進行增強處理后，該算法對應值較初始數(shù)值提高了約1.3%，對應查準率可達96.6%左右，與此同時，研究人員還對傳統(tǒng)網(wǎng)絡結構進行了調整，改進所得算法對應至較初始數(shù)值提高了約2.7%，對應查準率高達97.1%。若以傳統(tǒng)網(wǎng)絡結構為參照物，經過數(shù)據(jù)增強、結構改進處理的網(wǎng)絡結構，其值較初始數(shù)值共提高了約5.5%，對應查準率在97.8%左右。結合消融試驗所得結果可知，以數(shù)據(jù)增強為前提，改進損失函數(shù)可使算法值提高約2.3%，若僅對數(shù)據(jù)進行增強，而不對損失函數(shù)進行調整，改進算法值較SPP結構提高約1.6%，較SE-Net算法提高約2.2%，較綜合算法提高約2.7%?？紤]到煙霧的表現(xiàn)形態(tài)并不固定，極易被色調、天空背景以及外界光照度所影響，利用該算法識別煙霧的精度，通常無法達到火焰識別所具有精度，這點需要尤為注意。

5 結論

綜上所述，以YOLOv3為基礎，通過調整網(wǎng)絡結構的方式，使網(wǎng)絡具備快速理解局部信息的能力，有助于模型對火焰所存在微小差異進行準確區(qū)分，樣本所存在目標差異明顯、類別不均等問題也可得到有效解決。在對損失函數(shù)加以改進的前提下，將邊界框所具有可靠性納入預測范圍，可使負樣本數(shù)量得到減少，數(shù)據(jù)集所表現(xiàn)出泛化能力隨之提高。通過增強數(shù)據(jù)的方式改進數(shù)據(jù)集所產生積極影響，主要是能夠使預測精度最大程度接近預期水平，未來相關內容仍然是研究重點，應引起重視。