基于改進YOLOv3的加油站卸油檢測方法

劉 均,杜雪瑞

(東北石油大學 電氣信息工程學院,黑龍江 大慶 163318)

0 引 言

目前,深度卷積神經網絡廣泛應用于圖像識別與目標檢測,而加油站生產安全問題始終是社會關注度極高的問題,如果工作人員安全意識淺薄,不合理佩戴安全帽,滅火裝置擺放不規(guī)范,可能引發(fā)嚴重的安全生產事故。因此,基于加油站安全生產和人員的安全考慮,越來越多的加油站開始規(guī)范生產安全制度,要求人員在卸油生產時佩戴安全帽。由于加油站生產作業(yè)環(huán)境繁雜,所以肉眼觀測等方式容易出現紕漏。為強化對卸油作業(yè)現場的監(jiān)管力度,考慮將機器視覺應用其中,以提高監(jiān)管效率,避免安全事故發(fā)生。加油站的卸油檢測方法已經成為構建生產安全的一項重要技術,并且其在建筑工地、煤礦、變電站等實際場景中有廣泛需求。

深度卷積神經網絡由于能自主從大量樣本的目標學習特征中,提取關鍵信息,無需預處理,因而可學習更廣義的特征。近年來,基于卷積神經網絡的目標檢測算法主要劃分為兩類,一類是基于目標候選框思想的two-stage,另一類是基于回歸思想的one-stage。two-stage算法首先提取感興趣區(qū)域特征,然后采用分類器定位位置,如Fast R-CNN[1],Faster R-CNN等。其中基于區(qū)域進行目標識別,雖然定位精度更高,但存在檢測速度慢的缺點。而one-stage算法利用整張圖片作為網絡的輸入,直接在輸出層回歸檢測框的位置和檢測框所屬的類別,具有更快的檢測速度,如SSD(Single Shot multibox Detector)、YOLO(You Only Look Once)、YOLOv2等。Redmon等[2]在2018年提出了YOLOv2的改進版YOLOv3,通過在骨干網絡中引入殘差思想,有助于更好地訓練模型,提升網絡的學習能力。

與傳統(tǒng)的神經網絡相比,由于YOLO[3]系列網絡在檢測速度方面具有優(yōu)勢,所以廣泛應用于工業(yè)領域。但面對卸油人員的違規(guī)操作,卸油安全無法保證等因素,通過增加網絡規(guī)模的方法雖然能提高檢測精度,但增大了對設備性能的要求,給大規(guī)模部署帶來了困難,因此難以滿足加油站場景的需要。筆者選用YOLOv3[2]作為基礎模型,在該模型上做進一步改進。通過引入RFB(Receptive Field Block)模塊解決模型感受野不足的問題,通過加入CSP(Cross Stage Partial)網絡降低參數量并保持檢測精度,更有利于模型的訓練。實驗結果表明,筆者提出的兩種目標檢測算法YOLOv3-CR和YOLOv3-CRS具有較好的檢測性能,可為加油站安全、作業(yè)生產提供有效的輔助技術支持。

1 YOLOv3算法的基本原理

YOLOv3是一個端到端的深度神經網絡模型,其網絡結構如圖1所示,主要由Darknet-53作為基礎特征提取網絡,Darknet-53網絡內包含大量的殘差結構,有助于更好地訓練模型；為了能使低層和高層信息進行交互,在網絡模型頸部引入特征金字塔FPN(Feature Pyramid Network)[4],提升網絡的定位精度。在 YOLOv3模型中,舍棄了池化層,保留了卷積層,通過調節(jié)卷積步長控制輸出特征圖的尺寸,將淺層特征與深層特征進行融合,使淺層特征也擁有豐富的語義信息[5]。在訓練過程中對每幅輸入尺寸416×416的圖像,YOLOv3模型會分別預測得到13×13、26×26、52×52不同尺度大小的特征圖。

圖1 YOLOv3網絡結構Fig.1 YOLOv3 network structure

雖然YOLOv3使用了FPN結構進行多尺度檢測,但面對加油站場景監(jiān)管難度大,目標尺度不均等問題,原始YOLOv3并不能滿足實際需要,而且容易受到復雜場景的干擾,導致檢測邊界框定位誤差較大,造成小目標檢測效果不好。

2 加油站作業(yè)檢測方法

2.1 空洞卷積

空洞卷積(Dilated Convolution)[6]可在保證特征圖分辨率不下降、網絡參數量不增加的情況下,增大卷積操作的感受野,有效捕獲多尺度特征信息?？斩淳矸e是在普通卷積處理數據的過程中注入不同數量的間隔,間隔的數量用擴張率(dilation Rate)[7]表示,普通卷積相當于擴張率為1的空洞卷積。圖2給出了擴張率分別為1、2、3的空洞卷積過程。

圖2 不同擴張率的空洞卷積Fig.2 The empty convolution of different expansion rates

2.2 多尺度感受視野模塊

感受視野(Respective Field)[8]指特征圖中某單元在輸入圖像上所映射的一塊區(qū)域,其大小與卷積層的參數、網絡深度有關。在加油站作業(yè)檢測場景中,不同種類的目標普遍存在較大的尺寸差異,而同一種目標也會因為監(jiān)控攝像頭的拍攝角度不同,產生不同的尺寸。YOLOv3雖然憑借FPN結構而具有3個感受視野尺度,但仍較難匹配卸油場景中各尺寸的目標,因為淺層特征分辨率高,具有豐富的空間細節(jié),對位置信息更敏感[9],但感受野小卻無法包含足夠的上下文信息。對此,筆者參考RFBNet[10],在YOLOv3中引入多尺度感受視野模塊RFB。

圖3 RFB與RFBS結構圖Fig.3 RFB and RFBS structure drawing

由于性能較高的目標檢測器計算非常復雜,并且YOLOv3檢測器模型精確度也需要進一步提高,而RFB模塊解決了上述問題[11],通過模擬人類視覺系統(tǒng)感受野特點,加上人為設計的部分而不是頑固地加深模型,有效增大了感受視野,加強了網絡特征提取能力。其網絡結構與Inception[12]的多分支結構非常相似,主要是在Inception基礎上增加了空洞卷積層。RFB模塊建立感受視野與離心率之間的關系,以增強網絡特征提取的魯棒性和可區(qū)分性。如圖3a所示,RFB模塊的每個分支都是由普通卷積和空洞卷積組成,不同分支之間包含了不同尺寸卷積核的普通卷積層,以及空洞卷積層。各分支之間的差異會產生兩種效果,不同尺寸普通卷積層會形成不同的基礎感受視野,不同擴張率的空洞卷積會使基礎感受視野得到不同程度的擴大。RFB最后將不同分支的輸出特征圖以Concat方式進行拼接,再與原特征圖相加,提高YOLOv3網絡對各尺寸待檢測目標進行匹配的能力。

為使網絡更加輕量化,RFBS中選擇兩個堆疊的3×3卷積層替換RFB中5×5卷積層,并用一個3×1和一個1×3卷積層替換原始3×3卷積層。RFB模塊與SPP(Spatial Pyramid Pooling)[13]模塊相比,結構略有差異,二者只是對特征圖的特征進行不同尺度提取。在YOLOv3網絡中引入RFB網絡比SPP模塊能獲得更大感受視野,并且不會增加網絡深度和計算量。

2.3 CSP跨階段局部網絡

更深層的卷積神經網絡,具有更強的特征表達和逐層學習的能力,但深層網絡帶來的梯度不穩(wěn)定和計算量驟增的問題嚴重影響其網絡性能。CSPNet(Cross Stage Partial Network)[14]通過將基礎層的特征圖劃分為兩個部分,然后通過跨階段層次結構將它們的特征融合。通過分割梯度流,使其通過不同的網絡路徑傳播,兩條路徑中都不包含屬于另一方的重復的梯度信息。局部過渡層(Transition)采用截斷梯度流的策略,避免不同層學習重復的梯度信息,提升網絡的學習能力。

(1)

其中*為卷積操作,wi為第i個密集層的權重。反向權重更新的方程為

(2)

其中f為權重更新的函數,gk為傳播到k個密集層的梯度。由反向權重方程可看出,權重是通過不同梯度信息分開集成的,這樣既保留了原始網絡特征重用的特點,又通過截斷梯度流的方法防止梯度信息冗余[15]。

面對繁雜的加油站作業(yè)場景,YOLOv3網絡經常學習過多的重復信息,更新的梯度信息很難產生差異,這將影響網絡的學習能力,導致排查違規(guī)操作不準確,進而引發(fā)安全隱患。而CSP結構能有效減少重復的梯度學習,使網絡的學習能力大大提升。因此,通過引入CSP結構,設計兩種具有跨階段多尺度感受野RFB_CSP和RFBS_CSP結構(見圖4),通過引入RFB和RFBS模塊并與CSP網絡結構結合,減少相同尺度信息的重復學習,有利于模型實現更豐富的梯度組合,同時降低計算瓶頸。

圖4 RFB_CSP和RFBS_CSP結構Fig.4 RFB_CSP and RFBS_CSP structure

2.4 改進的YOLOv3卸油檢測網絡結構

為提升網絡檢測效果,提出的網絡對YOLOv3網絡做出如下結構層面改進：1) 在原有的Darknet53主干網絡后添加RFB結構模塊,融合全局特征與局部特征,提升檢測效果；2) 融合CSPNet,提出RFB_CSP和RFBS_CSP兩種模塊,有效解決了在網絡深度處理中梯度信息因重復學習而造成計算量增加的問題。綜上所述,跨階段局部多尺度YOLOv3網絡結構如圖5所示。

圖5 改進的YOLOv3加油站卸油檢測網絡結構Fig.5 Improved YOLOv3 gas station unloading detection network structure

3 實驗結果

3.1 構建加油站數據集

該實驗的加油站數據來源于大慶安世爾和順達加油站油庫視頻監(jiān)控,符合加油站場景下的實際工作狀況。數據集包含黃色工作服、深藍色工作服、淺藍色工作服、安全帽、頭部、人、滅火器、滅火毯和油罐車等9個類別,加油站數據集包含了不同大小、顏色等多尺度的目標信息,有利于提升模型在檢測目標安全情況時的魯棒性。為了對模型性能進行評估,按照9 ∶1的比例將數據集劃分為訓練集和測試集,訓練集總共有1 583張圖像,測試集有176張圖像,每張圖像中包含一個或多個屬于這9類的目標。受加油站生產安全,卸油作業(yè)的強度過大等影響,作業(yè)人員在工作場景下存在難以檢測的問題,以此作為實驗數據集更能凸顯本網絡在檢測精確度和檢測效率上的優(yōu)越性。實驗環(huán)境配置如表1所示。

表1 實驗環(huán)境配置Tab.1 Experimental environment configuration

3.2 錨盒計算

YOLOv3算法中原始的anchor生成方案是根據COCO數據集進行的,對加油站卸油場景下的違規(guī)作業(yè),采用原始的anchor并不合適,為獲得符合目標的anchor boxes,使用K-means++聚類算法[16]重新進行錨盒計算,算法步驟如下。

步驟1 從集合Z中隨機選取點,成為第1個聚類中心M1。

步驟2 計算Z中其余各點x到最近聚類中心Mx的距離D(x),距離越遠的點具有越大的概率P(x)成為下一個聚類中心。重復此步驟,直到找到K個聚類中心。

步驟3 計算Z中每個點到K個聚類中心的距離D(x),將距離某一個聚類中心較近的點劃分到該聚類中心類別中,根據聚類結果,重新計算每個類別的聚類中心Ci。

步驟4 重復步驟3,直到每個聚類類別的聚類中心Ci不再變化,輸出K個聚類中心。

在用K-means++算法進行錨盒計算時,選擇IOU(Intersection Over Union)作為距離D(x)度量指標,IOU為真實框x與其重合度較高的聚類中心錨框Cx的交并比。距離D(x)、概率P(x)和聚類中心Ci的計算公式分別為

D(x)=1-KIOU(x,Mx)

(3)

(4)

(5)

經過聚類,聚類出最適合數據集的錨盒數量及尺寸大小,得到了9組錨盒(12,20),(17,36),(21,69),(26,117),(37,191),(38,53),(65,102),(117,251),(234,409),產生的候選框與原標記框之間交集與并集的比值為72.29%。

3.3 標注與訓練策略

加油站數據集按照YOLO標簽格式制作,采用Labelimg打標簽開源軟件進行標注,在對滅火裝置進行標注時,選擇作業(yè)時未用紅布套上的滅火裝置進行框定,且樣本數據集標注過程中,對存在遮擋及顯示不全部分未超過70%的現場目標,可對其未遮擋部分進行標注。訓練一共設置300個epoch,輸入圖像大小為416×416,在測試中輸入圖像大小設為512×512,超參數Batch size設為2,初始學習率learning rate設為0.001(學習率會根據迭代次數實時更新)、衰減系數decay設為0.005、動量Momentum設為0.9。其中Labelimg操作界面如圖6所示。

德國成熟的分類體系與各級政府采取的法律制約、政策導向和經濟刺激等手段密不可分，一是合理的垃圾收費政策，可回收垃圾不收費，剩余垃圾按量收費；二是抵押金制度；三是企業(yè)化的垃圾回收宣傳教育；四是巨額的懲罰機制。完善的法規(guī)和良好的民眾環(huán)保意識促進了德國生活垃圾處理產業(yè)的發(fā)展，為德國在全球垃圾處理領域的領先地位奠定了基礎。目前90%的德國家庭參與分類收集，家庭的分類工作是對系統(tǒng)的重大貢獻，如果在家庭沒有進行預分類，到了分揀廠就很難進行高效率的分選，回收和再利用的效果將大打折扣。

圖6 Labelimg操作界面Fig.6 Labeling operation interface

3.4 評價指標

為定量評價實驗結果,選取多類別平均準確度均值mAP(mean Average Precision)作為網絡的精度指標,mAP在公式中用F表示,且有

(6)

其中n表示分類數,D為單個目標的平均精度,且有

(7)

精確率(Precision)是對給定數據集分類正確樣本個數和總樣本數的比值,召回率(Recall)用于說明分類器中判定為真的正例占總正例的比值。精確率和召回率計算公式分別為

(8)

(9)

其中T為預測正確的正樣本數,M為預測為正樣本但實際為負樣本的數量,N為預測為負樣本但實際為正樣本的數量。

3.5 實驗結果與分析

3.5.1K-means++優(yōu)化結果對比實驗

實驗首先對比了使用K-means++聚類算法優(yōu)化錨定框Anchor box后,在加油站數據集上,YOLOv3算法對小目標的檢測性能的變化。將未經優(yōu)化的目標框與通過K-means++聚類得到的目標框的YOLOv3網絡在加油站數據集上進行訓練,并在測試集上進行驗證,結果如表2所示。

表2 目標框優(yōu)化效果結果對比Tab.2 Comparison of optimization results of target box

表2中從平均準確率P、平均召回率R以及mAP@0.5,對比分析使用K-means++算法優(yōu)化目標框對網絡性能帶來的影響。其中 YOLOv3表示使用未經優(yōu)化Anchor box的原始網絡,YOLOv3+anchor表示使用優(yōu)化的錨盒的網絡。從表2可看出,優(yōu)化目標框使其適合對加油站數據集上小目標的框定能明顯提升網絡的檢測精度,mAP@0.5提升了1.1%。

筆者提出的YOLOv3加油站作業(yè)檢測算法進行了2方面的改進：引入多尺度感受RFB和RFBS模塊,以及引入CSP網絡結構降低計算量。為驗證改進算法的有效性,在加油站數據集上,進行了各類方法的消融實驗。消融實驗結果如表3所示。表3給出了當IOU為0.6時模型的檢測精度和召回率,mAP@0.5表示模型的平均準確率。由表3可知,當輸入分辨率為416×416時,在主干特征提取網絡后引入RFB和RFBS的模型B和C,相比原YOLOv3模型A,平均準確率分別提升了0.7%和2.3%。模型D、E分別是在B和C的基礎上增加CSP技術,與B和C相比,平均準確率分別提升了1.6%和0.6%,模型權重分別減少了12.3 MByte和12.2 MByte?？梢钥闯?針對YOLOv3的改進策略對檢測性能的提升均有一定的幫助。

表3 模型分解對比實驗Tab.3 Comparative experiment of model decomposition

綜上,筆者提出的加油站作業(yè)檢測模型D,在加油站數據集上的mAP達到了83.7%,與原始的YOLOv3模型A相比,mAP提高了2.3%,提出的加油站作業(yè)檢測模型E,在加油站數據集上的mAP達到了84.3%,與原始的YOLOv3模型A相比,mAP提高了2.9%。

3.5.3 不同算法性能對比實驗

為說明算法的有效性,筆者還對提出算法與目標檢測算法中的表示性算法進行了比較。檢測算法選擇YOLOv3及其改進算法,包括YOLOv3-SPP、YOLOv3-Anchor和YOLOv4,并采用相同的實驗配置,在加油站數據集上實現這些算法,結果如表4所示。

結合表4對比不同算法在加油站數據集上的檢測精度,筆者提出的算法的精度均高于YOLOv4和YOLOv3算法及其改進版本。由于筆者提出的加油站作業(yè)檢測算法旨在實現輔助視頻監(jiān)控,部署設備通常是低性能設備,所以尺寸較小的模型更具有優(yōu)勢。

表4 不同算法性能對比Tab.4 Performance comparison of different algorithms

3.5.4 不同類別的對比實驗

表5列出了YOLOv3及其改進算法對不同類別AP值的對比,從表5可以看出,筆者提出的兩種模型相比原YOLOv3模型對9種類別的目標檢測精度都有一定提高,尤其是安全帽和頭部等小目標分別比YOLOv3高出了6%和6.6%,同時,對滅火裝置和油罐卡車等尺寸和形狀變化較大的目標,精度分別提高了3.3%和9.8%。可見,筆者提出的算法還是達到了較高的精度。

表5 不同類別的檢測AP值對比Tab.5 Comparison of detection AP values of different categories (%)

從自制的加油站數據集中選取若干幅圖片進行YOLOv3算法與筆者提出的算法檢測結果對比實驗,二者的IOU閾值、置信度閾值分別設置為0.6、0.25,從中隨機選取5幅圖片進行說明(見圖7)。圖7中左側圖和右側圖分別給出了YOLOv3與YOLOv3-CRS的檢測效果。圖7b中YOLOv3-CRS預測出了復雜場景下的遮擋目標，由于遮擋目標特征不明顯，YOLOv3收到復雜背景信息的干擾，很難準確識別，而YOLOv3-CRS可以更好地提取遮擋物的特征。圖7c中YOLOv3在檢測黃色工作服時，出現重復錨框，而YOLOv3-CRS能準確定位目標。圖7e和圖7g中YOLOv3存在不少漏檢目標，YOLOv3-CRS檢測出了更多的目標。圖7j中YOLOv3-CRS準確檢測出了遠處模糊的滅火毯，其得益于良好的小尺度特征提取能力。

4 結 語

筆者提出了一種多尺度感受野和跨階段局部網絡相結合的加油站檢測算法,首先以YOLOv3主干特征提取網絡Darknet-53獲取不同尺度的特征圖,接著引入一種多感受野特征提取模塊,實現不同分辨率特征的融合,在不同尺度的特征圖中融合全局語義信息和局部位置信息。通過構建跨階段局部結構降低計算成本并保證準確率。所提出的改進模型在加油站數據集上的實驗結果,以及與原有模型的比較,說明了該模型的檢測準確率更高。在后續(xù)的研究中,將考慮對模型進行壓縮、剪枝以輕量化加油站作業(yè)檢測模型,在保證算法檢測精度的基礎上提升模型檢測的實用性。