基于YOLOV3 模型的卷煙廠煙蟲識別方法

洪金華，忻惠琴，陸海華，劉瑞東，舒 夢，陳 良，陳贊贊

浙江中煙工業(yè)有限責(zé)任公司寧波卷煙廠，浙江省寧波市奉化經(jīng)濟開發(fā)區(qū)霞浦西路2001 號 315040

隨著消費者健康意識的提高，卷煙品質(zhì)已成為消費者關(guān)注的重點之一［1］。然而，在煙草生產(chǎn)加工環(huán)節(jié)，特別是卷煙卷制包裝加工環(huán)節(jié)，為保障機器的最佳運行性能和卷煙的品質(zhì)，生產(chǎn)車間需常年保持恒溫恒濕的環(huán)境，而這種舒適的環(huán)境恰好有利于煙草甲（后文簡稱煙蟲）的生長繁殖。此外，在卷煙生產(chǎn)過程中會產(chǎn)生大量的煙絲、煙末等，也為煙蟲的繁殖提供了充分的食物來源。在整個卷煙生產(chǎn)過程中，生產(chǎn)車間是一個相對開放式的環(huán)境，物料的進入、人員以及各種車輛的進出等為煙蟲的引入提供了更多的可能性，并會長期在車間隱匿和繁殖。正是這樣舒適的環(huán)境，大量煙蟲得以繁殖和生長，進而影響到卷煙品質(zhì)。

為有效降低煙蟲對卷煙品質(zhì)的影響，對煙蟲的及時防治和有效治理顯得十分必要。為此，廖明俊等［2］提出了以清潔衛(wèi)生為主的車間煙蟲治理方法，但其缺點是無法及時監(jiān)控蟲情。李鐵軍等［3］介紹了國內(nèi)車間煙蟲治理現(xiàn)狀，并提出了及時監(jiān)控蟲情的必要性和重要性。程紅軍等［4］建立了一套基于預(yù)控技術(shù)的煙草甲蟲治理模式，通過其能夠及時發(fā)現(xiàn)生產(chǎn)各區(qū)域的蟲情并予以預(yù)警和處理，但其缺點是無法自動、及時和精準(zhǔn)地掌握蟲情。李宏志等［5］提出一種粘捕型煙蟲誘捕器，它能夠自動有效地誘捕煙蟲，但無法及時預(yù)警蟲情。段曉威等［6］提出了采用圖像處理技術(shù)對粘蟲板上的煙蟲進行預(yù)警和處理，該技術(shù)缺點是當(dāng)粘蟲板上有較多煙蟲或者存在煙末等雜質(zhì)時，無法精準(zhǔn)檢測煙蟲。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)取得了較大突破，一般基于深度學(xué)習(xí)的目標(biāo)檢測方法可分為兩類：一階段（one-stage）方法和兩階段(two-stage)方法。一階段方法直接用CNN 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測不同目標(biāo)的位置和類別，不需產(chǎn)生候選框，如YOLO［7］、YOLOV2［8］、SSD［9］等；兩階段方法先生成目標(biāo)候選框，然后對目標(biāo)候選框做分類與回歸，如R-CNN［10］、Fast R-CNN［11］、Faster R-CNN［12］等。一階段方法較二階段方法在檢測準(zhǔn)確率和定位精度上占據(jù)優(yōu)勢，但在計算速度上不如二階段方法。然而，在保證檢測速度的前提下，為提升預(yù)測精度，Redmon 等［13］提出了YOLOV3 模型，該模型能夠?qū)崿F(xiàn)更細(xì)粒度的目標(biāo)檢測，同時維持較高的檢測速度。基于YOLOV3模型的優(yōu)點，本研究中采用該模型對卷煙廠中煙蟲進行目標(biāo)識別，旨在通過對煙蟲精準(zhǔn)、高效地檢測以達到有效降低煙蟲對卷煙品質(zhì)影響的目的。

1 數(shù)據(jù)采集與預(yù)處理

1.1 數(shù)據(jù)采集

DC0101 煙蟲誘捕器（29 套，武漢東昌倉貯技術(shù)有限公司）；小型CCD 相機（29 套，Allied Vision工業(yè)相機）和智能LED 補光燈。煙蟲圖像采集裝置如圖1 所示。

圖1 圖像采集裝置Fig.1 A schematic of the image acquisition device

利用圖像采集裝置耗時120 d 共采集到300 張含有煙蟲的圖像，從中挑選3 張背景不同和有雜質(zhì)的圖像予以展示，如圖2 所示。

將采集到的圖像數(shù)據(jù)通過無線通信方式傳送至中控室主機，然后利用Tensorflow 中的雙線性插值法將圖像像素由2 448×2 448 調(diào)整為416×416，經(jīng)調(diào)整后的圖像能夠有效減少網(wǎng)絡(luò)模型的計算量。對于調(diào)整后的300 張煙蟲圖像，采用labelImg軟件進行標(biāo)注，標(biāo)注過程如圖3 所示。經(jīng)標(biāo)注過的圖像組成300 張樣本集，再將其隨機分成訓(xùn)練集和測試集，其中220 張為訓(xùn)練集，80 張為測試集。

圖3 煙蟲圖像標(biāo)注過程Fig.3 Tagging process for tobacco insect image

1.2 數(shù)據(jù)增強

利用由220 張圖像組成的訓(xùn)練集來訓(xùn)練YOLOV3 模型，往往會導(dǎo)致模型過擬合或者欠擬合現(xiàn)象。為提高模型的泛化能力和檢測精度，Montserrat 等［14］提出利用數(shù)據(jù)增強技術(shù)實現(xiàn)圖像數(shù)據(jù)的增強。為此，本研究中采用數(shù)據(jù)增強庫（imgaug）中5 種常用的增強技術(shù)增強訓(xùn)練集，用增強后的訓(xùn)練集訓(xùn)練模型，提高其魯棒性和檢測效果。

①旋轉(zhuǎn)：按兩個角度進行旋轉(zhuǎn)，即逆時針、順時針分別旋轉(zhuǎn)30 度，用白色背景進行填充，增強效果如圖4 所示。②縮放：將圖像放大1.5 倍或者縮小0.9 倍，對于縮小后的圖像，用白色背景進行填充，增強效果如圖5 所示。③平移：將圖像沿x軸或者y軸方向平移30 個像素，并用白色背景進行填充，增強效果如圖6 所示。④高斯噪聲：為了避免深度學(xué)習(xí)模型在學(xué)習(xí)高頻特征時容易產(chǎn)生的過擬合現(xiàn)象，采用高斯噪聲來消除高頻特征，增強效果如圖7 所示。⑤翻轉(zhuǎn)：采用鏡面映射實現(xiàn)圖像旋轉(zhuǎn)，增強效果如圖8 所示。

圖4 左右旋轉(zhuǎn)增強后的煙蟲圖像效果圖Fig.4 Enhanced images of tobacco insects after left and right rotations

每種數(shù)據(jù)增強技術(shù)可將原始圖像增強2 倍，即增強后訓(xùn)練集中共有2 420 張煙蟲圖像。

圖5 放大和縮小增強后的煙蟲圖像效果圖Fig.5 Enhanced mages of tobacco insects after zooming in and zooming out

圖6 x 和y 軸平移增強后的煙蟲圖像效果圖Fig.6 Enhanced images of tobacco insects after x-axis and y-axis translation

圖7 高斯噪聲增強后的煙蟲圖像效果圖Fig.7 Images of tobacco insects enhanced by Gaussian noise

圖8 上下翻轉(zhuǎn)增強后的煙蟲圖像效果圖Fig.8 Enhanced images of tobacco insects after up and down flipping

2 實驗方法

2.1 數(shù)據(jù)集的劃分

利用29 套圖像采集裝置共采集到300 張含有煙蟲的圖像，其中224 張含有煙末等雜質(zhì)，另外76張僅含煙蟲。隨機將其分為訓(xùn)練集和測試集，其中220 幅作為訓(xùn)練數(shù)據(jù)用于訓(xùn)練YOLOV3 模型；剩余80 幅作為測試集用于評價模型的準(zhǔn)確率，測試集中49 幅含有煙末雜質(zhì)，煙蟲數(shù)量為119 只，31幅僅含煙蟲，煙蟲數(shù)量為71 只。為對煙蟲實現(xiàn)精準(zhǔn)、高效的檢測，首先采用1.2 節(jié)中的5 種數(shù)據(jù)增強方法，將220 幅訓(xùn)練數(shù)據(jù)增強為2 420 幅，并將2 420 幅煙蟲圖像按4∶1 的比例重新劃分為訓(xùn)練集和驗證集，得到1 936 幅訓(xùn)練集圖像和484 幅驗證集圖像，其中煙蟲數(shù)量分別為8 786 只和1 228只。通過訓(xùn)練集中1 936 幅煙蟲圖像訓(xùn)練YOLOV3 模型參數(shù)，并利用驗證集中的484 幅煙蟲圖像監(jiān)督模型的訓(xùn)練情況，指導(dǎo)模型選擇最優(yōu)的YOLOV3 參數(shù)，最后在80 幅測試集上評價YOLOV3 模型對煙蟲的最終檢測效果。

2.2 錨點框的生成

為更加精準(zhǔn)地預(yù)測真實邊界框，需生成相對理想的先驗錨點框。Redmon 等［7-8,13］采用k-means算法得到先驗錨點框，而袁方等［15］認(rèn)為k-means 聚類算法對初始值更為敏感。因此，采用k-means++算法對訓(xùn)練集中樣本進行聚類生成9 個先驗錨點框，k-means++聚類算法流程為：①從數(shù)據(jù)集中選取樣本均值作為第一個聚類中心；②計算每個樣本與當(dāng)前已有聚類中心之間的最短距離（即與最近的一個聚類中心的距離），用D（x）表示，D（x）越大表示該樣本將被選為下一個聚類中心的概率越大；按照輪盤法選出下一個聚類中心；③重復(fù)步驟2，直至選出9 個聚類中心；④采用Redmon 中的k-means 算法優(yōu)化9 個初始聚類中心。

通過k-means++算法聚類生成的9 個先驗錨點框，如表1 所示。

表1 9 個先驗錨點框Tab.1 The 9 prior anchor bounding boxes

2.3 實驗設(shè)計

采用YOLOV3［13］模型對煙蟲進行檢測。為實現(xiàn)對煙蟲高效精準(zhǔn)檢測，采用1.2 節(jié)中增強后數(shù)據(jù)集和2.2 節(jié)中先驗錨點框訓(xùn)練模型。模型迭代參數(shù)（epochs）為200，批處理參數(shù)（batch_size）為2，驗證集劃分比例（val_splite）為0.2，優(yōu)化方法為自適應(yīng)梯度下降法（adam），其他參數(shù)采用YOLOV3［13］模型中的參數(shù)。為驗證本方法的有效性，選用DSSD［16］模型作為對比試驗的參考模型，該模型采用殘差連接提高了模型的深度，有效提高了淺層表征能力，克服了SSD［9］對小目標(biāo)識別不敏感的問題。DSSD 模型的數(shù)據(jù)集和參數(shù)均與本方法的設(shè)置保持一致。在訓(xùn)練和測試過程中，本實驗的運行環(huán)境為：pycharm、keras、cudn9.1、cudnn7.1、GeForce GTX 1050 Ti（4G）。

2.4 實驗評價指標(biāo)

對于煙蟲檢測識別效果的評價，僅采用準(zhǔn)確度進行評價是不夠的，還需對煙蟲的位置進行定位以及用邊框準(zhǔn)確框出煙蟲。為更好地評價模型的性能，采用平均精度均值［17-18］（Mean Average Precision，MAP）予以評價。由于本研究中只涉及一類昆蟲，所以MAP等于AP［19］，AP的公式如下：

其中：P為精確率，R為召回率，P（R）為以R為參數(shù)的函數(shù)，整個公式等價于計算P與R曲線圍成的曲線面積，即P-R曲線面積。P、R的計算公式如下：

其中：TP為被模型檢測出來且真正為煙蟲的數(shù)目，Prediction為被模型檢測出來的目標(biāo)數(shù)目，GroundTruth為真實標(biāo)簽數(shù)目。P與R單獨使用均不能很好地評價目標(biāo)檢測模型的性能，因為P存在漏檢和R存在錯檢的情況。

3 模型檢測效果

3.1 準(zhǔn)確性

共歷時29 h 42 min 完成對YOLOV3 模型的訓(xùn)練，模型在155 次迭代后模型檢測效果性能趨于穩(wěn)定，其在驗證集上最優(yōu)檢測效果如表2 所示。由表2 可知，對于精確度、召回率和平均精度等指標(biāo)，YOLOV3 檢測效果達到95%以上，超過DSSD模型；YOLOV3 模型單張圖像平均檢測速度達到0.112 1 s，優(yōu)于DSSD 模型0.594 7 s，達到模型對煙蟲檢測精度和速度的要求。

在測試集上，煙蟲檢測模型方法準(zhǔn)確性試驗結(jié)果如表3 所示。由表3 可知，對于精確度、召回率和平均精度等指標(biāo)，YOLOV3 檢測效果均達到96%以上，超過DSSD模型；YOLO3模型單張圖像平均檢測速度達到0.129 2 s，優(yōu)于DSSD模型0.608 7 s，能夠滿足卷煙廠對煙蟲檢測速度的要求。

表2 驗證集中YOLOV3 模型和DSSD 模型的檢測效果Tab.2 Detection results of YOLOV3 model and DSSD model for validation set

表3 測試集中YOLOV3 模型和DSSD 模型的檢測效果Tab.3 Detection results of YOLOV3 model and DSSD model for test set

3.2 抗干擾能力

在測試集上，煙蟲檢測模型方法抗干擾能力試驗結(jié)果見圖9。由圖9 可以看出：（1）、（2）和（3）3 幅圖中，盡管黏板和煙蟲的位置不同，利用YOLOV3 模型仍能夠?qū)崿F(xiàn)煙蟲的精準(zhǔn)識別并予以標(biāo)注；（5）、（6）和（7）3 幅圖中，盡管存在與煙蟲較為相似的煙絲和煙末等雜質(zhì)，利用YOLOV3 模型依然能夠精準(zhǔn)高效地檢測出圖像中的煙蟲；（4）和（8）兩幅圖中，由于存在與煙蟲極為相似的煙絲和煙末等雜質(zhì)，故存在一定的誤檢現(xiàn)象。由此可知，經(jīng)訓(xùn)練好的YOLOV3 模型對黏板位置、煙絲、煙末等雜質(zhì)具有一定的抗干擾能力。

盡管YOLOV3 模型能夠有效解決煙蟲等小目標(biāo)檢測問題，但依然存在將少量與煙蟲極其相似的煙末、煙絲等雜質(zhì)誤檢為煙蟲的情況，其原因很可能是由于網(wǎng)絡(luò)結(jié)構(gòu)存在提取的特征不夠十分有效或者網(wǎng)絡(luò)結(jié)構(gòu)有待改進的問題。Gao S H 等［20］提出的CNNS 模塊增強了多尺度特征提取能力，實現(xiàn)了更加細(xì)粒度的目標(biāo)物體檢測。為此，后期將考慮結(jié)合CNNS 模塊設(shè)計一種更高效地特征提取網(wǎng)絡(luò)，優(yōu)化YOLOV3 模型網(wǎng)絡(luò)結(jié)構(gòu)，解決少量誤檢等問題。

圖9 煙蟲檢測模型抗干擾能力實驗結(jié)果Fig.9 Experiment results of anti-interference ability of tobacco insect detection model

4 應(yīng)用效果

4.1 煙蟲報警處理系統(tǒng)

針對卷煙廠需及時、精準(zhǔn)地掌握蟲情的要求，采用YOLOV3 模型設(shè)計了一套煙蟲報警處理系統(tǒng)，處理技術(shù)路線圖見圖10。利用該系統(tǒng)可精準(zhǔn)地檢測出煙蟲的數(shù)量、一定時間內(nèi)煙蟲的增加量及其位置。當(dāng)煙蟲數(shù)量在一段時間內(nèi)增加的數(shù)量超過閾值（可根據(jù)各卷煙廠具體情況進行設(shè)置）時則報警，有關(guān)人員則采取相應(yīng)措施進行處理。

4.2 系統(tǒng)應(yīng)用效果

本套檢測系統(tǒng)不僅能夠?qū)熛x誘捕器上煙蟲進行檢測識別，也能夠?qū)ζ渌麢z測點的煙蟲進行檢測識別。以卷包車間最易滋生煙蟲的廢煙處理機和煙梗分離器為例，利用手機對廢煙處理機和煙梗分離器進行圖像采集，分別采集到一張大小為1 440×1 080 像素的圖像。首先將其通過無線通訊方式傳送至中控室主機，然后利用Tensorflow中的雙線性插值法將采集到的圖像調(diào)整為416×416 像素，最后利用系統(tǒng)中YOLOV3 模型進行檢測識別，檢測效果如圖11 所示。由圖11 可以看出，該套煙蟲報警系統(tǒng)也實現(xiàn)了卷包車間中廢煙處理機和煙梗分離器上煙蟲的精準(zhǔn)識別。

圖10 煙蟲報警處理技術(shù)路線圖Fig.10 Technical roadmap for tobacco insect alarm processing

圖11 系統(tǒng)模型的擴展應(yīng)用Fig.11 Examples of model application

5 結(jié)論

①采用數(shù)據(jù)增強技術(shù)和k-means++聚類方法提供的充足數(shù)據(jù)以及較理想的先驗框等對YOLOV3 模型進行訓(xùn)練，經(jīng)訓(xùn)練后的YOLOV3 模型能夠?qū)頍煆S煙蟲進行精準(zhǔn)檢測，驗證集和測試集中檢測精度均達到95%以上，每幀檢測速度分別為0.112 1 s 和0.129 2 s，能夠滿足卷煙廠對煙蟲檢測的精度和速度要求。②經(jīng)訓(xùn)練好的YOLOV3 模型對黏板位置、煙絲、煙末等雜質(zhì)具有一定的抗干擾能力，具備在復(fù)雜環(huán)境下安裝部署的條件。③基于YOLOV3 模型設(shè)計的煙蟲報警處理系統(tǒng)能夠精準(zhǔn)檢測出煙蟲數(shù)量、一定時間內(nèi)煙蟲增加量及其位置。該系統(tǒng)在廢煙處理機和煙梗分離器上取得了較好的應(yīng)用效果。