基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)設(shè)計(jì)

張 寶，胡 偉，陳禹伶，彭 帆*

（1.四川中煙工業(yè)有限責(zé)任公司綿陽(yáng)卷煙廠，綿陽(yáng) 621000；2.西南科技大學(xué)，綿陽(yáng) 621000）

0 引言

煙草甲蟲(chóng)屬鞘翅目竊蠢科，原生于美洲溫?zé)岬貛ВF(xiàn)為世界性倉(cāng)儲(chǔ)物害蟲(chóng)。煙草甲幼蟲(chóng)喜黑暗，有群集性，具有鉆蛀習(xí)性[1]。幼蟲(chóng)喜蛀入煙梗，咬食煙葉或蛀食茶葉，也喜吃淀粉類(lèi)食物。尤喜食香氣濃郁的優(yōu)質(zhì)煙葉。世界各國(guó)普遍發(fā)現(xiàn)煙草甲是煙葉、香煙、雪茄的重要害蟲(chóng)，在煙葉倉(cāng)庫(kù)里危害儲(chǔ)藏的煙葉，以及香煙和雪茄等煙草制品，特別喜食儲(chǔ)存1～2年的正在醇化的上、中等煙葉。成蟲(chóng)將卵產(chǎn)于煙葉的皺 及中肋處、糧粒表面及碎屑中間，產(chǎn)卵方式多為散產(chǎn)，防護(hù)工作很難。煙草甲蟲(chóng)蛀食煙葉不僅造成煙葉直接的重量損失，而且使被害后的煙葉、煙支千瘡百孔，其排泄物和蟲(chóng)尸還造成嚴(yán)重污染，影響煙草品質(zhì)。據(jù)資料顯示，全世界每年受到煙草甲蟲(chóng)危害的貯藏?zé)熑~損失達(dá)1%。因此，對(duì)煙草甲蟲(chóng)的監(jiān)測(cè)和預(yù)警工作尤為重要。高效的煙草甲蟲(chóng)監(jiān)測(cè)系統(tǒng)能夠及時(shí)發(fā)現(xiàn)蟲(chóng)情，從而指導(dǎo)精準(zhǔn)殺蟲(chóng)，防止蟲(chóng)情擴(kuò)大，避免造成嚴(yán)重的經(jīng)濟(jì)損失。

國(guó)內(nèi)對(duì)煙草甲蟲(chóng)的防治已有一定的研究。例如：2017年，紅塔煙草公司獲得一種新型的煙片儲(chǔ)存環(huán)境蟲(chóng)害檢測(cè)裝置的專(zhuān)利[2]；2017年，華中科技大學(xué)的孫艘設(shè)計(jì)了一種煙草蟲(chóng)情圖像采集與監(jiān)測(cè)系統(tǒng)[3]；2018年，白沙煙草公司保定卷煙廠獲得了一種殺蟲(chóng)板煙蟲(chóng)數(shù)量快速計(jì)數(shù)裝置的專(zhuān)利[4]；2019年，浙江中煙寧波卷煙廠制絲車(chē)間上線“蟲(chóng)情電子地圖”平臺(tái)。學(xué)界和業(yè)界對(duì)自動(dòng)化監(jiān)測(cè)煙草甲蟲(chóng)情的研究十分關(guān)注，并形成了一些理論研究成果和驗(yàn)證系統(tǒng)[5～7]，但時(shí)至今日仍沒(méi)有全自動(dòng)智能化的煙草甲監(jiān)測(cè)系統(tǒng)落地產(chǎn)品進(jìn)行規(guī)模應(yīng)用和推廣，因此還有廣闊的研究空間。

在煙草甲防治過(guò)程中，業(yè)內(nèi)普遍采用在制煙車(chē)間內(nèi)的監(jiān)測(cè)點(diǎn)布置煙草甲誘捕器，然后人工定期統(tǒng)計(jì)每個(gè)誘捕器上煙草甲數(shù)量的監(jiān)測(cè)方案，該方案存在統(tǒng)計(jì)數(shù)據(jù)代表性差、監(jiān)測(cè)效率低、實(shí)時(shí)性差和對(duì)歷史數(shù)據(jù)的信息挖掘不夠等問(wèn)題。本項(xiàng)目研究的智能監(jiān)測(cè)系統(tǒng)通過(guò)采集樣本監(jiān)測(cè)點(diǎn)的圖像數(shù)據(jù)進(jìn)行煙草甲檢測(cè)和識(shí)別得到蟲(chóng)情狀況，通過(guò)分析歷史數(shù)據(jù)來(lái)指導(dǎo)監(jiān)測(cè)點(diǎn)位置的選取和精準(zhǔn)殺蟲(chóng)，做到科學(xué)有效的監(jiān)測(cè)控制蟲(chóng)情。

1 整體設(shè)計(jì)

基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)由圖像采集終端、網(wǎng)絡(luò)通信線路、圖像處理算法、數(shù)據(jù)分析及用戶展示界面組成，整體設(shè)計(jì)技術(shù)路線圖如圖1所示。圖像采集終端包括圖像傳感器（相機(jī)）、光源、控制器以及防塵誘捕裝置，用于對(duì)煙草甲蟲(chóng)進(jìn)行圖像采集；網(wǎng)絡(luò)通信線路用于將圖像采集終端采集到的圖像傳送至服務(wù)器進(jìn)行煙草甲蟲(chóng)檢測(cè)識(shí)別；圖像處理算法為改進(jìn)的Cascade R-CNN[8]，用于對(duì)煙草甲蟲(chóng)進(jìn)行檢測(cè)；檢測(cè)結(jié)果分析后將被保存至數(shù)據(jù)庫(kù)并輸送至圖形用戶界面進(jìn)行可視化展示。基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)控系統(tǒng)可以實(shí)現(xiàn)自動(dòng)統(tǒng)計(jì)各監(jiān)控點(diǎn)的煙草甲個(gè)數(shù)，生成數(shù)據(jù)報(bào)表、熱力圖、趨勢(shì)圖，預(yù)警蟲(chóng)情等級(jí)，實(shí)現(xiàn)蟲(chóng)情智能監(jiān)測(cè)。

圖1 整體設(shè)計(jì)技術(shù)路線圖

在煙廠實(shí)地考察之后選擇二十個(gè)監(jiān)控點(diǎn)進(jìn)行煙草甲蟲(chóng)數(shù)量監(jiān)測(cè)，每一個(gè)監(jiān)控點(diǎn)設(shè)置一個(gè)圖像采集終端進(jìn)行圖像采集，采集時(shí)間為每隔一小時(shí)采集一張圖像。采集到圖像之后，基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)按照整體設(shè)計(jì)技術(shù)路線圖所示流程進(jìn)行工作，最終，用戶從軟件用戶界面獲取信息，做出相應(yīng)處理。

2 硬件設(shè)計(jì)

基于卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)通過(guò)采集并分析圖像來(lái)獲得煙草甲蟲(chóng)的數(shù)量，實(shí)現(xiàn)煙草甲蟲(chóng)情的自動(dòng)監(jiān)控，其依賴(lài)于可靠的硬件來(lái)采集圖像和傳輸圖像，在服務(wù)器上處理并保存圖像數(shù)據(jù)。本硬件設(shè)計(jì)方案包括自主設(shè)計(jì)的圖像采集終端、網(wǎng)絡(luò)通信線路和服務(wù)器。

圖像采集終端由樹(shù) 派4代B型（4B）作為控制器，負(fù)責(zé)接收來(lái)自服務(wù)器端的數(shù)據(jù)請(qǐng)求，控制USB高清攝像頭和LED光源采集圖片或視頻數(shù)據(jù)并傳送到服務(wù)器端。網(wǎng)絡(luò)通信線路由網(wǎng)線和具有POE供電功能的交換機(jī)組成，是數(shù)據(jù)傳輸和樹(shù) 派供電的物理載體。服務(wù)器需要具備足夠的圖像存儲(chǔ)空間和用于圖像處理的計(jì)算能力，滿足本項(xiàng)目對(duì)服務(wù)器的技術(shù)指標(biāo)要求。系統(tǒng)硬件總體結(jié)構(gòu)如圖2所示。

圖2 硬件總體結(jié)構(gòu)圖

2.1 圖像采集終端

圖像采集終端由圖像傳感器、控制器和誘捕器組成。圖像傳感器選用的是一款800萬(wàn)像素的USB攝像頭。煙草甲蟲(chóng)體積小，需要選用微距拍攝效果好的攝像頭，同時(shí)，卷煙廠廠房?jī)?nèi)一天不同時(shí)間的光照也不同，攝像頭需要根據(jù)光照的變化來(lái)改變焦距，該款攝像頭適合微距拍攝高清圖像，可快速自動(dòng)對(duì)焦，非常適合本套系統(tǒng)的應(yīng)用場(chǎng)景。

圖像傳感器功能參數(shù)列表如表1所示。

表1 圖像傳感器功能參數(shù)表

本套系統(tǒng)要應(yīng)用在各種光照條件和不同場(chǎng)景下，需要配合燈光才可以采集到質(zhì)量較好的煙草甲蟲(chóng)圖像，因此需要使用控制器來(lái)達(dá)到這個(gè)要求，綜合考慮布線復(fù)雜程度、程序開(kāi)發(fā)量和成本因素決定采用樹(shù) 派4代B型作為圖像采集終端的控制器。

由于圖像采集終端需長(zhǎng)期工作于生產(chǎn)環(huán)境現(xiàn)場(chǎng)，廠房?jī)?nèi)的生產(chǎn)活動(dòng)會(huì)產(chǎn)生一定的沖擊和大量的煙塵，圖像傳感器需要避免鏡頭沾染煙塵，同時(shí)圖像傳感器等都需要精密的保護(hù)，因此，為了保證拍攝圖像的質(zhì)量使用 金設(shè)計(jì)制作雙層防塵誘捕裝置，圖像傳感器和光源安裝在該裝置內(nèi)，其外觀示意圖如圖3所示。

圖3 圖像采集終端結(jié)構(gòu)圖

誘捕裝置在X和-X方向上只有一面，在其余四個(gè)方向上均由兩面構(gòu)成。X方向的平面上的虛線框?yàn)橄鄼C(jī)的安裝位置，并在相機(jī)安裝位置的四周布置2個(gè)LED燈用于采集圖像時(shí)補(bǔ)光，誘捕器由Z方向靠墻位置垂直插入誘捕裝置中，樹(shù)莓派安裝在-X方向。在Z、-Z、Y、-Y四個(gè)方向的平面上內(nèi)外壁交錯(cuò)布置直徑8mm的小圓孔來(lái)散發(fā)出誘捕器的信息素，引誘煙草甲蟲(chóng)進(jìn)入，同時(shí)防止灰塵進(jìn)入，圓孔布置位置如圖4所示，實(shí)線圓是外壁上的圓孔，虛線圓是內(nèi)壁上的圓孔。

圖4 內(nèi)外壁圓孔布置位置圖

2.2 網(wǎng)絡(luò)通信線路

網(wǎng)絡(luò)通信線路由六類(lèi)千兆網(wǎng)線和具有POE功能的交換機(jī)構(gòu)成，通過(guò)網(wǎng)絡(luò)通信線路建立圖像采集終端與服務(wù)器之間的數(shù)據(jù)通信，圖像采集終端通過(guò)套接字（Socket）與服務(wù)器進(jìn)行通信[9]，同時(shí)網(wǎng)絡(luò)通信線路也是圖像采集終端的供電線路[10]，這樣的設(shè)計(jì)可以大量減少系統(tǒng)的布線。

2.3 服務(wù)器

將采集到的圖像傳入服務(wù)器之后，服務(wù)器需要對(duì)圖像進(jìn)行處理與存儲(chǔ)，處理大量的圖片數(shù)據(jù)需要強(qiáng)大的服務(wù)器支持，服務(wù)器處理器選用4U機(jī)架式服務(wù)器，配置兩顆Inter Xeon5118CPU，顯卡選用GPU2080Ti，同時(shí)配置一個(gè)4口千兆以太網(wǎng)控制器作為網(wǎng)卡，硬盤(pán)為4*1TB 7.2K 6G SATA 2.5寸的HDD硬盤(pán)，服務(wù)器主要的配置如表2所示。

學(xué)生已經(jīng)學(xué)習(xí)了細(xì)胞的有絲分裂、減數(shù)分裂和受精作用等細(xì)胞學(xué)基礎(chǔ)知識(shí)，了解了DNA的基本單位以及染色體、蛋白質(zhì)等大分子物質(zhì)的化學(xué)組成，為新知識(shí)的學(xué)習(xí)奠定了堅(jiān)實(shí)基礎(chǔ)。此外，學(xué)生通過(guò)之前“遺傳規(guī)律”單元的學(xué)習(xí)，也具備了一定了實(shí)驗(yàn)設(shè)計(jì)能力。

表2 服務(wù)器主要配置

圖像采集終端程序流程圖如圖5所示，終端程序需要一直運(yùn)行，等待服務(wù)器的連接。

圖5 圖像采集終端程序流程圖

為了系統(tǒng)的主程序能夠方便獲取到圖像或視頻流，我們將獲取數(shù)據(jù)的程序封裝成一個(gè)函數(shù)，函數(shù)的輸入?yún)?shù)為圖像或者視頻的控制參數(shù)（如幀率和分辨率等），通過(guò)調(diào)用這個(gè)函數(shù)返回圖像或者視頻數(shù)據(jù)。

3 算法設(shè)計(jì)

煙草甲蟲(chóng)全長(zhǎng)約3毫米，是一種典型的小目標(biāo)。因此本套系統(tǒng)的算法針對(duì)小目標(biāo)識(shí)別這個(gè)關(guān)鍵問(wèn)題進(jìn)行研究。算法的基礎(chǔ)數(shù)據(jù)集均為自建數(shù)據(jù)集，基礎(chǔ)網(wǎng)絡(luò)為Cascade R-CNN，并基于經(jīng)典特征金字塔（Feature Pyramid Network，F(xiàn)PN）[11]形成新的多路特征紋理轉(zhuǎn)移（Multi feature texture transfer，MFFT）模塊。

3.1 煙草甲蟲(chóng)圖像數(shù)據(jù)集

對(duì)于基于深度卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法來(lái)說(shuō)，質(zhì)量?jī)?yōu)異的數(shù)據(jù)集是并不可少的一部分，由于現(xiàn)如今常見(jiàn)數(shù)據(jù)集中并無(wú)系統(tǒng)的煙草甲蟲(chóng)圖像，本文進(jìn)行了自建數(shù)據(jù)集的工作，使用自行設(shè)計(jì)的圖像采集終端對(duì)煙草甲蟲(chóng)進(jìn)行圖像采集。本文實(shí)驗(yàn)使用的圖像數(shù)據(jù)為2406張煙草甲蟲(chóng)圖像數(shù)據(jù)，這2406張圖像包括各種真實(shí)存在的，會(huì)影響圖像質(zhì)量的情況，例如：煙絲附著遮擋煙草甲蟲(chóng)的情況、光線較暗的情況以及各種情況的組合等。典型圖像如圖6所示。采集完成后，在服務(wù)器端通過(guò)改進(jìn)的Cascade R-CNN算法對(duì)這些圖像進(jìn)行檢測(cè)。該系統(tǒng)檢測(cè)準(zhǔn)確率達(dá)97.4%。

圖6 典型煙草甲蟲(chóng)圖像

3.2 多路特征紋理轉(zhuǎn)移模塊

目標(biāo)檢測(cè)算法采用在工程應(yīng)用方面具有很好魯棒性的基礎(chǔ)網(wǎng)絡(luò)Cascade R-CNN，在自建數(shù)據(jù)集上也可以獲得優(yōu)異的檢測(cè)結(jié)果。

多路特征紋理轉(zhuǎn)移模塊在典型的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）中加入多路特征紋理遷移（Multi Feature Texture Transfer，MFTT）模塊，得到擴(kuò)展金字塔，進(jìn)而獲取更多的圖像特征，提高圖像的檢測(cè)效果。

多路特征紋理遷移（MFTT）模塊實(shí)現(xiàn)了對(duì)特征的超分辨，即獲得超分辨后的特征，同時(shí)從參考特征中提取區(qū)域紋理。多路特征紋理遷移（MFTT）模塊解決了特征金字塔中噪聲直接傳遞淹沒(méi)語(yǔ)義的問(wèn)題，可排除參考特征中的干擾噪聲。多路特征紋理遷移（MFTT）模塊框架如圖7所示。

圖7 多路特征紋理遷移（MFTT）模塊框架

其中，P1、P2、P3、P4為典型特征金字塔網(wǎng)絡(luò)自頂向下的四個(gè)不同級(jí)別的特征金字塔，P1為底層金字塔，P4為頂層金字塔，P5為最終生成的擴(kuò)展金字塔。P1輸入作為參考特征，P2、P3、P4由內(nèi)容提取器提取主要的語(yǔ)義信息，作為主要特征，再經(jīng)過(guò)上采樣將提取到的主要特征的分辨率提高一倍，然后由紋理提取器選擇可信的區(qū)域紋理進(jìn)行小目標(biāo)檢測(cè)。最后，將紋理提取器提取的特征與P2、P3、P4層的主要特征進(jìn)行融合，生成擴(kuò)展金字塔P5。

3.3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證該系統(tǒng)中改進(jìn)的Cascade R-CNN對(duì)于煙草甲蟲(chóng)的檢測(cè)效果，選取原始的Cascade R-CNN算法對(duì)采集到的2406張圖像進(jìn)行檢測(cè)，并與改進(jìn)的Cascade R-CNN（本文方法）對(duì)比。由表3可知，本文方法檢測(cè)準(zhǔn)確率有較大的提升。

表3 不同檢測(cè)算法檢測(cè)準(zhǔn)確率對(duì)比

基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)需要對(duì)煙草甲蟲(chóng)這種典型的小目標(biāo)進(jìn)行檢測(cè)，因此檢測(cè)算法需要針對(duì)小目標(biāo)。加入了多路特征紋理轉(zhuǎn)移（MFTT）模塊的Cascsde R-CNN在小目標(biāo)檢測(cè)上具有良好的性能，同時(shí)Cascade R-CNN具有很好的魯棒性，使之在煙廠復(fù)雜的環(huán)境下也可以很好的工作，整套算法充分考慮了應(yīng)用場(chǎng)景與檢測(cè)需求，非常符合基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)的需求。

4 軟件設(shè)計(jì)

軟件主要包括系統(tǒng)管理、用戶界面和數(shù)據(jù)庫(kù)管理這三部分，其中用戶界面需要展示蟲(chóng)情信息、報(bào)警信息和監(jiān)控點(diǎn)。整體框架采用B/S架構(gòu)，即瀏覽器和服務(wù)器架構(gòu)模式，在這種架構(gòu)下，用戶工作界面是通過(guò) 覽器來(lái)實(shí)現(xiàn)，少部分事務(wù)邏輯在前端（Browser）實(shí)現(xiàn)，主要事務(wù)邏輯在服務(wù)器端（Server）實(shí)現(xiàn)。由于不需要專(zhuān)門(mén)的客戶端，因此跨平臺(tái)的可移植性較強(qiáng)。

軟件系統(tǒng)能集中管理監(jiān)測(cè)點(diǎn)采集的原始圖像數(shù)據(jù)和系統(tǒng)運(yùn)算產(chǎn)生的各種數(shù)據(jù)，滿足實(shí)時(shí)監(jiān)控、歷史數(shù)據(jù)查詢、統(tǒng)計(jì)數(shù)據(jù)報(bào)表、可視化圖表（熱力圖、趨勢(shì)圖、蟲(chóng)情點(diǎn)位爆炸圖）的數(shù)據(jù)分析和數(shù)據(jù)可視化要求，以及根據(jù)蟲(chóng)情等級(jí)的設(shè)置要求自動(dòng)預(yù)警。同時(shí)還增加了以下功能：系統(tǒng)管理中可實(shí)現(xiàn)用戶登錄、注冊(cè)、注銷(xiāo)、退出等功能，還可對(duì)不同用戶設(shè)置不同的權(quán)限，如只有管理人員可對(duì)后臺(tái)用戶數(shù)據(jù)和蟲(chóng)情信息進(jìn)行增刪補(bǔ)查，一般人員只能查看監(jiān)控信息等。

軟件功能結(jié)構(gòu)圖如圖8所示。

圖8 軟件功能結(jié)構(gòu)圖

一個(gè)卷煙廠中包含多個(gè)監(jiān)控點(diǎn)（本系統(tǒng)中的監(jiān)控點(diǎn)數(shù)量為20個(gè)），每個(gè)監(jiān)控點(diǎn)會(huì)在等時(shí)間間隔采集圖像，并對(duì)圖像數(shù)據(jù)進(jìn)行處理，得到每個(gè)監(jiān)控點(diǎn)的蟲(chóng)情數(shù)量，將統(tǒng)計(jì)后的蟲(chóng)情數(shù)量根據(jù)預(yù)先規(guī)定的 值劃分蟲(chóng)情報(bào)警級(jí)別。普通用戶只能獲取數(shù)據(jù)庫(kù)中的數(shù)據(jù)或者向數(shù)據(jù)庫(kù)寫(xiě)入數(shù)據(jù)（兩個(gè)功能中的一個(gè)），管理員則能對(duì)數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)進(jìn)行管理（包括添加數(shù)據(jù)、刪除數(shù)據(jù)和修改數(shù)據(jù)等）。

用戶界面展示如圖9所示，其中，圖9(a)為卷煙廠監(jiān)控點(diǎn)的平面示意圖以及報(bào)警信息，圖9(b)為每個(gè)監(jiān)控點(diǎn)在某個(gè)時(shí)間段內(nèi)的蟲(chóng)情占比餅狀圖，圖9(c)為蟲(chóng)情數(shù)據(jù)庫(kù)展示，提供每個(gè)監(jiān)控點(diǎn)當(dāng)前時(shí)刻煙草甲蟲(chóng)數(shù)量以及與上一時(shí)刻相比的增長(zhǎng)數(shù)量。

圖9 用戶界面展示

5 結(jié)語(yǔ)

本文設(shè)計(jì)了一個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)，以改進(jìn)的Cascade R-CNN算法為核心的智能監(jiān)測(cè)系統(tǒng)可以自動(dòng)采集圖像，傳輸圖像，進(jìn)行圖像檢測(cè)以及將檢測(cè)結(jié)果展示在網(wǎng)頁(yè)上，這是一個(gè)完全智能、不需要進(jìn)行人為干預(yù)的系統(tǒng)，打破了現(xiàn)如今人力檢測(cè)的困局。本文提出改進(jìn)的Cascade R-CNN算法在采集到的2406張圖像上可達(dá)到97.4%的檢測(cè)準(zhǔn)確率，明顯優(yōu)于其他檢測(cè)算法。因此，基于深度卷積神經(jīng)網(wǎng)絡(luò)的煙草甲蟲(chóng)智能監(jiān)測(cè)系統(tǒng)，為卷煙廠內(nèi)煙草甲蟲(chóng)的防治提供了一種自動(dòng)化且檢測(cè)準(zhǔn)確率高的方法，對(duì)卷煙廠內(nèi)煙草甲蟲(chóng)的防治具有重大意義。