基于增強(qiáng)型Tiny-YOLOV3模型的野雞識(shí)別方法

易 詩(shī)，沈 練，周思堯，朱競(jìng)銘，袁學(xué)松

基于增強(qiáng)型Tiny-YOLOV3模型的野雞識(shí)別方法

易 詩(shī)1，沈 練1，周思堯1，朱競(jìng)銘1，袁學(xué)松2

（1. 成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院（網(wǎng)絡(luò)安全學(xué)院、牛津布魯克斯學(xué)院），成都 610059；2. 電子科技大學(xué)電子科學(xué)與工程學(xué)院，成都 610054）

智慧農(nóng)業(yè)病蟲(chóng)害檢測(cè)技術(shù)發(fā)展迅猛，而對(duì)農(nóng)作物具有危害的鳥(niǎo)類檢測(cè)技術(shù)尚處于起步階段，近年來(lái)由于生態(tài)改善，野雞繁殖數(shù)量激增，其喜食小麥、玉米、紅薯等農(nóng)作物的種子與幼苗，對(duì)農(nóng)業(yè)造成一定危害。該研究提出了一種適宜于嵌入式系統(tǒng)部署的人工智能野雞識(shí)別方法。由于在野外環(huán)境下移動(dòng)平臺(tái)上部署，需采用輕量級(jí)網(wǎng)絡(luò)，同時(shí)保證檢測(cè)精度與實(shí)時(shí)性，因此，根據(jù)Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)基本結(jié)構(gòu)，提出了一種針對(duì)野外復(fù)雜環(huán)境中出現(xiàn)野雞的實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)-增強(qiáng)型輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)（Enhanced Tiny-YOLO，ET-YOLO），該網(wǎng)絡(luò)特征提取部分加深Tiny-YOLOV3特征提取網(wǎng)絡(luò)深度，增加檢測(cè)尺度以提高原網(wǎng)絡(luò)目標(biāo)檢測(cè)精度，網(wǎng)絡(luò)檢測(cè)層使用基于CenterNet結(jié)構(gòu)的檢測(cè)方式以進(jìn)一步提高檢測(cè)精度與檢測(cè)速度。使用野外實(shí)地采集各種環(huán)境下出現(xiàn)的野雞圖像作為數(shù)據(jù)集，包括不同距離、角度、環(huán)境出現(xiàn)的野雞共計(jì)6 000幅高清圖像制作數(shù)據(jù)集。試驗(yàn)結(jié)果表明，ET-YOLO在視頻中復(fù)雜環(huán)境下出現(xiàn)的野雞平均檢測(cè)精度達(dá)86.5%，平均檢測(cè)速度62幀/s，相對(duì)改進(jìn)前Tiny-YOLOV3平均檢測(cè)精度提高15個(gè)百分點(diǎn)，平均檢測(cè)速度相對(duì)改進(jìn)前Tiny-YOLOV3提高2幀/s，相對(duì)YOLOV3、Faster-RCNN與SSD_MobileNetV2主流代表性目標(biāo)檢測(cè)算法，平均檢測(cè)精度分別提高1.5、1.1與18個(gè)百分點(diǎn)，平均檢測(cè)速度分別提高38、47與1幀/s?？筛咝?shí)時(shí)地對(duì)復(fù)雜環(huán)境下出現(xiàn)的野雞進(jìn)行識(shí)別，并且檢測(cè)模型大小為56 MB，適宜于在農(nóng)業(yè)機(jī)器人，智能農(nóng)機(jī)所搭載的嵌入式系統(tǒng)上部署。

農(nóng)業(yè)；人工智能；嵌入式系統(tǒng)；野雞識(shí)別；ET-YOLO；CenterNet檢測(cè)結(jié)構(gòu)

0 引 言

隨著中國(guó)退耕還林工程的實(shí)施山林面積大幅度增加，缺乏天敵控制，野雞繁殖數(shù)量大增，南北方平原，丘陵，山地分布普遍。由于野雞喜食玉米、花生、小麥、油菜等作物種子與果實(shí)，給農(nóng)作物種植造成了巨大的經(jīng)濟(jì)損失[1]。農(nóng)業(yè)生產(chǎn)中對(duì)于野雞等危害農(nóng)作物的鳥(niǎo)類傳統(tǒng)控制方法有架設(shè)假人模型，反光帶，聲音驅(qū)趕等[2-3]，該類方法簡(jiǎn)單經(jīng)濟(jì)但效果有限。此外，下網(wǎng)、下夾、毒殺、獵殺等方法非常危險(xiǎn)，且野雞為國(guó)家保護(hù)動(dòng)物。近年來(lái)智慧農(nóng)業(yè)發(fā)展迅猛，發(fā)展一種結(jié)合人工智能的驅(qū)趕野雞方法有著實(shí)際意義，方法中最為重要的環(huán)節(jié)在于對(duì)野雞的發(fā)現(xiàn)與監(jiān)測(cè)。

野雞一般活躍于秋冬季與初春，06:00－09:00、16:00－18:00，分布于田間、經(jīng)濟(jì)林、荒地等區(qū)域，季節(jié)性單只或成群出現(xiàn)。對(duì)野雞的檢測(cè)與預(yù)警方法，主要需解決如下幾個(gè)問(wèn)題：1）野雞具有保護(hù)色，特別是雌性個(gè)體。2）野外復(fù)雜環(huán)境，野雞出現(xiàn)區(qū)域普遍存在一定草木的遮擋。3）野雞出現(xiàn)的距離和目標(biāo)大小隨時(shí)變化。

近年來(lái)，在目標(biāo)檢測(cè)方面，基于深度學(xué)習(xí)的方法準(zhǔn)確率大大超過(guò)了傳統(tǒng)的人工設(shè)計(jì)特征的檢測(cè)方法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)主要包括兩類，一類是基于區(qū)域生成的卷積網(wǎng)絡(luò)結(jié)構(gòu)，代表性的網(wǎng)絡(luò)為區(qū)域卷積網(wǎng)絡(luò)Region-CNN（RCNN）、更快速卷積神經(jīng)網(wǎng)絡(luò)Faster-Region-CNN（Faster-RCNN）[4-5]；一類是把目標(biāo)位置的檢測(cè)視作回歸問(wèn)題，直接利用CNN網(wǎng)絡(luò)結(jié)構(gòu)圖像進(jìn)行處理，同時(shí)預(yù)測(cè)出目標(biāo)的類別和位置，代表性的網(wǎng)絡(luò)有單次多框檢測(cè)器Single Shot MultiBox Detector（SSD）、單次檢測(cè)器You Only Look Once（YOLO）[6-8]等。智慧農(nóng)業(yè)目標(biāo)檢測(cè)方面，熊俊濤等[9]采用Faster-RCNN實(shí)現(xiàn)了自然環(huán)境下綠色柑橘的識(shí)別。趙德安等[10]采用YOLOV3實(shí)現(xiàn)了水下攝像頭采集的河蟹圖像的識(shí)別。呂石磊等[11]采用改進(jìn) YOLOv3-LITE 輕量級(jí)神經(jīng)網(wǎng)絡(luò)進(jìn)行柑橘識(shí)別。燕紅文等[12]采用改進(jìn) Tiny-YOLO 模型進(jìn)行群養(yǎng)生豬臉部姿態(tài)檢測(cè)。易詩(shī)等[13]采用紅外熱成像與改進(jìn)的YOLOV3進(jìn)行夜間野兔識(shí)別。其中Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)具備對(duì)目標(biāo)檢測(cè)精度高，速度快，模型精簡(jiǎn)合適與嵌入式計(jì)算平臺(tái)部署的優(yōu)點(diǎn)。但對(duì)野外復(fù)雜環(huán)境中出現(xiàn)的野雞識(shí)別存在以下問(wèn)題：1）遮擋條件下目標(biāo)的檢測(cè)精度需提高。2）尺度變化的運(yùn)動(dòng)目標(biāo)檢測(cè)精度需進(jìn)一步提升。3）目標(biāo)檢測(cè)模型的精度，速度與體量需進(jìn)一步調(diào)整平衡。

因此，本研究針對(duì)野外復(fù)雜環(huán)境中進(jìn)行野雞識(shí)別的特點(diǎn)，在Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)上提出了一種增強(qiáng)型輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)（Enhanced Tiny-YOLO，ET-YOLO）。該網(wǎng)絡(luò)根據(jù)野外野雞活動(dòng)的特點(diǎn)，在Tiny-YOLOV3網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)上加深特征提取網(wǎng)絡(luò)深度，增加檢測(cè)尺度以提高對(duì)運(yùn)動(dòng)中尺度與姿態(tài)變化目標(biāo)的檢測(cè)精度，在網(wǎng)絡(luò)檢測(cè)層根據(jù)參考文獻(xiàn)[14]采用CenterNet結(jié)構(gòu)替代原網(wǎng)絡(luò)的YOLO檢測(cè)層以提高檢測(cè)速度，增強(qiáng)特征檢測(cè)能力提高對(duì)部分遮擋目標(biāo)（半身、背部、頭部）的檢測(cè)精度。經(jīng)試驗(yàn)驗(yàn)證，增強(qiáng)的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)經(jīng)訓(xùn)練生成的檢測(cè)模型適宜于部署嵌入式計(jì)算平臺(tái)，在野外環(huán)境下高效地進(jìn)行野雞目標(biāo)識(shí)別。

1 試驗(yàn)數(shù)據(jù)

1.1 試驗(yàn)數(shù)據(jù)采集

由于公開(kāi)野雞監(jiān)測(cè)數(shù)據(jù)集的缺乏，開(kāi)源鳥(niǎo)類分類數(shù)據(jù)集不適宜于針對(duì)野雞的監(jiān)測(cè)。本文采用野外拍攝野雞在各種環(huán)境，距離下出現(xiàn)的視頻制作野雞監(jiān)測(cè)數(shù)據(jù)集，數(shù)據(jù)集的采集時(shí)間為野雞活躍的秋冬季及初春06:00－09:00、16:00－18:00，采集地點(diǎn)為中國(guó)四川省綿陽(yáng)市境內(nèi)農(nóng)業(yè)大縣梓潼、鹽亭、劍閣，采集環(huán)境包括麥田、玉米地、荒地、樹(shù)林等野雞常見(jiàn)出沒(méi)區(qū)域。由于野雞性情謹(jǐn)慎，出沒(méi)路線無(wú)規(guī)律，因此，采集平臺(tái)采用加載野雞叫聲的引鳥(niǎo)放音器引誘野雞出現(xiàn)，配合運(yùn)動(dòng)相機(jī)遠(yuǎn)程錄制2 K高清視頻，放置于雜草叢邊或懸掛于小樹(shù)枝上進(jìn)行圖像采集。

實(shí)地采集視頻制作的野雞監(jiān)測(cè)數(shù)據(jù)集共計(jì)6 000幅高清野雞圖像，根據(jù)智能農(nóng)機(jī)及農(nóng)業(yè)機(jī)器人搭載攝像頭拍攝能力與深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)能力，采集距離為5～50 m，包括正面、側(cè)面、背面，各種姿態(tài)與尺度的野雞樣本，同時(shí)采集實(shí)際情況下存在遮擋環(huán)境與保護(hù)色融入的野雞樣本，提高對(duì)部分遮擋情況下野雞目標(biāo)的監(jiān)測(cè)精度。數(shù)據(jù)集中部分樣本如圖1所示。

圖1 野雞監(jiān)測(cè)樣本

1.2 數(shù)據(jù)集制作

使用OpenCV工具對(duì)原始數(shù)據(jù)集進(jìn)行增強(qiáng)，包括水平方向上正負(fù)45°的隨機(jī)旋轉(zhuǎn)、隨機(jī)水平/垂直旋轉(zhuǎn)、剪裁與縮放，對(duì)每張圖片隨機(jī)采用以上一種方式進(jìn)行擴(kuò)增，最終得到12 000幅圖像的增強(qiáng)數(shù)據(jù)集。

對(duì)增強(qiáng)后數(shù)據(jù)集使用labelImg工具對(duì)檢測(cè)目標(biāo)進(jìn)行標(biāo)注。按5:1劃分訓(xùn)練集與測(cè)試集，樣本中野雞出現(xiàn)各類情況如表1所示。

表1 野雞樣本數(shù)量

2 檢測(cè)模型

2.1 Tiny-YOLOV3 網(wǎng)絡(luò)模型

Tiny-YOLOV3目標(biāo)檢測(cè)模型為YOLO系列中針對(duì)移動(dòng)端與邊緣計(jì)算設(shè)計(jì)的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)，特點(diǎn)為精簡(jiǎn)，高實(shí)時(shí)性，檢測(cè)精度較高。

Tiny-YOLOV3主干網(wǎng)絡(luò)為YOLOV3的簡(jiǎn)化，由13個(gè)卷積層，6個(gè)最大池化層，1個(gè)連接層構(gòu)成，結(jié)構(gòu)如圖2所示。

注：Conv：卷積操作；Maxpool：最大池化操作；Concatenate：連接操作；Upsample：上采樣操作；YOLO detection: YOLO檢測(cè)層；NMS：非極大值抑制。416×416、208×208、26×26、13×13分別指輸入圖像與特征圖分辨率，16、256、128、24為卷積層深度。下同。

Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)輸入圖像分辨率416×416，經(jīng)一系列卷積，最大池化，連接，上采樣操作對(duì)圖像進(jìn)行特征提取，YOLO檢測(cè)層根據(jù)輸入的圖像數(shù)據(jù)，分別在13×13，26×26，這2個(gè)檢測(cè)尺度上運(yùn)用回歸分析法輸出圖像數(shù)據(jù)的多個(gè)滑動(dòng)窗口位置及該窗口中檢測(cè)到的目標(biāo)類別，設(shè)置多個(gè)錨點(diǎn)框以檢測(cè)目標(biāo)，完成目標(biāo)檢測(cè)后引入非極大值抑制[15]剔除冗余的檢測(cè)框以使得對(duì)于每個(gè)目標(biāo)均有唯一檢測(cè)框，使其位置信息更準(zhǔn)確，置信度更高。

由于Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)較為精簡(jiǎn)，雖實(shí)時(shí)性高，適宜于嵌入式邊緣計(jì)算平臺(tái)部署，但其特征提取操作精簡(jiǎn)，檢測(cè)尺度較少，難以準(zhǔn)確檢測(cè)運(yùn)動(dòng)中呈現(xiàn)多種姿態(tài)，保護(hù)色掩護(hù)，具有一定隱藏性的野雞目標(biāo)。因此應(yīng)對(duì)其做出改進(jìn)與增強(qiáng)，使其適宜于復(fù)雜環(huán)境下出現(xiàn)的野雞目標(biāo)的檢測(cè)。

2.2 ET-YOLO網(wǎng)絡(luò)模型

為提高Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)野外復(fù)雜環(huán)境中具有保護(hù)色，遮擋以及運(yùn)動(dòng)中姿態(tài)變化的野雞目標(biāo)檢測(cè)精度同時(shí)保證模型的精簡(jiǎn)性與檢測(cè)的實(shí)時(shí)性，本文提出的ET-YOLO增強(qiáng)型輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)，在Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上加深主干特征提取網(wǎng)絡(luò)，增強(qiáng)檢測(cè)尺度，改進(jìn)網(wǎng)絡(luò)檢測(cè)層，提升其目標(biāo)檢測(cè)性能，提升實(shí)時(shí)性。

根據(jù)文獻(xiàn)[16]提出的主干特征提取網(wǎng)絡(luò)改進(jìn)方法，能夠在Tiny-YOLOV3的特征提取主干網(wǎng)絡(luò)上增強(qiáng)多尺度目標(biāo)的檢測(cè)能力，由于Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)淺層卷積Conv4層能夠較為有效地表征在隱藏環(huán)境下野雞部分身體出現(xiàn)所呈現(xiàn)的小目標(biāo)的語(yǔ)義信息，而Conv3 層特征感受野太小，Conv5 層則特征感受野太大，包含一定的背景噪聲干擾。因此，為提升遮擋情況下小目標(biāo)檢測(cè)能力，ET-YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)將Tiny-YOLOV3中Maxpool3 層替換為Conv4 層，增加Conv5 層將Conv4 層的特征通道維度壓縮以減少無(wú)效參數(shù)；同時(shí)在Tiny-YOLOV3 模型的基礎(chǔ)上增加上采樣層Upsample2，將Conv5層和Upsample2 在通道維度上進(jìn)行連接操作，Conv7通過(guò)Upsample2進(jìn)行升采樣操作，形成特征金字塔增加的一個(gè)特征圖層，特征金字塔網(wǎng)絡(luò)由Tiny-YOLOV3的13×13和26×26像素提升為13×13、26×26和52×52像素的3個(gè)檢測(cè)尺度結(jié)構(gòu)以更好地檢測(cè)多尺度目標(biāo)。在檢測(cè)網(wǎng)絡(luò)部分，使用CenterNet結(jié)構(gòu)代替原有YOLO層，優(yōu)化檢測(cè)方法，增強(qiáng)特征檢測(cè)能力以提高對(duì)部分遮擋目標(biāo)的檢測(cè)精度，降低誤檢率，降低運(yùn)算量，提高檢測(cè)實(shí)時(shí)性。ET-YOLO網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

為提高對(duì)隱藏環(huán)境中野雞目標(biāo)的檢測(cè)精度，提高檢測(cè)實(shí)時(shí)性，降低運(yùn)算量，檢測(cè)網(wǎng)絡(luò)部分使用CenterNet結(jié)構(gòu)，用無(wú)錨點(diǎn)方式代替原有基于錨點(diǎn)的YOLO檢測(cè)層。使改進(jìn)后的目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)速度與特征檢測(cè)能力進(jìn)一步提升。

CenterNet是Zhou等[17]于2019年提出的目標(biāo)檢測(cè)最新方法，其基本思想為：基于錨點(diǎn)的方法經(jīng)常出現(xiàn)大量不正確的邊界框，由于缺乏對(duì)相關(guān)剪裁區(qū)域的額外監(jiān)督所造成，因此原Tiny-YOLOV3在YOLO檢測(cè)層中需大量錨點(diǎn)框進(jìn)行目標(biāo)檢測(cè)。而CenterNet檢測(cè)層的優(yōu)勢(shì)在于：1）CenterNet基于目標(biāo)中心點(diǎn)的預(yù)測(cè)，無(wú)錨點(diǎn)框概念，無(wú)框重疊閾值門限以確定正錨點(diǎn)與負(fù)錨點(diǎn)，同時(shí)無(wú)需要區(qū)分錨點(diǎn)框是物體還是背景。因?yàn)槊總€(gè)目標(biāo)只對(duì)應(yīng)一個(gè)中心點(diǎn)，這個(gè)中心點(diǎn)是通過(guò)熱力圖預(yù)測(cè)，因此后端無(wú)需極大值抑制再進(jìn)行篩選。2）CenterNet結(jié)構(gòu)簡(jiǎn)單，直接檢測(cè)目標(biāo)的中心點(diǎn)和大小，為真正意義上的無(wú)錨點(diǎn)檢測(cè)。因此在降低運(yùn)算量，提高實(shí)時(shí)性的基礎(chǔ)上同時(shí)提高了目標(biāo)特征檢測(cè)能力，提高了檢測(cè)精度。

注：52×52指輸入圖像與特征圖分辨率。

式中為關(guān)鍵點(diǎn)類型數(shù)（即輸出特征圖通道數(shù)）對(duì)于野雞監(jiān)測(cè)這個(gè)單目標(biāo)檢測(cè)問(wèn)題為1。熱力圖中，中心點(diǎn)計(jì)算如式（2）所示：

式中Y為熱力圖中關(guān)鍵點(diǎn)分布函數(shù)，為橫坐標(biāo)取值，為縱坐標(biāo)取值，p為橫坐標(biāo)中心點(diǎn)，p為縱坐標(biāo)中心點(diǎn)，σ為中心點(diǎn)標(biāo)準(zhǔn)差。

CenterNet檢測(cè)層采用焦點(diǎn)損失的思想，在訓(xùn)練中，中心點(diǎn)的周圍其他點(diǎn)的損失則是經(jīng)過(guò)衰減后的損失，而目標(biāo)的長(zhǎng)和寬是經(jīng)過(guò)對(duì)應(yīng)當(dāng)前中心點(diǎn)的長(zhǎng)和寬回歸計(jì)算所得，中心點(diǎn)的損失函數(shù)L如式（4）所示：

式中和是焦點(diǎn)損失的超參數(shù)，根據(jù)參考文獻(xiàn)[17]分別取2與4，是圖像的關(guān)鍵點(diǎn)數(shù)量，用于將所有的正焦點(diǎn)損失標(biāo)準(zhǔn)化為1。這個(gè)損失函數(shù)是焦點(diǎn)損失的改進(jìn)型，適用于CenterNet檢測(cè)。

CenterNet檢測(cè)層整體的損失函數(shù)為中心點(diǎn)損失與大小損失之和，每個(gè)損失都有相應(yīng)的權(quán)重。計(jì)算如式（7）所示。

式中為CenterNet檢測(cè)層整體損失函數(shù)。

綜上所述，使用CenterNet檢測(cè)層的ET-YOLO野雞檢測(cè)網(wǎng)絡(luò)首先根據(jù)熱力圖中關(guān)鍵點(diǎn)分布回歸計(jì)算確定野雞目標(biāo)的中心點(diǎn)，再根據(jù)中心點(diǎn)位置回歸計(jì)算確定目標(biāo)大小范圍，最終確定野雞目標(biāo)。

2.3 模型的訓(xùn)練與測(cè)試

2.3.1 試驗(yàn)平臺(tái)

模型訓(xùn)練與測(cè)試所使用硬件平臺(tái)為Core i7-8750H 2.2 Ghz處理器+16 GB內(nèi)存+Geforce GTX 1080 8 GB顯卡，軟件平臺(tái)為Win10+tensorflow1.9.0+CUDA9.2+ VS2017+opencv4.0。

2.3.2 評(píng)價(jià)指標(biāo)

對(duì)于野外復(fù)雜環(huán)境下野雞目標(biāo)的識(shí)別，需考慮檢測(cè)網(wǎng)絡(luò)的精度與實(shí)時(shí)性，同時(shí)由于需要部署于智能農(nóng)機(jī)或農(nóng)業(yè)機(jī)器人的嵌入式邊緣計(jì)算平臺(tái)，要求檢測(cè)模型輕量化。

本文采用平均精度（Mean Average Precision，mAP）作為模型檢測(cè)精度的評(píng)價(jià)指標(biāo)，（Average Precision，AP）作為每一類別的檢測(cè)精度的評(píng)價(jià)指標(biāo)[18]。mAP 和 AP 與準(zhǔn)確率（Precision，）、召回率（Recall，）有關(guān)，準(zhǔn)確率和召回率的計(jì)算如下：

式中TP代表被正確劃分到正樣本的數(shù)量，F(xiàn)P代表被錯(cuò)誤劃分到正樣本的數(shù)量，F(xiàn)N 代表被錯(cuò)誤劃分到負(fù)樣本的數(shù)量。通過(guò)計(jì)算所得準(zhǔn)確率與召回率可以繪制出準(zhǔn)確率-召回率曲線，該曲線以召回率為橫坐標(biāo)，以準(zhǔn)確率為縱坐標(biāo)，代表某一類別的準(zhǔn)確率與召回率情況，對(duì)該曲線進(jìn)行積分所得。野雞識(shí)別為單目標(biāo)檢測(cè)mAP計(jì)算如式（10）所示：

平均運(yùn)算速度評(píng)價(jià)指標(biāo)，模型權(quán)重大小評(píng)價(jià)指標(biāo)由實(shí)際訓(xùn)練與測(cè)試得到。

2.3.3 ET-YOLO網(wǎng)絡(luò)訓(xùn)練

3 結(jié)果與分析

為驗(yàn)證本研究提出的增強(qiáng)型輕量級(jí)ET-YOLO野雞檢測(cè)網(wǎng)絡(luò)對(duì)野外復(fù)雜環(huán)境下出現(xiàn)的野雞目標(biāo)識(shí)別的有效性與優(yōu)勢(shì)，在對(duì)比改進(jìn)Tiny-YOLOV3前后各項(xiàng)指標(biāo)的同時(shí)，使用最新輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)SSD_MobileNetV2，以及目前具有代表性的目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOV3、Faster-RCNN采用相同數(shù)據(jù)集與訓(xùn)練參數(shù)進(jìn)行模型訓(xùn)練，并在測(cè)試集上進(jìn)行對(duì)比測(cè)試[21-24]。

具有保護(hù)色融入環(huán)境以及隱藏遮擋的野雞目標(biāo)在野外復(fù)雜環(huán)境中出現(xiàn)較為常見(jiàn)，因此首先選取測(cè)試集中在此類情況下出現(xiàn)的野雞目標(biāo)進(jìn)行檢測(cè)識(shí)別，檢測(cè)識(shí)別結(jié)果對(duì)比如圖4所示。

由結(jié)果可知，草叢中隱藏具備保護(hù)色掩護(hù)的野雞目標(biāo)共計(jì)4個(gè)，F(xiàn)aster-RCNN與本文提出的ET-YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)檢出率最高，識(shí)別出全部4個(gè)野雞目標(biāo)。而Tiny-YOLOV3、SSD_MobileNetV2與YOLOV3僅識(shí)別出隱藏情況下4個(gè)野雞目標(biāo)中的3個(gè)。

在野外實(shí)際環(huán)境中，野雞目標(biāo)常以不同的姿態(tài)出現(xiàn)，存在保護(hù)色，對(duì)檢測(cè)識(shí)別造成一定難度，因此再選取測(cè)試集中特殊姿態(tài)下出現(xiàn)的野雞目標(biāo)進(jìn)行檢測(cè)，檢測(cè)識(shí)別結(jié)果對(duì)比如圖5所示。

由結(jié)果可知，在該測(cè)試圖像中存在2個(gè)野雞目標(biāo)，其中1個(gè)為無(wú)遮擋正常姿態(tài)，1個(gè)俯臥于地面，這種姿態(tài)加以保護(hù)色掩護(hù)，對(duì)檢測(cè)識(shí)別造成一定難度。所有檢測(cè)網(wǎng)絡(luò)均可成功識(shí)別無(wú)遮擋正常姿態(tài)的野雞目標(biāo)，YOLOV3、Tiny-YOLOV3與本文提出的ET-YOLO可正確識(shí)別出特殊姿態(tài)的野雞目標(biāo)，而Faster-RCNN、SSD_MobileNetV2無(wú)法成功識(shí)別出特殊姿態(tài)的野雞目標(biāo)。

在野外農(nóng)田中時(shí)常出現(xiàn)其他對(duì)農(nóng)作物危害較小或者無(wú)危害的鳥(niǎo)類，而其特征與野雞目標(biāo)相似，因此檢測(cè)網(wǎng)絡(luò)不能誤識(shí)別該類目標(biāo)。最后一步測(cè)試，選取采集視頻中同一環(huán)境下出現(xiàn)的其他鳥(niǎo)類，對(duì)比測(cè)試各目標(biāo)檢測(cè)網(wǎng)絡(luò)的誤識(shí)別性能，識(shí)別結(jié)果對(duì)比如圖6所示。

注：SSD_MobileNetV2、YOLOV3、Faster-RCNN、Tiny-YOLOV3、ET-YOLO為5種目檢測(cè)網(wǎng)絡(luò)。下同。

圖5 特殊姿態(tài)野雞目標(biāo)識(shí)別

圖6 其他鳥(niǎo)類出現(xiàn)情況下的目標(biāo)識(shí)別

由結(jié)果可知，測(cè)試圖像中出現(xiàn)目標(biāo)為1只畫眉，其與野雞同為農(nóng)田環(huán)境下容易出現(xiàn)的鳥(niǎo)類，特征具有一定相似性，YOLOV3、Faster-RCNN將其誤識(shí)別為野雞，而Tiny-YOLOV3、SSD_MobileNetV2以及本文提出的ET-YOLO沒(méi)有產(chǎn)生誤識(shí)別[25-30]。

經(jīng)完整測(cè)試后，對(duì)各個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)野雞目標(biāo)的準(zhǔn)確率，召回率，平均精度mAP，平均運(yùn)算速度（Mean Operation rate，MO），模型大小的統(tǒng)計(jì)如表2所示。

表2 野雞不同檢測(cè)網(wǎng)絡(luò)的綜合對(duì)比

根據(jù)綜合對(duì)比測(cè)試統(tǒng)計(jì)可見(jiàn)，本文提出的ET-YOLO野雞檢測(cè)網(wǎng)絡(luò)，對(duì)于野雞目標(biāo)的檢測(cè)在平均精度上高于增強(qiáng)前Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)15個(gè)百分點(diǎn)，分別高于SSD_MobileNetV2、YOLOV3與Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)18，1.5與1.1個(gè)百分點(diǎn)，對(duì)復(fù)雜環(huán)境下出現(xiàn)的野雞目標(biāo)檢測(cè)精度最為優(yōu)良。在檢測(cè)實(shí)時(shí)性上，由于在檢測(cè)層使用了基于中心點(diǎn)的CenterNet結(jié)構(gòu)，降低了計(jì)算量，后端無(wú)需極大值抑制處理，因此在主干特征提取網(wǎng)絡(luò)增加了標(biāo)準(zhǔn)卷積層和上下融合層的情況下平均檢測(cè)速度相對(duì)增強(qiáng)前Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)提高2幀/s，相對(duì)SSD_MobileNetV2、YOLOV3與Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)分別提高1、38與47幀/s，對(duì)于實(shí)時(shí)檢測(cè)移動(dòng)的野雞目標(biāo)效果最為優(yōu)良。在模型大小方面，由于為提高檢測(cè)精度增加了特征提取網(wǎng)絡(luò)深度與檢測(cè)尺度，因此ET-YOLO生成檢測(cè)模型大小56 MB，高于Tiny-YOLOV3與SSD_MobileNetV2輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型22與28 MB，但相對(duì)YOLOV3與Faster-RCNN深度目標(biāo)檢測(cè)網(wǎng)絡(luò)200 MB以上的模型大小，ET-YOLO在保持最優(yōu)野雞目標(biāo)檢測(cè)精度的前提下模型大小控制在100 MB以內(nèi)，仍屬于輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)，適宜于在智能農(nóng)機(jī)與農(nóng)業(yè)機(jī)器人的嵌入式邊緣計(jì)算平臺(tái)上部署。

4 結(jié) 論

1）本文所提出的針對(duì)野外復(fù)雜環(huán)境中出的野雞目標(biāo)檢測(cè)網(wǎng)絡(luò)ET-YOLO對(duì)野雞目標(biāo)識(shí)別具備較高的準(zhǔn)確性，試驗(yàn)結(jié)果表明，模型平均精度達(dá)到了86.5%，平均檢測(cè)速度達(dá)62幀/s，模型大小56 MB。

2）針對(duì)野外復(fù)雜環(huán)境中出的野雞目標(biāo)特點(diǎn)對(duì)Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)做出改進(jìn)，加深特征提取網(wǎng)絡(luò)深度，增加檢測(cè)尺度，提高小目標(biāo)，隱藏目標(biāo)檢測(cè)精度，在網(wǎng)絡(luò)檢測(cè)部分采用CenterNet層檢測(cè)結(jié)構(gòu)替原有YOLO層檢測(cè)結(jié)構(gòu)，提高了檢測(cè)速度與精度。

3）對(duì)實(shí)際復(fù)雜環(huán)境下出現(xiàn)的野雞目標(biāo)檢測(cè)測(cè)試中，本文方法表現(xiàn)出較高檢測(cè)精度性與實(shí)時(shí)性，平均檢測(cè)率高于增強(qiáng)前Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)15個(gè)百分點(diǎn)，分別高于SSD_MobileNetV2，YOLOV3與Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)18、1.5與1.1個(gè)百分點(diǎn)，檢測(cè)速度方面相對(duì)增強(qiáng)前Tiny-YOLOV3輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)提高2幀/s，相對(duì) SSD_MobileNetV2、YOLOV3與Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)分別提高1、38與47幀/s，且檢測(cè)模型大小控制在100 MB以內(nèi)，適宜于嵌入式邊緣計(jì)算平臺(tái)的部署。

[1] 盧振宇，孫連新，黃志銀，等. 野雞對(duì)春玉米的危害及綜防策略研究[J]. 農(nóng)業(yè)科技通訊，2017(7)：65-67.

Lu Zhenyu, Sun Lianxin, Huang Zhiyin, et al. Study on the harm of pheasant to spring corn and its integrated control strategy[J]. Agricultural Science and Technology Communication, 2017(7): 65-67. (in Chinese with English abstract)

[2] 國(guó)家森防總站. 2004年全國(guó)林業(yè)有害生物發(fā)生趨勢(shì)預(yù)測(cè)[EB/OL]. 2004-02-19 [2019-05-23]. http: //gssfz. nease. net/4. html.

[3] 李燕，萬(wàn)津瑜，徐環(huán)李，等. 果園鳥(niǎo)害防治[J]. 北方園藝，2012(3)：134-135.

Li Yan, Wan Jinyu, Xu Huanli, et al. Bird pest control in orchard[J]. Northern Horticulture, 2012(3): 134-135. (in Chinese with English abstract)

[4] He K M, Zhang X Y, Ren S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[5] Girshick R. Fast R-CNN [C]//IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 1440-1448.

[6] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580-587.

[7] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European Conference on Computer Vision. Cham: Springer, 2016: 21-37.

[8] Redmon J, Farhadi A. Yolov3: An incremental improvement [EB/OL]. (2018-04-08) [2018-09-07]. org/abs/1804. 02767.

[9] 熊俊濤，劉振，湯林越，等. 自然環(huán)境下綠色柑橘視覺(jué)檢測(cè)技術(shù)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(4)：45-52.

Xiong Juntao, Liu Zheng, Tang Linyue, et al. Research on visual inspection technology of green citrus in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 45-52. (in Chinese with English abstract)

[10] 趙德安，劉曉洋，孫月平，等. 基于機(jī)器視覺(jué)的水下河蟹識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(3)：151-158.

Zhao Dean, Liu Xiaoyang, Sun Yueping, et al. Detection of under water crabs based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(3): 151-158. (in Chinese with English abstract)

[11] 呂石磊，盧思華，李震，等. 基于改進(jìn)YOLOv3-LITE輕量級(jí)神經(jīng)網(wǎng)絡(luò)的柑橘識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(17)：205-215.

Lü Shilei, Lu Sihua, Li Zhen, et al. Orange recognition method using improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205-215. (in Chinese with English abstract).

[12] 燕紅文，劉振宇，崔清亮，等. 基于改進(jìn) Tiny-YOLO 模型的群養(yǎng)生豬臉部姿態(tài)檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：169-180.

Yan Hongwen, Liu Zhenyu, Cui Qingliang, et al. Detection of facial gestures of group pigs based on improved Tiny-YOLO[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 169-180. (in Chinese with English abstract)

[13] 易詩(shī)，李欣榮，吳志娟，等. 基于紅外熱成像與改進(jìn)YOLOV3的夜間野兔監(jiān)測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(19)：215-222.

Yi Shi, Li Xinrong, Wu Zhijuan, et al. Night hare detection method based on infrared thermal imaging and improved YOLOV3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 215-222. (in Chinese with English abstract)

[14] Duan Kaiwen, Bai Song, Ling Xixie, et al. CenterNet: Keypoint triplets for object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. United States: IEEE, 2019: 3668-3685.

[15] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//18th International Conference on Pattern Recognition (ICPR). Springer: Berlin, German, 2006, 3: 850-855.

[16] 劉軍，后士浩，張凱，等. 基于增強(qiáng) Tiny YOLOV3 算法的車輛實(shí)時(shí)檢測(cè)與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(8)：118-126.

Liu Jun, Hou Shihao, Zhang Kai, et al. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118-126. (in Chinese with English abstract).

[17] Zhou Xingyi, Wang Dequan, Kr?henbühl P, et al. Objects as Points [C]//IEEE Conference on Computer Vision and Pattern Recognition. United States: IEEE, 2019: 2678-2689.

[18] 李善軍，胡定一，高淑敏，等. 基于改進(jìn) SSD 的柑橘實(shí)時(shí)分類檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(24)：307-314.

Li Shanjun, Hu Dingyi, Gao Shumin, et al. Real-time classification and detection of citrus based on improved single short multibox detecter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(24): 307-314. (in Chinese with English abstract)

[19] Loshchilov I, Hutter F. SGDR: stochastic gradient descent with warm restarts[J]. arXiv: 2016, 1608. 03983.

[20] Mehta S, Rastegari M, Shapiro L, et al. Espnetv2: A light-weight, power efficient, and general purpose convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. United States: IEEE, 2019: 9190-9200.

[21] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[22] Lu J, Lee W S, Gan H, et al. Immature citrus fruit detection based on local binary pattern feature and hierarchical contour analysis[J]. Biosystems Engineering, 2018, 171: 78-90.

[23] Zhao C, Lee W S, He D. Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove[J]. Computers and Electronics in Agriculture, 2016, 124: 243-253.

[24] Liu S, Yang C, Hu Y, et al. A method for segmentation and recognition of mature citrus and branches-leaves based on regional features[C]//Chinese Conference on Image and Graphics Technologies. Singapore: Springer, 2018: 292-301.

[25] Lin Tsung Yi, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA: IEEE, 2017: 2117-2125.

[26] Liang Zhen, Shao Jie, Zhang Dongyang, et al. Small object detection using deep feature pyramid networks[C]//Pacific Rim Conference on Multimedia, Hefei, China: Springer, 2018: 554-564.

[27] Microsoft. PASCAL-VOC2012 [DB/OL]. (2012-02-20) [2019-08-02]. http://host.robots.ox.ac.uk/pascal/VOC/voc2012.

[28] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

[29] Kirillov A, Girshick R, He Kaiming, et al. Panoptic feature pyramid networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, California: IEEE, 2019: 6399-6408.

[30] Liu Jun, Li Pengfei. A mask R-CNN model with improved region proposal network for medical ultrasound image[C]//Proceedings of the International Conference on Intelligent Computing, Wuhan: Springer, 2018: 26-33.

Recognition method of pheasant using enhanced Tiny-YOLOV3 model

Yi Shi1, Shen Lian1, Zhou Siyao1, Zhu Jingming1, Yuan Xuesong2

(1.(,),610059,; 2.,610054,)

The increase of pheasants has posed a threaten to crops as the advancement of ecology. However, most conventional methods of bird repellent have inherent deficiencies in terms of efficiency and danger. An efficiency monitoring method for pheasant is necessary to combine with artificial intelligence, in order to provide early warning and expulsion of pheasants. Normally, pheasant activities are mostly in the early morning and dusk under complex environment with protective color or habit of hiding. This behavior has made monitoring methods much more challenge. In this paper, a novel recognition method for pheasant has been proposed on the deployment of embedded computing platform, combined with the enhanced Tiny-YOLOV3 target detection network, particularly on considering the behavior of pheasant and specific living conditions. A lightweight network is required to ensure the accuracy and real-time monitoring due to the deployment on a mobile platform in the field environment. A real-time monitoring network ET-YOLO has also been established for the emergence of pheasants in a complex field environment, according to the basic structure of the Tiny-YOLOV3 lightweight target detection network. The feature extraction can deepen the net depth of Tiny-YOLOV3, and thereby increase the detection scale to improve the detection accuracy of original net target. CenterNet structure was used in the net detection layer to further enhance the detection accuracy and speed. The dataset of pheasant monitoring was produced after augmentationusing the field collection of images in various environments, including 6000 high resolution images of pheasant in different distances, angles and environments. The indicators of experimental evaluation were mainly tested in terms of accuracy, real-time performance, and model size. Specifically, the average detection accuracy, average detection speed, and detection model size of the pheasant were used for evaluation. The experimental results showed that the average detection accuracy of ET-YOLO in the complex field environment was 86.5%, and the average detection speed was 62 frames/s, 15% higher than that of initial Tiny-YOLOV3. The average detection accuracy was higher than that of YOLOV3, Faster-RCNN and SSD_MobileNetV2 by 1.5%, 1.1% and 18%, respectively. The average detection speed was 38 frames /s, 47 frames /s and 1 frame/s higher than that of YOLOV3, Faster-RCNN and SSD_MobileNetV2, respectively, when the detection model size of 56 MB. The proposed method can be suitable for the deployment on embedded computing platforms equipped with agricultural robots and intelligent machines in terms of recognition accuracy, real-time performance, and model size, particularly recognizing pheasants in complex environments.

agriculture; artificial intelligence; embedded system; pheasant recognition; ET-YOLO; CenterNet detection structure

易詩(shī)，沈練，周思堯，等. 基于增強(qiáng)型Tiny-YOLOV3模型的野雞識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：141-147.doi：10.11975/j.issn.1002-6819.2020.13.017 http://www.tcsae.org

Yi Shi, Shen Lian, Zhou Siyao, et al. Recognition method of pheasant using enhanced Tiny-YOLOV3 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 141-147. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.017 http://www.tcsae.org

2020-02-04

2020-05-27

國(guó)家自然科學(xué)基金項(xiàng)目（61771096）；國(guó)家大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目（201910616129）

易詩(shī)，高級(jí)實(shí)驗(yàn)師，主要從事人工智能，紅外圖像處理，信號(hào)處理，嵌入式系統(tǒng)開(kāi)發(fā)。Email：549745481@qq.com

10.11975/j.issn.1002-6819.2020.12.017

TN919.5

A

1002-6819(2020)-13-0141-07