一種改進(jìn)的少樣本農(nóng)作物目標(biāo)識(shí)別算法研究

張瑞森 萬(wàn)興鴻 高昕

摘? 要：為解決在農(nóng)田無(wú)人巡檢過程中農(nóng)作物目標(biāo)智能識(shí)別的問題，將Cycle-GAN網(wǎng)絡(luò)與Faster RCNN網(wǎng)絡(luò)相結(jié)合構(gòu)成了一種新的能支持少樣本學(xué)習(xí)的網(wǎng)絡(luò)模型，其中Cycle-GAN網(wǎng)絡(luò)被用于提供數(shù)據(jù)增強(qiáng)。文中主要闡述了該網(wǎng)絡(luò)的結(jié)構(gòu)，并且對(duì)玉米、花生與豆子三種作物的種植地在不同的天氣條件下進(jìn)行了測(cè)試，對(duì)不同農(nóng)作物的最優(yōu)和最差識(shí)別率分別是96.53%和96.25%。實(shí)驗(yàn)證明，通過兩者的結(jié)合能夠提供更好更快的農(nóng)作物識(shí)別和檢測(cè)，新的少樣本農(nóng)作物目標(biāo)識(shí)別模型具有較好的魯棒性。

關(guān)鍵詞：少樣本學(xué)習(xí);農(nóng)作物識(shí)別;數(shù)據(jù)增強(qiáng);魯棒性

中圖分類號(hào)：TP311? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2022）-01-10-04

Abstract： In order to solve the problem of crop object intelligent detection in the process of unmanned farmland patrol inspection， this paper proposes a new network model that can support few-shot learning by combining Cycle-GAN network and Faster RCNN network. The Cycle-GAN network is used for data enhancement. The paper mainly explains the structure of the proposed network， and tests the planting areas of corn， peanuts and beans under different weather conditions. The best and worst detection rates for different crops under different weather conditions are 96.53% and 96.25%. Practice has proved that a combination of the two can provide better and faster crop identification and detection， and the new few-shot crop object detection model has better robustness.

Keywords： few-shot learning; crop detection; data enhancement; robustness

1? ?引言（Introduction）

農(nóng)田無(wú)人巡檢是一項(xiàng)保護(hù)可用耕地、實(shí)施基本農(nóng)田保護(hù)措施的重要工作，可延伸至農(nóng)作物病蟲害防治、農(nóng)作物產(chǎn)量綜合預(yù)測(cè)、除草機(jī)器人智能除草等方面。而在農(nóng)田無(wú)人巡檢過程中，首先要解決的重要問題是農(nóng)作物目標(biāo)的智能識(shí)別。

國(guó)內(nèi)常采用的無(wú)人巡檢技術(shù)主要基于無(wú)人機(jī)飛控平臺(tái)，且多用于電力巡檢[1]、安保巡檢[2]和能源巡檢[3]。同時(shí)，無(wú)人機(jī)巡檢還用于精準(zhǔn)快速巡查秸稈禁燒工作[4]及農(nóng)田植保工作[5]。但是，國(guó)內(nèi)外少有使用陸基平臺(tái)開展農(nóng)田無(wú)人巡檢的案例。

在早期的研究中，吳健宇[6]提出了將多種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的思想，搭建了一種新的可應(yīng)用于農(nóng)作物病蟲害防治的識(shí)別算法。而陳小幫[7]則重點(diǎn)研究了基于深度學(xué)習(xí)在航拍農(nóng)作物圖像中的識(shí)別問題，實(shí)驗(yàn)表明能將農(nóng)作物識(shí)別準(zhǔn)確率提高到98%。但是，大多數(shù)農(nóng)作物目標(biāo)識(shí)別算法的研究還基于大樣本條件下的監(jiān)督學(xué)習(xí)策略，且少有在不同農(nóng)作物與天氣條件下的比較研究。因此，進(jìn)行能夠在小樣本情況下仍然適用的農(nóng)作物目標(biāo)識(shí)別算法的研究顯得十分迫切。

基于上述原因，本文提出了一種融合Faster RCNN網(wǎng)絡(luò)與Cycle-GAN網(wǎng)絡(luò)的少樣本目標(biāo)識(shí)別算法，實(shí)驗(yàn)時(shí)通過機(jī)器人陸基移動(dòng)平臺(tái)搭載攝像頭在實(shí)際的種植地形中進(jìn)行連續(xù)采樣，實(shí)時(shí)進(jìn)行田間農(nóng)作物的識(shí)別和檢測(cè)工作。該方法具有識(shí)別率高、識(shí)別速度快、能在多種天氣條件下魯棒工作的特點(diǎn)。

2 網(wǎng)絡(luò)模型的建立（Establishment of network model）

當(dāng)今被用于圖像識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)有GoogLeNet[8]、Faster RCNN[9-10]、Mask RCNN[11-12]等。對(duì)農(nóng)作物的識(shí)別在一定程度上可以采用這些圖像識(shí)別的技術(shù)與方法，但它們普遍都面臨小樣本情形下識(shí)別率不高的困境。為了尋找克服這樣的共性問題的方法，本文采用的是將循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)（Cycle-GAN）置于Faster RCNN網(wǎng)絡(luò)的前端形成的新網(wǎng)絡(luò)，簡(jiǎn)稱CCG Faster RCNN網(wǎng)絡(luò)。

2.1? ?循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)

到現(xiàn)在為止，圖像生成領(lǐng)域最常使用的是生成對(duì)抗網(wǎng)絡(luò)（GAN），用它來(lái)做數(shù)據(jù)增強(qiáng)可以解決小數(shù)據(jù)集樣本量稀缺的問題。該數(shù)據(jù)增強(qiáng)的實(shí)現(xiàn)是利用GAN[13]網(wǎng)絡(luò)的生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)之間的動(dòng)態(tài)博弈，以尋求得到一個(gè)最優(yōu)的生成式模型，用于產(chǎn)生更多的圖片來(lái)滿足目標(biāo)識(shí)別的需求。但它存在著需要配對(duì)訓(xùn)練對(duì)象以及可能出現(xiàn)所有的x都映射到y(tǒng)空間的同一張圖片使損失無(wú)效的問題。

Cycle-GAN網(wǎng)絡(luò)作為一個(gè)在GAN網(wǎng)絡(luò)的基礎(chǔ)上衍生出來(lái)的模型，它不需要特意地配對(duì)訓(xùn)練圖像。在文獻(xiàn)[14]中分別設(shè)置了一個(gè)對(duì)抗損失函數(shù)和，

其中：

式中，D為判別器;為真實(shí)圖像的分布;為服從關(guān)系;為期望。此外，還定義了循環(huán)一致?lián)p失函數(shù)解決損失無(wú)效的問題，如公式（2）所示：

式中，表示范數(shù)。由此，該網(wǎng)絡(luò)總的目標(biāo)優(yōu)化函數(shù)如公式（3）所示。其中為公式（2）在總的目標(biāo)優(yōu)化函數(shù)即公式（3）中所占的權(quán)重。在文中采取Cycle-GAN網(wǎng)絡(luò)增強(qiáng)數(shù)據(jù)。

2.2? ?快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)

Faster RCNN網(wǎng)絡(luò)于2015 年被提出，它在假設(shè)目標(biāo)位置時(shí)采用深度網(wǎng)絡(luò)計(jì)算建議框以解決建議框在檢測(cè)系統(tǒng)中計(jì)算瓶頸的問題，通常使用VGG16等經(jīng)典卷積網(wǎng)絡(luò)作為主干網(wǎng)，用于提取特征圖。由于殘差網(wǎng)絡(luò)（ResNet）[15]通過對(duì)輸入輸出的差別部分進(jìn)行學(xué)習(xí)，保證了信息的完整性，同時(shí)內(nèi)部殘差塊跳躍連接，緩解了增加網(wǎng)絡(luò)深度帶來(lái)的梯度消失現(xiàn)象，因此本文使用的主干網(wǎng)絡(luò)改變?yōu)镽esNet101，其主要流程如圖1所示。

2.3? ?CCG Faster RCNN網(wǎng)絡(luò)

CCG Faster RCNN網(wǎng)絡(luò)中將Cycle-GAN網(wǎng)絡(luò)即CCG部分用于增加輸入Faster RCNN網(wǎng)絡(luò)的樣本數(shù)量，而后者則用于訓(xùn)練農(nóng)作物識(shí)別模型。文中新提出的目標(biāo)檢測(cè)網(wǎng)絡(luò)的主體結(jié)構(gòu)如圖2所示，所采用的卷積網(wǎng)絡(luò)結(jié)構(gòu)為Convolution-Pooling-InstanceNorm-ReLU-Fully connected，其中Faster RCNN部分相關(guān)重要的參數(shù)如表1所示。

圖3為CCG部分中的生成器模型細(xì)節(jié)[16]，由2 組卷積層、9 層殘差塊和2 組轉(zhuǎn)置卷積層構(gòu)成。在圖3每層網(wǎng)絡(luò)下方的介紹中，字母C表示卷積層，R表示殘差塊，Tc表示轉(zhuǎn)置卷積層;字母后緊跟著的數(shù)字表示卷積核的大小，s-x、p-x、nck-x分別表示步長(zhǎng)、補(bǔ)零、卷積核數(shù)目為x，例如C3s-2p-1nck-64表示卷積核大小為3×3、步長(zhǎng)為2、補(bǔ)零為1、卷積核數(shù)目為64的卷積層。對(duì)于判別器則是采用5 組卷積層。

從圖2中可以發(fā)現(xiàn)，初始圖像先由路徑①輸入生成器中，經(jīng)卷積層、殘差層和轉(zhuǎn)置卷積層的運(yùn)算后得到生成圖像，再?gòu)穆窂舰谂c自動(dòng)生成的圖像一起進(jìn)入判別器中，通過判別后的生成圖像能進(jìn)入下一層網(wǎng)絡(luò)的條件是應(yīng)滿足生成圖像為真實(shí)圖像的概率不大于20%。其中由CCG部分生成的典型圖像如圖4所示。

下一層網(wǎng)絡(luò)即Faster RCNN網(wǎng)絡(luò)，將生成圖像與樣本圖像沿著圖2中的路徑③輸入，在該網(wǎng)絡(luò)中完成對(duì)模型的訓(xùn)練。該方法的有效性在于能有效利用少量的典型樣本通過CCG進(jìn)行圖形增強(qiáng)的輸出，將生成的圖像與原始的樣本圖像結(jié)合輸入訓(xùn)練網(wǎng)絡(luò)中實(shí)現(xiàn)對(duì)樣本的訓(xùn)練，用來(lái)解決初始樣本不足的問題。

3? ?模型訓(xùn)練（Model training）

3.1? ?數(shù)據(jù)集采集

本文采取由基于AGV的麥克納姆輪機(jī)器人移動(dòng)平臺(tái)搭載攝像頭在實(shí)際的種植地形中進(jìn)行連續(xù)采樣，將采集的視頻樣本按照2 幀/秒的間隔進(jìn)行取樣，其中攝像頭的幀率為25 幀/秒，經(jīng)多次采集和篩選后僅取2，500 張作為網(wǎng)絡(luò)模型所需要的初始樣本集。考慮天氣因素對(duì)識(shí)別準(zhǔn)確率的影響，文中采取在不同天氣下采集樣本實(shí)驗(yàn)，并對(duì)其結(jié)果進(jìn)行對(duì)比的方法，以檢驗(yàn)在不同實(shí)際環(huán)境下的魯棒性。

3.2? ?實(shí)驗(yàn)過程

本文采用MATLAB R2020b作為訓(xùn)練平臺(tái)，整個(gè)網(wǎng)絡(luò)的訓(xùn)練在GPU上完成，GPU的計(jì)算能力為5.0。在訓(xùn)練集訓(xùn)練的過程中，設(shè)置訓(xùn)練輪數(shù)為20 輪，每輪迭代50 次，學(xué)習(xí)效率均為1×10-4。

在本次實(shí)驗(yàn)中，采用1，000 張擴(kuò)增圖像與初始樣本集合并構(gòu)成本文的數(shù)據(jù)集，這個(gè)數(shù)據(jù)集整體分為三部分，即用于訓(xùn)練的數(shù)據(jù)集、用于驗(yàn)證的數(shù)據(jù)集和剩下的測(cè)試集，占總數(shù)據(jù)的比例分別為70%、20%、10%。將訓(xùn)練集的圖像通過Image Labeler標(biāo)注工具進(jìn)行人工標(biāo)注，隨后將訓(xùn)練集中的圖片隨機(jī)不重復(fù)地送入Faster RCNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。完成訓(xùn)練后的網(wǎng)絡(luò)將對(duì)驗(yàn)證集中的圖像全部進(jìn)行檢驗(yàn)，并隨機(jī)抽取測(cè)試集中的圖像進(jìn)行驗(yàn)證。

3.3? ?實(shí)驗(yàn)結(jié)果

將該訓(xùn)練好的模型分別對(duì)玉米、花生和豆子三種作物進(jìn)行測(cè)試，其中每種作物測(cè)試20 組圖像，得到如圖5所示的結(jié)果。圖5中測(cè)試圖序號(hào)表示從測(cè)試集中隨機(jī)抽取出的用來(lái)檢測(cè)網(wǎng)絡(luò)識(shí)別率、驗(yàn)證網(wǎng)絡(luò)可行性的圖像的序號(hào)，也用于給得出的測(cè)試結(jié)果編號(hào)。

為了進(jìn)一步探究在不同的天氣條件下采用該算法對(duì)農(nóng)作物的識(shí)別能力，接下來(lái)分別在晴天和陰天對(duì)玉米、花生和豆子三種農(nóng)作物的實(shí)時(shí)識(shí)別率進(jìn)行了實(shí)驗(yàn)。經(jīng)過多次實(shí)驗(yàn)將玉米的識(shí)別率變化趨勢(shì)記錄在圖6中，三種作物平均識(shí)別率的對(duì)比則放在表2中。

由表2可以發(fā)現(xiàn)，在不同的天氣條件下該網(wǎng)絡(luò)均能夠較準(zhǔn)確地識(shí)別出農(nóng)田中的農(nóng)作物，同時(shí)算法也有著較快的識(shí)別速度，所以本文提出的農(nóng)作物識(shí)別方法可適用于不同天氣環(huán)境中的農(nóng)田作物識(shí)別與監(jiān)測(cè)的實(shí)時(shí)作業(yè)。

4? ?結(jié)論（Conclusion）

針對(duì)小樣本情況下導(dǎo)致的農(nóng)作物識(shí)別與檢測(cè)比較困難的問題，本文采用了一種新的改進(jìn)算法CCG Faster RCNN。該方法在網(wǎng)絡(luò)模型的訓(xùn)練階段就大大地降低了對(duì)真實(shí)樣本的大量需求。對(duì)不同天氣下該網(wǎng)絡(luò)識(shí)別率的測(cè)試結(jié)果表明，新的模型在一定程度上可規(guī)避天氣對(duì)其的影響。后續(xù)將對(duì)該算法更多可能的影響因素進(jìn)行測(cè)驗(yàn)，使其能夠應(yīng)用于更多的場(chǎng)景。

參考文獻(xiàn)（References）

[1] 黎春翔.無(wú)人機(jī)電力巡檢圖像的缺陷檢測(cè)和信息量化[D].廣州：華南理工大學(xué)，2020.

[2] 張凌云.安防巡檢機(jī)器人導(dǎo)航系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2018.

[3] 徐思雅，邢逸斐，郭少勇，等.基于深度強(qiáng)化學(xué)習(xí)的能源互聯(lián)網(wǎng)智能巡檢任務(wù)分配機(jī)制[J].通信學(xué)報(bào)，2021，42（05）：191-204.

[4] 魏亞松，舒適.淺析無(wú)人機(jī)在精準(zhǔn)快速巡查秸稈禁燒工作中的作用[J].科技經(jīng)濟(jì)導(dǎo)刊，2019，27（10）：47，63.

[5] 王子彬.基于六旋翼無(wú)人機(jī)的農(nóng)業(yè)植保系統(tǒng)研究與設(shè)計(jì)[D].秦皇島：燕山大學(xué)，2018.

[6] 吳健宇.基于深度卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病蟲害識(shí)別及實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[7] 陳小幫.基于深度學(xué)習(xí)的農(nóng)作物航拍圖像識(shí)別研究[D].廣州：廣東工業(yè)大學(xué)，2019.

[8] 張振洲，熊凌，李克波，等.基于改進(jìn)GoogLeNet的鋅渣識(shí)別算法[J].武漢科技大學(xué)學(xué)報(bào)，2021，44（03）：182-187.

[9] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（06）：1137-1149.

[10] 余曉寧，顧桂梅，王陽(yáng)萍，等.基于Faster R-CNN的接觸網(wǎng)吊弦故障檢測(cè)方法[J].蘭州交通大學(xué)學(xué)報(bào)，2021，40（02）：58-65.

[11] HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[Z/OL]. （2018-01-24） [2021-08-07]. https：//arxiv.org/abs/1703.06870.

[12] 楊帆，梁敏健，楊寧祥，等.橋式起重機(jī)部件多任務(wù)學(xué)習(xí)Mask R-CNN分割與關(guān)鍵點(diǎn)識(shí)別方法[J].自動(dòng)化與信息工程，2021，42（02）：14-18.

[13] SKANDARANI Y， JODOIN P M， LALANDE A. GANs for medical image synthesis： An empirical study[Z/OL]. （2021-07-19） [2021-08-07]. https：//arxiv.org/abs/2105.05318.

[14] ZHU J Y， PRAK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[Z/OL]. （2020-08-24） [2021-08-07]. https：//arxiv.org/abs/1703.10593.

[15] HE K， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[Z/OL]. （2015-12-10） [2021-08-07]. https：//arxiv.org/abs/1512.03385.

[16] 王金娜，蘇杰，楊凱，等.基于Cycle-GAN的絕緣子圖像生成方法[J].廣東電力，2020，33（01）：100-108.

作者簡(jiǎn)介：

張瑞森（2000-），男，本科生.研究領(lǐng)域：電氣工程及自動(dòng)化.

萬(wàn)興鴻（1999-），男，本科生.研究領(lǐng)域：自動(dòng)化.

高? ? 昕（1981-），男，博士，講師.研究領(lǐng)域：智能感知與控制.