基于改進(jìn)Faster R-CNN的農(nóng)田殘膜識(shí)別方法

張學(xué)軍 黃爽 靳偉 鄢金山 史增錄 周鑫城 張朝書(shū)

摘 ? 要：為了實(shí)現(xiàn)農(nóng)田殘膜的精準(zhǔn)撿拾，提高殘膜回收機(jī)的回收率. 將改進(jìn)Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到農(nóng)田殘膜的識(shí)別檢測(cè)中，提出了一種農(nóng)田殘膜的識(shí)別方法. 以11MS-1850殘膜回收機(jī)工作后遺留在農(nóng)田表面的殘膜為研究對(duì)象，分別在晴天、陰天不同時(shí)間段采集圖像共計(jì)1 648幅. 通過(guò)更改圖像亮度、旋轉(zhuǎn)等方式擴(kuò)充數(shù)據(jù)集，最終得到4 950幅殘膜樣本圖像，按照7 ∶ 2 ∶ 1劃分為訓(xùn)練集（3 465幅）、 驗(yàn)證集（990幅）、測(cè)試集（495幅）;采用雙閾值算法替代傳統(tǒng)的單閾值算法，降低了閾值對(duì)模型性能的影響;通過(guò)對(duì)比試驗(yàn)，選取具有殘差網(wǎng)絡(luò)結(jié)構(gòu)的ResNet50作為主干特征提取網(wǎng)絡(luò)，準(zhǔn)確率可達(dá)88.84%，召回率為87.70%，總體精度為88.27%;為了使檢測(cè)模型對(duì)小目標(biāo)更加靈敏，根據(jù)數(shù)據(jù)集中殘膜尺寸大小，在原有錨點(diǎn)基礎(chǔ)上增加322和642的尺度參數(shù)，準(zhǔn)確率、召回率、總體精度分別提升了1.29%、0.67%、0.97%，單幅檢測(cè)時(shí)間為284.13 ms，基本滿(mǎn)足了識(shí)別殘膜的要求. 可為殘膜回收機(jī)加裝補(bǔ)收裝置提供參考，為研制人工智能殘膜回收機(jī)提供理論基礎(chǔ).

關(guān)鍵詞：殘膜識(shí)別;Faster R-CNN;殘差網(wǎng)絡(luò);特征提取網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP391.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A

Identification Method of Agricultural Film

Residue Based on Improved Faster R-CNN

ZHANG Xuejun1，2，HUANG Shuang1，JIN Wei1，2，YAN Jinshan1，2，

SHI Zenglu1，2，ZHOU Xincheng1，ZHANG Chaoshu3

（1. College of Mechanical and Electrical Engineering，Xinjiang Agricultural University，Urumqi 830052，China;

2. Key Laboratory of Innovation Design Laboratory，Xinjiang Agricultural Engineering Equipment，Urumqi 830052，China;

3. Alar City Tiandian Agricultural Machinery Manufacturing Co Ltd，Alar 843300，China）

Abstract：In order to achieve precise picking of residual film in farmland and to improve the recovery rate of residual film recovery machine，the improved Faster R-CNN convolutional neural network is applied to ?identification and detection of residual film in farmland，and a method of identifying residual film in farmland is proposed. Taking the residual film left on the surface of the farmland after the 11MS-1850 residual film recovery machine worked as the research object，a total of 1 648 images are collected during different periods of sunny and cloudy days. The data set is expanded by changing the image brightness，rotation，etc，and finally 4 950 residual film sample images are got，which are divided into a training set （3 465），a validation set（990），and a test set （495） according to 7 ∶ 2 ∶ 1. The dual-threshold algorithm is used to replace the traditional single-threshold algorithm，which reduces the impact of thresholds on model performance. Through comparative experiments，ResNet50 with a residual network structure is selected as the backbone feature extraction network. The accuracy rate can reach 88.84%，the recall rate is 87.70%，and the overall accuracy is 88.27%. In order to make the detection model more sensitive to small targets，according to the size of the residual film in the data set，the scale parameters of 322 and 642 are added to the original anchor points，and the accuracy，recall，and overall accuracy are improved by 1.29%，0.67%，0.97%，respectively; the single detection time is 284.13 ms，which basically meets the requirements for identifying residual film. It can provide a reference for the installation of replenishment equipment for the residual film recovery machine，and provide a theoretical basis for the development of artificial intelligence residual film recovery machines.

Key words：residual film recognition;Faster R-CNN;residual network;feature extraction network

地膜覆蓋技術(shù)自引入中國(guó)至今已有40余年的歷史[1]，廢棄在農(nóng)田里的地膜長(zhǎng)年積累，若沒(méi)有及時(shí)回收則會(huì)造成種子腐爛、阻斷營(yíng)養(yǎng)運(yùn)輸，直接影響農(nóng)作物產(chǎn)量. 針對(duì)殘膜回收問(wèn)題，目前國(guó)內(nèi)已研發(fā)設(shè)計(jì)出百余種不同工作形式的殘膜回收機(jī). 其中部分殘膜回收機(jī)械的回收率高達(dá)90%以上[2-8]，但回收率似乎已經(jīng)到達(dá)“瓶頸期”，很難有進(jìn)一步突破. 因此，通過(guò)圖像識(shí)別的方法快速識(shí)別出農(nóng)田里遺留的殘膜，是研制人工智能殘膜回收機(jī)，提高殘膜回收率的關(guān)鍵.

近年來(lái)，圖像識(shí)別技術(shù)已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域，已有研究人員對(duì)地膜進(jìn)行了識(shí)別. 梁長(zhǎng)江等[9]通過(guò)無(wú)人機(jī)采集農(nóng)田地膜圖像，利用幾種傳統(tǒng)的圖像分割算法對(duì)地膜進(jìn)行識(shí)別，結(jié)果表明迭代閾值分割算法對(duì)地膜的識(shí)別率最高. 朱秀芳等[10]利用無(wú)人機(jī)獲取影像并提取紋理信息，結(jié)合傳統(tǒng)的分割方法得到了地膜分布面積. 吳雪梅等[11]利用無(wú)人機(jī)采集煙地不同時(shí)期的殘膜，提出了一種基于顏色特征的識(shí)別方法. 江水泉等[12]利用直方圖閾值分割方法確定閾值，聯(lián)合邊緣檢測(cè)和區(qū)域填充，分離出了殘膜圖像. 上述文獻(xiàn)大多通過(guò)無(wú)人機(jī)航拍獲取地膜信息，用于評(píng)估當(dāng)?shù)氐沫h(huán)境污染程度，很難直接將識(shí)別方法應(yīng)用于農(nóng)田殘膜的撿拾中. 文獻(xiàn)[12]雖然運(yùn)用傳統(tǒng)的圖像識(shí)別方法識(shí)別出了殘膜，但同時(shí)也丟失了部分殘膜信息，增加了定位誤差. 傳統(tǒng)的識(shí)別方法依賴(lài)于閾值的選擇，適應(yīng)性不強(qiáng)，魯棒性較差，況且地膜與農(nóng)田背景信息相近，邊界區(qū)分不明顯，無(wú)固定輪廓特征，加大了檢測(cè)難度. 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）抗干擾能力強(qiáng)，能將目標(biāo)從復(fù)雜背景中提取出來(lái)，依靠數(shù)據(jù)本身的特征屬性進(jìn)行自主學(xué)習(xí)，在區(qū)分相近目標(biāo)方面具有顯著效果. 目前卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于無(wú)人駕駛[13-14]、植株病蟲(chóng)害識(shí)別[15-16]、品種分類(lèi)[17-18]、航空航天[19]、災(zāi)害預(yù)警[20]、垃圾分類(lèi)[21]、行為監(jiān)測(cè)[22-23]、醫(yī)療診斷[24-25]等方面.

針對(duì)地膜與背景干擾物相近，識(shí)別難度大等問(wèn)題. 引入卷積神經(jīng)網(wǎng)絡(luò)，選擇目前檢測(cè)精度最佳的Faster R-CNN網(wǎng)絡(luò)[26]，通過(guò)增加322和642的錨點(diǎn)尺寸，提出了一種適用于農(nóng)田殘膜的檢測(cè)方法，最終實(shí)現(xiàn)殘膜的快速、自動(dòng)識(shí)別.

1 ? 數(shù)據(jù)采集與處理

1.1 ? 數(shù)據(jù)采集

本文以新疆農(nóng)業(yè)大學(xué)與新疆阿拉爾市天典農(nóng)機(jī)制造有限公司聯(lián)合研制的11MS-1850型殘膜回收機(jī)工作后遺留在農(nóng)田表面的殘膜為研究對(duì)象，于2019年9月至10月，使用索尼WX500采集殘膜圖像，分辨率為3 648像素×2 736像素，分別在晴天和陰天共采集1 648幅殘膜圖像，為了確保殘膜圖像的多樣性，樣本中含有不同土壤濕度、不同光照強(qiáng)度下殘余不等片數(shù)的殘膜圖像. 采集時(shí)相機(jī)鏡面與地面平行，距地面高度為80～110 cm. 11MS-1850型殘膜回收機(jī)如圖1所示，部分殘膜圖像樣本如圖2所示.

1.2 ? 數(shù)據(jù)集制作

深度學(xué)習(xí)為了獲得檢測(cè)性能較好的神經(jīng)網(wǎng)絡(luò)模型，通常需要大量的數(shù)據(jù)樣本進(jìn)行訓(xùn)練. 為了強(qiáng)化模型的泛化能力和適應(yīng)性，避免因樣本圖像太少而影響模型的訓(xùn)練結(jié)果，通常采用裁剪、調(diào)整亮度、更改對(duì)比度、隨機(jī)旋轉(zhuǎn)等方式對(duì)樣本圖像進(jìn)行數(shù)據(jù)擴(kuò)充. 本文通過(guò)調(diào)整殘膜圖像亮度，對(duì)殘膜圖像旋轉(zhuǎn)45°、90°、270°進(jìn)行擴(kuò)充后最終得到4 950幅樣本圖像，以圖像中的殘膜為正樣本，除殘膜以外的背景均認(rèn)定為負(fù)樣本. 將樣本圖像按7 ∶ 2 ∶ 1劃分為訓(xùn)練集（3 465幅）、驗(yàn)證集（990幅）、測(cè)試集（495幅）. 最后利用LabelImg標(biāo)注工具按照PASCAL VOC2007標(biāo)注格式對(duì)殘膜圖像進(jìn)行標(biāo)注.

2 ? 試驗(yàn)條件與方法

2.1 ? 軟件與硬件

本文的試驗(yàn)條件為：Window10操作系統(tǒng)，計(jì)算機(jī)配置為Intel（R）Core（TM）i7-10750H處理器，顯卡為GeForce GTX1650，8 G內(nèi)存，512 GB固態(tài)硬盤(pán). 編程環(huán)境為python3.6.2，torch1.5.0、torchvision0.6.0、cuda10.0、cudnn7.4.1.5. 標(biāo)注工具為L(zhǎng)abelImg.

2.2 ? 試驗(yàn)方法

2.2.1 ? 基于Faster R-CNN的殘膜檢測(cè)框架

Faster R-CNN網(wǎng)絡(luò)模型是在Fast R-CNN模型的基礎(chǔ)上引入了RPN區(qū)域建議網(wǎng)絡(luò)（Region Proposal Networks），從而通過(guò)反向傳播和隨機(jī)梯度下降來(lái)實(shí)現(xiàn)端到端的訓(xùn)練. Faster R-CNN殘膜檢測(cè)框架如圖3所示.

在殘膜檢測(cè)過(guò)程中主要分為四部分，即殘膜特征提取部分、候選區(qū)域建議網(wǎng)絡(luò)（RPN）、ROI Pooling感興趣區(qū)域池化部分、殘膜與背景二分類(lèi)回歸部分. 基于Faster R-CNN的殘膜檢測(cè)環(huán)節(jié)如下：

1）由主干特征提取網(wǎng)絡(luò)提取殘膜特征，獲得特征圖用于RPN和Fast R-CNN共享.

2）RPN網(wǎng)絡(luò)利用3×3的滑動(dòng)窗口，遍歷整個(gè)特征圖，其中Softmax分類(lèi)器主要用于區(qū)分殘膜和背景信息，邊框回歸主要用于調(diào)整建議框的4個(gè)參數(shù)（即建議框的中心點(diǎn)x軸和y軸坐標(biāo)及其寬和高），Proposals對(duì)獲得的建議框進(jìn)行初步的篩選，最大程度上找到含有殘膜的區(qū)域.

3）ROI Pooling同時(shí)獲得特征圖及建議框，隨后利用建議框在特征圖上進(jìn)行截取，為了將獲取到大小不同的特征圖調(diào)整至分類(lèi)器所需的尺寸，對(duì)其進(jìn)行歸一化處理，獲得固定大小.

4）利用分類(lèi)和回歸網(wǎng)絡(luò)判斷截取到的特征圖中是否包含殘膜信息并對(duì)建議框進(jìn)行調(diào)整，獲得最終的檢測(cè)框.

由于殘膜無(wú)固定形狀，因此在本文中認(rèn)為殘膜外接矩形的中心點(diǎn)坐標(biāo)即近似為殘膜的位置坐標(biāo)，從而實(shí)現(xiàn)對(duì)殘膜的檢測(cè)和定位.

2.2.2 ? 評(píng)價(jià)指標(biāo)

本文旨在識(shí)別殘膜回收機(jī)工作后遺留在田間的殘膜并確定其位置信息. 在執(zhí)行機(jī)構(gòu)撿拾過(guò)程中，允許殘膜中心位置坐標(biāo)存在較小誤差. 因此在本研究中認(rèn)為只要檢測(cè)框中含有殘膜信息并且與其重疊區(qū)域大于75%，即視為有效檢測(cè). 為了評(píng)估殘膜識(shí)別檢測(cè)網(wǎng)絡(luò)的性能，選擇準(zhǔn)確率P（precision）、召回率R（recall）、總體精度F1作為評(píng)價(jià)指標(biāo)，其公式為：

式中：R為召回率;P為準(zhǔn)確率;F1為總體精度;TP為正確識(shí)別殘膜的樣本數(shù)量;FP為錯(cuò)誤識(shí)別殘膜的樣本數(shù)量;FN為未檢測(cè)出殘膜的樣本數(shù)量.

2.2.3 ? 模型訓(xùn)練

采用近似聯(lián)合訓(xùn)練方式進(jìn)行訓(xùn)練，為了加速網(wǎng)絡(luò)訓(xùn)練，將殘膜圖像統(tǒng)一至600像素×600像素，為了降低因數(shù)據(jù)樣本不足對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，本文選取在ImageNet數(shù)據(jù)集上訓(xùn)練好的權(quán)重進(jìn)行遷移學(xué)習(xí)，利用殘膜數(shù)據(jù)集對(duì)預(yù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行微調(diào)，初始學(xué)習(xí)率lr = 0.005，每隔5步衰減一次學(xué)習(xí)率，設(shè)定衰減倍率因子ganma = 0.1，動(dòng)量momentum = 0.9，weight_decay = 0.000 5，訓(xùn)練批次epoch = 2 000，每訓(xùn)練100個(gè)epoch保存一次訓(xùn)練權(quán)重，最后選擇最優(yōu)權(quán)重用于驗(yàn)證集進(jìn)行驗(yàn)證，訓(xùn)練過(guò)程采用GPU加速訓(xùn)練.

2.2.4 ? 改進(jìn)NMS算法

非極大值抑制（Non-Maximum Suppression，NMS）可以根據(jù)分?jǐn)?shù)矩陣和邊界框的坐標(biāo)信息，從中找到置信度較高的矩形框. 但該方法過(guò)度依賴(lài)于閾值的選擇，若閾值選擇不當(dāng)則會(huì)導(dǎo)致目標(biāo)漏檢或誤檢，對(duì)于檢測(cè)目標(biāo)出現(xiàn)重疊、遮擋的情況，該方法只保留得分最高的檢測(cè)窗口也會(huì)導(dǎo)致目標(biāo)漏檢[27]. 雙閾值算法可有效降低單閾值對(duì)算法整體性能的影響，其流程圖如圖4所示. A = {a1，a2，…，ac}為殘膜候選框的集合，S = {s1，s2，…，sc}為候選框?qū)?yīng)的置信度得分集合，D為最終候選框的集合，dc和dt為設(shè)定的雙閾值，其閾值以測(cè)試集殘膜圖像為目標(biāo)，將精確率作為評(píng)價(jià)指標(biāo)，采用聯(lián)合調(diào)參法確定，如表1所示，當(dāng)取dc = 0.3，dt = 0.9時(shí)算法效果最佳. M為得分最高的檢測(cè)窗口. 首先在集合A中找出得分最高的檢測(cè)窗口將其放入D中并在A中將其刪除，隨后比較對(duì)于任意的候選框及M的交并比與閾值dc ?和dt ?的

大小，若小于dc則保留當(dāng)前候選框及對(duì)應(yīng)得分;若大于dt則刪除當(dāng)前候選框及對(duì)應(yīng)得分;若兩者都不滿(mǎn)足則對(duì)當(dāng)前候選框得分分配相應(yīng)的權(quán)重. 重復(fù)執(zhí)行以上操作，直至集合A為空集，輸出最終的候選框及其得分.

2.2.5 ? 主干特征提取網(wǎng)絡(luò)的選擇

Faster R-CNN網(wǎng)絡(luò)在殘膜特征檢測(cè)過(guò)程中需要選用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)來(lái)增加網(wǎng)絡(luò)的深度，提取更抽象的圖像特征，以提高模型的檢測(cè)能力獲得理想的檢測(cè)效果. 但隨著網(wǎng)絡(luò)級(jí)數(shù)的增加，梯度消失和爆炸問(wèn)題也隨之產(chǎn)生. He等[28]在保留網(wǎng)絡(luò)深度的基礎(chǔ)上提出了殘差網(wǎng)絡(luò)（Residual Network），使網(wǎng)絡(luò)中的冗余層進(jìn)行恒等映射，有效解決了因網(wǎng)絡(luò)層數(shù)增多引發(fā)的梯度消失問(wèn)題，殘差網(wǎng)絡(luò)結(jié)構(gòu)單元如圖5所示.

特征提取網(wǎng)絡(luò)的選擇對(duì)模型的整體性能有著重要的影響. 常見(jiàn)的特征提取網(wǎng)絡(luò)有VGG16[29]、ResNet50[30]、ResNet101[31]等. 為了選取適用于本研究的主干特征提取網(wǎng)絡(luò)，保證其他參數(shù)不變，分別使用VGG16、VGG19、ResNet34、ResNet50、ResNet101、SqueezeNet、AlexNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)對(duì)測(cè)試集圖像進(jìn)行檢測(cè)，結(jié)果見(jiàn)表2.

由表2可知，當(dāng)AlexNet和SqueezeNet作為特征提取網(wǎng)絡(luò)時(shí)，雖然檢測(cè)速度很快但精度較低，這是由于網(wǎng)絡(luò)結(jié)構(gòu)比較簡(jiǎn)單，能夠提取到的殘膜特征有限. 而使用VGG和ResNet系列作為特征提取網(wǎng)絡(luò)總體精度均達(dá)到80%以上，其中ResNet101總體精度最高，達(dá)到了89.02%，檢測(cè)單幅運(yùn)行時(shí)間為342.61 ms，相對(duì)于ResNet101，ResNet50總體精度雖然下降了0.75%，單幅檢測(cè)速度卻縮短了85.73 ms. 綜合考慮并結(jié)合本研究試驗(yàn)條件及研究對(duì)象，最終選擇ResNet50作為主干特征提取網(wǎng)絡(luò).

2.2.6 ? 更改錨點(diǎn)尺寸

殘膜回收機(jī)工作后遺留在農(nóng)田表面的殘膜存在條狀大膜和細(xì)小的殘膜碎片，尺度變化較大. 而Faster R-CNN模型的原有錨點(diǎn)尺寸為{1282，2562， 5122}，對(duì)小目標(biāo)檢測(cè)不夠靈敏，直接應(yīng)用在殘膜的識(shí)別中容易出現(xiàn)漏識(shí)別的情況. 為了使Faster R-CNN檢測(cè)模型更適用于殘膜的檢測(cè)，統(tǒng)計(jì)殘膜數(shù)據(jù)集中的殘膜像素面積，由圖6可以看出，殘膜的像素面積主要集中在1002 ～ 3502之間，考慮到模型的綜合檢測(cè)能力，依然保留5122的尺寸，并在原有錨點(diǎn)尺寸的基礎(chǔ)上增加322和642的尺度參數(shù)，使得每個(gè)錨點(diǎn)對(duì)應(yīng)15個(gè)候選窗口.

為了驗(yàn)證本文改進(jìn)算法的有效性，將改進(jìn)后的Faster R-CNN模型與原模型（特征提取網(wǎng)絡(luò)均為ResNet50）在測(cè)試集上對(duì)殘膜進(jìn)行檢測(cè)，結(jié)果見(jiàn)表3.

3 ? 結(jié)果分析

3.1 ? 定量分析

由表3可知，更改錨點(diǎn)尺寸后，改進(jìn)Faster R-CNN模型在準(zhǔn)確率、召回率、總體精度上分別增加1.29%、0.67%和0.97%，但在單幅檢測(cè)時(shí)間上增加了27.25 ms，主要原因一是由于每個(gè)錨點(diǎn)對(duì)應(yīng)的候選框數(shù)量增加，運(yùn)算量也隨之增大;二是雙閾值算法比非極大值抑制算法更復(fù)雜，檢測(cè)時(shí)間則消耗在多余候選框的篩除中. 雖然檢測(cè)時(shí)間有所增加，但是依然滿(mǎn)足實(shí)時(shí)檢測(cè)的要求. 部分殘膜檢測(cè)結(jié)果如圖7所示. 檢測(cè)模型在自然條件下識(shí)別殘膜的過(guò)程中取得了比較理想的檢測(cè)結(jié)果，如圖7（g）（h）所示，即使在細(xì)小的殘膜碎片和殘留棉花的干擾下，檢測(cè)框也能夠較準(zhǔn)確的框選殘膜信息. 但在檢測(cè)存在些許粘連的殘膜時(shí)，出現(xiàn)了重復(fù)檢測(cè)的情況，如圖7（i）所示，這是由于在標(biāo)注此類(lèi)樣本時(shí)，標(biāo)注準(zhǔn)則不一致導(dǎo)致的（即標(biāo)注時(shí)有時(shí)認(rèn)定為一整片殘膜，有時(shí)認(rèn)定為幾片殘膜），后期可增加此類(lèi)樣本數(shù)量并統(tǒng)一標(biāo)注準(zhǔn)則進(jìn)行規(guī)避.

3.2 ? 特征圖分析

為了更直觀地了解ResNet50特征提取網(wǎng)絡(luò)提取殘膜特征的過(guò)程，對(duì)特征提取的部分中間過(guò)程進(jìn)行可視化操作. 只顯示Conv1、Layer1和Layer3前36個(gè)通道的灰度圖，為了便于觀察將輸出的特征圖統(tǒng)一到相同大小，特征圖可視化結(jié)果如圖8所示. 殘膜圖像經(jīng)過(guò)Conv1卷積之后得到的特征圖能夠較好的展現(xiàn)原圖的紋理和輪廓信息. 隨著網(wǎng)絡(luò)深度的增加ResNet50能夠提取更抽象的殘膜特征，經(jīng)過(guò)多層網(wǎng)絡(luò)的共同表達(dá)，殘膜特征能夠被完整的提取出來(lái).

4 ? 結(jié) ? 論

1）本文基于卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN提出了一種農(nóng)田殘膜識(shí)別方法. 為了選取特征提取網(wǎng)絡(luò)，對(duì)VGG16、VGG19、ResNet34、ResNet50、ResNet101、SqueezeNet、AlexNet進(jìn)行對(duì)比試驗(yàn). 最終選取ResNet50作為特征提取網(wǎng)絡(luò).

2）采用雙閾值算法替代傳統(tǒng)的NMS算法，弱化了單閾值對(duì)算法的影響，降低了漏識(shí)別率.

3）為了提高檢測(cè)模型對(duì)細(xì)小殘膜碎片的靈敏度，增加了322和642的尺度參數(shù)，降低了漏識(shí)別率，從而提高了檢測(cè)模型的召回率和總體精度. 改進(jìn)后的Faster R-CNN準(zhǔn)確率為90.13%、召回率為88.37%、總體精度為89.24%、單幅檢測(cè)時(shí)間為284.13 ms，使得通過(guò)機(jī)器視覺(jué)方法撿拾殘膜，提高殘膜回收機(jī)的回收率成為可能.

4）雖然改進(jìn)Faster R-CNN模型在殘膜的檢測(cè)精度方面有所提升，但提升幅度不夠顯著，檢測(cè)時(shí)間也有所增加. 今后將在提高殘膜檢測(cè)精度的基礎(chǔ)上，繼續(xù)優(yōu)化雙閾值算法，提高模型的檢測(cè)速度，同時(shí)進(jìn)行嵌入式開(kāi)發(fā)研究，以期早日將殘膜識(shí)別技術(shù)投入生產(chǎn).

將改進(jìn)Faster R-CNN運(yùn)用到實(shí)際殘膜的撿拾過(guò)程，包含殘膜的檢測(cè)、空間位置信息定位與撿拾部件拾取等部分. 當(dāng)檢測(cè)出圖像中的殘膜信息后 ，將矩形框的中心點(diǎn)位置坐標(biāo)換算成殘膜的空間位置坐標(biāo)，將坐標(biāo)信息傳送至執(zhí)行機(jī)構(gòu)（機(jī)械手或氣吸裝置）實(shí)現(xiàn)殘膜的補(bǔ)收，增加殘膜回收機(jī)的回收效率. 可為殘膜回收機(jī)加裝補(bǔ)收裝置提供理論基礎(chǔ)，最終達(dá)到提高殘膜回收機(jī)回收效率的目的.

參考文獻(xiàn)

[1] ? ?顧滿(mǎn)，胡志超，姬廣碩，等. 殘膜回收機(jī)防膜回帶機(jī)構(gòu)分析及發(fā)展思考[J]. 農(nóng)機(jī)化研究，2019，41（4）：257—263.

GU M，HU Z C，JI G S，et al. Analysis and development of the film-return mechanism of plastic film collectors[J]. Journal of Agricultural Mechanization Research，2019，41（4）：257—263. （In Chinese）

[2] ? ?王吉奎，付威，王衛(wèi)兵，等. SMS-1500型秸稈粉碎與殘膜回收機(jī)的設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（7）：168—172.

WANG J K，F(xiàn)U W，WANG W B，et al. Design of SMS-1500 type straw chopping and plastic film residue collecting machine[J]. Transactions of the Chinese Society of Agricultural Engineering，2011，27（7）：168—172. （In Chinese）

[3] ? ?蔣德莉，陳學(xué)庚，顏利民，等. 隨動(dòng)式殘膜回收機(jī)清雜系統(tǒng)作業(yè)參數(shù)優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（19）：1—10.

JIANG D L，CHEN X G，YAN L M，et al. Operational parameters optimization of cleaning system of the follow-up film recovery machine [J]. Transactions of the Chinese Society of Agricultural Engineering，2019，35（19）：1—10. （In Chinese）

[4] ? ?張慧明，陳學(xué)庚，顏利民，等. 隨動(dòng)式秸稈還田與殘膜回收聯(lián)合作業(yè)機(jī)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（19）：11—19.

ZHANG H M，CHEN X G，YAN L M，et al. Design and test of follow-up combined machine for straw returning and film residue recovery[J]. Transactions of the Chinese Society of Agricultural Engineering，2019，35（19）：11—19. （In Chinese）

[5] ? ?田辛亮，趙巖，陳學(xué)庚，等. 4JSM-2000A型棉稈粉碎及摟膜聯(lián)合作業(yè)機(jī)的研制[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（10）：25—35.

TIAN X L，ZHAO Y，CHEN X G，et al. Development of 4JSM-2000A type combined operation machine for cotton stalk chopping and residual plastic film collecting[J]. Transactions of the Chinese Society of Agricultural Engineering，2018，34（10）：25—35.（In Chinese）

[6] ? ?趙巖，鄭炫，陳學(xué)庚，等. CMJY-1500型農(nóng)田殘膜撿拾打包聯(lián)合作業(yè)機(jī)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33（5）：1—9.

ZHAO Y，ZHENG X，CHEN X G，et al. Design and test of CMJY-1500 type plastic film residue collecting and balling machine[J]. Transactions of the Chinese Society of Agricultural Engineering，2017，33（5）：1—9. （In Chinese）

[7] ? ?由佳翰，張本華，溫浩軍，等. 鏟齒組合式殘膜撿拾裝置設(shè)計(jì)與試驗(yàn)優(yōu) 化[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（11）：97—104.

YOU J H，ZHANG B H，WEN H J，et al. Design and test optimization on spade and tine combined residual plastic film device[J]. Transactions of the Chinese Society for Agricultural Machinery，2017，48（11）：97—104. （In Chinese）

[8] ? ?王旭峰，胡燦，魯兵，等. 拋膜鏈齒輸送式殘膜回收機(jī)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（3）：122—129.

WANG X F，HUCAN，LU B，et al. Design and test of the residual film recovery machine with cast-film sprocket conveyor [J] . Transactions of the Chinese Society for Agricultural Machinery，2018，49（3）：122—129. （In Chinese）

[9] ? ?梁長(zhǎng)江，吳雪梅，王芳，等. 基于無(wú)人機(jī)的田間地膜識(shí)別算法研究[J]. 浙江農(nóng)業(yè)學(xué)報(bào)，2019，31（6）：1005—1011.

LIANG C J WU X M，WANG F，et al. Field film identification algorithm based on UAV[J]. Zhejiang Agricultural Journal，2019，31（6）：1005—1011. （In Chinese）

[10] ?朱秀芳，李石波，肖國(guó)峰. 基于無(wú)人機(jī)遙感影像的覆膜農(nóng)田面積及分布提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（4）：106—113.

ZHU X F，LI S B，XIAO G F. Method on extraction of area and distribution of plastic-mulched farmland based on UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering，2019，35（4）：106—113. （In Chinese）

[11] ?吳雪梅，梁長(zhǎng)江，張大斌，等. 基于無(wú)人機(jī)遙感影像的收獲期后殘膜識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（8）：189—195.

WU X M，LIANG C J，ZHANG D B，et al. Identification method of plastic film residue based on UAV remote sensing images[J]. Transactions of the Chinese Society for Agricultural Machinery，2020，51（8）：189—195. （In Chinese）

[12] ?江水泉，張海東，華英杰. 基于計(jì)算機(jī)視覺(jué)的農(nóng)田殘膜定位研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2016，37（11）：150—154.

JIANG S Q，ZHANG H D，HUA Y J. Research on location of residual plastic film based on computer vision[J]. Journal of Chinese Agricultural Mechanization，2016，37（11）：150—154. （In Chinese）

[13] ?王科俊，趙彥東，邢向磊. 深度學(xué)習(xí)在無(wú)人駕駛汽車(chē)領(lǐng)域應(yīng)用的研究進(jìn)展[J]. 智能系統(tǒng)學(xué)報(bào)，2018，13（1）：55—69.

WANG K J，ZHAO Y D，XING X L. Deep learning in driverless vehicles[J]. CAAI Transactions on Intelligent Systems，2018，13（1）：55—69. （In Chinese）

[14] ?王欣盛，張桂玲. 基于卷積神經(jīng)網(wǎng)絡(luò)的單目深度估計(jì)[J]. 計(jì)算機(jī)工程與應(yīng)用，2020，56（13）：143—149.

WANG X S，ZHANG G L. Monocular depth estimation based on convolutional neural network[J]. Computer Engineering and Applications，2020，56（13）：143—149. （In Chinese）

[15] ?OPPENHEIM D，SHANI G，ERLICH O，et al. Using deep learning for image-based potato tuber disease detection[J]. Phytopathology，2019，109（6）：1083—1087.

[16] ?李就好，林樂(lè)堅(jiān)，田凱，等. 改進(jìn)Faster R-CNN的田間苦瓜葉部病害檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36（12）：179—185.

LI J H，LIN L J，TIAN K，et al. Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering，2020，36（12）：179—185. （In Chinese）

[17] ?袁培森，黎薇，任守綱，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的菊花花型和品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（5）：152—158.

YUAN P S，LI W，REN S G，et al. Recognition for flower type and variety of chrysanthemum with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering，2018，34（5）：152—158. （In Chinese）

[18] KAYA A，KECELI A S，CATAL C，et al. Analysis of transfer learning for deep neural network based plant classification models[J]. Computers and Electronics in Agriculture，2019，158：20—29.

[19] ?李濤，張海利. 一種基于深度學(xué)習(xí)算法的定量化航天產(chǎn)品質(zhì)量控制方法[J]. 航天工業(yè)管理，2018（11）：9—12.

LI T，ZHANG H L. A quantitative aerospace product quality control method based on deep learning algorithm[J]. Aerospace Industry Management，2018（11）：9—12. （In Chinese）

[20] ?LI P，ZHAO W D. Image fire detection algorithms based on convolutional neural networks[J]. Case Studies in Thermal Engineering，2020，19：100625.

[21] ?吳曉玲，黃金雪，何文海. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的塑料垃圾分類(lèi)研究[J]. 塑料科技，2020，48（4）：86—89.

WU X L，HUANG J X，HE W H. Research on plastic waste classification based on deep convolutional neural network[J]. Plastics Science and Technology，2020，48（4）：86—89. （In Chinese）

[22] ?劉忠超，何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛發(fā)情行為識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（7）：186—193.

LIU Z C，HE D J. Recognition method of cow estrus behavior based on convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery，2019，50（7）：186—193. （In Chinese）

[23] ?盧偉，胡海陽(yáng)，王家鵬，等. 基于卷積神經(jīng)網(wǎng)絡(luò)面部圖像識(shí)別的拖拉機(jī) 駕駛員疲勞檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（7）：192—199.

LU W，HU H Y，WANG J P，et al. Tractor driver fatigue detection based on convolutional neural network face image recognition [J]. Transactions of the Chinese Society of Agricultural Engineering，2018，34（7）：192—199. （In Chinese）

[24] ?TANG S Y，YANG MIN，BAI J N. Detection of pulmonary nodules based on a multiscale feature 3D U-Net convolutional neural network of transfer learning[J]. PLOS ONE，2020，15（8）：1—27.

[25] ?SAXENA S，SHUKLA S，GYANCHANDANI M. Pre-trained convolutional neural networks as feature extractors for diagnosis of breast cancer using histopathology[J]. International Journal of Imaging Systems and Technology，2020，30（3）：577—591.

[26] ?徐巖，陶慧青，虎麗麗. 基于Faster R-CNN網(wǎng)絡(luò)模型的鐵路異物侵限檢測(cè)算法研究[J]. 鐵道學(xué)報(bào)，2020，42（5）：91—98.

XU Y，TAO H Q，HU L L.Railway foreign body intrusion detection based on Faster R-CNN network model[J]. Journal of the China Railway Society，2020，42（5）：91—98. （In Chinese）

[27] ?蔣弘毅，王永娟，康錦煜. 目標(biāo)檢測(cè)模型及其優(yōu)化方法綜述[J/OL]. 自動(dòng)化學(xué)報(bào)，https：//doi.org/10.16383/j.aas.c190756，2020-03-03.

JIANG H Y，WANG Y J，KANG J Y. A survey of target detection models and their optimization methods [J/OL]. Acta Automatica，https：//doi.org/10.16383/j.aas.c190756，2020-03-03. （In Chinese）

[28] ?HE K M，ZHANG X Y，REN S Q，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Las Vegas：IEEE，2016：770—778.

[29] ?葉長(zhǎng)文，康睿，戚超，等. 基于Faster-RCNN的肉雞擊暈狀態(tài)檢測(cè)方法 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（12）：255—259.

YE C W，KANG R，QI C，et al. Detection method of chicken stunning state based on Faster-RCNN [J]. Transactions of the Chinese Society for Agricultural Machinery，2019，50（12）：255—259. （In Chinese）

[30] ?席芮，姜?jiǎng)P，張萬(wàn)枝，等. 基于改進(jìn)Faster R-CNN的馬鈴薯芽眼識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（4）：216-223.

XI R，JIANG K，ZHANG W Z，et al. Recognition method for potato buds based on improved Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery，2020，51（4）：216-223. （In Chinese）

[31] ?孫哲，張春龍，葛魯鎮(zhèn)，等. 基于Faster R-CNN的田間西蘭花幼苗圖像檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（7）：216—221.

SUN Z，ZHANG C L，GE L Z，et al. Image detection method for broccoli seedlings in field based on Faster R-CNN[J].Transactions of the Chinese Society for Agricultural Machinery，2019，50（7）：216—221. （In Chinese）

收稿日期：2020-11-03

基金項(xiàng)目：“十三五”國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（2017YFD0701102-2），“Thirteenth Five-Year” National Key Research and Development Program of China（2017YFD0701102-2）;國(guó)家自然科學(xué)基金資助項(xiàng)目（51665057），National Natural Science Foundation of China（51665057）;新疆自治區(qū)重點(diǎn)研發(fā)任務(wù)專(zhuān)項(xiàng)（2016B01003-1），Xinjiang Autonomous Region Key Research and Development Task Special Project（2016B01003-1）;新疆自治區(qū)高?？蒲杏?jì)劃創(chuàng)新團(tuán)隊(duì)資助項(xiàng)目（XJEDU2017T005），University Scientific Research Project Innovation Team of Xinjiang Autonomous Region（XJEDU2017T005）

作者簡(jiǎn)介：張學(xué)軍（1966—），男，四川渠縣人，新疆農(nóng)業(yè)大學(xué)教授，博士

通信聯(lián)系人，E-mail：tuec@163.com