基于改進Faster R-CNN的馬鈴薯芽眼識別方法

席 芮 姜 凱 張萬枝 呂釗欽 侯加林

(1.山東農(nóng)業(yè)大學機械與電子工程學院， 泰安 271018； 2.山東省農(nóng)業(yè)裝備智能化工程實驗室， 泰安 271018；3.昆士蘭大學化工學院， 布里斯班 4066)

0 引言

馬鈴薯是世界主要糧食作物之一，對保證世界食品安全和穩(wěn)定具有重要作用。中國作為世界上馬鈴薯種植面積最大(占世界種植面積的30%)、產(chǎn)量最高(占世界總產(chǎn)量的24%)的國家[1]，馬鈴薯產(chǎn)業(yè)的機械化水平越來越高，例如馬鈴薯播種機械化[2-4]、馬鈴薯收獲和耕作機械化[5-7]、馬鈴薯分級和殘膜回收機械化[8-9]等。馬鈴薯種薯的切塊目前主要是由人工完成，存在勞動強度大、效率低、費用高等問題。隨著人工成本的增加和勞動力的減少，馬鈴薯種薯的自動切塊問題亟待解決。其中，馬鈴薯芽眼的準確識別是實現(xiàn)種薯自動切塊的關(guān)鍵。

隨著計算機技術(shù)的不斷發(fā)展，計算機視覺技術(shù)在農(nóng)業(yè)領(lǐng)域得到廣泛應(yīng)用[10-18]，但關(guān)于馬鈴薯芽眼識別的研究卻相對較少。文獻[19]利用動態(tài)閾值及歐氏距離分割馬鈴薯芽眼，在彩色空間中芽眼識別準確率為62%，在灰度空間中芽眼識別準確率為89%，將兩者結(jié)合得到的準確率為96%。文獻[20]提出了基于色彩飽和度三維幾何特征的馬鈴薯芽眼識別技術(shù)，芽眼的總體識別率為91.48%，平均運行時間為2.68 s。文獻[21]利用混沌系統(tǒng)優(yōu)化K均值算法，實現(xiàn)了馬鈴薯芽眼的快速分割，優(yōu)化后算法的分割準確率為98.87%，平均運行時間為1.109 s。

上述識別方法主要根據(jù)顏色、輪廓和紋理等提取目標的淺層特征，特征提取具有盲目性和不確定性，普適性較差[22-23]，且無法實現(xiàn)對性能和速度的同時兼顧。相比于傳統(tǒng)方法，深度學習技術(shù)是直接由數(shù)據(jù)驅(qū)動的特征及其表達關(guān)系的自我學習[24]，可以克服傳統(tǒng)方法的不足，已成功應(yīng)用于農(nóng)業(yè)領(lǐng)域[25-28]。Faster R-CNN[29]作為主流框架之一，在農(nóng)作物檢測方面得到廣泛應(yīng)用。文獻[30]利用一種融合FPN的Faster R-CNN方法實現(xiàn)了復(fù)雜背景下棉田雜草的高效識別，識別準確率為95.5%，識別時間為0.09 s。文獻[31]提出了基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法，準確率91.73%。文獻[32]利用Faster R-CNN對玉米冠層進行識別，識別率達92.9%，平均檢測時間為0.17 s。

本文提出一種基于改進Faster R-CNN模型的馬鈴薯芽眼識別方法。利用高斯降權(quán)函數(shù)對Faster R-CNN中的NMS算法進行優(yōu)化，并在訓練過程中加入采用優(yōu)化NMS算法的OHEM技術(shù)，以提高馬鈴薯芽眼的識別效果。

1 試驗數(shù)據(jù)

1.1 圖像采集

圖像采集系統(tǒng)如圖1所示，包括CCD相機、環(huán)形燈、步進電機、馬鈴薯和計算機。CCD相機型號為凌云LBAS-GE60-17C，分辨率為3 072像素×2 048像素。步進電機步距角為0.9°，馬鈴薯在步進電機的帶動下旋轉(zhuǎn)。馬鈴薯每轉(zhuǎn)動180°，CCD相機采集1幅圖像，每個馬鈴薯共采集2幅圖像。

圖1 圖像采集系統(tǒng)Fig.1 Image acquisition system1.CCD相機 2、3、4、7、8.環(huán)形燈 5.步進電機 6.馬鈴薯 9.計算機

1.2 數(shù)據(jù)集構(gòu)建

試驗樣本為900個馬鈴薯，共采集1 800幅圖像。將圖像分辨率壓縮至400像素×500像素，以提高處理效率。為豐富圖像數(shù)據(jù)集，更好地提取馬鈴薯芽眼特征，提高模型的泛化能力，采用數(shù)據(jù)增強技術(shù)對馬鈴薯數(shù)據(jù)集進行擴展。分別對采集的馬鈴薯圖像進行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、亮度增強和減弱、色度增強和減弱、添加高斯噪聲及運動模糊。數(shù)據(jù)增強的結(jié)果如圖2所示。數(shù)據(jù)增強后，數(shù)據(jù)集中共有16 200幅圖像。圖像標注為PASCAL VOC[33]數(shù)據(jù)集標準格式，此格式在Faster R-CNN中適用。從16 200幅圖像中隨機選取11 880幅圖像作為訓練集，1 440幅圖像作為驗證集，剩余2 880幅圖像作為測試集，訓練集、驗證集、測試集之間無重疊。

圖2 數(shù)據(jù)增強結(jié)果Fig.2 Results of data augmentation

2 Faster R-CNN模型

圖3 Faster R-CNN框架Fig.3 Architecture of Faster R-CNN

Faster R-CNN模型由區(qū)域候選網(wǎng)絡(luò)(Region proposal network, RPN)和Fast R-CNN(Fast region convolutional neural network)網(wǎng)絡(luò)兩部分組成，其框架如圖3所示。模型對任意尺寸的輸入圖像(P×Q)，首先將其縮放至固定尺寸M×N(M≤1 000像素,N=600像素)，然后送入基礎(chǔ)網(wǎng)絡(luò)以提取特征映射。RPN和Fast R-CNN共享此特征映射，有效縮短了目標識別的時間。本文中，選取殘差網(wǎng)絡(luò)中的ResNet-50作為基礎(chǔ)網(wǎng)絡(luò)提取圖像特征。殘差網(wǎng)絡(luò)的提出是為了解決隨著網(wǎng)絡(luò)加深而產(chǎn)生的梯度消失和網(wǎng)絡(luò)退化問題。在殘差網(wǎng)絡(luò)中，ResNet-50是應(yīng)用最廣泛的網(wǎng)絡(luò)之一，具體結(jié)構(gòu)可參照文獻[34]。在訓練前，先將ResNet-50在ImageNet數(shù)據(jù)集上預(yù)訓練，以初始化其參數(shù)，然后在自己的數(shù)據(jù)集上進行遷移學習和微調(diào)。本文采用近似聯(lián)合訓練的方式對Faster R-CNN進行訓練。

2.1 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)是一個全卷積網(wǎng)絡(luò)，作用于ResNet-50中Res4f卷積層產(chǎn)生的特征圖上。在RPN網(wǎng)絡(luò)中，首先采用3×3的窗口在特征圖上滑動實現(xiàn)候選區(qū)域的提取，并映射成1 024維的特征向量。以每個滑動窗口的中心為基準點，生成一系列不同尺寸和比例的錨框。根據(jù)數(shù)據(jù)集中芽眼的尺寸，設(shè)置錨框尺寸為(64, 128, 256)，比例為(1∶1, 1∶2, 2∶1)。隨后，特征映射被送入2個并聯(lián)的1×1的卷積層，分別用于分類和回歸。利用Softmax函數(shù)執(zhí)行二分類任務(wù)，對錨框進行前景或背景的判斷，僅將與標注框的交并比(IOU)大于0.7的錨框作為前景，并通過回歸層計算錨框的偏移量，得到候選框的初始位置。隨后進行NMS抑制，輸出高品質(zhì)區(qū)域候選框用于Fast R-CNN網(wǎng)絡(luò)的分類檢測。

2.2 Fast R-CNN網(wǎng)絡(luò)

基礎(chǔ)網(wǎng)絡(luò)產(chǎn)生的特征映射和RPN產(chǎn)生的高品質(zhì)區(qū)域候選框一同作為Fast R-CNN網(wǎng)絡(luò)的輸入，經(jīng)過ROI池化產(chǎn)生固定尺寸的候選框特征映射，隨后送入ResNet-50的剩余層實現(xiàn)分類和回歸[35]，輸出目標類別和更加精確的檢測框。

3 改進Faster R-CNN模型

圖4 算法流程圖Fig.4 Flow chart of algorithm

NMS算法的流程如圖4a所示，B={b1,b2,…，bi,…}為初始檢測框的集合，S={s1,s2,…,si,…}為初始檢測框?qū)?yīng)的得分(置信度)；Nt為NMS算法中的閾值，Nt=0.4；Ot為改進NMS算法中的判別參數(shù)，Ot=0.3；D為最終檢測框的集合，D初始為空集。NMS算法開始于一系列帶有相應(yīng)置信度的檢測框，找出置信度最高的檢測框M，將其從集合B移除至集合D中。計算集合B中剩余檢測框與M的交并比(IOU)，如果IOU大于等于Nt，則將其從集合B中剔除。對集合B中的其余檢測框，重復(fù)執(zhí)行以上操作，直至B為空。NMS算法剔除了所有與M交并比大于Nt的相鄰檢測框，被剔除的檢測框中很有可能包含目標，造成目標的漏識別，進而影響馬鈴薯芽眼的識別性能。針對此問題，本文提出一種基于改進Faster R-CNN的馬鈴薯芽眼識別方法，對Faster R-CNN的NMS算法進行優(yōu)化，如圖4b所示。利用高斯降權(quán)函數(shù)f(IOU(M,bi))，對IOU 大于等于Nt的相鄰檢測框的置信度作降權(quán)處理。將降權(quán)后的置信度si與判別參數(shù)Ot進行比較，si大于等于Ot時，bi從集合B移除至集合D中；si小于Ot時，bi從集合B中剔除。

高斯降權(quán)函數(shù)定義為

(1)

其中IOU(M,bi)為M和bi的交并比，σ=0.6。由式(1)可知，檢測框bi與M的重疊程度越高，其權(quán)重被衰減得越明顯；重疊程度較低時，檢測框的權(quán)重基本不受影響。

此外，在訓練過程中加入采用優(yōu)化NMS算法的OHEM[36]技術(shù)，自動選擇難分辨樣本用于反向傳播，增強模型對難分辨樣本的學習能力。傳統(tǒng)的OHEM技術(shù)中，將檢測框的損失值從高到低排序，然后利用NMS算法選擇損失值較大的64個檢測框用于反向傳播，更新網(wǎng)絡(luò)參數(shù)。然而， NMS算法剔除了所有與當前檢測框交并比大于Nt的相鄰檢測框，被剔除的檢測框中很有可能包含目標，造成目標的漏識別，進而影響馬鈴薯芽眼的識別性能。為更好地解決冗余檢測框的問題，將優(yōu)化NMS算法加入到OHEM技術(shù)中，執(zhí)行圖4b中的步驟，直到選擇出64個符合要求的檢測框。

4 試驗與結(jié)果分析

4.1 試驗平臺

試驗所用臺式計算機處理器為Intel Core i7-9700K 3.6 GHz，內(nèi)存為32 GB，配備NVIDIA GeForce RTX 1080Ti GPU加速試驗進程。試驗運行環(huán)境為Windows 10(64位)操作系統(tǒng)，VS2017版本，Python 3.5.2版本，以Tensorflow(1.13.1版本)為后端的Keras框架(2.1.6版本)，配備CUDA 10.0版本并行計算架構(gòu)與cuDNN 7.6版深層神經(jīng)網(wǎng)絡(luò)加速庫。

4.2 試驗評價指標

采用精度P(Precision)和召回率R(Recall)作為馬鈴薯芽眼識別的評價指標。計算公式為

(2)

(3)

(4)

式中TP——正確識別的馬鈴薯芽眼數(shù)量

FP——誤識別的馬鈴薯芽眼數(shù)量

FN——漏識別的馬鈴薯芽眼數(shù)量

F1——平衡精度(P)和召回率(R)的度量，%

4.3 結(jié)果與分析

4.3.1定量分析

為驗證改進Faster R-CNN方法的有效性，將其與改進前的方法在測試集上進行芽眼識別結(jié)果的比較，具體的定量識別結(jié)果如表1所示。由表1可知，改進Faster R-CNN識別精度為96.32%，召回率為90.85%，F(xiàn)1為93.51%。相比于改進前的算法，精度提升了4.65個百分點，召回率提升了6.76個百分點，F(xiàn)1提升了5.79個百分點。平均單幅圖像的識別時間為0.183s，與改進前相同。因此，本文提出的改進Faster R-CNN可在不增加運行時間的同時，顯著提升馬鈴薯芽眼的識別性能。召回率改善的原因在于Faster R-CNN中的NMS算法將所有與M交并比大于Nt的檢測框都剔除，而這些被剔除的檢測框中，很有可能包含芽眼。改進Faster R-CNN方法對NMS算法進行優(yōu)化，利用高斯降權(quán)函數(shù)對滿足條件檢測框的得分進行衰減，而不是全部置零，在一定程度上減少了芽眼的漏識別現(xiàn)象。精度提升的原因在于改進Faster R-CNN在訓練過程中加入采用優(yōu)化NMS算法的OHEM技術(shù)，增強了模型對難例的學習能力，從而減少了芽眼的誤識別現(xiàn)象。此外，改進Faster R-CNN方法僅僅通過優(yōu)化NMS算法提升識別性能，并沒有使模型增加任何超參數(shù)，模型的浮點運算數(shù)(Floating point operations, FLOPs)沒有增加，運行時間不變。

表1 芽眼識別結(jié)果和比較Tab.1 Experimental results of two methods

為進一步驗證本文提出方法的有效性，將其與文獻[19-21]中的傳統(tǒng)方法進行比較，在同一硬件設(shè)備和測試集上的識別結(jié)果如表2所示。由表2可知，本文提出的改進Faster R-CNN方法無論從識別性能還是運行時間上，都明顯優(yōu)于文獻[19-21]中的算法。

表2 與傳統(tǒng)算法的比較Tab.2 Comparison with results of traditional algorithm

4.3.2特征圖分析

圖5 卷積神經(jīng)網(wǎng)絡(luò)的可視化Fig.5 Visualization of CNNs

為更好地理解卷積神經(jīng)網(wǎng)絡(luò)的行為和芽眼的提取過程，將特征提取的部分中間過程進行可視化。為方便表示，經(jīng)過卷積層濾波的所有輸出特征映射被統(tǒng)一到固定尺寸，對于每一層的輸出，只顯示前32個通道的結(jié)果。輸入圖像經(jīng)過ResNet-50中卷積層Conv1、Res3d和Res5c的濾波，輸出特征映射的灰度圖和彩色圖如圖5所示。經(jīng)過第1層卷積Conv1輸出的特征映射和原圖相似度較高，細節(jié)清晰，幾乎包含了原圖的所有信息。隨著網(wǎng)絡(luò)層數(shù)的加深，輸出的特征映射變得越來越抽象，深層卷積網(wǎng)絡(luò)輸出的特征映射中，關(guān)于原圖的信息越來越少，關(guān)于目標的信息越來越多[37]。經(jīng)過ResNet-50中多層卷積網(wǎng)絡(luò)的共同操作，馬鈴薯芽眼的特征可以被有效地提取出來。

4.3.3定性分析

馬鈴薯芽眼的識別結(jié)果如圖6所示。圖6a為只含芽眼的樣本識別結(jié)果，可以看出，本文提出的改進算法能夠完全正確地識別出芽眼；圖6b為帶有機械損傷、蟲眼和破皮的樣本(用紅色框標出)，圖6c為其識別結(jié)果?？梢钥闯?，本文提出的改進算法對機械損傷、蟲眼、破皮等干擾因素有較強的魯棒性。

圖6 改進Faster R-CNN方法的識別結(jié)果Fig.6 Recognition results of potato buds with improved Faster R-CNN

綜上可知，本文所提出的改進Faster R-CNN方法對馬鈴薯芽眼的識別性能有顯著提升，能夠?qū)崿F(xiàn)芽眼的有效識別，且不增加額外的運行時間，滿足實時處理的要求，可為種薯的自動切塊奠定基礎(chǔ)。

4.4 討論

馬鈴薯種薯的自動切塊在實際生產(chǎn)過程中，涉及二維圖像芽眼識別、種薯三維重建、控制部分和種薯切塊等部分。在二維圖像中完成芽眼識別后，將芽眼區(qū)域的位置信息映射到三維重建后的種薯圖像中，完成空間位置的芽眼定位?？刂葡到y(tǒng)根據(jù)芽眼的空間位置控制刀具，完成種薯的切塊。

本文對種薯自動切塊的前期工作——芽眼識別進行了研究分析。芽眼的準確識別是實現(xiàn)種薯自動切塊必不可少的一步，對種薯的切塊品質(zhì)有著決定性作用。本研究可為后期自動切塊奠定基礎(chǔ)，提供有益參考。

5 結(jié)論

(1)提出了一種基于改進Faster R-CNN模型的識別方法。試驗結(jié)果表明，改進的方法可以顯著提高馬鈴薯芽眼的識別效果。

(2)對Faster R-CNN中的NMS算法進行優(yōu)化，利用高斯降權(quán)函數(shù)對IOU 大于等于Nt的相鄰檢測框的置信度作降權(quán)處理，并在訓練過程中加入采用優(yōu)化NMS算法的OHEM技術(shù)，自動選擇難分辨樣本用于反向傳播，增強模型的魯棒性，使馬鈴薯芽眼識別的精度達到96.32%，召回率達到90.85%，F(xiàn)1達到93.51%，單幅圖像的平均運行時間為0.183 s。

(3)基于改進Faster R-CNN模型的識別方法可以實現(xiàn)對馬鈴薯芽眼的有效識別，且不增加額外的運行時間，滿足實時處理的需求，可為馬鈴薯種薯自動切塊中的芽眼識別提供借鑒。