基于深度學(xué)習(xí)的蘋果樹側(cè)視圖果實識別

荊偉斌，李存軍，競 霞，趙 葉，程 成

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京100097；2. 西安科技大學(xué)測繪科學(xué)與技術(shù)學(xué)院，陜西西安710054）

0 引言

我國是世界上蘋果種植面積最大、產(chǎn)量最高的國家。2014—2019年，我國蘋果年總產(chǎn)量均達(dá)到3 700萬t以上，位于世界蘋果總產(chǎn)量之首；同時，我國也是蘋果消費(fèi)大國［1-2］。在果實采摘、保鮮儲藏、銷售等工作中，由于無法及時預(yù)估蘋果產(chǎn)量，導(dǎo)致儲藏成本分配不合理、人工投入比例不合理、銷售訂單量與果園實際產(chǎn)量無法匹配以及進(jìn)出口量分配不合理等問題?？焖贉?zhǔn)確地識別樹上果實的數(shù)量，對果實采收、進(jìn)出口管理以及儲藏成本控制等具有重要意義。

果實識別方法通常是基于顏色信息和輪廓信息進(jìn)行?；陬伾畔⒌淖R別算法有分水嶺算法［3］、構(gòu)建顏色網(wǎng)絡(luò)的識別分類器［4］等，其在果實近景識別以及簡單環(huán)境中的識別精度較高，但在廣域復(fù)雜背景下，由于光照、遮擋等因素影響導(dǎo)致果實識別精度較低，難以有效地分割果實與背景環(huán)境?；谳喞畔⒌淖R別算法主要有Sobel邊緣提取［5］、K-means多目標(biāo)提取［6］等，其在果實遮擋面積小、輪廓信息完整的條件下識別精度較高，但是在有遮擋條件下識別精度較低，并且需要根據(jù)不同的目標(biāo)物調(diào)整相應(yīng)的閾值，導(dǎo)致漏判、誤判現(xiàn)象較為嚴(yán)重。

為解決廣域復(fù)雜環(huán)境下多目標(biāo)識別精度低的問題，提高模型的泛化能力，國內(nèi)外相關(guān)學(xué)者采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行果實多目標(biāo)識別方法研究。在深度卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識別領(lǐng)域，出現(xiàn)了Faster-RCNN、YOLO、Mask-RCNN等快速高效的網(wǎng)絡(luò)模型，并被廣泛應(yīng)用于人臉檢測［7］、駕駛員手機(jī)使用檢測［8］、汽車識別檢測［9］中。JordiGené-Mola［10］、Anand Koirala［11］、Yunong Tian［12］等基于深度卷積神經(jīng)網(wǎng)絡(luò)，采用多目標(biāo)檢測的方法對復(fù)雜場景下的樹上果實進(jìn)行識別，在果實近景識別中均取得較好成果，但在廣域復(fù)雜場景下的研究相對較少。相關(guān)學(xué)者研究發(fā)現(xiàn)［13］，F(xiàn)aster-RCNN［14］更適用于小而密集的中小目標(biāo)物的檢測識別，識別效率比其他模型更好。通過對果園實地調(diào)查發(fā)現(xiàn)，蘋果樹上果實存在小而密集特點(diǎn)，遮擋情況較為復(fù)雜，因此，文章通過Faster-RCNN模型對廣域復(fù)雜場景下的蘋果樹上果實進(jìn)行識別，并對模型的適用性進(jìn)行分析。

1 材料與方法

1.1 影像采集

為進(jìn)行蘋果樹上果實識別研究，該文在北京市昌平區(qū)某蘋果果園使用佳能EOS1500D數(shù)碼相機(jī)采集的側(cè)視圖，采集時間為2019年9月17日和2019年9月23日，影像為RGB格式。該蘋果園共有果樹40棵，果樹高度為3～5 m，果樹行間距為4 m（圖1）。該果園蘋果以富士為主，果實與枝葉間、果實之間存在互相遮擋等情況，如圖1c～圖1d，受天氣、樹蔭等影響，果實表面顏色分布不均勻。該果園具有通常果園都存在的果實輪廓信息不清、顏色多樣、生長環(huán)境復(fù)雜等特點(diǎn)，是進(jìn)行廣域復(fù)雜場景樹上果實識別的合理實驗場地。

圖1 北京市昌平區(qū)某蘋果園Fig.1 Orchard located on Changping district，Beijing

實驗中，根據(jù)實際果樹分布狀況，采用人為定點(diǎn)拍攝的方式進(jìn)行影像采集（圖2）。由于相鄰兩列果樹行間的距離之間差值較小，而且行間距方向非標(biāo)準(zhǔn)垂直向下結(jié)構(gòu)，所以在影像采集時，采集路線非標(biāo)準(zhǔn)的垂直前進(jìn)路線。在采集影像時，統(tǒng)一面向果樹側(cè)面，并在果樹中點(diǎn)位置進(jìn)行影像采集，即橫向處于同一水平線兩棵果樹的中點(diǎn)位置。同一個影像采集點(diǎn)采集4次影像，分別涵蓋不同曝光程度下（全自動模式、光圈優(yōu)先模式、快門優(yōu)先模式）的果樹影像，用于模擬廣域復(fù)雜環(huán)境下不同光照對相機(jī)采集影像的影響，增強(qiáng)數(shù)據(jù)庫的豐富性和多樣性，提高模型學(xué)習(xí)的泛化能力。

圖2 蘋果樹側(cè)面影像數(shù)據(jù)集部分展示Fig.2 Part of apple tree side image data

在模型樣本庫建立時，共采集該果園160張影像，影像大小為375×500像素（圖3），采用labelme軟件進(jìn)行果樹側(cè)面蘋果標(biāo)注。為驗證模型的泛化能力，選用30棵果樹的側(cè)面影像120張用于模型訓(xùn)練數(shù)據(jù)集，其余10棵果樹的40張影像作為模型測試數(shù)據(jù)集。

1.2 側(cè)視圖蘋果識別方法

1.2.1 Faster-RCNN模型結(jié)構(gòu)

該文采用Faster-RCNN對蘋果樹側(cè)面圖進(jìn)行果實目標(biāo)識別。Faster-RCNN是由Shaoqing Ren提出的一種用于目標(biāo)檢測的深度學(xué)習(xí)模型［14］，是基于RCNN和Fast-RCNN模型改進(jìn)的一種目標(biāo)檢測模型，舍棄了通過選擇性搜索（Selective Search）提取候選框方法，采用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Networks，RPN）法生成目標(biāo)檢測的候選區(qū)域。Faster-RCNN模型共由三大模塊構(gòu)成，分別是影像特征提取層、前景候選區(qū)域生成網(wǎng)絡(luò)、分類層（圖3）。其中，RPN是在卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖層（Feature maps）上進(jìn)行操作，獲取目標(biāo)物特征圖像中的地面位置，并在每張圖上生成300個候選框，映射到卷積神經(jīng)網(wǎng)絡(luò)最后一層輸出的Feature maps上，其生成的建候選框質(zhì)量高、數(shù)量少，并且借助GPU強(qiáng)大的計算能力，能極大地提高目標(biāo)檢測的速度。

圖3 Faster-RCNN對蘋果側(cè)視圖進(jìn)行果實識別的工作流程Fig.3 Faster-RCNN workflow

深度學(xué)習(xí)模型泛化能力取決于影像特征提取的豐富性與多樣性，不同的特征提取網(wǎng)絡(luò)對模型的魯棒性以及學(xué)習(xí)能力均有影響。該文分別選用VGG16［15］和ResNet50［16］作為蘋果樹側(cè)面圖蘋果特征提取網(wǎng)絡(luò)模型。VGG16是由13層卷積層、13層ReLU激活函數(shù)和4層池化層組成的深度網(wǎng)絡(luò)，其網(wǎng)絡(luò)的深度決定了它能夠?qū)W習(xí)圖中的多種深層次信息。ResNet50由8個部分構(gòu)成，涵蓋了卷積層、最大池化層、4個殘差網(wǎng)絡(luò)模塊、平均池化層和全連接層。深度卷積網(wǎng)絡(luò)模型訓(xùn)練誤差升高的原因是網(wǎng)絡(luò)越深，梯度消失的現(xiàn)象就越明顯，所以在后向傳播的時候，無法有效把梯度更新到前面的網(wǎng)絡(luò)層，靠前的網(wǎng)絡(luò)層參數(shù)無法更新，導(dǎo)致訓(xùn)練和測試效果變差［16］。因此，為解決深層網(wǎng)絡(luò)的梯度消失問題，ResNet的4個殘差網(wǎng)絡(luò)模塊中增加了1個恒等映射（Identity Mapping），即把當(dāng)前輸出直接傳輸給下一層網(wǎng)絡(luò)，同時在后向傳播過程中，也是將下一層網(wǎng)絡(luò)的梯度直接傳遞給上一層網(wǎng)絡(luò)。2個特征提取網(wǎng)絡(luò)具體參數(shù)如表1所示。

表1 深度學(xué)習(xí)特征提取網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)Table 1 Deep learning feature extraction network model structure parameters

續(xù)表1

1.2.2 模型運(yùn)行環(huán)境

該文基于GPU強(qiáng)大的圖像運(yùn)算能力進(jìn)行深度學(xué)習(xí)模型運(yùn)行環(huán)境搭建，GPU顯卡為NVIDIA2080Ti，處理器為Inter core i7-9800x，主頻為3.8Ghz，128GB內(nèi)存，華碩x299主板，在ubuntu18.04系統(tǒng)環(huán)境下進(jìn)行TensorFlow框架搭建，并安裝GPU顯卡深度學(xué)習(xí)所需運(yùn)算插件cuda9.2。

1.2.3 模型訓(xùn)練

通過調(diào)整模型運(yùn)行學(xué)習(xí)率、權(quán)重衰減項、迭代次數(shù)等參數(shù)，對模型進(jìn)行優(yōu)化訓(xùn)練并進(jìn)行測試試驗。具體訓(xùn)練過程中，將初始學(xué)習(xí)率（Learning rate）設(shè)置為0.001，權(quán)重衰減項（Weight decay）設(shè)置為0.000 1，最大迭代次數(shù)設(shè)置為4萬次。基于VGG16和ResNet50特征提取網(wǎng)絡(luò)，F(xiàn)aster-RCNN最終輸出為側(cè)面蘋果的識別結(jié)果，為提高蘋果的識別精度，僅輸出置信度大于0.8的目標(biāo)。

1.3 精度評價指標(biāo)

該文采用準(zhǔn)確率P（perecision）、召回率R（recall）以及OA（averall accuracy）等指標(biāo)對Faster-RCNN模型計算結(jié)果進(jìn)行精度評價［17］，各指標(biāo)計算公式為：

式（1）～（4）中，N為測試樣本的個數(shù)，TP為模型正確識別側(cè)面圖的蘋果個數(shù)，F(xiàn)P為將背景誤識別為蘋果的個數(shù)，F(xiàn)N為未識別的蘋果個數(shù)，P為模型識別蘋果的準(zhǔn)確率，R為模型識別蘋果的召回率，F(xiàn)為模型未識別為蘋果的漏判率，OA為準(zhǔn)確率P和召回率R的均值，用于評判模型的識別精度。

2 結(jié)果與分析

2.1 側(cè)視圖蘋果識別

該文對樣本庫中30棵果樹的影像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行目標(biāo)標(biāo)注，利用VGG16和ResNet50進(jìn)行影像特征提取，RPN生成候選區(qū)域，softmax進(jìn)行模型輸出，構(gòu)建基于Faster-RCNN的蘋果樹側(cè)視圖果實識別模型，并利用剩余10棵樹的樣本數(shù)據(jù)進(jìn)行模型精度評價。如圖4為Fater-RCNN對其中2棵樣本果樹進(jìn)行側(cè)視圖果實識別結(jié)果。

圖4 Fater-RCNN對蘋果樹側(cè)視圖的果實識別結(jié)果：a.樣本樹1原圖；b.樣本1的ResNet50識別結(jié)果；c.樣本1的VGG16識別結(jié)果；d.樣本樹2原圖；e.樣本2的ResNet50識別結(jié)果；f.樣本2的VGG16識別結(jié)果蘋果識別結(jié)果展示Fig.4 Side apple recognition results

比較ResNet50和VGG15的識別結(jié)果可知，2個模型在識別結(jié)果中具有一定的相似性，對于遮擋較小、顏色飽滿的蘋果，模型的識別精度高，果實識別的置信度也相對較高；在遮擋比較嚴(yán)重即果實輪廓信息不豐富區(qū)域，以及果實顏色與地面蘋果袋子顏色接近區(qū)域，模型的識別精度較低，誤判率較高，置信度也相對較低；在果樹下方出現(xiàn)的蘋果袋子對模型識別結(jié)果具有一定的影響，經(jīng)過統(tǒng)計模型誤判為蘋果的影響因素全部源于地面蘋果袋子。

將訓(xùn)練后的模型用于測試樣本的果實識別中，識別精度評價結(jié)果如表2所示。比較發(fā)現(xiàn)，相同的學(xué)習(xí)參數(shù)下，VGG16作為特征網(wǎng)絡(luò)的目標(biāo)檢測網(wǎng)絡(luò)各個指標(biāo)表現(xiàn)優(yōu)于ResNet50。2個模型的漏判率相差較小，其中ResNet50的識別誤差主要源于召回率，即模型未識別的蘋果個數(shù)多于VGG16網(wǎng)絡(luò)。

表2 廣域復(fù)雜場景下側(cè)視圖蘋果識別精度評價Table 2 Apple recognition accuracy evaluation of side view in wide complex scene

2.2 遮擋情況下的蘋果識別

該文重點(diǎn)針對廣域復(fù)雜場景下的果實遮擋情況進(jìn)行討論，并利用VGG16作為特征提取網(wǎng)絡(luò)的目標(biāo)檢測模型對測試樣本中存在遮擋的影像進(jìn)行識別驗證。對識別結(jié)果分析可知，遮擋情況主要有枝葉遮擋和果實間的相互遮擋，遮擋因素導(dǎo)致果實的輪廓信息不完整，對模型的識別精度影響較大。在蘋果樹樣本影像中，部分蘋果生長呈現(xiàn)單個或稀疏少量分布，影像中前景目標(biāo)突出，易于檢測識別（圖5），而也有部分蘋果存在簇生密集生長，使得獲取到的影像中前景目標(biāo)多而密集，易導(dǎo)致多目標(biāo)果實的識別精度降低的情況。采用VGG16和ResNet50作為特征提取的目標(biāo)檢測模型對部分測試樣本中存在遮擋現(xiàn)象較為嚴(yán)重的區(qū)域進(jìn)行果實識別，該文選用同一張影像中不同區(qū)域的識別結(jié)果進(jìn)行分析，確保兩個模型均在相同的光照以及背景環(huán)境下進(jìn)行識別任務(wù)。識別結(jié)果表明，基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋嚴(yán)重區(qū)域的識別結(jié)果相對較好（圖5a-V），但亦存在因果實間相互遮擋以及枝葉遮擋而導(dǎo)致的果實漏識別情況發(fā)生（圖5b-V、圖5c-V），相應(yīng)的ResNet50的識別結(jié)果如圖5d-R、圖5e-R、圖5f-R所示。

圖5 不同遮擋情況下模型的識別結(jié)果（紅框代表識別出的蘋果，黃框代表未識別出的蘋果）Fig.5 Identification results of models in different masking situations

3 結(jié)論

該文針對蘋果園產(chǎn)量預(yù)估，提出一種基于不同特征提取網(wǎng)絡(luò)的廣域復(fù)雜場景下蘋果樹側(cè)面果實多目標(biāo)識別方法，實驗證明基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋情況下的識別結(jié)果優(yōu)于ResNet50特征提取網(wǎng)絡(luò)，識別精度達(dá)到91%；基于深度學(xué)習(xí)的果樹側(cè)視圖果實識別任務(wù)中，單幅圖像識別時間約為1.4 s，識別效率高，基于深度學(xué)習(xí)在廣域復(fù)雜場景下多目標(biāo)識別精度及效率高的特點(diǎn)，該方法為果園產(chǎn)量估算提供了有效的技術(shù)支持。但是模型受限于系統(tǒng)環(huán)境以及GPU的硬件環(huán)境，攜帶不便，在后期研究中考慮將優(yōu)化訓(xùn)練后的模型移植于便攜式樹莓派平臺中，并搭載相機(jī)，進(jìn)行果園果樹側(cè)面果實計數(shù)；此外該文中采用的模型訓(xùn)練樣本庫數(shù)量較少且僅限一個果園，在后續(xù)研究中將加入多個果園以及不同品種的蘋果樹樣本影像進(jìn)行特征學(xué)習(xí)，提高模型對不同品種果實識別的泛化能力。