機器視覺結合深度學習對荔枝估產的算法研究

高 翔，陳福展，董力中，盧嘉威,，李媛媛，凡 超，陳萬云

（1.廣東省現(xiàn)代農業(yè)裝備研究所，廣東 廣州 510630；2.深圳市現(xiàn)代農業(yè)裝備研究院，廣東 深圳 518022；3.廣州市健坤網(wǎng)絡科技發(fā)展有限公司，廣東 廣州 510630；4.廣東省農業(yè)科學院果樹研究所，廣東 廣州 510645）

0 引言

荔枝為無患子科，屬于熱帶亞熱帶常綠果樹。我國荔枝栽培主要集中在廣西、海南、廣東、福建等?。▍^(qū)），花期3～4 月，成熟期5～7 月，既有“南國佳果”之稱,又有“嶺南果王”的美譽。自20 世紀80 年代至今，我國荔枝栽培面積和總產量均有了較大幅度的增加，1987 年荔枝栽培面積為12.75 萬hm2，2012 年增加 到55.33 萬hm2；1987 年荔枝 總產量 為11.68 萬t，2012 年增加 到190.66 萬t[1]。廣東省有著優(yōu)越的地理環(huán)境與氣候條件以及豐富的荔枝種質資源和悠久的栽培歷史，具有發(fā)展荔枝生產的獨特優(yōu)勢，素有“中國荔枝第一產區(qū)”之美譽，是中國荔枝的原產地之一，也是世界少有的荔枝宜種區(qū)，已成為世界荔枝栽種面積最大、栽培品種較多的地區(qū)[2]。

隨著荔枝產業(yè)的進一步發(fā)展，推進廣東省荔枝產業(yè)的發(fā)展，堅持農業(yè)科技創(chuàng)新勢在必行。人工智能熱潮的興起，深度學習等多種算法相繼被探索出來，這使農業(yè)精準估產成為可能，很多研究人員也開展了相應的嘗試。西北農林科技大學周忠賢[3]基于深度學習與Android 手機雙目視覺，研究了果園獼猴桃測產方法，并結合開發(fā)了相應的App 應用程序，實現(xiàn)實時視頻計數(shù)、體積測量和實時測產功能；中國農業(yè)大學李志軍等[4]基于輕量化改進YOLOv5，研究了蘋果樹產量測定方法，達到了較好的精度，基本能夠滿足自然環(huán)境下蘋果樹的測產要求；華中科技大學熊雄[5]利用深度學習技術，研究了大田水稻稻穗分割及無損產量預估方法，為早期稻田精準估產提供了實現(xiàn)路徑。本文在相關研究基礎上，采用深度學習技術和機器視覺技術[6]，研究荔枝的精準估產算法，以期替代傳統(tǒng)的人工估產方式，提升荔枝估產的效率和準確率。

1 研究思路及相關基礎技術

1.1 研究思路

要替代現(xiàn)有的通過人工憑經(jīng)驗進行大致推理計數(shù)的過程，主要考慮方向如下：數(shù)出荔枝4 個方向表面果實的數(shù)量，根據(jù)樹寬、數(shù)高、大小年、種類特性對輸出的數(shù)量進行修正，即根據(jù)經(jīng)驗乘以1 個估計系數(shù)。最后，根據(jù)不同荔枝種類果實的平均重量乘以修正后的果實數(shù)量得到整棵樹的估計產量?；诂F(xiàn)有人工的估產思路，考慮使用AI 圖像目標檢測技術進行識別，并將識別后的結果作為局部變量構建估產模型，將此模型部署到邊緣設備端，則使用者可通過拍攝荔枝樹4 面不同的圖片，根據(jù)圖像處理的結果輸出所采集果樹的估產結果，實現(xiàn)思路如圖1 所示。

圖1 荔枝估產技術實現(xiàn)思路

實現(xiàn)荔枝估產，需要對采集果樹圖片信息進行識別和計算，主要使用到的圖像處理技術如下：基于深度學習的目標檢測可以對圖像或視頻中的物體進行識別和定位；雙目視覺可以通過視差獲得目標物的深度信息；邊緣端檢測可以獲得圖像中目標物的外輪廓，對相機進行標定后，結合深度信息通過比例換算可以得到輪廓邊緣像素點的實際距離。

融合深度學習、機器視覺等技術，本文以向陽面果實數(shù)量、其他3 面果實總數(shù)、大小年、樹高、樹寬、果實大小、樹齡7 個參數(shù)作為模型的輸入，搭建基于Py Torch 框架的多層感知機模型來訓練荔枝估產模型[7]。模型結構包括1 個輸入層、2 個隱藏層和1 個輸出層，在前2 層全連接后面均使用ReLU作為激活函數(shù)，并在第1 層全連接后面加入Dropout層，以防止過擬合，模型的輸出為1 個產量值，實現(xiàn)產量預估功能。BP 神經(jīng)網(wǎng)絡結構如圖2 所示，其中輸入層（M 層）為7 個節(jié)點[8]。

圖2 BP 神經(jīng)網(wǎng)絡結構設計

1.2 相關基礎技術

1）目標檢測。目標檢測領域的深度學習方法有很多，主要分為One-stage 目標檢測算法和Twostage 目標檢測算法2 類[9]，這2 類目標檢測算法各有優(yōu)勢，但也有很大區(qū)別：Two-stage 目標檢測方法先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡進行樣本分類，檢測準確率較高、定位精度較準確；One-stage 目標檢測方法不用產生樣本候選框，而是直接將目標邊框定位的問題轉化為回歸問題進行處理，算法速度較快。本文探索的荔枝果樹、果實目標檢測，要求較高的準確度、較強的實時性以及能夠快速進行計算，而Two-stage 目標檢測方法中Selective Search 聚類方法需要耗費大量的時間，難以滿足實時性，因此One-stage 是更好的選擇。One-stage 目標檢測方法的YOLOv3 算法采用了更深層的特征提取網(wǎng)絡Darknet53，并使用3 個尺度的特征進行目標檢測，檢測精度效果良好，能夠滿足小目標的檢測需求。本文選擇YOLOv3 算法作為荔枝估產任務目標檢測的選定算法。

2）雙目測距。同一物體在2 幅圖像上分別成像時，由于物體與雙目的相對位置不同而存在視差，物體距離攝像頭越近視差值越大，基于圖像幾何關系，可以測量實際物體的深度值。本文通過雙目測距獲取果樹的深度信息。

3）邊緣檢測。邊緣檢測主要是計算顯示出圖像的大概輪廓，為圖像的特征提提取、識別定位、測量擬合等提供支撐，是圖像處理最基礎而又關鍵的操作。本文利用邊緣檢測獲取樹高、樹寬等信息。

2 估產模型搭建及算法優(yōu)化

2.1 荔枝目標檢測的模型搭建與優(yōu)化

YOLOv3[10]算法以Darknet53[11]為主干網(wǎng)路，并分別在32 倍下采樣、16 倍下采樣和8 倍下采樣后進行預測，以416×416 的輸入尺寸為例，網(wǎng)絡分別在13×13、26×26 和52×52 這3 個尺度的特征圖中對圖像中的物體進行預測，其中52×52 尺度的特征圖負責預測較小的目標；26×26 尺度的特征圖負責預測中等目標；13×13 尺度的特征圖負責預測較大的目標。通過將卷積層、歸化層和激活層組成一個基本組件層（DBL），其中DBL（1×1）指卷積層的卷積核大小為1×1 的輸入尺寸，多個DBL 層組成了一個DBL 模塊，多個DBL 模塊組成了Dense Module，YOLOv3 原始網(wǎng)絡結構如圖3 所示。

圖3 YOLOv3 原始網(wǎng)絡結構

在拍攝整棵樹的情況下，單個荔枝在圖片中相對整張圖的尺寸很小，而且荔枝果實生長較為密集，這使得荔枝果實的檢測任務更加困難。為了提高在大場景下荔枝果實的檢測性能，本文做出了以下幾點改進：①增加模型的輸入尺寸到800×800，更大的輸入尺寸能夠更好的保存圖像中小目標的特征；②為了得到更大尺度的特征圖，本文將原始網(wǎng)絡最大尺度的特征圖進行了處理，通過2 倍采樣以及與淺層特征進行融合，增強了對更小目標的檢測能力[12-13]，使用K-means 算法針對荔枝數(shù)據(jù)集中的標注框進行聚類[14-15]，得到適合荔枝檢測的Anchor Box 尺寸，使網(wǎng)絡能夠更好的提取特征，從而使模型達到更好的檢測效果。本研究在Darknet 框架下對改進后的荔枝檢測模型進行訓練，在訓練過程中，設置初始學習率為0.001，并分別在訓練15 000 次和18 000 次時，調整為原來的0.1 倍。設置模型輸入尺寸為800×800，Batch Size 為64。設置12 個Anchor Box 分 別為 6,10,8,12,10,16,12,20,14,20,14,26,18,24,20,32,24,36,30,48,46,70,76,112。優(yōu)化后的YOLOv3-4scale 網(wǎng)絡結構如圖4 所示。

圖4 優(yōu)化后的YOLOv3-4scale 網(wǎng)絡結構

基于新的網(wǎng)絡結構，本研究根據(jù)測試結果進行了幾次的迭代。使用YOLOv3-up1 模型（調整了3 個輸出尺度），設置輸入尺寸為800×800，重新使用Kmeans 聚類的Anchors。設置Batch Size=128，subdivisions=64；初始學習率調整為0.001，step 為5 000 次和10 000 次時，減少10 倍。迭代20 000次，loss 降到10 左右。改進前后的檢測結果對比如圖5 所示。圖5（a）、（c）、（e）為原始YOLOv3 模型的檢測結果圖，圖5（b）、（d）、（f）為改進后的YOLOv3-4scale 模型的識別結果圖。通過對比后發(fā)現(xiàn)，在荔枝較小且密集的部分，改進后的模型檢測效果更好。

圖5 YOLOv3 模型與YOLOv3-4scale 模型識別結果

2.2 樹高、樹寬數(shù)據(jù)的識別與處理

本文選用小覓雙目攝像頭實時測量圖像中果樹的深度，距離與視差的關系如圖6 所示。攝像頭成像4 個坐標系，分別為像素坐標系、圖像坐標系、相機坐標系、世界坐標系。如圖7 所示，像素坐標系以圖像的左上角為原點O0，橫縱坐標（u，v）分別表示像素點在圖像中的列數(shù)和行數(shù)；圖像坐標系的原點為相機的光軸與圖像平面的交點，一般為圖像平面的中心。令O1在像素坐標系O0-uv的坐標為（u0，u0），dx、dy為單位像素在橫軸和縱軸上的物理尺寸，則像素坐標系與圖像坐標系之間存在如下關系：

圖6 距離與視差的關系

圖7 像素坐標系與圖像坐標系

轉換成“齊次矩陣”表示則為

由于受外界光照影響較大，且選用的小覓雙目攝像頭輸出的圖像為灰度圖，故本研究的思路是對視差圖進行處理，通過算法最終獲得所需要的值。處理流程為：深度圖獲取→圖像處理（濾波去噪、物體去除、邊緣檢測、尋找輪廓）→樹寬、樹高數(shù)據(jù)輸出。目標果數(shù)圖像處理流程如圖8 所示。

圖8 目標果樹圖像處理過程

1）深度圖獲取。本研究選用小覓雙目攝像頭來實時測量圖像中果樹的深度?；诠麡涞纳疃刃畔?，可以有效的區(qū)分前后果樹位置，從而解決前后果樹的重疊問題。獲得的原始圖像深度圖與結合深度信息去除遠處果實輪廓后的目標果樹深度。

2）圖像處理。①濾波去噪：為了減少噪聲和失真，且不損壞輪廓等重要信息（矩陣卷積運算），利用不同權重的鄰域算子（周圍像素點），使用高斯濾波、均值濾波、中值濾波這3 種方式進行調試處理；②物體去除：分割出獨立元素，采用形態(tài)學運算平滑邊界，去除障礙物周圍大塊噪點，去除波動問題；③邊緣檢測：通過低錯誤率、高定位性、最小響應方法獲取障礙物邊緣信息，選定Canny 算子，Sobel 算子，Laplacian 算子檢測方式進行邊緣檢測；④尋找輪廓：同一個障礙物邊緣檢測結果可能離散的，需要將統(tǒng)一障礙物輪廓當做一個整體處理，選定輪廓檢測模式方式和輪廓近似方法進行處理，通過圖像處理，可以獲得目標果樹的外輪廓，計算后輸出樹高與樹寬。

2.3 估產結果的輸出

基于已搭建多層感知機模型來訓練荔枝估產模型，通過C++將目標檢測的結果與樹高、樹寬的測量結果調用至MLP 神經(jīng)網(wǎng)絡中。在模型訓練過程中，本研究共使用200 組數(shù)據(jù)，其中185 組作為訓練集、15 組作為驗證集；訓練中使用均方誤差作為損失函數(shù)，設置初始學習率為0.001。模型訓練前500 次loss 下降明顯，1 000 次以后loss 趨向平緩，最終loss 降到0.3 左右，模型的性能有待進一步的驗證和優(yōu)化。

將識別模型部署到邊緣端，結合Jetson Nano 模塊、人機交互觸摸屏、攝像頭等，構建手持式荔枝估產裝備，如圖9 所示。通過邊緣端采集圖像、進行圖像推理與識別計算，實現(xiàn)快速的荔枝成熟度識別、荔枝個數(shù)統(tǒng)計以及產量預估等。

圖9 手持式荔枝估產儀結構渲染圖

3 結語

本文主要描述了機器視覺結合目標檢測，通過其輸出的結果搭建MLP 神經(jīng)網(wǎng)絡，實現(xiàn)荔枝的估產。數(shù)據(jù)采集方面，一方面通過機器視覺代替人工數(shù)果，實現(xiàn)荔枝果實數(shù)量的自動識別獲??；另一方面，通過深度學習處理，自動識別獲取樹高和樹寬。通過向陽面果實數(shù)量、其他3 面果實總數(shù)、大小年、樹高、樹寬、果實大小和樹齡7 個參數(shù)作為模型的輸入，搭建基于Py Torch 框架的多層感知機模型來訓練荔枝估產模型，最終實現(xiàn)了荔枝的產量預測，為荔枝智慧化估產提供了新的實現(xiàn)路徑。但由于荔枝產量影響因素復雜多樣，還需要進一步對估產結果進行驗證和估產模型優(yōu)化訓練。