蘋果圖像識別的深度神經(jīng)網(wǎng)絡(luò)算法研究

鄭元剛

實驗結(jié)果表明，利用U—NET提出的分割方法Dice系數(shù)高達98%，且對光照和顏色具有很高的魯棒性。

蘋果產(chǎn)業(yè)，是我國極為重要的果業(yè)品種之一，對我國的果業(yè)經(jīng)濟、進出口創(chuàng)匯等有著重要影響。2017年，我國的蘋果種植比例相較于2016年增長了1.73%。然而，大面積的蘋果種植使得蘋果采摘帶來了一定的問題?，F(xiàn)有的蘋果采摘大多是依靠人力采摘為主，費時費力且效率較低。當(dāng)前，人工智能迅猛發(fā)展，如何將蘋果采摘與人工智能相結(jié)合，實現(xiàn)全自動采摘也是未來的重要研究方向之一。

蘋果自動識別的方法

要實現(xiàn)蘋果的全自動采摘，蘋果的自動識別是第一步，也是極為關(guān)鍵的一步。但是，目前蘋果的自動識別存在兩大難點。首先是蘋果本身的顏色分布不均，蘋果在生長過程中，因為位置、天氣、光照不均勻等因素會影響蘋果不同部位的著色度不同，這就使得蘋果本身的顏色存在分布不均勻的現(xiàn)象。其次，光照也對蘋果的識別帶來影響，由于光照來源方向不同，蘋果枝葉及其陰影容易對其造成遮擋等現(xiàn)象，增加蘋果識別的難度。

常見的蘋果識別方法主要包括基于邊緣檢測的分割算法和基于區(qū)域的圖像分割算法（閾值分割算法、區(qū)域分裂與生長算法）等。當(dāng)前，越來越多的科研工作者致力于蘋果的全自動分割工作研究，如司永勝等人利用K-均值聚類實現(xiàn)蘋果的自動分割，該方法受蘋果顏色影響較小，對綠色蘋果也具有較好的分割性能;張亞靜等人利用亮度和顏色對蘋果進行分割;宋懷波等人提出一種基于凸殼的蘋果分割方法。隨著深度神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域的應(yīng)用，基于深度學(xué)習(xí)的蘋果識別方法也逐漸被提出，如朱悅云利用全卷機神經(jīng)網(wǎng)絡(luò)對蘋果進行分割，有效地提高了蘋果分割的精度，提高了魯棒性。

然而，上述這些方法并沒有對其在不同光照和不同顏色的雙重影響下的性能進行具體分析，為此筆者提出基于深度學(xué)習(xí)的蘋果分割方法，利用U—NET（卷積神經(jīng)網(wǎng)絡(luò)）精確地對蘋果進行分割。

利用U—NET精準分割識別蘋果

U—NET是由Olaf Ronneberger等人提出的一種圖像分割網(wǎng)絡(luò)，在ISBI的細胞分割競賽中獲得了很高的精度，該方法僅僅需要少量的訓(xùn)練圖像即可獲得較好的實驗結(jié)果，且對于待分割圖像的大小沒有要求，因此，筆者采取U—NET對蘋果圖像進行分割。

U-NET是由收縮路徑和擴張路徑兩部分構(gòu)成的，其網(wǎng)絡(luò)結(jié)果圖如圖1所示。收縮路徑是指網(wǎng)絡(luò)的左半部分，通過兩個卷積層、一個最大池化層和Relu激活函數(shù)對原圖像進行不斷的采樣，其中兩個卷積層的卷積核都為3×3，池化層為2×2。擴張路徑是指網(wǎng)絡(luò)的右半部分，通過對原圖像進行不斷的上采樣，包括一個2×2的反卷積和兩個3×3的卷積層。在采樣過程中，每層都加入了收縮路徑中的特征層，使得對上下文信息具有更好的表達能力。為獲取分割結(jié)果，將64通道的特征圖轉(zhuǎn)化為分割所需的結(jié)果圖，U-NET在網(wǎng)絡(luò)的最后一層連接了一個1×1的卷積層。網(wǎng)絡(luò)的損失函數(shù)選擇為交叉熵。

用實驗比對不同算法結(jié)果

為檢測這種算法的有效性，筆者通過實驗，將其應(yīng)用于不同光照條件、不同顏色的蘋果圖像，獲取分割結(jié)果。并對不同顏色的蘋果（紅色蘋果和綠色蘋果）的分割性能進行了對比分析，將其同現(xiàn)有的算法，邊緣檢測、區(qū)域生長和全卷機神經(jīng)網(wǎng)絡(luò)（FCN）進行了對比。

為了測試此種算法的精度，筆者對60張?zhí)O果圖像進行了測試，其中30張為順光下采集的蘋果圖像，30張為逆光條件下采集的蘋果圖像，在30張順光和逆光圖像中各自包含15張紅色蘋果和15張綠色蘋果圖像。為保證試驗的有效性，采取其中40張圖像做訓(xùn)練（其中包括20張順光采集圖像和20張逆光采集圖像，在20張順光和逆光圖像中各自包含10張紅色蘋果和10張綠色蘋果圖像），20張圖像做測試（其中包括10張順光采集圖像和10張逆光采集圖像，在20張順光和逆光圖像中各自包含5張紅色蘋果和5張綠色蘋果圖像）。每張圖像都由人工進行標記。

為檢測本方法對光照的魯棒性，對不同光照條件下（順光采集的圖像和逆光采集的圖像）的分割性能進行了對比分析，并將其同現(xiàn)有的算法，邊緣檢測、區(qū)域生長和全卷機神經(jīng)網(wǎng)絡(luò)（FCN）進行了對比。實驗結(jié)果如表1所示，U-NET對于光照的魯棒性最強，對順光采集的圖像和逆光采集的圖像的分割精度相差不大，F(xiàn)CN對光照的魯棒性僅次于U-NET，區(qū)域生長算法次之，邊緣檢測最差。

為檢測本方法對不同顏色的魯棒性，對不同顏色的蘋果（紅色蘋果和綠色蘋果）的分割性能進行了對比分析，并將其同現(xiàn)有的算法，邊緣檢測、區(qū)域生長和全卷機神經(jīng)網(wǎng)絡(luò)（FCN）進行了對比。實驗結(jié)果如表2所示，U-NET對于顏色的魯棒性最強，F(xiàn)CN對顏色的魯棒性僅次于U-NET，區(qū)域生長算法次之，邊緣檢測最差。

實驗結(jié)果表明，利用U—NET提出的分割方法Dice系數(shù)（一種集合相似度度量函數(shù)，與相似度指數(shù)相同）高達98%，且對光照和顏色具有很高的魯棒性，在不同光照條件下，對不同顏色的蘋果都能取得較高的精度。

（作者單位：山東省德州市齊河縣農(nóng)業(yè)局農(nóng)技站）