基于深度學(xué)習(xí)的目標(biāo)橘子識(shí)別方法研究

任會(huì) 朱洪前

摘? 要： 為了更好地解決自然條件下目標(biāo)橘子的遮擋、重果問(wèn)題，采用深度學(xué)習(xí)的方法對(duì)目標(biāo)橘子進(jìn)行識(shí)別，并用傳統(tǒng)的目標(biāo)識(shí)別算法與Faster-RCNN兩種方法進(jìn)行對(duì)比實(shí)驗(yàn)。根據(jù)大量的數(shù)據(jù)對(duì)比可知，傳統(tǒng)的目標(biāo)識(shí)別方法對(duì)自然光照敏感，對(duì)遮擋、重果的識(shí)別效果不佳，泛化能力及魯棒性較差。而Faster-RCNN算法對(duì)光照及枝葉遮擋的識(shí)別更友好，更符合采橘機(jī)器人實(shí)際采摘的需要。深度學(xué)習(xí)方法有望在采橘機(jī)器人目標(biāo)識(shí)別中得到更廣泛的應(yīng)用。

關(guān)鍵詞： 目標(biāo)識(shí)別; 傳統(tǒng)算法; 深度學(xué)習(xí); 采橘機(jī)器人

中圖分類(lèi)號(hào)：520.2040 ?????????文獻(xiàn)標(biāo)識(shí)碼：A???? 文章編號(hào)：1006-8228（2021）01-57-04

Research on the method of identifying target orange with deep learning

Ren Hui， Zhu Hongqian

（Central South University of Forestry and Technology， Changsha， Hunan 410004， China）

Abstract： In order to better solve the problem that the target orange is covered by something or overlapped in natural condition， this paper uses the deep learning method to recognize the target orange， and makes the comparative experiment between the traditional target recognition algorithms and the Faster-RCNN method. According to a large number of data comparison， the traditional target recognition methods are sensitive to natural light， the recognition effect on covered or overlapped fruit is not so good， and have poor generalization ability and robustness. The Faster-RCNN algorithm is more suitable to recognize the light and branch covered fruit， which is more in line with the actual needs of orange picking robot. Deep learning methods are expected to be more widely used in the target identification of orange picking robot.

Key words： target identification; traditional algorithm; deep learning; orange picking robot

0 引言

橘子的采摘作業(yè)環(huán)境較為復(fù)雜，自動(dòng)化程度低，其采摘作業(yè)往往都是人工的，勞動(dòng)強(qiáng)度大，且耗費(fèi)大量的人工成本。而我國(guó)農(nóng)業(yè)勞動(dòng)力逐漸向社會(huì)其他產(chǎn)業(yè)轉(zhuǎn)移，同時(shí)人口老齡化問(wèn)題日趨嚴(yán)重，勞動(dòng)力缺乏[1-2]。由于柑橘產(chǎn)量大，成熟期集中，季節(jié)性強(qiáng)，如果能在柑橘的生產(chǎn)過(guò)程中使用機(jī)器人進(jìn)行采摘作業(yè)并對(duì)果實(shí)進(jìn)行分揀，不僅可以降低勞動(dòng)強(qiáng)度，節(jié)省有限的勞動(dòng)力資源，同時(shí)也能節(jié)約人工成本，提高勞動(dòng)生產(chǎn)率[3]。

在自然條件下的目標(biāo)橘子的識(shí)別，易受光照、角度、遮擋、設(shè)備等影響。傳統(tǒng)的目標(biāo)識(shí)別算法基于手工特征配合機(jī)器學(xué)習(xí)的方法。深度學(xué)習(xí)利用其強(qiáng)大的特征學(xué)習(xí)能力，GPU的高速計(jì)算以及計(jì)算機(jī)硬件成本的降低等優(yōu)勢(shì)，在目標(biāo)檢測(cè)任務(wù)中得到大量應(yīng)用[4]。2012年以前，目標(biāo)檢測(cè)主要利用Haar、HOG（方向梯度直方圖）、LBP（局部二值模式）等手工特征和AdaBoost、SVM（Support Vector Machine）、DPM（Deformable Part Model）等機(jī)器學(xué)習(xí)方法。從2012年奪得ImageNet大型圖像分類(lèi)冠軍的AlexNet[5]開(kāi)始[6]，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)展現(xiàn)出了無(wú)與倫比的潛力。CNN成為視覺(jué)處理最重要的工具[7]，隨后基于CNN的目標(biāo)檢測(cè)與識(shí)別也逐漸取代了之前方法的目標(biāo)檢測(cè)與識(shí)別，相比與傳統(tǒng)圖像處理的目標(biāo)檢測(cè)與識(shí)別，基于CNN的目標(biāo)檢測(cè)與識(shí)別無(wú)論在準(zhǔn)確性和實(shí)時(shí)性上都取得了全面領(lǐng)先。目前基于深層卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)與辨識(shí)總體可分為如下幾大類(lèi)[8]：①基于區(qū)域選擇的目標(biāo)檢測(cè)與識(shí)別算法。其中代表性的有R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN。②基于回歸的目標(biāo)檢測(cè)與識(shí)別算法。具有代表性的是YOLO，SSD。③基于搜索的目標(biāo)檢測(cè)與識(shí)別算法。具有代表性的有基于增強(qiáng)學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別，基于視覺(jué)注意的AttentionNet。本文針對(duì)自然場(chǎng)景下的目標(biāo)橘子運(yùn)用兩種識(shí)別模式，基于傳統(tǒng)的目標(biāo)識(shí)別方法在實(shí)驗(yàn)基礎(chǔ)上選擇最佳效果方案，深度學(xué)習(xí)算法的應(yīng)用，本文使用Faster-RCNN這一經(jīng)典算法對(duì)目標(biāo)橘子進(jìn)行識(shí)別。對(duì)于光照遮擋等效果較好，在一定程度上彌補(bǔ)了傳統(tǒng)的目標(biāo)識(shí)別算法的局限性。

1 傳統(tǒng)目標(biāo)檢測(cè)

對(duì)于傳統(tǒng)的目標(biāo)檢測(cè)算法，一般是對(duì)圖像進(jìn)行預(yù)處理，接著利用邊緣檢測(cè)等相關(guān)算子對(duì)目標(biāo)圖像的特征進(jìn)行提取和識(shí)別。圖像預(yù)處理可增強(qiáng)圖像識(shí)別的對(duì)比度，突出目標(biāo)特征，便于后面特征的提取。常用的預(yù)處理算法有：雙邊濾波、直方圖濾波、中值濾波等方法，圖像分割需要對(duì)目標(biāo)特征進(jìn)行提取，典型的是對(duì)顏色、形狀、紋理等特征提取，常用的特征提取算子有：形態(tài)學(xué)運(yùn)算、K-Means聚類(lèi)、Canny邊緣檢測(cè)算子、Hough變換等。

以橘子識(shí)別為例，常用的算法用法設(shè)計(jì)流程如圖1所示。

1.1 顏色空間轉(zhuǎn)換

圖像在不同的顏色空間下的色彩感知度不同，為了突出目標(biāo)的顏色特征，通常會(huì)將圖像轉(zhuǎn)換到特定的顏色空間下。常用的顏色通道有RGB、HSV、Lab、YCrCb[9]。由大量實(shí)驗(yàn)效果可知，在大多數(shù)情況下，特定通道下的視覺(jué)表達(dá)效果比直接灰度化處理后的效果明顯。圖2為r、g、b通道效果圖?？梢灾庇^(guān)得得出目標(biāo)在r通道下效果最佳。

1.2 圖像增強(qiáng)

常用的果實(shí)圖像預(yù)處理算法主要有直方圖均衡化、均值濾波、中值濾波等，這些算法在一定程度上能夠去除背景噪音，弱化自然光線(xiàn)對(duì)圖像的影響，改善圖像細(xì)節(jié)與質(zhì)量[10]。本文對(duì)比了同態(tài)濾波、中值濾波處理效果，圖3為原圖，圖4為同態(tài)濾波處理效果圖，圖5為中值濾波處理效果圖。觀(guān)察圖片，可知這兩種濾波的特點(diǎn)：同態(tài)濾波提高了圖像的對(duì)比度和亮度，中值濾波對(duì)邊緣信息的保護(hù)效果較好。在實(shí)際圖像處理中，根據(jù)每幅圖像的特點(diǎn)選擇對(duì)應(yīng)的處理方法能達(dá)到更好的表達(dá)效果。

1.3 圖像分割與特征提取

分割圖像，可根據(jù)目標(biāo)的顏色、形狀、紋理等特征，簡(jiǎn)單地說(shuō)，也是一個(gè)標(biāo)記的過(guò)程。特征提取常用的算子有canny等邊緣檢測(cè)算子和K-Means聚類(lèi)、分水嶺算法等基于顏色的特征提取方法，提取特征后一般用SUSAN、SUFT等算子對(duì)其進(jìn)行特征匹配與特征提取。圖6為用Hough變換識(shí)別到的實(shí)驗(yàn)效果圖，對(duì)于單個(gè)果實(shí)的識(shí)別效果較好。

對(duì)于單個(gè)果實(shí)且無(wú)遮擋的目標(biāo)圖像[11]，傳統(tǒng)的算法能勝任圖像識(shí)別的要求，但要在特定的實(shí)驗(yàn)環(huán)境中，光照影響較大，且需要手動(dòng)實(shí)時(shí)調(diào)參，泛化能力及魯棒性較差。傳統(tǒng)識(shí)別算法中的識(shí)別效果基本取決于人工設(shè)計(jì)的特征提取算法是否合理。但在實(shí)際應(yīng)用中，橘子背景較為復(fù)雜，存在枝葉遮擋、重果、光照等問(wèn)題，這些傳統(tǒng)的目標(biāo)識(shí)別算法提取的特征不足以作為各種分類(lèi)器分類(lèi)的最佳依據(jù)，存在漏判及錯(cuò)判。圖7所示為因枝葉遮擋引起的漏判，圖8所示為因光照導(dǎo)致錯(cuò)判。

2 深度學(xué)習(xí)

深度學(xué)習(xí)利用多層非線(xiàn)性信息處理來(lái)實(shí)現(xiàn)有監(jiān)督或者無(wú)監(jiān)督的特征提取和轉(zhuǎn)換、模式分析和分類(lèi)，用來(lái)解釋如圖像、聲音、文本的數(shù)據(jù)[12]。其中很多算法都是以無(wú)監(jiān)督學(xué)習(xí)的形式出現(xiàn)，能被應(yīng)用于其他算法無(wú)法企及的無(wú)標(biāo)簽數(shù)據(jù)，這一類(lèi)數(shù)據(jù)比有標(biāo)簽的數(shù)據(jù)更為豐富，也更容易獲得。近年來(lái)，深度學(xué)習(xí)憑借較強(qiáng)的特征學(xué)習(xí)能力廣泛應(yīng)用于圖像目標(biāo)檢測(cè)中。處理流程主要分為以下步驟：圖片收集、標(biāo)注清洗、訓(xùn)練模型、模型的評(píng)估與優(yōu)化。

本文選用了較為典型的Faster-RCNN模型來(lái)識(shí)別橘子，并在Tensorflow框架下完成。Faster-RCNN中的核心RPN（Region Proposal Network）區(qū)域生成網(wǎng)絡(luò)在feature maps基礎(chǔ)上生成proposals，并采用softmax得到anchor屬于物體或背景的概率，相比CNN系列其他的網(wǎng)絡(luò)模型，減少了參數(shù)量和預(yù)測(cè)時(shí)間，大幅加快了訓(xùn)練速度。其各網(wǎng)絡(luò)主要結(jié)構(gòu)都由卷積層、激勵(lì)層、池化層、RPN 層、ROI Align 層及全連接層構(gòu)成。實(shí)驗(yàn)中模型的學(xué)習(xí)率為0.0002，在Win10系統(tǒng)下進(jìn)行。

2.1 圖像收集

深度學(xué)習(xí)需要對(duì)模型進(jìn)行多次訓(xùn)練，需要收集大量的數(shù)據(jù)，并對(duì)目標(biāo)打標(biāo)。橘子較為常見(jiàn)，圖像收集工作較為簡(jiǎn)單，本文的圖像來(lái)源于兩處：一為相機(jī)拍攝的圖像，二是在網(wǎng)頁(yè)上爬取的橘子圖像，同時(shí)通過(guò)旋轉(zhuǎn)、噪聲處理等方法擴(kuò)充了數(shù)據(jù)。圖像中一小部分的背景較為簡(jiǎn)單，無(wú)明顯枝葉或重果遮擋等問(wèn)題。大部分的圖像背景則較為復(fù)雜，有光照、遮擋問(wèn)題。Faster RCNN在RNN的基礎(chǔ)上改進(jìn)，支持輸入任意大小的圖像，實(shí)驗(yàn)中共收集到503幅圖像，并將所有圖像統(tǒng)一像素為1280*960。

2.2 清洗標(biāo)注

部分爬取的圖像可能會(huì)不符合要求，因此在訓(xùn)練前，需要篩選一下數(shù)據(jù)集，并在標(biāo)注前需對(duì)數(shù)據(jù)進(jìn)行清洗。在逐一篩選中，去除不相關(guān)圖像后，對(duì)圖像按數(shù)字序號(hào)命名。為了檢驗(yàn)實(shí)驗(yàn)效果，本文按照8：2將數(shù)據(jù)集分為訓(xùn)練集與測(cè)試集。清洗后，利用LabelImg標(biāo)注軟件對(duì)目標(biāo)橘子打標(biāo)簽，實(shí)驗(yàn)共計(jì)標(biāo)記有3381個(gè)對(duì)象，本文使用POSCAL VOC2007的數(shù)據(jù)集格式。

2.3 模型訓(xùn)練

Faster R-CNN的主要步驟為[13]。

⑴ 提取特征：利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。

⑵ 生成候選區(qū)：利用RPN 生成k個(gè)不同大小和比例的候選區(qū)域，即anchor框。

⑶ pooling：ROI Pooling 利用 RPN 生成的候選區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)提取到的共享特征圖得到固定大小的候選區(qū)域特征圖（proposal feature map）。

⑷ 獲取要分類(lèi)的目標(biāo)：利用softmax對(duì)proposals 進(jìn)行具體類(lèi)別的分類(lèi)，利用邊框回歸獲得物體的精確位置。

Faster-RCNN的RPN框架利用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)，充分利用了feather maps的價(jià)值，與selective search的滑動(dòng)窗口選擇的方法相比，效率更高。通過(guò)xml_to_csv.py文件和generate_tfrecord.py文件將標(biāo)注格式xml文件修改成TensorFlow的標(biāo)準(zhǔn)格式.tfrecord。并標(biāo)記訓(xùn)練的目標(biāo)標(biāo)記名，搭建好網(wǎng)絡(luò)環(huán)境后開(kāi)始進(jìn)行訓(xùn)練。本次實(shí)驗(yàn)訓(xùn)練迭代80k步，在數(shù)據(jù)訓(xùn)練中采用了斷點(diǎn)訓(xùn)練。圖9顯示訓(xùn)練30k過(guò)程中的loss值變化，波動(dòng)較大且訓(xùn)練效果不佳，圖10顯示訓(xùn)練80k的過(guò)程變化，呈趨于平穩(wěn)的趨勢(shì)。

2.4 模型評(píng)估

訓(xùn)練結(jié)束后，在測(cè)試集里選取圖像進(jìn)行實(shí)驗(yàn)檢測(cè)。本文針對(duì)兩種研究方法進(jìn)行了大量的數(shù)據(jù)對(duì)比，表1為選取的8張圖像的對(duì)比數(shù)據(jù)。相同的圖像用兩種方法得出的效果數(shù)據(jù)。其中有6幅圖像有不同程度的遮擋、重果現(xiàn)象，其余兩幅圖上的橘子沒(méi)有遮擋及重果現(xiàn)象。這些數(shù)據(jù)表明，傳統(tǒng)方法在增強(qiáng)預(yù)處理且無(wú)遮擋的情況下，對(duì)于模糊的目標(biāo)識(shí)別包括小目標(biāo)的識(shí)別效果比深度學(xué)習(xí)處理效果更好，但深度學(xué)習(xí)對(duì)遮擋、重果問(wèn)題更友好，這是自然條件下摘取果實(shí)面臨的挑戰(zhàn)之一。在處理中，我們可適當(dāng)?shù)丶哟髮?duì)圖像的預(yù)處理強(qiáng)度，與傳統(tǒng)算法融合運(yùn)用。

表1中：numbers為圖像中的果實(shí)數(shù)量，numbers1為利用傳統(tǒng)算法識(shí)別的數(shù)量;numbers2為利用Faster-RCNN算法識(shí)別的數(shù)量;covered為圖像中是否有遮擋、重果現(xiàn)象。T表示有遮擋及重果，F(xiàn)則表示圖像中目標(biāo)無(wú)遮擋、重果現(xiàn)象。

3 結(jié)束語(yǔ)

傳統(tǒng)的圖像識(shí)別算法已研究多年，但依賴(lài)于特定的應(yīng)用場(chǎng)景，需要手動(dòng)調(diào)參，泛化能力及魯棒性較差，對(duì)于采橘機(jī)器人，無(wú)法滿(mǎn)足自然條件下的采摘作業(yè)任務(wù)，不能滿(mǎn)足實(shí)際需求。隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)作為人工智能重要的研究方向 通過(guò)對(duì)圖像數(shù)據(jù)的學(xué)習(xí)，自主的發(fā)現(xiàn)圖像的特征，成為廣泛研究的對(duì)象。文中利用Faster-RCNN訓(xùn)練，對(duì)于枝葉遮擋、重果處理較好。相較于傳統(tǒng)的識(shí)別效果，識(shí)別率提升了26%。但對(duì)于小目標(biāo)的識(shí)別效果不佳，需加強(qiáng)學(xué)習(xí)。本文的實(shí)驗(yàn)數(shù)據(jù)與迭代次數(shù)太少，需進(jìn)行完善。根據(jù)大量的實(shí)驗(yàn)數(shù)據(jù)對(duì)比，對(duì)于自然場(chǎng)景下的采摘機(jī)器人目標(biāo)識(shí)別應(yīng)用深度學(xué)習(xí)的算法效果更好。

參考文獻(xiàn)（References）：

[1] 王偉斌.采摘機(jī)器人目標(biāo)識(shí)別及定位研究[D].西安理工大學(xué)碩士學(xué)位論文，2017.

[2] 張鐵中，楊麗，陳兵旗，張賓.農(nóng)業(yè)機(jī)器人技術(shù)研究進(jìn)展[J].中國(guó)科學(xué)：信息科學(xué)，2010.40（S1）：71-87

[3] 李揚(yáng).基于雙目視覺(jué)的柑橘采摘機(jī)器人目標(biāo)識(shí)別及定位技術(shù)研究[D].重慶理工大學(xué)碩士學(xué)位論文，2017.

[4] 王立豪.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)研究與實(shí)現(xiàn)[D].西安電子科技大學(xué)碩士學(xué)位論文，2019.

[5] Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[C].International Conference on Neural Information Processing Systems.Curran Associates Inc.2012.

[6] 饒倩，文紅，喻文等.基于超像素的人工神經(jīng)網(wǎng)絡(luò)圖像分類(lèi)[J].計(jì)算機(jī)與現(xiàn)代化，2013.12：98-101，105

[7] 唐亞陽(yáng)，劉宇.中國(guó)網(wǎng)絡(luò)文化20年研究綜述[J].湖南大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014.28（5）：131-135

[8] 楊家啟.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別[D].哈爾濱工程大學(xué)碩士學(xué)位論文，2019.

[9] 呂繼東.蘋(píng)果采摘機(jī)器人視覺(jué)測(cè)量與避障控制研究[D].江蘇大學(xué)碩士學(xué)位論文，2012.

[10] 夏雪，丘耘，王健等.果園環(huán)境下蘋(píng)果偵測(cè)與定位方法研究現(xiàn)狀與展望[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2017.19（2）：65-74

[11] 賈偉寬.基于智能優(yōu)化的蘋(píng)果采摘機(jī)器人目標(biāo)識(shí)別研究[D].江蘇大學(xué)碩士學(xué)位論文，2016.

[12] Bengio Y， Courville A， Vincent P. Representation learning：A review and new perspectives[J].Pattern Analysis and Machine Intelligence， IEEE Transactions on，2013.35（8）：1798-1828

[13] 曹燕，李歡，王天寶.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法研究綜述[J].計(jì)算機(jī)與現(xiàn)代化，2020.5：63-69

收稿日期：2020-08-10

作者簡(jiǎn)介：任會(huì)（1994-），女，江蘇連云港市人，中南林業(yè)科技大學(xué)2018級(jí)碩士研究生，主要研究方向：圖像處理，目標(biāo)識(shí)別。