基于激光視覺的智能識別蘋果采摘機器人設計

張　賓，宿敬肖，張微微，鄧明華，汪小志

(1.河北工程技術學院，石家莊　050091；2.武漢工商學院 信息工程學院，武漢　430200；3.武漢理工大學 物流工程學院，武漢　430063)

?

基于激光視覺的智能識別蘋果采摘機器人設計

張賓1，宿敬肖1，張微微1，鄧明華2，汪小志3

(1.河北工程技術學院，石家莊050091；2.武漢工商學院 信息工程學院，武漢430200；3.武漢理工大學 物流工程學院，武漢430063)

摘要：為了提高蘋果采摘視覺識別系統(tǒng)的精度，增強視覺系統(tǒng)的抗干擾能力和自適應能力，設計了一種新的蘋果采摘機器人激光視覺識別系統(tǒng)，可以直接獲得層次關系的深度圖像，實現(xiàn)了果園非結構化環(huán)境中果實的識別與定位。為了測試激光識別系統(tǒng)蘋果采摘機器人的采摘效果，在果園中對其采摘性能進行了測試：首先采用高清相機完成了對果實圖像的采集，通過圖像處理準確地實現(xiàn)了蘋果的識別，在遮擋率低于50%時其識別率達到了90%以上；然后利用激光測距方法對蘋果進行距離測量，成功定位了果實位置，其響應時間僅為3.58s，動作效率快，實現(xiàn)了蘋果的高效率、高精度采摘功能。

關鍵詞：采摘機器人；視覺識別；抗干擾性；自適應性；激光掃描

0引言

機器視覺技術打破了傳統(tǒng)的機器人定位方式，通過計算機來模擬人的視覺功能，從客觀事物上提取有用的視覺信息，并利用邏輯判斷手段對信息進行加工處理，最后完成目標的定位功能。農(nóng)業(yè)機器人的作業(yè)對象為有機生物體，其作業(yè)過程受作業(yè)環(huán)境和作業(yè)對象的影響比較大，即便是對于同種作物，其作業(yè)對象也是千差萬別，因此采用機器視覺技術，可以有效地提高作業(yè)效率和作業(yè)精度。農(nóng)作物自動采摘機器人的視覺識別技術是近年來最熱門的研究課題之一，其工作原理是在收獲機器人上裝備視覺系統(tǒng)，通過采集田間和樹上的作物圖像，并利用圖像分析和識別方法來定位作業(yè)目標，引導機械手完成采摘動作。采集機器人在發(fā)達國家已經(jīng)取得了較大的進展，但在我國還處于初始階段，采用機器視覺方法對機器人進行研究具有重要的意義。

1果實識別視覺系統(tǒng)總體設計

在視覺識別系統(tǒng)中有兩種主要的方式，其中主要包括被動成像方法和主動成像方法。被動成像方法一般是利用相機獲取周圍環(huán)境的反射圖像，而主動成像方法是利用光學投射器，將光束投射到目標表面，通過感光器件完成成像，可以高精度的獲取距離信息。激光測距儀是利用激光對目標的距離進行準確測定的儀器，通過激光速度和計時來完成距離的準確測量，本文利用激光測距儀和高清相機來完成蘋果果實的定位， 其總體設計框架如圖1所示。

圖1　激光蘋果采摘定位系統(tǒng)總體設計框架

圖1中，主要采用的設備是激光掃描測距儀和高清相機。其中，激光掃描測距儀完成果實的測距功能，高清相機完成圖像的采集功能，動作執(zhí)行機構為PLC單片機，其基本動作過程如圖2所示。

采摘時，首先采用高清相機對果實圖像進行采集，然后利用圖像處理技術對果實進行識別，成功完成果實識別后利用激光測距儀對果實進行距離測量。當距離在采摘范圍內(nèi)時，執(zhí)行對果實的采摘動作；當距離未在采摘范圍內(nèi)時，繼續(xù)對距離進行測量，直到距離滿足采摘機械手的采摘距離，執(zhí)行對果實的采摘動作。

2激光測距和果實定位控制系統(tǒng)設計

為了實現(xiàn)果實的精確測距和定位控制功能，使用激光掃描儀對果實距離進行識別，激光掃描儀在直線運動時可以采集多組點對點的距離值和角度。設滑臺的初始位置是原點，假設遠離原點的為X*軸的正方向，滑軌的垂直上方為Y*軸的正方向，垂直X*Y*指向目標場景表示Z*軸的正方向，建立激光三維視覺系統(tǒng)坐標系如圖3所示。

圖2　果實定位采摘流程圖

圖3　激光三維視覺系統(tǒng)坐標系

圖3中，當該點位移激光掃描序列的前半部分時，i在0～201范圍內(nèi)，則

(1)

當該點位移激光掃描序列的中間部分時，i在201時，則

(2)

當該點位移激光掃描序列的后半部分時，i在201～401范圍內(nèi)，則

(3)

其中，i表示掃描的序列號，其值范圍為1～401；D表示掃描的深度值；L表示掃描對應的水平位移。

根據(jù)蘋果掃描的坐標，可以定位蘋果的具體位置。蘋果采摘機器人激光視覺系統(tǒng)主要由3部分組成，包括數(shù)據(jù)和圖像采集、數(shù)據(jù)和圖像處理及運動控制3部分，其設計框架如圖4所示。

圖4　激光掃描視覺系統(tǒng)設計框架

圖4中，數(shù)據(jù)采集部分使用激光掃描儀進行測距，運動控制部分包括步進電機、PLC單片機及電動機驅(qū)動等。步進電機的參數(shù)如表1所示。

表1步進電機參數(shù)表

Table 1The parameter list of stepping motor

項目參數(shù)項目參數(shù)相數(shù)3步矩角/(°)0.05靜態(tài)電流/A8相電阻/Ω1.5相電感/mH6.6保持轉矩/N·m8定位轉矩/N·m0.6電壓/VDC20～80

表1中,步進電機的主要類型有3種，包括反應式、永磁式和混合式。步進電機的控制主要根據(jù)激光測距后，使用脈沖信號進行控制。激光掃描儀的結構如圖5所示。

其測量原理是基于脈沖時間的，其光速已知，根據(jù)發(fā)射和接受到信號的時間，可以準確地測量出距離目標的距離。為了提高測量范圍，通過如圖6所示的方式進行測量。

圖5　激光掃描儀結構圖

圖6　激光掃描測距方式圖

為了擴大掃描面積，利用旋轉鏡改變?nèi)肷涔獾慕嵌?，可以完成位移如圖6所示扇形面積內(nèi)的激光掃描。激光測距完成后，需要根據(jù)距離對果實進行采摘，其具體流程如圖7所示。

圖7　果實采摘電機控制過程流程圖

電機采摘控制的過程中，使用步進電機可以將電脈沖信號轉換為相應的角或者線位移信號。其中，移動速度和終止位置可以由脈沖激勵信號的頻率和脈沖數(shù)來控制：當測距數(shù)值在滿足采摘范圍內(nèi)時，步進電機停止運動，通過機械手來完成采摘任務；當測距在采摘范圍外時，步進電機繼續(xù)運動，直到在采摘范圍內(nèi)停止。

3激光視覺系統(tǒng)采摘機器人蘋果采摘測試

為了驗證設計的激光視覺系統(tǒng)采摘機器人采摘性能，在果園對蘋果采摘機器人進行了測試，測試項目主要包括蘋果圖像的采集、處理、定位，激光測距位置定位響應等。測試場景如圖8所示。

圖8　機器人蘋果采摘實驗

圖8左圖表示機器人的激光視覺和圖像采集系統(tǒng)，右圖表示蘋果采摘機械手。利用圖像采集系統(tǒng)對蘋果圖像進行采集，通過圖像處理得到的灰度測試曲線如圖9所示。

圖9　灰度值測試結果

由圖9可以看出：果實區(qū)的灰度頻率值和普通區(qū)存在明顯的不同，因此可以有效地識別蘋果的果實區(qū)域，通過測試得到的用時如表2所示。

表2　圖像處理用時表

由表2可以看出：圖像處理的各個環(huán)節(jié)用時都比較低，說明系統(tǒng)的處理速度迅速、響應速度高，可以有效完成圖像的識別過程。其果實識別標記結果如圖10所示。

由圖10可以看出：在進行圖像處理之后，可以有效地完成圖像特征點的提取，為果實的初始定位提高數(shù)據(jù)準備。通過計算最終得到的果實識別結果如表3所示。

圖10　果實識別標記示意圖

%

通過圖像處理準確地實現(xiàn)了蘋果的識別。由表3可知：在識別率在遮擋率低于50%時達到了90%以上；在遮擋面積為50%以上時，識別率達到了80%以上，準確識別率較高。

對蘋果進行初始定位后利用激光測距方法對蘋果進行距離測量，如圖11所示。通過距離測量成功定位了果實精確位置，其響應時間僅為3.58s，動作效率快、精度高，滿足了高精度采摘的需求。

圖11　果實定位響應曲線

4結論

1)依據(jù)激光測距原理，結合圖像采集和處理技術，采用步進電機和PLC單片機設計了蘋果采摘機器人激光視覺識別系統(tǒng)，大大提高了蘋果采摘機器人對蘋果的識別率和作業(yè)效率。

2)建立了蘋果激光測距的三維坐標系，使用扇形掃描的方式設計了激光掃描的方式，提高了有效測量面積，對步進電機的參數(shù)進行了合理的選擇，并對機器人采集流程進行了詳細設計。

3)通過測試發(fā)現(xiàn)：激光視覺識別系統(tǒng)可以有效地識別蘋果的圖像，并可利用激光測距精確的完成評估定位。其中，圖像準確識別率在遮擋率低于50%時達到了90%以上，激光掃描儀精確定位響應時間僅為3.58s，動作效率快，滿足了蘋果高精度采摘的設計需求，為蘋果采摘機器人的研究提供了較有價值的參考。

參考文獻：

[1]周俊,趙高陽,劉銳,等.基于粒子濾波的蘋果采摘機器人目標姿態(tài)估算[J].農(nóng)業(yè)機械學報,2011,42(3): 161-165.

[2]曾碧,楊宜民. 動態(tài)環(huán)境下基于蟻群算法的實時路徑規(guī)劃方法[J].計算機應用研究, 2010,27(3):860- 863.

[3]席裕庚. 動態(tài)不確定環(huán)境下廣義控制問題的預測控制. 控制理論與應用, 2007, 17 (5) : 665- 670.

[4]仲朝亮,劉士榮. 基于虛擬子目標的移動機器人主動尋徑導航[J].機器人, 2009,31(6): 548- 555.

[5]戚繼忠,王自強.基于 ARM7TDMI 實現(xiàn) CF 卡存儲的文件系統(tǒng)設計[J].微處理機,2007(1):114-115.

[6]秦培龍,李國,李艷紅.基于 S3C44B0X 的 Bootloader 設計與實現(xiàn)[J].微計算機信息,2008(2):153-155.

[7]謝志勇,張鐵中,趙金英.基于 Hough 變換的成熟草莓識別技術[J].農(nóng)業(yè)機械學報,2007,38(3):106-109.

[8]王東,趙宇,王秀紅.一種改進的DFT迭代的MIMO- OFDM系統(tǒng)信道估計算法[J].應用科技，2009(3): 19-22.

[9]徐文穎,張靜,董建萍.導頻信道估計中的插值算法[J].上海師范大學學報,2007,12(6):41-46.

[10]張鐵中,楊麗,陳兵旗,等.農(nóng)業(yè)機器人技術研究進展[J].中國科學:信息科技,2010,40(S1):71-87.

[11]畢坤,趙馨,侯睿鋒,等.機器人技術在農(nóng)業(yè)中的應用方向和發(fā)展趨勢[J].中國農(nóng)學通報,2011(27):469- 473.

[12]周俊,劉銳,張高陽.基于立體視覺的水果采摘機器人系統(tǒng)設計[J].農(nóng)業(yè)機械學報,2010,41(6):158-162.

[13]宋健,孫學巖,張鐵中,等.開放式茄子采摘機器人設計與試驗[J].農(nóng)業(yè)機械學報,2009,40(1):143-147.

[14]趙慶波,趙德安,姬偉,等.采摘機器人視覺伺服控制系統(tǒng)[J].農(nóng)業(yè)機械學報,2009,40(1):152-156.

[15]段瑞玲,李慶祥,李玉和.圖像邊緣檢測方法研究綜述[J].光學技術,2005(3):415-419.

[16]番茄采摘機器人末端執(zhí)行器的硬件設計[J]. 農(nóng)業(yè)機械學報, 2008, 39 (3) : 109-112.

[17]蔣煥煜,彭永石,申川，等.基于雙目立體視覺技術的成熟番茄識別與定位[J].農(nóng)業(yè)工程學報，2008, 24(8):279-283.

[18]蔡健榮,李玉良,范軍，等.成熟柑橘的圖像識別及空間定位研究[J].微計算機信息，2007, 23(12-1): 224-225.

[19]司永勝,喬軍,劉剛，等.基于機器視覺的蘋果識別和形狀特征提取[J].農(nóng)業(yè)機械學報，2009, 40(8):208-213.

[20]吳修文,馮曉霞,孫康嶺,等.農(nóng)用機器人導航電子地圖的研究[J]. 農(nóng)業(yè)裝備與車輛工程,2010(3):40-42.

[21]謝志勇,張鐵中.基于 RGB 彩色模型的草莓圖像色調(diào)分割算法[J].中國農(nóng)業(yè)大學學報,2006,11(1): 84-86.

[22]祖迪,韓建達,談大龍.動態(tài)多障礙物環(huán)境下目標追蹤的路徑規(guī)劃方法[J].高技術通訊,2006,12(2): 136-142.

[23]趙鵬,趙德安.雙目立體視覺在果樹采摘機器人中的應用[J].農(nóng)機化研究,2009,31(1):212-214.

[24]彭熙偉,陳建萍.液壓技術的發(fā)展動向[J].液壓與氣動,2007(3):1-4.

[25]黃興.液壓傳動技術發(fā)展動態(tài)[J].裝備制造技術,2006(1):36-39.

[26]曹玉寶.液壓傳動技術在聯(lián)合收割機中的應用拖拉機與農(nóng)用運輸車,2008(4):4-5.

Design for Apple-picking Robot of Intelligent Recognition Based on Laser Vision Zhang Bin

1, Su Jingxiao1, Zhang Weiwei1, Deng Minghua2, Wang Xiaozhi3

(1.Hebei Polytechnic Institute, Shijiazhuang 050091, China; 2.School of Information Engineering,Wuhan Technology and Business University,Wuhan 430200, China;3.School of Logistics Engineering, Wuhan University of Technology, Wuhan 430063, China)

Abstract：In order to improve apple-picking accuracy of visual identification system, enhance anti-interference ability and adaptive ability of visual system,it designs a new apple-picking robot with laser vision recognition system,which can direct access to the depth image of the relationship.It can realize the identification and localization of the unstructured environment of orchard fruit.In order to test laser identification system of apple-picking robot in the orchard of the picking performance were tested. First of all, the high-definition camera completed the acquisition of fruit image, accurate implementation of the recognition of Apple by image processing, the recognition rate in shielding rate of less than 50% to more than 90%.Then the laser ranging method to measure the distance of apple and the successful positioning of the fruit position, its response time is only 3.58s and fast operation efficiency,which realize the function of picking apples with high efficiency and accuracy.

Key words：picking robot; visual recognition; anti jamming; adaptive; laser scanning

文章編號：1003-188X(2016)07-0060-05

中圖分類號：S225.93;TP242

文獻標識碼：A

作者簡介：張賓(1978-)，男，河北保定人，講師，碩士。通訊作者：鄧明華(1981-)，女，湖北恩施人，講師，碩士，(E-mail)dengminghua1981@163.com。

基金項目：湖北省自然科學基金項目(2014CFB322)；現(xiàn)代物流與商務湖北省協(xié)同創(chuàng)新項目(2011A201313)

收稿日期：2015-07-01