基于圖像處理的果園圓形落果拾取機(jī)器人設(shè)計(jì)

李雄，曾世亨，諶文，何志鵬，李小敏

（仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510550）

0 引言

隨著水果消費(fèi)的大幅增加，果園種植面積逐年擴(kuò)大。盡管果樹栽培技術(shù)不斷提高、水果產(chǎn)量大幅，然而仍然存在大量水果因生長(zhǎng)機(jī)理或不能及時(shí)采摘造成大量落果現(xiàn)象。大量落果以球形和圓形位置。一方面，病變落果如果不及時(shí)處理，植株容易染上蟲害和病害，導(dǎo)致果實(shí)質(zhì)量的良莠不齊。另一方面，落果拾取不及時(shí)，會(huì)嚴(yán)重影響果園產(chǎn)出和落果回收的經(jīng)濟(jì)價(jià)值［1］。目前落果的拾取主要依靠人力，存在勞動(dòng)強(qiáng)度大、工作環(huán)境差、自動(dòng)化和智能化水平低等現(xiàn)狀，亟需開展果園落果相關(guān)研究［2］。因此，開發(fā)設(shè)計(jì)一款自動(dòng)落果拾取機(jī)器人對(duì)于果園的智能化管理具有重要意義。

目前，落果拾取研究層面取得一定的進(jìn)展。姜焰鳴等人［3］發(fā)明一種提供了人力推動(dòng)裝配齒牙的滾筒將荔枝和雜物扎進(jìn)齒牙后再脫離存放的荔枝落果拾果機(jī)。史高昆等人［4］，針對(duì)大規(guī)模種植園依托氣囊式吸果機(jī)和滾筒式掃果機(jī)，利用風(fēng)機(jī)產(chǎn)生氣壓差將地面雜物和落棗吸起設(shè)計(jì)了一種氣吸式紅棗收獲機(jī)。馮冰等人［5］利用圓盤毛刷將落地水果和雜物掃到傳送帶，研發(fā)了一種具有果實(shí)撿拾機(jī)構(gòu)的林果收獲機(jī)?，F(xiàn)有落果主要以圓形球形為主，鮮有針對(duì)圓形落果設(shè)計(jì)方法。當(dāng)前的落果拾取方案，一方面依托大型農(nóng)機(jī)將落果和雜物混雜在一起，容易破損落果果皮，使其發(fā)生變質(zhì)；另一方面，當(dāng)前方法大多還要依靠人工現(xiàn)場(chǎng)操作，自動(dòng)化和智能化水平較低。

針對(duì)現(xiàn)有落果拾取的研究現(xiàn)狀，基于對(duì)球形落果利于在機(jī)器裝置內(nèi)滾動(dòng)不易堆積使機(jī)器卡住的特點(diǎn)，本團(tuán)隊(duì)設(shè)計(jì)一種利用霍夫圓檢測(cè)圖像處理技術(shù)判別出球形落果的位置和使用自動(dòng)控制技術(shù)去靠近落果、利用自制的滾筒式收集裝置使落果脫離雜物后拾起、并分級(jí)存放落果的智能拾果機(jī)器人。該研究為智能化果園管理提供技術(shù)支持。

1 系統(tǒng)的總體設(shè)計(jì)

圖1為硬件系統(tǒng)的總體設(shè)計(jì)框圖，樹莓派主板通過對(duì)USB攝像頭云臺(tái)的舵機(jī)控制來獲取視頻信號(hào)，然后視頻信號(hào)經(jīng)WIFI模塊用USB數(shù)據(jù)線傳輸給樹莓派。樹莓派的linux操作系統(tǒng)分析和處理視頻信號(hào)，判斷出落果的位置和形狀，進(jìn)而將要拾起的落果的位置指令傳遞給PWR.A53.A電源板。電源板控制四輪電機(jī)［6］驅(qū)動(dòng)使機(jī)器人靠近落果，控制拾取裝置的直流力矩電機(jī)驅(qū)動(dòng)來拾起落果。落果通過分級(jí)存放裝置按大小分類存放。視頻信號(hào)可通過WIFI模塊上傳到手持終端或PC端，實(shí)現(xiàn)實(shí)時(shí)視頻傳輸。也可通過手持終端或PC端的配套軟件APP的視屏界面來控制攝像頭云臺(tái)舵機(jī)的轉(zhuǎn)動(dòng)、四輪電機(jī)驅(qū)動(dòng)和直流力矩電機(jī)驅(qū)動(dòng)，使機(jī)器人靠近并拾起落果。

圖1 硬件系統(tǒng)的總體設(shè)計(jì)框圖

2 基于圖像處理處理的落果拾取方法

2.1 霍夫梯度圖像檢測(cè)方法

霍夫變換檢測(cè)圓利用Canny算法找尋一幅圖像中灰度強(qiáng)度變化最強(qiáng)的梯度方向［7］。該設(shè)計(jì)基于OpenCV中的霍夫梯度算法的實(shí)現(xiàn)圓形落果檢測(cè)?；舴蛱荻人惴ň唧w實(shí)現(xiàn)原理如下，基于圖像中每個(gè)像素點(diǎn)的梯度可以由Sobel算子來獲得，分別求得沿水平（x）和垂直（y）方向的梯度G x和G y，再利用公式來求得每一個(gè)像素點(diǎn)的梯度幅值。Canny算法邊緣檢測(cè)后，得到邊界二值圖，效果如圖2、圖3所示。

圖2 待檢測(cè)的灰度圖

圖3 邊緣檢測(cè)后的邊界二值圖

為確定圓心，遍歷邊界二值圖中的非0點(diǎn)，沿著梯度方向和反方向畫線段。線段的起點(diǎn)和長(zhǎng)度由參數(shù)允許的半徑區(qū)間決定。

在邊界二值圖中任意沿著梯度方向和反方向畫的線段可以用公式（1）表達(dá)。

公式（1）中，a1,a x,…,a n是線段特征參數(shù)。如果將公式（1）中的特征參數(shù)與變量x、y調(diào)換，則公式（1）等價(jià)于

公式（2）說明，邊界二值圖中同一線段上的點(diǎn)通過公式變換，在平面坐標(biāo)系中映射為一點(diǎn)（x,y），該點(diǎn)由特征參數(shù)a1,a x,…,a n確定。因此，通過判斷平面坐標(biāo)系中各參數(shù)點(diǎn)的積累值，可以實(shí)現(xiàn)對(duì)邊界二值圖中沿著梯度方向和反方向畫的線段的描述。

已知圓的方程為(x-a)2+(y-b)2=r2，令(x i,y i)(i=1,2,3,…,n)為邊界二值圖中滿足圓周特性的點(diǎn)的集合，那么邊界二值圖中的點(diǎn)(x i,y i)在空間坐標(biāo)系中的方程為:

公式（3）在空間坐標(biāo)系中表示一個(gè)三維錐面。對(duì)于邊界二值圖中圓周上任意一點(diǎn)(x i,y i)可對(duì)應(yīng)于空間坐標(biāo)系中的一個(gè)三維錐面；對(duì)于邊界二值圖中滿足圓周特性的全部點(diǎn)對(duì)應(yīng)于空間坐標(biāo)系的一組圓錐面簇［8］，如圖4所示。

圖4 霍夫變換原理

為求出邊界二值圖中圓的圓心坐標(biāo)（a,b）及半徑r，可以建立一個(gè)三維累加器數(shù)組A(a,b,r)，根據(jù)公式（3），分別計(jì)算邊界二值圖中圓周上每一個(gè)非0點(diǎn)的(a,b,r)，并對(duì)其累加。通過比較各累加點(diǎn)A n(a,b,r)的累加值，選出最大值A(chǔ)max(a,b,r)，則該數(shù)組中的(a,b)就是邊界二值圖中所求圓周的圓心坐標(biāo)，r為半徑。

2.2 球形落果圖像識(shí)別方案的設(shè)計(jì)

USB攝像頭使用CMOS圖像傳感器對(duì)每一幀圖像進(jìn)行采集操作，同時(shí)將視頻信號(hào)借助WIFI模塊傳輸給手持終端或PC端。WiFi模塊收集到的視頻信號(hào)通過USB串口傳輸給樹莓派。在樹莓派硬件平臺(tái)上引入Linux操作系統(tǒng)和采用第三方庫(kù)OpenCV。預(yù)處理線程首先只提取YUV數(shù)據(jù)幀中的Y分量，生成圖像的灰度圖像［9］。采用OpenCV中的的霍夫梯度算法實(shí)現(xiàn)函數(shù)來檢測(cè)圓，讀取向量節(jié)點(diǎn)的數(shù)量來判斷圖像中是否存在圓形物體，假如數(shù)量是0，則調(diào)整攝像頭云臺(tái)的舵機(jī)角度再重新執(zhí)行程序，若數(shù)量不是0，表示圖像中存在圓形物體。若二值圖中某圓的圓周長(zhǎng)在預(yù)設(shè)的某種落果的圓周范圍內(nèi)，則保留該向量節(jié)點(diǎn)，否則刪除該向量節(jié)點(diǎn)，得到篩選后保留下落果的二值圖。若向量節(jié)點(diǎn)最終為0，則調(diào)整攝像頭云臺(tái)的舵機(jī)角度再重新執(zhí)行程序。落果識(shí)別程序流程圖如圖5所示。

圖5 落果識(shí)別程序流程圖

讀取篩選完圓向量節(jié)點(diǎn)數(shù)值，假如數(shù)值為1，則表明攝像頭圖像范圍內(nèi)只存在一個(gè)落果，接著樹莓派利用落果位置信息控制車輪轉(zhuǎn)向、靠近落果并將其拾起。假如數(shù)值大于1，則表明攝像頭圖像范圍內(nèi)存在多個(gè)落果。然后通過OpenCV提供了moments（）函數(shù)來計(jì)算圖像中圓的中心矩，將moments（）函數(shù)返回?cái)?shù)值作為該落果在二值圖中的質(zhì)心，根據(jù)質(zhì)心算出二值圖中各個(gè)落果的質(zhì)心到達(dá)最近的背景點(diǎn)的歐氏距離［10］，以歐氏距離最短的落果作為拾取對(duì)象。樹莓派再利用落果位置信息控制車輪轉(zhuǎn)向、靠近落果并將其拾起。

3 拾果裝置的機(jī)械結(jié)構(gòu)設(shè)計(jì)

如圖6所示，拾取裝置通過直流力矩電機(jī)的運(yùn)轉(zhuǎn)來帶動(dòng)滾筒拾起落果，直流力矩電機(jī)［11］具有在低速和堵轉(zhuǎn)下能產(chǎn)生大力矩而不損壞電機(jī)的優(yōu)點(diǎn)，能夠采挖半埋在地面的有一定高度的石頭，保證行進(jìn)路線的通暢。分級(jí)存放裝置采用對(duì)輥式尺寸分級(jí)結(jié)構(gòu)［12］，分級(jí)間隙的改變靠對(duì)輥之間的空間位置變化來改變，達(dá)到先小后大掉落落果并存放的目的。

圖6 智能拾果機(jī)器人模型與拾果裝置的簡(jiǎn)化模型

拾果裝置的簡(jiǎn)化模型如圖6所示，在理想條件下，R3、R4是同心圓，8等分的葉片L1、L2延長(zhǎng)線過圓心O，滾輪能夠推起的最大水果球圓半徑為rmax=，最小水果球圓半徑為rmin=R4-R2?？墒孪却_定所要拾球形落果的最大球圓半徑和最小球圓半徑來安裝拾取裝置的葉片位置，能極大的使落葉和樹枝等雜物不會(huì)連同落果一起被收集到。

4 結(jié)語(yǔ)

針對(duì)當(dāng)前落果拾取主要依靠人力、勞動(dòng)強(qiáng)度大、智能化化水平較低等現(xiàn)狀，研發(fā)了一種基于圖像處理的果園圓形落果拾取機(jī)器人。首先，依托樹莓派處理系統(tǒng)構(gòu)建了控制硬件和圖像獲取平臺(tái)。其次，基于霍夫梯度圖像檢測(cè)構(gòu)建了球形落果圓形信息獲取方法。最后，基于葉輪結(jié)構(gòu)設(shè)計(jì)了拾果機(jī)械裝置。該設(shè)計(jì)實(shí)現(xiàn)了落果的自動(dòng)化拾取，具有很強(qiáng)的實(shí)用性，為果園的智能化管理提供了必要技術(shù)支撐。