視覺(jué)傳感器在采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)中的應(yīng)用

樊艷英，張自敏，陳冠萍，李碧青

(賀州學(xué)院，廣西 賀州 542899)

0 引言

在區(qū)塊鏈農(nóng)業(yè)平臺(tái)的推進(jìn)下，我國(guó)智慧農(nóng)業(yè)的潛在市場(chǎng)價(jià)值逐漸加大，在新型農(nóng)業(yè)生產(chǎn)模式的發(fā)展下，農(nóng)業(yè)機(jī)器人必將得到廣泛的發(fā)展。農(nóng)業(yè)機(jī)器人是一種新型的生產(chǎn)工具，是自動(dòng)化技術(shù)與農(nóng)業(yè)生產(chǎn)深度融合發(fā)展的產(chǎn)物。采摘機(jī)器人是農(nóng)業(yè)機(jī)器人中重要的一類，對(duì)我國(guó)未來(lái)水果產(chǎn)業(yè)發(fā)展具有重要意義。本文在對(duì)雙目視覺(jué)系統(tǒng)和攝像機(jī)標(biāo)定模型的研究中，設(shè)計(jì)了一套基于視覺(jué)傳感器的采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)，實(shí)現(xiàn)了目標(biāo)果實(shí)的識(shí)別與定位。

1 采摘機(jī)器人總體設(shè)計(jì)

本文研究的基于視覺(jué)傳感器的采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)服務(wù)于水果采摘機(jī)器人，而采摘機(jī)器人的核心功能是實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的采摘。采摘機(jī)器人作業(yè)過(guò)程：首先由CCD雙目攝像機(jī)獲取目標(biāo)果實(shí)的圖像信息，通過(guò)圖像處理系統(tǒng)對(duì)圖像的處理，實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的識(shí)別和定位，獲取目標(biāo)果實(shí)的三維坐標(biāo)信息；然后控制系統(tǒng)根據(jù)目標(biāo)果實(shí)的三維坐標(biāo)信息，驅(qū)動(dòng)伺服電機(jī)控制末端執(zhí)行器的運(yùn)動(dòng)；最后，通過(guò)控制系統(tǒng)和末端執(zhí)行器的配合，實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的采摘作業(yè)。該機(jī)器人主要由主控制部分、傳感器組件、車聲載體、主臂、大臂輔助組件、大臂組件、伺服電機(jī)、小臂組件、CCD攝像機(jī)和末端執(zhí)行器等組成，如圖1所示。

1. 傳感器組件 2.主控制部分 3.車聲載體 4.主臂 5.大臂輔助組件 6.大臂組件 7.伺服電機(jī) 8.小臂組件 9.CCD攝像機(jī) 10.末端執(zhí)行器

1.1 系統(tǒng)硬件設(shè)計(jì)

采摘機(jī)器人的機(jī)械部分只是一個(gè)平臺(tái)，要想實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的采摘，還需要搭載以控制系統(tǒng)為核心的電路平臺(tái)。該采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)以主控制部分為核心，通過(guò)視覺(jué)傳感器獲取圖像信息，由圖像處理軟件對(duì)圖像信息進(jìn)行處理，實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的三維定位，進(jìn)而實(shí)現(xiàn)采摘作業(yè)。采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)示意圖如圖2所示。

為了實(shí)現(xiàn)末端執(zhí)行器對(duì)目標(biāo)果實(shí)的準(zhǔn)確采摘，設(shè)計(jì)了機(jī)械臂控制系統(tǒng)，通過(guò)主控制器和伺服驅(qū)動(dòng)的配合，實(shí)現(xiàn)對(duì)果實(shí)的成功采摘。本文采用DSP為核心處理器，采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)主要包括DSP控制器、視覺(jué)系統(tǒng)、機(jī)械臂、末端執(zhí)行器、上位機(jī)和移動(dòng)裝置等6部分，如圖3所示。

圖2 采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)示意圖

圖3 目標(biāo)果實(shí)識(shí)別系統(tǒng)電路控制框架圖

1.2 系統(tǒng)軟件設(shè)計(jì)

本文采用上位機(jī)實(shí)現(xiàn)對(duì)采摘機(jī)器人的遠(yuǎn)程控制，主要是控制機(jī)器人實(shí)現(xiàn)對(duì)目標(biāo)果實(shí)的采摘。上位機(jī)軟件是基于QT環(huán)境開(kāi)發(fā)搭建的，其軟件作業(yè)流程如圖4所示，主界面如圖5所示。

2 機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)

采摘機(jī)器人視覺(jué)系統(tǒng)主要包括目標(biāo)果實(shí)識(shí)別和三維坐標(biāo)定位兩部分。本文采用維視數(shù)字圖像技術(shù)有限公司的MV-EM系列小型千兆網(wǎng)CCD相機(jī)作為視覺(jué)傳感器，并結(jié)合QT開(kāi)發(fā)的上位機(jī)進(jìn)行圖像處理。采摘機(jī)器人視覺(jué)系統(tǒng)工作框架如圖6所示。

視覺(jué)系統(tǒng)是采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)的核心，視覺(jué)系統(tǒng)包括CCD相機(jī)和圖像處理模塊。系統(tǒng)通過(guò)雙CCD相機(jī)獲取果實(shí)圖像信息，圖像處理模塊計(jì)算得到目標(biāo)果實(shí)的數(shù)量、三維坐標(biāo)，然后驅(qū)動(dòng)控制末端執(zhí)行器根據(jù)坐標(biāo)進(jìn)行采摘。

圖4 智能采摘機(jī)器人系統(tǒng)軟件流程示意圖

圖5 上位機(jī)主界面圖

圖6 采摘機(jī)器人視覺(jué)系統(tǒng)工作框架圖

3 攝像機(jī)標(biāo)定模型及目標(biāo)果實(shí)識(shí)別定位

3.1 攝像機(jī)標(biāo)定模型

攝像機(jī)通過(guò)成像透鏡將三維場(chǎng)景投影到攝像機(jī)二維平面上，這個(gè)投影可用成像變換來(lái)描述。攝像機(jī)成像模型分為線性模型和非線性模型。針孔成像模型就是線性模型中的一種，本文在攝像機(jī)標(biāo)定模型的分析中，采用線性模型進(jìn)行討論，某空間點(diǎn)與其圖像投影點(diǎn)在各種坐標(biāo)系下的坐標(biāo)變換關(guān)系。三維空間物體成像模型如圖7所示。

圖7 三維圖像成像模型圖

該模型建立了4個(gè)不同層次的坐標(biāo)系：

1)確定攝像機(jī)坐標(biāo)系OCXCYCZC；

2)建立參考世界坐標(biāo)系(XW,YW,ZW)；

3)確定以(x,y,z)的成像平面坐標(biāo)系；

4)u-o-v為以像素為單位的圖像坐標(biāo)系。

圖像和像素之間(u,v)之間的齊次坐標(biāo)轉(zhuǎn)換為

(1)

其中，u0、v0是圖像中心坐標(biāo)；du、dv是一個(gè)像素在x與y軸上的物理尺寸；s為光軸與坐標(biāo)系之間的傾斜因子。

由此可以得到物點(diǎn)P與圖像像素坐標(biāo)系中的像點(diǎn)p的變換關(guān)系

(2)

其中，fx=fsx，fy=fsy分別為在x、y上的等效焦距。根據(jù)小孔成像原理，齊次坐標(biāo)變換關(guān)系表示為

(3)

R=

(4)

T=(tx,ty,tz)T

(5)

其中，ψ為側(cè)傾角；θ為俯仰角；φ為旋轉(zhuǎn)角；向量R為正交旋轉(zhuǎn)矩陣；向量T=[tx,ty,tz]T為世界坐標(biāo)系原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。

3.2 目標(biāo)果實(shí)識(shí)別定位

在很多哺乳動(dòng)物如獅子、老虎、豹子等，它們兩眼存在一點(diǎn)的距離，因此雙眼的視野存在一定的差異性，通過(guò)雙眼捕捉環(huán)境圖像信息，便能夠根據(jù)視覺(jué)差異對(duì)目標(biāo)物體的位置進(jìn)行定位。雙目視覺(jué)獲取目標(biāo)果實(shí)三維信息與這些哺乳動(dòng)物獲取深度信息相近，都在某一時(shí)刻，雙相機(jī)獲得目標(biāo)物體圖像，然后通過(guò)視差進(jìn)行深度信息的計(jì)算。雙目視覺(jué)系統(tǒng)的原理就是通過(guò)雙CCD攝像機(jī)同時(shí)對(duì)目標(biāo)圖像進(jìn)行拍照，得到兩幅具有差別的圖像信息，然后根據(jù)視差原理重建物體三維模型，計(jì)算物體的三維信息。雙目視覺(jué)定位原理示意如圖8所示。

圖8 雙目視覺(jué)定位原理示意圖

在定位識(shí)別過(guò)程中，設(shè)兩個(gè)CCD圖像傳感器參數(shù)相同，在某一時(shí)刻分別獲得被測(cè)物體P(x,y,z)的圖像坐標(biāo)為pl(ul,ul)，pr(ur,ur)。由于兩CCD相機(jī)安裝高度相同，因此點(diǎn)P在左右圖像中的存在Yl=Yr=Y。兩CCD相機(jī)中心點(diǎn)之間的距離為d，焦距為f，根據(jù)三角幾何原理可得

(6)

轉(zhuǎn)換后可以計(jì)算出P的三維坐標(biāo)，即

(7)

本文攝像機(jī)標(biāo)定中，d=56mm，f為1 268個(gè)像素，帶入式(7)，即可得到P的三維坐標(biāo)。

4 試驗(yàn)結(jié)果分析

為了驗(yàn)證采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)的可行性和準(zhǔn)確性，于2017年11月18日下午16:00，在某蘋果種植園，對(duì)成熟蘋果進(jìn)行了目標(biāo)識(shí)別及采摘試驗(yàn)。為了讓試驗(yàn)正常進(jìn)行，在試驗(yàn)前，對(duì)遮擋比較嚴(yán)重的果實(shí)進(jìn)行了一定的整理，分為向光和背光兩輪開(kāi)展。目標(biāo)果實(shí)的定位試驗(yàn)結(jié)果如表1所示。采摘結(jié)果如表2所示。

表1 目標(biāo)果實(shí)的定位試驗(yàn)結(jié)果

表2 采摘實(shí)驗(yàn)結(jié)果

由表1和表2可以看出：在采摘試驗(yàn)中，無(wú)論是向光或背光，采摘機(jī)器人對(duì)目標(biāo)果實(shí)的半徑和距離識(shí)別都較準(zhǔn)確，單果的果實(shí)半徑誤差在6mm以內(nèi)，距離誤差在8mm以內(nèi)，能夠滿足采摘機(jī)器人對(duì)蘋果采摘的容差率。試驗(yàn)結(jié)果表明：采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)的識(shí)別定位誤差在8mm以內(nèi)，識(shí)別成功率在89%以上，定位成功率在88%以上，成功采摘率在96%以上，系統(tǒng)精度高，采摘效果良好。

5 結(jié)論

針對(duì)采摘機(jī)器人作業(yè)特性，基于雙視覺(jué)傳感器，設(shè)計(jì)和研究了一套采摘機(jī)器人目標(biāo)果實(shí)識(shí)別系統(tǒng)。該系統(tǒng)搭建了雙目立體視覺(jué)系統(tǒng)，融合了圖像處理與自動(dòng)化控制技術(shù)，實(shí)現(xiàn)了對(duì)目標(biāo)果實(shí)的識(shí)別和定位功能，能夠成功對(duì)目標(biāo)果實(shí)進(jìn)行采摘作業(yè)。試驗(yàn)結(jié)果表明：該目標(biāo)果實(shí)識(shí)別系統(tǒng)的識(shí)別定位誤差在8mm以內(nèi)，成功采摘率在96%以上，系統(tǒng)精度高，采摘效果良好，對(duì)實(shí)現(xiàn)水果采摘的自動(dòng)化、無(wú)人化具有重要現(xiàn)實(shí)意義。