基于雙目視覺的并聯(lián)機(jī)械臂控制系統(tǒng)

劉富成 黃俊華

摘 要：本文提出一種基于雙目視覺的并聯(lián)機(jī)械臂控制系統(tǒng)，并聯(lián)機(jī)械臂為用于果實采摘的四桿型三自由度并聯(lián)機(jī)構(gòu)，其執(zhí)行末端為采摘口，通過固定在采摘口旁邊的雙目視覺來追蹤被采摘果實，采用深度學(xué)習(xí)的辦法精準(zhǔn)識別果實，將果實坐標(biāo)實時反饋至控制系統(tǒng)，通過將果實坐標(biāo)到機(jī)械臂轉(zhuǎn)角的解算，并聯(lián)機(jī)械臂可將采摘口逐漸靠近被采摘果實，最終完成工作。

關(guān)鍵詞：雙目視覺;并聯(lián)機(jī)械臂;深度學(xué)習(xí)

DOI：10.16640/j.cnki.37-1222/t.2019.20.110

0 引言

并聯(lián)機(jī)構(gòu)在機(jī)械領(lǐng)域有著廣泛的應(yīng)用，而農(nóng)業(yè)機(jī)械也是重要的發(fā)展分支，本文介紹了一種四桿型三自由度并聯(lián)機(jī)構(gòu)，在其控制中，被采摘果實的笛卡爾坐標(biāo)是控制并聯(lián)機(jī)械臂所需的重要參數(shù)，精準(zhǔn)識別果實并反饋笛卡爾坐標(biāo)有利于實現(xiàn)并聯(lián)機(jī)械臂的高性能控制。雙目視覺模仿人的雙眼，通過視差建立特征間的對應(yīng)關(guān)系，最終匹配還原出目標(biāo)空間三維立體信息，將其反饋至控制系統(tǒng)。

1 視覺識別系統(tǒng)

因為蘋果形狀和顏色的不規(guī)則性，僅通過簡單的單目彩色識別來識別的，識別精準(zhǔn)度和識別效率是遠(yuǎn)遠(yuǎn)不夠的;為提高蘋果采摘的效率和識別精準(zhǔn)度，我們采用深度學(xué)習(xí)的辦法利用卷積神經(jīng)網(wǎng)絡(luò)（cnn）來進(jìn)行對蘋果的精準(zhǔn)識別，卷積神經(jīng)網(wǎng)絡(luò)受視覺神經(jīng)機(jī)制的啟發(fā)而設(shè)計，是為識別二維或三維信號而設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、縮放、傾斜等變形具有高度不變性。

CNN可以用來識別位移、縮放及其他形式扭曲不變性的二維或三維圖像。CNN的特征提取層參數(shù)是通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到的，所以其避免了人工特征抽取，而是從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí);其次同一特征圖的神經(jīng)元共享權(quán)值，減少了網(wǎng)絡(luò)參數(shù)，這也是卷積網(wǎng)絡(luò)相對于全連接網(wǎng)絡(luò)的一大優(yōu)勢。

利用tensorflow搭建訓(xùn)練好的蘋果卷積神經(jīng)網(wǎng)絡(luò)后，然后利用opencv將圖像中的蘋果輪廓的重心坐標(biāo)Cx，Cy提取出來進(jìn)行下一步的空間定位。

2 雙目立體視覺空間定位

2.1 雙目立體視覺測量介紹

雙目成像的模型可看作是由兩個單目成像模型組合而成。在一般情況下，透鏡物距U>>焦距f，可得像距v近似為f，所以實用中可以用小孔成像模型來代替透鏡成像模型，利用雙目系統(tǒng)可以確定具有像平面坐標(biāo)點（Cx， Cy ）和（X2， Y2）的世界點W的坐標(biāo) （X， Y， Z），所以利用視覺識別系統(tǒng)得出來的蘋果得平面坐標(biāo)（Cx，Cy），然后利用雙目立體視覺便可得出蘋果的空間坐標(biāo)，然后并聯(lián)機(jī)器人實施吸取。

2.2 立體視覺測量方法

首先利用matlab雙目攝像頭標(biāo)定工具包，得到雙目攝像頭參數(shù)，并且有了旋轉(zhuǎn)矩陣R和平移向量T后，立體矯正Bouguet算法就能簡單地使左右圖像中的每幅重投影次數(shù)最小且重投影畸變最大，所以使立體匹配更加準(zhǔn)確和快速。立體匹配，即完成左右攝像機(jī)視圖相同特征的匹配，并得到視差圖即深度圖，Open CV提供了BM和SGBM等雙目匹配的多種算法。

人用兩只眼睛觀察景物時會有遠(yuǎn)近的感覺，用兩個攝像機(jī)模仿人類的眼睛以獲得果實目標(biāo)的深度信息。如圖1當(dāng)用兩個攝像機(jī)同時觀察同一空間點P時，這一點在兩個攝像機(jī)的圖像平面上分別有投影點P1和P2，兩條直線O1P1與O2P2的交點即為P點的三維空間位置。

3 并聯(lián)機(jī)械臂控制系統(tǒng)

四桿型三自由度并聯(lián)機(jī)械臂結(jié)構(gòu)如圖2，工作過程中，雙目首先建立絕對坐標(biāo)系，然后識別在坐標(biāo)系中的蘋果，將已識別出的蘋果的絕對坐標(biāo)傳送至控制系統(tǒng);控制系統(tǒng)將坐標(biāo)值解算為相對應(yīng)的機(jī)械臂所轉(zhuǎn)動的角度;并聯(lián)機(jī)械結(jié)構(gòu)根據(jù)解算出的角度和規(guī)劃出的電機(jī)轉(zhuǎn)速最優(yōu)變化規(guī)律進(jìn)行運(yùn)動，將采摘口移動至蘋果的正下方;柔性采摘系統(tǒng)將果實吸入管道，傳送至收集箱，完成整個采摘過程。

4 并聯(lián)機(jī)械臂運(yùn)動學(xué)分析

利用蒙特卡洛方法完成對并聯(lián)機(jī)械臂的運(yùn)動學(xué)正解、反解所得到的并聯(lián)機(jī)械臂解析式，模擬出其工作空間，利用matlab仿真優(yōu)化出并聯(lián)機(jī)械臂空間運(yùn)動的最優(yōu)解。測量電機(jī)調(diào)速產(chǎn)生的誤差，完成電機(jī)算法的誤差矯正，并進(jìn)行調(diào)參，進(jìn)一步精細(xì)化采摘系統(tǒng)。

5 結(jié)語

雙目視覺利用雙目視差形成深度圖，解析出算法，將目標(biāo)位置解算為以攝像頭為坐標(biāo)原點的三維坐標(biāo)，并訓(xùn)練多層卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過大量計算得到準(zhǔn)確度達(dá)到90%以上、能夠在目標(biāo)存在遮擋的不完全圖像中識別目標(biāo)的機(jī)器學(xué)習(xí)算法。為并聯(lián)機(jī)械臂的準(zhǔn)確控制和采摘口的穩(wěn)定追蹤果實提供了精確的笛卡爾坐標(biāo)數(shù)據(jù)，通過雙目視覺和控制系統(tǒng)的協(xié)調(diào)工作，可準(zhǔn)確、高效地采摘果實，具有較強(qiáng)推廣意義。

參考文獻(xiàn)：

[1]李強(qiáng).蘋果采摘機(jī)器人視覺系統(tǒng)研究[D].碩士學(xué)位論文，2017.

[2]白曉寧.空中目標(biāo)的雙目立體視覺測距[D].碩士學(xué)位論文，2004.

[3]周雁豐，丁晉，喬文剛.三自由度并聯(lián)機(jī)器人運(yùn)動學(xué)分析及軌跡研究[J].工具技術(shù)，2016，50（06）：31-34.