基于視覺機(jī)器人的自動(dòng)抓取機(jī)械手控制研究

劉瑩 祝學(xué)云 徐佳文

DOI：10.19850/j.cnki.2096-4706.2021.08.044

摘? 要：為適應(yīng)工程教育和課程教學(xué)改革的需要，依托視覺機(jī)器人平臺(tái)對(duì)自動(dòng)抓取機(jī)械手控制進(jìn)行了研究。系統(tǒng)硬件主要包括實(shí)驗(yàn)平臺(tái)、相機(jī)、光源和機(jī)械臂等組件。在圖像處理與目標(biāo)識(shí)別中，顏色的分類識(shí)別采用的是基于混合高斯模型（GMM）的分類器，形狀的識(shí)別采用的是MPL多神經(jīng)網(wǎng)絡(luò)分類器。最后介紹了機(jī)械手的運(yùn)動(dòng)建模和抓取流程并進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)效果良好。

關(guān)鍵詞：視覺機(jī)器人;機(jī)械手;實(shí)驗(yàn)教學(xué)改革

中圖分類號(hào)：TP241.2? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）08-0156-04

Research on Automatic Grabing Manipulator Control Based on Vision Robot

LIU Ying，ZHU Xueyun，XU Jiawen

（School of Instrument Science and Engineering，Southeast University，Nanjing? 210096，China）

Abstract：In order to meet the needs of engineering education and curriculum teaching reform，the control of automatic grabing manipulator is studied based on the vision robot platform. The system hardware mainly includes the experimental platform，camera，light source，mechanical arm and other components. In image processing and target recognition，uses the classifier based on Gaussian mixture model（GMM）for color classification and recognition，uses MPL multi neural network classifier for shape recognition. Finally，the motion modeling and grabing process of the manipulator are introduced and experiment is carried out，and the experimental results are good.

Keywords：vision robot;manipulator;experimental teaching reform

0? 引? 言

機(jī)器人作為測控技術(shù)、機(jī)械自動(dòng)化、計(jì)算機(jī)科學(xué)、控制理論、人工智能等多學(xué)科交叉的高新技術(shù)，在制造業(yè)、服務(wù)業(yè)、醫(yī)療保健、國防等各領(lǐng)域得到廣泛應(yīng)用。機(jī)器人傳感與控制技術(shù)是儀器科學(xué)與工程學(xué)院重要的研究方向，涉及測控技術(shù)與儀器專業(yè)本科生的多門主干課程：傳感器技術(shù)、檢測技術(shù)、智能儀器設(shè)計(jì)、單片機(jī)技術(shù)、自動(dòng)控制原理、機(jī)械原理等。

目前我院本科生的實(shí)驗(yàn)教學(xué)以各門課程的課程配套實(shí)驗(yàn)為主，缺乏大型的綜合型設(shè)計(jì)型實(shí)驗(yàn)。在視覺機(jī)器人的基礎(chǔ)上，設(shè)計(jì)測控一體化的研究型實(shí)驗(yàn)，能夠讓學(xué)生充分了解學(xué)科知識(shí)之間的關(guān)聯(lián)性和融合性，鍛煉和提高學(xué)生的工程實(shí)踐能力和創(chuàng)新實(shí)踐能力，對(duì)課程的建設(shè)、專業(yè)的發(fā)展、創(chuàng)新型人才的培養(yǎng)具有重要意義。

視覺機(jī)器人就是通過圖像攝取裝置將被攝取的目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給圖像處理系統(tǒng)，圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行運(yùn)算來抽取目標(biāo)的特征，進(jìn)而來控制設(shè)備動(dòng)作，所以說視覺機(jī)器人是一項(xiàng)綜合技術(shù)，包括傳感器技術(shù)、圖像處理、機(jī)械工程技術(shù)、自動(dòng)控制等，十分適合作為我院高年級(jí)本科生的綜合實(shí)驗(yàn)平臺(tái)使用。結(jié)合本科生教學(xué)及學(xué)科發(fā)展的需要，依托視覺機(jī)器人平臺(tái)設(shè)計(jì)自動(dòng)抓取機(jī)械手控制實(shí)驗(yàn)^[1-5]。為了讓學(xué)生熟悉視覺機(jī)器人平臺(tái)和為自動(dòng)抓取機(jī)械手控制實(shí)驗(yàn)做知識(shí)儲(chǔ)備，設(shè)置六個(gè)基礎(chǔ)實(shí)驗(yàn)：視覺算法基礎(chǔ)實(shí)驗(yàn)、顏色識(shí)別實(shí)驗(yàn)、形狀識(shí)別實(shí)驗(yàn)、標(biāo)定實(shí)驗(yàn)、二維測量實(shí)驗(yàn)、機(jī)械手控制實(shí)驗(yàn)，然后針對(duì)不同顏色不同形狀的抓取目標(biāo)學(xué)生自主設(shè)計(jì)完成自動(dòng)抓取機(jī)械手控制實(shí)驗(yàn)。

1? 系統(tǒng)硬件介紹

基于視覺機(jī)器人的自動(dòng)抓取系統(tǒng)主要包括實(shí)驗(yàn)平臺(tái)、面陣攝像機(jī)、鏡頭、可調(diào)節(jié)光源和機(jī)械臂等組件。其中實(shí)驗(yàn)平臺(tái)由光源安裝、相機(jī)安裝、輸出等模塊組成，輸出模塊可以輸出5 V、24 V直流電壓，調(diào)節(jié)底部光源亮度以及開關(guān)上方光源。面陣攝像機(jī)采用的是緊湊型數(shù)字?jǐn)z像機(jī)，通過GigE接口傳輸圖像數(shù)據(jù)，具有高分辨率、高精度、低噪聲等特點(diǎn)。鏡頭采用的是Computar工業(yè)鏡頭M1214-MP2百萬像素12 mm定焦鏡頭。機(jī)械臂采用的是DobotMagician機(jī)械臂，該機(jī)械臂是一個(gè)高精度四軸桌面操作型機(jī)械臂，由底座、旋轉(zhuǎn)主體、大臂、小臂、執(zhí)行末端等部分組成，末端執(zhí)行器有氣動(dòng)手爪套件、吸盤套件等，最大負(fù)載500 g，最大伸展距離320 mm。

在機(jī)器視覺系統(tǒng)中，通常分為手眼相機(jī)模式和固定相機(jī)模式兩種，本實(shí)驗(yàn)系統(tǒng)采用固定相機(jī)模式，攝像機(jī)安裝在實(shí)驗(yàn)平臺(tái)的支架上。在固定相機(jī)模式下，相機(jī)不受機(jī)械臂抖動(dòng)影響，視野固定，定位精度高。系統(tǒng)硬件結(jié)構(gòu)如圖1所示。

2? 機(jī)器視覺

2.1? 圖像處理與目標(biāo)識(shí)別

機(jī)器視覺通過采集相機(jī)和鏡頭信息獲得目標(biāo)圖像，再利用圖像處理系統(tǒng)進(jìn)行處理分析。這里我們采用Halcon軟件進(jìn)行圖像處理和目標(biāo)識(shí)別^[6，7]。Halcon是德國MVtec公司開發(fā)的圖像處理軟件，包含完善的綜合標(biāo)準(zhǔn)軟件庫，并且架構(gòu)靈活。

本實(shí)驗(yàn)中需要識(shí)別目標(biāo)的顏色和形狀。Halcon中常見的有四類分類器：MLP（多層神經(jīng)網(wǎng)絡(luò)neural Nets）、SVM（支持向量機(jī)）、K-NN（K-最鄰近）、GMM（高斯混合類型）。MLP分類器識(shí)別率較高且分類速度較快，對(duì)于巨大量的訓(xùn)練集，訓(xùn)練速度慢于SVM分類器。SVM分類器在識(shí)別率和訓(xùn)練速度方面略優(yōu)于MLP分類器，但是分類速度沒有MLP分類器快，并且不能自動(dòng)獲取一個(gè)拒絕類。k-NN分類器參數(shù)很少且直觀，可以用很少的訓(xùn)練樣本工作，甚至每一類僅一個(gè)樣本就可以工作，訓(xùn)練速度是所有分類器中最快的，缺點(diǎn)是分類速度相對(duì)較慢，且分類結(jié)果不如MLP和SVM分類器好，因此k-NN分類器適用于自動(dòng)特征選擇和快速評(píng)估。GMM是高斯混合模型分類器，按貝葉斯決策規(guī)則進(jìn)行工作，僅對(duì)低維的特征向量有效，適用于對(duì)一般特征進(jìn)行分類和圖像分割。

經(jīng)過對(duì)比選擇，顏色的分類識(shí)別采用的是基于混合高斯模型（GMM）的分類器，首先進(jìn)行顏色分類訓(xùn)練，將采集到的顏色樣本放入高斯分類器中進(jìn)行樣本訓(xùn)練，生成顏色分類的訓(xùn)練器;然后進(jìn)行顏色分類，創(chuàng)建LUT混合高斯分類器，利用訓(xùn)練后的顏色分類器進(jìn)行顏色分類識(shí)別。形狀的識(shí)別采用的是MPL多神經(jīng)網(wǎng)絡(luò)分類器，首先進(jìn)行形狀分類訓(xùn)練，創(chuàng)建多層神經(jīng)網(wǎng)絡(luò)分類器，讀取各種類型的形狀樣本圖像，提取形狀特征并加載到訓(xùn)練數(shù)據(jù)中，進(jìn)行形狀訓(xùn)練，保存訓(xùn)練結(jié)果;然后進(jìn)行形狀分類，讀取需要分類的圖像，分割提取形狀，根據(jù)訓(xùn)練好的形狀分類器進(jìn)行形狀分類識(shí)別。顏色分類和形狀分類的流程圖如圖2所示。

2.2? 目標(biāo)物的定位

為了確定圖像中的像素點(diǎn)與現(xiàn)實(shí)三維空間位置之間的對(duì)應(yīng)關(guān)系，我們需要建立相機(jī)成像的幾何模型，這個(gè)過程被稱為相機(jī)標(biāo)定^[8]。相機(jī)標(biāo)定包括相機(jī)內(nèi)參標(biāo)定和相機(jī)外參標(biāo)定。內(nèi)部參數(shù)主要用來表示像素坐標(biāo)系與相機(jī)坐標(biāo)系之間的關(guān)系，外部參數(shù)主要用來表示相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。利用相機(jī)內(nèi)外參完成目標(biāo)物成像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換，從而實(shí)現(xiàn)對(duì)目標(biāo)物體三維空間的定位，即可以通過相機(jī)采集客觀世界中物體的圖像，通過獲取物體在圖像中的位置信息，然后通過坐標(biāo)變換，可獲得目標(biāo)物體在客觀世界中的位置坐標(biāo)。

3? 自動(dòng)抓取機(jī)械手控制

3.1? 機(jī)械手運(yùn)動(dòng)建模

機(jī)械臂可以抽象為一系列關(guān)節(jié)和連桿的順序組合，關(guān)節(jié)處產(chǎn)生旋轉(zhuǎn)或滑動(dòng)使得機(jī)械臂末端到達(dá)指定位置，對(duì)機(jī)械臂進(jìn)行運(yùn)動(dòng)學(xué)建模就是描述機(jī)械臂各個(gè)連桿之間的相對(duì)位置和方向關(guān)系，因此需要根據(jù)關(guān)節(jié)的結(jié)構(gòu)在機(jī)械臂每個(gè)連桿上固定一個(gè)坐標(biāo)系，用齊次變換矩陣來描述相鄰兩個(gè)連桿空間上的關(guān)系。

D-H建模是一種對(duì)機(jī)器人運(yùn)動(dòng)學(xué)進(jìn)行建模的標(biāo)準(zhǔn)方法。在機(jī)械臂每個(gè)連桿上建立一個(gè)坐標(biāo)系，通過確定每一關(guān)節(jié)與下一關(guān)節(jié)之間的所有齊次坐標(biāo)變換，求得機(jī)械臂末端與底座的姿態(tài)關(guān)系。齊次坐標(biāo)系用n+1維向量表示n維向量，將旋轉(zhuǎn)變換和平移變換統(tǒng)一成了4×4矩陣運(yùn)算。齊次變換矩陣表示如式（1）所示：

其中表示旋轉(zhuǎn)，右邊一列表示平移。

D-H建模過程中主要涉及四個(gè)參數(shù)：a為公垂線長度，α為相鄰兩z軸之間的扭角，d為z軸相鄰公垂線之間的距離，θ為關(guān)節(jié)旋轉(zhuǎn)角。機(jī)械臂的D-H參數(shù)表如表1所示。

D-H參數(shù)表的每一行對(duì)應(yīng)每一步的齊次變換矩陣，將這些變換矩陣右乘可以建立基座與機(jī)械臂末端的坐標(biāo)關(guān)系如使（2）所示，求解出關(guān)節(jié)變量，就可以實(shí)現(xiàn)對(duì)機(jī)械臂的控制。

在自動(dòng)抓取系統(tǒng)中，我們事實(shí)上是在已知目標(biāo)位置的情況下控制機(jī)械臂到達(dá)指定位置，即我們需要根據(jù)位置信息求解全部關(guān)節(jié)變量的值，這就是求解其逆運(yùn)動(dòng)學(xué)方程。

3.2? 機(jī)械手抓取流程

下面具體介紹基于視覺機(jī)器人的自動(dòng)抓取機(jī)械手控制實(shí)現(xiàn)流程，首先用Halcon圖像處理軟件，處理所拍攝到的圖片，完成目標(biāo)物的顏色識(shí)別和形狀識(shí)別并定位，并得到標(biāo)定點(diǎn)。然后將識(shí)別的目標(biāo)物的位置信息發(fā)送給機(jī)械臂的處理器，后面我們通過標(biāo)定點(diǎn)的位置和目標(biāo)點(diǎn)的位置坐標(biāo)差，進(jìn)行處理，來實(shí)現(xiàn)機(jī)械臂移動(dòng)到目標(biāo)點(diǎn)并抓取，使機(jī)械手完成目標(biāo)物的抓取和分組放置。流程圖如圖3所示。

其具體步驟為：

（1）讀取樣本，完成顏色分類訓(xùn)練和形狀分類訓(xùn)練。循環(huán)讀取不同光照下的樣本圖片，進(jìn)行顏色分類訓(xùn)練，顏色包括紅、黃、綠、藍(lán)四種。形狀樣本這里采用的不同的零件，讀取各種類別的零件圖像，從圖像中分割提取形狀特征并加載到訓(xùn)練數(shù)據(jù)中去，進(jìn)行形狀分類訓(xùn)練。

（2）獲取目標(biāo)物的圖像，進(jìn)行圖像處理。讀取圖像，利用步驟（1）獲得的顏色分類器進(jìn)行顏色分類識(shí)別;提取分割形狀，獲取形狀特征，利用步驟（1）獲得的形狀分類器進(jìn)行形狀分類識(shí)別。

（3）獲取目標(biāo)物坐標(biāo)。根據(jù)相機(jī)的內(nèi)外參數(shù)，將目標(biāo)物的像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)

（4）控制機(jī)械臂抓取目標(biāo)物，并按照顏色和形狀進(jìn)行分組碼垛。機(jī)械臂逐個(gè)抓取目標(biāo)物，按照目標(biāo)物的顏色和形狀將目標(biāo)物碼垛到指定位置。

3.3? 實(shí)驗(yàn)驗(yàn)證

將不同顏色不同形狀的物體放置于Z=0的平面，如圖4所示。首先對(duì)目標(biāo)物進(jìn)行識(shí)別標(biāo)定，記錄其位置為理論位置。調(diào)整機(jī)械臂至初始狀態(tài)，啟動(dòng)系統(tǒng)進(jìn)行抓取測試。當(dāng)機(jī)械臂運(yùn)行至抓取位置，啟動(dòng)抓取操作時(shí)，記錄下機(jī)械手當(dāng)前的抓取位置為實(shí)際位置。

將理論位置和實(shí)際位置之間的距離記為誤差，具體見表2。經(jīng)計(jì)算14個(gè)實(shí)驗(yàn)樣本的平均誤差為1.96 mm。

實(shí)驗(yàn)結(jié)果表明，目標(biāo)識(shí)別結(jié)果準(zhǔn)確，抓取的定位誤差較小，可以滿足機(jī)械手的順利抓取要求。

4? 結(jié)? 論

為適應(yīng)工程教育改革，培養(yǎng)創(chuàng)新型實(shí)踐型人才，在視覺機(jī)器人的基礎(chǔ)上，設(shè)計(jì)了基于視覺機(jī)器人的自動(dòng)抓取機(jī)械手控制測控一體化的研究型實(shí)驗(yàn)。利用基于混合高斯模型（GMM）和MPL多神經(jīng)網(wǎng)絡(luò)的分類器分別實(shí)現(xiàn)了顏色和形狀的分類識(shí)別，利用D-H模型建立了機(jī)械臂的運(yùn)動(dòng)學(xué)模型，求解逆運(yùn)動(dòng)學(xué)方程，得到全部關(guān)節(jié)變量的值，從而實(shí)現(xiàn)對(duì)機(jī)械臂的控制。通過基于視覺機(jī)器人的自動(dòng)抓取機(jī)械手控制，學(xué)生能夠充分了解學(xué)科知識(shí)之間的關(guān)聯(lián)性和融合性，鍛煉和提高工程實(shí)踐能力和創(chuàng)新實(shí)踐能力，對(duì)課程的建設(shè)、專業(yè)的發(fā)展、人才的培養(yǎng)具有重要意義。同時(shí)實(shí)驗(yàn)具有很高的實(shí)用性和趣味性，能夠充分調(diào)動(dòng)學(xué)生的興趣，發(fā)揮其主觀能動(dòng)性，實(shí)驗(yàn)教學(xué)資源也得到了充分的利用。

參考文獻(xiàn)：

[1] 王勇，陳薈西.基于機(jī)器視覺與單片機(jī)結(jié)合的機(jī)械臂抓取系統(tǒng) [J].自動(dòng)化技術(shù)與應(yīng)用，2021，40（1）：78-84.

[2] 楊學(xué)文，王楠.視覺驅(qū)動(dòng)機(jī)械臂自主作業(yè)技術(shù)綜述 [J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，13（3）：281-290.

[3] 溫劍鋒.基于人工智能的視覺目標(biāo)定位系統(tǒng)設(shè)計(jì) [J].現(xiàn)代計(jì)算機(jī)，2020（35）：65-69.

[4] 房國棟，高軍偉，朱晨曦，等.基于機(jī)器視覺的機(jī)械臂智能分揀系統(tǒng) [J].儀表技術(shù)與傳感器，2020（12）：72-76+81.

[5] 姚啟才，汪地，廖茂生.基于機(jī)器視覺的機(jī)械臂智能抓取系統(tǒng)設(shè)計(jì) [J].計(jì)量與測試技術(shù)，2020，47（10）：28-33.

[6] 廖秉旺，林文煜.基于Halcon的工件視覺分揀系統(tǒng) [J].現(xiàn)代信息科技，2021，5（1）：156-158.

[7] 楊偉姣，楊先海，薛鵬，等.基于Halcon的固定視點(diǎn)手眼標(biāo)定方法 [J].機(jī)床與液壓，2021，49（8）：35-37+71.

[8] 祁若龍，張珂，趙吉賓，等.基于高斯模型和視覺測量的機(jī)械臂在線自標(biāo)定方法研究 [J].機(jī)械工程學(xué)報(bào)，2021，57（5）：63-71.

作者簡介：劉瑩（1987—），女，漢族，江蘇徐州人，工程師，碩士，主要研究方向：測控系統(tǒng)與智能儀器。

收稿日期：2021-04-28

基金項(xiàng)目：東南大學(xué)教學(xué)改革研究項(xiàng)目（2019- 119）