基于視覺(jué)的水果雕花機(jī)器人創(chuàng)新實(shí)驗(yàn)設(shè)計(jì)

趙明巖, 蔣昕余, 陳垣融, 楊旭銘, 瞿瑞德

(中國(guó)計(jì)量大學(xué) 機(jī)電工程學(xué)院, 杭州 310018)

0 引 言

繼德國(guó)2013年提出工業(yè)4.0概念后[1-2]，我國(guó)也提出了中國(guó)制造2025，對(duì)工業(yè)機(jī)器人技術(shù)[3-5]的需求與日俱增。掌握工業(yè)機(jī)器人、機(jī)器視覺(jué)[6-8]、自動(dòng)控制等先進(jìn)技術(shù)的綜合是當(dāng)今社會(huì)對(duì)新型人才的要求。結(jié)合生活實(shí)例，隨著人們生活水平的不斷提高，各種果蔬雕花成了高檔飯店的標(biāo)配。然而花雕技術(shù)含量高、雕刻效率低，人工成本不斷攀升并存在安全隱患。為此本文結(jié)合生活實(shí)際需求，設(shè)計(jì)了基于視覺(jué)的水果(以哈密瓜為例)雕花機(jī)器人創(chuàng)新實(shí)驗(yàn)，針對(duì)不同的哈密瓜(大小、位置不同)，配置有攝像頭的機(jī)器人可對(duì)哈密瓜進(jìn)行快速拍照、定位、調(diào)整路徑，按照設(shè)定程序，完成哈密瓜雕花。通過(guò)本實(shí)驗(yàn)，學(xué)生能夠?qū)⒐I(yè)機(jī)器人、攝像頭、機(jī)器人末端執(zhí)行器三者組成一個(gè)能夠完成特定任務(wù)的機(jī)器人系統(tǒng)，以此來(lái)提高學(xué)生的科研水平與創(chuàng)新能力。

1 系統(tǒng)整體結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)如圖1所示，根據(jù)哈密瓜雕花技術(shù)要求，機(jī)器人系統(tǒng)主要分為3部分：工業(yè)機(jī)器人系統(tǒng)、機(jī)器視覺(jué)系統(tǒng)、機(jī)器人執(zhí)行終端及其控制。

工業(yè)機(jī)器人采用型號(hào)為MZ04-01-CFD-0000的納智(NACHI)6自由度機(jī)器人，工作半徑541 mm，負(fù)載4 kg，重復(fù)定位精度0.02 mm。機(jī)器人共有6軸(自由度)：第1軸為手臂回轉(zhuǎn)；第2軸為手臂前后運(yùn)動(dòng)；第3軸為手臂上下運(yùn)動(dòng)；第4軸與第6軸為手腕回轉(zhuǎn)；第5軸為手腕彎曲。

圖1 機(jī)器人系統(tǒng)

機(jī)器視覺(jué)部分采用低照度、無(wú)畸變、200萬(wàn)像素的OV2710型1080P的USB攝像頭，其視角可達(dá)53°。在1 920×1 080分辨率下可達(dá)30幀/s，高速無(wú)拖影，自動(dòng)對(duì)焦，支持IR-CUT，可傳輸多種數(shù)據(jù)，UVC免驅(qū)協(xié)議兼容多種主流的開(kāi)發(fā)環(huán)境(Windows、Linux、Android等)。同時(shí)配套多種主流語(yǔ)言開(kāi)發(fā)包及例程，支持Halcon、Labview、Matlab等第三方圖像處理軟件直接調(diào)用。

機(jī)器人執(zhí)行終端包括雕刻刀及裝夾平臺(tái)，其中裝夾平臺(tái)由4個(gè)步進(jìn)電動(dòng)機(jī)驅(qū)動(dòng)，其中2個(gè)型號(hào)為42BYG34-401A，2個(gè)57BYG34-401A，步矩角Step Angle為1.8°，由單片機(jī)控制。

2 實(shí)驗(yàn)準(zhǔn)備

2.1 機(jī)器人性能及手動(dòng)操控

了解NACHI工業(yè)機(jī)器人基本性能、工作原理、適用場(chǎng)合，每個(gè)關(guān)節(jié)的作用及動(dòng)作范圍。如圖2所示，使學(xué)生掌握手持操控器。操控器不僅可控制機(jī)器人進(jìn)行各種運(yùn)動(dòng)，還可以監(jiān)測(cè)x、y、z3個(gè)位置、roll、pitch、yaw 3個(gè)姿態(tài)以及一些關(guān)鍵的數(shù)據(jù)變量。

圖2 機(jī)器人手持操控器

操控器屏幕為高亮度LCD液晶屏，顯示效果及人機(jī)交互界面友好，用戶(hù)操作簡(jiǎn)易便捷，可以方便操控機(jī)器人，設(shè)定其位置和姿態(tài)。可以通過(guò)以太網(wǎng)或USB燒寫(xiě)程序，可供分步調(diào)試程序，功能強(qiáng)大。依次對(duì)6個(gè)軸進(jìn)行按鍵：按X+，X-，則第1軸轉(zhuǎn)動(dòng)，帶動(dòng)本體左右回轉(zhuǎn)；按Y+，Y-，則第2軸轉(zhuǎn)動(dòng)，帶動(dòng)第2手臂前后俯仰；按Z+，Z-，則第3軸轉(zhuǎn)動(dòng)，帶動(dòng)第1手臂上下運(yùn)動(dòng)；按RX+，RX-，則第4軸轉(zhuǎn)動(dòng)，帶動(dòng)手腕回轉(zhuǎn)；按RX+，RX-，則第5軸轉(zhuǎn)動(dòng)，使手腕彎曲；按RX+，RX-，則第6軸轉(zhuǎn)動(dòng)，帶動(dòng)法蘭回轉(zhuǎn)。通過(guò)手持操控器，讓學(xué)生了解每個(gè)軸的性能、運(yùn)動(dòng)范圍，以及多軸組合運(yùn)動(dòng)時(shí)的特點(diǎn)。

2.2 機(jī)器人視覺(jué)系統(tǒng)

了解與機(jī)器人配套的攝像頭的基本性能，了解視覺(jué)處理器的相關(guān)概念。攝像頭如何將對(duì)象的相關(guān)信息(大小、位置等)轉(zhuǎn)換成圖像信號(hào)；掌握?qǐng)D像處理系統(tǒng)將相關(guān)信息轉(zhuǎn)變成數(shù)字信號(hào)的原理，如何對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)提取目標(biāo)特征，進(jìn)而控制機(jī)器人做出各種設(shè)定動(dòng)作。

2.3 上位機(jī)編程

要求學(xué)生熟悉編程軟件及界面，并能夠?qū)C(jī)器人的各軸進(jìn)行簡(jiǎn)單控制。本系統(tǒng)采用納智自帶的編程軟件：FDonDesk Light，可在筆記本上直接編程，編程界面如圖3所示。上位機(jī)進(jìn)行圖像處理，獲取處理對(duì)象的像素點(diǎn)位置坐標(biāo)和角度，通過(guò)換算，轉(zhuǎn)換成機(jī)器人的位置坐標(biāo)和角度，再通過(guò)套接字通訊發(fā)送給控制柜?？刂乒窠邮盏叫畔⒑?，執(zhí)行程序，控制機(jī)器人到達(dá)指定坐標(biāo)并對(duì)目標(biāo)對(duì)象實(shí)施設(shè)定的動(dòng)作。

圖3 編程界面

3 哈密瓜雕花實(shí)驗(yàn)設(shè)計(jì)

學(xué)生了解了機(jī)器人的工作原理后，開(kāi)始設(shè)計(jì)雕花機(jī)器人。如圖4所示，在攝像頭、裝夾平臺(tái)以及雕刻刀的配合下，完成哈密瓜雕花實(shí)驗(yàn)。

圖4 哈密瓜雕花機(jī)器人

3.1 執(zhí)行終端及其控制部分設(shè)計(jì)

針對(duì)哈密瓜的結(jié)構(gòu)特點(diǎn)，設(shè)計(jì)如圖5所示的裝夾平臺(tái)，考慮到機(jī)器人存在小范圍的死區(qū)，因此裝夾平臺(tái)有3個(gè)自由度：沿x，y方向移動(dòng)、繞z軸旋轉(zhuǎn)，此外還包括一個(gè)可移式抱緊裝置。抱緊裝置為兩個(gè)帶L型彈簧鋼片的抱緊片，外觀(guān)呈半圓形，由左右絲桿驅(qū)動(dòng)，可以將不同大小、形狀的哈密瓜抱緊，抱緊片外殼采用3D打印[9-10]技術(shù)制作而成。

自制的雕刻刀可以固定在機(jī)器人自帶的法蘭盤(pán)上，雕刻刀不僅可以對(duì)哈密瓜進(jìn)行雕刻，刀具前端還特制了鉤狀結(jié)構(gòu)，配合碎塊清理程序，可以將切下來(lái)的哈密瓜碎塊清理。雕刻刀尾部固定結(jié)構(gòu)采用3D打印，方便與機(jī)器人第6軸的法蘭盤(pán)相連接。

圖5 裝夾平臺(tái)

圖6 雕刻刀

裝夾平臺(tái)采用STM32F103單片機(jī)控制，如圖7所示，單片機(jī)可與上位機(jī)進(jìn)行串口通訊。上位機(jī)對(duì)單片機(jī)發(fā)送哈密瓜的尺寸信息，單片機(jī)根據(jù)哈密瓜尺寸信息，將哈密瓜可靠固定，并控制裝夾平臺(tái)移動(dòng)到設(shè)定位置。

圖7 單片機(jī)控制電路圖

3.2 視覺(jué)系統(tǒng)

攝像頭可快速、準(zhǔn)確地將哈密瓜大小信息(見(jiàn)圖8)轉(zhuǎn)換成圖像信號(hào)(見(jiàn)圖9)，傳送給專(zhuān)用的圖像處理系統(tǒng)，使其得到被攝目標(biāo)的形態(tài)信息。根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)進(jìn)行準(zhǔn)確處理，圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制機(jī)器人終端的動(dòng)作，其工作流程圖如10所示。

圖8 哈密瓜原始照片

圖9 圖像處理后的照片

3.3 上位機(jī)編程

在Windows操作系統(tǒng)下，進(jìn)入納智自帶的編程軟件進(jìn)行編程。編程包括3個(gè)部分，圖像處理部分編程(visual studio)、機(jī)器人動(dòng)作編程(FD on Desk)、機(jī)器人終端編程(裝夾平臺(tái)，單片機(jī)編程)。上位機(jī)將哈密瓜的像素坐標(biāo)轉(zhuǎn)換為機(jī)器人的機(jī)械坐標(biāo)，下位機(jī)通過(guò)MOVEX函數(shù)，控制機(jī)器人完成雕花動(dòng)作?？刂茩C(jī)器人動(dòng)作的程序流程如圖11所示。哈密瓜雕刻程序包括如下內(nèi)容：① 待雕刻的哈密瓜到達(dá)操作平臺(tái)后，攝像頭快速準(zhǔn)確捕捉哈密瓜的坐標(biāo)位置、大小，并將相關(guān)數(shù)據(jù)反饋給上位機(jī)。② 上位機(jī)經(jīng)過(guò)數(shù)據(jù)處理后，將哈密瓜的坐標(biāo)位置信息傳遞給單片機(jī)，裝夾平臺(tái)接收指令后調(diào)整位置。③ 攝像頭將哈密瓜的截面信息發(fā)送給上位機(jī)，上位機(jī)結(jié)合客戶(hù)的設(shè)定(花瓣數(shù)量、形狀等)調(diào)用程序，機(jī)器人完成雕刻。

圖10 圖像處理工作流程

圖11 程序流程圖

如圖12所示為上位機(jī)中OpenCV的俯視視覺(jué)圖，通過(guò)OpenCV函數(shù)引用cv2類(lèi)里的輪廓周長(zhǎng)變量，perimeter=cv2.arcLength(cnt,True)，計(jì)算出哈密瓜輪廓的周長(zhǎng)。假設(shè)周長(zhǎng)為60 cm，并且希望雕刻16個(gè)花瓣，則在其輪廓上均布取16點(diǎn)，再以這16個(gè)點(diǎn)為中心，形成32個(gè)等距線(xiàn)段，雕刻刀均勻切割32刀，形成16個(gè)花瓣，相鄰兩個(gè)花瓣的距離為60/16=3.75 cm。32刀對(duì)應(yīng)的x，y，z軸坐標(biāo)可通過(guò)計(jì)算得到?；ò甑膫€(gè)數(shù)、形狀均可由用戶(hù)事先自定義設(shè)置。

圖12 上位機(jī)中OpenCV俯視圖

圖13為正在執(zhí)行雕刻動(dòng)作的哈密瓜雕花機(jī)器人。

4 結(jié) 語(yǔ)

通過(guò)本實(shí)驗(yàn)，要求學(xué)生掌握如下技能：① 工業(yè)機(jī)器人性能及其編程；② 機(jī)器視覺(jué)及其編程；③ 機(jī)器人末端執(zhí)行器的設(shè)計(jì)與控制(本實(shí)驗(yàn)采用單片機(jī)控制，也可采用PLC等)，其中前兩點(diǎn)的結(jié)合是難點(diǎn)和重點(diǎn)。當(dāng)目標(biāo)對(duì)象大小、形狀不同時(shí)，就必須借助攝像頭，判斷對(duì)象的狀態(tài)，修正機(jī)器人行進(jìn)路徑。當(dāng)更換目標(biāo)對(duì)象(如西瓜、木瓜等)時(shí)，還需要重新設(shè)計(jì)執(zhí)行終端。通過(guò)本實(shí)驗(yàn)，學(xué)生將工業(yè)機(jī)器人、攝像頭、機(jī)器人末端執(zhí)行器三者組成一個(gè)機(jī)器人系統(tǒng)，完成特定任務(wù)。本實(shí)驗(yàn)貼近生活，學(xué)生非常感興趣，且科技含量高，難度大，綜合性強(qiáng)，可作為創(chuàng)新實(shí)驗(yàn)或者開(kāi)放性實(shí)驗(yàn)[11-13]，非常適合培養(yǎng)新工科人才[14-15]。