一種基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng)

栗俊艷,米月琴,弓　靖,劉鵬飛

(航天科技集團(tuán)九院第16研究所 機(jī)器人事業(yè)部,陜西 西安　710100)

一種基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng)

栗俊艷,米月琴,弓靖,劉鵬飛

(航天科技集團(tuán)九院第16研究所 機(jī)器人事業(yè)部,陜西 西安710100)

摘要針對(duì)傳統(tǒng)的人工分揀作業(yè)效率低、質(zhì)量難以保證的問(wèn)題,提出了一種基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀系統(tǒng),該系統(tǒng)利用圖形分割和圖像匹配相結(jié)合的算法,克服了傳統(tǒng)視覺(jué)算法受光照和噪聲影響大的問(wèn)題,實(shí)驗(yàn)系統(tǒng)通過(guò)采集棋子及場(chǎng)景圖像并進(jìn)行圖像處理,提取黑白棋子的坐標(biāo)以及分類信息,實(shí)施坐標(biāo)轉(zhuǎn)換,維護(hù)分揀棋子的運(yùn)動(dòng)蹤跡,最終控制機(jī)器人實(shí)現(xiàn)分揀棋子的動(dòng)作。實(shí)驗(yàn)結(jié)果表明,該控制系統(tǒng)軟硬件設(shè)計(jì)正確,分揀成功率高,且易于實(shí)施。

關(guān)鍵詞機(jī)器視覺(jué);工業(yè)機(jī)器人;分揀;坐標(biāo)系

Sorting Technology Based on Industrial Robot of Machine Vision

LI Junyan,MI Yueqin,GONG Jing,LIU Pengfei

(16thInstitute,China Aerospace Science and Technology Corporation,Xi’an 710100,China)

AbstractA sorting system based on industrial robot of machine vision is proposed to solve the low efficiency and poor quality control of the traditional manual sorting operation.The system combines the image segmentation with image matching to overcome the disadvantages that traditional visual algorithm is affected by light and noise.The experiment system collects chess pieces and scene image and carries on the image processing,extracts the coordinates and classification of the black and white chess pieces,implements the coordinate conversion,maintains the movement trail of the sorting chess pieces,and controls the movement of the robot to realize the sorting action.The experimental results show that the hardware and software design of the control system is correct,and the success rate of the sorting is high with easy implementation.

Keywordsmachine vision;industrial robot;sorting;coordinate system

工件分揀是工業(yè)生產(chǎn)環(huán)節(jié)重要的組成部分,其目的是將不同類型的物料或工件分類擺放到相應(yīng)的位置,其步驟主要分為定位、識(shí)別、抓取和放置4個(gè)階段[1]。傳統(tǒng)中一般采用人工分揀的方式,因工人操作存在疲勞度的問(wèn)題,對(duì)于長(zhǎng)時(shí)間作業(yè)來(lái)說(shuō),顯然無(wú)法滿足,即使采用工業(yè)機(jī)器人方式,由于傳統(tǒng)的工業(yè)機(jī)器人一般采用示教或離線編程的方式工作,機(jī)器人到達(dá)目標(biāo)點(diǎn)的位姿是固定的,每次動(dòng)作均為重復(fù)進(jìn)行,只能重復(fù)完成預(yù)先規(guī)定好的動(dòng)作,對(duì)于加工對(duì)象以及工作環(huán)境的感知能力低[2],使機(jī)器人的使用受到了限制。隨著機(jī)器視覺(jué)和人工智能的發(fā)展,機(jī)器人也能夠適應(yīng)分揀環(huán)境的需求,隨時(shí)變更作業(yè)對(duì)象和分揀工序。國(guó)外機(jī)器人公司已有相關(guān)的視覺(jué)系統(tǒng),如ABB的TRUE View系統(tǒng),FANUC的M-liA高速揀選系統(tǒng),Sehuster-prazision的鉆頭分揀系統(tǒng)[3]。

本文引入視覺(jué)系統(tǒng)對(duì)工件進(jìn)行位置和類型的判斷是必要的。與傳統(tǒng)的機(jī)械分揀作業(yè)相比,使用基于機(jī)器視覺(jué)的工業(yè)機(jī)器人進(jìn)行分揀,不但高效準(zhǔn)確而且穩(wěn)定持久,具有較大的優(yōu)勢(shì)。

1工業(yè)機(jī)器人分揀實(shí)驗(yàn)系統(tǒng)構(gòu)成

本文以本單位研制的LGJ-2(2 kg 6自由度工業(yè)機(jī)器人)為模型,建立了如圖1所示的基于機(jī)器視覺(jué)的工業(yè)機(jī)器人對(duì)黑白棋子的分揀系統(tǒng),該分揀實(shí)驗(yàn)系統(tǒng)可分為硬件和軟件兩大部分,硬件主要由機(jī)器人、PC 機(jī)、相機(jī)、棋盤和棋子等組成。其中相機(jī)和機(jī)器人之間通過(guò)網(wǎng)線連接,系統(tǒng)軟件由自主開(kāi)發(fā)的機(jī)器人控制程序、圖像處理程序組成。

機(jī)器人分揀實(shí)驗(yàn)系統(tǒng)的工作原理和工作過(guò)程為:當(dāng)黑白棋子被放入分揀作業(yè)區(qū)時(shí),在計(jì)算機(jī)的控制下,通過(guò)相機(jī)自動(dòng)地獲取棋子圖像,然后由圖像處理軟件對(duì)采集到的棋子圖像進(jìn)行運(yùn)算分析得到棋子的圖像坐標(biāo),通過(guò)調(diào)用坐標(biāo)轉(zhuǎn)化函數(shù)得到棋子的用戶坐標(biāo),通過(guò)識(shí)別棋子分類信息和維護(hù)棋子分揀的運(yùn)動(dòng)蹤跡,最終控制機(jī)器人實(shí)現(xiàn)分揀動(dòng)作,將棋子分類拾取,放置到指定位置。

圖1　工業(yè)機(jī)器人分揀系統(tǒng)構(gòu)成

2工業(yè)機(jī)器人分揀實(shí)驗(yàn)系統(tǒng)硬件構(gòu)成

工業(yè)機(jī)器人分揀實(shí)驗(yàn)系統(tǒng)硬件部分主要有工件平臺(tái)單元、相機(jī)平臺(tái)單元、機(jī)器人控制單元和機(jī)器人吸盤單元等4部分組成[4],如圖2所示。

圖2　工業(yè)機(jī)器人硬件構(gòu)成

工件平臺(tái)單元有棋盤和棋盤支架、放置棋子的玻璃容器構(gòu)成。棋盤與黑白棋子形成了顏色上的反差,方便了算法的實(shí)現(xiàn)。相機(jī)平臺(tái)單元主要由相機(jī)、相機(jī)支架和光源組成。懸掛在支架上的相機(jī)主要用來(lái)獲取棋盤上的黑白棋子圖像。光源采用白色LED光源,為相機(jī)采集圖像提供光源,支架主要用來(lái)固定相機(jī)和光源,其高度是固定的。機(jī)器人控制單元由示教盒和控制柜構(gòu)成,示教盒是操作者和機(jī)器人進(jìn)行交互的重要人機(jī)接口裝置,其一般包括彩色液晶屏、指令元件、手控器控制電路、與主機(jī)連接的線纜等。控制柜內(nèi)一般裝有輸入變壓器、電源濾波器、空氣開(kāi)關(guān)、機(jī)器人運(yùn)動(dòng)控制器、機(jī)器人專用端子板、外部I/O轉(zhuǎn)接板、機(jī)器人電機(jī)伺服驅(qū)動(dòng)器、外部軸伺服驅(qū)動(dòng)器等電氣控制部件。機(jī)器人吸盤單元有電磁吸盤和吸盤連接件構(gòu)成,主要完成對(duì)棋子的吸取工作,當(dāng)機(jī)器人識(shí)別出相應(yīng)的棋子后,吸盤吸取棋子并放入相應(yīng)的玻璃容器中。

3軟件系統(tǒng)構(gòu)成及主要功能模塊

機(jī)器人分揀實(shí)驗(yàn)系統(tǒng)的軟件流程如圖3 所示,其工作流程可描述為:首先相機(jī)對(duì)棋盤上的棋子進(jìn)行圖像采集,然后對(duì)圖像進(jìn)行分析處理,對(duì)棋子進(jìn)行識(shí)別定位,根據(jù)建立的坐標(biāo)轉(zhuǎn)化關(guān)系得到棋子的機(jī)器人坐標(biāo),通過(guò)發(fā)送運(yùn)動(dòng)指令控制機(jī)器人抓取不同顏色的棋子,將白棋子和黑棋子分別放入不同的玻璃容器中。其中視覺(jué)處理算法、視覺(jué)處理與機(jī)器人控制之間的通信接口、機(jī)器人控制程序是軟件系統(tǒng)的主要功能模塊。

圖3　分揀實(shí)驗(yàn)軟件流程圖

3.1　視覺(jué)處理算法

目前,視覺(jué)處理算法取得了較快的發(fā)展。例如Barinova,O.,Lempitsky,V.,Kholi,P.等人提出了一種Hough變換檢測(cè)算法,用于檢測(cè)多個(gè)目標(biāo)對(duì)象[5]。較流行的行之有效的圓檢測(cè)算法有Hough變換和橢圓擬合算法。其缺點(diǎn)是受光照、噪聲等影響較大,若兩個(gè)棋子相互粘連,相接部分出現(xiàn)陰影,算法認(rèn)定這些相互粘連的棋子為一個(gè)圓,會(huì)出現(xiàn)少量漏檢的情況?；诖?提出利用圖像分割和圖像匹配相結(jié)合的方法克服了上述困難,其算法流程如圖4所示。利用圖像分割和圖像匹配相結(jié)合的方法檢測(cè)出的結(jié)果如圖5所示,檢測(cè)到了全部棋子,其中灰色點(diǎn)表示檢測(cè)到的是黑棋子,黑色點(diǎn)表示檢測(cè)到的是白棋子。

圖4　棋子識(shí)別算法流程圖

圖5　本系統(tǒng)方法檢測(cè)結(jié)果

3.2　視覺(jué)處理與機(jī)器人控制間通信接口

在實(shí)現(xiàn)機(jī)器人相應(yīng)的動(dòng)作之前,需要在視覺(jué)處理和機(jī)器人控制之間建立相應(yīng)的通信接口,通信接口有RS232串口和以太網(wǎng)[6]、調(diào)用視覺(jué)處理庫(kù)函數(shù)。文中采用的是將視覺(jué)處理程序封裝為動(dòng)態(tài)鏈接庫(kù),在機(jī)器人主程序中調(diào)用庫(kù)函數(shù)的方法。接口庫(kù)函數(shù)為CameraInit()、CameraWork()、Replace_P(),分別實(shí)現(xiàn)相機(jī)的啟動(dòng),獲得圖像中所有黑白棋子的圖像坐標(biāo)以及將棋子的圖像坐標(biāo)轉(zhuǎn)化為機(jī)器人坐標(biāo)的功能。

3.3　機(jī)器人控制程序軟件實(shí)現(xiàn)

在完成了棋子檢測(cè)、識(shí)別以及采用圖像分割和圖像匹配相結(jié)合的方法識(shí)別出相應(yīng)的棋子坐標(biāo)后,進(jìn)行圖像坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換、控制機(jī)器人的作業(yè)軌跡運(yùn)動(dòng),實(shí)現(xiàn)將黑白棋子分別放入不同的杯子中是本實(shí)驗(yàn)系統(tǒng)的最終目標(biāo)。機(jī)器人吸取黑白棋子首先要確定棋盤的用戶坐標(biāo),然后要記錄每個(gè)棋子的空間坐標(biāo)所對(duì)應(yīng)的全局變量,軟件編程語(yǔ)言為VC++6.0[7-8]。軟件實(shí)現(xiàn)流程如圖6所示:首先調(diào)用打開(kāi)相機(jī)和啟動(dòng)拍照函數(shù)對(duì)棋子和場(chǎng)景進(jìn)行拍照,然后調(diào)用圖像處理模塊和坐標(biāo)轉(zhuǎn)化函數(shù)得到棋子的用戶坐標(biāo),給機(jī)器人發(fā)送運(yùn)行指令,機(jī)器人運(yùn)行到棋子上方,調(diào)用棋子吸取模塊吸取棋子,機(jī)器人運(yùn)行到玻璃容器上方,調(diào)用放置棋子模塊完成其中一顆棋子的分揀,重復(fù)上述過(guò)程完成棋盤中所有棋子的分揀。

圖6　機(jī)器人控制程序軟件流程圖

4實(shí)驗(yàn)結(jié)果與分析

經(jīng)過(guò)軟硬件調(diào)試,本實(shí)驗(yàn)系統(tǒng)順利完成了“識(shí)別棋子—抓取棋子—放置棋子”的過(guò)程,實(shí)驗(yàn)取得了預(yù)期和滿意的效果,“識(shí)別棋子—抓取棋子—放置棋子”的實(shí)驗(yàn)過(guò)程為:在機(jī)器人前方的棋盤中隨意放置黑白棋子各10個(gè),分揀作業(yè)要求將黑棋子和白棋子分別放置在不同的玻璃容器中,啟動(dòng)機(jī)器人分揀平臺(tái)后,機(jī)器人末端執(zhí)行器立刻運(yùn)動(dòng)到X方向像素坐標(biāo)最小的黑棋子上方3 mm處→電磁吸盤通電并吸附黑棋子→機(jī)器人末端執(zhí)行器運(yùn)動(dòng)到玻璃容器上方2 cm處→電磁吸盤斷電把黑棋子放入到玻璃容器中→機(jī)器人末端執(zhí)行器運(yùn)行到下一顆黑棋子上方3 mm處并重復(fù)上述過(guò)程。當(dāng)10個(gè)黑棋子全部放入相應(yīng)的玻璃容器后,機(jī)器人重復(fù)上述過(guò)程將10個(gè)白棋子全部放入另一個(gè)玻璃容器中。實(shí)驗(yàn)結(jié)果表明,該分揀系統(tǒng)識(shí)別并分揀黑白棋子的正確率達(dá)到約100%,所使用的方法簡(jiǎn)單有效,實(shí)驗(yàn)效果如圖7所示。

圖7　實(shí)驗(yàn)結(jié)果

5結(jié)束語(yǔ)

以黑白棋子的分揀實(shí)驗(yàn)為例,介紹了分揀系統(tǒng)的軟硬件平臺(tái)組成部分,以及圖像分割和圖像匹配相結(jié)合的棋子識(shí)別方法,此方法減少了棋子的漏檢現(xiàn)象,提高了棋子分揀的準(zhǔn)確率。由于機(jī)器人的高效作業(yè)替代了繁重的體力勞動(dòng),提高了自動(dòng)化水平和作業(yè)質(zhì)量,機(jī)器人自動(dòng)分揀將會(huì)越來(lái)越廣泛地應(yīng)用于生產(chǎn)領(lǐng)域[9]。

參考文獻(xiàn)

[1]鄒騰躍,唐小琦,宋寶,等.基于形狀內(nèi)容分析的機(jī)器人物料分揀系統(tǒng)[J].組合機(jī)床與自動(dòng)化加工技術(shù),2013(5):48-51.

[2]呂游.視覺(jué)引導(dǎo)技術(shù)在工業(yè)機(jī)器人智能抓取中的應(yīng)用[D].合肥:合肥工業(yè)大學(xué),2009.

[3]唐健.基于機(jī)器視覺(jué)的機(jī)器人分揀技術(shù)研究[D].南京:南京林業(yè)大學(xué),2001.

[4]趙彬.基于機(jī)器視覺(jué)的工業(yè)機(jī)器人分揀技術(shù)研究[D].沈陽(yáng):沈陽(yáng)工業(yè)大學(xué),2010.

[5]Barinova O,Lempitsky V,Kholi P.On detection of multiple object instances using hough transforms[J].Pattern Analysis and Machine Intelligence,2012,34(9):1773-1784.

[6]杜榮,焦恩璋.Motocom 32的應(yīng)用及其面向?qū)ο蠓庋b研究[J].機(jī)電一體化,2009,15(6):80-83.

[7]孫鑫,余安萍.VC++深入研究[M].北京:電子工業(yè)出版社,2006.

[8]George Shepherd.深入解析MFC[M].趙劍云,卿瑾,譯.北京:電子工業(yè)出版社,2003.

[9]焦恩璋,杜榮.工業(yè)機(jī)器人分揀技術(shù)的實(shí)現(xiàn)[J].組合機(jī)床與自動(dòng)化加工技術(shù),2010(2):84-87.

作者簡(jiǎn)介:栗俊艷(1982—),女,碩士,工程師。研究方向:工業(yè)機(jī)器人等。

收稿日期:2015- 04- 30

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)01-105-04

doi:10.16180/j.cnki.issn1007-7820.2016.01.028