視覺技術(shù)在機器人零部件裝配中的應(yīng)用研究*

王 帥，徐 方，陳 亮，鄒風(fēng)山，李邦宇

（1.中國科學(xué)院沈陽自動化研究所 機器人學(xué)國家重點實驗室，沈陽 110016；2.中國科學(xué)院大學(xué)，北京 100049；3.沈陽新松機器人自動化股份有限公司中央研究院，沈陽 110168）

視覺技術(shù)在機器人零部件裝配中的應(yīng)用研究*

王 帥1，2，徐 方1，3，陳 亮3，鄒風(fēng)山3，李邦宇3

（1.中國科學(xué)院沈陽自動化研究所 機器人學(xué)國家重點實驗室，沈陽 110016；2.中國科學(xué)院大學(xué)，北京 100049；3.沈陽新松機器人自動化股份有限公司中央研究院，沈陽 110168）

為了實現(xiàn)機器人生產(chǎn)線上零部件的自動化裝配，對機器視覺在工業(yè)機器人底座與一軸減速器裝配中的應(yīng)用進行了研究。針對底座位姿識別，提出了基于Hough變換的底座表面圓形特征識別算法。針對減速器在相機視場中因為鏡頭曲率原因無法通過圓識別檢測其外側(cè)安裝孔的問題，提出了基于鏈碼的姿態(tài)識別算法。分析了視覺算法庫Open CV中的攝像機模型。最后通過實驗對視覺算法進行了驗證，實驗結(jié)果表明視覺算法穩(wěn)定、可靠，配合高精度大負(fù)載工業(yè)機器人的應(yīng)用，實現(xiàn)了底座與減速器的智能裝配。

機器視覺；智能裝配；工業(yè)機器人

0 引言

機器視覺是指利用攝像機來獲取三維世界的信息并將其轉(zhuǎn)換成計算機能識別的數(shù)字信號，通過圖像處理技術(shù)和計算機技術(shù)實現(xiàn)類似人眼處理信息的過程［1-2］。目前，機器視覺已廣泛應(yīng)用于電子電器、航天、制藥等領(lǐng)域。隨著制造業(yè)自動化程度的不斷提高，采用工業(yè)機器人實現(xiàn)搬運、分揀、碼垛、噴涂等作業(yè)的應(yīng)用及需求越來越多，用機器人代替人進行重復(fù)性、高負(fù)荷工作是工業(yè)發(fā)展的必然趨勢。傳統(tǒng)工業(yè)機器人一般采用示教或者離線編程方式工作，所有動作都要預(yù)先設(shè)定，一旦工作環(huán)境變化，相應(yīng)作業(yè)便無法順利執(zhí)行。通過將機器視覺技術(shù)與機器人相結(jié)合，可以極大地提高機器人生產(chǎn)作業(yè)的柔性和自動化程度。王修巖等［3］提出一種利用單目視覺技術(shù)實現(xiàn)工業(yè)機器人智能抓取的方法，可以用來對特定工件進行識別和分揀。MING JTsai等［4］提出一種基于三維視覺的工業(yè)機器人在線焊縫識別系統(tǒng)。潘武等［5］結(jié)合視覺檢測技術(shù)提出了一種工件在線缺陷檢測方法。

本文針對工業(yè)機器人本體制造過程中底座與一軸減速器裝配，提出了一種利用機器視覺完成工件智能裝配的方法。項目來源于沈陽新松智慧園示范建設(shè)項目-“工業(yè)機器人數(shù)字化智能制造車間”。該項目建成后將實現(xiàn)50kg和165kg工業(yè)機器人底座與一軸減速器的自動化智能裝配。其難點在于裝配過程中底座和減速器安裝螺絲孔的準(zhǔn)確對準(zhǔn)（誤差小于±0.5 mm），并且視覺處理時間需滿足生產(chǎn)節(jié)拍的要求。本文研究了相關(guān)圖像處理算法，針對待裝配的底座和減速器分別提出了基于Hough變換以及鏈碼的位姿識別算法，配合高精度、大負(fù)載工業(yè)機器人的使用，本系統(tǒng)實現(xiàn)了底座和減速器的無人化、自動化裝配。

1 視覺裝配平臺搭建

以新松六軸工業(yè)機器人和工業(yè)相機為基礎(chǔ)，搭建了如圖1所示的視覺裝配平臺。該裝配平臺主要組成部分有：裝配用新松210kg六軸工業(yè)機器人SR210B、涂膠與擰螺釘用新松80kg六軸工業(yè)機器人SR80A、底座與減速器抓手、抓手快換裝置、千兆以太網(wǎng)工業(yè)相機、光源、工件放置托盤、翻轉(zhuǎn)工作臺等。其中210kg六軸工業(yè)機器人重復(fù)定位精度為±0.1mm，相機分辨率為500萬像素，焦距鏡頭12mm，相機和抓手都安裝在機器人手臂末端，并保證兩者不干涉。

圖1 視覺裝配平臺

2 機器視覺算法

2.1 底座位姿識別算法

圖2所示為裝配過程中相機實際采集到的一幅底座圖像，考慮到抓取底座使用的是三爪抓手，圖像處理算法不僅需要獲得底座的抓取點位置，同時要計算出底座的姿態(tài)角（即實際抓取過程中210kg機器人六軸需要旋轉(zhuǎn)多少角度才可以使抓手姿態(tài)與底座姿態(tài)保準(zhǔn)一致）。

圖2 相機采集的底座圖像

顯然，底座具有十分明顯的圓特征，故可通過檢測工件圓特征的方法，將底座上表面圓心作為抓取點。此處采用Hough變換圓檢測算法［6-8］。

Hough變換是圖像處理中識別幾何形狀的基本方法之一，尤其對直線和圓具有良好的檢測效果。其基本思想圖3所示，圖像空間中的一個圓對應(yīng)著參數(shù)空間中的一個點（即圖中一個小方格），而圖像空間中的一個點則約束了通過該點的一簇圓。因而可以利用圖像空間與參數(shù)空間的對應(yīng)關(guān)系，通過在參數(shù)空間進行簡單的累加來完成檢測任務(wù)。

圖3 Hough變換圓檢測空間映射示意圖

設(shè)待檢測圓的圓心為（a，b），半徑為r， 則圓的方程為：

接著在參數(shù)空間建立一個三維累加器，圖3中圖像空間中每一個大于設(shè)定閾值的像素點都要通過一定的映射關(guān)系映射到參量空間對應(yīng)的量化方格里，如果屬于該方格，則方格對應(yīng)的累加器加1：

經(jīng)過投票后，累加值最高的方格對應(yīng)的（a，b，r）即為待檢測圓的三個特征量。對于離散圖像，圓的方程也可記為：

式中ψ是考慮到檢測的誤差補償。

在進行Hough變換前，還需要對圖像進行邊緣檢測，此處采用Sobel邊緣檢測算子。Sobel算子是用如圖4所示的掩模來數(shù)字化的近似一階導(dǎo)數(shù)值Gx和Gy。換言之，一個鄰域中心點處的梯度可由Sobel檢

圖4 Sobel邊緣檢測掩模

測器按如下方式計算：

若在圖像坐標(biāo)（x，y）處有g(shù)≥T，則在該位置的像素是一個邊緣像素，其中T是一個指定的閾值。

圖5 對底座進行姿態(tài)識別

圖5a所示為對邊緣圖像進行Hough變換后檢測到的底座表面特征圓及其圓心，該圓心即為裝配時機械手需要抓取的位置。

為了使機械手準(zhǔn)確抓取，還需要求得工件姿態(tài)，這里可以利用Hough變換再次識別底座表面的一個小標(biāo)識孔，其圓心與剛才識別的大圓圓心連線與圖像x軸夾角即為底座的姿態(tài)角，如圖5b所示。

2.2 減速器位姿識別算法

圖6所示為系統(tǒng)實際運行時相機采集到的一幅減速器圖片，顯然由于鏡頭曲率原因減速器外側(cè)安裝孔并未完全顯現(xiàn)出來，因而無法利用類似底座識別的方法通過識別工件上兩個特征圓來識別減速器。針對減速器位姿識別，本文提出如下方法。

仔細(xì)觀察圖6，減速器上表面有16個特征孔，通過分別識別這16個特征孔并將其圓心通過最小二乘法擬合便可得到減速器中心（即裝配時機器人抓取點位置）。接著識別減速器外側(cè)16個目標(biāo)孔，由于鏡頭曲率影響這十六個孔成像并非是完整的圓，本文針對這種情況，提出了基于鏈碼的減速器姿態(tài)識別方法。

圖6 相機采集的減速器圖像

圖7 對底座進行姿態(tài)識別

3 相機內(nèi)外參數(shù)標(biāo)定

相機內(nèi)外參數(shù)標(biāo)定是非常關(guān)鍵的一個環(huán)節(jié)，標(biāo)定結(jié)果的精度和標(biāo)定算法的穩(wěn)定性將會直接影響視覺裝配結(jié)果的準(zhǔn)確性。相機標(biāo)定有很多方法，例如基于徑向排列約束的Tsai法和兩步攝像機標(biāo)定法等。本文采用開源Open CV算法庫中提供的張正友標(biāo)定法［12］，該方法以棋盤格為標(biāo)定模板，僅需從不同角度拍攝若干幅圖片，根據(jù)圖像點之間對應(yīng)關(guān)系即可標(biāo)定出攝像機內(nèi)外參數(shù)。圖8所示是用7幅棋盤格圖像標(biāo)定出的相機參數(shù)。

圖8 相機內(nèi)外參數(shù)標(biāo)定結(jié)果

相機標(biāo)定的最終目的是獲得空間點在圖像坐標(biāo)系和空間坐標(biāo)系下的對應(yīng)關(guān)系，如下式所示：

得到相機的內(nèi)外參數(shù)矩陣后，便可通過如下對應(yīng)關(guān)系反解出圖像坐標(biāo)系下工件抓取點位置在實際世界坐標(biāo)系下的坐標(biāo)，再轉(zhuǎn)化為其在機器人基座標(biāo)系下的坐標(biāo)后便可引導(dǎo)機器人進行抓取。

4 實驗驗證

實驗開始時載有待裝配底座和減速器的托盤由AGV小車運送到指定工作區(qū)，接著按照如下4個步驟完成視覺裝配作業(yè)。

圖9 視覺裝配實驗結(jié)果

步驟1：相機對首先進入視場的底座進行圖像采集，然后對圖像進行特征識別，得到底座的位置與姿態(tài)。根據(jù)機器人用戶坐標(biāo)系與基坐標(biāo)系的關(guān)系，視覺控制器引導(dǎo)210kg機器人對底座進行抓取并將其放置到翻轉(zhuǎn)工作臺上，如圖9a所示。

步驟2：80kg機器人通過示教對底座進行涂膠作業(yè)，210kg機器人通過抓手快換裝置換上減速器抓手。

步驟3：此時相機視場內(nèi)僅剩減速器。相機采集減速器圖像，通過視覺處理得到其位姿并引導(dǎo)210kg機器人對其進行抓取，抓取作業(yè)如圖9b所示。接著210kg機器人通過示教將減速器放置到底座上面完成裝配作業(yè)，如圖9c所示。

步驟4：此時底座和減速器對應(yīng)位置的16個螺釘孔已經(jīng)對準(zhǔn)。80kg機器人通過示教對底座和減速器裝配面進行擰螺釘操作。最后210kg機器人將已經(jīng)完成裝配的工件放置到AGV小車上運往下一個工位，整個裝配流程結(jié)束，如圖9d所示。

經(jīng)大量實驗驗證，該視覺裝配方案穩(wěn)定、可靠，裝配成立率達到100%，完全滿足工業(yè)機器人自動化裝配線的生產(chǎn)需求。

5 結(jié)論

本文研究了一種采用機器視覺技術(shù)完成工業(yè)機器人底座與一軸減速器智能裝配的方法。通過分析工件的幾何構(gòu)型，針對兩類工件分別提出了相應(yīng)的視覺識別算法，實現(xiàn)了底座與減速器位姿的準(zhǔn)確識別。通過實驗驗證，該視覺算法配合高精度大負(fù)載機器人可以實現(xiàn)底座與一軸減速器的自動裝配，且具有識別精確高、運算速度快的優(yōu)點。該技術(shù)實現(xiàn)了機器人生產(chǎn)制造的智能化與自動化，具有較高的應(yīng)用價值。

［1］馬頌德，張正友.計算機視覺［M］.北京：科學(xué)出版社，2003.

［2］賈云德.機器視覺［M］.北京：科學(xué)出版社，2000.

［3］王修巖，程婷婷.基于單目視覺的工業(yè)機器人目標(biāo)識別技術(shù)研究［J］.機械設(shè)計與制造，2011（4）：155-157.

［4］Ming J Tsai，Lee Hong wen，Ann Najun.Machine vision based path planning for a robotic golf club head welding system.Robotics and Computer Integrated Manufacturing，2011（27）：843-849.

［5］潘武，張麗彥，徐俊成.基于機器視覺的工件的在線檢測［J］.組合機床與自動化加工技術(shù)，2012（7）：75-78.

［6］黃永林，葉玉堂，陳鎮(zhèn)龍，等.一種新的快速Hough變換圓檢測算法［J］.電子測量與儀器學(xué)報，2010，24（9）：837-841.

［7］Xing Chen，Ling Lu，Yang Gao.A New Concentric Circle Detection Method Based on Hough Transform.IEEE Transactions on Computer Science and Education（ICCSE），2012，753-758.

［8］朱桂英，張瑞林.基于Hough變換的圓檢測方法［J］.計算機工程與設(shè)計，2008，29（6）：1462-1464.

［9］李富裕，李言俊，張科.鏈碼技術(shù)在景象圖像特征提取中的應(yīng)用［J］.中國圖像圖形學(xué)報，2008，13（1）：114-118.

［10］陳優(yōu)廣.邊界跟蹤、區(qū)域填充及鏈碼的應(yīng)用研究［D］.上海：華東師范大學(xué)，2006.

［11］石旦旦，王萬良，鄭建煒，等.基于差分碼的指紋細(xì)節(jié)點檢測［J］.信息與控制，2010，39（4）：507-512.

［12］Zheng you Zhang.A Flexible New Technique for Camera Calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

（編輯 趙蓉）

Industrial Robot Components Assembly Based on M achine Vision Technology

WANG Shuai1，2，XU Fang1，3，CHEN Liang3，ZOU Feng-shan3，Li Bang-yu3
（1.State Key Laboratory of Robotics，Shenyang Institute of Automation，Chinese Academy of Sciences，Shenyang 110016，China；2.University of Chinese Academy of Sciences，Beijing 100049，China）

Aiming at the application of automatic assembly of robot components in robot production line，this paper appliedmachine vision technology to accomplish the intelligentassembly of the robotbase and first axis reducer.In order to get base is pose，a circular feature recognition algorithm based on Hough transform is studied.For the reducer，as camera has certain curvature under the large field of view，a pose recognition algorithm based on chain code is proposed.Analyze the cameramodel in Open CV library.The experimental result shows that the vision algorithm has the characteristic of reliability and feasibility.Combined w ith the application of heavy-load industrial robot，thewhole vision system realizes the intelligentassembly of robot base and first axis gear reducer，which is“manufacturing robotw ith robot”.

machine-vision；intelligent assembly；industrial robot

TH166；TG659

A

1001-2265（2015）08-0107-04 DOI：10.13462/j.cnki.mmtamt.2015.08.028

2014-10-21；

2014-11-19

國家高技術(shù)研究發(fā)展計劃（2013AA041005）

王帥（1988-），男，山東濟寧人，中國科學(xué)院沈陽自動化研究所碩士研究生，研究方向為機器視覺，（E-mail）wangshuai@sia.cn。