基于機(jī)器視覺的汽車工件抓取定位系統(tǒng)設(shè)計(jì)與開發(fā)

翟永杰 劉金龍 程海燕

摘 要： 基于機(jī)器視覺的定位方法具有非接觸、柔性好、自動(dòng)化和智能化水平高等特點(diǎn)，能夠較好地滿足工業(yè)自動(dòng)化生產(chǎn)的需求。針對(duì)某汽車焊裝生產(chǎn)線的“五門一蓋”上、下工件系統(tǒng)進(jìn)行研究，充分考慮某汽車生產(chǎn)線的現(xiàn)場(chǎng)條件及工件特性，設(shè)計(jì)一套基于機(jī)器視覺的工件抓取定位系統(tǒng)。系統(tǒng)以FANUC機(jī)器人為基礎(chǔ)平臺(tái)，采用Basler工業(yè)相機(jī)、光學(xué)鏡頭等共同搭建視覺定位單元。系統(tǒng)標(biāo)定采用單應(yīng)性矩陣的原理，定位采用最小外接矩形方法。結(jié)果表明，該系統(tǒng)實(shí)現(xiàn)了車門的準(zhǔn)確定位及抓取，定位精度達(dá)到了生產(chǎn)線的技術(shù)要求。

關(guān)鍵詞： 機(jī)器視覺； 工件定位； 圖像處理； 標(biāo)定； 特征檢測(cè)； 汽車生產(chǎn)線

中圖分類號(hào)： TN948.2?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）20?0006?04

Abstract： The positioning method based on machine vision has the characteristics of non?contact， flexibility， higher level of automation and intelligence， which can meet the requirements of industrial automation production. Therefore， a workpiece grasping and positioning system based on machine vision is designed， taking the upper and lower workpiece system （a cover and five doors） of a certain automobile welding production line for research， and fully considering the site conditions and workpiece characteristics of the automobile production line. In the system， the Basler industrial camera and optical lens are used to cooperatively establish the vision positioning unit， taking the FANUC robot as the basic platform. The principle of homograph matrix is adopted for system calibration. The minimum external rectangle method is adopted for positioning. The results show that the system can realize accurate positioning and grasping of automobile doors， and the positioning precision can meet the technical requirements of the production line.

Keywords： machine vision； workpiece positioning； image processing； calibration； feature detection； automobile production line

在汽車生產(chǎn)中，焊裝車間主要完成對(duì)白車身的五大主體（側(cè)圍、“五門一蓋”、后地板、前地板、機(jī)艙）的涂膠、焊接、裝配等加工作業(yè)。經(jīng)調(diào)研，某汽車焊裝生產(chǎn)線除上、下工件外，均可由工業(yè)機(jī)器人自主完成，不需人工參與。該汽車焊裝生產(chǎn)線目前工件的定位方式為傳統(tǒng)的定位方式：重力定位、機(jī)械定位。需要人工將來(lái)自沖壓車間的工件從料筐中取出，然后精確放置到固定夾具或?qū)χ信_(tái)上，然后機(jī)器人以固定的姿態(tài)將工件抓起。重力定位及機(jī)械定位，雖然在一定程度上能滿足作業(yè)要求，但需要人工介入，不能實(shí)現(xiàn)可持續(xù)的自動(dòng)化生產(chǎn)，在靈活性、效率及精度方面存在一定的缺陷。

本文針對(duì)該汽車焊裝生產(chǎn)線未實(shí)現(xiàn)自動(dòng)化生產(chǎn)的人工作業(yè)環(huán)節(jié)進(jìn)行研究，在不更換原有粗定位料筐的基礎(chǔ)上，采用機(jī)器視覺定位技術(shù)實(shí)現(xiàn)工件定位。機(jī)器視覺定位技術(shù)可以很好地滿足柔性化生產(chǎn)的需求，實(shí)現(xiàn)焊裝車間全流程自動(dòng)化作業(yè)，降低生產(chǎn)線改造成本，提高焊裝車間的自動(dòng)化水平。

1 系統(tǒng)總體設(shè)計(jì)

本文所設(shè)計(jì)的視覺抓取定位系統(tǒng)包含工件抓取單元、工件定位單元兩部分。系統(tǒng)的研究工作是基于機(jī)器人學(xué)與計(jì)算機(jī)視覺技術(shù)來(lái)完成的。

1.1 系統(tǒng)方案

本文所設(shè)計(jì)的機(jī)器視覺抓取定位系統(tǒng)包括工件抓取單元、工件定位單元兩部分。工件抓取單元主要用于協(xié)助機(jī)器人機(jī)械手將目標(biāo)工件從料筐中順利取出。工件定位單元包括硬件部分和軟件部分，硬件部分主要用于采集清晰的目標(biāo)工件圖像。軟件部分旨在通過(guò)視覺算法獲得目標(biāo)工件的圖像坐標(biāo)，進(jìn)而通過(guò)標(biāo)定參數(shù)將像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)[1]。系統(tǒng)整體流程圖如圖1所示。

1.2 工件定位單元硬件部分

硬件部分由工業(yè)相機(jī)、工業(yè)鏡頭、光源等組成，相機(jī)固定于機(jī)器人的抓手之外（機(jī)器人右前方），相機(jī)不隨機(jī)器人抓手的移動(dòng)而移動(dòng)。 系統(tǒng)的具體選型見表1，系統(tǒng)的結(jié)構(gòu)圖見圖2。

1.3 視覺定位軟件系統(tǒng)設(shè)計(jì)

系統(tǒng)軟件的視覺算法部分主要是基于Windows使用EmguCV圖像庫(kù)與C#混合編程開發(fā)的，機(jī)器人側(cè)的編程通過(guò)KAREL語(yǔ)言實(shí)現(xiàn)，由于試驗(yàn)的原因借用PC機(jī)作為處理器。視覺定位依賴于相機(jī)采集到的二維圖像，因此只進(jìn)行二維定位。

視覺定位軟件的工作流程如圖3所示。

2 系統(tǒng)標(biāo)定

2.1 單應(yīng)性矩陣原理

平面的單應(yīng)性定義：一個(gè)平面到另外一個(gè)平面的投影映射。在圖形學(xué)中，物體在物理坐標(biāo)系中的坐標(biāo)與像素坐標(biāo)系中的坐標(biāo)之間是一一對(duì)應(yīng)的，其關(guān)系為一投影變換矩陣（單應(yīng)性矩陣）。一個(gè)單應(yīng)性矩陣H的大小為3×3，設(shè)某點(diǎn)p在一坐標(biāo)平面上的齊次坐標(biāo)為p1=（x1，y1，w1）T，將其映射到另一坐標(biāo)平面上，對(duì)應(yīng)點(diǎn)的齊次坐標(biāo)為p2=（X1，Y1，w2）T。則滿足：

由式（5）可通過(guò)最小二乘法或SVD分解來(lái)求解矩陣H。求得矩陣H，可以根據(jù)式（1）在已知面內(nèi)的一點(diǎn)坐標(biāo)求解其投影平面內(nèi)的坐標(biāo)。

2.2 單應(yīng)性矩陣在系統(tǒng)標(biāo)定中的應(yīng)用

本文研究的內(nèi)容是基于相機(jī)的針孔模型[2?5]進(jìn)行的，相機(jī)的幾何成像圖如圖4所示。圖中OC?XCYCZC為相機(jī)坐標(biāo)系，其中ZC軸為光軸且垂直于相機(jī)的成像平面。OW?XWYWZW為世界坐標(biāo)系，為根據(jù)需要而建立的外部坐標(biāo)系，通常是通過(guò)機(jī)器人的標(biāo)定建立的，用來(lái)描述對(duì)應(yīng)空間中物體的位置與姿態(tài)。

2.3 本文視覺系統(tǒng)標(biāo)定模型的構(gòu)建

本文使用EYE_TO_HAND工作模式，EYE_TO_HAND的系統(tǒng)結(jié)構(gòu)如圖5所示。在此系統(tǒng)中主要存在以下幾個(gè)坐標(biāo)系：機(jī)器人末端工具坐標(biāo)系（Tool_0）、機(jī)器人夾具工具坐標(biāo)系 （Cal）、相機(jī)坐標(biāo)系（Camera）、世界坐標(biāo)系（World 或Base），用戶坐標(biāo)系（UF）。

圖中：機(jī)器人基坐標(biāo)系Base到Tool_0及Tool_0到夾具坐標(biāo)系Cal的轉(zhuǎn)換關(guān)系可以通過(guò)機(jī)器人控制器直接讀取獲得，即轉(zhuǎn)換矩陣B與X已知[7]；用戶坐標(biāo)系UF到機(jī)器人基坐標(biāo)系Base的轉(zhuǎn)換關(guān)系Y，同樣可以借助“三點(diǎn)法”建立UF的過(guò)程由機(jī)器人示教器獲得。圖中用矩陣H表示圖像坐標(biāo)系中的一點(diǎn)q到用戶坐標(biāo)系的轉(zhuǎn)換關(guān)系。依據(jù)第2.2節(jié)的原理，可以通過(guò)查找圖像坐標(biāo)系與用戶坐標(biāo)系中不共線的4組對(duì)應(yīng)點(diǎn)來(lái)求取矩陣H。從而通過(guò)式（1）得到圖像中的一點(diǎn)在用戶坐標(biāo)系UF中的坐標(biāo)，然后通過(guò)矩陣Y轉(zhuǎn)換：

將Q點(diǎn)的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系中的坐標(biāo)[QW]。從此機(jī)器人控制器通過(guò)逆向運(yùn)動(dòng)學(xué)原理及矩陣B與X求解各軸的轉(zhuǎn)動(dòng)角度，最終控制機(jī)器人末端將工件調(diào)整至目標(biāo)姿態(tài)。

2.4 系統(tǒng)標(biāo)定的實(shí)現(xiàn)

系統(tǒng)標(biāo)定的過(guò)程如下：

1） 將工件置于標(biāo)準(zhǔn)的參考位置，并將標(biāo)定板固定于工件特征區(qū)域，示教機(jī)器人通過(guò)“三點(diǎn)法”建立用戶坐標(biāo)系；

2） 采集標(biāo)定板圖像，并取6個(gè)角點(diǎn)信息，如表2所示；

3） 通過(guò)上述原理計(jì)算單應(yīng)性矩陣H；

3 工件定位

3.1 目標(biāo)圖像預(yù)處理及特征提取

在本文中以汽車左前門為例進(jìn)行測(cè)試，特征選擇為門把手的安裝孔。直接采集的圖像由于周圍環(huán)境的影響（如焊裝車間點(diǎn)焊的火花、弧焊的弧光等）使得圖像質(zhì)量下降，因此，先對(duì)特征信息進(jìn)行增強(qiáng)、提取。對(duì)目標(biāo)特征進(jìn)行分析：特征為不規(guī)則的多邊形，并且多邊形的相鄰邊均為平滑連接，角點(diǎn)特征不穩(wěn)定[8?9]。因此選擇對(duì)特征的輪廓信息進(jìn)行研究，為了準(zhǔn)確地提取輪廓信息，增強(qiáng)感興趣區(qū)域，預(yù)處理過(guò)程如圖6所示。預(yù)處理結(jié)果及特征輪廓見圖7。

3.2 工件定位

鑒于目標(biāo)工件的特征特點(diǎn)，選用最小外接矩形定位方法[10]。定位過(guò)程如圖8所示。定位原理如下：首先建立一個(gè)標(biāo)準(zhǔn)參考模板，記錄模板特征的最小外接矩形的中心及長(zhǎng)軸的斜率；然后在每次采集圖像后同樣計(jì)算工件特征的最小外接矩形的中心及長(zhǎng)軸斜率；最后與標(biāo)準(zhǔn)參考模板比較算出工件的偏移量及旋轉(zhuǎn)角度。

4 試驗(yàn)結(jié)果

為了便于測(cè)量計(jì)算系統(tǒng)的定位誤差，在參考模板的基礎(chǔ)上示教機(jī)器人分別在X，Y方向上移動(dòng)固定的距離D。然后利用視覺系統(tǒng)對(duì)工件定位，定位結(jié)果為d，機(jī)器人本身的誤差為e，則定義視覺定位誤差：

通過(guò)試驗(yàn)可知，視覺系統(tǒng)可以準(zhǔn)確地將工件定位，且定位精度滿足生產(chǎn)工藝的要求。由此通過(guò)料筐取料、視覺系統(tǒng)定位、坐標(biāo)轉(zhuǎn)化等機(jī)器人可以自主地將工件從料筐中取出直接進(jìn)行下一步的涂膠、裝配等作業(yè)，替代了人工上料及機(jī)械定位的過(guò)程，提高了生產(chǎn)節(jié)拍。

5 結(jié) 論

在工業(yè)應(yīng)用中，大多數(shù)基于視覺的抓取定位作業(yè)都是將相機(jī)安裝于機(jī)械臂上，隨機(jī)器人一起運(yùn)動(dòng)。本文考慮到工件大及料筐的特性，將相機(jī)與機(jī)械臂分離，借用相機(jī)獨(dú)立采集工件的特征區(qū)域進(jìn)行定位，在保證作業(yè)精度的同時(shí)充分利用了現(xiàn)有的粗定位料筐，大大降低了生產(chǎn)線改造成本。本文通過(guò)單應(yīng)性矩陣將相機(jī)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系來(lái)實(shí)現(xiàn)位置的統(tǒng)一，方法簡(jiǎn)單易行。本方案充分考慮汽車生產(chǎn)的現(xiàn)場(chǎng)條件及工件的特性，將機(jī)器視覺定位應(yīng)用于汽車生產(chǎn)過(guò)程中，通過(guò)反復(fù)測(cè)試，此系統(tǒng)重復(fù)定位精度較高，符合汽車生產(chǎn)的基本要求。

參考文獻(xiàn)

[1] 陳陽(yáng)光，王磊.基于HALCON的機(jī)器人視覺標(biāo)定[J].光學(xué)儀器，2016，38（4）：320?324.

CHEN Yangguang， WANG Lei. Robot visual calibration based on HALCON [J]. Optical instruments， 2016， 38（4）： 320?324.

[2] BENHIMANE S， MALIS E. Homography?based 2D visual servoing [C]// Proceedings of IEEE International Conference on Robotics and Automation. Orlando： IEEE， 2006： 2397?2402.

[3] YANG Xingfang， HUANG Yumei， GAO Feng. A simple camera calibration method based on sub?pixel comer extraction of the chessboard image [C]// Proceedings of IEEE International Conference on Intelligent Computing and Intelligent Systems. Xiamen： IEEE， 2010： 688?692.

[4] CHAUMETTE F， MALIS E. 2 1/2 D visual servoing： a possible solution to improve image?based and position?based visual servoings [C]// Proceeding of IEEE International Conference on Robotics and Automation. San Francisco： IEEE， 2000： 630?635.

[5] 劉嵩，葉玉堂，孫強(qiáng)，等.基于單應(yīng)性矩陣的棋盤格角點(diǎn)檢測(cè)研究[J].電子設(shè)計(jì)工程，2012，20（6）：114?117.

LIU Song， YE Yutang， SUN Qiang， et al. Research of chessboard′s corner detection based on homography [J]. Electronic design engineering， 2012， 20（6）： 114?117.

[6] 丁建華，姚明海，趙瑜.基于單應(yīng)性矩陣的機(jī)器人視覺伺服系統(tǒng)研究[J].機(jī)電工程，2012，29（12）：1485?1489.

DING Jianhua， YAO Minghai， ZHAO Yu. Study of visual servoing system of robot based on homography matrix [J]. Journal of mechanical & electrical engineering， 2012， 29（12）： 1485?1489.

[7] ZHUANG H， ROTH Z S， SUDHAKAR R. Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB [J]. IEEE transactions on robotics and automation， 1994， 10（4）： 549?554.

[8] 趙鵬.機(jī)器視覺理論及應(yīng)用[M].北京：電子工業(yè)出版社，2011.

ZHAO Peng. The theory and application of machine vision [M]. Beijing： Publishing House of Electronics Industry， 2011.

[9] 張錚，王艷平，薛桂香.數(shù)字圖像處理與機(jī)器視覺[M].北京：人民郵電出版社，2010.

ZHANG Zheng， WANG Yanping， XUE Guixiang. Digital image processing and machine vision [M]. Beijing： Posts & Telecom Press， 2010.

[10] 陳棟梁，李蓓智，周虎.基于零件輪廓形心與最小外接矩形的圖像配準(zhǔn)方法[J].制造業(yè)自動(dòng)化，2012，34（8）：48?51.

CHEN Dongliang， LI Beizhi， ZHOU Hu. An image registration method for mechanical parts based on centroids and minimum enclosing rectangles of contours [J]. Manufacturing automation， 2012， 34（8）： 48?51.