基于機(jī)器視覺(jué)的高精度螺孔定位方法研究

郭 靜，羅 華，張棟棟

（航天科技集團(tuán)九院第16研究所機(jī)器人事業(yè)部，西安710100）

基于機(jī)器視覺(jué)的高精度螺孔定位方法研究

郭 靜，羅 華，張棟棟

（航天科技集團(tuán)九院第16研究所機(jī)器人事業(yè)部，西安710100）

針對(duì)手工安裝工件、勞動(dòng)強(qiáng)度大以及效率低等問(wèn)題，提出了一種基于機(jī)器視覺(jué)的螺孔定位檢測(cè)方法。利用CCD攝像機(jī)實(shí)時(shí)采集局部待定位物圖像，并對(duì)圖像進(jìn)行處理，提取螺孔坐標(biāo)，然后通過(guò)物理坐標(biāo)關(guān)系得到拍攝范圍外的螺孔的坐標(biāo)，最后經(jīng)過(guò)eye-hand手眼標(biāo)定轉(zhuǎn)換到機(jī)器人坐標(biāo)系下的坐標(biāo)。該方法解決了受外界條件限制，對(duì)目標(biāo)測(cè)量的過(guò)程不能一步完成的問(wèn)題，實(shí)現(xiàn)了較大物件的自動(dòng)、快速、準(zhǔn)確定位功能。

機(jī)器視覺(jué)；螺孔；定位；高精度

0　引言

在現(xiàn)代工業(yè)中，自動(dòng)化裝配系統(tǒng)能夠部分取代人工技能和判斷力進(jìn)行反復(fù)的裝配操作，提高生產(chǎn)效率。目前國(guó)際和國(guó)內(nèi)已經(jīng)開(kāi)展了相關(guān)的研究和應(yīng)用試驗(yàn)，將機(jī)器視覺(jué)系統(tǒng)引入到自動(dòng)化裝配過(guò)程中，利用機(jī)器視覺(jué)代替人眼完成測(cè)試和判斷，大大提高了生產(chǎn)線(xiàn)的自動(dòng)化和智能化程度。基于機(jī)器視覺(jué)的裝配系統(tǒng)以其柔性化裝配系統(tǒng)，在提高裝配精度、保證產(chǎn)品質(zhì)量的穩(wěn)定性以及提高生產(chǎn)率等方面顯示出了極大的優(yōu)越性。

一般情況下，待定位物的目標(biāo)特征可以完全進(jìn)入攝像機(jī)視野當(dāng)中，測(cè)量和定位過(guò)程相對(duì)較為容易，然而，對(duì)于尺寸跨度較大的物體或受相機(jī)架設(shè)高度和視野范圍的限制，對(duì)目標(biāo)測(cè)量的過(guò)程不能一步完成。如何實(shí)現(xiàn)工件大范圍自動(dòng)測(cè)量和精密裝配，解決高精度、高分辨率、快速定位的矛盾是自動(dòng)裝配系統(tǒng)研制需要解決的問(wèn)題。

本文根據(jù)裝配線(xiàn)的需求，研制了一種基于機(jī)器視覺(jué)的定位方法，通過(guò)對(duì)工件螺孔的高精度檢測(cè)，完成了螺孔的快速準(zhǔn)確定位檢測(cè)的算法研究，以及 “由點(diǎn)到面”的孔位計(jì)算方法，實(shí)現(xiàn)了較大物件的自動(dòng)測(cè)量和精密裝配，產(chǎn)品的一致性和裝配作業(yè)效率得到提高，同時(shí)為工件的自動(dòng)化裝配提供了可靠方法。

1　視覺(jué)定位工作原理

通過(guò)機(jī)器視覺(jué)對(duì)工件螺孔位置進(jìn)行自動(dòng)檢測(cè)，主要分為圖像采集、圖像處理和系統(tǒng)標(biāo)定三部分，如圖1所示。圖像采集模塊負(fù)責(zé)獲取圖像，并通過(guò)合理的光源布置，使目標(biāo)區(qū)域具有良好的對(duì)比度，并將采集到的圖像存儲(chǔ)于工控機(jī)（IPC）內(nèi)存中。圖像處理模塊負(fù)責(zé)對(duì)采集的圖像進(jìn)行處理，提取螺孔輪廓的幾何特征擬合后定位螺孔的中心點(diǎn)坐標(biāo)，該坐標(biāo)是相對(duì)于相機(jī)的圖像坐標(biāo)系而言，單位為Pixel，機(jī)器人不能直接使用。系統(tǒng)標(biāo)定完成三個(gè)功能:1）確定相機(jī)的分辨率，即一個(gè)像素代表的實(shí)際物理距離；2）由相機(jī)拍攝的兩個(gè)螺孔坐標(biāo)推算其余所有孔位；3）確定相機(jī)圖像坐標(biāo)系和機(jī)器人坐標(biāo)系之間的關(guān)系，經(jīng)過(guò)手眼標(biāo)定將螺孔在圖像坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的坐標(biāo)。

圖 1 機(jī)器視覺(jué)定位流程Fig.1 Flowchart of machine vision positioning

2　圖像處理算法

在采集到的螺孔圖像中快速準(zhǔn)確地檢測(cè)出螺孔的中心位置，機(jī)器人才能準(zhǔn)確調(diào)整位置進(jìn)行快速定位，一次性地完成打螺絲過(guò)程。因此，對(duì)螺孔圖像的快速、準(zhǔn)確定位在機(jī)器視覺(jué)自動(dòng)裝配中有著重要的意義。圖像處理的主要任務(wù)是準(zhǔn)確、快速地檢測(cè)物件中所有螺孔的中心點(diǎn)坐標(biāo)。但是受物件尺寸和攝像機(jī)視野的限制，對(duì)所有螺孔的定位不能通過(guò)拍攝到的圖像一步檢測(cè)完成。為了克服此困難，提出了由點(diǎn)到面的定位方法，首先通過(guò)拍攝其中兩個(gè)螺絲孔位，然后根據(jù)其余孔位與拍攝到的螺絲孔位的物理坐標(biāo)關(guān)系，計(jì)算出物件所有孔位的坐標(biāo)。同時(shí)在相機(jī)分辨率一定的情況下，縮小拍攝范圍也提高了定位精度。圖2所示為攝像機(jī)所能拍到的兩個(gè)螺孔圖像。

圖2　CCD攝像機(jī)拍攝的螺孔圖像Fig.2 The screw image by CCD camera

由于螺孔近似為圓形，而傳統(tǒng)的圓檢測(cè)方法是Hough變換法。Hough變換法具有較強(qiáng)的抗噪聲、抗形狀不連續(xù)等優(yōu)點(diǎn)。但它的計(jì)算量和所需的存儲(chǔ)量與參數(shù)個(gè)數(shù)成指數(shù)關(guān)系，難以進(jìn)行實(shí)時(shí)處理，在裝配線(xiàn)上無(wú)法滿(mǎn)足在線(xiàn)檢測(cè)的要求。鑒于Hough算法的不足，目前還有學(xué)者基于Hough提出了很多圓定位檢測(cè)方法，但都存在一定的缺陷，無(wú)法應(yīng)用到高精度自動(dòng)裝配過(guò)程中。為此，本文提出了一種適合自動(dòng)裝配的螺孔定位方法，提高了系統(tǒng)的柔性和精度。算法流程如圖3所示。

首先對(duì)采集的圖像進(jìn)行預(yù)處理，對(duì)圖像中的信息有選擇地加強(qiáng)和抑制，以改善圖像的視覺(jué)效果，將圖像轉(zhuǎn)換為更適合于機(jī)器處理的形式，便于數(shù)據(jù)抽取或是識(shí)別，圖4為對(duì)采集的螺孔圖像在感興趣區(qū)域內(nèi)預(yù)處理后的結(jié)果。然后對(duì)圖像進(jìn)行閾值分割，獲得反應(yīng)圖像整體和局部特征的二值化圖像，這既有利于提高目標(biāo)輪廓的對(duì)比度，又便于圖像的簡(jiǎn)化處理，減少數(shù)據(jù)量、提高處理速度，分割結(jié)果如圖5所示。根據(jù)特征提取螺孔邊緣，如圖6所示。圖7為提取到螺孔細(xì)節(jié)放大圖，可以明顯看出提取到的螺孔包含了一些冗余信息，精度較差。

圖3　圖像處理算法流程Fig.3 Flowchart of image processing algorithm

圖4　預(yù)處理結(jié)果Fig.4 The result of pretreatment

圖5　螺孔圖像分割圖Fig.5 The segment result of screw image

圖6　檢測(cè)結(jié)果Fig.6 The detection result

圖7　螺孔邊緣細(xì)節(jié)放大圖Fig.7 The edges of screw

為了提高檢測(cè)精度，對(duì)提取的螺孔輪廓經(jīng)過(guò)亞像素處理后得到的螺孔細(xì)節(jié)放大圖如圖8所示，最后經(jīng)過(guò)擬合獲得螺孔的中心坐標(biāo)，細(xì)節(jié)放大圖如圖9所示。

圖8　經(jīng)亞像素處理后螺孔邊緣放大圖Fig.8 The screw image after sub pixel image processing

圖9　螺孔檢測(cè)結(jié)果Fig.9 The test results of screw

3　攝像機(jī)標(biāo)定

3.1攝像機(jī)CCD成像模型

如圖10所示，在圖像上定義直角坐標(biāo)系uoov，像素坐標(biāo)（u，v）代表該像素在圖像中的行數(shù)和列數(shù)建立一個(gè)以物理單位（如mm）表示的圖像坐標(biāo)系xOy，將原點(diǎn)O定義在攝像機(jī)光軸與圖像平面的交點(diǎn)，一般位于圖像中心處x軸和y軸分別與u軸和v軸平行，若O在uoov坐標(biāo)系中的坐標(biāo)為（uo，vo），每個(gè)像素在x軸和y軸方向的物理尺寸為dx和dy，則圖像中任意像素在2個(gè)坐標(biāo)系下的坐標(biāo)有如下關(guān)系:

用齊次矩陣可將式（1）表示為:

圖10　攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系Fig.10 Camera coordinate system and image coordinate system

以攝像機(jī)為中心制定的坐標(biāo)系XcYcZc如圖10所示，一般小孔攝像機(jī)模型的聚焦中心為原點(diǎn)oc，Xc軸Yc軸分別與圖像的X軸和Y軸平行，Zc軸為攝像機(jī)的光軸，與圖像平面垂直。

根據(jù)針孔成像模型，采用2個(gè)焦距（fx，fy）來(lái)表示空間中的一點(diǎn)經(jīng)攝像機(jī)成像后在圖像平面坐標(biāo)X、Y方向上的比例縮放系數(shù)。如圖11所示，變換公式為:

圖11　圖像坐標(biāo)系Fig.11 Image coordinate system

用齊次坐標(biāo)可表示為:

由式（3）和式（4）可得:

3.2攝像機(jī)CCD標(biāo)定

如圖12所示，建立圖像坐標(biāo)系的方法為:1）微調(diào)工件位置，使B1、B2連線(xiàn)與圖像坐標(biāo)系的Y軸平行；2）將標(biāo)定板貼到工件表面，并微調(diào)標(biāo)定板使其水平方向與圖像坐標(biāo)系的X軸平行，垂直方向與圖像坐標(biāo)系的Y軸平行，并將O點(diǎn)（xpO，ypO）設(shè)定為攝像機(jī)坐標(biāo)系的原點(diǎn)。同時(shí)還可以根據(jù)標(biāo)定板刻度與圖像像素之間的關(guān)系求得每個(gè)像素的實(shí)際物理尺寸kx、ky（物理距離/像素距離），根據(jù)攝像機(jī)成像原理，B1點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為:

由于攝像機(jī)CCD只能拍攝到物件的兩個(gè)孔位，其余孔位的坐標(biāo)通過(guò)孔位間的物理坐標(biāo)關(guān)系求得。也就是其余任意一孔位C與該螺孔的相對(duì)位置（dx，dy），以及與B1、B2點(diǎn)連線(xiàn)夾角θ求得任意點(diǎn)在圖像物理坐標(biāo)下的坐標(biāo)，如圖13所示。任意孔位相對(duì)于孔位B1的物理坐標(biāo)如下:

用齊次坐標(biāo)表示為:

圖12　待定位物件圖像和標(biāo)定板Fig.12 Image to be positioned and the calibration board

圖13　其余螺孔與參照螺孔關(guān)系圖Fig.13 The relationship between other screws and compared one

4　手眼標(biāo)定

手眼標(biāo)定是指求取攝像機(jī)坐標(biāo)系與機(jī)器人坐標(biāo)系之間的矩陣變換關(guān)系。手眼標(biāo)定一般有2種形式:Eye-in-Hand系統(tǒng)（攝像機(jī)直接安裝在機(jī)械手上，隨機(jī)器人一起運(yùn)動(dòng)）；另一種為 Eye-to-Hand系統(tǒng)（攝像機(jī)固定安裝，位置不隨機(jī)器人運(yùn)動(dòng)而改變），由于裝配系統(tǒng)結(jié)構(gòu)的特殊性，裝配機(jī)器人一般采用攝像機(jī)固定安裝手眼系統(tǒng)，對(duì)于固定安裝手眼系統(tǒng)的標(biāo)定，兩坐標(biāo)系之間的齊次坐標(biāo)變換關(guān)系可寫(xiě)為:

手眼標(biāo)定過(guò)程為:首先操作機(jī)器人移動(dòng)得到機(jī)器人坐標(biāo)系下視覺(jué)標(biāo)定板原點(diǎn)O的機(jī)器人坐標(biāo)得到機(jī)器人坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)。

操作機(jī)器人移動(dòng)得到視覺(jué)標(biāo)定板A、B、C點(diǎn)坐標(biāo)，計(jì)算OA和BC兩條直線(xiàn)在機(jī)器人坐標(biāo)系下與y軸的偏轉(zhuǎn)角，OB和AC兩條直線(xiàn)在機(jī)器人坐標(biāo)系下與x軸的偏轉(zhuǎn)角，這四個(gè)角度值基本一樣，為減小誤差，求得四個(gè)角的平均值為θrv，坐標(biāo)系關(guān)系如圖14所示。

圖14　視覺(jué)坐標(biāo)系與機(jī)器人坐標(biāo)系關(guān)系圖Fig.14 The relationship of angle between machine vision coordinate system and robot coordinate system

經(jīng)過(guò)推算得到視覺(jué)坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換公式如下:

用齊次坐標(biāo)表示為:

其中，xv、yv為螺孔在攝像機(jī)坐標(biāo)系下的坐標(biāo)。

5　實(shí)驗(yàn)結(jié)果

5.1螺孔檢測(cè)

通過(guò)重復(fù)拍攝10組圖像提取出各個(gè)螺孔的中心坐標(biāo)，如表1所示。First_hole表示第一個(gè)螺孔的中心點(diǎn)像素坐標(biāo)，Second_hole表示第二個(gè)螺孔的中心點(diǎn)像素坐標(biāo)。通過(guò)重復(fù)定位精度實(shí)驗(yàn)，提取的中心點(diǎn)坐標(biāo)最大相差0.13個(gè)像素。

表1　中心點(diǎn)坐標(biāo)值Table 1 The value of enter point

5.2標(biāo)定結(jié)果

標(biāo)定過(guò)程在自行開(kāi)發(fā)的程序控制下進(jìn)行，攝像機(jī)標(biāo)定結(jié)果如下:

其中，kx=0.782，ky=0.787，攝像機(jī)坐標(biāo)系的原點(diǎn)坐標(biāo)為（438.664，869.288）。

手眼標(biāo)定得到機(jī)器人坐標(biāo)系與攝像機(jī)坐標(biāo)系的位置和姿態(tài)關(guān)系為:

為了驗(yàn)證標(biāo)定結(jié)果的有效性和精度，分別比較了通過(guò)本文闡述的定位方法提取的6個(gè)不同位置的孔位坐標(biāo)與實(shí)際的坐標(biāo)，如表2所示，發(fā)現(xiàn)圖像提取點(diǎn)與實(shí)際數(shù)據(jù)之間的位置偏差不超過(guò)0.01mm，具有較好的定位精度。

表2　實(shí)驗(yàn)結(jié)果比較Table 2 Experimental result

6　結(jié)論

研究了一套基于機(jī)器視覺(jué)的定位方法，通過(guò)對(duì)采集到的局部工件圖像進(jìn)行圖像處理提取螺孔中心坐標(biāo)，并通過(guò)手眼標(biāo)定轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的坐標(biāo)，解決了較大工件的定位不能一步完成的問(wèn)題，實(shí)現(xiàn)了自動(dòng)裝配生產(chǎn)線(xiàn)上工件的自動(dòng)檢測(cè)和高精度定位，提高了裝配線(xiàn)的自動(dòng)化和智能化程度。

［1］ Boissenin M，Wedekind J，Selvan A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25（7）：1107-1116.

［2］ Schottler K，Raatz A，Hessellbach J.Precision assembly of active Microsystems with a size-adapted assembly system［C］.Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008：199-206.

［3］ 徐征，王曉東，程新宇，等.基于機(jī)器視覺(jué)的微裝配控制策略及軟件架構(gòu)［J］.光學(xué)精密工程，2009，17（4）：819-824. XU Zheng，WANGXiao-dong，CHENGXin-yu，et al.Microassemblycontrolstrategyandsoftware architecture based on machine vision［J］.Optics and Precision Engineering，2009，17（4）：819-824.

［4］ 胡小平，左富勇，謝珂.微裝配機(jī)器人手眼標(biāo)定方法研究［J］.儀器儀表學(xué)報(bào)，2012，33（7）：1521-1526. HU Xiao-ping，ZUO Fu-yong，XIE Ke.Microassembly robot hand eye calibration method research［J］.Chinese JournalofScientificInstrument， 2012， 33（7）：1521-1526.

［5］ Han Jian-hai，Zhao Shu-shang，Sun Wei.Research on subpixel detecting on-line system based on machine vision for inner diameter of bearings［C］.Proceedings of the 2007 IEEEInternationalConferenceonRoboticsand Biomimetics，2007.

［6］ 王曉東，宋洪俠，劉超.基于機(jī)器視覺(jué)的微小零件測(cè)量與裝配控制［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2011，32（9）：1117-1120. WANG Xiao-dong，SONG Hong-xia，LIU Chao.Measurement and assembly control of micro parts based on machine vision ［J］.Journal of Harbin Engineering University，2011，32（9）：1117-1120.

［7］ 宿靖波.機(jī)器視覺(jué)在機(jī)器零部件裝配自動(dòng)定位中的應(yīng)用［J］.機(jī)床與液壓，2013（24）：82-86. SU Jing-bo.Application of machine vision in automatic positioning of machine parts and components［J］.Machine Tool&Hydraulics，2013（24）：82-86.

［8］ YANG Dong-tao，GONG Chang-lai.Dimensional inspection for part using image processing techniques［J］.Coal Mine Machinery，2012，33（5）：141-143.

Research on a High Precision Screw Positioning Detection Method Based on Machine Vision

GUO Jing，LUO Hua，ZHANG Dong-dong
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

For manual installation artifacts，labor-intensive and low efficiency，the paper proposes a kind of screw position detection method based on machine vision.First，use CCD camera in real time to image artifacts acquisition，and deal with the image，extracts the coordinates of screw holes.Then determine all of the rest of the screw hold coordinates by physical coordinate relationship.Finally，through the eye-hand calibration switch to the coordinates of the robot coordinate system.This method realizes the work automatically，quickly and accurately locate detection.

machine vision；screw holes；position；high precision

TN1

A

1674-5558（2016）05-01144

10.3969/j.issn.1674-5558.2016.03.020

2015-06-16

郭靜，女，碩士，控制理論與控制工程專(zhuān)業(yè)，助理工程師，研究方向?yàn)闄C(jī)器視覺(jué)。