基于機(jī)器視覺的機(jī)械手裝配系統(tǒng)設(shè)計

，

(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510641)

0 引言

裝配是產(chǎn)品生產(chǎn)的后置工序，在整個制造業(yè)的過程中有著十分重要的地位。傳統(tǒng)的工業(yè)裝配主要由人工手動操作，工作效率低下，精度偏低。機(jī)械制造生產(chǎn)的自動化是制造業(yè)長期發(fā)展的目標(biāo)之一，通過自動化的生產(chǎn)不僅能大大地提高生產(chǎn)效率，降低勞動強(qiáng)度，還能提高產(chǎn)品的質(zhì)量，進(jìn)而增強(qiáng)產(chǎn)品在市場中的競爭力[1]。一般傳統(tǒng)的自動化裝配生產(chǎn)線上，裝配機(jī)器人的動作都是預(yù)先嚴(yán)格設(shè)定好的，只能做一些固定的動作，這些機(jī)器人都是通過各種傳感器來進(jìn)行控制運(yùn)動，所以被稱為敏感控制機(jī)器人[2]。在機(jī)器人進(jìn)行裝配操作的時候，要求零件和料板等都必須按照設(shè)定的位置和特定的方向進(jìn)行放置，這就對配套的夾具和固定機(jī)構(gòu)的性能要求極高，同時傳輸帶也必須經(jīng)過特殊的設(shè)計。但是，在實(shí)際的生產(chǎn)過程中，由于多方面的原因，零件的位置沒有被嚴(yán)格固定，導(dǎo)致裝配機(jī)器人裝配出現(xiàn)錯誤。因此，自動化裝配對機(jī)器人或者說機(jī)械手的能夠根據(jù)工件的位置，動態(tài)的調(diào)整位姿的能力提出了更高的要求。

人類主要通過各類感覺器官感知外部世界，而人類從外界獲得信息的80% 來自于視覺。視覺信息傳入大腦后，由大腦根據(jù)已有的知識進(jìn)行信息處理工作，進(jìn)一步進(jìn)行判斷和識別[3]。機(jī)器視覺主要研究用計算機(jī)來模擬人的視覺功能從客觀事物的圖像中提取信息，進(jìn)行處理并加以理解，最終用于實(shí)際檢測、測量和控制[4]。機(jī)器視覺系統(tǒng)主要應(yīng)用于工業(yè)探測這樣不適合人工作業(yè)或者人工視覺無法達(dá)到要求的場合；以及自動生產(chǎn)流水線這樣大批量工業(yè)生產(chǎn)過程，能大幅提高生產(chǎn)的質(zhì)量和效率[5]。在國內(nèi)，機(jī)器視覺領(lǐng)域?qū)儆谛屡d行業(yè)，其技術(shù)推廣和運(yùn)用還有很大的發(fā)展余地[6]。各行業(yè)中的應(yīng)用有極大的上升空間。目前隨著我國配套基礎(chǔ)建設(shè)的完善，技術(shù)、資金的積累，各行各業(yè)對采用圖像和機(jī)器視覺技術(shù)的工業(yè)自動化、 智能化需求開始廣泛出現(xiàn)，國內(nèi)有關(guān)大專院校、研究所和企業(yè)近兩年在圖像和機(jī)器視覺技術(shù)領(lǐng)域進(jìn)行了積極思索和大膽的嘗試，逐步開始了許多領(lǐng)域的應(yīng)用，在自動化裝配領(lǐng)域，機(jī)器視覺技術(shù)也提供了一種可行的思路[7]。

1 系統(tǒng)的組成及其工作原理

一個典型的工業(yè)機(jī)器視覺應(yīng)用系統(tǒng)包括光源、光學(xué)系統(tǒng)、圖像捕捉系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機(jī)械控制執(zhí)行模塊[8]。光源的作用主要是獲得對比度鮮明的圖像，圖像的質(zhì)量好壞主要看圖像的邊緣是否銳利，具體來說是看：感興趣的部分和其他部分的灰度值差異是否大、不感興趣部分是否得到消隱、信噪比是否高以及材質(zhì)或照射角度對成像的影響是否少。光學(xué)系統(tǒng)和圖像捕捉系統(tǒng)兩者是緊密連接在一起的，主要包括工業(yè)相機(jī)及其鏡頭，主要作用就是將圖像信息捕捉，傳送給工控機(jī)進(jìn)行后續(xù)處理，也是一個極其重要的環(huán)節(jié)，相機(jī)和鏡頭的選取需要根據(jù)實(shí)際的工作環(huán)境進(jìn)行。數(shù)字圖像處理模塊是核心環(huán)節(jié)，其作用就是通過圖像處理技術(shù)，提取所需的圖像信息，然后通過智能決策模塊，下發(fā)指令給機(jī)械控制執(zhí)行模塊，控制相關(guān)機(jī)器的動作。將機(jī)器視覺技術(shù)應(yīng)用于工業(yè)制造領(lǐng)域，大幅提高了產(chǎn)品的質(zhì)量和可靠性，保證了生產(chǎn)的速度[9]。

本系統(tǒng)主要由工控機(jī)、照明系統(tǒng)、圖像采集系統(tǒng)和機(jī)械運(yùn)動系統(tǒng)等部分組成。照明系統(tǒng)主要由光源和光源控制器組成。圖像采集系統(tǒng)主要由12 mm的變焦光學(xué)鏡頭，面陣相機(jī)組成。機(jī)械運(yùn)動系統(tǒng)主要由運(yùn)動控制卡、工作臺、底座、伺服運(yùn)動系統(tǒng)組成。其中運(yùn)動控制卡選用的是東莞市升力智能有限公司的IPMC8812運(yùn)動控制卡，工業(yè)相機(jī)采用了浙江大華有限公司的A5201MG50型號工業(yè)相機(jī)，鏡頭采用的是12 mm鏡頭。系統(tǒng)結(jié)構(gòu)框架如圖1所示。

圖1 系統(tǒng)框架圖

首先，需要對相機(jī)進(jìn)行標(biāo)定，這是視覺定位的必經(jīng)過程，其中相機(jī)坐標(biāo)系是聯(lián)系圖像坐標(biāo)系和世界坐標(biāo)系的紐帶。通過相機(jī)的標(biāo)定建立了成像模型，確定了相機(jī)的位置及其屬性的參數(shù)，從而確定了圖像點(diǎn)與其對應(yīng)的空間點(diǎn)之間的位置關(guān)系。相機(jī)標(biāo)定以后，工業(yè)相機(jī)通過圖像采集系統(tǒng)獲得料盤的圖片信息，將信息傳送給工控機(jī)的圖像處理程序，經(jīng)過預(yù)處理、二值化，特征提取等圖像處理步驟后，確定4個MARK點(diǎn)的位置信息，包括坐標(biāo)以及角度，最后通過運(yùn)動控制系統(tǒng)下發(fā)指令控制機(jī)械手抓取對應(yīng)料盤移動到相應(yīng)位置，旋轉(zhuǎn)相應(yīng)角度實(shí)現(xiàn)準(zhǔn)確的定位裝配。

2 系統(tǒng)的關(guān)鍵性過程及算法

2.1 相機(jī)的標(biāo)定及其位置的坐標(biāo)變換

2.1.1 坐標(biāo)系的定義

三維物體空間物體成像時，一般用到4個坐標(biāo)系統(tǒng)：世界坐標(biāo)系、相機(jī)坐標(biāo)系、成像平面坐標(biāo)系以及像素坐標(biāo)系[10]。世界坐標(biāo)系OwXwYwZw，也稱為現(xiàn)實(shí)世界坐標(biāo)系，它是一種客觀世界的絕對坐標(biāo)系；相機(jī)坐標(biāo)系OcXcYcZc，以相機(jī)為中心制定的三維直角坐標(biāo)系，原點(diǎn)是在相機(jī)的光心,其ZC軸與光軸重合，XCYC軸位于焦平面上；成像坐標(biāo)系oixy，是定義在相機(jī)成像平面上的，以物理單位表示的二維坐標(biāo)系，原點(diǎn)在相機(jī)光軸與成像平面的焦點(diǎn)，x軸和y軸與相機(jī)坐標(biāo)系的Xc軸和Yc一致；像素坐標(biāo)系ofXfYf，是計算機(jī)里面的數(shù)字圖像所采用的坐標(biāo)系，原點(diǎn)是在數(shù)字圖像的左上角，Xf軸向右，Yf軸向下，分別表示像素在圖像數(shù)組中的列和行[11]。

2.1.2 坐標(biāo)系間的變換

世界坐標(biāo)系到相機(jī)坐標(biāo)系:

(1)

其中:XC表示在相機(jī)坐標(biāo)系的坐標(biāo)，XW表示在世界坐標(biāo)系的坐標(biāo)，R是旋轉(zhuǎn)矩陣，T是平移向量。

相機(jī)坐標(biāo)系到圖像坐標(biāo)系:

(2)

其中:f表示相機(jī)焦平面到成像平面間的距離即焦距，(Xi,Yi)表示在圖像坐標(biāo)系下的坐標(biāo)。

圖像坐標(biāo)系到像素坐標(biāo)系:

因?yàn)閳D像點(diǎn)上的像素坐標(biāo)(Xf,Yf)表示的是像素點(diǎn)在數(shù)字圖像數(shù)組里面的行數(shù)和列數(shù)，并不是用實(shí)際的物理單位在圖像中將像素點(diǎn)表示出來，所以，建立一個像素物理坐標(biāo)系ofxy,用物理單位mm來表示，同時建立oiuv圖像像素坐標(biāo)系，具體的對應(yīng)關(guān)系如圖2所示，其中，(u,v)是成像點(diǎn)在像素坐標(biāo)系下的坐標(biāo)；(u0,v0)是相機(jī)就點(diǎn)在像素坐標(biāo)系下的坐標(biāo)。

圖2 圖像物理與像素坐標(biāo)系關(guān)系圖

針對CCD相機(jī)，兩個坐標(biāo)系之間的對應(yīng)關(guān)系取決于像素的尺寸、形狀和CCD在相機(jī)中的位置，兩者之間的關(guān)系可表示為：

(3)

其中:Sx、Sy表示圖像平面單位距離上的像素個數(shù)，單位是pixel·mm-1,而且：

(4)

dx、dy表示像素點(diǎn)在像素坐標(biāo)系中x軸和y軸方向的物理尺寸，(Cx,Cy)是光心的像素坐標(biāo)。

物體空間坐標(biāo)系到圖像像素坐標(biāo)系：

經(jīng)過以上3個步驟，然后對(1)和(2)做等價變換，可以得到：

(5)

(6)

聯(lián)立上面各式，可不難推導(dǎo)出物體的空間坐標(biāo)P(Xw,Yw,Zw)和計算機(jī)圖像像素的二維坐標(biāo)Pf(Xf,Yf)之間的變換關(guān)系：

(7)

其中:M1由fu和fv決定，參數(shù)fu和fv、Cx和Cy只與相機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)，是相機(jī)的內(nèi)部參數(shù)；M2只與相機(jī)相對于世界坐標(biāo)系的具體方位有關(guān)，是相機(jī)的外部參數(shù)，參數(shù)X為空間坐標(biāo)點(diǎn)在世界坐標(biāo)系下的坐標(biāo)。

2.1.3 相機(jī)的標(biāo)定

由于鏡頭存在畸變，工業(yè)相機(jī)在實(shí)際的應(yīng)用中需要進(jìn)行標(biāo)定。相機(jī)的標(biāo)定，就是確定空間位置與圖像上像素的映射關(guān)系，求取相機(jī)內(nèi)部參數(shù)和未知參數(shù)的過程。具體的標(biāo)定方法，主要有：傳統(tǒng)標(biāo)定方法、基于主動視覺的標(biāo)定方法以及自標(biāo)定方法。傳統(tǒng)的標(biāo)定方法需要使用特殊制作的標(biāo)定物，簡便靈活；基于主動視覺的標(biāo)定方法，無需標(biāo)定物，但過分依賴設(shè)備、系統(tǒng)成本高，對控制場合有較高的要求；自標(biāo)定方法，不需要知道圖像點(diǎn)的三維坐標(biāo)，僅通過不同角度拍攝場景中的圖像對應(yīng)點(diǎn)的關(guān)系來進(jìn)行標(biāo)定，適用于復(fù)雜的應(yīng)用場景。

綜合考慮，本系統(tǒng)采用傳統(tǒng)標(biāo)定方法中的Tsai兩步法。兩步法基本步驟：第一步，解線性方程，得到部分外部參數(shù)的精確解；第二步，將其與外部參數(shù)與畸變修正參數(shù)相結(jié)合進(jìn)行迭代求解得到所有參數(shù)結(jié)果。實(shí)驗(yàn)得到的相機(jī)標(biāo)定參數(shù)如下：

所用相機(jī)內(nèi)參數(shù)：單個像元的寬的大小為:

SX=3.011 1 μm，單個像元的高Sy=3 μm，焦距f=9.099 34 mm，徑向畸變量級Ka=-0.000 68，中心點(diǎn)x坐標(biāo)Cx=968.035 pixel，中心點(diǎn)y坐標(biāo)Cy=597.867 pixel。

相機(jī)的外參數(shù)：旋轉(zhuǎn)矩陣R=R(α,β,γ)，其中α=6.26047 rad，β=6.2578957 rad，γ=4.7256536 rad。平移向量T=(Tx,Ty,Tz)，其中TX=-56.134 mm，TY=11.159 mm，Tz=402.044 mm。

2.2 料盤的圖像處理及其方位確定

經(jīng)過圖像采集系統(tǒng)采集過來的料盤圖像，需經(jīng)過一系列的圖像處理，最終確定其像素坐標(biāo)，進(jìn)而確定其實(shí)際空間坐標(biāo)。

第一步：預(yù)處理

圖像處理的第一步，一般都是預(yù)處理。預(yù)處理的主要目的是清除圖像上的無用信息，恢復(fù)對自己有用的信息，增強(qiáng)信息的可檢測性，以及最大限度地簡化數(shù)據(jù)，從而有利于后續(xù)圖像處理的進(jìn)行[12]。

減輕或消除噪聲的影響是其重要的一環(huán)。對噪聲的處理，一般的方法有均值濾波、中值濾波以及在頻率域上的頻率濾波。均值濾波，主要的作用是使待處理像素點(diǎn)的值，等于其一定大小鄰域內(nèi)全體像素的平均值，起平滑的作用；中值濾波，是用結(jié)構(gòu)元素模板里面的像素中值作為結(jié)果值，對于椒鹽噪聲的處理有著顯著的效果；頻率濾波中的低通濾波也能夠平滑圖像，去除噪聲，運(yùn)用高通濾波器衰減或抑制低頻分量，能夠銳化圖像。

就本系統(tǒng)而言，采用均值濾波就能起到較好的預(yù)處理效果。

第二步：圖像分割

圖像分割是指根據(jù)灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)，表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同。閾值法是一種傳統(tǒng)的圖像分割方法，因其實(shí)現(xiàn)簡單、計算量小、性能較穩(wěn)定而成為圖像分割中最基本和應(yīng)用最廣泛的分割技術(shù)。圖像閾值化分割，它特別適用于目標(biāo)和背景占據(jù)不同灰度級范圍的圖像。其基本原理是：通過設(shè)定不同的特征閾值，把圖像像素點(diǎn)分成若干類．常用的特征包括：直接來自原始圖像的灰度或彩色特征。主要方法包括全局閾值分割和局部閾值分割。全局閾值分割，針對的是全局的區(qū)域，對于一些有陰影，或者亮度不均勻等特征的圖像，往往分割效果不理想，所以此時采用局部閾值分割，即對不同的局部區(qū)域采用不同的閾值進(jìn)行分割，抗噪聲強(qiáng)，效果較好。所以，綜合考慮，本系統(tǒng)采用自適應(yīng)的局部閾值分割。

第三步：邊緣擬合及特征提取

由于CCD相機(jī)的畸變等因素的影響，料盤圖像中的4個Mark點(diǎn)一般是類橢圓形。對閾值后的區(qū)域進(jìn)行形態(tài)學(xué)處理，然后提取邊緣，精度并不能滿足要求。因此，為了提高識別的精度，需要對亞像素輪廓進(jìn)行橢圓擬合。一般的方法有最小二乘法以及加權(quán)的最小二乘法[13]。最小二乘法是在隨機(jī)誤差服從正態(tài)分布的前提下，由最大似然法推出的一種最優(yōu)估計技術(shù)[14]?；驹硎?，通過使邊緣的離散點(diǎn)與擬合后橢圓之間的幾何距離最小，兩者之間的距離平方和最小，然后通過極值原理求得擬合橢圓中的各個參數(shù)的值。其中，橢圓的隱式方程可由如下公式表示：

F(a,x)=ax=Ax2+Bxy+Cy2+Dx+Ey+F=0

(8)

其中:x=[x2xyy2xy1]T，a=[ABCDEF]

如果離散點(diǎn)比較多，對于較遠(yuǎn)的離散點(diǎn)的權(quán)值和較近離散點(diǎn)的權(quán)值選擇成一樣的話，就會求得和理想橢圓偏差較大的橢圓參數(shù)，顯然是不可取的。加權(quán)的最小二乘法，是指采用多次迭代的方法來進(jìn)行擬合。首先，第一次選擇1作為權(quán)重進(jìn)行擬合，計算各個邊緣點(diǎn)到橢圓的距離di，然后通過選擇的權(quán)重函數(shù)W(di)，將這些權(quán)重用于后續(xù)的迭代。選用的Turkey權(quán)重函數(shù)W(di)：

(9)

其中:τ是消波因數(shù)，用它來定義各個邊緣點(diǎn)的權(quán)重。帶權(quán)重的橢圓擬合算法處理過程如圖3所示。

圖3 帶權(quán)重擬合算法流程圖

特征提取后的處理圖像如圖4所示。

圖4 提取特征后的圖像

從圖可以看出，4個類橢圓Mark點(diǎn)已被提取出來，從左至右，從上至下，將其分別編號為：1、2、3、4。行列及面積特征信息如表1所示。

表1 MARK點(diǎn)相關(guān)特征信息表

3 實(shí)驗(yàn)結(jié)果分析

為了得到本檢測系統(tǒng)的重復(fù)精度，對MARK點(diǎn)標(biāo)定之后，人為改變初始機(jī)械手的位置15次，再運(yùn)行程序，檢查是否能完成裝配的同時，記錄此時的機(jī)械手所持物料的位置與實(shí)際位置坐標(biāo)，結(jié)果如表2所示。

表中實(shí)驗(yàn)次數(shù)為0所對應(yīng)的放料定位坐標(biāo)為實(shí)際的放料坐標(biāo)，實(shí)驗(yàn)次數(shù)從1到15，分別記錄下實(shí)際的坐標(biāo)值以及位置是否匹配的數(shù)據(jù)信息。由表可知，15次試驗(yàn)位置基本達(dá)到匹配要求，所以本系統(tǒng)能夠完成自動裝配任務(wù)；同時，通過圖中X、Y放料定位實(shí)際坐標(biāo)一列記錄的數(shù)據(jù)，可以求得系統(tǒng)的X坐標(biāo)重復(fù)性誤差=標(biāo)準(zhǔn)差/平均值=0.148/167.513=0.088%，Y坐標(biāo)的重復(fù)性誤差=標(biāo)準(zhǔn)差/平均值=1.904/156.772=1.21%，滿足實(shí)際生產(chǎn)需求。

圖5 實(shí)驗(yàn)平臺結(jié)果圖

4 結(jié)論

針對工業(yè)上機(jī)械手自動化抓取裝配的需求，提出一種基于機(jī)器視覺的定位抓取系統(tǒng)。此系統(tǒng)首先通過工業(yè)相機(jī)對料盤的圖像進(jìn)行采集，然后經(jīng)過一系列的圖像處理，對MARK點(diǎn)的位置進(jìn)行定位識別，工控機(jī)下發(fā)指令控制機(jī)械手進(jìn)行自動的裝配。通過在實(shí)驗(yàn)平臺進(jìn)行實(shí)驗(yàn)驗(yàn)證，此系統(tǒng)再實(shí)現(xiàn)自動化裝配的要求的同時，檢測精度較高，重復(fù)性誤差較小，滿足工業(yè)上的生產(chǎn)需求。