基于視覺與位置檢測的機器人定位矯正系統(tǒng)研究

王漢其，肖曙紅

（廣東工業(yè)大學 機電工程學院，廣州 510006）

0 引言

隨著國家戰(zhàn)略發(fā)展以及勞動成本的提高，促使加工制造業(yè)朝著自動化、智能化的方向發(fā)展。裝配作為加工制造業(yè)比較關(guān)鍵的技術(shù)之一，由于大多數(shù)裝配過程采用人工完成，費時費力費財，在產(chǎn)品的生產(chǎn)過程中所占的投資比例相對較大。工業(yè)機器人的應(yīng)用，使得這個領(lǐng)域產(chǎn)生了新的格局，但工況是多變的，而機器人并不能完美適應(yīng)多變的工況。機器視覺系統(tǒng)的引入仿佛給予了機器人一雙“眼睛”，使其更靈活的適應(yīng)多變的工況。在機器人裝配中應(yīng)用視覺系統(tǒng)，可以進行裝配環(huán)境中的障礙檢測、工件識別、工件測量、工件姿態(tài)檢測、工件相對位置檢測等[1,2]。

從上個世紀50年代開始，機器視覺逐漸出現(xiàn)和應(yīng)用，當時的主要應(yīng)用于對于圖片的分析和識別[3]。到了60年代“積木世界”[4,5]的提出，學者們開始著手研究圖像的各種要素和特征，并建立了大量的理論方法，為后續(xù)的發(fā)展提供新的基礎(chǔ)和方向。20世紀70年代，Shirai等人將圖像采集系統(tǒng)加入到控制系統(tǒng)中[6]，大大提高了機器人控制的精度，該視覺系統(tǒng)的引入對工業(yè)機器人智能化、自動化提供了有力的技術(shù)基礎(chǔ)。在美國機器人融合機器視覺得到了大力的發(fā)展和應(yīng)用，美國斯坦福大學機器人研究所的“沙克”機器人、美國航天探測機器人以及智能作戰(zhàn)機器人等相繼出現(xiàn)。在日本2008年，F(xiàn)anuc機器人制造公司研發(fā)出了一套能夠快速動作的工業(yè)機器人實體和系統(tǒng)。在歐洲，瑞典ABB公司研發(fā)的主要用于目標抓取的機器人IRB360，該機器人采用簡單的二維視覺檢測系統(tǒng)，可以實現(xiàn)快速撿取靜止的或者傳送帶上的物品[7]。

在國內(nèi)，由于機器人發(fā)展相對較晚，跟國外的技術(shù)存在很大的差距，而在機器視覺的應(yīng)用方面，用機器視覺對目標特征的識別是一個非常熱門的方向[8]，各高校以及研究院都進行了深入地研究。哈爾濱工業(yè)大學段喜萍等人利用圖像中的文本信息輔助進行圖像特征識別[9]，文本信息的輔助提高了識別的性能。廣東省科學院張昱，陳光黎等人對采集圖像提取特征后，主要采用最小二乘支持向量機的識別模型[10]，得到了更好地識別效果。天津理工大學申曉霞等人提出RGB圖像和深度圖像有效結(jié)合[11]，并且融合了SVM分類器的行為識別算法，具有更好的魯棒性和區(qū)分性。西安工業(yè)大學王鵬等人等提出了一種基于模糊理論焊縫缺陷的自動識別檢測方法，有比較好的實用性[12]。

本文就是在這校的背景之下提出來的，選擇以ABB六自由度機器人為執(zhí)行部件，以O(shè)pen CV為視覺檢測庫，以Python為編程語言進行開發(fā)設(shè)計的。采用機器視覺和傳感器測量相結(jié)合的方法對目標孔中心點P進行圖像識別和坐標轉(zhuǎn)換以及機器人姿態(tài)的調(diào)整，然后控制機器人從固定位置拾取槍體部件，并將槍體部件和目標孔完美貼合，進行自動裝配操作。

1 調(diào)整機器人姿態(tài)

目前機器人常見的手眼標定系統(tǒng)是：Eye-to-Hand系統(tǒng)和Eye-in-Hand系統(tǒng)。Eye-to-Hand系統(tǒng)是指相機固定在機器人外部的系統(tǒng)，Eye-in-Hand系統(tǒng)則是把相機固定在機器人執(zhí)行末端法蘭盤上，使相機跟隨機器人執(zhí)行末端運動的系統(tǒng)。

Eye-to-Hand系統(tǒng)的相機固定，一般拍攝范圍較大，可以適應(yīng)大范圍物體定位，但受限于相機物理像素限制，定位精度會相對較低。而Eye-in-Hand系統(tǒng)的相機可以跟隨機器人同步移動，理論上可以實現(xiàn)運動范圍內(nèi)的高精度定位，但系統(tǒng)定位構(gòu)成相對復雜。

本文結(jié)合實際研究對象采用Eye-in-Hand系統(tǒng)，機器人姿態(tài)調(diào)整主要是指機器人末端軸在圖像掃描檢測的過程中姿態(tài)保持不變，目的是保證機器人末端所在的平面和目標孔所在的平面平行。采用的方法是：用壓力傳感器分別測量目標孔所在平面的三個點，根據(jù)其中任意兩點壓力值得大小，可以求出相應(yīng)方向上的角度，并將該角度信息發(fā)送給機器人進行姿態(tài)調(diào)整，最后在誤差允許范圍內(nèi)，三個點壓力傳感器測量的值大小接近。

如圖1所示，是根據(jù)其中的兩點測量相應(yīng)角度的圖像，求解可知：

在此條件下，利用機器人示教器和幾何測量相結(jié)合的方法，求解出相機坐標系與機器人工具坐標系（TCP）的相對位置關(guān)系為：

2 相機標定過程

2.1 標定工具

2.1.1 工業(yè)相機

視覺相機整個定位系統(tǒng)的重要部件，設(shè)計理論檢測精度不低于為0.2mm。結(jié)合多方面考慮，選用映美精牌工業(yè)相機。該相機使用千兆以太網(wǎng)接口傳輸數(shù)據(jù)，支持POE供電模式，方便長距離布線，鏡頭使用8mm焦距，最大F2.0光圈工業(yè)相機鏡頭，最大可以支持1/1.8''寸感光元件成像。

2.1.2 標定板

張氏標定法是通過拍攝一塊高精度平面標定板，識別標定板上的標定點，通過成像點和物理點的對應(yīng)關(guān)系建立方程組，解出相機內(nèi)外參數(shù)，再通過極大似然準則對解出參數(shù)進行優(yōu)化，得出最優(yōu)的相機內(nèi)外參數(shù)。本文采用9×9黑白相間的棋盤格，每個格子的大小為30mm×30mm，所以一共有8×8個角點。

圖2 棋盤標定板

2.2 相機標定原理

理想相機的成像規(guī)律服從凸透鏡成像規(guī)律，也就是物理學中的小孔成像，而根據(jù)像所處的平面不同，可以分為如下坐標系：

1）世界坐標系，用W來表示。所有三維世界物體位置的描述都需要相對一個原始坐標系來描述，才能統(tǒng)一其位置，設(shè)定世界坐標系為原始坐標系，以毫米為計量單位。而本文中的世界坐標系是指以ABB機器人基座中心為坐標原點的右手坐標系。

2）TCP坐標系，也就是工具坐標系，ABB機器人默認以機器人第六軸法蘭盤幾何中心為坐標原點，軸向為Z方向的右手笛卡爾坐標系，該坐標系可以在ABB示教器上進行定義。

3）相機坐標系，用C來表示。這個坐標系的原點為相機的光心，Z軸與光軸重合，XY軸與圖像坐標系的XY軸平行，以毫米為計量單位。

4）圖像坐標系以感光元件中心為坐標原點，XY軸平行于圖像邊沿，以毫米為計量單位。

5）像素坐標系，一般是以感光元件的左上角為原點，XY軸同校平行于圖像邊沿，以像素為計量單位。

圖3 相關(guān)坐標系

為表述簡潔，推導均直接使用矩陣形式表示，圖像坐標系到像素坐標系的轉(zhuǎn)換：

其中，u0，u0為圖像坐標系原點在像素坐標系的坐標，dx，dy為每個像素的單位物理尺寸。圖像坐標系與相機坐標系的轉(zhuǎn)換：

其中f為焦距；相機到世界坐標系的變換為：

其中R為旋轉(zhuǎn)矩陣，t為平移向量，綜合上述：

其中，ax，ay為圖像尺度因子；K為內(nèi)參矩陣，主要是包含焦距、主點坐標的等內(nèi)部參數(shù)的矩陣；M為外參矩陣，主要是包含由相機坐標系到世界坐標系的旋轉(zhuǎn)矩陣和平移向量。

2.3 相機畸變矯正

上述轉(zhuǎn)換是理想的透鏡成像模型，物和像完美遵循相似三角形定律，但現(xiàn)實中由于透鏡的加工和裝配誤差，透鏡實際成像存在一定程度上的畸變，是屬于幾何成像失真范疇。這主要是因為在焦平面上圖像放大率不同造成的，在畫面邊沿圖像畸變相對會更嚴重，因此在實際標定過程中要考慮到相機畸變引起的誤差并進行誤差矯正。

3 實現(xiàn)過程

3.1 相機標定

本文也使用基于張氏標定法，并利用Open CV工具庫和Python語言對相機進行標定。由方法可以求出，相機的內(nèi)參數(shù)矩陣K和畸變系數(shù)DIST：

畸變系數(shù)：

3.2 霍夫圓檢測

相機標定和機器人姿態(tài)調(diào)整完成之后，就需要用相機目標孔所在平面得到的圖片進行圓特征提取。在圖像處理和計算機視覺等領(lǐng)域，從得到的圖像中提取出所需要的特征，比如直線或者圓形，為了快速準確地檢測出直線或圓形，Paul Hough于1960年首次提出霍夫變換，為了檢測直線和曲線。1972年由Richard Duda和Peter Hart推廣，后來的霍夫變換可以實現(xiàn)對任何形狀的檢測。Hough變換的基本思想是將圖像中具有一定關(guān)系的像素點進行聚類，采用投票的方式尋找圖像中能夠用某種參數(shù)形式來描述的曲線。本文也采用該方法對加氣孔特征進行提取，并求得目標孔中心點在像素坐標系上的坐標值P（u，v）。

圖4 霍夫變換提取特征圓以及圓心

3.3 坐標間轉(zhuǎn)換

已經(jīng)求出目標孔中心點在像素坐標系上的坐標值P（u，v），現(xiàn)在將其轉(zhuǎn)換到圖像坐標系上。設(shè)圖像的長和寬分別為：width，high。像素單元為pixl，單位為mm/pix，本文相機pixl=0.0278mm/pix。所以圖像坐標系下加氣孔中心點 P（X，Y）可以由公式計算得到：

單位：mm。

圖5 圖像坐標系

由相機標定后的結(jié)果可知：光學中心點（CX，CY）和焦距F，物距為ZC，由距離傳感器測出。根據(jù)三角形相似原理可以得相機坐標系P（XC，YC）：

圖6 目標點成像示意圖

已知機器人TCP坐標系與相機坐標系的相對位置關(guān)系（dx，dy，dz），由機器人指令實時返回機器人末端也就是TCP坐標系原點的坐標值，設(shè)為（XTCP，YTCP，ZTCP）。

綜上所述，目標孔中心點在世界坐標系下P（XW，YW，ZW）：

4 結(jié)果分析

在實驗室現(xiàn)有設(shè)備的基礎(chǔ)上，通過上文所述的方法，可以求出目標孔中心點在以世界坐標系下的坐標值。將該坐標值傳輸給機器人控制器，調(diào)用對應(yīng)的機器人相關(guān)指令，完成圓柱形槍體部件和目標孔的裝配。由于在機器人坐標系下，X軸方向為目標孔和圓柱形槍體部件的軸向方向，所以在實現(xiàn)圓柱形槍體部件和目標孔裝配的時候，首先根據(jù)已經(jīng)求出的P（XW，YW，ZW），調(diào)整槍體部件Y方向和Z方向的坐標，使得槍體部件和目標孔同軸。然后控制槍體部件X方向進給，直到完成裝配。

為了驗證該方法的可行性，本文記錄了多組實驗數(shù)據(jù)，均實現(xiàn)了機器人自動化完成槍體部件和目標孔的裝配，選取其中15組為校本，如表1所示，對實驗數(shù)據(jù)分析和比較，由于X方向為軸向進給方向未列在表中。

表1 目標孔中心點坐標值數(shù)據(jù)表（世界坐標系）

根據(jù)實驗數(shù)據(jù)，可以得出在重復試驗時，目標孔中心點坐標值是在一個范圍內(nèi)波動的，而在該范圍內(nèi)槍體部件和目標孔是可以實現(xiàn)裝配。由表1實驗數(shù)據(jù)可以看出：加氣孔中心點Y方向平均值為219.310mm，其中最大值為219.748mm，偏離平均值0.438mm，最小值為218.980mm，偏離平均值0.330mm。而在目標孔中心點Z方向平均值為317.096mm，其中最大值為317.274mm，偏離平均值0.178mm，最小值為316.950mm，偏離平均值0.146mm。Z方向上的相對誤差比Y方向上的相對誤差小，但整體的誤差均在允許的范圍內(nèi)。

圖7 加氣孔Y方向值

圖8 加氣孔Z方向值

5 結(jié)束語

本文提出了一種視覺和傳感器相結(jié)合的機器人定位矯正系統(tǒng)，其目的是實現(xiàn)機器人自動完成圓柱形槍體部件和平面凸出目標孔的裝配，并在實驗室的基礎(chǔ)上進行相關(guān)可行性測試。理論性和實驗性均表明：在誤差允許的情況下，該方法可以實現(xiàn)將目標孔中心點坐標值經(jīng)視覺特征檢測和提取，并在世界坐標系下求解出來，將該坐標值傳輸給機器人控制器，從而實現(xiàn)控制槍體部件和目標孔的自動裝配。該方法具有原理簡單，標定過程易于操作，實用性強等優(yōu)點。