基于光刀圖像的機器人示教糾偏方法

婁 寧，習(xí)俊通

(上海交通大學(xué) 智能制造與信息工程研究所，上海 200240)

1 問題的描述

在汽車制造過程中，車身零件的制造精度是整車制造一致性與制造質(zhì)量的前提[1]。為保證零件的生產(chǎn)質(zhì)量，需要對零件上各個特征的位置進行實時測量[2]。激光掃描是按照一定的空間、時間的采樣頻率與采樣密度，利用輔助的機械運動和光學(xué)掃描等手段使激光束投射到被測零件表面，通過激光線像素點在空間坐標(biāo)系下的坐標(biāo)進行特征提取及位置測量的技術(shù)[3]。這種測量方法具有非接觸、速度快、精度高等優(yōu)點。將激光掃描測頭與工業(yè)機器人結(jié)合，可實現(xiàn)多角度、多方位測量，滿足了工業(yè)生產(chǎn)中在線檢測的需求，具有通用性強、自動化程度高、靈活性好的優(yōu)點[4]。

激光掃描測頭相對于待測特征的位置以及激光掃描的方向是影響測量準(zhǔn)確性與魯棒性的關(guān)鍵因素。目前可測量的車身特征包括:孔類特征、邊類特征、柱類特征、面類特征。對于最常測量的孔類特征(包括光孔、螺紋孔、腰槽孔、方孔)，示教時，應(yīng)盡量保證以下目標(biāo):

(1)光刀線中心點提取是使用改進的灰度質(zhì)心法[5]按列計算的，由于光刀線有一定的寬度，為保證光刀線中心點準(zhǔn)確提取，圖像光刀線應(yīng)保持水平(如圖1)。

(2)測頭的視場有限，為保證能夠拍攝到完整的光刀圖像且方便特征點提取，被測特征應(yīng)位于圖像中央。如圖1所示，小圓點為提取的特征點，矩形邊框為包絡(luò)提取的特征點最小矩形分別向四周擴展100個像素。

(3)腰槽孔特征需要利用左右兩側(cè)圓弧擬合得到的圓心進而求得腰槽孔的中心。對于圖2a，由于掃描方向不理想，提取的特征點(小圓點)并沒有全部在圓弧上，有一部分位于直線邊上，雖然擬合算法中會排除這部分點，但是擬合點變少，會造成擬合不準(zhǔn)確。因此腰槽孔的掃描方向應(yīng)與腰槽孔直線段垂直，如圖2所示。

(4)方孔特征需要利用四條邊求取方孔的中心。為保證提取的特征點在四條邊上均勻分布，方孔的掃描方向應(yīng)與方孔對角線方向平行，如圖3所示。

為達到上述目標(biāo)，需要在測量前對測量位置進行準(zhǔn)確示教。目前，實際工廠場合使用最多的是人工示教的方法[6]，即由專業(yè)人員現(xiàn)場根據(jù)測量圖像對測量位姿進行調(diào)整，由于測頭的測量范圍有限且沒有調(diào)整依據(jù)，整個過程需要多次嘗試，耗時耗力。博賽公司[7]開發(fā)出了由協(xié)作機器人搭載三維激光掃描測頭的系統(tǒng)，可通過手動拖動的方式進行位姿調(diào)整，雖然調(diào)整方便，但同樣由于缺乏調(diào)整依據(jù)，需要多次拖動才能找到最佳測量位姿。受焊接機器人焊接軌跡視覺糾偏[8-11]的啟發(fā)，可根據(jù)拍攝的光刀圖像對初始示教位姿進行糾偏，從而達到理想的示教位姿。

本文針對示教過程人為干預(yù)多，示教時間長的問題，提出了示教糾偏方法，通過分析光刀圖像，得到機器人位姿調(diào)整方法，并分三步將初始測量位姿調(diào)整到理想位姿;機器人位姿調(diào)整可通過電腦端向機器人發(fā)送移動指令的方式實現(xiàn)，可實現(xiàn)自動調(diào)整，方便工人操作，縮短了示教時間，且示教結(jié)果好。

2 系統(tǒng)構(gòu)成

實驗室開發(fā)的機器人輔助在線檢測系統(tǒng)如圖4所示。該系統(tǒng)由系統(tǒng)平臺、機器人、激光掃描測頭、電腦、夾具、被測零件組成。其中，機器人使用的是新松SCR5協(xié)作機器人，該機器人可與電腦進行TCP/IP通訊，可實時向電腦端發(fā)送機器人轉(zhuǎn)角值和末端位姿，同時電腦端也可發(fā)送末端位姿指令，控制機器人運行。系統(tǒng)所用的激光掃描測頭是實驗室開發(fā)的測頭[12]。電腦端裝有自己開發(fā)的系統(tǒng)軟件，具有與機器人通訊、激光測頭控制、圖像采集處理等功能。

系統(tǒng)坐標(biāo)系結(jié)構(gòu)如圖5所示，本文主要涉及以下3個坐標(biāo)系[13]:

(1)機器人基坐標(biāo)系Ob-Xb Yb Zb坐標(biāo)系的原點位于機器人第一根軸與機器人基礎(chǔ)安裝平面的交點，Xb軸指向機器人正前方，Zb軸與第一根軸重合并指向上方。該坐標(biāo)系可作為系統(tǒng)全局坐標(biāo)系，測量結(jié)果及末端位姿描述統(tǒng)一到該坐標(biāo)系下。

(2)機器人末端法蘭坐標(biāo)系Of-Xf Yf Zf坐標(biāo)系的原點為法蘭中心，原點指向法蘭盤標(biāo)識孔的方向為Xf方向，Zf垂直于法蘭平面指向外。

(3)測量坐標(biāo)系Os-Xs Ys Zs該坐標(biāo)系即為測頭相機坐標(biāo)系，原點為相機鏡頭光心，Xs方向與激光掃描方向垂直，Zs軸與相機光軸方向重合。在機器人程序中，將測量坐標(biāo)系定義為機器人工具坐標(biāo)系。

測量結(jié)果到機器人基坐標(biāo)系的轉(zhuǎn)換過程為:

式中:Pb為被測點P在機器人基坐標(biāo)系下的坐標(biāo);Ps為被測點P在測量坐標(biāo)系下的坐標(biāo);為機器人末端法蘭與機器人基坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系;為測量坐標(biāo)系與機器人末端法蘭坐標(biāo)系的轉(zhuǎn)換關(guān)系，即手眼關(guān)系。利用文獻[14]中的方法，可對機器人本體參數(shù)和手眼關(guān)系參數(shù)進行標(biāo)定，將標(biāo)定好的結(jié)果輸入機器人示教盒中，并將測量坐標(biāo)系設(shè)置為工具坐標(biāo)系，即可通過機器人向電腦端發(fā)送的工具(測量)坐標(biāo)系末端位姿[X，Y，Z，RX，RY，RZ]，計算得到測量坐標(biāo)系與機器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系。同時，也可通過電腦端向機器人發(fā)送工具(測量)坐標(biāo)系末端位姿，控制機器人的移動。測量坐標(biāo)系到機器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系與工具(測量)坐標(biāo)系末端位姿[X，Y，Z，RX，RY，RZ]的關(guān)系可表示為:

3 示教糾偏方法

采用人工示教的方式很難將機器人末端移至理想的測量位姿，通常情況是，操作人員可以快速地將末端移動到能夠掃描到特征的初始位姿(如圖6)，該位姿與最佳的拍攝位姿有一定差距。為實現(xiàn)第1章所述的示教目標(biāo)，需要對初始位置進行糾偏，到達最佳測量位姿?？蓪⒓m偏工作分為3個步驟進行:

(1)調(diào)整機器人末端姿態(tài)，使得光刀線水平。

(2)調(diào)整機器人末端位置(不改變姿態(tài)，平移操作)，使測量特征位于圖像中央。

(3)再次調(diào)整機器人末端姿態(tài)，使得滿足被測特征特定的掃描方向。

3.1 調(diào)整光刀線水平

由測頭的設(shè)計可以假設(shè)出射激光平面均經(jīng)過點(0，b，c)且與方向(1，0，0)平行，則可設(shè)出射激光平面方程為:

一次掃描圖像有23條光刀線，每條光刀線對應(yīng)的出射激光平面不同，也對應(yīng)不同的k值。設(shè)被測平面法向量為(m，n，p)，則可設(shè)被測平面方程為:

聯(lián)立式(4)和式(5)可得被測平面上光刀線方程:

對于反射激光平面，經(jīng)過測量平面光刀線，且經(jīng)過相機焦點(0，0，0)，則反射激光平面方程可表示為:

相機成像平面方程為:

聯(lián)立可得相機成像平面光刀線方程為:

可得成像平面上光刀線方向為(n+k'，m，0)。其與成像面水平方向(1，0，0)夾角為θ，

增熱型吸收式熱泵是以消耗高溫?zé)崮転榇鷥r，通過向系統(tǒng)中輸入高溫?zé)嵩矗M而從低溫?zé)嵩粗谢厥找徊糠譄崮?，提高其溫度，以中溫?zé)崮芄┙o用戶。將熱泵技術(shù)應(yīng)用于回收油頁巖干餾污水的余熱，以煉油廠瓦斯尾氣鍋爐產(chǎn)生的蒸汽(0.8 MPa)為動力，以干餾污水為低溫?zé)嵩矗厥崭绅s污水的熱量用于冬季采暖。干餾污水處理及熱量回收的工藝流程圖見圖4。

由式(10)可知，當(dāng)m=0時，θ=0，即測量平面平行于測量坐標(biāo)系X軸方向時，光刀線在圖像中為水平方向。為方便后續(xù)步驟調(diào)整，本文將測頭XOY平面調(diào)整為與測量平面平行，即測頭Z軸方向與測量平面法向平行。具體調(diào)整方法為(如圖8):

(1)繞測量坐標(biāo)系OS-XS YS ZS的OS YS方向轉(zhuǎn)動α=tan-1，得到坐標(biāo)系

設(shè)如圖6所示的初始位姿測量坐標(biāo)系與機器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系為。按上述調(diào)整過程，可得:

如圖9a所示為初始位置拍攝的光刀線圖像，光刀線并不是水平方向。圖中小圓點即為提取的特征點，根據(jù)提取特征點在測量坐標(biāo)系下的坐標(biāo)可以擬合出被測特征所在平面的法向，帶入式(11)中求得轉(zhuǎn)換關(guān)系，控制機器人運動到相應(yīng)位姿，再進行一次拍攝，得到如圖9b所示光刀線圖像，光刀線已經(jīng)調(diào)整為水平。

3.2 調(diào)整特征位置

如圖9b所示，拍攝到的特征并沒有位于圖像中心，下一步就要調(diào)整相機位置，保證特征位于圖像中心。已知相機坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系如下:

式中:s為比例系數(shù)且s≠0;Mi為單目攝像機內(nèi)參數(shù)矩陣;aL，bL，cL為出射激光平面方程參數(shù);Ps=(xs，ys，zs，1)T為特征點在測量坐標(biāo)系下的坐標(biāo);Pu=(xu，yu，0，1)T為特征中心在圖像坐標(biāo)系下的坐標(biāo)。當(dāng)Pu-center=(xu-center，yu-center，0，1)T為圖片中心像素點坐標(biāo)，aL，bL，cL為第12條激光線平面方程參數(shù)時，由式(12)可以解得圖片中心點在測量坐標(biāo)系下的坐標(biāo)Ps-center=(xs-center，ys-center，zs-center，1)T。經(jīng)過3.1節(jié)調(diào)整，測量坐標(biāo)系的面平行于被測平面，設(shè)在該位姿下測量擬合得到的特征點坐標(biāo)為P0(x0，y0，z0)。因此，只需要在測量坐標(biāo)系下分別沿方向平移Δx=xs-centerx0，沿方向平移Δy=ys-center-y0，沿方向平移Δz=zs-center-z0。經(jīng)過本次機器人末端平移調(diào)整后可得:

如圖10a所示為光刀線調(diào)整為水平后拍攝的光刀線圖像，圖中小圓點為此時擬合的特征點。圖10b所示為經(jīng)過本次機器人末端平移調(diào)整后再次拍攝的光刀線圖像。

3.3 調(diào)整掃描方向

對于某些特殊的特征(腰槽孔、方孔)，由于擬合特征點算法的設(shè)計，需要調(diào)整機器人末端姿態(tài)以滿足特定的掃描方向。由3.1節(jié)和3.2節(jié)的調(diào)整，已經(jīng)確定了機器人末端的位置以及X與Y方向的姿態(tài)，接下來就是調(diào)整掃描方向，以確定Z方向的姿態(tài)。

3.3.1 腰槽孔掃描方向的調(diào)整

對于腰槽孔掃描方向的調(diào)整，首先要找到圓弧段與直線段的分割點。以圖11a的傾斜方向為例，尋找右支(虛線三角框中)分割點具體方法為:計算第一個特征點與第二個點在測量坐標(biāo)系下投影到XS OS YS平面上的斜率k1，再計算第一個點與下一個點的斜率，如果與k1相差不大，說明該點位于直線段上，如果與k1有較大偏差，說明該點即為分割點。對于相反的傾斜方向同理。在檢測到分割點后求出直線段與OS XS方向的夾角γ，則需要繞OS ZS轉(zhuǎn)動的角度

轉(zhuǎn)換到機器人基坐標(biāo)系下的轉(zhuǎn)換關(guān)系為:

如圖11b所示為進行調(diào)整后的光刀圖像。對于圖12a的情況，當(dāng)檢測到特征外輪廓高度大于寬度時，可先將測頭繞Os Zs旋轉(zhuǎn)90°(如圖12b)，再進行調(diào)整。

3.3.2 方孔掃描方向的調(diào)整

對于方孔特征，掃描方向是沿其對角線方向是最佳的。以圖13a的傾斜方向為例，可確定最左側(cè)特征點，利用最左側(cè)特征點與左側(cè)最底部特征點及其間的特征點可擬合出方孔特征該邊的斜率為k1，該邊與OS XS方向的夾角γ，則需要繞OS ZS轉(zhuǎn)動的角度

轉(zhuǎn)換到機器人基坐標(biāo)系下的轉(zhuǎn)換關(guān)系為:

4 實驗驗證

根據(jù)前文提到的示教糾偏的方法，筆者編寫了如圖14所示軟件。將機器人移動至測量特征的初始位姿，點擊“自動示教”按鈕，軟件將按照如圖15所示流程自動對測量位姿進行示教糾偏。

具體流程為:

步驟1將機器人調(diào)整至某一初始示教位姿，開始示教糾偏。

步驟2拍攝一組掃描圖像，并判斷圖像中是否包含特征，若包含特征則進行下一步判斷，否則提示操作人員調(diào)整機器人測量位姿。

步驟3判斷圖像光刀線是否為水平方向，若光刀線水平則進行下一步判斷，否則計算測量坐標(biāo)系下X、Y軸方向的調(diào)整角度，并向機器人發(fā)送調(diào)整指令，機器人調(diào)整完成后，返回步驟2。

步驟4判斷測量特征是否位于圖像中心，若測量特征位于圖像中心則進行下一步判斷，否則計算測量坐標(biāo)系下X、Y軸方向的平移距離，并向機器人發(fā)送調(diào)整指令，機器人調(diào)整完成后，返回步驟2。

步驟5判斷掃描方向是否滿足要求，若滿足則示教目標(biāo)已經(jīng)達到，示教糾偏結(jié)束，否則計算測量坐標(biāo)系下Z軸調(diào)整角度，并向機器人發(fā)送調(diào)整指令，機器人調(diào)整完成后，返回步驟2。

為方便對示教結(jié)果進行描述，針對第1章示教目標(biāo)，設(shè)定如下評價指標(biāo)(設(shè)以圖像左下角為原點，以水平向右為X軸方向，以豎直向上為Y軸方向，建立圖像坐標(biāo)系):

(1)光刀圖像第12條光刀線與圖像X軸方向夾角α，α越接近0°，光刀線越水平。

(2)光刀圖像特征中心(圖中矩形包圍框中心)與圖像中心(640，480)的偏差[Δx，Δy]，Δx與Δy的絕對值越小，特征中心越接近圖像中心。

(3)對于腰槽孔特征，假設(shè)位于圓弧段特征點與全部特征點的比值為r，r越接近1，用于擬合圓弧的點越多。

(4)對于方孔特征，假設(shè)特征點分布最多的邊特征點個數(shù)與特征點分布最少的邊特征點個數(shù)的差值為R，R越接近0，說明特征點在4條邊上分布越均勻。

針對不同特征在不同初始示教位姿進行示教糾偏，得到的結(jié)果如表1所示。經(jīng)過示教糾偏，機器人末端可以達到較為理想的測量位置。示教一個特征的測量位姿，傳統(tǒng)的由專業(yè)人員進行調(diào)整大約需要3～5min，而由本文的解決方案可將時間縮短為30～60s，如表2所示，且減少了人為干預(yù)，可由一線工人完成操作。由此證明本文方法大大提高了示教的效率。

表1 示教糾偏實驗

表2 人工示教與本文方法示教時間對比

5 結(jié)束語

本文以實驗室開發(fā)的機器人輔助在線檢測系統(tǒng)為研究對象，提出了示教糾偏的方法。通過對光刀圖像的處理，得到了在測量坐標(biāo)系下的調(diào)整方法，并轉(zhuǎn)換為機器人基坐標(biāo)系下工具(測量)坐標(biāo)系的位姿，即可通過電腦端發(fā)送運動指令，控制機器人運動。通過實驗驗證表明，利用本文提出的示教糾偏方法和相應(yīng)的軟件，可對初始示教位置進行修正，得到更為理想的測量位姿，相較于傳統(tǒng)專業(yè)人員調(diào)整方式，縮短了示教時間，減少了人為干預(yù)。今后將在此基礎(chǔ)上對整個系統(tǒng)進行優(yōu)化完善。