面向機(jī)器人激光增材制造的機(jī)器視覺系統(tǒng)標(biāo)定算法

陳漢 任杰亮 閆帥 石曉鵬 李志勇

摘要：隨著現(xiàn)代智能制造的快速發(fā)展，金屬增材制造、綠色再制造、焊接等領(lǐng)域大量使用機(jī)器人等自動化裝備，視覺傳感是機(jī)器人智能制造的關(guān)鍵環(huán)節(jié)。針對上述需求設(shè)計(jì)了一套基于線結(jié)構(gòu)光的視覺傳感器，并對其進(jìn)行標(biāo)定，自主開發(fā)了用于機(jī)器人激光增材制造的機(jī)器視覺系統(tǒng)。該系統(tǒng)通過Matlab相機(jī)標(biāo)定工具包實(shí)現(xiàn)相機(jī)的內(nèi)外參數(shù)標(biāo)定，利用Labview編程提取出像素坐標(biāo)，根據(jù)最小二乘法擬合出相機(jī)坐標(biāo)系下的光平面方程，實(shí)現(xiàn)像素坐標(biāo)到光平面坐標(biāo)的轉(zhuǎn)換，最后針對視覺傳感器與機(jī)器人的“Eye-in-Hand”系統(tǒng)實(shí)現(xiàn)手眼標(biāo)定，完成像素坐標(biāo)到機(jī)器人三維基坐標(biāo)的轉(zhuǎn)換。實(shí)驗(yàn)結(jié)果表明，開發(fā)的視覺傳感器具有較高的定位精度，各方向平均誤差僅為1 mm。

關(guān)鍵詞：增材制造;機(jī)器視覺;線結(jié)構(gòu)光;手眼標(biāo)定

中圖分類號： TG665????? 文獻(xiàn)標(biāo)識碼： A文章編號：1001-2303（2022）02-0036-06

Laser Additive Manufacturing Machine Vision System Development

CHEN Han， REN Jieliang， YAN Shuai， SHI Xiaopeng， LI ZhiyongSchool of Materials Science and Engineering， North University of China， Taiyuan 030051， China

Abstract： With the rapid development of modern intelligent manufacturing， Robots and other automation equipment are widely used in metal additive manufacturing， green remanufacturing， welding and other fields. Visual sensing is a key link in robot intelligent manufacturing. This article addresses the above requirements， Designed and calibrated a set of vision sen‐ sors based on laser structured light， and independently developed a machine vision system for the robotic laser additive manufacturing process. This method realizes the internal and external parameter calibration of the camera through the Mat‐ lab camera calibration toolkit， uses Labview programming to extract the pixel coordinates， fits the laser plane equation in the camera coordinate system according to the least square method， and realizes the conversion from pixel coordinates to laser plane coordinates. Finally， the "Eye-in-Hand" system of the vision sensor and the robot realizes hand-eye calibration， and ob‐ tains the conversion of pixel coordinates to the three-dimensional base coordinates of the robot. Experiments show that the developed vision sensor has high positioning accuracy.

Keywords： additive manufacturing; machine vision; line structured light; Eye-in-Hand calibration

引用格式：陳漢，任杰亮，閆帥，等.面向機(jī)器人激光增材制造的機(jī)器視覺系統(tǒng)標(biāo)定算法[J].電焊機(jī)，2022，52（2）：36-41.?????????? Citation：CHEN Han， REN Jieliang， YAN Shuai， et al. Laser Additive Manufacturing Machine Vision System Development[J]. Electric Welding Ma‐ chine， 2022， 52（2）：36-41.

0? 前言

增材制造技術(shù)（Addictive Manufacturing，AM）[1]是一種基于離散分離原理，對三維模型進(jìn)行分層切片，再通過添加材料快速制造實(shí)體零件的技術(shù)。按照熱源能束的不同，可將金屬增材制造技術(shù)分為激光、電弧和電子束三類[2]。激光增材制造技術(shù)（La‐ ser Addictive Manufacturing，LAM）[3]是以激光作為熱源，金屬粉末或絲材作為成型材料，惰性氣體作為保護(hù)氣的金屬增材制造技術(shù)，在航天航空、汽車、電子、醫(yī)療、軍工等領(lǐng)域得到了廣泛應(yīng)用[4-7]。LAM成型制品質(zhì)量與激光功率、工藝設(shè)計(jì)和焊接路徑規(guī)劃有密不可分的關(guān)系。在實(shí)際操作過程中，任何環(huán)節(jié)的問題都可能使成型制品出現(xiàn)氣孔、凹坑等缺陷。在增材制造“自下而上”的成型過程中，如果表面缺陷未被檢出并及時處理，可能導(dǎo)致成型件報廢。

視覺檢測技術(shù)是精密測試技術(shù)領(lǐng)域中最具有發(fā)展?jié)摿Φ男录夹g(shù)。視覺檢測的基礎(chǔ)在于相機(jī)的標(biāo)定，現(xiàn)有的相機(jī)標(biāo)定技術(shù)分為傳統(tǒng)標(biāo)定法、自標(biāo)定法及主動視覺標(biāo)定法。傳統(tǒng)標(biāo)定法中，Roger Ta‐ sai提出Tasai兩步法[8]求解相機(jī)的內(nèi)外參數(shù)，但需要標(biāo)定參照物，且標(biāo)定過程復(fù)雜;自標(biāo)定方法中，典型的是基于Kruppa方程進(jìn)行相機(jī)內(nèi)外參數(shù)標(biāo)定，但直接求解Kruppa方程[9]存在較大難度;主動視覺標(biāo)定中，聶紅梅和高磊分別以O(shè)pencv和Matlab為平臺[10-11]，實(shí)現(xiàn)了張正友標(biāo)定法[12]的相機(jī)標(biāo)定程序，標(biāo)定精度較高且魯棒性較強(qiáng)。

本文針對激光增材制造過程中的成型制品表面形貌檢測的需求，搭建了一個基于主動視覺標(biāo)定法的單線結(jié)構(gòu)光視覺檢測系統(tǒng)，通過Matlab軟件和Labiew軟件編程實(shí)現(xiàn)相機(jī)內(nèi)外參數(shù)的標(biāo)定，并計(jì)算出激光增材制造制件表面的三維坐標(biāo)信息，來驗(yàn)證該檢測系統(tǒng)的精度，為后續(xù)激光增材制造閉環(huán)控制奠定基礎(chǔ)。

1? 激光增材制造視覺系統(tǒng)硬件與軟件組成

1.1? 硬件結(jié)構(gòu)

激光增材制造視覺系統(tǒng)主要由線結(jié)構(gòu)光視覺傳感器[13-15]、運(yùn)動控制柜、示教器以及工控機(jī)組成，視覺傳感系統(tǒng)在空間中相對位置如圖1所示，視覺傳感器結(jié)構(gòu)如圖2所示。線結(jié)構(gòu)光視覺傳感器主要由單線結(jié)構(gòu)光發(fā)射器和BASLER 黑白工業(yè)相機(jī)組成，相機(jī)以CMOS為感光元件，分辨率為5472 pixel×3648 pixel，采用焦距為12 mm 的鏡頭，最大光圈1.4。首先將線結(jié)構(gòu)光視覺傳感器置于工件正上方，相機(jī)垂直置于工件平面，線激光發(fā)射器與相機(jī)呈一固定夾角A，傳感器與熔覆平臺之間距離為H，使線結(jié)構(gòu)光投射在熔覆件上，將工業(yè)相機(jī)采集的激光條紋圖像信息和示教器記錄的當(dāng)前法蘭盤位姿信息傳輸給計(jì)算機(jī)，最后結(jié)合工業(yè)相機(jī)標(biāo)定的內(nèi)外參數(shù)和傳感器與機(jī)器人的手眼標(biāo)定結(jié)果，將特征點(diǎn)三維位置信息傳輸給示教器，對數(shù)據(jù)進(jìn)行分析后控制激光熔覆頭進(jìn)行缺陷修補(bǔ)。

1.2? 系統(tǒng)軟件

激光增材制造機(jī)器視覺系統(tǒng)軟件主要包括Matlab、Labview2018和圖像采集軟件。Matalb軟件主要進(jìn)行相機(jī)內(nèi)外參數(shù)的標(biāo)定、機(jī)器人系統(tǒng)與視覺傳感系統(tǒng)變換矩陣的計(jì)算;Labview則是對整個系統(tǒng)進(jìn)行模塊化設(shè)計(jì)，主要分為圖像采集和數(shù)據(jù)分析模塊，其中包含圖像采集、特征提取、參數(shù)設(shè)置、基座坐標(biāo)計(jì)算和系統(tǒng)介紹5個界面。通過采集圖像界面獲取目標(biāo)圖像，用戶可以在特征提取界面中選擇目標(biāo)圖像、設(shè)置灰度值閾值、提取結(jié)構(gòu)光條紋的中心線（見圖3a）;在參數(shù)設(shè)置界面中，可以編輯、保存Matlab標(biāo)定好的相機(jī)內(nèi)外參數(shù)（見圖3b）;在基座坐標(biāo)界面中，可以直接讀取特征點(diǎn)基座坐標(biāo)（見圖3c）。

2? 機(jī)器視覺系統(tǒng)標(biāo)定算法

在整個檢測系統(tǒng)中，所涉及的各個坐標(biāo)系變換關(guān)系如圖4所示。圖中H1表示法蘭盤末端坐標(biāo)系與機(jī)器人基坐標(biāo)系的變換矩陣;H2表示法蘭盤末端坐標(biāo)系與光平面坐標(biāo)系的變換矩陣;H3表示相機(jī)坐標(biāo)系與光平面坐標(biāo)系的變換矩陣;H4表示世界坐標(biāo)系與相機(jī)坐標(biāo)系變換矩陣;XBYBZB 表示機(jī)器人的基坐標(biāo)系;XFYFZF 表示機(jī)械臂末端法蘭盤坐標(biāo)系; XTYTZT 表示工具尖端坐標(biāo)系;XCYCZC 表示相機(jī)坐標(biāo)系; XWYWZW 為世界坐標(biāo)系;為簡化計(jì)算，相機(jī)原點(diǎn)在光平面上的投影點(diǎn)OC 為光平面坐標(biāo)系原點(diǎn)，取相機(jī)Z軸某一點(diǎn)ZC（0，0，ZC），以 OCZC 在光平面的投影為Z軸，同理建立X軸、 Y軸， Y軸與光平面垂直，由此建立XLYLZL 光平面坐標(biāo)系，且光平面坐標(biāo)系中 Y軸值恒為0，從而降低了算法的復(fù)雜性。

2.1? 相機(jī)內(nèi)外參標(biāo)定和光平面的標(biāo)定

在Eye-in-Hand手眼標(biāo)定之前，首先要確定相機(jī)的內(nèi)外參數(shù)、相機(jī)坐標(biāo)系與光平面坐標(biāo)系變換矩陣 H3（見圖4）。本文基于Matlab進(jìn)行內(nèi)外參數(shù)標(biāo)定。Matlab是美國Mathwork公司開發(fā)的數(shù)學(xué)軟件，具有完善的圖像處理和機(jī)器視覺工具包。其中，像素坐標(biāo)系與相機(jī)坐標(biāo)系間的變換矩陣 H可由Matlab的 Camera Calibrator 工具包進(jìn)行標(biāo)定，可直接提取出相機(jī)的內(nèi)參數(shù)和棋盤格標(biāo)定板某個位姿的外參數(shù)。本文采用的是透視投影模型，根據(jù)透視投影法可知，像素坐標(biāo)與相機(jī)坐標(biāo)的變換關(guān)系需以光平面為約束條件，像素坐標(biāo)與相機(jī)坐標(biāo)的變換關(guān)系如式（1）所示。

式中ε=A（Sxc-CxSx）+B（Syr-CySy）+Cfδ;δ=k[（Sxc- CxSx）2+（Syr-CySy2）]+1，其中k為徑向畸變，Sx為X方向的像元尺寸，Sy為 Y方向的像元尺寸，c為特征點(diǎn)X 方向像素坐標(biāo)，r為特征點(diǎn) Y方向像素坐標(biāo)，Cx為圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中X值，Cy為圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中 Y值，這些參數(shù)為相機(jī)內(nèi)參數(shù)，[A，B，C]為光平面系數(shù)。

計(jì)算光平面系數(shù)[A，B，C]，需已知某條直線的世界坐標(biāo)點(diǎn)，根據(jù)交比不變性原理，已知直線和光平面交點(diǎn)為標(biāo)定點(diǎn)的世界坐標(biāo)P，Matlab標(biāo)定所得外參即世界坐標(biāo)系與相機(jī)坐標(biāo)系變換關(guān)系H4i，調(diào)整標(biāo)定板姿態(tài)重復(fù)5次，根據(jù)式（2）計(jì)算得出標(biāo)定點(diǎn)相機(jī)坐標(biāo)P，并采用最小二乘法擬合光平面方程A · Xc+B ·Yc+C·Zc-1=0的系數(shù)A、B、C。

式中[Xci，Yci，Zci]，[Xwi，Ywi，Zwi]分別為標(biāo)定點(diǎn)的相機(jī)坐標(biāo)和世界坐標(biāo)，H4i為4×4的矩陣（i=1，2，3，4，5），實(shí)質(zhì)為相機(jī)的外參數(shù)。

根據(jù)相機(jī)與光平面的投影關(guān)系建立光平面坐標(biāo)系。根據(jù)式（2）相機(jī)坐標(biāo)與光平面坐標(biāo)映射關(guān)系計(jì)算可得相機(jī)坐標(biāo)系與光平面坐標(biāo)系的變換關(guān)

式中 PL、PC 分別表示特征點(diǎn)的光平面坐標(biāo)和相機(jī)坐標(biāo)。由此特征點(diǎn)的相機(jī)坐標(biāo)轉(zhuǎn)化為光平面坐標(biāo)。

2.2 ??Eye-in-Hand手眼標(biāo)定

工業(yè)6軸機(jī)器人手眼標(biāo)定的實(shí)質(zhì)是確定光平面坐標(biāo)系到機(jī)械臂末端法蘭盤坐標(biāo)系的變換關(guān)系H2。由上一節(jié)可知，特征點(diǎn)的像素坐標(biāo)以及對應(yīng)的相機(jī)坐標(biāo)，將相機(jī)坐標(biāo)投影到對應(yīng)的光平面坐標(biāo)，再由手眼標(biāo)定所得光平面坐標(biāo)系與法蘭盤坐標(biāo)系的位姿H2和法蘭盤相對于機(jī)器人底座的位姿H1（見圖4），根據(jù)式（4）可得激光平面坐標(biāo)到基坐標(biāo)的變換關(guān)系。

聯(lián)立式（3）和式（4）得到相機(jī)坐標(biāo)到基坐標(biāo)得變換關(guān)系為

式中PB 和PL 分別表示已知點(diǎn)基坐標(biāo)和該點(diǎn)對應(yīng)的光平面坐標(biāo);H3表示相機(jī)坐標(biāo)系與光平面坐標(biāo)系的位姿。 H1、H2、H3為4×4的矩陣。

Eye-in-Hand手眼標(biāo)定步驟為：

（1）確定目標(biāo)點(diǎn)的基坐標(biāo)。將機(jī)器人坐標(biāo)系調(diào)整為工具坐標(biāo)系，操作示教器使機(jī)器人尖端與已知點(diǎn)P剛好接觸，記錄此時示教器中的位置信息，記作 PB （XB，YB，ZB）。

（2）確定目標(biāo)點(diǎn)的光平面坐標(biāo)。將工具坐標(biāo)系切換至法蘭盤坐標(biāo)系，保持目標(biāo)點(diǎn)P 固定，打開線激光器，移動機(jī)械臂使激光條紋正好經(jīng)過點(diǎn)P，為使誤差盡可能小，應(yīng)使P點(diǎn)盡量位于激光條紋的中間點(diǎn)，然后相機(jī)在此位姿下采集圖像。利用Labview提取出P點(diǎn)像素坐標(biāo)，由式（1）轉(zhuǎn)化為相機(jī)坐標(biāo)，繼而由2.1節(jié)中式（3）得到光平面坐標(biāo)PL ，根據(jù)示教器確定此時的H1。

（3）變換位姿采集。保持P點(diǎn)不動，移動機(jī)器人以不同姿態(tài)重復(fù)步驟2，記錄5組Pi L 和H1i（i=1，2，3，4，5），根據(jù)式（4）計(jì)算可得H2。

3? 實(shí)驗(yàn)結(jié)果及分析

本文所采用線結(jié)構(gòu)光視覺檢測方法選用 BASLER黑白工業(yè)相機(jī)、iWorker六自由度工業(yè)機(jī)器人和角點(diǎn)間距為18 mm的棋盤標(biāo)定板進(jìn)行標(biāo)定實(shí)驗(yàn)，由于Matlab存在完善的棋盤格標(biāo)定包，且不存在偏心誤差。介于現(xiàn)有條件，利用Matlab提取角點(diǎn)像素坐標(biāo)，取標(biāo)定板上O、A、B、C、D五個點(diǎn)如圖5所示，相機(jī)內(nèi)參數(shù)標(biāo)定如表1所示，外參標(biāo)定誤差如表2所示。

根據(jù)表1、表2得出相機(jī)的內(nèi)參數(shù)以及外參數(shù)在 X和 Y方向平均絕對誤差：

由式（6）可知，相機(jī)標(biāo)定的平均絕對誤差小于0.1 mm，由于黑色對于光的吸收不均勻，角點(diǎn)位于黑白交界處，因此棋盤格角點(diǎn)坐標(biāo)為亞像素坐標(biāo)，影響角點(diǎn)的標(biāo)定精度，可選用黑底白圓標(biāo)定板并采用 Halcon 提高精度，但總體來說，外參標(biāo)定精度較高。

通過改變標(biāo)定板所在高度5次，采用2.1節(jié)標(biāo)定方法，根據(jù)已知的標(biāo)定點(diǎn)的相機(jī)坐標(biāo)P 進(jìn)行光平面擬合，得到光平面系數(shù)[A，B，C]=[-0.0143，0.0007，0.0046]，光平面擬合圖如圖6所示。根據(jù)Labview軟件提取特征點(diǎn)像素坐標(biāo)和上述所得標(biāo)定參數(shù)，將像素坐標(biāo)分別代入式（1）和式（5），所得基坐標(biāo)結(jié)果基本滿足定位要求，但計(jì)算結(jié)果仍存在一定誤差。其原因?yàn)椋海?）單線結(jié)構(gòu)光與相機(jī)光軸角度太小產(chǎn)生標(biāo)定誤差;（2）機(jī)器人固有精度所帶來的誤差影響;（3）標(biāo)定點(diǎn)坐標(biāo)的肉眼提取帶來的誤差;（4）各方面誤差累計(jì)影響計(jì)算結(jié)果。其中標(biāo)定誤差為主要原因。

4? 結(jié)論

（1）通過線結(jié)構(gòu)光視覺傳感器系統(tǒng)對相機(jī)內(nèi)外參數(shù)進(jìn)行標(biāo)定，使用Matlab軟件 Camera Calibrator 工具包的標(biāo)定方法，將外參數(shù)的平均絕對誤差控制在0.1 mm以下。

（2）在激光熔覆頭旁安裝線結(jié)構(gòu)光視覺系統(tǒng)，采用Matlab和Labview軟件相結(jié)合的混合編程設(shè)計(jì)激光增材制造系統(tǒng)，根據(jù)圖像采集和數(shù)據(jù)分析模塊，從圖像中提取出特征點(diǎn)的三維基坐標(biāo)，以方便工業(yè)機(jī)器人進(jìn)行對缺陷定位和修補(bǔ)。

（3）以光平面為參考平面，建立二維像素坐標(biāo)與三維相機(jī)坐標(biāo)的變換關(guān)系，簡化算法的復(fù)雜程度，降低了設(shè)備成本，能夠滿足激光增材制造中的定位要求。

（4）本文基于單線激光開發(fā)的增材制造視覺檢測系統(tǒng)，還可以進(jìn)一步提高線結(jié)構(gòu)光條紋中心的提取精度和魯棒性，因此需要優(yōu)化線結(jié)構(gòu)中心提取算法，提高檢測系統(tǒng)的三維坐標(biāo)提取精度。

參考文獻(xiàn)：

[1]楊強(qiáng)，魯中良，黃福享，等.激光增材制造技術(shù)的研究現(xiàn)狀及發(fā)展趨勢[J].航空制造技術(shù)，2016（12）：26-31.

YANG? Qiang，LU Zhongliang，HUANG? Fuxiang，et al. Research on Status and Development Trend of Laser Additive Manufacturing[J]. Aeronautical Manufactur‐ ing Technology，2016（12）：26-31.

[2]鄧俊豪.基于視覺傳感的電弧增材成形形貌檢測與預(yù)測建模研究[D].上海：上海交通大學(xué)，2019.

DENG Junhao. Research on Forming Information Ac‐ quisition and Prediction Modeling in Wire and Arc Ad‐ dictive? Manufacturing? Based? on? Vision? Sensing[D]. Shanghai：Shanghai JiaoTong University，2019.

[3]李友浩.基于線結(jié)構(gòu)光的電弧增材制造熔積層形貌三維測量[D].湖北：華中科技大學(xué)，2016.

Li youhao. Deposition layers 3D Measurement of Arc- basedAddictive Manufacturing Baesd on Line-structured Light[D]. Hubei：Huazhong University of Science & Technology，2016.

[4] D. Buchbinderet al. High Power Selective Laser Melt‐ing（HP SLM）of Aluminum Parts[J]. Physics Proce‐ dia，2011（12）：271-278.

[5]Baufeld B.，O.V.D. Biest，et al.，Additive manufactur‐ing of Ti-6Al-4V components by shaped metal deposi‐ tion[J]. Microstructure and mechanical properties Ma‐ terials& Design，2010（31）：106-111.

[6]Murr L.E.，et al.，F(xiàn)abrication of Metal and Alloy Com‐ponents by Additive Manufacturing：Examples of 3D Materials? Science[J]. Journal? of Materials? Research and Technology，2012，1（1）：42-54.

[7] Zhuang Zhao. Additive seam tracking technology basedon? laser? vision[J]. The? International? Journal? of Ad‐ vanced Manufacturing Technology，2021（25）：1-15.

[8] Tsai R Y. Versatile camera calibration techniqueforhigh-accuracy 3D machine vision? metrology? using? off-the- shelf TV cameras and lenses[J]. IEEE Journal of Ro‐ botics and Automation，1987，RA-3（4）：323-344.

[9]Faugeras O D，Luong Q T，Maybank S J. Camera self-calibration：Theory? and? experiments[C]. European conference on computer vision. Springer，Berlin，Hei‐ delberg，1992：321-334.

[10]聶紅梅，劉忠艷.基于OpenCV的攝像機(jī)標(biāo)定研究[J].微處理機(jī)，2017，38（06）：58-61.

NieHongmei，Liu? Zhongyan. Research? on? Camera? Calibration? Based? on? OpenCV[J]. Microprocessors，2017，38（06）：58-61.

[11]高磊，莫冰.攝像機(jī)標(biāo)定系統(tǒng)的設(shè)計(jì)[J].電腦與電信，2017（12）：36-38.

GAO Lei MO Bing. Design of Camera Calibration Sys‐ tem[J].Computer & Telecommunication，2017（12）：36-38.

[12] ZHANG Z Y. A flexible new technique for camera cali‐bration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[13]陳濤.強(qiáng)噪聲下的激光視覺焊縫跟蹤系統(tǒng)研究[D].廣東：華南理工大學(xué)，2020.

CHEN Tao. Research on Laser Vision Seam Tracking System? under? Strong? Background? Noise[D]. South China university of Technology，2020.

[14]龔國基.基于主動光視覺傳感的焊縫自動跟蹤系統(tǒng)研究[D].廣東：華南理工大學(xué)，2016.

GONG? Guoji. Research? on? automatic? seam? tracking? system based on active vision sensor[D].Guangdong： South China university of Technology，2016.

[15]王研博.面向焊縫跟蹤的線激光檢測技術(shù)研究[D].廣東：華南理工大學(xué)，2017.

WANG Yanbo. Reasearch on the Line Laser DetectionTechnology for Weld Seam Tracking[D]. Guangdong： South China university of Technology，2017.

編輯部網(wǎng)址：http：//www.71dhj.com