線激光掃略的白車身裝配特征機器人在線檢測技術研究

李凌旻，尚 校，李 靖，習俊通

（1.上海交通大學機械系統(tǒng)與振動國家重點實驗室，上海 200240；2.一汽模具制造有限公司，吉林長春 130011）

轎車白車身的焊接制造過程由多個分總成多層次構成.焊接過程中，工裝定位不穩(wěn)定、焊接零件變形、沖壓零件尺寸偏差、設計公差累積以及焊接操作誤差等均可能造成白車身尺寸偏差，導致后續(xù)整車裝配困難，影響整車配合性能［1］.因此，必須運用白車身在線檢測系統(tǒng)，通過對白車身上孔、槽、柱、邊等能反映出白車身焊裝誤差的特征進行實時檢測，控制焊裝誤差在各分總成間的累積并及時反饋校正，來保障白車身焊接制造的尺寸質量.

現(xiàn)有的白車身在線檢測系統(tǒng)，按照其測量原理和方式，可以分為接觸式和非接觸式兩大類.接觸式系統(tǒng)設備主要包括測量樣架、多關節(jié)測量機及三坐標測量機.其中測量樣架上的零件定位、夾緊及測量裝置只能針對固定車身部件，柔性差，往往作為在線檢測系統(tǒng)補充設備；多關節(jié)測量機需要人工操作移動測頭測量車身零件，測量速度較慢；三坐標測量機可編程測量，柔性高，但體積過于龐大，對環(huán)境溫度及振動控制要求高，速度較慢，因此很少應用于在線檢測.非接觸式系統(tǒng)運用機器視覺技術，分為檢測隧道系統(tǒng)和機器人系統(tǒng)兩大類.檢測隧道系統(tǒng)將一組傳感器按測點位置分布固定在支架上，實現(xiàn)對所有測點的同時檢測，檢測速度很快；但由于傳感器位置固定，因此難以適應多車型柔性生產(chǎn)線的檢測，傳感器數(shù)量多，成本高［2］.機器人系統(tǒng)將傳感器固定在機器人末端，構成一個可運動的檢測單元.相比之下，機器人式系統(tǒng)柔性高、傳感器數(shù)量少，應用最為廣泛［3－6］.

Perceptron公司提出二維影像結合激光測距的方法，通過對測點拍攝一幅打光圖像及一幅線激光圖像，綜合計算測點位置參數(shù)［7］.該方案需要提供額外的環(huán)境光照，若光照量或光照角度不合適，拍攝特征將缺失或偏移；若攝像機成像面與測點所在面的夾角過大，圖像投影成像變形將變大.例如圓孔特征將變成橢圓，導致無法準確計算，甚至無法識別測點.天津大學提出的檢測方案［8］僅需一幅與圓孔相交的光刀圖像，通過幾何代換近似求解圓孔位置參數(shù).但該方法對攝像機位姿的要求更為嚴格，且數(shù)據(jù)量過少，僅限于圓孔及棱邊的檢測.Perceptron公司Helix自動三維掃描解決方案，通過機器人小范圍局部運動帶動傳感器實現(xiàn)對測點的線激光掃描測量［9］.該方案中由于機器人運動絕對精度較低，且小范圍運動軌跡難以精確控制，易在激光掃描過程中引入機器人運動誤差，不利于檢測系統(tǒng)的精度及穩(wěn)定性.

針對上述問題，本文研制了一種基于線激光掃略的擺動式線激光單目視覺傳感器白車身裝配特征機器人在線檢測系統(tǒng).該系統(tǒng)采用激光掃描測量原理，不需要額外光源，受到環(huán)境光照的影響很小.測量時，傳感器自行擺動掃描待測裝配特征，數(shù)據(jù)量大，測量位姿較自由，并解決了掃描過程中引入機器人運動誤差的問題.通過對傳感器在線標定、裝配特征參數(shù)計算等關鍵技術的深入研究，本文開發(fā)了白車身裝配特征機器人在線檢測系統(tǒng)并投入到實際生產(chǎn)應用，實現(xiàn)了對白車身裝配特征快速、精密、穩(wěn)定的在線檢測.

1 系統(tǒng)方案

1.1 系統(tǒng)測量原理

如圖1所示，本文提出的白車身在線檢測系統(tǒng)基于激光掃描的測量原理.

圖1 系統(tǒng)測量原理圖Fig.1 Measurement principle of system

擺動式線激光單目視覺傳感器由線激光投射器、單目攝像機和精密轉臺構成，其中單目攝像機由CCD工業(yè)相機及鏡頭組成.檢測時，機器人攜傳感器運動到最佳測量位置，由線激光投射器投射線激光至待測裝配特征表面形成光刀，通過精密轉臺帶動傳感器整體擺動，實現(xiàn)光刀對裝配特征的掃描.掃描過程中，攝像機被觸發(fā)拍攝一組光刀圖像，儲存于計算機內存中.運用面向白車身裝配特征的光刀點云提取算法處理圖像，提取裝配特征二維點云數(shù)據(jù).結合擺動式線激光單目視覺傳感器標定參數(shù)，轉換為傳感器坐標系下的三維點云，擬合計算裝配特征對應位置參數(shù)；最終結合機器人系統(tǒng)標定參數(shù)，轉換得到白車身坐標系下裝配特征位置參數(shù)米制單位的檢測結果.

1.2 系統(tǒng)硬件集成與傳感器設計

本文提出的白車身在線檢測系統(tǒng)由兩臺攜帶擺動式線激光單目視覺傳感器的6軸機器人和系統(tǒng)控制柜兩大部分組成.兩臺機器人可聯(lián)動測量、互不干擾，分別位于白車身測量工位的左側和右前側.其中，擺動式線激光單目視覺傳感器是系統(tǒng)關鍵硬件，具體設計方案如下：

1.2.1 傳感器結構設計

傳感器結構數(shù)模如圖2所示.其中，基線距離d和基線夾角α，是影響傳感器測量精度的兩個重要結構參數(shù).根據(jù)白車身待測特征測量場景及精度要求，確定采用16 mm鏡頭和靶面1／3英寸的CCD相機后，傳感器的工作距離D也隨之確定.固定D不變，物體表面的偏移量x所能引起的成像偏移量y越大，傳感器越靈敏，測量精度越高.建立y與變量x，d的函數(shù)關系如式（1）

式中：焦距f為定值，x與y均有正負方向，且約定：物體表面遠離傳感器時取x值為正，對應y值也為正.由式（1）可知，增加基線距離d或減小基線夾角α均可以提高傳感器測量精度；但也會增大傳感器的體積，阻礙傳感器抵達理想測量位置，增加傳感器重量，加大轉臺負荷要求.綜合考慮這些因素，設計傳感器基線距離d＝75 mm，基線夾角α＝48°.

圖2 傳感器結構數(shù)模示意圖Fig.2 Sketch of sensor structure model

圖3 傳感器轉臺位置示意圖Fig.3 Sketch of sensor turntable position

1.2.2 轉臺位置設計

轉臺安裝位置對傳感器的擺動占用空間及轉臺扭矩都有直接影響.如圖3所示，C0為傳感器外殼質心和形心為線激光光平面與攝像機光軸所成線面角的角平分線，C為與過C0水平線的交點.擺動空間方面，傳感器繞C或C0軸擺動的占用空間均較??；轉臺扭矩方面，由于傳感器測量時并非豎直放置，拉力T遠大于重力G的分量，因此轉軸中心到拉力T的垂直距離越小，轉臺所需驅動力矩就越小.此外，傳感器繞C軸轉動角度時，激光器垂直距離差為

比繞C0軸小.較小的Δh可使線激光光刀圖像更清晰，光刀寬度更均勻，有利于傳感器測量精度的提高.綜合上述，設計轉臺的轉軸位置為C點.此時，傳感器具有較小的垂直距離差、較小的轉臺驅動力矩需求以及較小的擺動占用空間.

2 擺動式線激光單目視覺傳感器在線標定

裝配特征光刀點云提取算法提取的光刀點坐標在各圖像的像素坐標系下，為了將光刀點轉換到對應傳感器坐標系下，需要對傳感器參數(shù)進行標定；同時，由于拍攝各圖像時傳感器位姿均不同，為了將光刀點云轉換到同一傳感器坐標系下，需要對傳感器擺動進行標定.

傳感器參數(shù)標定就是要確定傳感器攝像機內外參數(shù)和傳感器坐標系下線激光光平面方程參數(shù).本文采用文獻［10］所述無位姿約束的標定方法，其標定原理是運用所設計靶標標識點的幾何性質，獲取足夠多的空間三維坐標點與其在攝像機成像平面上對應二維成像點，建立包含傳感器參數(shù)的方程組并求解.

傳感器擺動標定就是要確定傳感器擺動過程中各拍攝時刻的傳感器位姿轉換計算式.本文采用文獻［11］所述的標定方法，其標定原理是通過分解傳感器繞轉軸的擺動，分別計算轉軸方向向量、傳感器單步轉角以及傳感器單步平移，再合成求解傳感器位姿轉換計算式.

3 裝配特征點云提取及參數(shù)計算

白車身裝配特征主要有孔槽類特征——圓孔、螺紋孔和復合槽孔，柱狀類特征——圓柱和螺紋柱，以及折邊、修邊特征.本文將以圓孔和圓柱為例，說明孔槽類特征和柱狀類特征各自的點云提取及參數(shù)計算方法.

3.1 孔槽類特征

圖4 掃描光刀與圓孔相交時的圖像Fig.4 Image of the intersection of laser line and hole

3.1.1 點云提取

以圓孔特征為例，傳感器擺動掃描過程中，光刀曲線與圓孔相離、相交再相離，如圖4所示.相交時，光刀曲線從圓孔邊界處斷開，形成兩個光刀輪廓點A，B，最能體現(xiàn)圓孔的幾何特性，是圓孔特征光刀點云提取算法的提取對象.

常規(guī)的提取方法是在圖像感興趣區(qū)域AOI內按列遍歷計算整條光刀曲線的光刀中心點集，計算效率低，耗時久.本文針對圓孔特征光刀曲線僅需提取A，B兩個輪廓點的特點，提出從AOI中央開始向兩邊搜索光刀輪廓點A，B，節(jié)省了遍歷時間，計算簡便高效.具體提取步驟如下：

1）首先對光刀圖像做預處理：運用式（3），以T g為閾值，對原始圖像H0閾值濾波，得到濾掉背景后的圖像H，如圖5（a）所示.

2）確定搜索起始列位置：搜索起始列應位于圖4左右光刀點A，B之間.從AOI中央列開始，計算該列AOI內像素點的灰度值之和Sum1.若Sum1≠0，則該列有光刀點存在，不能作為搜索起始列，需繼續(xù)向左或右遍歷尋找.若Sum1＝0，則假設該列為所求搜索起始列.為排除噪點影響，以該列為中心，向左右各計算3列.若這些列的像素灰度和Sum2＝0，則上述假設成立，該列被確定為光刀輪廓點的搜索起始列，如圖5（b）所示.若遍歷AOI內所有列，仍未找到一列滿足Sum1＝0且Sum2＝0，則說明光刀曲線與圓孔相離，不存在待提取的光刀點，可直接跳過該圖像的后續(xù)處理，節(jié)省計算處理時間.

3）提取光刀輪廓點：由搜索起始列開始向左右列遍歷.當某一列AOI內的像素灰度值之和Sum3≠0時，為排除噪點干擾，繼續(xù)沿遍歷方向計算5列.若這5列均有Sum4≠0，則確定為所求光刀輪廓點.采用灰度質心法，在AOI內提取該列的光刀中心點，即此光刀輪廓點在像素坐標系下的二維坐標，如圖5（c）所示.

4）結合傳感器標定結果，將各圖像中的光刀輪廓點轉換到同一傳感器坐標系下，整合成為傳感器坐標系下的圓孔特征三維光刀點云，如圖5（d）所示.

圖5 圓孔特征光刀點云提取流程圖Fig.5 Extraction of laser point cloud of a hole

3.1.2 參數(shù)計算

圓孔特征位置參數(shù)為孔心三坐標.與現(xiàn)有方法不同［12］，本文提出降維法，將三維空間點云降至二維平面內擬合圓孔，計算孔心三坐標，再轉換到白車身坐標系中.具體方法如下：

1）光刀點云的平面投影

圓孔的光刀點云在空間同一平面內.因此，運用最小二乘法，由光刀點云計算此空間平面Πproj的平面方程

解得Πproj的平面方程后，將光刀點P0（X0，Y0，Z0）向該平面投影，實現(xiàn)光刀點云的降維，投影后的光刀點坐標Pproj（Xp，Yp，Zp）計算如下

圖6 局部坐標系下圓孔的參數(shù)計算Fig.6 Calculation of hole parameters in local coordination system

2）局部坐標系下圓孔的參數(shù)計算

以投影平面Πproj為坐標系的一個平面，運用Gram－Schmidt正交化方法，取光刀點云中任意3個點，以其中一點a為原點，其余兩點b，c為向量端點，建立局部坐標系o1－x1y1z1，如圖6（a）所示.將Pproj（Xp，Yp，Zp）由式（6）轉換到局部坐標系下，得到Z坐標均為零的光刀點云plocal（x1，y1，0）

式中：t1＝（xt，Yt，Zt）為局部坐標系原點o1在傳感器坐標系下的坐標.在局部坐標系下，設圓孔孔心坐標為olocal（ao，bo，0），半徑為r，則圓的方程為

將光刀點云坐標plocal（x1，y1，0）代入式（7），由最小二乘法，計算得到圓孔在局部坐標系下的孔心三坐標.同時還能計算出圓孔的半徑，如圖6（b）所示.

3）白車身坐標系下孔心的計算

由式（6）的逆變換，將局部坐標系下的孔心三坐標olocal（ao，bo，0）轉換到傳感器坐標系下Oc（Xh，Yh，Zh），再根據(jù)機器人手眼矩陣，機器人本體矩陣和機器人外部位姿矩陣，將Oc（Xh，Yh，Zh）轉換到白車身坐標系下，得到最終測量結果.

3.2 柱狀類特征

圖7 圓柱特征光刀點云提取Fig.7 Extraction of laser point cloud of a cylinder

3.2.1 點云提取

以圓柱特征為例，傳感器擺動掃描并拍攝一組光刀曲線圖像，其一如圖7（a）所示.參照3.1.1節(jié)中的方法，對圖像預處理后，直接采用灰度質心法，在AOI內按列提取圖像中的光刀曲線中心點集，再整合成為傳感器坐標系下的圓柱特征三維光刀點云，如圖7（b）所示.

3.2.2 參數(shù)計算

圓柱特征位置參數(shù)包括軸線方向向量和軸線中點的三坐標.由于線激光掃描獲取的圓柱點云具有單側局部性，采用傳統(tǒng)圓柱擬合方法直接求解圓柱方程參數(shù)時，最小二乘矩陣條件數(shù)過大，計算結果不穩(wěn)定.因此，本文針對所獲圓柱點云的特性，提出割線法來計算圓柱參數(shù)，即通過求取平行于軸線的割線，直接獲得軸線法向，再將圓柱沿軸線方向正投，由圓擬合計算軸線中點的三坐標，具體方法如下：

1）圓柱軸線方向向量的計算

運用最小二乘法，由圓柱點云擬合一個平面Πcylin，如圖8（a）所示.由于圓柱點云是一組沿圓柱軸線方向延伸的等長圓弧，且軸向方向上的長度最大，因此所擬合平面Πcylin是一個與圓柱軸線平行的割平面，圖8（b）是割平面Πcylin的俯視圖.割平面與圓柱面的兩條交線L1，L2與軸線平行.取圓柱點云中到割平面距離小于0.01 mm的點集，分別擬合交線L1，L2，如圖8（c）所示.計算兩條交線方向向量的均值并單位化，作為圓柱軸線方向向量nc（uc，vc，wc）.

圖8 圓柱軸線方向向量計算Fig.8 Calculation of direction vector of cylinder axis

2）圓柱軸線中點的計算

參照3.1.2節(jié)中局部坐標系下圓孔的參數(shù)計算，以軸線方向向量nc（uc，vc，wc）為z軸建立局部坐標系.在局部坐標系中，將圓柱沿軸線方向正投，由所有圓柱點云擬合計算圓柱的圓截面方程，獲取圓心的三坐標，即圓柱軸線中點的三坐標plocal（xp，yp，zp），其中zp取圓柱點云z坐標的均值.同時還能得到圓柱的直徑.再參照3.1.2節(jié)中白車身坐標系下孔心的計算，將圓柱軸線中點的三坐標plocal（xp，yp，zp）轉換到傳感器坐標系下pc（xp，yp，zp）.最后，結合機器人手眼矩陣、本體矩陣和外部位姿矩陣，得到白車身坐標系下的圓柱位置參數(shù)測量結果.

4 測量實驗及工程應用

圖9 系統(tǒng)集成與工程應用Fig.9 System integration and engineering application

基于上述研究，開發(fā)了一套基于線激光掃略的擺動式線激光單目視覺傳感器白車身裝配特征機器人在線檢測系統(tǒng)，如圖9所示.為驗證該系統(tǒng)的測量精度、速度和魯棒性，分別進行了圓孔標準件測量實驗、圓柱標準件測量實驗和白車身生產(chǎn)現(xiàn)場在線檢測應用，并與國際上較先進的同類設備Perceptron在線檢測系統(tǒng)比較.

1）將直徑10 mm的圓孔標準件固定放置在傳感器測量范圍內連續(xù)多次測量.測量結果在表1中列出.圓孔直徑測量的平均誤差為0.013 mm，均方根誤差為0.002 mm；孔心三坐標的均方根誤差依次為0.001 mm，0.002 mm和0.003 mm，優(yōu)于Peceptron TriCam傳感器的測量精度0.05 mm［13］.因此，本文研制的擺動式線激光單目視覺傳感器具有較高的測量絕對精度和重復精度.

表1 圓孔標準件測量結果Tab.1 Standard hole measurement result

圖10 不同位姿的圓柱測量點云Fig.10 Point cloud of cylinders in different pose

2）將直徑12.5 mm的圓柱標準件以不同位姿放置在傳感器測量范圍內，對不同位姿的圓柱進行測量.不同位姿的圓柱點云如圖10所示，測量結果在表2中列出.在不同測量位姿下，圓柱直徑測量的平均誤差為0.012 mm，均方根誤差為0.013 mm.因此，本文研制的擺動式線激光單目視覺傳感器在不同位姿下仍能實現(xiàn)白車身裝配特征的精確測量，測量結果受傳感器位姿變化影響小，測量位姿較自由.

3）將所開發(fā)系統(tǒng)應用于某廠地板分總成在線檢測工位，如圖9（b）所示，該工位不需要布置擋光門簾，在普通環(huán)境下即可準確測量，不受現(xiàn)場環(huán)境光照變換的影響.運用該系統(tǒng)對白車身上共26個裝配特征進行在線計時測量、半動態(tài)測量以及動態(tài)測量實驗.測量時，機器人A，B聯(lián)動，各獨立測量13個特征.

計時測量實驗從機器人啟動開始到測量完畢機器人復位結束，整個測量過程耗時54 s.

半動態(tài)測量實驗用定位工裝將白車身固定，連續(xù)重復測量50次.該實驗排除了白車身工裝定位誤差，最能夠直接反應測量系統(tǒng)的重復精度.實驗結果如圖11所示，其中橫軸表示13個待測特征的共33個位置分量，縱軸表示每一個位置分量50次測量的極差.A機器人測量的極差平均值為0.080 mm，最大極差為0.223 mm；B機器人測量的極差平均值為0.085 mm，最大極差為0.170 mm.實驗結果達到Peceptron系統(tǒng)的最大極差水平0.25 mm.

圖11 半動態(tài)測量實驗結果Fig.11 Result of semi－dynamic measurement

動態(tài)測量實驗用同一輛白車身來模擬實際生產(chǎn)過程，每次測量過程均包含白車身工裝定位、系統(tǒng)測量和白車身下線.共進行15次測量.實驗結果如圖12所示.A，B機器人極差小于0.42 mm的比例均為100%，也達到Peceptron系統(tǒng)檢測水平.注意到，動態(tài)測量數(shù)據(jù)波動明顯大于半動態(tài)測量，這是由于白車身工裝定位波動使得每次測量的白車身在原始車身坐標系下的位置發(fā)生隨機偏移.實驗結果表明，本文測量系統(tǒng)仍能夠準確識別并完成測量，因此該系統(tǒng)受測量相對位姿影響小，具有較高的魯棒性.

圖12 動態(tài)測量實驗結果Fig.12 Result of dynamic measurement

表2 圓柱標準件測量結果Tab.2 Standard cylinder measurement result

5 結束語

本文研制了一套基于線激光掃略的擺動式線激光單目視覺傳感器白車身裝配特征機器人在線檢測系統(tǒng).該系統(tǒng)實現(xiàn)了對白車身上圓孔、螺紋孔、復合槽孔、圓柱、螺紋柱、折邊點以及修邊點等裝配特征幾何參數(shù)的在線測量，為白車身焊接尺寸質量驗證提供了可靠的數(shù)據(jù)支持.經(jīng)測量實驗及工程應用驗證，該系統(tǒng)受環(huán)境光照及測量相對位姿的影響很小，測量精度達到了國際先進同類設備的水平，實現(xiàn)了對白車身裝配特征快速、精密、穩(wěn)定的在線檢測.

［1］ 林忠欽.汽車車身制造質量控制技術［M］.北京：機械工業(yè)出版社，2005.

［2］ 劉長杰，邾繼貴，葉聲華，等.汽車白車身機器視覺檢測系統(tǒng)［J］.汽車工程，2000，22（6）：373－376.

Liu Changjie，Zhu Jigui，Ye Shenghua，et al.Car body in white inspection system with machine vision［J］.Automotive Engineering，2000，22（6）：373－376.（in Chinese）

［3］ Kovac I.Flexible inspection systems in the body－in－white manufacturing［C］.Proceedings of Robot Sensing，2004.ROSE 2004.International Workshop on，Graz，Austria，May 24－25，2004：41－48.

［4］ Hossein G.Role of laser sensor systems in automation and flexible manufacturing［J］.Robotics and Computer Integrated Manufacturing，2003，19：201－210.

［5］ 李正平，林忠欽，金隼，等.車身制造過程的檢測設備淺析［J］.機床與液壓，2002（6）：17－20.

Li Zhengping，Lin Zhongqin，Jin Sun，et al.Measurement machine in the manufacturing process of automobile body［J］.Machine Tool ＆Hydraulics，2002（6）：17－20.（in Chinese）

［6］ 馮維廉.白車身尺寸質量分析預警系統(tǒng)的建立與應用［D］.上海：上海交通大學，2007.

［7］ Perceptron Inc.In－Process Quality Inspection［EB／OL］.［2013－10－08］.http：／／www.perceptron.com／index.php／en／in－process－quality－inspection.html.

［8］ 吳斌，孫長欽，楊兵，等.結構光傳感器在柔性視覺測量系統(tǒng)中的應用研究［J］.光電子·激光，2008，19（10）：1309－1311.

Wu Bin，Sun Changqin，Yang Bin，et al.Application technology of line－structured light sensor in flexible vision measurement system［J］.Journal of Optoelectronics·Laser，2008，19（10）：1309－1311.（in Chinese）

［9］ Perceptron Inc.Helix Automated 3D Scanning Solutions［EB／OL］.［2013－10－08］.http：／／www.perceptron.com／index.php／en／3d－scanning－solutions／automated－3d－scanning.html.

［10］ 李凌旻，王振興，習俊通.無位姿約束的線激光視覺傳感器參數(shù)標定［J］.光電工程，2013，40（6）：63－70.

Li Lingmin，Wang Zhenxing，Xi Juntong.Free pose calibration of a line laser monocular vision sensor［J］.Opto－E－lectronic Engineering，2013，40（6）：63－70.（in Chinese）

［11］ Li Lingmin，Xi Juntong.Free and global pose calibration of a rotating laser monocular vision sensor for robotic 3D measurement system［C］.Proceedings of SPIE 8769，International Conference on Optics in Precision Engineering and Nanotechnology（icOPEN2013），Singapore，June 22，2013：87690I.

［12］ 楊偉，陳家新，李濟順.基于投影的二階段空間圓線擬合算法［J］.工程設計學報，2009，16（2）：117－121.

Yang Wei，Chen Jiaxin，Li Jishun.Two－step spatial circle fitting method based on projection［J］.Journal of Engineering Design，2009，16（2）：117－121.（in Chinese）

［13］ Webster J G.The Measurement，Instrumentation，and Sensors：Handbook［M］.Heidelberg，Germany：CRC Press LLC，1999.