基于結(jié)構(gòu)光視覺的白車身覆蓋件間隙面差測(cè)量方法

許 敏， 馬 鉞， 陳 帥， 徐首帥

(中國(guó)科學(xué)院 沈陽自動(dòng)化研究所，遼寧 沈陽 110179)

基于結(jié)構(gòu)光視覺的白車身覆蓋件間隙面差測(cè)量方法

許 敏， 馬 鉞， 陳 帥， 徐首帥

(中國(guó)科學(xué)院 沈陽自動(dòng)化研究所，遼寧 沈陽 110179)

針對(duì)白車身表面覆蓋件間隙面差人工測(cè)量精度差、效率低等問題，提出了利用結(jié)構(gòu)光視覺測(cè)量方法代替人工測(cè)量。在間隙特征點(diǎn)識(shí)別中，計(jì)算光紋中心線上各點(diǎn)的絕對(duì)差分值，搜索差分極值點(diǎn)并將該極值點(diǎn)作為特征點(diǎn)；在面差特征點(diǎn)識(shí)別中，采用基于離散曲線曲率極值點(diǎn)的特征點(diǎn)定位算法。實(shí)驗(yàn)結(jié)果表明：間隙面差測(cè)量方法測(cè)量精度較高，能夠滿足整車廠對(duì)白車身間隙面差測(cè)量精度的要求。

白車身； 結(jié)構(gòu)光視覺； 特征點(diǎn)識(shí)別； 間隙面差

0 引 言

白車身主要由結(jié)構(gòu)件與覆蓋件組成，車身覆蓋件大多由沖壓制成，經(jīng)沖壓拉伸后，覆蓋件尺寸存在誤差。在裝配時(shí)，如果覆蓋件尺寸誤差較大會(huì)導(dǎo)致覆蓋件之間存在較大的間隙和面差，影響整車的外觀、密封、風(fēng)噪等，因此，需要對(duì)覆蓋件之間的間隙與面差進(jìn)行測(cè)量[1]。傳統(tǒng)的人工測(cè)量方法主要是使用塞尺與面差尺，存在測(cè)量速度慢、效率低、精度低，測(cè)量結(jié)果極易受到主觀因素影響等缺點(diǎn)，不能滿足整車廠在線實(shí)時(shí)測(cè)量要求[2]?；诮Y(jié)構(gòu)光視覺的測(cè)量方法具有測(cè)量速度快、精度高、非接觸、測(cè)量數(shù)據(jù)易于保存等優(yōu)點(diǎn)，目前，已廣泛應(yīng)用于機(jī)械加工、逆向工程、汽車制造等現(xiàn)代工業(yè)中[3～6]。

針對(duì)白車身覆蓋件間隙面差的測(cè)量，歐美等發(fā)達(dá)國(guó)家已經(jīng)開發(fā)出商用化的激光視覺間隙面差測(cè)量設(shè)備，并廣泛應(yīng)用于白車身在線測(cè)量中。國(guó)內(nèi)，對(duì)間隙面差視覺檢測(cè)技術(shù)的研究還沒有形成成熟的系統(tǒng)理論框架，處于原理樣機(jī)研究階段。本文在分析結(jié)構(gòu)光視覺測(cè)量原理的基礎(chǔ)上，對(duì)間隙面差特征提取方法進(jìn)行了詳細(xì)研究并建立了間隙面差計(jì)算模型，為間隙面差測(cè)量設(shè)備國(guó)產(chǎn)化提供理論指導(dǎo)。

1 結(jié)構(gòu)光視覺測(cè)量原理

結(jié)構(gòu)光三維視覺測(cè)量基于光學(xué)三角測(cè)量原理。如圖1所示，光學(xué)投射器將一定模式的結(jié)構(gòu)光投射到被測(cè)物表面，再形成由被測(cè)物表面形狀調(diào)制的光紋三維圖像。該三維圖像由處于另一位置的攝像機(jī)探測(cè)，從而獲得光紋二維畸變圖像。光紋的畸變程度取決于光學(xué)投射器與攝像機(jī)之間的相對(duì)位置和物體表面形廓。當(dāng)光學(xué)投射器與攝像機(jī)之間的相對(duì)位置一定時(shí)，由畸變的二維光紋圖像坐標(biāo)便可重現(xiàn)物體表面三維形廓。

圖1 結(jié)構(gòu)光三角測(cè)量原理示意

2 結(jié)構(gòu)光光紋圖像處理及特征點(diǎn)識(shí)別

在結(jié)構(gòu)光視覺測(cè)量系統(tǒng)中，光紋經(jīng)被測(cè)物體表面的深度變化而受到調(diào)制，反映到圖像中則發(fā)生了畸變，其畸變的程度包含了被測(cè)物體表面的三維信息。要想獲得這些信息，必須從光紋圖像中提取光紋中心的圖像坐標(biāo)。此外，要想完成白車身覆蓋件間隙面差的測(cè)量，還需要準(zhǔn)確地識(shí)別出光紋中心線上的特征點(diǎn)。因此，光紋中心線提取與特征點(diǎn)識(shí)別是結(jié)構(gòu)光視覺測(cè)量系統(tǒng)的關(guān)鍵技術(shù)。

2.1 光紋中心線提取

結(jié)構(gòu)光光紋圖像處理的目標(biāo)是獲取光紋圖像的中心線及中心線上的有效特征點(diǎn)。結(jié)構(gòu)光光紋中心線的提取方法主要有：幾何中心法、極值法、高斯擬合法[7]、灰度質(zhì)心法[8]、Hessian矩陣法[9]和方向模板法[10]。其中，灰度質(zhì)心法將光紋各截面上的像素點(diǎn)灰度分布的質(zhì)心作為光紋中心點(diǎn)，可減少幾何中心法和高斯擬合法由于灰度分布不對(duì)稱引起的誤差，且該方法計(jì)算量較小，實(shí)時(shí)性較好，因此，本文中采用灰度質(zhì)心法來提取光紋中心線。

設(shè)光紋某截面上一點(diǎn)的坐標(biāo)為(xi,yi)，相應(yīng)的灰度值為g(xi,yi)，i=1, … ,N，N為截面內(nèi)像素點(diǎn)的個(gè)數(shù)，則該截面上光紋中心點(diǎn)坐標(biāo)為

(1)

式中xc，yc分別為光紋中心的橫、縱坐標(biāo)。

圖2所示為結(jié)構(gòu)光視覺傳感器拍攝的白車身左側(cè)兩門之間的間隙面差原始圖像，圖3所示為使用灰度質(zhì)心法提取獲得的光紋中心線坐標(biāo)。

圖2 結(jié)構(gòu)光光紋圖像

2.2 光紋中心線特征點(diǎn)識(shí)別

在使用結(jié)構(gòu)光視覺傳感器測(cè)量白車身表面覆蓋件間隙面差時(shí)，通常需要識(shí)別出光紋中心線上的3個(gè)特征點(diǎn)和1條基準(zhǔn)直線。如圖4所示，特征點(diǎn)A與基準(zhǔn)面擬合直線之間的距離即為面差，特征點(diǎn)B與特征點(diǎn)C之間的水平距離即為間隙。

圖3 灰度質(zhì)心法提取的光紋中心線坐標(biāo)

圖4 覆蓋件間隙面差特征點(diǎn)示意

2.2.1 用于間隙計(jì)算的特征點(diǎn)識(shí)別

用于間隙計(jì)算的特征點(diǎn)一般選擇兩條光紋中心線上水平距離最近的點(diǎn)，如圖4中的B點(diǎn)與C點(diǎn)。由于光紋中心線上存在噪聲干擾，如圖3所示，在左、右中心線的中間位置存在明顯的噪聲，因此，直接計(jì)算最近水平距離容易受噪聲干擾。本文采用基于一階絕對(duì)差分的特征點(diǎn)提取算法，其具體步驟如下：

1) 計(jì)算絕對(duì)差分值，計(jì)算圖3中心線中相鄰兩點(diǎn)之間的絕對(duì)差分，計(jì)算如式(4)所示

Δ=|g(i)-g(i-1)|,i=2,…,n

(2)

式中Δ為絕對(duì)差分；g(i)為中心線上第i個(gè)點(diǎn)的縱坐標(biāo)；n為中心線點(diǎn)的個(gè)數(shù)。圖5所示為中心線各點(diǎn)的絕對(duì)差分值，可以發(fā)現(xiàn)，圖中存在明顯的極值點(diǎn)，而文中所需的特征點(diǎn)便隱藏在這些絕對(duì)差分極值點(diǎn)中。

2)搜索候選特征點(diǎn)，設(shè)置候選特征點(diǎn)提取閾值T，將Δ≥T的絕對(duì)差分值出現(xiàn)的位置保存在向量S中，S即為候選特征點(diǎn)集合。

3)搜索左右特征點(diǎn)，在集合S中搜索第一個(gè)與最后一個(gè)元素，分別記為S1和S2，則左側(cè)特征點(diǎn)Pleft與右側(cè)特征點(diǎn)Pright分別為

(3)

圖6中“*”為所提取的特征點(diǎn)。在獲得用于間隙計(jì)算的特征點(diǎn)后，只需要計(jì)算這2個(gè)特征點(diǎn)之間的水平距離即可確定間隙值。

圖5 中心線各點(diǎn)的絕對(duì)差分值

圖6 間隙特征點(diǎn)識(shí)別結(jié)果

2.2.2 用于面差計(jì)算的特征點(diǎn)識(shí)別

用于面差計(jì)算的特征點(diǎn)一般取直線段與圓弧段的交點(diǎn)，如圖4中的特征點(diǎn)A。直接使用直線擬合與圓擬合求交點(diǎn)的方法計(jì)算量大且易受噪聲干擾，本文采用基于曲率的方法。

對(duì)于離散曲線C，可視為相鄰的n個(gè)點(diǎn)Pi的集合，即

C={Pi(xi,yi)|i=1,2,…,n}

(4)

式中n為曲線上點(diǎn)數(shù)目；Pi為曲線C上的點(diǎn)；(xi,yi)為點(diǎn)Pi對(duì)應(yīng)的坐標(biāo)。離散曲線C上任意點(diǎn)Pi(xi,yi)經(jīng)尺度為σ高斯平滑后的坐標(biāo)為Pi(Xi,Yi)，其曲率計(jì)算公式為

(5)

式中 ΔXi=(Xi+1-Xi-1)/2； ΔYi=(Yi+1-Yi-1)/2；Δ2Xi=(ΔXi+1-ΔXi-1)/2；Δ2Yi=(ΔYi+1-ΔYi-1)/2；k為Pi(Xi,Yi)點(diǎn)的曲率;Δ為一階差分算子;Δ2為二階差分算子。

K—余弦法[11]算法簡(jiǎn)單，計(jì)算量小，廣泛應(yīng)用于離散曲線曲率計(jì)算，計(jì)算過程如下：

設(shè)離散曲線上任一點(diǎn)Pi(xi,yi)和與此相距為k的兩個(gè)點(diǎn)Pi+k(xi+k,yi+k)，Pi-k(xi-k,yi-k)，定義矢量aik與bik為

(6)

則，點(diǎn)Pi處的曲率為

(7)

式中θik為矢量aik與bik夾角的余弦值。θik值越大,則曲線曲率變化越劇烈；反之，則曲線曲率變化越平緩。圖7為采用K—余弦法計(jì)算獲得的中心線上各點(diǎn)的曲率值(計(jì)算時(shí)采用了圖6中左側(cè)部分中心線)。

根據(jù)Mokhtarian F等人[12]提出的角點(diǎn)理論，只要搜索到曲率曲線上的極大值點(diǎn)，則特征點(diǎn)的位置就可以確定。圖7中“*”為采用上述方法提取的面差計(jì)算特征點(diǎn)。

還需要確定用于面差計(jì)算的基準(zhǔn)參考線，文中選擇圖6中右側(cè)光紋曲線的擬合直線作為基準(zhǔn)參考線。圖7中的直線為擬合獲得的基準(zhǔn)參考線，“*”表示用于面差計(jì)算的特征點(diǎn)。面差即為該特征點(diǎn)到基準(zhǔn)線的距離。

圖7 面差計(jì)算的特征點(diǎn)與基準(zhǔn)面擬合直線

3 實(shí)驗(yàn)結(jié)果

采用德國(guó)米銥公司開發(fā)的scanCONTROL2650激光視覺傳感器，含有640個(gè)測(cè)量點(diǎn)，掃描頻率可達(dá)300 Hz，z軸(高度)分辨率為4 μm，x軸(寬度)分辨率為0.066 mm。測(cè)量對(duì)象為華晨中華某型SUV白車身，前門與后門(B柱區(qū)域)質(zhì)量特征要求為：間隙(4.0±1.0) mm，面差(0，+1 )mm。實(shí)驗(yàn)平臺(tái)如圖8所示，選取車門門縫處10個(gè)測(cè)量點(diǎn)，分別采用人工測(cè)量與傳感器測(cè)量，測(cè)量結(jié)果如表1所示,可以發(fā)現(xiàn)，兩者的測(cè)量誤差能夠滿足質(zhì)量特征技術(shù)要求。

圖8 間隙面差測(cè)量實(shí)驗(yàn)

序號(hào)間隙間隙尺傳感器誤差 面差面差尺傳感器誤差14.604.930.330.700.830.1324.605.050.450.800.910.1134.534.970.440.750.890.1444.554.910.360.630.760.1354.504.920.420.740.860.1264.574.880.310.850.960.1174.654.770.120.790.940.1584.714.970.260.830.970.1494.825.070.250.740.900.16104.865.030.170.710.840.13

4 結(jié) 論

對(duì)白車身表面覆蓋件間隙面差視覺測(cè)量進(jìn)行了研究，提出了基于絕對(duì)差分法的間隙特征點(diǎn)識(shí)別方法。在面差特征點(diǎn)識(shí)別過程中，采用基于K—余弦法的離散曲率計(jì)算方法并將曲率極大值點(diǎn)作為面差特征點(diǎn)。實(shí)驗(yàn)測(cè)量表明:采本文測(cè)量方法測(cè)量精度較高，能夠滿足整車廠對(duì)間隙面差測(cè)量精度的要求。

[1] 李凌旻，尚 校，李 靖，等.線激光掃略的白車身裝配特征機(jī)器人在線檢測(cè)技術(shù)研究[J].測(cè)試技術(shù)學(xué)報(bào)，2014，28(3)：255-263.

[2] 楊 濤，段發(fā)階，班 瑩.激光掃描車身測(cè)量傳感器靶標(biāo)識(shí)別體系的研究[J].傳感器與微系統(tǒng)，2009,28(9):66-69.

[3] 陳海永，方灶軍，徐 德，等.基于視覺的薄鋼板焊接機(jī)器人起始點(diǎn)識(shí)別與定位控制[J].機(jī)器人，2013，35(1):90-97.

[4] 何 佳，劉常杰，葉聲華.用于機(jī)器人柔性坐標(biāo)測(cè)量系統(tǒng)的視覺傳感器設(shè)計(jì)[J].傳感器與微系統(tǒng)，2010，29(3):68-70.

[5] 徐晉卿，陳唐龍，占 棟，等.基于機(jī)器視覺的鋼軌輪廓測(cè)量方法研究[J].傳感器與微系統(tǒng)，2014,33(4):27-30.

[6] 何炳蔚，林志航，楊明順，等.逆向工程中基于三目視覺自動(dòng)提取并構(gòu)造復(fù)雜曲面邊界技術(shù)[J].機(jī)器人，2002，24(1):66-70.

[7] 賀俊吉，張廣軍.結(jié)構(gòu)光三維視覺中光條圖像處理方法研究[J].北京航空航天大學(xué)學(xué)報(bào),2003,29(7):593-597.

[8] Sirkis J S.System response to automated grid methods[J].Optic Engineering,1990,29(12):1485-1493.

[9] Steger C.An unbiased detector of curvilinear structures[J].IEEE Trans on PAMI,1998,20(2):113-125.

[10] 胡 斌，李德華，金 剛，等.基于方向模板法的結(jié)構(gòu)光條紋中心檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用,2002(11):59-60.

[11] Rosenfeld A,Weszka J S.An improved method of angle detection on digital curves[J].IEEE Trans on Computers,1975,24(9):940-941.

[12] Mokhtarian F,Suomela R.Robust image corner detection through curvature scale space [J].IEEE Trans on PAMI,1998,20(12):1376-1381.

Measurement algorithm for gap and flush of body-in-white based on structured light vision

XU Min, MA Yue, CHEN Shuai, XU Shou-shuai

(Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110179,China)

Aiming at problem that manual measurement of gap and flush of body-in-white is imprecision and inefficiency,adopt structured light vision measurement method to replace manual measurement.In the recognition of feature points for the gap gauge,calculate absolute differential for each point on the centerline of the structured light stripe,then,search for differential extremal points and treat them as feature points for gap gauge.For the recognition of feature points of flush gauge,use feature points localization algorithm based on extremal curvature of discrete curve.Experimental results indicate that the proposed algorithm has a higher precision for calculating the gap and flush of body-in-white,and can satisfy the requirement of precision for car body factories.

body-in-white; structured light vision; feature point recognition; gap and flush

10.13873/J.1000—9787(2017)09—0013—04

2016—09—21

TP 391.1

A

1000—9787(2017)09—0013—04

許 敏(1982-)，男，工學(xué)博士，副研究員，碩士生導(dǎo)師，主要從事機(jī)器視覺與圖像處理技術(shù)及應(yīng)用研究工作。