基于組合線結(jié)構(gòu)光的涂膠質(zhì)量檢測系統(tǒng)設(shè)計(jì)

王 一,李龍飛,陸坤龍

(華北理工大學(xué)電氣工程學(xué)院,河北 唐山 063200)

1 引 言

汽車前擋風(fēng)玻璃涂膠是汽車涂膠環(huán)節(jié)的重要部分[1],在涂膠過程中由于機(jī)械振動,出膠不穩(wěn)定等原因,常常出現(xiàn)斷膠、膠體過寬過窄、偏厚偏薄等缺陷,對汽車的舒適性和安全性造成極大影響,由此需要對涂膠質(zhì)量進(jìn)行嚴(yán)格把控。由于膠體不宜接觸,非接觸測量成為最佳測量手段[2]。目前的非接觸測量方法主要包括二維檢測和三維檢測兩種,二維涂膠檢測主要是基于相機(jī)采集的圖像,經(jīng)過圖像處理,根據(jù)圖像中的對比度和邊緣信息來判斷涂膠寬度和位置是否符合標(biāo)準(zhǔn)。其中,王亞運(yùn)[3]通過神經(jīng)網(wǎng)絡(luò)建立標(biāo)準(zhǔn)的涂膠質(zhì)量信息庫實(shí)現(xiàn)涂膠質(zhì)量檢測。劉克平[4]采用基于Halcon軟件的涂膠質(zhì)量檢測方法計(jì)算膠體截面直徑。廖勇[5]通過比較標(biāo)準(zhǔn)涂膠圖像與實(shí)際圖像的對應(yīng)特征來檢測涂膠質(zhì)量。陳甦欣[6]利用工程圖中的涂膠軌跡數(shù)據(jù)計(jì)算膠體寬度和位置。殷蘇民[7]設(shè)計(jì)了一套基于機(jī)器視覺的電池涂膠缺陷在線檢測系統(tǒng),采用視覺傳感器作為圖像處理模塊,通過對電池涂膠圖像進(jìn)行處理和分析,進(jìn)而判斷電池涂膠質(zhì)量是否有缺陷。這種基于機(jī)器視覺的二維檢測方法無法檢測膠體的厚度信息,只能檢測膠體寬窄,斷膠等缺陷,并且容易受到陰影、對比度等影響,造成膠體邊緣識別錯誤,存在很大局限性。

與二維檢測方法相比之下,三維檢測[8]的優(yōu)勢能很好地體現(xiàn)出來:一方面,能夠獲得膠體的寬度和厚度,對涂膠質(zhì)量做更全面的監(jiān)控,能有效克服二維檢測中出現(xiàn)的誤判問題；另一方面,不易受環(huán)境光線的影響,在膠體與基底顏色的對比度很低的情況下也能完成檢測任務(wù),適應(yīng)性更強(qiáng)。此外,無需分別設(shè)立涂膠工位與檢測工位,可以將兩工位結(jié)合,實(shí)現(xiàn)邊涂膠邊檢測,提高了生產(chǎn)和檢測效率。其中,基于線結(jié)構(gòu)光的三維檢測技術(shù)在尺寸測量和質(zhì)量檢測方面表現(xiàn)突出,將其引入到涂膠生產(chǎn)線上已成為目前企業(yè)和院校的研究熱點(diǎn)。本文針對涂膠檢測中的實(shí)際問題給出具體的測量方案,將視覺檢測裝置安裝在工業(yè)機(jī)器人末端的膠槍上,工業(yè)機(jī)器人攜帶視覺檢測裝置,采用線結(jié)構(gòu)光測量方法對膠體寬度和厚度進(jìn)行在線測量,進(jìn)而完成對涂膠質(zhì)量的有效監(jiān)控。

2 涂膠質(zhì)量檢測系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)性能要求

本文的涂膠質(zhì)量在線檢測系統(tǒng)是利用線結(jié)構(gòu)光三維檢測技術(shù)對汽車前擋風(fēng)玻璃涂膠質(zhì)量進(jìn)行實(shí)時監(jiān)控,在硬件平臺的設(shè)計(jì)方面,第一,需要考慮檢測系統(tǒng)的兼容性,涂膠檢測裝置作為輔助設(shè)備,是在原有的涂膠系統(tǒng)基礎(chǔ)上的裝備升級,要求與原有的涂膠系統(tǒng)相兼容。第二,需要考慮膠槍四周空間的局限性,結(jié)合現(xiàn)場的具體工況,設(shè)計(jì)合理的測量方案,不能影響正常的涂膠操作。以膠體的寬度和厚度作為判斷涂膠質(zhì)量好壞的標(biāo)準(zhǔn)。要求檢測的膠體寬度為10 mm±1 mm,厚度為6 mm±1 mm,膠體寬度和厚度檢測誤差不高于0.4 mm。

2.2 檢測技術(shù)難點(diǎn)分析

2.2.1 線結(jié)構(gòu)光投射方式

線結(jié)構(gòu)光視覺測量由于其結(jié)構(gòu)簡單、精度高、實(shí)時性好及環(huán)境適應(yīng)性強(qiáng)等優(yōu)勢,滿足本課題的測量需求[9],故本文將采用線結(jié)構(gòu)光模式。按激光器、被測物和相機(jī)三者的位置關(guān)系可分為三種線結(jié)構(gòu)光投射方式,如圖1所示,圖1(a)的投射方式為垂直入射式,即入射光線與被測面垂直,攝像機(jī)從另一側(cè)傾斜采集光條圖像；圖1(b)的投射方式為斜入射式,即入射光線與被側(cè)面法線有一定夾角,攝像機(jī)垂直被測面采集光條圖像,圖1(c)的投射方式為線激光器傾斜投射到被測物表面,攝像機(jī)從另一側(cè)傾斜采集光條圖像。

圖1 線結(jié)構(gòu)光投射模式分類Fig.1 Classification of line structured light projection modes

由于圖1(c)的投射方式占用的空間體積明顯大于前兩種,在進(jìn)行涂膠操作時容易受到影響,在工業(yè)檢測領(lǐng)域應(yīng)用較少。而另外兩種投射方式由于結(jié)構(gòu)簡單、體積小巧等優(yōu)點(diǎn)被廣泛應(yīng)用。直射式和斜射式在夾角相同的情況下,直射式的測量范圍更大,直射式的放大倍率要大于斜射式,但因?yàn)榉糯蟊堵逝c分辨率成反比關(guān)系,所以斜射式的分辨率相對較高。另一方面,斜射式接收的是被測物表面的反射光,在激光器功率較低時,仍可以進(jìn)行測量,但是斜射式由于存在入射角度,導(dǎo)致光條寬度變大,光強(qiáng)分布不均勻,而直射式由于垂直投射,光強(qiáng)較為集中,光條寬度小,測量精度更高。

綜合考慮涂膠檢測中傳感器的檢測方式和應(yīng)用環(huán)境,選擇圖1(a)的垂直入射式,能夠更精確地實(shí)現(xiàn)對膠體寬度和厚度的測量,為涂膠檢測系統(tǒng)的方案設(shè)計(jì)奠定了基礎(chǔ)。

2.2.2 單目線結(jié)構(gòu)光測量問題

目前一些汽車生產(chǎn)企業(yè)通過在膠槍上裝配單目線結(jié)構(gòu)光傳感器的方法,對涂膠質(zhì)量進(jìn)行在線檢測。在檢測過程中發(fā)現(xiàn),該方案針對直線型涂膠路徑能表現(xiàn)出較好的檢測效果,但是當(dāng)面對轉(zhuǎn)角較多的復(fù)雜涂膠路徑時,會出現(xiàn)檢測盲區(qū)。尤其是在涂膠方向突變的情況下,可能出現(xiàn)激光線掃描不到膠體的情況。這是由于膠槍本身有一定半徑,以及密封膠的凝固定性需要一定時間,所以線激光不得不置后于膠槍口一定距離,當(dāng)膠槍運(yùn)行到轉(zhuǎn)彎處,需要經(jīng)歷從直線進(jìn)入圓弧,再從圓弧進(jìn)入直線這個過程,激光線在這個過程中無法準(zhǔn)確地跟蹤涂膠路徑,這樣就導(dǎo)致了檢測失敗。采用此方案對汽車的前擋風(fēng)玻璃進(jìn)行涂膠檢測時,在擋風(fēng)玻璃的四個轉(zhuǎn)角處均可能出現(xiàn)檢測不到的問題,這里稱為“漏檢區(qū)域”,如圖2所示。

圖2 汽車前擋風(fēng)玻璃漏檢區(qū)域Fig.2 Missed inspection area of car front windshield

本文針對單個線結(jié)構(gòu)光傳感器在涂膠檢測中存在檢測盲區(qū)的問題,提出一種利用三個線結(jié)構(gòu)光傳感器組合測量的方法對膠體進(jìn)行三維測量。整個檢測裝置共有三組激光成像單元且相互獨(dú)立,每組激光成像單元的激光器與攝像機(jī)一一對應(yīng),每個攝像機(jī)采集與其對應(yīng)的激光線圖像。三個線激光器環(huán)繞膠槍噴嘴,垂直投射到待涂工件表面,形成一個閉合的三角形光刀,檢測裝置安裝結(jié)構(gòu)如圖3所示。

圖3 線結(jié)構(gòu)光傳感器組合測量裝置Fig.3 Line structure light sensor combined measuring device

膠槍固定在三個線結(jié)構(gòu)光傳感器的中心位置,這樣的設(shè)計(jì)可以確保膠槍在涂膠過程中沿任意方向均沒有檢測盲區(qū)。當(dāng)膠槍運(yùn)動到涂膠轉(zhuǎn)角位置時,傳統(tǒng)的單線結(jié)構(gòu)光測量方案需要機(jī)器人控制膠槍繞自身軸線轉(zhuǎn)動來改變涂膠方向,以保證激光線始終保持在膠槍后方對已涂膠體進(jìn)行檢測,而本文設(shè)計(jì)的測量方案即使在涂膠路徑變化時也不需調(diào)整膠槍涂膠方向,這樣有效節(jié)省了機(jī)器人手臂的一個自由度,大大提高了生產(chǎn)效率。

2.3 檢測系統(tǒng)構(gòu)成及工作原理

涂膠質(zhì)量檢測系統(tǒng)主要由圖像采集硬件系統(tǒng)和質(zhì)量檢測軟件系統(tǒng)兩部分構(gòu)成[10],如圖4所示,主要包括工業(yè)機(jī)器人、控制柜、涂膠工具、線激光器、CCD相機(jī)以及計(jì)算機(jī)等。硬件部分主要負(fù)責(zé)實(shí)時采集圖像,軟件部分主要進(jìn)行圖像的處理和特征提取。為實(shí)現(xiàn)連貫涂膠的三維尺寸測量,將涂膠工具安裝固定在機(jī)器人末端,涂膠檢測裝置設(shè)計(jì)中間通孔,可直接嵌套在膠槍上,工業(yè)機(jī)器人作為載體,按照預(yù)先設(shè)定的涂膠軌跡,在涂膠過程中實(shí)現(xiàn)邊涂膠邊檢測。

圖4 涂膠質(zhì)量檢測系統(tǒng)Fig.4 Glue quality inspection system

涂膠質(zhì)量檢測系統(tǒng)基本工作原理:首先通過相機(jī)采集光條圖像,并傳輸?shù)接?jì)算機(jī),然后經(jīng)過圖像處理,得到膠體截面輪廓的像素尺寸信息,最后通過線結(jié)構(gòu)光測量的數(shù)學(xué)模型以及事先標(biāo)定的參數(shù)計(jì)算得到膠體實(shí)際截面輪廓的尺寸信息,并將相應(yīng)結(jié)果進(jìn)行分析,若不符合標(biāo)準(zhǔn)則發(fā)出警報。

3 線結(jié)構(gòu)光測量原理與數(shù)學(xué)模型

3.1 三角法測量原理

激光三角法是線結(jié)構(gòu)光測量的理論基礎(chǔ),被廣泛應(yīng)用于環(huán)境復(fù)雜、精度要求較高的工業(yè)領(lǐng)域。在線結(jié)構(gòu)光三維檢測系統(tǒng)中,激光器、被測物和攝像機(jī)三者的位置關(guān)系共同構(gòu)成了三角結(jié)構(gòu),光學(xué)三角法測量即來源于此,其基本工作原理如圖5所示。

圖5 三角法測量原理Fig.5 Principle of Triangulation Measurement

激光器投射出線結(jié)構(gòu)光于被測物表面,光線基于被測物表面特征而被調(diào)制成特征變形光條,被測物表面的三維信息就存儲在這個特征光條上,通過工業(yè)相機(jī)采集攜帶三維信息的光條圖像,經(jīng)計(jì)算機(jī)對光條圖像進(jìn)行處理,提取光條中心,根據(jù)測量系統(tǒng)的數(shù)學(xué)模型,即可將光條圖像上的二維點(diǎn)轉(zhuǎn)換到空間的三維點(diǎn),由此可得到被測物表面一處光條位置的信息。將線結(jié)構(gòu)光檢測系統(tǒng)安裝在工業(yè)機(jī)器人末端關(guān)節(jié)隨機(jī)器臂一同運(yùn)動對被測物進(jìn)行掃描,進(jìn)而得到整個被測物表面的三維輪廓。

3.2 線結(jié)構(gòu)光數(shù)學(xué)模型

由坐標(biāo)變換和透視成像原理建立數(shù)學(xué)模型,如圖6所示,這里采用線面模型。這里的線指光平面上任意一點(diǎn)Pw在像平面上的Pu點(diǎn)對應(yīng)的唯一一條過攝像機(jī)光心的射線OcPu,面指線激光器投射的光平面。若射線方程與光平面方程已知,進(jìn)行方程聯(lián)立即可確定線面二者交點(diǎn)的三維坐標(biāo),即為線面模型的測量原理。

圖6 線結(jié)構(gòu)光傳感器數(shù)學(xué)模型Fig.6 Mathematical model of line structured light sensor

在線結(jié)構(gòu)光測量的數(shù)學(xué)模型中,Ou-XuYu為圖像坐標(biāo)系,Oc-XcYcZc為攝像機(jī)坐標(biāo)系,Ow-XwYwZw為世界坐標(biāo)系,其中Ow為光平面與攝像機(jī)光軸之間交點(diǎn),f為鏡頭焦距,ZC為光軸,Oc為光學(xué)中心,利用世界坐標(biāo)和像素坐標(biāo)二者間所存在的轉(zhuǎn)換關(guān)系,可以由已知的Pu點(diǎn)的像素坐標(biāo)(u,v),得到點(diǎn)P在世界坐標(biāo)系下的坐標(biāo)為(xw,yw,zw)。

設(shè)光平面上任意一點(diǎn)Pw,其在攝像機(jī)坐標(biāo)系下歸一化圖像坐標(biāo)為(Xn,Yn,1),則OcPu的直線方程為:

(1)

以攝像機(jī)坐標(biāo)系作為傳感器的測量坐標(biāo)系,設(shè)(xc,yc,zc)為光平面上任意一點(diǎn)Pw在攝像機(jī)坐標(biāo)系下的坐標(biāo),則光平面方程為:

Acxc+Bcyc+Cczc+Dc=0

(2)

式中,Ac、Bc、Cc和Dc為光平面方程系數(shù)。

聯(lián)立公式(1)和(2),已知攝像機(jī)模型參數(shù)和攝像機(jī)坐標(biāo)系下光平面方程系數(shù)即可求得光平面上任意一點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)。

(3)

4 涂膠質(zhì)量檢測系統(tǒng)性能實(shí)驗(yàn)

實(shí)驗(yàn)平臺如圖7所示,搭建涂膠檢測系統(tǒng),其中關(guān)鍵硬件設(shè)備主要包括:Baumer的VLG-12M工業(yè)相機(jī),Computar的相機(jī)鏡頭,HO-Y635PX-22110的紅光線激光器。此外,還包含相機(jī)支架、膠體、計(jì)算機(jī)以及KUKA工業(yè)機(jī)器人等。

圖7 實(shí)驗(yàn)平臺Fig.7 Experiment platform

相機(jī)在最大分辨率下的幀率為42 f/s,在1 s時間內(nèi)能夠采集并傳輸42張圖像,每張圖像的最小采集時間間隔為1000/42=23.81 ms,結(jié)合機(jī)器人最大涂膠速度6 m/min,可知圖像最小采集時間內(nèi)膠槍涂膠長度不超過2.38 mm,完全滿足實(shí)時在線檢測的硬件要求。選用的鏡頭焦距為12 mm,鏡頭規(guī)格與相機(jī)的CCD尺寸相互匹配。已知相機(jī)成像尺寸為4.8 mm×3.6 mm,設(shè)定最小工作距離為100 mm,視野范圍為40 mm×30 mm。

實(shí)驗(yàn)步驟:

第一步,進(jìn)行相機(jī)標(biāo)定。實(shí)驗(yàn)中根據(jù)張正友標(biāo)定法進(jìn)行相機(jī)標(biāo)定[11],以像平面中心點(diǎn)為原點(diǎn)建立坐標(biāo)軸將成像平面分為四個象限,相機(jī)分別采集位于四個象限的棋盤格標(biāo)定板圖像,且在每個象限中進(jìn)行不同方向的兩次傾斜,采集了12張不同方向的標(biāo)定板圖像,利用Matlab2016b中的Camera Calibrate進(jìn)行標(biāo)定,得到的標(biāo)定結(jié)果如表1所示。

表1 攝像機(jī)標(biāo)定參數(shù)Tab.1 Camera calibration parameters

第二步,進(jìn)行光平面標(biāo)定。本文采用基于二維平面靶標(biāo)的線結(jié)構(gòu)光標(biāo)定方法[12],通過坐標(biāo)系轉(zhuǎn)換關(guān)系和最小二乘法,將多組光條中心線擬合光平面,彌補(bǔ)了傳統(tǒng)方法中標(biāo)定點(diǎn)少的問題,大大提高了標(biāo)定精度。將激光線投射于棋盤格標(biāo)定板的邊緣空白區(qū),如圖8(a)所示,使用灰度重心法提取光條中心線[13-14],得到如圖8(b)所示的光線。

圖8 光條圖像處理Fig.8 Light bar image processing

將棋盤格標(biāo)定板按多種角度擺放,求取多組光條中心線在相機(jī)坐標(biāo)系下的直線方程,將多組直線方程用最小二乘法擬合平面,如圖9所示,最后求得在攝像機(jī)坐標(biāo)系下的光平面方程。由此得到的光平面方程系數(shù)為Ac=-0.0145,Bc=-0.7586,Cc=0.6513,Dc=-286.8143。

圖9 最小二乘法擬合平面Fig.9 Least squares method to fit a plane

第三步,測量膠體寬度和厚度。對線結(jié)構(gòu)光測量系統(tǒng)完成標(biāo)定后,對膠體進(jìn)行三維尺寸測量[15],實(shí)驗(yàn)中采用日本基恩士的LJ-V7000系列輪廓測量儀對膠體寬度和厚度進(jìn)行測量并作為本次實(shí)驗(yàn)的真實(shí)值,通過測量值與真實(shí)值的比較得到單次測量的誤差,多次測量值計(jì)算平均絕對誤差。從膠體顏色和涂膠量兩個方面深入研究,在膠體顏色方面,由于不同顏色的膠體吸光強(qiáng)度不同,導(dǎo)致光條圖像在寬度、峰值等方面存在差異,對測量結(jié)果產(chǎn)生影響。在涂膠量方面,由于激光直線亮度不均勻,中間區(qū)域較邊緣能量高,所以當(dāng)光條中心區(qū)域掃描到膠體時,圖像效果最好,精度最高,而采用大口徑的膠槍噴嘴時會使膠體過寬,膠身不能完全處在光條中心區(qū)域,從而產(chǎn)生影響。針對這兩個外界因素,分別設(shè)計(jì)實(shí)驗(yàn)并進(jìn)行分析。

將線激光投射分別投射在三種顏色的膠體上,工業(yè)相機(jī)進(jìn)行光條圖像的采集,不同顏色膠體光條效果如圖10所示。

圖10 不同顏色膠體光條效果圖Fig.10 Light bar renderings of different colors of glue

由圖10可以看出白色膠體光條圖像效果較好,光條凸起部分較為明顯,而藍(lán)色和黑色膠體對光的吸收能力較強(qiáng),導(dǎo)致光條凸起部分的光線強(qiáng)度較弱,特別是黑色膠體,在膠體邊緣處的光線被吸收,導(dǎo)致部分檢測區(qū)域沒有提取到光條信息。

采用本文測量方案測量數(shù)據(jù)與真值進(jìn)行比較,分別得到三種顏色膠體的測量誤差,如表2所示。

表2 不同顏色膠體測量誤差Tab.2 Measurement error of different color glue

由表2分析可知,對于不同顏色的膠體檢測效果有差異,白色膠體測量誤差最小、藍(lán)色膠體次之、黑色膠體相對較差。

實(shí)驗(yàn)中選取出膠口直徑分別為5 mm、10 mm、15 mm的膠槍涂制三段不同膠量的膠體進(jìn)行誤差檢測,得到不同涂膠量的測量誤差對比,如表3所示。

表3 不同涂膠量的測量誤差對比Tab.3 Comparison of measurement errors ofdifferent amounts of glue

通過實(shí)驗(yàn)數(shù)據(jù)分析可知,對于5 mm口徑的膠槍測量誤差較小,對于15 mm的口徑的膠槍測量誤差相對較大,這是由于投射的線激光符合高斯特征,光線亮度不均勻,中心區(qū)域能量最高,邊緣區(qū)域能量低,所以當(dāng)光條中心區(qū)域掃描到膠體時,圖像效果最好,精度最高,由于采用15 mm口徑的膠槍噴嘴產(chǎn)生的膠體寬度較大,導(dǎo)致不能膠身不能完全落在光條能量最高的中心區(qū)域,所以測量誤差相比之下略大。

5 結(jié) 論

將基于線結(jié)構(gòu)光的三維測量技術(shù)引入涂膠生產(chǎn)線,實(shí)現(xiàn)對涂膠質(zhì)量的嚴(yán)格監(jiān)控。針對涂膠檢測中的難點(diǎn)問題制定了的涂膠檢測系統(tǒng)方案,利用三個線結(jié)構(gòu)光傳感器組合測量的方法對膠體參數(shù)進(jìn)行全方位檢測。介紹了檢測系統(tǒng)構(gòu)成及工作原理,并對關(guān)鍵硬件設(shè)備進(jìn)行了選型。研究了線結(jié)構(gòu)光的三角法測量原理與數(shù)學(xué)模型。搭建了涂膠檢測系統(tǒng)硬件實(shí)驗(yàn)平臺,給出了檢測系統(tǒng)的整體性能要求和檢測任務(wù),將膠體寬度和膠體厚度作為評價涂膠質(zhì)量的標(biāo)準(zhǔn)。對影響測量精度的外界因素(膠體顏色和涂膠量)進(jìn)行了研究探討,并對產(chǎn)生誤差的原因進(jìn)行分析,實(shí)驗(yàn)結(jié)果表明膠體顏色對檢測效果有差異,其按檢測效果從好到差依次為白色膠體、藍(lán)色膠體、黑色膠體,但基本滿足檢測系統(tǒng)的精度要求。涂膠量對測量精度影響有較小差異,需要考慮具體的應(yīng)用環(huán)境選擇膠槍噴嘴口徑。