基于線結(jié)構(gòu)光點(diǎn)云三維重建的彎管形工件測(cè)量方法

曾 凱， 王福斌， 劉賀飛， 邸 躍

(華北理工大學(xué)電氣工程學(xué)院, 唐山 063210)

隨著“中國(guó)制造2025”戰(zhàn)略的不斷推進(jìn),彎管式工件在化工生產(chǎn)、冶金制造、軌道交通等行業(yè)中被廣泛使用,以化工生產(chǎn)中廣泛應(yīng)用的彎管流量計(jì)為例,彎管截面尺寸出現(xiàn)誤差將導(dǎo)致原料輸送不夠準(zhǔn)確、傳送數(shù)據(jù)出現(xiàn)偏差,使整個(gè)生產(chǎn)流程受到干擾。由于彎管式工件尺寸多樣、曲面各異,導(dǎo)致工件測(cè)量困難。目前,大部分廠家依然用手工測(cè)量方法對(duì)其進(jìn)行尺寸檢測(cè),檢測(cè)結(jié)果存在錯(cuò)誤率高、效率低、被測(cè)物易被磨損等缺點(diǎn),不能滿足工業(yè)生產(chǎn)線上實(shí)時(shí)檢測(cè)的需求。為解決對(duì)彎管式不規(guī)則工件的實(shí)時(shí)檢測(cè)問(wèn)題,需要更加高效、精確的非接觸式測(cè)量方法。

非接觸式測(cè)量方法主要有聲波式測(cè)量、立體視覺(jué)測(cè)量和結(jié)構(gòu)光視覺(jué)測(cè)量等。聲波式測(cè)量是通過(guò)向待測(cè)物發(fā)射聲波,使其內(nèi)部來(lái)回反射形成震蕩,來(lái)計(jì)算工件的尺寸。聲波法易受外界環(huán)境干擾,難以測(cè)定移動(dòng)中的工件尺寸[1]。立體視覺(jué)測(cè)量是使用兩臺(tái)相機(jī)從不同角度獲取待測(cè)物圖像,通過(guò)立體匹配法得出視差圖,結(jié)合三角測(cè)量原理獲取被測(cè)物體三維尺寸[2]。視覺(jué)算法需要消耗較長(zhǎng)的計(jì)算時(shí)間,無(wú)法兼顧精度和速度,達(dá)不到實(shí)時(shí)在線測(cè)量的要求[3]。結(jié)構(gòu)光視覺(jué)測(cè)量是激光掃描與視覺(jué)處理技術(shù)的結(jié)合,其通過(guò)相機(jī)采集被激光掃描的工件圖像并計(jì)算圖像中條紋的中心坐標(biāo),然后基于三角測(cè)量原理進(jìn)行空間尺寸變化來(lái)獲得工件尺寸[4]。結(jié)構(gòu)光測(cè)量法具有實(shí)時(shí)性強(qiáng)、檢測(cè)精度高等優(yōu)點(diǎn),滿足工業(yè)實(shí)時(shí)在線測(cè)量的要求[5]。

目前,中外學(xué)者對(duì)彎管式不規(guī)則工件幾何尺寸的測(cè)量方法研究甚少,汪小涵等[2]研究了基于線結(jié)構(gòu)光的工件尺寸在線測(cè)量系統(tǒng),搭建了三維測(cè)量平臺(tái),對(duì)規(guī)則工件的測(cè)量誤差為0.2 mm,但沒(méi)有說(shuō)明系統(tǒng)是否能夠?qū)?shí)時(shí)移動(dòng)的工件進(jìn)行測(cè)量,并且需要提高測(cè)量精度以滿足工件檢測(cè)的要求。陳至坤等[6]提出用結(jié)構(gòu)光獲取角鋼的點(diǎn)云三維數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、模型重建、長(zhǎng)度測(cè)量,對(duì)角鋼的測(cè)量誤差在0.15 mm之內(nèi),但沒(méi)有闡明該系統(tǒng)是否能對(duì)復(fù)雜工件進(jìn)行尺寸測(cè)量,以及該系統(tǒng)是否能進(jìn)行實(shí)時(shí)的工件測(cè)量。Mei等[7]在Scheimpflug條件下建立結(jié)構(gòu)光三維測(cè)量系統(tǒng),將Scheimpflug技術(shù)應(yīng)用于鏡頭平面,保證視覺(jué)測(cè)量系統(tǒng)在更大的測(cè)量范圍內(nèi)具有優(yōu)質(zhì)的分辨率,實(shí)現(xiàn)了對(duì)小孔徑球體的測(cè)量,但Scheimpflug條件有一定的限制性,并沒(méi)有闡明可否適用于可移動(dòng)物體的測(cè)量。史耀群等[8]使用結(jié)構(gòu)光投影技術(shù),建立了微小物體三維形貌測(cè)量系統(tǒng),對(duì)目標(biāo)物體的測(cè)量精度可達(dá)到11 μm,拓寬了對(duì)微小物體三維形貌的檢測(cè)方法,但需要加快檢測(cè)速度以適應(yīng)工業(yè)檢測(cè)需求。胡開(kāi)心等[9]利用三維激光掃描和點(diǎn)云分析技術(shù),實(shí)現(xiàn)了對(duì)大型曲線圓管類結(jié)構(gòu)的測(cè)量,其測(cè)量精度較高,對(duì)該類大型結(jié)構(gòu)的測(cè)量有一定指導(dǎo)意義。李瑛等[10]采用基于結(jié)構(gòu)光測(cè)量的改進(jìn)模板法,對(duì)銷孔位置進(jìn)行測(cè)量,測(cè)量偏差為0.001 mm,實(shí)現(xiàn)了對(duì)銷孔加工精度的在線檢測(cè),提高了該類工件的檢測(cè)效率。綜上所述,結(jié)構(gòu)光視覺(jué)測(cè)量法正被逐漸應(yīng)用在工業(yè)檢測(cè)、工件測(cè)量的各個(gè)領(lǐng)域中,目前急需將該方法應(yīng)用到對(duì)不規(guī)則彎管類工件的在線實(shí)時(shí)測(cè)量中。

為解決這一問(wèn)題,提出采用線結(jié)構(gòu)光點(diǎn)云三維重建的測(cè)量方法對(duì)彎管類工件進(jìn)行實(shí)時(shí)測(cè)量。首先介紹了測(cè)量平臺(tái)的組成和線結(jié)構(gòu)光法測(cè)量的原理,研究了如何獲取工件的點(diǎn)云三維數(shù)據(jù),并對(duì)該數(shù)據(jù)模型進(jìn)行配準(zhǔn)、除噪、簡(jiǎn)化處理,重建了被測(cè)物體的三維圖像模型[11],通過(guò)對(duì)圖像模型截面的直線擬合實(shí)現(xiàn)了對(duì)彎管模型截面寬度、半徑、內(nèi)徑、彎曲角的實(shí)時(shí)測(cè)量,證明了本文方法的可行性,通過(guò)測(cè)量數(shù)據(jù)的對(duì)比,證明了該方法的穩(wěn)定性和準(zhǔn)確性,對(duì)進(jìn)行不規(guī)則工件的實(shí)時(shí)檢測(cè)具有重要意義。

1 線結(jié)構(gòu)光測(cè)量

1.1 單目線結(jié)構(gòu)光測(cè)量原理

線結(jié)構(gòu)光三維視覺(jué)測(cè)量平臺(tái)如圖1所示,平臺(tái)由ST645線激光器、Mako192工業(yè)相機(jī)、LED光源、漢光PSA300電控精密位移平臺(tái)組成。選取某工廠提供的DN100彎管模型作為測(cè)量對(duì)象,其截面寬度為46.5 mm，半徑為15 mm，內(nèi)徑為20 mm，彎曲角為90°。將模型放置傳送平臺(tái)后,將受傳動(dòng)軸控制以約4.3 cm/s的速度移動(dòng)經(jīng)過(guò)攝像頭和線激光,相機(jī)獲取彎管模型圖像后,對(duì)彎管截面的寬度、半徑、內(nèi)徑、彎曲角4個(gè)參數(shù)進(jìn)行測(cè)量,測(cè)量原理如圖2所示,當(dāng)相機(jī)拍攝到照射在待測(cè)物上的激光線時(shí),光平面和相機(jī)視點(diǎn)將在待測(cè)物上形成交叉點(diǎn),當(dāng)被測(cè)物移動(dòng)時(shí)交叉點(diǎn)也會(huì)同時(shí)移動(dòng)并形成物體表面的輪廓圖,通過(guò)相機(jī)對(duì)輪廓圖的記錄,即可在標(biāo)定后的測(cè)量系統(tǒng)下獲得被測(cè)物體上的點(diǎn)云信息,通過(guò)對(duì)點(diǎn)云位置信息的處理實(shí)現(xiàn)被測(cè)物的測(cè)量。

圖1 測(cè)量平臺(tái)Fig.1 Measurement platform

圖2 三角激光測(cè)量原理Fig.2 Triangular laser measurement principle

1.2 測(cè)量系統(tǒng)的標(biāo)定

測(cè)量系統(tǒng)的標(biāo)定由相機(jī)標(biāo)定、光平面位姿標(biāo)定、移動(dòng)位姿標(biāo)定組成。相機(jī)位姿參數(shù)標(biāo)定時(shí),需利用二維圓形平面靶標(biāo)在鏡頭視野范圍內(nèi)非共面非共線的不同位置擺放,采集不同位置的標(biāo)定板圖片,并對(duì)標(biāo)靶上小黑點(diǎn)的邊緣輪廓進(jìn)行提取,進(jìn)而通過(guò)計(jì)算確定其內(nèi)參數(shù)和外參數(shù)[12]。標(biāo)定過(guò)程如圖3(原圖縮小5倍)所示,標(biāo)定結(jié)果如表1所示。

通過(guò)采集高低不同位置的標(biāo)定板圖片和光條圖片來(lái)進(jìn)行光平面位姿參數(shù)標(biāo)定；并通過(guò)采集前后兩張不同位置的標(biāo)定板進(jìn)行移動(dòng)位姿參數(shù)的標(biāo)定。標(biāo)定結(jié)果如表2所示。

圖3 標(biāo)定過(guò)程Fig.3 Calibration process

表1 相機(jī)位姿標(biāo)定結(jié)果Table 1 Result of camera posture calibration

表2 位姿和移動(dòng)位姿標(biāo)定Table 2 Calibration of pose and moving pose

1.3 光條中心提取

實(shí)際測(cè)量中,需從相機(jī)拍攝的光條中心處,提取結(jié)構(gòu)光中的三維數(shù)據(jù),因此,光條中心提取精度的高低將決定系統(tǒng)建立的點(diǎn)云三維模型精度的高低。由于光條圖像易受到周圍環(huán)境影響,在提取前要對(duì)光條中心進(jìn)行圖像預(yù)處理。利用HALCON中的灰度直方圖確立閾值來(lái)消除光條周圍的散斑；采用權(quán)重值為0.5的高斯濾波法,對(duì)閾值分割后的光條圖像進(jìn)行濾波,從而提升光條中心圖像效果[13]。

對(duì)光條中心圖像預(yù)處理后,選用灰度重心法提取圖像的光條中心[14]。根據(jù)圖4所示灰度中心法原理從圖像中確立興趣區(qū)(region of interest，ROI),如公式1所示。

圖4 ROI提取圖Fig.4 ROI extraction figure

(1)

式(1)中:第i行、j列的灰度值用G(i,j)表示；(uj,vi)為最后需要的中心點(diǎn)坐標(biāo)。

通過(guò)該方法提取出的光條中心可達(dá)亞像素級(jí)別[15],提取出的光條中心點(diǎn)如圖5(原圖縮小2倍)所示,使用該方法可獲得由光條中心點(diǎn)組成的點(diǎn)云數(shù)據(jù)模型。

圖5 光條中心點(diǎn)Fig.5 Light center point

2 點(diǎn)云預(yù)處理及三維重建

采用灰度重心法對(duì)實(shí)驗(yàn)?zāi)Ｐ瓦M(jìn)行掃描,提取每一幀光條信息,得到圖6所示的三維點(diǎn)云數(shù)據(jù),各個(gè)坐標(biāo)軸表示長(zhǎng)度,數(shù)據(jù)需經(jīng)預(yù)處理后,才能精確還原模型的真實(shí)尺寸。通過(guò)點(diǎn)云配準(zhǔn)、去噪、簡(jiǎn)化的方法來(lái)處理掃描得到的圖像,從而保證點(diǎn)云三維重建的準(zhǔn)確性。

圖6 三維點(diǎn)云數(shù)據(jù)Fig.6 Original 3D point cloud

2.1 點(diǎn)云配準(zhǔn)

為彌補(bǔ)實(shí)驗(yàn)進(jìn)行時(shí)的測(cè)量盲區(qū),對(duì)獲得的點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云配準(zhǔn)。為了縮短配準(zhǔn)時(shí)間,選用最近點(diǎn)迭代法對(duì)點(diǎn)云配準(zhǔn),如式(2)所示,假設(shè)源點(diǎn)集為{Pi|Pi∈R3,i=1,2,3,…,M},目標(biāo)點(diǎn)集為{Qi|Qi∈R3,i=1,2,3,…,M},進(jìn)行迭代計(jì)算,用計(jì)算出的旋轉(zhuǎn)矩陣R和平移矩陣T代替原矩陣并繼續(xù)計(jì)算,當(dāng)目標(biāo)函數(shù)值f(R,T)最小時(shí)停止計(jì)算,完成兩點(diǎn)集的配準(zhǔn)[16]。

(2)

最近點(diǎn)迭代法具體流程如下:

(1)代入點(diǎn)云數(shù)據(jù)P、Q,P為待配準(zhǔn)點(diǎn)云,Q為目標(biāo)點(diǎn)云。

(2)對(duì)Pi與Qi中的點(diǎn)的對(duì)應(yīng)關(guān)系進(jìn)行計(jì)算,‖Qi-Pi‖2=min。

(4)運(yùn)用旋轉(zhuǎn)矩陣R與平移矩陣T變換P點(diǎn)云位置,將點(diǎn)集P變換為Pk+1=RPk+T,形成新點(diǎn)集Pi。

(5)計(jì)算新點(diǎn)集均方差,判斷f(R,T)是否最小,若不是最小,則返回(2)繼續(xù)運(yùn)算,若最小,即結(jié)束運(yùn)算。

2.2 點(diǎn)云去噪

在對(duì)物體進(jìn)行激光測(cè)量獲取點(diǎn)云數(shù)據(jù)時(shí),容易給測(cè)量結(jié)果帶來(lái)噪聲偏差,影響點(diǎn)云重建的精確度,因此對(duì)點(diǎn)云進(jìn)行濾波處理是必不可少的。在濾波方法中,高斯濾波法具有簡(jiǎn)單且快速的優(yōu)點(diǎn),其利用權(quán)重值的分配進(jìn)行濾波去噪,能夠較好地保存點(diǎn)云的數(shù)據(jù)特征,具有非常好的不失真去噪效果[17],濾波函數(shù)為

(3)

式(3)中：Wx,y為中心像素(x,y)的M×M(M為奇數(shù))大小的鄰域；ωd為空間距離相似度權(quán)重因子；I(i,j) 為灰度圖像位置。

2.3 點(diǎn)云簡(jiǎn)化

經(jīng)線激光掃描得到的數(shù)據(jù)十分密集、龐大,使點(diǎn)云在進(jìn)行三維重建時(shí)難度增加且速度緩慢,不利于工件的實(shí)時(shí)測(cè)量,因此要對(duì)其冗余的點(diǎn)云給予及時(shí)簡(jiǎn)化,從而提升被測(cè)工件的重建速度。常用的簡(jiǎn)化方法有距離法、角度法、均勻網(wǎng)格法等,實(shí)驗(yàn)過(guò)程中提出采用改進(jìn)的角度偏差法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行簡(jiǎn)化,該方法可保留特征點(diǎn)的同時(shí)去除冗余點(diǎn),又可以防止對(duì)點(diǎn)云數(shù)據(jù)的過(guò)度精簡(jiǎn),有利于縮短點(diǎn)云的簡(jiǎn)化時(shí)間,如圖7所示,其簡(jiǎn)化步驟如下。

(1)設(shè)定長(zhǎng)度dmin和角度θmin。

(2)從第N條線的第1個(gè)點(diǎn)開(kāi)始,設(shè)定3個(gè)連續(xù)點(diǎn)A、B、C。

(3)計(jì)算A、B距離d和AB連線與AC連線的夾角θ。

(4)若d

(5)檢測(cè)下一條直線,若存在，重復(fù)步驟(2),若不存在,結(jié)束循環(huán)。

圖7 算法原理圖Fig.7 Algorithm principle diagram

2.4 點(diǎn)云三維重建

經(jīng)過(guò)上述對(duì)點(diǎn)云的處理后,得到圖8所示的點(diǎn)云簡(jiǎn)化模型,之后采用德勞內(nèi)(Delaunay)三角化方法中的三角網(wǎng)生長(zhǎng)法進(jìn)行點(diǎn)云圖像的三維重建。三角網(wǎng)生長(zhǎng)法即區(qū)域擴(kuò)充法,具有易實(shí)現(xiàn)、精度高、時(shí)間短等優(yōu)點(diǎn)[18],其生長(zhǎng)過(guò)程如圖9所示。

Delaunay方法實(shí)現(xiàn)步驟[19]如下。

(1)選擇數(shù)據(jù)中坐標(biāo)最小點(diǎn)為初始點(diǎn),將與該點(diǎn)距離最短的點(diǎn)進(jìn)行連接,作為Delaunay三角網(wǎng)的初始基線。

圖8 點(diǎn)云簡(jiǎn)化模型Fig.8 Point cloud simplification model

(2)在初始基線附近找出與它構(gòu)成Delaunay三角的第3點(diǎn),并連接成三角形。

(3)將兩條新邊作為新基線,繼續(xù)建立三角形。

(4)將步驟(2)和步驟(3)進(jìn)行迭代操作,直到所有的點(diǎn)都構(gòu)成Delaunay三角網(wǎng)。

經(jīng)Delaunay方法處理后的物體模型如圖10所示,得到三角化模型后,對(duì)形成的網(wǎng)格進(jìn)行優(yōu)化,去除表面上的偽影并減少相鄰的三角形數(shù)量,最后得到圖11所示的最終三維模型。

圖9 三角網(wǎng)生長(zhǎng)法Fig.9 Delaunay method

圖10 三角化后的模型Fig.10 Triangulated model

圖11 彎管最終三維模型Fig.11 Final 3D model of the elbow

3 實(shí)驗(yàn)結(jié)果與分析

在得到三維模型后,對(duì)截面三維模型進(jìn)行直線擬合,獲取待測(cè)目標(biāo)起點(diǎn)和終點(diǎn)的三維坐標(biāo),結(jié)合測(cè)量系統(tǒng)計(jì)算出兩點(diǎn)的距離,得到彎管寬度的測(cè)量值,通過(guò)最小二乘法來(lái)獲得其半徑及彎管內(nèi)徑,每次實(shí)驗(yàn)完成時(shí)間約20 s,經(jīng)過(guò)多次實(shí)驗(yàn)后,測(cè)量結(jié)果如圖12、表3所示。由表3中測(cè)量數(shù)據(jù)對(duì)比可知,使用線結(jié)構(gòu)光進(jìn)行測(cè)量的結(jié)果與某公司提供的彎管外形參數(shù)間誤差小于0.05 mm,測(cè)量誤差符合國(guó)家標(biāo)準(zhǔn),具有較高的精確度。

圖12 彎管測(cè)量Fig.12 Elbow measurement

表3 測(cè)量結(jié)果Table 3 Measurement result

4 結(jié)論

(1)通過(guò)實(shí)驗(yàn)證明了線結(jié)構(gòu)光點(diǎn)云三維重建測(cè)量方法可對(duì)彎管形不規(guī)則工件實(shí)現(xiàn)實(shí)時(shí)測(cè)量,可應(yīng)用到工件生產(chǎn)線的檢測(cè)中。

(2)實(shí)驗(yàn)中對(duì)移動(dòng)的彎管截面進(jìn)行測(cè)量,測(cè)量精度在0.05 mm以內(nèi)符合國(guó)家標(biāo)準(zhǔn),具有較高的測(cè)量精度。

(3)點(diǎn)云預(yù)處理過(guò)程中,提出采用改進(jìn)的角度偏差法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行簡(jiǎn)化,在保留特征點(diǎn)的同時(shí)去除冗余點(diǎn),防止對(duì)點(diǎn)云數(shù)據(jù)的過(guò)度精簡(jiǎn),提高了點(diǎn)云的簡(jiǎn)化率,對(duì)縮短工件測(cè)量時(shí)間有很大意義。

使用本文方法可應(yīng)用到對(duì)彎管形不規(guī)則工件的實(shí)時(shí)在線檢測(cè)中,未來(lái)研究中,可采用更高精度的光學(xué)設(shè)備,以提高工件測(cè)量的精度；可搭建與工業(yè)流水線類似的實(shí)驗(yàn)平臺(tái),檢測(cè)不同移速下工件測(cè)量的準(zhǔn)確性,以優(yōu)化點(diǎn)云重建算法來(lái)提升工件檢測(cè)效率；可搭建用于數(shù)據(jù)傳輸?shù)奈锫?lián)網(wǎng)平臺(tái),通過(guò)實(shí)時(shí)數(shù)據(jù)傳輸進(jìn)行工件檢測(cè)的遠(yuǎn)程操控與反饋矯正,以滿足高效工業(yè)生產(chǎn)的檢測(cè)需求。