面向機(jī)器人打磨的線激光三維測(cè)量系統(tǒng)設(shè)計(jì)

摘 要 針對(duì)機(jī)器人自動(dòng)化打磨生產(chǎn)需求，設(shè)計(jì)線激光三維測(cè)量系統(tǒng)。以上位機(jī)為控制核心，選用線激光發(fā)生器與工業(yè)相機(jī)組成視覺(jué)采集模塊，工業(yè)機(jī)器人作為執(zhí)行機(jī)構(gòu)。自主實(shí)現(xiàn)相機(jī)參數(shù)標(biāo)定；研究線激光中心線提取算法，結(jié)合直線擬合、矩陣奇異值分解、平面擬合等數(shù)學(xué)原理，實(shí)現(xiàn)基于平面棋盤格標(biāo)定板的光平面標(biāo)定法；機(jī)械臂帶動(dòng)視覺(jué)模塊采集圖像，上位機(jī)處理視覺(jué)信息，經(jīng)過(guò)灰度化、圖像濾波、二值化等圖像預(yù)處理步驟，提取激光中心線，結(jié)合標(biāo)定結(jié)果得到工件三維數(shù)據(jù)；上位機(jī)根據(jù)工件三維信息指引機(jī)器人加工工件，實(shí)現(xiàn)測(cè)量、加工一體化工作站。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)在50～80 mm工作范圍內(nèi)，最大誤差小于1 mm，滿足工件打磨等加工場(chǎng)景的應(yīng)用需要。

關(guān)鍵詞 機(jī)器視覺(jué) 線激光 激光平面方程 相機(jī)標(biāo)定 三維測(cè)量

中圖分類號(hào) TP391.41" "文獻(xiàn)標(biāo)志碼 A" "文章編號(hào) 1000-3932（2024）06-1061-09

隨著社會(huì)工業(yè)化水平的不斷提升，機(jī)器視覺(jué)在制造業(yè)中的應(yīng)用愈加廣泛，極大地提升了制造業(yè)的生產(chǎn)效率以及工藝的復(fù)雜度。傳統(tǒng)的機(jī)器視覺(jué)系統(tǒng)多使用單目工業(yè)相機(jī)對(duì)環(huán)境信息進(jìn)行采集，上位機(jī)處理圖像獲取工件的二維位置信息或固定高度工件的三維信息，但無(wú)法滿足焊接、分揀等領(lǐng)域的應(yīng)用需求［1］。

目前，三維測(cè)量廣泛應(yīng)用于工業(yè)產(chǎn)品質(zhì)量檢測(cè)、零件三維輪廓測(cè)量、自動(dòng)焊接等需要實(shí)體建模的領(lǐng)域［2］。獲取工件三維信息的主流策略有雙目相機(jī)法［3］、TOF法和線激光掃描法［4］。雙目相機(jī)系統(tǒng)由兩個(gè)相機(jī)組成，每個(gè)相機(jī)捕捉到的圖像稍有差異，這種差異被用于計(jì)算物體的深度信息。該方法對(duì)紋理豐富的物體具有較好的深度估計(jì)能力，但如果物體表面缺乏足夠的紋理，則雙目相機(jī)法難以準(zhǔn)確計(jì)算視差，從而影響深度估計(jì)的精度，因此該方法在工業(yè)生產(chǎn)環(huán)境中實(shí)用性較差。TOF法原理為：測(cè)量從發(fā)射光脈沖到接收反射光脈沖所經(jīng)歷的時(shí)間，該時(shí)間與物體的距離成正比，從而計(jì)算得到深度信息［5］。該方法不需要復(fù)雜的算法，但是需要精度很高的傳感器，另外環(huán)境光源也會(huì)對(duì)測(cè)量精度產(chǎn)生較大影響。線激光掃描法中，線激光照射在工件上，單目工業(yè)相機(jī)采集包含線激光條紋中心的圖片，然后結(jié)合中心線像素坐標(biāo)與激光平面標(biāo)定參數(shù)，計(jì)算出工件三維信息。該方法成本較低，并且可以根據(jù)具體的工作環(huán)境要求來(lái)調(diào)整線激光與相機(jī)規(guī)格，應(yīng)用場(chǎng)景廣泛。

美國(guó)Cognex公司開(kāi)發(fā)的工業(yè)三維掃描儀系列產(chǎn)品的工作距離為40～410 mm，z軸分辨率達(dá)到0.02 mm；TRAN T T和HA C K針對(duì)車輛生產(chǎn)裝配場(chǎng)景，提出了一種基于工業(yè)相機(jī)與多線激光發(fā)生器的非接觸式縫隙和平整度測(cè)量方法，完成了對(duì)車輛裝配過(guò)程中各工件三維信息的準(zhǔn)確測(cè)量［6］；瑞士Soudronic公司采用多線激光傳感器開(kāi)發(fā)了一個(gè)焊縫跟蹤和飛濺監(jiān)測(cè)系統(tǒng)，目前已應(yīng)用于奧迪汽車激光焊接流水線，實(shí)現(xiàn)了可靠高效的焊接質(zhì)量監(jiān)測(cè)［7］。

我國(guó)機(jī)器視覺(jué)發(fā)展也緊隨其后，合肥富煌君達(dá)公司生產(chǎn)的產(chǎn)品實(shí)現(xiàn)了工作距離為0.2～5.0 m的工件三維信息提取應(yīng)用場(chǎng)景全覆蓋；梅卡曼德公司研發(fā)的Mech系列相機(jī)可以實(shí)現(xiàn)0.01 mm的分辨率，目前已經(jīng)廣泛應(yīng)用于3D視覺(jué)引導(dǎo)、外觀檢測(cè)等方面。

目前設(shè)計(jì)的三維掃描儀，大多采用線激光結(jié)合工業(yè)相機(jī)整體封裝，數(shù)據(jù)通過(guò)網(wǎng)絡(luò)接口對(duì)外傳輸。但在實(shí)際應(yīng)用中，三維掃描儀是一個(gè)孤立的模塊，一般需要移動(dòng)平臺(tái)來(lái)傳送工件，每到新的生產(chǎn)環(huán)境都需要重新進(jìn)行標(biāo)定，并借助額外的執(zhí)行機(jī)構(gòu)協(xié)同工作，讀取模塊獲取的三維信息從而完成生產(chǎn)任務(wù)［8］。另外，在需要獲取工件三維信息的智能化制造領(lǐng)域，由于工作任務(wù)類型多種多樣，執(zhí)行設(shè)備也多種多樣，因此針對(duì)不同的儀器設(shè)備、環(huán)境條件，需要進(jìn)行系統(tǒng)二次開(kāi)發(fā)。為解決上述兩個(gè)問(wèn)題，筆者自主構(gòu)建線激光三維測(cè)量系統(tǒng)，以上位機(jī)為核心，結(jié)合工業(yè)相機(jī)、線激光發(fā)射器、珞石工業(yè)機(jī)器人等硬件，自主編程設(shè)計(jì)上位機(jī)軟件子系統(tǒng)，開(kāi)發(fā)三維測(cè)量、加工全流程工作站，實(shí)現(xiàn)對(duì)指定類型工件的三維測(cè)量和打磨一體化。

1 線激光三維測(cè)量系統(tǒng)設(shè)計(jì)

線激光三維測(cè)量系統(tǒng)硬件主要包括：作為系統(tǒng)控制核心的上位機(jī)；以珞石XB7-R717型工業(yè)機(jī)器人為核心的執(zhí)行機(jī)構(gòu)，取代傳統(tǒng)移動(dòng)平臺(tái)；以工業(yè)2D相機(jī)、激光發(fā)生器為核心的影像采集子系統(tǒng)。

系統(tǒng)工作流程為：工業(yè)機(jī)器人帶動(dòng)相機(jī)與激光發(fā)生器掃描工件，按照設(shè)定的采樣頻率與特征點(diǎn)識(shí)別個(gè)數(shù)采集包含工件表面三維信息的二維圖像，圖像信息通過(guò)TCP/IP通信協(xié)議發(fā)送給上位機(jī)的同時(shí)，工業(yè)機(jī)器人發(fā)送對(duì)應(yīng)時(shí)間戳至上位機(jī)，由上位機(jī)調(diào)用圖像處理子程序，結(jié)合加工環(huán)境的標(biāo)定結(jié)果，計(jì)算得到切面三維信息并轉(zhuǎn)換至世界坐標(biāo)系。完整的掃描過(guò)程可以得出物體多組表面三維信息，最終得以實(shí)現(xiàn)工件表面在世界坐標(biāo)系下的定位。上位機(jī)需要作為系統(tǒng)核心引導(dǎo)整個(gè)系統(tǒng)的工作流程。系統(tǒng)硬件結(jié)構(gòu)與軟件結(jié)構(gòu)如圖1所示。

2 圖像處理

圖像處理是機(jī)器視覺(jué)的基礎(chǔ)，涉及到對(duì)圖像進(jìn)行數(shù)字化、分析和處理，使計(jì)算機(jī)能夠理解和解釋圖像。在線激光三維測(cè)量系統(tǒng)標(biāo)定過(guò)程中，相機(jī)內(nèi)外參標(biāo)定、激光平面標(biāo)定以及提取工件表面反射的激光中心線等步驟都需要用到對(duì)應(yīng)的圖像處理方法。結(jié)合具體應(yīng)用場(chǎng)景選取合適的處理策略，對(duì)標(biāo)定工作與三維信息獲取的精度、抗干擾性等均具有重要作用。

2.1 圖像預(yù)處理

首先，進(jìn)行灰度化［9］處理，將彩色圖像轉(zhuǎn)換為灰度圖像，減少后續(xù)的計(jì)算量，并去除色彩信息干擾；然后，應(yīng)用濾波器去除噪聲，提高圖像質(zhì)量，并通過(guò)自適應(yīng)閾值法［10］進(jìn)行圖像二值化，分離激光線與背景；最后，采用灰度重心法提取激光中心線的二維像素點(diǎn)集。良好的圖像預(yù)處理方法可以使系統(tǒng)在復(fù)雜的生產(chǎn)環(huán)境中準(zhǔn)確提取工件特征信息，為后續(xù)加工過(guò)程提供可靠的數(shù)據(jù)基礎(chǔ)。

2.1.1 灰度化

灰度化是指將相機(jī)采集到的原始彩色圖像轉(zhuǎn)換為更利于圖像識(shí)別算法處理的灰度圖像。彩色圖像通常包含R、G、B這3個(gè)通道的像素值，而灰度圖像只包含單個(gè)通道的像素值，不體現(xiàn)環(huán)境色彩信息。彩色圖像相比灰度圖像雖然包含了更多的環(huán)境信息，但由于本系統(tǒng)要識(shí)別的關(guān)鍵信息為黑白棋盤格角點(diǎn)和激光中心線信息，只需要圖像的亮度信息，而色彩信息在當(dāng)前應(yīng)用場(chǎng)景下作用較小，此時(shí)通過(guò)將圖像灰度化，可以減少計(jì)算量和內(nèi)存消耗，并減少光照、白平衡等因素帶來(lái)的數(shù)據(jù)噪聲［11］。本系統(tǒng)使用OpenCV圖像庫(kù)提供的顏色空間轉(zhuǎn)換函數(shù)獲得灰度圖像，以便進(jìn)行下一步處理。

2.1.2 濾波

工廠生產(chǎn)環(huán)境復(fù)雜，圖像中可能存在各種類型的噪聲，如高斯噪聲、椒鹽噪聲等，而線激光傳感器的圖像質(zhì)量嚴(yán)重依賴工件表面反射的激光線質(zhì)量，噪聲會(huì)對(duì)線激光中心線的提取產(chǎn)生干擾，導(dǎo)致結(jié)果不準(zhǔn)確。這些噪聲在數(shù)學(xué)特性上可以理解為圖像中非期望的隨機(jī)變化，可能由傳感器噪聲、信號(hào)傳輸或其他環(huán)境因素引起。通過(guò)應(yīng)用適當(dāng)?shù)臑V波器，對(duì)圖像中的高頻成分進(jìn)行抑制或平滑處理，抑制噪聲對(duì)圖像質(zhì)量和后續(xù)處理算法的影響，可以提高圖像的清晰度和準(zhǔn)確性。

此外，濾波器可以通過(guò)增強(qiáng)或凸顯圖像中的某些頻率成分或結(jié)構(gòu)特征來(lái)幫助提取感興趣的信息。不同類型的濾波器對(duì)圖像的不同頻率或空間特征進(jìn)行增強(qiáng)，從而使這些特征更加突出、易于分析和識(shí)別［12］。例如，邊緣檢測(cè)濾波器可以幫助提取圖像中的邊緣信息，紋理濾波器可以突出圖像中的紋理特征。

本系統(tǒng)選用中值濾波實(shí)現(xiàn)圖像濾波。中值濾波器是將每個(gè)像素點(diǎn)周圍鄰域中的像素值進(jìn)行排序，并將中間值作為該像素點(diǎn)的輸出值的一種非線性濾波方法。中值濾波對(duì)噪聲（尤其是脈沖噪聲、椒鹽噪聲等離散噪聲）具有較強(qiáng)的抑制能力，同時(shí)還能相對(duì)保持圖像中的邊緣和細(xì)節(jié)信息。中值濾波不像線性濾波（如均值濾波）那樣對(duì)整個(gè)鄰域的像素進(jìn)行加權(quán)平均，而是選擇中間值作為輸出，這極大地避免了模糊邊緣和細(xì)節(jié)的問(wèn)題［13］。中值濾波實(shí)現(xiàn)簡(jiǎn)單、響應(yīng)迅速，更符合本系統(tǒng)對(duì)圖像中激光中心線在清晰度方面的要求。圖2為掃描工件原始圖像，圖3a、b分別為該圖像的中值濾波與均值濾波結(jié)果。

2.1.3 二值化

圖像經(jīng)灰度化、濾波等操作后，仍有無(wú)關(guān)激光中心線的其他區(qū)域背景，若要提取激光中心線，還需要將多余背景去除。圖像二值化是將圖像的像素值分為兩個(gè)離散的值，通常是黑色和白色，在計(jì)算機(jī)圖形學(xué)中表現(xiàn)為對(duì)應(yīng)像素灰度值為0或255。激光線通常具有較高的亮度，而背景則相對(duì)較暗。通過(guò)將圖像進(jìn)行二值化，可以將激光線與背景像素分離開(kāi)來(lái)，使之在二值化圖像中形成鮮明對(duì)比。因此，選擇合適的二值化方法進(jìn)行圖像分割，準(zhǔn)確提取激光中心線，可為后續(xù)的圖像分析提供可靠的數(shù)據(jù)基礎(chǔ)。

常用的圖像分割方法包括邊緣檢測(cè)法、聚類法和閾值法［14］。邊緣檢測(cè)法對(duì)于具有明顯邊緣的圖像分割較為有效，但在噪聲較多或邊緣不清晰的情況下可能產(chǎn)生誤檢測(cè)。聚類法是一種無(wú)監(jiān)督學(xué)習(xí)方法，通過(guò)將像素分組成不同的聚類或類別來(lái)進(jìn)行圖像分割。聚類法可以根據(jù)像素的特征相似性進(jìn)行分割，但在處理復(fù)雜圖像時(shí)需要選擇合適的特征表示和聚類算法，復(fù)雜度較高。閾值法是圖像分割中最簡(jiǎn)單和最常用的方法之一。它按照設(shè)定的一個(gè)或多個(gè)閾值對(duì)圖像的像素進(jìn)行歸類，將圖像的像素分為不同的類別。閾值可以手動(dòng)選擇，也可以自動(dòng)選擇（如自適應(yīng)閾值法）。閾值法實(shí)現(xiàn)簡(jiǎn)單，計(jì)算效率高，適用于簡(jiǎn)單的圖像分割任務(wù)。在本系統(tǒng)圖像分割場(chǎng)景中僅粗提取線激光，重點(diǎn)在快速性和適用性，因此采用自適應(yīng)閾值法實(shí)現(xiàn)圖像二值化，能在保證快速性的同時(shí)更好地保留關(guān)鍵激光信息，有助于實(shí)現(xiàn)本系統(tǒng)所需的圖像預(yù)處理目標(biāo)。

將圖像經(jīng)過(guò)濾波操作后，進(jìn)一步進(jìn)行二值化處理，結(jié)果如圖4所示。

經(jīng)過(guò)上述圖像預(yù)處理工作，得到了保留關(guān)鍵信息的預(yù)處理圖像，為后續(xù)的角點(diǎn)識(shí)別、中心線提取等工作奠定了基礎(chǔ)。

2.2 中心線提取

圖像預(yù)處理完成后，根據(jù)每張圖像中工件表面反射的激光線信息，得到二維像素點(diǎn)集，這些點(diǎn)集可以結(jié)合標(biāo)定結(jié)果計(jì)算得到對(duì)應(yīng)的三維點(diǎn)集，多組點(diǎn)集共同組成工件的三維點(diǎn)云。激光中心線二維信息識(shí)別的準(zhǔn)確性，直接影響后續(xù)三維信息的獲取精度。

常用的激光中心線提取方法有邊緣法、細(xì)化法和灰度質(zhì)心法［15］。邊緣法是直接以光條紋的一條邊緣（內(nèi)邊緣或外邊緣）作為光條紋中心線，邊緣法處理速度快，但是誤差較大，因此要求圖像質(zhì)量好且結(jié)構(gòu)光特性高。對(duì)于一些大型物體的測(cè)量，由于其精度要求不高，故可以采用邊緣法。細(xì)化法是一種形態(tài)學(xué)處理方法，通過(guò)不斷地對(duì)光條紋進(jìn)行腐蝕操作，迭代剝離光條紋邊界，最終得到單像素寬度的光條紋連通線，構(gòu)成這一光條紋連通線的點(diǎn)即是工件切面的特征點(diǎn)。細(xì)化法是一種基于形態(tài)學(xué)的方法，它只提取光條紋骨架，而不考慮光條紋截面灰階分布的特征，因此通過(guò)細(xì)化法提煉出來(lái)的光條紋中心線容易受環(huán)境光和激光發(fā)生器照射角度的影響，其精確度有限。另外，細(xì)化法反復(fù)細(xì)化操作需要大量時(shí)間，使得提取算法的運(yùn)算速度大幅降低?；叶荣|(zhì)心法的原理是逐行掃描圖像，求解當(dāng)前行的灰度質(zhì)心坐標(biāo)（xc，yc），該方法減小了光條紋灰度分布不均勻?qū)е碌恼`差，提高了光條紋中心線提取精度，提取光條紋中心線時(shí)運(yùn)算速度快、實(shí)時(shí)性好［16］。本系統(tǒng)對(duì)提取精度、響應(yīng)時(shí)間均有較高要求，因此選用灰度質(zhì)心法進(jìn)行激光中心線提取，橫、縱方向灰度質(zhì)心計(jì)算式如下：

x■=■" " " "（1）

y■=■" " " "（2）

其中，I（x，y）表示圖像在坐標(biāo)（x，y）處的灰度值。

此外，二值化圖像可能會(huì)包含亮度過(guò)高的背景等無(wú)關(guān)信息，在這一步可以通過(guò)設(shè)置合適的輪廓面積閾值，進(jìn)一步去除二值化圖像中的無(wú)關(guān)信息，得到線激光中心線，根據(jù)該中心線二維點(diǎn)集可求得工件對(duì)應(yīng)表面區(qū)域的三維空間信息。對(duì)二值化圖像（圖4）進(jìn)一步進(jìn)行中心線提取，結(jié)果如圖5所示。

3 標(biāo)定算法

3.1 系統(tǒng)坐標(biāo)系關(guān)系

線激光三維測(cè)量系統(tǒng)各坐標(biāo)系關(guān)系如圖6所示，其中各坐標(biāo)系x、y、z軸分別用紅、綠、藍(lán)三色標(biāo)注。為便于系統(tǒng)內(nèi)部各坐標(biāo)系標(biāo)定關(guān)系說(shuō)明，以o■-x■y■z■為世界坐標(biāo)系（World），原點(diǎn)為工作臺(tái)一固定點(diǎn)，其z軸垂直于桌面豎直向上；o■-x■y■z■為基坐標(biāo)系（Base），以機(jī)器人安裝基座為基準(zhǔn)，原點(diǎn)為機(jī)器人底座中心；o■-x■y■z■為相機(jī)坐標(biāo)系（Camera），其原點(diǎn)為工業(yè)相機(jī)CMOS中心，z軸垂直于CMOS平面坐標(biāo)系；o■-x■y■z■為工具坐標(biāo)系（TCP），其原點(diǎn)為工具中心點(diǎn)。

在掃描工件及加工過(guò)程中，o■-x■y■z■世界坐標(biāo)系與o■-x■y■z■■■基坐標(biāo)系相對(duì)位置不變，由工業(yè)機(jī)器人內(nèi)置的標(biāo)定工具可得到表明兩者相對(duì)關(guān)系的旋轉(zhuǎn)矩陣R與平移向量T；同樣可從機(jī)器人控制器得到o■-x■y■z■世界坐標(biāo)系與o■-x■y■z■工具坐標(biāo)系的關(guān)系；本系統(tǒng)為眼在手上模式，掃描工件過(guò)程中，o■-x■y■z■相機(jī)坐標(biāo)系與o■-x■y■z■世界坐標(biāo)系相對(duì)位置會(huì)發(fā)生變換，但在系統(tǒng)掃描工件過(guò)程中，相機(jī)僅在x軸或y軸水平方向移動(dòng)，本系統(tǒng)實(shí)質(zhì)上可以簡(jiǎn)化為眼在手外的機(jī)器視覺(jué)系統(tǒng)，結(jié)合掃描中記錄的機(jī)器人位姿數(shù)據(jù)與固定姿態(tài)下相機(jī)外參標(biāo)定結(jié)果，即可實(shí)時(shí)得到相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系，無(wú)需進(jìn)行復(fù)雜的實(shí)時(shí)解算，極大地降低了計(jì)算成本［17］。

系統(tǒng)以世界坐標(biāo)系為絕對(duì)參考?；鴺?biāo)系、工具坐標(biāo)系、世界坐標(biāo)系的關(guān)系通過(guò)機(jī)器人控制器和高精度標(biāo)定工具實(shí)現(xiàn)；而相機(jī)坐標(biāo)系與世界坐標(biāo)系的標(biāo)定則依賴于標(biāo)定算法。最終將相機(jī)坐標(biāo)系下的工件三維點(diǎn)云轉(zhuǎn)換為具體加工點(diǎn)位，進(jìn)行后續(xù)打磨加工。

3.2 標(biāo)定意義

相機(jī)成像的過(guò)程實(shí)際上是將現(xiàn)實(shí)世界三維空間坐標(biāo)系中的物體或場(chǎng)景映射到相機(jī)的成像平面上，這個(gè)平面是一個(gè)二維空間坐標(biāo)系，通?？梢允褂眯】壮上衲Ｐ蛠?lái)簡(jiǎn)化這個(gè)復(fù)雜的過(guò)程［18］。

一般，將相機(jī)二維平面像素坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣稱為相機(jī)內(nèi)參矩陣，相機(jī)坐標(biāo)系與世界坐標(biāo)系的變換矩陣稱為相機(jī)外參矩陣。

假設(shè)三維空間中有一點(diǎn)P，其在相機(jī)坐標(biāo)系o■-x■y■z■中的坐標(biāo)P■=［X■，Y■，Z■］T；其像點(diǎn)p在像素坐標(biāo)系下的齊次坐標(biāo)p=［u，v，1］T，兩者之間的變換關(guān)系如下：

■■■■=■X■Y■Z■=K■uv1" " "（3）

其中，K為內(nèi)參矩陣；Z■是三維點(diǎn)P與相機(jī)成像平面在z軸方向的距離，當(dāng)Z■不確定時(shí)，無(wú)法直接求解X■和Y■的具體值，只能得到它們與Z■之間的比例關(guān)系，以X′■、Y′■、Z′■表示。這意味著，給定像素坐標(biāo)（u，v），其對(duì)應(yīng)同一射線上無(wú)數(shù)個(gè)可能的三維點(diǎn)。

單目相機(jī)無(wú)法獲取物體深度信息，僅依靠相機(jī)內(nèi)參標(biāo)定結(jié)果無(wú)法將圖像中的工件二維特征點(diǎn)對(duì)應(yīng)至三維空間，因此需要引入線激光發(fā)生器，組建線激光視覺(jué)模塊（圖7）。

在線激光視覺(jué)系統(tǒng)中，激光條紋具有兩個(gè)重要作用。首先，它在工件表面發(fā)生調(diào)制，反映工件的表面形狀變化，從而提供有關(guān)工件表面形狀的信息。其次，光條紋上的點(diǎn)滿足激光平面方程Ax+By+Cz=D，具體為：

Z■=■" " " （4）

繼而得到光條紋上的特征點(diǎn)對(duì)應(yīng)的三維信息：

X■=■×Z■Y■=■×Z■Z■=■×Z■ （5）

根據(jù)式（4）、（5）即可實(shí)現(xiàn)對(duì)像素平面中工件特征點(diǎn)從二維到三維的轉(zhuǎn)換。

在相機(jī)內(nèi)參標(biāo)定的基礎(chǔ)上完成對(duì)線激光平面的標(biāo)定，即可從圖像中得到工件特征點(diǎn)在相機(jī)坐標(biāo)系下的三維信息。再結(jié)合相機(jī)外參矩陣，即可在上位機(jī)計(jì)算得到該點(diǎn)在世界坐標(biāo)系下的精確信息［19］。隨后進(jìn)行基坐標(biāo)系、TCP坐標(biāo)系與世界坐標(biāo)系的機(jī)器人外部標(biāo)定工作。最終由上位機(jī)向機(jī)器人發(fā)送空間坐標(biāo)信息，指引機(jī)器人進(jìn)行下一步的打磨、加工等操作。

3.3 相機(jī)標(biāo)定

相機(jī)標(biāo)定使用張氏標(biāo)定法［20］，相機(jī)在多種角度下拍攝固定位置的棋盤格標(biāo)定板，獲得圖片中角點(diǎn)的二維信息，計(jì)算角點(diǎn)像素坐標(biāo)與三維世界坐標(biāo)的對(duì)應(yīng)關(guān)系，得到相機(jī)的內(nèi)參矩陣和畸變系數(shù)；然后在固定位置拍攝棋盤格，求得相機(jī)外參矩陣。相機(jī)的內(nèi)參矩陣主要與相機(jī)焦距、像素尺寸等內(nèi)部特性參數(shù)有關(guān)，外參矩陣則表征相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的空間位置。

角點(diǎn)是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要概念，它是指圖像中突出的、明顯的、角狀或邊界交匯點(diǎn)的像素位置。這些角點(diǎn)通常是由兩個(gè)或多個(gè)邊界或紋理區(qū)域交匯而產(chǎn)生的，因此它們?cè)趫D像中具有獨(dú)特性質(zhì)，廣泛應(yīng)用于相機(jī)標(biāo)定領(lǐng)域［21］。本系統(tǒng)相機(jī)內(nèi)外參標(biāo)定、激光平面方程標(biāo)定均需要以檢測(cè)棋盤格角點(diǎn)為基礎(chǔ)。筆者采用OpenCV庫(kù)提供的Harris算法進(jìn)行棋盤格角點(diǎn)識(shí)別，結(jié)果如圖8所示。

對(duì)于相機(jī)內(nèi)參與外參標(biāo)定的具體方法，攝像機(jī)需要在兩個(gè)以上不同的位置對(duì)同一棋盤格標(biāo)定板進(jìn)行拍攝，棋盤格標(biāo)定板方格的角點(diǎn)即為標(biāo)定點(diǎn)，具體步驟如下：

a. 對(duì)相機(jī)在不同位姿下拍攝的棋盤格標(biāo)定板圖片，提取該位姿下對(duì)應(yīng)的角點(diǎn)集合，得到該位姿下單應(yīng)性矩陣H。

b. 無(wú)論相機(jī)在何種位姿下，相機(jī)內(nèi)參恒定。通過(guò)計(jì)算至少兩個(gè)不同位姿的棋盤格標(biāo)定圖片各自對(duì)應(yīng)的單應(yīng)性矩陣H■，即可組合計(jì)算求解得到內(nèi)參矩陣K。

c. 利用一個(gè)模板圖像的單應(yīng)性矩陣H和已知的內(nèi)參矩陣K，求解該圖像所對(duì)應(yīng)的相機(jī)位姿下的世界坐標(biāo)系與像機(jī)坐標(biāo)系間的外參矩陣。

經(jīng)過(guò)上述步驟得到在相機(jī)固定位姿下，系統(tǒng)中像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，用矩陣表示如下：

uv1=f■ 0 c■0 f■ c■0 0 1R■ R■ R■ t■R■ R■ R■ t■R■ R■ R■ t■ 0" "0" "0" "1X■Y■Z■ 1" （6）

其中，c■、c■為相機(jī)主點(diǎn)相對(duì)于像素坐標(biāo)系的坐標(biāo)；f■、f■表示相機(jī)在x和y方向上的焦距；元素R■組成的矩陣表示相機(jī)坐標(biāo)系與世界坐標(biāo)系的旋轉(zhuǎn)關(guān)系；t■、t■、t■表示相機(jī)坐標(biāo)系與世界坐標(biāo)系的平移關(guān)系。

使用OpenCV提供的標(biāo)定工具箱初步得到原始參數(shù)值，隨后應(yīng)用最大似然估計(jì)來(lái)精確校正參數(shù)，得到本系統(tǒng)中相機(jī)內(nèi)參矩陣K以及相機(jī)在初始掃描位置的外參矩陣E分別為：

K=4945.64" 0.00" "638.75 0.00 4944.68 512.96" "0.00" " 0.00" " 1.00" " （7）

E=-0.99 -0.02" 0.01" " 2.15-0.02" 0.99" 0.03" "25.24-0.01" 0.03 -0.99 425.03 0.00" "0.00" "0.00" "1.00" "（8）

3.4 激光平面標(biāo)定

傳統(tǒng)的單目視覺(jué)系統(tǒng)只能獲取工件的二維信息，本系統(tǒng)視覺(jué)模塊引入線激光協(xié)同單目相機(jī)工作，可以實(shí)現(xiàn)對(duì)任意高度、姿態(tài)下工件三維信息的獲取。相機(jī)在不同方位拍攝M對(duì)關(guān)閉激光的棋盤格圖片以及對(duì)應(yīng)開(kāi)啟激光的圖片，每對(duì)照片都可以經(jīng)角點(diǎn)檢測(cè)得到角點(diǎn)集合，有N行角點(diǎn)，進(jìn)一步得到每行角點(diǎn)所在的直線與激光線的交點(diǎn)，將這些交點(diǎn)組合為三維點(diǎn)集，N組三維點(diǎn)集結(jié)合其各自對(duì)應(yīng)的外參，統(tǒng)一至相機(jī)坐標(biāo)系下，平面擬合得到相機(jī)坐標(biāo)系下的激光平面方程。

以第1行角點(diǎn)線交點(diǎn)為例。記第1行角點(diǎn)中前三點(diǎn)分別為A■、B■、C■，角點(diǎn)線與激光線交點(diǎn)記為D■，其對(duì)應(yīng)像點(diǎn)為d■。由于棋盤格內(nèi)格邊長(zhǎng)固定，可得A■、B■、C■點(diǎn)在世界坐標(biāo)系o■-x■y■z■下的三維坐標(biāo)以及D■點(diǎn)在相機(jī)坐標(biāo)系下的y、z軸坐標(biāo)，具體過(guò)程如下。

角點(diǎn)檢測(cè)得到第1行角點(diǎn)像素坐標(biāo)，擬合第1行角點(diǎn)構(gòu)成的直線l■與激光骨架信息構(gòu)成的直線l■，計(jì)算兩直線交點(diǎn)，得出d■點(diǎn)像素坐標(biāo)。同理，得出各行角點(diǎn)線與激光線的交點(diǎn)d■。

D■點(diǎn)在y、z方向的三維信息已存儲(chǔ)，通過(guò)交比原理計(jì)算D■點(diǎn)在世界坐標(biāo)系下x方向的坐標(biāo)為：

Cr=■" " "（9）

X■=■" （10）

其中，Cr表示交比；X■、X■、X■、X■表示A■、B■、C■、D■這4個(gè)點(diǎn)在世界坐標(biāo)系下x軸的坐標(biāo)。

同理，得出各行角點(diǎn)線與激光線的交點(diǎn)D■，記錄為點(diǎn)集D={D■，D■，D■，…，D■}。

重復(fù)處理M對(duì)圖片，結(jié)合各自外參矩陣，得到相機(jī)坐標(biāo)系下M×N個(gè)激光平面上的三維點(diǎn)集合，擬合得出激光平面方程。

最終，求解得出本系統(tǒng)激光平面方程為3.653x+0.213y-z+281.169=0。

4 線激光三維測(cè)量系統(tǒng)實(shí)驗(yàn)

搭建實(shí)物系統(tǒng)平臺(tái)（圖9），測(cè)試系統(tǒng)運(yùn)行效果。對(duì)藍(lán)色平衡梁工件按照10 mm的采樣間隔掃描，得到點(diǎn)云結(jié)果如圖10所示。

使用機(jī)器人示教器控制機(jī)器人帶動(dòng)視覺(jué)模塊，分別對(duì)平衡梁工件在不同截面高度下拍照采樣，計(jì)算對(duì)應(yīng)高度信息，平衡梁三維測(cè)試結(jié)果見(jiàn)表1?？梢钥闯觯到y(tǒng)在50～80 mm測(cè)量范圍內(nèi)，最大誤差在1 mm以內(nèi)，平均誤差0.48 mm，最大相對(duì)誤差1.48%，在后續(xù)的打磨加工環(huán)節(jié)中，重點(diǎn)在去除平衡梁工件表面的凸起或毛刺，系統(tǒng)的三維測(cè)量結(jié)果滿足加工環(huán)節(jié)的精度需求。

5 結(jié)束語(yǔ)

筆者設(shè)計(jì)了一種適用于機(jī)器人自動(dòng)打磨的三維測(cè)量系統(tǒng)，介紹了面向機(jī)器人打磨的線激光三維測(cè)量系統(tǒng)的設(shè)計(jì)思想、技術(shù)路線、實(shí)現(xiàn)方案。完成了系統(tǒng)內(nèi)部各坐標(biāo)系關(guān)系的分析；設(shè)計(jì)了一種操作簡(jiǎn)單、適用廣泛的相機(jī)標(biāo)定及激光平面標(biāo)定算法；通過(guò)自主設(shè)計(jì)的上位機(jī)軟件系統(tǒng)以及基于TCP協(xié)議的局域網(wǎng)通信，實(shí)現(xiàn)了系統(tǒng)各個(gè)模塊協(xié)同工作，完成了三維測(cè)量、加工一體式工作站的開(kāi)發(fā)。該系統(tǒng)具有三維測(cè)量功能，可以在50～80 mm的測(cè)量范圍內(nèi)將最大測(cè)量誤差控制在1 mm以內(nèi)，滿足打磨加工環(huán)節(jié)的精度需求，基本達(dá)到項(xiàng)目預(yù)期的各項(xiàng)性能指標(biāo)。

參 考 文 獻(xiàn)

［1］ 方志強(qiáng)，熊禾根，肖書浩，等.基于單目視覺(jué)多種平面尺寸的規(guī)則工件測(cè)量系統(tǒng)［J］.機(jī)械設(shè)計(jì)與制造，2020（11）：241-245；249.

［2］ 孔強(qiáng)，黃元鳳，李彥樺，等.常壓儲(chǔ)罐表面形貌視覺(jué)檢測(cè)機(jī)器人技術(shù)研究［J］.化工自動(dòng)化及儀表，2021，48（4）：335-341.

［3］ 黃及遠(yuǎn)，李敏，謝兵兵，等.雙目視覺(jué)關(guān)鍵技術(shù)研究綜述［J］.制造業(yè)自動(dòng)化，2023，45（5）：166-171.

［4］ 董潔，王宗平，歐登熒，等.基于線激光掃描的葉片三維型面重構(gòu)方法［J］.四川大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，60（3）：104-111.

［5］ 王世程，于微波，楊宏韜.TOF相機(jī)深度數(shù)據(jù)測(cè)量中的空間配準(zhǔn)方法研究［J］.組合機(jī)床與自動(dòng)化加工技術(shù)，2020（7）：55-59；64.

［6］ TRAN T T，HA C K.Non-contact Gap and Flush Measurement Using Monocular Structured Multi-line Light Vision for Vehicle Assembly［J］.International Journal of Control，Automation，and Systems，2018，16（5）：2432-2445.

［7］ LAHDENOJA O，S？魧NTTI T，POIKONEN J K，et al.Embedded processing methods for online visual analysis of laser welding［J］.Journal of Real-Time Image Processing，2019，16（4）：1099-1116.

［8］ 張麗芳，陳素平，李坊平.三維視覺(jué)系統(tǒng)提升機(jī)器人激光焊接效率［J］.金屬加工（熱加工），2014（10）：42-44.

［9］ 李春陽(yáng).彩色圖像灰度化及其效果的客觀評(píng)價(jià)方法研究［J］.流行色，2021（12）：93-95.

［10］ 趙世峰，何皙健.基于OpenCV的復(fù)雜環(huán)境下圖像二值化方法［J］.電子測(cè)量技術(shù)，2018，41（6）：55-59.

［11］ 顧梅花，蘇彬彬，王苗苗，等.彩色圖像灰度化算法綜述［J］.計(jì)算機(jī)應(yīng)用研究，2019，36（5）：1286-1292.

［12］ 王科俊，熊新炎，任楨.高效均值濾波算法［J］.計(jì)算機(jī)應(yīng)用研究，2010，27（2）：434-438.

［13］ ZHU Y，HUANG C.An Improved Median Filtering Algorithm for Image Noise Reduction［J］.Physics Procedia，2012，25：609-616.

［14］ 黃旭，張世義，李軍.圖像分割技術(shù)研究綜述［J］.裝備機(jī)械，2021（2）：6-9.

［15］ 冀振燕，宋曉軍，付文杰，等.激光光條中心線提取研究綜述［J］.測(cè)控技術(shù)，2021，40（6）：1-8.

［16］ 曾超，王少軍，盧紅，等.線結(jié)構(gòu)光光條中心提取算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2019，24（10）：1772-1780.

［17］ 鄧仕超，梅楓，高興宇，等.單目機(jī)器人手眼標(biāo)定研究［J］.組合機(jī)床與自動(dòng)化加工技術(shù)，2021（12）：53-57.

［18］ 楊森，張壽明，劉亦興，等.基于同步定位與地圖構(gòu)建的色彩追蹤智能小車系統(tǒng)［J］.化工自動(dòng)化及儀表，2022，49（4）：492-501.

［19］ 趙麗麗.基于OpenCV的三維重建系統(tǒng)研究［J］.化工自動(dòng)化及儀表，2018，45（5）：396-398.

［20］ LIU W Y，LI W J.A New Technique for Camera Calibration Using Circle Template［J］.Key Engineering Materials，2011，1104（467-469）：1917-1920.

［21］ 趙文彬，張艷寧.角點(diǎn)檢測(cè)技術(shù)綜述［J］.計(jì)算機(jī)應(yīng)用研究，2006，23（10）：17-19；38.

（收稿日期：2023-12-06，修回日期：2024-09-26）

Design of Line Laser 3D Measurement System for Robot Grinding SHI Shao-qian， WANG Xue-wu

（MOE Key Laboratory of Smart Manufacturing in Energy Chemical Process，East China University of Science and Technology）

Abstract" "Aiming at the robot’s auto-grinding production， a line laser 3D measurement system was designed. In which， having the host computer taken as the control core， and the line laser generator and the industrial camera employed to form visual acquisition module， and the industrial robot used as the actuator to calibrate camera parameters automatically; through investigating the laser centerline extraction algorithm and basing on the principles of mathematics like the straight line fitting， matrix singular value decomposition and plane fitting， the plane checkerboard-based optical plane calibration method was obtained. In addition， through making use of mechanical arm drive the vision module to collect images， employing the host computer to process visual information， adopting image preprocessing steps such as grayscale， image filtering and binarization， the laser center line was extracted and the workpiece’s 3D data was obtained through combining the calibration results; basing on the workpiece’s 3D information， the host computer guided the robot to process the workpiece and the workstation for both measurement and processing was realized. The experimental results show that， the system’s maximum error is less than 1 mm when the working range stays at 50 mm to 80 mm， which meets the application needs like the workpiece grinding and other processing.

Key words" "machine vision， line laser， laser plane equation， camera calibration， 3D measurement