基于3D點(diǎn)云的焊縫識(shí)別和路徑規(guī)劃研究

摘 要：隨著工業(yè)物聯(lián)網(wǎng)、人工智能和機(jī)器人技術(shù)的日益發(fā)展，焊接行業(yè)對(duì)自動(dòng)化技術(shù)的需求不斷增長。傳統(tǒng)的示教焊接方法在處理多樣化的焊接場景時(shí)存在局限性。為了解決這一問題，提出了一種針對(duì)組合板工件的焊縫識(shí)別和路徑規(guī)劃方案，以精確規(guī)劃機(jī)器人焊接路徑。首先，采用激光相機(jī)捕捉目標(biāo)工件的點(diǎn)云信息，通過采樣和濾波算法進(jìn)行預(yù)處理；接下來，基于焊件平面分割算法，利用聚類、區(qū)域生長和隨機(jī)采樣一致性等方法從預(yù)處理后的點(diǎn)云中分割出擬合的平面，幫助區(qū)分和識(shí)別焊件的各個(gè)部分；隨后，針對(duì)處理后的平面，通過投影等方式獲取焊縫特征，同時(shí)使用特征檢測算法實(shí)現(xiàn)焊縫的精確識(shí)別；最后，采用插值法平滑處理焊縫軌跡。該方案確保了機(jī)器人在焊接過程中能夠沿著預(yù)定的路徑移動(dòng)，提高了焊接質(zhì)量和效率。

關(guān)鍵詞：3D點(diǎn)云；焊縫識(shí)別；聚類算法；點(diǎn)云分割；路徑規(guī)劃；點(diǎn)云關(guān)鍵點(diǎn)提取

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）12-0-04

0 引 言

隨著工業(yè)物聯(lián)網(wǎng)、人工智能、機(jī)器人技術(shù)的不斷發(fā)展，傳統(tǒng)制造業(yè)正逐步朝著智能化、柔性化的方向轉(zhuǎn)型升級(jí)。焊接作為制造業(yè)領(lǐng)域中的關(guān)鍵工藝之一，高效精準(zhǔn)的自動(dòng)化焊接技術(shù)是我國制造業(yè)升級(jí)轉(zhuǎn)型的重要支撐[1-3]。在傳統(tǒng)的人工焊接過程中，工人不得不在高溫、多灰塵、高噪音和強(qiáng)弧光反射的高危工作環(huán)境下從事高強(qiáng)度重復(fù)勞動(dòng)。這不僅侵害了工人的身心健康權(quán)益，還制約了生產(chǎn)效率，增加了生產(chǎn)成本[4]。因此，制造業(yè)積極發(fā)展自動(dòng)化焊接技術(shù)，旨在通過使用焊接機(jī)器人來替代傳統(tǒng)手工焊接方式。本文所提出的基于點(diǎn)云數(shù)據(jù)的焊縫識(shí)別和路徑規(guī)劃方案可以滿足多種組合板工件的焊接需求，從而顯著提升組合板生產(chǎn)效率[5]。

1 相關(guān)知識(shí)

1.1 點(diǎn)云濾波與采樣

在激光相機(jī)獲取工件點(diǎn)云數(shù)據(jù)的過程中，各種外部因素會(huì)對(duì)掃描設(shè)備造成干擾，導(dǎo)致點(diǎn)云數(shù)據(jù)中混入大量噪聲。這些噪聲會(huì)增大后續(xù)數(shù)據(jù)處理的難度，降低處理精度[6]。為此，我們通常會(huì)采用點(diǎn)云濾波和點(diǎn)云采樣算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，以去除噪聲和冗余，提高點(diǎn)云數(shù)據(jù)處理的準(zhǔn)確性和效率。

1.2 點(diǎn)云分類與分割

點(diǎn)云分類與分割在點(diǎn)云處理過程中扮演著關(guān)鍵角色，其目標(biāo)是從三維點(diǎn)云數(shù)據(jù)中準(zhǔn)確地辨識(shí)并分離出不同的物體或場景[7-8]。目前，深度學(xué)習(xí)驅(qū)動(dòng)的點(diǎn)云分類方法主要包含3種：基于多視角的方法、基于體素的方法以及直接基于點(diǎn)云的處理方法。點(diǎn)云分割技術(shù)通過分析空間關(guān)系、幾何特性和紋理特征，實(shí)現(xiàn)對(duì)點(diǎn)云數(shù)據(jù)的有效組織和劃分。

1.3 點(diǎn)云關(guān)鍵點(diǎn)提取

點(diǎn)云關(guān)鍵點(diǎn)是指在點(diǎn)云數(shù)據(jù)中具有顯著性和穩(wěn)定性的特征點(diǎn)，這些關(guān)鍵點(diǎn)在物體識(shí)別和描述的過程中起著至關(guān)重要的作用。目前，常見的點(diǎn)云關(guān)鍵點(diǎn)提取算法包括Harris3D、SIFT3D、ISS3D、NARF[9-10]等。這些算法能夠從點(diǎn)云數(shù)據(jù)中提取出關(guān)鍵點(diǎn)，為后續(xù)物體識(shí)別和描述提供可靠特征。

2 面向組合板的焊縫識(shí)別和路徑規(guī)劃方案

2.1 應(yīng)用場景

系統(tǒng)主要由激光3D相機(jī)、工控機(jī)、送絲器和焊接機(jī)器人組成。在工作時(shí)，裝配于焊槍側(cè)的激光3D相機(jī)通過Eye-in-Hand系統(tǒng)提取工件信息，并通過TCP/IP協(xié)議將數(shù)據(jù)傳輸至工控機(jī)。工控機(jī)負(fù)責(zé)焊縫識(shí)別與路徑規(guī)劃，并控制機(jī)器人進(jìn)行精準(zhǔn)焊接。

2.2 點(diǎn)云數(shù)據(jù)預(yù)處理

在組合板工件的點(diǎn)云數(shù)據(jù)中，由于拍攝角度等因素的影響，常會(huì)產(chǎn)生冗余信息和干擾點(diǎn)。可以通過隨機(jī)采樣算法進(jìn)行降采樣，并利用基于KDTree近鄰查詢的歐式聚類算法來濾除冗余點(diǎn)云和離群點(diǎn)。

2.2.1 歐氏聚類算法

在歐氏聚類算法中，首先選擇待聚類的數(shù)據(jù)點(diǎn)集合并設(shè)定聚類類別數(shù)k。接著，隨機(jī)選取k個(gè)數(shù)據(jù)點(diǎn)作為初始聚類中心。通過計(jì)算每個(gè)點(diǎn)與這些聚類中心的歐氏距離，將每個(gè)數(shù)據(jù)點(diǎn)分配到最近的聚類類別中。然后，在每個(gè)聚類簇內(nèi)計(jì)算所有數(shù)據(jù)點(diǎn)到聚類中心的平均距離，并用此均值更新聚類中心。重復(fù)此過程直到數(shù)據(jù)點(diǎn)的聚類類別穩(wěn)定或達(dá)到最大迭代次數(shù)[11]。最終，輸出每個(gè)聚類類別中的所有數(shù)據(jù)點(diǎn)。

2.2.2 構(gòu)建KDTree搜索樹

Step1：運(yùn)用式（1）逐個(gè)計(jì)算數(shù)據(jù)集在各維度上的方差K，并從中選取具有最大方差的維度k：

（1）

Step2：將維度k上的數(shù)據(jù)升序排列，得到數(shù)據(jù)集合{K1， K2， ...， KNk}，其中K1lt;K2...lt;KNk，Nk為維度k上數(shù)據(jù)的個(gè)數(shù)，用式（2）計(jì)算維度k的中值m：

（2）

Step3：以中值m作為閾值，按式（3）將數(shù)據(jù)分為2個(gè)子集Ksub_low和Ksub_high，并創(chuàng)建存儲(chǔ)節(jié)點(diǎn)：

（3）

Step4：遞歸地對(duì)子集執(zhí)行相同操作，直至無法劃分。將無法再分割的子集數(shù)據(jù)存入葉子節(jié)點(diǎn)中。

2.2.3 設(shè)計(jì)基于KDTree近鄰查詢的歐式聚類算法

基于KDTree的近鄰查詢算法能顯著提高歐式聚類的速度。對(duì)于數(shù)據(jù)點(diǎn)P，其在KDTree中的最近鄰搜索步驟如下：首先，從根節(jié)點(diǎn)出發(fā)，根據(jù)當(dāng)前節(jié)點(diǎn)的劃分維度和閾值，比較P在該維度上的值；然后，根據(jù)比較結(jié)果移動(dòng)到左或右子樹，并遞歸重復(fù)此過程直至到達(dá)葉子節(jié)點(diǎn)Q；接著，計(jì)算P與Q的距離，將其作為當(dāng)前最短距離，并將Q標(biāo)記為最近鄰點(diǎn)；之后，沿搜索路徑回溯至根節(jié)點(diǎn)，檢查未訪問的子節(jié)點(diǎn)與P的距離，更新最近鄰點(diǎn)；最后，重復(fù)上述步驟直到所有路徑都被探索，最終確定的最近鄰點(diǎn)即為P在KDTree中的最近鄰點(diǎn)。

2.3 點(diǎn)云多平面分割與特征平面提取

在組合板中，焊板平面與補(bǔ)板平面交錯(cuò)，使得焊縫點(diǎn)云與交線點(diǎn)云混雜。考慮到組合板平面點(diǎn)云的厚度，焊縫提取時(shí)必須精確判斷交線的具體位置。我們采用區(qū)域生長算法對(duì)多平面點(diǎn)云進(jìn)行分割。該算法通過識(shí)別和聚類鄰近的相似屬性點(diǎn)云，實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)的精準(zhǔn)分割，生成清晰的點(diǎn)云面片信息。這不僅有效區(qū)分了不同聚類的點(diǎn)云面片，還能識(shí)別不同類別的點(diǎn)云區(qū)域。圖1是區(qū)域生長算法處理后的點(diǎn)云數(shù)據(jù)。

圖1（a）為多平面點(diǎn)云數(shù)據(jù)，圖1（b）～圖1（e）為分割平面點(diǎn)云數(shù)據(jù)。圖1（d）和圖1（e）的點(diǎn)云數(shù)據(jù)近似平行，其中，圖1（e）代表的平面稱為底面補(bǔ)板點(diǎn)云，其余為豎直補(bǔ)板點(diǎn)云。應(yīng)用隨機(jī)樣本一致性算法（Random Sample Consensus， RANSAC）[12]計(jì)算這4個(gè)平面的法向量，并通過法向量夾角識(shí)別目標(biāo)平面點(diǎn)云與底面補(bǔ)板點(diǎn)云。若2個(gè)平面點(diǎn)云的法向量分別為a和b，通過計(jì)算2個(gè)向量之間的點(diǎn)積（內(nèi)積）和向量的模（長度）來獲取2個(gè)平面之間的夾角θ，如式（4）所示：

（4）

當(dāng)2個(gè)平面越接近平行時(shí)，它們之間的夾角越小，余弦值增加，有助于識(shí)別這2個(gè)平面。在處理底面補(bǔ)板點(diǎn)云和目標(biāo)平面點(diǎn)云時(shí)，我們發(fā)現(xiàn)目標(biāo)平面點(diǎn)云和2個(gè)豎直補(bǔ)板點(diǎn)云之間的連通性較強(qiáng)，因此，將這2個(gè)豎直補(bǔ)板點(diǎn)云各自投影到1個(gè)近似平行的平面上。通過選擇2個(gè)豎直平面中的點(diǎn)P（xo， yo， zo），構(gòu)建投影平面方程為Ax+By+Cz+D=0，設(shè)點(diǎn)P在該投影平面上的對(duì)應(yīng)點(diǎn)參數(shù)為P'（xp， yp， zp）。根據(jù)垂直定理，可知yp和zp滿足式（5）的條件：

（5）

將式（5）代入投影平面方程，可解得投影點(diǎn)的坐標(biāo)，如式（6）所示：

（6）

2.4 焊縫識(shí)別與路徑規(guī)劃

在鎖定目標(biāo)平面點(diǎn)云后，使用Alpha-Shape算法來提取平面的邊緣點(diǎn)云。接著，通過計(jì)算邊緣點(diǎn)到其他平面的歐氏距離，評(píng)估其連接可能性，并據(jù)此識(shí)別焊縫點(diǎn)以進(jìn)行焊縫識(shí)別和路徑規(guī)劃。Alpha-Shape算法基于拓?fù)鋵W(xué)，適合從點(diǎn)云中提取邊緣點(diǎn)[13]。實(shí)現(xiàn)步驟如下：

Step1：設(shè)初始化滾球半徑為α，邊界點(diǎn)集合為Pedge。

Step2：在平面點(diǎn)云集P中選取兩點(diǎn)p1（x1， y1）和p2（x2， y2），使用后方距離交會(huì)法計(jì)算圓心位置p3（x3， y3）或p'3（x'3， y'3）。具體計(jì)算如式（7）所示：

（7）

H和S2的計(jì)算如式（8）所示：

（8）

Step3：計(jì)算平面點(diǎn)集P中除p1和p2外的所有點(diǎn)到2個(gè)圓心p3和p'3的距離。

Step4：若所有剩余點(diǎn)到任一個(gè)圓心的距離都大于α，則標(biāo)記p1、p2為邊界點(diǎn)，并從P中移除，記錄到Pedge中，否則不作為邊界點(diǎn)。

Step5：重復(fù)Step2～Step4，直至P和Pedge中點(diǎn)數(shù)穩(wěn)定。

3 測試與結(jié)果分析

組合板焊縫識(shí)別與路徑規(guī)劃模塊能精準(zhǔn)處理各類點(diǎn)云數(shù)據(jù)。選取6個(gè)原始點(diǎn)云進(jìn)行測試，并展示了其中1組的處理流程，如圖2所示。

圖2顯示，該模塊首先對(duì)點(diǎn)云進(jìn)行采樣和濾波預(yù)處理，隨后通過區(qū)域生長法將處理后的點(diǎn)云分割成多個(gè)平面。接著，從這些平面中鎖定目標(biāo)平面，并運(yùn)用Alpha-Shape算法提取邊緣點(diǎn)云。最后，根據(jù)目標(biāo)平面與其他點(diǎn)云平面的關(guān)系，實(shí)現(xiàn)焊縫的精確定位和焊接路徑的有效規(guī)劃。

測試數(shù)據(jù)的焊縫檢測和路徑規(guī)劃結(jié)果如圖3所示，該系統(tǒng)能有效處理多種組合板的焊縫提取和路徑規(guī)劃。

表1列出了相關(guān)數(shù)據(jù)處理結(jié)果。點(diǎn)云精簡率是預(yù)處理后與原始數(shù)據(jù)的比值。分析表明，區(qū)域生長分割算法會(huì)濾除一些歧義點(diǎn)，如多平面交界處。綜合分析圖3和表1，該方案展現(xiàn)出了良好的性能和檢測效果。

4 結(jié) 語

本文設(shè)計(jì)了一套基于3D點(diǎn)云的焊縫識(shí)別與路徑規(guī)劃方案，旨在提升焊接機(jī)器人處理焊件信息的效率。點(diǎn)云技術(shù)為焊接機(jī)器人提供了精確的三維空間信息，使其能夠細(xì)致捕捉和處理焊接對(duì)象。然而，盡管點(diǎn)云技術(shù)在焊接自動(dòng)化領(lǐng)域具有巨大潛力，但對(duì)其的研究和應(yīng)用仍面臨著諸多挑戰(zhàn)，需進(jìn)一步優(yōu)化以適應(yīng)多變的工作場景和條件。

參考文獻(xiàn)

[1]饒競波.基于點(diǎn)云模型的大型馬鞍形焊縫弧焊機(jī)器人路徑規(guī)劃研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2022.

[2]張園凱.基于3D視覺的鋼筋網(wǎng)自動(dòng)化焊接軌跡規(guī)劃研究[D].濟(jì)南：山東大學(xué)，2022.

[3]周仁義.基于機(jī)器視覺的異型工件機(jī)器人焊接軌跡自動(dòng)生成方法研究[D].廣州：華南理工大學(xué)，2018.

[4]袁文定.基于視覺引導(dǎo)的機(jī)器人示教系統(tǒng)設(shè)計(jì)[D].合肥：合肥工業(yè)大學(xué)，2022.

[5]王凱. 基于點(diǎn)云特征提取的V型焊縫焊接系統(tǒng)研究[D].杭州：中國計(jì)量大學(xué)，2021.

[6]畢松，王宇豪.基于自適應(yīng)半徑濾波的農(nóng)業(yè)導(dǎo)航激光點(diǎn)云去噪方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（11）：234-243.

[7] ZHANG H， WANG C S， TIAN S W， et al. Deep learning-based 3D point cloud classification： a systematic survey and outlook [J]. Computer science， engineering， 2023， 79.

[8] QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA： IEEE， 2017： 21-26.

[9]梁倩倩.三維點(diǎn)云濾波與特征點(diǎn)提取算法研究[D].長春：吉林大學(xué)，2018.

[10] LI J， LEE G H. USIP： Unsupervised stable interest point detection from 3D point clouds [C]// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul， Korea （South）： IEEE， 2020： 361-370.

[11]吳俊毅.基于PCL和G-PCC的點(diǎn)云壓縮自適應(yīng)算法研究[D].北京：北京郵電大學(xué)，2024.

[12]于浩.基于改進(jìn)RANSAC的航空激光雷達(dá)點(diǎn)云分割算法研究[D].哈爾濱：哈爾濱工程大學(xué)，2023.

[13] ZHANG K， CHEN H， WU H， et al. Point cloud registration method for maize plants based on conical surface fitting ICP [J]. Scientific reports， 2022， 12： 6852.

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（62302211）；江蘇省產(chǎn)學(xué)研合作項(xiàng)目（BY20230583）；國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目（62101244）；江蘇省大學(xué)生科技創(chuàng)新項(xiàng)目（202411276133Y）

作者簡介：郭麗紅（1975—），女，博士，副教授，研究方向?yàn)閿?shù)據(jù)安全、點(diǎn)云處理。

曹 燁（2002—），男，研究方向?yàn)?D點(diǎn)云處理。

楊 潔（1979—），女，博士，教授，研究方向?yàn)?G通信與安全。

毛 錚（1991—），女，博士，講師，研究方向?yàn)槲锫?lián)網(wǎng)安全。

紀(jì)宇菲（2004—），女，研究方向?yàn)?D點(diǎn)云處理。