基于Foldingnet的一種零部件匹配方法

摘 要：本研究介紹了一種在焊裝裝備智能設(shè)計(jì)過(guò)程中的零部件匹配方法。該方法利用深度學(xué)習(xí)AI技術(shù)，改進(jìn)了Foldingnet網(wǎng)絡(luò)框架，對(duì)零部件特征信息進(jìn)行高速提取和模型訓(xùn)練，構(gòu)建了一個(gè)零部件特征歷史向量庫(kù)。該方法將零部件的點(diǎn)云信息轉(zhuǎn)化為算法模型進(jìn)行訓(xùn)練，對(duì)零部件特征進(jìn)行捕捉和學(xué)習(xí)。在匹配過(guò)程中，計(jì)算待匹配零部件的特征向量與歷史零部件特征向量的相似度，選取相似度高于90%的結(jié)果作為推薦。試驗(yàn)結(jié)果證明，該方法有效地解決了現(xiàn)有技術(shù)中零部件搜索準(zhǔn)確率低、時(shí)間長(zhǎng)的問(wèn)題，提升了設(shè)計(jì)效率，縮短了開(kāi)發(fā)周期。

關(guān)鍵詞：零部件檢索；特征信息；Foldingnet；深度學(xué)習(xí)；特征向量庫(kù)；相似度計(jì)算

中圖分類(lèi)號(hào)：TP 391" " " " " " 文獻(xiàn)標(biāo)志碼：A

在產(chǎn)品開(kāi)發(fā)過(guò)程中，焊裝裝備大量零部件重復(fù)設(shè)計(jì)，全新的設(shè)計(jì)只占很低比例。因此，從數(shù)據(jù)庫(kù)中快速、準(zhǔn)確地搜索相似的零部件模型并進(jìn)行匹配，成為提高設(shè)計(jì)效率、縮短開(kāi)發(fā)周期的關(guān)鍵。

點(diǎn)云配準(zhǔn)[1]是計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)領(lǐng)域的一項(xiàng)基本任務(wù)，應(yīng)用廣泛。最典型的點(diǎn)云配準(zhǔn)算法是BESL等[2]1992年提出的迭代最近點(diǎn)算法，該算法簡(jiǎn)單、直觀且易于完成。王飛等[3]使用4PSC（4-points congrunt sets）算法對(duì)多期道路車(chē)載激光點(diǎn)云進(jìn)行粗配準(zhǔn)，縮短了配準(zhǔn)時(shí)間。朱啟兵等[4]利用點(diǎn)到面的ICP算法對(duì)盆栽進(jìn)行配準(zhǔn)，配準(zhǔn)精度還需要提高。Shen等利用源點(diǎn)云生成目標(biāo)點(diǎn)云，獲取源點(diǎn)云和目標(biāo)點(diǎn)云的內(nèi)部差異來(lái)進(jìn)行內(nèi)部區(qū)分。胡江豪等提出了一種匹配幾何特征的新型部分重疊點(diǎn)云配準(zhǔn)算法。王琛[5]提出了一種圍繞三維重建的點(diǎn)云配準(zhǔn)算法，提升了三維重建模型的精度。

本研究提出基于Folding Net的零部件匹配方法，旨在提高現(xiàn)有技術(shù)中零部件檢索的準(zhǔn)確率。

1 點(diǎn)云訓(xùn)練模型結(jié)構(gòu)設(shè)計(jì)

1.1 問(wèn)題描述

零部件模型的目標(biāo)點(diǎn)云是一系列三維坐標(biāo)點(diǎn)的集合，特征信息包括零部件的幾何結(jié)構(gòu)特征信息，轉(zhuǎn)化為N×3的數(shù)組；材料屬性特征信息轉(zhuǎn)化為N×M1的獨(dú)熱編碼；加工工藝特征信息轉(zhuǎn)化為N×M2的獨(dú)熱編碼。將零部件的特征信息輸入預(yù)設(shè)學(xué)習(xí)模型，得到零部件的特征向量。本研究將在訓(xùn)練過(guò)程中幾何信息的損失函數(shù)設(shè)為倒角距離損失函數(shù)，材料屬性信息的損失函數(shù)和加工工藝信息的損失函數(shù)設(shè)為歐式距離損失函數(shù)。用倒角距離表示幾何結(jié)構(gòu)信息損失，倒角距離損失函數(shù)如公式（1）所示。

（1）

式中：L1為幾何結(jié)構(gòu)信息損失；dCD為倒角距離；S1為所述歷史零部件的點(diǎn)云集合；S2為所述重構(gòu)后的歷史零部件的點(diǎn)云集合；x為所述歷史零部件的點(diǎn)云集合中的任意1個(gè)點(diǎn)；y為所述重構(gòu)后的歷史零部件的點(diǎn)云集合中的任意1個(gè)點(diǎn)。

材料屬性信息和加工工藝信息損失可以利用歐式距離損失函數(shù)計(jì)算，計(jì)算過(guò)程如公式（2）所示。

（2）

式中：L2為工藝信息損失；n為點(diǎn)的總數(shù)量；xi為歷史零部件的材料屬性（加工工藝）信息第i個(gè)元素；yi為重構(gòu)后的歷史零部件的材料屬性（加工工藝）信息第i個(gè)元素。

根據(jù)幾何結(jié)構(gòu)信息損失、材料屬性信息損失和加工工藝信息損失，可以得到歷史零部件的特征向量與重構(gòu)后的歷史零部件的特征向量之間的最終損失，最終損失函數(shù)如公式（3）所示。

Loss=a·Loss1+b·Loss2 " " " " " " " " " " " " " " "（3）

式中：a、b分別為2個(gè)可學(xué)習(xí)的超參數(shù)；Loss為最終損失函數(shù)值。

方案流程如圖1所示。

1.2 模型網(wǎng)絡(luò)結(jié)構(gòu)

目前，主流點(diǎn)云深度學(xué)習(xí)算法直接將點(diǎn)作為網(wǎng)絡(luò)模型的輸入，點(diǎn)云具有無(wú)序特性，因此空間位置相似的點(diǎn)存儲(chǔ)在內(nèi)存的非連續(xù)位置[6]?；谏疃葘W(xué)習(xí)，本研究在FoldingNet結(jié)構(gòu)的基礎(chǔ)上設(shè)計(jì)一種匹配幾何特征的網(wǎng)絡(luò)架構(gòu)，使用PointNet特征提取網(wǎng)絡(luò)作為輸入網(wǎng)絡(luò)，F(xiàn)oldingNet解碼器作為輸出網(wǎng)絡(luò)。

PointNet是一個(gè)可以端到端處理點(diǎn)云數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其廣泛應(yīng)用于處理點(diǎn)云分類(lèi)和分割任務(wù)。其是第一個(gè)處理點(diǎn)云數(shù)據(jù)的架構(gòu)，簡(jiǎn)潔、有效的網(wǎng)絡(luò)結(jié)構(gòu)為后續(xù)研究新方法提供了啟發(fā)。

FoldingNet是由Yang等提出的1個(gè)網(wǎng)格可深度變形的點(diǎn)云自編碼器。提出了新的端到端graph-based編碼器和folding-based編碼器。點(diǎn)云結(jié)構(gòu)一般由稀疏的三維點(diǎn)表示，很難應(yīng)用于傳統(tǒng)的深度學(xué)習(xí)框架中。該方法可以解決點(diǎn)云結(jié)構(gòu)不規(guī)則導(dǎo)致的問(wèn)題。

算法模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，特征提取網(wǎng)絡(luò)包括輸入變換（input transform）、特征變換（feayure transform）和最大池化（maxpooling），解碼輸出網(wǎng)絡(luò)利用感知器、圖像層和折疊操作進(jìn)行特征解碼。其減少了參數(shù)個(gè)數(shù)，根據(jù)定義損失函數(shù)來(lái)評(píng)估匹配結(jié)果的差異。

解碼器包括2次folding操作。這種設(shè)計(jì)減少了參數(shù)個(gè)數(shù)。最后定義損失函數(shù)來(lái)評(píng)價(jià)差異大小。

2 零部件點(diǎn)云模型訓(xùn)練

2.1 數(shù)據(jù)集準(zhǔn)備

在深度學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集是進(jìn)行訓(xùn)練和優(yōu)化的重要工具。PointNet特征提取網(wǎng)絡(luò)需要輸入合適的零部件點(diǎn)云數(shù)據(jù)集。為保證解碼輸出網(wǎng)絡(luò)處理效果達(dá)到預(yù)期，點(diǎn)云數(shù)據(jù)集應(yīng)具備足夠豐富的數(shù)據(jù)量，本研究采用超過(guò)100 000個(gè)焊裝夾具零部件的點(diǎn)云數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。部分歷史零部件點(diǎn)云如圖3所示。

2.2 數(shù)據(jù)處理

為了增加數(shù)據(jù)集數(shù)量，提升數(shù)據(jù)集的多樣性，本研究對(duì)原點(diǎn)云進(jìn)行數(shù)據(jù)增強(qiáng)處理，包括對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)處理、隨機(jī)抖動(dòng)[7]以及歸一化處理[8]。每個(gè)點(diǎn)云數(shù)據(jù)隨機(jī)選擇一個(gè)旋轉(zhuǎn)角度，生成不同姿態(tài)的零部件點(diǎn)云數(shù)據(jù)，在其坐標(biāo)上添加一個(gè)隨機(jī)的擾動(dòng)值。對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行歸一化處理，將其坐標(biāo)控制在[-1，1]。具體步驟如下。

2.2.1 旋轉(zhuǎn)處理和隨機(jī)抖動(dòng)

當(dāng)參照系統(tǒng)不同時(shí)，點(diǎn)云中點(diǎn)的坐標(biāo)會(huì)發(fā)生變化，因此須對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理，使其具有規(guī)律性和一致性。本研究選擇以下2種點(diǎn)云擾動(dòng)處理方法。

2.2.1.1 隨機(jī)抖動(dòng)

對(duì)點(diǎn)云進(jìn)行隨機(jī)抖動(dòng)，增加噪聲的變化和多樣性，使模型更好地適應(yīng)真實(shí)場(chǎng)景中的噪聲情況。

2.2.1.2 旋轉(zhuǎn)處理

每1輪訓(xùn)練后，改變點(diǎn)云角度，影響特征的提取與描述。旋轉(zhuǎn)點(diǎn)云，提高模型的魯棒性，適應(yīng)不用的應(yīng)用場(chǎng)景。

2.2.2 歸一化處理

為增加數(shù)據(jù)集數(shù)量，加快訓(xùn)練計(jì)算速度，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行規(guī)范化處理，使其具有統(tǒng)一的尺度和范圍。點(diǎn)云歸一化有助于提高點(diǎn)云數(shù)據(jù)的可比性、對(duì)齊性，增強(qiáng)處理效果。歸一化處理過(guò)程如公式（4）～公式（7）所示。

（4）

（5）

（6）

（7）

式中：Rxy、Rxz和Ryz分別為xy、xz和yz平面旋轉(zhuǎn)矩陣；xi、yi和zi（ i=1，2，…，n）為初始點(diǎn)云坐標(biāo)；x'i、y'i和z'i（i=1，2，…，n）為旋轉(zhuǎn)變換后的點(diǎn)云坐標(biāo)；x\"i、y\"i和z\"i（i=1，2，…，n）為平移變換后的點(diǎn)云坐標(biāo)；σi為一定閾值內(nèi)的隨機(jī)數(shù)；θ為旋轉(zhuǎn)角度。

2.3 模型訓(xùn)練

模型訓(xùn)練有以下3個(gè)步驟。1）建立歷史零部件的特征信息庫(kù)。2）訓(xùn)練信息轉(zhuǎn)化模型，學(xué)習(xí)歷史零部件特征信息與特征向量的映射關(guān)系。3）評(píng)估、優(yōu)化并輸出訓(xùn)練后的信息轉(zhuǎn)化模型。在訓(xùn)練過(guò)程中，利用歷史零部件和重構(gòu)后的歷史零部件，對(duì)初始學(xué)習(xí)模型進(jìn)行優(yōu)化，得到預(yù)設(shè)學(xué)習(xí)模型，計(jì)算歷史零部件的幾何結(jié)構(gòu)信息缺失；計(jì)算樣本模型的材料屬性信息與重構(gòu)后的樣本模型的材料屬性信息缺失；計(jì)算歷史零部件的加工工藝信息與重構(gòu)后的加工工藝信息缺失。在訓(xùn)練過(guò)程中，編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型的損失函數(shù)包括3個(gè)維度，總損失函數(shù)記為L(zhǎng)oss。損失函數(shù)值如圖4所示。本研究訓(xùn)練網(wǎng)絡(luò)模型采用初始學(xué)習(xí)率、樣本數(shù)和訓(xùn)練輪次3個(gè)模型參數(shù)配置訓(xùn)練網(wǎng)絡(luò)。模型參數(shù)見(jiàn)表1。

從圖4可以看出，損失函數(shù)值在第100輪處發(fā)生抖動(dòng)，在整體迭代過(guò)程中呈現(xiàn)下降趨勢(shì)。以定位孔和立柱為例，點(diǎn)云訓(xùn)練結(jié)果如圖5所示。

模型對(duì)整體訓(xùn)練集的處理能力如公式（8）所示。

（8）

式中：S為各個(gè)零部件與歷史零部件匹配的準(zhǔn)確率；N為樣本數(shù)；T為真例數(shù)。

3 零部件點(diǎn)云匹配算例

從圖5可以看出，零部件匹配模型準(zhǔn)確度較高，黑色框中為匹配失敗的點(diǎn)云，當(dāng)整個(gè)模型對(duì)零部件點(diǎn)云的相似結(jié)構(gòu)進(jìn)行匹配時(shí)可能會(huì)出現(xiàn)誤差。將歷史方案與點(diǎn)云進(jìn)行匹配，比對(duì)并智能調(diào)整新的設(shè)計(jì)參數(shù)，生成符合這些參數(shù)的新方案。這種智能化的匹配和調(diào)整過(guò)程能夠提高設(shè)計(jì)效率和準(zhǔn)確性，為產(chǎn)品開(kāi)發(fā)提供支持。零部件匹配結(jié)果如圖6所示。

自動(dòng)匹配方案與歷史方案的相似度達(dá)到90%以上，可以滿(mǎn)足生產(chǎn)需要。本文改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建特征向量庫(kù)，計(jì)算相似度，成功地提高了零部件匹配的準(zhǔn)確率和效率。試驗(yàn)結(jié)果顯示，與傳統(tǒng)的人工設(shè)計(jì)方法相比，新方法的設(shè)計(jì)效率提高了84%。

4 結(jié)論

本文改進(jìn)了FoldingNet網(wǎng)絡(luò)，使其適用于零部件點(diǎn)云的匹配任務(wù)，對(duì)零部件模型進(jìn)行自動(dòng)匹配。使用PointNet特征提取網(wǎng)絡(luò)替換FoldingNet提取網(wǎng)絡(luò)，本文消除了點(diǎn)云排列順序的影響，能夠處理不同數(shù)量的點(diǎn)云數(shù)據(jù)。

本文制作了零部件的CATIA模型，對(duì)點(diǎn)云進(jìn)行數(shù)據(jù)增強(qiáng)處理，獲得零部件點(diǎn)云模型。使用改進(jìn)后的FoldingNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，成功構(gòu)建1個(gè)有效匹配零部件點(diǎn)云的歷史零部件庫(kù)。根據(jù)匹配結(jié)果，本文設(shè)計(jì)的零部件庫(kù)解決了零部件匹配準(zhǔn)確率低的問(wèn)題。

為了進(jìn)一步提高零部件模型匹配的可靠性，本文將優(yōu)化點(diǎn)云訓(xùn)練集，提升網(wǎng)絡(luò)性能。確定目標(biāo)特征向量在零部件特征向量庫(kù)中的索引，可以獲取與目標(biāo)特征向量對(duì)應(yīng)的零部件，將其確定為搜索結(jié)果。這個(gè)步驟將進(jìn)一步完善零部件搜索方法，保證搜索結(jié)果的準(zhǔn)確性和可靠性，提高效率。

參考文獻(xiàn)

[1]胡江豪，王豐.基于重疊域采樣混合特征的點(diǎn)云配準(zhǔn)算法[J].計(jì)算機(jī)應(yīng)用研究，2022，39（11）：3503-3508.

[2]BESL P J，MCKAY N D.A method for registration of 3-D shape[J].IEEE Transcations on pattem analysis and machine intelligence，1992，14（2）：239-256.

[3]王飛，劉如飛，任紅偉，等.利用道路目標(biāo)特征的多期車(chē)載激光點(diǎn)云配準(zhǔn)[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2020，37（5）：496-502.

[4]朱啟兵，張夢(mèng)，劉振方，等.基于點(diǎn)云配準(zhǔn)的盆栽金桔果實(shí)識(shí)別與技術(shù)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（5）：209-216.

[5]王琛.三維重建中的點(diǎn)云配準(zhǔn)算法研究[D].成都：電子科技大學(xué)，2023.

[6]李潞洋.三維點(diǎn)云深度學(xué)習(xí)分析的關(guān)鍵技術(shù)研究[D].太原：中北大學(xué)，2023.

[7]申美勝.基于深度學(xué)習(xí)網(wǎng)絡(luò)的點(diǎn)云數(shù)據(jù)的識(shí)別和分割[D].上海：華東師范大學(xué)，2021.

[8]阮劍，朱連海，胡三寶.基于PointNet的車(chē)身分割方法[J].武漢大學(xué)學(xué)報(bào)（工學(xué)版），2023，56（3）：347-352.

作者簡(jiǎn)介：魯峰（1997—），男，碩士，湖北鄂州人，機(jī)械工程師，從事智能制造方面的研究。

電子郵箱：a821995833@qq.com。

通信作者：陳君寶（1975—），男，黑龍江哈爾濱人 ，教授，研究方向?yàn)橹悄苤圃臁?/p>

電子郵箱：13872821175@139.com。