面向再制造的廢舊機械零件三維點云模型分類方法

夏緒輝，夏 天，張澤琳，嚴旭果，王 蕾

(1.武漢科技大學(xué)冶金裝備及其控制教育部重點實驗室，湖北 武漢，430081；2.武漢科技大學(xué)機械傳動與制造工程湖北省重點實驗室，湖北 武漢，430081；3.武漢科技大學(xué)精密制造研究院，湖北 武漢，430081)

我國機械產(chǎn)品及其零部件的應(yīng)用量大且面廣，目前很多產(chǎn)品已進入報廢高峰期，對其進行再制造是實現(xiàn)節(jié)能、環(huán)保、可持續(xù)發(fā)展的重要途經(jīng)[1]。為了提高廢舊機械零件的再制造效率和效益，批量化流水線再制造加工是必然發(fā)展趨勢，而其前提是對廢舊機械零件的精確識別與分類。廢舊機械零件種類繁多，同類零件外形相似、區(qū)分度較低，且損傷區(qū)域、類型和程度具有不確定性，導(dǎo)致批量化在線識別與分類精度達不到生產(chǎn)要求，亟需探索適用于流水線加工的高效、高精度廢舊機械零件分類方法。

目前機械零件的自動分類主要采用機器視覺技術(shù)[2]，根據(jù)零件的二維圖像[3]和三維模型[4]等進行。近年來，三維點云技術(shù)在目標(biāo)輪廓信息實時獲取、分析、識別與分類領(lǐng)域應(yīng)用廣泛[5-7]，且眾多研究表明，基于三維點云模型的分類精度普遍優(yōu)于根據(jù)二維圖像的分類精度[8-10]，因此三維點云技術(shù)是提高再制造加工流水線上廢舊機械零件分類精度的有效手段?，F(xiàn)有研究中三維點云分類技術(shù)主要包括以下3類：①截取多視角三維點云模型視圖，提取特征參數(shù)并建立目標(biāo)分類模型。例如，佟國峰等[11]針對室外大場景提出一種兼顧快速性與準(zhǔn)確性的三維點云分類算法，通過提取不同物體點云的垂直方向切片采樣直方圖和質(zhì)心距直方圖以及點云的二維投影圖像方向的梯度直方圖特征實現(xiàn)室外點云分類；Balado等[12]將點云轉(zhuǎn)換為圖像，使用卷積神經(jīng)網(wǎng)絡(luò)對城市對象進行自動分類，但該方法依賴于對目標(biāo)二維圖像有效特征的提取和篩選，其適應(yīng)性較差。②采用聚類算法直接提取三維點云模型特征進行分類。例如，李真等[13]通過計算高度和強度直方圖確定K值和初始聚類中心點，用高度距離做聚類分析，實現(xiàn)單株樹木原始三維點云數(shù)據(jù)聚類；馬京暉等[14]提出一種改進的K-Means算法，對密集的點云進行冗余數(shù)據(jù)去除，對稀疏的點云數(shù)據(jù)則進行三角形插值計算，使分類更精確，該方法分類速度快，適用于差異性較大的目標(biāo)分類任務(wù)。③利用深度學(xué)習(xí)方法直接提取三維點云模型的全局特征進行分類。例如，任永梅等[15]采用密度網(wǎng)格法將點云圖像轉(zhuǎn)換為體素網(wǎng)格圖像作為3DCNN的輸入對象，然后設(shè)計了6層3DCNN來提取體素網(wǎng)格圖像的高級特征以捕獲結(jié)構(gòu)信息，并利用Softmax函數(shù)得到最終分類結(jié)果；孫一珺等[16]提出了加權(quán)點云分類網(wǎng)絡(luò)WDGCNN，利用特征拼接來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)多級特征融合，通過設(shè)計合適的權(quán)重函數(shù)來削弱遠點的干擾并相對加強近點特征，并將最大池化和平均池化相結(jié)合以彌補單獨使用最大池化造成的全局信息損失；王旭嬌等[17]在Point-Net模型中插入一個KNN圖層，通過在點云空間構(gòu)造k近鄰圖，利用圖結(jié)構(gòu)有效獲取點云的局部信息，從而提高整體點云分類準(zhǔn)確率，該方法分類精度較高且適用較廣。

針對再制造加工流水線中批量廢舊機械零件種類繁多、形狀各異等特性，本文提出一種結(jié)合K-Means聚類和Point-Net深度學(xué)習(xí)網(wǎng)絡(luò)的三維點云分類方法。首先采用K-Means算法對差異性較大的廢舊機械零件簇進行三維點云分類，以提高分類效率；然后針對同簇廢舊機械零件因外形相似故而區(qū)分度較低并且損傷區(qū)域、類型和程度不確定等問題，采用Point-Net網(wǎng)絡(luò)對同簇零件進行三維點云深度分類，以提高分類精度和適應(yīng)性。

1 三維點云模型分類方法設(shè)計

本文方法的技術(shù)路線如圖1所示。

圖1 廢舊機械零件三維點云分類流程

1.1 基于K-Means聚類的廢舊機械零件簇三維點云分類

1.1.1 三維點云模型的獲取

點云是目標(biāo)表面海量三維點的集合，包含了豐富的目標(biāo)信息，如三維坐標(biāo)(X,Y,Z)、顏色、分類值、強度值、時間等。點云的獲取有3種方式：①通過三維激光掃描儀獲??；②通過二維影像進行三維重建，在重建過程中獲??；③通過三維模型的計算來獲取。點云數(shù)據(jù)作為三維掃描的結(jié)果，儲存格式包括LAS、ASCII、PCD等。本文所用的點云數(shù)據(jù)是通過三維激光掃描儀對廢舊機械零件掃描所得，并使用PyCharm軟件對數(shù)據(jù)格式進行轉(zhuǎn)換及保存。

1.1.2 廢舊機械零件簇的三維點云模型分類

零件簇是指結(jié)構(gòu)或工藝過程相似的零件集合，每一個零件都是該結(jié)構(gòu)的具體實例，也是對結(jié)構(gòu)的擴展。機械零件在服役過程中，因各種原因會受到不同程度的損傷，通過拆卸退役產(chǎn)品可得到廢舊機械零件，對零件之間客觀存在的相似性進行標(biāo)識，按相似性準(zhǔn)則分類而形成不同廢舊機械零件簇。

面對特征差異性較大的廢舊機械零件簇，K-Means聚類算法能以較少的時耗實現(xiàn)高精度分類。K-Means作為一種無監(jiān)督分類算法，是將數(shù)據(jù)集聚類成k個簇C={C1，C2,…，Ck}，最小化損失函數(shù)為：

(1)

基于K-Means的三維點云模型聚類算法具體步驟如下：

(1)定義目標(biāo)聚類數(shù)k；

(2)隨機初始化k個聚類中心{μ1,μ2,…,μk};

(3)計算所有樣本點與各個簇中心之間的距離dist{x(i),μi},然后把樣本點劃入最近的簇中x(i)∈μnear；

(4)根據(jù)簇中已有的樣本點，重新計算各簇中心μi；

(5)重復(fù)步驟3、步驟4，直至達到某個終止條件(最大迭代次數(shù)、最小誤差變化等)。

本文通過輪廓系數(shù)確定k值，輪廓系數(shù)計算方法如下：

(1)計算樣本i到同簇內(nèi)其他樣本的平均距離ai，該值越小，表明樣本i越應(yīng)被聚類到該簇中，可以稱ai為樣本的簇內(nèi)不相似度。簇C中所有樣本的ai均值被稱為簇C的簇不相似度。

(2) 計算樣本i到其他簇Cj中所有樣本的平均距離bij，稱為樣本i與簇Cj的不相似度。定義樣本i的簇間不相似度為：

bi=min(bi1,bi2,…,bik)

(2)

bi越大說明樣本i越不屬于其他簇。

(3)根據(jù)樣本i的簇內(nèi)不相似度ai和簇間不相似度bi，定義樣本i的輪廓系數(shù)：

(3)

式(3)也可表示為：

(4)

根據(jù)式(4)可以判斷：s(i)越接近1，則樣本i聚類越合理；s(i)越接近-1，則樣本i更適合聚到其他類；s(i)越接近0，則說明樣本i在兩個簇的邊界上。

在固定的k值上多次執(zhí)行聚類，求取輪廓系數(shù)的均值，再依據(jù)上述判斷準(zhǔn)則選出合理的k值。

本文以廢舊機械零件點云數(shù)據(jù)為輸入，在選定k值后，通過不斷提取每個點的空間特征，計算樣本點與各個簇中心之間的距離，構(gòu)建基于K-Means聚類的分類模型，完成廢舊機械零件簇的分類。

1.2 基于Point-Net網(wǎng)絡(luò)的同簇廢舊機械零件三維點云分類

1.2.1 Point-Net網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)計

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，出現(xiàn)了很多成熟的卷積神經(jīng)網(wǎng)絡(luò)模型，如LeNet、ResNet、AlexNet、VGG、Inception等，這些網(wǎng)絡(luò)能從二維圖像中提取相關(guān)特征信息以完成不同的學(xué)習(xí)任務(wù)。然而，面對點云這種無序、無規(guī)則的數(shù)據(jù)結(jié)構(gòu)，以上網(wǎng)絡(luò)難以直接進行卷積等操作，因此在數(shù)據(jù)處理過程中，研究人員通常會將點云數(shù)據(jù)轉(zhuǎn)換為規(guī)則的數(shù)據(jù)結(jié)構(gòu)，但這樣不僅計算量大、耗時長，還會損失部分有效特征。Point-Net網(wǎng)絡(luò)則開創(chuàng)性地將深度學(xué)習(xí)直接用于三維點云任務(wù)，與ResNet等網(wǎng)絡(luò)的不同之處在于Point-Net網(wǎng)絡(luò)可以直接處理無序點云數(shù)據(jù)，不需要將數(shù)據(jù)預(yù)處理為規(guī)則的格式，輸入點云的順序?qū)W(wǎng)絡(luò)的輸出沒有影響，并且其還可以處理旋轉(zhuǎn)和平移后的點云數(shù)據(jù)。

Point-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其主要部分包括：

圖2 Point-Net網(wǎng)絡(luò)結(jié)構(gòu)

(1)T-Net網(wǎng)絡(luò)

Point-Net網(wǎng)絡(luò)中共有兩個T-Net網(wǎng)絡(luò)：第一個T-Net網(wǎng)絡(luò)是微型網(wǎng)絡(luò)，用于生成一個仿射變換矩陣，對點云的旋轉(zhuǎn)、平移等進行規(guī)范化處理；第二個T-Net網(wǎng)絡(luò)主要完成特征空間的對齊和變換處理。

(2)多層感知器(multilayer perceptron，MLP)

MLP是通過共享權(quán)重的卷積實現(xiàn)的，第一層卷積核大小是1×3，之后的每一層卷積核大小都是1×1，即特征提取層只是將每個點連接起來。

(3)Max pooling對稱函數(shù)

設(shè)計Point-Net網(wǎng)絡(luò)時，需要使其能夠根據(jù)點云數(shù)據(jù)以不同順序提取相同的空間特征，即具有置換不變性，能實現(xiàn)該功能的是最大池化層：Max pooling。

Point-Net網(wǎng)絡(luò)輸入均勻采樣后的點，在第一個空間變換網(wǎng)絡(luò)和多層感知器中對齊點云并提取64維特征，在第二個空間變換網(wǎng)絡(luò)和多層感知器中對齊64維特征并提取1024維特征，然后通過Max pooling函數(shù)變換成1×1024的全局特征，再經(jīng)過一個感知器進行學(xué)習(xí)，得到每個類別的得分。

超參數(shù)的設(shè)定對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練以及分類結(jié)果有較大影響，本文總體調(diào)參過程分為以下幾個部分：①根據(jù)神經(jīng)網(wǎng)絡(luò)的機理確定激活函數(shù)的種類，然后確定代價函數(shù)種類、權(quán)重初始化的方法和輸出層的編碼方式；②根據(jù)“寬泛策略”先大致搭建一個簡單的結(jié)構(gòu)，確定神經(jīng)網(wǎng)絡(luò)中隱層的數(shù)目以及每一個隱層中神經(jīng)元的個數(shù)；③對于剩下的超參數(shù)先隨機給定一個可能的值，在代價函數(shù)中先不考慮正則項的存在，調(diào)整學(xué)習(xí)率得到一個較為合適的學(xué)習(xí)率閾值，取閾值的一半作為學(xué)習(xí)率初始值；④通過實驗確定小批量數(shù)據(jù)的大??；⑤調(diào)整學(xué)習(xí)速率，根據(jù)確定的學(xué)習(xí)速率用驗證數(shù)據(jù)來選擇合適的正則化參數(shù)，返回再重新優(yōu)化學(xué)習(xí)速率。學(xué)習(xí)的回合數(shù)則在上述實驗后進行整體觀察再確定。

本文構(gòu)建Point-Net網(wǎng)絡(luò)模型完成廢舊機械零件的精細分類，根據(jù)其在訓(xùn)練集上的分類效果以及上述調(diào)參方法選擇出最合適的超參數(shù)：初始學(xué)習(xí)率為0.001，學(xué)習(xí)回合數(shù)為100，批量大小為16，衰減率為0.8，正則化參數(shù)為0.5，激活函數(shù)為Relu函數(shù)，代價函數(shù)為交叉熵函數(shù)，權(quán)重初始化方法為批量標(biāo)準(zhǔn)化，輸出層采用Softmax函數(shù)，編碼方式為向量式。

1.2.2 同簇廢舊機械零件三維點云模型分類

綜上，基于Point-Net的同簇廢舊機械零件三維點云分類方法如圖3所示。將零件點云數(shù)據(jù)作為網(wǎng)絡(luò)輸入，首先進行T-Net仿射變換(即乘以3×3的轉(zhuǎn)換矩陣)，之后通過卷積層進行特征提取，對每一個點均提取1024維特征(n×1024)，再經(jīng)過最大池化(Max pooling)變成1×1024的全局特征，然后分別連接3個全連接層，輸出節(jié)點個數(shù)依次為512、256、k；最后使用Softmax函數(shù)得到分類結(jié)果。

圖3 基于Point-Net的三維點云分類

2 案例分析

2.1 廢舊機械零件簇分類實驗

本文所用實驗平臺為配置2.60 GHz CPU、8 GB內(nèi)存、Windows10操作系統(tǒng)的PC機。廢舊機械零件點云數(shù)據(jù)通過SIMSCAN便攜式三維掃描儀獲得，并采用軟件PyCharm編程實現(xiàn)點云數(shù)據(jù)空間特征的提取，通過不斷計算歐氏距離完成三維點云模型初步分類。

選定常用的盤蓋、箱體、軸這3種廢舊機械零件簇作為實驗對象，同時將各零件簇進一步細分為3小類。盤蓋零件簇細分為齒輪、端蓋和法蘭盤；箱體零件簇細分為齒輪泵體、傳動箱體和閥體；軸零件簇細分為階梯軸、曲軸和凸輪軸。每小類包含400個零件，共計3600個模型，所有數(shù)據(jù)分別保存于對應(yīng)文件夾中，部分零件的三維點云數(shù)據(jù)如圖4所示。

圖4 部分零件的點云數(shù)據(jù)

為實現(xiàn)廢舊機械零件簇的快速準(zhǔn)確分類，將以上數(shù)據(jù)集輸入基于K-Means聚類的分類模型中，根據(jù)輪廓系數(shù)選取k=3，重復(fù)測試5次，計算得到盤蓋、箱體、軸這3種廢舊機械零件簇的平均識別精度均為100%，表明采用K-Means聚類方法可準(zhǔn)確識別具有較大差異的廢舊機械零件簇的三維點云模型。

2.2 同簇廢舊機械零件分類實驗

同一簇內(nèi)的廢舊機械零件在外形和尺寸上具有一定的相似性，對其在線識別的難度有所提高。從每種同簇廢舊機械零件中隨機選取80%點云模型作為訓(xùn)練集，20%點云模型作為測試集，重復(fù)進行10次，將得到的數(shù)據(jù)集分別輸入基于Point-Net的三維點云分類模型進行實驗，結(jié)果如表1所示，可以看到，3種零件的測試集分類準(zhǔn)確率平均值都在97%以上。

表1 隨機樣本實驗結(jié)果

2.3 與其他分類方法的比較

為驗證本文方法在同簇廢舊機械零件分類上的優(yōu)越性，將其與K-Means聚類方法以及采用其他深度學(xué)習(xí)模型的3種方法進行對比分析，以分類準(zhǔn)確率和平均總時耗作為評價指標(biāo)，其中平均總時耗包括數(shù)據(jù)集制作時間和模型運行時間。

2.3.1 K-Means聚類方法

采用1.1.2節(jié)提出的K-Means聚類模型以及2.2節(jié)實驗數(shù)據(jù)集進行對比實驗，將同簇廢舊機械零件的點云數(shù)據(jù)分別輸入K-Means模型中，通過輪廓系數(shù)選定k=3，然后提取點云的空間特征，不斷計算樣本點與中心點的距離，實現(xiàn)對同簇廢舊機械零件的細分類，重復(fù)實驗5次，統(tǒng)計評價指標(biāo)平均值。

2.3.2 基于其他深度學(xué)習(xí)模型的分類方法

選用3種主流深度學(xué)習(xí)模型(AlexNet、Inception-v3和LeNet-5)[18]，通過CATIA軟件截取每個廢舊機械零件三維點云模型的10個不同視角的圖像，共計有3600個點云模型、36 000張圖像作為對比實驗數(shù)據(jù)集，采用1.2.1節(jié)中神經(jīng)網(wǎng)絡(luò)超參數(shù)調(diào)整方法確定3種模型的超參數(shù)。

AlexNet深度學(xué)習(xí)模型共有8層網(wǎng)絡(luò)結(jié)構(gòu)，前5個為卷積層，后3個為全連接層，其中前2層卷積和第5層卷積后均連接池化層，每個卷積層都采用ReLU激活函數(shù)。

Inception-v3深度學(xué)習(xí)模型先設(shè)置3個卷積層，連接1個池化層；再設(shè)置2個卷積層，連接1個池化層；最后連接11個混合層。使用2個3×3卷積核代替5×5卷積核、3個3×3卷積核代替7×7卷積核，以減少參數(shù)量、加快計算速度。

LeNet-5深度學(xué)習(xí)模型由輸入層、2個卷積層、2個池化層和3個全連接層構(gòu)成，每層都包含不同數(shù)量的訓(xùn)練參數(shù)。

3種深度學(xué)習(xí)模型均采用遷移學(xué)習(xí)的方法，通過ImageNet數(shù)據(jù)集訓(xùn)練好模型，保留參數(shù)，替換最后一層全連接層，再對同簇廢舊機械零件圖像數(shù)據(jù)集進行分類測試。

2.3.3 對比實驗結(jié)果分析

對比實驗結(jié)果如表2所示。K-Means模型處理特征差異性較大的廢舊機械零件簇時能實現(xiàn)高效而精確的分類，但處理特征差異性較小的同簇廢舊機械零件時表現(xiàn)較差，分類準(zhǔn)確率最高為80.12%、平均為77.14%，雖然總時耗較低，但分類準(zhǔn)確率無法達到要求；采用主流深度學(xué)習(xí)模型時，Inception-v3的分類精度較高，平均準(zhǔn)確率為97.06%，AlexNet次之，LeNet-5相對較差，但分類準(zhǔn)確率均達到了90%以上，這些方法出現(xiàn)分類錯誤的主要原因是在截取多視角圖像過程中容易損失零件的有效特征，從而影響分類結(jié)果，另外，采用Inception-v3和AlexNet網(wǎng)絡(luò)的方法在構(gòu)建圖像數(shù)據(jù)集和訓(xùn)練模型時需要消耗大量時間，因此分類效率較低，雖然基于LeNet-5模型的方法耗時略少，但是分類精度不足；采用Point-Net深度學(xué)習(xí)模型的平均分類精度可達97.71%，最高可達98.24%，該方法以無序點云數(shù)據(jù)為輸入，直接提取點云數(shù)據(jù)的全局特征，最大程度保留了其有效特征信息，降低了總時耗，提高了分類效率，并且在分類精度上要優(yōu)于4種對比方法。

表2 不同方法的實驗結(jié)果對比

3 結(jié)語

本文面向批量再制造流水線加工工藝需求，提出了一種針對廢舊機械零件的三維點云模型分類方法。首先通過輪廓系數(shù)給定聚類目標(biāo)數(shù)，直接提取廢舊機械零件三維點云的空間特征，不斷計算樣本點與中心點的歐氏距離，采用K-Means聚類算法對差異性較大的廢舊機械零件簇進行劃分，分類精度可達100%。然后以同簇廢舊機械零件的三維點云模型作為輸入，通過均勻采樣以及構(gòu)建2個空間變換網(wǎng)絡(luò)和2個多層感知器，建立了基于Point-Net深度學(xué)習(xí)網(wǎng)絡(luò)的同簇廢舊機械零件三維點云分類模型，其對盤蓋、箱體和軸等3種廢舊機械零件簇的精細分類準(zhǔn)確率分別達到了97.78%、98.24%和97.11%，在分類精度上明顯優(yōu)于K-Means聚類方法和采用其他3個主流深度學(xué)習(xí)網(wǎng)絡(luò)的分類方法。