基于非剛性點云配準的運動鞋鞋幫打磨軌跡提取

柯 宇，陳玉潔，張 豪，邢禮源

(東華大學 機械工程學院, 上海 201620)

冷黏工藝是將鞋幫和鞋底通過膠水黏合成型的一種制鞋工藝,是目前制作運動鞋的主要方法之一。準確提取鞋幫和鞋底側(cè)墻的結(jié)合面曲線,進而獲得鞋幫加工過程中的打磨和噴膠軌跡,是提高自動化制鞋生產(chǎn)效率和產(chǎn)品質(zhì)量的關(guān)鍵。

目前,已有一些學者針對鞋幫打磨和噴膠軌跡曲線的提取進行了研究。沈遙[1]基于UG二次開發(fā)技術(shù),將掃描所得的鞋楦模型進行縫合重建,進而抽取鞋楦底部曲線,并通過偏置底部曲線獲得鞋幫打磨曲線,但該方法未能獲得準確的鞋幫側(cè)墻信息。Hu等[2]分別掃描鞋底與鞋面的輪廓信息,將兩條空間輪廓曲線映射到同一個平面并進行旋轉(zhuǎn)、平移及縮放以獲得正確的粗加工邊緣,但這僅適用于沒有較高側(cè)墻與側(cè)墻起伏的皮鞋鞋底。Jatta等[3]根據(jù)人工離線采樣點,使用CAD-CAM生成刀具路徑與機械臂上的受力控制頭提取打磨軌跡曲線,但軌跡精確度不夠。Kim等[4]利用成品鞋提取鞋幫與鞋底結(jié)合面曲線,但同樣需要依靠人工采集關(guān)鍵信息點從而獲得加工軌跡。以上方法主要針對鞋底或鞋幫底面的加工軌跡進行自動化提取,但無法應用于鞋底側(cè)墻包覆鞋幫成型的冷黏運動鞋自動化生產(chǎn)。

三維激光點云掃描技術(shù)和點云數(shù)據(jù)處理技術(shù)的發(fā)展,為鞋幫打磨軌跡的自動化提取提供了新的解決方案。將三維掃描獲得的鞋幫點云和鞋底點云進行非剛性點云配準,以獲得鞋底側(cè)墻包覆鞋幫的點云,進而提取出鞋幫打磨軌跡。非剛性點云配準[5-16]通過匹配具有重疊部分的數(shù)據(jù)集,尋求不同數(shù)據(jù)集之間的一致性對應關(guān)系,目前被大量應用于醫(yī)學[15-18]、自動駕駛等研究。例如:Du等[18]基于ICP(iterative closest point)算法提出的TPS(thin plate spline)-ICP算法用于醫(yī)學顱骨的配準;Golyanik等[8-9]將基于物理模型的BH-RGA(Barnes-Hut rigid gravitation approach)算法用于自動駕駛場景的非剛性配準;Myronenko等[19]結(jié)合高斯混合模型使用相干點漂移算法并用EM(expectation maximization)算法進行參數(shù)求解,該算法避免了鞋底、鞋幫的特征點提取,且計算時間及精度均較好。因此,采用非剛性點云配準的方法結(jié)合高斯混合模型及貝葉斯相干點漂移算法[17,20],將提取的鞋底內(nèi)側(cè)點云和鞋幫點云進行自動配準,進而提取邊界點以擬合成鞋幫打磨曲線。

1 運動鞋鞋底、鞋幫視覺重建系統(tǒng)

常見冷黏運動鞋的鞋底和鞋幫實物如圖1所示。由圖1可知,標記出的紅色軌跡線為鞋幫和鞋底接合面曲線,即需要提取的運動鞋鞋幫打磨軌跡線。分別搭建鞋底、鞋幫視覺重建平臺,對鞋底和鞋幫的三維信息進行提取,為下一步點云非剛性配準提供基礎(chǔ)。

圖1 鞋底面與鞋側(cè)面Fig.1 Bottom and side of the shoes

1.1 鞋底側(cè)墻點云提取

鞋底視覺重建試驗平臺主要由相機盒子、移動平臺及光電開關(guān)組成,如圖2所示。鞋底在傳送帶上依次通過激光器與結(jié)構(gòu)光相機進行線結(jié)構(gòu)光重建,獲得鞋底三維點云數(shù)據(jù)。

圖2 鞋底視覺重建系統(tǒng)試驗平臺Fig.2 The experimental platform of sole visual reconstruction system

通過線結(jié)構(gòu)光掃描鞋底,同時用相機拍攝鞋底光條圖片,提取結(jié)構(gòu)光上點的三維坐標,當線結(jié)構(gòu)光將鞋底掃描完整時即可求出其所有點的三維坐標,實現(xiàn)鞋底的三維點云重建[21]。由于在非剛性配準中僅需鞋底與鞋幫貼合的側(cè)墻部分點云,因此采用角度閾值法對采集的點云進行預處理,間接刪除鞋底支撐孔洞和加強筋點云,從而降低點云數(shù)量,提高算法運行速度。鞋底點云重建流程如圖3所示。

圖3 鞋底點云重建流程圖Fig.3 Flowchart of sole point cloud reconstruction

1.2 鞋幫視覺平臺搭建

利用機器人及線結(jié)構(gòu)光激光掃描儀,搭建鞋幫三維信息采集試驗平臺,并對相關(guān)參數(shù)進行標定。鞋幫視覺重建試驗平臺如圖4所示。由圖4可知,關(guān)節(jié)機器人末端夾持線結(jié)構(gòu)光相機,相機盒子圍繞鞋幫運動一周即可獲得鞋幫點云。將獲取的鞋底與鞋幫點云進行非剛性點云配準以獲得打磨軌跡線。

圖4 鞋幫視覺重建試驗平臺Fig.4 The experimental platform of upper visual reconstruction

2 貝葉斯相干點漂移算法

非剛性點云配準過程實質(zhì)是一個優(yōu)化空間變換關(guān)系的問題,通過空間變換矩陣,使源點云和目標點云間的差異最小。本文采用貝葉斯相干點漂移(Bayesian formulation of coherent point drift,BCPD)算法,實現(xiàn)兩種點云非剛性配準。首先,基于高斯混合模型建立點云配準基礎(chǔ)框架。隨后,基于運動相干和先驗分布建立點云的聯(lián)合概率密度分布。最后,引入變分貝葉斯推斷,通過不斷迭代獲取最佳配準參數(shù)。將配準后的點云邊界點進行邊界提取與聚類分割,即得到鞋幫打磨軌跡線。

2.1 基于高斯混合模型的聯(lián)合概率密度構(gòu)建

高斯混合模型由多個高斯函數(shù)線性組合而來,通過對各函數(shù)進行合理的權(quán)重分配,可擬合任意分布的樣本,因此理論上可反映源點與目標點配準的可能性。將鞋幫記為目標點云x=(x1,…,xn,…,xN)T,鞋底側(cè)墻記為源點云y=(y1,…,ym,…,yM)T,點云的維數(shù)D=3。

使用xn及變形后ym差值的正態(tài)分布φ來定義兩點間配準概率,變形A(ym)通過縮放系數(shù)s、旋轉(zhuǎn)矩陣R、平移向量t及非剛性變形矩陣v定義,如式(1)所示[22]。

φ(xn;A(ym),σ2ID)=|2πσ2ID|-0.5·

式中:σ2為x與y的平均偏差;ID為單位矩陣;v=(v1,…,vm,…,vM)T為非剛性變形矩陣。

p(xn,en,cn|y,v,α,s,R,t,σ2)=

式中:ω為離群率;pout(xn)為xn是離群點的概率。

將φmn的期望〈φmn〉與αm的期望〈αm〉聯(lián)立可計算xn與ym配準概率[19],如式(3)所示。

為了避免點云中相鄰點之間運動向量存在交叉相干,使用ym點云的高斯核函數(shù)G定義運動相干性。當兩點距離越近,其非剛性位移vm相干性也越強。因此,引入高斯核矩陣G的正態(tài)分布作為先驗分布,消除非剛性位移帶來的過擬合問題。定義位移向量的先驗分布p(v|y)如式(5)所示。

因此,綜合考慮點云運動相干性、匹配權(quán)重、噪聲信息后的聯(lián)合概率密度分布如式(6)所示。

p(x,y,θ)∝p(v|y)p(αm)·

式中:θ=(v,α,cn,en,s,R,t,σ2)。

2.2 變分貝葉斯推斷

由于q3(s,R,t,σ2)與剛性變形及σ有關(guān),故將其定義為狄拉克函數(shù)δ(s,R,t,σ2),只要根據(jù)式(10)最大化下界L(q)[20]。

由此,可通過BCPD算法的7步求解鞋底與鞋幫的非剛性點云配準,具體過程如下:

(1)輸入鞋幫點云x、鞋底點云y、離群率ω等參數(shù)。

(2)初始化剛性變形矩陣s[R|t]、非剛性變形v、方差σ,定義鞋底點ym間的相干性高斯核矩陣G、權(quán)重〈αm〉,并初始化鞋底非剛性變形v的后驗協(xié)方差矩陣Σ。

(3)使用權(quán)重〈αm〉及正態(tài)分布〈φmn〉,根據(jù)式(3)計算鞋底與鞋幫點云配準概率pmn。根據(jù)配準概率計算與鞋幫點云ym配準x的逆變換T-1(x)。

(5)根據(jù)式(10)計算xn關(guān)于um的協(xié)方差矩陣Sxu及um的方差矩陣Suu,繼而更新剛性變形s[R|t]和平均偏差σ。

(6)如Δσ<ε則停止迭代;反之,從步驟(3)開始繼續(xù)更新相關(guān)參數(shù)。

(7)輸出配準后的u坐標。

BCPD算法具體流程如圖5所示。

圖5 BCPD算法流程圖Fig.5 Flow chart of BCPD algorithm

2.3 鞋幫邊界軌跡提取

利用BCPD算法配準后的變形點云進行鞋幫邊界提取。將變形后點云放入搜索樹R*-tree[23]以便快速查找近鄰點。查找每一點的若干近鄰點,并使用最小二乘法求取微平面。求鄰域點間法向量夾角,如大于閾值則設為邊界點[24]。

將提取的鞋幫邊界進行偏置并聚類分割,可提取出邊界軌跡點。由于鞋底支撐孔與加強筋在點云預處理時已經(jīng)被刪除,僅留下兩條邊界曲線。使用聚類分割算法,將變形后鞋底邊緣軌跡分成兩部分。鞋底邊緣軌跡的側(cè)視圖與俯視圖如圖6所示,藍色即為提取的鞋底邊緣軌跡。

3 試驗結(jié)果分析

為驗證非剛性點云配準算法提取的鞋幫打磨軌跡方法有效性,搭建了試驗平臺并自動提取鞋幫打磨軌跡,將獲取的鞋底、鞋幫邊緣曲線與示教打磨線進行比較。

圖6 鞋底邊緣軌跡聚類分割點云圖Fig.6 Clustering segmentation point cloud diagram of sole

試驗采用的鞋底實物以及提取的鞋底點云信息如圖7(a)所示,其中藍色部分為優(yōu)化后用于點云配準的鞋底側(cè)墻點云。套在鞋楦上的鞋幫實物圖及提取的點云如圖7(b)所示。

圖7 鞋底、鞋幫實物圖及其點云圖Fig.7 Real picture of sole, upper and their point clouds

采用BCPD算法將鞋底側(cè)墻信息點云非剛性配準到鞋幫點云中,即獲得變形鞋底點云。配準前后鞋底與鞋幫點云如圖8所示。由圖8可知,紅色是鞋底點云,藍色為鞋幫點云?？捎肂CPD算法將兩部分點云進行準確的配準。為了進一步觀察配準效果,將配準前后鞋底與鞋幫點云位置及其鞋頭部位放大,由此可以看出配準后鞋底與鞋幫貼合效果較好。

圖8 配準前后鞋底與鞋幫點云Fig.8 Point clouds of the sole and upper before and after registration

變形后對應鞋幫邊界曲線并不能直接作為打磨曲線,需對其進行偏置及聚類分割,才能作為曲線軌跡。鞋幫邊界軌跡及其偏置點云如圖9所示。由圖9可知,紅色是完整鞋幫點云,藍色是被打磨的鞋幫點云,綠色是與變形鞋底配準的鞋幫點云,偏置后鞋幫邊緣軌跡較為連貫,誤差控制較好。

為了進一步驗證提取的鞋幫邊緣軌跡線的精度,將非剛性配準后獲取的鞋幫邊緣軌跡線與人工示教打磨線進行比較,結(jié)果如圖10所示,其中,綠色為非剛性配準后的邊緣曲線,紅色為人工示教打磨線。

圖10 人工示教打磨線與變形后鞋底的軌跡曲線Fig.10 Manual teaching grinding line and deformation of the sole trajectory curve

為了評價本文方法自動提取的打磨軌跡線的準確性,計算自動提取曲線每一點以及人工示數(shù)曲線上離曲線最近的點,將兩者轉(zhuǎn)換至同一坐標系下,并使用歐氏聚類計算人工示教曲線與自動提取曲線間的誤差。計算自動提取曲線每一點以及人工示教曲線上離曲線最近的點,求距離并取平均誤差,具體計算公式如式(11)所示。

式中:L1i為拼接曲線上的一點;L2i為示教曲線上離L1i最近的點;n為拼接曲線上的總點數(shù)。

通過對4種存在側(cè)墻且需要包覆鞋幫的鞋底進行點云提取與非剛性點云配準,評價BCPD算法可行性。非剛性點云配準算法平均誤差在2.00mm左右且穩(wěn)定性較好,基本滿足鞋幫打磨軌跡線精度需求,具體誤差分析結(jié)果見表1。線掃點云在鞋頭位置與鞋跟位置的點云較為稀疏,在變形時運動相干點較少,因此會產(chǎn)生較大誤差。而腳窩部位因運動相干點較多,誤差較小。鞋子的最大誤差點均出現(xiàn)在鞋頭部位,最大誤差約為3.30mm。

表1 誤差分析Table 1 Error analysis

4 結(jié) 語

本文提出了一種用于冷黏運動鞋生產(chǎn)過程中自動化提取鞋幫打磨軌跡的方法。使用3D視覺技術(shù)提取了鞋底及鞋幫點云,并采用非剛性點云配準算法中的BCPD算法進行試驗,將鞋底點云與鞋幫點云進行非剛性點云配準。將變形后鞋底對應鞋幫部分的點云進行偏置、邊緣提取及聚類分割。最后,將自動化提取的曲線與人工示教曲線進行比較,試驗證明該算法精度及穩(wěn)定性均較好,平均誤差控制在2 mm左右。該方法減少了獲取鞋幫打磨曲線的耗時,滿足自動化生產(chǎn)的柔性制造的需求。