機器人示教縫紉動作的學(xué)習(xí)方法

王皞燚，王曉華，王文杰

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

隨著機器人技術(shù)的發(fā)展，人們期望機器人具有更高級的技能[1]。協(xié)作機器人可以與工人良好合作，或者機器人真正替代人類完成工作任務(wù)[2-3]。

在學(xué)習(xí)人類技能的過程中，機器人需要依賴傳感器獲取作業(yè)環(huán)境以及作業(yè)工序中的操作信息[4-6]。在機器人技術(shù)發(fā)展的最初階段，機器人通常僅依靠安裝于末端的力傳感器感受操作信息[7]，并采用一定的學(xué)習(xí)機制自適應(yīng)地完成作業(yè)任務(wù)[8]。YIN等應(yīng)用機械手上力傳感器測量實際力的大小，并根據(jù)與模糊邏輯定義的織物期望張力之間的誤差調(diào)整控制器參數(shù)，使得機械手能夠完成類似場景的縫紉作業(yè)[9]。KOUSTOUMPARDIS等設(shè)計了基于神經(jīng)網(wǎng)絡(luò)的力控制器，機器人在縫紉過程中對織物施加期望的張力并完成運動動作。該縫紉機器人能夠?qū)崿F(xiàn)對不同織物的縫制[10]。YOUSEFIZADEH等運用力傳感器將工人縫紉操作時手部產(chǎn)生的力傳遞到機器人末端執(zhí)行器，并設(shè)計力阻抗控制器，實現(xiàn)人與機器人的協(xié)同縫紉控制[11]。隨著傳感器技術(shù)的發(fā)展，YOSHIMI等使用激光傳感器檢測縫紉部件邊緣線，生成期望的縫紉軌跡，機械臂通過軌跡跟蹤實現(xiàn)縫紉[12]。機器視覺技術(shù)的發(fā)展，給機器人縫紉技能學(xué)習(xí)帶來了便利[13]：ZACHARIA等基于視覺伺服技術(shù)，將視覺反饋和神經(jīng)網(wǎng)絡(luò)與模糊邏輯相結(jié)合，使用自適應(yīng)神經(jīng)模糊推理系統(tǒng)進行調(diào)優(yōu)，獲得更好的估計[14]。綜合神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和遺傳算法的優(yōu)化能力，可應(yīng)對縫紉過程中的不確定性、主觀性、模糊性[15-16]。HUANG等采用立體視覺系統(tǒng)，對比理想針位置和實時針的三維點模型，使針驅(qū)動器自適應(yīng)針姿態(tài)的變化，機器人自適應(yīng)地跟蹤針的姿態(tài)并實時調(diào)整學(xué)習(xí)的縫紉動作[17]。以上機器人技能學(xué)習(xí)方法，依靠神經(jīng)網(wǎng)絡(luò)系統(tǒng)控制參數(shù)并存儲縫紉先驗知識，使機器人獲得作業(yè)技能。但是，這類方法存在著在線修正權(quán)值計算量大、權(quán)值過度修正，導(dǎo)致系統(tǒng)出現(xiàn)劇烈振蕩以及抗環(huán)境擾動滯后等問題[18]。因此，人工智能與深度學(xué)習(xí)方法逐漸被應(yīng)用于機器人技能學(xué)習(xí)領(lǐng)域[19]。徐文霞等運用深度相機采集用戶的姿態(tài)信息，通過Kalman濾波方法預(yù)測用戶狀態(tài)，通過更新Kalman增益參數(shù)，機器人獲得預(yù)測用戶姿態(tài)的學(xué)習(xí)能力[20]。穆欣偉等采用雙目視覺技術(shù)及深度學(xué)習(xí)目標檢測算法對操作者手部進行識別與定位，建立操作者手部與機器人末端之間距離以及電機速度控制間的映射關(guān)系，使得機器人可根據(jù)距離自主執(zhí)行減速、急停等操作的學(xué)習(xí)能力[21]。

機器人應(yīng)用視覺傳感器觀察人類縫紉動作，生成示教運動軌跡的精度以及動作或技能特征參數(shù)的準確度，是機器人技能學(xué)習(xí)的首要條件[22]。機器人在動力性和可重復(fù)性等方面比人類有很大的優(yōu)勢[23]，機器人學(xué)習(xí)并跟隨工人的縫紉動作，在提升縫紉機器人自動化程度和節(jié)約人力資源方面具有較大的應(yīng)用價值。本文使用GMM對深度神經(jīng)網(wǎng)絡(luò)獲得的動作軌跡以及時間因素進行編碼，獲得運動基元，運用GMR計算每段運動基元的均值函數(shù)和方差函數(shù)，將得到的高斯回歸函數(shù)混合加權(quán)，預(yù)測軌跡回歸。通過仿真實驗驗證了本文方法的平穩(wěn)性和有效性。

1 縫紉動作識別方法

人工縫紉動作中的運動信息由關(guān)節(jié)運動軌跡體現(xiàn)。如何準確定位工人縫紉動作視頻序列中的肩、肘、腕關(guān)節(jié)，并獲取關(guān)節(jié)的運動軌跡，是機器人學(xué)習(xí)縫紉動作的關(guān)鍵。在布料翻轉(zhuǎn)等動作中，由于工人動作習(xí)慣問題，常出現(xiàn)部分上肢或者手部被布料遮擋的情況，關(guān)節(jié)定位失敗。本文改進了OPENPOSE姿態(tài)估計模型，運用標簽融合方法更正關(guān)節(jié)點標簽，獲得縫紉動作中工人的完整關(guān)節(jié)信息。

1.1 基于OPENPOSE的關(guān)節(jié)定位

OPENPOSE模型采用了VGG-16深度學(xué)習(xí)網(wǎng)絡(luò)以及雙通道CNN殘差網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。VGG-16的前10層網(wǎng)絡(luò)獲得了動作圖像的原始特征圖F(feature maps)，其后連接了多個稱為階段(stage)的子網(wǎng)絡(luò)，每個階段的Convolution部分是3個3×3卷積核所組成的殘差網(wǎng)絡(luò)結(jié)構(gòu)。在提取深層特征信息和空間紋理信息的同時，也會保留部分淺層信息；其中Max Pooling使用1×1卷積核，使得網(wǎng)絡(luò)變得更深以提取更高層特征。實驗證明，6個階段能在避免過擬合的前提下使模型達到最快收斂。每個階段的輸出和特征圖F一起送到下一個階段進行運算，經(jīng)6個階段之后輸出關(guān)節(jié)定位結(jié)果。

圖 1 姿態(tài)特征提取過程Fig.1 Pose feature extraction process

OPENPOSE模型結(jié)構(gòu)卷積核數(shù)目如表1所示。表1中，C1～C5代表單個通道CNN中各卷積層的卷積核數(shù)目，F(xiàn)代表直接輸出的特征圖部分，Ⅰ～Ⅵ代表雙通道CNN結(jié)構(gòu)的6個階段。

表 1 OPENPOSE模型結(jié)構(gòu)卷積核數(shù)目

OPENPOSE模型的2支CNN通道分別預(yù)測關(guān)節(jié)和肢體的位置。通道1預(yù)測關(guān)節(jié)點的位置，該位置用置信度的大小表示。置信度值為像素距離關(guān)節(jié)點的高斯響應(yīng)，距離關(guān)節(jié)點越近的像素，響應(yīng)值越大。運用非極大值抑制(non-maximum suppression，NMS)算法得到所有高斯響應(yīng)中的峰值作為該階段網(wǎng)絡(luò)輸出，記為S1；通道2預(yù)測關(guān)節(jié)點的親和域。親和域表示肢體位置和肢體上像素的方向，記為L1。若像素點在肢體外，則L1=0; 若像素點在肢體上，xj1、xj2等2點之間的L1=(xj2-xj1)/‖xj2-xj1‖2。

(1)

(2)

1.2 OPENPOSE的改進

(3)

標簽更正后的損失函數(shù)為

(4)

為驗證改進模型的有效性，進行人體動作識別對比實驗。采用COCO人體骨骼框架數(shù)據(jù)集進行模型訓(xùn)練，使用平均精度均值PMA作為精度評價指標，表示所有關(guān)節(jié)點的平均定位精度；使用每秒測試的圖片幀數(shù)F*作為時間評價指標。幾種模型對比結(jié)果見表2。

表 2 不同模型在COCO人體數(shù)據(jù)集上的結(jié)果對比

由表2可見：本文方法相對于DeeperCut，在精度上提高了17.3%，F(xiàn)*值提高了3 幀·s-1；與Mask R-CNN相比，在精度上提高了4.9%，F(xiàn)*值提高了0.9 幀·s-1；相較于OPENPOSE，在精度上提高了4.6%，F(xiàn)*值提高了0.5 幀·s-1。圖2為改進前后的人體上肢關(guān)節(jié)識別結(jié)果。

(a) 改進前 (b) 改進后圖 2 改進前后的模型識別效果對比Fig.2 Comparison of the recognition effect of before andimproved models

圖2可以看出：改進后的模型能夠更正關(guān)節(jié)點標簽，重新定位右手腕關(guān)節(jié)，并建立與右手肘關(guān)節(jié)的肢體連接，成功識別人體右側(cè)手臂。

2 機器人縫紉動作學(xué)習(xí)方法

基于GMM-GMR的機器人縫紉動作學(xué)習(xí)過程如圖3所示。經(jīng)OPENPOSE模型識別后，以獲得的工人縫紉動作中上肢關(guān)節(jié)的坐標值作為訓(xùn)練樣本，對訓(xùn)練樣本進行節(jié)點聚類。采用GMM對時間因子和聚類節(jié)點進行混合編碼，運用期望最大化算法求得聚類模型參數(shù)，使其基于歷史數(shù)據(jù)模型概率達到最大化，得到代表高斯分量的聚簇，每一個聚簇代表一個關(guān)節(jié)。運用GMR對關(guān)節(jié)訓(xùn)練得到動作預(yù)測，根據(jù)預(yù)測誤差不斷更新模型的條件期望值和方差，期望值和方差即成為動作學(xué)習(xí)的參數(shù)。

圖 3 縫紉動作學(xué)習(xí)過程Fig.3 Sewing action learning process

2.1 GMM縫紉動作軌跡混合編碼

為使機器人同時學(xué)習(xí)到關(guān)節(jié)運動信息和對應(yīng)的時間信息，采用GMM對獲取的縫紉動作軌跡進行混合編碼。工人上肢縫紉動作包含肩、肘、腕等3個關(guān)節(jié)的運動軌跡信息。使用相同時間段t(t=1 000 ms)將每個關(guān)節(jié)的運動軌跡分割成數(shù)段運動基元，每段運動基元均表示一個關(guān)節(jié)縫紉運動的子過程。建立GMM模型Ω對每一段運動基元進行混合編碼，每個基元以7個維度表示：一維的時間戳t和六維的機器人的關(guān)節(jié)姿態(tài)h={x,y,z,α,β,θ}。根據(jù)不同軌跡概率的比較確定預(yù)測軌跡，運用GMM建立n個高斯分量的聯(lián)合分布概率密度函數(shù)，每個高斯分量均代表一段編碼的運動基元，即

(5)

式中：t、h分別為模型Ω中運動基元的時間戳和關(guān)節(jié)姿態(tài)；πi、pi、μi和Σi分別為第i個高斯分量的先驗值、條件概率密度、均值和協(xié)方差。

首先運用概率密度函數(shù)對縫紉動作軌跡數(shù)據(jù)進行建模，通過GMM對訓(xùn)練軌跡數(shù)據(jù)進行聚類分析。為提升算法收斂速度，使用K-means算法進行GMM初始化。采用期望最大化算法迭代計算至收斂，估計概率密度函數(shù)中的各參數(shù)；根據(jù)符合正態(tài)分布數(shù)據(jù)的條件分布，得到n個高斯分量的回歸函數(shù)，用于GMR軌跡預(yù)測學(xué)習(xí)。

2.2 GMR縫紉動作軌跡預(yù)測學(xué)習(xí)

運用GMR計算每段運動基元的均值函數(shù)和方差函數(shù)，將得到的n個高斯回歸函數(shù)混合加權(quán)，進行軌跡回歸預(yù)測。通過更新學(xué)習(xí)軌跡參數(shù)中的條件期望值和方差，學(xué)習(xí)縫紉動作的軌跡信息，生成機器人的跟隨動作的運動軌跡。

(6)

式中：

(7)

(8)

(9)

(10)

3 實驗結(jié)果及分析

為了驗證本文方法中機器人對縫紉動作的學(xué)習(xí)效果，由實驗者做出示教縫紉動作，運用工業(yè)相機進行樣本采集，提取上肢運動的樣本信息進行軌跡學(xué)習(xí)的仿真實驗，說明本文方法的可行性和學(xué)習(xí)效果。通過軌跡跟蹤仿真實驗，驗證本文方法的平穩(wěn)性和推廣應(yīng)用價值，并與Kalman軌跡預(yù)測方法的跟蹤誤差對比，驗證本文方法的有效性。

3.1 縫紉動作識別實驗

縫紉過程中常有 “移動布料”、“對齊布料”、“翻轉(zhuǎn)布料” 等動作，實驗者據(jù)此進行了3組示教縫紉動作演示。布料尺寸為260 mm×160 mm，六自由度機器人的工作半徑為850 mm，符合機器人的工作空間范圍。運用改進的OPENPOSE模型對示教縫紉動作進行姿態(tài)識別，圖4(a)、(b)、(c)分別為3組示教縫紉動作的識別結(jié)果。識別成功后，記錄每一個動作中人體右臂的肩、肘、腕關(guān)節(jié)的坐標變化，分別得到每個關(guān)節(jié)對應(yīng)的縫紉軌跡，作為機器人學(xué)習(xí)的軌跡樣本。

(a) 移動布料

3.2 縫紉動作學(xué)習(xí)仿真實驗

OPENPOSE模型識別完成后，記錄縫紉動作中右臂關(guān)節(jié)對應(yīng)的坐標變化，分別得到人體右臂的腕關(guān)節(jié)、肘關(guān)節(jié)、肩關(guān)節(jié)的運動軌跡?？p紉動作軌跡如圖5所示。

(a) 移動布料

圖5中，綠色、紅色、藍色曲線分別代表腕關(guān)節(jié)、肘關(guān)節(jié)、肩關(guān)節(jié)的運動軌跡，A、B、C和A′、B′、C′點分別為腕關(guān)節(jié)、肘關(guān)節(jié)、肩關(guān)節(jié)的起始位置和終止位置。從圖5可見：移動布料時，右臂的3個關(guān)節(jié)運動幅度均比較?。粚R布料時，腕關(guān)節(jié)在垂直方向的運動幅度明顯增大；翻轉(zhuǎn)布料過程中，3個關(guān)節(jié)在垂直方向的運動幅度均較大。符合現(xiàn)實中人體運動學(xué)特征。

運用GMM編碼-GMR動作軌跡學(xué)習(xí)方法對每一條完整軌跡進行編碼學(xué)習(xí)，得到的軌跡二維投影，如圖6所示。圖6中每一條二維曲線均代表圖5中一個關(guān)節(jié)運動軌跡的學(xué)習(xí)結(jié)果：圖6(a)對應(yīng)“移動布料”中的肩關(guān)節(jié)運動軌跡，即圖5(a)中的藍色軌跡；圖6(b)對應(yīng)“對齊布料”中的腕關(guān)節(jié)運動軌跡，即圖5(b)中的綠色軌跡；圖6(c)對應(yīng)“翻轉(zhuǎn)布料”中的肘關(guān)節(jié)運動軌跡，即圖5(c)中的紅色軌跡。

(a) 移動布料

3.3 軌跡跟蹤仿真實驗

以“移動布料”中右臂的3個關(guān)節(jié)的運動軌跡為示例，在Simulink中搭建六自由度機器人的仿真模型，并進行機器人軌跡跟蹤的仿真實驗。經(jīng)改進OPENPOSE模型識別獲取關(guān)節(jié)點的二維像素坐標，通過視覺標定建立三維坐標映射模型，得到像素坐標系到機器人基座坐標系的轉(zhuǎn)換關(guān)系，運用轉(zhuǎn)換矩陣計算實現(xiàn)關(guān)節(jié)像素坐標到機器人三維坐標的映射，即得到機器人工作空間中的位置數(shù)據(jù)。將該位置數(shù)據(jù)組成的縫紉軌跡作為學(xué)習(xí)樣本，通過GMM-GMR方法預(yù)測學(xué)習(xí)，得到樣本縫紉軌跡的學(xué)習(xí)結(jié)果。將學(xué)習(xí)得到的位置數(shù)據(jù)轉(zhuǎn)換成關(guān)節(jié)空間角度信息，分別將右臂的肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)的空間角度信息輸入到Simulink中機器人仿真模型的關(guān)節(jié)2、3、4中，機器人根據(jù)輸入角度運動至期望位置，實現(xiàn)機器人對示教縫紉軌跡的跟蹤。圖7為軌跡跟蹤過程中機器人對應(yīng)的關(guān)節(jié)力矩變化曲線，該曲線由Simulink仿真環(huán)境中的編碼器采集。

由圖7可見，機器人的2、3、4關(guān)節(jié)力矩曲線在軌跡跟蹤開始時均有較大幅度的波動。原因是機器人由靜止進入運動狀態(tài)的瞬間，慣性作用使機器人關(guān)節(jié)產(chǎn)生輕微的抖動。在0.5 s之內(nèi)，各關(guān)節(jié)的力矩曲線均趨于平穩(wěn)，說明機器人關(guān)節(jié)根據(jù)期望角度可以平穩(wěn)地運動，證明了本文方法的平穩(wěn)性。從關(guān)節(jié)力矩變化曲線可以得出，應(yīng)用本文方法能實現(xiàn)機器人連續(xù)平穩(wěn)地進行縫紉跟隨運動，在節(jié)約人力資源方面具有一定的推廣應(yīng)用價值。

圖 7 關(guān)節(jié)力矩變化Fig.7 Curve of joint torque change

為進一步驗證本文方法的有效性，將本文方法與Kalman預(yù)測方法進行軌跡跟蹤仿真實驗對比。運用Kalman方法預(yù)測軌跡插值過程中的關(guān)節(jié)角度數(shù)據(jù)，根據(jù)當(dāng)前的關(guān)節(jié)角預(yù)測下一步的關(guān)節(jié)角，并根據(jù)每一步關(guān)節(jié)角的預(yù)測值和測量值求出最優(yōu)值，從而生成目標關(guān)節(jié)角的變化曲線。圖8為機器人運動跟蹤過程中，關(guān)節(jié)2、3、4的軌跡跟蹤曲線，圖9為對應(yīng)的誤差曲線。從圖8、9可以看出，與Kalman模型相比，GMR模型軌跡跟蹤誤差更小。

(a) 關(guān)節(jié)2

(a) 關(guān)節(jié)2

由關(guān)節(jié)2、3、4的軌跡跟蹤曲線及誤差跟蹤曲線可見，機器人在運動的初始階段關(guān)節(jié)會產(chǎn)生約0.052～0.087 rad的誤差。原因是機器人從靜止狀態(tài)進入運動狀態(tài)的瞬間，運動的關(guān)節(jié)會產(chǎn)生較大幅度的抖動從而對軌跡跟蹤造成干擾。對比各關(guān)節(jié)中Kalman模型和GMR模型的誤差跟蹤曲線，2 s后Kalman模型的跟蹤誤差明顯增大。原因是Kalman模型對短時間內(nèi)的預(yù)測有比較穩(wěn)定的判斷，無法有效處理長時間的有噪聲軌跡數(shù)據(jù)。GMR模型的跟蹤誤差隨時間的增長呈下降趨勢，且其準確性高于Kalman模型。在關(guān)節(jié)2、3、4的跟蹤誤差曲線中，對比GMR模型與Kalman模型在0～1 s內(nèi)的誤差變化，可以看出GMR模型可以在更短時間內(nèi)降低跟蹤誤差，這是因為GMR模型加入了時間變量，考慮了機器人隨時間運動的連續(xù)性。對比誤差跟蹤曲線可以看出GMR模型的準確性和可靠性均優(yōu)于Kalman模型，證明了本文所提出的方法具有更好的實時性與學(xué)習(xí)能力。

4 結(jié) 語

本文提出了一種基于GMM-GMR的機器人縫紉動作學(xué)習(xí)方法。通過搭建并改進OPENPOSE模型，對上肢縫紉動作進行了有效識別。將上肢動作的各關(guān)節(jié)軌跡信息，映射到機器人各關(guān)節(jié)，采用GMM對縫紉運動軌跡進行混合編碼，通過GMR方法進行參數(shù)學(xué)習(xí)，進而生成機器人關(guān)節(jié)的跟隨運動軌跡。經(jīng)機器人縫紉動作識別學(xué)習(xí)實驗、縫紉動作學(xué)習(xí)仿真實驗和Kalman方法軌跡跟蹤對比仿真實驗，結(jié)果驗證了本文提出的方法能夠有效地實現(xiàn)對人體上肢縫紉動作的跟蹤，證明了本文方法的平穩(wěn)性，且其運動精度可靠性、準確性均優(yōu)于卡爾曼法，具有一定的推廣應(yīng)用價值。