基于彎曲度預(yù)測模型的軟體手人機交互控制

韓 非，張道輝，趙新剛

（1.中國科學(xué)院 沈陽自動化研究所機器人學(xué)國家重點實驗室，沈陽 110016；2.中國科學(xué)院 機器人與智能制造創(chuàng)新研究院，沈陽 110016；3.中國科學(xué)院大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，北京 100049）

近年來，隨著材料科學(xué)、柔性電子技術(shù)和3D 打印加工技術(shù)的不斷進步，軟機器人技術(shù)也得到了快速的發(fā)展[1]。軟機器人憑借其自身材料的柔軟性和運動的多自由度特性，在人機協(xié)同作業(yè)、醫(yī)療康復(fù)、抗災(zāi)救援等領(lǐng)域獲得了廣泛的應(yīng)用[2]。軟體機械手作為多數(shù)軟機器人應(yīng)用中的典型呈現(xiàn)形式，相較于由大部分剛性關(guān)節(jié)和連桿組成的傳統(tǒng)剛性機械手，具有更強的適應(yīng)能力和更好的交互特性，在抓取耦合和人機交互上具有更強的適應(yīng)性和更好的安全性[2-4]。

軟體手的抓取方式主要由軟體驅(qū)動器所決定，憑借軟體驅(qū)動器驅(qū)動原理的不同可以實現(xiàn)包裹抓取、纏繞抓取及部分固定抓取等[5]。其中f-PN 型軟體手使用多個軟體驅(qū)動器形成抓手形態(tài)，通過控制流體的進出完成較大彎曲動作，可以類似于人手完成捏、抓持和包裹等動作，在部分實際應(yīng)用過程中，表現(xiàn)出較好的作業(yè)性能，具有較大的應(yīng)用前景和實用價值。

關(guān)于f-PN 型的軟體手的研究已經(jīng)滲透多個應(yīng)用領(lǐng)域，如SOFT ROBOTICS 公司基于f-PN 結(jié)構(gòu)已經(jīng)研制出一系列長度、大小、手指數(shù)量不同的軟體手產(chǎn)品應(yīng)用于食品生產(chǎn)、搬運等方向[6]。另外，文獻[7]也設(shè)計了一種f-PN 型的軟體手應(yīng)用于水下遙控機器人（ROV）的手臂系統(tǒng)中，由ROV 的液壓系統(tǒng)控制軟體手完成了水下采樣作業(yè)。以上研究驗證了f-PN型軟體手良好的結(jié)構(gòu)性能，但由于較低的控制精度使驅(qū)動力過大時軟體手指產(chǎn)生被動變形，降低了抓取的穩(wěn)定性。因此，可以將柔性傳感器與軟體手相結(jié)合的方式來提升軟體手的控制精度；文獻[8]將液態(tài)金屬注入軟體驅(qū)動器中來測量其所受得壓力和變形；文獻[9]開發(fā)了一種嵌入式電阻式傳感器集成在軟體手指中對手指彎曲曲率進行測量，并設(shè)計實驗充分的驗證了手指彎曲度與傳感器值之間的關(guān)系。但目前大多數(shù)研究僅停留在軟體驅(qū)動器的各項運動變形信息的檢測，沒有進一步的對所設(shè)計軟體手感知模型和運動控制進行系統(tǒng)性研究，無法準(zhǔn)確地獲取軟體手實時的運動狀態(tài)。

本文針對以上問題，提出了一種驅(qū)動傳感一體化的軟體驅(qū)動器，基于該驅(qū)動器設(shè)計制作了一種具有感知能力的三指包絡(luò)型軟體手，通過順應(yīng)性融入的電阻式柔性傳感器對軟體手指的彎曲度進行傳遞。隨后，使用機器學(xué)習(xí)算法對軟體手指彎曲度預(yù)測模型進行了精確建模；基于所構(gòu)建模型，利用數(shù)據(jù)手套的人機交互方式，將人手與軟體手的張合度進行映射實現(xiàn)了軟體手更自然的交互控制。最終利用形狀大小各異的目標(biāo)物抓取作業(yè)模擬實驗驗證了數(shù)據(jù)手套-軟體手整體系統(tǒng)的可行性和實用性。

1 驅(qū)動感知一體化的仿生軟體手

作為感知和控制的基礎(chǔ)，軟體手需要同時具備驅(qū)動和傳感兩種功能。而人手作為人類的重要末端作業(yè)器官，其結(jié)構(gòu)功能特性給軟體手的結(jié)構(gòu)設(shè)計帶來了啟發(fā)。

1.1 流體驅(qū)動器驅(qū)動傳感一體化設(shè)計

人手的皮膚和骨骼中存在著順應(yīng)人手運動感知方式的皮膚感受器和本體感受器，它們組成的感知系統(tǒng)共同為神經(jīng)中樞提供著外界環(huán)境信息和自感知運動信息，是人體控制手部狀態(tài)的重要依據(jù)[10]。

本文根據(jù)人手傳感和功能特性的啟發(fā)，設(shè)計了一種驅(qū)動傳感一體化的軟體驅(qū)動器結(jié)構(gòu)，如圖1所示，流體通過密封管進入腔體中，由于壁厚的不同，在相同的內(nèi)部壓力下產(chǎn)生側(cè)向彎曲實現(xiàn)驅(qū)動；將薄膜電阻式傳感器順應(yīng)驅(qū)動器彎曲方向融入軟體驅(qū)動器中，可在軟體驅(qū)動器運動時有效的獲取彎曲運動等信息。

圖1 軟體驅(qū)動器結(jié)構(gòu)圖Fig.1 Soft actuator structure diagram

1.2 軟體手設(shè)計與制作

本文基于所提出軟體驅(qū)動器設(shè)計了一種三指包絡(luò)型軟體手。如圖2所示，三個軟體驅(qū)動器作為軟體手的手指，在相同的壓力驅(qū)動下均向內(nèi)部彎曲實現(xiàn)抓取動作；手柄賦予手指一個初始傾斜角度來增大軟體手的初始張角α，使其在驅(qū)動器長度一定時，能夠完成更大體積的目標(biāo)物抓?。卉涹w手可以分別通過手指受力耦合捏取和包絡(luò)封閉抓取兩種方式完成抓取作業(yè)。

圖2 三指軟體手結(jié)構(gòu)Fig.2 Three-fingered soft hand structure

2 軟體手彎曲度預(yù)測建模

在作業(yè)過程中，軟體手手指的彎曲度信息可以作為有效的運動反饋信息為進一步的控制提供幫助。因此，本文為獲得精確的彎曲度預(yù)測模型，利用有監(jiān)督的回歸學(xué)習(xí)算法對軟體手指彎曲度模型進行了搭建。

2.1 數(shù)據(jù)采集

基于監(jiān)督學(xué)習(xí)所構(gòu)建的傳感模型需要大量的數(shù)據(jù)進行模型參數(shù)優(yōu)化，所以數(shù)據(jù)的質(zhì)量和數(shù)量直接影響所構(gòu)建模型的準(zhǔn)確性。為準(zhǔn)確且方便的獲取較多的彎曲傳感建模數(shù)據(jù)，本文設(shè)計了一套同時采集軟體驅(qū)動器彎曲度和傳感器值的全自動數(shù)據(jù)采集方案，并根據(jù)方案搭建出數(shù)據(jù)采集平臺。

如圖3所示，實驗測試平臺主要由Optitrack 運動捕捉系統(tǒng)、高精度氣壓閥、電動導(dǎo)軌、PLC 控制器以及動力源組成。軟體驅(qū)動器固定于橫向?qū)к壣?，其位置可通過電動導(dǎo)軌進行調(diào)節(jié)，運動捕捉系統(tǒng)通過實時識別軟體手指上的標(biāo)記點對軟體驅(qū)動器彎曲信息進行采集，如圖4所示，并由公式（1）推導(dǎo)出彎曲角φ。氣壓閥使用氣缸進行供壓，可提供范圍0～0.8 MPa 下精度為0.01 MPa 的氣壓；PLC 控制器對軟體驅(qū)動器的彎曲傳感器數(shù)值以及氣閥供壓值等信息進行實時處理和采集，其中傳感器數(shù)值為電阻式傳感器通過電路轉(zhuǎn)換出的電壓值，數(shù)據(jù)采樣頻率為10 Hz，器件控制頻率為100 Hz。

圖3 數(shù)據(jù)采集平臺Fig.3 Data acquisition platform

圖4 軟體驅(qū)動器彎曲角定義圖Fig.4 Software driver bend angle definition diagram

研究中利用氣壓驅(qū)動進行彎曲測試，在維持軟體手抓取能力的基礎(chǔ)上選取驅(qū)動器最大驅(qū)動氣壓0.24 MPa。將驅(qū)動器置于測試平臺使其做彎曲和伸直的往復(fù)運動，驅(qū)動氣壓為三角波形式從0 MPa～0.24 MPa 往復(fù)提供氣壓，同時對傳感數(shù)據(jù)進行采集。待數(shù)據(jù)采集完成后，獲得多組對應(yīng)傳感器值和驅(qū)動氣壓值的軟體手指彎曲角度。

2.2 基于機器學(xué)習(xí)的彎曲度建模

由于建模原理的差異，不同算法所構(gòu)建模型表現(xiàn)效果也存在較大差距。因此，本文分別選擇傳統(tǒng)機器學(xué)習(xí)方法中經(jīng)典的多項式回歸 （polynomial re gression，PR）和深度學(xué)習(xí)方法中適用于時間信號處理的長短時記憶網(wǎng)絡(luò)（long short-term memory，LSTM）對模型進行了訓(xùn)練和分析，以獲得更好的彎曲度模型。由于訓(xùn)練數(shù)據(jù)較多，為防止出現(xiàn)嚴(yán)重的過擬合現(xiàn)象，在多項式回歸時選用3 次多項式進行擬合，并基于全連接層對多項式參數(shù)進行訓(xùn)練。在使用LSTM 進行回歸模型訓(xùn)練時，模型層數(shù)會對模型性能產(chǎn)生影響，一般的應(yīng)用場景中兩層的LSTM 表現(xiàn)較好[12]。因此，本文使用兩層LSTM 和一層全連接層構(gòu)建前向網(wǎng)絡(luò)。為對比算法自身的性能，在訓(xùn)練時均使用基于均方根誤差的隨機梯度下降優(yōu)化算法對參數(shù)進行反向優(yōu)化。

實驗中，隨機選取1000 組連續(xù)數(shù)據(jù)，大致7 次往復(fù)運動數(shù)據(jù)用作彎曲度傳感模型構(gòu)建和測試。首選將數(shù)據(jù)進行歸一化處理，其中在手指完全伸直狀態(tài)下輸出角度為180°，最大彎曲角度時輸出角度為140°； 然后將數(shù)據(jù)以7∶3 的比例分為訓(xùn)練集和測試集，在誤差函數(shù)和反向優(yōu)化算法相同的基礎(chǔ)上，分別使用全連接層3 次多項式擬合和LSTM 兩種建模算法對軟體驅(qū)動器彎曲度預(yù)測模型進行搭建和測試；最后通過分析測試集預(yù)測情況對兩種模型的性能進行了對比和分析。

2.3 彎曲度模型性能比較與分析

同樣使用傳感器值作為輸入，彎曲角度信息作為輸出訓(xùn)練預(yù)測模型，其測試集預(yù)測情況和多項式擬合預(yù)測情況如圖5所示，可以觀察到多項式擬合模型預(yù)測值波動較大，但基本可以實現(xiàn)隨真實值大小的改變趨勢進行預(yù)測，其預(yù)測集平均誤差為5.3%；相比之下，LSTM 模型預(yù)測值較為平滑，且與真值曲線貼合度更高，其預(yù)測集平均誤差為1.5%，較多項式擬合模型縮小了3～4 倍。

圖5 多項式擬合與LSTM 模型預(yù)測曲線對比Fig.5 Comparison of polynomial fitting and LSTM model prediction curves

在數(shù)據(jù)采集過程中軟體手指在由彎曲恢復(fù)到完全伸直狀態(tài)，再由伸直狀態(tài)轉(zhuǎn)向彎曲時驅(qū)動氣壓連續(xù)變化，會使驅(qū)動器產(chǎn)生微小的抖動，在曲線中體現(xiàn)為角度的微小變化，即頂點凹陷。以上兩種模型均使用傳感器值為單一輸入，無法對驅(qū)動氣壓所造成的頂點凹陷進行預(yù)測，而LSTM 算法可以通過構(gòu)建多輸入模型來提高預(yù)測準(zhǔn)確度。因此，研究中將驅(qū)動氣壓值加入模型輸入中，構(gòu)建了雙輸入單輸出（LSTM2to1）的軟體驅(qū)動器彎曲度模型，并與之前的單輸入單輸出（LSTM1to1）模型預(yù)測情況進行比對。如圖6所示，LSTM2to1 模型可以完美的預(yù)測頂點凹陷的情況，且曲線貼合度也更優(yōu)于LSTM1to1模型，其預(yù)測集平均誤差達到0.9%。

圖6 不同輸入下的LSTM 模型預(yù)測曲線對比Fig.6 Comparison of LSTM model prediction curves under different inputs

3 軟體手人機交互控制測試

本文基于數(shù)據(jù)手套提出了一種符合人手抓取物品習(xí)慣的軟體手人機交互方式，使用彎曲度映射的方式形成閉環(huán)操控，旨在提高軟體手交互控制的靈敏度和準(zhǔn)確性。

3.1 基于數(shù)據(jù)手套的軟體手人機交互控制

數(shù)據(jù)手套由順應(yīng)手指指向嵌入的5 根柔性彎曲傳感器對手指彎曲角度進行感知，可以實現(xiàn)人手張合程度的感知與運動模型重建。將數(shù)據(jù)手套接入軟體手控制系統(tǒng)中，如圖7所示，通過人手五指的平均彎曲角度映射軟體手手指平均彎曲角度，分別將軟體手彎曲傳感器信號和數(shù)據(jù)手套獲取的人手彎曲信號同步送入PLC 中，利用PLC 工控機計算對應(yīng)氣壓值后實時調(diào)節(jié)氣壓值實現(xiàn)軟體手張合彎曲角度與人手同步彎曲的閉環(huán)人機交互控制。

圖7 人機交互操控原理圖Fig.7 Schematic diagram of man-machine interactive control

在軟體手手指即將互相接觸時即可完成對軟體手結(jié)構(gòu)基礎(chǔ)上的最小目標(biāo)物進行抓握。因此本研究將軟體手指伸直狀態(tài)對應(yīng)人手五指伸直狀態(tài)，軟體手指彎曲35°的即將接觸狀態(tài)對應(yīng)人手握拳進行交互映射。如圖8所示，在交互過程中人手可以通過伸掌和捏拳之間的動作連續(xù)對軟體手進行張合度控制。

圖8 軟體手彎曲角度人機交互控制Fig.8 Human-computer interactive control of soft hand bending angle

3.2 抓取測試實驗

為測試所設(shè)計軟體手系統(tǒng)在實際抓取作業(yè)中的實用性，選取食物模型、海底生物模型以及大小形狀不同的兩種模具進行抓取實驗測試，如圖9所示。分別對每個目標(biāo)物進行20 次抓取測試，軟體手處于目標(biāo)物正上方，模擬機械臂控制軟體手完成豎直上下運動，利用數(shù)據(jù)手套控制軟體手對目標(biāo)物進行抓取，如圖10所示，將目標(biāo)物抓離桌面并保持穩(wěn)定不脫落視為成功。

圖9 形狀大小各異的目標(biāo)物Fig.9 Objects of various shapes and sizes

圖10 目標(biāo)物抓取測試Fig.10 Target capture test

抓取過程中，操作員可以輕松的通過數(shù)據(jù)手套對軟體手進行張合度的控制，在結(jié)合所設(shè)計軟體手的結(jié)構(gòu)優(yōu)勢下可方便且迅速的完成目標(biāo)物的抓取工作。具體抓取成功率如表1所示，除龍蝦模型在抓取過程中出現(xiàn)一次脫落現(xiàn)象，其他物品均達到了100%的抓取成功率。證明了所提出驅(qū)動傳感一體化仿生軟體手的實用性和基于機器學(xué)習(xí)算法的軟體手感知建模的可行性。

表1 目標(biāo)物抓取成功率Tab.1 Target capture success rate

4 結(jié)語

本文基于f-PN 結(jié)構(gòu)設(shè)計了一種驅(qū)動傳感一體化的仿生氣動軟體驅(qū)動器，并基于此驅(qū)動器設(shè)計制作了一種具有傳感功能的包絡(luò)型軟體手。設(shè)計并搭建了一套實時數(shù)據(jù)采集平臺用于傳感器建模數(shù)據(jù)的精確采集，并利用全連接層多項式擬合及LSTM算法完成了軟體手指彎曲度感知的精確建模；最后，基于所構(gòu)建彎曲度預(yù)測模型，利用數(shù)據(jù)手套實現(xiàn)了軟體手張合彎曲角度與人手同步彎曲的閉環(huán)人機交互控制，并使用形狀大小各異的目標(biāo)物的抓取測試實驗，驗證了軟體手交互控制的穩(wěn)定性和可行性。

在之后的工作中，會進一步的將正在研發(fā)的光纖傳感器融入軟體手中，利用機器學(xué)習(xí)強大的模型構(gòu)建能力，同時對軟體手指的彎曲度和接觸力大小進行建模； 并在此基礎(chǔ)上將軟體手集成到機械臂上，使用帶有轉(zhuǎn)動信息的數(shù)據(jù)手套實現(xiàn)整體機器人的人機交互控制。在未來，具有準(zhǔn)確力控制和運動姿態(tài)控制的人機交互軟體手系統(tǒng)定會在各個領(lǐng)域得到更加廣泛的應(yīng)用和發(fā)展。