三維骨骼特征融合技術(shù)在娛樂機器人系統(tǒng)上的應(yīng)用

潘言心, 吳 涓, 朱興隆, 王 飛

(東南大學(xué) 儀器科學(xué)與工程學(xué)院,江蘇 南京 210096)

隨著人工智能和機器人技術(shù)的快速發(fā)展,休閑娛樂機器人作為一種新興的智能產(chǎn)品逐漸走進人們的視野[1-2]。人機對抗型機器人就是其中廣受歡迎的一種[3]。其系統(tǒng)的研發(fā)常常需要研究者對人機交互和智能算法進行深入研究。手勢交互作為一種自然、便捷的交互手段,在人機對抗型機器人系統(tǒng)中扮演著越來越重要的角色[4]。手勢識別是手勢交互的首要步驟,準(zhǔn)確、實時的手勢識別對交互性能有著重要影響,因此對手勢識別技術(shù)的研究顯得尤為重要。

目前,手勢識別技術(shù)主要分為基于可穿戴設(shè)備的手勢識別技術(shù)和基于視覺的手勢識別技術(shù)。基于可穿戴設(shè)備的手勢識別技術(shù)魯棒性強、準(zhǔn)確度高[5],通過使用數(shù)據(jù)手套等設(shè)備捕捉手勢信息,并使用分類算法進行識別,實現(xiàn)了高精度的手勢識別[6]。但其供電和校準(zhǔn)程序相對復(fù)雜,限制了其實際應(yīng)用的范圍[7-8]。而基于視覺的手勢識別技術(shù)需要對攝像頭捕捉到的圖像進行處理,包括檢測和識別兩個步驟,通常采用基于模板[9]、方向直方圖、隱馬爾可夫模型[10]、支持向量機[11]等方法進行識別。手勢識別過程中需要從輸入的手勢圖像中提取特征,識別效果受光照、背景等因素的影響[12]。近年來,基于手部骨骼關(guān)節(jié)點檢測的手勢識別技術(shù)被提出,其利用骨骼信息,通過分類器實現(xiàn)手勢識別。手部骨骼關(guān)節(jié)模型只保留了人手中最重要的信息,是一種簡化模型,對圖像中背景和光線的變化具有較好的魯棒性[13-15]。

盡管人機對抗型機器人系統(tǒng)的設(shè)計更注重娛樂性功能的實現(xiàn),但機器人的實用性,如系統(tǒng)魯棒性、便攜性和友好交互等問題也需要被重視。因此,本文基于MediaPipe Hand人手骨骼關(guān)節(jié)點檢測框架設(shè)計了人機猜拳博弈機器人系統(tǒng),并提出一種三維骨骼信息的融合特征提取方法。該方法先利用骨骼關(guān)節(jié)點檢測算法對手勢進行細化,得到手部區(qū)域的骨骼關(guān)節(jié)模型,然后采用多特征融合提取方法,從不同角度、不同尺度的手勢中提取關(guān)鍵特征,大幅提高了手勢識別的準(zhǔn)確率,增強了系統(tǒng)的魯棒性。同時,基于NI myRIO控制器的系統(tǒng)設(shè)計使其具有較強的便攜性和可靠性,能滿足不同場景的應(yīng)用需求。

1 系統(tǒng)平臺搭建

人機對抗型智能機器人是目前娛樂機器人方面研究的熱點,而猜拳游戲是人機對抗中最直接的游戲模式。因此,本文設(shè)計了一個能進行猜拳游戲的人機博弈機器人系統(tǒng)。其系統(tǒng)架構(gòu)圖如圖1所示,包括數(shù)據(jù)采集、融合特征提取、手勢識別和機械手控制等組件,其中融合特征提取組件是該系統(tǒng)的核心,其主要功能是提取能區(qū)分不同手勢的融合特征。攝像頭將捕捉到的手勢圖像作為輸入,經(jīng)過分類算法得到手勢識別結(jié)果并通過串口發(fā)送給上位機;下位機使用NI myRIO控制器完成系統(tǒng)硬件控制,機械手作為系統(tǒng)的執(zhí)行機構(gòu),根據(jù)控制指令對手勢識別結(jié)果做出響應(yīng)。本系統(tǒng)采用實時性較好的主從控制方式,以保證整體的控制性能。

圖1 系統(tǒng)架構(gòu)圖

1.1 數(shù)據(jù)采集

數(shù)據(jù)采集是進行手勢識別的第一步。目前,大多數(shù)手勢識別算法使用公開數(shù)據(jù)集進行模型訓(xùn)練。這些數(shù)據(jù)集通常是完備的,包含了不同拍攝角度、攝像頭不同擺放位置、不同背景和不同操作者的手勢圖像。為保證模型的準(zhǔn)確性和系統(tǒng)的完整性,本文使用USB攝像頭采集人手的圖像信息,制作了包含剪刀(Scissor)、石頭(Rock)和布(Paper)3種手勢的數(shù)據(jù)集(SRP數(shù)據(jù)集)。該數(shù)據(jù)集用于訓(xùn)練和驗證手勢識別模型,以及后續(xù)的系統(tǒng)設(shè)計。

為獲得較為理想的模型訓(xùn)練效果,每個手勢采集2 400幅大小為480像素×640像素的RGB圖像,這些圖像涵蓋了不同角度和深度的變化?？紤]到人手動作的復(fù)雜性,本文按照以下標(biāo)準(zhǔn)采集圖像:手掌與攝像頭所在水平面的俯仰角度為-90°～90°,旋轉(zhuǎn)角度為0°～180°,與攝像頭之間的距離為0～50 cm不等。SRP數(shù)據(jù)集中的部分圖像如圖2所示,圖2(a)～圖2(c)依次為剪刀、石頭和布3種手勢的示例圖像。

圖2 SPR數(shù)據(jù)集中的部分圖像

1.2 手勢特征提取

手勢動作的呈現(xiàn)方式因人而異,同一個人在不同時刻做出同一種手勢動作也很難保證前后手勢動作特征完全相同。實際的手勢識別過程面臨著手部特征差異、手勢不斷變化和外部環(huán)境復(fù)雜等諸多挑戰(zhàn)。因此,需經(jīng)過復(fù)雜的過程來提取多個手勢特征。本文采用MediaPipe Hand人手骨骼關(guān)節(jié)點檢測框架進行手勢識別,通過其提取圖像中的人手骼信息為后續(xù)的手勢識別提供數(shù)據(jù)支持[16]。

為增強模型的魯棒性以適應(yīng)不同的場景,本文基于MediaPipe Hand人手骨骼關(guān)節(jié)點檢測框架提出了一種融合特征提取方法。該方法提取手勢的角度特征和二值特征,并通過多特征融合突出不同手勢之間的差異,能夠更好地應(yīng)對識別過程中手部特征差異、手勢不斷變化和外部環(huán)境復(fù)雜等挑戰(zhàn)。

1.2.1 角度特征提取

MediaPipe Hand人手骨骼關(guān)節(jié)點檢測框架可以檢測人手21個骨骼關(guān)節(jié)點,如圖3所示。基于這些關(guān)節(jié)點信息建立手勢特征是手勢識別的主要方法。

圖3 MediaPipe Hand框架

對于某一特定手勢而言,它應(yīng)獨立于手部骨骼關(guān)節(jié)點的空間位置,且依賴于所有骨骼關(guān)節(jié)點的相對位置。手部關(guān)節(jié)運動的角度特征符合此要求,角度特征可用于描述手勢的形態(tài)信息和動態(tài)變化,對不同手勢具有較好的區(qū)分度和識別能力。相關(guān)研究[17]已經(jīng)證實,在表現(xiàn)人體運動時,建立人體球面坐標(biāo)系是一種有效且魯棒性高的骨骼構(gòu)型。為更好地表示三維空間中手部關(guān)節(jié)的位置,首先建立人手球面坐標(biāo)系。

(1)

AiAj={xj-xi,yj-yi,zj-zi}

(2)

人手能很容易地繞著腕部旋轉(zhuǎn),為獲得旋轉(zhuǎn)不變的角度特征,選擇掌骨關(guān)節(jié)為球面坐標(biāo)系的中心點,如圖4所示,以食指為例展示手指彎曲時骨骼關(guān)節(jié)點的變化,A0～A4分別代表手部骨骼關(guān)節(jié)點的三維坐標(biāo):Ai=(xAi,yAi,zAi)。式(1)計算了點Ai所在的角度αi,分母范數(shù)將兩個向量長度規(guī)范化,在一定程度上消除了向量長度的差異對角度計算產(chǎn)生的影響。除拇指外,根據(jù)式(1)和式(2),每個手指提取α1～α3這3個角度特征,拇指提取α1、α2這兩個角度特征,提取長度為14的角度特征向量[α1,α2,…,α14]。

圖4 食指角度彎曲示意圖

1.2.2 二值特征提取

在進行手勢識別時,不同試驗者的手勢動作差異較大。如圖5所示,同一手勢除了存在空間位置的差異,還存在手勢方向的差異。手勢方向影響手部的幾何形狀和骨骼關(guān)節(jié)點的相對位置,從而影響手勢特征。因此融合表征方向信息特征能夠進一步提高手勢識別準(zhǔn)確率。

圖5 同一手勢的部分骨骼圖像數(shù)據(jù)集

本文采用二值特征提取方法:將初始讀取的特征點坐標(biāo)轉(zhuǎn)換為二進制數(shù)據(jù),選擇每個手指的前3個特征點的橫縱坐標(biāo)作為手勢特征,并提取了腕部骨骼關(guān)節(jié)點[0]以及除大拇指外每個手指的掌指骨骼關(guān)節(jié)點[5,9,13,17]的橫縱坐標(biāo)。

(3)

(4)

為表示方向信息,對特征點橫縱坐標(biāo)進行兩兩比較并轉(zhuǎn)換二進制數(shù)據(jù)。使用式(3)和式(4)提取兩個相鄰骨骼關(guān)節(jié)點i、j之間的二值特征,對除拇指外的剩余4個手指進行特征提取,共選取32個二值特征。

1.2.3 特征融合

前兩節(jié)分別介紹了不同手勢下角度特征和二值特征的提取方法。考慮到兩種特征的維度不同,結(jié)合其各自的優(yōu)勢,采取拼接的方法融合成維度為46的新特征向量,利用該新特征對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練可得到較高的分類精度。由于在數(shù)據(jù)采集階段考慮了所有可能出現(xiàn)的手勢類型,相比于其他的特征提取方式[18-19],本文使用的特征提取方法計算量更小、數(shù)據(jù)可靠性更高、抗干擾性更強,能夠克服不同操作方式帶來的影響,增強了模型的魯棒性。

1.3 手勢分類模型

人工神經(jīng)網(wǎng)絡(luò)是一種模仿人腦神經(jīng)網(wǎng)絡(luò)的計算系統(tǒng),而BP神經(jīng)網(wǎng)絡(luò)正是前向傳播網(wǎng)絡(luò)的核心,因其具有較強的非線性逼近能力而被廣泛使用。BP神經(jīng)網(wǎng)絡(luò)是一種單向多層前饋網(wǎng)絡(luò),由輸入層、隱藏層和輸出層組成。網(wǎng)絡(luò)的學(xué)習(xí)過程由信號的正向傳播和誤差的反向傳播兩部分組成。本文采用3層BP神經(jīng)網(wǎng)絡(luò),理論上可實現(xiàn)任意的非線性擬合。

數(shù)據(jù)集有剪刀、石頭、布3種手勢共7 200個樣本數(shù)據(jù),在使用BP神經(jīng)網(wǎng)絡(luò)進行手勢分類前,將訓(xùn)練集與測試集的樣本按7∶3的比例進行劃分,訓(xùn)練集用于訓(xùn)練模型參數(shù),測試集用于驗證模型準(zhǔn)確度。在BP神經(jīng)網(wǎng)絡(luò)中,輸入層的神經(jīng)元個數(shù)由輸入樣本的維度決定,根據(jù)1.2節(jié)提出的手勢特征提取方式從每一幀圖像中提取46個手勢特征。因此,神經(jīng)元的輸入個數(shù)為46,輸出個數(shù)為3,將石頭、剪刀和布3個手勢的標(biāo)簽分別標(biāo)記為“0”“1”和“2”。隱藏層神經(jīng)元個數(shù)設(shè)置為64,選擇Adam作為優(yōu)化器,學(xué)習(xí)率設(shè)定為0.001,使用交叉熵損失進行網(wǎng)絡(luò)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練過程如圖6所示,經(jīng)過80輪訓(xùn)練,訓(xùn)練集上的損失為0.038,測試準(zhǔn)確率為99.3%。

圖6 網(wǎng)絡(luò)訓(xùn)練過程

1.4 機械手控制

NI myRIO控制器是一款基于FPGA的嵌入式系統(tǒng),可實現(xiàn)低延遲和高響應(yīng)速度的實時控制,能夠進行高速的脈沖寬度調(diào)制(Pulse Width Modulation,PWM)輸出,快速響應(yīng)機械手控制指令。本文使用0、1、2對石頭、剪刀、布3種手勢進行編碼,當(dāng)系統(tǒng)未檢測到手勢或用戶的手勢與本文定義的3種手勢不一致時,系統(tǒng)會自動判定為Error。機械手采用連桿結(jié)構(gòu)設(shè)計,單個舵機可實現(xiàn)手指3個關(guān)節(jié)的運動,由于手指關(guān)節(jié)間的關(guān)聯(lián)性,使用3個PWM端口就可以實現(xiàn)文中3種手勢控制。為保證機械手的實時性和響應(yīng)速度,在手勢進行切換時需盡量減少舵機運動調(diào)整的次數(shù)。因此,每次最多調(diào)整兩個舵機的運動以減少調(diào)整時間,使機械手的運動更加連貫,同時避免了因頻繁調(diào)整舵機運動而導(dǎo)致的響應(yīng)延遲和不穩(wěn)定問題。

2 系統(tǒng)功能測試結(jié)果與分析

為驗證系統(tǒng)的魯棒性和實用性,本節(jié)將對系統(tǒng)進行功能測試,并分別從不同場景、人員、算法和系統(tǒng)運行性能等方面進行分析和評估。通過試驗結(jié)果分析,可進一步了解本文設(shè)計的人機博弈機器人系統(tǒng)在各種情況下的性能表現(xiàn),并為系統(tǒng)的進一步優(yōu)化提供參考。

2.1 不同試驗場景的影響

在進行實時手勢識別過程中,試驗環(huán)境會對手勢識別性能產(chǎn)生影響。為驗證本文設(shè)計的人機博弈機器人系統(tǒng)的魯棒性,在會議室、教室和實驗室3種不同環(huán)境下進行系統(tǒng)測試,其具有不同的物理屬性和人員流動性。同時,考慮光照強度的影響,將試驗分為3種情況:暗光、正常光和亮光。在暗光條件下,保持室內(nèi)燈光不開啟;在正常光條件下,使用環(huán)境燈光進行照明;在亮光條件下,使用更高亮度的燈光進行試驗。為了使試驗結(jié)果更具有代表性和可靠性,對每種情況下的手勢動作進行了隨機選擇,并在每組試驗中記錄30次不同手勢動作的識別情況。試驗結(jié)果如圖7所示,系統(tǒng)在不同的試驗環(huán)境下手勢識別精度都較穩(wěn)定,在亮光和暗光條件下,系統(tǒng)的識別精度都相對較低,而在正常光條件下,系統(tǒng)表現(xiàn)出最佳的識別性能。需要針對不同的試驗環(huán)境和光照條件進行針對性的優(yōu)化和改進,以進一步提高系統(tǒng)的魯棒性和實用性。

圖7 不同試驗場景的識別率

2.2 不同試驗人員的影響

在數(shù)據(jù)采集過程中,由于手掌大小、手掌與攝像頭的距離、手掌傾斜程度等因素的影響,不同試驗人員在做出相同手勢時可能會呈現(xiàn)不同的形式,導(dǎo)致手勢特征不同。為使機器人系統(tǒng)能夠識別不同試驗人員的手勢動作,本文提取了不同手勢的角度特征和二值特征,將其融合成新的特征。共采集10個試驗人員的3種手勢,每種手勢采集2 000幅圖片,并對其進行融合特征提取。使用t-SNE[20]算法對手勢特征進行可視化分析,t-SNE是一種非線性降維算法,用于將高維數(shù)據(jù)轉(zhuǎn)換至低維空間,并且保留原始數(shù)據(jù)的局部結(jié)構(gòu)信息。通過聚類分析提取手勢的特征,將結(jié)果可視化在二維平面,以便分析不同手勢類別之間的相似性和差異性,結(jié)果如圖8所示,能夠直觀地發(fā)現(xiàn)不同手勢之間的相異性和不同試驗人員做出相同手勢時的相似性,融合特征可更加全面地表征手勢特征,驗證了特征融合方法在實際應(yīng)用中的有效性。

圖8 t-SNE算法下不同試驗人員手勢特征聚類結(jié)果

2.3 不同特征融合方法的影響

特征融合是將不同特征組成一個新特征向量的過程,特征融合方法的選擇影響手勢識別準(zhǔn)確率。本文針對手勢識別任務(wù),采用拼接融合方法進行特征融合,并將其與卷積融合[21]和加權(quán)融合[22]兩種方法進行對比。卷積融合是指將不同特征向量進行卷積操作后拼接成新特征向量,而加權(quán)融合是指將不同的特征向量進行加權(quán)求和得到融合后的新特征向量。采用交叉驗證的方法確定了角度特征和二值特征以7∶3的比例融合時手勢識別精度最高。本文對這3種特征融合方法進行試驗比較,結(jié)果如表1所示。

表1 不同特征融合方法對比

由表1可知,拼接融合方法具有最高的手勢識別精度。卷積融合會將二值特征中的0值參與計算,從而導(dǎo)致特征信息的混淆和損失;加權(quán)融合效果較差的原因可能是特征維度不同,角度特征為連續(xù)的取值范圍,而二值特征為0或1導(dǎo)致加權(quán)融合時對不同特征的權(quán)重估計不準(zhǔn)確,從而影響識別效果。

2.4 不同特征的影響

算法最終的識別準(zhǔn)確率主要受兩方面影響:手部骨骼特征點檢測的可靠性和特征提取方法的有效性。為研究融合特征提取方法相比單一特征提取方法是否具有優(yōu)越性,在SRP數(shù)據(jù)集上進行了特征融合前后手勢識別效果的對比試驗。具體而言,本文采用3種不同的特征提取方法:角度特征(單一特征)、二值特征和融合特征,并在會議室、教室和實驗室3種不同的試驗環(huán)境下進行了系統(tǒng)測試,結(jié)果如圖9所示,可見單一特征提取方法中角度特征的識別效果優(yōu)于二值特征,主要由于角度特征能夠反映手指彎曲信息,對數(shù)據(jù)集中的各種手勢有更好的表征效果。在SRP數(shù)據(jù)集上,單一特征提取方法的手勢識別準(zhǔn)確率較低,主要原因是手勢在單一特征提取方法的區(qū)分度較低。融合特征的手勢識別準(zhǔn)確率均高于單一特征,精度分別達到了98.9%、99.2%和98.7%,說明相比單一特征提取方法,融合特征提取方法不僅能避免單一特征識別的偏差性,還能提高識別算法的泛化能力。同時,在不同環(huán)境下,融合特征提取方法也表現(xiàn)出更好的魯棒性。

圖9 特征融合前后手勢識別精度

2.5 不同算法的影響

采用自制的SRP數(shù)據(jù)集進行訓(xùn)練,將訓(xùn)練好的BP算法模型在測試集上進行評估,在ASL數(shù)字手勢數(shù)據(jù)集[23]上驗證模型的泛化性能,將得到的結(jié)果與ART-1型[24]和CNN算法進行對比。CNN算法與其他常規(guī)神經(jīng)網(wǎng)絡(luò)的區(qū)別在于其能夠利用卷積來提取圖像中的特征,是圖像處理領(lǐng)域常用的特征提取網(wǎng)絡(luò);而ART-1型算法適用于處理二進制數(shù)據(jù),是為了解決神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性-可塑性問題而提出的,其采用競爭學(xué)習(xí)策略和自穩(wěn)機制,會自發(fā)地在神經(jīng)網(wǎng)絡(luò)中產(chǎn)生對環(huán)境信息的編碼,能夠?qū)θ我鈴?fù)雜環(huán)境輸入模式實現(xiàn)自穩(wěn)定和自組織的識別,分別使用準(zhǔn)確率(P)、召回率(R)和F1-Score來評估分類算法性能,結(jié)果如表2所示。

表2 分類算法性能對比

由表2可知,BP算法在自制SRP數(shù)據(jù)集的3種算法對比中表現(xiàn)最佳,在準(zhǔn)確度、召回率和F1-Score指標(biāo)上分別達到了99.57%、99.27%和99.42%。同時,在ASL數(shù)字手勢數(shù)據(jù)集上,BP算法的準(zhǔn)確率也最高,這表明該算法具有很好的魯棒性。在準(zhǔn)確率方面,BP、CNN和ART-1型算法的效果依次變差,這種試驗結(jié)果的原因可能是多方面的。相比其他兩種算法,ART-1型算法是一種聚類算法,根據(jù)相似度閾值進行分類,不具備非線性變化能力,因此分類效果最差。針對實現(xiàn)特定任務(wù)的分類算法而言,CNN算法具有映射任意復(fù)雜非線性關(guān)系的能力。然而,在試驗結(jié)果中它的效果不如BP算法,可能是由于將一維的二進制數(shù)據(jù)轉(zhuǎn)換為二維數(shù)據(jù)進行卷積操作,從而添加了大量無效的位置信息,導(dǎo)致算法的準(zhǔn)確率有所下降。

2.6 系統(tǒng)運行性能評估

友好的交互界面設(shè)計能夠增強交互的真實感和用戶體驗,本文設(shè)計了一個包含3種不同游戲模式的交互界面,如圖10所示。在游戲過程中,系統(tǒng)提供語音輔助功能,幫助用戶更好地理解游戲規(guī)則和操作流程。用戶按下“開始”按鈕后,游戲正式開始。在“一局定勝負”模式中,系統(tǒng)會提示用戶出拳,以此模擬真實的石頭剪刀布游戲。在“隨機模式”中,系統(tǒng)會在規(guī)定的時間間隔內(nèi)隨機變化手勢,讓用戶難以預(yù)測,增加游戲難度和趣味性。在“機器必贏”模式中,系統(tǒng)能夠準(zhǔn)確識別試驗者手勢的變化,并根據(jù)手勢規(guī)律來預(yù)測下一個手勢,從而實現(xiàn)機器必贏的效果。最終游戲結(jié)果將在前面板上顯示,提供實時的反饋和游戲分析。

圖10 交互界面

為驗證本文設(shè)計的人機猜拳博弈機器人系統(tǒng)整體運行的可靠性,在“機器必贏”模式下進行了試驗,如圖11所示,在該模式下檢測到用戶手勢為剪刀的交互場景。試驗開始前,首先進行初始化操作,并選擇游戲模式。試驗過程中,10名試驗人員分成5組,在“機器必贏”模式下進行試驗。剪刀、石頭、布分別被編碼為0、1、2,構(gòu)建一維手勢序列{0,1,2…},并在前面板進行顯示。試驗人員根據(jù)該提示做出相應(yīng)手勢,另一名試驗人員記錄機械手動作變化序列。每組試驗包括40次手勢變化,每名試驗人員進行10次試驗,共計400次手勢變化。將這400次手勢變化的序列作為手勢識別網(wǎng)絡(luò)的輸入,并將輸出結(jié)果與記錄的機械手動作變化序列進行對比。結(jié)果顯示,系統(tǒng)的整體預(yù)測準(zhǔn)確率為99.3%,表明該系統(tǒng)具有較好的穩(wěn)定性。同時,手勢平均識別時間約為0.012 5 s,機械手的響應(yīng)時間約為0.13 s,滿足了實時性要求。

圖11 機器必贏模式下的交互場景

3 結(jié)束語

本文提出了一種基于三維骨骼信息的融合特征提取方法,該方法能夠有效地提取手勢的空間和位置信息,與MediaPipe Hand人手骨骼關(guān)節(jié)點檢測框架快速檢測手部骨骼特征和深度網(wǎng)絡(luò)的特征提取優(yōu)勢相結(jié)合,大幅提高了手勢識別的準(zhǔn)確率。在此基礎(chǔ)上,設(shè)計了一個能夠?qū)崟r進行人機博弈的交互系統(tǒng),并將該方法應(yīng)用到人機猜拳博弈機器人系統(tǒng),系統(tǒng)的整體預(yù)測準(zhǔn)確率達到99.3%,同時系統(tǒng)能夠?qū)崟r響應(yīng)用戶手勢的變化,為用戶帶來更好的沉浸感。

未來的研究將重點關(guān)注兩個方面:一是增加其他手勢以實現(xiàn)更多的功能;二是進一步結(jié)合視覺和觸覺傳感器,以使機器人系統(tǒng)具備觸覺感知功能,從而完成更加復(fù)雜的任務(wù)。