一種基于力反饋的技能虛擬訓練系統(tǒng)構建研究

田亞平 周曉珊 馬春龍

摘 要：為了解決當前市面上虛擬仿真訓練系統(tǒng)在觸/力覺方面顯示能力不足的問題，以一站式、全方位、多維度優(yōu)化為設計目標，設計并實現(xiàn)了融合力（觸覺）反饋的技能仿真訓練系統(tǒng)。該方案結合力反饋方法、眩暈緩解措施、效果評價體系，最大程度上實現(xiàn)了用戶和產(chǎn)品之間的交互性。通過與相關企業(yè)和院校合作，設計并實現(xiàn)了一款籃球投籃仿真訓練系統(tǒng)，該系統(tǒng)對投籃發(fā)力進行數(shù)字化反饋式訓練，表明效果較佳，具有一定推廣價值。

關鍵詞：虛擬仿真;觸覺反饋;籃球仿真訓練;虛擬現(xiàn)實技術

DOI：10. 11907/rjdk. 192699 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）008-0134-05

Abstract： In order to solve the problem of insufficient display ability of touch/force perception in the current virtual simulation training system on the market， a skill simulation training system integrating force （touch） feedback is designed and realized with the design goal of one-stop， all-round and multi-dimensional optimization. This scheme combines the force feedback method to alleviate vertigo， and the effect evaluation system maximizes the interaction between the user and the product. Through the cooperation with related enterprises and universities， a system for basketball shooting simulation training was designed and implemented， and the system conducted digital feedback training on shooting force training and the effectiveness and extensibility of the scheme are proved.

Key Words： virtual simulation; tactile feedback; basketball simulation training;virtual reality technology

0 引言

目前，虛擬現(xiàn)實技術在國內(nèi)市場得到了廣泛應用，需求遍布醫(yī)療[1-3]、教育[4-5]、軍事[6-8]等各領域。《“十三五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》提出，要加快虛擬現(xiàn)實、增強現(xiàn)實、全息成像等核心技術創(chuàng)新發(fā)展;教育部辦公廳《關于2017-2020年開展示范性虛擬仿真實驗教學項目建設的通知》明確提出，建設示范性虛擬仿真實驗教學項目，能有效推動高校積極探索線上線下教學相結合的個性化、智能化、泛在化實驗教學新模式，支撐高等教育教學質(zhì)量全面提高。

在市場上推廣使用的虛擬現(xiàn)實技術包括以下兩種類型：①桌面式虛擬現(xiàn)實系統(tǒng)，可在電腦屏幕中呈現(xiàn)三維虛擬環(huán)境，通過鼠標、手柄等進行交互， 雖然這讓使用者嚴重缺乏體驗感，但由于成本相對較低而得到廣泛應用[9];②完全沉浸式虛擬現(xiàn)實系統(tǒng)，使用者需要佩戴沉浸式輸出設備（比如頭盔、定位手柄等），以及頭部、身體追蹤裝置，從而確保其身體運動和環(huán)境反饋之間的精確匹配。其可以將使用者的視覺、聽覺與外界隔離，排除外界干擾，全身心投入虛擬世界中[10]。但是上述虛擬現(xiàn)實系統(tǒng)在交互上存在一定不足，尤其是技能訓練產(chǎn)品缺少觸感的直接交互，無法通過產(chǎn)品體驗得出運動效果的評價反饋，也無法實現(xiàn)所見即所感，及人與虛擬環(huán)境的雙向交流[11]。鑒于此，本文以一站式、全方位、多方面為設計目標，設計并實現(xiàn)了融合力（觸覺）反饋的技能仿真訓練系統(tǒng)。該方案結合力反饋方法、眩暈緩解措施、效果評價體系，最大程度上實現(xiàn)了用戶和產(chǎn)品之間的交互性。使用Kinect與傳感器對用戶運動和生理數(shù)據(jù)進行實時采集，利用科學有效的分析方法準確捕捉、描述用戶動作細節(jié)，為訓練結果提供相應的原因分析，用戶通過可視化顯示界面實時查看自己的訓練數(shù)據(jù)。

1 系統(tǒng)方案設計

1.1 系統(tǒng)總體設計

如圖1所示，本文方案是對于仿真訓練的一體化設計，包含內(nèi)容制作與觸覺、視覺、聽覺的一體化處理方法，以及科學、全面的效果評價體系。該方案共有5層結構，分別是：數(shù)據(jù)處理層、存儲層、人機交互層、效果評價層以及評價反饋層。數(shù)據(jù)處理層在內(nèi)容制作上采用Unity3D技術以及緩解眩暈感的措施對產(chǎn)品進行軟件搭建;存儲層對內(nèi)容、各項設備記錄和分析的數(shù)據(jù)進行存儲;人機交互層主要通過力反饋設備將聽覺、視覺、觸覺有效輸出并反饋到人體，讓人在技能訓練的同時，切實感受到力度感、沉浸感;在效果評價層和效果評價反饋層提供基于受訓者本身的科學全面的效果評價，及時有效地為用戶反饋訓練健身數(shù)據(jù)，得出訓練矯正方案，讓用戶掌握最正確的技能訓練方式，實現(xiàn)數(shù)字化安全訓練。

1.2 系統(tǒng)核心技術

1.2.1 多自由度力觸融合反饋方法

多自由度力觸融合反饋方法指在人機交互過程中，計算機對操作者的輸入作出響應，并通過力觸覺設備作用于操作者的過程，即操作者通過交互設備向虛擬環(huán)境輸入力或運動信號，虛擬環(huán)境以視、聽、力或運動信號的形式反饋給操作者。力觸覺反饋交互系統(tǒng)主要由操作者、六自由度力觸交互設備、計算機、受控環(huán)境以及相關數(shù)據(jù)采集、通信等配套部分組成。其中，受控環(huán)境既可以是真實環(huán)境也可以是計算機仿真模擬的虛擬現(xiàn)實環(huán)境。力觸融合交互設備采用六自由度力覺生成，解決復雜形狀物體多點多區(qū)域不穿透接觸交互模擬和剛體交互的六維力與力矩聯(lián)合計算問題，通過傳感器、數(shù)據(jù)采集模塊實現(xiàn)操作者動作識別，受控環(huán)境根據(jù)操作者動作作出相應響應，并向計算機提供被操作對象的運動及交互力信息;計算機根據(jù)系統(tǒng)相應的控制算法，進行運動分析、反饋力計算及界面顯示，最終通過力觸融合交互設備的電機輸出轉(zhuǎn)矩合成空間反饋力并作用于操作者。

力觸融合反饋方法是從生物力學的角度，基于拓補學中正六邊形模型而建立的皮膚表面形變模型，可以近似仿真皮膚表面，并且在模型中，為每個質(zhì)點都設計了一個彈簧模型，用于力反饋計算和系統(tǒng)穩(wěn)定性增強。并且，通過建立虛擬皮膚表面實時力觸融合反饋交互系統(tǒng)（見圖2）[12-14]，實現(xiàn)碰撞檢測和觸覺反饋功能，在力覺上所用的觸覺交互設備能夠準確跟蹤人手三維運動，將由虛擬模型計算的虛擬力實時反饋給操作者，在力覺上提供逼真的沉浸感。其最大輸出反饋力為3.3N。

1.2.2 多環(huán)節(jié)多層面集成的眩暈現(xiàn)象緩解優(yōu)化策略

本文方案整合現(xiàn)有眩暈抑制技術，并在此基礎上進行優(yōu)化，采用多環(huán)節(jié)多層面的4種眩暈緩解集成優(yōu)化策略。在緩解眩暈后，采用基于自有的力觸覺融合反饋方案以更加真實具體地反饋現(xiàn)實場景的力，并在訓練效果評價時，減少眩暈感帶來的身體不適，避免非訓練內(nèi)容導致的心率加快等干擾因素，使得效果評價更加精準，可有效反饋訓練結果。

如圖3所示，在本文設計的一站式方案中，采用多環(huán)節(jié)多層面的集成優(yōu)化策略以緩解眩暈現(xiàn)象。

（1）基于模擬暈動癥本質(zhì)[15-16]的解決方案。在本文一站式解決方案的人機交互層，計劃預留出1㎡左右的現(xiàn)實空間，讓用戶在虛擬世界中360°自由移動，包括下蹲、跳、坐下等豐富的肢體動作，以便用戶用自己的真實行動操控訓練場景中的角色移動，從而避開模擬暈動癥產(chǎn)生的源頭。這種映射越是自然，暈動癥狀就會越輕微。

（2）利用低余暉效應[17]降低暈眩感。余暉效應是視覺暫留現(xiàn)象，指人眼在觀察事物時，光信號傳入大腦神經(jīng)需要一段短暫時間，光信號消失后，視覺形象并沒有立刻消失。在準備足夠的現(xiàn)實空間后，在人機交互層的視頻輸出設備中同時使用兩種方法降低余暉效應：①頭顯采用有機電激光顯示器，確保色彩分量同時點亮，從而降低余暉效應;②方案中所采用的頭顯設備會具有很高的刷新率，達到90Hz以上，使得虛擬物體運動更加接近真實世界，從而有利于緩解眩暈感。

（3）內(nèi)容開發(fā)使用Unity3D的VRPanoramaCamera 渲染[18]降低眩暈感。在對硬件進行處理后，在一站式方案數(shù)據(jù)處理層的內(nèi)容制作上使用Unity3D的VRPanoramaCamera 和Vistual Studio 2015對內(nèi)容采取一系列眩暈渲染降低措施，最終使得內(nèi)容以人眼最能接受的燈光和環(huán)境風格呈現(xiàn)出來。

（4）通過渲染與矯正頭顯分辨率緩解眩暈感。針對數(shù)據(jù)處理層的實時渲染部分，分兩步對頭顯分辨率進行處理，一是對中間直線式圖像進行渲染，二是進行透鏡失真和色差非線性校正，使得頭顯分辨率更加適應虛擬環(huán)境中的使用者。

1.2.3 時空多維度評價與效果監(jiān)控體系

在本文一站式方案中，技能仿真訓練和科學健身效果評價系統(tǒng)采用分層結構（見圖4），即運動訓練數(shù)據(jù)采集層、運動訓練數(shù)據(jù)分析層、運動訓練數(shù)據(jù)評價層。每一層在物理上做到互相獨立，卻在邏輯上緊密相連，上層以下層為基礎。這樣極大地提高了本方案的兼容性和可擴展性，為后續(xù)方案升級提供了便利。

在訓練數(shù)據(jù)采集層上，利用Kinect與傳感器對用戶運動與生理數(shù)據(jù)進行實時采集[19]。其中，運動數(shù)據(jù)包括力、速度、加速度、角度、頻率;生理信息包括心率、呼吸頻率、體溫、心電圖。根據(jù)用戶訓練情況，建立基于時間序列的運動參數(shù)數(shù)據(jù)庫，時刻記錄著用戶運動成長數(shù)據(jù)，為成長曲線搭建提供數(shù)據(jù)基礎。

在訓練數(shù)據(jù)分析層上，本文方案訓練效果分析方法有運動動作識別、訓練匹配度識別、基于曲率的運動平滑度度量、訓練過程中的原因分析法。這些科學有效的分析方法能夠準確捕捉描述用戶動作細節(jié)，為運動訓練結果提供相應的原因分析，涉及原因歸類為訓練動作（力、速度、加速度、角度、頻率）、生理狀態(tài)（心率、呼吸頻率、體溫）與自身條件（性別、年齡、身高、體重、肺活量、血壓），為學員（客戶）調(diào)整自身運動訓練提供理論依據(jù)。

在訓練數(shù)據(jù)評價層上，本文方案使用3方面的效果評價。一是對用戶訓練過程中運動狀態(tài)的周期性數(shù)據(jù)評價與生理信息的實時監(jiān)控，實現(xiàn)數(shù)字化安全訓練;二是對用戶與運動訓練數(shù)據(jù)庫中的數(shù)據(jù)進行對比分析，構建用戶成長曲線，包括動作匹配度曲線、周運動量統(tǒng)計圖、評價等級曲線，便于用戶找到更加有效的訓練方法;三是對運動完成過后的加權運動訓練效果評價，采用層次分析法兼顧不同用戶之間的信息差異，包括性別、年齡、身高、體重、肺活量、血壓，針對不同用戶實現(xiàn)科學合理的效果評價。

2 系統(tǒng)核心設備硬件配置

根據(jù)市場產(chǎn)業(yè)化需求，在第三方虛擬現(xiàn)實交互硬件上，本文一站式方案采用HTC Vive公司的頭戴式設備、操控手柄以及空間定位追蹤設置，如圖5所示。HTC Vive[20] 是由HTC與Valve聯(lián)合開發(fā)的一款VR頭顯（虛擬現(xiàn)實防眩暈頭戴式顯示器）產(chǎn)品，于2015年3月在MWC2015上發(fā)布。 由于有Valve的SteamVR提供技術支持，因此在Steam平臺上可以體驗利用Vive功能的虛擬現(xiàn)實訓練。目前，Vive在虛擬仿真上已經(jīng)全面支持高精度仿真操作及體驗交互，成為仿真領域的硬件首選。

在訓練動作捕捉上，采用Kinect光學捕捉裝置[21]，如圖6所示，相比于傳統(tǒng)穿戴式動作捕捉設備，其具有布置方便、操作簡單、成本較低等優(yōu)點。同時，在場地選擇上具有極大自由性，能夠滿足絕大部分用戶要求。在訓練方面，本文在采用光學動作捕捉的同時，增加穿戴設備，例如關節(jié)定位器、數(shù)據(jù)手套等，提高運動精確采集，滿足用戶對訓練的高要求，使得訓練具有嚴格的數(shù)據(jù)基礎。

Kinect、HTC Vive與主機之間通過共享數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)共享，Kinect通過光學定位將采集到的信息輸入數(shù)據(jù)庫，主機再從數(shù)據(jù)庫中取出相關數(shù)據(jù)用于環(huán)境渲染以及相關力反饋、碰撞體積計算，并將計算或者渲染結果傳輸?shù)紿TC Vive，給予用戶真實的實時體驗。

3 設計方案應用案例

為了檢測所設計方案的有效性和可推廣性，項目組與相關企業(yè)和院校合作，設計并實現(xiàn)了一款籃球投籃仿真訓練系統(tǒng)。

籃球訓練往往基于教練對于年輕運動員的經(jīng)驗教授，然而大多數(shù)教練因為年齡或身體原因，很難實現(xiàn)運動教授過程中的精準化示范，并且其中不排除有教練的習慣性動作，使得運動員不能第一時間抓住訓練重點。此外，籃球運動具有瞬時性，運動員很難看清籃球在手部、空中、籃框上面的運動與彈跳。為了解決精準化示范與動作細節(jié)分析難題，本文一站式解決方案中實現(xiàn)了投籃高手虛擬仿真系統(tǒng)。

如圖7所示，該系統(tǒng)解決了運動員投籃時的動作捕捉、分析、糾正問題。傳統(tǒng)投籃訓練僅僅是基于經(jīng)驗訓練，因而具有較強的偶然性，缺少科學有效的分析與反饋。而本文設計的虛擬仿真系統(tǒng)使用攝像頭和身上、手部設備精準捕捉運動員動作，將這些數(shù)據(jù)輸入計算機數(shù)據(jù)庫進行處理，最后得出詳細的運動參數(shù)分析報告。并且，系統(tǒng)能夠?qū)幼鞣怕匠Ｈ四軌蚍磻乃俣?，對投籃動作中的細節(jié)進行放大并加以分析，運動員能夠基于細節(jié)分析有針對性地調(diào)整自己的動作。同時，系統(tǒng)將許多標準投籃動作融入數(shù)據(jù)庫，便于運動員比較、學習。該虛擬仿真訓練系統(tǒng)解決了傳統(tǒng)投籃訓練的嘗試性與偶然性，更加具有科學性、針對性，訓練效率更高、效果更好。

4 結語

沉浸式VR技能仿真訓練作為一種新型學習形式，已被日漸推廣商用。為了有效實現(xiàn)技能虛擬仿真訓練中“所見即所觸”，將人體中觸覺感官有效融入虛擬訓練場景中，本文方案結合力反饋，采取一系列眩暈緩解措施，并采用效果評價體系，很大程度上實現(xiàn)了用戶和設備之間的交互，大大加強了用戶沉浸感。作為一站式解決方案，其綜合各類方法步驟，可為今后相關設計創(chuàng)新提供理論依據(jù)。未來，將通過加強與相關企業(yè)和院校合作，在開發(fā)籃球仿真訓練系統(tǒng)的基礎上，設計并實現(xiàn)幾款用于諸如軍事、醫(yī)療的仿真訓練系統(tǒng)，讓力觸覺沉浸式VR訓練系統(tǒng)得到進一步推廣與應用。

參考文獻：

[1] 梁爽，鄒任玲. 基于鏡像療法的上肢手功能康復游戲系統(tǒng)設計[J]. 軟件導刊，2018，17（6）：116-119.

[2] 王子梅，徐秀林，安美君. 基于虛擬場景的踝關節(jié)訓練軟件系統(tǒng)開發(fā)[J]. 軟件導刊，2019，17（5）：98-101.

[3] 孫夢真，喻洪流，符方發(fā)，等. 上肢康復訓練機器人訓練與康復評估系統(tǒng)設計[J]. 軟件導刊，2017，16（5）：83-85.

[4] 季至宇. VR與AR技術教育應用研究[J]. 軟件導刊，2017，16（10）：220-222.

[5] 丁飛，張登銀，師曉曄，等. 基于VR/AR的互動式教學研究與實踐[J]. 軟件導刊，2017，16（5）：213-216.

[6] 馮荷飛，孫前. 基于開源庫的插件式軍用仿真引擎研究[J]. 軟件導刊，2014，13（10）：99-101.

[7] 張志勇，劉鶴松，張銳，等. 基于虛擬現(xiàn)實技術的軍校本科學員戰(zhàn)斗應激反應訓練研究[J]. 高等教育研究學報，2018，41（4）：117-120.

[8] 黃婧. 基于虛擬現(xiàn)實技術的戰(zhàn)斗模擬訓練系統(tǒng)[J]. 光電子技術，2019，39（3）：219-224.

[9] 張嘉鷺，邢邦圣，馬軍，等. 基于Cortona 3D的動車組轉(zhuǎn)向架虛擬仿真檢修實驗系統(tǒng)的設計[J]. 實驗技術與管理，2018，35（6）：130-134.

[10] 陳華明，吳建平，方芳，等. 虛擬現(xiàn)實技術在歷史教學中的應用[J]. 軟件導刊，2017，16（5）：190-192，197.

[11] CAMERON C，PARK J K，BEIM D. Human-computer interaction experiments in an immersive virtual reality environment for elearning applications[DB/OL]. http：//aaee.com.au/conferences/AAEE2009/PDF/AUTHOR/AE090121.pdf.

[12] 王黨校，焦健，張玉茹，等. 計算機觸覺：虛擬現(xiàn)實環(huán)境的力觸覺建模和生成[J]. 計算機輔助設計與圖形學學報，2016（6）：881-895.

[13] 李會軍，謝桂平，宋愛國，等. 基于力觸覺手柄的虛擬環(huán)境力反饋交互系統(tǒng)穩(wěn)定性分析[J]. 儀 器儀表學報，2019，40（6）：162-170.

[14] 聶新明，王晨，趙新生，等. 力觸覺融合式儒家六藝活態(tài)傳承微型學習技術環(huán)境的構建[J]. 現(xiàn)代教育技術，2019，29（8）：93-99.

[15] 張楊昊，李孝祿，許滄粟，等. 具有運動真實感的VR健身單車設計及測試[J]. 體育科學，2018，38（7）：50-55.

[16] 易琳，賈瑞雙，劉然，等. 虛擬現(xiàn)實環(huán)境中視覺誘導暈動癥的評估指標[J]. 航天醫(yī)學與醫(yī)學工程，2018，31（4）：437-445.

[17] 嚴寶平. 虛擬現(xiàn)實硬件的發(fā)展與游戲應用[J]. 常州大學學報（社會科學版），2017，18（1）：110-115.

[18] 秦超龍，宋愛國，吳常鋮，等. 基于Unity3D與Kinect的康復訓練機器人情景交互系統(tǒng)[J]. 儀 器儀表學報，2017，38（3）：530-536.

[19] 杜惠斌，趙憶文，韓建達，等. 基于集員濾波的雙Kinect人體關節(jié)點數(shù)據(jù)融合[J]. 自動化學報，2016，42（12）：1886-1898.

[20] 汪澤偉，于有光，楊付正. 基于HTC Vive的全景視頻顯示質(zhì)量評估[J]. 液晶與顯示，2018，33（1）：85-91

[21] 李詩銳，李琪，李海洋，等. 基于Kinect v2 的實時精確三維重建系統(tǒng)[J]. 軟件學報，2016，27（10）：2519-2529.

（責任編輯：孫 娟）