基于HTCVIVE的虛擬針灸教學軟件設(shè)計研究

高紅磊 闞紅星 高勇 陳光恩

摘 要：隨著計算機技術(shù)的不斷發(fā)展，虛擬現(xiàn)實技術(shù)在傳統(tǒng)教學中有了越來越多的應(yīng)用。為提高學生對中醫(yī)針灸的學習興趣和對人體穴位基本理論知識的理解與記憶，研究基于虛擬現(xiàn)實技術(shù)的中醫(yī)虛擬針灸教學軟件開發(fā)中的關(guān)鍵技術(shù)。采用3d Max軟件對人體模型建模，注重人體關(guān)鍵部位輪廓的繪制;并結(jié)合虛擬現(xiàn)實設(shè)備HTC VIVE，利用Unity3D軟件中建立虛擬場景;最后，重點使用JSON語言實現(xiàn)穴位信息存儲管理，完成人機交互模式設(shè)計，為輔助中醫(yī)針灸教學提供了一種新方法。

關(guān)鍵詞：虛擬現(xiàn)實; 針灸教學; HTC VIVE; 人機交互

中圖分類號： TP391.41

文獻標志碼： A

Abstract：With the continuous development of computer technology， virtual reality technology has been applied more and more in traditional teaching. In order to improve the students' interest in learning Chinese acupuncture， this paper studies the key technologies in the development of virtual acupuncture teaching software based on the virtual reality technology. Modeling the human body pays attention to the contour drawing of the key parts of the human body. It combines the virtual reality device HTC VIVE to create virtual scenes. Finally， acupoint information models are represented and stored through JavaScript Object Notation （JSON） language， which completes the design of human-computer interaction. The implementation of virtual reality technology， provides a new method for assisting Chinese acupuncture teaching.

Key words：Virtual reality; Acupuncture teaching; HTC VIVE; Human-computer interaction

0 引言

針灸學作為傳統(tǒng)中醫(yī)和中華文化的精華部分，在新時代不僅得到很好地傳承，同時也得到了技術(shù)方法上的創(chuàng)新，傳統(tǒng)針灸與聲，光、電、磁、紅外等現(xiàn)代科技相結(jié)合創(chuàng)造出更為先進的針灸治療儀器[1，2]。而在今天，計算機技術(shù)已經(jīng)在我們生活學習中發(fā)揮著不可或缺的重要作用，與其相關(guān)的多媒體技術(shù)、數(shù)據(jù)庫技術(shù)、數(shù)字圖像識別處理和虛擬現(xiàn)實技術(shù)等都在教育教學和仿真模擬訓(xùn)練中有了更多的應(yīng)用[3]。

因此在中醫(yī)教學軟件研究領(lǐng)域充分發(fā)揮計算機虛擬現(xiàn)實技術(shù)的特點，對中醫(yī)的傳承和發(fā)展有著重要的意義。在中醫(yī)經(jīng)絡(luò)腧穴學習系統(tǒng)的應(yīng)用方面，辛思源[4]等人提出了基于電子信息系統(tǒng)的中醫(yī)針灸電子腧穴掛圖，很好地解決了傳統(tǒng)掛圖展現(xiàn)形式不夠生動形象的不足，增強教學課程的直觀生動性，利于對教學重點內(nèi)容的把握;天津中醫(yī)藥大學將數(shù)字人體穴位系統(tǒng)的建立應(yīng)用于腧穴學教學中，取得了不錯的教學效果[5，6]。查閱相關(guān)文獻，未曾發(fā)現(xiàn)將虛擬現(xiàn)實設(shè)備應(yīng)用于中醫(yī)針灸仿真教學的學習系統(tǒng)。本研究利用虛擬現(xiàn)實等技術(shù)，并且嘗試基于虛擬現(xiàn)實設(shè)備HTC VIVE將針灸銅人三維虛擬可視化展示，為中醫(yī)針灸教學訓(xùn)練提供新方法。

1 虛擬現(xiàn)實

1.1 虛擬現(xiàn)實的概念

1965年，SutherLan博士首次從計算機現(xiàn)實技術(shù)和人機交互的角度提出模擬現(xiàn)實世界的思想[7]，成為虛擬現(xiàn)實的雛形并由此推動了計算機現(xiàn)實顯示技術(shù)，圖像學以及人機交互設(shè)備的研究與發(fā)展。在經(jīng)歷了20多年的科技技術(shù)和設(shè)備的發(fā)展，美國VPL公司創(chuàng)立者Lanier J于1989年正式提出Virtual Reality（VR，虛擬現(xiàn)實）一詞[8]，他這樣描述“虛擬現(xiàn)實”：使用計算機模擬產(chǎn)生一個三維立體的虛擬環(huán)境，為使用者提供包括聽覺視覺觸覺等感官在內(nèi)的模擬。

1.2 虛擬現(xiàn)實的技術(shù)特征

1993年Heim[9]總結(jié)了VR技術(shù)7個特征，次年Burdea[10]等在《Virtually Reality Technology》一書中概括了VR三大基本特征，即沉浸感，交互性，想象性。其中沉浸感和交互性是VR的最主要的兩個特征。沉浸感，作為VR技術(shù)最主要的核心特征，使得用戶完全沉浸于計算機及其硬件顯示設(shè)備所生成的虛擬環(huán)境中，通過視聽觸覺給用戶提供與真實環(huán)境同樣的感受。交互性，人機交互最重要的體現(xiàn)。當用戶通過使用交互設(shè)備以自然的方式控制虛擬環(huán)境中的物體之間或物體與環(huán)境之間發(fā)生交互作用，同時也增強沉浸感。

1.3 硬件設(shè)備HTC VIVE

目前市面上主流的實現(xiàn)虛擬現(xiàn)實技術(shù)的硬件設(shè)備主要有兩種[11]：一是Oculus Rift，二是HTC公司與Value聯(lián)合開發(fā)的HTC VIVE。在空間定位方面，HTC VIVE采用更為精確的Light house定位系統(tǒng)。該定位系統(tǒng)允許用戶在一定范圍內(nèi)的移動，定位精度可達1.94 mm，從而極大地保證了虛擬現(xiàn)實技術(shù)沉浸感的良好體驗。

HTC VIVE組成，如圖1所示。

頭戴式顯示器（Head Mount Display， HMD），一對手柄控制器，Light house定位系統(tǒng)。該頭戴顯示器（一般稱頭盔）內(nèi)由兩塊OLED屏幕組成，分辨率達到2160*1200像素，且刷新率為90 Hz，延遲時間22 ms，所以幾乎不會使用戶產(chǎn)生頭暈等不適感。手柄控制器上的觸控板和多個控制按鈕，可實現(xiàn)多種的人機交互控制。

2 穴位信息表達模型的建立

《人體經(jīng)絡(luò)穴位標準大圖冊》書中詳盡地標注了362個常見醫(yī)用穴位[12]，包括穴位的名稱主治位置快速取穴等信息。對這類數(shù)據(jù)的存儲和使用，通常的數(shù)據(jù)存儲管理方式是：根據(jù)特定的數(shù)據(jù)格式，將其保存成TXT格式文檔，然后再解析讀取使用。數(shù)據(jù)的傳輸解析主要有兩種格式[13]：XML和JSON。

（一） XML（可擴展標記語言）簡單易用，可在任意應(yīng)用程序中讀寫數(shù)據(jù)操作，但因其解析數(shù)據(jù)方式侵占大量的內(nèi)存空間，所以當數(shù)據(jù)量較大時，解析時間慢，且容易導(dǎo)致數(shù)據(jù)錯誤和系統(tǒng)崩潰。

（二） JSON是輕量級數(shù)據(jù)交換格式，且數(shù)據(jù)序列化后產(chǎn)生的數(shù)據(jù)量較小，能夠保證數(shù)據(jù)和系統(tǒng)穩(wěn)定。

鑒于數(shù)據(jù)量大小，很顯然第二種方法更合適，本研究選擇JSON格式，滿足項目技術(shù)要求。在新建的TXT格式數(shù)據(jù)文件里，新建acuInfo變量，該變量使用方括號包含多條目的數(shù)組，每個條目是一個穴位信息，包含穴位名稱，編碼，主治穴位等數(shù)據(jù)信息，且均以鍵值對的格式保存在TXT文檔中。示例采用JSON語言格式對 “天池穴”穴位信息進行結(jié)構(gòu)化描述，具體代碼如下：

{

"acupointInfo"： [

{

"id"： "PC1"，

"name"： "天池穴"，

"indications"： "咳嗽、哮喘、嘔吐、胸痛、胸悶"，

"pos"： "在胸部，第4肋間隙，前正中線旁開5寸"，

"qFind"： "仰臥，自乳頭沿水平線向外側(cè)旁開1橫指，按壓有酸脹感處"

}，]

}

3 基于Unity3D的系統(tǒng)功能設(shè)計與實現(xiàn)

Unity3D 是由丹麥Unity公司開發(fā)的整合了眾多組件，可跨多種平臺的專業(yè)游戲開發(fā)引擎軟件[14]。使用該軟件開發(fā)的項目只需要做簡單的修改即可在PC，iOS，Android，Xbox等多平臺發(fā)布運行，軟件界面簡單友好，功能強大。

3.1 系統(tǒng)功能總體設(shè)計

本研究以 “天池穴”為例，對虛擬針灸教學演示系統(tǒng)進行功能設(shè)計，系統(tǒng)建模和人機交互中存在的關(guān)鍵技術(shù)進行設(shè)計研究。本演示系統(tǒng)主要實現(xiàn)基于HTC VIVE設(shè)備的虛擬3D人體的自由旋轉(zhuǎn)觀察，UI界面實時顯示取穴名稱，位置及主治病癥，UI顯示部分設(shè)計主要在Unity中結(jié)合HTC VIVE頭戴顯示器實現(xiàn)，在此不做重點陳述。

3.2 系統(tǒng)項目開發(fā)與實現(xiàn)

3.2.1 VIVE手柄檢測使用

根據(jù)項目設(shè)計要求，本項目主要使用VIVE手柄的Trigger扳機按鈕和Touchpad觸摸板實現(xiàn)人機交互功能。在VIVE Input Utility插件中，VIVE手柄上的每個按鈕都提供了GetPress（）、GetPressUp（）、GetPressDown（）三種API接口方法，分別表示三種按下狀態(tài)（一直按著觸發(fā)、抬起瞬間觸發(fā)和按下瞬間觸發(fā)），返回類型為bool，每個方法都傳遞的兩個枚舉參數(shù)，HandRole枚舉選擇控制的左右手柄，用ControllerButton枚舉來確定使用哪個按鈕。

同時提供獲取TouchPad觸摸模擬坐標的API接口VIVEInput.GetPadAxis（），返回的是Vector2類型的二維坐標數(shù)值。以觸摸板圓心為原點建立虛擬二維坐標系，當手指觸摸到圓形觸摸板的任意位置時，即可以計算出每次觸摸的移動量。手柄按鈕和觸摸板返回虛擬坐標值的示意如下圖2所示。

3.2.2 虛擬人體模型的三維瀏覽查看

通過使用Touchpad上下左右觸摸滑動，模擬鼠標的移動，用以控制虛擬人體模型圍繞X軸（左右方向）上下旋轉(zhuǎn)和Y軸（上下方向）左右旋轉(zhuǎn)，實現(xiàn)對人體上穴位的全方位查看。新建模型控制腳本代碼，并掛載到人體模型組件，方便對其代碼控制。以右手柄的觸摸板為例，部分代碼如下：

if（VIVEInput.GetPadTouchAxis（HandRole.RightHand） ！= null）

{

if （（y > 90f && y 〈 270f） || （y 〈 -90f && y > -270f））

{x -= VIVEInput.GetPadTouchVector（HandRole.RightHand）.x * xSpeed;

//xSpeed 調(diào)整旋轉(zhuǎn)的靈敏度值}

else

{ ?x += VIVEInput.GetPadTouchVector（HandRole.RightHand）.x * xSpeed; }

x = Mathf.Clamp（x， xMin， xMax）; ?//限制x值變化大小

rotation = Quaternion.Euler（x， y， 0）;

transform.rotation = rotation; ?//設(shè)置新的旋轉(zhuǎn)數(shù)值

}

3.2.3 穴位點擊查詢功能實現(xiàn)

通過手柄發(fā)出射線，如果擊中穴位，UI界面即可顯示該穴位的所有信息。對于實現(xiàn)該功能有兩種方法。

（一） 對每一個表示穴位的球體模型添加一個腳本文件，用以檢測是否被射線擊中，從而查找顯示該穴位對應(yīng)的名稱和詳細信息。

（二） 手柄發(fā)出的射線碰撞到模型Tag為acupoint的穴位后，可將該穴位ID作為返回參數(shù)傳遞給AcupointInfoManager腳本程序中穴位解析程序，從而查找顯示該穴位對應(yīng)的名稱和詳細信息。

盡管第一種方法查詢穴位檢測射線的軟件計算效率最高，但是對于一個含有362個醫(yī)用穴位的虛擬人體模型來說，工作量較大，開發(fā)周期較長，所以很顯然第二種方法的開發(fā)效率較高，本研究設(shè)計采用第二種方法進行交互查詢功能的軟件設(shè)計。交互功能的邏輯流程描述如下圖3所示。

3.2.4 JSON數(shù)據(jù)解析

將JSON .NET For Unity軟件包，下載導(dǎo)入到Unity項目工程中，在編寫穴位信息數(shù)據(jù)管理腳本代碼時需要引入其命名空間using Newtonsoft.JSON，即可正常使用解析JSON數(shù)據(jù)格式。程序代碼主要邏輯流程為：獲取數(shù)據(jù)文件所在項目工程地址，根據(jù)地址代碼讀取TXT穴位信息， 對數(shù)據(jù)信息反序列化，即可通過穴位的ID查找相對應(yīng)穴位的詳細信息，傳遞給UI顯示代碼，通過UI界面完整顯示獲取的穴位信息，軟件最終的顯示效果如圖4所示。

4 總結(jié)

在傳統(tǒng)中醫(yī)理論教學中，如何將大量的需要記憶的理論知識（尤其是針灸穴位的理論知識[15]），更有效地傳授給學生，一直以來都是廣大中醫(yī)教學工作者的工作和研究重點。隨著計算機技術(shù)快速地發(fā)展，新技術(shù)新設(shè)備更多地應(yīng)用于教學工作，能更好地輔助教學，提高教學效率。本研究嘗試將虛擬現(xiàn)實技術(shù)應(yīng)用于針灸理論教學，學生與硬件設(shè)備的人機交互，增強學生學習興趣，同時加強對穴位內(nèi)容的記憶。

本研究簡介虛擬現(xiàn)實技術(shù)及其特點和主流的VR設(shè)備，設(shè)計建立基于JSON的穴位存儲表達模型，在Unity3D軟件中完成系統(tǒng)的設(shè)計實現(xiàn)。其側(cè)重點在于人機交互功能和穴位信息的存儲查詢功能的實現(xiàn)，目前系統(tǒng)功能基本滿足設(shè)計要求。

不足之處：目前本研究只是完成關(guān)鍵技術(shù)的設(shè)計和實現(xiàn)，對整個教學軟件的細節(jié)還未做具體完善，比如模型細節(jié)的修改、穴位信息的補充、UI界面動畫的精細制作等。相信隨著不斷地完善設(shè)計修改，能為中醫(yī)針灸提供更好的教學輔助方式，同時也為今后中醫(yī)藥教學創(chuàng)新應(yīng)用改革提供了新思路。

參考文獻

[1] 石學敏.針灸學[M].北京：中國中醫(yī)藥出版社， 2002：136.

[2] 孫忠人，田洪昭，尹洪娜，等. 基于“醫(yī)工結(jié)合”探討針灸發(fā)展演變[J].中華中醫(yī)藥雜志，2019，34（3）：1117-1119.

[3] 蔡曉雯，黃泳，曲姍姍，等.虛擬現(xiàn)實技術(shù)在中醫(yī)針灸教學中的運用[J].河北中醫(yī)，2017，39（11）：1758-1760.

[4] 辛思源，昝程，郭建恩，等.中醫(yī)針灸電子腧穴掛圖信息系統(tǒng)的研發(fā)與虛擬教學應(yīng)用[J].教育教學論壇，2018（1）：259-260.

[5] 李曉旭. 基于VR技術(shù)的針灸銅人中醫(yī)知識可視化研究[D].武漢：華中師范大學，2017.

[6] 張文元，李曉旭，談國新，等.針灸銅人三維可視化研究與應(yīng)用[J].計算機應(yīng)用研究，2019，36（7）：2054-2058.

[7] Sutherland I E. The ultimate display[J]. Multimedia： From Wagner to virtual reality， 1965： 506-508.

[8] 趙沁平.虛擬現(xiàn)實綜述[J].中國科學（F輯：信息科學），2009，39（1）：2-46.

[9] Heim M. The metaphysics of virtual reality[M]. Oxfold：Oxford University Press， 1994.

[10] Burdea G C， Coiffet P. Virtual reality technology[M]. New York：John Wiley & Sons， 2003.

[11] 陳東林，劉昊，任志剛.基于HTC VIVE的上肢康復(fù)虛擬訓(xùn)練系統(tǒng)研究[J].北京服裝學院學報（自然科學版），2018，38（2）：52-57.

[12] 吳中朝.人體經(jīng)絡(luò)穴位標注大圖冊[M].上海：科學技術(shù)文獻出版社，2015：34.

[13] 張滬寅，屈乾松，胡瑞蕓.基于JSON的數(shù)據(jù)交換模型[J].計算機工程與設(shè)計，2015，36（12）：3380-3384.

[14] 張季，張宏如，董海艷，等. 基于Unity3D技術(shù)的數(shù)字人體腧穴教學信息系統(tǒng)的設(shè)計與實現(xiàn)[J]. 中國醫(yī)學教育技術(shù)，2014（2）：139-142.

[15] 戴紅芬，肖駿，周小莉，等.虛擬現(xiàn)實技術(shù)在中醫(yī)教學中的應(yīng)用及其發(fā)展研究[J].當代醫(yī)學，2018，24（3）：169-171.

（收稿日期： 2019.10.29）