虛擬現(xiàn)實(shí)技術(shù)在中醫(yī)針灸教學(xué)中的應(yīng)用

廣西醫(yī)科大學(xué) 陸春雨 丁穗娟

“虛擬現(xiàn)實(shí)+教育”是當(dāng)前社會(huì)熱點(diǎn)之一，把虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到中醫(yī)針灸教學(xué)中，是醫(yī)學(xué)教育發(fā)展的必然趨勢(shì)。本文主要介紹了虛擬現(xiàn)實(shí)技術(shù)及其在針灸教學(xué)中的應(yīng)用，并對(duì)其優(yōu)勢(shì)與不足進(jìn)行了探討。

目前，國(guó)內(nèi)中醫(yī)針灸教學(xué)仍然采用紙質(zhì)化的平面教材為主，再配合一些圖片、視頻、音頻，加上課時(shí)較少而教學(xué)內(nèi)容偏多，學(xué)生對(duì)于經(jīng)脈循行、腧穴定位等知識(shí)的理解往往浮于表面。虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用為傳統(tǒng)課堂教學(xué)帶來了可喜的變化，使基礎(chǔ)理論教學(xué)更加形象、針刺實(shí)踐操作更具體、課堂教學(xué)過程變得更有趣、實(shí)踐技能的考核變得更客觀。

虛擬現(xiàn)實(shí)技術(shù)（VR）是綜合運(yùn)用計(jì)算機(jī)圖形技術(shù)、人機(jī)交互技術(shù)、多媒體技術(shù)、仿真技術(shù)、傳感器技術(shù)、網(wǎng)絡(luò)技術(shù)等多種科技創(chuàng)造出一個(gè)虛擬的場(chǎng)景，這個(gè)場(chǎng)景可以是過去曾經(jīng)存在過但現(xiàn)在已經(jīng)消失不見的，也可以是現(xiàn)實(shí)中能看到卻不易到達(dá)的，還可以是未來可能會(huì)出現(xiàn)的或只存在于人們的想象中的。當(dāng)人們置身于這樣一個(gè)虛擬世界中，所看到的、所聽到的、所觸摸到的、甚至所聞到的都近乎真實(shí)，讓人沉浸其中，獲得前所未有的體驗(yàn)。

虛擬現(xiàn)實(shí)技術(shù)有三個(gè)基本特征，通常被稱為“3I”，即沉浸感、交互性和構(gòu)想性。沉浸感是指人機(jī)自然交互，如同在現(xiàn)實(shí)世界中的交互一樣，人體的多種感官（視、聽、嗅、味、觸等）無法分辨該場(chǎng)景是現(xiàn)實(shí)的還是虛擬的，從而讓人沉浸其中；交互性是指參與者能通過手柄或手勢(shì)來操縱虛擬場(chǎng)景中的物體，并得到自然的反饋，從而使虛擬場(chǎng)景發(fā)生改變；構(gòu)想性是指參與者在虛擬場(chǎng)景中不斷地交互，獲得的感性與理性的認(rèn)知也在不斷增加，從而產(chǎn)生構(gòu)想，萌發(fā)出新意。

虛擬現(xiàn)實(shí)技術(shù)包括三個(gè)主要方面：實(shí)物虛化、虛物實(shí)化以及高性能計(jì)算處理。實(shí)物虛化是把真實(shí)世界映射到數(shù)字世界中，虛擬出一個(gè)具有真實(shí)感的世界，并且能檢測(cè)用戶的操作，獲取用戶的操作數(shù)據(jù)。它包括基本模型構(gòu)建技術(shù)（在虛擬世界中重構(gòu)真實(shí)世界中的物體，并保留其物理屬性）、空間跟蹤技術(shù)（通過空間傳感器確定用戶在虛擬世界中的方向、位置等）、聲音跟蹤技術(shù)（聲源不同，聲音到達(dá)某個(gè)地點(diǎn)存在時(shí)間、相位等的差別，以此進(jìn)行跟蹤）和視覺跟蹤與視點(diǎn)感應(yīng)技術(shù)（光在不同的時(shí)刻和位置會(huì)在圖像投影平面上產(chǎn)生不同的投影，以此可計(jì)算對(duì)象的位置和方向）。虛物實(shí)化是指用戶的各種感覺（視、聽、觸等）接近真實(shí)，這是產(chǎn)生沉浸感的關(guān)鍵。比如用戶對(duì)某個(gè)虛擬物體施加了作用力，要能清晰地感受到反作用力的大小、方向等。高性能計(jì)算處理是指為實(shí)現(xiàn)實(shí)物虛化和虛物實(shí)化，需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)預(yù)處理。包括圖形圖像實(shí)時(shí)渲染；聲音合成和空間化；數(shù)據(jù)標(biāo)準(zhǔn)化、轉(zhuǎn)換、壓縮、生成數(shù)據(jù)庫(kù)；各種模式識(shí)別，如語(yǔ)音識(shí)別、手勢(shì)識(shí)別、人臉識(shí)別等；自組織神經(jīng)網(wǎng)絡(luò)、遺傳算法；分布式計(jì)算、高速無線網(wǎng)絡(luò)技術(shù)等。

1 虛擬現(xiàn)實(shí)技術(shù)在針灸教學(xué)中的應(yīng)用

南方醫(yī)科大學(xué)的蔡曉雯等結(jié)合長(zhǎng)期的教學(xué)經(jīng)驗(yàn)，對(duì)虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到針灸教學(xué)中提出了一些設(shè)想，分為初級(jí)學(xué)習(xí)型VR、綜合提高型VR、游戲型VR、執(zhí)業(yè)醫(yī)師考試模擬、繼續(xù)教育等五個(gè)方面。初級(jí)學(xué)習(xí)型VR涵蓋基本知識(shí)點(diǎn)，重在初級(jí)操作和交互，培養(yǎng)學(xué)生的發(fā)散思維，彌補(bǔ)傳統(tǒng)教學(xué)的不足。綜合提高型VR基于臨床實(shí)際病例，創(chuàng)建仿真醫(yī)療情境，培養(yǎng)學(xué)生的臨床思維，幫助學(xué)生完成書本學(xué)習(xí)到臨床實(shí)習(xí)的過渡，緩解見習(xí)前的緊張，減輕見習(xí)教學(xué)的壓力。游戲型VR則主要用于學(xué)生在碎片時(shí)間鞏固需要大量記憶的知識(shí)（經(jīng)絡(luò)循行、腧穴定位、功效主治等），用游戲任務(wù)的方式輕松完成，寓教于樂，事半功倍。執(zhí)業(yè)醫(yī)師考試中有實(shí)踐技能的考核，可以用VR進(jìn)行模擬，考生可以反復(fù)訓(xùn)練，甚至為個(gè)人量身定制訓(xùn)練方案，節(jié)省場(chǎng)地、人力、費(fèi)用。學(xué)生在畢業(yè)后走上醫(yī)務(wù)工作崗位，可以通過VR技術(shù)繼續(xù)深造，了解學(xué)科最新進(jìn)展，身臨其境地遠(yuǎn)程觀摩專家會(huì)診、針灸過程等，有助于提高業(yè)務(wù)水平。

第二軍醫(yī)大學(xué)的羅虹等開發(fā)的《腕踝針虛擬教學(xué)系統(tǒng)》是把Poser中的人體三維模型導(dǎo)入到3ds Max中進(jìn)行加工，再導(dǎo)入到Virtools里，用BB行為模塊和VSL腳本制作交互，最后通過Dreamweaver集成并發(fā)布。該系統(tǒng)應(yīng)用于本科教學(xué)后，超過百分之八十的學(xué)生認(rèn)為它更有利于知識(shí)傳達(dá)；超過百分之七十的學(xué)生認(rèn)為它有助于提高教學(xué)效果和效率，更適合輔助教學(xué)，能提高自己的信息技術(shù)和探究能力；將近百分之七十的學(xué)生認(rèn)為它的優(yōu)勢(shì)首先在于直觀性，其次是交互性還有趣味性。

天津中醫(yī)藥大學(xué)的張硯等設(shè)計(jì)開發(fā)的虛擬針灸取穴實(shí)訓(xùn)系統(tǒng)使用3ds Max建模（人體、經(jīng)絡(luò)、穴位等），然后導(dǎo)入到VRMLPad中，使用Java編程，添加穴位文字顯示、語(yǔ)音名稱提示等交互功能，最后發(fā)布為一個(gè)可執(zhí)行文件，能在瀏覽器中運(yùn)行。學(xué)習(xí)者通過鼠標(biāo)操作人體，可以從任意角度進(jìn)行觀察，反復(fù)進(jìn)行認(rèn)穴、取穴練習(xí)，為今后的針灸實(shí)訓(xùn)打好基礎(chǔ)。

上海同濟(jì)大學(xué)的姜雨晨等建立的虛擬針刺力反饋系統(tǒng)人機(jī)互動(dòng)操作平臺(tái)，用VOXEL-MAN虛擬人體開發(fā)平臺(tái)開發(fā)出針灸學(xué)三維瀏覽器，運(yùn)用圖形與圖像處理技術(shù)和力反饋技術(shù)進(jìn)行人體組織建模。通過顯示器，操作者能看到毫針扎進(jìn)虛擬的皮膚和肌肉時(shí)，皮膚和肌肉發(fā)生形變的整個(gè)過程，實(shí)現(xiàn)針刺視覺再現(xiàn)。同時(shí)，通過Falcon力反饋設(shè)備，操作者能感受到反作用力，而且毫針扎進(jìn)皮膚、穿過皮下組織、到達(dá)肌肉，這期間能明顯感到力的變化，隨層次遞進(jìn)，實(shí)現(xiàn)了針刺的觸覺再現(xiàn)，體驗(yàn)相當(dāng)真實(shí)。

山東中醫(yī)藥大學(xué)的朱琳等設(shè)計(jì)了基于Leap Motion體感控制器的三維經(jīng)絡(luò)輔助教學(xué)系統(tǒng)。先用3ds Max建立仿真的3D人體模型，再采集穴位位置（用OpenGL的定位函數(shù)將二維坐標(biāo)轉(zhuǎn)換為三維坐標(biāo)）和穴位信息（用戶輸入后存儲(chǔ)到My SQL數(shù)據(jù)庫(kù)中，通過交互操作觸發(fā)，讀取相應(yīng)信息）。Leap Motion體感控制器通過采集使用者的手勢(shì)在空間的運(yùn)動(dòng)數(shù)據(jù)，操作三維對(duì)象。使用者通過手勢(shì)可以旋轉(zhuǎn)人體模型，從各個(gè)角度察看經(jīng)絡(luò)；選中某條經(jīng)絡(luò)時(shí)，其循行路線信息就會(huì)展示出來；選中某個(gè)穴位時(shí)，該穴位的詳細(xì)信息就會(huì)出現(xiàn)在系統(tǒng)界面上。這樣教師就可以直觀、精確地呈現(xiàn)經(jīng)絡(luò)內(nèi)容，清晰生動(dòng)地展示、講解人體穴位。

天津大學(xué)的崔晨暉設(shè)計(jì)了一套基于Oculus頭盔和Leap Motion設(shè)備虛擬中醫(yī)針灸訓(xùn)練系統(tǒng)。為解決手勢(shì)識(shí)別不夠精確，使用機(jī)器學(xué)習(xí)分類訓(xùn)練的算法，把準(zhǔn)確率高的模型篩選出來，再應(yīng)用到虛擬場(chǎng)景中。通過沉浸式的虛擬場(chǎng)景和新穎的交互方式，增強(qiáng)了學(xué)生的主動(dòng)學(xué)習(xí)性，從而提高針灸訓(xùn)練的效果。

安徽中醫(yī)藥大學(xué)的高紅磊等設(shè)計(jì)了一套虛擬針灸教學(xué)軟件。用3ds Max制作人體三維模型，用Unity3D建立虛擬場(chǎng)景。使用者佩戴HTC VIVE的頭盔，可以自由觀察虛擬的3D人體。通過HTC VIVE的手柄發(fā)出射線，當(dāng)射線擊中某個(gè)穴位時(shí)，UI界面即可顯示該穴位的相關(guān)信息，如名稱、位置及主治病癥等（這些信息使用JSON語(yǔ)言存儲(chǔ)管理，通過穴位ID進(jìn)行查找，然后傳遞給UI）。

華中師范大學(xué)的張文元等開發(fā)了針灸銅人虛擬交互展示系統(tǒng)。該系統(tǒng)以湖北省博物館珍藏的腧穴針灸銅人為對(duì)象，用手持式三維激光掃描儀進(jìn)行非接觸式掃描，獲得三維點(diǎn)云數(shù)據(jù)。再使用專業(yè)軟件進(jìn)行配準(zhǔn)和去噪等處理，保存為Obj格式文件，導(dǎo)入到3ds Max中。然后用高清相機(jī)從不同角度對(duì)針灸銅人實(shí)物進(jìn)行拍照，獲得高清圖片，導(dǎo)入PS進(jìn)行處理，再導(dǎo)入到3ds Max中進(jìn)行貼圖烘焙操作。針灸銅人的穴位、經(jīng)絡(luò)以及常見病癥等知識(shí)采用XML存儲(chǔ)，用DOM解析可獲得這些信息。針灸銅人的3D模型還需進(jìn)行簡(jiǎn)化以便在網(wǎng)頁(yè)和移動(dòng)終端瀏覽，這里采用了基于改進(jìn)的QEM算法的層次細(xì)節(jié)模型LOD技術(shù)，減少了3萬多個(gè)三角面，大大提高了渲染的效率。最后利用Unity引擎制作虛擬交互，編譯后可發(fā)布到瀏覽器、安卓和蘋果系統(tǒng)等不同應(yīng)用平臺(tái)進(jìn)行展示，實(shí)現(xiàn)了傳統(tǒng)中醫(yī)知識(shí)（穴位、經(jīng)絡(luò)、常見病癥等）的三維可視化和虛擬交互查詢。

廣州中醫(yī)藥大學(xué)的陳玲等把裸眼3D虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到針灸臨床特色技術(shù)實(shí)驗(yàn)教學(xué)中。采用超高清UHD裸眼3D數(shù)碼顯微鏡、超高清立體攝像機(jī)、指向背光超高清裸眼3D顯示設(shè)備，對(duì)針灸名師的針灸操作進(jìn)行拍攝，獲得高分辨率、高清晰度和強(qiáng)立體感的影像，把關(guān)鍵的步驟、具體操作手法、皮膚的細(xì)微變化等實(shí)時(shí)呈現(xiàn)，同時(shí)，進(jìn)針深度等細(xì)節(jié)還會(huì)通過軟件實(shí)時(shí)顯示出來。學(xué)生無需佩戴VR眼鏡或頭盔，即可觀看高清晰3D影像，既避免了視覺疲勞和眩暈，又增加了教學(xué)的趣味性、愉悅性、沉浸感和體驗(yàn)感。

2 小結(jié)

虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于中醫(yī)針灸教學(xué)的優(yōu)勢(shì)明顯：緩解教學(xué)資源緊缺、避免實(shí)驗(yàn)風(fēng)險(xiǎn)、節(jié)約時(shí)間和成本、形象生動(dòng)和接近真實(shí)的操作體驗(yàn)大大促進(jìn)學(xué)生對(duì)知識(shí)點(diǎn)的理解和掌握、更容易提高學(xué)生操作的熟練度等等。同時(shí)，也應(yīng)關(guān)注其不足之處：硬件設(shè)備還需進(jìn)一步完善，VR頭盔太重、久戴不適、分辨率不夠高、易眩暈、價(jià)格昂貴、保養(yǎng)維護(hù)管理成本高等都不利于大量采購(gòu)和推廣；力反饋技術(shù)還不夠成熟；三維模型制作、平臺(tái)開發(fā)，費(fèi)時(shí)費(fèi)力，需要打造專業(yè)教學(xué)團(tuán)隊(duì)相互配合；還需與臨床實(shí)踐更加緊密結(jié)合；多人虛擬現(xiàn)實(shí)還有待進(jìn)一步發(fā)展。