淺談搭建虛擬現(xiàn)實(shí)醫(yī)療教育平臺(tái)的技術(shù)思路與實(shí)施方案

費(fèi)杰　郭楠楠　王一凡　郭啟航

【摘 要】VR虛擬現(xiàn)實(shí)作為一項(xiàng)世界前沿的科學(xué)技術(shù)，將醫(yī)療、教育行業(yè)與之結(jié)合能夠產(chǎn)生巨大的發(fā)展空間和社會(huì)效益。本文以虛擬現(xiàn)實(shí)醫(yī)療教育平臺(tái)為論述載體，著重介紹了平臺(tái)搭建的技術(shù)思路和實(shí)施方案，并得出以下結(jié)論：利用三維重建技術(shù)、眼控交互技術(shù)、以及逼真的儀器操作感，以VR眼鏡為媒介在醫(yī)學(xué)教育、中小學(xué)公益教育等方面的應(yīng)用，將會(huì)產(chǎn)生重大積極影響，既能以一種全新的方式提高醫(yī)學(xué)教育和培訓(xùn)的效率，同時(shí)在推廣虛擬現(xiàn)實(shí)治療、公益教育項(xiàng)目上具有很大的社會(huì)價(jià)值和研究意義。

【關(guān)鍵詞】虛擬現(xiàn)實(shí)；醫(yī)療教育平臺(tái)；技術(shù)思路；實(shí)施方案；效率

中圖分類(lèi)號(hào)： TP391.9 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2017）20-0123-002

A Brief Discussion on the Technical Thinking and Implementation Plan of Virtual

Reality Medical Education Platform

FEI Jie GUO Nan-Nan WANG Yi-fan GUO Qi-hang

（School of medical imaging，Xuzhou Medical University，Xuzhou Jiangsu 221004，China）

【Abstract】VR virtual reality as a world frontier science and technology，the combination of medical treatment and education industry can produce great development space and social benefit.This paper with the virtual reality medical education platform for the carrier，emphatically introduces the platform to build technical train of thought and implementation plan，and draw the following conclusion：the use of 3 d reconstruction technology，eye accused of interactive technology，and realistic sense of instrument operation，VR glasses as medium in the medical application of aspects such as education，public welfare education of primary and secondary schools，will have a significant positive impact，both to a whole new way to enhance the efficiency of medical education and training，at the same time in the promotion of virtual reality therapy，public education project has great social value and research significance.

【Key words】Virtual reality；Medical education platform；Technical thinking；Implementation plan；Efficiency

0 前言

據(jù)部分相關(guān)信息統(tǒng)計(jì)，2016年第一季度，中國(guó)VR投資達(dá)18億人民幣，業(yè)內(nèi)人士預(yù)計(jì)，今年是中國(guó)VR產(chǎn)業(yè)爆發(fā)元年，而未來(lái)四年，市場(chǎng)規(guī)模將增長(zhǎng)36倍至550億人民幣；而教育方面，VR技術(shù)與醫(yī)學(xué)的結(jié)合研究如今基本只停留在實(shí)驗(yàn)室階段，并沒(méi)有全面推廣應(yīng)用。在國(guó)外如美國(guó)加州健康科學(xué)西部大學(xué)（波莫納）、圣澤維爾學(xué)校、美國(guó)頂尖設(shè)計(jì)科格威爾大學(xué)都開(kāi)始采用VR教育這一新型教學(xué)方式，越來(lái)越多的人開(kāi)始認(rèn)可并且接受VR教學(xué)。而在國(guó)內(nèi)VR教育還處于行業(yè)起步期，無(wú)論是設(shè)備技術(shù)的成熟程度，消費(fèi)級(jí)產(chǎn)品的受市場(chǎng)認(rèn)可程度還是注入內(nèi)容的豐富程度，都與大規(guī)模的推廣還有一定距離。因此，此時(shí)VR+教育的聯(lián)動(dòng)將會(huì)有更好的發(fā)展趨勢(shì)。

1 技術(shù)思路

三維重建技術(shù)

綜合了多層面重建（MPR）、最大密度投影（MIP）、表面陰影遮蓋（SSD）、容積漫游技術(shù)（VRT）、曲面重建（CPR）、虛擬內(nèi)鏡技術(shù)（VE）等技術(shù)的優(yōu)點(diǎn)，使得掃描身體任意部位的二維斷層圖像都能夠精確得到全方位的三維立體圖像。

IC-3D封裝技術(shù)

3D封裝技術(shù)與傳統(tǒng)封裝技術(shù)相較而言，尺寸和重量方面縮短達(dá)40-50倍；速度方面，3D元件每秒可以進(jìn)行更快的速度運(yùn)轉(zhuǎn)而不增加能耗，而且在寄生性和方法以及硅片后處理等方面都有著顯著的優(yōu)勢(shì)。將IC-3D封裝技術(shù)應(yīng)用于VR產(chǎn)品對(duì)本項(xiàng)目而言是一個(gè)很好的發(fā)展基礎(chǔ)， VR產(chǎn)品在數(shù)據(jù)的采集、運(yùn)算、分析、存儲(chǔ)、傳輸?shù)确矫嬲加忻黠@優(yōu)勢(shì)，能夠進(jìn)一步豐富擴(kuò)展VR的功能以及應(yīng)用。

實(shí)時(shí)3D圖像捕獲技術(shù)

利用機(jī)載計(jì)算機(jī)視頻、網(wǎng)絡(luò)攝像頭、頭盔式攝像頭或其它任何視頻捕捉設(shè)備即時(shí)捕捉人物的臉部表情，即讀取選定的視頻中的信息，以任何幀速率運(yùn)行，跟蹤并分析出面部表情的數(shù)值，然后把該表情傳送至VR頭盔里，并且能通過(guò)手勢(shì)對(duì)其進(jìn)行捏造，類(lèi)似3D游戲中的“捏臉”技術(shù)。

Unity 3D 與 VR技術(shù)

Unity3D是由Unity Technologies開(kāi)發(fā)的多平臺(tái)綜合游戲開(kāi)發(fā)工具，是一個(gè)全面整合的專(zhuān)業(yè)游戲引擎。其編輯器運(yùn)行在Windows和Mac OS X下，可發(fā)布游戲至 Windows、Mac、Wii、iPhone、WebGL（需要HTML5）、Windows phone 8和Android平臺(tái)。也可以利用Unity web player插件發(fā)布網(wǎng)頁(yè)游戲，支持Mac和Windows的網(wǎng)頁(yè)瀏覽。利用Unity3D開(kāi)發(fā)虛擬現(xiàn)實(shí)所需要的環(huán)境，美工組進(jìn)行模型制作與渲染，程序員進(jìn)行邏輯開(kāi)發(fā)與編輯，測(cè)試員進(jìn)行性能測(cè)試，方可導(dǎo)出適合移動(dòng)端、PC端運(yùn)行的軟件，并且后期軟件的FPS都保持在一個(gè)正常位，避免因?yàn)檠舆t而產(chǎn)生暈眩的感覺(jué)。endprint

微信程序開(kāi)發(fā)

利用微信提供的開(kāi)發(fā)者工具，建立微信小程序，即用JS調(diào)用底層native組件，這是一種全新的連接用戶(hù)與服務(wù)的方式，它可以在微信內(nèi)被便捷地獲取和傳播，同時(shí)具有出色的使用體驗(yàn)，并且不占用手機(jī)內(nèi)存。

眼控交互

將紅外光源、光學(xué)傳感器、圖像處理器、試點(diǎn)計(jì)算核心內(nèi)置于眼控儀，創(chuàng)建出對(duì)應(yīng)的圖像投射到人眼上，捕獲用戶(hù)頭部、眼睛的圖像信息，提取捕獲圖像的特征，就可以精確計(jì)算注視點(diǎn)的位置，使得癱患者可以通過(guò)眼鏡瀏覽網(wǎng)頁(yè)打字，獨(dú)特的追蹤算法可以高效追蹤畫(huà)面中任何選定對(duì)象，即使在光線差、清晰度低的環(huán)境，用戶(hù)體驗(yàn)效果也很好。

手勢(shì)跟蹤

采用數(shù)據(jù)手套，一般在手套上集成了慣性傳感器來(lái)跟蹤用戶(hù)的手指乃至整個(gè)手臂的運(yùn)動(dòng)。它的優(yōu)勢(shì)在于沒(méi)有視場(chǎng)限制，而且完全可以在設(shè)備上集成反饋機(jī)制（比如震動(dòng)和觸摸）。它本身需要穿脫設(shè)備的缺陷，可替換成穿脫手套，使得VR手術(shù)的模擬更有實(shí)感，操作更加逼真。

2 實(shí)施方案

2.1 VR醫(yī)學(xué)教育

2.1.1 病理學(xué)

以VR-MEDICAL為開(kāi)發(fā)平臺(tái)，結(jié)合臨床病理醫(yī)學(xué)數(shù)據(jù)支持，將3D沉浸體驗(yàn)運(yùn)用到痛苦系數(shù)偏高的患者，譬如兒童燒傷患者等的輔助治療中，能夠分散重癥患者的注意力并減少止痛藥的使用；基于數(shù)字化病理系統(tǒng)及數(shù)據(jù)庫(kù)的支持，利用虛擬現(xiàn)實(shí)技術(shù)為用戶(hù)開(kāi)發(fā)制定病理組織切片數(shù)據(jù)虛擬現(xiàn)實(shí)可視化解決方案。

2.1.2 心理學(xué)

①VR恐懼接觸療法：讓用戶(hù)站在高臺(tái)上去對(duì)抗恐高， 或是展示一段飛機(jī)上的體驗(yàn)來(lái)對(duì)抗暈機(jī)。

②VR同情聚焦療法：利用沉浸式虛擬現(xiàn)實(shí)技術(shù)，被試可以從安撫者轉(zhuǎn)化為自己安撫的對(duì)象，從而間接地對(duì)自己表達(dá)同情。這是傳統(tǒng)心理治療方法難以做到的事。

③輔助多種需要轉(zhuǎn)換視角的心理治療，如創(chuàng)傷后應(yīng)激障礙（PTSD）的治療。

④拓展傳統(tǒng)的心理治療，比如圖式療法（Schema Therapy）、格式塔空椅子療法等等。

2.1.3 生理學(xué)

通過(guò)對(duì)人體器官進(jìn)行建模，并且結(jié)合人衛(wèi)版教材制作一套完整的醫(yī)學(xué)教學(xué)資源，使教學(xué)更為方便、直觀，不受教學(xué)場(chǎng)地時(shí)間限制，顯著提高學(xué)生的學(xué)習(xí)效率；

2.1.4 外科

通過(guò)搜集真實(shí)病例，打造3D模型，使醫(yī)學(xué)生能夠不斷在手機(jī)、平板、電腦上練習(xí)手術(shù)所必備的手眼協(xié)調(diào)能力，同時(shí)讓患者能夠熟悉整個(gè)流程，例如內(nèi)窺鏡、微創(chuàng)手術(shù)、光纖喉鏡。并且在每一次手術(shù)過(guò)后予以此次手術(shù)評(píng)分，從而判斷手術(shù)好壞程度。

2.2 VR-3D圖像重組

醫(yī)生可以通過(guò)VR眼鏡掃描CT圖像、核磁共振圖像等斷層掃描圖像，然后經(jīng)由3D設(shè)計(jì)替代單芯片封裝內(nèi)置集成芯片，進(jìn)行二維圖像―數(shù)據(jù)―三維圖像的快速傳輸并且儲(chǔ)存。并且醫(yī)生也可通過(guò)手勢(shì)命令，聲音命令等指令完成對(duì)3D物體成像的平移、旋轉(zhuǎn)、縮放等一系列操作，從而對(duì)病情做出更精準(zhǔn)的診斷。通過(guò)存儲(chǔ)的信息，醫(yī)生可以及時(shí)的了解病患的病史以及分析病情的變化。

2.3 VR醫(yī)學(xué)設(shè)備操作模擬

針對(duì)醫(yī)療機(jī)構(gòu)和醫(yī)學(xué)背景院校，打造專(zhuān)業(yè)的虛擬現(xiàn)實(shí)教學(xué)與科研的綜合實(shí)訓(xùn)室。并結(jié)合不同醫(yī)學(xué)領(lǐng)域知識(shí)特點(diǎn)，制作各類(lèi)高精度三維模型及動(dòng)畫(huà)；同時(shí)根據(jù)用戶(hù)需求及課程知識(shí)需要，開(kāi)發(fā)用戶(hù)定制版的虛擬現(xiàn)實(shí)互動(dòng)教學(xué)平臺(tái)；提供環(huán)幕、穹幕顯示設(shè)備架構(gòu)設(shè)計(jì)，立體投影設(shè)備及各類(lèi)互動(dòng)硬件，使用戶(hù)通過(guò)傳統(tǒng)的PC或者VR交互設(shè)備進(jìn)行模擬操作；根據(jù)實(shí)地測(cè)距，為用戶(hù)量身打造最佳的沉浸式體驗(yàn)效果。于臨床檢驗(yàn)、診斷、心理學(xué)、病理學(xué)、外科等實(shí)訓(xùn)費(fèi)用高或?qū)嵱?xùn)資源緊張的專(zhuān)業(yè)領(lǐng)域，在有效減少實(shí)操教學(xué)成本與風(fēng)險(xiǎn)的同時(shí)，加強(qiáng)受訓(xùn)人員及學(xué)生的技能熟練程度，提高教學(xué)實(shí)訓(xùn)效率。

2.4 中小學(xué)虛擬現(xiàn)實(shí)公益教育

主要以課程為載體，通過(guò)對(duì)不同突發(fā)狀況的場(chǎng)景建模，針對(duì)中小學(xué)生進(jìn)行虛擬現(xiàn)實(shí)應(yīng)急救護(hù)知識(shí)普及與技能培訓(xùn)，培養(yǎng)學(xué)生的解決突發(fā)情況、做到自我保護(hù)，集創(chuàng)新教育、體驗(yàn)教育、項(xiàng)目學(xué)習(xí)等思想為一體；契合學(xué)生富有好奇心和創(chuàng)造力的天性，推廣中小學(xué)創(chuàng)客公益教育。

3 結(jié)束語(yǔ)

在互聯(lián)網(wǎng)和電子技術(shù)飛速發(fā)展的新形勢(shì)下，國(guó)家正積極推動(dòng)發(fā)展“智慧醫(yī)療”、“智慧教育”，將新穎的虛擬現(xiàn)實(shí)技術(shù)與醫(yī)療教育等 相結(jié)合十分符合社會(huì)和科學(xué)的發(fā)展。本文結(jié)合現(xiàn)代技術(shù)，詳細(xì)敘述了搭建虛擬現(xiàn)實(shí)醫(yī)療教育平臺(tái)的技術(shù)思路與實(shí)施方案，使得虛擬現(xiàn)實(shí)醫(yī)療教育平臺(tái)能夠更加直觀的呈現(xiàn)其作用和效力，體現(xiàn)出智能高效、技術(shù)領(lǐng)先、反饋及時(shí)、功能強(qiáng)大、實(shí)用性強(qiáng)等特點(diǎn)，為后續(xù)的發(fā)展提供了可靠的依據(jù)和指導(dǎo)。

【參考文獻(xiàn)】

[1]上官艷麗，賈興民.虛擬現(xiàn)實(shí)的實(shí)現(xiàn)技術(shù)[J].三門(mén)峽職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2003，2（4）：70—72.

[2]曾建超，等.虛擬現(xiàn)實(shí)的技術(shù)及其應(yīng)用[M].北京，清華大學(xué)出版社，1996.

[3]袁紅亮.虛擬環(huán)境真實(shí)感表現(xiàn)方法的研究及應(yīng)用[D].2004.

[4]劉學(xué)慧，吳恩華.虛擬現(xiàn)實(shí)的圖形生成技術(shù)[J].1997（4）：205-212.

鮑虎軍.虛擬現(xiàn)實(shí)技術(shù)概論[J].中國(guó)基礎(chǔ)科學(xué)，2003（3）：26-32.

[5]郭天太，王引童.虛擬現(xiàn)實(shí)技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)[J].機(jī)械制造，2003（6）：7-9.

[6]武娟，劉曉軍，龐濤，等.虛擬現(xiàn)實(shí)現(xiàn)狀綜述和關(guān)鍵技術(shù)研究[J].廣東通信技術(shù)，2016，36（8）：40—46.

[7]戴紅芬，吳斌，金偉偉.基于Unity3D虛擬現(xiàn)實(shí)技術(shù)的心血管介入仿真模擬系統(tǒng)[J].中國(guó)胸心血管外科臨床雜志，2016（11）：1092-1098.

[8]劉登均，李爭(zhēng)燕.虛擬現(xiàn)實(shí)技術(shù)在現(xiàn)代外科中的應(yīng)用[J].中國(guó)數(shù)字醫(yī)學(xué)，2012，7（11）：59—61.

[9]莫海燕，劉靜，曹慧，等.虛擬現(xiàn)實(shí)技術(shù)在康復(fù)醫(yī)學(xué)中的應(yīng)用與發(fā)展[J]醫(yī)療衛(wèi)生裝備，2014，35（11）：100—102.

[10]鄭俊，侯文生.虛擬現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)中的應(yīng)用[J].1997（3）：56-60.endprint