基于Kinect體感系統(tǒng)的虛擬現(xiàn)實技術(shù)在醫(yī)學教育中的可行性初探

陳 晨，王亞平，劉小鴻，楊 璐，李 森

第二軍醫(yī)大學教育技術(shù)中心，上海 200433

多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)在醫(yī)學教育領(lǐng)域中的普及和發(fā)展，已經(jīng)得到了廣泛的認可和好評。基于計算機仿真技術(shù)的“虛擬現(xiàn)實”教學形式，是一種新的教學模式，具有廣闊的發(fā)展前景，代表了教育的未來與發(fā)展方向［1］。研究者希望利用這項全新的技術(shù)來改變傳統(tǒng)教學模式，為醫(yī)學生創(chuàng)造良好的學習環(huán)境和全新的學習方式。

Kinect體感技術(shù)誕生之初便在醫(yī)學領(lǐng)域中得到應(yīng)用。例如醫(yī)學影像操作中的無接觸操控，非觸摸體感方式的病患檢查、遠程外科手術(shù)等。因此，筆者認為Kinect體感系統(tǒng)具備的多種功能特點符合虛擬現(xiàn)實教學形式的實現(xiàn)條件，可以在醫(yī)學教育領(lǐng)域中進行應(yīng)用實現(xiàn)。

1 Kinect體感技術(shù)介紹

Kinect是一種由微軟公司開發(fā)的3D體感攝影機，配套旗下家用視頻游戲主機Xbox360的體感周邊外設(shè)產(chǎn)品，具有實時動態(tài)捕捉、圖像識別、麥克風輸入、語音識別等功能。Kinect有3個鏡頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭則分別為紅外線發(fā)射器和紅外線CMOS攝影機所構(gòu)成的3D深度感應(yīng)器，它依靠相機捕捉三維空間中人體的肢體活動甚至是面部細節(jié)變化。

其工作原理是，使用者面對體感設(shè)備而立，通過設(shè)備內(nèi)一個紅外激光投影鏡頭將一組紅外激光點陣投射到使用者身上，另外兩個紅外線CMOS攝像頭對此進行X軸、Y軸、Z軸的3D深度信息掃描，通過光編碼技術(shù)，用近紅外光對場景進行編碼，形成一個具有三維縱深的“體編碼”(如圖1所示)。這種編碼來自于激光散斑，是當激光照射到粗糙物體或穿透毛玻璃后形成的隨機衍射斑點［2］。以此可分辨使用者、背景以及使用者的動作意圖，簡單說就是用光源照明給需要測量的空間編上碼，再通過三維解碼使之產(chǎn)生立體交互功能。為了使攝像頭更精準地對準使用者，Kinect還配備了馬達和加速度傳感器。

圖1 Kinect實物圖及組件說明

2 Kinect體感技術(shù)的應(yīng)用探索

虛擬現(xiàn)實的交互性、沉浸性、構(gòu)想性等特點需要建立在許多外部硬件設(shè)備的基礎(chǔ)上。例如:建模設(shè)備、顯示設(shè)備、聲音設(shè)備和交互設(shè)備。Kinect體感技術(shù)具備了多種硬件條件和技術(shù)功能，如動態(tài)范圍捕捉、影像識別、麥克風輸入、語音指令、體感控制等;還具備了多種實現(xiàn)虛擬現(xiàn)實技術(shù)的硬件指標，在實際教學中的應(yīng)用將具有很高的價值。

2.1 課堂教學

CAI應(yīng)用于現(xiàn)代醫(yī)學教育，尤其是課堂理論教學，具有較明顯的優(yōu)勢，包括表達形式多樣，學習過程可自主調(diào)控，信息儲存量大，利于自主學習等［3］。但與Kinect所提倡的活動與教學、虛擬實境方式導(dǎo)入游戲式教學和特殊且趣味性的學習模式相比缺乏靈活生動性。運用Kinect手勢識別技術(shù)捕捉教師單手或雙手在現(xiàn)實空間中的動作，將之轉(zhuǎn)化成三維編碼，再由PC軟件進行解碼，辨識其操作內(nèi)容，進而即時地通過投影儀等顯示設(shè)備呈現(xiàn)展示，免去了大量的板書及點擊鼠標時間，也解放了教師的授課空間束縛，靈活生動地展示操作也使得學生對知識內(nèi)容能更加直觀地學習和理解。

2.2 臨床教學

傳統(tǒng)的臨床實踐教學中，主要以教師講述為主進行授課，學習內(nèi)容往往流于書本和理論，學生實際操作和應(yīng)用的機會較少。虛擬臨床結(jié)合CAI培訓(xùn)模式的引入，通過建立三維的人工虛擬環(huán)境，可以模擬患者的一些病狀特點和應(yīng)激反應(yīng)，學生能夠運用多種交互設(shè)備來操作工具和對象。但在實際應(yīng)用中設(shè)備的操作復(fù)雜和資源有限使得這一模式很難得到普及與推廣。

Kinect的動態(tài)捕捉技術(shù)可以通過掃描捕捉，對環(huán)境景深進行像素評估。利用紅外線發(fā)射器和紅外線CMOS攝像機獲取圖像深度圖，提供人體骨骼的捕獲功能［4］，運用分割遮罩將人體從環(huán)境中分離出來，隨即辨別人體的不同部位以及動作操作。學生只需通過顯示設(shè)備呈現(xiàn)的立體環(huán)境和病患建模，不通過任何額外設(shè)備，在現(xiàn)實環(huán)境中，以手勢、身體姿勢及語音作為輸入元素［5］，即可進行模擬實踐操作(如圖2所示)。

圖2 分割遮罩技術(shù)將人體從背景分離

美國華盛頓大學BioRobotics實驗室的學生們通過對Kinect的改造，讓它可以用來控制外科醫(yī)師的機器手臂，并利用其靈敏度高、識別性強等特點，實現(xiàn)無接觸操控和非觸摸體感，讓Kinect控制機器手臂執(zhí)行手術(shù)(如圖3所示)。這一技術(shù)的應(yīng)用，不但免去了大量操作設(shè)備的資源投入，而且還可以避免學生花費大量時間去掌握虛擬臨床操作設(shè)備使用方法的過程。

圖3 外科醫(yī)師用Kinect控制外科機械手臂

2.3 三維建模展示

醫(yī)學教學過程中會運用大量的示例圖片和實物標本給學生進行展示教學。通過虛擬現(xiàn)實技術(shù)，將靜態(tài)圖片、標本模型進行仿真三維化處理后，可以形成多角度、全方位的直觀展示。而展示方式的單一化，形成了教師展示學生看這一尷尬局面。學生更想直接的參與其中，由自己控制來觀察研究建模，形成概念。

通過Kinect的深度傳感器，在使用者的前后左右四個方位布置若干部Kinect，可以通過深度傳感器所捕獲的3D空間數(shù)據(jù)與RGB攝像頭捕獲的影像數(shù)據(jù)來進行3D建模，從而實現(xiàn)實時的3D捕獲與顯示［4］。

在三維建模演示方面，瑞士Bern大學的Virtopsy項目使用開發(fā)框架的ofxKinect系統(tǒng)，制作體感軟件。使用音控和體感控制來處理醫(yī)療設(shè)備中出現(xiàn)的OsiriX三維建模。Virtopsy項目使用非觸摸的體感方式，更加方便，也更節(jié)約時間，能夠更好地對三維建模進行展示，供醫(yī)學教學使用(如圖4所示)。

圖4 利用Kinect控制三維建模放大縮小旋轉(zhuǎn)等功能

Kinect語音控制技術(shù)工作原理是預(yù)先將指令語音儲存，將之轉(zhuǎn)化為操作系統(tǒng)可理解的命令，在利用Kinect進行建?？刂蒲菔緯r只要說出相應(yīng)的指令即可實現(xiàn)對應(yīng)建模的相關(guān)操作。例如:教師在展示三維建模時只需要對設(shè)備發(fā)出“放大、縮小、旋轉(zhuǎn)”等語音指令，設(shè)備便會將語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的操作命令，對三維建模進行相關(guān)展示，這一過程將極大地減少傳統(tǒng)建模展示中的復(fù)雜操作，增加了教學的靈活性，也可充分調(diào)動學生學習的積極性。

2.4 遠程教學

遠程教學是建立在多媒體技術(shù)、計算機網(wǎng)絡(luò)通信技術(shù)上的一種雙向信息傳送教學。與傳統(tǒng)的“面對面”授課相比，它使得更高水平的教學授課能在更廣的范圍內(nèi)共享。

為了實現(xiàn)在遠程教學中需要的高質(zhì)量視頻影像及語音，通常需要采購一些價格昂貴的高清攝像頭和聲音采集設(shè)備，并且這些設(shè)備不具備一體化特點，往往售價也較昂貴，性價比不高。

Kinect體感設(shè)備具有多點陣列麥克風，可以準確地進行聲音定位并幫助過濾環(huán)境噪波，免除了許多額外的音頻處理;同時Kinect的語音控制功能，大大提高了遠程授課中的交互性，讓用戶發(fā)出命令即可進行相關(guān)操作，減少了不便的操作。RGB攝像頭和兩個深度傳感器配合機械馬達底座進行移動圖像捕捉，實現(xiàn)了攝像及語音的一體化處理，并提供了深度攝像，可以在授課時自動識別舉手發(fā)言的請求，具有很高的性價比。

該文將基于Kinect體感技術(shù)的虛擬現(xiàn)實教學形式這一設(shè)想引入了醫(yī)學教育中，其優(yōu)點是優(yōu)秀的交互性、友好的操作性和廣泛的實用性。通過介紹Kinect體感技術(shù)的關(guān)鍵技術(shù)特點，說明Kinect體感技術(shù)具備了醫(yī)學教育虛擬現(xiàn)實技術(shù)實現(xiàn)的技術(shù)條件和硬件指標。

［1］宋宏泉.虛擬現(xiàn)實技術(shù)在現(xiàn)代醫(yī)學教育中的應(yīng)用［J］.齊齊哈爾醫(yī)學院學報，2006，27(8):984-985

［2］Huang J，Ma Z，Hu Y，et al.Robotic 3D structured light scanning system based on external axle.International Conference on Intelligent Computation Technology and Automation［M］.Piscataway，NJ，USA:IEEE，2008:l126-1129

［3］鄭唯強，鄭建明，王建軍，等.教學媒體在病理教學中的設(shè)計及使用［J］.中國醫(yī)學教育技術(shù)，2004，14(1):44-45

［4］黃康泉，陳壁金，鄭博，等.Kinect在視頻會議系統(tǒng)中的應(yīng)用［J］.廣西大學學報:自然科學版，2011，36(z1)，308-313

［5］呂開陽，葉華茂，李曉光，等.Kinect體感技術(shù)在動物外科實驗教學中的應(yīng)用及展望［J］.中國醫(yī)學教育技術(shù)，2012，26(2):171-173