醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)研究

中國醫(yī)科大學(xué)計(jì)算機(jī)教研室 鄭琳琳 鄭 璐 李 靜

1.虛擬視覺環(huán)境顯示(Virtual Visual Environment Display-VIVED)

由美國宇航局約翰遜宇航中心(JSC)等部門，使用虛擬現(xiàn)實(shí)技術(shù)為人們提供了一個(gè)別出心裁的醫(yī)學(xué)教育策略。它集成了所有囊括人類顱骨和心臟的虛擬現(xiàn)實(shí)技術(shù)，為人們提供了與其他多媒體(音頻、視頻等)的交互能力[1]。

2.虛擬手術(shù)(Virtual Surgery)

作為醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域正在發(fā)展起來的一個(gè)研究方向，其目的是利用各種醫(yī)學(xué)影像數(shù)據(jù)，采用虛擬現(xiàn)實(shí)技術(shù)，在計(jì)算機(jī)中建立一個(gè)摸擬環(huán)境，醫(yī)生借助虛擬環(huán)境中信息進(jìn)行手術(shù)計(jì)劃制定，手術(shù)演練，手術(shù)教學(xué)，手術(shù)技能訓(xùn)練，術(shù)中引導(dǎo)手術(shù)，術(shù)后康復(fù)等工作，虛擬手術(shù)充分體現(xiàn)虛擬現(xiàn)實(shí)作為計(jì)算機(jī)圖形學(xué)在醫(yī)學(xué)治療過程的作用。

圖1 通過人體體驗(yàn)虛擬現(xiàn)實(shí)所需的步驟

3.硬件

一臺(tái)由Silicon Graphics公司生產(chǎn)的Reality Engine計(jì)算機(jī)，被用來打開計(jì)算軸向體層攝影術(shù)(CAT/CT)和磁共振成像切片，放入三維容積圖像和可產(chǎn)生身體"飛行"觀察效果的電影中。在具有16M內(nèi)存的Macintosh IICX計(jì)算機(jī)上觀看最終的3D圖像。之所以先擇Mac是因?yàn)樗男詢r(jià)比和音像都優(yōu)于同類PC，另外它在北美各學(xué)校系統(tǒng)被廣泛使用，可以說它是桌面多媒體的領(lǐng)跑者，并且有各種各樣的軟件和硬件支持它。而VR電影可以存儲(chǔ)在硬盤上，或轉(zhuǎn)移到CD上，并通過紅藍(lán)眼鏡觀看。它也可以使用虛擬現(xiàn)實(shí)頭戴式顯示器(HMD)或雙目全方位顯示器(臂架系統(tǒng))查看。最終圖像可以存儲(chǔ)在CD-ROM或激光視盤上。

4.軟件

4.1 文件轉(zhuǎn)換和數(shù)據(jù)準(zhǔn)備

加爾維斯頓提供的厚度為1.5mm的人類頭骨CAT/CT切片和心臟的MRI的切片被用于創(chuàng)建3D圖像。在對(duì)頭骨的CT掃描過程中要經(jīng)過一個(gè)泡沫帶，因此會(huì)有一些無用數(shù)據(jù)被生成。顱骨掃描的結(jié)果是生成一個(gè)數(shù)據(jù)集，其中有超過120片通過顱骨，60片通過下頜骨(下巴)，而心臟的MRI掃描可導(dǎo)出200片的數(shù)據(jù)集。將醫(yī)學(xué)分會(huì)創(chuàng)建的數(shù)據(jù)文件，送至IGOAL公司(集成顯卡，操作和分析實(shí)驗(yàn)室)。在那里進(jìn)行掃描和篩選，去除無關(guān)數(shù)據(jù)，且盡可能不丟失任何重要信息。IGOAL公司開發(fā)出一種名為“Ctimager”的工具，用于閾值計(jì)算，從而把切片中不需要的噪聲和無關(guān)數(shù)據(jù)去掉。

4.2 數(shù)據(jù)過濾和體數(shù)據(jù)轉(zhuǎn)換為多邊形數(shù)據(jù)

使用被IGOAL稱為“dispfly”的開發(fā)工具，在稍后可將轉(zhuǎn)換大量的數(shù)據(jù)直接由計(jì)算機(jī)顯示出來。此工具用于多個(gè)過濾算法準(zhǔn)備CT和磁共振成像數(shù)據(jù)轉(zhuǎn)換為多邊形的窗體。解剖模型是基于移動(dòng)的多維數(shù)據(jù)集算法生成的。濾波處理通常包括閾值化的數(shù)據(jù)，以消除大部分噪聲的。一個(gè)低通濾波器被用于最小化，將產(chǎn)生一個(gè)不規(guī)則的表面凹凸不平，當(dāng)輸入到算法中的高頻噪聲。這個(gè)過程產(chǎn)生相對(duì)平滑的表面，其近似掃描樣品，并減少產(chǎn)生的噪聲的多邊形數(shù)量。一個(gè)獨(dú)特的過濾器對(duì)心臟數(shù)據(jù)僅平滑掃描之間的數(shù)據(jù)創(chuàng)建，是不需要其他的過濾[2]。由于心臟和顱骨有大量的數(shù)據(jù)集切片，幾種模式被建立，其中每一個(gè)代表一個(gè)少量切片。一個(gè)網(wǎng)格算法，“meshit”，后來發(fā)展到提高顯示性能。這種算法轉(zhuǎn)換成高效條狀的三角形的原始集合。平均超過100三角形組成每個(gè)三角形條帶。。

4.3 產(chǎn)生立體圖像

建成模型后，立體聲序列被渲染。IGOAL公司開發(fā)了一種名為OOM(面向?qū)ο蟛倏v器)工具，用來把經(jīng)過渲染的每一幀存儲(chǔ)到磁盤上，這些圖像用紅色和藍(lán)色的色彩分離為代表的立體圖像。一旦這些序列被記錄到磁盤上，數(shù)據(jù)的格式就被轉(zhuǎn)換成Macintosh.pict格式，全彩色圖像序列的按非立體觀看轉(zhuǎn)移到Mac上。

4.4 立體影像及多媒體

對(duì)Mac圖像進(jìn)行編輯，以產(chǎn)生所希望的效果，如數(shù)字化的尸體覆蓋或插入文本描述什么正在被觀看。使用Apple的QuickTime擴(kuò)展，圖像被轉(zhuǎn)換為QuickTime電影動(dòng)畫在Mac上。

5.結(jié)論

CT掃描頭骨的醫(yī)療圖像，由Macintosh計(jì)算機(jī)通過處理頭盔顯示器或臂式系統(tǒng)的信息，最終生成高質(zhì)量VR圖像。目前科學(xué)家正試圖用磁共振的成像數(shù)據(jù)生成了一個(gè)心臟VR模型。

初步結(jié)果顯示，可以使用這種類型的成像數(shù)據(jù)開發(fā)出高分辨率模型。而為了保持高質(zhì)量VR成像目標(biāo)，大量的數(shù)據(jù)是用幀序列來描述的，由此會(huì)產(chǎn)生一些問題。為了緩解這個(gè)問題，科學(xué)家們正在探討替代的硬件和軟件解決方案。

另一個(gè)問題是該技術(shù)針對(duì)HMD的顯示系統(tǒng)。為保持一個(gè)高品質(zhì)的虛擬現(xiàn)實(shí)體驗(yàn)，液晶顯示器對(duì)分辨率沒有要求。在CRT顯示器在多種教育平臺(tái)上都可以滿足分辨率的要求，但是成本過高。外科手術(shù)模擬可能成為例程，尤其是在制定綜復(fù)雜和罕見的手術(shù)方案時(shí)。

6.在VIVED的應(yīng)用和研究現(xiàn)狀

當(dāng)前的研究，強(qiáng)調(diào)創(chuàng)建一個(gè)高分辨率的人體虛擬現(xiàn)實(shí)模擬器用于教育目的的重要性。而應(yīng)用這項(xiàng)技術(shù)必須充分理解其復(fù)雜的三維關(guān)系，如在下面的領(lǐng)域：解剖學(xué)教育，各類機(jī)械設(shè)備，生化，病理學(xué)研究，外科醫(yī)生，模擬整形外科和利用內(nèi)窺鏡培訓(xùn)外科醫(yī)生等。

7.其他應(yīng)用程序

隨著醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，新的教育解決方案和策略如雨后春筍般不斷出臺(tái)。如北卡羅萊納大學(xué)教堂山分校利用超聲波，MRI和X射線創(chuàng)建的動(dòng)態(tài)影像放射治療的“預(yù)測(cè)”模型。達(dá)特茅斯醫(yī)學(xué)院創(chuàng)造出人臉和下肢的數(shù)學(xué)模型，用于研究外科手術(shù)的效果評(píng)估。綠葉醫(yī)療系統(tǒng)在帕洛阿爾托開發(fā)出“EVAL”和“手套健談”系統(tǒng)，作為實(shí)現(xiàn)“評(píng)估和演示”系統(tǒng)。使用傳感器做襯里的數(shù)據(jù)手套和數(shù)據(jù)西裝獲取更大的使用范圍，對(duì)運(yùn)動(dòng)損傷和殘疾病人進(jìn)行行之有效的損傷程度度量?！笆痔捉≌劇笔菐椭∪丝祻?fù)的數(shù)據(jù)手套的手語裝置，讓人無需發(fā)聲(中風(fēng)或腦性麻痹患者)，僅使用計(jì)算機(jī)能夠理解的手勢(shì)。而使用頭盔顯示器使得需要康復(fù)的病人可以重新學(xué)習(xí)，如開關(guān)門，行走，點(diǎn)或轉(zhuǎn)身的行為[3]。

8.結(jié)語

將CT掃描的頭骨醫(yī)學(xué)圖像在Macintosh電腦上使用一個(gè)頭盔顯示器或臂架系統(tǒng)便可生成高質(zhì)量的VR圖像。目前科學(xué)家們正在開發(fā)根據(jù)磁共振成像數(shù)據(jù)生成心臟的VR模型。初步的研究結(jié)果表明，高分辨率模型可以使用這種方法的成像數(shù)據(jù)技術(shù)來實(shí)現(xiàn)。要想維持高質(zhì)量虛擬現(xiàn)實(shí)的目標(biāo)成像，必須適當(dāng)調(diào)整“飛穿”的幀序列的數(shù)據(jù)量。而其它文明擬定的硬件和軟件解決方案也正是為了探索緩解這一問題。再有就是該技術(shù)是針對(duì)HMD的顯示系統(tǒng)技術(shù)。因?yàn)樵诟鞣N醫(yī)學(xué)教育平臺(tái)中，LCD顯示屏不涉及維持高質(zhì)量的虛擬現(xiàn)實(shí)問題，而要實(shí)現(xiàn)高分辨率CRT顯示器的成本又太高。

[1]"NASA TECHNOLOGY TRANSFER Commercial Applications of Aerospace Technology",National Aeronautics and Space Administration,Technology Applications.

[2]Porter,Stephen,"Virtual Reality",Computer Graphics World,(March,1992),42-54.

[3]Sprague,Laurie A.,Bell,Brad,Sullivan,Tim,and Voss,Mark,"Virtural Reality In Medical Education and Assessment",Technology 2003,December 1993.