虛擬現(xiàn)實醫(yī)學(xué)多媒體課件制作技術(shù)

肖 揚 馮 煊

(南京軍區(qū)福州總醫(yī)院 福州 350025) (解放軍理工大學(xué) 南京 210007)

?

虛擬現(xiàn)實醫(yī)學(xué)多媒體課件制作技術(shù)

肖 揚 馮 煊

(南京軍區(qū)福州總醫(yī)院 福州 350025) (解放軍理工大學(xué) 南京 210007)

采用三維虛擬現(xiàn)實技術(shù)，以Director為操作平臺，在醫(yī)學(xué)多媒體課件中構(gòu)建立體的教學(xué)空間，介紹其技術(shù)路線，從虛擬現(xiàn)實三維場景構(gòu)建、醫(yī)學(xué)場景集成及漫游兩方面闡述課件制作的關(guān)鍵技術(shù)。結(jié)果表明三維醫(yī)學(xué)多媒體課件具有更強的表現(xiàn)力和視覺沖擊力，且運行安全穩(wěn)定。

虛擬現(xiàn)實;醫(yī)學(xué)多媒體課件;Director

1 引言

在信息技術(shù)高速發(fā)展的今天，多媒體課件已融入各行各業(yè)，廣泛應(yīng)用于會議、培訓(xùn)、教學(xué)等場合，成為表達(dá)宣講者思想最重要的工具之一[1-2]。然而，由于各個行業(yè)間多媒體課件的思路、結(jié)構(gòu)及具體的技巧有較大的差別，因此需要根據(jù)專業(yè)特點進行多媒體課件的制作[3]。醫(yī)學(xué)作為一門專業(yè)性很強的學(xué)科，其多媒體課件涉及內(nèi)容繁多，概念抽象，表述準(zhǔn)確性要求高，制作難度大[4]。如何制作符合醫(yī)學(xué)特點的高品質(zhì)多媒體課件，將大量枯燥抽象的理論轉(zhuǎn)化為精準(zhǔn)的多媒體表達(dá)，將臨床專家的想法精妙地進行展現(xiàn)且富有視覺沖擊力和感染力，達(dá)到令人震撼的演示效果，是有待于解決的問題[5-7]。同時，傳統(tǒng)的多媒體課件主要以二維平面為主，其在表現(xiàn)力、交互性及3D效果支持上已經(jīng)難以滿足高質(zhì)量醫(yī)學(xué)多媒體演示的需求，迫切需要以演示生動、交互自由、效果逼真的三維多媒體課件。本文采用三維虛擬現(xiàn)實技術(shù)，以Director為操作平臺，在醫(yī)學(xué)多媒體課件中構(gòu)建一個立體的教學(xué)空間，增強演講者與課件的交互，彌補二維多媒體課件的不足，多角度、全方位地呈現(xiàn)醫(yī)療內(nèi)容，實現(xiàn)三維立體醫(yī)學(xué)多媒體課件的制作。

2 技術(shù)路線

虛擬現(xiàn)實(Virtual Reality)是指利用計算機模擬出一個虛擬的三維空間世界，讓用戶能身臨其境地以與現(xiàn)實中一樣的視角去觀察三維空間內(nèi)的事物[8]。采用虛擬現(xiàn)實技術(shù)進行醫(yī)學(xué)多媒體課件制作，核心是通過對醫(yī)學(xué)對象的三維建模，構(gòu)建三維虛擬醫(yī)學(xué)場景，在進行三維醫(yī)學(xué)場景漫游及瀏覽的基礎(chǔ)上，輔助以文字、圖片等補充信息，達(dá)到醫(yī)學(xué)內(nèi)容高精細(xì)度呈現(xiàn)、醫(yī)學(xué)模型立體全方位展示的目標(biāo)。根據(jù)虛擬現(xiàn)實技術(shù)的特點，設(shè)定課件制作流程主要包含“虛擬現(xiàn)實三維場景的構(gòu)建”和“醫(yī)學(xué)場景集成及漫游”這兩個步驟，技術(shù)路線，見圖1。

圖1 課件制作技術(shù)路線

3 關(guān)鍵技術(shù)

3.1 虛擬現(xiàn)實三維場景的構(gòu)建

3.1.1 三維醫(yī)學(xué)模型的建模 在虛擬醫(yī)學(xué)場景中，虛擬對象是主體，也是用戶進行三維交互體驗的首要載體。醫(yī)學(xué)對象的虛擬再現(xiàn)是通過建模來實現(xiàn)的。當(dāng)前對象建模的方法主要包括幾何建模、圖像建模等方法。幾何建模是指建立三維幾何模型，一般采用多邊形表示，其主要優(yōu)點是能隨意改變觀察點和觀察方向，允許用戶沉浸入仿真建模的環(huán)境；缺點為建模較為復(fù)雜，建模效率相對不高。圖像建模是指利用攝像機對對象進行全角度拍攝后，獲得物體的二維增強表象或三維模型，其優(yōu)點是建模簡單，適用于那些難用幾何模型的方法來建立真實感模型的物體；缺點是所建模型只是對現(xiàn)實世界模型數(shù)據(jù)的采集，不能夠給設(shè)計者以想象發(fā)揮的空間。為了高效建立形態(tài)逼真的醫(yī)學(xué)模型，筆者綜合兩種建模技術(shù)優(yōu)點，采用圖像與幾何相結(jié)合的方式進行醫(yī)學(xué)模型的構(gòu)建。先在不同視角對被建模物體進行拍攝，再通過建模軟件進行多視圖的點、線位置采樣，然后分區(qū)塊構(gòu)建模型。這種建模方式能在幾乎不影響三維模型真實度的情況下，極大地減少模型的網(wǎng)格數(shù)量。具體建模過程分4步。(1)數(shù)據(jù)準(zhǔn)備工作。利用照相機從不同角度對醫(yī)學(xué)對象進行拍照，通常取前、后、左、右、頂部5個方向。照片經(jīng)過Photoshop 軟件處理得到符合要求的紋理貼圖圖片。(2)勾勒外輪廓線。利用拍攝的醫(yī)學(xué)對象照片作為建模外觀參照，以醫(yī)學(xué)對象的尺寸等測量數(shù)據(jù)為建?；A(chǔ)，勾畫醫(yī)學(xué)對象的外部輪廓，形成醫(yī)學(xué)對象外部輪廓線模型。(3)構(gòu)造三維模型。運用3D MAX建模工具根據(jù)所畫的輪廓線依次創(chuàng)建三維曲面，在保證醫(yī)學(xué)對象外形的情況下作最大優(yōu)化，建立最優(yōu)三維模型。(4)貼圖。利用3D 建模工具軟件的材質(zhì)/貼圖工具，按照相應(yīng)的貼圖方法，如UVW 貼圖、遮罩通道等，在模型表面貼上對應(yīng)的紋理和質(zhì)地，以較真實地再現(xiàn)物體的細(xì)節(jié)。

3.1.2 虛擬醫(yī)學(xué)環(huán)境的建立 根據(jù)醫(yī)學(xué)演示內(nèi)容，采用相應(yīng)建模技術(shù)建立場景三維模型，再將虛擬場景進行烘焙處理后，通過三維互動仿真平臺進行實時渲染繪制和立體顯示。本文主要依托3D MAX軟件[9]來進行實現(xiàn)，操作中可分為靜態(tài)建模及動態(tài)建模兩種方式。靜態(tài)建模主要指以相對固定不變的場景作為醫(yī)學(xué)模型的展示環(huán)境，如手術(shù)臺、試驗區(qū)等；動態(tài)建模主要指通過模擬對象周圍環(huán)境以進行更好的場景構(gòu)建，如流動血液的血管等。不同的醫(yī)學(xué)課件內(nèi)容對環(huán)境建模有著不同的要求，如對于介紹病理發(fā)生、發(fā)展過程和影響等原理性的課件，對模型環(huán)境的精準(zhǔn)度要求不高，可采用相對簡單的模型背景，一般以靜態(tài)建模為主，而對于介紹人體組織結(jié)構(gòu)屬性的課件內(nèi)容，由于對模型的精準(zhǔn)度要求高，則醫(yī)學(xué)環(huán)境的建立首先考慮其仿真性，建立靜態(tài)和動態(tài)相結(jié)合的虛擬醫(yī)學(xué)環(huán)境。

3.1.3 三維醫(yī)學(xué)環(huán)境及模型的優(yōu)化 一個逼真且流暢的三維虛擬場景，不僅要有逼真的模型，而且需要有流暢的運行效果，這就對三維環(huán)境及場景模型提出更嚴(yán)格的要求，三維場景優(yōu)化技術(shù)能使模型得到優(yōu)化且不影響整體效果。一般情況下，三維虛擬場景實時渲染時速度受限制的主要問題在于模型過于復(fù)雜，場景模型總?cè)敲鏀?shù)太多，因此最有效的優(yōu)化方式是在場景渲染時盡量減少模型的三角面，主要采用以下3種優(yōu)化方式。(1)去除冗余幾何面。在三維建模過程中，建立的模型會有一些多邊形面處于不可見的狀態(tài)，除去這些幾何面不但不會影響模型本身的視覺效果，反而由于減少了模型的面數(shù)，提高場景的渲染速度。一般主要通過減少平面模型段數(shù)、優(yōu)化圓柱體模型屬性、刪除重疊面這3種方式去除冗余的幾何面。(2)利用紋理映射(Texture Mapping)。在醫(yī)學(xué)虛擬對象仿真建模過程中，采用紋理映射的方法來替代詳實的模型。紋理映射是將二維圖像映射至三維幾何形狀表面，使其生成具有特殊效果或真實感三維模型的一種技術(shù)。對于虛擬對象，紋理映射技術(shù)的使用可以減少模型中的三角形面數(shù)，在建模過程中可以簡化對對象模型的細(xì)節(jié)表現(xiàn)，提高渲染顯示的速度。(3)進行實例引用。實例引用是指多個子節(jié)點引用同一個實例的父節(jié)點。三維虛擬場景集成過程中會存在一些相同屬性的實體模型，若用復(fù)制的方法，就意味著場景面數(shù)的增加，不利于場景的高速渲染，利用實例引用技術(shù)，可以在增加同屬性物體數(shù)量的同時，不增加場景面數(shù)。例如在實際建模過程中，有許多形狀和紋理相同的人體組織結(jié)構(gòu)，他們之間的差別可能只在于位置、大小、方向的不同，通過實例引用技術(shù)可以將相同類型的組織結(jié)構(gòu)在內(nèi)存中僅存放一份實例，然后再對其進行移動、縮放、旋轉(zhuǎn)操作之后得到多個組織結(jié)構(gòu)，從而大大地節(jié)省了內(nèi)存空間。

3.2 醫(yī)學(xué)場景集成及漫游

3.2.1 概述 醫(yī)學(xué)場景集成及漫游主要是將醫(yī)學(xué)三維模型及文字、圖片等輔助信息集成入三維醫(yī)學(xué)場景中，通過系統(tǒng)三維行為庫及Lingo語言編程兩種方式進行漫游和瀏覽控制，實現(xiàn)課件與聽眾間三維交互沉浸體驗。這一步驟主要采用Director軟件來實現(xiàn)。Director是Adobe公司研發(fā)的基于時間流的專業(yè)化多媒體項目開發(fā)軟件，它結(jié)合多媒體制作和Lingo程序設(shè)計，具有出色的圖片、聲音、動畫處理技術(shù)及強大交互功能，目前正廣泛應(yīng)用于大型多媒體及3D制作以及交互式電影等諸多領(lǐng)域[10]。

3.2.2 場景集成 多媒體醫(yī)學(xué)課件的設(shè)計，在開發(fā)前需要搜集豐富的相關(guān)資料和素材并對其進行整理和歸類。多媒體素材主要可分為靜態(tài)素材和動態(tài)素材兩種。靜態(tài)素材主要指配合多媒體展示所需的文字及圖片等素材，此類素材在集成入開發(fā)平臺Director前，需要使用Photoshop軟件處理成*.png格式的圖像，這種格式的文件支持透明，不損壞圖像質(zhì)量，占用空間也不大，能較好地滿足演示需要；動態(tài)素材主要指醫(yī)學(xué)三維模型，其具體導(dǎo)入步驟如下：將建立的3D模型導(dǎo)入Director中舞臺(Stage)上，設(shè)置其行為為“Hold on Current Frame”，拖曳該行為到Score窗中的Frame 1，即讓影片停止在第1幀,為下一步的漫游交互控制做好準(zhǔn)備。

3.2.3 虛擬場景漫游和瀏覽控制 虛擬場景的漫游和瀏覽是三維虛擬多媒體課件的最重要特色，它能讓聽眾通過親自的“經(jīng)歷”和“感受”獲得知識，達(dá)到較為理想的教學(xué)演示效果。實現(xiàn)虛擬場景的漫游和瀏覽主要有兩種途徑：系統(tǒng)三維行為庫實現(xiàn)和Lingo語言編程控制。(1)系統(tǒng)三維行為庫實現(xiàn)場景漫游。系統(tǒng)行為庫是指系統(tǒng)中內(nèi)置的用于響應(yīng)某種交互式事件的腳本動作。Director中的三維行為庫包括觸發(fā)器(Trigger)和動作(Action)。當(dāng)某一操作動作發(fā)生時，其所觸發(fā)的Trigger向系統(tǒng)發(fā)出信號，引起相對應(yīng)Action的執(zhí)行。通過不同的Action和Trigger組合，可以進行虛擬場景的漫游和瀏覽。具體操作以在虛擬醫(yī)學(xué)場景中移動攝像機實現(xiàn)場景漫游為例，主要分為4個步驟：導(dǎo)入3D模型到舞臺，選取3D類Actions中的“DragCamera”，即移動攝像機，放在Sprite 1的元素上面；在“Parameters for‘Drag Camera’”屬性對話框中進行參數(shù)設(shè)定；添加Trigger。將Trigger中的“Mouse Left”行為拖入到Score窗中，放置于Sprite 1的演員之上，在隨后彈出的“Parameters for‘Mouse Left”’對話框內(nèi)指定Action及相關(guān)鼠標(biāo)左鍵的設(shè)定；在“Select a Group and its Action”(選擇一個群組及其動作)下拉列表框中設(shè)定“Pan camera”，便可改變場景中的攝像機位置及視角，實現(xiàn)醫(yī)學(xué)場景漫游。(2)基于Lingo語言的場景漫游。借助Director的系統(tǒng)三維行為庫雖可以方便地進行場景漫游，但仍難以完成一些交互性較為復(fù)雜的動作，需要借助Lingo語言進行編程實現(xiàn)。例如將人體心臟模型導(dǎo)入Director中，為其添加腳本，實現(xiàn)用戶的按鍵對模型進行旋轉(zhuǎn)或者平移等操作。

global heart，object

global td，sp

on beginsprite me

sp=sprite(me.spritenum)——獲取當(dāng)前精靈控制權(quán)

heart=sp.member ——獲取當(dāng)前精靈角色

object=heart.model(1) ——獲取心臟模型

end

on enterframe me

if keypressed(＂w＂) then swing(-3)

if keypressed(＂s＂) then swing(3)

if keypressed(＂a＂) then scoop(-5)

if keypressed(＂g＂) then scoop(5)

end

————沿Y軸旋轉(zhuǎn)模型 ————

on swing n

i=0

repeat while i<= 30

i=i+1

object.rotate(0，n*0.5，0)

updatestage

end repeat

end

————沿Z軸旋轉(zhuǎn)模型————

on scoop n

i=0

repeat while i<= 20

i=i+1

object.translate(0，0，n*5)

updatestage

end repeat

end

4 應(yīng)用效果及測試

本文實現(xiàn)了基于虛擬現(xiàn)實的三維醫(yī)學(xué)多媒體課件制作，它相對于傳統(tǒng)的醫(yī)學(xué)多媒體課件在表現(xiàn)效果、視覺沖擊力方面有了較大的提升，二者效果對比，見圖2、圖3。

圖2 二維醫(yī)學(xué)多媒體課件

圖3 三維醫(yī)學(xué)多媒體課件

同時，為了測試三維醫(yī)學(xué)多媒體課件播放的穩(wěn)定性，將制作的醫(yī)學(xué)三維多媒體課件在Windows xp、Windows vista、Windows 7等操作系統(tǒng)平臺上進行測試運行，測試結(jié)果表明該醫(yī)學(xué)多媒體課件兼容性好、穩(wěn)定性高，能達(dá)到較好三維演示效果。

5 結(jié)語

虛擬現(xiàn)實作為一種全新的教學(xué)媒體形式，突破時空的限制，推動計算機輔助教育不斷前進[11-12]。本文運用Director技術(shù)進行醫(yī)學(xué)多媒體課件制作，增強課件的視覺沖擊力和感染力。同時應(yīng)用三維虛擬現(xiàn)實技術(shù)，構(gòu)建3D醫(yī)學(xué)展示模型，將醫(yī)學(xué)多媒體課件由二維平面擴展至三維立體，較好地實現(xiàn)了醫(yī)學(xué)內(nèi)容高精細(xì)度呈現(xiàn)、醫(yī)學(xué)模型立體全方位展示的目標(biāo)。

1 黨裔武. 改進多媒體教學(xué) 增強基礎(chǔ)醫(yī)學(xué)教學(xué)效果[J].醫(yī)學(xué)信息學(xué)雜志,2009,30(5) :86-88．

2 王孝寧, 趙玉虹. 開展精品課程建設(shè)培養(yǎng)學(xué)生信息素養(yǎng)[J].醫(yī)學(xué)信息學(xué)雜志, 2012,33(12):87-91.

3 潘炳超.對“多媒體課件”研究的分析與思考[J].中國醫(yī)學(xué)教育技術(shù),2012,26(2):17-20.

4 John J N, Danette W M. Assessment Methods in Medical Education[J].Teaching and Teacher Education,2007,23(3):239-250.

5 張復(fù)初.淺談計算機多媒體課件在醫(yī)學(xué)院校教學(xué)中的應(yīng)用[J].中國科技信息，2012，(7):188-189

6 呂婷.醫(yī)學(xué)領(lǐng)域中可視化技術(shù)的應(yīng)用[J]. 醫(yī)學(xué)信息學(xué)雜志，2012，33(2):38-42.

7 陳進.建設(shè)動態(tài)人體解剖數(shù)字資源庫為教學(xué)服務(wù)[J]. 醫(yī)學(xué)信息學(xué)雜志，2014，35(8):86-89.

8 Burdea G,Coiffet P. Virtual Reality Technology [M]. NJ: John Wiley and Sons,1994.

9 王琦, 亓鑫輝, 王愷. Autodesk 3ds Max 2009 標(biāo)準(zhǔn)培訓(xùn)教材[M] . 北京: 人民郵電出版社, 2008.

10 Adobe.Comparing Adobe Director to Adobe Flash[EB/OL].[2014-05-20]. http://www.adobe.com/products/director/compare/.

11 王芳.虛擬現(xiàn)實技術(shù)的應(yīng)用及其發(fā)展[J].科技信息，2010，(32):795-796.

12 栗文靖.近年來國際上有關(guān)醫(yī)學(xué)信息學(xué)學(xué)科發(fā)展的一些探討[J]. 醫(yī)學(xué)信息學(xué)雜志，2011，32(10):7-11.

Technology for Making Virtual Reality Medical Multimedia Courseware

XIAOYang,

FuzhouGeneralHospitalofNanjingMilitaryAreaCommand,Fuzhou350025,China;FENGXuan,PLAUniversityofScienceandTechnology，Nanjing210007,China

By using 3D virtual reality technology, taking Director as operation platform, the paper constructs a 3D teaching space in medical multimedia courseware, introduces its technology pathway, elaborates key technologies from the aspects of virtual reality 3D scene construction, medical scene integration and roaming. Comparison shows that 3D medical multimedia courseware has more expressive and visual impact. Its safety and stability is excellent as well.

Virtual reality; Medical multimedia courseware; Director

2014-11-16

肖揚,工程師，碩士，發(fā)表論文10余篇。

R-058

A 〔DOI〕10.3969/j.issn.1673-6036.2015.01.021