以實體環(huán)境為基礎(chǔ)設(shè)計制作交互式虛擬人體科學(xué)館

譚 風(fēng)，田 清，李 震，楊小庚，饒利兵，蔣 帥，李 青，楊懿農(nóng)，張 君

(湖南醫(yī)藥學(xué)院：1.口腔醫(yī)學(xué)院；2.醫(yī)學(xué)院；3.護理學(xué)院，湖南 懷化 418000)

人體科學(xué)館是醫(yī)學(xué)生學(xué)習(xí)人體解剖學(xué)、科學(xué)研究和社會科普教育的重要場地[1-3]。然而人體科學(xué)館的開放時間有限、社會人士對人體標(biāo)本的恐懼心理，并且科學(xué)館的容納量和運行過程中維護成本，導(dǎo)致場館的使用效率不高。為改善這些局限性條件，擴展人體科學(xué)館的輻射面和教育教學(xué)效果，本課題組利用桌面型虛擬現(xiàn)實技術(shù)和三維全景建模技術(shù)，以湖南醫(yī)藥學(xué)院人體科學(xué)館實景實物為基礎(chǔ)，通過圖像采集拼接、全景投影、交互熱點設(shè)置、全景發(fā)布等環(huán)節(jié)建立人體科學(xué)館的實物場景漫游，使其實現(xiàn)在互聯(lián)網(wǎng)上生動的展示和良好的交互。

1 虛擬人體科學(xué)館的總體設(shè)計

湖南醫(yī)藥學(xué)院虛擬人體科學(xué)館是一個面向具體展館的實景再現(xiàn)系統(tǒng)。從功能上不僅要真實地反映場館的內(nèi)部結(jié)構(gòu)，實現(xiàn)基本場景的瀏覽，而且要提供必要的導(dǎo)航以及操作手段，支持用戶自主選擇游覽路徑，實現(xiàn)交互式漫游[4-6]。為此，在Pano2VR軟件皮膚編輯器中為漫游系統(tǒng)設(shè)計制作了以下功能(圖1)。

圖1 界面交互操作控件、導(dǎo)航圖、縮略圖

1.1 界面交互操作設(shè)計

界面交互操作控件包括方向轉(zhuǎn)動按鈕：圖像收縮按鈕、開始/停止旋轉(zhuǎn)按鈕、恢復(fù)默認視角按鈕、改

變控制方式(正轉(zhuǎn)/反轉(zhuǎn))按鈕、全屏開關(guān)和展館場景簡介信息開關(guān)按鈕。展館場景信息簡介以小窗口的形式在漫游中顯示，主要包括：場景名稱、描述、作者、作品制作時間以及版權(quán)信息等。交互操作控件與鼠標(biāo)、鍵盤結(jié)合使用，增加用戶在漫游虛擬人體科學(xué)館時的沉浸感和交互的流暢性。

1.2 導(dǎo)航設(shè)計

導(dǎo)航由導(dǎo)航地圖和視角提示圖標(biāo)組成。導(dǎo)航地圖的設(shè)置主要是為避免復(fù)雜環(huán)境中的漫游迷失，實現(xiàn)系統(tǒng)中的快速定位。由于地圖一般所占窗口面積較大，導(dǎo)航地圖需要隱藏在虛擬人體科學(xué)館界面?zhèn)葯?，其顯示由相應(yīng)動作觸發(fā)，反之隱藏。視角提示圖標(biāo)主要是通過雷達指針獲取當(dāng)前的視角方向和視野范圍，從而使用戶可以辨別自己的方位。并且用戶還可以通過點擊導(dǎo)航圖內(nèi)的節(jié)點快速到達虛擬人體科學(xué)館內(nèi)的任意場景，為學(xué)習(xí)者提供便利。

1.3 場景縮略圖

人體科學(xué)館共有60個場景，為了實現(xiàn)在漫游過程中快速跳轉(zhuǎn)，設(shè)置了場景縮略圖，縮略圖是每一個場景最具有代表性的視角，其下方有對應(yīng)的名稱，通過點擊即可進入相應(yīng)的場景。

圖2 交互控件按鈕、簡介信息窗口參數(shù)設(shè)置

1.4 采用HTML5前端開發(fā)

HTML5是由萬維網(wǎng)聯(lián)盟W3C(Word Wide Web Consortium)推出的新一代的Web標(biāo)準(zhǔn)，此標(biāo)準(zhǔn)有效地提高了Web的交互能力和本地支持能力，讓W(xué)eb應(yīng)用擺脫插件限制，其目的是在移動設(shè)備上支持多媒體并進行跨平臺使用[7-8]。由于基于Flash的網(wǎng)頁技術(shù)的全景漫游不能支持移動設(shè)備(如手機、平板和Apple設(shè)備)上的交互，并且交互時作為外掛的Flash插件影響穩(wěn)定性和流暢性，同時為了更好地打破實體人體科學(xué)館的時空性限制，所以選用此標(biāo)準(zhǔn)。

2 人體科學(xué)館網(wǎng)絡(luò)化實現(xiàn)

為構(gòu)建一個畫質(zhì)高、場景逼真、便于操作的全景漫游系統(tǒng)，本課題組采用桌面型虛擬現(xiàn)實技術(shù),只以計算機或其他移動終端屏幕作為用戶觀察虛擬世界的一個窗口而沒有其他的復(fù)雜的虛擬現(xiàn)實設(shè)備如頭盔等，通過屏幕上的三維圖像和與用戶交互給用戶一種身臨其境的感覺[9]。

2.1 虛擬人體科學(xué)館展區(qū)場景全景數(shù)據(jù)采集

虛擬人體科學(xué)館包含了三大功能區(qū)：即演播室、榮譽室和實物標(biāo)本陳列，其中實物標(biāo)本陳列分為濕標(biāo)本(展廳1)、斷層解剖標(biāo)本(展廳2；3)、鑄型標(biāo)本(展區(qū)5)、生物塑化標(biāo)本(展區(qū)6)、大體解剖標(biāo)本(展區(qū)7)。按照展區(qū)內(nèi)部結(jié)構(gòu)設(shè)計節(jié)點位置和漫游路線，并依據(jù)節(jié)點布置三腳架、云臺以及相機等全景拍攝工具進行數(shù)據(jù)采集，后期處理主要包括:篩選和整理圖像；調(diào)整圖像的色彩度與明亮度；拼接全景平面圖。

2.1.1 設(shè)置節(jié)點坐標(biāo)并取景

根據(jù)觀察者步數(shù)設(shè)置若干個觀察點，在觀察點合適的視角和視野范圍處作為中心節(jié)點輻射該點的整個范圍(圖3)，在節(jié)點處布置三腳架、云臺、相機等全景拍攝工具，以單反相機鏡頭水平環(huán)視(0°)、斜向上45°(+45°)、垂直向上90°(+90°)、斜向下45°(-45°)、垂直向下90°(-90°)，共5層的方式進行拍攝[10]。

圖3 節(jié)點坐標(biāo)圖

2.1.2 二維全景圖的合成

常用拼接軟件有PT-GUI、Panorama Studio、Photoshop等。課題組經(jīng)過測試后，其中PT-GUI操作簡單、功能齊全，能夠根據(jù)圖片特征自動進行預(yù)處理、特征點配準(zhǔn)、融合以及邊界平滑等，是一款較為適用的輕量級軟件。將取景拍攝所得的5層多角度的圖片導(dǎo)入PT-GUI，通過對準(zhǔn)圖像，形成粗略的全景圖，再使用PT-GUI內(nèi)置的全景編輯器，根據(jù)場景視角和視野的特點對其進行蒙版、曝光度和中心點設(shè)定等處理，最后生成觀察點二維全景平面圖(矩形球面圖)的JPG格式文件(圖4)。

圖4 二維全景平面圖

2.2 虛擬人體科學(xué)館展區(qū)場景漫游系統(tǒng)建設(shè)

單個全景圖片只是單視點的二維靜態(tài)圖，并不能稱之為真正的虛擬現(xiàn)實場景，因此，必須對全景圖進行合理的空間編輯和組織。這種空間編輯和組織實質(zhì)上是根據(jù)視角方向顯示并渲染預(yù)先存儲全景圖的一部分，從而實現(xiàn)在固定節(jié)點旋轉(zhuǎn)、縮放以及節(jié)點漫游等實時交互效果[11-12]。在常用的全景建設(shè)平臺中，Pano2VR軟件具有操作簡單、功能齊全、便于開發(fā)等特點，可以將展示文件導(dǎo)出HTML5、FLASH、QUICKTIME等格式，快速實現(xiàn)漫游。它還可以在虛擬人體科學(xué)館中，對相應(yīng)標(biāo)本以熱點形式嵌入其環(huán)視文件的鏈接(url)以及添加語音解說音頻、人體科學(xué)相關(guān)的視頻等。因此選用Pano2VR，在得到初步導(dǎo)出的HTML5文件后，利用網(wǎng)站腳本語言對人體標(biāo)本展示、教學(xué)、科研、科普等功能進行拓展。

2.2.1 創(chuàng)建虛擬人體科學(xué)館全景漫游工程

使用Pano2VR軟件，將全景圖導(dǎo)入，完成了虛擬人體科學(xué)館全景漫游工程文件的創(chuàng)建。

2.2.2 全景漫游各種參數(shù)設(shè)置

①對虛擬人體科學(xué)館初始場景的設(shè)定(瀏覽漫游時會最先顯示這張全景圖所展示的場景)；②各展區(qū)場景的全景圖進行默認視角的設(shè)定、視場的限制、開場效果的設(shè)置、方向的設(shè)定、用戶數(shù)據(jù)的編寫(如作者、場景簡介、版權(quán)編寫等)；③在輸出窗口設(shè)置場景交互的特效、熱點提示文本框顯示參數(shù)、網(wǎng)頁參數(shù)、控制參數(shù)、圖像參數(shù)和HTML5顯示的高級參數(shù)以及其他參數(shù)的設(shè)置。

2.2.3 場景交互的實現(xiàn)

在Pano2VR工程文件[13-14]中，通過預(yù)覽窗口設(shè)立交互熱點、選擇需要跳轉(zhuǎn)的場景，還可以改變鏈接場景的查看視角。通過創(chuàng)建交互熱點將虛擬人體科學(xué)館不同場景進行鏈接，使用戶漫游時身臨其境。

2.3 虛擬人體科學(xué)館場景與標(biāo)本的交互實現(xiàn)

湖南醫(yī)藥學(xué)院人體科學(xué)館內(nèi)部結(jié)構(gòu)復(fù)雜，人體標(biāo)本陳列品擺放較為緊湊，部分標(biāo)本受視角等因素的限制難以全方位的對其進行觀察學(xué)習(xí)，因此本課題組將科學(xué)館內(nèi)具有代表性的標(biāo)本根據(jù)其自身特點進行多視角360°圖像數(shù)字化，制作成標(biāo)本環(huán)視HTML5文件，然后以網(wǎng)址鏈接的形式生成熱點嵌入虛擬人體科學(xué)館場景漫游工程中，在虛擬人體科學(xué)館中點擊該環(huán)視的熱點，在瀏覽器的窗口就會跳轉(zhuǎn)到標(biāo)本環(huán)視文件并自動打開(圖5)，然后即可對標(biāo)本進行任意地觀察和學(xué)習(xí)。

圖5 單體標(biāo)本觀察

2.3.1 標(biāo)本環(huán)視制作的前期準(zhǔn)備

為了最大程度還原標(biāo)本的結(jié)構(gòu)特點，對單個標(biāo)本的圖像采集需要在攝影棚內(nèi)進行，所以在建設(shè)初期，要搭建攝影棚、購置勻速自動轉(zhuǎn)盤靜物拍攝臺和安裝Object2VR環(huán)視制作軟件。

2.3.2 標(biāo)本的拍攝和取材建模

①對于具有多角度觀察價值的標(biāo)本，將標(biāo)本從中心線開始從上自下建立1～2層拍攝面，每層拍一周。設(shè)置好相機自動拍攝間隔時間和圓盤旋轉(zhuǎn)一周時間后將標(biāo)本放置自動旋轉(zhuǎn)的圓盤中進行拍攝。通常以拍攝一周72張圖片效果較好。將拍攝出的圖片通過PS摳圖、去噪、設(shè)置大小后，通過Object2VR軟件進行球形拼接生成標(biāo)本環(huán)視三維圖，為保持文件格式一致性，導(dǎo)出HTML5格式保存并生成統(tǒng)一資源定位符鏈接(URL)嵌入到場景的熱點中[10]；②對于只有單視角觀察價值的標(biāo)本，只需對其觀察面進行拍攝，然后通過Photoshop調(diào)節(jié)色彩、摳圖、降噪和對結(jié)構(gòu)添加標(biāo)注等處理保存JPG格式的文件，將該圖片文件直接置入虛擬人體科學(xué)館場景中，Pano2VR會自動生成熱點，漫游時點擊熱點即可在瀏覽器窗口查看。

2.4 生成虛擬人體科學(xué)館實物全景漫游

在虛擬人體科學(xué)館實物全景漫游工程文件中輸出HTML5文件[15],保存資料，建立數(shù)據(jù)庫。

2.5 網(wǎng)絡(luò)發(fā)布

上傳數(shù)據(jù)庫到服務(wù)器，為了提高漫游虛擬人體科學(xué)館的流暢性、加載速度和保護我校特有標(biāo)本素材的版權(quán)，課題組決定使用Windows系統(tǒng)的互聯(lián)網(wǎng)信息服務(wù)(IIS)功能，在校內(nèi)局域網(wǎng)下發(fā)布湖南醫(yī)藥學(xué)院虛擬人體科學(xué)館全景漫游。

3 結(jié)果

采用本文討論的思路和技術(shù)方法可以實現(xiàn)湖南醫(yī)藥學(xué)院虛擬人體科學(xué)館的構(gòu)建，用戶在我校局域網(wǎng)內(nèi)可隨時隨地漫游人體科學(xué)館，對場景和人體標(biāo)本進行放大、縮小和多視角觀察，并與之交互，提高了學(xué)習(xí)者對人體科學(xué)的學(xué)習(xí)興趣和學(xué)習(xí)效果，放大了實物人體科學(xué)館的功效，已在我校2017、2018級臨床專業(yè)部分學(xué)生的人體解剖學(xué)課程課前預(yù)習(xí)、課后復(fù)習(xí)中推廣。

4 討論

4.1 現(xiàn)存問題與不足

目前國內(nèi)外虛擬人體科學(xué)館的相關(guān)報道較少，在設(shè)計制作時缺乏一定的參考和評價標(biāo)準(zhǔn)。在推廣應(yīng)用過程中，發(fā)現(xiàn)我校虛擬人體科學(xué)館存在以下幾個問題：①虛擬人體科學(xué)館的操作控件在屏幕尺寸較小的終端偶爾會顯示不全，影響漫游效果；②由于圖像數(shù)據(jù)存儲空間龐大，故采用局域網(wǎng)內(nèi)發(fā)布，在一定程度上也限制了虛擬人體科學(xué)館的使用空間和輻射范圍；③標(biāo)本環(huán)視并不是真正的三維模型，在環(huán)視操作時未能實現(xiàn)無縫旋轉(zhuǎn)觀察。

4.2 經(jīng)驗體會

本課題組成員均為醫(yī)學(xué)專業(yè)教師、學(xué)生，對于虛擬人體科學(xué)館的設(shè)計制作所需的大部分技術(shù)需要自行查找教程邊學(xué)邊做，很大程度上降低了工作效率并影響其質(zhì)量，因此在下一步研究時我們會考慮與其他相關(guān)學(xué)科的人員進行合作。學(xué)生在參與制作的過程中，既學(xué)習(xí)了解剖知識，又可提高其自身綜合能力，為以后就業(yè)打下夯實的基礎(chǔ)并提供新方向。