投影面沉浸式虛擬環(huán)境在教學(xué)系統(tǒng)中的應(yīng)用*

陶婷婷，賀靜靜，張亞萍

（云南師范大學(xué)信息學(xué)院，云南昆明650500）

虛擬現(xiàn)實(shí)技術(shù)的發(fā)展使得計(jì)算機(jī)技術(shù)不再是完成某一項(xiàng)工作的重要工具，而是朝著更人性化的一面發(fā)展，它可以使用戶足不出戶就享受到計(jì)算機(jī)虛擬世界給我們帶來的真實(shí)感覺。顯示技術(shù)是最終形成虛擬環(huán)境的關(guān)鍵步驟。目前沉浸式顯示技術(shù)正處于蓬勃發(fā)展的階段。

多投影面沉浸式虛擬環(huán)境是由多臺(tái)投影儀拼接而組成的大規(guī)模顯示設(shè)備，加上各種人機(jī)交互設(shè)備，能夠更加清晰地模擬現(xiàn)實(shí)世界場(chǎng)景以及對(duì)歷史的逼真反映，給用戶帶來更佳的視野范圍和更強(qiáng)的沉浸感，[1]它可以是對(duì)高性能計(jì)算結(jié)果或數(shù)據(jù)庫的可視化，也可以是純粹的虛擬空間。多投影面沉浸式虛擬環(huán)境為學(xué)校教學(xué)中創(chuàng)設(shè)鮮活的情境提供了技術(shù)支持，可以成為一種全新的教學(xué)平臺(tái)，學(xué)習(xí)者可以以各種自然的交互手段與虛擬世界進(jìn)行交互獲取知識(shí)，改變了傳統(tǒng)學(xué)習(xí)環(huán)境下學(xué)習(xí)者被動(dòng)接受的學(xué)習(xí)方式，讓學(xué)習(xí)者有一種主動(dòng)學(xué)習(xí)的環(huán)境。

一、多投影面沉浸式虛擬環(huán)境的實(shí)現(xiàn)

1.系統(tǒng)總體設(shè)計(jì)

多投影面沉浸式虛擬環(huán)境按系統(tǒng)結(jié)構(gòu)主要分為：投影系統(tǒng)、用戶交互系統(tǒng)、圖形與計(jì)算系統(tǒng)。投影系統(tǒng)主要包括投影儀陣列以及投影屏幕，用來顯示大范圍畫面，實(shí)現(xiàn)沉浸式體驗(yàn)；用戶交互系統(tǒng)是讓用戶通過各種虛擬現(xiàn)實(shí)交互設(shè)備與系統(tǒng)應(yīng)用程序之間進(jìn)行自然的交互；圖形與計(jì)算系統(tǒng)是負(fù)責(zé)生成虛擬環(huán)境并對(duì)用戶的交互信息進(jìn)行處理。

在投影系統(tǒng)搭建的過程中，圖1所示的多投影面沉浸式虛擬環(huán)境的系統(tǒng)設(shè)計(jì)方案如下：使用多臺(tái)PC機(jī)、多臺(tái)投影儀、一個(gè)攝像機(jī)，將其中一臺(tái)PC機(jī)作為圖像校正服務(wù)器（Client PC），負(fù)責(zé)捕獲投影儀的反饋信息，計(jì)算校準(zhǔn)數(shù)據(jù)；另外幾臺(tái)PC機(jī) （Server PC）作為客戶端，分別連接一臺(tái)投影儀，用于負(fù)責(zé)讀取、處理并根據(jù)相應(yīng)位置分布繪制各顯示區(qū)域的數(shù)據(jù)；最后分別通過相應(yīng)的投影儀輸出到投影屏幕，構(gòu)成一個(gè)完整的無縫的顯示畫面，各計(jì)算機(jī)通過局域網(wǎng)進(jìn)行連接和通信，采用鼠標(biāo)或鍵盤等方式與系統(tǒng)進(jìn)行交互。

圖1 多投影面沉浸式虛擬環(huán)境的系統(tǒng)設(shè)計(jì)方案

2.關(guān)鍵技術(shù)

在多投影面沉浸式虛擬環(huán)境的構(gòu)建過程中，為了保證高清晰、實(shí)時(shí)流暢、邏輯上完整的顯示效果，幾何校正和顏色校正是最為關(guān)鍵的問題。技術(shù)流程如圖2所示。

圖2 技術(shù)流程

幾何校正是為了解決單個(gè)投影在投影屏幕上產(chǎn)生畸變問題以及多個(gè)投影儀之間的畫面對(duì)齊問題，使得整個(gè)投影畫面看起來具有連續(xù)性。[2]

在本系統(tǒng)中，我們?cè)谇叭搜芯康幕A(chǔ)之上，采用一臺(tái)反饋照相機(jī)來獲取投影圖像的幾何位置信息，根據(jù)圖像處理技術(shù)對(duì)原始圖像進(jìn)行幾何畸變校正，使得各投影儀投出的圖像能形成一幅完整的畫面，使使用者完全沉浸在由多個(gè)投影儀創(chuàng)建的虛擬環(huán)境中。在實(shí)驗(yàn)過程中考慮到由照相機(jī)鏡頭自身畸變而造成的扭曲，所以在幾何校正之前，我們采用張正友[3]提出的攝像機(jī)標(biāo)定的方法對(duì)數(shù)碼相機(jī)進(jìn)行標(biāo)定，從而對(duì)拍攝出的圖像進(jìn)行預(yù)校正。

幾何校正方案如下：

第一步，特征點(diǎn)采集與處理。對(duì)每臺(tái)投影儀以此投影一組特征圖案，利用數(shù)碼相機(jī)進(jìn)行特征圖案采集。再利用圖像處理技術(shù)對(duì)拍攝圖像進(jìn)行處理，對(duì)投影儀依次編號(hào)記為Hi，與Hi對(duì)應(yīng)的幀緩存中的特征點(diǎn)記為Fi；

第二步，求出所有投影儀顯示區(qū)域的最大有效顯示區(qū)域，并按等距離原則細(xì)分最大有效區(qū)域，記為Pi；

第三步，利用最小二乘法計(jì)算相機(jī)圖像到投影儀幀緩存圖像的映射關(guān)系，記為M。并求出映射矩陣M的逆矩陣M-1，再利用投影儀的有效顯示區(qū)域預(yù)校正緩存區(qū)的圖像。

為了真正地實(shí)現(xiàn)畫面的完整性，還有一個(gè)必須解決的問題就是顏色校正問題。顏色校正主要用來解決不同投影儀表現(xiàn)在顏色上的差異而導(dǎo)致畫面整體上的顏色不一致問題。所以要采用有效的方法盡可能地消除或縮小這種顏色差異，給人更好的視覺效果，具體算法本文不做詳細(xì)介紹。

二、多投影面沉浸式虛擬環(huán)境的特點(diǎn)及應(yīng)用實(shí)例

1.多投影面沉浸式虛擬環(huán)境的特點(diǎn)

①逼真性

在多投影面沉浸式虛擬環(huán)境中，逼真性主要表現(xiàn)在環(huán)境的真實(shí)性、視野范圍的無限擴(kuò)充和對(duì)象動(dòng)作的流暢展示。通過增加投影儀的數(shù)量，使用超大的物理尺寸屏幕，可以體現(xiàn)出真實(shí)的圖像質(zhì)量，實(shí)現(xiàn)單個(gè)投影所不能獲得的視覺效果，給用戶帶來身臨其境的感覺。

②沉浸感

理想的虛擬環(huán)境是使用戶達(dá)到難以分辨真假的程度。在多投影面沉浸式虛擬環(huán)境中，沉浸感主要是用戶對(duì)由計(jì)算機(jī)創(chuàng)造和顯示出來的虛擬環(huán)境的感知和認(rèn)識(shí)。當(dāng)用戶置身在多投影面沉浸式虛擬環(huán)境中時(shí)，其感覺系統(tǒng)在處理來自虛擬環(huán)境中的視覺和其他感知數(shù)據(jù)時(shí)的方式如同在真實(shí)環(huán)境下一樣。

③交互性

在多投影面沉浸式虛擬環(huán)境中，用戶可以與計(jì)算機(jī)生成的虛擬環(huán)境進(jìn)行自然交互，能夠用人類自然的感知能力與虛擬環(huán)境中的對(duì)象進(jìn)行實(shí)時(shí)交互，讓我們很容易地進(jìn)入角色，大大增強(qiáng)了參與其中的趣味性。

2.應(yīng)用實(shí)例

根據(jù)多投影面沉浸式虛擬環(huán)境的特點(diǎn)以及其他領(lǐng)域的廣泛應(yīng)用，在教學(xué)系統(tǒng)中的應(yīng)用可以分為兩大類別的學(xué)科：①結(jié)構(gòu)演示和位置信息展示等學(xué)科的學(xué)習(xí)。包括工程中的結(jié)構(gòu)圖、地理學(xué)習(xí)中的信息圖示、模型演示等。如化學(xué)學(xué)習(xí)過程中，通過多投影面沉浸式虛擬環(huán)境真實(shí)地展示出物質(zhì)分子結(jié)構(gòu)模型。②動(dòng)作演示類的科目。主要包括具體的操作以及與操作相關(guān)的位置信息等。其在醫(yī)療手術(shù)、化學(xué)實(shí)驗(yàn)的具體操作當(dāng)中有很好的應(yīng)用價(jià)值。

三、多投影面沉浸式虛擬環(huán)境對(duì)教學(xué)的促進(jìn)作用

1.創(chuàng)建逼真的實(shí)習(xí)場(chǎng)，為情境學(xué)習(xí)提供更真實(shí)的學(xué)習(xí)環(huán)境

根據(jù)情境學(xué)習(xí)理論的觀點(diǎn)，實(shí)踐不是獨(dú)立于學(xué)習(xí)的，意義也不是與實(shí)踐和情境脈絡(luò)相分離的，真正的意義是在實(shí)踐和情境脈絡(luò)中加以協(xié)商的。[4]情境學(xué)習(xí)的關(guān)鍵是創(chuàng)設(shè)學(xué)習(xí)環(huán)境，在教學(xué)場(chǎng)所與空間內(nèi)必須有真實(shí)的情境作為學(xué)習(xí)活動(dòng)的目標(biāo)，即實(shí)習(xí)場(chǎng)的創(chuàng)建。然而學(xué)校的學(xué)習(xí)環(huán)境與現(xiàn)實(shí)生活中的環(huán)境是完全不一樣的。如何創(chuàng)建這樣的實(shí)習(xí)場(chǎng)就成為我們要考慮的問題。傳統(tǒng)的拋錨式教學(xué)是通過真實(shí)化的錄像境脈來呈現(xiàn)與解決問題相關(guān)的信息。然而，這樣只能使學(xué)習(xí)者被動(dòng)地觀看，不能導(dǎo)致學(xué)習(xí)的發(fā)生。多投影面沉浸式虛擬環(huán)境通過無限擴(kuò)充學(xué)習(xí)者的視角視野，為學(xué)習(xí)者營造出身臨其境的感覺，將整個(gè)學(xué)習(xí)活動(dòng)都拋錨在真實(shí)的情境之中。它構(gòu)建出的實(shí)習(xí)場(chǎng)，不僅高度接近真實(shí)情境，將抽象化的知識(shí)具體化為可視化信息，而且其學(xué)習(xí)過程也與現(xiàn)實(shí)生活中的問題解決過程類似。學(xué)習(xí)者可以直接參與到“真實(shí)”的情境中，從而接觸許多平時(shí)不易接觸的場(chǎng)景。學(xué)生受到多感官強(qiáng)烈的刺激，增加了學(xué)習(xí)者體驗(yàn)的真實(shí)性，改變了學(xué)習(xí)者僅僅面對(duì)靜態(tài)文字的傳統(tǒng)學(xué)習(xí)方式。

2.沉浸式的學(xué)習(xí)體驗(yàn)，提高了學(xué)習(xí)者的參與性

人類學(xué)學(xué)家Lave在他的代表著作 《情境學(xué)習(xí)：合法的邊緣性參與》中指出：學(xué)習(xí)應(yīng)該從參與實(shí)際活動(dòng)的過程中學(xué)習(xí)知識(shí)。[5]也就是學(xué)習(xí)者不是被動(dòng)的觀察者，而是主動(dòng)參與其中的過程,那么如何使學(xué)習(xí)者主動(dòng)參與其中而不偏離主題，這也是我們需要考慮的問題。另外，還有一些學(xué)者擔(dān)心學(xué)習(xí)者參與到真實(shí)情境中可能會(huì)帶來一些危險(xiǎn)。多投影面沉浸式虛擬環(huán)境具有高仿真、寬屏幕、大視角、宏大震撼的效果,不再是傳統(tǒng)的書本教育和普通的多媒體教學(xué),能極大地提高學(xué)習(xí)者的學(xué)習(xí)熱情和參與度，將學(xué)習(xí)者完全吸引并投入到當(dāng)前情境中去，而忘卻了計(jì)算機(jī)設(shè)備的存在，過濾掉很多不相關(guān)的知覺，使注意力完全集中到學(xué)習(xí)任務(wù)中去。為學(xué)習(xí)者提供了豐富的情感虛擬體驗(yàn)，使整個(gè)學(xué)習(xí)過程充滿樂趣，親身體驗(yàn)更加強(qiáng)化了學(xué)習(xí)者的記憶和知識(shí)的建構(gòu)。

3.交互式學(xué)習(xí)環(huán)境，豐富了情境學(xué)習(xí)的趣味性

特洛伊·威廉姆斯（Troy Williams）在回顧了教育信息化發(fā)展的歷程之后，提出為了給予學(xué)生力量，讓我們把交互式學(xué)習(xí)技術(shù)帶進(jìn)教室吧。[6]其中就講到了如何實(shí)現(xiàn)課堂教學(xué)中的交互活動(dòng)最大化。多投影面沉浸式虛擬環(huán)境應(yīng)用于教學(xué)的過程中，為學(xué)習(xí)者提供了更加直接的交互環(huán)境，學(xué)習(xí)者在與虛擬信息的交互中獲得知識(shí)和經(jīng)驗(yàn)，超越了傳統(tǒng)的以知識(shí)接受為主的間接獲取學(xué)習(xí)經(jīng)驗(yàn)的方式，有助于培養(yǎng)學(xué)習(xí)者的動(dòng)手實(shí)踐能力和自主探索問題的能力。學(xué)習(xí)者通過與系統(tǒng)進(jìn)行交互，置身于“超越現(xiàn)實(shí)、身臨其境”的學(xué)習(xí)環(huán)境中。同時(shí)，多投影面沉浸式虛擬環(huán)境還是一個(gè)支持合作的協(xié)同環(huán)境，合作學(xué)習(xí)也是情境學(xué)習(xí)的重要方面，學(xué)習(xí)者可以以小組的形式參與到真實(shí)境脈中來，大大地改善了傳統(tǒng)的課堂學(xué)習(xí)氛圍，提高了學(xué)習(xí)者的學(xué)習(xí)積極性。在多投影面沉浸式虛擬環(huán)境中，學(xué)習(xí)者之間、學(xué)習(xí)者與教師之間進(jìn)行協(xié)作，提出問題、討論結(jié)果、分享發(fā)現(xiàn)、探索未知的領(lǐng)域。

四、總結(jié)

本文探討了多投影面沉浸式虛擬環(huán)境對(duì)教學(xué)的重要作用，它所創(chuàng)造的逼真情境使學(xué)習(xí)者可以在課堂的實(shí)習(xí)場(chǎng)中體驗(yàn)到現(xiàn)實(shí)生活的經(jīng)驗(yàn)，并且支持交互操作、學(xué)習(xí)的交流合作等，學(xué)習(xí)者沉浸在虛擬環(huán)境中，實(shí)現(xiàn)知識(shí)的建構(gòu)和遷移，并還原到實(shí)際生活中去。多投影面沉浸式虛擬環(huán)境由于其高度沉浸感和交互性，在遙感技術(shù)、展覽、工業(yè)設(shè)計(jì)、計(jì)算機(jī)可視化中具有非常好的應(yīng)用前景。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展以及在教學(xué)中的應(yīng)用，多投影面沉浸式虛擬環(huán)境的教育意義也備受關(guān)注，其在教育領(lǐng)域仍有很大的發(fā)展空間，有待于我們積極開發(fā)和應(yīng)用。

[1]林柏偉.PC架構(gòu)的多投影面沉浸式虛擬環(huán)境及其應(yīng)用[D].杭州:浙江大學(xué),2003.

[2]黃淼,周志光,陶煜波,林海.基于數(shù)碼相機(jī)參數(shù)還原的多屏拼接幾何校正技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010(10).

[3]馬頌德，張正友.計(jì)算機(jī)視覺[M].北京：科學(xué)出版社,1998.

[4]俞貞.情境學(xué)習(xí)和學(xué)校環(huán)境中實(shí)習(xí)場(chǎng)的建構(gòu)[J].全球教育展望,2006(5):35.

[5]王文靜.人類學(xué)視野中的情境學(xué)習(xí)[J].外國中小學(xué)教育,2004(4).

[6]http://venturebeat.com/2012/10/30/interactive -learning/#YYszqqe1qYaO82C0.99.