混合現(xiàn)實虛擬智能教室的方案設(shè)計

徐菊紅

（武漢工程大學(xué)藝術(shù)設(shè)計學(xué)院，湖北 武漢 430074）

0 引 言

隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，有關(guān)智能教室的研究也越來越受到人們的重視.在國際上，微軟研究院開發(fā)的Easy Living、斯坦福大學(xué)研究的Interactive Workspace、麻省理工學(xué)院人工智能實驗室設(shè)計研究的Intelligent Room、德國信息技術(shù)國家研究中心在研究的I Land、佐治亞技術(shù)理工學(xué)院研究的Aware Home等，都是對智能教室嘗試的成果，而中國也有許多相關(guān)機構(gòu)進(jìn)行著關(guān)于智能教室的設(shè)計和研究，例如清華大學(xué)計算機學(xué)院研制的智能教室.因此，不難看出，從生活到工作，從居家到教學(xué)，這些“能交互且具有智能性”的空間技術(shù)的應(yīng)用范圍非常廣泛.當(dāng)然，目前我們很難想象它究竟會給我們帶來怎樣的便利和舒適，但在某些特殊領(lǐng)域，特別是在網(wǎng)絡(luò)教育方面，已經(jīng)可以明顯地感受到其無可替代的創(chuàng)意想象和快捷便利［1－2］.

本文結(jié)合筆者設(shè)計和研究的“混合現(xiàn)實智能虛擬教室”來討論虛擬現(xiàn)實技術(shù)以及空間交互技術(shù)在網(wǎng)絡(luò)遠(yuǎn)程教育方面的應(yīng)用和開發(fā).

1 目標(biāo)功能設(shè)計

目前，網(wǎng)絡(luò)教育風(fēng)靡全球，這種教學(xué)方式能將終身學(xué)習(xí)的理念更好的實踐起來，而且能極大地方便學(xué)習(xí)者的學(xué)習(xí)，使其不受地域和時間的限制，能夠有效地擴(kuò)大教學(xué)規(guī)模（特別是對于中國這樣人口眾多的國家而言），能夠使更多的人接受到相同的教育.然而，現(xiàn)階段的網(wǎng)絡(luò)教育還存在許許多多技術(shù)上的缺陷，使得教學(xué)效果難以令人滿意，如以下幾個方面的問題：其一，在中國，當(dāng)前基于互聯(lián)網(wǎng)的遠(yuǎn)程教育大多數(shù)是以網(wǎng)頁瀏覽為主的學(xué)習(xí)方式，即教學(xué)機構(gòu)在學(xué)習(xí)行為發(fā)生之前先將教學(xué)內(nèi)容進(jìn)行數(shù)字化并進(jìn)行整理，在網(wǎng)頁中以視頻、音頻、動畫、文字、圖片等形式呈現(xiàn)給學(xué)習(xí)者，學(xué)習(xí)者雖然是主動的學(xué)習(xí)，但在很多時候沒有適當(dāng)?shù)囊龑?dǎo)者，沒有及時的問題解答者；其二，有少數(shù)網(wǎng)絡(luò)教育機構(gòu)或以少量的課程進(jìn)行網(wǎng)絡(luò)實時授課，但在授課過程中，師生之間沒有實時的言語交流，也沒有雙向的視頻交流，造成學(xué)習(xí)者只能被動的看和聽，而不能及時向教師提出問題并獲得解答；其三，網(wǎng)絡(luò)實時授課時，教師畫面呆板、單一，僅僅是教師的大頭照，教師的課件和一些相關(guān)的資料片無法及時傳遞給學(xué)生，無法模擬和展示相關(guān)實驗，無法給予學(xué)習(xí)者如同看《Discovery》般的感受和體驗；其四，教師在普通多媒體教室給遠(yuǎn)程學(xué)生上課時，往往會因為計算機操作與個人上課習(xí)慣等方面的沖突而影響其授課情緒［3］.

基于上述情況，筆者思考了以下幾個問題：①網(wǎng)絡(luò)學(xué)習(xí)過程中如何通過網(wǎng)絡(luò)為學(xué)生提供實時流暢的教師授課錄像視頻？②教師的視頻以何種形式（如不同的教學(xué)場景、展示內(nèi)容、演示角度）更好地展示給學(xué)習(xí)者？③教師常用的教學(xué)方式中涉及哪些行為方式和具體教具？這些教具有無可能實現(xiàn)相近替代或者直接與計算機網(wǎng)絡(luò)對接？④要為教師和學(xué)習(xí)者提供哪些交互方式？如何控制這些交互的發(fā)生？⑤如何使學(xué)習(xí)者能看到自己的學(xué)習(xí)過程以及教師上課過程的記錄，方便對教學(xué)內(nèi)容進(jìn)行回溯？［4］

基于上述問題的探討和思索，筆者最終在設(shè)計該系統(tǒng)方案時，將系統(tǒng)功能具體定位為以下幾個方面：

a.實現(xiàn)教師與虛擬三維場景的同步、跟蹤和融合，形成混合現(xiàn)實的教師講課視頻.目的是實現(xiàn)多變化視頻畫面，實現(xiàn)虛實結(jié)合的教學(xué)過程視頻.要實現(xiàn)的目標(biāo)功能包括教師活動的自動判別和跟蹤，教師現(xiàn)場形象與虛擬三維教學(xué)場景實時融合.

b.實現(xiàn)教師與虛擬三維場景、授課課件之間的互動.目的是使教師能夠控制三維場景或者是自己的演示課件.目標(biāo)功能是要實現(xiàn)課件播放控制、屏幕縮放功能、三維場景中三維物件的控制功能.

c.實現(xiàn)教師與網(wǎng)絡(luò)上的異域?qū)W生以及學(xué)生與學(xué)生之間的互動.目的是使師生之間和學(xué)習(xí)者之間能夠通過網(wǎng)絡(luò)進(jìn)行交流和互動.目標(biāo)功能包括教師講課錄像直播功能，學(xué)習(xí)者圖像教師端顯示功能，學(xué)習(xí)者語音回傳功能，語音回傳請求及權(quán)限控制功能，文本答疑及討論功能.

d.實現(xiàn)教師教具的多樣化和智能化，以及教具與網(wǎng)絡(luò)環(huán)境之間的自動鏈接.目的是使教師能夠運用自己慣常的方式進(jìn)行教學(xué)，不受復(fù)雜環(huán)境的限制和約束.具體目標(biāo)功能包括電子白板手寫功能、計算機語音控制功能、課件演示功能，實現(xiàn)演示課件視頻與教師混合視頻之間的智能切換.

e.實現(xiàn)教師授課過程、教學(xué)演示（板書或PPT）、學(xué)生交流過程的全程自動記錄和課件生成.目的是記錄教師全部上課過程和學(xué)習(xí)者個人學(xué)習(xí)過程，方便學(xué)習(xí)者回看教師講課記錄和自己學(xué)習(xí)過程中的疑難問題.具體的目標(biāo)功能是實現(xiàn)課件的標(biāo)準(zhǔn)化記錄及學(xué)習(xí)者個人學(xué)習(xí)檔案的記錄.

2 方案設(shè)計

為了實現(xiàn)上述功能和目標(biāo)，筆者在技術(shù)方案上做了如圖1所示的設(shè)計.

圖1 混合現(xiàn)實虛擬智能教室的設(shè)計方案Fig.1 Design of virtual and blending－reality intelligent classroom

在此方案中，筆者設(shè)計了一間四周墻面和地板都為純綠色（或藍(lán)色）的演播室型教室，在其中配置相關(guān)硬件設(shè)備并設(shè)計開發(fā)相關(guān)的軟件系統(tǒng).

具體設(shè)計開發(fā)的軟件系統(tǒng)包括：

a.智能媒體控制系統(tǒng).用于分析及判別各媒體信號源并進(jìn)行智能提示或操作.具體完成語音識別、圖像動態(tài)跟蹤、關(guān)鍵動作識別等功能.

b.智能混合現(xiàn)實系統(tǒng).用于三維場景輸出以及實時圖像融合，具體功能包括實時三維場景渲染、實時三維場景切換、實時色鍵混合、摳像控制等功能.

c.網(wǎng)絡(luò)學(xué)習(xí)服務(wù)系統(tǒng).用于發(fā)布和記錄教師授課過程，回傳學(xué)生實時信息，并記錄學(xué)生學(xué)習(xí)過程，主要功能包括：標(biāo)準(zhǔn)化課件生成，實時流媒體發(fā)布，實時音影傳送，文本在線交流，學(xué)習(xí)者登陸、分組管理以及學(xué)習(xí)者檔案記錄功能［5－6］.

具體硬件包括：數(shù)臺攝像機，用來捕捉教師上課時的表情和動作；兩臺投影儀和一臺液晶電視，用以展示視頻或者計算機屏幕信號；手寫式平板電腦，用于教師播放和演示課件，并提供電子版本功能；控制用計算機一臺，用于安裝智能媒體控制系統(tǒng)；圖形工作站一臺，用以支撐智能混合現(xiàn)實系統(tǒng)；服務(wù)器一臺，用于安裝網(wǎng)絡(luò)學(xué)習(xí)服務(wù)系統(tǒng)；拾音設(shè)備，以方便對教師的語音進(jìn)行采樣和記錄；音響系統(tǒng)，用來回放聲音.

3 工作流程

上述方案中，軟件系統(tǒng)和硬件設(shè)備是相互配合、協(xié)同工作的，在此處理過程中融合廣播電視技術(shù)、計算機技術(shù)以及網(wǎng)絡(luò)技術(shù)，具體的工作流程可分為：視頻工作流程、音頻工作流程和控制流程［2］.

3.1 視頻工作流程

當(dāng)教師和現(xiàn)場學(xué)生進(jìn)入教室上課時，教師可以利用手寫式平板電腦進(jìn)行課件展示和書寫，以進(jìn)行正常的講課，在講課的過程中，課件和書寫的內(nèi)容可以通過液晶電視展示給現(xiàn)場的學(xué)習(xí)者.

現(xiàn)場的數(shù)臺攝像機會捕捉教師的動態(tài)影像（一般設(shè)置兩臺攝像機），并將捕捉到的視頻信號傳送到智能控制系統(tǒng)；與此同時，平板電腦上的教師課件和手寫的演示視頻信號也會傳送到智能控制系統(tǒng).

控制系統(tǒng)通過對視頻信號的對比分析，判別哪一路視頻信號中有重要的信息內(nèi)容，將其選擇并輸出到智能混合現(xiàn)實系統(tǒng).

當(dāng)視頻信號以及相關(guān)參數(shù)信息傳送到混合現(xiàn)實系統(tǒng)之后，混合現(xiàn)實系統(tǒng)會根據(jù)相關(guān)參數(shù)信息及時調(diào)整虛擬背景圖像的輸出，并將傳送過來的視頻信號與之進(jìn)行摳像融合，形成虛實結(jié)合的教師講課視頻.

而從混合現(xiàn)實系統(tǒng)出來的視頻信號，一方面?zhèn)魉偷浆F(xiàn)場教室中的電視機或投影儀，方便教師和現(xiàn)場學(xué)生觀看；另一方面?zhèn)魉徒o網(wǎng)絡(luò)學(xué)習(xí)服務(wù)系統(tǒng)，進(jìn)行編碼壓縮和網(wǎng)絡(luò)發(fā)布，以便網(wǎng)絡(luò)中的學(xué)習(xí)者進(jìn)行瀏覽和觀看.

為了能夠使師生在網(wǎng)絡(luò)上進(jìn)行實時的交互，在視覺方面，網(wǎng)絡(luò)學(xué)習(xí)者可以借助于網(wǎng)絡(luò)學(xué)習(xí)服務(wù)系統(tǒng)的實時視頻傳輸功能將視頻回傳，并將畫面?zhèn)魉徒o教室現(xiàn)場的投影儀，以便教師看到學(xué)生圖像.

3.2 音頻工作流程

現(xiàn)場的音頻通過麥克風(fēng)同時傳送到智能媒體控制系統(tǒng)和智能混合現(xiàn)實系統(tǒng).

傳送給智能媒體控制系統(tǒng)和智能混合現(xiàn)實系統(tǒng)的目的是形成與視頻同步的音頻信號，并方便學(xué)習(xí)服務(wù)系統(tǒng)壓縮和發(fā)布，從而使學(xué)習(xí)者能聽到教師現(xiàn)場的聲音.

而聲音信號傳送到智能媒體控制系統(tǒng)的目的在于通過語音識別來控制學(xué)生發(fā)言權(quán)限，例如當(dāng)教師說“student No1，pleases”，該關(guān)鍵詞被檢測出來后，轉(zhuǎn)換成控制信號開放對應(yīng)學(xué)生的語音權(quán)限，并通過網(wǎng)絡(luò)回傳聲音信號，在揚聲器上播放出來.同時如果某一學(xué)生通過計算機請求發(fā)言時，可以通過服務(wù)端的語音和圖像閃爍來提示教師.

3.3 控制工作流程

在本系統(tǒng)中，控制工作包括了自動控制和人工控制兩種.

自動控制的目的包括兩個方面：其一，提高媒體的智能型，減輕教師對媒體的操控壓力，實現(xiàn)智能化的媒體控制；其二，減少因教師疏忽而導(dǎo)致的情感傷害.具體包括以下幾個方面：

a.對不同視頻信號的自動判別和選擇：當(dāng)現(xiàn)場攝像機和教師課件演示或手寫視頻到達(dá)控制系統(tǒng)后，控制系統(tǒng)會自動對每路視頻進(jìn)行分析，分析的內(nèi)容包括兩個方面：同一視頻時間上前后是否有較大的變化和差異；不同視頻之間何者在同一時間段內(nèi)前后變化最大.控制系統(tǒng)根據(jù)這兩點判定當(dāng)前時間點上哪一路視頻是最重要的，并據(jù)此做出相應(yīng)的選擇，將所選視頻信號傳輸?shù)街悄芑旌犀F(xiàn)實系統(tǒng).

b.對攝像機的焦距、方向以及虛擬背景運動的智能控制：控制系統(tǒng)會對每路視頻畫面進(jìn)行獨立的前后幀檢測，以得出教師的運動趨勢和方向.此檢測所得結(jié)果參數(shù)，一方面各自獨立地傳送給對應(yīng)的攝像機和控制云臺，以達(dá)到對教師運動行為的自動跟蹤功能；另一方面，對于輸出到混合現(xiàn)實系統(tǒng)的視頻，所得檢測結(jié)果連同其攝像機對應(yīng)機位編號一起傳送到混合現(xiàn)實系統(tǒng)，混合現(xiàn)實系統(tǒng)選擇對應(yīng)的機位背景輸出，并保證背景與對應(yīng)視頻的相應(yīng)運動［7］.

c.對網(wǎng)絡(luò)學(xué)生請求的自動排隊和智能提示：當(dāng)網(wǎng)絡(luò)中的學(xué)習(xí)者要求發(fā)言時，其請求命令通過網(wǎng)絡(luò)傳輸?shù)綄W(xué)習(xí)服務(wù)中心，服務(wù)系統(tǒng)會根據(jù)請求的時間先后，進(jìn)行隊列排序，并通過服務(wù)器的屏幕投影進(jìn)行閃爍提示，當(dāng)閃爍一段時間后教師仍然沒有察覺，此時服務(wù)系統(tǒng)會通過揚聲器進(jìn)行語音提示.

d.標(biāo)準(zhǔn)化網(wǎng)絡(luò)課件自動生成和學(xué)習(xí)者學(xué)習(xí)檔案自動記錄.在學(xué)習(xí)服務(wù)系統(tǒng)上，會將混合現(xiàn)實系統(tǒng)輸出的視頻、教師的演示課件以及電子白板上的信息進(jìn)行整合、壓縮和記錄，將其存儲在服務(wù)系統(tǒng)上.同時在學(xué)習(xí)者登錄學(xué)習(xí)服務(wù)系統(tǒng)后，記錄其發(fā)言（包括語音和文本）、學(xué)習(xí)筆記等內(nèi)容，形成網(wǎng)絡(luò)學(xué)習(xí)者的個人學(xué)習(xí)檔案.

在人工控制方面，主要是為方便教師能夠根據(jù)習(xí)慣、內(nèi)容重點和難點、進(jìn)度等方面的需要對課堂進(jìn)行自我掌控.具體包括以下幾個方面：

a.對網(wǎng)絡(luò)學(xué)習(xí)者請求響應(yīng)的控制：當(dāng)服務(wù)系統(tǒng)對網(wǎng)絡(luò)學(xué)習(xí)者的請求排隊之后，何時響應(yīng)其請求（開放語音通訊權(quán)限），是由教師根據(jù)自己的講課進(jìn)度來決定何時開放，對哪一位學(xué)習(xí)者開放，控制方法是通過語音來識別并控制.

b.對白板功能的控制：教師可以通過網(wǎng)絡(luò)和電子白板直接和學(xué)習(xí)者進(jìn)行板書和討論.

c.演示屏幕局部縮放的控制：當(dāng)教師在演示課件時，如果需要對課件中的某一局部進(jìn)行重點講解，教師可以通過安裝在課件演示電腦上的相關(guān)軟件直接進(jìn)行屏幕的縮放，也可以直接對演示屏幕進(jìn)行手寫繪畫.

4 結(jié) 語

本系統(tǒng)是一個依靠交互空間技術(shù)和電視演播技術(shù)而開發(fā)的網(wǎng)絡(luò)教學(xué)環(huán)境，該系統(tǒng)最大的特點在于大量參加遠(yuǎn)程網(wǎng)絡(luò)學(xué)習(xí)的學(xué)生可以用不同的接入方式通過互聯(lián)網(wǎng)加入這個課堂，網(wǎng)絡(luò)學(xué)習(xí)者看到的不僅僅只是教師的講課身影，而且可以通過多變的虛擬背景接受到更多的感性認(rèn)識；學(xué)習(xí)者也不僅僅是被動地觀看教師講課，而且也可以通過語音、視頻和文本與教師進(jìn)行直接對話，打破了網(wǎng)絡(luò)學(xué)習(xí)時學(xué)習(xí)者情感的缺失［8］.

［1］嚴(yán)冰，方慕真.基于 WEB2.0的數(shù)字化教學(xué)環(huán)境與資源建設(shè)的研究與實驗［J］.中國遠(yuǎn)程教育，2009（8）：32－40.

［2］林敏.基于RFID和WSN的智能環(huán)境服務(wù)組合技術(shù)研究與實現(xiàn)［D］.上海：上海交通大學(xué)，2008.

［3］楊德生.網(wǎng)絡(luò)課堂和傳統(tǒng)面授課堂的融合——中美師生實時同步互動學(xué)習(xí)的實證研究［J］.開放教育研究，2010，16（3）：144－150.

［4］Myke Bartlett.教室內(nèi)外的改革來自澳大利亞維多利亞州的經(jīng)驗［J］.敖瓊，譯.上海教育，2010（23）：46－47.

［5］竺如生.基于校園網(wǎng)的多媒體教室管理信息系統(tǒng)的設(shè)計與實現(xiàn)［J］.中國現(xiàn)代教育裝備，2010（23）：66－68.

［6］趙世波.遠(yuǎn)程多媒體教室設(shè)計方案［J］.中國科技信息，2007（22）：127－131.

［7］李明源.交互式多媒體教學(xué)系統(tǒng)結(jié)構(gòu)與關(guān)鍵技術(shù)分析［J］.科技傳播，2010（20）：194，197.

［8］程建鋼.數(shù)字化學(xué)習(xí)環(huán)境研究［J］.中國教育信息化，2008（21）：20.