李洪亮 章瀟琪
摘 要:傳統(tǒng)的在線開(kāi)放課程平臺(tái)限于呈現(xiàn)基于“二維”屏幕的在線學(xué)習(xí)環(huán)境以及人機(jī)交互,很大程度上限制了在線開(kāi)放課程的教學(xué)效能。通過(guò)對(duì)混合現(xiàn)實(shí)硬軟件技術(shù)的深入研究,結(jié)合計(jì)算機(jī)、網(wǎng)絡(luò)等現(xiàn)代信息技術(shù),構(gòu)建了一種可以呈現(xiàn)“虛實(shí)”融合的全息學(xué)習(xí)環(huán)境,進(jìn)行“虛實(shí)”融合的三維立體交互,脫離“二維”屏幕依附,具備空間音效的泛在網(wǎng)絡(luò)在線開(kāi)放課程平臺(tái)。與傳統(tǒng)的在線開(kāi)放課程平臺(tái)相比,該平臺(tái)呈現(xiàn)的學(xué)習(xí)環(huán)境更加直觀、立體、形象,其交互方式也更加真實(shí)、自然、靈便、有趣。
關(guān)鍵詞:混合現(xiàn)實(shí);5G;學(xué)習(xí)環(huán)境;在線課程;教育應(yīng)用
中圖分類號(hào):G434文獻(xiàn)標(biāo)志碼:A文章編號(hào):2096-0069(2020)06-0071-06
收稿日期:2020-07-03
基金項(xiàng)目:2019年浙江省教育廳科研項(xiàng)目“基于混合現(xiàn)實(shí)系統(tǒng)的《器樂(lè)》在線課程教育平臺(tái)構(gòu)建研究”(Y201942994);2019年浙江省高校實(shí)驗(yàn)室工作研究項(xiàng)目(重點(diǎn))“基于混合現(xiàn)實(shí)技術(shù)的在線課程開(kāi)發(fā)與應(yīng)用研究”(ZD201912)
作者簡(jiǎn)介:李洪亮(1982— ),男,浙江紹興人,實(shí)驗(yàn)師,碩士,主要研究方向?yàn)閿?shù)字化學(xué)習(xí)環(huán)境及在線音樂(lè)教育;章瀟琪(1986— ),女,浙江富陽(yáng)人,中學(xué)一級(jí)教師,學(xué)士,主要研究方向?yàn)閿?shù)字化音樂(lè)教育。
在線教學(xué),是信息時(shí)代的產(chǎn)物,其與面對(duì)面教學(xué)相比,具有突破時(shí)空限制、支持大規(guī)模參與[1]、提供多種交互方式、滿足學(xué)習(xí)者的個(gè)性化學(xué)習(xí)需求、教學(xué)資源豐富且可共享等優(yōu)勢(shì)[2]。在線開(kāi)放課程平臺(tái)是在線課程進(jìn)行在線教學(xué)的技術(shù)承載媒介和實(shí)施在線課程在線教學(xué)的支撐系統(tǒng),是開(kāi)展在線教育活動(dòng)的基礎(chǔ)條件[3],其平臺(tái)功能的差異將直接影響在線教學(xué)的教學(xué)質(zhì)量和效能。
2013年以來(lái),愛(ài)課程、學(xué)堂在線等一批在線開(kāi)放課程平臺(tái)的陸續(xù)建成和投入運(yùn)行,有效推動(dòng)了我國(guó)在線教育的發(fā)展。從各平臺(tái)的功能角度分析,有共性功能,也有個(gè)性化功能。共性功能包括:①課程信息與內(nèi)容管理,②視頻播放,③題庫(kù)(或教師手動(dòng)輸入)測(cè)試,④主觀題作業(yè),⑤師生交互,⑥教學(xué)數(shù)據(jù)統(tǒng)計(jì),⑦學(xué)習(xí)進(jìn)度管理等。個(gè)性化功能包括:①學(xué)堂在線的“雨課堂”等智慧工具,②全國(guó)地方高校優(yōu)課聯(lián)盟推出了課堂筆記、直播交互與人臉識(shí)別功能,③超星爾雅闖關(guān)模式等[4]。目前,在線開(kāi)放課程平臺(tái)的功能已經(jīng)日趨完善,尤其是通過(guò)“雨課堂”“人臉識(shí)別”等智能教學(xué)工具的應(yīng)用,賦予了在線開(kāi)放課程平臺(tái)“智能”化特征。不過(guò)從已建成并投入運(yùn)行在線開(kāi)放課程平臺(tái)來(lái)看,各平臺(tái)都僅限于呈現(xiàn)基于“二維”屏幕的在線學(xué)習(xí)環(huán)境以及人機(jī)交互,很大程度上限制了在線開(kāi)放課程平臺(tái)的教學(xué)效能。
一、混合現(xiàn)實(shí)系統(tǒng)
(一)混合現(xiàn)實(shí)技術(shù)
混合現(xiàn)實(shí)(Mixed Reality,MR)有時(shí)被稱為Hybrid Reality,是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展,也是增強(qiáng)現(xiàn)實(shí)技術(shù)的進(jìn)一步延伸[5],該技術(shù)可以將數(shù)字世界與物理環(huán)境融合在一起,使其在視覺(jué)和聽(tīng)覺(jué)上都像是你所在世界的一部分,即使你身處全息影像之中,也始終可以看到周圍環(huán)境,自由移動(dòng),并可與人和物交互[6]。混合現(xiàn)實(shí)技術(shù)是一種虛擬世界融合現(xiàn)實(shí)世界的技術(shù),虛擬現(xiàn)實(shí)代表了計(jì)算機(jī)營(yíng)造的世界,使人類的知覺(jué)感知延展到計(jì)算機(jī)中,而混合現(xiàn)實(shí)技術(shù)則是在保持對(duì)現(xiàn)實(shí)世界正常感知的基礎(chǔ)之上,通過(guò)建立虛擬世界與現(xiàn)實(shí)世界之間的聯(lián)系,再將人類感官延伸到虛擬世界[7]。
(二)混合現(xiàn)實(shí)系統(tǒng)的基本構(gòu)成
混合現(xiàn)實(shí)系統(tǒng)是虛擬現(xiàn)實(shí)系統(tǒng)的進(jìn)一步發(fā)展和增強(qiáng)現(xiàn)實(shí)系統(tǒng)的進(jìn)一步延伸,因此混合現(xiàn)實(shí)系統(tǒng)的硬件組成和系統(tǒng)構(gòu)成與虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)系統(tǒng)有一定的繼承性和關(guān)聯(lián)性。一個(gè)典型的混合現(xiàn)實(shí)系統(tǒng)主要由虛擬場(chǎng)景生成器、頭盔顯示器、實(shí)現(xiàn)學(xué)習(xí)者觀察視線跟蹤的頭部姿態(tài)跟蹤器、虛擬場(chǎng)景與真實(shí)場(chǎng)景對(duì)準(zhǔn)的定位設(shè)備和交互設(shè)備構(gòu)成,如圖 1 所示。[8]
二、基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)構(gòu)建
(一)基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的基本構(gòu)成
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)主要由PC、在線課程教育網(wǎng)站、混合現(xiàn)實(shí)教育應(yīng)用、5G網(wǎng)絡(luò)和混合現(xiàn)實(shí)全息設(shè)備構(gòu)成,PC與在線課程教育網(wǎng)站通過(guò)網(wǎng)絡(luò)連接,混合現(xiàn)實(shí)教育應(yīng)用通過(guò)PC上傳并發(fā)布至在線課程教育網(wǎng)站,在線課程教育網(wǎng)站與混合現(xiàn)實(shí)全息設(shè)備通過(guò)5G網(wǎng)絡(luò)連接,如圖2所示。
(1)PC:即個(gè)人計(jì)算機(jī),用于教學(xué)應(yīng)用的開(kāi)發(fā)、上傳、發(fā)布以及相關(guān)教學(xué)信息的管理等。
(2)在線課程教育網(wǎng)站:在線課程教育網(wǎng)站作為在線課程的門(mén)戶窗口,用于教師進(jìn)行在線課程管理、發(fā)布和用于學(xué)習(xí)者進(jìn)行在線課程的瀏覽、登入、檢索、獲取、下載、安裝等。在線課程教育網(wǎng)站包括Web層、業(yè)務(wù)邏輯層、Model數(shù)據(jù)層(云數(shù)據(jù)庫(kù))。
(3)混合現(xiàn)實(shí)教育應(yīng)用:即混合現(xiàn)實(shí)教育應(yīng)用程序,用于對(duì)虛擬教學(xué)環(huán)境(內(nèi)容)的存儲(chǔ)和對(duì)虛擬教學(xué)環(huán)境(內(nèi)容)的呈現(xiàn)。
(4)5G網(wǎng)絡(luò):即第五代移動(dòng)通信網(wǎng)絡(luò),具有高速率、低時(shí)延、泛在網(wǎng)、萬(wàn)物互聯(lián)等特征。5G網(wǎng)絡(luò)可以滿足學(xué)習(xí)者通過(guò)混合現(xiàn)實(shí)全息設(shè)備進(jìn)行在線學(xué)習(xí),包括進(jìn)行應(yīng)用的下載、人機(jī)交互、相關(guān)影像及數(shù)據(jù)的傳輸?shù)取?/p>
(5)混合現(xiàn)實(shí)全息設(shè)備:混合現(xiàn)實(shí)全息設(shè)備是基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的重要教學(xué)工具,用于呈現(xiàn)在線課程的教學(xué)環(huán)境(教學(xué)內(nèi)容)和完成在線教學(xué)的教學(xué)過(guò)程。混合現(xiàn)實(shí)全息設(shè)備的代表設(shè)備如Hololens,可以將數(shù)字影像放置在真實(shí)環(huán)境中,達(dá)到以假亂真的效果[9]。Hololens是一種能夠超越屏幕限制,具有無(wú)線網(wǎng)絡(luò)功能的全息計(jì)算機(jī)設(shè)備,不僅可以在移動(dòng)中為學(xué)習(xí)者呈現(xiàn)混合現(xiàn)實(shí)全息影像和空間音效,還能實(shí)現(xiàn)學(xué)習(xí)者與虛擬的數(shù)字“三維”對(duì)象的交互,與周圍真實(shí)環(huán)境交互。[10]
(二)基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的使用方法
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的應(yīng)用主要由12個(gè)環(huán)節(jié)組成,混合現(xiàn)實(shí)全息設(shè)備擬使用Hololens。如圖3所示(見(jiàn)下頁(yè)):
(1)前期準(zhǔn)備:教師根據(jù)課程的教學(xué)大綱、教學(xué)目標(biāo)等制訂教學(xué)計(jì)劃,設(shè)計(jì)教學(xué)內(nèi)容,收集相關(guān)教學(xué)資源,為開(kāi)發(fā)制作混合現(xiàn)實(shí)教育應(yīng)用做好準(zhǔn)備。
(2)應(yīng)用開(kāi)發(fā):教師開(kāi)發(fā)制作混合現(xiàn)實(shí)教育應(yīng)用,主要步驟如下。①開(kāi)發(fā)環(huán)境搭建:正確配置開(kāi)發(fā)環(huán)境并安裝Windows SDK等組建。②資源導(dǎo)入:創(chuàng)建一個(gè)Unity項(xiàng)目并導(dǎo)入教學(xué)資源和項(xiàng)目開(kāi)發(fā)所需相關(guān)素材等。③場(chǎng)景搭建:構(gòu)建混合現(xiàn)實(shí)教學(xué)場(chǎng)景。④程序開(kāi)發(fā):包括開(kāi)發(fā)凝視提示、語(yǔ)音提示、雙手全關(guān)節(jié)手勢(shì)提示以及設(shè)置響應(yīng)事件等程序。⑤編譯發(fā)布:編譯成可以在在線課程教育網(wǎng)站中發(fā)布以及在混合現(xiàn)實(shí)全息頭戴顯示器中使用的應(yīng)用,以方便學(xué)習(xí)者瀏覽、下載、部署和應(yīng)用。[11]
(3)創(chuàng)建管理賬戶:教師根據(jù)在線課程教育網(wǎng)站的相關(guān)要求和規(guī)程注冊(cè)創(chuàng)建管理賬戶。
(4)應(yīng)用上傳:教師通過(guò)管理賬戶登入在線課程教育網(wǎng)站后臺(tái)管理系統(tǒng),將混合現(xiàn)實(shí)教育應(yīng)用上傳至在線課程教育網(wǎng)站的后臺(tái)數(shù)據(jù)庫(kù)。
(5)應(yīng)用發(fā)布:教師打開(kāi)應(yīng)用發(fā)布窗口,選擇發(fā)布區(qū)域,編輯課程發(fā)布的相關(guān)信息,從數(shù)據(jù)庫(kù)中選擇要發(fā)布的混合現(xiàn)實(shí)教育應(yīng)用并發(fā)布至在線課程教育網(wǎng)站。
(6)創(chuàng)建學(xué)習(xí)賬戶:學(xué)習(xí)者根據(jù)在線課程教育網(wǎng)站的相關(guān)要求和規(guī)程注冊(cè)創(chuàng)建學(xué)習(xí)賬戶。
(7)混合現(xiàn)實(shí)全息設(shè)備連網(wǎng):學(xué)習(xí)者打開(kāi)并帶上混合現(xiàn)實(shí)全息設(shè)備,開(kāi)啟無(wú)線網(wǎng)絡(luò)功能,連接5G網(wǎng)絡(luò),將混合現(xiàn)實(shí)全息設(shè)備連接至互聯(lián)網(wǎng)。
(8)課程檢索:學(xué)習(xí)者通過(guò)在線課程教育網(wǎng)站學(xué)習(xí)賬戶登入在線課程教育網(wǎng)站,對(duì)相關(guān)課程進(jìn)行檢索、瀏覽并選擇需要進(jìn)行學(xué)習(xí)的在線課程。
(9)課程安裝:學(xué)習(xí)者在在線課程網(wǎng)頁(yè)上點(diǎn)擊“獲取”,點(diǎn)擊后混合現(xiàn)實(shí)教育應(yīng)用自動(dòng)下載并安裝至混合現(xiàn)實(shí)全息設(shè)備。
(10)課程啟動(dòng):安裝完成后,混合現(xiàn)實(shí)教育應(yīng)用已固定到混合現(xiàn)實(shí)全息設(shè)備的應(yīng)用程序列表中,學(xué)習(xí)者選擇并啟動(dòng)混合現(xiàn)實(shí)教育應(yīng)用。
(11)課程學(xué)習(xí):學(xué)習(xí)者進(jìn)入基于混合現(xiàn)實(shí)的在線學(xué)習(xí)環(huán)境,進(jìn)行基于混合現(xiàn)實(shí)的全息式在線課程學(xué)習(xí)。
(12)關(guān)閉應(yīng)用:學(xué)習(xí)結(jié)束后,學(xué)習(xí)者退出混合現(xiàn)實(shí)應(yīng)用程序,完成在線學(xué)習(xí)。
(三)基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的優(yōu)勢(shì)功能分析
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)與傳統(tǒng)的在線開(kāi)放課程平臺(tái)相比,其優(yōu)勢(shì)功能主要體現(xiàn)在呈現(xiàn)環(huán)境、在線交互、應(yīng)用范圍和環(huán)境音效四個(gè)方面,如表1所示:
1.學(xué)習(xí)環(huán)境:“虛實(shí)”融合的全息學(xué)習(xí)環(huán)境
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)可以呈現(xiàn)一個(gè)“在數(shù)字化的三維現(xiàn)實(shí)中融入虛擬的數(shù)字三維對(duì)象(學(xué)習(xí)內(nèi)容)”的全息學(xué)習(xí)環(huán)境,在該學(xué)習(xí)環(huán)境中學(xué)習(xí)者不僅可以沉浸于虛擬三維對(duì)象(學(xué)習(xí)內(nèi)容),同時(shí)還能感覺(jué)到周圍的真實(shí)環(huán)境。與基于“二維”屏幕的學(xué)習(xí)環(huán)境相比,“虛實(shí)”融合的全息學(xué)習(xí)環(huán)境呈現(xiàn)的學(xué)習(xí)內(nèi)容更加直觀、立體、形象,有助于學(xué)習(xí)者對(duì)于在線教學(xué)內(nèi)容的感知、體驗(yàn)和理解等。
2.在線交互:維度與方式
(1)交互維度?;诨旌犀F(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的學(xué)習(xí)環(huán)境可以在虛擬世界、現(xiàn)實(shí)世界和學(xué)習(xí)者之間搭起一個(gè)交互反饋的信息回路,學(xué)習(xí)者不僅可以與虛擬的數(shù)字三維對(duì)象(學(xué)習(xí)內(nèi)容)進(jìn)行交互,而且還能與四周的真實(shí)環(huán)境進(jìn)行交互,增強(qiáng)學(xué)習(xí)過(guò)程中的真實(shí)感。與基于“二維”屏幕的交互相比,“虛實(shí)”融合的三維立體交互拓寬了學(xué)習(xí)者的交互維度,增加了交互的內(nèi)容和范圍,有助于學(xué)習(xí)者拓寬認(rèn)知范圍,啟發(fā)學(xué)習(xí)思維。
(2)交互方式?;诨旌犀F(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的混合現(xiàn)實(shí)全息設(shè)備可以對(duì)學(xué)習(xí)者的語(yǔ)音、眼動(dòng)、手勢(shì)進(jìn)行感知和理解,學(xué)習(xí)者可以通過(guò)語(yǔ)音、眼動(dòng)、手勢(shì)與全息學(xué)習(xí)環(huán)境交互[12]。與“鼠標(biāo)、鍵盤(pán)或(與)觸屏”的交互方式相比,語(yǔ)音、眼動(dòng)、手勢(shì)的交互方式更加真實(shí)、自然、靈便、有趣,有助于學(xué)習(xí)者激發(fā)學(xué)習(xí)積極性。
3.應(yīng)用范圍:脫離“二維”屏幕的移動(dòng)應(yīng)用
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的混合現(xiàn)實(shí)全息設(shè)備是一種可以進(jìn)行移動(dòng)應(yīng)用的全息計(jì)算機(jī)設(shè)備,學(xué)習(xí)者可以脫離“二維”屏幕的束縛進(jìn)行移動(dòng)應(yīng)用[13]。與依附“二維”屏幕應(yīng)用相比,脫離“二維”屏幕應(yīng)用的范圍更加廣闊,可以讓在線學(xué)習(xí)變得更靈活自由,有助于學(xué)習(xí)者增強(qiáng)在在線學(xué)習(xí)中的主動(dòng)性和探索性。
4.環(huán)境音效:空間音響
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的音頻模塊由“5聲道”麥克風(fēng)陣列和“空間音響”揚(yáng)聲器組成,不僅可以拾取學(xué)習(xí)者的語(yǔ)音信息,還可以為學(xué)習(xí)者播放接近“真實(shí)空間”的音效[14]。與2.0立體聲環(huán)境音效相比,空間音響呈現(xiàn)的環(huán)境音效更加立體、逼真,有助于學(xué)習(xí)者更好地沉浸至全息學(xué)習(xí)環(huán)境中并獲得更加真實(shí)的學(xué)習(xí)體驗(yàn)和感受。
三、教學(xué)應(yīng)用:以《箱型木琴》在線教學(xué)為例
《箱型木琴》在線教學(xué)擬使用基于Windows10系統(tǒng)的Hololens,主要操作步驟與應(yīng)用方法如下:①帶上Hololens,將頭盔調(diào)整至舒適狀態(tài);②打開(kāi)Hololens電源,啟動(dòng)Hololens;③通過(guò)“開(kāi)始手勢(shì)”打開(kāi)開(kāi)始菜單,找到已安裝的《箱型木琴》混合現(xiàn)實(shí)應(yīng)用;④通過(guò)“觸摸光標(biāo)”開(kāi)啟《箱型木琴》混合現(xiàn)實(shí)教育應(yīng)用,Hololens開(kāi)始呈現(xiàn)《箱型木琴》的混合現(xiàn)實(shí)在線學(xué)習(xí)環(huán)境;⑤學(xué)習(xí)者通過(guò)雙手、觸摸光標(biāo)、手控光線和抓取手勢(shì)等命令移動(dòng)、旋轉(zhuǎn)、放大、縮小混合現(xiàn)實(shí)在線學(xué)習(xí)環(huán)境中的3D教學(xué)對(duì)象(內(nèi)容)[15],實(shí)現(xiàn)學(xué)習(xí)者對(duì)于教學(xué)內(nèi)容的全景感知和深度體驗(yàn),從而促進(jìn)學(xué)習(xí)者對(duì)于教學(xué)內(nèi)容的理解和掌握;⑥ 學(xué)習(xí)完成退出程序,關(guān)閉Hololens。
《箱型木琴》混合現(xiàn)實(shí)教育應(yīng)用由五個(gè)教學(xué)場(chǎng)景組成,依次是:①箱型木琴簡(jiǎn)介,②箱型木琴的構(gòu)成及三維外觀,③箱型木琴的音名識(shí)別及音響視聽(tīng),④箱型木琴的內(nèi)部三維構(gòu)造,⑤識(shí)譜視奏。具體教學(xué)場(chǎng)景如下。
(一)場(chǎng)景①:箱型木琴簡(jiǎn)介
混合現(xiàn)實(shí)教育應(yīng)用啟動(dòng)后,系統(tǒng)隨即呈現(xiàn)高、中、低音箱型木琴全息影像以及箱型木琴的簡(jiǎn)介信息:“箱型木琴屬于……”學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)點(diǎn)擊高、中、低音箱型木琴,系統(tǒng)隨即呈現(xiàn)相應(yīng)箱型木琴的音域信息:“高音箱型木琴……”如圖4所示。
(二)場(chǎng)景②:箱型木琴的構(gòu)成及三維外觀——以中音箱型木琴為例
學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)將場(chǎng)景切換至場(chǎng)景②。場(chǎng)景②開(kāi)啟后系統(tǒng)隨即呈現(xiàn)中音箱型木琴的琴身、音條和琴槌的全息影像。學(xué)習(xí)者通過(guò)“觸摸光標(biāo)”手勢(shì)觸撥中音箱型木琴的琴身、音條和琴槌,系統(tǒng)隨即呈現(xiàn)中音箱型木琴的琴身、音條和琴槌的名稱信息。學(xué)習(xí)者通過(guò)“觸摸光標(biāo)”手勢(shì)觸撥琴身的長(zhǎng)、寬、高,系統(tǒng)隨即呈現(xiàn)中音箱型木琴的長(zhǎng)、寬、高信息。學(xué)習(xí)者通過(guò)“雙手”手勢(shì)對(duì)中音箱型木琴進(jìn)行放大、旋轉(zhuǎn)、升降等觸撥操作,全面了解箱型木琴的三維外觀。如圖5所示(見(jiàn)下頁(yè))。
(三)場(chǎng)景③:箱型木琴的音名識(shí)別及音響視聽(tīng)——以中音箱型木琴為例
學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)將場(chǎng)景切換至場(chǎng)景③。場(chǎng)景③開(kāi)啟后系統(tǒng)隨即呈現(xiàn)中音箱型木琴以及備用音條的全息影像。學(xué)習(xí)者通過(guò)“觸摸光標(biāo)”手勢(shì)觸撥中音箱型木琴上的音條及空中的備用音條,相應(yīng)音條隨即呈現(xiàn)各自的音名。音名以動(dòng)畫(huà)的形式呈現(xiàn),由小變大并以光亮的特效呈現(xiàn),音名呈現(xiàn)的同時(shí)系統(tǒng)播放相應(yīng)音名的音響。如圖6所示。
(四)場(chǎng)景④:箱型木琴的內(nèi)部三維構(gòu)造——以中音箱型木琴為例
學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)將場(chǎng)景切換至場(chǎng)景④。場(chǎng)景④開(kāi)啟后系統(tǒng)隨即呈現(xiàn)中音箱型木琴的內(nèi)部三維構(gòu)造全息影像。學(xué)習(xí)者通過(guò)“觸摸光標(biāo)”手勢(shì)觸撥琴身(內(nèi)壁)的長(zhǎng)、寬、深,系統(tǒng)隨即呈現(xiàn)中音箱型木琴的長(zhǎng)、寬、深信息。學(xué)習(xí)者通過(guò)“雙手”手勢(shì)對(duì)琴身進(jìn)行放大、旋轉(zhuǎn)、升降等觸撥操作,全面了解中音箱型木琴的內(nèi)部構(gòu)造。在學(xué)習(xí)者進(jìn)行觸發(fā)操作的同時(shí),眼前呈現(xiàn)出結(jié)論信息:“共鳴箱體及音條越小……”如圖7所示。
(五)場(chǎng)景⑤:識(shí)譜視奏
學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)將場(chǎng)景切換至場(chǎng)景⑤。場(chǎng)景⑤開(kāi)啟后系統(tǒng)隨即呈現(xiàn)中音箱型木琴全息影像。學(xué)習(xí)者通過(guò)“觸摸光標(biāo)”手勢(shì)觸撥中音箱型木琴的琴槌,系統(tǒng)隨即呈現(xiàn)樂(lè)曲譜例。學(xué)習(xí)者通過(guò)“隔空敲擊”手勢(shì)點(diǎn)擊“喇叭”,范奏系統(tǒng)隨即播放樂(lè)曲音響,與此同時(shí)譜例上音符和琴身上的音條與音響同步點(diǎn)亮,以提示學(xué)習(xí)者進(jìn)行視奏。學(xué)習(xí)者可以進(jìn)行重復(fù)練習(xí),直至掌握演奏要領(lǐng)后再關(guān)閉范奏系統(tǒng)并進(jìn)行自由視奏。如圖8所示。
四、結(jié)語(yǔ)
基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)有助于學(xué)習(xí)者對(duì)于在線教學(xué)內(nèi)容的感知、體驗(yàn)和理解,拓寬其認(rèn)知范圍、啟發(fā)學(xué)習(xí)思維,激發(fā)其學(xué)習(xí)積極性,增強(qiáng)其在在線學(xué)習(xí)中的主動(dòng)性和探索性,使其更好地沉浸在學(xué)習(xí)環(huán)境中并獲得更加美好的學(xué)習(xí)感受。與僅限于呈現(xiàn)基于“二維”屏幕的在線學(xué)習(xí)環(huán)境以及人機(jī)交互的傳統(tǒng)在線開(kāi)放課程平臺(tái)相比,基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)呈現(xiàn)的學(xué)習(xí)環(huán)境更加直觀、立體、形象,其交互方式也更加真實(shí)、自然、靈便、有趣;不僅可以彌補(bǔ)傳統(tǒng)在線開(kāi)放課程平臺(tái)教學(xué)功能的欠缺和不足,同時(shí)可以滿足更多學(xué)習(xí)者的多元化、個(gè)性化的在線學(xué)習(xí)需求。
當(dāng)然對(duì)于現(xiàn)階段而言,基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的廣泛普及和應(yīng)用還有待時(shí)日。如混合現(xiàn)實(shí)全息設(shè)備的移動(dòng)范圍過(guò)小、視野過(guò)窄[16]降低了學(xué)習(xí)者的學(xué)習(xí)體驗(yàn),如混合現(xiàn)實(shí)環(huán)境制作投入成本高,可用的現(xiàn)成資源有限等問(wèn)題[17]抑制了基于混合現(xiàn)實(shí)系統(tǒng)的在線開(kāi)放課程平臺(tái)的規(guī)?;ㄔO(shè)。但我們相信,隨著混合現(xiàn)實(shí)相關(guān)設(shè)備的量產(chǎn)和規(guī)模化開(kāi)發(fā)團(tuán)隊(duì)的形成,隨著混合現(xiàn)實(shí)全息設(shè)備的功能及技術(shù)的優(yōu)化和革新,在線教育平臺(tái)的混合現(xiàn)實(shí)時(shí)代終將來(lái)臨。
[1]余勝泉.互聯(lián)網(wǎng)+教育 未來(lái)學(xué)校[M].北京:電子工業(yè)出版社,2019:133.
[2]張立國(guó),王國(guó)華.在線教育的理論與實(shí)踐[M].北京:科學(xué)出版社,2019:2-4.
[3]趙洪利.在線教育理論與實(shí)踐[M].北京:北京理工大學(xué)出版社,2018.
[4]教育部在線教育研究中心,全國(guó)高等學(xué)校教學(xué)研究中心,北京大學(xué)慕課工作組.中國(guó)在線開(kāi)放課程發(fā)展報(bào)告(2017)[M].高等教育出版社,2019:9-10,19-20.
[5]葉哲偉.醫(yī)學(xué)混合現(xiàn)實(shí)[M].武漢:湖北科學(xué)技術(shù)出版社,2018.
[6][10][12][14][15]Microsoft.開(kāi)始使用Hololens [EB/OL].(2019-09-17)[2020-7-28].https://docs.microsoft.com/zh-cn/hololens/hololens2-basic-usage.
[7][16]陳寶權(quán),秦學(xué)英.混合現(xiàn)實(shí)中的虛實(shí)融合與人機(jī)智能交融[J].中國(guó)科學(xué):信息科學(xué),2016(12):1738.
[8]湯卓慧,朱培毅.虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)及其在軌道交通行業(yè)中的應(yīng)用[J].鐵路通信信號(hào)工程技術(shù),2016(5):82.
[9]閆興亞,張克發(fā).Hololens與混合現(xiàn)實(shí)開(kāi)發(fā)[M].北京:機(jī)械工業(yè)出版社,2019:3.
[11]劉向群,郭雪峰,鐘威,等.VR/AR/MR開(kāi)發(fā)實(shí)戰(zhàn):基于Unity與UE4引擎[M].北京:機(jī)械工業(yè)出版社,2017:650-656.
[13]顏映華.Hololens2 體驗(yàn)手記:真的屬于“2.0”進(jìn)步嗎[EB/OL].(2019-02-27)[2020-07-28].https://yivian.com/news/57297.html.
[17]范文翔,趙瑞斌.數(shù)字學(xué)習(xí)環(huán)境新進(jìn)展:混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境的興起與應(yīng)用[J].電化教育研究,2019(10):41.
(責(zé)任編輯 王策)