基于VR 直播的遠(yuǎn)程教育系統(tǒng)設(shè)計(jì)

崔巖松，王 方，陳科良

（北京郵電大學(xué) 電子工程學(xué)院，北京 100876）

高等院校進(jìn)行電子電路實(shí)驗(yàn)由于時(shí)間、設(shè)備、場(chǎng)地的限制，實(shí)驗(yàn)過(guò)程被限制在實(shí)驗(yàn)課堂的短短數(shù)小時(shí)內(nèi)，這對(duì)學(xué)生動(dòng)手操作能力和學(xué)以致用能力的提升無(wú)疑是一種桎梏?；诰W(wǎng)絡(luò)技術(shù)的虛擬實(shí)驗(yàn)室不僅可以讓學(xué)生實(shí)驗(yàn)擺脫時(shí)間、空間的限制，還可以規(guī)避真實(shí)操作帶來(lái)的風(fēng)險(xiǎn)。由于虛擬實(shí)驗(yàn)室的“設(shè)備”與“部件”是虛擬的，可以根據(jù)情況隨時(shí)更新，節(jié)約了購(gòu)買設(shè)備的經(jīng)費(fèi)。

隨著計(jì)算機(jī)網(wǎng)絡(luò)和三維圖形軟件等先進(jìn)信息技術(shù)發(fā)展，媒體的呈現(xiàn)形式也不再局限于平面，虛擬現(xiàn)實(shí)（VR）產(chǎn)業(yè)已經(jīng)悄然興起。由于VR 能給予用戶新鮮感以及強(qiáng)烈的代入感，因此擁有著巨大發(fā)展?jié)摿?。以VR 為基礎(chǔ)的全景圖像、VR 視頻、VR 游戲等，在社交、商務(wù)、娛樂(lè)等領(lǐng)域目前已取得不錯(cuò)的成果。然而，對(duì)于傳統(tǒng)教育行業(yè)，其教學(xué)模式經(jīng)過(guò)前一次投影教學(xué)的革新之后，一直再未有大的改變。隨著對(duì)教學(xué)質(zhì)量要求的不斷提高，教學(xué)內(nèi)容需要更加直觀形象的展現(xiàn)形式，授課方式需要更加便捷和多元化，不再被教室、實(shí)驗(yàn)室等空間所束縛。因此，將虛擬現(xiàn)實(shí)技術(shù)與教育教學(xué)進(jìn)行融合，探索信息技術(shù)在教學(xué)模式中的深度應(yīng)用，創(chuàng)新學(xué)習(xí)授課方式勢(shì)在必行。VR 技術(shù)在教學(xué)方式方法的創(chuàng)新上具有很大發(fā)展空間與優(yōu)勢(shì)。本文旨在設(shè)計(jì)一種基于VR 直播的具有創(chuàng)新性、多樣性、可實(shí)現(xiàn)性和發(fā)展性的遠(yuǎn)程教育系統(tǒng)。

1 系統(tǒng)設(shè)計(jì)

為了應(yīng)對(duì)不同應(yīng)用場(chǎng)景的需求，基于VR 直播的遠(yuǎn)程教學(xué)系統(tǒng)給用戶提供了兩種使用方式：（1）針對(duì)學(xué)校局域網(wǎng)內(nèi)的學(xué)生用戶，（2）針對(duì)公網(wǎng)環(huán)境下的手機(jī)用戶。

1.1 學(xué)校局域網(wǎng)內(nèi)的學(xué)生用戶

學(xué)校范圍內(nèi)的學(xué)生用戶主要需求集中于課堂教學(xué)。由于VR 視頻對(duì)網(wǎng)絡(luò)環(huán)境的要求很高，要達(dá)到多用戶同時(shí)同地進(jìn)行高清流暢的VR 直播是非常困難的。為此，系統(tǒng)設(shè)計(jì)中引入了“擬直播”的概念：系統(tǒng)將在各個(gè)教室、宿舍等地方設(shè)置機(jī)頂盒路由器，搭建局域網(wǎng)VR 資源平臺(tái)。根據(jù)學(xué)校的教學(xué)課程表設(shè)置后臺(tái)的定時(shí)任務(wù)，提前緩存次日的課堂資源[1]。正式上課時(shí)，教師端作為主機(jī)，通過(guò)組播的方式向組成員（學(xué)生）發(fā)送VR 課堂資源，從而解決了數(shù)據(jù)的重復(fù)拷貝及帶寬的重復(fù)占用問(wèn)題。局域網(wǎng)下的系統(tǒng)架構(gòu)如圖1 所示。

圖1 局域網(wǎng)下的系統(tǒng)架構(gòu)

課堂上的師生及時(shí)互動(dòng)也是教學(xué)系統(tǒng)不可或缺的功能[2]。系統(tǒng)使用Socket 通信實(shí)現(xiàn)了局域網(wǎng)下互聯(lián)互動(dòng)功能。教師端可通過(guò)機(jī)頂盒路由器來(lái)查看不同學(xué)生的學(xué)習(xí)狀態(tài)和學(xué)習(xí)進(jìn)度。教師端與學(xué)生端之間也可以模擬上課舉手回答問(wèn)題等現(xiàn)實(shí)場(chǎng)景?！皵M直播”和Socket 通信的結(jié)合，能夠進(jìn)行低延遲高清晰的VR 流媒體播放，給學(xué)校范圍內(nèi)的學(xué)生用戶提供更好的直播體驗(yàn)[3]。

1.2 公網(wǎng)環(huán)境下的手機(jī)用戶

公網(wǎng)環(huán)境下的手機(jī)用戶主要需求集中于興趣式瀏覽。因此，為不同用戶描繪“用戶畫像”，并對(duì)其進(jìn)行智能推薦尤為重要。系統(tǒng)將記錄下用戶的瀏覽歷史、點(diǎn)贊、預(yù)約、收藏視頻、個(gè)人資料的設(shè)置等原始數(shù)據(jù)，對(duì)原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后構(gòu)建數(shù)據(jù)標(biāo)簽，并根據(jù)這些數(shù)據(jù)標(biāo)簽構(gòu)建出用戶畫像。用戶使用頻率越高，用戶畫像的構(gòu)建將越細(xì)致。

手機(jī)APP 端主要由VR 直播、課堂推薦、往期課堂、課堂預(yù)告4 個(gè)模塊組成。學(xué)生用戶可以在VR 直播模塊中實(shí)時(shí)觀看學(xué)校當(dāng)前推送的直播內(nèi)容，使得學(xué)生可以不受地域的限制，隨時(shí)隨地參與課堂。課堂推薦模塊根據(jù)用戶的用戶畫像為其量身推送優(yōu)質(zhì)的課堂內(nèi)容，讓學(xué)生在興趣的海洋里深潛。往期課堂模塊中會(huì)展示用戶相關(guān)課堂中的歷史內(nèi)容，用戶可以通過(guò)這個(gè)模塊來(lái)觀看歷史視頻。課堂預(yù)告模塊主要用于向?qū)W生展示未來(lái)的課程安排，學(xué)生可以通過(guò)收藏或訂閱的方式來(lái)獲得課堂的后續(xù)推送內(nèi)容。

虛擬現(xiàn)實(shí)技術(shù)與課堂的有機(jī)結(jié)合，讓原本枯燥的課堂變得有趣，讓原本抽象的概念變得立體，讓原本遙遠(yuǎn)的景象變得咫尺[4]，從而能夠激發(fā)學(xué)生們的學(xué)習(xí)熱情。

2 系統(tǒng)關(guān)鍵技術(shù)設(shè)計(jì)與實(shí)現(xiàn)

2.1 VR 技術(shù)

VR 虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)。它利用計(jì)算機(jī)生成模擬環(huán)境，通過(guò)多源信息融合的交互式三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真，使用戶沉浸到模擬環(huán)境中。虛擬現(xiàn)實(shí)是多種技術(shù)的綜合，包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù)，廣角（寬視野）立體顯示技術(shù)，對(duì)觀察者頭、眼和手的跟蹤技術(shù)，以及觸覺(jué)/力覺(jué)反饋、立體聲、網(wǎng)絡(luò)傳輸、語(yǔ)音輸入輸出技術(shù)等[5]。

在本系統(tǒng)設(shè)計(jì)中，呈現(xiàn)VR 的載體主要是Android手機(jī)，搭配可進(jìn)行手機(jī)觀看的VR 眼鏡，從而實(shí)現(xiàn)VR體驗(yàn)效果。VR 眼鏡的原理是將內(nèi)容分屏，切成兩半，通過(guò)鏡片實(shí)現(xiàn)疊加成像。與人類眼睛的工作原理類似，兩個(gè)透鏡相當(dāng)于眼睛，但遠(yuǎn)沒(méi)有人眼“智能”，需要通過(guò)調(diào)節(jié)透鏡的“瞳距”使之與人眼重合，保證三點(diǎn)一線，從而獲得最佳的視覺(jué)效果。同時(shí)，VR 眼鏡需要手機(jī)中對(duì)應(yīng)的VR 播放器進(jìn)行配合，才能獲得VR 效果。目前市場(chǎng)上成熟的VR 播放器都是不開(kāi)源的，因此本研究通過(guò)原理分析和拆解，并以Android 系統(tǒng)強(qiáng)大的功能作為基礎(chǔ)，設(shè)計(jì)了一款簡(jiǎn)單但功能完善的播放器。

VR 視頻播放器主要有兩個(gè)技術(shù)難點(diǎn)： VR 效果的渲染和視頻播放的控制。由于VR 視頻的每一幀都是一張360°的全景圖像，因此對(duì)于播放器而言，VR效果的渲染工作總結(jié)起來(lái)主要是兩大部分：球體的繪制和球體的全景圖像紋理貼圖。完成貼圖后，為了讓觀眾自由切換視角，還需要使用投影和相機(jī)視圖，并進(jìn)行窗口裁剪。這部分工作的實(shí)現(xiàn)需要借助Android 系統(tǒng)自帶的OpenGL ES 和GLsurfaceView模塊，前者是用來(lái)完成視頻內(nèi)容渲染工作，后者則是將渲染內(nèi)容直觀地展示在surface 上。VR 全景視頻完整的渲染播放流程如圖2 所示。在視頻播放的控制上，以開(kāi)源的IJKPlayer 播放器為基礎(chǔ)，盡管它提供了一個(gè)視頻的播放控制組件MediaController，但是不太適合本系統(tǒng)的要求[6]，因此重新定義了一個(gè)播放控制類MyMediaController。它繼承自FrameLayout，作為一個(gè)自定義組件來(lái)使用，主要完成視頻播放/暫停、進(jìn)度條拖動(dòng)播放、陀螺儀開(kāi)關(guān)以及播放模式切換的控制。

圖2 VR 全景視頻渲染播放流程

2.2 直播技術(shù)

直播是當(dāng)下最火的媒體形式，各種類型的直播豐富著人們的生活。由于直播不受空間的限制，因此在任何地方只要有網(wǎng)絡(luò)就可以接入直播源播放，學(xué)生就可以開(kāi)始學(xué)習(xí)，并且沒(méi)有人員數(shù)量限制。本系統(tǒng)將直播與VR 結(jié)合起來(lái)，使平面化的教學(xué)直播向沉浸式的互動(dòng)直播轉(zhuǎn)變。整個(gè)VR 直播架構(gòu)與流程如圖3 所示。

圖3 VR 直播架構(gòu)與流程

本系統(tǒng)主要涉及儲(chǔ)存分發(fā)與播放流程，而VR 直播源則是由各類教學(xué)機(jī)構(gòu)提供。本系統(tǒng)在后臺(tái)建設(shè)上采用當(dāng)下最流行的CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)），依靠部署在各地的邊緣服務(wù)器，通過(guò)中心平臺(tái)的負(fù)載均衡、內(nèi)容分發(fā)、調(diào)度等功能模塊，使用戶就近獲取所需內(nèi)容，從而降低網(wǎng)絡(luò)擁塞，提高用戶訪問(wèn)響應(yīng)速度和命中率。這對(duì)于VR 直播延遲的降低起到了至關(guān)重要的作用。在播放環(huán)節(jié)，直播流支持RTMP、HLS、HTTP 3 種流傳輸協(xié)議，通過(guò)支持流媒體格式的VR 播放器，將直播內(nèi)容展示給用戶。

由于VR 直播每一幀的內(nèi)容都是360°的全景圖像，并且為了達(dá)到基本的觀看體驗(yàn)，分辨率至少需要超清，最好達(dá)到4K 標(biāo)準(zhǔn)[7-8]，因此VR 直播對(duì)網(wǎng)絡(luò)延遲、帶寬、分辨率等的要求極為苛刻。然而，對(duì)于當(dāng)前的網(wǎng)絡(luò)環(huán)境而言，很難實(shí)現(xiàn)高清流暢的直播效果。因此，本系統(tǒng)引入“擬直播”的概念，以機(jī)頂盒路由器為媒介，設(shè)置后臺(tái)任務(wù)提前緩存次日的課程資源，通過(guò)局域網(wǎng)組播的形式，并且通過(guò)定時(shí)服務(wù)，做到向用戶按時(shí)播放課程。這種“擬直播”是當(dāng)前環(huán)境下技術(shù)層面的應(yīng)對(duì)方法，它既可以實(shí)現(xiàn)流暢高清的“直播”，又能減少用戶端的緩存占用。

2.3 遠(yuǎn)程控制

對(duì)用戶的管理控制是教育系統(tǒng)的一項(xiàng)重要功能。處于公網(wǎng)的用戶在手機(jī)APP 中使用HTTP 協(xié)議來(lái)獲取后臺(tái)資源、接收服務(wù)器推送、觀看直播等，系統(tǒng)通過(guò)管理后臺(tái)配置用戶的觀課權(quán)限、學(xué)期課程等。用戶也可以借助請(qǐng)求來(lái)發(fā)送消息、預(yù)約授課。公網(wǎng)環(huán)境下的控制模式是一個(gè)典型的基于HTTP 云服務(wù)器交互訪問(wèn)。

學(xué)校內(nèi)用戶的管理控制模式涉及單播廣播、TCP/UDP 協(xié)議等，并以每個(gè)機(jī)頂盒路由器為中心，形成以教室為單位的局域網(wǎng)。每個(gè)局域網(wǎng)包括一個(gè)通過(guò)Android 程序架設(shè)在機(jī)頂盒的服務(wù)器以及數(shù)十個(gè)用于教學(xué)的 VR 設(shè)備。在教學(xué)過(guò)程中，客戶端通過(guò)DatagramSocket 發(fā)送UDP 廣播搜索服務(wù)器設(shè)備，對(duì)消息采用ByteBuffer 進(jìn)行數(shù)據(jù)包裝，發(fā)送包含特征碼的消息。服務(wù)器作為接收端，收到消息后對(duì)數(shù)據(jù)進(jìn)行解析，發(fā)現(xiàn)包含的特征碼后，將自己的IP 和端口回送給客戶端。這樣兩者就可以嘗試建立TCP 通信。具體過(guò)程如圖4 所示。

圖4 UDP 搜索與TCP 連接過(guò)程

由于有多個(gè)客戶端進(jìn)行連接，為了保證并發(fā)性，系統(tǒng)將開(kāi)啟新線程與客戶端建立TCP 連接，并且將發(fā)送和接受分開(kāi)。建立連接后，教師可以通過(guò)服務(wù)器向所有建立連接的客戶端VR 設(shè)備發(fā)送課程資源，實(shí)現(xiàn)一對(duì)多教學(xué)。學(xué)生用戶可以向服務(wù)器發(fā)送消息，例如舉手、提問(wèn)，教師通過(guò)消息反饋實(shí)現(xiàn)了一對(duì)一教學(xué)。

2.4 用戶畫像

在大數(shù)據(jù)時(shí)代，許多電商會(huì)將用戶的每個(gè)具體信息標(biāo)簽化，再利用這些標(biāo)簽將用戶形象具體化，從而為用戶提供有針對(duì)性的服務(wù)[9]。用戶畫像不斷發(fā)展逐漸演變成了當(dāng)前企業(yè)用于識(shí)別特定群體客戶的標(biāo)簽。本系統(tǒng)將手機(jī)APP 的課堂推薦模塊與用戶畫像結(jié)合起來(lái)，讓系統(tǒng)能夠?qū)τ脩暨M(jìn)行智能推薦，滿足用戶的瀏覽需求。

本系統(tǒng)中的用戶畫像構(gòu)建主要通過(guò)取自用戶的3個(gè)維度的課堂描述詞，即課堂大類、課堂名和授課老師?；谟脩羰褂么薃PP 的所有瀏覽和消費(fèi)行為，系統(tǒng)可以計(jì)算出每個(gè)用戶的興趣重點(diǎn)，并將這些用戶感興趣的課堂作為用戶的標(biāo)簽[10]。在這3 個(gè)維度的課堂描述基礎(chǔ)上，再額外增加用戶點(diǎn)擊、預(yù)約、收藏和關(guān)注4 個(gè)維度，系統(tǒng)構(gòu)建出專屬的用戶畫像。整個(gè)用戶畫像的構(gòu)建流程如圖5 所示。

圖5 用戶畫像構(gòu)建流程

3 系統(tǒng)測(cè)試

由于本系統(tǒng)應(yīng)用于VR 教學(xué)，VR 播放過(guò)程中的網(wǎng)流暢度是最為關(guān)鍵指標(biāo)，因此主要針對(duì)播放過(guò)程中的緩存速率和幀率作了組合測(cè)試。測(cè)試環(huán)境的配置如表1 所示。通過(guò)編寫代碼，實(shí)時(shí)輸出日志，記錄測(cè)試結(jié)果。整理統(tǒng)計(jì)所得到的數(shù)據(jù)，取多次測(cè)試平均值，具體結(jié)果如圖6—8 所示。

表1 系統(tǒng)測(cè)試環(huán)境配置表

從圖6 可知，在WiFi 和4G 環(huán)境下的視頻緩存速率趨勢(shì)基本相同，播放開(kāi)始速率較快，隨后趨于穩(wěn)定。從圖7 可以看出，播放過(guò)程中視頻幀率穩(wěn)定在60 fps左右，符合人眼觀看無(wú)卡頓的需求。從圖8 可以看出，播放開(kāi)始后GPU 占用率保持在20%左右且穩(wěn)定。

圖6 WIFI/4G 環(huán)境下視頻緩存速率

圖7 視頻播放幀率

圖8 視頻播放中GPU 占用率

測(cè)試表明，系統(tǒng)在正常網(wǎng)絡(luò)環(huán)境下，對(duì)于超清畫質(zhì)下的VR 視頻流播放效果穩(wěn)定良好，基本無(wú)卡頓，用戶可以體驗(yàn)到優(yōu)質(zhì)的VR 效果，符合教學(xué)要求。系統(tǒng)效果如圖9 所示。圖10 為VR 直播間互動(dòng)界面。圖11展示了系統(tǒng)首頁(yè)。

圖9 VR 直播播放效果

圖10 VR 直播間互動(dòng)界面

圖11 系統(tǒng)首頁(yè)展示

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了基于VR 直播的遠(yuǎn)程教學(xué)系統(tǒng)，并根據(jù)不同的應(yīng)用場(chǎng)景設(shè)計(jì)不同的使用方式。在校園內(nèi)應(yīng)用時(shí)，該教學(xué)系統(tǒng)通過(guò)引入“擬直播”的概念解決了VR 課堂直播中對(duì)網(wǎng)絡(luò)環(huán)境高需求的痛點(diǎn)問(wèn)題。結(jié)合Socket 通信的方式，系統(tǒng)將流暢高清的VR 課堂直播傳送給每一個(gè)學(xué)生。在公網(wǎng)環(huán)境下應(yīng)用時(shí)，該教學(xué)系統(tǒng)為用戶提供了VR 直播、課堂推薦、往期課堂、課堂預(yù)告4 個(gè)模塊，不僅能夠滿足學(xué)生日常觀看VR 教學(xué)視頻的需求，還引入了“用戶畫像”技術(shù)，為用戶進(jìn)行個(gè)性化的內(nèi)容推送。

基于VR 直播的遠(yuǎn)程教學(xué)系統(tǒng)將VR 與課堂直播結(jié)合起來(lái)，顛覆了傳統(tǒng)的教學(xué)模式，將教師針對(duì)全班同學(xué)的無(wú)差別教學(xué)，顛覆為真正的個(gè)性化因材施教。每一位學(xué)生都可以在虛擬環(huán)境中，感受360°沉浸式教學(xué)，教學(xué)系統(tǒng)讓學(xué)習(xí)的知識(shí)可視化、立體化、體驗(yàn)化。本研究對(duì)創(chuàng)新教育方式與手段具有積極作用，是對(duì)VR與教學(xué)融合的積極探索。