基于增強(qiáng)現(xiàn)實(shí)的線上線下混合式教學(xué)系統(tǒng)的研究開發(fā)

丁亞軍 應(yīng)治國(guó) 陳一民

1(上海長(zhǎng)潤(rùn)信息技術(shù)有限公司 上海 200050) 2(上海建橋?qū)W院信息技術(shù)學(xué)院 上海 201306)

0 引 言

隨著云計(jì)算、5G網(wǎng)絡(luò)、虛擬現(xiàn)實(shí)[1]、增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)[2]等技術(shù)的飛速發(fā)展，以及近年來新冠疫情的影響，教育方式的變革迫在眉睫，要求教與學(xué)雙方可以進(jìn)行實(shí)時(shí)交流互動(dòng)，師資科研信息可以最大程度地被共享，授課的形式可以打破傳統(tǒng)的時(shí)間和空間的制約。在方式上要求更加多樣化，通過圖、文、聲、3D視頻等多種形式表達(dá)教學(xué)信息；在人機(jī)交互[3]方面要求也很關(guān)鍵，實(shí)時(shí)友好的人機(jī)交互才能給學(xué)生營(yíng)造一種具有震撼性的沉浸感，從而最終增強(qiáng)學(xué)生的真實(shí)感知。

在課堂教學(xué)中，依靠傳統(tǒng)的PPT，對(duì)于一些抽象概念、知識(shí)點(diǎn)、比較多難于理解的3D結(jié)構(gòu)，教師往往是很難講解清楚的，這在一定程度上影響了學(xué)生的學(xué)習(xí)。比如智能樓宇控制系統(tǒng)中所涉及的大量設(shè)備，由于其內(nèi)部結(jié)構(gòu)比較復(fù)雜，且相互間存在關(guān)聯(lián)關(guān)系，用一般的多媒體手段所呈現(xiàn)出的往往是設(shè)備2D平面結(jié)構(gòu)，學(xué)生需要將分層2D結(jié)構(gòu)，經(jīng)大腦加工后才能形成一個(gè)3D立體影像。而這種大腦加工能力并非所有學(xué)生所具備，一般只有少數(shù)學(xué)生具有這種空間想象能力，所以對(duì)于多數(shù)學(xué)生只能通過直接觀察實(shí)際設(shè)備才能理解其結(jié)構(gòu)并掌握其中的關(guān)鍵知識(shí)點(diǎn)。因此采用3D建模技術(shù)，通過對(duì)智能樓宇控制系統(tǒng)中的各種設(shè)備進(jìn)行測(cè)繪，并建立相關(guān)模型，給出模型間的互動(dòng)關(guān)系[4]，然后再呈現(xiàn)給學(xué)生，無疑是一種最為直接的方法。本文應(yīng)用了上海長(zhǎng)潤(rùn)信息技術(shù)有限公司技術(shù)團(tuán)隊(duì)自主研發(fā)的長(zhǎng)潤(rùn)虛擬仿真實(shí)訓(xùn)管理和共享平臺(tái)、長(zhǎng)潤(rùn)虛擬化仿真實(shí)訓(xùn)軟件[5]、長(zhǎng)潤(rùn)智慧(云)學(xué)堂軟件V1.0.0[6]等技術(shù)研究成果，并運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)，將結(jié)構(gòu)復(fù)雜、知識(shí)點(diǎn)比較抽象的內(nèi)容進(jìn)行可視化，將虛擬的3D模型疊加到真實(shí)世界中，教師直接在智能樓宇設(shè)備的3D模型上進(jìn)行講解說明，以更加直觀、生動(dòng)的方式將關(guān)鍵知識(shí)傳授給學(xué)生，極大地提升了學(xué)生的學(xué)習(xí)和理解能力，加強(qiáng)學(xué)生對(duì)抽象概念、知識(shí)點(diǎn)、復(fù)雜結(jié)構(gòu)的理解與感悟。

1 系統(tǒng)總體架構(gòu)及設(shè)計(jì)思路

實(shí)現(xiàn)線上線下混合式教學(xué)是本文系統(tǒng)的設(shè)計(jì)思路，基本目的是打通從書本及PPT教案中的2D圖形到學(xué)生大腦完成3D建模的壁壘，保證學(xué)生充分理解其中抽象概念及關(guān)鍵知識(shí)點(diǎn)，同時(shí)讓教與學(xué)通過互聯(lián)網(wǎng)進(jìn)入到同一個(gè)場(chǎng)景中，教師通過操作智能樓宇控制系統(tǒng)中各種設(shè)備的3D模型進(jìn)行分析講解，系統(tǒng)中包含兩類角色，分別為教師與學(xué)生，教師側(cè)重3D模型的分析講解，學(xué)生側(cè)重3D模型的操作控制。

1.1 總體架構(gòu)

基于AR遠(yuǎn)程線上教學(xué)系統(tǒng)的總體架構(gòu)如圖1所示。

圖1 基于AR遠(yuǎn)程線上教學(xué)系統(tǒng)的總體架構(gòu)

如圖1所示，系統(tǒng)包含三個(gè)部分：教師端、學(xué)生端和服務(wù)器端。其中：

1) 教師端，分為用于顯示學(xué)生端操作控制的實(shí)操畫面呈現(xiàn)模塊、用于教師進(jìn)行交互指導(dǎo)的指引交互模塊、用于與學(xué)生進(jìn)行語音溝通的語音交互模塊，以及用于數(shù)據(jù)遠(yuǎn)程接收和發(fā)送的網(wǎng)絡(luò)通信模塊。

2) 學(xué)生端，分為用于采集學(xué)生操作控制過程的實(shí)操畫面采集模塊、用于將教師的交互指導(dǎo)信息以增強(qiáng)現(xiàn)實(shí)的方式投影在實(shí)操場(chǎng)景中的投影顯示模塊、用于與教師進(jìn)行語音溝通的語音交互模塊、用于數(shù)據(jù)遠(yuǎn)程接收和發(fā)送的網(wǎng)絡(luò)通信模塊。

3) 服務(wù)器端，分為用于教師端與學(xué)生端網(wǎng)絡(luò)通信模塊之間實(shí)現(xiàn)遠(yuǎn)程連接和語音、圖形、圖像、視頻等數(shù)據(jù)傳輸?shù)姆?wù)器，用于存儲(chǔ)通信數(shù)據(jù)的數(shù)據(jù)庫，用于對(duì)遠(yuǎn)程教學(xué)進(jìn)行管理的課程管理模塊。

該系統(tǒng)架構(gòu)包含了基礎(chǔ)的通信、存儲(chǔ)、顯示與交互模塊，以支撐相關(guān)的系統(tǒng)功能。主要是將對(duì)學(xué)生端實(shí)操環(huán)境的畫面采集傳輸至教師端，教師端直接在畫面中交互式添加指引標(biāo)記，再傳輸回學(xué)生端通過增強(qiáng)現(xiàn)實(shí)投影融合至實(shí)操環(huán)境中，使學(xué)生可以直觀地理解老師指導(dǎo)意見的含義，實(shí)現(xiàn)沉浸式遠(yuǎn)程實(shí)訓(xùn)教學(xué)。

基于AR線下教學(xué)系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 基于AR線下教學(xué)系統(tǒng)的總體架構(gòu)

基于AR線下教學(xué)系統(tǒng)是由一個(gè)專門的硬件系統(tǒng)以及相關(guān)的軟件系統(tǒng)協(xié)同實(shí)現(xiàn)的。系統(tǒng)借助于虛擬現(xiàn)實(shí)技術(shù)、3D顯示技術(shù)、人機(jī)交互技術(shù)和計(jì)算機(jī)圖形圖像等技術(shù)，產(chǎn)生真實(shí)場(chǎng)景中并不存在的虛擬對(duì)象，并通過3D模型注冊(cè)技術(shù)，將虛擬對(duì)象準(zhǔn)確地放置在真實(shí)環(huán)境中，使學(xué)生處于一個(gè)真實(shí)和虛擬相融合的環(huán)境中，并能與之交互，有助于完成相關(guān)的學(xué)習(xí)與實(shí)訓(xùn)。系統(tǒng)包含以下幾個(gè)組成部分：

1) 跟蹤注冊(cè)與實(shí)時(shí)人機(jī)交互模塊[7-9]是該系統(tǒng)中最為重要的部分。具體又分為數(shù)據(jù)采集和數(shù)據(jù)處理兩部分。采集模塊完成對(duì)光學(xué)跟蹤器和數(shù)據(jù)手套原始數(shù)據(jù)的采集。處理模塊完成對(duì)采集到的數(shù)據(jù)手套原始數(shù)據(jù)進(jìn)行校正和歸一化、抓取手勢(shì)識(shí)別以及其他識(shí)別；完成光學(xué)跟蹤器原始數(shù)據(jù)的校正、實(shí)時(shí)跟蹤、3D模型注冊(cè)。最后處理后信息經(jīng)過通信和控制子模塊傳遞給虛擬場(chǎng)景生成和渲染模塊、真實(shí)場(chǎng)景采集與處理模塊。

2) 虛擬場(chǎng)景生成和渲染模塊主要完成物體造型、三維模型的制作、虛擬場(chǎng)景制作和動(dòng)畫制作等，并在視平面上繪制和渲染虛擬物體。

3) 虛擬場(chǎng)景融合模塊將虛擬場(chǎng)景與真實(shí)場(chǎng)景的視頻進(jìn)行合并處理，完成虛擬場(chǎng)景與真實(shí)場(chǎng)景的深度融合，以充滿動(dòng)感的視覺形象來表現(xiàn)虛擬物體的真實(shí)效果。

4) 真實(shí)場(chǎng)景采集與處理模塊根據(jù)3D模型注冊(cè)模塊傳來的注冊(cè)信息，完成攝像機(jī)的標(biāo)定及視點(diǎn)位置的定位與跟蹤，從而將計(jì)算機(jī)產(chǎn)生的虛擬物體與用戶周圍的真實(shí)場(chǎng)景全方位對(duì)準(zhǔn)。

5) 顯示模塊由用戶視頻透視式HMD(Head Mounted Display)和投影顯示兩部分組成，HMD供實(shí)操的老師或?qū)W生使用，投影顯示供圍觀學(xué)習(xí)的學(xué)生使用。

6) 通信和控制模塊作為總線模塊，負(fù)責(zé)與外部設(shè)備進(jìn)行通信和控制，為其他模塊提供基礎(chǔ)信號(hào)支撐。通信與控制模塊是整個(gè)系統(tǒng)的樞紐，用于數(shù)據(jù)接收和發(fā)送，不但是系統(tǒng)的通信中心，還是控制中心。

1.2 系統(tǒng)硬件架構(gòu)

基于AR線下教學(xué)系統(tǒng)的硬件架構(gòu)如圖3所示。

圖3 平臺(tái)的硬件架構(gòu)

系統(tǒng)采用沉浸式虛擬及增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行開發(fā)，利用數(shù)據(jù)手套實(shí)現(xiàn)人機(jī)交互操作，主要功能針對(duì)智能樓控系統(tǒng)的運(yùn)行與維護(hù)課程以及綜合布線課程中設(shè)備認(rèn)知與實(shí)訓(xùn)操作，如光纖熔接實(shí)訓(xùn)。為了引導(dǎo)學(xué)生正確地使用系統(tǒng)，系統(tǒng)具備檢測(cè)和錯(cuò)誤提示功能。依據(jù)硬件系統(tǒng)架構(gòu)圖，結(jié)合軟件開發(fā)的基本流程，交互式AR光纖熔接實(shí)訓(xùn)及其他設(shè)備認(rèn)知與實(shí)訓(xùn)操作系統(tǒng)按以下5個(gè)步驟開發(fā)。

1) 對(duì)智能樓控系統(tǒng)的運(yùn)行與維護(hù)課程以及綜合布線課程中的各種設(shè)備進(jìn)行測(cè)繪，并建立精簡(jiǎn)的模型，以供3DS Max建模使用。

2) 整理系統(tǒng)所需的資源，包括模型、貼圖、文字、音頻等，利用PhotoshopCS6軟件進(jìn)行系統(tǒng)界面制作，利用3DS Max軟件建立模型素材，設(shè)計(jì)模型動(dòng)畫，利用Adobe Audition軟件處理原始音頻。

3) 將處理后的素材導(dǎo)入U(xiǎn)nity3D中，圖片以.jpg格式導(dǎo)入，模型以.fbx格式導(dǎo)入，音頻以.mp3格式導(dǎo)入，動(dòng)畫以.mp4格式導(dǎo)入。

4) 在Unity Store中下載Steam VR[10]軟件開發(fā)包，基于Stear VR編寫符合系統(tǒng)需求的C# 交互腳本，輸出虛擬機(jī)房漫游、設(shè)備檢修、語音提示等功能。

5) 將系統(tǒng)以.exe格式打包發(fā)布到Steam平臺(tái)，并對(duì)系統(tǒng)的性能及可用性進(jìn)行測(cè)試。

1.3 人機(jī)交互設(shè)計(jì)

本文系統(tǒng)應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)構(gòu)建智能樓控系統(tǒng)的運(yùn)行與維護(hù)課程以及綜合布線課程中關(guān)鍵設(shè)備的維護(hù)及組裝模擬場(chǎng)景，主要包括以下交互功能：1)在真實(shí)的場(chǎng)景中呈現(xiàn)3D虛擬物體；2)通過帶有數(shù)據(jù)手套的手可以抓取工具及光纖等3D虛擬物體；3)工具及光纖等3D虛擬物體能隨手同步運(yùn)動(dòng)；4)系統(tǒng)識(shí)別帶有數(shù)據(jù)手套的手的動(dòng)作，并計(jì)算出手的姿態(tài)和軌跡，在場(chǎng)景中顯示其運(yùn)動(dòng)過程。

在線下系統(tǒng)中主要通過數(shù)據(jù)手套等專用設(shè)備實(shí)現(xiàn)人機(jī)交互。我們選擇HTC Vive作為交互設(shè)備，雙基站追蹤頭盔和數(shù)據(jù)手套位置和角度信息，實(shí)時(shí)更新場(chǎng)景和交互動(dòng)作，實(shí)現(xiàn)沉浸式漫游和交互體驗(yàn)。其中數(shù)據(jù)手套調(diào)用通過在場(chǎng)景中導(dǎo)入Steam VR Plugin，Hierarchy窗口中添加將CameraRig和Steam VR。數(shù)據(jù)手套和基站定位器連接Steam VR定位系統(tǒng)，通過頭盔和數(shù)據(jù)手套上的傳感器，實(shí)現(xiàn)定位功能。利用預(yù)配置的Vive NavMesh在Unity3D中烘焙一個(gè)導(dǎo)航網(wǎng)格實(shí)現(xiàn)移動(dòng)漫游功能。

在線上系統(tǒng)中，我們所研發(fā)的系統(tǒng)交互流程以易用性和直觀性為主要設(shè)計(jì)原則。學(xué)生端使用簡(jiǎn)單的交互設(shè)備即可實(shí)現(xiàn)自然直觀的人機(jī)交互。教師通過終端開啟在線課堂，學(xué)生只需配備鼠標(biāo)、攝像頭、投影顯示器等器材，以此構(gòu)建用于實(shí)驗(yàn)操作的交互設(shè)備，通過此設(shè)備連接至教師的在線課堂，開始一對(duì)一的遠(yuǎn)程實(shí)訓(xùn)指導(dǎo)。指導(dǎo)過程中，教師可通過遠(yuǎn)程監(jiān)控畫面實(shí)時(shí)觀測(cè)該學(xué)生的操作過程，并可根據(jù)需要在畫面中以畫筆等形式直接對(duì)該學(xué)生的操作進(jìn)行標(biāo)注，標(biāo)注通過投影顯示至學(xué)生實(shí)訓(xùn)的操作空間，實(shí)時(shí)指導(dǎo)學(xué)生實(shí)訓(xùn)過程。學(xué)生可以通過開啟語音向教師提問，教師也可實(shí)時(shí)回答。其他學(xué)生也可分享操作監(jiān)控畫面和語音，學(xué)習(xí)相關(guān)操作。

另外，在實(shí)訓(xùn)開展前，教師可以通過管理平臺(tái)設(shè)置實(shí)訓(xùn)項(xiàng)目的要求及關(guān)鍵參數(shù)并準(zhǔn)備相關(guān)的理論或技能知識(shí)資源供學(xué)生學(xué)習(xí)，在實(shí)訓(xùn)前先進(jìn)行理論知識(shí)、技能要點(diǎn)、實(shí)訓(xùn)要求的學(xué)習(xí)，然后正式進(jìn)行實(shí)訓(xùn)。在實(shí)訓(xùn)過程中系統(tǒng)會(huì)自動(dòng)進(jìn)行各種關(guān)鍵性數(shù)據(jù)的采集，如實(shí)訓(xùn)動(dòng)作、實(shí)訓(xùn)步驟、時(shí)間等。

2 關(guān)鍵技術(shù)

2.1 增強(qiáng)現(xiàn)實(shí)中虛擬物體的創(chuàng)建

為了使AR系統(tǒng)盡可能地接近或基本達(dá)到“無縫”集成這一目標(biāo)，在視覺上產(chǎn)生較為強(qiáng)烈的真實(shí)感，我們通過將3DS Max的建模功能與Unity3D的交互式實(shí)時(shí)三維圖形繪制功能相結(jié)合，從而產(chǎn)生了一個(gè)具有真實(shí)感效果的虛擬場(chǎng)景。

1) 物體造型。根據(jù)CAD圖紙，按照實(shí)際和虛擬1 ∶1的尺寸比例搭建框架模型，并結(jié)合現(xiàn)場(chǎng)照片，制作最終三維數(shù)字化模型。但當(dāng)三維模型面片達(dá)到百萬級(jí)時(shí)，巨大的面片數(shù)可能使場(chǎng)景無法實(shí)時(shí)顯示。因此，必須做優(yōu)化，剔除多的面片，只要使模型的視覺效果良好即可，從而保證系統(tǒng)運(yùn)行順暢。

2) 材質(zhì)紋理。在3D建模完成之后，為使虛擬物體產(chǎn)生特殊的視覺效果，必須為模型賦予材質(zhì)貼圖，從而使虛擬物體產(chǎn)生與真實(shí)物體同樣的視覺效果。

3) 動(dòng)畫制作。要以充滿動(dòng)感的視覺形象來表現(xiàn)虛擬物體的真實(shí)效果，必須進(jìn)行動(dòng)畫制作，動(dòng)畫制作方法有很多，在本文系統(tǒng)中采用了兩種動(dòng)畫法：關(guān)鍵幀動(dòng)畫和Character Studio角色動(dòng)畫。

4) 合成導(dǎo)出。從3DS Max導(dǎo)出場(chǎng)景模型和三維動(dòng)畫，并加以處理使之成為Unity3D支持的文件格式.fbx。圖4所示為增強(qiáng)現(xiàn)實(shí)中虛擬物體。

圖4 增強(qiáng)現(xiàn)實(shí)中虛擬物體

2.2 3D模型注冊(cè)實(shí)現(xiàn)

在AR系統(tǒng)中，虛實(shí)注冊(cè)技術(shù)[11]主要是實(shí)現(xiàn)3D虛擬物體與真實(shí)場(chǎng)景中的物體對(duì)準(zhǔn)。真實(shí)場(chǎng)景的空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如式(1)所示。

(1)

式中：t是一個(gè)3×1矩陣，是攝像機(jī)相對(duì)于真實(shí)空間坐標(biāo)系中的平移量；R是一個(gè)3×3的正交矩陣，主要說明旋轉(zhuǎn)變換情況，是攝像機(jī)相對(duì)于真實(shí)空間坐標(biāo)系中的旋轉(zhuǎn)值。R的計(jì)算如式(2)所示。

(2)

由式(1)和式(2)可計(jì)算出帶著視頻透視式頭盔HMD的學(xué)生或老師的頭部位置，包括視線方向。R、t又被稱為攝像機(jī)外部參數(shù)。攝像機(jī)標(biāo)定的主要目的是獲取攝像機(jī)的內(nèi)部參數(shù)。得到攝像機(jī)內(nèi)參后，我們就可以實(shí)現(xiàn)三維場(chǎng)景到二維成像平面的透視關(guān)系的轉(zhuǎn)換。

一般而言，攝像機(jī)透視投影模型如圖5所示。

圖5 攝像機(jī)透視投影模型

按立體幾何比例關(guān)系，可得如下的透視投影方程，這就是攝像頭的透視投影模型。

(3)

式中：(x′,y′,z′)為空間點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)，(u′,v′)為P在圖像上的投影；f為攝像機(jī)的焦距。上述透視投影關(guān)系可用奇次坐標(biāo)與矩陣表示。

(4)

由于透視投影關(guān)系中圖像坐標(biāo)(u′,v′)是一個(gè)具體的數(shù)值，但是圖像處理中我們都是以像素來計(jì)算的，被稱為像素值，所以要把圖像坐標(biāo)轉(zhuǎn)換成像素坐標(biāo)。

設(shè)(u,v)為像素坐標(biāo)，dpu′、dpv′為像素分辨率，這樣(u′,v′)和(u,v)的關(guān)系可表示為：

u-u0=dpu′×u′

v-v0=dpv′×v′

(5)

式中：(u0,v0)是像素坐標(biāo)系的原點(diǎn)。式(5)的矩陣形式可以表示為：

(6)

將式(6)代入式(4)，就可以實(shí)現(xiàn)三維場(chǎng)景到二維成像平面的透視關(guān)系的轉(zhuǎn)換關(guān)系。

(7)

式中：ax=f×dpu′,ay=f×dpv′，ax,ay、u0、v0被稱為攝像機(jī)的內(nèi)部參數(shù)。

為得到3D虛擬物體在真實(shí)場(chǎng)景中的位置和方向，我們引入如下轉(zhuǎn)換關(guān)系：

(8)

式中：O為虛擬3D物體坐標(biāo)系→真實(shí)空間坐標(biāo)系的變換矩陣。

由式(1)、式(7)、式(8)可推導(dǎo)出式(9)。

(9)

通過式(9)我們就可以計(jì)算得到3D虛擬物體上的某一個(gè)點(diǎn)(x,y,z,1)在真實(shí)場(chǎng)景坐標(biāo)下的投影點(diǎn)(u,v,1)的位置。于是就可以求出3D虛擬物體應(yīng)在圖像平面中呈現(xiàn)的位置，也就完成了AR系統(tǒng)的三維注冊(cè)過程，就能將計(jì)算機(jī)生成的虛擬物體與真實(shí)場(chǎng)景的景像對(duì)齊，使虛實(shí)場(chǎng)景能夠準(zhǔn)確對(duì)位，得到滿意的融合圖像。

2.3 手勢(shì)識(shí)別

我們所用的數(shù)據(jù)手套為5DT Data Glove 5 Ultra，可以讀取5個(gè)手指的相關(guān)動(dòng)作及彎曲程度。在系統(tǒng)中我們定義了5種不同的手勢(shì)：抓(Grasp)、握(Wrap)、捏(Pinch)、擰(Twist)、夾(Clamp)。

手勢(shì)動(dòng)作的數(shù)據(jù)由數(shù)據(jù)手套相關(guān)關(guān)聯(lián)的設(shè)備輸出，通過預(yù)處理得到手勢(shì)特征數(shù)據(jù)。然后用特征數(shù)據(jù)作為訓(xùn)練樣本訓(xùn)練HMM(Hidden Markov Models),再送入SVM(Support Vector Classifier)中進(jìn)行訓(xùn)練，最后得到訓(xùn)練好的HMM/SVM模型。

訓(xùn)練流程如下：

1) 將樣本分成三等份，第一份用來訓(xùn)練HMM。

2) HMM訓(xùn)練好后，用第二份樣本訓(xùn)練SVM。將每個(gè)手勢(shì)觀察序列通過已訓(xùn)練好的HMM映射成固定向量Fisher-Score。

3) 通過Fisher-Score計(jì)算核函數(shù)。

4) 訓(xùn)練SVM。

5) 用第三份樣本測(cè)試。測(cè)試手勢(shì)經(jīng)過HMM得到Fisher-Score,然后送入SVM中，得到識(shí)別結(jié)果。

Fisher-Score為HMM的log似然概率對(duì)HMM闡述的一階偏導(dǎo)數(shù)。因?yàn)镠MM模型參數(shù)個(gè)數(shù)一定，因此Fisher-Score的維數(shù)也是一定的，因此可以用來訓(xùn)練和測(cè)試SVM。

具體識(shí)別時(shí)，手勢(shì)經(jīng)過處理得到離散的手勢(shì)特征向量，5個(gè)(抓、握、捏、擰、夾)已訓(xùn)練好的HMM分別對(duì)之計(jì)算，得到模型對(duì)該手勢(shì)觀察向量的概率，然后SVM在對(duì)Fisher-Score進(jìn)行判別，得到最終手勢(shì)識(shí)別結(jié)果。

另外，為了讀取5個(gè)手指的相關(guān)動(dòng)作時(shí)的彎曲程度，我們將手勢(shì)識(shí)別作為一個(gè)決策信息系統(tǒng)，構(gòu)建了一個(gè)抓取手勢(shì)識(shí)別決策信息表[12]以及相關(guān)的控制函數(shù)，并將5個(gè)手指的彎曲度定義為：平伸(0)、微彎(1)、彎(2)、很彎(3)和緊握(4)5個(gè)狀態(tài)，通過引入知識(shí)約簡(jiǎn)算法與規(guī)則獲取，就可以快速獲取手勢(shì)動(dòng)作的彎曲程度。

經(jīng)實(shí)際實(shí)驗(yàn)，抓取手勢(shì)識(shí)別正確，對(duì)于系統(tǒng)應(yīng)用要求的滿足度較高，且由于決策表和決策規(guī)則集的規(guī)模不大，決策信息系統(tǒng)能較好地滿足整個(gè)系統(tǒng)的快速響應(yīng)要求。

3 應(yīng)用案例及結(jié)果

3.1 3D虛擬模型的創(chuàng)建

本文系統(tǒng)開發(fā)主要包括以下2個(gè)步驟：1) 通過Unity 3D+Vuforia SDK實(shí)現(xiàn)目標(biāo)識(shí)別和跟蹤；2) 通過Photon Engine實(shí)現(xiàn)模型的同步操作。

我們?nèi)【C合布線課程中的光纖熔接機(jī)為例，采用3DS MAX對(duì)光纖熔接機(jī)進(jìn)行分體建模，然后進(jìn)行材質(zhì)貼圖，使虛擬物體產(chǎn)生特殊視覺效果，最后再進(jìn)行動(dòng)畫制作。

3.2 目標(biāo)識(shí)別及跟蹤

我們通過Unity3D+Vuforia SDK實(shí)現(xiàn)目標(biāo)識(shí)別和跟蹤，通過Unity3D和Vuforia可以較為迅速地識(shí)別和跟蹤2D影像以及3D物體[13]，并可以創(chuàng)建和部署基于AR的相關(guān)應(yīng)用程序[14]。整個(gè)目標(biāo)識(shí)別及跟蹤過程的創(chuàng)建與部署可以分為下面3個(gè)步驟：

1) 首先使用Unity 3D創(chuàng)建AR工程，然后導(dǎo)入數(shù)據(jù)庫中的2D影像以及3D物體，再在窗體中增加增強(qiáng)現(xiàn)實(shí)系統(tǒng)所必需的攝像機(jī)(AR Camera)以及影像目標(biāo)組件Image Target，最后刪除原有的場(chǎng)景攝像機(jī)。

2) 首先在數(shù)據(jù)庫和影像目標(biāo)組件中加載目標(biāo)識(shí)別物，然后在目標(biāo)組件Image Target中添加我們事先制作好的光纖熔接機(jī)3D模型。

3) 首先對(duì)OnTrackingFound和OnTrackingLost兩個(gè)函數(shù)進(jìn)行改寫，改寫目標(biāo)識(shí)別成功后，即可顯示和跟蹤光纖熔接機(jī)模型，如圖6所示。

圖6 Vuforia 在Unity3D中的使用截圖

3.3 同步操作3D及動(dòng)畫模型

實(shí)現(xiàn)教師端與學(xué)生端的3D模型及動(dòng)畫模型的同步操作，可以借助于引擎(Photon Engine)，而且可視能實(shí)現(xiàn)縮放旋轉(zhuǎn)等功能。具體步驟如下。

1) 首先將光纖熔接機(jī)3D模型添加進(jìn)以下兩個(gè)組件中：Photon View組件以及Photon Transform View組件，然后將Photon Transform View組件加載進(jìn)Photon View組件中的Observed Components項(xiàng)中，這樣就可以實(shí)現(xiàn)將教師端的模型操作同步到學(xué)生端的模型操作中，實(shí)現(xiàn)3D模型的同步操作。

2) 對(duì)于動(dòng)畫模型同樣可通過添加Photon Animator View組件，將教師端的動(dòng)畫模型操作同步到學(xué)生端的動(dòng)畫模型操作中，實(shí)現(xiàn)動(dòng)畫模型的同步操作。

3) 實(shí)現(xiàn)對(duì)光纖熔接機(jī)的實(shí)訓(xùn)操作，帶有數(shù)據(jù)手套的手可以抓取工具及光纖，首先用光纖切割刀切割光纖，然后把光纖正確放入光纖熔接機(jī)中，進(jìn)行光纖熔接，最后進(jìn)行保護(hù)套安裝等。

4 結(jié) 語

本文給出一個(gè)基于增強(qiáng)現(xiàn)實(shí)的線上線下混合式教學(xué)系統(tǒng)軟硬件架構(gòu)，將虛擬的3D模型疊加到真實(shí)世界中，教師直接在智能樓宇設(shè)備的3D模型上進(jìn)行講解說明，形成了一整套完善的基于AR的線上線下教學(xué)與實(shí)訓(xùn)的系統(tǒng)。教師可以在學(xué)生的實(shí)操區(qū)域中直觀地給出遠(yuǎn)程指引信息，既避免了復(fù)雜的多媒體教案設(shè)計(jì)，使教師可以快速掌握使用方法并開展教學(xué)，也為學(xué)生提供了直觀的AR教學(xué)及實(shí)訓(xùn)體驗(yàn)，實(shí)現(xiàn)了AR在線上線下混合式教學(xué)中的應(yīng)用。AR技術(shù)在教學(xué)模式中的創(chuàng)新應(yīng)用，幫助學(xué)生提高學(xué)習(xí)效率，提升學(xué)生的感官直覺和專注度，大大加強(qiáng)學(xué)生對(duì)抽象概念的感知與理解。