AR技術(shù)在機(jī)器人工程專業(yè)實(shí)驗(yàn)教學(xué)中的應(yīng)用研究

汪永生，李 巖，劉 明

（銅陵學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，安徽 銅陵 244061）

0 引言

《中國(guó)制造2025》明確將機(jī)器人作為制造強(qiáng)國(guó)的戰(zhàn)略目標(biāo)與任務(wù)，機(jī)器人在智能制造和智能服務(wù)等方面發(fā)揮著重要作用［1］.目前，機(jī)器人在眾多行業(yè)都有著廣泛的應(yīng)用，如太空探索［2］、國(guó)防安全、資源勘探、工業(yè)智能制造［3］、醫(yī)療服務(wù)［4］和商業(yè)家庭服務(wù)等，市場(chǎng)需求巨大，因而對(duì)機(jī)器人的研發(fā)和應(yīng)用相關(guān)專業(yè)技術(shù)人才也與日俱增［5］.2016年，東南大學(xué)成為國(guó)內(nèi)第一個(gè)開(kāi)設(shè)機(jī)器人工程本科專業(yè)院校，截止2018年，全國(guó)已有187所高校獲批建設(shè)機(jī)器人工程專業(yè)［6］.機(jī)器人教學(xué)實(shí)踐性強(qiáng)，加強(qiáng)高校機(jī)器人實(shí)踐教學(xué)建設(shè)，有利于增強(qiáng)實(shí)現(xiàn)機(jī)器人技術(shù)人才培養(yǎng)目標(biāo)，提升實(shí)踐創(chuàng)新能力.機(jī)器人工程作為新工科一門(mén)專業(yè)，不少新建該專業(yè)的院校在機(jī)器人實(shí)踐教學(xué)中存在諸多不足，尤其是在開(kāi)展相關(guān)機(jī)器人實(shí)驗(yàn)教學(xué)過(guò)程中，會(huì)遇到很多問(wèn)題和困難，特別是可供實(shí)驗(yàn)硬件設(shè)備資源有限、實(shí)驗(yàn)操作流程復(fù)雜等，學(xué)生得不到充足的設(shè)備使用時(shí)間，誤操作現(xiàn)象嚴(yán)重，實(shí)驗(yàn)效果較差.增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR）技術(shù)在高校教育教學(xué)領(lǐng)域應(yīng)用已有廣泛研究［7-9］，本文提出將AR技術(shù)應(yīng)用于機(jī)器人工程專業(yè)實(shí)驗(yàn)教學(xué)，通過(guò)AR機(jī)器人實(shí)驗(yàn)應(yīng)用系統(tǒng)，將有效地解決上述問(wèn)題，增強(qiáng)學(xué)生實(shí)驗(yàn)興趣，提升實(shí)驗(yàn)效率.

1 機(jī)器人工程專業(yè)實(shí)驗(yàn)教學(xué)現(xiàn)狀

機(jī)器人技術(shù)涉及電子、自動(dòng)化、機(jī)械、計(jì)算機(jī)等多學(xué)科知識(shí)交叉，技術(shù)高度融合［10］.機(jī)器人工程專業(yè)主要培養(yǎng)從事機(jī)器人工作站設(shè)計(jì)、機(jī)器人自動(dòng)化生產(chǎn)線的設(shè)計(jì)、機(jī)器人智能感知、決策理論應(yīng)用等具有較強(qiáng)綜合職業(yè)能力的高素質(zhì)應(yīng)用型專門(mén)人才.

1.1 實(shí)驗(yàn)課程類型

為了增強(qiáng)學(xué)生的動(dòng)手能力，實(shí)驗(yàn)教學(xué)是非常重要一環(huán).機(jī)器人工程專業(yè)實(shí)驗(yàn)課程一般可分為基礎(chǔ)型實(shí)驗(yàn)課程和創(chuàng)新型實(shí)驗(yàn)課程.基礎(chǔ)型實(shí)驗(yàn)課程主要以示教、驗(yàn)證實(shí)驗(yàn)為主，通過(guò)機(jī)器人基本操作訓(xùn)練，掌握機(jī)器人基本知識(shí)、方法和技能.創(chuàng)新型實(shí)驗(yàn)課程主要以學(xué)生自主設(shè)計(jì)實(shí)驗(yàn)方案，對(duì)實(shí)驗(yàn)過(guò)程進(jìn)行控制，整理實(shí)驗(yàn)數(shù)據(jù)，分析實(shí)驗(yàn)結(jié)果等.實(shí)驗(yàn)課程主要有專業(yè)認(rèn)知實(shí)習(xí)、電氣綜合實(shí)訓(xùn)、機(jī)器人編程實(shí)訓(xùn)、可編程控制器實(shí)訓(xùn)、工業(yè)機(jī)器人綜合實(shí)訓(xùn)、電子綜合實(shí)訓(xùn)、機(jī)器人微控制器實(shí)訓(xùn)、機(jī)器人仿真實(shí)訓(xùn)、機(jī)器人系統(tǒng)集成實(shí)訓(xùn)等.

1.2 實(shí)驗(yàn)教學(xué)方式

在實(shí)驗(yàn)教學(xué)方式上，一是示范式教學(xué)，利用PPT、視頻、MOOC等方式，在教師指導(dǎo)下學(xué)生完成一些基礎(chǔ)型實(shí)驗(yàn).二是拓展互動(dòng)式、研究型、團(tuán)隊(duì)式等實(shí)驗(yàn)教學(xué)方法，進(jìn)行驗(yàn)證型、探索型實(shí)驗(yàn).三是拓展多種途徑、多種方案、設(shè)計(jì)性實(shí)驗(yàn)方法，提升學(xué)生綜合設(shè)計(jì)與創(chuàng)新思維能力.機(jī)器人實(shí)驗(yàn)教學(xué)著力于技術(shù)更新，可使學(xué)生盡快地接觸到機(jī)器人先進(jìn)技術(shù)，促進(jìn)學(xué)生自主學(xué)習(xí)和研究性學(xué)習(xí).

1.3 實(shí)驗(yàn)教學(xué)存在的問(wèn)題

受傳統(tǒng)的實(shí)驗(yàn)教學(xué)模式影響，很多開(kāi)設(shè)機(jī)器人工程專業(yè)院校在實(shí)驗(yàn)教學(xué)方法和內(nèi)容等方面難以達(dá)到新工科提出的標(biāo)準(zhǔn)和要求，教學(xué)方式比較僵化，通常是采用理論教學(xué)的方式來(lái)進(jìn)行實(shí)驗(yàn)課程的教學(xué)，教師利用PPT、視頻等方式講解實(shí)驗(yàn)原理及實(shí)驗(yàn)相關(guān)事項(xiàng)，根據(jù)實(shí)驗(yàn)指導(dǎo)書(shū)布置實(shí)驗(yàn)任務(wù).學(xué)生則先按照實(shí)驗(yàn)指導(dǎo)書(shū)、實(shí)驗(yàn)視頻等輔助資料熟悉實(shí)驗(yàn)內(nèi)容和流程，再進(jìn)行實(shí)驗(yàn)操作，完全是一種被動(dòng)學(xué)習(xí)、被動(dòng)做實(shí)驗(yàn)的狀態(tài)，缺乏自主性、創(chuàng)新性.由于機(jī)器人工程專業(yè)相關(guān)實(shí)驗(yàn)與其他工科類實(shí)驗(yàn)相比，實(shí)驗(yàn)操作更加復(fù)雜，難度更大，亟需改變傳統(tǒng)實(shí)驗(yàn)教學(xué)模式，才能激發(fā)學(xué)生實(shí)驗(yàn)興趣，提升實(shí)驗(yàn)效果.

2 AR技術(shù)

AR技術(shù)是一種基于計(jì)算機(jī)技術(shù)將虛擬信息疊加到真實(shí)世界的技術(shù)，增強(qiáng)真實(shí)世界信息，提供給人超越真實(shí)世界感受的體驗(yàn)［11］.三維注冊(cè)技術(shù)、虛實(shí)整合顯示技術(shù)、人機(jī)交互技術(shù)是AR三大關(guān)鍵技術(shù).三維注冊(cè)技術(shù)主要任務(wù)是實(shí)時(shí)檢測(cè)出攝像頭相對(duì)于真實(shí)場(chǎng)景的位姿狀態(tài)，確定所需要疊加的虛擬信息在投影平面中的位置，并將這些虛擬信息實(shí)時(shí)顯示在屏幕中的正確位置，完成三維注冊(cè)，通?？煞譃榛谟?jì)算機(jī)視覺(jué)的注冊(cè)算法和基于硬件傳感器的注冊(cè)算法.

虛實(shí)融合顯示技術(shù)是將虛擬信息與真實(shí)世界融合在一起，從而在顯示設(shè)備上正確顯示出來(lái)，主要顯示設(shè)備可分為頭盔顯示式設(shè)備、手持顯示式設(shè)備、投影顯示式設(shè)備等.人機(jī)交互技術(shù)是指將用戶的交互操作輸入到計(jì)算機(jī)后，經(jīng)過(guò)處理將交互的結(jié)果通過(guò)顯示設(shè)備顯示輸出的過(guò)程，目前增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互方式主要有外接設(shè)備、特定標(biāo)志以及徒手交互等.

3 AR技術(shù)在機(jī)器人實(shí)驗(yàn)教學(xué)中應(yīng)用

3.1 實(shí)驗(yàn)應(yīng)用系統(tǒng)框架

AR機(jī)器人實(shí)驗(yàn)應(yīng)用系統(tǒng)由AR機(jī)器人實(shí)驗(yàn)設(shè)備系統(tǒng)和AR機(jī)器人實(shí)驗(yàn)操作輔助系統(tǒng)組成，如圖1所示.

AR機(jī)器人實(shí)驗(yàn)設(shè)備系統(tǒng)主要工作流程是：先掃描設(shè)備識(shí)別圖，對(duì)采集的圖像進(jìn)行特征處理，與特征數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，從而完成虛擬三維設(shè)備模型注冊(cè)，在顯示端輸出設(shè)備三維模型，可對(duì)模型進(jìn)行旋轉(zhuǎn)、縮放和不同視角觀察等操作，并提供設(shè)備信息資料，以及實(shí)驗(yàn)關(guān)聯(lián)設(shè)備等.機(jī)器人實(shí)驗(yàn)通常比較復(fù)雜、設(shè)備資源有限，如電路實(shí)驗(yàn)、模擬電子技術(shù)實(shí)驗(yàn)、電機(jī)實(shí)驗(yàn)、電氣控制實(shí)驗(yàn)等，實(shí)驗(yàn)之前，學(xué)生可利用AR機(jī)器人設(shè)備系統(tǒng)了解實(shí)驗(yàn)設(shè)備結(jié)構(gòu)、功能以及實(shí)驗(yàn)操作規(guī)范流程等，為真實(shí)實(shí)驗(yàn)操作奠定基礎(chǔ).AR機(jī)器人實(shí)驗(yàn)操作輔助系統(tǒng)可以實(shí)時(shí)為學(xué)生提供實(shí)驗(yàn)輔助操作信息，指導(dǎo)其正確實(shí)驗(yàn)操作，其主要工作流程為：AR系統(tǒng)掃描實(shí)驗(yàn)場(chǎng)景，識(shí)別場(chǎng)景中實(shí)驗(yàn)操作設(shè)備，將AR虛擬信息與實(shí)驗(yàn)場(chǎng)景進(jìn)行整合，在顯示端呈現(xiàn)出來(lái).通過(guò)觸摸按鈕、手勢(shì)跟蹤等交互操作，快速準(zhǔn)確地進(jìn)行實(shí)驗(yàn)操作，最后對(duì)整個(gè)實(shí)驗(yàn)操作提供評(píng)價(jià)，反饋實(shí)驗(yàn)效果等.

3.2 實(shí)驗(yàn)應(yīng)用系統(tǒng)實(shí)現(xiàn)方案

基于AR技術(shù)的機(jī)器人實(shí)驗(yàn)應(yīng)用系統(tǒng)開(kāi)發(fā)流程如圖2所示.系統(tǒng)開(kāi)發(fā)主要過(guò)程是：先對(duì)機(jī)器人實(shí)驗(yàn)環(huán)境及設(shè)備建立三維模型，利用AR軟件開(kāi)發(fā)工具包創(chuàng)建機(jī)器人AR識(shí)別數(shù)據(jù)庫(kù)，制作實(shí)驗(yàn)輔助信息，通過(guò)AR開(kāi)發(fā)引擎完成系統(tǒng)開(kāi)發(fā).

3.2.1 實(shí)驗(yàn)環(huán)境與設(shè)備三維建模

根據(jù)機(jī)器人實(shí)驗(yàn)課程任務(wù)方案，設(shè)計(jì)實(shí)驗(yàn)虛擬工作環(huán)境，對(duì)機(jī)器人實(shí)驗(yàn)環(huán)境和設(shè)備進(jìn)行三維建模.目前，三維建模方法有專業(yè)三維軟件建模、基于掃描3D軟件建模、基于圖像軟件建模.比較流行的專業(yè)三維建模軟件有3D Max、Maya、Softimage、Solidworks等，其共同特點(diǎn)是利用一些基本的幾何元素，通過(guò)一系列的幾何操作，如平移、旋轉(zhuǎn)、拉伸以及布爾運(yùn)算等構(gòu)建復(fù)雜幾何場(chǎng)景.利用Solidworks軟件編輯創(chuàng)建三維舵機(jī)模型，如圖3所示.

基于掃描3D軟件建模是通過(guò)深度相機(jī)或3D掃描儀采集三維點(diǎn)云數(shù)據(jù)，利用基于點(diǎn)云數(shù)據(jù)的建模與處理軟件重建三維模型.基于圖像軟件建模是從物體的照片來(lái)進(jìn)行三維模型的構(gòu)建，也稱為基于圖像幾何建模，用戶利用普通相機(jī)或者手機(jī)對(duì)建模的實(shí)物拍攝若干張不同視角的照片，根據(jù)所拍攝照片圖像建模軟件自動(dòng)生成相應(yīng)的三維模型.針對(duì)機(jī)器人實(shí)驗(yàn)操作對(duì)象具體結(jié)構(gòu)和性能特征，采用合適建模方法，在AR環(huán)境下模型如實(shí)物一樣進(jìn)行操控，給人以真實(shí)體驗(yàn).

3.2.2 實(shí)驗(yàn)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)創(chuàng)建與實(shí)現(xiàn)

通過(guò)三維互動(dòng)內(nèi)容開(kāi)發(fā)引擎和AR SDK來(lái)實(shí)現(xiàn)AR機(jī)器人實(shí)驗(yàn)應(yīng)用系統(tǒng)開(kāi)發(fā).目前，在眾多AR開(kāi)發(fā)平臺(tái)中，基于Unity 3D和Vuforia SDK是一個(gè)比較不錯(cuò)的AR開(kāi)發(fā)平臺(tái).Vuforia SDK主要任務(wù)是實(shí)驗(yàn)設(shè)備的識(shí)別，將實(shí)驗(yàn)設(shè)備識(shí)別圖導(dǎo)入Vuforia數(shù)據(jù)庫(kù)，生成目標(biāo)特征點(diǎn)識(shí)別文件，下載至Unity3D供系統(tǒng)開(kāi)發(fā)使用.三維目標(biāo)識(shí)別則需要使Vuforia Object Sanner軟件對(duì)三維目標(biāo)進(jìn)行掃描，收集特征點(diǎn)數(shù)據(jù)，如圖4所示，保存在Vuforia數(shù)據(jù)庫(kù)中，生成三維目標(biāo)識(shí)別文件.

將所需的實(shí)驗(yàn)設(shè)備三維模型和實(shí)驗(yàn)輔助信息（文本、圖像、視頻等）等資源轉(zhuǎn)換成必要的格式整合導(dǎo)入U(xiǎn)nity3D開(kāi)發(fā)引擎中，在開(kāi)發(fā)引擎中進(jìn)行資源配置，最終完成系統(tǒng)功能開(kāi)發(fā).

3.3 實(shí)驗(yàn)應(yīng)用系統(tǒng)效果

3.3.1 系統(tǒng)應(yīng)用實(shí)例

根據(jù)機(jī)器人實(shí)驗(yàn)教學(xué)需求，靈活運(yùn)用AR機(jī)器人實(shí)驗(yàn)應(yīng)用系統(tǒng)，可獲得良好的實(shí)驗(yàn)效果.一是設(shè)備三維模型是對(duì)設(shè)備高度仿真，通過(guò)AR機(jī)器人實(shí)驗(yàn)設(shè)備系統(tǒng)能加深學(xué)生對(duì)實(shí)驗(yàn)設(shè)備了解和實(shí)驗(yàn)操作流程熟悉程度.二是AR系統(tǒng)能實(shí)時(shí)提供實(shí)驗(yàn)操作步驟提示，對(duì)實(shí)驗(yàn)操作規(guī)范性和正確性實(shí)時(shí)反饋，提升實(shí)驗(yàn)效率.三是相較傳統(tǒng)實(shí)驗(yàn)?zāi)Ｊ?，AR技術(shù)的應(yīng)用更能激發(fā)學(xué)生實(shí)驗(yàn)興趣，保持很高的專注度，讓實(shí)驗(yàn)不再枯燥乏味.

本文以三相異步電動(dòng)機(jī)控制實(shí)驗(yàn)為例，在實(shí)驗(yàn)教學(xué)中應(yīng)用AR實(shí)驗(yàn)應(yīng)用系統(tǒng).三相異步電動(dòng)機(jī)屬于強(qiáng)電設(shè)備，對(duì)實(shí)驗(yàn)過(guò)程中人身安全性要求高.因此，實(shí)驗(yàn)前學(xué)生使用AR設(shè)備輔助系統(tǒng)，熟悉電動(dòng)機(jī)及其他電器元件的結(jié)構(gòu)、型號(hào)規(guī)格、工作原理和使用方法，掌握正確的接線、調(diào)試和故障排除方法.實(shí)際實(shí)驗(yàn)操作時(shí)，學(xué)生可使用AR實(shí)驗(yàn)操作輔助系統(tǒng)，對(duì)實(shí)驗(yàn)操作過(guò)程中進(jìn)行實(shí)時(shí)指導(dǎo)，確保實(shí)驗(yàn)操作準(zhǔn)確和人身安全.

3.3.2 評(píng)價(jià)方法

為了測(cè)試AR實(shí)驗(yàn)應(yīng)用系統(tǒng)性能效果，在機(jī)器人工程專業(yè)學(xué)生中隨機(jī)抽取若干人，進(jìn)行分組測(cè)試，一組使用傳統(tǒng)實(shí)驗(yàn)方法（輔助工具一般是紙質(zhì)實(shí)驗(yàn)指導(dǎo)書(shū)、電子版實(shí)驗(yàn)操作文本等），另一組使用AR實(shí)驗(yàn)應(yīng)用系統(tǒng)方法.采用滿意度（Satisfaction Degree，SD）、準(zhǔn)確度（Accuracy Degree，AD）和興趣度（Interest De?gree，ID）主觀評(píng)價(jià)方式進(jìn)行度量，比較在實(shí)驗(yàn)教學(xué)過(guò)程中兩種方法的性能差異，對(duì)其效果進(jìn)行驗(yàn)證.采用李克特量表（Likert Scale）確定主觀評(píng)價(jià)分?jǐn)?shù)［12］，具體如表1所示.

表1 主觀評(píng)價(jià)分?jǐn)?shù)確定原則

為了考察評(píng)價(jià)數(shù)據(jù)的波動(dòng)范圍，通過(guò)計(jì)算數(shù)據(jù)的離散系數(shù)（Coefficient of Variation，CV），使評(píng)價(jià)數(shù)據(jù)具有代表性和有效性.離散系數(shù)計(jì)算公式如下：

式（1）中，σ為該組數(shù)據(jù)的標(biāo)準(zhǔn)差，-x為數(shù)據(jù)均值，n為樣本數(shù).通常來(lái)說(shuō)，離散系數(shù)越小說(shuō)明平均指標(biāo)更具有代表性.

3.3.3 評(píng)價(jià)結(jié)果與分析

隨機(jī)抽取60位學(xué)生，分兩組每組30位分別使用傳統(tǒng)方法和AR實(shí)驗(yàn)應(yīng)用系統(tǒng)方法進(jìn)行對(duì)比測(cè)試，測(cè)試數(shù)據(jù)如表2所示.

表2 兩種方法主觀評(píng)價(jià)平均分?jǐn)?shù)據(jù)對(duì)比

從表2數(shù)據(jù)分析得出，在滿意度、準(zhǔn)確度和興趣度主觀評(píng)價(jià)平均分值上AR實(shí)驗(yàn)應(yīng)用系統(tǒng)均高于傳統(tǒng)方法.準(zhǔn)確度指標(biāo)上說(shuō)明了AR實(shí)驗(yàn)應(yīng)用系統(tǒng)可以幫助學(xué)生正確地完成實(shí)驗(yàn)，增強(qiáng)了實(shí)驗(yàn)效果.興趣度指標(biāo)則說(shuō)明了AR實(shí)驗(yàn)應(yīng)用系統(tǒng)更能激發(fā)學(xué)生的實(shí)驗(yàn)興趣，讓實(shí)驗(yàn)不再枯燥無(wú)趣.滿意度指標(biāo)方面，則是學(xué)生在實(shí)驗(yàn)過(guò)程使用AR實(shí)驗(yàn)應(yīng)用系統(tǒng)的主觀認(rèn)可.

AR實(shí)驗(yàn)應(yīng)用系統(tǒng)和傳統(tǒng)方法的主觀評(píng)價(jià)分均值和離散系數(shù)對(duì)比如圖5所示，圖中橫坐標(biāo)對(duì)應(yīng)主觀評(píng)價(jià)SD、AD、ID指標(biāo)，縱坐標(biāo)為主觀評(píng)價(jià)分的均值（加粗星號(hào)標(biāo)記）和CV值（未加粗橙色星號(hào)標(biāo)記）.兩種方法的主觀評(píng)價(jià)指標(biāo)CV值均較小，說(shuō)明評(píng)價(jià)數(shù)據(jù)波動(dòng)不大，平均指標(biāo)的代表性比較好，評(píng)價(jià)依據(jù)可靠.

因參評(píng)學(xué)生數(shù)量及專業(yè)知識(shí)水平、實(shí)驗(yàn)項(xiàng)目樣本量等因素制約，對(duì)主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果可能會(huì)產(chǎn)生一定影響，但對(duì)改進(jìn)與優(yōu)化AR技術(shù)在機(jī)器人工程專業(yè)實(shí)驗(yàn)教學(xué)中的應(yīng)用系統(tǒng)設(shè)計(jì)具有較高的參考價(jià)值.

4 結(jié)語(yǔ)

在機(jī)器人工程專業(yè)實(shí)驗(yàn)課程教學(xué)中應(yīng)用AR技術(shù)，可改變傳統(tǒng)實(shí)驗(yàn)教學(xué)模式.AR機(jī)器人實(shí)驗(yàn)設(shè)備系統(tǒng)提供逼真虛擬三維設(shè)備模型，能使學(xué)生在真實(shí)實(shí)驗(yàn)之前更好了解實(shí)驗(yàn)設(shè)備組成結(jié)構(gòu)與性能特征，并掌握實(shí)驗(yàn)內(nèi)容，熟悉操作步驟等，解決了實(shí)驗(yàn)設(shè)備資源有限性問(wèn)題.AR機(jī)器人實(shí)驗(yàn)操作輔助系統(tǒng)提供輔助操作信息和人機(jī)交互功能，實(shí)時(shí)指導(dǎo)學(xué)生實(shí)驗(yàn)，保證正確操作，降低實(shí)驗(yàn)難度，增加實(shí)驗(yàn)趣味性，提升實(shí)驗(yàn)效率.由于機(jī)器人工程專業(yè)涉及多門(mén)學(xué)科，不同實(shí)驗(yàn)課程具有其獨(dú)特性，因此，針對(duì)具體實(shí)驗(yàn)課程教學(xué)如何靈活應(yīng)用AR技術(shù)，需要進(jìn)一步細(xì)化和研究.