用于線上教學的工程圖學虛擬現(xiàn)實交互模型平臺

張宗波, 伊 鵬, 王 珉, 吳寶貴, 秦 臻

(中國石油大學(華東) 機電工程學院, 山東 青島 266580)

用于線上教學的工程圖學虛擬現(xiàn)實交互模型平臺

張宗波, 伊 鵬, 王 珉, 吳寶貴, 秦 臻

(中國石油大學(華東) 機電工程學院, 山東 青島 266580)

基于虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)技術(shù), 利用Unity 3D開發(fā)平臺、3ds MAX、UV模型制作軟件以及C#交互編程工具, 開發(fā)了能夠在手機終端和PC終端使用的適用于線上教學的工程圖學虛擬現(xiàn)實交互模型平臺. 詳細介紹了平臺的底層設計、功能及技術(shù)開發(fā)方案、內(nèi)容設計以及平臺的管理策略. 該平臺可充分發(fā)揮VR和AR技術(shù)各自的優(yōu)勢, 有利于克服工程圖學課程線上教學在模型展示與交互方面的障礙, 為工程圖學課程的信息化建設提供了有益的嘗試與探索.

虛擬現(xiàn)實(VR); 增強現(xiàn)實(AR); 工程圖學; 線上教育

工程圖學課程作為高校工科學生需修讀的重要技術(shù)基礎課程, 其主要目的是培養(yǎng)學生自覺運用圖學知識進行構(gòu)思、分析、表達和理解工程問題的能力. 然而, 目前我國高?；A課程普遍存在大班授課和少學時化教學的現(xiàn)狀, 導致學生對知識“食而不化”的問題日益突出. 線上教學一定程度上突破了“教”與“學”活動在時間和空間上的限制, 為上述問題提供了可能的解決途徑[1]. 因此, 把以網(wǎng)絡為核心的信息技術(shù)作為促進學生認知、體驗與知識內(nèi)化的工具, 是高等學?？畿S式發(fā)展的時代機遇, 更是今后工程圖學課程發(fā)展的必然方向. 在工程制圖課程的教學過程中, 無論是課堂教學還是課后練習環(huán)節(jié)都需要借助大量的模型教具, 以增強學生的感性認識, 達到培養(yǎng)學生空間思維能力和形體構(gòu)形能力的目的. 傳統(tǒng)的教學模型具有價格昂貴、容易損壞、攜帶不便和更新周期長等缺點, 因此其很難與線上教學及遠程教育等現(xiàn)代化教學方法相融合, 這成為了工程圖學課程信息化改革的重要障礙.

虛擬現(xiàn)實(virtual reality, VR)技術(shù)是20世紀90年代發(fā)展起來的計算機圖形學中最重要的科技成就之一, 具有多感知性、沉浸感和交互性等獨特的優(yōu)勢.近幾年, 國內(nèi)外學者針對VR技術(shù)在輔助教學中的應用做了一定的研究與實踐[2-5]. 隨著VR技術(shù)的迅速發(fā)展, 近年來出現(xiàn)了一種將真實信息和虛擬信息“無縫”集成的新技術(shù)，即增強現(xiàn)實技術(shù)(augmented Reality, AR). VR、AR技術(shù)與傳統(tǒng)的計算機顯示技術(shù)相結(jié)合, 可以實現(xiàn)二維到三維的轉(zhuǎn)換、三維與虛擬的結(jié)合以及虛擬與現(xiàn)實的融合. 因此, 利用虛擬現(xiàn)實技術(shù)建立的虛擬現(xiàn)實模型庫可以擺脫實物模型對教學活動的制約, 更好地配合線上課程完成工程圖學的信息化教學改革.

筆者教學團隊在對工程圖學“線上+線下融合式”教學模式研究的基礎上[6], 針對工程圖學課程以圖形為主且交互困難的特點, 利用VR和AR技術(shù)設計開發(fā)了用于配合信息化教學的虛擬現(xiàn)實互動模型平臺.該平臺能夠同時實現(xiàn)手機終端和PC終端的多點觸控操作和交互應用, 可配合線上教學活動強化圖形信息的展示與交互手段的創(chuàng)新, 進一步促進學生碎片化學習模式的發(fā)展, 也為現(xiàn)代化虛擬模型室的建設提供有益的探索與嘗試.

1 平臺體系架構(gòu)

1.1平臺底層設計

虛擬現(xiàn)實互動模型平臺主要應用環(huán)境為以PC機終端為主的Windows操作系統(tǒng)和以手機終端為主的安卓與iOS系統(tǒng), 該平臺的底層構(gòu)架如圖1所示. 用戶根據(jù)自己的需求進行相關(guān)操作, 平臺根據(jù)客戶選擇是否啟動攝像頭掃描來選擇啟動VR或AR功能. 進入平臺后, 用戶通過界面層進行模型操作, 系統(tǒng)對具體操作進行分析和判斷, 發(fā)送請求到服務器邏輯層, 服務器接收請求后對請求數(shù)據(jù)分析, 通過數(shù)據(jù)訪問層調(diào)用數(shù)據(jù)庫中的相關(guān)內(nèi)容, 并再次通過服務器邏輯層向客戶端做出反饋響應. 系統(tǒng)還將通過對用戶界面層的數(shù)據(jù)統(tǒng)計, 定期通過數(shù)據(jù)分析完善相關(guān)的數(shù)據(jù)庫.

圖1 虛擬現(xiàn)實交互模型平臺的底層構(gòu)架Fig.1 Underlying structure of the VR model system

1.2方案設計

虛擬現(xiàn)實交互模型平臺主要通過教學資源、硬件系統(tǒng)以及軟件系統(tǒng)之間的協(xié)同作用，并通過VR和AR技術(shù)來實現(xiàn)模型的展示和交互, 最終實現(xiàn)對線上教學過程的支持, 平臺的總體方案設計如圖2所示.虛擬現(xiàn)實交互模型平臺設計的總體目標是實現(xiàn)多種客戶端的實時調(diào)用和操作立體模型, 配合本團隊前期建設的工程圖學云課堂教學平臺, 進一步突破工程圖學課程在圖形展示和模型交互方面的局限性, 更好地輔助“教”與“學”的各個環(huán)節(jié), 并最終實現(xiàn)課程模型的信息化和網(wǎng)絡化.

2 平臺內(nèi)容設計與開發(fā)

2.1內(nèi)容設計

根據(jù)實際課程內(nèi)容, 將虛擬現(xiàn)實模型庫按教學章節(jié)進行設計, 分為投影基礎、基本體、組合體、表達方法、零件圖以及裝配圖共6部分, 與線上其他教學資源相對應, 以增加模型庫的用戶黏度, 虛擬現(xiàn)實交互模型平臺如圖3所示. 在模型庫中主要采用二維圖樣與三維互動模型方式進行模型的展示與操作, 再輔助以文案說明和動畫演示對模型進行補充說明. 當用戶進入模型庫主界面時, 單擊章節(jié)名稱, 就會進入新本章節(jié)的展示架界面, 該界面以展架的形式顯示該章節(jié)所包含的模型, 以便于學生按照學習需要進行直觀的瀏覽和調(diào)用.

2.2軟件開發(fā)

考慮到平臺的功能性和易用性, 該平臺的客戶端主要包含PC版和手機版, 虛擬現(xiàn)實交互模型平臺的制作方案如圖4所示, 主要開發(fā)流程如下:

圖2 虛擬現(xiàn)實交互模型平臺總體方案設計Fig.2 Overall scheme design of the VR model system

圖3 虛擬現(xiàn)實交互模型平臺內(nèi)容設計Fig.3 The content design of the VR model system

圖4 虛擬現(xiàn)實交互模型平臺制作方案Fig.4 Programming scheme of the VR model system

(1) 以Unity 3D為開發(fā)平臺進行手機終端VR和AR模型系統(tǒng)制作, 配置安卓開發(fā)的JDK(Java development kit)和SDK(software development kit)開發(fā)平臺.

(2) 使用3ds MAX制作模型及UV整理, 采用Photoshop進行后期貼圖繪制. 貼圖和模型導入Unity 3D平臺, 通過C#編寫實現(xiàn)交互程序, 再分別對AR和VR進行差別化制作.

(3) 選用HiAR做為增強現(xiàn)實開發(fā)包制作AR, HiAR以 REST和 API形式提供云端圖像識別服務, 支持規(guī)模的圖庫處理. 同時使用HiAR的后臺管理工具實現(xiàn)AR內(nèi)容的編輯與管理.

(4) 采用Unity 3D平臺將資源打包分別上傳服務器, 使得平臺內(nèi)資源均為服務器加載, 并對服務器加以整理以方便后期資源管理與優(yōu)化, 這樣既可以降低對硬件終端的技術(shù)要求, 又能在網(wǎng)絡環(huán)境下實現(xiàn)模型庫的實時調(diào)用.

3 平臺的應用

3.1平臺運行效果

與其他課程相比, 工程圖學課程以圖形為主，其對教學資源要求更高, 因此，教學資源中有必要為學習者提供圖形信息的展示與交互技術(shù), 這也是工程圖學課程在教學資源建設方面難于其他課程的主要原因. 本文利用VR和AR技術(shù)建立了交互式三維模型平臺和模型庫, 實現(xiàn)了現(xiàn)代化信息技術(shù)與三維模型展示的有效結(jié)合. VR三維互動平臺的PC端和手機端如圖5所示, 學生可以通過多點觸控實現(xiàn)模型的放大、縮小、旋轉(zhuǎn)和切割等功能. 基于AR技術(shù)的互動三維模型平臺手機APP如圖6所示, 學生在閱讀二維圖樣的過程中可以掃描圖樣內(nèi)二維碼自動打開模型展示平臺, 進行相關(guān)模型調(diào)用, 通過觸摸屏幕或手機姿態(tài)控制(基于手機內(nèi)置陀螺儀)實現(xiàn)模型的操作, 增加模型交互的真實感和趣味性.

(a) PC版

(b) 手機版

(c) 部分模型

圖6 基于AR技術(shù)的三維互動模型平臺手機APPFig.6 AR mobile APP interface of model system and 3D interactive models

3.2平臺使用與管理

為了突破課堂“教”與“學”活動在時間、地點等方面的限制, 保障學生在想學習的時候隨時隨地都能得到豐富的學習資源支持, 在虛擬現(xiàn)實交互模型平臺的建設中充分考慮了其與其他線上資源的配合與銜接, 虛擬現(xiàn)實模型庫與線上其他它課程資源的關(guān)系如圖7所示. 模型庫資源通過課程線上平臺按照教學進度進行開放, 學生對模型資源的使用有效期為一學期, 這樣既保證了模型庫與教學進度的時序統(tǒng)一，又實現(xiàn)了對知識產(chǎn)權(quán)的有效保護.

圖7 虛擬現(xiàn)實模型庫與線上其他課程資源的關(guān)系Fig.7 Relationship between VR model system and other online course resources

4 結(jié) 語

本文利用相關(guān)軟件實現(xiàn)了工程圖學虛擬現(xiàn)實交互模型平臺的研究與開發(fā), 采用帶有觸摸屏的終端可實現(xiàn)對平臺上模型的展示、縮放、選轉(zhuǎn)、切割和與二維圖樣對應等交互操作. 在基礎類課程中融入先進的信息技術(shù)手段, 在一定程度上解決了工程圖學課程在模型展示方面存在的困難, 充分發(fā)揮了VR和AR技術(shù)在沉浸感、交互性、移動性等方面的優(yōu)勢, 既能引導學生自主學習和增強學生的參與感, 又能與線上教學系統(tǒng)相結(jié)合, 在一定程度上克服了課時不斷減少與信息量不斷增大之間的矛盾，以及解決了大班授課模式下互動困難等長期困擾我國高?；A課程發(fā)展的問題, 使人們享受到信息化給教育帶來的時代紅利.

[1] 李紅美, 陸國棟, 張劍平. 后MOOC時期高等學校教學新模式探索[J].高等工程教育研究, 2014, 149(6): 58-67.

[2] 陳潔, 趙炳利, 任蜀焱, 等. 基于WebVR的工程圖學試驗系統(tǒng)的研究與開發(fā)[J]. 東華大學學報(自然科學版), 2006, 32(10): 129-133.

[3] 邱龍輝, 楚建明, 葉琳. 基于智能手機的工程圖學虛擬模型庫的研究與實現(xiàn)[J]. 圖學學報, 2013, 34(1): 83-86.

[4] VELAZ Y, A RCE J R, GUTIERREZ T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality [J]. Journal of Computing and Information Science in Engineering, 2014, 14(4): 36-44.

[5] 劉偉, 杜強, 張順心, 等. 基于VR技術(shù)的工程圖學移動學習系統(tǒng)[J] 圖學學報, 2016, 37(6): 857-861.

[6] 張宗波, 王珉, 吳寶貴, 等.“線上+線下融合式”工程圖學課程建設與教學實踐[J].圖學學報, 2016, 37(5): 718-725.

(責任編輯:楊靜)

Virtual-Reality-BasedEngineeringGraphicModelSystemforOnlineEducation

ZHANGZongbo,YIPeng,WANGMin,WUBaogui,QINZhen

(College of Mechanical and Electrical Engineering, China University of Petroleum, Qingdao 266580, China)

In order to adapt to the online education tendency, an interactive engineering graphics model system was developed based on virtual reality (VR) technology and augmented reality (AR) technology, which could be used on both smart-phone and personal computer. This system was accomplished with the usage of Unity 3D platform, 3ds MAX, UV and C#. The underlying structure, function and technology solutions, content design and the management strategy of this system were described. It is a promising solution to the model display problem in the engineering graphics course, especially in online education. So this work is a beneficial exploration and try for the hybridization of engineering graphics education and modern information technology.

virtual reality (VR); augmented reality (AR); engineering graphics; online education

TP 391.71

A

1671-0444 (2017)04-0612-05

2017-05-01

山東省本科高校教學改革研究重點資助項目(B2016Z013)；中國石油大學(華東)常規(guī)教學研究與改革重點資助項目(JY-A201606)，中國石油大學(華東)青年教師教學改革資助項目(QN201608)；中央高校基本科研業(yè)務費專項資金資助項目(14CX02199A，16CX05012A)

張宗波(1982—)，男，山東臨沂人，副教授，博士， 研究方向為工程圖學理論及應用、計算機輔助設計與圖形學、CAD/CAM技術(shù)等. E-mail： zzb001_0@163.com