基于VR技術的工程圖學移動學習系統(tǒng)

劉 偉， 杜 強， 張順心， 張建軍

(河北工業(yè)大學機械工程學院，天津 300130)

基于VR技術的工程圖學移動學習系統(tǒng)

劉 偉， 杜 強， 張順心， 張建軍

(河北工業(yè)大學機械工程學院，天津 300130)

基于虛擬現(xiàn)實(VR)技術，利用JPCT-AE三維引擎、3DsMAX以及 OpenGL ES 2.0等工具，開發(fā)出應用于Android平臺移動終端的工程圖學移動學習系統(tǒng)，詳細描述了系統(tǒng)的底層結(jié)構(gòu)、功能及技術開發(fā)方案。針對工程圖學課程的認知規(guī)律開發(fā)了分屏功能，使多媒體影音講解與立體虛擬模型同屏展示，同時實現(xiàn)了對虛擬模型的交互控制。

虛擬現(xiàn)實；工程圖學；虛擬模型；分屏功能

移動學習[1](mobile-learning)是一種基于無線網(wǎng)絡和移動終端的新型學習方式，具有可攜帶性、無線性、移動性、便捷性等特點；基于虛擬現(xiàn)實(virtual reality，VR)技術的移動學習模式具有傳統(tǒng)學習所沒有的高度沉浸感、交互性、移動性等優(yōu)點。

隨著智能終端硬件性能的快速提高，基于移動設備的3D圖像處理能力也越來越受到人們的重視，為虛擬現(xiàn)實在移動設備上的發(fā)展提供了機會。早在1997年芬蘭奧盧大學(University of Oulu)VTT電子研究中心首次提出了虛擬現(xiàn)實移動化的概念，并研究了基于蜂窩數(shù)據(jù)網(wǎng)絡的無線數(shù)據(jù)傳輸，制訂了相應的協(xié)議體系[2]；Wang等[3]將移動網(wǎng)絡和虛擬現(xiàn)實技術相結(jié)合，提出移動虛擬空間(virtual model phone design space，VMPDS)，實現(xiàn)移動平臺虛擬模型數(shù)據(jù)庫的擴展；Vélaz等[4]將VR技術應用到機械工程教學中，深入探討了交互技術對教學過程的影響。

近年來，國內(nèi)許多研究機構(gòu)在緊跟國際虛擬現(xiàn)實新技術的同時也積極將虛擬現(xiàn)實技術應用到移動平臺，Ma等[5-6]針對移動硬件平臺，提出了虛擬化身的分布式渲染技術，采用動作層次細節(jié)(levels of detail，LOD)模型和替代物技術相結(jié)合的方法進行壓縮數(shù)據(jù)，實現(xiàn)3D模型在移動平臺實時渲染；葉琳等[7-10]探討了虛擬模型造型技術，并建立機械制圖虛擬模型室；邱龍輝等[11]利用Direct3D Mobile開發(fā)出基于Windows Mobile平臺的工程圖學虛擬模型庫，加載VRML虛擬模型，實現(xiàn)虛擬模型在移動設備的顯示。

綜上分析，國內(nèi)外針對VR的研究多是獨立于移動平臺，在移動教學領域也沒有得到廣泛應用，本文將VR技術應用于工程圖學教學領域，設計并開發(fā)出一款基于 VR技術的工程圖學移動學習系統(tǒng)，針對工程圖學課程的認知規(guī)律開發(fā)了分屏功能，使多媒體影音講解與立體虛擬模型同屏展示，同時實現(xiàn)了對虛擬模型的交互控制，在Android智能終端構(gòu)造出真實的學習情境，有助于學生獲得較好的學習體驗和學習效果。

1 底層結(jié)構(gòu)

工程圖學移動學習系統(tǒng)開發(fā)應用平臺為Android，該移動學習系統(tǒng)底層結(jié)構(gòu)如圖1所示，當用戶根據(jù)需要，用手指觸控用戶界面時，系統(tǒng)會發(fā)送請求至服務器業(yè)務邏輯層，分析并處理界面請求數(shù)據(jù)后，會對數(shù)據(jù)訪問層發(fā)出相應的指令，調(diào)用Mssql與Access數(shù)據(jù)庫，通過無線網(wǎng)絡傳輸至Android設備上，可保證數(shù)據(jù)傳輸?shù)男屎蛡鬏斶^程的穩(wěn)定性。

圖1 底層結(jié)構(gòu)設計

2 系統(tǒng)方案

工程圖學移動學習系統(tǒng)主要用于輔助教學，目的是為了加強學生對立體模型的理解，提高學生在空間和平面之間的思維轉(zhuǎn)換能力，同時該系統(tǒng)也可以幫助學生有效利用碎片化時間進行學習。系統(tǒng)分為硬件系統(tǒng)、網(wǎng)絡協(xié)同、軟件平臺 3部分，系統(tǒng)方案設計如圖2所示。

圖2 系統(tǒng)方案設計

2.1 系統(tǒng)功能

工程圖學移動學習系統(tǒng)，設計理念立足于移動學習模式，基于VR技術進行開發(fā)，分為4個模塊：多媒體教學模塊、立體模型庫模塊、繪圖練習模塊和討論與評價模塊，實現(xiàn)如下功能：

(1) 重要知識點的視頻講解，可隨時調(diào)出相關立體模型，與視頻講解實時分屏交互演示；

(2) 模型演示支持多點觸控，可實現(xiàn)虛擬模型的縮放、旋轉(zhuǎn)、正交與透視投影等交互操作，并能夠?qū)崿F(xiàn)虛擬模型亮度調(diào)節(jié)；

(3) 提供實時繪圖練習功能，可隨時調(diào)出答案及相關立體模型進行參考對照；

(4) 學生通過系統(tǒng)提交學習過程中所產(chǎn)生的問題，與教師進行實時交流。

2.2 軟件開發(fā)

基于移動學習系統(tǒng)的功能要求，軟件開發(fā)綜合考慮 Android設備的硬件性能以及軟件的兼容性，具體方案如圖3所示。

(1) 以Eclipse作為開發(fā)平臺，配置JDK (Java Development Kit)和 Android SDK (Software Development Kit)安裝環(huán)境，安裝 Android 插件ADT (Android Development Tools)，創(chuàng)建 AVD (Android Virtual Device)。

(2) 使用 Solidworks建立三維模型，在3DsMAX進行貼圖處理，通過JPCT-AE與OpenGL ES 2.0將其導入移動虛擬現(xiàn)實系統(tǒng)中，并實現(xiàn)人機交互。

(3) 工程圖學移動學習系統(tǒng)視覺模塊，主要通是過Multimedia技術實現(xiàn)視頻播放，為了實現(xiàn)系統(tǒng)功能，減小應用軟件體積，視頻選用 MP4格式。

(4) 工程圖學移動學習系統(tǒng)觸覺模塊使用MotionEvent，并在多點觸控技術的支持下，實現(xiàn)手勢與模型的交互操作。

圖3 軟件開發(fā)方案

3 系統(tǒng)流程

利用三維設計軟件Solidworks建立三維模型，導入3DsMAX中做貼圖及紋理處理，得到虛擬模型，利用JPCT-AE與OpenGL ES 2.0、MotionEvent等工具與插件實現(xiàn)模型在 Android設備上的顯示與交互。系統(tǒng)的詳細開發(fā)流程如圖4所示。

3.1 虛擬模型制作

3DsMAX建立的模型很難達到機械產(chǎn)品的技術要求，而 Solidworks建立的幾何模型又無法直接轉(zhuǎn)換為虛擬現(xiàn)實模型。因此，基于優(yōu)勢互補理念[12]，利用Solidworks建立模型后，導入3DsMAX中進行模型轉(zhuǎn)化與材質(zhì)優(yōu)化，最終會使得模型在Android設備上顯示更加細膩，色彩更加鮮明。

3.2 模型加載與顯示

JPCT-AE是一種封裝了OpenGL ES的三維引擎，是JPCT在Android平臺上的移植版本，擁有強大的3D解決方案，World類是JPCT-AE最重要的一個類，其包含的對象和光線定義了 JPCT-AE的場景；在3DsMAX中得到虛擬模型與顏色后，利用該引擎將其載入到移動虛擬現(xiàn)實系統(tǒng)中，由Object3D 加載模型到 World 類中，通過SetAmbientLight與 SetIntensity設置環(huán)境光源強度，控制場景明暗，這樣就建立了JPCT-AE引擎環(huán)境，實現(xiàn)模型在虛擬場景中的加載。

本文是通過JPCT-AE加載模型，并聯(lián)合OpenGL ES 2.0設置Camera實現(xiàn)模型顯示以及不同模式之間的轉(zhuǎn)換，并使用MotionEvent進行模型控制，實現(xiàn)模型縮放、正交與透視等交互。圖 5為虛擬模型在Android設備上的顯示效果，所用設備為聯(lián)想智能手機，CPU主頻為1.2 GHz，運行內(nèi)存1 GB，屏幕分辨率為960×540，操作系統(tǒng)為Android 4.2.2。

圖4 系統(tǒng)開發(fā)流程

圖5 模型展示

3.3 分屏教學

基于OpenGL ES 2.0所實現(xiàn)的分屏教學模式是工程圖學移動學習系統(tǒng)的核心。

分屏教學的實現(xiàn)：①在程序界面設置并定義mGLView，通過Loadobj( )與Camera實現(xiàn)三維模型在 mGLView中顯示；②在模型下方添加底部View，定義為 vGLView，通過 frameLayout.add View( )將教學視頻添加到vGLView中，通過設定mGLView的大小比例，實現(xiàn)分屏顯示；③依靠重力感應，通過判斷Android設備的橫屏與豎屏，實現(xiàn)不同的效果，當豎屏時可以規(guī)定模型占屏幕的50%，進行分屏，而當橫屏時則規(guī)定授課視頻鋪滿全屏幕。圖 6為豎屏狀態(tài)下的分屏顯示，屏幕的上下兩部分可同時操作，互不影響。

圖6 分屏教學

4 結(jié) 論

本文在Android平臺下開發(fā)的“工程圖學移動學習系統(tǒng)”，充分利用了JPCT-AE三維引擎強大的向下兼容性以及輕量化的優(yōu)點，并將其應用于工程圖學的移動教學領域。根據(jù)工程圖學教學特點和認知規(guī)律，設計實現(xiàn)了立體模型與視頻教學在同一界面下的實時分屏演示，并能夠?qū)αⅢw模型進行縮放、旋轉(zhuǎn)、正交投影的交互操作，同時還具備實時繪圖練習的功能，方便學生隨時隨地進行學習。河北工業(yè)大學在2015年將工程圖學移動學習系統(tǒng)應用到工程圖學的教學實踐中，教學計劃采用多媒體教學、實驗平臺教學以及移動學習系統(tǒng)相結(jié)合的模式，取代以往傳統(tǒng)的多媒體影音教學；學生運用移動學習系統(tǒng)在Android終端主動學習，經(jīng)過一個學期的學習后，學生的學習興趣與學習積極性得到提升，學習成績有所提高。

本文是VR在教育領域的應用一種實踐探索，基于 VR技術的移動學習模式具有傳統(tǒng)學習所沒有的虛擬性、交互性、移動性等優(yōu)點，虛擬現(xiàn)實技術與移動學習在教育領域的結(jié)合將是未來教育的一種發(fā)展趨勢。

[1] Zhang Y K, Wei C M. Research of adults’ M-learning based on mobile phone [J]. Advanced Materials Research, 2013, (9): 14-15.

[2] Pyssysalo T, Pulli P. A Picocell-based architecture for a real-time mobile virtual reality [C]//Proceedings 9th Euromicro Workshop on Real Time Systems, June. 11-13, 1997. Los Alamitos: IEEE Computer Society Press, 1997: 144-151.

[3] Wang P J, Bj?rnemo R, Motte D. A web-based interactive virtual environment for mobile phone customization [J]. Journal of Computing and Information Science in Engineering, 2005, (5): 67-70.

[4] Vélaz Y, A Rce J R, Gutiérrez T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality [J]. Journal of Computing and Information Science in Engineering, 2014, 14(4): 36-44.

[5] Ma J, Zhu H J, Gong J H. Study of navigation based on intelligent avatar with mobile virtual reality [C]//IET International Conference on Wireless Mobile and Multimedia Networks Proceedings, Nov. 6-9, 2006, Hangzhou, China. New York: IEEE Press, 2006: 435-439.

[6] 馬 駿, 朱衡君, 韓景蕓, 等. 移動虛擬現(xiàn)實中虛擬化身的分布式渲染[J]. 北京工業(yè)大學學報, 2007, 33(10): 33-37.

[7] 葉 琳. 機械制圖虛擬現(xiàn)實網(wǎng)絡模型室的建立[J]. 工程圖學學報, 2002, 22(3): 202-206.

[8] 馮桂珍, 池建斌. 基于 Web的虛擬現(xiàn)實模型創(chuàng)建工具[J]. 工程圖學學報, 2004, 24(3): 30-34.

[9] 馮桂珍, 池建斌, 王大鳴, 等. 基于 Web的機械制圖虛擬模型庫的構(gòu)建[J]. 工程圖學學報, 2008, 29(6): 149-153.

[10] 張向華, 董曉英, 葉 霞, 等. 基于 VRML的虛擬現(xiàn)實技術在遠程教育中的應用[J]. 裝備制造技術, 2012, (12): 194-197.

[11] 邱龍輝, 楚建明, 葉 琳. 基于智能手機的工程圖學虛擬模型庫的研究與實現(xiàn)[J]. 圖學學報, 2013, 34(1): 83-86.

[12] 劉加妹, 周志堅, 甄 苓. 多媒體教學與傳統(tǒng)教學優(yōu)勢互補的探討[J]. 大學數(shù)學, 2005, 21(6): 32-35.

Mobile Learning System of Engineering Graphics Based on VR Technology

Liu Wei, Du Qiang, Zhang Shunxin, Zhang Jianjun
(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China)

In the perspective of the cognitive process and the demand of diverse learning needs in the future, this paper presents a mobile learning system of engineering graphics based on the android platform and describes the main program of underlying structure, function and technology solutions. The mobile learning system of engineering graphics is designed based on virtual reality (VR), which is combined with JPCT-AE 3D engine, 3DsMAX and OpenGL ES 2.0 on the mobile terminals. In particular, according to the cognitive rules of engineering graphics course, this kind of application is characterized by split-screen function that displays multimedia and 3D virtual models at the same time. It also achieves interactive control of virtual models.

virtual reality; engineering graphics; virtual model; split-screen function

TB 23

10.11996/JG.j.2095-302X.2016060857

A

2095-302X(2016)06-0857-05

2016-05-17；定稿日期：2016-06-27

河北省高等教育教學改革研究與實踐項目(2015GJJG016)

劉 偉(1978?)，男，河北獻縣人，講師，博士。主要研究方向為并聯(lián)機器人、計算機圖形學。E-mail：buaawei@126.com

張建軍(1971?)，男，河北滄州人，教授，博士，博士生導師。主要研究方向為并聯(lián)機構(gòu)、機構(gòu)學。E-mail：zhjjun96@139.com