基于增強現(xiàn)實技術(shù)的工程圖學移動端教學系統(tǒng)設(shè)計與開發(fā)

伊 鵬，劉衍聰，石永軍，秦 臻，張宗波

?

基于增強現(xiàn)實技術(shù)的工程圖學移動端教學系統(tǒng)設(shè)計與開發(fā)

伊 鵬，劉衍聰，石永軍，秦 臻，張宗波

(中國石油大學(華東)機電工程學院，山東 青島 266580)

依托當前快速發(fā)展的虛擬現(xiàn)實技術(shù)，以工程圖學課程圖感培養(yǎng)為目標，將增強現(xiàn)實技術(shù)引入課程教學，開發(fā)以移動終端為應用平臺的輔助教學系統(tǒng)，將真實場景中的平面視圖與虛擬三維立體模型相結(jié)合，通過視覺耦合疊加和增強交互操作突出體驗的真實感，搭建起視圖與形體間的以圖感意識為橋梁的高效轉(zhuǎn)換通道，提升了抽象三維形體的可接受度。配合課程講解和課下輔導，學生能夠有意識地強化圖感在視圖解讀中的認知作用，該教學模式和資源的改革探索將有助于推動新時期工程圖學教學的發(fā)展。

工程圖學；增強現(xiàn)實；移動端；教學系統(tǒng)

工程圖學作為工程類專業(yè)的技術(shù)基礎(chǔ)課程，以培養(yǎng)學生空間思維能力、繪制以及增強學生工程實踐能力和創(chuàng)新意識為目標[1-2]。工程圖學的學習過程是一個復雜的認知過程，要求學生在相關(guān)規(guī)范和標準的約束下，對包含不可見實體信息的工程圖樣進行快速接受、加工并認知和應用[3]。工程圖學教學過程就是幫助學生逐漸增強圖樣認知能力的過程[4]。已有研究表明，圖樣作為平面和實體之間的認知媒介，其在腦海中還具有著更為底層的解讀過程，即“圖感”編碼和解碼的潛意識過程。圖感是對所看到圖形的直觀感覺，在靈活應用圖學理論的基礎(chǔ)上，以形象思維和抽象思維為依托，經(jīng)過大量訓練逐漸形成，其對圖形的敏感程度是圖學能力的重要度量[4-5]。因此真正用圖學的語言進行思考，調(diào)動圖感直接對相關(guān)知識檢索進而將對象結(jié)構(gòu)進行快速分析，成為提高圖學能力和工程意識的有效途徑。

當前教學實踐中，圖感的認識和建立主要依靠課上、課下的實體模型展示和多媒體課件播放，能夠取得一定的效果，然而在目前學時縮減、內(nèi)容增加且不斷更新的大學課程體系環(huán)境下[6]，受限于模型制作質(zhì)量、數(shù)量、學生和教師的時間甚至場地，傳統(tǒng)的教學手段越來越難以適應圖學教學的發(fā)展趨勢和要求，所能發(fā)揮的作用也越來越有限。因此，如何在圖學教學中引入新的思路和技術(shù)手段，提升圖感認知效率，并有針對性的對教學方法和內(nèi)容進行建設(shè)，是十分具有意義的圖學教學改革探索。近年來，虛擬現(xiàn)實技術(shù)(virtual reality，VR)和增強現(xiàn)實技術(shù)(augmented reality，AR)的迅速發(fā)展，為圖學課程的教學改革提供了有效的技術(shù)手段。從教學法層面看，需要在教學活動層面針對VR體驗進行設(shè)計，Robert Heinich提出的“計劃-準備-實施-跟進”四階段模型對于VR教學設(shè)計具有很強的參考價值[7]。文獻[8-9]將VR技術(shù)分別應用于機械和土木工程制圖教學中，增強了學生感知形體內(nèi)外部結(jié)構(gòu)、工藝和裝配結(jié)構(gòu)以及閱讀、繪制工程圖樣的能力。劉偉等[10]基于VR技術(shù)，開發(fā)出應用于Android平臺移動終端的工程圖學移動學習系統(tǒng)，針對工程圖學課程的認知規(guī)律開發(fā)了分屏功能，使多媒體影音講解與立體虛擬模型同屏交互展示。伴隨著VR技術(shù)的快速發(fā)展，近幾年以VR為基礎(chǔ)的新一代增強現(xiàn)實技術(shù)AR迅速成長并正在得到廣泛應用。AR技術(shù)可以將三維虛擬實體與真實環(huán)境相融合，提升用戶對實體的感知和認識，具有虛實結(jié)合、交互性好、真實感強等特點[11]，同時由于移動智能終端的迅速發(fā)展和極高的普及率，能夠成為搭載AR技術(shù)的理想平臺[12]，特別適合引入教學環(huán)節(jié)，開發(fā)新穎的教學資源，配合傳統(tǒng)教學方法以提高教學質(zhì)量。然而當前AR技術(shù)的移植與應用還十分有限，PEJOSKA等[13]在對建筑場景數(shù)據(jù)分析的基礎(chǔ)上提出了基于AR的Soar系統(tǒng)設(shè)計框架和原型，應用于建筑工人的職業(yè)教育課程；HSIAO等[14]利用無標識物的增強圖像識別開發(fā)了MAR天氣教學系統(tǒng)；CHIANG等[15]開發(fā)了基于位置的AR系統(tǒng)，為學習者提供知識分享服務；文獻[11]應用具有自主知識產(chǎn)權(quán)的識別技術(shù)和跟蹤注冊技術(shù)，開發(fā)了Android系統(tǒng)下的移動增強現(xiàn)實光學平臺；徐鵬等[16]則應用AR和計算機視覺技術(shù)開發(fā)了VECAR虛擬教教室，為學生提供了沉浸式和交互式的學習環(huán)境；文 獻[12]開發(fā)了適用于主流移動終端操作系統(tǒng)的AR應用并用于車床加工工藝實訓教學環(huán)節(jié)。

以上教學研究工作雖然形成了具有可操作性的實驗教學輔助工具，但研發(fā)工作分散于多個學科，且多以演示為主，交互性不足，另外，較少應用于大學教學，在工程圖學教學領(lǐng)域的工作則更未見報道。然而根據(jù)前文的分析，工程圖學的教學環(huán)節(jié)特別需要此類AR技術(shù)對現(xiàn)有教學手段進行補充，因此本文將AR引入工程圖學教學，與基于圖感培養(yǎng)的教學方法相融合，并以智能移動終端為平臺，開發(fā)多功能的可交互AR圖學模型系統(tǒng)，使其成為重要的配套教學資源，推動圖學教學質(zhì)量的提高。

1 系統(tǒng)架構(gòu)和開發(fā)方案

基于AR技術(shù)的工程圖學移動端輔助教學系統(tǒng)，應突出虛擬模型與現(xiàn)實場景耦合疊加的增強現(xiàn)實的技術(shù)特點，以手機和平板等移動智能終端設(shè)備為應用平臺。根據(jù)教研室多年的工程圖學教學經(jīng)驗，結(jié)合已開展的針對工程意識和圖感因素培養(yǎng)的教學改革和實踐工作，進行教學系統(tǒng)的功能需求分析，系統(tǒng)應具備的主要功能包括：①能夠快速識別圖形碼并調(diào)出立體模型，與真實場景中的平面視圖疊加顯示；②對立體模型進行多點觸控的交互操作，包括縮放、旋轉(zhuǎn)、剖切和正交投影以及針對組合體、裝配體的拆分展示等；③為每個模型錄制視頻講解，可隨時調(diào)出并與分屏播放；④可對模型進行實時評分和評論，通過系統(tǒng)提交學習過程中的問題和感想，與教師和同學進行交流，并能提供模型的下載量和評分統(tǒng)計。

根據(jù)AR教學系統(tǒng)的功能需求，為充分發(fā)揮其技術(shù)優(yōu)勢，系統(tǒng)的資源支持層由3個模塊構(gòu)成，分別為模型庫管理模塊、模型交互模塊、模型討論與評價統(tǒng)計模塊；系統(tǒng)的技術(shù)實現(xiàn)層則由硬件系統(tǒng)、網(wǎng)絡(luò)協(xié)同和軟件平臺三部分構(gòu)成，系統(tǒng)的總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

系統(tǒng)軟件開發(fā)過程綜合考慮移動終端設(shè)備的硬件性能及開發(fā)平臺軟件的兼容性，開發(fā)方案如圖2所示。系統(tǒng)以Eclipse作為開發(fā)平臺，對Java Development Kit和Android Software Development Kit安裝環(huán)境進行配置，安裝Android插件Android Development Tools，創(chuàng)建Android Virtual Device；在3Ds Max建模環(huán)境中建立三維立體模型并進行材質(zhì)貼圖處理，通過OpenGL ES將模型導入Unity3D平臺引擎進行人機交互和視覺追蹤的開發(fā)，利用Finger Gestures操作實現(xiàn)模型的觸覺感知功能，配合多點觸控的支持，實現(xiàn)手勢操作與模型的交互。

圖2 系統(tǒng)開發(fā)方案

2 系統(tǒng)開發(fā)

基于AR移動端教學系統(tǒng)的功能需求和總體架構(gòu)，軟件開發(fā)工作主要集中于三維形體建模和導入、目標識別和跟蹤注冊以及耦合顯示和交互。

2.1 三維形體建模

建模對象為教材中的三維形體，覆蓋的知識點章節(jié)有平面立體及其截切、曲面立體及截切和相貫、組合體畫圖和讀圖、表達方法、標準件和常用件、零件圖和裝配圖，根據(jù)已有教學研究和教學經(jīng)驗[17]選擇了在圖樣閱讀和繪制能力方面較典型的共68個形體進行建模。

現(xiàn)有的虛擬教學系統(tǒng)模型庫大多以3D Max為建模工具，再導入Unity3D中渲染，得到的虛擬模型占用空間大且視覺仿真度不高、交互操作不流暢[18]。所以本系統(tǒng)直接在3D Max中進行三維建模以及貼圖和渲染后處理，充分利用3Ds Max模型與Unity3D平臺良好的兼容性，可以節(jié)省存儲空間和數(shù)據(jù)傳輸時間，同時優(yōu)化提升系統(tǒng)使用過程中用戶的視覺效果和交互體驗。建模技術(shù)方面，采用基礎(chǔ)、復合和多邊形相結(jié)合的建模方法，嚴格控制每個模型的面數(shù)以保證系統(tǒng)的流暢運行和良好的顯示效果，以教材中相應的圖號和圖名的對模型命名和檢索，提供模型庫的管理和調(diào)用功能，模型庫部分模型如圖3所示。

圖3 3Ds Max模型庫

2.2 目標識別和跟蹤注冊

教學系統(tǒng)通過移動端攝像頭掃描目標圖形，快速識別并調(diào)出立體模型疊加在現(xiàn)實場景中顯示，系統(tǒng)采用基于計算機視覺的跟蹤注冊技術(shù)，通過對跟蹤注冊算法的優(yōu)化開發(fā)，實現(xiàn)對虛擬模型局部坐標系的實時修正，計算攝像機的相對姿態(tài)并在屏幕的相應位置完成虛擬三維形體的快速刷新，使得在觀察和交互過程中，應用終端姿態(tài)的變化不會對模型和場景相對位置造成影響，從而持續(xù)提供具有高仿真度的視覺感受。

目標識別方面，如圖4所示，首先將攝像頭讀取到的平面視圖(圖4(a))轉(zhuǎn)換成小規(guī)?；叶葓D片(圖4(b))，利用窮舉法計算得到前景色和背景色各自的類內(nèi)差異最小和類間差異最大的最佳閾值，通過該閾值將灰度圖片再轉(zhuǎn)換為黑白縮略圖像(圖4(c))，然后將黑白縮略圖識別為像素矩陣，從而能夠?qū)δＰ瓦M行標記并與模型庫建立對應聯(lián)系。

圖4 目標識別過程

跟蹤注冊方面，增強現(xiàn)實系統(tǒng)的單攝像頭跟蹤注冊問題涉及到多個坐標系的變換操作，首先，從真實場景坐標系到攝像機坐標系的變換過程，是通過攝像頭采集圖像，將真實場景圖像轉(zhuǎn)換為二維圖像并在攝像機的成像平面上顯示；之后將攝像頭參數(shù)作為已知條件，實時計算攝像頭在真實場景的位置姿態(tài)，通過坐標變換確定攝像頭和真實場景坐標系之間的轉(zhuǎn)換關(guān)系；而轉(zhuǎn)換關(guān)系是由變換矩陣確定，該矩陣可由一個旋轉(zhuǎn)矩陣和一個平移矩陣組成，通過對真實場景中的標志物進行圖像分析得到[11-12]。由于標志物的大小已知，即標志物頂點在其坐標系下的坐標已知，同時，圖像處理過程中可以得到攝像頭像平畫上4個頂點的坐標。在確定了變換矩陣中的旋轉(zhuǎn)矩陣之后，根據(jù)頂點在標志物坐標系的坐標和在攝像頭平面中的坐標就可以計算出坐標系的變換矩陣，進而計算確定虛擬模型在場景中的確切位置，以實現(xiàn)注冊。

2.3 耦合顯示和交互

Unity3D渲染得到的模型與移動端IDE的真實場景視圖在同一場景中并行顯示，使得虛擬模型始終疊加于IDE視圖之上且對現(xiàn)實場景具有遮擋和干涉的效果。系統(tǒng)以Unity3D為開發(fā)主體，充分利用Unity3D內(nèi)部封裝的OpenGL ES三維引擎提供的強大的3D解決方案。完成3DsMAX建模后，通過FBX模塊將模型加載到Unity3D中，設(shè)置環(huán)境光源強度以控制交互操作時場景的明暗效果；同時構(gòu)建系統(tǒng)邏輯，以實現(xiàn)模型在虛擬場景中的加載、展示和交互，預期效果如圖5(a)所示。利用Unity Player Native Activity. java類中Unity Player類型變量，基于Eclipse編寫Java耦合顯示及交互效果功能插件，與配置文件集成導入Unity平臺，運行效果如圖5(b)所示，屏幕輸出了真實場景與虛擬模型的耦合顯示效果，模型與目標場景的相對姿態(tài)保持一致，攝像頭或者目標場景發(fā)生姿態(tài)變化，模型也會隨之變化，從而能夠提供更為真實的增強現(xiàn)實效果。

圖5 耦合顯示和交互效果

3 教學應用

為了提供更為便捷和直接的用戶體驗，提高軟件系統(tǒng)的使用率，系統(tǒng)將工程圖學教材封面定義為可識別圖像(圖6(a))，提供攝像頭掃描圖像并識別下載的功能，用戶使用智能終端設(shè)備的攝像頭掃描教材封面，即可下載安裝相應平臺的“工程圖學AR模型系統(tǒng)”APP程序，終端手機設(shè)備的安裝運行效果如圖6(b)所示。

為方便學生安裝使用，針對目前主流移動平臺Android和IOS分別進行了軟件開發(fā)，圖7為學生在利用手機端掃描調(diào)出模型并進行模型觀察和交互學習的場景。學生進入系統(tǒng)并啟動自動識別功能，掃描教材中預定好模型視圖，調(diào)出虛擬立體模型，與真實場景耦合疊加顯示。學生可以對模型進行如圖觸控交互操作(圖8)，包括對模型實現(xiàn)正交投影操作(圖8(a))、進行三維旋轉(zhuǎn)操作(圖8(b))、對模型進行預設(shè)的剖切操作(圖8(c))、模型縮放操作(圖8(d))、模型短評及教學視頻短片的分屏播放(圖8(e)、(f))。通過一系列完備的交互操作，增強學生們的用戶體驗感，自覺進行模型與視圖的快速對比轉(zhuǎn)換，輔助建立圖感意識，加深對視圖表達的理解和認識。

圖6 軟件識別、下載及安裝運行

圖7 AR系統(tǒng)應用場景

圖8 模型的觸控操作

通過在典型教學環(huán)節(jié)進行教學試點實踐，課上課下引入圖學AR輔助教學系統(tǒng)，配合傳統(tǒng)教學手段，學生主動學習的積極性明顯得到提升，尤其是在基本體及截切、組合體讀圖和表達方法等環(huán)節(jié)，能夠更快地培養(yǎng)圖感意識和思維，并將圖感內(nèi)化為圖學能力，在形體分析中自覺運用。學生的空間思考和答疑討論明顯增多，也讓教師可以更多地了解學生對模型的理解和接受情況，對于教師的課堂講解也具有很強指導意義。

4 結(jié) 論

本文依托當前快速發(fā)展的虛擬現(xiàn)實交互技術(shù)，以工程圖學中圖感培養(yǎng)和加強為目標，將AR引入課程教學，分別開發(fā)了以Android和IOS移動終端為應用平臺的增強現(xiàn)實圖學教學系統(tǒng)，建立課堂教學和課下自學環(huán)節(jié)中高效率的AR鋪助圖感培養(yǎng)的教學資源。該資源將實際教材和習題集中的平面視圖與虛擬的三維立體模型環(huán)境相結(jié)合，通過視覺耦合疊加和增強的交互操作，突出了體驗的真實感，提升了圖學課程吸引力和學生學習興趣，同時搭建起二維視圖與三維形體間高效的轉(zhuǎn)換通道，配合課程講解和課下輔導，學生可以方便、自覺地利用該通道有意識的強化圖感在視圖解讀中的認知作用。下一步的工作將同步擴充教學和模型資源、完善教學客戶端系統(tǒng)，為學生提供更好的軟件服務。本文是移動端AR與工程圖學教學進行有機結(jié)合的實踐探索，其成果具有的學習模式的虛擬性、交互性、擴展性和移動性優(yōu)點，有助于推動新時期工程圖學教與學的革新與發(fā)展。

[1] 段志堅, 楊甫勤, 田廣才, 等. 改革工程制圖教學理念構(gòu)建全程教育課程體系[C]//2012管理創(chuàng)新、智能科技與經(jīng)濟發(fā)展研討會論文集. 南昌: 南昌工程學院, 2012: 104-107.

[2] 姜文銳, 宮娜. 拔尖人才培養(yǎng)模式下的工程圖學教學研究[J]. 圖學學報, 2014, 35(3): 455-458.

[3] 王珉, 張宗波, 伊鵬,等. 以圖學能力內(nèi)化為中心的效果導向型教學模式探索與實踐[J]. 圖學學報, 2016, 37(4): 567-572.

[4] 劉衍聰, 馬曉麗, 伊鵬. 現(xiàn)代圖學教學中的圖感因素探析[J].圖學學報, 2013, 34(6): 110-113.

[5] 伊鵬, 劉衍聰, 馬曉麗, 等. 工程圖學"圖感"形成過程分析及教學實踐研究[J].中國電力教育, 2013(31): 84-85.

[6] 張宗波, 王珉, 吳寶貴, 等. “線上+線下融合式”工程圖學課程建設(shè)與教學實踐[J].圖學學報, 2016, 37(5): 718-725.

[7] 張志禎. 虛擬現(xiàn)實教育應用:追求身心一體的教育——從北京師范大學“智慧學習與VR教育應用學術(shù)周”說起[J]. 中國遠程教育, 2016(6): 5-15.

[8] 朱文博, 陳龍, 崔怡, 等. 基于虛擬現(xiàn)實技術(shù)的機械制圖教學[J]. 教育教學論壇, 2014(9): 57-58.

[9] 鄧朗妮, 馬晉超, 趙軍. 虛擬仿真在工程制圖課程中的教學改革研究[J]. 價值工程, 2017(3): 170-171.

[10] 劉偉, 杜強, 張順心, 等. 基于VR技術(shù)的工程圖學移動學習系統(tǒng)[J].圖學學報, 2016, 37(6): 857-861.

[11] 陳澤嬋, 陳靖, 嚴雷, 等. 基于Unity3D的移動增強現(xiàn)實光學實驗平臺[J]. 計算機應用, 2015, 35(S2): 194-199.

[12] 何福本, 梁延德, 張紅哲, 等. 增強現(xiàn)實技術(shù)在車削加工實訓教學中的應用[J]. 實驗技術(shù)與管理, 2017, 34(3):127-129, 150.

[13] PEJOSKA J, BAUTERS M, PURMA J, et al. Social augmented reality: enhancing context-dependent communication and information learning at work [J]. British Journal of Educational Technology, 2016, 47(3): 474-483.

[14] HSIAO H S, CHANG C S, LIN C Y, et al. Weather observers: a manipulative augmented reality system for weather simulation at home, in the classroom, and at a museum [J]. Interactive Learning Environments, 2016, 24(1): 1-19.

[15] CHIANG T H C, YANG S J H, HWANG G J. Students’ online interactive patterns in augmented reality-based inquiry activities [J]. Computers and Education, 2014, 78: 97-108.

[16] 徐鵬, 劉艷華, 王以寧. 國外增強現(xiàn)實技術(shù)教育應用研究演進和熱點——基于SSCI期刊文獻的知識圖譜分析[J]. 開放教育研究, 2016, 22(6): 74-80.

[17] 李雨桐, 王玉新. 強化工程意識與工程圖樣繪制能力的工程圖學教學探討[J].圖學學報, 2014, 35(5): 791-797.

[18] WEI X D, WENG D D, LIU Y, et al. Teaching based on augmented reality for a technical creative design course [J]. Computers & Education, 2015, 81: 221-234.

Design and Development of Engineering Graphics Teaching System on Mobile Devices Based on the Augmented Reality Technology

YI Peng, LIU Yancong, SHI Yongjun, QIN Zhen, ZHANG Zongbo

(College of Mechanical & Electronic Engineering, China University of Petroleum, Qingdao Shandong 266580, China)

Supported by the currently rapid development of virtual reality technology, in order to improve the sense of drawing set as the goal in engineering graphics course, the augmented reality technology was introduced into curriculum teaching and auxiliary teaching system on mobile devices as application platform was developed. In this system, the real scene of plane view was combined with virtual 3D models. The coupling and interaction experience reality was enhanced by a high level visual superposition. The sense of drawing can be set up as an efficient conversion bridge between the imaging and three-dimensional solid. By using such bridge, the acceptable degree of abstract three dimensional model and the learning interest were promoted. With the lecture and the guidance after class, students will consciously strengthen sense of figure interpretation in the view of cognitive function. The reform of teaching mode and resource discovery will help to promote the development of engineering graphics education in future.

engineering graphics; augmented reality; mobile devices; teaching system

G 642.0

10.11996/JG.j.2095-302X.2018061207

A

2095-302X(2018)06-1207-07

2017-10-06；

2017-11-19

山東省本科高校教學改革研究重點資助項目(B2016Z013)；中國石油大學(華東)教學改革項目(JY-B201831)

伊 鵬(1983-)，男，山東淄博人，副教授，博士。主要研究方向為工程圖學、計算機輔助設(shè)計與圖形學。E-mail：yipupc@163.com