增強現(xiàn)實技術(shù)在工程圖學教學中的應用

于 勇，趙 罡，李亞初

?

增強現(xiàn)實技術(shù)在工程圖學教學中的應用

于 勇，趙 罡，李亞初

(北京航空航天大學機械工程及自動化學院，北京 100191)

教學和科研是兩個具有很強互動性的學習范疇，科研為教學提供素材，教學為科研提供創(chuàng)新靈感。針對《工程圖學》的教學，探討了以教研互動增加課堂信息量、激發(fā)學生學習興趣的教學實踐方法，通過增強現(xiàn)實技術(shù)實現(xiàn)模型虛擬展示的教學案例，說明了“給課堂加點料”不僅使課堂講授變得生動和飽滿，而且拓寬了學生的知識面，激發(fā)了學生的科研興趣。

工程圖學；教研互動；增強現(xiàn)實

《工程圖學》是一門以圖形為研究對象，用圖形來表達設計思維的一門學科。該課程屬于專業(yè)基礎課，既有理論又是實踐性很強的課程，是工科各專業(yè)的必修課，是學習機械設計等后續(xù)課程以及進行課程設計、畢業(yè)設計的必備基礎。該課程對培養(yǎng)學生的空間想象、空間思維分析能力及讀圖、繪圖等初步設計能力起著極其重要的作用。目前，計算機三維造型軟件和多媒體技術(shù)為《工程圖學》的教學提供了強有力的手段，使教師除了板書之外，還有形象、直觀的三維空間與實體模型多媒體展示，豐富了課堂教學內(nèi)容，提高了教學效果和效率。然而，如何進一步擴充課堂教學的信息量，使學生更多地了解與所學內(nèi)容有關(guān)的來自于工程實際的知識，是值得探討和實踐的教學步驟。

本教研實驗室主要在數(shù)字化設計制造領(lǐng)域從事科研和教學服務，在工程項目科研中會使用先進的數(shù)字化技術(shù)，如增強現(xiàn)實(augmented reality, AR)技術(shù)。AR技術(shù)是起源于虛擬現(xiàn)實(virtual reality，VR)技術(shù)而發(fā)展起來的一種新的交互技術(shù)，其將計算機生成的虛擬信息實時疊加在真實環(huán)境中，從而創(chuàng)造出一種虛實融合的視覺感受和用戶體驗[1-3]。AR技術(shù)在工程上的典型應用——裝配工藝過程的虛擬展示，通過在裝配現(xiàn)場實時顯示虛擬的工藝信息，幫助現(xiàn)場操作人員能夠更加準確、迅速了解裝配過程，從而提高裝配效率與裝配質(zhì)量[4]。應用AR技術(shù)可使用戶能夠同時接受對虛擬和物理環(huán)境的雙重信息，獲得雙重感受，交互效果也最為直觀。因此，在《工程圖學》的教學中可以與工程科研相結(jié)合，利用AR技術(shù)將二維圖紙以三維模型呈現(xiàn)實時瀏覽，一方面可輔助培養(yǎng)學生空間思維的能力，另一方面可開闊學生的視野，激發(fā)學生的學習興趣與創(chuàng)新思維，從而形成科學研究與教學之間的良性互動。

1 增強模型展示技術(shù)實現(xiàn)

通常在《工程圖學》課程開篇的緒論中，需要介紹課程的范圍和研究對象，還會介紹工程圖學的發(fā)展史、工程圖學涵蓋的領(lǐng)域范疇以及工程圖學在各個領(lǐng)域的應用現(xiàn)狀等。課程之初，同學們并不能想象出二維圖樣所代表的空間三維形體，教師單純的以PPT、視頻或CAD軟件展示的三維形體和動畫帶給學生的也僅是常規(guī)的用戶體驗。因此在這部分內(nèi)容介紹時，教師通過手機鏡頭對著二維圖樣，其所對應的三維模型就可以完美地展示在同學們的面前，同時在現(xiàn)場學生可進行放大、縮小和旋轉(zhuǎn)等交互操作，由此帶給學生很新奇的視覺體驗。新奇之余，部分同學會追問，這是如何實現(xiàn)的？由此激發(fā)學生的思考和聽課興趣。但在課堂上一般不教授實現(xiàn)的具體方法，而是告訴學生大致的原理以及采用了什么軟件，讓同學們課后自己在圖書館或網(wǎng)上查閱資料。這樣，一部分動手能力強，勤于思考的學生在課后往往自己會親自動手實踐，這不僅拓寬了學生的知識面，也激發(fā)了其科研興趣，鍛煉了動手能力。此外，“圖樣畫法”知識點介紹的手繪實踐環(huán)節(jié)，傳統(tǒng)的授課方式是需要將泵體零件實物帶到繪圖教室讓同學們參考，而通過AR技術(shù)，同學們只要安裝一個應用APP，即可全方位展示零件的形體特征，輔助同學進行二維圖樣的繪制。增強模型實現(xiàn)流程如圖1所示，主要包括三維注冊、虛實融合、實時交互3方面內(nèi)容[5]：

圖1 實現(xiàn)流程

(1) 三維注冊。三維注冊技術(shù)是通過攝像機對實際場景中標識物的位姿進行感知，從而建立虛擬與現(xiàn)實環(huán)境坐標系之間的映射關(guān)系[6]。由于標識物的不同，基于視覺的AR三維注冊方法可以分為基于引入標識物的注冊方法和基于自然標識物的注冊方法。其中，基于引入標識物的注冊方法主要指在應用現(xiàn)場放置二維標識來實現(xiàn)注冊，而基于自然標識物的注冊方法則是運用現(xiàn)實環(huán)境中的自然物體來進行注冊跟蹤[7]。本文選取齒輪泵二維圖樣的增強模型作為案例，采用了引入標識物的注冊方法，即將二維圖樣作為引入標識物，通過人工標志特征點的識別，建立基于真實環(huán)境下的虛擬坐標系，進行二維圖樣關(guān)聯(lián)三維模型的虛擬展示。人工標志特征點三維注冊技術(shù)是目前AR技術(shù)開發(fā)者使用范圍較廣的技術(shù)，該技術(shù)在識別人工標志特征點之后，在目標圖片上提取特征點作為標志點，再以標志點作為參考建立虛擬的三維坐標系，并在該虛擬的三維坐標系中完成對攝像頭位置、姿態(tài)的追蹤。根據(jù)對攝像頭三維注冊追蹤的結(jié)果反過來計算預設的虛擬物體在三維坐標系中的位置及姿態(tài)，然后利用顯示技術(shù)將虛擬的三維物體在顯示屏幕中顯示，從而完成三維跟蹤注冊的過程。目前，在提取特征點比較經(jīng)典的算法主要有SIFT(scale-invariant feature transform)、SURF(speededuprobust transform)與FAST(features from accelerated segment test)等算法。本案例通過Vuforia增強現(xiàn)實軟件開發(fā)包實現(xiàn)特征點的標識與提取，其通過對二維圖樣的識別，標記出人工識別的特征點，如圖2所示。

(2) 虛實融合。在指定的位置中實時加載AR模型與動畫信息，由于需要在移動終端進行三維模型的展示和繪制，為提高圖形繪制速度和確保交互流暢度，采用了簡化后的輕量化三維模型進行展示，并通過3ds MAX軟件進行光照、材質(zhì)以及顏色等信息的編輯，供AR程序使用。增強模型編輯方法如圖3所示。

圖2 Vuforia對圖片的特征點標識

圖3 增強模型編輯方法

本案例借助Unity3D開發(fā)引擎建立虛擬場景和真實世界間的映射，進行增強現(xiàn)實模型與二維圖樣間的虛實融合，如圖4所示。

(3) 實時交互。目前，增強現(xiàn)實虛實信息的交互方法包括：使用鍵盤與鼠標進行的基本交互、運用人體輸入學設備或體感設備如Kinect等進行人機交互、通過計算機視覺技術(shù)識別手勢從而 進行虛實交互[8]。這些交互方式的優(yōu)點與缺點見表1。

隨著移動終端設備的發(fā)展，其所支持的交互方式也在不斷拓展，觸摸屏技術(shù)已經(jīng)作為移動終端的主流交互技術(shù)得到廣泛應用。在移動增強現(xiàn)實技術(shù)中，觸摸屏交互方式較之于表1中的主流交互方式有著交互體驗直觀、觸控操作便捷、不需要外接設備的優(yōu)點。因此，本案例使用觸摸屏交互方法來進行AR模型的展示，采用了Unity引擎的Transform類通過C#腳本實現(xiàn)虛擬增強現(xiàn)實模型的放大、縮小以及旋轉(zhuǎn)等操作，交互方式采用單點旋轉(zhuǎn)，兩點縮放與平移的方式，具體實現(xiàn)流程如圖5所示。

圖4 Unity3D虛實融合

表1 主流虛實交互方法比較

圖5 實時交互實現(xiàn)流程

2 案例展示

圖6為齒輪泵二維圖樣增強模型的展示，其可以進行放大、縮小以及旋轉(zhuǎn)等操作。增強模型展示的不僅僅是模型，也可以是裝配動畫，如圖7所示，選取柱塞泵二維裝配圖進行裝配動畫的展示，并以交互方式進行裝配體中各組成零件的詳細展示。

圖6 齒輪泵增強模型交互

圖7 柱塞泵增強模型交互

3 結(jié) 論

將AR技術(shù)引入到《工程圖學》的教學實踐中，以直觀、新奇的視覺體驗建立了二維圖紙和增強三維模型之間的聯(lián)系，不僅使課堂講授變得生動和飽滿，吸引了學生的聽課興趣，而且拓寬了學生的知識面，激發(fā)了其科研興趣和創(chuàng)新意識。相比傳統(tǒng)“灌輸式”的空洞說教和“走馬觀花式”的圖片視頻展示，更能取得事半功倍的效果。因此，教學與科研互動，將AR技術(shù)引入到圖學課程的教學當中，給出了一種新的教學展示手段，是值得借鑒和推廣的教學方法。

[1] AZUMA R T. A survey of augmented reality [J]. Presence-Teleoperators and Virtual Environments, 1997, 6(4): 355-385.

[2] 朱淼良, 姚遠, 蔣云良. 增強現(xiàn)實綜述[J]. 中國圖象圖形學報, 2004, 9(7): 767-774.

[3] 幸國王. 基于Android平臺的移動增強現(xiàn)實技術(shù)綜 述[J]. 電子科學技術(shù), 2014, 1(2): 206-211.

[4] HAKKARAINEN M, WOODWARD C, BILLINGHURST M. Augmented assembly using a mobile phone [C]// IEEE/ACM International Symposium on Mixed and Augmented Reality. New York: IEEE Prees, 2008: 167-168.

[5] 于洋, 賈慶軒, 孫漢旭, 等. 增強現(xiàn)實機械裝配環(huán)境中裝配過程的研究[D]. 北京: 北京郵電大學, 2010.

[6] STUDHOLME C, HILL D L, HAWKES D J. Automated three-dimensional registration of magnetic resonance and positron emission tomography brain images by multiresolution optimization of voxel similarity measures [J]. Medical Physics, 1997, 24(24): 25-35.

[7] 徐遲. 增強現(xiàn)實中的三維物體注冊方法及其應用研 究[D]. 武漢: 華中科技大學, 2011.

[8] 肖慧. 基于AR的人機交互系統(tǒng)的研究與實現(xiàn)[D]. 合肥: 安徽理工大學, 2014.

Application of Augmented Reality Technology in Engineering Graphics Education

YU Yong, ZHAO Gang, LI Yachu

(School of Mechanical Engineering and Automation, Beihang University, Beijing 100191, China)

Teaching and research are two categories with strong interaction. Scientific research supplies materials for teaching, while teaching provides innovation inspiration for scientific research in turn. This paper explores how to enrich the amount of information in class and stimulate students’ interest in learning engineering graphics through interaction between teaching and research. It proves that not only the teaching becomes vivid and full of lectures, but the students’ knowledge is broadened and their interests in scientific research are stimulated effectively, if we add some scientific research cases to the classroom, such as virtual model representation by Augmented Reality technology.

engineering graphics; interaction between teaching and research; augmented reality

TP 391

10.11996/JG.j.2095-302X.2018010175

A

2095-302X(2018)01-0175-04

2017-07-07；

2017-08-02

于 勇(1977–)，女，黑龍江大慶人，講師，博士。主要研究方向為復雜產(chǎn)品數(shù)字化協(xié)同設計制造、數(shù)字孿生模型定義與應用、產(chǎn)品構(gòu)型管理。E-mail：yuyong@buaa.edu.cn