基于ARToolKit的增強(qiáng)現(xiàn)實(shí)課件的設(shè)計(jì)與制作

徐敏，童強(qiáng)，陳棟才，向康琴

（湖北師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黃石　435002）

基于ARToolKit的增強(qiáng)現(xiàn)實(shí)課件的設(shè)計(jì)與制作

徐敏，童強(qiáng)，陳棟才，向康琴

（湖北師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黃石435002）

0　引言

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）是由虛擬現(xiàn)實(shí)（Virtual Reality，VR）發(fā)展出來(lái)的研究領(lǐng)域，是一種將計(jì)算機(jī)產(chǎn)生的虛擬物體與真實(shí)環(huán)境進(jìn)行合成并對(duì)景象加以增強(qiáng)或擴(kuò)充的技術(shù)。Azuma給出的增強(qiáng)現(xiàn)實(shí)的定義是:虛實(shí)結(jié)合；實(shí)時(shí)互動(dòng)；三維注冊(cè)［1］，在同一環(huán)境下實(shí)現(xiàn)虛擬物體與周圍真實(shí)環(huán)境的結(jié)合效果，實(shí)現(xiàn)人與虛擬物體的交互操作。隨著AR技術(shù)的發(fā)展，它已經(jīng)可以廣泛應(yīng)用到軍事、醫(yī)療、建筑、教育、工程、影視等領(lǐng)域。在教育領(lǐng)域AR技術(shù)可以用于虛擬交互、電子書出版、課件等多個(gè)方面。Shelton和Hedley采用AR技術(shù)進(jìn)行九大行星的教學(xué)實(shí)驗(yàn)，他們發(fā)現(xiàn)通過(guò)使用AR技術(shù)，可以使教師僅用較少的教學(xué)材料就可以進(jìn)行教學(xué)活動(dòng)，并且在學(xué)生的學(xué)習(xí)過(guò)程中比較容易形成互動(dòng)，讓學(xué)生更容易理解學(xué)習(xí)內(nèi)容［2］。例如：立體幾何、磁感線、物體運(yùn)動(dòng)、力的表示、分子運(yùn)動(dòng)、天體運(yùn)動(dòng)等。傳統(tǒng)的多媒體課件雖然也能高效地展示知識(shí)，但相比融合了增強(qiáng)現(xiàn)實(shí)技術(shù)的課件缺乏實(shí)時(shí)互動(dòng)的功能，不能完整表示部分教學(xué)內(nèi)容中的抽象概念。增強(qiáng)現(xiàn)實(shí)技術(shù)的課件不僅保留了傳統(tǒng)多媒體課件該有的靜態(tài)展示效果，更融入了相關(guān)文字所對(duì)應(yīng)的虛擬場(chǎng)景，將理論與實(shí)踐結(jié)合，達(dá)到了事半功倍的教學(xué)效果。美國(guó)新媒體協(xié)會(huì)在2010、2011年的Horizon報(bào)告中，均將其列入2-3年內(nèi)會(huì)在教育中得到廣泛應(yīng)用的技術(shù)［3-4］。

1　增強(qiáng)現(xiàn)實(shí)課件工作原理

增強(qiáng)現(xiàn)實(shí)課件的工作原理如圖1所示：上課時(shí)，增強(qiáng)現(xiàn)實(shí)應(yīng)用程序利用攝像頭獲取教師使用的識(shí)別標(biāo)識(shí)上的特征信息，一旦成功識(shí)別出標(biāo)識(shí)，程序計(jì)算出該標(biāo)識(shí)的位置和姿態(tài)信息，同時(shí)根據(jù)預(yù)先置文件在找到與之匹配的有關(guān)虛擬教學(xué)模型，經(jīng)過(guò)軟件程序處理后，根據(jù)標(biāo)識(shí)的坐標(biāo)信息，在顯示設(shè)備輸出。視覺(jué)效果上虛擬的教學(xué)模型或者多媒體素材，完全融合在真實(shí)的場(chǎng)景中，就像教師真的拿著一個(gè)教學(xué)模型。利用這種課件，教師只需要攜帶一些標(biāo)識(shí)卡片，就可以生動(dòng)地進(jìn)行事實(shí)動(dòng)態(tài)地講解各種教學(xué)內(nèi)容，例如在手上展示地球，展示各種生物等。

2　增強(qiáng)現(xiàn)實(shí)開發(fā)工具ARToolKit

增強(qiáng)現(xiàn)實(shí)開發(fā)工具有許多種，本文選擇了可以免費(fèi)使用的增強(qiáng)現(xiàn)實(shí)開發(fā)工具ARToolKit［5］。ARToolKit最初是由日本的加藤博一博士與美國(guó)華盛頓大學(xué)聯(lián)合開發(fā)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)二次開發(fā)工具，是一套基于C和C++的增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)包，支持不同的操作系統(tǒng)，如Windows、Linux、Mac OS X等，可以幫助開發(fā)人員方便地開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。ARToolKit后續(xù)的發(fā)展得到華盛頓大學(xué)HCI實(shí)驗(yàn)室和新西蘭坎特伯雷大學(xué)的大力支持。ARToolKit成為廣泛使用的增強(qiáng)現(xiàn)實(shí)研究工具。

圖1　增強(qiáng)現(xiàn)實(shí)課件的工作原理圖

開發(fā)一個(gè)ARToolKit的應(yīng)用，必須熟悉它的基本框架及其每個(gè)框架內(nèi)所調(diào)用的函數(shù)，它主要包括三個(gè)階段：初始化、主循環(huán)、關(guān)閉。

（1）初始化：開始視頻捕捉；讀取面板庫(kù)以及攝像機(jī)特性參數(shù)；相關(guān)的函數(shù)包括：arVideoOpen（），arVideoInqSize（），arParamLoad（），arInitCparam（），arParamChange Size（）。

（2）工作循環(huán)：抓取一幀輸入視頻；探測(cè)矩形邊框標(biāo)識(shí)；獲取標(biāo)識(shí)后計(jì)算攝像頭—標(biāo)識(shí)的位置轉(zhuǎn)移矩陣，記憶標(biāo)識(shí)參數(shù)；計(jì)算標(biāo)識(shí)—模型的坐標(biāo)映射關(guān)系，匹配虛擬物體，最終虛擬物體疊加在真實(shí)場(chǎng)景中輸出。主要相關(guān)函數(shù)包括：循環(huán)框架模型argMainLoop（）、OpenGL的循環(huán)框架模型glutMainLoop（）、尋找正確的Marker模板的函數(shù)arDetectMarker（）。

（3）關(guān)閉視頻，釋放資源。相關(guān)函數(shù)包括：arVideo-CapStop（）、arVideoClose（）、argCleanup（）等。

3　增強(qiáng)現(xiàn)實(shí)課件的制作過(guò)程

基于ARToolKit的增強(qiáng)現(xiàn)實(shí)課件的設(shè)計(jì)和實(shí)現(xiàn)，按照從標(biāo)識(shí)（Marker）的設(shè)計(jì)與制作、虛擬物體模型的設(shè)計(jì)與制作，再到利用ARToolKit進(jìn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用程序編程，最后課件課堂完成增強(qiáng)現(xiàn)實(shí)效果展示，可以分為四個(gè)關(guān)鍵步驟實(shí)現(xiàn):

①標(biāo)識(shí)的設(shè)計(jì)制作和參數(shù)編輯；

②3D模型素材的設(shè)計(jì)制作和參數(shù)設(shè)置；

③利用ARToolKit開發(fā)包設(shè)計(jì)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序；

④教學(xué)實(shí)踐演示。

（1）標(biāo)識(shí)的設(shè)計(jì)與制作

制作標(biāo)識(shí)（Marker）的目的是按照跟蹤引擎的需要特制的一個(gè)標(biāo)記圖形，ARToolKit增強(qiáng)現(xiàn)實(shí)應(yīng)用程序根據(jù)這個(gè)標(biāo)記分析和計(jì)算它的圖形信息，并通過(guò)它來(lái)計(jì)算三維模型要顯示的位置和狀態(tài)。這個(gè)圖形標(biāo)記需要包含黑色邊框和內(nèi)部的圖形，為了方便使用和便于應(yīng)用程序識(shí)別，可以采用在框中加漢字的方式。圖2是一個(gè)標(biāo)識(shí)的例子。

圖2　一個(gè)帶有漢字信息的標(biāo)識(shí)

通過(guò)平面圖像編輯器制作便于識(shí)別的平面標(biāo)識(shí)圖，本文使用Adobe illustrator軟件，按照一下步驟制作標(biāo)識(shí)：

①打開Adobe illustrator矢量圖形軟件，把blank Patt.gif（只有邊框的空?qǐng)D片）導(dǎo)入到軟件中。②新增圖層2，選中該圖層并在中間白色空間處建立自己的文字圖塊或繪制圖形。輸入字母或漢字，設(shè)置對(duì)應(yīng)字號(hào)、字體大小以及字寬等，或者繪制對(duì)應(yīng)的簡(jiǎn)單圖形并填充顏色。③保存Marker設(shè)計(jì)，選擇PDF的存儲(chǔ)類型。把保存Illustrator編輯能力的選項(xiàng)打勾，這樣方便日后可再用Illustrator進(jìn)行下一步修改，儲(chǔ)存。④再用上述同樣的方法設(shè)計(jì)其他的Marker，然后打印出Marker。

（2）訓(xùn)練標(biāo)識(shí)及標(biāo)識(shí)參數(shù)設(shè)定

為了ARToolKit應(yīng)用程序能夠有效識(shí)別標(biāo)識(shí)，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果，要先訓(xùn)練系統(tǒng)能夠識(shí)別標(biāo)識(shí)，也就是讓系統(tǒng)認(rèn)識(shí)制作的標(biāo)記。

①打開ARToolKit自帶的mk_pattd程序，按照系統(tǒng)提示輸入一個(gè)攝像機(jī)的參數(shù)文件夾名字路徑，例如Datacamera_para.dat。程序會(huì)打開另一個(gè)視頻窗口，此時(shí)應(yīng)該轉(zhuǎn)動(dòng)攝像頭對(duì)準(zhǔn)前面打印出Marker直至視頻圖像中的方塊紅綠框，單擊鼠標(biāo)左鍵。②輸入一個(gè)標(biāo)識(shí)文件名，例如patt.bird，此時(shí)，文件夾里面會(huì)生成一個(gè)patt.bird文件，patt.bird文件存儲(chǔ)了該標(biāo)識(shí)（Marker）的特征信息，用于后續(xù)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序?qū)?biāo)識(shí)的識(shí)別和匹配。③只需要用攝像頭對(duì)著不同的標(biāo)識(shí)重復(fù)以上步驟，就可以為每種標(biāo)識(shí)創(chuàng)建對(duì)應(yīng)的標(biāo)識(shí)文件。

為了在增強(qiáng)現(xiàn)實(shí)程序中實(shí)現(xiàn)不同的標(biāo)識(shí)對(duì)應(yīng)不同的模型對(duì)象，還需要預(yù)先在一個(gè)文本文件object_data中對(duì)匹配的模型和標(biāo)識(shí)進(jìn)行參數(shù)設(shè)置，在object_data文件中，每個(gè)標(biāo)識(shí)都按一定結(jié)構(gòu)詳細(xì)說(shuō)明，內(nèi)容包括：名字、模板識(shí)別文件名、跟蹤模板的寬度、跟蹤模板的中心。下面這個(gè)例子中設(shè)置了模型文件bird.dat和標(biāo)識(shí)文件patt.bird的對(duì)應(yīng)關(guān)系。

（3）3D模型的設(shè)計(jì)與制作

3D模型的來(lái)源主要有兩種途徑，一種是下載開源的3D模型，這在網(wǎng)絡(luò)上可以找到很多資源；另一種是選用3DSMax或VRMLPad等編輯器制作或者加工相應(yīng)的三維模型，3D模型的格式有很多中，用ARToolKit開發(fā)的應(yīng)用中一般將虛擬物體存儲(chǔ)為儲(chǔ)存*.wrl的格式。圖3是在3DSMax中和VRMLPad中編輯黃雀模型的示意圖。

圖3　利用3DSMax中和VRMLPad制作三維模型

制作好的wrl文件放在..Wrl文件夾下，并為每一個(gè)虛擬物創(chuàng)建對(duì)應(yīng)的.dat文件，此文件的作用是，在增強(qiáng)現(xiàn)實(shí)調(diào)用wrl模型文件的時(shí)候，提供wrl模型文件的基本信息，還可以通過(guò)調(diào)整參數(shù)，對(duì)虛擬模型的wrl文件進(jìn)行位移、旋轉(zhuǎn)、縮放的設(shè)定，而不必在三維軟件進(jìn)行調(diào)整。例如Bird.dat文件內(nèi)容如下：

（4）增強(qiáng)現(xiàn)實(shí)應(yīng)用程序設(shè)計(jì)

ARToolKit開發(fā)包，將增強(qiáng)現(xiàn)實(shí)應(yīng)用開發(fā)中最困難的一些部分，如探測(cè)標(biāo)識(shí)、計(jì)算攝像頭轉(zhuǎn)移矩陣、三維注冊(cè)等功能實(shí)現(xiàn)了函數(shù)封裝，同時(shí)ARToolKit開發(fā)包還提供了豐富的實(shí)例，使普通開發(fā)者在其基本框架上，能夠非便、快捷地開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)。本文增強(qiáng)現(xiàn)實(shí)應(yīng)用程序流程圖如圖4所示。

圖4　增強(qiáng)現(xiàn)實(shí)課件應(yīng)用程序?qū)崿F(xiàn)流程圖

首先在初始化模塊依次完成了3個(gè)步驟：①初始化攝像頭：打開一個(gè)視頻源（攝像頭），獲取攝像頭窗口大小，加載攝像頭并獲取攝像頭精度，根據(jù)獲取的攝像頭精度參數(shù)修改攝像頭的相關(guān)設(shè)置，載入攝像頭的顯示參數(shù)；②用arLoadPatt（）函數(shù)加載標(biāo)識(shí)文件，該函數(shù)直接加載進(jìn)程序要識(shí)別的標(biāo)識(shí)的信息文件，并返回屬于該標(biāo)識(shí)的特定ID號(hào)；③調(diào)用arVideoCapStart（）函數(shù)啟動(dòng)攝像頭。

主程序的循環(huán)工作的部分：①利用arlOdeoGetlmage函數(shù)采集一幀圖像；②利用arDetectMarker函數(shù)尋找視頻圖像中是否包含有特定的標(biāo)識(shí)；③如果找到標(biāo)識(shí)，例如圖2的黃雀，則調(diào)用arGetTransMat函數(shù)計(jì)算變換矩陣；④根據(jù)模型文件信息，調(diào)用標(biāo)識(shí)對(duì)應(yīng)的模型，正確顯示到實(shí)際場(chǎng)景。

主程序保持循環(huán)工作，直到遇到退出操作則程序關(guān)閉視頻捕捉，退出程序。

（5）增強(qiáng)顯示效果展示

將帶有黃雀標(biāo)識(shí)的課件放在攝像頭下，啟動(dòng)增強(qiáng)現(xiàn)實(shí)程序后，在顯示器或者投影儀上的顯示效果，如圖5所示。轉(zhuǎn)動(dòng)標(biāo)識(shí)可以呈現(xiàn)黃雀的各個(gè)方向的視圖，和在手中展示一個(gè)真實(shí)的黃雀標(biāo)本一樣。

基于ARToolKit的增強(qiáng)現(xiàn)實(shí)課件把虛擬模型的具體表示與待學(xué)習(xí)的抽象表示相關(guān)聯(lián)，通過(guò)直觀展示虛擬模型的方式吸引學(xué)習(xí)者的求知興趣，實(shí)現(xiàn)了虛擬世界和真實(shí)世界的實(shí)時(shí)同步，讓學(xué)習(xí)者可以身臨其境的感知當(dāng)中的內(nèi)容，而且能夠突破空間、時(shí)間以及其他客觀因素的約束，感受到真實(shí)世界中無(wú)法親身經(jīng)歷的體驗(yàn)，整個(gè)學(xué)習(xí)過(guò)程不再枯燥單調(diào)、抽象，充滿趣味。

圖5　黃雀增強(qiáng)現(xiàn)實(shí)課件的顯示效果

4　結(jié)語(yǔ)

后續(xù)工作中，準(zhǔn)備在課件中增加更多的交互控制功能，在屏幕中展示相應(yīng)的3D模型，并允許用戶控制模型的顯示比例、旋轉(zhuǎn)方向、移動(dòng)位置等參數(shù)；基于增強(qiáng)現(xiàn)實(shí)技術(shù)的課件，不但可以加入三維模型，還可以加入其他多媒體元素，后續(xù)工作的一個(gè)方向是，制作更加生動(dòng)的虛擬模型以及3D動(dòng)畫等，使增強(qiáng)現(xiàn)實(shí)課件更生動(dòng)、精彩。

［1］Azuma，R.T.A survey of augmented reality［J］.Teleoperators and Virtual Environments，1997，6（4）:355-385.

［2］Shelton B，Hedley N.Using augmented reality for teaching earth-sun relationships to undergraduate geography students［C］.Augmented Reality Toolkit.The First IEEE International Workshop，2002.

［3］Johnson L，Levine A，Smith R，Stone S.The 2010 horizon report［M］.Austin，Texas:The New Media Consortium，2010.

［4］Johnson L，Smith R，Willis H，Levine A，Haywood K.The 2010 horizon report［M］.Austin，Texas:The New Media Consortium，2011.

［5］ARToolKit.http://www.hitl.washington.edu/ARToolKit/.2003

Augmented Reality；3D Model；ARToolKit；Courseware

Design and Production of Augmented Reality Courseware Based on ARToolKit

XU Min，TONG Qiang，CHEN Dong-cai，XIANG Kang-qin
（Department of Computer Science，Hubei Normal University，Huangshi 435002）

1007-1423（2015）25-0063-05

10.3969/j.issn.1007-1423.2015.25.017

徐敏（1990-），女，碩士研究生，研究方向?yàn)橹悄苡?jì)算與人機(jī)交互

童強(qiáng)（1968-），男，碩士，副教授，碩士生導(dǎo)師，研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)、機(jī)器視覺(jué)、人機(jī)交互技術(shù)

陳棟才（1991-），男，湖北大冶人，本科，研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)應(yīng)用技術(shù)

2015-06-16

2015-08-25

研究了基于ARToolKit的增強(qiáng)現(xiàn)實(shí)課件的實(shí)現(xiàn)原理和制作流程，結(jié)合一個(gè)動(dòng)物課件實(shí)例，介紹標(biāo)識(shí)制作、3D模型設(shè)計(jì)以及增強(qiáng)現(xiàn)實(shí)演示軟件編程以及課件展示等四個(gè)主要環(huán)節(jié)的實(shí)現(xiàn)過(guò)程，展示增強(qiáng)現(xiàn)實(shí)課件的演示效果。

增強(qiáng)現(xiàn)實(shí)；3D模型；ARToolKit開發(fā)包；課件

湖北省高等學(xué)校省級(jí)教學(xué)研究項(xiàng)目（No.2014367）、湖北省教育廳科技項(xiàng)目（No.B20132505）、國(guó)家級(jí)大學(xué)生創(chuàng)新訓(xùn)練項(xiàng)目（No.201310513008）

向康琴（1991-），女，湖北黃梅人，本科，研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)應(yīng)用技術(shù)

Studies the realization principle and production flow of the augmented reality courseware based on ARToolKit.Takes animal courseware as an example，introduces the process of realizing three main links，such as logo production，3D model design and augmented reality demonstration software programming and courseware display.Demonstrates the effect of the augmented reality courseware.