移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用編著方法

曹　陽，楊旭波

(上海交通大學(xué) 軟件學(xué)院，上海200240)

移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用編著方法

曹陽，楊旭波

(上海交通大學(xué) 軟件學(xué)院，上海200240)

移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用中，動(dòng)態(tài)場景對(duì)于用戶表達(dá)自身想法十分重要，但是現(xiàn)有編著工具對(duì)于動(dòng)畫編著的支持不足.針對(duì)該問題，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于手持移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)應(yīng)用編著工具.該工具提供了可視化連續(xù)幀動(dòng)畫的編著方法，用戶無需編碼即可快速創(chuàng)作動(dòng)態(tài)場景.通過實(shí)驗(yàn)與問卷調(diào)查評(píng)估該工具的系統(tǒng)性能及易用性.結(jié)果表明，該移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用編著方法不僅高效且易于使用.

增強(qiáng)現(xiàn)實(shí)；編著；動(dòng)畫；涂鴉；關(guān)鍵幀編輯

增強(qiáng)現(xiàn)實(shí)技術(shù)具有將真實(shí)世界信息與虛擬世界信息“無縫”集成的特性[1]，使其在制造、教育等各種應(yīng)用領(lǐng)域[2]擁有廣闊的發(fā)展前景.而由于手持移動(dòng)設(shè)備的普及(如智能手機(jī)與平板電腦)和其他新型技術(shù)的發(fā)展(如二維碼[3])，增強(qiáng)現(xiàn)實(shí)技術(shù)也逐步應(yīng)用于導(dǎo)覽[4]等移動(dòng)應(yīng)用領(lǐng)域.文獻(xiàn)[5]介紹了移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)所具備的市場潛力和應(yīng)用前景.但目前移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用的開發(fā)涉及大量圖形學(xué)及平臺(tái)相關(guān)的編碼工作，因此基本由專業(yè)人員根據(jù)需求定制開發(fā).為簡化開發(fā)流程，降低開發(fā)難度，對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用編著的研究也日趨熱門.

由于開發(fā)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)涉及許多專業(yè)技術(shù)，如圖樣識(shí)別與跟蹤、三維注冊(cè)等，部分研究者的工作重點(diǎn)集中于將這些底層算法代碼封裝于軟件開發(fā)包內(nèi)，如Vuforia SDK(高通公司產(chǎn)品).雖然這類底層編著工具提供了穩(wěn)定的圖樣識(shí)別等功能，用戶仍需編寫大量的代碼控制場景中模型的布局、運(yùn)動(dòng)、渲染等工作. 為使用戶專心于編著應(yīng)用內(nèi)容，文獻(xiàn)[6-7]致力于設(shè)計(jì)通用的高層編著工具.這類工具提供圖形用戶界面[6]或可觸用戶界面[7]，即便是無編程經(jīng)驗(yàn)的普通用戶也能編著.此外，文獻(xiàn)[8-11]則將重點(diǎn)放在開發(fā)特定應(yīng)用場景下的編著工具，例如工業(yè)維修[8]、電子學(xué)習(xí)[9]、游戲設(shè)計(jì)[10]和臨場編著[11].

盡管現(xiàn)有工具在編著靜態(tài)應(yīng)用時(shí)十分方便，但對(duì)于動(dòng)態(tài)場景編著的支持不足.有些工具提供腳本編輯的動(dòng)畫編著環(huán)境，如Metaio Creator(Metaio公司產(chǎn)品).然而對(duì)用戶而言，這種動(dòng)畫編著方式并不直觀，且不適合基于移動(dòng)設(shè)備的臨場編著.因此，文獻(xiàn)[12]設(shè)計(jì)了一種基于編輯關(guān)鍵幀的剛體運(yùn)動(dòng)動(dòng)畫編著方式，這種方式比腳本編著方式更加直觀、易用，但在物體運(yùn)動(dòng)軌跡或姿態(tài)變化較為復(fù)雜時(shí)，由于需要逐個(gè)指定的關(guān)鍵幀數(shù)量太多，該方法會(huì)耗費(fèi)用戶大量的時(shí)間.

針對(duì)以上問題，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于手持移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)應(yīng)用編著工具.其采用“所見即所得”的設(shè)計(jì)思想，使用戶在編著時(shí)就可獲取及時(shí)的反饋.本系統(tǒng)采用基于圖形界面的編著環(huán)境，用戶無需任何編碼即可快速完成包含動(dòng)畫的增強(qiáng)現(xiàn)實(shí)應(yīng)用編著.用戶先以涂鴉方式快速創(chuàng)建動(dòng)畫原型，再編輯關(guān)鍵幀為動(dòng)畫增添細(xì)節(jié)，此方法有效降低了用戶編著動(dòng)畫的操作復(fù)雜度.此外，本文引入?yún)⒖济媾c投影線技術(shù)，用戶通過這些技術(shù)的輔助在二維屏幕空間上完成三維虛擬場景布局與動(dòng)畫創(chuàng)建.

1　編著環(huán)境設(shè)計(jì)

目前，在移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用的編著環(huán)境設(shè)計(jì)中主要存在以下兩大問題.第一，現(xiàn)有移動(dòng)增強(qiáng)現(xiàn)實(shí)編著工具一般采用先編著后運(yùn)行的編著形式.用戶需要針對(duì)目標(biāo)標(biāo)志物設(shè)計(jì)虛擬場景，再通過編譯或者發(fā)布應(yīng)用的方式查看最終結(jié)果.這會(huì)造成用戶所想與實(shí)際所得有所偏差，使用戶陷入場景細(xì)節(jié)調(diào)整而無法專心于設(shè)計(jì)應(yīng)用內(nèi)容.第二，現(xiàn)有工具對(duì)于應(yīng)用中動(dòng)畫編著僅提供腳本編著環(huán)境.對(duì)于不會(huì)編碼的普通用戶，難以使用這種編著環(huán)境.而對(duì)于有一定編碼經(jīng)驗(yàn)的用戶而言，這種方式也不夠直觀，并且不適合臨場編著.

針對(duì)第一個(gè)問題，本文采用“所見即所得”的思想，將用戶編著過程安排在應(yīng)用運(yùn)行時(shí)刻.即用戶向一個(gè)場景為空的運(yùn)行中的應(yīng)用添加所需的內(nèi)容，每一步的操作都能顯示出該應(yīng)用的最終效果，使用戶及時(shí)獲得反饋以便修改.而針對(duì)第二個(gè)問題，本文采用可視化設(shè)計(jì)連續(xù)幀動(dòng)畫的編著方式.不同于大部分現(xiàn)有編著工具通過代碼指定場景中物體運(yùn)動(dòng)的方式，本文方法直觀、高效.本文提出的涂鴉方法讓用戶能快速地繪制物體的運(yùn)動(dòng)軌跡，系統(tǒng)根據(jù)此軌跡自動(dòng)生成一系列的關(guān)鍵幀，用戶在此基礎(chǔ)上再對(duì)關(guān)鍵幀進(jìn)行調(diào)整.不同于文獻(xiàn)[12]的方法，本文方法在物體運(yùn)動(dòng)比較復(fù)雜，尤其是包含曲線運(yùn)動(dòng)的情況下，編著速度更快也更加準(zhǔn)確.

2　場景布局與物體操控方法

由于用戶的操控空間在二維屏幕空間，而應(yīng)用中增強(qiáng)信息則是在三維場景空間中，深度信息的丟失使用戶對(duì)虛擬物體的操控變得艱難.研究者們一般采用基于跟蹤的方法彌補(bǔ)丟失的深度信息.由于一般商用智能手機(jī)與平板電腦只配備單個(gè)彩色攝像頭，在此類平臺(tái)上通常采用計(jì)算機(jī)視覺方法實(shí)現(xiàn)跟蹤[12].但基于視覺的跟蹤受光照條件、手勢遮擋的影響[7]，穩(wěn)定性有所欠缺，對(duì)用戶體驗(yàn)易產(chǎn)生負(fù)面影響.因此，本文通過在系統(tǒng)中添加輔助標(biāo)記與約束的方法實(shí)現(xiàn)操控與布局的交互，在基于觸控交互的基礎(chǔ)上設(shè)計(jì)參考面與投影線進(jìn)行輔助，讓用戶在二維屏幕空間內(nèi)即可操控虛擬物體進(jìn)行三維場景布局.

2.1初始設(shè)計(jì)

為彌補(bǔ)丟失的深度信息，考慮到現(xiàn)有建模軟件中通常使用三視圖來描述模型在三維空間中的位置，本文采用相似的思路，將用戶在屏幕空間的操作映射到三維空間中某一平面上的操作.根據(jù)目標(biāo)圖樣建立了一套相對(duì)的三維直角坐標(biāo)系，提供3種帶有網(wǎng)格的輔助平面，并稱之為參考面，如圖1所示.這3種參考面分別讓用戶在俯視、正視以及側(cè)視角度下使用.

(a) 平行于目標(biāo)圖樣的參考面

(b) 垂直于目標(biāo)圖樣朝向前后的參考面

(c) 垂直于目標(biāo)圖樣朝向左右的參考面圖1　初始參考面設(shè)計(jì)Fig.1　Prototype design of reference planes

由于屏幕空間上的點(diǎn)轉(zhuǎn)化到場景空間中時(shí)為一條起始點(diǎn)，其為相機(jī)在場景空間中的位置，方向與相機(jī)在場景空間中的角度和屏幕空間坐標(biāo)相關(guān)的射線，因此，除參考面法向量與射線方向向量相垂直的情況外，參考面始終能與該射線有唯一的交點(diǎn)(如圖2所示)，由此建立起屏幕空間至場景空間參考面的映射關(guān)系.

圖2　屏幕空間至參考面空間投影原理示意圖Fig.2　Principle diagram of projecting screen space to reference plane space

本文借鑒了目前主流的觸控交互手勢，針對(duì)模型的選擇、平移、旋轉(zhuǎn)和縮放設(shè)計(jì)了符合大多數(shù)用戶所習(xí)慣的觸控交互手勢(如圖3所示).用戶在調(diào)整模型姿態(tài)時(shí)，先通過點(diǎn)擊選中模型，再選擇編輯狀態(tài)為平移、旋轉(zhuǎn)或縮放，然后使用對(duì)應(yīng)的觸控手勢進(jìn)行模型姿態(tài)的調(diào)整.

(a) 用于選擇的單點(diǎn)觸控手勢

(b) 用于平移和旋轉(zhuǎn)的單點(diǎn)觸控手勢

(c) 用于縮放的多點(diǎn)觸控手勢圖3　觸控手勢示意圖Fig.3　Diagram of touch gestures

在實(shí)現(xiàn)參考面與觸控手勢后，進(jìn)行了易用性評(píng)估，實(shí)驗(yàn)內(nèi)容以及數(shù)據(jù)分析將在第5節(jié)中展開.在實(shí)驗(yàn)中，實(shí)驗(yàn)對(duì)象反映在某一特定參考面上進(jìn)行操作較容易，但很難判斷虛擬場景中兩個(gè)物體的相對(duì)位置，此外布局時(shí)需要頻繁切換參考面.為了使用戶在不同視角下方便操作，本文提供了兩種垂直方向上的參考面，但在觀察中發(fā)現(xiàn)實(shí)驗(yàn)對(duì)象即使使用了不適合所處視角的參考面，導(dǎo)致可供操作的空間十分狹窄(如圖1(c))，也不會(huì)主動(dòng)去切換一個(gè)更適合該視角的參考面.

2.2設(shè)計(jì)改進(jìn)

根據(jù)實(shí)驗(yàn)中發(fā)現(xiàn)的問題以及實(shí)驗(yàn)對(duì)象的反饋，本文對(duì)參考面的設(shè)計(jì)進(jìn)行了改進(jìn).首先，將參考面減少為兩種，平行于目標(biāo)平面的參考面，如圖4(a)所示，垂直于目標(biāo)平面且始終朝向攝像頭的參考面，如圖4(b)所示.通過將圖1(b)和1(c)兩種參考面進(jìn)行整合，能夠保證用戶在正視及側(cè)視角度下始終有足夠的操縱空間.即使用戶走動(dòng)也不必主動(dòng)切換參考面，系統(tǒng)會(huì)根據(jù)攝像頭所在位置對(duì)參考面的朝向進(jìn)行自動(dòng)調(diào)整.其次，引入模型到當(dāng)前參考面的投影線，即物體到參考面的垂線(即圖4右上方的灰線).這為用戶判斷模型間相對(duì)位置提供了參考依據(jù).

(a)平行目標(biāo)平面的參考面

(b)垂直目標(biāo)平面且始終朝向攝像頭的參考面圖4　改進(jìn)后參考面與投影線設(shè)計(jì)Fig.4　Improved design of reference planes and projection lines

3　動(dòng)畫編著方法

本系統(tǒng)中動(dòng)畫編著針對(duì)剛體運(yùn)動(dòng)動(dòng)畫，采用連續(xù)幀動(dòng)畫形式進(jìn)行設(shè)計(jì).用戶能夠通過涂鴉快速繪制物體運(yùn)動(dòng)軌跡，系統(tǒng)自動(dòng)生成一系列關(guān)鍵幀來描述該運(yùn)動(dòng)，隨后用戶可以對(duì)關(guān)鍵幀進(jìn)行調(diào)整，或?qū)?dòng)畫進(jìn)行局部或者整體的改動(dòng).整個(gè)動(dòng)畫編著過程中無需任何編碼，完全基于圖形界面完成.在動(dòng)畫播放時(shí)，系統(tǒng)根據(jù)給定時(shí)刻的前后兩個(gè)連續(xù)關(guān)鍵幀中模型姿態(tài)自動(dòng)生成中間幀的模型姿態(tài).本文采用三維向量描述模型位置與大小的變化，并通過線性插值生成中間狀態(tài).由于采用歐拉角描述的模型旋轉(zhuǎn)不適合插值操作，所以本文采用四元數(shù)描述模型旋轉(zhuǎn)，并通過球面線性插值生成模型旋轉(zhuǎn)的中間狀態(tài).

3.1基于涂鴉的軌跡生成

設(shè)計(jì)涂鴉方法的目的是讓用戶能夠快速創(chuàng)作一段模型運(yùn)動(dòng)動(dòng)畫的原型.與文獻(xiàn)[12]需要用戶創(chuàng)建每一個(gè)關(guān)鍵幀的動(dòng)畫編著方法相比，本文方法讓用戶著重于設(shè)計(jì)物體運(yùn)動(dòng)的行為，而關(guān)鍵幀的創(chuàng)建由系統(tǒng)自動(dòng)完成.在涂鴉過程中，系統(tǒng)會(huì)記錄用戶在涂鴉過程中的觸控點(diǎn)，并將其映射到當(dāng)前的參考面上對(duì)應(yīng)的模型空間中的三維坐標(biāo)點(diǎn)(如圖5所示).系統(tǒng)會(huì)根據(jù)預(yù)設(shè)的運(yùn)動(dòng)速度給這些三維坐標(biāo)點(diǎn)生成對(duì)應(yīng)的關(guān)鍵幀時(shí)間戳，繼而完成關(guān)鍵幀的生成.

圖5　用戶正在涂鴉月球公轉(zhuǎn)軌跡Fig.5　User is sketching the revolution orbit of the moon

3.2關(guān)鍵幀編輯

涂鴉方法適合于快速設(shè)計(jì)物體的運(yùn)動(dòng)路徑，而基于關(guān)鍵幀編輯的方法更適合于對(duì)已有動(dòng)畫進(jìn)行局部或整體上的調(diào)整.在本系統(tǒng)中，提供編輯已有關(guān)鍵幀中物體姿態(tài)的功能，用戶選擇關(guān)鍵幀后對(duì)該物體的平移、旋轉(zhuǎn)、縮放操作均會(huì)改變動(dòng)畫編著結(jié)果.用戶也能對(duì)已有動(dòng)畫調(diào)整其時(shí)長，系統(tǒng)會(huì)根據(jù)關(guān)鍵幀之間的時(shí)間間隔重新計(jì)算調(diào)整后的時(shí)間戳.此外，用戶在編著動(dòng)畫時(shí)，可以隨時(shí)預(yù)覽當(dāng)前結(jié)果，并暫停進(jìn)行細(xì)節(jié)調(diào)整.系統(tǒng)會(huì)將暫停時(shí)用戶調(diào)整的中間幀作為新的關(guān)鍵幀插入動(dòng)畫中.這種及時(shí)的反饋機(jī)制能夠提高用戶編著的效率與準(zhǔn)確性.

4　系統(tǒng)實(shí)現(xiàn)

4.1軟件架構(gòu)

本系統(tǒng)采用客戶端-服務(wù)器結(jié)構(gòu)(如圖6所示)，用戶通過客戶端軟件進(jìn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用的瀏覽與編著，而使用的素材以及發(fā)布的應(yīng)用均存放在服務(wù)器端，其中模型素材以二進(jìn)制文件形式存儲(chǔ)，應(yīng)用則以可擴(kuò)展標(biāo)記語言(XML)文件形式存儲(chǔ).這種設(shè)計(jì)的優(yōu)勢在于用戶完成編著之后，其他設(shè)備無需重復(fù)下載安裝應(yīng)用，只需獲取文件進(jìn)行解析即可.由于素材在服務(wù)器端共享，也提高了其利用率.

客戶端程序基于Unity游戲引擎以及Vuforia軟件開發(fā)工具包進(jìn)行實(shí)現(xiàn)，使本文工作不必從實(shí)現(xiàn)底層的模型導(dǎo)入、渲染和圖像識(shí)別與跟蹤算法等工作開始，能夠著重于設(shè)計(jì)編著方法、應(yīng)用的數(shù)據(jù)格式與編著工具的交互.

圖6　軟件架構(gòu)示意圖Fig.6　Software architecture diagram

4.2應(yīng)用與編著示例

本系統(tǒng)可以應(yīng)用于中學(xué)教育中，教師可在備課時(shí)針對(duì)課本中的插圖進(jìn)行編著，并將應(yīng)用上傳至服務(wù)器，隨后學(xué)生們可通過智能手機(jī)或平板電腦上的客戶端瀏覽應(yīng)用.比起傳統(tǒng)的圖片和幻燈片等課堂展示方法，動(dòng)態(tài)的三維場景能夠更直觀、生動(dòng)地對(duì)知識(shí)點(diǎn)進(jìn)行展示.

例如，在地理課中，教師可通過圖7所示應(yīng)用講解太陽、地球和月球的運(yùn)動(dòng)與潮汐、日蝕、月食等現(xiàn)象的關(guān)系；而在物理課中，教師所編著的牛頓擺應(yīng)用(見圖8)直觀地展示了這一現(xiàn)象，學(xué)生在課后沒有教具的情況下，也能直觀地對(duì)虛擬的牛頓擺進(jìn)行觀察.

(a) 初始狀態(tài)

(b) 經(jīng)過一段時(shí)間后的狀態(tài)

(c) 再經(jīng)過一段時(shí)間后的狀態(tài)圖7　用于演示日地月運(yùn)動(dòng)的應(yīng)用示例Fig.7　An example application illustrating the movement of the sun, the earth and the moon

(b) 最右擺球落下

(c) 最左擺球彈起圖8　牛頓擺應(yīng)用示例Fig.8　An example application of Newton’s cradle

針對(duì)圖8所示應(yīng)用，圖9給出了編著過程的說明.首先，用戶針對(duì)目標(biāo)插圖新建一個(gè)場景為空的應(yīng)用；其次，用戶從模型庫中查找并添加牛頓擺模型至場景中；隨后，用戶通過參考面與投影線的輔助操作調(diào)整最右擺球的起始姿態(tài)；接著，用戶通過涂鴉繪制擺球的下落軌跡，并調(diào)整起始與結(jié)束時(shí)擺線的位置和整段下落動(dòng)畫的時(shí)長；最后，在最右擺球正好觸碰其他擺球的時(shí)刻，針對(duì)最左擺球插入一幀關(guān)鍵幀，用于保證在此之前最左擺球靜止不動(dòng)，并在此基礎(chǔ)上涂鴉最左擺球彈起軌跡，同樣調(diào)整起始與結(jié)束時(shí)擺線的位置和彈起動(dòng)畫的時(shí)長.至此一段牛頓擺球運(yùn)動(dòng)的演示動(dòng)畫應(yīng)用完成.

(a) 初始時(shí)的空?qǐng)鼍?/p>

(b) 在模型庫中檢索模型

(c) 向場景中添加牛頓擺模型

(d) 調(diào)整最右擺球的初始位置

(e) 編著最右擺球的下落動(dòng)畫

(f) 編著最左擺球的彈起動(dòng)畫圖9　牛頓擺應(yīng)用編著過程中的操作Fig.9　Operations in the authoring the Newton’s cradle application

5　實(shí)驗(yàn)與評(píng)估

在實(shí)驗(yàn)過程中將客戶端程序部署于三星Galaxy Note 2014 Edition平板電腦(處理器：三星Exynos 5420 1.3 GHz+1.9 GHz，內(nèi)存：3 GB)，服務(wù)器端與數(shù)據(jù)庫部署于宏碁4752G筆記本電腦(處理器：Intel CoreTMi5-2450M 2.5 GHz，內(nèi)存：4 GB).

5.1系統(tǒng)性能測試

本次實(shí)驗(yàn)用于評(píng)估系統(tǒng)性能與算法效率，分別從不同規(guī)模場景對(duì)客戶端運(yùn)行幀率進(jìn)行測試與分析. 本次測試使用的模型大小約為72 kB，每次向場景中遞增相同個(gè)數(shù)的模型并記錄客戶端幀率，結(jié)果如圖10所示.由圖10可知，隨著場景規(guī)模的增大，雖然客戶端運(yùn)行幀率有所降低，但在場景規(guī)模較大的情況下，客戶端依然能夠保持較高的運(yùn)行幀率，能夠達(dá)到實(shí)時(shí)運(yùn)行.

圖10　實(shí)驗(yàn)結(jié)果Fig.10　Result of the experiment

5.2系統(tǒng)易用性評(píng)估

本次評(píng)估共設(shè)立4項(xiàng)實(shí)驗(yàn)(見表1)，其中實(shí)驗(yàn)1和2旨在測試本文提出的場景布局與物體操控方法的效率，以及對(duì)參考面的改進(jìn)是否有效；實(shí)驗(yàn)3與4旨在測試本文提出的動(dòng)畫編著方法的效率，并將其與僅定義關(guān)鍵幀的動(dòng)畫編著方法進(jìn)行比較.

表1　實(shí)驗(yàn)內(nèi)容Table 1　Content of the experiment

在實(shí)驗(yàn)完成之后，每位實(shí)驗(yàn)對(duì)象需填寫一份調(diào)查問卷(見表2)，從主觀角度評(píng)價(jià)實(shí)驗(yàn)涉及的各個(gè)模塊和方法的易用性.每一題給出一句描述，實(shí)驗(yàn)對(duì)象通過評(píng)分判定符合程度，其中，-2分代表完全不符合，-1分代表部分不符合，0代表不置可否，1分代表部分符合，2分代表完全符合.問卷中1～4題從有效性角度描述，5～8題從易學(xué)性角度描述.

表2　調(diào)查問卷內(nèi)容Table 2　Content of questionnaire

本實(shí)驗(yàn)共有10名實(shí)驗(yàn)對(duì)象參與，其中7名男性和3名女性，均為在校大學(xué)生,平均年齡為22.9歲.分別統(tǒng)計(jì)了實(shí)驗(yàn)對(duì)象完成任務(wù)用時(shí)，結(jié)果如圖11所示.由圖11可知：實(shí)驗(yàn)2平均用時(shí)比實(shí)驗(yàn)1縮短了44%，本文對(duì)參考面的改進(jìn)確實(shí)有效，從客觀上能夠加快用戶的三維布局操作過程；實(shí)驗(yàn)3平均用時(shí)比實(shí)驗(yàn)4少42%，可知實(shí)驗(yàn)對(duì)象在使用本文提出的方法比使用僅定義關(guān)鍵幀的方法編著動(dòng)畫時(shí)效率更高.

圖11　實(shí)驗(yàn)結(jié)果Fig.11　The result of experiment

由圖12所示的問卷結(jié)果可知，從題1與5的評(píng)分可知，本文提出的基于參考面與投影線輔助的物體操控方式能夠滿足直觀、自然的交互體驗(yàn)，并且實(shí)驗(yàn)對(duì)象也容易掌握這種交互方式；從題2與6的評(píng)分可知，即使實(shí)驗(yàn)對(duì)象的操作空間為二維屏幕，使用本系統(tǒng)依然能夠方便、直觀地完成三維場景布局；從題3～4、題7～8可知，在動(dòng)畫編著功能上，實(shí)驗(yàn)對(duì)象對(duì)本文提出的方法在有效性和易學(xué)性兩方面均超過僅定義關(guān)鍵幀的動(dòng)畫編著方法.

圖12　問卷結(jié)果Fig.12　The result of questionnaire

6　結(jié)　語

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于手持移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)應(yīng)用編著工具.本工具的編著過程安排在應(yīng)用的運(yùn)行時(shí)刻，與先編著后發(fā)布的應(yīng)用編著方式相比，用戶獲得反饋更加及時(shí)，編著過程也更加直觀.本文提出的連續(xù)幀動(dòng)畫編著方法，能以涂鴉快速創(chuàng)建運(yùn)動(dòng)軌跡作為動(dòng)畫原型，再通過編輯關(guān)鍵幀為動(dòng)畫增添細(xì)節(jié).相較于目前少數(shù)幾種能夠支持非編程動(dòng)畫設(shè)計(jì)的編著工具，無需用戶逐個(gè)指定所有的關(guān)鍵幀，極大地提高了復(fù)雜運(yùn)動(dòng)軌跡動(dòng)畫的編著效率與準(zhǔn)確性，使用戶能集中于內(nèi)容編著，而非細(xì)節(jié)實(shí)現(xiàn).此外，參考面與投影線技術(shù)使用戶能夠簡單、自然地在二維屏幕空間中操控三維物體.

未來工作將會(huì)對(duì)系統(tǒng)的易用性做進(jìn)一步提升，比如優(yōu)化參考面的設(shè)計(jì)和投影線顯示.此外，對(duì)于模型動(dòng)畫編著的功能，可以將現(xiàn)有僅對(duì)剛體運(yùn)動(dòng)的支持，擴(kuò)展到對(duì)模型骨骼動(dòng)畫、流體動(dòng)畫等更復(fù)雜的動(dòng)畫設(shè)計(jì)的支持.

[1] 陳一民, 李啟明,馬德宜,等.增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)研究及其應(yīng)用[J]. 上海大學(xué)學(xué)報(bào):自然科學(xué)版, 2011,17(4):412-428.

[2] 朱淼良,姚遠(yuǎn),蔣云良.增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國圖象圖形學(xué)報(bào), 2004, 9(7): 767-774.

[3] 桂振文,王涌天,劉越,等. 二維碼在移動(dòng)增強(qiáng)現(xiàn)實(shí)中的應(yīng)用研究[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2014,26(1):34-39.

[4] 張運(yùn)超,陳靖,王涌天,等.基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的智慧城市導(dǎo)覽[J]. 計(jì)算機(jī)研究與發(fā)展, 2014,51(2):302-310.

[5] 林倞,楊珂,王涌天,等.移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J]. 中國圖象圖形學(xué)報(bào), 2009,14(3):560-564.

[6] 邵興旦. 易用型增強(qiáng)現(xiàn)實(shí)系統(tǒng)開發(fā)工具的設(shè)計(jì)與應(yīng)用[D]. 杭州: 浙江大學(xué)計(jì)算機(jī)學(xué)院, 2010:50.

[7] HüRST W, DEKKER J. Tracking-based interaction for object creation in mobile augmented reality[C]//Proceedings of the 21st ACM International Conference on Multimedia. New York, USA: ACM Press, 2013:93-102.

[9] JEE H-K, LIM S, YOUN J, et al. An immersive authoring tool for augmented reality-based e-learning applications[C]//2011 International Conference on Information Science and Applications. Jeju Island, Republic of Korea: IEEE, 2011:1-5.

[10] HAGBI N, GRASSET R, BERGIG O, et al. In-place sketching for content authoring in augmented reality games[C]//2010 IEEE Virtual Reality Conference (VR). Waltham, USA: IEEE, 2010:91-94.

[11] LANGLOTZ T, MOOSLECHNER S, ZOLLMANN S, et al. Sketching up the world: In situ authoring for mobile augmented reality[J]. Personal and Ubiquitous Computing, 2011, 16(6):623-630.

[12] EITSUKA M, HIRAKAWA M. Authoring animations of virtual objects in augmented reality-based 3D space[C]//2013 Second IIAI International Conference on Advanced Applied Informatics. Matsue, Japan: IEEE, 2013:256-261.

A Method for Authoring Mobile Augmented Reality Applications

CAOYang,YANGXu-bo

(School of Software, Shanghai Jiaotong University, Shanghai 200240, China)

In mobile augmented reality (AR) applications, animated scenes are important for users to express their ideas, but current tools rarely support intuitive animation authoring. Aiming at this problem, an authoring tool for AR applications based on hand-hold mobile devices has been designed and implemented. The tool provides visualized continuous frame animation authoring method, so that users can create animated scenes rapidly in their applications without coding. Finally, the usability evaluations by experiments and questionnaires are presented. The result shows that the mobile AR applications authoring method is effective and easy-to-use.

augmented reality; authoring; animation; sketching; key frame editing

1671-0444(2015)04-0455-07

2014-11-14

國家自然科學(xué)基金資助項(xiàng)目(61173105，61373085)

曹陽(1990—)，男，上海人，碩士研究生，研究方向?yàn)樵鰪?qiáng)現(xiàn)實(shí)和人機(jī)交互. E-mail: feiyangtianji@sjtu.edu.cn

楊旭波(聯(lián)系人)，男，教授，E-mail: yangxubo@sjtu.edu.cn

TP 391

A