基于ARCore的移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)設(shè)計(jì)

宋燕燕

(南京傳媒學(xué)院，江蘇 南京 211172)

0 引 言

增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)是一種結(jié)合虛擬化技術(shù)觀察世界的方式，它利用計(jì)算機(jī)技術(shù) 將虛擬的物體實(shí)時(shí)地疊加到一個(gè)真實(shí)畫面或空間，形成具有實(shí)時(shí)交互的三維圖像畫面，給用戶帶來更真實(shí)的體驗(yàn)與感受[1]。在發(fā)展信息時(shí)代教育的過程中，現(xiàn)代教育技術(shù)以其先進(jìn)的觀念、手段和方法發(fā)揮著重要的作用。從木制黑板到電動(dòng)黑板、投影儀、平板電腦、網(wǎng)課教學(xué)等，教育水平和技術(shù)在不斷改善和進(jìn)步。增強(qiáng)現(xiàn)實(shí)這項(xiàng)新興技術(shù)與教育相結(jié)合，可以更加促進(jìn)教育水平的提升，在教育的進(jìn)程上實(shí)現(xiàn)一個(gè)飛躍。

谷歌ARCore的工作原理是集成了安卓設(shè)備的加速傳感器、陀螺儀、上下文識(shí)別信息等功能[2]。首先ARCore從相機(jī)環(huán)境中甄別出一些可見的特征，并通過手勢(shì)追蹤、傳感器傳來的坐標(biāo)位移等，實(shí)現(xiàn)現(xiàn)實(shí)世界與虛擬事物的一個(gè)映射功能。AR系統(tǒng)具有三個(gè)突出的特點(diǎn)：(1)真實(shí)世界和虛擬世界的信息集成；(2)具有實(shí)時(shí)交互性；(3)在三維空間中添加和定位虛擬物體。ARCore可以在移動(dòng)設(shè)備移動(dòng)時(shí)追蹤它們的位置，并且會(huì)逐漸利用自己的方式對(duì)現(xiàn)實(shí)世界進(jìn)行理解[3-4]。

1 關(guān)鍵技術(shù)

將AR技術(shù)應(yīng)用于移動(dòng)終端，意味著系統(tǒng)能夠提供以下主要功能模塊：視頻獲取設(shè)備、實(shí)現(xiàn)高精度定位功能的跟蹤裝置、計(jì)算機(jī)視覺運(yùn)算功能、3D渲染功能、人機(jī)交互功能[5]。需要綜合考慮如何實(shí)現(xiàn)快速高效的跟蹤定位算法、大場(chǎng)景范圍下的多目標(biāo)標(biāo)識(shí)、移動(dòng)設(shè)備與用戶可見的自然交互等多方面的技術(shù)問題。

1.1 運(yùn)動(dòng)跟蹤

Klein等在Davison研究的基礎(chǔ)上提出并行的跟蹤定位與地圖創(chuàng)建算法[7]，并應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)中。將SLAM系統(tǒng)分為跟蹤和制圖兩個(gè)流程，跟蹤定位的目的是在地圖中估計(jì)攝像機(jī)的位置，地圖創(chuàng)建的目的是利用跟蹤獲得的攝像機(jī)位置將圖像上的特征點(diǎn)三角化得到空間坐標(biāo)，對(duì)地圖進(jìn)行優(yōu)化，最終得到空間點(diǎn)的最優(yōu)估計(jì)。其地圖創(chuàng)建的流程如圖1所示。

圖1 地圖創(chuàng)建流程

目前使用的大部分視覺SLAM系統(tǒng)都是基于Klein提出的并行的跟蹤定位與地圖創(chuàng)建算法框架改進(jìn)而來。Mur-Artal等[8]于2015年提出ORB -SLAM，是現(xiàn)代SLAM系統(tǒng)中做的非常完善的系統(tǒng)之一。跟蹤線程負(fù)責(zé)對(duì)每幅圖像提取ORB特征點(diǎn)，并與最近的關(guān)鍵幀進(jìn)行比較，計(jì)算特征點(diǎn)的位置并估計(jì)相機(jī)位姿。

目前通過光學(xué)攝像機(jī)可實(shí)現(xiàn)平面矩形圖案、二維編碼、自然圖像以及立體物體的實(shí)時(shí)識(shí)別追蹤?；诠鈱W(xué)或深度攝像機(jī)的圖像實(shí)時(shí)識(shí)別追蹤會(huì)確保增強(qiáng)現(xiàn)實(shí)應(yīng)用的穩(wěn)定性，因此它對(duì)識(shí)別追蹤的速度、準(zhǔn)確性、環(huán)境光的適應(yīng)能力，對(duì)識(shí)別多標(biāo)識(shí)同時(shí)追蹤的容錯(cuò)能力有極高的要求。

提高基于圖像識(shí)別追蹤增強(qiáng)現(xiàn)實(shí)應(yīng)用性能的方法有[9-10]：利用圖像分割與光流法相結(jié)合，高效與準(zhǔn)確的運(yùn)動(dòng)捕捉，快速運(yùn)動(dòng)模糊圖像中識(shí)別標(biāo)識(shí)；通過平面自然圖像特征點(diǎn)的離線與在線，進(jìn)行實(shí)時(shí)訓(xùn)練來提高自然圖像識(shí)別的速度與適應(yīng)性；使用位移與旋轉(zhuǎn)運(yùn)動(dòng)平滑過濾器，來減少圖像識(shí)別誤差帶來的抖動(dòng)影響；通過實(shí)時(shí)檢測(cè)現(xiàn)實(shí)環(huán)境亮度并對(duì)圖像亮度閾值進(jìn)行調(diào)整來實(shí)現(xiàn)在不同光線條件下的自適應(yīng)能力等。

1.2 環(huán)境理解

當(dāng)移動(dòng)AR技術(shù)被用在大范圍環(huán)境或者需要對(duì)場(chǎng)景中的物體進(jìn)行信息增強(qiáng)時(shí)，系統(tǒng)只需識(shí)別當(dāng)前場(chǎng)景中的目標(biāo)，并將相應(yīng)的虛擬信息疊加顯示在圖像中。

1.2.1 環(huán)境理解的關(guān)鍵點(diǎn)

(1)幀(Frame)。

即相機(jī)獲取的一幀圖像。在ARCore中，幀包含更豐富的內(nèi)容，提供了某一個(gè)時(shí)刻AR的狀態(tài)[11]。這些狀態(tài)包括：當(dāng)前幀的環(huán)境光線，在繪制內(nèi)容的時(shí)候根據(jù)光線控制物體的顏色；當(dāng)前幀中檢測(cè)到的特征點(diǎn)云和它的位置用來繪制點(diǎn)云；當(dāng)前幀中包含的錨點(diǎn)和二維平面集合用于繪制內(nèi)容和平面；設(shè)備當(dāng)前的位置、幀獲取的時(shí)間點(diǎn)、AR跟蹤狀態(tài)等[12-13]。

(2)特征點(diǎn)云(PointCloud)。

系統(tǒng)在檢測(cè)平面的時(shí)候，顯示的白色小點(diǎn)就是特征點(diǎn)云。特征點(diǎn)云包含了被觀察到的三維點(diǎn)和中心值的集合以及被ARCore檢測(cè)到的時(shí)間。

(3)二維平面(Plane)。

ARCore中所有的內(nèi)容，都要依靠平面類進(jìn)行渲染。系統(tǒng)中的虛擬物體只有在檢測(cè)到網(wǎng)格的地方才能放置。

ARCore中平面可分為水平朝上、朝下和非水平平面類型。其描述了對(duì)一個(gè)真實(shí)世界二維平面的認(rèn)知、平面的中心點(diǎn)、x和z軸方向長度以及組成平面多邊形的頂點(diǎn)。ARCore檢測(cè)到的平面分為三種狀態(tài)：正在跟蹤、可恢復(fù)跟蹤和永不恢復(fù)跟蹤。如果是沒有正在跟蹤的平面，包含的平面信息可能不準(zhǔn)確。如果發(fā)生兩個(gè)或者多個(gè)平面被自動(dòng)合并成一個(gè)父平面，可以通過子平面找到它的父平面。

(4)平面交集(PlaneHitResult)。

點(diǎn)擊平面的時(shí)候，從設(shè)備點(diǎn)擊開始手機(jī)朝向方向發(fā)出一條射線，看下和被檢測(cè)平面是否有交集。HitResult就是射線和真實(shí)世界幾何體的交集。如果是平面交集就是PlaneHitResult，如果是點(diǎn)云就是PoinCludHitResult。PlaneHitResult中可以判斷交集點(diǎn)是否在被檢測(cè)的集合范圍內(nèi)，是否在平面的正面。

(5)錨點(diǎn)(Anchor)。

每個(gè)物體的位置就是Anchor。Anchor位置會(huì)隨著手機(jī)或者攝像頭的位置變化而變化，這樣才能保持“位置不變”。Anchor描述了在現(xiàn)實(shí)世界中的固定位置和方向。

這個(gè)位置的數(shù)值描述將會(huì)隨著ARCore對(duì)空間理解的改進(jìn)而更新，使其保持在物理空間的固定位置。使用getPose( )獲取當(dāng)前數(shù)值位置，這個(gè)位置每次被調(diào)用的時(shí)候都可能會(huì)改變，但不會(huì)自發(fā)地改變。

(6)空間位置(Pose)。

Pose表示從一個(gè)坐標(biāo)系，到另一個(gè)坐標(biāo)系的精確的轉(zhuǎn)換。在所有的ARCore APIs中，Pose總是描述從物體的局部坐標(biāo)系到世界坐標(biāo)系的變換，來自ARCore API的Pose被認(rèn)為等同于OpenGL模型矩陣。

1.2.2 網(wǎng)格化與環(huán)境

網(wǎng)格化與環(huán)境是能夠識(shí)別對(duì)象的特征或是理解用戶環(huán)境的基礎(chǔ)，利用這些特征來幫助識(shí)別平面。ARCore可通過網(wǎng)格化技術(shù)來自動(dòng)識(shí)別表面，在其跟蹤表面的過程中，需要多次執(zhí)行網(wǎng)格化。

網(wǎng)格是一個(gè)顯示多邊形和構(gòu)成該多邊形的頂點(diǎn)有序集合的嵌入圖形[14]。頂點(diǎn)的順序是沿逆時(shí)針方向連接，這些點(diǎn)的連接順序會(huì)導(dǎo)致表面朝向的網(wǎng)格亮暗不同。渲染一個(gè)場(chǎng)景時(shí)只會(huì)看到朝向相機(jī)的表面，而遠(yuǎn)離相機(jī)的表面就會(huì)被去除或剔除，連接這些點(diǎn)的順序稱為纏繞。

網(wǎng)格化是指獲取特征點(diǎn)集合并從中構(gòu)建網(wǎng)格的過程，然后生成的網(wǎng)格通常設(shè)置陰影并渲染到場(chǎng)景中，由ARCore生成并放置表面或平面的網(wǎng)格。網(wǎng)格化算法過程如圖2所示。

圖2 網(wǎng)格化算法過程

1.3 光線估計(jì)

光線估計(jì)是一種復(fù)制現(xiàn)實(shí)世界中的光線條件并將其應(yīng)用到三維虛擬對(duì)象上的技術(shù)[15-16]。ARCore利用圖像分析技術(shù)從攝像機(jī)采集的圖像中讀取光線強(qiáng)度，并將其轉(zhuǎn)換成全局光強(qiáng)度或顏色值，以及著色器上設(shè)置的光線的值。程序處理包括漫游方式、交互功能等。以往的瞬時(shí)移動(dòng)可能會(huì)讓體驗(yàn)者在頻繁切換的場(chǎng)景中迷失方向，因此需要改善移動(dòng)方式。交互功能一般情況下采用觸碰的方式。而晝夜切換是在程序中預(yù)設(shè)晝夜變換系統(tǒng)，通過光照來感知。

2 ARCore原理

利用移動(dòng)設(shè)備攝像機(jī)來實(shí)現(xiàn)設(shè)備的移動(dòng)跟蹤，包括陀螺儀、電子羅盤、加速度計(jì)、相機(jī)視覺信息、SLAM算法等[17]，采用PL-VIO[18]等算法利用點(diǎn)和線特征的緊密耦合的單目視覺慣性里程計(jì)系統(tǒng)，利用視覺慣性測(cè)距環(huán)境理解來識(shí)別水平和垂直平面，通過光線估計(jì)估算光源的角度和強(qiáng)度。

2.1 架構(gòu)原理

ARCore在運(yùn)行時(shí)兩路通道會(huì)同時(shí)打開，運(yùn)用SLAM算法來支持分析原因。在SLAM算法中，視野越大效果越好，用于SLAM運(yùn)算的通道是用其中一路來進(jìn)行渲染。

Session類是SDK對(duì)外接口的核心，用來封裝相機(jī)預(yù)覽到的現(xiàn)實(shí)世界和手機(jī)慣性傳感器信息。通過Session的核心算法，來獲取特征點(diǎn)、平面、光照估計(jì)等。

Ancho類描述了建模的物體在現(xiàn)實(shí)世界中的固定位置和方向。這個(gè)位置的數(shù)字描述信息會(huì)改變，它會(huì)隨著自身對(duì)空間更新的理解而不斷地改進(jìn)。

Pose類表示從一個(gè)坐標(biāo)空間到另一個(gè)坐標(biāo)空間位置不變的轉(zhuǎn)換。

LightEstimate類保存真實(shí)場(chǎng)景中光照的估計(jì)信息。

Trackable接口類使ARCore與錨點(diǎn)綁定在一起并且可以進(jìn)行跟蹤。

Camera類用于捕獲圖像的攝像頭信息。Camera是一個(gè)長期存活的對(duì)象，每次調(diào)用Session.update() 都會(huì)更新Camera的屬性。

2.2 ARCore核心方法

ARCore核心方法如下：

(1)public Session(Context context)：通過Session獲取幀和平面。

(2)public void resume：打開相機(jī)和慣性傳感器設(shè)備獲取信息和執(zhí)行核心算法。

(3)public Frame update：從Session中得到幀，包含特征點(diǎn)、姿態(tài)、光照、圖像等信息。

(4)public void setCameraTextureName(int textId)：獲取現(xiàn)實(shí)世界的紋理ID。

(5)public Collection getAllAnchors：獲取所有錨點(diǎn)。

(6)getAllTrackables(Class trackable)：獲取所有繼承的平面和點(diǎn)。

(7)public Anchor createAnchor(Pose var1)：根據(jù)空間位置創(chuàng)建錨點(diǎn)。

(8)public List getSupported -CameraConfigs：獲取相機(jī)所有的支持項(xiàng)。

(9)frame.getLightEstimate(). getColor -Correction (colorCorrectionRgba,0)：獲取光線。

(10)PointCloud pointCloud=frame.Acquire -PointCloud：獲取點(diǎn)云。

(11)backgroundRenderer.draw(frame)：根據(jù)模型矩陣、光照估計(jì)、投影矩陣?yán)L制虛擬物體。

ARCore的核心算法使虛擬環(huán)境在現(xiàn)實(shí)中更加真實(shí)。

3 系統(tǒng)設(shè)計(jì)

采用ARCore進(jìn)行核心方法設(shè)計(jì)，實(shí)現(xiàn)移動(dòng)平臺(tái)上的場(chǎng)景可視化與互動(dòng)教學(xué)。系統(tǒng)設(shè)計(jì)方案如圖3所示。

圖3 系統(tǒng)設(shè)計(jì)方案

利用ARCore構(gòu)建Android Unity和Wech平臺(tái)下的增強(qiáng)現(xiàn)實(shí)，基于Firebase的跟蹤服務(wù)能夠跟蹤用戶的運(yùn)動(dòng)，實(shí)現(xiàn)在多個(gè)應(yīng)用程序跟蹤用戶，或同時(shí)跟蹤多個(gè)用戶，編寫服務(wù)器程序、建立數(shù)據(jù)庫、制定一種架構(gòu)模式。在移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)建模的制作過程中，前期要收集整理項(xiàng)目資料以及需要項(xiàng)目的架構(gòu)圖，并且對(duì)真實(shí)環(huán)境進(jìn)行數(shù)據(jù)采集。

3.1 ARCore的可視化運(yùn)動(dòng)跟蹤

ARCore通過實(shí)時(shí)跟蹤用戶來具體使用跟蹤服務(wù)，并在AR應(yīng)用程序中建立可視化跟蹤數(shù)據(jù)。設(shè)置一個(gè)重復(fù)計(jì)時(shí)器，使之每秒調(diào)用一個(gè)匿名函數(shù)。這樣是為了跟蹤每秒的運(yùn)動(dòng)，也可以像在多人游戲中那樣跟蹤每一幀運(yùn)動(dòng)。最后在設(shè)備的瀏覽器中運(yùn)行，可以讓設(shè)備四處移動(dòng)。切換到數(shù)據(jù)庫終端，可觀察到數(shù)據(jù)流進(jìn)入數(shù)據(jù)庫。任意擴(kuò)展數(shù)據(jù)點(diǎn)，并查看捕獲的數(shù)據(jù)值，就可以看到采集的數(shù)據(jù)了。把這些數(shù)據(jù)在二維或三維中進(jìn)行可視化，利用發(fā)送到數(shù)據(jù)庫的相同數(shù)據(jù)來繪制用戶經(jīng)過的三維路徑。核心代碼如圖4所示。

圖4 可視化核心代碼

調(diào)用THREE.LineBasicMaterial創(chuàng)建一條基準(zhǔn)線material，并賦予十六進(jìn)制的顏色值。接下來，根據(jù)當(dāng)前的pos和lastPos變量以及material創(chuàng)建 geometry，即line。利用每個(gè)位置上x、y和z的值構(gòu)建Vector3對(duì)象來實(shí)現(xiàn)。最后，利用scene add(line)函數(shù)在場(chǎng)景中添加line。當(dāng)利用設(shè)備四處運(yùn)動(dòng)時(shí)就會(huì)有一條可視化運(yùn)動(dòng)軌跡的藍(lán)色的線。ARCore中的運(yùn)動(dòng)跟蹤是通過識(shí)別和跟蹤用戶周圍的可識(shí)別特征來完成的，然后利用這些點(diǎn)以及設(shè)備的朝向和加速度傳感器保持跟蹤更新。如果沒有這些信息，就無法實(shí)現(xiàn)準(zhǔn)確跟蹤。

3.2 環(huán)境理解與交互

ARCore可以提供在用戶周圍識(shí)別到的特征點(diǎn)和平面，并且根據(jù)這些識(shí)別點(diǎn)或平面，生成虛擬對(duì)象。由于ARCore可以跟蹤這些點(diǎn)和平面，因此在用戶移動(dòng)對(duì)象時(shí)，附著在平面上的虛擬對(duì)象應(yīng)保持固定不變。

通過USB或遠(yuǎn)程將設(shè)備與開發(fā)機(jī)器相連，在設(shè)備上構(gòu)建和運(yùn)行應(yīng)用系統(tǒng)。繪制點(diǎn)云數(shù)據(jù)需要花費(fèi)一段時(shí)間，并且隨著點(diǎn)的個(gè)數(shù)的增加，在一個(gè)方向保持設(shè)備的時(shí)間就越長。這些點(diǎn)表示用于跟蹤和解釋環(huán)境的可識(shí)別特征點(diǎn)。放置對(duì)象用光線投射技術(shù)，光線投射技術(shù)可在兩個(gè)維度上獲取觸摸點(diǎn)，并向場(chǎng)景投射光線，然后該射線測(cè)試場(chǎng)景中產(chǎn)生碰撞的其他對(duì)象。

3.3 光線方向估計(jì)

ARCore根據(jù)來自設(shè)備的當(dāng)前圖像，通過圖像分析算法確定光線強(qiáng)度，并作為全局光線用于三維對(duì)象。通過Shader.SetGlobalFloat(“_ GlobalLight -Estimation”, 1.0f)語句，將著色器變量設(shè)為1，也就是將光線強(qiáng)度設(shè)為1.0。調(diào)用Frame.LightEstimate. PixelIntensity，從相機(jī)讀取圖像確定當(dāng)前像素強(qiáng)度，并歸一化處理。最終通過線性模型進(jìn)行光線估計(jì)。光線方向的估計(jì)也是利用Frame.LightEstimate. PixelIntensity讀取相機(jī)方向的光強(qiáng)度，檢查該值是否小于之前的所有值，如果小于，則在相機(jī)的相反方向上旋轉(zhuǎn)光線。

在互動(dòng)教學(xué)中，可以將攝像頭對(duì)準(zhǔn)任何平面，生成網(wǎng)格化平面的效果如圖5所示，利用數(shù)據(jù)顯示運(yùn)動(dòng)軌跡，點(diǎn)擊平面后疊加虛擬場(chǎng)景，通過觸摸移動(dòng)事件和表面跟蹤，在場(chǎng)景放置物體(如椅子)并進(jìn)行位置調(diào)節(jié)等完成室內(nèi)空間的布局，如圖6所示。

圖5 生成網(wǎng)格化平面

圖6 虛擬場(chǎng)景互動(dòng)效果

4 結(jié)束語

現(xiàn)在人工智能和增強(qiáng)現(xiàn)實(shí)技術(shù)在社會(huì)中的地位穩(wěn)步上升，這些領(lǐng)域的核心關(guān)鍵技術(shù)在逐步實(shí)現(xiàn)突破。SLAM跟蹤定位給增強(qiáng)現(xiàn)實(shí)在構(gòu)建完整地圖提供了良好的開端，采用ARCore進(jìn)行架構(gòu)和核心方法設(shè)計(jì)，通過運(yùn)動(dòng)追蹤和定位，環(huán)境理解及光線估計(jì)計(jì)算出虛擬世界與現(xiàn)實(shí)世界坐標(biāo)系的對(duì)應(yīng)關(guān)系，進(jìn)行移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)交互體驗(yàn)。在這些應(yīng)用系統(tǒng)設(shè)計(jì)中，不希望跟蹤定位等占用所有計(jì)算資源，所以對(duì)小型化和輕量化提出了強(qiáng)烈的需求。另一方面，利用高性能計(jì)算設(shè)備實(shí)現(xiàn)精密的三維重建和場(chǎng)景理解成為必然。未來將和深度學(xué)習(xí)技術(shù)結(jié)合，為構(gòu)建準(zhǔn)確的語義地圖打下基礎(chǔ)，將神經(jīng)網(wǎng)絡(luò)方法引入到物體識(shí)別和分割，甚至位姿估計(jì)和檢測(cè)中，使增強(qiáng)現(xiàn)實(shí)系統(tǒng)能夠在各種干擾的條件下穩(wěn)定運(yùn)行。