基于混合注冊方式的海洋環(huán)境增強現(xiàn)實系統(tǒng)

鄒國良　屠正飛　鄭宗生

(上海海洋大學信息學院　上海 201306)

?

基于混合注冊方式的海洋環(huán)境增強現(xiàn)實系統(tǒng)

鄒國良屠正飛鄭宗生

(上海海洋大學信息學院上海 201306)

針對單一傳感器無法解決海洋環(huán)境增強現(xiàn)實系統(tǒng)中跟蹤注冊的問題，提出融合智能手機AGPS、電子羅盤和加速度傳感器測定視線方向的多傳感器注冊與基于海天線特征標識的視覺跟蹤注冊的混合注冊方法，并通過擴展卡爾曼濾波器實現(xiàn)多傳感器有效融合以提高三維注冊精度。以真實海洋環(huán)境及海洋數(shù)值預報為例，提出適應海洋動態(tài)環(huán)境的增強現(xiàn)實框架，利用Vuforia AR實現(xiàn)了原型系統(tǒng)，并對混合注冊方法進行了驗證。結(jié)果表明，該技術(shù)框架及注冊方法有較強的可用性和實用性，在海洋動態(tài)環(huán)境的增強現(xiàn)實中具有廣泛應用前景。

增強現(xiàn)實混合注冊數(shù)值預報海洋環(huán)境Vuforia

0　引　言

傳統(tǒng)二維、三維地理信息系統(tǒng)通常采用地圖和圖像等作為地理信息可視化的表達方式，并通過抽象符號、地圖注記來表示地理實體，但是這些符號和注記已不能滿足地理學家對真實場景表達的需求，因此新興的增強現(xiàn)實技術(shù)開始逐漸被用于地理信息的可視化[1]。增強現(xiàn)實AR(Augmented Reality)技術(shù)通過將虛擬的信息(如圖形、文字注釋等)疊加到真實的環(huán)境中，從而增強人類視覺體驗效果[2]。

虛實物體無縫融合的實現(xiàn)，須將虛擬物體疊加到現(xiàn)實環(huán)境中的準確位置，此過程稱為跟蹤注冊，它是增強現(xiàn)實系統(tǒng)中研究的重難點[3,4]。目前室內(nèi)的跟蹤注冊主要采用基于視覺跟蹤的圖像注冊方式[5]，通過對視頻流檢測出事先制定好的圖像標識進行匹配，解算攝像機內(nèi)部和外部參數(shù)計算投影模型，渲染虛擬物體，最后實現(xiàn)空間信息的虛實融合。這種注冊方式精度高、無需借助其他傳感器，但是圖像匹配算法復雜，多采用線性迭代，系統(tǒng)延遲性高、造成誤差難控制、魯棒性弱等缺點[6]。另一種針對戶外環(huán)境的跟蹤注冊是基于硬件傳感器的注冊方式，采用GPS、電子羅盤和陀螺儀等傳感器獲取物體的位置和姿態(tài)數(shù)據(jù)，通過坐標變換獲取虛擬物體在真實世界中的位置，繼而完成虛實融合?；谟布鞲衅鞯淖苑绞绞軅鞲衅骶群蛻T性漂移影響較大,其匹配精度很難滿足一般戶外環(huán)境跟蹤注冊的要求[7]。因此，實際應用中常采用多種跟蹤注冊技術(shù)相結(jié)合的混合注冊方式[8-10]，如美國南加利福尼亞大學的研究人員利用慣性傳感器與基于模型的視覺跟蹤注冊結(jié)合的混合跟蹤方法進行戶外的跟蹤定位[11]；西班牙Paloc科研團隊用慣性傳感器與基于平面視覺檢測相結(jié)合的方法進行跟蹤定位[12]。

由于自然環(huán)境多樣，特別是真實的海洋環(huán)境瞬息萬變，跟陸地要素標識不同，海洋要素標識時刻動態(tài)變化[13,14]，很難找到有效可靠的標識。針對以上問題，本文以中國上海自貿(mào)區(qū)洋山深水港區(qū)附近海域為研究對象，提出了海洋動態(tài)環(huán)境下增強現(xiàn)實的混合注冊方法。以智能手機內(nèi)置網(wǎng)絡輔助GPS定位系統(tǒng)進行精確定位，電子羅盤、加速度傳感器相結(jié)合測定視線方向，同時基于海天線標記的視頻檢測對定位進行二次匹配，以提高混合注冊精度。以海洋預報流場為空間建模對象，構(gòu)造出一個在地理空間、視覺空間統(tǒng)一的增強現(xiàn)實地理信息系統(tǒng)。讓用戶在現(xiàn)場就能夠察看具有立體逼真的海洋要素并可以根據(jù)需要隨時查詢感興趣海情信息，實現(xiàn)洋山港區(qū)海情的實時多方位展示，為海浪災害預警、洋山港區(qū)海洋工程防護及航運提供重要依據(jù)。

1　關(guān)鍵技術(shù)

1.1海洋環(huán)境增強現(xiàn)實混合注冊方法

基于視覺圖像的跟蹤注冊受應用環(huán)境影響較大，在有標志物且環(huán)境變化較小的情況下，可以達到較為滿意的效果。但對環(huán)境變化較大，且標識物很難選取的海洋環(huán)境，視覺跟蹤算法的實時性和精確度不高?；谟布鞲衅鞯母欁苑绞接嬎爿^少，延遲小，更適合在移動終端上創(chuàng)建增強現(xiàn)實環(huán)境，但其定位精度有限且傳感器存在漂移誤差[15]。鑒于硬件傳感器跟蹤注冊與視覺圖像跟蹤注冊的性能互補，本文采用傳感器跟蹤定位與海天線標識匹配的混合注冊策略，以提高海洋環(huán)境移動增強現(xiàn)實系統(tǒng)跟蹤注冊的精度和穩(wěn)定性。

(1) 位置定位：輔助全球衛(wèi)星定位系統(tǒng)AGPS(Assisted Global Positioning System)，是傳統(tǒng)衛(wèi)星定位與GPRS/GSM定位相結(jié)合的定位技術(shù)。配備AGPS的手機以GPRS/GSM作為輔助服務器協(xié)助衛(wèi)星信號接收機完成定位服務。AGPS比單一硬件傳感的GPS定位精度高、延時性小，更適合于戶外增強現(xiàn)實系統(tǒng)。

(2) 視線定位：智能手機同時內(nèi)嵌了攝像頭、AGPS、慣性傳感器，因此攝像機的姿態(tài)數(shù)據(jù)等同于手機的姿態(tài)數(shù)據(jù)，攝像機的姿態(tài)數(shù)據(jù)包括偏航角(Azimuth)、俯仰角(Pitch)和傾斜角(Roll)。如圖1所示，手機的坐標系統(tǒng)由X、Y、Z軸組成，手機正常抓握時，視線的水平方向表示X軸，向右為正方向，手機繞X軸旋轉(zhuǎn)相對于水平面的角度為俯仰角(Pitch)；視線的垂直方向為Y軸，向上為正方向，手機繞Y軸旋轉(zhuǎn)相對于水平面的角度為傾斜角(Roll)；垂直手機屏幕的方向為Z軸，向上為正方向，手機繞Z軸的旋轉(zhuǎn)角為偏航角，即Y軸與地磁北極間的夾角。其中偏航角Azimuth由電子羅盤傳感器測量的讀數(shù)計算獲取，俯仰角Pitch和傾斜角Roll通過加速度傳感器測量值進一步計算獲取。

圖1　手機的姿態(tài)與海天線跟蹤結(jié)果

(3) 視覺跟蹤定位：針對海天線標識特征的檢測，本文采用了Sobel邊緣檢測算子結(jié)合Hough 變換的方法提取海天線，由于手機姿態(tài)的變化，海天線可能處在圖像的非水平位置，在Sobel算子中增加了0、π/4、π/2、3π/4四個方向的檢測模板，可使算子提取到由于手機旋轉(zhuǎn)造成的不同方向邊緣信息。提取的海天線信息如圖2中X′方向，可對手機水平姿態(tài)X軸進行二次定標，提高注冊精度。采用的改進Sobel模板如下：

(4) 坐標變換：經(jīng)緯度坐標轉(zhuǎn)化到視覺平面像素坐標，涉及5個坐標系：大地坐標系(B,L,H)、世界坐標系(Xw,Yw,Zw)、攝像機坐標系(Xc,Yc,Zc)、像平面坐標系(x,y,z)、影像平面坐標系(u,v)。這些坐標系空間位置關(guān)系如圖2所示。

圖2　世界坐標系到影像平面坐標系位置關(guān)系

利用一系列通用坐標轉(zhuǎn)換公式可得到影像平面坐標系中的點與世界坐標系中的點對應關(guān)系：

(1)

其中：f為OcO1距離即像距，(u0,v0)定義為像平面坐標系在影像平面坐標系中的坐標，dx、dy定義為單位像素在x、y軸上的物理尺寸。T為位移向量，一般地，世界坐標系與攝像機坐標系的原點相重合，即T=0。R為3×3正交單位旋轉(zhuǎn)矩陣，R具有三個自由度，可由手機(攝像機)姿態(tài)數(shù)據(jù)β、α、φ來表示：

(2)

其中：β為手機俯仰角Pitch，α為手機偏航角Azimuth，φ為手機傾斜角Roll。

(3)

本文采用的世界坐標系使用WGS-84空間坐標系，WGS-84空間坐標系中坐標(X,Y,Z)與大地坐標系中的經(jīng)緯坐標(B,L,H)存在如下轉(zhuǎn)化關(guān)系：

(4)

令H=0，Z =0，得到：

(5)

真實的世界坐標系中的物體坐標為(Xw+X0,Yw+Y0,0)，將Xw+X0、Yw+Y0取代式(5)中X和Y，再代入到式(3)中可以得到影像平面坐標系與大地坐標系的對應關(guān)系：

(6)

其中，u0、v0、fx、fy是攝像機的內(nèi)參數(shù)，可以由張正友標定法[16]后得到，其值經(jīng)過標定后在不同的視場保持不變。r11、r12、r21、r22、r31、r32由智能手機的姿態(tài)數(shù)據(jù)仰視角、偏航角和傾斜角經(jīng)過式(2)計算得到。至此，由式(6)可以進行經(jīng)緯度坐標到視覺平面中的像素坐標的轉(zhuǎn)換，從而完成圖像的實時注冊。

(5) 信息融合：電子羅盤、AGPS、加速度傳感器獲取的信息與基于視覺跟蹤的海天線標識定位結(jié)果進行綜合對比來修正注冊精度，本文采用擴展卡爾曼濾波器按照最小均方差準則來完成多種傳感器及視覺跟蹤注冊結(jié)果的融合，如圖3所示。

圖3　混合注冊信息融合框架

1.2流場預報與服務發(fā)布

海洋流場預報采用ROMS(Regional Ocean Model System)區(qū)域海洋模式。預報結(jié)果生成的數(shù)據(jù)為通用的網(wǎng)絡數(shù)據(jù)格式NetCDF(Network Common Data Form)格式。模型東西向距離約為360 km，南北向約為325 km，并對洋山港實驗區(qū)進行的局部加密。為了整合不同異構(gòu)空間地理數(shù)據(jù)，預報流場數(shù)據(jù)通過地圖服務形式進行發(fā)布。Web Service作為新一代分布式應用集成的技術(shù)，具有較強的互操作性，易于將現(xiàn)有應用集成為新的系統(tǒng)[17]。利用Web Service技術(shù)，將GIS地圖以服務的方式發(fā)布，同時把海洋模型處理過程也以服務的方式封裝和發(fā)布。本文主要通過ArcGIS Server服務管理器以Map Service類型進行發(fā)布。流場數(shù)據(jù)在網(wǎng)絡中主要通過JSON數(shù)據(jù)格式傳輸，可以滿足不同異構(gòu)平臺讀取空間數(shù)據(jù)的需要，同時減小數(shù)據(jù)傳輸量，保證實時性要求。

1.3流場要素建模

設空間任意一點流場矢量起止點分別為S1(x1,y1,z1)、S2(x2,y2,z2)，流場大小為V、流場方向為D，OXYZ為世界坐標系。如圖4所示，S1為標注空間矢量流場起點，S2可通過大小及方向計算，流場的大小與實際地面距離通過比例尺進行等比例縮放以適合移動端瀏覽。為了減小數(shù)據(jù)的計算量，流場模型由椎體及的線段組合而形成簡單的幾何形體，其中箭頭表示流場大小、長度代表流速大小，以上數(shù)據(jù)通過Web Services直接從數(shù)據(jù)庫讀取流速、流向及起點空間坐標信息，并在移動端實時建模，然后通過空間坐標變換實時繪制。

圖4　海洋預報流場矢量建模

2　系統(tǒng)實現(xiàn)

2.1系統(tǒng)框架

整個移動增強現(xiàn)實系統(tǒng)由移動端與服務器端構(gòu)成。如圖5所示，移動端與服務器端通信通過GPRS/GSM或3G服務實現(xiàn)，負責傳輸服務器端每個計算網(wǎng)格的流場數(shù)據(jù)。移動端讀取網(wǎng)格中流場數(shù)據(jù)進行三維建模，并通過CCD攝像頭影像進行海天線標識的提取及定位傳感器、姿態(tài)傳感器對流場模型進行坐標變換，形成位置準備的虛擬圖像與真實視頻圖像進行融合，形成最終的增強現(xiàn)實視頻序列。

圖5　海洋流場信息戶外移動增強現(xiàn)實系統(tǒng)框架

2.2軟硬件環(huán)境

移動端為智能手機小米2S(電信版)：2 GB內(nèi)存，四核CPU，后置800萬像素攝像頭；內(nèi)置的硬件主要包括AGPS、通信模塊(GPRS/GSM/3G)、陀螺儀、重力感應器、加速度傳感器、電子羅盤等，手機已開通3G網(wǎng)絡服務。通過張正友標定法得到混合注冊時的手機攝像頭內(nèi)參數(shù)如下:u0=239.017像素,v0=340.377像素,fx=677.848像素,fy=680.795像素。

Vuforia增強現(xiàn)實軟件開發(fā)工具包(Vuforia Augmented Reality SDK)，是美國高通公司開發(fā)的用于移動設備的增強現(xiàn)實工具包。實驗環(huán)境采用Vuforia AR sdk 4.0，SDK支持Image Targets、Multi-Targets、User Defined Targets等多種視覺跟蹤注冊方式。通過手機攝像頭獲取真實場景影像，采用Sobel邊緣檢測算法及Hough 變換擬合，提取和跟蹤海天線標識，其結(jié)果存儲在狀態(tài)對象中，可以被其他程序調(diào)用。手機的姿態(tài)信息可以通過QCAR::Matrix44F方法獲取，對流場三維模型可以通過translateM、rotateM、scaleM函數(shù)進行變換，使其疊置到真實的視頻序列。

服務器端為OpenSpark構(gòu)建的云平臺環(huán)境，8 GB內(nèi)存、80 GB硬盤。軟件包括：Oracle 11g數(shù)據(jù)庫、ArcSDE10.1空間數(shù)據(jù)引擎，GIS服務數(shù)據(jù)服務主要通過ArcGIS Server 10.1發(fā)布地理信息及預報數(shù)據(jù)服務。

2.3流場數(shù)據(jù)結(jié)構(gòu)

本試驗采用的流場的數(shù)據(jù)結(jié)構(gòu)比較簡單沒有包含流場的拓撲信息，流場文件的空間數(shù)據(jù)結(jié)構(gòu)包括計算網(wǎng)格標識、網(wǎng)格中心點坐標X、中心點坐標Y、流速及流向信息，流向以正北方向為0，如表1所示。

表1　預報流場矢量數(shù)據(jù)結(jié)構(gòu)

2.4精度分析

利用高精度GPS設備預先設定三個點的坐標，然后用手機分別進行單GPS定位與網(wǎng)絡輔助GPS定位對比兩者精度，其中GPS的定位精度分別為：3.02、 3.52 、4.48 m， AGPS的定位精度分別為2.93、2.20、2.96 m，可見AGPS的定位精度較單GPS定位精度更高。在實驗現(xiàn)場將開啟攝像功能的手機固定在攝像機無磁三軸轉(zhuǎn)臺分別對偏航角(Azimuth)、俯仰角(Pitch)和傾斜角(Roll)變化0°、15°、30°、45°、60°、75° 和90°后，采用混合注冊計算旋轉(zhuǎn)后的角度，同時關(guān)閉攝像功能直接提取相機的姿態(tài)做前后對比，如表2所示。從表中數(shù)據(jù)可以看出采用混合注冊方法后手機姿態(tài)數(shù)據(jù)的精度有了明顯的提升。

表2　手機姿態(tài)注冊精度

2.5測試結(jié)果

圖6　洋山港戶外觀測站增強現(xiàn)實測試

本次實驗的測試地點為洋山深水港附近的觀測站。測試時，先打開手機的網(wǎng)絡數(shù)據(jù)服務和GPS定位服務，然后點擊進入系統(tǒng)手機后置攝像頭自動打開，等待幾秒鐘后屏幕左上方會顯示手機當前的經(jīng)緯度坐標和手機的姿態(tài)數(shù)據(jù)。將攝像頭對準海面，海洋流場信息會疊加在屏幕上，如圖6(a)所示；當點擊手機屏幕上的任意海面位置，可查詢當前海面位置處的流速、流向信息，如圖6(b)所示。通過這些簡單的操作方式可以得到真實場景視覺體驗和有效信息的獲取，為海洋災害預警和近海船只航行提供重要依據(jù)。

3　結(jié)　語

本文面向海洋動態(tài)環(huán)境增強現(xiàn)實系統(tǒng)中的跟蹤注冊問題提出了基于海天線特征標識與智能手機硬件傳感器注冊融合的混合三維注冊方法，有效地提高注冊的精度滿足了海洋動態(tài)環(huán)境下的三維注冊實時性的需要，延伸了虛實融合的空間范圍。但是本文只選取了海天線這一特征作為視覺跟蹤注冊的標識。如何在海洋這種特征的動態(tài)環(huán)境中挖掘其他有效的特征標識，整合智能手機中各種傳感器實現(xiàn)多傳感器數(shù)據(jù)的有效融合，更進一步地提高混合注冊的精度和穩(wěn)定性成為下一步的重點研究方向。

[1] Azuma R,Baillot Y,Behringer R,et al.Recent advances in augmented reality[J].IEEE Computer Graphics and Applications,2001,21(6):34-47.

[2] Bostanci E,Kanwal N,Ehsan S,et al.User Tracking Methods for Augmented Reality[J].International Journal of Human Computer Studies,2013,5(1):93-98.

[3] 李丹,程耕國.基于Android平臺的移動增強現(xiàn)實的應用與研究[J].計算機應用與軟件,2015,32(1):16-19,23.

[4] 陳鵬,管濤.基于仿射重投影的增強現(xiàn)實三維注冊方法[J].計算機輔助設計與圖形學學報,2010,22(3):480-486.

[5] 史曉琳,邊耐政.手機增強現(xiàn)實室內(nèi)向?qū)У难芯颗c實現(xiàn)[J].計算機應用與軟件,2013,30(2):320-323.

[6] 朱淼良,姚遠,蔣云良.增強現(xiàn)實綜述[J].中國圖象圖形學報,2004,9(7):767-774.

[7] 陳靖,王涌天,劉越,等.適用于戶外增強現(xiàn)實系統(tǒng)的混合跟蹤定位算法[J].計算機輔助設計與圖形學學報,2010,22(2):204-209.

[8] 趙峰,趙清華,陳宏濱.基于EKF和數(shù)據(jù)融合的移動臺跟蹤定位算法[J].計算機工程,2012,38(22):244-247.

[9] 王崴,彭勃宇,周誠,等.面向增強現(xiàn)實的多傳感器組合位姿注冊算法[J].傳感器與微系統(tǒng),2015,34(7):132-136.

[10] 李薪宇,陳東義.緊耦合多傳感器混合跟蹤算法[J].中國圖象圖形學報,2011,16(10):1951-1956.

[11] Jiang B,Neumann U,You S.A robust hybrid tracking system for outdoor augmented reality[C]//Proceedings of IEEE Virtual Reality,Chicago,2004:3-10.

[12] Barandiaran I,Paloc C.Hybird tracking for outdoor augmented reality applications[J].Computer Graphics Topics,2006,18(4):6-15.

[13] 張鎖平,張春田.基于全變差和脊波變換的海岸線提取算法[J].儀器儀表學報,2009,30(12):2580-2585.

[14] 李永進,金一丞,任鴻翔.基于物理模型的近岸海浪建模與實時繪制[J].中國圖象圖形學報,2010,15(3):518-523.

[15] 羅斌,王涌天,沈浩,等.增強現(xiàn)實混合跟蹤技術(shù)綜述[J].自動化學報,2013,39(8):1185-1201.

[16] 馬頌德,張正友.計算機視覺[M].北京:科學出版社,1998:52-63.

[17] 許蕾,李言輝,陳林,等.一種面向用戶需求的Web服務測試方法[J].計算機學報,2014,37(3):512-521.

MARINE ENVIRONMENT AUGMENTED REALITY SYSTEM BASED ON HYBRID REGISTRATION MODE

Zou GuoliangTu ZhengfeiZheng Zongsheng

(CollegeofInformationTechnology,ShanghaiOceanUniversity,Shanghai201306,China)

In view of single sensor can not provide a complete solution for tracking registration in marine environment augmented reality system, we proposed a mixed registration method, it integrates the registration of multiple sensors including assisted global positioning system (AGPS) of smart phone, electronic compass and acceleration sensor measuring the sight direction with the sea-sky-line feature mark-based vision tracking registration, and achieves effective integration of multi-sensor through extended Kalman filter to improve the precision of 3D registration. Taking real marine environment and marine numerical forecasting as the example, we presented an augmented reality framework adapted to dynamic marine environment and used Vuforia augmented reality (AR) to implement the prototype system, and verified the hybrid registration method as well. Results showed that this technology framework and the registration method have strong availability and practicality, and have extensive application prospect in dynamic marine environment augmented reality.

Augmented realityHybrid registrationNumerical forecastingMarine environmentVuforia

2015-07-19。山東省海洋生態(tài)環(huán)境與防災減害重點實驗室開放基金項目(2012011)。鄒國良，教授，主研領域：海洋信息化，海上無線通信技術(shù)。屠正飛，碩士生。鄭宗生，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.10.035