基于位置的增強現(xiàn)實街景留言系統(tǒng)①

蔣 浩

(浙江理工大學 信息學院,杭州 310018)

增強現(xiàn)實技術(Augmented Reality,簡稱AR),是一種將真實世界信息和虛擬世界信息“無縫”結合的技術,該技術將虛擬的信息(視覺信息、聲音、味道等)通過電腦等系統(tǒng)處理,模擬仿真后疊加在真實世界中,表現(xiàn)為真實的環(huán)境和虛擬的物體實時地疊加到同一個畫面或空間,滿足了用戶超越現(xiàn)實的感官體驗.深度學習是近年來在大數(shù)據環(huán)境下興起的一門機器學習技術,其實質是通過構建具有多層結構的機器學習模型和海量的訓練數(shù)據來學習數(shù)據中的復雜特性,用于之后的分析、預測等應用.由于其具有海量數(shù)據的學習能力和高度的特征抽象能力,在諸多應用領域都取得了相比傳統(tǒng)方法的革命性的成功.

目前經典的AR 軟件包括谷歌星空地圖,用戶只需要將攝像頭對準天空,就可以在應用中看到各大恒星、星座的具體位置和準確信息,同時用戶也可以搜索特定的星星.星空地圖反應快速,使用起來非常流暢,幾乎成了天文愛好者的必裝app 之一.以及瑞典著名的家具品牌宜家推出的“IKEA Place”,該應用可以自動掃描環(huán)境,并根據房間尺寸調整3D 模型的大小,逼真模擬家具在房間放置的情境,為家具零售業(yè)帶來一場變革.但是可以看到,這些產品的功能以及其與人的互動方式都較為單一,用戶粘性不高,軟件使用頻率低.

據CNNIC 發(fā)布的報告,截至2018年6月,我國手機網民規(guī)模已達7.88 億,智能手機已經逐漸取代傳統(tǒng)PC 成為主要的上網終端,人們對移動社交的需求也隨之越來越高,然而陌生人之間想要交流卻又有安全等其他問題.

本系統(tǒng)通過創(chuàng)造一種新的社交方式來打破這個格局.而留言墻系統(tǒng),既能保護發(fā)言人的隱私,又能讓不認識的人一起交流,作為虛擬社交的一種典型應用,具有受眾廣、用戶粘性大、活躍度高的特點.聯(lián)結同一場景下“共同感受”的人,區(qū)別于以往的社交方式,更能讓人融入這個場景,同時留言榜上可以發(fā)布尋物啟事以及廣告,更加豐富了人們的生活方式以及更具有商業(yè)價值.特別是基于地理位置服務(LBS)的移動留言系統(tǒng),因其目標人群定位準確,具有較高的認同度,無論在產品營銷、廣告宣傳還是信息咨詢等方面都具有巨大的發(fā)展?jié)摿蜕虡I(yè)價值.

目前國外也有關于AR 留言墻的報道,但是不太人性化,只有單一的普通留言功能用.而本系統(tǒng)希望實現(xiàn)的留言系統(tǒng)不僅僅是簡單的留言,而是一個聚合平臺,商家以及政府機關都可以接入,留言系統(tǒng)可以顯示消費者對商家的客觀評價、商家也可以自行留言推銷產品與促銷,以及民眾對政府機關的辦事效率評價或是政府各個窗口排隊的實時人數(shù)等.

1 系統(tǒng)總體結構

系統(tǒng)總體流程圖如圖1所示.

1)構建一個深度學習模型進行圖像的匹配,其作用主要是將掃描場景的圖像與數(shù)據庫中已有場景的圖像進行圖像匹配,篩選出相似度最高的場景圖像以待后續(xù)操作使用.

2)根據系統(tǒng)的信息需求、處理需求和數(shù)據庫的支撐環(huán)境,設計出高效、有序和支持多種數(shù)據格式的數(shù)據庫系統(tǒng).在通過深度學習模型得到相似度最高的場景信息之后,則需要在該數(shù)據庫中提取出該場景信息對應的留言信息,包括文字、語音、圖片、視頻.

3)利用AR 技術,將真實場景和虛擬對象進行疊加,這些虛擬對象包括文字、圖像、語音和視頻等.其中要利用到虛實結合技術將最后的結果顯示到手機上；利用實時交互技術來實現(xiàn)虛擬對象與現(xiàn)實世界之間的交互；利用三維注冊技術將虛擬對象準確的疊加到真實環(huán)境中去.

圖1 總體流程圖

2 系統(tǒng)的設計

從基于深度學習的街景對象識別的設計、基于MongDB 的街景對象數(shù)據庫的設計、基于AR 技術的留言信息展示的設計三方面進行介紹.采用的三重神經網絡,對特定的場景的深度學習比傳統(tǒng)方法更加的高效,突破傳統(tǒng)識別方式的缺陷,能降低環(huán)境變化帶來的影響.

多層級圖像數(shù)據庫設計.本系統(tǒng)采用地方數(shù)據庫的形式,將固定范圍內的數(shù)據作為一個數(shù)據包,結合用戶實時的定位信息進行匹配.能夠保證數(shù)據庫大小在一定范圍內,便于管理員管理；在進行圖片匹配時,能夠加快圖片匹配速度、提高匹配準確率.

突破了傳統(tǒng)AR 技術的應用(現(xiàn)實世界相關信息、視頻介紹等),本系統(tǒng)發(fā)展用戶與虛擬信息進行交互功能,交互功能包括用戶可以創(chuàng)建留言欄、添加留言、收到回復的留言等等.

2.1 基于深度學習的街景對象識別

景物和建筑的識別的目的是精準地調用相應的數(shù)據庫,識別功能是本系統(tǒng)的基礎,只有精準的識別才能保證產品的可靠性.近年來,人臉識別大熱,市場上智能手機都開始配備這項功能如iPhone XS、Mate 20 Pro 等.但是區(qū)別于人臉識別,本系統(tǒng)所需要識別的街景是建筑和景物.并且由于是在室外,會受到光照、遮擋和場景動態(tài)變化的干擾.基于以上幾點,我們開始研究適合我們系統(tǒng)的深度學習神經網絡結構并對已有的技術進行改進優(yōu)化.

基于圖像的局部特征,可以發(fā)現(xiàn)具有重復性的地方,一定程度上降低了視覺角度和光照方面帶來的影響.識別的時候重點檢查這些局部特性上的幾何特性和幾何排布特性可以進一步提升結果的可靠性.同時,全局照片也可以用來檢測,可拓展性更強,但是在光照和視角變化情況下,識別率會比較低.

目前已經有一些基于模型或者數(shù)據學習的工作,來設計一個更高效的從變化事物中找到不變特征的方法.我們研究的方法基于卷積神經網絡(CNN),因為他們具有更高的學習圖像模式的潛力.

本系統(tǒng)采用經過改進的孿生神經網絡——三重神經網絡來進行特定場景的識別[1].

孿生神經網絡簡單來說就是“連體的神經網絡”,神經網絡的連體通過共享權值來實現(xiàn),其中共享權值指的就是左右兩個神經網絡的權重一模一樣,基本結構如圖2所示.孿生神經網絡有兩個輸入,通過最后輸出的Loss 來衡量兩個輸入之間的相似程度[2].

圖2 共享權值

孿生神經網絡的目標是尋找兩個可比較對象的相似程度(例如,簽名驗證、人臉識別等).這個網絡有兩個相同的子網絡,兩個子網絡有相同的參數(shù)和權重.

孿生神經網絡在場景圖像匹配中的應用如圖3所示.第一個子網絡的輸入是一幅圖片,然后依次送到卷積層、池化層和全連接層,最后輸出一個特征向量.最后的向量f(x(1)) 是 對輸入x(1)的編碼.然后,向第二個子網絡(與第一個子網絡完全相同)輸入圖片x(2),我們對它做相同的處理,并且得到對x(2)的編碼fx(2).

圖3 孿生神經網絡的應用

為) 了比(較)圖片x(1)和x(2),我們計算了編碼結果fx(1)和fx(2)之間的距離.如果它比某個閾值(一個超參數(shù))小,則意味著輸入的圖片與圖像數(shù)據庫中的某張照片為同一場景,否則,輸入的照片并沒有存在于圖像數(shù)據庫中,即不為同一場景.

上式是計算x(1)和x(2)的編碼之間的距離[3].

系統(tǒng)采用的三重神經網絡則是在孿生神經網絡基礎上進行修改的,分別在兩個神經網絡最后的輸出增加了一個新的全連接層(沒有激活功能),具體結構如圖4.其中基本的神經網絡將采用在Imagenet 上訓練的流行的VGG-16 模型,VGGNet 的主要特性就是利用反復堆疊的3*3 小型卷積核和2*2 的最大池化核,其目的是在增加網絡深度的同時避免各層的輸入大小不會隨深度的增加而極具減小.而最后的loss 則采用歐幾里德距離來衡量輸入的相似性.整個工作流程如圖5[4,5].

圖4 三重神經網絡結構圖

2) Triplet loss 三重損失函數(shù)定義：

所謂三重損失函數(shù)指的是使用三幅圖片計算一個損失函數(shù)：一副固定影像A,一副正例圖像P (與固定影像是同一場景),以及一張反例圖像N (與固定影像不是同一場景)三重損失函數(shù)處理過程如圖6[6].

圖5 三重神經網絡工作流程

圖6 三重損失函數(shù)示意圖

表1為采用改進的孿生神經網絡——三重神經網絡識別校園各個景點識別精度結果.

表1 不同時間不同場景的街景識別精度

2.2 基于MongDB 的街景對象數(shù)據庫設計

基于位置的增強現(xiàn)實街景留言系統(tǒng)中的用戶信息、留言信息、留言墻信息和場景信息都需要數(shù)據庫技術的支持.而其中涉及存取大量的文字,圖片信息,甚至視頻信息等,此外考慮到此系統(tǒng)以后的被推廣以及大量用戶的使用造成數(shù)據量的極大上升帶來的查詢效率等一系列問題.這里我們采用的是基于分布式文件存儲的MongoDB 數(shù)據庫系統(tǒng).MongoDB 是一個開源的,基于分布式的,面向文檔存儲的非關系型數(shù)據庫,是非關系型數(shù)據庫中功能最豐富,并且最像關系型數(shù)據庫的.MongoDB 由C++語言編寫,旨在處理海量的數(shù)據,并能提供高效的性能和良好的可靠性[7,8].

本系統(tǒng)研究基于位置的增強現(xiàn)實街景留言系統(tǒng),該系統(tǒng)通過基于地理位置服務(Location Based Service,LBS)獲取當前位置附近的熱門留言墻,掃描目標景物,然后通過增強現(xiàn)實技術將留言信息疊加到移動終端捕捉到的場景中[9,10].

該數(shù)據庫主要包括用戶信息、留言信息、留言墻信息和場景信息4 個實體.

其中場景信息存儲有手機GPS和陀螺儀的信息,其目的是用于目標匹配時的第一輪篩選和推薦附近熱門區(qū)域.

在當用戶對目標景物進行掃描時,可通過手機定位信息來判斷是否進入深度學習模型來進行圖像匹配,這樣可以大大避免運算資源的浪費.

在當用戶進入系統(tǒng)界面時,系統(tǒng)可以根據手機的定位信息在地圖上標注出附件熱門留言墻以及熱門留言墻上TOP3 的簡要信息,引導人們去高人氣地區(qū).

用戶信息中還可以包含有微信帳號關聯(lián)的信息,然后用戶可以查看好友中熱門的留言區(qū)域,同時也可以跟微信好友進行互動,在看到自己喜愛的內容時進行點贊.

開發(fā)基于位置的增強現(xiàn)實街景留言系統(tǒng).經過可行性分析和初步的需求調查,確定了系統(tǒng)的功能邊界,該系統(tǒng)能完成以下的功能：

1) 用戶注冊(可以微信賬號注冊).

2) 用戶登錄.

3) 用戶可以查看自己的相關信息,如在哪些地方留過言,留言的關注度、點贊數(shù)等.

4) 根據用戶當前地理位置信息顯示附近留言墻信息.

5) 用戶對目標物體進行掃描,顯示當前標志物的留言墻及留言信息,若無留言墻,可以創(chuàng)建留言墻.

6) 用戶可以查看當前打開的留言墻上的信息,其中留言墻上微信好友的留言會有標識,也可以在上面以文字、語音、圖片、視頻等方式在上面留言.

圖7反映了基于位置的增強現(xiàn)實街景留言系統(tǒng)與用戶的接口,但未表明數(shù)據的加工要求,需要進一步細化.根據前面基于位置的增強現(xiàn)實街景留言系統(tǒng)功能邊界的確定,再對基于位置的增強現(xiàn)實街景留言系統(tǒng)頂層數(shù)據流圖中的處理功能進一步分解,可分解為用戶注冊、登錄、查詢個人信息、查詢附近留言墻、掃描目標物體查看留言墻或創(chuàng)建留言墻和留言六個子功能,這樣就得到了基于位置的增強現(xiàn)實街景留言系統(tǒng)的第0 層數(shù)據流圖.

圖7 系統(tǒng)頂層數(shù)據流圖

從圖8可以看出,在此系統(tǒng)的不同功能中,有必要對其進行更深層次的分析,圖9為掃描目標物體查看留言墻或創(chuàng)建留言墻數(shù)據流圖[11,12].

圖8 系統(tǒng)第0 層數(shù)據流圖

圖9 查看留言墻或創(chuàng)建留言墻數(shù)據流圖

2.3 基于AR 技術的留言信息展示

本系統(tǒng)在Unity 下基于高通(Vuforia)來實現(xiàn)虛擬事物在現(xiàn)實中的顯示.

如圖10為基于Unity3D 的增強現(xiàn)實系統(tǒng)的工作流程,也即是增強現(xiàn)實實現(xiàn)原理,大體上包括圖像獲取、圖像匹配以及虛實結合等部分內容[13,14].

圖10 AR 工作流程

系統(tǒng)通過攝像頭獲取到識別對象,通過識別對象上的特征點將它與系統(tǒng)中本已上傳的識別圖進行匹配達到虛擬與現(xiàn)實結合的目的.而實現(xiàn)這一功能,我們采用Vuforia SDK.Vuforia 調用計算機攝像頭,利用視覺技術實時識別和捕捉來控制虛擬物體與識別圖位置關系.

Vuforia 對被識別的模型有著相應的要求：

1) 對象被假定為靜態(tài)的,在被檢測到后,將不得不在環(huán)境中保持靜態(tài).用戶則可以在對象周圍移動,但不移動對象本身.如果需要支持移動或者替換對象,在對象移動后停止并重新開始追蹤；

2) 相對來說,單一統(tǒng)一顏色的物體更加難以追蹤,盡管他們通?？梢员豢煽康貦z測到.對于這些對象,往往需要通過表面外觀的一些變化來區(qū)分,因此,純白背景上的純白色或者純黑背景上的純黑色物體區(qū)分效果并不明顯；相比較于幾何復雜的對象,諸如立方體這類的簡單形狀或者非常細長的簡單形狀更加容易被混淆；

3) 而很重要的一點,對象應當具有與模型完全相同的形狀,雖然模型目標跟蹤器允許它們各自的幾何形狀有一些偏差,但肯定不能是柔性的物體.

4) 在實例中,用戶使用手機掃描相應的實物或者實景,通過手機攝像頭來捕捉圖像,將圖像上傳至手機后臺數(shù)據庫中進行圖像匹配.

在進行識別圖讀取定位后,計算機已經擁有了虛擬物體的三維坐標,下一步即時將它與真實世界進行結合.這個過程包括3 個部分：三維注冊、物體位置、光照條紋.三者協(xié)調工作,當虛擬物與現(xiàn)實場景出現(xiàn)失真情況時,三維注冊進行實時定位跟蹤,不斷調取特征值進行匹配,具有自我糾錯能力[15].三維注冊技術是實現(xiàn)移動增強現(xiàn)實應用的基礎技術,也是決定移動增強現(xiàn)實應用系統(tǒng)性能優(yōu)劣的關鍵,因此三維注冊技術一直是移動增強現(xiàn)實系統(tǒng)研究的重點和難點.本系統(tǒng)主要是實時檢測出攝像頭相對于真實場景的位姿狀態(tài),確定所需要疊加的虛擬信息在投影平面中的位置,并將這些虛擬信息實時顯示在屏幕中的正確位置,完成三維注冊[16,17].

3 系統(tǒng)展示

首先彈出一個登陸界面,用戶需要登陸自己的賬號如圖11,如果沒有要先進行注冊.

圖11 登陸界面

登陸后,軟件需要取得用戶手機位置獲取的權限獲取用戶當前的地理坐標,下載相關的場景包,配合手機后置攝像頭,彈出一個新界面.然后用戶對準所要識別的景物進行掃描如圖12所示.

掃描成功之后會彈出這個景物所屬的留言墻如圖13所示,你可以查看別人在留言墻上發(fā)布的消息,也可以自己發(fā)布消息,甚至還能看到有關掃描的景物的有關信息,附上一個范例留言墻如圖14所示.

為了使這個系統(tǒng)更加的完善,帶來更好的體驗感,加入了最近識別點,熱門景點和足跡三個子功能,點擊最近的識別點能出現(xiàn)離你距離最近的一系列留言墻,熱門景點則是根據事實的留言數(shù)選進附近的幾個熱門景點,用戶可以前去掃描參與留言.同時還會記錄下你掃描過的街景,方便你想看看自己留下的痕跡與留言之后與其他用戶的互動.這些功能如圖15所示.

圖12 掃描街景界面

圖13 識別成功后彈出界面

圖14 其他范例留言墻

圖15 其他輔助功能

4 結束語

這是一款基于位置的移動增強現(xiàn)實街景留言系統(tǒng),用戶可以將該系統(tǒng)安裝于手機上.這個留言系統(tǒng)不僅僅是簡單的留言,而是一個聚合平臺,后期商家,政府機關都可以接入,留言系統(tǒng)可以顯示消費者對商家的客觀評價,商家也可以自行留言推銷產品與促銷,民眾對政府機關的辦事效率的評價.