全景視頻流街景地圖的制作與應(yīng)用

王 越，孫雅庚，彭小婷，袁靜文

（1.武漢市測(cè)繪研究院，湖北 武漢 430022；2.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079）

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)測(cè)量等新技術(shù)的發(fā)展，傳統(tǒng)的測(cè)繪4D產(chǎn)品對(duì)于客觀世界的抽象化表達(dá)越來(lái)越難以滿足城市發(fā)展的現(xiàn)實(shí)需求，尤其是難以滿足城市治理中對(duì)基礎(chǔ)地理信息的直觀性和精細(xì)度需求[1]。近年來(lái)，Google、百度和騰訊等公司都相繼推出了基于全景圖像的城市街景地圖[2-3]，結(jié)合虛擬現(xiàn)實(shí)（VR）或增強(qiáng)現(xiàn)實(shí)（AR）等技術(shù)進(jìn)行瀏覽可獲得一定的場(chǎng)景沉浸 感[4-5]，這種真實(shí)且直觀的地圖表達(dá)方式較好地兼顧了測(cè)繪專業(yè)領(lǐng)域和社會(huì)普通民眾的應(yīng)用需求。然而，受全景采集時(shí)相機(jī)曝光周期的影響，現(xiàn)有街景地圖中相鄰兩幅全景圖像間會(huì)存在一定的空間間隔，瀏覽時(shí)易產(chǎn)生畫面“跳躍感”，在一定程度上影響了地圖漫游的流暢性，同時(shí)也難免會(huì)漏掉一些關(guān)鍵點(diǎn)的信息[6]。鑒于視頻錄制相較于單點(diǎn)拍攝在畫面連續(xù)性上的優(yōu)勢(shì)，利用全景視頻制作的城市街景地圖能夠較好地彌補(bǔ)傳統(tǒng)街景產(chǎn)品的不足，且能保證街景信息的完整性和空間連續(xù)性，是一種新型的地理場(chǎng)景產(chǎn)品（GSP）[7]。

以武漢市舉辦第七屆世界軍人運(yùn)動(dòng)會(huì)為契機(jī)，利用全景視頻流技術(shù)采集制作了25條軍運(yùn)會(huì)重點(diǎn)保障線路的全景視頻流街景地圖，并開(kāi)發(fā)了全景視頻流街景地圖展示系統(tǒng)作為地圖發(fā)布及應(yīng)用平臺(tái)。由于全景視頻流街景地圖兼具時(shí)空屬性，且制作周期較短，通過(guò)定期更新對(duì)比能快速發(fā)現(xiàn)城市街道及沿街立面的變化，可為城市交通管理和環(huán)境綜合整治提供重要的參考。

1 全景視頻流街景地圖的特點(diǎn)

全景視頻流地圖是街道實(shí)景表達(dá)的一種新形式，使地理空間信息從傳統(tǒng)靜態(tài)的基于圖形的抽象表達(dá)方式轉(zhuǎn)變?yōu)閯?dòng)態(tài)的基于圖像的真實(shí)表達(dá)模式[8]。全景視頻流技術(shù)與移動(dòng)測(cè)量技術(shù)的結(jié)合，賦予了全景視頻以空間和時(shí)間屬性，與傳統(tǒng)的地圖產(chǎn)品相比，全景視頻流街景地圖具有以下特點(diǎn)：

1）真實(shí)直觀。視頻圖像相較于地圖符號(hào)其表達(dá)方式更加直觀，可還原最真實(shí)的街道場(chǎng)景，觀測(cè)視角也是從人的角度出發(fā)，三維立體感和用戶沉浸感較強(qiáng)，且具有一定的人機(jī)交互性。

2）信息量大。全景視頻對(duì)場(chǎng)景進(jìn)行多角度環(huán)視拍攝，通過(guò)視頻拼接可獲得連續(xù)的720°（水平方向360°+垂直方向360°）環(huán)視全景圖，相較于二維圖像其信息量更加豐富。

3）生產(chǎn)高效。全景視頻流采集方便，生產(chǎn)過(guò)程對(duì)測(cè)繪專業(yè)軟件的依賴程度較低，制作周期短、成本低，數(shù)據(jù)更新效率高，易于網(wǎng)絡(luò)發(fā)布及后續(xù)應(yīng)用。

2 街景數(shù)據(jù)采集和地圖制作

全景視頻流街景地圖制作主要包括街景視頻數(shù)據(jù)采集、數(shù)據(jù)處理以及視頻時(shí)空軌跡信息融合等內(nèi)容。其中，街景視頻數(shù)據(jù)采集利用車載全景視頻采集系統(tǒng)進(jìn)行，該系統(tǒng)搭載了一臺(tái)6鏡頭的高清全景相機(jī)、一臺(tái)GPS接收機(jī)以及相應(yīng)的時(shí)間同步控制開(kāi)關(guān)和數(shù)據(jù)存儲(chǔ)器等設(shè)備。以獲取的街景視頻數(shù)據(jù)、GPS軌跡數(shù)據(jù)和現(xiàn)有路網(wǎng)數(shù)據(jù)為基礎(chǔ)，經(jīng)過(guò)全景視頻配準(zhǔn)、拼接、色調(diào)均衡等處理形成全景視頻流，再融合視頻時(shí)空軌跡等信息，最終生成全景視頻流街景地圖，并通過(guò)系統(tǒng)設(shè)計(jì)進(jìn)行地圖發(fā)布與展示。全景視頻流街景地圖的總體制作流程如圖1所示。

圖1 全景視頻流街景地圖制作流程圖

2.1 街景數(shù)據(jù)采集

車載全景視頻采集系統(tǒng)中，高清全景相機(jī)負(fù)責(zé)全景視頻數(shù)據(jù)的采集，項(xiàng)目應(yīng)用中采用Teche720暢拍 3系列VR相機(jī)，通過(guò)連接三腳架固定于采集平臺(tái)頂部，如圖2所示。全景相機(jī)通過(guò)固定夾角的6個(gè)超廣角鏡頭來(lái)實(shí)現(xiàn)球面成像，單鏡頭分辨率為4 608像素× 3 456像素，經(jīng)由后期拼接可得到最大分辨率為6 K的全景視頻。GPS接收機(jī)通過(guò)外接天線吸附于車外全景相機(jī)下方，用于記錄攝像時(shí)刻全景相機(jī)的空間位置?？刂崎_(kāi)關(guān)則負(fù)責(zé)各設(shè)備的數(shù)據(jù)記錄開(kāi)關(guān)和時(shí)間同步控制。

圖2 車載全景視頻采集平臺(tái)

開(kāi)始數(shù)據(jù)采集前，需對(duì)全景相機(jī)進(jìn)行參數(shù)設(shè)置并做好GPS搜星準(zhǔn)備，以確保相機(jī)正常工作且能接收到GPS定位信息。到達(dá)采集起始點(diǎn)后，啟動(dòng)數(shù)據(jù)記錄控制開(kāi)關(guān)，使全景相機(jī)和GPS接收機(jī)同時(shí)開(kāi)始接收數(shù)據(jù)。為確保視頻攝錄的質(zhì)量，數(shù)據(jù)采集時(shí)車速應(yīng)控制在40 km/h以內(nèi)，并盡量勻速行駛。由于6個(gè)鏡頭拍攝視角不同且相機(jī)處于運(yùn)動(dòng)狀態(tài)，各鏡頭獲取的視頻圖像難免存在光照差異，為了盡可能削弱光照對(duì)拼接色差的影響，數(shù)據(jù)采集通常選擇日照均勻的正午前后進(jìn)行。

2.2 全景視頻流數(shù)據(jù)處理

全景圖像是構(gòu)成全景視頻流的基本單元。利用多鏡頭全景相機(jī)同時(shí)拍攝相同場(chǎng)景具有一定重疊區(qū)域的視頻幀圖像，經(jīng)過(guò)配準(zhǔn)、拼接、融合等一系列處理，可生成一幅包含各鏡頭圖像序列信息的高分辨率大視域全景圖像。以一幀幀靜止的全景圖像為基礎(chǔ)，再以一定的幀率播放就形成了全景視頻流。全景視頻的拼接是在圖像拼接的基礎(chǔ)上完成的，它比全景圖像多了一個(gè)時(shí)域維度特性來(lái)確保視頻幀的同步性和穩(wěn)定性，以及視頻幀間的色彩一致性[9]。

全景視頻拼接（又稱全景縫合）是全景視頻流處理的關(guān)鍵所在[10]，具體操作過(guò)程如下：首先對(duì)全景相機(jī)6個(gè)鏡頭的視頻幀圖像進(jìn)行預(yù)處理和投影變換，目的是消除圖像畸變以盡可能提高配準(zhǔn)精度。接著，在同步各鏡頭視頻幀圖像的基礎(chǔ)上，通過(guò)提取圖像特征進(jìn)行特征匹配，完成視頻幀圖像的配準(zhǔn)。隨后進(jìn)行視頻幀圖像的融合，目的是消除各視頻幀組圖像間的幾何錯(cuò)位和色彩差異，使拼接區(qū)域平滑過(guò)渡，實(shí)現(xiàn)全景無(wú)縫拼接和亮度色調(diào)均衡[11]。最后，對(duì)全景相機(jī)三腳架下方的拍攝盲區(qū)進(jìn)行補(bǔ)地設(shè)置，以填補(bǔ)拼合畫面下視位置的圖像空洞。項(xiàng)目應(yīng)用中，采用相機(jī)配套的泰科易全景視頻拼接軟件V5.4實(shí)現(xiàn)視頻幀圖像的批量縫合，并利用軍運(yùn)會(huì)會(huì)標(biāo)進(jìn)行補(bǔ)地。拼接完成后，再利用專業(yè)視頻編輯軟件AdobePremiere進(jìn)行色調(diào)均衡和渲染輸出。圖3展示了相機(jī)6鏡頭拼接后的全景視頻圖像。

圖3 全景視頻拼合圖像

2.3 視頻時(shí)空軌跡信息融合

全景視頻流街景地圖需要賦予全景視頻流以空間、時(shí)間等屬性，通過(guò)全景視頻時(shí)空軌跡信息融合，將以幀為單位的全景視頻流數(shù)據(jù)轉(zhuǎn)換為以道路段為單位的街道全景視頻時(shí)空信息，并建立全景視頻流時(shí)空軌跡數(shù)據(jù)庫(kù)。

在拍攝全景視頻流的同時(shí)，以采樣間隔1s同步記錄采集車的行進(jìn)軌跡，利用GPS實(shí)時(shí)獲取全景相機(jī)的曝光位置和時(shí)間記錄，作為制作視頻時(shí)空軌跡文件的基礎(chǔ)數(shù)據(jù)。首先將GPS采集獲得的原始軌跡點(diǎn)坐標(biāo)轉(zhuǎn)換到城市坐標(biāo)系下（本文采用WH2000坐標(biāo)系），以實(shí)現(xiàn)成果坐標(biāo)基準(zhǔn)的統(tǒng)一。接著利用城市路網(wǎng)數(shù)據(jù)中道路交叉口的空間位置將路網(wǎng)以段為單元進(jìn)行切分，并獲取每條道路段的空間及屬性信息，再利用ArcGIS軟件將軌跡點(diǎn)連接成軌跡線，對(duì)軌跡線和道路段數(shù)據(jù)進(jìn)行疊加，并將道路名稱、長(zhǎng)度等屬性信息賦予相應(yīng)的軌跡線中。此外，為豐富視頻地圖展示效果，對(duì)于采集線路中的關(guān)鍵點(diǎn)位進(jìn)行標(biāo)注，制作道路關(guān)鍵節(jié)點(diǎn)位置信息文件。與此同時(shí)，還需將GPS記錄的時(shí)間轉(zhuǎn)換為視頻播放時(shí)間，使軌跡點(diǎn)位和視頻幀圖像同步對(duì)應(yīng)，以確保全景視頻流地圖定位的準(zhǔn)確性。最終通過(guò)全景視頻流時(shí)空軌跡數(shù)據(jù)建庫(kù)，實(shí)現(xiàn)按地理信息空間分布的視頻時(shí)空數(shù)據(jù)管理。

3 街景地圖展示系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

以全景視頻流成果和視頻時(shí)空軌跡數(shù)據(jù)為基礎(chǔ)，通過(guò)開(kāi)發(fā)全景視頻流街景地圖展示系統(tǒng)進(jìn)行地圖發(fā)布與展示。該系統(tǒng)采用B/S架構(gòu)，由前端和后端兩部分組成。前端主要負(fù)責(zé)地圖展示，利用WebGL對(duì)全景視頻流數(shù)據(jù)服務(wù)進(jìn)行加載，使用者可以通過(guò)瀏覽器直接對(duì)全景視頻流街景地圖進(jìn)行瀏覽，并使用配套的地圖展示功能進(jìn)行“互聯(lián)網(wǎng)+720°全景視頻街景”的可視化及交互體驗(yàn)。后端主要用于地圖管理，由管理員進(jìn)行系統(tǒng)參數(shù)設(shè)置、網(wǎng)頁(yè)內(nèi)容編輯以及地圖發(fā)布管理等處理。

3.1 系統(tǒng)總體設(shè)計(jì)

全景視頻流街景地圖展示系統(tǒng)的總體架構(gòu)共分為 4個(gè)層次：基礎(chǔ)層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層，如 圖4所示。其中基礎(chǔ)層主要保障系統(tǒng)運(yùn)行的各種軟硬件、存儲(chǔ)設(shè)備及網(wǎng)絡(luò)環(huán)境的支撐，負(fù)責(zé)全景視頻流等數(shù)據(jù)文件的存儲(chǔ)和傳輸。數(shù)據(jù)層提供視頻街景地圖服務(wù)的基礎(chǔ)，包括視頻成果數(shù)據(jù)和基礎(chǔ)地理信息數(shù)據(jù)。服務(wù)層是系統(tǒng)的核心內(nèi)容，為系統(tǒng)提供部署和運(yùn)行所需的服務(wù)接口，包括全景視頻流云服務(wù)、視頻時(shí)空軌跡服務(wù)、二維基礎(chǔ)地圖服務(wù)以及傾斜三維模型服務(wù)。其中，全景視頻流云服務(wù)利用了騰訊云的云點(diǎn)播服務(wù)器，該服務(wù)器提供了視頻存儲(chǔ)管理、轉(zhuǎn)碼處理、加速播放等組件，可進(jìn)行全景視頻流的上傳、存儲(chǔ)、轉(zhuǎn)碼、處理、播放、發(fā)布及管理等視頻服務(wù)；二維地圖切片數(shù)據(jù)和視頻時(shí)空軌跡數(shù)據(jù)服務(wù)則利用ArcGIS Server進(jìn)行發(fā)布；傾斜三維模型數(shù)據(jù)先通過(guò)Nginx服務(wù)器發(fā)布成三維服務(wù)，再利用三維GIS引擎Cesium.js進(jìn)行前端加載。Nginx是一個(gè)適用于網(wǎng)站發(fā)布的反向代理Web服務(wù)器[12]，全景視頻流街景地圖展示系統(tǒng)的應(yīng)用程序、道路關(guān)鍵節(jié)點(diǎn)位置信息以及傾斜三維模型數(shù)據(jù)均通過(guò)該服務(wù)器發(fā)布。應(yīng)用層則利用三維引擎Three.js在前端生成全景視頻播放器，基于視頻流等服務(wù)接口開(kāi)發(fā)全景視頻流街景地圖展示系統(tǒng)，并通過(guò)ArcGIS JavaScript API調(diào)用發(fā)布的地圖服務(wù)與全景視頻流進(jìn)行聯(lián)動(dòng)，實(shí)現(xiàn)720°沉浸式的全景視頻街景瀏覽以及按空間定位查詢、按時(shí)間比對(duì)分析等 功能。

圖4 全景視頻流街景地圖展示系統(tǒng)體系架構(gòu)圖

3.2 系統(tǒng)功能實(shí)現(xiàn)

結(jié)合軍運(yùn)會(huì)重點(diǎn)保障線路全景視頻流街景地圖的應(yīng)用需求，系統(tǒng)在實(shí)現(xiàn)對(duì)視頻街景數(shù)據(jù)進(jìn)行全景瀏覽的基礎(chǔ)上，開(kāi)發(fā)了二維地圖聯(lián)動(dòng)、道路分段展示、分時(shí)雙屏對(duì)比、三維模型集成等功能。圖5為包含25條軍運(yùn)會(huì)重點(diǎn)保障線路軌跡的系統(tǒng)界面。其中，二維地圖聯(lián)動(dòng)功能通過(guò)空間位置信息實(shí)現(xiàn)了全景視頻流街景與二維地圖的聯(lián)動(dòng)互操作，可通過(guò)二維地圖窗口瀏覽觀察點(diǎn)所在位置的720°環(huán)視街景（如圖6a所示）；道路分段展示功能在運(yùn)用視頻時(shí)空軌跡數(shù)據(jù)的基礎(chǔ)上，通過(guò)導(dǎo)入道路關(guān)鍵節(jié)點(diǎn)位置信息，以道路分段進(jìn)度條的形式模擬了視頻行進(jìn)的動(dòng)態(tài)效果（如圖6b所示）；分時(shí)雙屏對(duì)比功能通過(guò)空間定位查詢，分屏展示同一空間位置和觀察視角下的不同時(shí)期的街景比對(duì)，實(shí)現(xiàn)了對(duì)城市環(huán)境整治變化的動(dòng)態(tài)監(jiān)測(cè)（如圖6c所示）； 三維模型集成功能通過(guò)空間位置信息關(guān)聯(lián)，對(duì)全景視頻流街景和傾斜三維模型進(jìn)行位置融合表達(dá)[13-14]，實(shí)現(xiàn)了多源實(shí)景數(shù)據(jù)的聯(lián)動(dòng)展示（如圖6d所示）。

圖5 含25條軍運(yùn)會(huì)重點(diǎn)保障線路的系統(tǒng)界面

圖6 系統(tǒng)主要功能效果圖

4 結(jié) 語(yǔ)

全景視頻流街景地圖作為一種全新的城市道路實(shí)景信息記錄手段，實(shí)現(xiàn)了720°全景視頻流和地圖的融合，具備了新一代互聯(lián)網(wǎng)視頻實(shí)景地圖的雛形。本文從全景視頻數(shù)據(jù)采集處理、視頻時(shí)空軌跡信息融合、地圖展示系統(tǒng)設(shè)計(jì)等方面對(duì)全景視頻流街景地圖的設(shè)計(jì)思路和制作流程進(jìn)行了探討，并以武漢市第七屆世界軍人運(yùn)動(dòng)會(huì)為背景開(kāi)展了應(yīng)用。隨著移動(dòng)測(cè)量、虛擬現(xiàn)實(shí)以及人工智能等技術(shù)的發(fā)展，可以預(yù)見(jiàn)全景視頻流街景地圖的人機(jī)交互性及可視化效果將進(jìn)一步得到提升，并在城市管理、地圖導(dǎo)航和智慧城市建設(shè)等方面發(fā)揮更大的作用。