天地及室內(nèi)外一體實景地圖系統(tǒng)研究與應(yīng)用

明 鏡，向澤君，向 華，呂 楠，龍 川

（1. 重慶市勘測院，重慶 401121；2. 重慶市移動測量工程技術(shù)研究中心，重慶 401121；3. 重慶數(shù)字城市科技有限公司，重慶 401121）

0 引 言

實景地圖作為一種新興的地理信息產(chǎn)品，近年來逐漸受到用戶的關(guān)注和青睞[1-5]。互聯(lián)網(wǎng)和地理信息領(lǐng)域的企業(yè)（谷歌、百度、騰訊、高德等）和機構(gòu)也投入大量精力來提升實景地圖的瀏覽質(zhì)量[6-7]。實景地圖的發(fā)展從最初的地面拍照、原樣展示逐步發(fā)展到地空采集、綜合美化、集中發(fā)布的狀態(tài)。

當(dāng)前實景應(yīng)用發(fā)展中仍存在一些亟待解決的問題。首先，單一的影像發(fā)布，缺乏連續(xù)性和整體性，不能給用戶形成整體的空間影像思維。其次，影像的規(guī)范和標(biāo)準不統(tǒng)一，不同時間、不同光照條件下的影像明暗、色彩差異較大，降低了用戶的觀感協(xié)調(diào)性。第三，觀察視點散列，缺乏從天空到室內(nèi)外的全面覆蓋和聯(lián)動；很多實景地圖在采集時沒有關(guān)注地理特性，觀察視點的采集規(guī)劃也沒有考慮整體性，導(dǎo)致難以進行實景之間的邏輯關(guān)聯(lián)，也難以和其他地理信息進行整合拓展。第四，信息集成能力有待進一步提升，普通的實景系統(tǒng)缺乏對其他社會經(jīng)濟信息的集成和聯(lián)動，應(yīng)用方式易受到局限。第五，實景更新來源單一，更新內(nèi)容目標(biāo)導(dǎo)向性和時效性不足，不易及時反映社會熱點。

為此，本文開展了天地及室內(nèi)外一體實景地圖技術(shù)的研究，從解決上述問題出發(fā)，著手建立起一套涵蓋天空、地面、室內(nèi)和室外的實景數(shù)據(jù)體系和軟件應(yīng)用平臺。從采集規(guī)劃開始就對影像數(shù)據(jù)的空間位置、相互關(guān)系進行規(guī)約，建立起天空和地面實景之間的相互空間關(guān)聯(lián)，為實景地圖的發(fā)布和應(yīng)用開辟新途徑。

1 天地及室內(nèi)外一體實景地圖構(gòu)建方法

為將天空、地面及室內(nèi)外的實景地圖融為一個整體，需從不同角度展示地形地貌、建筑群落、道路分布、車輛運行、人群聚集、商業(yè)場景等綜合地理信息和社會經(jīng)濟信息。對天空和地面實景影像采集、處理和發(fā)布的核心技術(shù)進行研究，努力突破多項圖像處理技術(shù)難關(guān)。研發(fā)配套數(shù)據(jù)制作軟硬件系統(tǒng)，開發(fā)Web網(wǎng)站和移動端APP軟件，實現(xiàn)實景地圖的應(yīng)用和共享，將測繪科學(xué)、信息技術(shù)與攝影藝術(shù)進行融合性創(chuàng)新。

1.1 建設(shè)流程

系統(tǒng)建設(shè)主要采用如圖1所示的思路。

圖1 系統(tǒng)建設(shè)流程圖Fig.1 Flow chart of system construction

數(shù)據(jù)采集硬件選型及軟件研發(fā)。數(shù)據(jù)采集是獲取實景影像的主要方式，為提升采集質(zhì)量和效率，需對采集硬件設(shè)備進行選型，分別選擇適宜地面和空中實景采集的設(shè)備。

實景采集任務(wù)規(guī)劃管理軟件研發(fā)。對實景采集任務(wù)管理流程進行研究，研發(fā)數(shù)據(jù)采集任務(wù)規(guī)劃和管理軟件。按照多渠道收集的地圖實景采集需求進行任務(wù)部署和分配，還可扶持實景創(chuàng)業(yè)者參與數(shù)據(jù)采集服務(wù)。

實景影像數(shù)據(jù)處理系統(tǒng)研發(fā)。研制天地及室內(nèi)外實景影像處理軟件系統(tǒng)，可對實景數(shù)據(jù)進行預(yù)處理、影像拼接、色彩調(diào)整、局部修飾、隱私處理、預(yù)發(fā)布、地理標(biāo)注、發(fā)布的全流程處理，為規(guī)?；_展實景數(shù)據(jù)處理提供保障，提升生產(chǎn)效率。

實景展示及應(yīng)用開發(fā)API軟件研發(fā)。根據(jù)規(guī)劃、商業(yè)、市政等行業(yè)對實景數(shù)據(jù)的應(yīng)用需求，以及公眾對實景的瀏覽需求，研發(fā)一套支持二次集成開發(fā)的基礎(chǔ)實景展示API。

眾需、眾源、眾包管理平臺軟件研發(fā)。建立公眾實景地圖需求反饋的互聯(lián)網(wǎng)通道，對公眾關(guān)心的城市熱點保持高效跟蹤，支持對外發(fā)包和匯聚公眾采集數(shù)據(jù)；制定實景數(shù)據(jù)制作標(biāo)準，規(guī)范采集時的輸出成果及元數(shù)據(jù)，提升眾源數(shù)據(jù)的可用性。

1.2 系統(tǒng)技術(shù)架構(gòu)

系統(tǒng)總體技術(shù)架構(gòu)如圖2所示，按照硬件、數(shù)據(jù)存儲、軟件系統(tǒng)服務(wù)、軟件系統(tǒng)應(yīng)用、軟件系統(tǒng)交互分為5個層次。硬件設(shè)備層包含了用于拍攝的單反相機及其搭載平臺，為數(shù)據(jù)采集提供硬件支撐；數(shù)據(jù)存儲層將硬件獲取的原始影像、拼接成果影像、實景相互關(guān)聯(lián)以及實景地理位置等數(shù)據(jù)進行完備存儲，為軟件系統(tǒng)服務(wù)提供數(shù)據(jù)支撐；軟件系統(tǒng)服務(wù)層實現(xiàn)了各類數(shù)據(jù)的存儲訪問、關(guān)聯(lián)及發(fā)布服務(wù)，是開展后續(xù)應(yīng)用的基礎(chǔ)；軟件系統(tǒng)應(yīng)用層支持處理、發(fā)布、展示及公眾服務(wù)等多類型應(yīng)用，以此建立業(yè)務(wù)信息支撐；軟件系統(tǒng)交互層通過跨平臺的訪問及交互，實現(xiàn)眾需反饋、眾源匯集、眾創(chuàng)實施的實景地圖大平臺建設(shè)與運營。這5個層次的功能整合，形成了天地及室內(nèi)外一體實景采集、處理、加工和發(fā)布的各個環(huán)節(jié)的系統(tǒng)模塊，針對技術(shù)課題進行攻關(guān)研發(fā)，取得了創(chuàng)新的研發(fā)成果。

圖2 系統(tǒng)技術(shù)架構(gòu)圖Fig.2 System Architecture

2 實景地圖系統(tǒng)建設(shè)關(guān)鍵技術(shù)

系統(tǒng)建設(shè)中，涉及實景影像的拼接勻色、關(guān)聯(lián)建立、隱私處理、集成發(fā)布等多項關(guān)鍵技術(shù)。

2.1 多相機圖像拼接及勻色

該技術(shù)是為解決實景圖像拼接過程中多幅圖像之間的亮度和色彩差異問題而提出的，其主要算法步驟如下：

S1，利用Gamma校正提高每幅圖像的亮度；

S2，從提高亮度后的每幅圖像中選取圖像信息熵最大的為參考圖像，其余圖像為目標(biāo)圖像；

S3，將每幅圖像從RGB顏色空間變換到Y(jié)CbCr顏色空間；

S4，以參考圖像為標(biāo)準，在YCbCr顏色空間中將目標(biāo)圖像的色彩和亮度調(diào)整到與參考圖像一致；

S5，對每幅圖進行顏色空間反變換，得到RGB空間的圖像；

S6，采用圖像同名點匹配算法對圖像進行拼接，得到初步實景圖像；

S7，對得到的初步圖像進行增強對比度處理，得到亮度、色彩均衡的實景圖像。

依托多圖像視覺歸一化處理，能夠消除實景圖像拼接過程中多幅圖像之間的亮度和色彩差異，改善實景圖像視覺效果，使其在亮度和色彩上具有一致性，如圖3所示。

圖3 原始圖片與勻色增強后的圖片對比Fig.3 Comparison between raw image and enhanced image

2.2 天地及室內(nèi)外實景自動關(guān)聯(lián)

在天空和地面室內(nèi)外拍攝的實景影像之間, 基于地理位置自動建立相互關(guān)聯(lián)，形成整體性的空間數(shù)據(jù)聯(lián)系，為用戶瀏覽和承載數(shù)據(jù)提供索引基礎(chǔ)。其主要算法步驟如下：

S1，采集實景圖片信息，包括實景圖片及采集該實景圖片時的位置點坐標(biāo)P0(x0，y0，z0)；

S2，根據(jù)當(dāng)前實景圖片的采集位置點P0(x0，y0，z0)獲得指定緩沖區(qū)內(nèi)與之關(guān)聯(lián)的關(guān)聯(lián)實景圖片；

S3，選擇一個指定方向作為參考方向，并在實景圖中任意選取輔助點P1，其空間坐標(biāo)為P1(x1，y1，z1)，在實景圖片中坐標(biāo)為P1(m1，n1)，根據(jù)當(dāng)前實景圖片的采集位置點P0(x0，y0，z0)與輔助點P1得到一參考方向點在該實景圖片中的對應(yīng)位置；

S4，根據(jù)該參考方向點在當(dāng)前實景圖片中的對應(yīng)位置來計算關(guān)聯(lián)實景圖片的采集位置點與當(dāng)前實景圖片的對應(yīng)關(guān)系，根據(jù)相應(yīng)的對應(yīng)關(guān)系實現(xiàn)關(guān)聯(lián)實景圖片與當(dāng)前實景圖片的關(guān)聯(lián)，得到天地及室內(nèi)外一體化實景地圖。

圖4為實景影像之間自動關(guān)聯(lián)的成果，其中飛機圖標(biāo)為空中實景的關(guān)聯(lián)索引，飛水滴圖標(biāo)為地面實景的關(guān)聯(lián)索引。

圖4 實景影像的自動關(guān)聯(lián)成果Fig.4 Automatic correlation results of real images

2.3 隱私識別處理

實景拍攝的照片中易出現(xiàn)人物和車輛等涉及公眾隱私的影像，因此對影像中的隱私信息進行識別和處理，是實景地圖生產(chǎn)的一項重要課題[8-10]。本文研究以人臉處理為重點，建立人臉膚色模型進行識別。

通過大量人臉樣本統(tǒng)計，選取膚色由較亮至較暗、較白至較黃的多幅人臉進行機器學(xué)習(xí)。由于人臉在影像中普遍較小，眼睛區(qū)域往往相對占據(jù)了將近1/3的比例，眼睛周邊膚色偏暗，為了建立的膚色模型的準確性，截取眼睛以下的臉頰至下巴區(qū)域或者眼睛以上的額頭區(qū)域進行統(tǒng)計。然后進行膚色相似度檢測，在初步篩選的基礎(chǔ)上，再按照人臉比例、面積和頭發(fā)區(qū)域計算方式進行進一步篩選。從而使得系統(tǒng)識別到人臉隱私，將該隱私區(qū)域使用矩形框標(biāo)注出來，統(tǒng)一進行相應(yīng)的隱私模糊。隱私模糊采用均值濾波算法，能夠?qū)崿F(xiàn)和周邊非隱私區(qū)域的較好銜接，如圖5所示。

圖5 人臉隱私識別與處理效果Fig.5 Face recognition and blurring

2.4 經(jīng)濟社會信息集成

將重慶地理信息公眾服務(wù)平臺網(wǎng)站（愛尚重慶，http://www.cqmap.com）上已經(jīng)整合的經(jīng)濟社會信息與實景地圖進行融合，使實景地圖和電子地圖的數(shù)據(jù)相結(jié)合，將多個層次的地理信息進行整體直觀反映。數(shù)據(jù)整合利用地址匹配和地理編碼技術(shù)進行處理。研究形成了基于無規(guī)則地址點的地理編碼模型，對文字描述的信息中包含的地址進行編碼，在編碼后與標(biāo)準地址坐標(biāo)相匹配關(guān)聯(lián)，用于實景地圖中的自動注記生成和存儲展現(xiàn)。通過地址匹配方法確認社會經(jīng)濟信息的地理坐標(biāo)后，再通過之前的實景關(guān)聯(lián)算法與實景上的圖像進行關(guān)聯(lián)，實現(xiàn)數(shù)據(jù)的實景索引集成，如圖6所示。

圖6 關(guān)聯(lián)經(jīng)濟社會信息（二手房戶外實景）Fig.6 Associated with economic and social information (outdoor reality of second-hand housing)

3 應(yīng)用實踐案例

3.1 區(qū)域覆蓋

通過天空和地面實景數(shù)據(jù)的聯(lián)動，實現(xiàn)了對重慶市主城區(qū)主要地標(biāo)、商圈和風(fēng)景區(qū)的概括性覆蓋，涉及面積約700 km2，實景數(shù)量總量超過1 000景。部分研究成果已經(jīng)發(fā)布在“愛尚重慶”上，面向公眾開展實景地圖服務(wù)。空中實景主干點位分布如圖7所示，每個空中實景已關(guān)聯(lián)索引多個地面實景。

圖7 重慶市主城區(qū)主要空中實景影像分布Fig.7 Distribution of main aerial real images in urban area of Chongqing

3.2 天空實景影像

通過對重慶市主城區(qū)規(guī)劃的各個天空任務(wù)點進行采集，實現(xiàn)了對重慶市主城區(qū)商圈、重要景點、重點經(jīng)濟區(qū)域及重點公共場所的全覆蓋。生產(chǎn)效果如圖8、圖9所示。

圖8 朝天門兩江交匯處Fig.8 Junction of two rivers at Chaotianmen

圖9 渝中半島夜景Fig.9 Night view of Yuzhong Peninsula

3.3 商業(yè)服務(wù)

天空和地面的實景影像，按照拍攝位置的坐標(biāo)以及空間層級之間的關(guān)系，依托自動關(guān)聯(lián)算法和少量人工判讀，建立起便捷的導(dǎo)覽關(guān)系網(wǎng)絡(luò)。重要對象的外部鏈接通過生成二維碼等方式，掛接相關(guān)經(jīng)濟社會信息。目前地面場景關(guān)聯(lián)信息已經(jīng)實現(xiàn)了重慶觀音橋等商圈及多家合作商家的接入，全方位、多角度立體展現(xiàn)了觀音橋商圈優(yōu)良的環(huán)境風(fēng)貌、一流的服務(wù)設(shè)施、優(yōu)雅的購物、娛樂、休閑環(huán)境。公眾可通過移動互聯(lián)網(wǎng)絡(luò)獲取天地及室內(nèi)外一體化實景地圖的導(dǎo)航、定位、信息查詢等服務(wù)。還為部分實體店商提供了互聯(lián)網(wǎng)實景地圖宣傳入口，擴大了實體店商的宣傳渠道，得到商戶的好評。有力提升了商圈的日常及應(yīng)急管理能力，拓展了商家的營銷渠道，為打造智慧商圈提供了豐富、直觀、現(xiàn)勢性強的空間信息基礎(chǔ)設(shè)施，如圖10所示。

圖10 商業(yè)服務(wù)Fig.10 Commercial service

3.4 城市管理服務(wù)

天地及室內(nèi)外一體實景在城市管理運營方面已發(fā)揮重要的支撐作用。實景地圖數(shù)據(jù)覆蓋面廣，數(shù)據(jù)分辨率高，可輔助執(zhí)法人員清晰識別樓頂違法建筑、街道旁的違法建筑，豐富了違法建筑信息獲取與取證手段。通過定期的數(shù)據(jù)采集、更新、對比，執(zhí)法部門可對下達整改通知書的建筑進行評估與監(jiān)督。在違法建筑識別與取證、整改監(jiān)督與檢查、事后評估等環(huán)節(jié)對業(yè)務(wù)提供了良好支持，可提升規(guī)劃監(jiān)督的工作效率。

3.5 公眾服務(wù)

天地及室內(nèi)一體實景作為一種城市風(fēng)貌和現(xiàn)狀的良好載體，在其發(fā)布和運營過程中易得到市民用戶的關(guān)注。依托該技術(shù)工具，對用戶關(guān)注的城市熱點進行及時的追蹤展現(xiàn)，能夠調(diào)動和保持用戶的關(guān)注熱情，使實景地圖應(yīng)用產(chǎn)生更大的社會效益。本課題完成單位以該技術(shù)為基礎(chǔ)推出的“實景游公園”系列為其中的典型代表，如圖11、圖12所示。

圖11 “實景游公園”-重慶照母山森林公園Fig.11 " Virtual Tour Park " -Chongqing Zhaomu mountain forest park

圖12 “實景游公園”-重慶海棠煙雨公園Fig.12 "Virtual Tour Park" - Chongqing Haitangyanyu park

除專業(yè)機構(gòu)外，實景熱點的來源還可由公眾發(fā)起。公眾可通過互聯(lián)網(wǎng)提交實景采集需求的時間、地點和事由，待平臺審核后，依托系統(tǒng)推行任務(wù)眾包，并對多位用戶來源的實景數(shù)據(jù)進行匯集，如圖13所示。采集任務(wù)在互聯(lián)網(wǎng)上進行分發(fā)，可由用戶認領(lǐng)任務(wù)，并可在線提交成果，經(jīng)評估采納后，進行酬勞結(jié)算，逐步構(gòu)造起一個實景采集、發(fā)布的創(chuàng)業(yè)圈。

圖13 眾包管理系統(tǒng)Fig.13 Crowdsourcing management system

4 結(jié)束語

目前，國內(nèi)和國外地面實景建設(shè)如火如荼，很多互聯(lián)網(wǎng)企業(yè)和測繪機構(gòu)都有涉足。隨著近年來無人機技術(shù)的逐步成熟，天空實景的數(shù)據(jù)采集業(yè)務(wù)也日益繁榮。本研究解決了天空和地面的實景數(shù)據(jù)有機結(jié)合。通過技術(shù)上對天空和地面實景的整合，實現(xiàn)了一體的數(shù)據(jù)瀏覽和利用模式。項目構(gòu)建了基于互聯(lián)網(wǎng)+地理信息+經(jīng)濟社會信息等大數(shù)據(jù)的“大地圖”開發(fā)模式，支持跨平臺、多終端移動互聯(lián)網(wǎng)的應(yīng)用；建立了眾需反饋和眾源供圖的天地及室內(nèi)外一體實景地圖眾創(chuàng)技術(shù)支持體系。制定了天空、地面、室內(nèi)室外實景數(shù)據(jù)的采集加工處理技術(shù)規(guī)范，研發(fā)了配套的軟件系統(tǒng)，率先實現(xiàn)了天地及室內(nèi)外一體實景地圖的跨平臺發(fā)布。

在后續(xù)的研發(fā)中，將對積累的海量實景影像開展研究，嘗試進行結(jié)構(gòu)化分類、特征提取、圖像匹配，更好地支持智慧城市應(yīng)用，并研究與VR/AR技術(shù)的融合，為智慧城市建設(shè)提供更加直觀、全面和及時的新型地理信息基礎(chǔ)設(shè)施。