構建面向個性化服務的特大城市云空間數(shù)據(jù)中心

陶迎春，劉 光，龐京輝，吳愛華，趙凌美

(1. 北京大學地球與空間科學學院，北京 100871; 2. 北京市測繪設計研究院，北京 100038;3. 城市空間信息工程北京重點實驗室，北京 100038)

構建面向個性化服務的特大城市云空間數(shù)據(jù)中心

陶迎春1,2,3，劉 光2,3，龐京輝2,3，吳愛華2,3，趙凌美2,3

(1. 北京大學地球與空間科學學院，北京 100871; 2. 北京市測繪設計研究院，北京 100038;3. 城市空間信息工程北京重點實驗室，北京 100038)

特大城市測繪地理信息數(shù)據(jù)具有數(shù)據(jù)海量、增長快速、多源異構、頻繁使用的特點。隨著大數(shù)據(jù)和Web2.0時代的到來，傳統(tǒng)的空間數(shù)據(jù)存儲管理與共享服務模式存在成果缺乏整合和挖掘、空間信息服務被動且無差別性等缺點，難以滿足用戶不斷提高的空間數(shù)據(jù)內(nèi)容、服務響應速度和服務質(zhì)量的要求，也難以適應因人而異的個性化空間信息服務的需求。本文對個性化服務和云空間數(shù)據(jù)中心構建的關鍵技術進行了研究，提出了個性化空間數(shù)據(jù)情境應用模式，以及一種基于Web客戶端的個人異構空間數(shù)據(jù)在線集成方法，基于NoSQL實現(xiàn)了個人空間數(shù)據(jù)與傳統(tǒng)空間數(shù)據(jù)服務集成，并以北京市為例基于私有云構建了安全可靠、高效運行、可擴展、用戶參與度高、提供個性化服務的特大城市云空間數(shù)據(jù)中心。

個性化服務；空間數(shù)據(jù)情景式應用；異構空間數(shù)據(jù)在線集成；云空間數(shù)據(jù)中心

在當前大數(shù)據(jù)和Web2.0時代背景下，大量數(shù)據(jù)快速產(chǎn)生，用戶對數(shù)據(jù)服務內(nèi)容的豐富程度、服務響應的速度和質(zhì)量要求空前高漲[1]，對數(shù)據(jù)服務的個性化需求也層出不窮。以北京市為代表的特大城市測繪地理信息歷史跨度長、種類多、數(shù)據(jù)量大且在不斷迅速積累中，具有數(shù)據(jù)海量、增長快速、多源異構、頻繁使用的特點。然而，以往測繪部門所產(chǎn)生的大量空間數(shù)據(jù)成果往往堆積在硬盤中，數(shù)據(jù)資源分散、缺乏整合和挖掘，空間信息服務存在同一性、被動性和無差別性等缺點[2]，難以適應因人而異的個性化空間信息服務需求，空間數(shù)據(jù)存儲管理與共享服務模式亟待升級。

云技術是當前數(shù)據(jù)中心建設的大勢所趨[3]。目前國際國內(nèi)IT巨頭如谷歌、微軟、百度等，均基于公有云建立了自身的數(shù)據(jù)中心，國內(nèi)也有部分省市(如江蘇省[4]、上海市[5]等)將政務空間數(shù)據(jù)置于政務云上。但是，受信息安全政策的限制，特大城市長期積累的海量、精準的空間數(shù)據(jù)的存儲與應用不能采用以上方式。與此同時，國內(nèi)外對空間信息服務的架構、主動推送技術和相關標準研究較多[6-7]，但對服務的個性化問題研究相對匱乏。本文提出基于私有云構建安全可靠、高效運行、可擴展的特大城市云空間數(shù)據(jù)中心，拓展Web2.0下空間數(shù)據(jù)的情景應用模式，使得用戶參與信息資源管理，產(chǎn)生個人數(shù)據(jù)內(nèi)容，進行服務中的互動，為個性化信息服務發(fā)展趨勢下的特大城市測繪地理信息管理與服務提升提供解決思路。

1 個性化服務構建關鍵技術

1.1 個性化空間數(shù)據(jù)情景應用模式

與流程固定的傳統(tǒng)業(yè)務需求不同(見表1)，個性化的業(yè)務需求多樣且復雜，具有不確定性和即時性，很難在信息系統(tǒng)開發(fā)時期明確定義[8]。個性化空間數(shù)據(jù)情景應用模式，即將來自個人客戶端的數(shù)據(jù)和服務器端的多種空間數(shù)據(jù)服務組合成一個集成Web 應用，從組合中獲取新的價值，達到“1+1>2”的效果。本文利用HTML5的拖放特性，基于Mashup技術構建了情境應用程序，實現(xiàn)了個人客戶端數(shù)據(jù)與服務器端服務的簡單、快速融合。用戶將個人數(shù)據(jù)拖放至指定網(wǎng)頁上，并選擇所需的數(shù)據(jù)與功能服務，即可滿足個性化的踏勘選點、路線規(guī)劃、數(shù)據(jù)申請、數(shù)據(jù)下載、成果目視檢查等多種測繪日常生產(chǎn)工作的情景應用需求(見表2)。

表1 個性化應用模式與傳統(tǒng)固定業(yè)務模式區(qū)別

表2 個性化測繪日常生產(chǎn)應用情境示例

1.2 基于NoSQL的個人異構空間數(shù)據(jù)服務集成與在線協(xié)同

異構空間數(shù)據(jù)集成與共享一直是測繪地理信息研究的重要領域。個人空間數(shù)據(jù)內(nèi)容各異，無法統(tǒng)一規(guī)格和數(shù)量，具有非結(jié)構性、不可預見性。傳統(tǒng)的關系型數(shù)據(jù)庫雖然在存儲結(jié)構化數(shù)據(jù)時具有穩(wěn)定性好、效率高等特點，但是無法滿足非關系數(shù)據(jù)類型的存取需求。NoSQL數(shù)據(jù)庫具有高擴展和高可用性，具有高并發(fā)處理能力，適用于非關系型的個人空間數(shù)據(jù)存取[9]。本文將NoSQL數(shù)據(jù)庫與關系型數(shù)據(jù)庫結(jié)合，在存儲格式固定的基礎地理信息數(shù)據(jù)時使用關系型數(shù)據(jù)庫，在存儲無固定規(guī)則的個人空間數(shù)據(jù)時使用NoSQL數(shù)據(jù)庫，并在應用時集成服務，可實現(xiàn)優(yōu)勢互補。圖1展示了基于MongoDB的個人數(shù)據(jù)空間服務與傳統(tǒng)空間數(shù)據(jù)服務的集成方法。

圖1 基于NoSQL的個人空間數(shù)據(jù)服務集成方法

城市測繪領域常見的異構數(shù)據(jù)格式包括AutoCAD數(shù)據(jù)(如DWG/DXF格式的地形圖)、ArcGIS數(shù)據(jù)(如Shape格式的GIS數(shù)據(jù))、圖片數(shù)據(jù)(如TIFF格式的影像數(shù)據(jù))、Excel表格數(shù)據(jù)(如CSV格式的統(tǒng)計數(shù)據(jù))等。異構空間數(shù)據(jù)集成方法主要有空間數(shù)據(jù)交換、數(shù)據(jù)互操作、直接操作、基于Web集成等[10]。本文提出了一種基于Web客戶端的個人異構空間數(shù)據(jù)松耦合在線集成方法(如圖2所示)。該方法支持城市測繪常見的CAD DXF、Shape、GeoTIFF等格式，對數(shù)據(jù)的內(nèi)容規(guī)格幾乎沒有限制，且在客戶端網(wǎng)頁上顯示的個人CAD數(shù)據(jù)能保持原始符號樣式，Shape數(shù)據(jù)能查詢屬性。同時，通過HTML5的拖放特性提升了交互體驗，本地及服務器NoSQL數(shù)據(jù)庫中存儲的個人文件可通過用戶在網(wǎng)頁上的簡單拖放操作，實現(xiàn)在線顯示、查詢，并與服務器發(fā)布的其他數(shù)據(jù)服務疊加，從而支撐了多類異構數(shù)據(jù)的在線疊加分析和協(xié)同應用。

圖2 個人異構空間數(shù)據(jù)在線集成方法

2 云空間數(shù)據(jù)中心構建關鍵技術

2.1 數(shù)據(jù)資源管理組裝模型

特大城市擁有大量、多年代、多尺度、多類型的測繪地理信息數(shù)據(jù)，但以往數(shù)據(jù)都存放在各自的存儲設備中，相互獨立、沒有建立關聯(lián)關系，用戶難以全面掌握數(shù)據(jù)情況，不利于根據(jù)自身情況選取合適數(shù)據(jù)并進行多維度、多角度的分析。本文在構建面向個性化服務的云空間數(shù)據(jù)中心時，在對已有數(shù)據(jù)和增量數(shù)據(jù)全面調(diào)研的基礎上，從核心應用目標出發(fā)，采用層級分類與時間序列相結(jié)合的方法，將龐雜的數(shù)據(jù)以清晰、便于用戶理解的方式進行分類組裝，形成了數(shù)據(jù)資源目錄和元數(shù)據(jù)；同時，對數(shù)據(jù)資源進行體系化管理，針對每一項數(shù)據(jù)資源，規(guī)劃設計數(shù)據(jù)的采集、整合加工、綜合應用、共享發(fā)布、信息服務與更新推送等生產(chǎn)、服務與更新全套流程，從而形成一套完整的體系，確保數(shù)據(jù)源源不斷地發(fā)揮最大價值。

2.2 基于虛擬化平臺的私有云空間數(shù)據(jù)中心

云計算具有按需服務、資源共享、快速彈性等特點，適合于個性化服務。云計算的部署模型包括私有云、公有云、混合云等，其中私有云的安全性最高[11]。本文采用VMWare vCloud搭建基于云架構的數(shù)據(jù)中心，將私有云平臺用于特大城市海量異構的空間數(shù)據(jù)管理和服務中，形成了生產(chǎn)用私有云資源池、容災用私有云資源池，業(yè)務連續(xù)性可保證恢復時間(RTO)為4 h，恢復點(RPO)為8 h。主要技術特點有：

(1) 資源池化。將多個獨立的物理資源(CPU、內(nèi)存)池化為統(tǒng)一的資源池，可依據(jù)需求動態(tài)分配資源，有效減少“一對一”硬件配置帶來的資源浪費。

(2) 高效管理。通過虛擬化管理平臺實現(xiàn)了靈活、高效、高可靠、可輕松擴展的管理，系統(tǒng)搭建、系統(tǒng)遷移、系統(tǒng)恢復時間成倍縮減。

(3) 高速存取。采用LanFree技術，將應用數(shù)據(jù)流與備份數(shù)據(jù)流分開，使業(yè)務系統(tǒng)與備份系統(tǒng)的數(shù)據(jù)流互不影響，提高客戶端訪問數(shù)據(jù)的存取速度。

3 面向個性化服務的云空間數(shù)據(jù)中心構建

3.1 總體架構

作為特大城市的代表，北京市積累了1934年以來地上地下、多源、異構、多時態(tài)、多尺度、海量的空間數(shù)據(jù)，數(shù)據(jù)使用頻繁，用戶個性化需求層出不窮。本文以北京市為例構建了面向個性化服務的特大城市云空間數(shù)據(jù)中心，總體架構如圖3所示。

3.2 實現(xiàn)效果

基于上述關鍵技術和總體架構，在北京市地理信息中心建立了云空間數(shù)據(jù)中心，IT資源可依據(jù)應用需求動態(tài)分配，資源利用率提高50%以上；系統(tǒng)搭建、遷移、恢復時間由幾天縮短為幾個小時；數(shù)據(jù)備份效率提高約30%。空間數(shù)據(jù)經(jīng)梳理規(guī)劃后，歸為6大類41中類110小類，通過資源目錄和元數(shù)據(jù)規(guī)范描述，構建了單類資源同步增量更新與多類資源聯(lián)動更新流程；按照“生產(chǎn)庫與服務庫分開、核心數(shù)據(jù)與個性化數(shù)據(jù)分開”的設計思路建立了數(shù)據(jù)庫，并發(fā)布了數(shù)據(jù)查看、查詢、處理、分發(fā)與更新等服務；開發(fā)完成了集數(shù)據(jù)管理、調(diào)度、處理于一身的數(shù)據(jù)管理集成管理系統(tǒng)，實現(xiàn)了全面、多角度、靈活、個性化的數(shù)據(jù)展示與多種、多樣的分析的數(shù)據(jù)資源集成展示系統(tǒng)，以支撐個性化測繪生產(chǎn)數(shù)據(jù)產(chǎn)品分發(fā)服務系統(tǒng)，以及對社會大眾提供基礎地理信息產(chǎn)品查詢服務的基礎地理信息資源門戶。部分系統(tǒng)界面如圖4所示。

目前，該云空間數(shù)據(jù)中心已經(jīng)成為北京市重要的基礎地理信息管理服務平臺，并支撐著基礎測繪、工程測量、GIS數(shù)據(jù)加工等測繪地理信息的日常生產(chǎn)工作。

圖3 總體技術架構

圖4 部分系統(tǒng)界面

4 結(jié)束語

隨著Web2.0的應用拓展，用戶參與信息資源管理、參與產(chǎn)生個性化內(nèi)容、進行服務中的互動是個性化信息服務的發(fā)展趨勢。本文提出了針對測繪部門個性化業(yè)務需求的空間數(shù)據(jù)情境應用模式，通過NoSQL對用戶參與產(chǎn)生的個人空間數(shù)據(jù)進行了管理，基于一種Web客戶端集成方法實現(xiàn)了不限規(guī)格的多種異構個人空間數(shù)據(jù)即時、在線疊加分析和協(xié)同應用，基于Mashup技術將各類數(shù)據(jù)服務融合為特定情境下的Web應用，創(chuàng)新了個性化空間數(shù)據(jù)服務的應用模式和技術方法。

傳統(tǒng)常規(guī)數(shù)據(jù)中心服務器資源空閑率高，管理和運行效率較低，可擴展性較差，本文以北京市為例，在將海量龐雜的空間數(shù)據(jù)資源按照分類清晰、便于用戶理解的方式規(guī)劃組裝的基礎上，采用虛擬化技術，在國內(nèi)城市測繪領域率先建成高效運行、可擴展、面向個性化服務的云空間數(shù)據(jù)中心。目前，該數(shù)據(jù)中心已為城市規(guī)劃、城市建設和管理提供了大量數(shù)據(jù)服務，其架構和關鍵技術也形成了一套解決方案，并應用于國家、市政府委辦局、區(qū)縣政府委辦局等多個單位的地理信息系統(tǒng)中，通過大量實踐驗證了該技術的可行性和適用性。

[1] 曾元武,陳澤鵬,方曉樂,等.大數(shù)據(jù)時代下地理信息公共平臺建設展望[J].測繪通報,2015(11)：84-87，105.

[2] 牟乃夏,劉文寶,張靈先,等.空間信息服務的個性化問題[J]. 測繪科學,2011，36(3):104-106.

[3] 李井杰,崔洪波.淺談地理信息數(shù)據(jù)中心的規(guī)劃建設[J]. 測繪與空間地理信息,2013，36(6):81-82，85.

[4] 李明巨,吳勤書,劉昱君.一種基于云GIS技術的地理信息服務新方式[J].測繪通報,2015(2):92-94.

[5] 張桂芬.基于云計算的城市地理信息公共服務平臺設計與實現(xiàn)[J].城市勘測,2012(4):12-15.

[6] GAO M, LIU K, WU Z. Personalization in Web Computing and Informatics: Theories, Techniques, Applications, and Future Research[J]. Information Systems Frontiers, 2010, 12(5):607-629.

[7] 劉瓊.面向地理信息主動服務的用戶興趣模型的研究[D].泰安：山東農(nóng)業(yè)大學,2014.

[8] 李春,朱珍民,葉劍,等.個性化服務研究綜述[J].計算機應用研究,2009(11):4001-4005，4009.

[9] 陳崇成,林劍峰,吳小竹,等.基于NoSQL的海量空間數(shù)據(jù)云存儲與服務方法[J].地球信息科學學報,2013，15(2):166-174.

[10] 周順平,魏利萍,萬波,等.多源異構空間數(shù)據(jù)集成的研究[J]. 測繪通報,2008(5):25-27,39.

[11] ADINARAYAN G. Monitoring and Capacity Planning of Private Clouds: The Challenges and the Solution[C]∥IEEE International Conference on Cloud Computing in Emerging Markets.[S.l.]：IEEE,2012.

Construction of Mega City Cloud Spatial Data Center with Personalized Services

TAO Yingchun1,2,3，LIU Guang2,3，PANG Jinghui2,3，WU Aihua2,3，ZHAO Lingmei2,3

(1. Peking University, Beijing 100871, China； 2. Beijing Institute of Surveying and Mapping, Beijing 100038, China； 3. Beijing Key Laboratory of Urban Spatial Information Engineering, Beijing 100038,China)

The geographic information data of mega city has the characteristics of massive volume, rapid accumulation, heterogeneous and being frequent used. In the era of big data and Web2.0, traditional storage and management of spatial data and sharing service mode lacks of data integration and mining, as well as passively serves customers without differences. It is difficult to meet the increasing requirements of richer spatial data content, quicker response and higher quality. And it is difficult to adapt to individualized demand of spatial information service. In this paper, the key technologies of personalized services and cloud spatial data centre construction have been researched, personalized situational data application mode is proposed, a method of online heterogeneous space data integration has been described, individual spatial data and traditional spatial data service integration is realized based on NoSQL. Taking Beijing as an example, a mega cities space cloud data centre based onprivatecloudhasbeenbuilt,whichisreliable,efficient,expandableandhashighparticipationdegreeandprovidespersonalizedspatialservices.

personalized service; situational application of spatial data; online integration of heterogeneous spatial data; cloud spatial data centre

陶迎春,劉光,龐京輝,等.構建面向個性化服務的特大城市云空間數(shù)據(jù)中心[J].測繪通報，2017(2)：10-13.

10.13474/j.cnki.11-2246.2017.0039.

2016-05-30

測繪地理信息公益性行業(yè)科研專項(201512011)

陶迎春(1983—)，女，博士生，工程師，主要研究方向為GIS技術。E-mail：taoyc@bism.cn

P208

A

0494-0911(2017)02-0010-04