基于分布式架構(gòu)的海量空間數(shù)據(jù)快速瀏覽與發(fā)布系統(tǒng)設(shè)計(jì)

李 東，申 遼

1云南省自然資源廳國(guó)土資源信息中心

2云南省測(cè)繪資料檔案館〈云南省基礎(chǔ)地理信息中心〉

隨著自然資源數(shù)據(jù)獲取方式更加快捷，云南省現(xiàn)有自然資源信息化建設(shè)積累了大量的空間地理信息數(shù)據(jù)成果，因數(shù)據(jù)量大導(dǎo)致地圖服務(wù)瀏覽、查詢效率不高，地圖瓦片的構(gòu)建處理時(shí)間冗長(zhǎng)、更新不及時(shí)，影響了自然資源大數(shù)據(jù)建設(shè)成果的應(yīng)用與推廣。同時(shí)，現(xiàn)有國(guó)土資源、基礎(chǔ)測(cè)繪、地質(zhì)環(huán)境等專業(yè)的信息化應(yīng)用建設(shè)中也發(fā)布了大量的地圖服務(wù)，由于技術(shù)要求不一、管理分散、更新困難等問(wèn)題，迫切需要建設(shè)國(guó)土空間海量數(shù)據(jù)快速瀏覽查詢、服務(wù)發(fā)布及更新系統(tǒng)，滿足自然資源空間大數(shù)據(jù)的管理、快速瀏覽查詢和更新需求。

1 系統(tǒng)技術(shù)設(shè)計(jì)

建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)，主要是為了解決好兩個(gè)方面的問(wèn)題。

一是研發(fā)高性能分布式地圖瓦片引擎，解決地圖服務(wù)的快速切圖、快速發(fā)布、快速瀏覽的問(wèn)題。實(shí)現(xiàn)在大數(shù)據(jù)量背景下的空間地圖服務(wù)高速化。

二是研發(fā)國(guó)土資源空間數(shù)據(jù)統(tǒng)一發(fā)布系統(tǒng)，解決現(xiàn)有地圖服務(wù)管理分散、數(shù)據(jù)不統(tǒng)一、資源利用效率低等問(wèn)題。實(shí)現(xiàn)跨平臺(tái)的地圖服務(wù)統(tǒng)一管理、統(tǒng)一發(fā)布和統(tǒng)一更新。

系統(tǒng)功能的建設(shè)應(yīng)包含高性能地圖瓦片引擎、空間數(shù)據(jù)高速更新、統(tǒng)一地圖服務(wù)發(fā)布與管理、地圖快速瀏覽查詢、系統(tǒng)監(jiān)控等五大主要功能模塊。

1.1 系統(tǒng)技術(shù)架構(gòu)

自然資源海量數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)需要在架構(gòu)層面，解決自然資源數(shù)據(jù)體量巨大、處理速度快、數(shù)據(jù)類型繁多、價(jià)值密度低等特性帶來(lái)的挑戰(zhàn)，因此在技術(shù)選型上采用了當(dāng)前主流的Hadoop架構(gòu)，并結(jié)合空間數(shù)據(jù)存儲(chǔ)、分析的特點(diǎn)，選擇了多種當(dāng)前主流的大數(shù)據(jù)框架[1]。在大數(shù)據(jù)存儲(chǔ)層，統(tǒng)一采用分布式文件系統(tǒng)，架構(gòu)Swift、HBase，實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的存儲(chǔ)；在大數(shù)據(jù)處理層，采用MapReduce、Hive、Spark等大數(shù)據(jù)處理框架，同時(shí)采用GIS Tools for Hadoop實(shí)現(xiàn)對(duì)空間大數(shù)據(jù)的處理[2]?？臻g大數(shù)據(jù)管理的總體技術(shù)架構(gòu)如圖1所示：

圖1 系統(tǒng)技術(shù)架構(gòu)

（1）數(shù)據(jù)采集層

國(guó)土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)的數(shù)據(jù)來(lái)源于國(guó)土資源大數(shù)據(jù)平臺(tái)，數(shù)據(jù)格式以結(jié)構(gòu)化空間數(shù)據(jù)為主，此外還會(huì)包括大量的非結(jié)構(gòu)化數(shù)據(jù)，例如：圖片、視頻、音頻、文檔等。

（2）大數(shù)據(jù)存儲(chǔ)層

為了滿足不同數(shù)據(jù)格式的存儲(chǔ)要求，在數(shù)據(jù)存儲(chǔ)層搭建異構(gòu)的數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)，對(duì)于結(jié)構(gòu)化數(shù)據(jù)，采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）Oracle；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，采用分布式存儲(chǔ)架構(gòu)，Ceph、HDFS、HBase、Swift。在數(shù)據(jù)存儲(chǔ)層，對(duì)關(guān)系型數(shù)據(jù)庫(kù)和分布式存儲(chǔ)實(shí)現(xiàn)統(tǒng)一管理，向上層提供統(tǒng)一的訪問(wèn)接口[3]。

（3）大數(shù)據(jù)處理層

結(jié)合空間數(shù)據(jù)處理的特點(diǎn)，在大數(shù)據(jù)處理層建 立GIS Tools for Hadoop框 架，依 托 底 層 的MapReduce、Hive，對(duì)空間數(shù)據(jù)進(jìn)行分布式處理和運(yùn)算。同時(shí)，搭建通用的大數(shù)據(jù)處理框架，如Spark等，滿足常規(guī)大數(shù)據(jù)的處理需求，處理結(jié)果經(jīng)過(guò)空間建模、可視化，最終面向業(yè)務(wù)應(yīng)用。

（4）服務(wù)層

服務(wù)層為用戶提供快速瀏覽的地圖服務(wù)能力，包括矢量地圖快速瀏覽服務(wù)、影像地圖快速瀏覽服務(wù)。

（5）應(yīng)用層

國(guó)土資源大數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)支持Web端的訪問(wèn)方式，用戶可以在Web端，訪問(wèn)系統(tǒng)所發(fā)布的各類專題地圖服務(wù)。包括土地專題圖、礦政專題圖、地質(zhì)環(huán)境專題圖、不動(dòng)產(chǎn)登記專題圖等。

1.2 系統(tǒng)功能設(shè)計(jì)

（1）高性能地圖瓦片引擎

提供矢量地圖的分布式瓦片圖像緩存生成、影像地圖的分布式瓦片圖像緩存生成、分布式瓦片緩存管理、瓦片緩存局部更換等功能。為了與ArcGIS平臺(tái)兼容，高性能瓦片引擎要在輸入、輸出兩大環(huán)節(jié)與ArcGIS平臺(tái)保持兼容。高性能地圖瓦片引擎不僅要能夠識(shí)別ArcGIS配圖文件，還要能夠利用存儲(chǔ)在國(guó)土資源空間數(shù)據(jù)庫(kù)中的空間數(shù)據(jù)來(lái)生成地圖瓦片。由于既有的業(yè)務(wù)應(yīng)用系統(tǒng)所引用的地圖服務(wù)，都是采用ArcGIS平臺(tái)發(fā)布的，所以高性能地圖瓦片引擎所生成的地圖瓦片也要能夠發(fā)布到ArcGIS平臺(tái)上，這樣就可以最大限度地保證在提升地圖服務(wù)效能的同時(shí)，保持相關(guān)業(yè)務(wù)的持續(xù)性。

采用分布式計(jì)算框架不僅把計(jì)算的壓力分散到多臺(tái)設(shè)備上，尤其是把IO的壓力也分散開，有效利用各臺(tái)設(shè)備上的高速緩存，極大地提高瓦片生成效率。

在分布式瓦片引擎節(jié)點(diǎn)上生成的地圖瓦片，也是散布在各個(gè)節(jié)點(diǎn)上。通過(guò)分布式文件系統(tǒng)將這些分散的地圖瓦片組織成為一個(gè)統(tǒng)一的整體。為了提高分布式瓦片存儲(chǔ)的存取速度，必須建立一套統(tǒng)一的分布式文件索引。

（2）數(shù)據(jù)主動(dòng)更新

針對(duì)既有空間數(shù)據(jù)庫(kù)，能夠感知空間數(shù)據(jù)的更新。按照數(shù)據(jù)更新的空間范圍，快速重構(gòu)瓦片圖像緩存，并更新到相關(guān)地圖服務(wù)中。

數(shù)據(jù)更新模塊的功能滿足兩項(xiàng)要求：

一是能夠主動(dòng)感知既有空間數(shù)據(jù)庫(kù)中的指定空間數(shù)據(jù)的更新。

二是按照空間數(shù)據(jù)更新范圍，自動(dòng)生成局部瓦片并更新到相關(guān)地圖服務(wù)中，根據(jù)所感知的空間數(shù)據(jù)的更新范圍，自動(dòng)計(jì)算需要重新生成的瓦片范圍，通過(guò)瓦片引擎生成局部的地圖瓦片，然后再通過(guò)地圖統(tǒng)一發(fā)布服務(wù)，把局部的地圖瓦片更新到相關(guān)的地圖服務(wù)中。

（3）統(tǒng)一地圖服務(wù)發(fā)布與管理

統(tǒng)一地圖服務(wù)發(fā)布與管理模塊包含國(guó)土空間資源目錄維護(hù)、矢量地圖服務(wù)快速發(fā)布、影像地圖服務(wù)快速發(fā)布、導(dǎo)入既有地圖服務(wù)、地圖服務(wù)維護(hù)管理等功能。

統(tǒng)一地圖服務(wù)發(fā)布與管理模塊的功能需要滿足兩項(xiàng)要求：

一是快速發(fā)布新的地圖服務(wù)，包括矢量地圖服務(wù)和影像地圖服務(wù)。在高性能地圖服務(wù)平臺(tái)上，發(fā)布新的地圖服務(wù)。根據(jù)要求通過(guò)高性能地圖瓦片引擎生成地圖瓦片，提供可以快速瀏覽的地圖服務(wù)。

二是跨平臺(tái)維護(hù)與管理既有已發(fā)布的地圖服務(wù)。通過(guò)ArcGIS的地圖服務(wù)管理接口，跨平臺(tái)接入已發(fā)布的地圖服務(wù)，并實(shí)現(xiàn)統(tǒng)一的地圖服務(wù)管理功能。

（4）地圖快速瀏覽查詢。地圖快速瀏覽查詢模塊包含基礎(chǔ)地圖快速瀏覽、專題圖快速瀏覽、圖層控制、地圖工具（選取、繪制、編輯、地圖量算）、空間數(shù)據(jù)快速查詢、空間數(shù)據(jù)分析等功能。本模塊實(shí)現(xiàn)的地圖快速瀏覽與快速查詢是基于所發(fā)布的地圖服務(wù)提供的高性能。

（5）系統(tǒng)監(jiān)控

系統(tǒng)監(jiān)控模塊包含集群管理、服務(wù)器節(jié)點(diǎn)監(jiān)控、服務(wù)發(fā)布任務(wù)監(jiān)控、操作日志、系統(tǒng)日志，以及基礎(chǔ)的系統(tǒng)管理功能。

由于高性能地圖瓦片引擎會(huì)用到分布式處理技術(shù)，導(dǎo)致系統(tǒng)部署在較為復(fù)雜的分布式集群環(huán)境下，良好高效的系統(tǒng)監(jiān)控模塊會(huì)使得整個(gè)集群環(huán)境易于維護(hù)。

2 采用的關(guān)鍵技術(shù)

2.1 基于dubbo的分布式處理

隨著云計(jì)算的發(fā)展，系統(tǒng)應(yīng)用的規(guī)模不斷擴(kuò)大，常規(guī)的垂直應(yīng)用架構(gòu)已無(wú)法應(yīng)對(duì)，分布式服務(wù)架構(gòu)以及流動(dòng)計(jì)算架構(gòu)勢(shì)在必行，亟需一個(gè)治理系統(tǒng)確保架構(gòu)演進(jìn)有條不紊。在本系統(tǒng)里我們將業(yè)務(wù)應(yīng)用抽取為一個(gè)個(gè)獨(dú)立的服務(wù)，形成穩(wěn)定的服務(wù)中心，統(tǒng)一對(duì)外提供服務(wù)調(diào)用。采用分布式部署，具備橫向擴(kuò)展能力，滿足快速響應(yīng)需求，提供高容錯(cuò)處理機(jī)制。

主要核心部件：

Remoting:網(wǎng)絡(luò)通信框架，實(shí)現(xiàn)了sync-overasync和request-response消息機(jī)制；

RPC:遠(yuǎn)程過(guò)程調(diào)用，支持負(fù)載均衡、容災(zāi)和集群功能；

Registry:服務(wù)目錄框架用于服務(wù)的注冊(cè)和服務(wù)事件發(fā)布和訂閱。

2.2 基于nginx+lua+redis的高性能訪問(wèn)分發(fā)

借助于Nginx的事件驅(qū)動(dòng)模型和非阻塞IO，可以實(shí)現(xiàn)高性能的Web應(yīng)用程序。同時(shí)引入ngx_lua，該模塊通過(guò)標(biāo)準(zhǔn)Lua5.1解釋器或LuaJIT 2.0/2.1，把Lua嵌入到Nginx里面，并利用Nginx子請(qǐng)求，把強(qiáng)大的Lua線程混合到Nginx的事件模型中。Lua代碼被執(zhí)行在網(wǎng)絡(luò)上是100%非阻塞的。在本系統(tǒng)中，上游請(qǐng)求服務(wù)為Redis，通過(guò)讀取Redis里存儲(chǔ)的瓦片緩存票據(jù)緩存索引，最終實(shí)現(xiàn)地圖訪問(wèn)的高性能分發(fā)。

Nginx采用的是master-worker模型多進(jìn)程模型一個(gè)master進(jìn)程管理多個(gè)worker進(jìn)程，基本的事件處理都是放在woker中，由master處理外部信號(hào)、配置文件的讀取及worker的初始化，worker進(jìn)程采用單線程、非阻塞的事件模型（Event Loop，事件循環(huán)）來(lái)實(shí)現(xiàn)端口的監(jiān)聽及客戶端請(qǐng)求的處理和響應(yīng)，同時(shí)worker還要處理來(lái)自master的信號(hào)。由于worker使用單線程處理各種事件，所以一定要保證主循環(huán)是非阻塞的，否則會(huì)大大降低worker的響應(yīng)能力。而Lua代碼執(zhí)行是非阻塞，非常符合Nginx進(jìn)程模型。

2.3 分布式空間分析引擎

通常GIS軟件以數(shù)據(jù)獲取、存儲(chǔ)、管理功能為主，并添加了各種時(shí)間維度和空間維度的專題圖展示功能，具有空間統(tǒng)計(jì)、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析方法。但現(xiàn)有的數(shù)據(jù)管理和分析算法也難以擴(kuò)展到大規(guī)模的分布式并行計(jì)算系統(tǒng)之上，無(wú)法滿足對(duì)非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要，無(wú)法滿足大規(guī)模數(shù)據(jù)快速處理和復(fù)雜時(shí)空關(guān)系的分析需要。分布式空間分析引擎，引入空間數(shù)據(jù)庫(kù)一體化管理空間、屬性數(shù)據(jù),以及較小冗余度、高效空間索引等優(yōu)勢(shì)，結(jié)合分布式計(jì)算引擎對(duì)大型運(yùn)算的優(yōu)化支持,實(shí)現(xiàn)分布式技術(shù)的空間分析方法。分布式空間分析引擎架構(gòu)由2部分組成：

一是分布式計(jì)算層，以計(jì)算性能良好的Spark作為計(jì)算引擎，引入了與其他分布式計(jì)算不同的彈性分布式數(shù)據(jù)集（Resilient Distributed Datasets, RDD）進(jìn)行內(nèi)存運(yùn)算，與MapReduce相比節(jié)省了大量的磁盤輸入、輸出操作，提高了運(yùn)算速度；并以Shark（Hive on Spark）為數(shù)據(jù)倉(cāng)庫(kù)，將查詢語(yǔ)句轉(zhuǎn)換為Spark上的RDD操作。

二是數(shù)據(jù)管理層，采用空間數(shù)據(jù)庫(kù)與HDFS混合的方式進(jìn)行數(shù)據(jù)存儲(chǔ)。

3 結(jié)論

通過(guò)高速分布式計(jì)算技術(shù)與傳統(tǒng)的空間地理信息服務(wù)發(fā)布相結(jié)合，建設(shè)自然資源數(shù)據(jù)快速瀏覽與服務(wù)發(fā)布系統(tǒng)，實(shí)現(xiàn)高速生成地圖瓦片、高速發(fā)布地圖服務(wù)、高速瀏覽地圖服務(wù)，從技術(shù)上為云南省國(guó)土資源大數(shù)據(jù)的推廣應(yīng)用提供保障。同時(shí)通過(guò)分布式服務(wù)治理技術(shù)，對(duì)國(guó)土資源時(shí)空云平臺(tái)、基礎(chǔ)地理信息時(shí)空云平臺(tái)、地質(zhì)環(huán)境信息時(shí)空云平臺(tái)上所發(fā)布的地圖服務(wù)，實(shí)現(xiàn)跨平臺(tái)的統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一更新，逐步改善既有業(yè)務(wù)應(yīng)用系統(tǒng)的地圖服務(wù)環(huán)境，從管理上解決國(guó)土資源信息化高速發(fā)展、數(shù)據(jù)成果快速積累所帶來(lái)的一些問(wèn)題。