基于Hadoop的云GIS體系結構研究

范建永，龍 明，熊 偉

（信息工程大學地理空間信息學院，河南鄭州 450052）

一、引 言

云計算是IT產(chǎn)業(yè)繼PC、互聯(lián)網(wǎng)之后的第三次革新浪潮，自2008年以來發(fā)展迅速。國家“十二五”規(guī)劃把云計算作為新一代IT產(chǎn)業(yè)研發(fā)與應用的重要領域。

目前，一般的GIS和WebGIS已經(jīng)不能適應管理海量空間數(shù)據(jù)存儲、分布式計算等特點，而云GIS作為云計算支持下的地理信息系統(tǒng)，因其在資源管理、數(shù)據(jù)共享、計算能力、產(chǎn)品成本和服務等方面獨特的優(yōu)勢，已被廣泛應用到地理信息產(chǎn)業(yè)中。已有組織研究基于云計算的GIS，如NASA、FGDC、NOAA等；GIS 公 司例如 Google、Esri、GISCloud.com、SuperMap已推出自己的基于云計算的 GIS應用平臺。

Hadoop［1］是 Apache的一個可靠、高效、可伸縮的分布式系統(tǒng)基礎架構，并且是開源、跨平臺的，其出現(xiàn)大大推動了云技術和云存儲的研究。

本文在研究現(xiàn)有云的GIS基礎上，結合Hadoop的特點，提出了一種基于Hadoop的云 GIS體系結構。

二、國內外研究現(xiàn)狀

云計算是并行計算（parallel computing）、分布式計算（distributed computing）和網(wǎng)格計算（grid computing）的發(fā)展，或者說是這些計算科學概念的商業(yè)實現(xiàn)［2］。它是將“computing as a service”以“pay-asyou-go”提供給最終用戶的模式。云計算提供4種類型的服務:基礎設施即服務（IaaS），平臺即服務（PaaS），軟件即服務（SaaS）和數(shù)據(jù)即服務（DaaS）。前3種是美國國家技術與標準局（NIST）的定義，DaaS則是地理信息科學的本質。以上4種服務共稱為XaaS。

隨著云計算概念的出現(xiàn)，云GIS的概念也被提出。Esri在2010年最新推出的ArcGIS 10［3］中稱已經(jīng)提供對云計算的支持，但從其發(fā)布的文檔、發(fā)布會及網(wǎng)絡報道來看，ArcGIS 10的云計算能力是與Amazon結合所提供的一種公有云產(chǎn)品（ArcGIS online），并不提供對建設企業(yè)級私有云的支持。Google提供了大量的空間數(shù)據(jù)的分布式存儲服務，也提供了針對衛(wèi)星圖像數(shù)據(jù)操作服務，但是沒有具體的證據(jù)證明它有能力執(zhí)行真正的GIS空間分析。GISCloud.com聲稱是一個基于云的GIS系統(tǒng)，用戶可以通過互聯(lián)網(wǎng)使用其所提供的服務上傳、編輯、轉換和可視化GIS數(shù)據(jù)，它還提供了一定的空間分析能力，如緩沖區(qū)分析；但是無證據(jù)證明其工作原理是基于云的系統(tǒng)，如分布式數(shù)據(jù)存儲和并行計算［4］。國內 SuperMap SGS 平臺是在 SuperMap iServer Java 2008的基礎上，與紅帽合作發(fā)布的基于開源的云計算平臺架構的GIS平臺解決方案，但筆者并未看到更深入的技術探討和對應報道。

關于對云GIS體系結構的理解，不同專家學者有著各自的看法。吳信才對云GIS的體系架構提出了自己的理解［5］，云GIS的體系架構所應具備以下兩個條件:一是功能與數(shù)據(jù)要分離，云GIS必須松耦合、可移動，使得云功能、云細胞可移動、可擴展，這樣部署才比較方便；二是功能可搭建，可根據(jù)需要重復。這種觀點并未從當前云計算發(fā)展的特點出發(fā)，并且服務與數(shù)據(jù)的分離等概念也不是云計算的產(chǎn)物，而是軟件設計的產(chǎn)物。

方雷在其博士論文［6］中也對云GIS的體系結構提出了自己的看法，將云GIS分為了6個層次，分別是物理層、虛擬層、數(shù)據(jù)資源層、云計算支持平臺及服務組件層、服務層和應用層。其提出的云GIS體系架構對本文研究有很大的參考價值。其研究采用的是微軟Dryad平臺，并在此基礎上討論了空間數(shù)據(jù)存儲的負載均衡，但并未使用Dryad已有的分布式系統(tǒng)來存儲和管理數(shù)據(jù)，并且文中只討論了柵格影像數(shù)據(jù)的發(fā)布相關技術，對于矢量數(shù)據(jù)及其他數(shù)據(jù)未作進一步的研究。

Muzafar Ahmad Bhat等［7］提出了一種通用的云GIS體系結構，將云GIS分為通信層、配置層、邏輯層、注冊管理層和公用層，并論述了云GIS的優(yōu)點。但是其未對空間數(shù)據(jù)的分布式存儲、計算與發(fā)布技術作進一步研究和測試。

CHEN Qichang等［8］提出了高性能工作流系統(tǒng)MRGIS，這是一個高效率執(zhí)行GIS應用程序的基于MapReduce集群的并行和分布式計算平臺，同樣MRGIS也是基于云計算技術的GIS平臺。MRGIS是利用Apache開源的云計算平臺Hadoop MapReduce技術所實現(xiàn)的云GIS運行架構，前端通過Python與Hadoop進行整合，將所要執(zhí)行的工作傳送到Hadoop進行處理。他利用Hadoop進行衛(wèi)星影像分類，將土地利用情況依據(jù)其影像特征分為森林、草地、灌木及沙漠4類類型，但未進一步研究空間數(shù)據(jù)的存儲和發(fā)布。

本文在現(xiàn)有開源云平臺Hadoop的基礎上，結合GIS尤其是海量空間數(shù)據(jù)的特點來設計云GIS的體系結構。

三、基于Hadoop的云GIS體系結構

1.設計目的

當前不同云平臺架構和功能相差很大，本文提出的基于Hadoop的云GIS體系結構主要目標為:

1）提供空間數(shù)據(jù)分布式存儲與管理能力，包括多分辨率影像數(shù)據(jù)、多比例尺的矢量數(shù)據(jù)、元數(shù)據(jù)及其他業(yè)務部門數(shù)據(jù)。

2）提供基于分布式存儲的高性能計算服務。

3）充分發(fā)揮每個節(jié)點的計算和存儲能力。

4）為不同的空間數(shù)據(jù)與業(yè)務部門數(shù)據(jù)應用提供計算與發(fā)布服務。

2.基于Hadoop的云GIS體系結構

基于Hadoop的云GIS的體系結構如圖1所示，共包括4層，自下而上分別為物理層、云平臺層、服務層、應用層，以及橫跨多個層次的服務聚合、服務監(jiān)控、任務調度及計量、計費等。下面將對各層的功能進行簡單論述。

（1）物理層

如圖1所示，該層位于體系結構的最底層，由計算機、服務器和網(wǎng)絡資源構成。

（2）云平臺層

該層是體系結構的核心，可分為4層:操作系統(tǒng)層、云平臺環(huán)境層、數(shù)據(jù)層和管理層。

云平臺環(huán)境是基于Hadoop的分布式存儲、分布式計算環(huán)境，主要包括海量空間數(shù)據(jù)的分布式存儲、分布式管理和分布式處理等。在這一層中，分布式數(shù)據(jù)存儲和管理使用 Hadoop的 HBase和HDFS。基于HBase建立相應的空間數(shù)據(jù)表，存儲多分辨率影像數(shù)據(jù)、矢量數(shù)據(jù)、業(yè)務數(shù)據(jù)，其最終數(shù)據(jù)存放在HDFS中。HBase數(shù)據(jù)可以采用類SQL的語言進行訪問，如 Pig、Hive。Zookeeper負責協(xié)調服務［9］。

數(shù)據(jù)包括多分辨率影像數(shù)據(jù)、矢量數(shù)據(jù)、元數(shù)據(jù)及其他相關業(yè)務數(shù)據(jù)。多分辨率影像數(shù)據(jù)可以選擇不同的存儲方式，分辨率不同的影像瓦片數(shù)據(jù)存儲在HBase相應的表中，而未經(jīng)分割的數(shù)據(jù)量較大的影像數(shù)據(jù)則直接存儲到HDFS中。矢量數(shù)據(jù)、業(yè)務數(shù)據(jù)直接存儲在HBase相應表中。元數(shù)據(jù)主要兩部分:一是矢量、柵格等影像數(shù)據(jù)的元數(shù)據(jù)，二是各種業(yè)務元數(shù)據(jù)，都存儲在HBase表中。這樣解決了 HDFS不便管理小文件的問題，同時利用HBase時間戳來實現(xiàn)數(shù)據(jù)的版本控制。

管理層是核心層，負責管理上述所有需要調度管理的內容，具體包括提供數(shù)據(jù)分布式存儲接口、高性能分布式計算管理接口及云平臺功能聚合接口。分布式存儲接口包括基于數(shù)據(jù)共享的透明存儲接口、基于多分辨率影像地圖服務的影像金字塔存儲接口、以高性能分布式計算為目的的多分辨率影像數(shù)據(jù)分布式存儲接口、矢量數(shù)據(jù)分布式存儲接口、元數(shù)據(jù)存儲接口，以及其他業(yè)務數(shù)據(jù)存儲接口。本研究的高性能計算是基于Hadoop MapReduce的高性能計算（如圖1所示），主要是運用MapReduce分布式并行計算架構，將空間數(shù)據(jù)的處理與分析任務分散到云中的各節(jié)點上處理，以降低數(shù)據(jù)運算時間。這種高性能計算適用于海量數(shù)據(jù)的處理工作和GIS的分析處理。

圖1 基于Hadoop的云GIS體系結構

（3）服務層

按照云計算的概念，云計算的資源都是以網(wǎng)絡服務的方式提供給用戶。云計算服務包括IaaS、PaaS、SaaS和DaaS，云GIS一般只提供PaaS、SaaS和DaaS層服務。

服務層為應用提供服務目錄，包括WMS、WFS、WCS、WPS等標準Web服務，還包括多分辨率影像數(shù)據(jù)多版本訪問服務、數(shù)據(jù)基準服務、元數(shù)據(jù)管理服務及各行業(yè)應用服務等。

（4）應用層

應用層直接面向用戶提供一站式服務，所有的資源和GIS功能都以服務的形式提供給用戶，包括基礎應用服務、專業(yè)應用服務和行業(yè)應用服務等。其主要利用Mashup的數(shù)據(jù)聚合和服務聚合，將服務層的不同服務進行組合，形成不同用途的應用服務，以滿足不同用戶的需求。

對于客戶端，云GIS可以提供不同的服務用于支持不同的客戶端系統(tǒng)，包括C/S架構桌面GIS、B/S架構下的WebGIS、移動GIS等。

3.設計特點

本文所提出的云GIS體系結構將開源云計算平臺Hadoop與多分辨率影像數(shù)據(jù)、矢量數(shù)據(jù)，以及其服務發(fā)布結合進行研究。在現(xiàn)有云平臺Hadoop的基礎上，針對不同分辨率影像數(shù)據(jù)、不同比例尺矢量數(shù)據(jù)及不同業(yè)務數(shù)據(jù)，設計與之對應的云計算環(huán)境下的影像存儲、管理模型，并發(fā)布服務。設計的特點如下:

1）基于Hadoop的多分辨率遙感影像數(shù)據(jù)、多比例尺矢量數(shù)據(jù)的存取管理。采用Hadoop的HDFS和HBase作為多分辨率影像數(shù)據(jù)、多比例尺矢量數(shù)據(jù)的分布式存儲系統(tǒng)，并基于 HDFS和HBase的存取接口設計多分辨率影像數(shù)據(jù)、矢量數(shù)據(jù)等的存取服務。

2）基于Hadoop的多部門業(yè)務數(shù)據(jù)存取管理。將不同部門的業(yè)務數(shù)據(jù)存儲在HBase表中，并設計存儲接口，以便于不同用戶的應用。

3）基于HBase的各種數(shù)據(jù)變更方法。HBase所有數(shù)據(jù)庫的更新都有一個時間戳標記，利用時間戳實現(xiàn)共享數(shù)據(jù)的版本控制。

4）Hadoop環(huán)境下的高性能計算。高性能計算的目的是充分發(fā)揮每個計算節(jié)點的性能，本文的高性能計算是采用MapReduce編程模型設計的分布式計算。

5）透明的分布式存儲、分布式計算接口。本文所提出的體系結構在充分利用已有云平臺Hadoop、HBase的基礎上，為用戶隱藏后臺分布式系統(tǒng)存儲、計算的復雜性，提供給用戶透明的分布式存儲、分布式計算接口。同時利用HBase存儲小文件，以解決小文件存儲的問題。

6）數(shù)據(jù)發(fā)布。提供 WMS、WFS、WCS、WPS等標準Web服務，元數(shù)據(jù)管理服務等，以便于數(shù)據(jù)的共享與應用。

四、試驗測試

為驗證本文所提出的云GIS體系結構的可行性，以影像和矢量數(shù)據(jù)的分布式存儲和服務發(fā)布為應用案例進行測試。測試環(huán)境利用兩臺計算機作為宿主機。一臺計算機安裝虛擬機虛擬出2臺計算機，其中一臺作為Web服務器，另一臺部署Hadoop和HBase作為MasterNode和HBase Master節(jié)點；另外一臺利用VMware虛擬出4臺計算機，其中3臺虛擬機部署 Hadoop和 HBase作為 SlaveNode和HResignServer節(jié)點，另一臺配置 Zookeeper來協(xié)調服務。其配置如圖2所示。主機 CPU為 Duo T7700，內存為4 GB；操作系統(tǒng)均為 Ubuntu Linux 10.1，Hadoop-1.0.0，HBase-0.92.0，Zookeeper-3.4.2，開發(fā)環(huán)境為Eclipse 3.6。

圖2 試驗環(huán)境配置圖

試驗用數(shù)據(jù)包括5 m分辨率航空數(shù)據(jù)（2.5 GB）、Google全球瓦片數(shù)據(jù)（1～9級）、浙江省1∶5 萬矢量圖（SHP 格式，2.13 GB）。

1.基于HBase的影像數(shù)據(jù)存儲與檢索

運用HBase基本API創(chuàng)建一個只包含一個列族Image的表Image_tb，編程實現(xiàn)將Google全球影像數(shù)據(jù)（1～9級）導入到表Image_tb中。將影像數(shù)據(jù)導入HBase之后，利用試驗平臺進行了影像數(shù)據(jù)檢索試驗。檢索時間包括影像塊索引計算時間和影像塊數(shù)據(jù)讀取寫入本地時間。利用客戶端分別從2個節(jié)點、3個節(jié)點和4個節(jié)點環(huán)境下讀取相同屏幕顯示范圍的影像塊（以64塊為例），不同級的影像數(shù)據(jù)所需時間（各運行4次的平均時間）見表1。

表1 影像數(shù)據(jù)檢索時間 s

2.矢量數(shù)據(jù)存儲

利用GeoTools-2.7.4開源項目讀取客戶端本地的SHP數(shù)據(jù)，將數(shù)據(jù)導入到相應的表中。

3.基于MapReduce的矢量數(shù)據(jù)空間索引并行構建

本試驗主要驗證運用MapReduce構建矢量數(shù)據(jù)中線狀要素的網(wǎng)格索引的效率。針對上節(jié)入庫的等高線層和交通層，利用DDA構建網(wǎng)格索引的方法分別在2個節(jié)點、3個節(jié)點和4個節(jié)點所組成的集群中并行構建索引，所耗時間見表2。

表2 矢量數(shù)據(jù)并行構建索引時間 s

從表2可以看出，節(jié)點的數(shù)量直接影響計算所需要的時間，隨著節(jié)點的增加，計算所需時間逐漸減少。

4.數(shù)據(jù)發(fā)布試驗

利用HBase REST接口開發(fā)GeoTools-2.7.4的數(shù)據(jù)訪問插件，對存儲的數(shù)據(jù)進行符合OGC標準的地圖服務發(fā)布（如WMS、WFS、WCS）。客戶端用戶可通過瀏覽器調用標準地圖服務進行地圖瀏覽，2～5級分辨率影像數(shù)據(jù)瀏覽效果如圖3所示。

通過試驗可知，本文設計的基于Hadoop的云GIS體系結構，將影像數(shù)據(jù)和矢量數(shù)據(jù)按照分辨率或比例尺分布式地存儲在HBase相應的表中，數(shù)據(jù)的存儲和訪問效率得到有效提高。通過擴充節(jié)點數(shù)，可方便地獲得較大的存儲空間和較高的空間分析計算效率。

圖3 2～5級分辨率影像數(shù)據(jù)瀏覽效果圖

五、結束語

云計算是信息產(chǎn)業(yè)重要的發(fā)展方向，云計算技術與GIS的結合可以實現(xiàn)資源共享，從而有效地節(jié)省服務器資源、數(shù)據(jù)資源、計算資源和人力資源等。本文提出的基于Hadoop的云GIS體系結構，通過利用HBase和HDFS解決海量空間數(shù)據(jù)的高效存儲檢索問題，利用MapReduce編程框架解決海量空間數(shù)據(jù)空間分析的分布式計算效率問題，并提供OGC標準Web服務，為空間資源的高效、便捷共享提供了良好的基礎。本文最后對所提出的體系結構通過試驗進行了驗證，試驗表明，該體系結構可有效提高海量空間數(shù)據(jù)的存儲檢索效率和空間分析分布式計算的效率。

［1］ Hadoop.Welcome to Apache Hadoop［EB/OL］.［2013-05-15］.http:∥hadoop.apache.org/.

［2］ 劉鵬.云計算［M］.北京:電子工業(yè)出版社，2010:1-2.

［3］ 中國經(jīng)濟網(wǎng).全球第一款支持云架構的GIS平臺發(fā)布［EB/OL］.［2010-08-03］.http:∥news.xinhuanet.com/world/2010-08/03/c_12404512.htm.

［4］ CAO Kang.Cloud Computing and Its Applications in GIS［D］.［S.l.］:Clark University，2011:26-27.

［5］ 中國軟件網(wǎng).吳信才:云GIS帶來的最大影響是體系架構［EB/OL］.［2010-12-06］.http:∥www.edu.cn/zhuan_jia_ping_shu_1113/20101206/t20101206_549361.shtml.

［6］ 方雷.基于云計算的土地資源服務高效處理理論框架及其平臺關鍵技術研究［D］.杭州:浙江大學，2011:94-97.

［7］ MUZAFAR A B，RAZEEF M S，BASHIR A.Cloud Computing:a Solution to Geographical Information Systems（GIS）［J］.International Journal on Computer Science and Engineering，2011，3（2）:596-597.

［8］ 陸嘉恒.Hadoop實戰(zhàn)［M］.北京:機械工業(yè)出版社，2011:327-355.

［9］ CHEN Q C，WANG L Q ，SHANG Z B.MRGIS:A MapReduce-Enabled High Performance Workflow System for GIS［C］∥Proceedings of IEEE 4th International Conference on eScienc3.Indianapolis:［s.n.］，2008:646-651.