大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展研究

摘 要：大數(shù)據(jù)環(huán)境下GIS處在數(shù)據(jù)體量大、數(shù)據(jù)急劇膨脹、數(shù)據(jù)源多樣、數(shù)據(jù)不精確、數(shù)據(jù)價值密度低的環(huán)境。描述大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)顯著特征；探討大數(shù)據(jù)環(huán)境下GIS技術(shù)在數(shù)據(jù)采集、存儲、分析處理等三個方面存在的挑戰(zhàn)；展望面對這些挑戰(zhàn)GIS技術(shù)應(yīng)存儲去結(jié)構(gòu)化、計算內(nèi)存化、分析去模型化、地圖全息化發(fā)展趨勢。

關(guān)鍵詞：大數(shù)據(jù)；GIS；Hadoop；Spark；去模型化

引言

隨著移動互聯(lián)網(wǎng)、智慧城市、物聯(lián)網(wǎng)、云計算等前沿科學技術(shù)的快速發(fā)展，數(shù)據(jù)采集方式也不斷擴展，越來越多的物體成為傳感器，諸如手機、手環(huán)、手表、眼鏡等越來越多的日常用品成為數(shù)據(jù)的生產(chǎn)工具。在此背景下，數(shù)據(jù)量呈爆發(fā)式增長。2013年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB（相當于8億TB），是2012年所產(chǎn)生的數(shù)據(jù)總量的2倍，相當于2009年全球的數(shù)據(jù)總量[1]。2014年中國所產(chǎn)生的數(shù)據(jù)則相當于2012年產(chǎn)生數(shù)據(jù)總量的10倍，即超過8ZB，而全球產(chǎn)生的數(shù)據(jù)總量將超40ZB。數(shù)據(jù)量的爆發(fā)式增長督促我們快速邁入大數(shù)據(jù)時代。

1 GIS空間數(shù)據(jù)的大數(shù)據(jù)特征

具體什么是大數(shù)據(jù)不同的組織給出的定義也不盡相同，普遍來說大數(shù)據(jù)指的是無法通過現(xiàn)有的軟件工具采集、存儲和分析處理的數(shù)據(jù)集合。業(yè)界通常用5V（Volume、Variety、Velocity、Veracity、Value）特征[2]來概括大數(shù)據(jù)的顯著特征。爆發(fā)式增長的數(shù)據(jù)中80%與空間位置有關(guān)，這些GIS空間數(shù)據(jù)的大數(shù)據(jù)特征同樣可以用5V來概括。

Volume（數(shù)據(jù)量）：即數(shù)據(jù)體量大，大量TB級以上數(shù)據(jù)需要采集、存儲、分析處理，如一個地級市的基礎(chǔ)地理信息數(shù)據(jù)。

Velocity（速度）：即數(shù)據(jù)產(chǎn)生的速率很快，目前數(shù)據(jù)正以ms甚至微秒計的流數(shù)據(jù)源源不斷地快速產(chǎn)生，因此對數(shù)據(jù)處理的實時性要求也越來越更高。

Variety（多樣性）：即數(shù)據(jù)具有多樣性，它包含各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如屬性數(shù)據(jù)、矢量數(shù)據(jù)、遙感影像等柵格數(shù)據(jù)。

Veracity（真實）：即數(shù)據(jù)具有不精確性，因為數(shù)據(jù)存在噪音、歧義甚至是缺失，從而導致數(shù)據(jù)信息模糊，給數(shù)據(jù)的處理帶來諸多不利影響。

Value（價值）：即價值密度低，大數(shù)據(jù)中蘊含各種信息，但其中有價值的數(shù)據(jù)占比較低，從中挖掘出有價值的數(shù)據(jù)是一種挑戰(zhàn)。

2 大數(shù)據(jù)環(huán)境下GIS面臨的挑戰(zhàn)

自Roger Tomlinson博士于1963年首次提出地理信息系統(tǒng)（Geographic Information Systems）概念之后，GIS技術(shù)一直都在快速發(fā)展。GIS技術(shù)現(xiàn)已廣泛應(yīng)用于環(huán)境監(jiān)測、國土資源管理、城市規(guī)劃、交通運輸、公共基礎(chǔ)設(shè)施管理、社交網(wǎng)絡(luò)（SNS）、位置服務(wù)（LBS）等領(lǐng)域，給人們生活帶來很大便利。隨著廣大從業(yè)者對GIS技術(shù)進行不斷的嘗試和實踐，發(fā)現(xiàn)大數(shù)據(jù)環(huán)境下GIS所面臨的數(shù)據(jù)通常是大體量的、快速增長的、異構(gòu)的、非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)采集不便、存儲困難、分析處理復雜，給傳統(tǒng)GIS技術(shù)帶來挑戰(zhàn)。

2.1 大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)的采集

大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)采集方式不再局限于全站儀、水準儀、掃描儀、衛(wèi)星遙感影像等傳統(tǒng)設(shè)備與方式，而是來源于各種傳感器、街景圖片、網(wǎng)頁貼吧、視頻監(jiān)測數(shù)據(jù)、歷史數(shù)據(jù)、社會動態(tài)等復雜多樣的數(shù)據(jù)源，凸現(xiàn)大數(shù)據(jù)的多樣性特征，這給GIS數(shù)據(jù)的采集增加了難度。另外各種傳感器等監(jiān)測數(shù)據(jù)多為流數(shù)據(jù)，數(shù)據(jù)以毫秒甚至以微秒計源源不斷快速產(chǎn)生。所謂流數(shù)據(jù)是指一組順序、大量、快速、連續(xù)到達的數(shù)據(jù)序列，一般情況下，數(shù)據(jù)流可被視為一個隨時間延續(xù)而無限增長的動態(tài)數(shù)據(jù)集合，如車輛的行駛軌跡等階段內(nèi)無限增加的動態(tài)監(jiān)測數(shù)據(jù)。此外大數(shù)據(jù)環(huán)境下95%以上的數(shù)據(jù)都是存在噪音和歧義甚至缺失的不精確數(shù)據(jù)，在這種數(shù)據(jù)體量巨大的大數(shù)據(jù)環(huán)境下如何建立數(shù)據(jù)質(zhì)量評價體系，從而采集到真實可靠的數(shù)據(jù)成為一大難題。

2.2 大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)的存貯

數(shù)據(jù)的存儲是數(shù)據(jù)分析和數(shù)據(jù)挖掘的基礎(chǔ)與前提。現(xiàn)有成熟的GIS數(shù)據(jù)存儲系統(tǒng)多依賴關(guān)系型數(shù)據(jù)庫，如Oracle、PostGIS；但是關(guān)系型數(shù)據(jù)庫由于在海量數(shù)據(jù)管理、高并發(fā)讀寫以及擴展性等方面的限制，在大數(shù)據(jù)時代已經(jīng)顯示出一定的局限性[3]。

大數(shù)據(jù)環(huán)境下數(shù)據(jù)量體非常巨大，2GB大小的遙感影像已經(jīng)是非常小的分析單元。另外GIS數(shù)據(jù)源呈現(xiàn)更大的多樣性，既有屬性信息等可以用結(jié)構(gòu)化方式存儲的數(shù)據(jù)，又有街景、視頻等非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的GIS空間數(shù)據(jù)存儲方式不但難以擴展，而且隨著數(shù)據(jù)的激增讀寫性能存在極大瓶頸。

在傳統(tǒng)的分布式空間數(shù)據(jù)庫環(huán)境下數(shù)據(jù)雖然可以存放在不同節(jié)點上，但這種相對傳統(tǒng)的分布式文件系統(tǒng)所支持的擴展性有限，針對GIS大體量、多樣性的空間數(shù)據(jù)存儲問題仍需深入研究，從而尋找更加有效的方案。

2.3 大數(shù)據(jù)環(huán)境下的GIS空間分析

大數(shù)據(jù)環(huán)境下是處處連接的時代，英特爾預測2020年全球?qū)⒂?00億個連接。每個連接都是一個傳感器，這些傳感器無時無刻都在進行采集數(shù)據(jù)，其自身狀態(tài)也隨著社會環(huán)境、自然環(huán)境的變化而變化。這樣的背景下，迫切需要GIS能夠做到低延遲的分析處理工作，因為分析模型也需要隨著變化而動態(tài)變化。

另外大體量和多樣性的GIS數(shù)據(jù)同樣給分析處理帶來巨大挑戰(zhàn)。數(shù)據(jù)體量越大，分析模型的建立就越困難，加上GIS數(shù)據(jù)包含街景地圖、遙感影像、矢量數(shù)據(jù)等多樣性的、價值密度很低數(shù)據(jù)，從中快速提煉有價值數(shù)據(jù)無疑是一項無比艱巨的任務(wù)。

3 大數(shù)據(jù)環(huán)境下GIS技術(shù)發(fā)展

大數(shù)據(jù)環(huán)境下GIS數(shù)據(jù)體量大、增長速度快、形態(tài)多樣、不精確、價值密度低等諸多特征必將引起GIS數(shù)據(jù)采集、存貯、分析等階段的變革。大數(shù)據(jù)環(huán)境下GIS技術(shù)在空間數(shù)據(jù)采集、存儲、分析處理等方面存在諸多挑戰(zhàn)，應(yīng)運而生的大數(shù)據(jù)分析技術(shù)則為根本上解決大數(shù)據(jù)環(huán)境GIS所面臨的挑戰(zhàn)提供了可能。

3.1 存儲去結(jié)構(gòu)化

相對于有限的數(shù)據(jù)集，大體量數(shù)據(jù)需要可擴展的數(shù)據(jù)存儲架構(gòu)，以滿足數(shù)據(jù)無限增長的需要。針對大數(shù)據(jù)時代GIS數(shù)據(jù)的多樣性，諸如HBase、Redis、MongoDB、InfoGrid等非關(guān)系型（NoSQL）數(shù)據(jù)庫顯然是不錯的選擇。

這些數(shù)據(jù)庫存儲不需要預先定義模式，并且可在系統(tǒng)運行的時候動態(tài)增加或刪除節(jié)點，避免停機維護，提高了拓展性和可靠性；另外非關(guān)系型數(shù)據(jù)庫沒有共享架構(gòu)，數(shù)據(jù)往往被劃分后存儲在各個本地服務(wù)器上，方便就近從本地磁盤上讀取數(shù)據(jù)，提高數(shù)據(jù)讀取性能。

3.2 計算內(nèi)存化

Hadoop系統(tǒng)是近幾年比較經(jīng)典的開源大數(shù)據(jù)解決方案，但Hadoop主要進行離線數(shù)據(jù)的計算，應(yīng)對低延遲的應(yīng)用場景比較困難；另外Hadoop使用的是MapReduce模型，而該模型將復雜的問題用簡單的映射、歸約方式，對復雜的算法邏輯支持不充分。Hadoop方案中數(shù)據(jù)存在硬盤上，因此容易受IO瓶頸的影響，故實時處理GIS數(shù)據(jù)乏力。幸運的是大數(shù)據(jù)領(lǐng)域一批又一批新生技術(shù)出現(xiàn)，Spark是其中的一個代表。Spark啟用了內(nèi)存分布式數(shù)據(jù)集，它支持更多范式，且配有一個流數(shù)據(jù)處理模型，因此在處理GIS數(shù)據(jù)上能達到更低延遲，性能更高的效果。

3.3 分析去模型化

傳統(tǒng)的GIS空間數(shù)據(jù)分析需要先建立分析模型，比如影響因子有哪些，權(quán)重各是多少，然后才能進行分析，做出評價。然而大數(shù)據(jù)環(huán)境下，分析模型愈發(fā)跟不上或不適應(yīng)數(shù)據(jù)的快速增長與變化，以數(shù)據(jù)為最終驅(qū)動力的去模型化則必然是GIS技術(shù)的發(fā)展方向。

3.4 地圖全息化

傳統(tǒng)的地圖越來越不適應(yīng)大數(shù)據(jù)環(huán)境下用戶的個性化定制需求，以人為本的全息化地圖可幫助用戶任何時間、任何地點獲取所需要的數(shù)據(jù)信息。其宗旨是以“人”為本，根據(jù)用戶的應(yīng)用需求，基于位置來集成和關(guān)聯(lián)適宜的地理范圍、內(nèi)容類型、細節(jié)程度、時間點或間隔的泛在信息，通過適應(yīng)于特定用戶的表達方式為用戶提供信息服務(wù)[4]。

4 結(jié)束語

大數(shù)據(jù)的發(fā)展對世界產(chǎn)生深遠的影響，大數(shù)據(jù)環(huán)境下GIS也面臨著采集困難、存儲不便、分析處理復雜等諸多挑戰(zhàn)；當然這也是GIS技術(shù)的發(fā)展機遇，GIS從業(yè)者需要從不斷的實踐中探索出更加科學的解決方案。

參考文獻

[1]Ahalt S C. Why Data Science[J].Communications of the CCF，2013，9（12）：11-15（Ahalt S C.為什么需要數(shù)據(jù)科學[J].中國計算機學會通訊，2013，9（12）：11-15.

[2]陸鋒，張恒才.大數(shù)據(jù)與廣義GIS[J].武漢大學學報（信息科學版），2014，6（39）：645-654.

[3]李清泉，李德仁.大數(shù)據(jù)GIS[J].武漢大學學報（信息科學版），2014，6（39）：641-644.

[4]朱欣焰，周成虎，等.全息位置地圖概念內(nèi)涵及其關(guān)鍵技術(shù)初探[J].武漢大學學報（信息科學版），2015，3（40）：285-295.

作者簡介：沈松雨（1986，1-），男，廣東廣州，本科學歷，助理工程師、系統(tǒng)分析師，研究方向：大數(shù)據(jù)分析。