大數(shù)據(jù)時(shí)代 GIS 發(fā)展路徑探究

韋怡 葉波

摘要：隨著第三次信息化革命浪潮的到來和移動互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，大數(shù)據(jù)時(shí)代的萬物互聯(lián)開始讓我們感受到“位置” 連接一切，位置服務(wù)無所不在。GIS在其中相當(dāng)于橋梁，精準(zhǔn)的空間位置服務(wù)可以實(shí)時(shí)感知道路擁堵、給城市“治病”、控制人類疫情、改變城市生活質(zhì)量。大數(shù)據(jù)時(shí)代，空間大數(shù)據(jù)雖然數(shù)據(jù)價(jià)值大，但價(jià)值密度低，導(dǎo)致實(shí)時(shí)分析決策能力不足，如何從中有針對性地提取感興趣的目標(biāo)信息、信息量不夠豐富以及時(shí)效性差等是應(yīng)用過程中的巨大挑戰(zhàn)。

關(guān)鍵詞： GIS技術(shù);空間大數(shù)據(jù); 行業(yè)應(yīng)用;第三次信息革命;萬物互聯(lián)

中圖分類號：G642? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）36-0046-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 引言

中國工程院院士李建成在2017年4月首屆中國空間大數(shù)據(jù)產(chǎn)業(yè)高峰論壇上表示，GIS中的信息數(shù)據(jù)是大數(shù)據(jù)的重要來源之一，這也將成為大數(shù)據(jù)時(shí)代下各產(chǎn)業(yè)領(lǐng)域的一次重大變革。學(xué)術(shù)界公認(rèn)的傳統(tǒng)GIS技術(shù)與其他信息系統(tǒng)和電子地圖的區(qū)別在于它能夠?qū)⒖臻g數(shù)據(jù)管理以及空間分析能力與基于地圖的數(shù)據(jù)可視化能力進(jìn)行深度融合。大數(shù)據(jù)時(shí)代的到來對傳統(tǒng)的GIS技術(shù)的應(yīng)用和技術(shù)方面提出了巨大的挑戰(zhàn)，為了滿足大數(shù)據(jù)時(shí)代各行業(yè)各領(lǐng)域的實(shí)際需求，GIS技術(shù)絕不能僅僅是為了更加精準(zhǔn)地描述地理實(shí)體，更重要的是結(jié)合分析功能在海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和預(yù)測趨勢。

2 大數(shù)據(jù)時(shí)代背景下GIS的挑戰(zhàn)

隨著大數(shù)據(jù)時(shí)代到來，空間大數(shù)據(jù)雖然數(shù)據(jù)價(jià)值大，但價(jià)值密度低，導(dǎo)致實(shí)時(shí)分析決策能力不足，如何從中有針對性地提取感興趣的目標(biāo)信息、信息量不夠豐富以及時(shí)效性差等是應(yīng)用過程中的巨大挑戰(zhàn)。大數(shù)據(jù)最基本的特征之一就是數(shù)據(jù)量巨大，以 GIS 空間大數(shù)據(jù)為例，面臨著不斷累積的數(shù)據(jù)存儲量和依舊不斷增多的數(shù)據(jù)量，用戶面臨的數(shù)據(jù)計(jì)數(shù)單位從之前的 GB 級到TB 級甚至到之后的 PB 級發(fā)展，隨著每天仍然有大量的用戶通過集中的關(guān)系型數(shù)據(jù)庫進(jìn)行存儲，面臨逐步增加的數(shù)據(jù)容量，集中式存儲模式已經(jīng)無法承載如此大的數(shù)據(jù)量，同時(shí)也無法為計(jì)算分析提供高效的存儲保障。越來越多的用戶不僅需要接入傳統(tǒng)測繪數(shù)據(jù)類型，如矢量數(shù)據(jù)和影像數(shù)據(jù)，還需要可存儲新型測繪數(shù)據(jù)類型，如傾斜攝影模型、BIM、激光點(diǎn)云等，同時(shí)還需要接入帶有地理位置的 IT 大數(shù)據(jù)，系統(tǒng)接入的數(shù)據(jù)類別也越來越多，越來越豐富。前兩種數(shù)據(jù)類型還有相對比較規(guī)范的數(shù)據(jù)標(biāo)準(zhǔn)，而 IT 大數(shù)據(jù)還處于模態(tài)多樣、 雜亂無章、標(biāo)準(zhǔn)不統(tǒng)一、時(shí)空尺度不統(tǒng)一、精度不統(tǒng)一等階段，如何梳理成可信數(shù)據(jù)也成為一大挑戰(zhàn)。

3 大數(shù)據(jù)時(shí)代背景下GIS的機(jī)遇

傳統(tǒng) GIS 處理的是靜態(tài)數(shù)據(jù)，而如今98%都是動態(tài)的數(shù)據(jù)。龔建雅院士也提出了“實(shí)時(shí) GIS 是未來的發(fā)展趨勢，在統(tǒng)一的空間大數(shù)據(jù)框架下，基于傳感網(wǎng)的實(shí)時(shí)動態(tài) GIS 可以實(shí)時(shí)管理與分析城市內(nèi)部的人流、物流和事件流，因而能夠在智慧城市中發(fā)揮重要作用”。如何能夠接入多源的傳感設(shè)備，快速高效處理實(shí)時(shí)數(shù)據(jù)，同時(shí)動態(tài)實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的可視化展示也是 GIS 要面臨的一大挑戰(zhàn)。當(dāng)然更大的挑戰(zhàn)就是如何從空間大數(shù)據(jù)中，通過 GIS 技術(shù)去實(shí)現(xiàn)數(shù)據(jù)挖掘， 通過 GIS 的空間分析、空間查詢和空間可視化等技術(shù)優(yōu)勢為用戶提供指導(dǎo)和決策。 這就需要 GIS 具有大數(shù)據(jù)的相關(guān)技術(shù)支持。在主流的 IT 技術(shù)體系下，已經(jīng)有相對成熟完善的大數(shù)據(jù)技術(shù)支持，從各種各樣類型的大數(shù)據(jù)中，快速獲得有價(jià)值信息技術(shù)，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術(shù)集成為一體。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式存儲以及云計(jì)算平臺等。這就需要傳統(tǒng) GIS 基礎(chǔ)軟件在空間數(shù)據(jù)的各個(gè)環(huán)節(jié)去擴(kuò)展、升級、優(yōu)化其大數(shù)據(jù)的處理能力，為空間大數(shù)據(jù)的挖掘提供平臺支持?，F(xiàn)有的地理空間大數(shù)據(jù)價(jià)值還沒有充分發(fā)揮出來，深度挖掘地理空間大數(shù)據(jù)價(jià)值仍在路上，大數(shù)據(jù)本身不等于價(jià)值，它是“貧礦”，只有挖掘出它的價(jià)值， 才是“金子”。

GIS 技術(shù)并不僅僅要解決與空間大數(shù)據(jù)技術(shù)的融合，更重要的是如何能夠通過 GIS 大數(shù)據(jù)技術(shù)為各個(gè)行業(yè)的相關(guān)業(yè)務(wù)提供多元思維、多元決策。為了滿足各行業(yè)能夠迎合新技術(shù)的沖擊，新技術(shù)為各行業(yè)發(fā)展提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。當(dāng)然更大的挑戰(zhàn)就是如何從空間大數(shù)據(jù)中，通過 GIS 技術(shù)去實(shí)現(xiàn)數(shù)據(jù)挖掘，通過 GIS 的空間分析、空間查詢和空間可視化等技術(shù)優(yōu)勢為用戶提供指導(dǎo)和決策。這就需要 GIS 具有大數(shù)據(jù)的相關(guān)技術(shù)支持，從各種各樣類型的大數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)的能力，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術(shù)集成為一體。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式存儲以及云計(jì)算平臺等。這就需要傳統(tǒng)GIS 基礎(chǔ)軟件在空間數(shù)據(jù)的各個(gè)環(huán)節(jié)去擴(kuò)展、升級、優(yōu)化其大數(shù)據(jù)的處理能力，為空間大數(shù)據(jù)的挖掘提供平臺支持。

4 大數(shù)據(jù)時(shí)代GIS的技術(shù)層

大數(shù)據(jù)時(shí)代的到來對GIS的技術(shù)層提出了新要求，需要其將大數(shù)據(jù)空間分析、大數(shù)據(jù)存儲管理和大數(shù)據(jù)流處理等技術(shù)進(jìn)行結(jié)合，并貫穿空間大數(shù)據(jù)的各個(gè)環(huán)節(jié)，實(shí)現(xiàn)技術(shù)創(chuàng)新，全面擴(kuò)展對大數(shù)據(jù)的支持能力的影響，全新的空間大數(shù)據(jù) GIS技術(shù)體系特點(diǎn)體現(xiàn)如下：

1）數(shù)據(jù)存儲主要涉及所有的空間數(shù)據(jù)格式以及大數(shù)據(jù)技術(shù)體系中常用的數(shù)據(jù)存儲技術(shù)，如 Oracle、HDFS、MongoDB 集群等，它們既可以利用存儲的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，也可以用于存儲分析產(chǎn)生的中間數(shù)據(jù)和最終成果數(shù)據(jù)。在空間大數(shù)據(jù)時(shí)代下，通過對分布式數(shù)據(jù)庫、分布式文件系統(tǒng)等大數(shù)據(jù)技術(shù)的擴(kuò)展支持，實(shí)現(xiàn)了對空間大數(shù)據(jù)高效穩(wěn)定的管理存儲能力。

2）通過空間大數(shù)據(jù)組件，從內(nèi)核對Spark 空間數(shù)據(jù)模型進(jìn)行擴(kuò)展，在基于分布式計(jì)算技術(shù)重構(gòu)已有的空間分析算法的基礎(chǔ)上，不但大幅提升了海量空間數(shù)據(jù)分析的效率，而且針對大數(shù)據(jù)研發(fā)了一系列新的空間分析算法，可直接嵌入到 Spark 內(nèi)運(yùn)行，在一定程度上解決了空間大數(shù)據(jù)分析和應(yīng)用的難題（圖1為解決大數(shù)據(jù)空間問題的經(jīng)典DIKW模型）。

3）通過Apache Spark為大規(guī)模處理而設(shè)計(jì)的快速通用的計(jì)算引擎Spark，提供了全新的空間大數(shù)據(jù)分析、空間大數(shù)據(jù)存儲和流數(shù)據(jù)處理等 Web 服務(wù)，并內(nèi)置了 Spark 運(yùn)行庫，降低了大數(shù)據(jù)環(huán)境部署門檻;Spark 擁有許多特有的優(yōu)點(diǎn)，但其中的Job 中間輸出結(jié)果可以直接保存在內(nèi)存中，HDFS不再需要重復(fù)讀寫，因此能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce 算法。通過Spark集群如此循環(huán)往復(fù)，直到將代碼全部執(zhí)行完，并且計(jì)算完所有的數(shù)據(jù)（Spark工作原理如圖2）。

4）在大數(shù)據(jù)時(shí)代，不斷累積的大數(shù)據(jù)體量，通過橫向擴(kuò)展分布式處理集群方式實(shí)現(xiàn)分布式 GIS 空間分析能力，需要為用戶在物理環(huán)境或者基礎(chǔ)云環(huán)境上提供更加高效的大數(shù)據(jù)運(yùn)維能力，包括快速部署、資源管理、運(yùn)維監(jiān)控等，用于在多源基礎(chǔ)環(huán)境下為用戶解決大數(shù)據(jù) GIS 平臺難以管理和運(yùn)維的諸多問題，讓 GIS 各個(gè)平臺產(chǎn)品聯(lián)系更加緊密、協(xié)同更加智能，并且提供了展現(xiàn)形式豐富的、兼具二維三維的各種聚合圖、密度圖、關(guān)系圖、熱度圖等空間大數(shù)據(jù)可視化技術(shù)，突破二維和三維等圖像海量動態(tài)目標(biāo)可視化技術(shù)。

5）通過資源調(diào)度算法、任務(wù)自動化調(diào)度、資源監(jiān)控與預(yù)警，實(shí)現(xiàn)了基于大數(shù)據(jù)的運(yùn)維管理。大數(shù)據(jù) GIS 技術(shù)著重解決兩類問題：新興的空間大數(shù)據(jù)的管理和傳統(tǒng)（經(jīng)典）空間數(shù)據(jù)的計(jì)算性能問題。因此，大數(shù)據(jù) GIS 技術(shù)體系架構(gòu)包含兩個(gè)非常重要的部分（如圖3）。一個(gè)是空間大數(shù)據(jù)技術(shù)，專門針對空間大數(shù)據(jù)的處理和分析挖掘;另一個(gè)是經(jīng)典 GIS 功能的分布式重構(gòu)，專門針對經(jīng)典空間數(shù)據(jù)的管理和處理。

該技術(shù)體系通過從 GIS 內(nèi)核級別深度結(jié)合 IT 的空間大數(shù)據(jù)，例如分布式計(jì)算框架、分布式存儲技術(shù)、流數(shù)據(jù)處理框架等，在 GIS 基礎(chǔ)軟件中構(gòu)建針對空間大數(shù)據(jù)的存儲、索引、管理和分析能力，僅需較少編程甚至不用編程就能管理和分析空間大數(shù)據(jù)，大幅降低了空間大數(shù)據(jù)分析的門檻。同時(shí)，利用 IT的大數(shù)據(jù)分布式存儲和大數(shù)據(jù)分布式計(jì)算框架，對經(jīng)典 GIS 的經(jīng)典空間分析方法和空間數(shù)據(jù)處理進(jìn)行了 重構(gòu)，對經(jīng)典空間數(shù)據(jù)處理與分析能力在數(shù)據(jù)量層面上有了質(zhì)的提升。

5 大數(shù)據(jù)時(shí)代GIS的行業(yè)應(yīng)用層

行業(yè)應(yīng)用層通過時(shí)空大數(shù)據(jù)平臺提供的多種服務(wù)資源，提供面向桌面端、 Web 端和移動端的產(chǎn)品交付和開發(fā) SDK，為不同行業(yè)應(yīng)用的建設(shè)需求提供時(shí)空大數(shù)據(jù)的業(yè)務(wù)應(yīng)用支持。圍繞各個(gè)行業(yè)大數(shù)據(jù)應(yīng)用需求，為大數(shù)據(jù)行業(yè)監(jiān)管、大數(shù)據(jù)決策支持、行業(yè)應(yīng)急指揮、智能交通、精準(zhǔn)農(nóng)業(yè)等提供大數(shù)據(jù)平臺的技術(shù)支持。 基于云架構(gòu)的 GIS 大數(shù)據(jù)建設(shè)應(yīng)充分利用云計(jì)算與大數(shù)據(jù)技術(shù)，構(gòu)建四層架構(gòu)（基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、平臺服務(wù)層、行業(yè)應(yīng)用層）體系，深度融合大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)了對時(shí)空大數(shù)據(jù)的存儲、計(jì)算、分析和可視化等。

6 結(jié)論

當(dāng)今大數(shù)據(jù)時(shí)代來臨，對GIS技術(shù)提出更多要求，需要其貫穿大數(shù)據(jù)的各個(gè)環(huán)節(jié)實(shí)現(xiàn)技術(shù)創(chuàng)新，將大數(shù)據(jù)空間分析、大數(shù)據(jù)存儲管理和大數(shù)據(jù)流處理等技術(shù)與GIS 技術(shù)相結(jié)合，提高大數(shù)據(jù)全面的支持能力。GIS 技術(shù)并不僅僅要解決與空間大數(shù)據(jù)技術(shù)的融合，更重要的是如何能夠通過 GIS 大數(shù)據(jù)技術(shù)為各個(gè)行業(yè)的相關(guān)業(yè)務(wù)提供多元思維、多元決策，為行業(yè)能夠迎合新技術(shù)的沖擊，新技術(shù)助力行業(yè)發(fā)展提供堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

參考文獻(xiàn)：

[1] 陳雷鳴.基于BIM和GIS的智慧城市探索[J].土木建筑工程信息技術(shù)，2016，8（6）：91-95.

[2] 趙躍.智慧城市時(shí)空大數(shù)據(jù)云平臺建設(shè)探討[J].測繪與空間地理信息，2021，44（1）：93-95.

[3] 蒯希，賀彪，羅恒，趙志剛.城市空間三維地圖及其在智慧城市中的應(yīng)用[J].測繪地理信息，2021，46（1）：66-70.

[4] 朱良峰.基于GIS的三維地質(zhì)建模及可視化系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：中國地質(zhì)大學(xué)（武漢），2005.

[5]劉同文.基于地質(zhì)大數(shù)據(jù)的地質(zhì)綜合成果信息平臺研究與實(shí)現(xiàn)[J].北京測繪，2020，34（6）：814-818.

[6] 王丹丹.基于GIS在水文水資源領(lǐng)域中的應(yīng)用分析[J].黑龍江水利科技，2016，44（2）：95-98.

[7] 區(qū)燕棠.統(tǒng)計(jì)信息化和統(tǒng)計(jì)在大數(shù)據(jù)時(shí)代下的發(fā)展[J].中外企業(yè)家，2015（23）：68.

【通聯(lián)編輯：王力】