市級自然資源時空大數(shù)據(jù)云平臺設(shè)計實現(xiàn)探討

黃蓋

（新疆國源測繪規(guī)劃設(shè)計院有限公司，新疆 庫爾勒市 841000）

1 引言

業(yè)務(wù)信息化的推進以數(shù)據(jù)為基礎(chǔ)，與傳統(tǒng)靜態(tài)的、已知的數(shù)據(jù)相比，大數(shù)據(jù)是動態(tài)和未知的，時空數(shù)據(jù)是一種特殊類型的大數(shù)據(jù)[1]。時空大數(shù)據(jù)云平臺把各種分散的時空數(shù)據(jù)匯聚在平臺上，通過數(shù)據(jù)的多維融合、關(guān)聯(lián)分析和數(shù)據(jù)挖掘等過程，找出數(shù)據(jù)隱含的規(guī)律，幫助決策者做出快捷、全面、精準和有效的預(yù)判，正如中國工程院院士王家耀所說“數(shù)據(jù)隱含價值，計算發(fā)現(xiàn)價值，應(yīng)用實現(xiàn)價值”，時空大數(shù)據(jù)正日益成為治理體系和治理能力現(xiàn)代化的核心驅(qū)動力。近年來，可視化分析、并行數(shù)據(jù)處理、Hadoop 計算框架等技術(shù)不斷應(yīng)用到時空大數(shù)據(jù)業(yè)務(wù)中[2]。現(xiàn)階段迫切需要利用云端運算，對結(jié)構(gòu)復(fù)雜、數(shù)量龐大的數(shù)據(jù)進行融合分析，轉(zhuǎn)化為有價值的信息。市級自然資源時空大數(shù)據(jù)云平臺立足于一網(wǎng)一庫一平臺N 應(yīng)用的信息化總體規(guī)劃，在政務(wù)網(wǎng)（一網(wǎng)）環(huán)境下構(gòu)建一體化數(shù)據(jù)庫（一庫），支撐自然資源政務(wù)管理與服務(wù)平臺（一平臺）、調(diào)查監(jiān)測及政務(wù)服務(wù)等應(yīng)用（N 應(yīng)用）。

2 現(xiàn)狀分析

時空大數(shù)據(jù)來源廣泛，數(shù)據(jù)的豐富性和飛速發(fā)展的云計算技術(shù)為GIS 提供了新的應(yīng)用模式，在這種形勢下，云平臺建設(shè)之路，經(jīng)歷了基礎(chǔ)設(shè)施的梳理到整合，從數(shù)據(jù)聚合到按業(yè)務(wù)梳理，不斷地探索時空大數(shù)據(jù)云平臺技術(shù)實現(xiàn)之路。為適應(yīng)當前信息化要求，仍有以下任務(wù)：

一是做好總體框架設(shè)計，滿足未來發(fā)展需求。二是構(gòu)建高效基礎(chǔ)支撐層，滿足計算、存儲、I/O 吞吐量、系統(tǒng)穩(wěn)定性等綜合要求。三是提升時空大數(shù)據(jù)挖掘分析能力，支撐更大范圍數(shù)據(jù)的快速分析和數(shù)據(jù)深入挖掘能力。四是以應(yīng)用為導向盤活時空大數(shù)據(jù)，探索更深入的應(yīng)用。

3 時空大數(shù)據(jù)云平臺總體框架設(shè)計

時空大數(shù)據(jù)應(yīng)用云平臺四層結(jié)構(gòu)，從下至上分別為基礎(chǔ)層、大數(shù)據(jù)資源中心、政務(wù)管理與服務(wù)、應(yīng)用層，云安全體系全方位保障，總體框架體系如圖1 所示。

圖1 總體框架

（1）基礎(chǔ)層?；谔摂M化技術(shù)，對下層硬件資源進行封裝、隔離，抽象為邏輯資源池，向上層操作系統(tǒng)提供多樣化的執(zhí)行環(huán)境。利用對象存儲、分布式存儲技術(shù)將時空數(shù)據(jù)和非時空數(shù)據(jù)進行存儲管理，用大數(shù)據(jù)計算方法進行抽取、清洗，提供給上層大數(shù)據(jù)資源中心使用。

（2）大數(shù)據(jù)資源中心層。通過數(shù)據(jù)總線向上層政務(wù)管理與服務(wù)層提供豐富的數(shù)據(jù)服務(wù)，同時接收來自應(yīng)用系統(tǒng)層產(chǎn)生的應(yīng)用數(shù)據(jù)，不斷地豐富時空大數(shù)據(jù)資源。

（3）政務(wù)管理與服務(wù)層。基于面向服務(wù)的GIS 架構(gòu)和服務(wù)總線，提供專題服務(wù)、業(yè)務(wù)規(guī)則庫和對數(shù)字政府通用服務(wù)的支撐。

（4）應(yīng)用層。通過服務(wù)調(diào)用和應(yīng)用開發(fā)提供各種自然資源業(yè)務(wù)應(yīng)用，按業(yè)務(wù)層面主要分為業(yè)務(wù)監(jiān)管與服務(wù)應(yīng)用、調(diào)查監(jiān)測評價應(yīng)用和政務(wù)服務(wù)綜合應(yīng)用三大類。

（5）云安全體系。應(yīng)用安全方面，通過統(tǒng)一身份認證系統(tǒng)實行嚴格身份認證，應(yīng)用防火墻針對不同應(yīng)用設(shè)置精細策略。數(shù)據(jù)安全包括容災(zāi)備份和傳輸加密。主機安全方面部署亞信虛擬化防護系統(tǒng)進行深度安全防護。網(wǎng)絡(luò)安全包括設(shè)置安全域、應(yīng)用防火墻技術(shù)對DDoS 等攻擊進行有效防護。云平臺安全通過多租戶隔離實現(xiàn)不同應(yīng)用的安全隔離。運維安全方面使用堡壘機登錄云平臺、云服務(wù)器和物理設(shè)備，實施操作的可追溯審計。

4 超融合高效基礎(chǔ)支撐環(huán)境

市級時空大數(shù)據(jù)云平臺在原來虛擬化技術(shù)的基礎(chǔ)之上，按照統(tǒng)一標準構(gòu)建時空大數(shù)據(jù)云技術(shù)架構(gòu)，實現(xiàn)裸金屬服務(wù)器、虛擬機、容器環(huán)境、華為基礎(chǔ)設(shè)施等多套技術(shù)體系的融合，最終達到統(tǒng)一化管理。通過隔離驅(qū)動層一方面直接支撐時空大數(shù)據(jù)業(yè)務(wù)，另一方面通過接口為與“數(shù)字政府”之間對接打下基礎(chǔ)。超融合基礎(chǔ)支撐環(huán)境如圖2 所示。

圖2 超融合基礎(chǔ)支撐環(huán)境

5 時空大數(shù)據(jù)挖掘分析環(huán)境

5.1 分層結(jié)構(gòu)形成時空大數(shù)據(jù)中心

市級時空大數(shù)據(jù)中心為前中后三層結(jié)構(gòu)，前端負責數(shù)據(jù)應(yīng)用，中間負責數(shù)據(jù)處理，后端負責數(shù)據(jù)收集及存儲。時空大數(shù)據(jù)中心體系框架如圖3 所示。

圖3 時空大數(shù)據(jù)中心體系框架

5.1.1 后端數(shù)據(jù)存儲

包含空間數(shù)據(jù)和其他數(shù)據(jù)，空間數(shù)據(jù)描述現(xiàn)實世界的目標，用點、線、面以及實體等基本空間數(shù)據(jù)結(jié)構(gòu)來表示空間實體的位置、形狀、大小及其分布特征；其它數(shù)據(jù)包括屬性、文本、圖像等多種空間實體的輔助表示信息數(shù)據(jù)。數(shù)據(jù)分涉密版、政務(wù)版和公眾版，涉密版數(shù)據(jù)留在涉密存儲區(qū)，作為其他項目的原始數(shù)據(jù)集，政務(wù)版和公眾版數(shù)據(jù)通過安全隔離網(wǎng)閘擺渡到電子政務(wù)外網(wǎng)區(qū)或互聯(lián)網(wǎng)區(qū)成為業(yè)務(wù)應(yīng)用數(shù)據(jù)。

5.1.2 中間數(shù)據(jù)處理

首先按業(yè)務(wù)需求對數(shù)據(jù)源中的表或視圖進行抽取，轉(zhuǎn)換成ETL 工具可以識別的格式；然后按規(guī)則對抽取的數(shù)據(jù)進行清洗處理，以糾正數(shù)據(jù)文件中可識別的錯誤，使數(shù)據(jù)具有一致性；最后對數(shù)據(jù)進行挖掘分析、可視化展現(xiàn)。

5.1.3 前端數(shù)據(jù)應(yīng)用

基礎(chǔ)數(shù)據(jù)服務(wù)提供要素、地圖、目錄、地名地址、資源共享、資源訂閱等服務(wù)；數(shù)據(jù)處理服務(wù)提供在線編輯、應(yīng)用定制、矢量切片、專題制圖等服務(wù)；數(shù)據(jù)分析服務(wù)提供通用化空間分析引擎、空間數(shù)據(jù)變化監(jiān)測分析等。

5.2 時空大數(shù)據(jù)組織

機構(gòu)改革之后，市級自然資源管理部門在原有一體化時空大數(shù)據(jù)組織結(jié)構(gòu)，即公共基礎(chǔ)類、專業(yè)基礎(chǔ)類、業(yè)務(wù)管理類、公共政務(wù)類四大類進行數(shù)據(jù)組織的基礎(chǔ)上，重點收集補充整合海洋、空間規(guī)劃、地質(zhì)環(huán)境類數(shù)據(jù)，不斷豐富時空大數(shù)據(jù)資源。

5.3 分布式計算框架

采用Hadoop 主/從集群架構(gòu)體系，把GIS 應(yīng)用程序（稱為“作業(yè)”即“job”）分割成許多個小工作單元（稱為“任務(wù)”即“task”），放到集群的任意節(jié)點上執(zhí)行；分布式文件系統(tǒng)（HDFS）主要負責集群節(jié)點的數(shù)據(jù)存儲，并實現(xiàn)高吞吐率的數(shù)據(jù)讀寫；分布式并行計算模型MapReduce[4]用于搜索領(lǐng)域，解決海量時空大數(shù)據(jù)的計算問題。Hadoop 分布式計算框架如圖4 所示。

圖4 Hadoop分布式計算框架

5.4 高性能并行計算框架

由管理節(jié)點和多個計算節(jié)點組成，較于分布式此方式的數(shù)據(jù)集中存放。管理節(jié)點將任務(wù)按數(shù)據(jù)拆分成多個子任務(wù)，并將子任務(wù)及數(shù)據(jù)推送給計算節(jié)點，計算節(jié)點運算完成后通知管理節(jié)點執(zhí)行完成或失敗，以便開始接受下一個任務(wù)。

5.5 按業(yè)務(wù)場景使用不同計算框架

一是實時計算場景使用高性能計算。主要針對用地審批、礦業(yè)權(quán)登記等業(yè)務(wù)的支撐，將單個項目地塊與全市的現(xiàn)狀地類圖斑、規(guī)劃地類圖斑等百萬級要素圖層同時疊加分析，可以有效支撐全市各縣區(qū)的并發(fā)訪問。二是批處理的計算場景使用分布式計算。主要用于全域范圍的分析評價與監(jiān)督評估，如國土空間規(guī)劃實施監(jiān)督的指標計算，用百萬級要素的全市范圍的現(xiàn)狀圖斑和規(guī)劃圖層同時疊加分析。

6 以應(yīng)用為導向盤活時空大數(shù)據(jù)

6.1 業(yè)務(wù)云化技術(shù)

在面向服務(wù)GIS 架構(gòu)基礎(chǔ)上探索云化實現(xiàn)，從云化模板出發(fā)，結(jié)合容器技術(shù)實現(xiàn)業(yè)務(wù)微服務(wù)，達到云化業(yè)務(wù)程序的目的，業(yè)務(wù)云化框架如圖5 所示。

圖5 業(yè)務(wù)云化框架

在微服務(wù)架構(gòu)下應(yīng)用docker 容器技術(shù)，通過模板制作、應(yīng)用類型注冊、投遞方案配置、投遞參數(shù)配置、投遞訂單解析、投遞流程實現(xiàn)等環(huán)節(jié)，初步構(gòu)建了一套從開發(fā)、測試、部署、發(fā)布到持續(xù)交付的業(yè)務(wù)云化機制。

6.2 應(yīng)用服務(wù)支撐

一是已實現(xiàn)包括三大陽光工程（陽光用地、陽光用礦、陽光用水）、國土空間規(guī)劃、城市地質(zhì)和決策參閱等重點應(yīng)用支撐。二是政務(wù)信息共享方面，擬通過數(shù)據(jù)交換、服務(wù)對接等方式和政務(wù)大數(shù)據(jù)中心等實現(xiàn)聯(lián)通對接，依照部門職能按需共享，為其他政府部門共享自然資源專題數(shù)據(jù)，延伸數(shù)據(jù)服務(wù)范圍。三是豐富自然資源時空大數(shù)據(jù)資源。計劃利用政務(wù)大數(shù)據(jù)中心的人口、法人、社會信用等各類數(shù)據(jù)和服務(wù)，豐富數(shù)據(jù)內(nèi)容。

7 結(jié)論

市級時空大數(shù)據(jù)云平臺通過應(yīng)用超融合架構(gòu)節(jié)省了硬件投資，通過云化業(yè)務(wù)技術(shù)簡化了應(yīng)用部署，通過分布式高性能計算框架提升了業(yè)務(wù)的對外服務(wù)能力，依托云平臺建成的自然資源時空大數(shù)據(jù)中心，實現(xiàn)了數(shù)據(jù)資源的統(tǒng)一管理，隨著數(shù)字中國的發(fā)展，時空大數(shù)據(jù)云平臺將發(fā)揮更多作用。