公益性地質(zhì)大數(shù)據(jù)服務平臺設計＊

張 晨，武宇娟，段 琛，張鋅蕾

(1.自然資源陜西省衛(wèi)星應用技術中心，陜西 西安 710002；2.陜西省地質(zhì)大數(shù)據(jù)中心)

0 引言

隨著大數(shù)據(jù)時代的到來，科學研究進入了以大數(shù)據(jù)為基礎、以數(shù)據(jù)密集型計算為手段的第四范式。大數(shù)據(jù)技術可助力地質(zhì)調(diào)查工作進入數(shù)字化、智能化的地質(zhì)調(diào)查時代，促使地質(zhì)數(shù)據(jù)共享與開放，突破各種主客觀因素的限制推動數(shù)字經(jīng)濟發(fā)展。

本文在分析、總結(jié)陜西省公益性地質(zhì)數(shù)據(jù)資源特征的基礎上，探討了大數(shù)據(jù)架構(gòu)思想指導下地質(zhì)數(shù)據(jù)分級共享服務的設計思路和實現(xiàn)情況，形成了可行的平臺建設方案，為數(shù)字中國提供了陜西省公益性地質(zhì)調(diào)查領域的典型案例及經(jīng)驗。

1 公益性地質(zhì)大數(shù)據(jù)服務平臺設計

1.1 總體設計思路

地質(zhì)學屬于數(shù)據(jù)密集型科學，地質(zhì)大數(shù)據(jù)具有大量性、特殊性、涉密性、多樣性和價值性[1]，也具有潛在價值大的標志性特征[2]。陜西省公益性地質(zhì)調(diào)查工作在礦產(chǎn)地質(zhì)、農(nóng)業(yè)地質(zhì)、城市地質(zhì)、地質(zhì)災害綜合防治、國土空間規(guī)劃、地質(zhì)遺跡、自然資源衛(wèi)星遙感技術應用等領域，積累了多維、多元、多源的靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)，具有數(shù)據(jù)格式豐富、數(shù)據(jù)維護碎片化、靜態(tài)數(shù)據(jù)價值高、動態(tài)數(shù)據(jù)體量大的典型特征。

綜合分析現(xiàn)有公益性地質(zhì)數(shù)據(jù)管理和利用現(xiàn)狀，以“多級文件夾+文件”的數(shù)據(jù)存儲模式以及地質(zhì)資料匯交流程下的數(shù)據(jù)管理方式已經(jīng)無法支撐地質(zhì)數(shù)據(jù)在匯存管用各個環(huán)節(jié)的高效流轉(zhuǎn)和數(shù)字資產(chǎn)管理，與數(shù)字地質(zhì)工作新格局的要求尚存在較大距離，不利于地質(zhì)數(shù)據(jù)的深度挖掘和價值再造。充分考慮地質(zhì)數(shù)據(jù)的混合性、抽樣性、稀缺性、多源性、多元性、多態(tài)性、時空性、變化性、因果性、關聯(lián)性、方向性、分帶性、代表性、惟一性等等[4]，兼顧數(shù)據(jù)更新方式、頻率，陜西省公益性地質(zhì)大數(shù)據(jù)服務平臺自下而上劃分為基礎設施層、數(shù)據(jù)層、服務層、應用層（圖1）。引入分級共享審核流程，來保障數(shù)據(jù)資產(chǎn)管理、智能分析以及服務調(diào)用等方面的需求。

圖1 系統(tǒng)總體架構(gòu)

1.2 基礎設施層

采用私有云方式建立一個集中式基礎環(huán)境，通過使用服務器端虛擬化技術對資源進行集中管理，實現(xiàn)資源粒度的劃分和封裝，提供虛擬BIOS、虛擬處理器、虛擬內(nèi)存、虛擬設備與I/O 能力，保護關鍵業(yè)務系統(tǒng)和數(shù)據(jù)。

1.3 數(shù)據(jù)層

準確、全面是大數(shù)據(jù)的基礎[3]。在實現(xiàn)數(shù)據(jù)隨用隨調(diào)、細粒度服務、全面可見的同時兼顧管理的可操作性是數(shù)據(jù)層設計的難點，也是本平臺設計的核心。利用Hbase 和HDFS 將多源異構(gòu)原始數(shù)據(jù)進行分布式存儲，采用關系型+文件系統(tǒng)的存儲管理方式實現(xiàn)多源、異構(gòu)數(shù)據(jù)的管理，通過索引關系進行統(tǒng)一的查詢、瀏覽、管理和維護。結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)等采用關系型模型進行存儲和管理；矢量數(shù)據(jù)，例如基礎地理數(shù)據(jù)、地質(zhì)圖件數(shù)據(jù)等，采用擴展關系型模型（Geodatabase）來進行存儲和管理；非結(jié)構(gòu)化的圖片、電子文檔、音視頻等數(shù)據(jù)，則以元數(shù)據(jù)+編目+文件方式統(tǒng)一存儲在文件服務器上；多源、多分辨率，多時相的遙感影像數(shù)據(jù)區(qū)分為冷數(shù)據(jù)和熱數(shù)據(jù)，采用元數(shù)據(jù)+編目+影像文件方式，冷數(shù)據(jù)存儲在磁盤陣列上，熱數(shù)據(jù)存儲在緩存中。

使用專業(yè)的數(shù)據(jù)處理工具和人工交互方式，對原始數(shù)據(jù)進行提取、轉(zhuǎn)換、重構(gòu)、空間投影轉(zhuǎn)換和質(zhì)檢后入庫。以符合地質(zhì)調(diào)查行業(yè)習慣的數(shù)據(jù)分類為主，利用標簽系統(tǒng)擴展數(shù)據(jù)特征維度，建立數(shù)據(jù)庫分類目錄。在不改變空間數(shù)據(jù)原始格式的情況下，使用商用Web 空間數(shù)據(jù)服務平臺將其發(fā)布成符合OGC 標準的服務，以便提供即時服務能力。

1.4 平臺層

基于基礎設施層和數(shù)據(jù)層提供的工具和接口，以商用GIS 平臺為基礎，搭建面向應用層的體系化服務能力。提供數(shù)據(jù)、功能、接口和管理四類服務（圖2）。

圖2 平臺層服務能力圖

1.5 應用層

應用層圍繞公益性地質(zhì)業(yè)務，集成已有系統(tǒng)或搭建新系統(tǒng)。以統(tǒng)一入口、標準化API接口、數(shù)據(jù)即時同步和界面風格統(tǒng)一的基本原則，實現(xiàn)了陜西省地源熱泵監(jiān)控平臺、陜西省地質(zhì)災害監(jiān)測預警信息系統(tǒng)、秦嶺北麓國土資源衛(wèi)星遙感監(jiān)測服務平臺、陜西省農(nóng)村生活垃圾治理遙感監(jiān)測核查與整治等業(yè)務系統(tǒng)集成。使用平臺層提供的微服務組件，快速構(gòu)建業(yè)務流。由通用數(shù)據(jù)服務、矢量數(shù)據(jù)服務、柵格數(shù)據(jù)服務提供業(yè)務數(shù)據(jù)，開發(fā)了霞客游陜西、項目管理中心、地質(zhì)調(diào)查隨身行等業(yè)務或管理應用。

2 實驗測試

在私有云環(huán)境下，安裝Windows 10 操作系統(tǒng)，配置Hadoop、Hbase、Zookeeper、Kafka、Redis、Tomcat、ArcGIS等環(huán)境。以關系型數(shù)據(jù)庫（PostgreSQL）、NoSQL數(shù)據(jù)庫（MongoDB、MinIO）和空間數(shù)據(jù)庫（PostGIS、FileGDB）進行數(shù)據(jù)庫存儲和管理。間數(shù)據(jù)庫整合多尺度、多源數(shù)據(jù)類型(包括矢量數(shù)據(jù)、柵格數(shù)據(jù)、遙感影像數(shù)據(jù)等)的空間數(shù)據(jù)。屬性數(shù)據(jù)庫主要用于存儲與管理具有比較精確的空間特性的地理位置屬性數(shù)據(jù)（區(qū)市地理、空間位置、相對動態(tài)等），通過空間屬性與基礎地理數(shù)據(jù)建立鏈接。時間是每個專業(yè)維度屬性的一個復合數(shù)據(jù)項[5]，采取時間標簽+非結(jié)構(gòu)化數(shù)據(jù)庫存儲技術解決地質(zhì)數(shù)據(jù)的生命周期版本管理、細粒度拆分引起的數(shù)據(jù)體量幾何式增長帶來的分析和定位問題。在此基礎上，構(gòu)建統(tǒng)一的標簽體系，嘗試建立了數(shù)據(jù)血緣關系分析和熱詞云功能（圖3）。

圖3 熱詞云

3 結(jié)論

地質(zhì)大數(shù)據(jù)的高維度、時空性和涉密性對平臺的構(gòu)建具有很高要求。需根據(jù)數(shù)據(jù)特征進行分類存儲和管理，需以地質(zhì)調(diào)查業(yè)務流程和實際應用需求設計數(shù)據(jù)調(diào)用。陜西省公益性地質(zhì)大數(shù)據(jù)平臺為地質(zhì)調(diào)查數(shù)據(jù)的匯、存、管、用提供了一套可行的實踐方案。未來對于地質(zhì)數(shù)據(jù)的時空耦合、多源異構(gòu)數(shù)據(jù)融合與挖掘、多維數(shù)據(jù)的可視化表達等前沿技術問題仍需進一步研究。