大數(shù)據(jù)時(shí)代下的地質(zhì)資料信息化的建設(shè)與應(yīng)用*

徐進(jìn)達(dá)，葛佩佩

(1.山東省地質(zhì)測繪院，山東 濟(jì)南 250002；2.濱州市自然資源和規(guī)劃局，山東 濱州 256603)

0 引言

21世紀(jì)以來，隨著全球信息化和互聯(lián)網(wǎng)的推進(jìn)，人類已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代[1-4]。地質(zhì)數(shù)據(jù)具有大數(shù)據(jù)的基本屬性，即體量大而完整(volume)、類型多且關(guān)聯(lián)(variety)、聚集快卻雜亂(velocity)和價(jià)值大但稀疏(value)[5]，同時(shí)又具有自己的特點(diǎn)，具體表現(xiàn)在多元(源)異構(gòu)與多模態(tài)、高度時(shí)空性、大容量、高相關(guān)、低價(jià)值密度、復(fù)雜性與模糊不確定性等方面[6-7]。地質(zhì)資料是國家重要的檔案資料，是國民經(jīng)濟(jì)建設(shè)和進(jìn)一步開展地質(zhì)工作、科學(xué)研究等的依據(jù)和基礎(chǔ)，是國家的寶貴財(cái)富，基于大數(shù)據(jù)時(shí)代下開展地質(zhì)資料信息化建設(shè)，充分發(fā)揮其作用顯得尤為重要。中國地質(zhì)調(diào)查局按照“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一平臺、統(tǒng)一窗口”的原則，以消除數(shù)字鴻溝，實(shí)現(xiàn)互聯(lián)互通為目標(biāo)，開展了“地質(zhì)云”建設(shè)工作[8-10]。

本文通過借鑒“地質(zhì)云”的建設(shè)模式，結(jié)合山東省60余年來積累的海量地質(zhì)資料，開發(fā)了地質(zhì)資料管理系統(tǒng)。該系統(tǒng)包括地質(zhì)資料數(shù)據(jù)管理系統(tǒng)和地質(zhì)資料檢索及借閱管理系統(tǒng)兩個(gè)子系統(tǒng)，可實(shí)現(xiàn)地質(zhì)資料的信息化、可視化管理，有效地提升地質(zhì)資料的利用價(jià)值。

1 地質(zhì)資料管理系統(tǒng)的設(shè)計(jì)

1.1 總體技術(shù)架構(gòu)

本地質(zhì)資料管理系統(tǒng)的建設(shè)目標(biāo)是建立地質(zhì)檔案資料數(shù)據(jù)庫，開發(fā)地質(zhì)資料管理系統(tǒng)(包括地質(zhì)資料數(shù)據(jù)管理系統(tǒng)和地質(zhì)資料檢索及借閱管理系統(tǒng))。實(shí)現(xiàn)地質(zhì)檔案資料網(wǎng)絡(luò)化管理和網(wǎng)絡(luò)化服務(wù)。

系統(tǒng)總體技術(shù)架構(gòu)如圖1所示。

圖1 地質(zhì)資料管理系統(tǒng)的總體技術(shù)架構(gòu)Fig.1 Overall technical architecture of geological data management system

1.2 基礎(chǔ)設(shè)施建設(shè)

基礎(chǔ)設(shè)施層是地質(zhì)資料管理系統(tǒng)運(yùn)行的軟件和硬件環(huán)境。包括系統(tǒng)運(yùn)行所需的存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源和安全防護(hù)設(shè)備等，提供計(jì)算處理服務(wù)、網(wǎng)絡(luò)應(yīng)用服務(wù)、資源業(yè)務(wù)應(yīng)用服務(wù)和其他服務(wù)。本系統(tǒng)共安裝服務(wù)器設(shè)備32臺，包括數(shù)據(jù)庫服務(wù)器、GIS服務(wù)器、應(yīng)用服務(wù)器、備份服務(wù)器、基礎(chǔ)服務(wù)及運(yùn)維管理系統(tǒng)服務(wù)器等；根據(jù)各類應(yīng)用的不同特點(diǎn)，并結(jié)合處理速度、存儲(chǔ)容量、可靠性、系統(tǒng)開放性等因素來進(jìn)行配置不僅滿足當(dāng)前應(yīng)用需求，也具備高擴(kuò)展能力，以便將來應(yīng)用增加、負(fù)載增強(qiáng)之需。

1.3 地質(zhì)資料數(shù)據(jù)庫建設(shè)

地質(zhì)資料數(shù)據(jù)庫是整個(gè)系統(tǒng)建設(shè)的核心。山東省地礦局自成立以來，在礦產(chǎn)勘查、水文地質(zhì)、環(huán)境地質(zhì)、農(nóng)業(yè)地質(zhì)、城市地質(zhì)、海洋地質(zhì)、工程勘察、測繪等多個(gè)方面積累了海量地質(zhì)圖、地形圖、鉆孔信息、遙感影像、礦產(chǎn)資源等資料。由于2005年之前的資料絕大部分以紙質(zhì)圖件、報(bào)告、數(shù)據(jù)表、多媒體等形式存放，因此按照數(shù)據(jù)規(guī)范、標(biāo)準(zhǔn)和工作流程，要通過紙質(zhì)掃描電子化、圖件矢量化、數(shù)據(jù)格式轉(zhuǎn)換、空間參考轉(zhuǎn)換等手段，進(jìn)行電子化、數(shù)字化和空間化加工處理。經(jīng)過數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清理、數(shù)據(jù)裝載等過程，已將歷史數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)集成到地質(zhì)資料數(shù)據(jù)庫，并按照數(shù)據(jù)庫方式進(jìn)行存貯和管理。

地質(zhì)資料數(shù)據(jù)庫建庫成果以及地圖服務(wù)動(dòng)態(tài)或者切片服務(wù)的空間參考，統(tǒng)一采用2000國家大地坐標(biāo)系(CGCS2000)，同時(shí)兼顧國家及自然資源部相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)以及“一張圖”數(shù)據(jù)瀏覽的需求。

2 地質(zhì)資料數(shù)據(jù)管理系統(tǒng)的建設(shè)

地質(zhì)資料數(shù)據(jù)管理系統(tǒng)基于CS模式開發(fā)，是集礦產(chǎn)、水、工、環(huán)、大地質(zhì)服務(wù)數(shù)據(jù)及檔案資料于一體的管理信息系統(tǒng)，涉及區(qū)調(diào)、化探、重砂、航磁、重力數(shù)據(jù)、礦產(chǎn)成果報(bào)告、水工環(huán)成果報(bào)告等圖文資料和文件檔案資料，便于查詢、檢索、統(tǒng)計(jì)和管理。使相關(guān)人員能快速建立、管理地質(zhì)資料，方便快捷地查詢應(yīng)用這些資料，切實(shí)發(fā)揮其作用，更好地為生產(chǎn)服務(wù)。

2.1 地質(zhì)檔案資料元數(shù)據(jù)錄入

對已有的地質(zhì)檔案資料，進(jìn)行元數(shù)據(jù)錄入，包括基本信息及描述信息的錄入。其中，基本信息包括地質(zhì)資料名稱、原始檔案號、資料編號、序號；描述信息包括作者、資料類型、完成單位、完成時(shí)間、保存形式、坐標(biāo)范圍、比例尺、存放單位、關(guān)鍵詞、內(nèi)容簡介等信息。元數(shù)據(jù)的錄入可為后期地質(zhì)資料的查詢檢索功能提供支撐。

2.2 地質(zhì)檔案資料屬性關(guān)聯(lián)

對于相互關(guān)聯(lián)的地質(zhì)檔案資料，通過關(guān)聯(lián)屬性、檔案類型、檔案編號，進(jìn)行不同類型檔案間的關(guān)聯(lián)。關(guān)聯(lián)關(guān)系可以配置，在檔案詳情里增加鏈接，進(jìn)行地質(zhì)檔案資料的屬性關(guān)聯(lián)，考慮遞歸循環(huán)查找關(guān)聯(lián)關(guān)系，能進(jìn)行正反兩個(gè)方向設(shè)置關(guān)聯(lián)關(guān)系；如果關(guān)聯(lián)多個(gè)，則顯示多個(gè)鏈接。如果遞歸查找過程中，根據(jù)屬性值沒查到檔案，那么就終止，并且這個(gè)關(guān)聯(lián)關(guān)系不顯示在檔案詳情里。

2.3 地質(zhì)資料文件導(dǎo)入

提供地質(zhì)檔案資料的導(dǎo)入功能，按照數(shù)據(jù)存在的格式提供多種導(dǎo)入方式。

2.3.1屬性數(shù)據(jù)導(dǎo)入

提供地質(zhì)信息數(shù)據(jù)表格的數(shù)據(jù)維護(hù)，包括文檔資料導(dǎo)入、圖件數(shù)據(jù)導(dǎo)入、地圖庫管理、影像庫管理、鉆探、物探、化探、監(jiān)測信息、礦產(chǎn)資源數(shù)據(jù)(礦區(qū)基本信息、基本地質(zhì)信息、礦山基本信息、測量信息編錄、分析數(shù)據(jù)編錄、儲(chǔ)量計(jì)算數(shù)據(jù)編錄)、地質(zhì)災(zāi)害(地面塌陷等)樣點(diǎn)數(shù)據(jù)等屬性數(shù)據(jù)的導(dǎo)入，實(shí)現(xiàn)Access、Oracle、SQL Server、Excel格式的屬性數(shù)據(jù)之間的互導(dǎo)。

2.3.2文檔資料導(dǎo)入

提供Word、PDF等格式的資料入庫，包括有文檔號和無文檔號資料的導(dǎo)入。

2.3.3圖件數(shù)據(jù)導(dǎo)入轉(zhuǎn)換

1)遙感影像數(shù)據(jù)轉(zhuǎn)換：將遙感影像輸出為常用的影像格式，如jpg和tif等格式。

2)文件格式轉(zhuǎn)換：實(shí)現(xiàn)MapGIS矢量文件與ArcInfo、AutoCAD文件之間的轉(zhuǎn)換功能，并可按照條件從Oracle數(shù)據(jù)庫中查詢出一部分?jǐn)?shù)據(jù)導(dǎo)出到Excel、Access、文本文件中。

3)數(shù)據(jù)庫格式轉(zhuǎn)換：提供數(shù)據(jù)轉(zhuǎn)換接口和導(dǎo)入工具，可以導(dǎo)入其他數(shù)據(jù)格式(如理正、華寧、RGMapping等)的數(shù)據(jù)，并將它們轉(zhuǎn)換成系統(tǒng)所用的Oracle數(shù)據(jù)格式。

2.3.4資料掃描件入庫

支持jpg、tif等多種格式的資料掃描件入庫。

2.4 資料檔案實(shí)體信息管理

用于記錄每個(gè)分類存放的庫房的位置，主要有：檔案分類、子類名稱、目錄、開始案卷、結(jié)束案卷、庫房號、排架號、庫格號等，并能夠添加、修改、刪除這些信息。

2.5 地質(zhì)檔案資料涉密處理

地質(zhì)檔案資料中會(huì)有許多涉密信息，本功能可以針對某些地質(zhì)檔案資料中涉密信息進(jìn)行屏蔽隱藏處理。對已經(jīng)錄入的地質(zhì)檔案電子資料，可以通過檢索查詢到涉密的地質(zhì)檔案資料信息，能夠查看涉密地質(zhì)檔案資料電子檔案，并對其中涉密的某些圖文部分進(jìn)行處理，例如將其刪除或者遮蓋，并對涉密檔案資料的處理進(jìn)行保存。

2.6 系統(tǒng)數(shù)據(jù)安全備份

系統(tǒng)支持自動(dòng)備份和手動(dòng)備份兩種方式：自動(dòng)備份可以選擇備份周期和存儲(chǔ)路徑(含本地磁盤和遠(yuǎn)程服務(wù)器)等；手動(dòng)備份可以提供檔案數(shù)據(jù)邏輯導(dǎo)出功能，將檔案條目數(shù)據(jù)或者部分檔案原文數(shù)據(jù)通過系統(tǒng)提供的功能導(dǎo)出為Excel、Word、PDF等可供用戶閱讀的文檔。

3 地質(zhì)資料檢索及借閱管理系統(tǒng)

地質(zhì)資料檢索及借閱管理系統(tǒng)以BS模式開發(fā)，系統(tǒng)采用Java語言進(jìn)行開發(fā)，利用SpringBoot框架和MyBatis框架進(jìn)行開發(fā)實(shí)現(xiàn)，考慮到以后國產(chǎn)化升級的需要，后臺數(shù)據(jù)庫采用MySQL開源數(shù)據(jù)庫。整體架構(gòu)采用多層扁平架構(gòu)，采用微服務(wù)架構(gòu)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，應(yīng)用系統(tǒng)只需要布署到服務(wù)器，就可以同時(shí)滿足多用戶使用，借閱系統(tǒng)提供在線地質(zhì)資料借閱和查看功能，方便用戶使用。

系統(tǒng)提供多種查詢方式，可以按關(guān)鍵字進(jìn)行查詢，也支持按條件進(jìn)行查詢，滿足不同的查詢需求，如圖2所示。

圖2 關(guān)鍵字查詢Fig.2 Keyword query

地質(zhì)資料管理系統(tǒng)的建設(shè)，通過對地質(zhì)資料的數(shù)字化、標(biāo)準(zhǔn)化處理，建立了地質(zhì)資料數(shù)據(jù)庫，針對地質(zhì)資料管理人員和借閱人員開發(fā)了不同的應(yīng)用系統(tǒng)，既能滿足對地質(zhì)資料的信息化管理又能方便地質(zhì)資料的共享。目前，業(yè)務(wù)內(nèi)網(wǎng)已經(jīng)建設(shè)完畢，保障了地質(zhì)資料數(shù)據(jù)庫和局內(nèi)部用戶的互聯(lián)互通，業(yè)務(wù)內(nèi)網(wǎng)和互聯(lián)網(wǎng)完全物理隔離，為地質(zhì)資料共享提供了強(qiáng)有力的安全保障。地質(zhì)資料管理系統(tǒng)必將為管理人員和專業(yè)人員提供信息化、可視化的平臺工具。

4 結(jié)論

本文充分借鑒“地質(zhì)云”建設(shè)的先進(jìn)經(jīng)驗(yàn)，立足于解決地質(zhì)資料管理難、共享難、價(jià)值體現(xiàn)難等問題，結(jié)合山東省現(xiàn)有地質(zhì)資料積累及利用現(xiàn)狀，基于同一套數(shù)據(jù)庫，開發(fā)完成了地質(zhì)資料數(shù)據(jù)管理系統(tǒng)和地質(zhì)資料檢索及借閱管理系統(tǒng)，既保障了地質(zhì)數(shù)據(jù)的存儲(chǔ)安全，又最大限度地實(shí)現(xiàn)了地質(zhì)資料的共享和利用。下一步，在大數(shù)據(jù)時(shí)代下，將圍繞如何實(shí)現(xiàn)從數(shù)據(jù)到信息、從信息到知識、從知識再到智慧的地質(zhì)資料大數(shù)據(jù)轉(zhuǎn)換進(jìn)行深入研究。