新疆地質(zhì)礦產(chǎn)科學(xué)信息共享平臺(tái)關(guān)鍵技術(shù)研究

彭仲秋，向詩(shī)強(qiáng)，陳建明，黃顯義，李永華，張鵬

（1.新疆維吾爾自治區(qū)地質(zhì)礦產(chǎn)勘查開(kāi)發(fā)局地球物理地球化學(xué)探礦大隊(duì)，昌吉 831100；2.新疆維吾爾自治區(qū)地質(zhì)礦產(chǎn)勘查開(kāi)發(fā)局信息中心，烏魯木齊 830000）

地質(zhì)礦產(chǎn)科學(xué)信息是礦產(chǎn)資源預(yù)測(cè)評(píng)價(jià)、地質(zhì)勘查、開(kāi)發(fā)利用的重要信息保證，起到積極指導(dǎo)作用，隨著大數(shù)據(jù)、云計(jì)算、地理信息技術(shù)的飛速發(fā)展和廣泛應(yīng)用，為地質(zhì)礦產(chǎn)科學(xué)信息共享平臺(tái)建設(shè)提供了新思路。李婧等對(duì)地質(zhì)大數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行了探討[1]，陳建平等論述了中國(guó)地質(zhì)大數(shù)據(jù)的研究現(xiàn)狀[2]，潘婷婷等提出了多源異構(gòu)的地質(zhì)數(shù)據(jù)集成方法[3]，朱月琴等提出了一套面向地質(zhì)大數(shù)據(jù)的語(yǔ)義檢索和聚類分析方法[4]。

本文重點(diǎn)從地質(zhì)礦產(chǎn)科學(xué)信息的集成、存儲(chǔ)、檢索、展示和共享5 方面出發(fā)，探討構(gòu)建分布式、集群化的地質(zhì)礦產(chǎn)科學(xué)信息共享平臺(tái)所需解決的關(guān)鍵技術(shù)問(wèn)題，為“新疆地質(zhì)礦產(chǎn)科學(xué)信息共享平臺(tái)”建設(shè)提供指導(dǎo)，為新疆地質(zhì)礦產(chǎn)信息的共享和融合奠定基礎(chǔ)。

1 多元異構(gòu)數(shù)據(jù)集成技術(shù)

地質(zhì)礦產(chǎn)科學(xué)信息涉及地質(zhì)行業(yè)各專業(yè)的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，種類繁多、形式多樣、內(nèi)容豐富、格式眾多，具有多元異構(gòu)性[5],嚴(yán)重影響了數(shù)據(jù)的集成、共享、分析與挖掘[3]，解決這一問(wèn)題的關(guān)鍵是要從現(xiàn)有各類數(shù)據(jù)特性出發(fā)，建立數(shù)據(jù)標(biāo)準(zhǔn)體系，規(guī)范數(shù)據(jù)模型，并采用多種類型數(shù)據(jù)庫(kù)組合，建立形式上統(tǒng)一的數(shù)據(jù)集成及數(shù)據(jù)訪問(wèn)接口體系——多元異構(gòu)數(shù)據(jù)集成技術(shù)架構(gòu)（圖1）。

圖1 多元異構(gòu)數(shù)據(jù)集成技術(shù)架構(gòu)Fig.1 Integration technology framework of multivariate heterogeneous data

多元異構(gòu)數(shù)據(jù)集成技術(shù)架構(gòu)主要包括標(biāo)準(zhǔn)規(guī)范制定、數(shù)據(jù)資源池建設(shè)、數(shù)據(jù)處理以及統(tǒng)一訪問(wèn)接口研發(fā)等內(nèi)容。首先以中國(guó)地質(zhì)調(diào)查局編制的《地質(zhì)信息產(chǎn)品發(fā)布技術(shù)要求(試行)》和全國(guó)地質(zhì)資料館《地質(zhì)資料核心元數(shù)據(jù)內(nèi)容結(jié)構(gòu)和填寫說(shuō)明》為基礎(chǔ)，從數(shù)據(jù)內(nèi)容、數(shù)據(jù)分級(jí)、空間坐標(biāo)系、數(shù)據(jù)模型、工作流程、質(zhì)量監(jiān)控、數(shù)據(jù)存儲(chǔ)等方面著手，編制《新疆地質(zhì)礦產(chǎn)科學(xué)信息共享平臺(tái)技術(shù)要求》，再按照技術(shù)要求規(guī)定，利用關(guān)系型數(shù)據(jù)庫(kù)(PostgreSQL)、空間數(shù)據(jù)庫(kù)(PostGIS)、文檔型數(shù)據(jù)庫(kù)(MongoDB)、分布式文件系統(tǒng)(Handoop)、全文檢索數(shù)據(jù)庫(kù)(Elastic-Search)、地圖服務(wù)(IGServer、GeoServer)等建立地質(zhì)礦產(chǎn)科學(xué)信息數(shù)據(jù)資源池，按照數(shù)據(jù)模型要求對(duì)數(shù)據(jù)進(jìn)行整理、清洗、提取、整合、入庫(kù)等標(biāo)準(zhǔn)化處理，最后在數(shù)據(jù)資源池基礎(chǔ)上，開(kāi)發(fā)統(tǒng)一的數(shù)據(jù)集成及數(shù)據(jù)訪問(wèn)接口體系。

2 海量數(shù)據(jù)存儲(chǔ)技術(shù)

地質(zhì)礦產(chǎn)科學(xué)涵蓋各種野外調(diào)查數(shù)據(jù)、勘探數(shù)據(jù)、遙感數(shù)據(jù)、文獻(xiàn)數(shù)據(jù)等，體量巨大，且隨著時(shí)間的推移和數(shù)據(jù)采集技術(shù)的發(fā)展,將繼續(xù)呈現(xiàn)爆發(fā)式海量增長(zhǎng)[3]，如何實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)管理是平臺(tái)建設(shè)中需要解決的關(guān)鍵技術(shù)問(wèn)題。

平臺(tái)建設(shè)中可綜合利用關(guān)系型數(shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、文檔數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)等解決海量數(shù)據(jù)存儲(chǔ)問(wèn)題。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，可存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)PostgreSQL 中，通過(guò)集群、讀寫分離、分表分庫(kù)等方式解決大數(shù)據(jù)存儲(chǔ)問(wèn)題；對(duì)于文檔、圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)，首先根據(jù)技術(shù)要求提取元數(shù)據(jù)，并將元數(shù)據(jù)存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)中，而數(shù)據(jù)本身則存儲(chǔ)于分布式文件系統(tǒng)Hadoop中（分布式文件系統(tǒng)能夠充分利用集群的威力高速運(yùn)算和存儲(chǔ)，具有高可靠、高擴(kuò)展可伸縮、高效讀寫、高容錯(cuò)能力、低成本等特點(diǎn)），并通過(guò)建立元數(shù)據(jù)與數(shù)據(jù)之間的映射關(guān)系來(lái)進(jìn)行關(guān)聯(lián)；對(duì)于地質(zhì)圖件、遙感影像等非結(jié)構(gòu)化的空間數(shù)據(jù)，可采用GIS切片和編碼技術(shù)進(jìn)行處理，數(shù)據(jù)可存儲(chǔ)于空間數(shù)據(jù)庫(kù)或分布式文件系統(tǒng)中。對(duì)于字段不穩(wěn)定的半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，則可采用NoSQL類型的文檔數(shù)據(jù)庫(kù)MongoDB進(jìn)行存儲(chǔ)。

3 海量數(shù)據(jù)檢索技術(shù)

數(shù)據(jù)檢索是地質(zhì)礦產(chǎn)科學(xué)信息平臺(tái)的典型應(yīng)用場(chǎng)景之一，可綜合運(yùn)用各種索引技術(shù)、緩存技術(shù)來(lái)獲得高效的檢索效率。

3.1 索引技術(shù)

研發(fā)關(guān)鍵詞檢索、全文檢索、空間檢索等組合檢索技術(shù)實(shí)現(xiàn)數(shù)據(jù)的快速匹配。

關(guān)鍵詞檢索將元數(shù)據(jù)及數(shù)據(jù)內(nèi)容中能表征主題內(nèi)容的、具有實(shí)質(zhì)意義的詞語(yǔ)作為關(guān)鍵字，建立關(guān)鍵詞索引，平臺(tái)根據(jù)用戶輸入的關(guān)鍵字進(jìn)行模糊匹配并返回滿足條件的數(shù)據(jù)集。

全文檢索對(duì)元數(shù)據(jù)及數(shù)據(jù)內(nèi)容建立Elastic-Search 全文數(shù)據(jù)庫(kù)，將一個(gè)完整信息源的全部?jī)?nèi)容轉(zhuǎn)化為計(jì)算機(jī)可識(shí)別、處理的信息單元，平臺(tái)根據(jù)用戶輸入條件匹配并返回滿足條件的數(shù)據(jù)集。

空間檢索因地質(zhì)數(shù)據(jù)具備的空間特性，需對(duì)元數(shù)據(jù)中的空間字段建立空間索引，平臺(tái)根據(jù)用戶輸入的位置信息（如：經(jīng)緯度坐標(biāo)、任意區(qū)域范圍等）進(jìn)行匹配并返回滿足條件的數(shù)據(jù)集。

3.2 緩存技術(shù)

綜合使用數(shù)據(jù)庫(kù)緩存、地圖緩存等技術(shù)來(lái)提升程序運(yùn)行性能和響應(yīng)速度。

數(shù)據(jù)庫(kù)緩存采用Redis 作為數(shù)據(jù)庫(kù)緩存，實(shí)現(xiàn)高頻訪問(wèn)數(shù)據(jù)的高速緩存，提高平臺(tái)的響應(yīng)速度，極大緩解后端數(shù)據(jù)庫(kù)的壓力。

地圖緩存對(duì)地圖數(shù)據(jù)進(jìn)行預(yù)處理，在設(shè)計(jì)的比例級(jí)別下將地圖切割成瓦片（Tile），并將其存儲(chǔ)在服務(wù)器中，當(dāng)平臺(tái)接收到數(shù)據(jù)請(qǐng)求時(shí)可將已有瓦片進(jìn)行拼接并返回，無(wú)需動(dòng)態(tài)實(shí)時(shí)生成圖片，可在很大程度上減少GIS 服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器的壓力，有效提高WebGIS服務(wù)體驗(yàn)。

4 地質(zhì)礦產(chǎn)科學(xué)信息可視化技術(shù)

可視化是利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換為圖形或圖像在屏幕上展示，再進(jìn)行交互處理的理論、方法和技術(shù)，是研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等一系列問(wèn)題的綜合技術(shù)。在地質(zhì)礦產(chǎn)科學(xué)信息可視化中離不開(kāi)空間數(shù)據(jù)可視化技術(shù)，平臺(tái)建設(shè)中基于WebGIS技術(shù)構(gòu)建地質(zhì)科學(xué)信息可視化子系統(tǒng)，可視化子系統(tǒng)從層次結(jié)構(gòu)上可劃分為數(shù)據(jù)層、地圖服務(wù)層、表示層，技術(shù)架構(gòu)（圖2）。

圖2 地質(zhì)礦產(chǎn)科學(xué)信息可視化技術(shù)架構(gòu)Fig.2 Visualization technology framework of geology and mineral information

該架構(gòu)中數(shù)據(jù)層向地圖服務(wù)層提供柵格數(shù)據(jù)、矢量數(shù)據(jù)以及結(jié)構(gòu)化的空間數(shù)據(jù)等。地圖服務(wù)層部署IGServer、GeoServer 服務(wù)，提供網(wǎng)絡(luò)地圖服務(wù)（WMS）、Web 地圖瓦片服務(wù)（WMTS）、網(wǎng)絡(luò)要素服務(wù)（WFS）、網(wǎng)絡(luò)覆蓋服務(wù)（WCS）等標(biāo)準(zhǔn)的OGC 服務(wù)。表示層采用OpenLayers 創(chuàng)建交互式地圖，采用Echarts實(shí)現(xiàn)圖表數(shù)據(jù)可視化。

5 數(shù)據(jù)共享開(kāi)放機(jī)制

地質(zhì)科學(xué)信息平臺(tái)建設(shè)的最終目的就是實(shí)現(xiàn)數(shù)據(jù)共享和協(xié)作，提高地質(zhì)成果的社會(huì)化服務(wù)水平。因此，建立一套科學(xué)可行的數(shù)據(jù)共享機(jī)制必不可少，數(shù)據(jù)共享不僅能夠在平臺(tái)內(nèi)共享，也要實(shí)現(xiàn)跨平臺(tái)共享。

5.1 平臺(tái)內(nèi)共享

平臺(tái)內(nèi)共享是指用戶可在平臺(tái)提供的信息服務(wù)中快速檢索到有哪些地質(zhì)礦產(chǎn)科學(xué)信息資源、保存在什么地方、數(shù)據(jù)質(zhì)量如何、通過(guò)什么方式可以獲取等。

5.2 跨平臺(tái)共享

跨平臺(tái)共享是要解決不同系統(tǒng)訪問(wèn)共享平臺(tái)數(shù)據(jù)的問(wèn)題。首先要研發(fā)統(tǒng)一身份認(rèn)證子系統(tǒng)，解決平臺(tái)用戶、各類應(yīng)用用戶的身份識(shí)別、授權(quán)管理、訪問(wèn)控制等問(wèn)題，然后構(gòu)建標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)接口，提供OGC、XML 等國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)接口的支持，如：支持WMS、WMTS、WFS、WCS等服務(wù)接口、XML數(shù)據(jù)交換接口等，通過(guò)統(tǒng)一身份認(rèn)證子系統(tǒng)的權(quán)限配置，可為用戶提供API 接口調(diào)用服務(wù)，實(shí)現(xiàn)地質(zhì)礦產(chǎn)科學(xué)信息跨平臺(tái)共享和應(yīng)用。