地質(zhì)大數(shù)據(jù)采集與分析系統(tǒng)的配置技術(shù)研究

柳 波

（長沙迪邁數(shù)碼科技股份有限公司，長沙 410083）

0 引言

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等高新技術(shù)的發(fā)展，地質(zhì)行業(yè)也迎來大數(shù)據(jù)時代，走向數(shù)字化與智能化。地質(zhì)大數(shù)據(jù)的采集、匯聚、管理、應用成為地質(zhì)行業(yè)的一個重要研究方向[1-5]。

在國外，地質(zhì)數(shù)據(jù)管理軟件較早應用且比較成熟并配有專人管理，地質(zhì)數(shù)據(jù)信息化程度較高。典型的軟件包括acQuire和Deposit，兩者都是可配置軟件，均可配置數(shù)據(jù)錄入、數(shù)據(jù)導入、質(zhì)量分析質(zhì)量控制（QAQC）、數(shù)據(jù)導出、報告報表等功能。前者是C/S模式，需要本地安裝，功能強大，升級更新便利，側(cè)重數(shù)據(jù)分析；后者是Web模式，操作簡單，功能較少，側(cè)重數(shù)據(jù)存儲、管理及查看[6-8]。

在國內(nèi)，地勘數(shù)據(jù)采集、管理應用比較早的軟件是中國地質(zhì)調(diào)查局研發(fā)的數(shù)字地質(zhì)調(diào)查系統(tǒng)（DGSS），該軟件涵蓋區(qū)域地質(zhì)調(diào)查、固體礦產(chǎn)勘查、礦體模擬、品位估計、資源儲量估算、礦山開采等內(nèi)容，實現(xiàn)了整個地質(zhì)調(diào)查過程的無縫數(shù)字化與一體化，并創(chuàng)新地開發(fā)了集地質(zhì)三維羅盤和野外數(shù)據(jù)采集于一體的野外數(shù)據(jù)采集器。另外，北京東澳達科技有限公司于2020年發(fā)布了3DLogging軟件，應用于野外勘查和探礦工程（探槽、坑道和鉆孔）的地質(zhì)編錄工作。這兩款軟件為C/S模式，側(cè)重數(shù)據(jù)采集、管理，在可配置方面弱于國外軟件[9-11]。

本研究結(jié)合國外地質(zhì)數(shù)據(jù)管理軟件先進的可配置模式和國內(nèi)地質(zhì)標準規(guī)范，針對地質(zhì)數(shù)據(jù)來源繁多、類型繁雜、數(shù)據(jù)量大的特點，以Web模式為主、C/S模式為輔，采用PostgreSQL數(shù)據(jù)庫，開發(fā)了可靈活配置的地質(zhì)數(shù)據(jù)錄入、導入導出、QAQC、報告報表、統(tǒng)計分析、三維展示的系統(tǒng)，系統(tǒng)支持手機端、平板端、電腦端數(shù)據(jù)錄入及查看。系統(tǒng)可根據(jù)不同礦山、項目數(shù)據(jù)管理的要求進行配置與調(diào)整。

系統(tǒng)在國內(nèi)的紫金山金銅礦、新疆紫金鋅業(yè)、洛陽坤宇、山西紫金及國外的塞爾維亞紫金礦業(yè)進行了地勘數(shù)據(jù)采集及管理應用，實現(xiàn)了對歷史數(shù)據(jù)及正式施工數(shù)據(jù)的管理，實現(xiàn)了集團總部對下屬礦山或項目地質(zhì)數(shù)據(jù)標準化集中統(tǒng)一管理，為地質(zhì)大數(shù)據(jù)建設(shè)及數(shù)據(jù)綜合利用分析奠定了基礎(chǔ)。

1 地質(zhì)業(yè)務(wù)配置系統(tǒng)

1.1 建設(shè)目標

系統(tǒng)的建設(shè)目標是開發(fā)一個能夠針對地質(zhì)業(yè)務(wù)不同場景進行可靈活配置的系統(tǒng)，實現(xiàn)地質(zhì)野外數(shù)據(jù)高效采集、內(nèi)業(yè)數(shù)據(jù)快速處理、數(shù)據(jù)標準化管理、實時統(tǒng)計分析、報告報表輸出、三維可視化地質(zhì)數(shù)據(jù)展示等功能。

系統(tǒng)實現(xiàn)礦山、項目數(shù)據(jù)的獨自采集、管理、分析以及向集團統(tǒng)一匯總、分析、展示。

此外，系統(tǒng)實現(xiàn)與主流三維礦業(yè)軟件、實驗室管理系統(tǒng)、檔案管理系統(tǒng)、生產(chǎn)管理系統(tǒng)等信息化系統(tǒng)對接，實現(xiàn)多源異構(gòu)地質(zhì)數(shù)據(jù)的融合及標準化管理，地質(zhì)數(shù)據(jù)的實時共享、高效流轉(zhuǎn)及大數(shù)據(jù)綜合分析。

1.2 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)分為數(shù)據(jù)層、組件層、業(yè)務(wù)層及應用層，如圖1所示。

圖1 系統(tǒng)架構(gòu)

（1）數(shù)據(jù)層。數(shù)據(jù)層存儲的數(shù)據(jù)除了地質(zhì)業(yè)務(wù)數(shù)據(jù)、文件數(shù)據(jù)、管理數(shù)據(jù)外，還包括配置數(shù)據(jù)。配置數(shù)據(jù)針對不同項目、礦山配置的不同功能，通過改變配置數(shù)據(jù)實現(xiàn)地質(zhì)業(yè)務(wù)不同場景功能的切換。

（2）組件層。組件層提供了滿足不同功能配置的豐富組件，組件包括表單組件、布局組件、頁簽頁面組件、報告報表組件、建表工具。

（3）業(yè)務(wù)層。業(yè)務(wù)層包括基礎(chǔ)功能、功能配置、規(guī)則配置及系統(tǒng)管理?；A(chǔ)功能包括系統(tǒng)登錄、菜單、權(quán)限、用戶、日志等管理功能。功能配置包括數(shù)據(jù)錄入、導入導出、統(tǒng)計分析、QAQC、二維顯示、三維顯示等功能。規(guī)則配置包括計算規(guī)則、校驗規(guī)則、關(guān)聯(lián)規(guī)則等功能。

（4）應用層。應用層包括巖芯鉆探、反循環(huán)（RC）鉆探、坑探、槽探、地質(zhì)填圖、樣品管理等地質(zhì)業(yè)務(wù)領(lǐng)域的應用。

2 系統(tǒng)功能及關(guān)鍵技術(shù)

為實現(xiàn)地質(zhì)業(yè)務(wù)功能可靈活配置，系統(tǒng)包括數(shù)據(jù)錄入配置、數(shù)據(jù)導入配置、報告報表配置、統(tǒng)計分析配置、三維地質(zhì)數(shù)據(jù)庫配置等功能，以及數(shù)據(jù)校驗、字典輔助錄入、自動計算、數(shù)據(jù)聯(lián)動技術(shù)等關(guān)鍵技術(shù)。

2.1 數(shù)據(jù)錄入配置

數(shù)據(jù)錄入配置的實現(xiàn)方法是在數(shù)據(jù)表的基礎(chǔ)上建立數(shù)據(jù)對象，設(shè)置數(shù)據(jù)對象屬性的錄入格式，如單行文本框、多行文本框、下拉框、附件框、日期框等，并可設(shè)置屬性的必填、可視、可編輯，再配置表單、列表，組成錄入的頁簽頁面。

通過配置方式完成的鉆孔設(shè)計數(shù)據(jù)錄入界面如圖2所示，界面上方為錄入表單，界面下方為錄入后的數(shù)據(jù)列表，數(shù)據(jù)操作功能包括新增、修改、刪除等。

圖2 數(shù)據(jù)錄入界面

2.2 數(shù)據(jù)導入配置

數(shù)據(jù)導入配置的實現(xiàn)方法是建立數(shù)據(jù)對象與Excel數(shù)據(jù)表的關(guān)系，一個數(shù)據(jù)對象對應一張數(shù)據(jù)表，對象屬性對應數(shù)據(jù)表的列。一個導入模塊可以選擇多個數(shù)據(jù)對象，對應多張數(shù)據(jù)表，從而實現(xiàn)批量導入多張數(shù)據(jù)表，提高數(shù)據(jù)導入效率。

數(shù)據(jù)導入還需考慮重復數(shù)據(jù)的判斷規(guī)則及處理方式。重復數(shù)據(jù)的判斷規(guī)則由數(shù)據(jù)表的聯(lián)合主鍵確定，如主鍵相同則數(shù)據(jù)被判定為重復。重復數(shù)據(jù)的處理方式包括忽略和覆蓋。

為了保證數(shù)據(jù)庫中數(shù)據(jù)的標準規(guī)范，數(shù)據(jù)導入提供了檢查功能，對異常、錯誤數(shù)據(jù)進行警告及阻止。

2.3 報告報表配置

在數(shù)據(jù)錄入、導入后，系統(tǒng)需按照地質(zhì)標準規(guī)范輸出報告報表，如鉆探工程的巖芯鉆工程施工班報表、孔深校正及彎曲度測量表、簡易水文觀測記錄表、原始地質(zhì)記錄表、水工地質(zhì)記錄表、孔深丈量驗收表、鉆孔概況表、鉆孔質(zhì)量驗收報告等。

報告報表配置的實現(xiàn)方式首先定義數(shù)據(jù)源，提取報告報表需要的數(shù)據(jù)；然后，設(shè)計報告報表模板；最后，進行報告報表輸出。

數(shù)據(jù)源支持數(shù)據(jù)庫已有的數(shù)據(jù)表選擇及SQL查詢語句。一個報告的數(shù)據(jù)源可支持多張數(shù)據(jù)表及多個SQL語句，從而實現(xiàn)復雜報告數(shù)據(jù)的提取。

可用的報告報表模板設(shè)計組件包括表格、表單、富文本、直方圖、折線圖、散點圖等，并可設(shè)置文字字號、字體、行間距等格式。

2.4 統(tǒng)計分析配置

統(tǒng)計分析是數(shù)據(jù)采集后的一個重要應用，包括按礦山統(tǒng)計、項目統(tǒng)計、時間周期統(tǒng)計、業(yè)務(wù)類型統(tǒng)計等。為了滿足地質(zhì)數(shù)據(jù)統(tǒng)計需求的多樣性，統(tǒng)計分析界面需靈活可配置。

統(tǒng)計分析配置的實現(xiàn)方式是在數(shù)據(jù)對象的SQL列表布局中配置SQL語句，提取數(shù)據(jù)，再配置查詢布局。將SQL列表布局和查詢布局組成頁簽頁面。一個數(shù)據(jù)對象可配置多個SQL列表布局，并支持修改。統(tǒng)計項包括項目編號、年份、期次、工作項目、單位、本周完成量、年累計完成量、年度設(shè)計量、年累計完成率，查詢項包括項目編號、年份、期次、工作項目。

2.5 三維地質(zhì)數(shù)據(jù)庫配置

三維地質(zhì)數(shù)據(jù)庫是礦床建模、儲量估算的基礎(chǔ)數(shù)據(jù)。傳統(tǒng)三維地質(zhì)數(shù)據(jù)庫的建立方式是將勘探報告成果整理成數(shù)據(jù)庫需要的開口表、測斜表、樣品表、巖性表，再對數(shù)據(jù)進行校驗，建立鉆孔數(shù)據(jù)庫，存在整理工作量大且不能實時更新數(shù)據(jù)的問題。

三維地質(zhì)數(shù)據(jù)庫配置通過數(shù)據(jù)提取形成鉆孔數(shù)據(jù)庫需要的開口表、測斜表、樣品表、巖性表。實現(xiàn)方式是將創(chuàng)建的數(shù)據(jù)庫視圖及字段填寫在tds_select_data_relation、 tds_table_config、 tds_dmd_config三個表中，三維視圖讀取這三個表，再根據(jù)用戶查詢生成三維地質(zhì)數(shù)據(jù)庫。

2.6 關(guān)鍵技術(shù)

系統(tǒng)在數(shù)據(jù)標準化、輔助錄入方面的關(guān)鍵技術(shù)包括數(shù)據(jù)校驗、字典輔助錄入、自動計算、數(shù)據(jù)聯(lián)動等技術(shù)。

2.6.1 數(shù)據(jù)校驗

數(shù)據(jù)校驗技術(shù)對異常、錯誤數(shù)據(jù)進行警告、阻止，保障了進入系統(tǒng)的數(shù)據(jù)符合地質(zhì)標準規(guī)范。數(shù)據(jù)校驗包括主鍵約束、外鍵約束、唯一約束、數(shù)值范圍約束、SQL語句約束等。

地質(zhì)數(shù)據(jù)的校驗規(guī)則包括鉆孔開口坐標位于勘探范圍內(nèi)、孔深起止范圍不能重疊、終孔日期大于開孔日期、巖芯長不能超過樣長、樣品編號不能重復等。

數(shù)據(jù)校驗技術(shù)的實現(xiàn)方式是在建表時設(shè)置該表的主鍵約束、外鍵約束及唯一約束，并可在數(shù)據(jù)對象屬性上配置SQL校驗規(guī)則、數(shù)值范圍規(guī)則。

設(shè)計的鉆孔開口坐標校驗配置如表1所示的SQL規(guī)則校驗配置，當錄入的數(shù)據(jù)未通過校驗時，系統(tǒng)會進行規(guī)則校驗效果提示。

表1 規(guī)則校驗配置

2.6.2 字典輔助錄入

字典輔助錄入技術(shù)通過對常用選項配置數(shù)據(jù)字典輔助錄入，不僅保障了數(shù)據(jù)錄入的標準化，也提高了數(shù)據(jù)錄入效率。一個特定礦山或特定項目只有樣品類型、標本類型、采樣方法、地層層位、巖性、風化程度、構(gòu)造類型、結(jié)構(gòu)、勘查階段、蝕變類型、堅硬程度等地質(zhì)數(shù)據(jù)中的幾種固定類型。通過配置數(shù)據(jù)字典、統(tǒng)一數(shù)據(jù)規(guī)范，避免無效、錯誤錄入。同時，下拉框提供模糊搜索，極大地提高了錄入效率。

字典輔助錄入技術(shù)的實現(xiàn)方式先由系統(tǒng)配置人員錄入或?qū)霐?shù)據(jù)字典，再對數(shù)據(jù)對象的屬性配置數(shù)據(jù)字典?？稍O(shè)置屬性默認值及下拉字典選項的排序，錄入界面如圖3所示。

圖3 字典輔助錄入界面

2.6.3 自動計算

數(shù)據(jù)錄入、導入時，一些字段由本表或其他表的字段計算得到。自動計算技術(shù)通過關(guān)聯(lián)本表或其他表的字段進行自動計算，實現(xiàn)數(shù)據(jù)的自動錄入，提高數(shù)據(jù)錄入效率和準確性。

地質(zhì)數(shù)據(jù)計算字段包括樣長、累計巖礦芯長、巖礦芯采取率、分層厚度、分層巖礦芯長、分層巖礦芯采取率、誤差率等。

自動計算技術(shù)的實現(xiàn)方式對數(shù)據(jù)對象屬性進行計算規(guī)則配置，包括表達式計算規(guī)則配置和SQL計算規(guī)則配置。表達式計算規(guī)則實現(xiàn)本表字段之間的計算，SQL計算規(guī)則實現(xiàn)跨表字段的查詢與計算。

2.6.4 數(shù)據(jù)聯(lián)動

數(shù)據(jù)錄入往往會遇到多個下拉框之間關(guān)聯(lián)聯(lián)動的情況。例如，分析項目下拉框選項會根據(jù)實驗室下拉框選項的不同而變化，分析方法下拉框選項會根據(jù)分析項目下拉框選項的不同而變化。實驗室、分析項目、分析方法下拉框形成了三級關(guān)聯(lián)聯(lián)動。

數(shù)據(jù)聯(lián)動技術(shù)的實現(xiàn)方式是在數(shù)據(jù)對象屬性聯(lián)動中，對下拉框選項配置聯(lián)動的SQL語句，SQL語句如表2所示。

表2 下拉框數(shù)據(jù)聯(lián)動SQL語句

3 系統(tǒng)應用案例

系統(tǒng)在新疆紫金鋅業(yè)的金剛石鉆探和RC鉆探進行了數(shù)據(jù)采集及管理應用。

金剛石鉆探的數(shù)據(jù)錄入、導入包括鉆孔設(shè)計、鉆孔定位、鉆孔施工回次記錄、彎曲度測量、孔深校正、簡易水文觀測、鉆孔結(jié)構(gòu)、穩(wěn)定水文觀測、原始地質(zhì)編錄、標志面、標本記錄、二次地質(zhì)編錄、水工地質(zhì)編錄、鉆孔丈量驗收、封孔設(shè)計及施工、鉆孔質(zhì)量評分、布樣采樣、送樣、分析結(jié)果等。

數(shù)據(jù)統(tǒng)計分析包括鉆孔施工質(zhì)量自動評分、內(nèi)外檢誤差統(tǒng)計、QAQC、項目周報月報等，QAQC界面如圖4所示。

圖4 QAQC界面

報告報表包括鉆孔地質(zhì)技術(shù)設(shè)計書、鉆孔定位通知書、鉆孔機械安裝通知書、巖芯鉆工程施工班報表、鉆孔原始地質(zhì)記錄表、鉆孔水工地質(zhì)記錄表、鉆孔孔深丈量驗收表、鉆孔質(zhì)量驗收報告等。

此外，該系統(tǒng)還在紫金山金銅礦、山西紫金、塞爾維亞紫金礦業(yè)等地勘數(shù)據(jù)采集及管理進行了應用。通過系統(tǒng)應用，實現(xiàn)了地勘數(shù)據(jù)信息化采集、管理及實時統(tǒng)計分析，滿足了項目組對地勘數(shù)據(jù)的管理及向集團總部匯報的要求，為地質(zhì)大數(shù)據(jù)建設(shè)奠定了基礎(chǔ)。

4 結(jié)論

針對地質(zhì)大數(shù)據(jù)類型繁雜、數(shù)據(jù)量大、實時可視化分析等問題，本文開發(fā)了地質(zhì)業(yè)務(wù)配置系統(tǒng)，在系統(tǒng)組件基礎(chǔ)上配置了地質(zhì)業(yè)務(wù)功能，實現(xiàn)了地質(zhì)野外數(shù)據(jù)快速采集、內(nèi)業(yè)數(shù)據(jù)便捷處理、地質(zhì)數(shù)據(jù)統(tǒng)計分析、地質(zhì)規(guī)范報告報表輸出、三維數(shù)據(jù)庫生成及數(shù)據(jù)標準化規(guī)范化管理，并在巖芯鉆探、RC鉆探、槽探、坑探、物探、化探、地質(zhì)填圖、實測剖面、水工環(huán)、樣品管理等地質(zhì)業(yè)務(wù)領(lǐng)域進行應用，為地質(zhì)數(shù)據(jù)綜合分析、地質(zhì)大數(shù)據(jù)找礦、地質(zhì)三維建模及與其他系統(tǒng)對接提供了基礎(chǔ)。這種地質(zhì)業(yè)務(wù)靈活配置的系統(tǒng)和技術(shù)，可推廣應用到礦山采礦、測量等其他礦山業(yè)務(wù)的數(shù)據(jù)采集及可視化分析，為實現(xiàn)礦山數(shù)字化轉(zhuǎn)型提供了便利的工具。