空間數(shù)據(jù)挖掘在地質(zhì)數(shù)據(jù)預處理中的應用

杜曉春，劉 林

（西安歐亞學院，710065）

目前，針對數(shù)據(jù)挖掘的應用非常的多，幾乎覆蓋了各個不同的領(lǐng)域。在地質(zhì)領(lǐng)域，我們一般采用空間數(shù)據(jù)挖掘技術(shù)來進行地質(zhì)數(shù)據(jù)的集中處理。這樣，也就找到了傳統(tǒng)地質(zhì)數(shù)據(jù)處理方法與空間數(shù)據(jù)挖掘技術(shù)對接的方法，建立了一種適合地質(zhì)行業(yè)的地質(zhì)數(shù)據(jù)預處理模型，從而使各單位的地質(zhì)數(shù)據(jù)具有統(tǒng)一的標準，方便地質(zhì)人員進行數(shù)據(jù)分析。

本次研究的數(shù)據(jù)主要從陜西省氣象局和陜西省水利廳獲得。眾所周知，地下水系統(tǒng)、氣象系統(tǒng)都是非常復雜的、持續(xù)變化的系統(tǒng)，它們都只存在相對的穩(wěn)定。變化是一個復雜的非線性過程，它受諸多自然和人為因素的影響。因此，在進行數(shù)據(jù)挖掘前需要在實際生活中搜集相關(guān)的數(shù)據(jù)，而這些搜集而來的原始數(shù)據(jù)往往有很多問題不便于研究人員進行直接的分析和統(tǒng)計，如圖1所示。它們的主要問題有：數(shù)據(jù)雜亂無章，因為大部分原始數(shù)據(jù)都是從生活中搜集來的，這些數(shù)據(jù)在產(chǎn)生前并沒有經(jīng)過統(tǒng)一的定義，也就是說，并沒有統(tǒng)一的標準，數(shù)據(jù)的格式、結(jié)構(gòu)都有很大的不同，因此，將這些在不同情況下搜集來的數(shù)據(jù)根本無法直接放在一起比較。

本次數(shù)據(jù)選取了有代表性的連續(xù)性數(shù)據(jù)，其中，主要選擇了五段相對完整的數(shù)據(jù)分別是寶雞地下水數(shù)據(jù)（1956-1971年段）、寶雞的氣象數(shù)據(jù)（1956—1971年段）；西安地下水數(shù)據(jù)（1966—1974年段）、西安的氣象數(shù)據(jù)（1966—1974年段）；西安五縣的氣象數(shù)據(jù)（1956—1971年段）、山西某地的地下水分析數(shù)據(jù)（1956—1971年段）等。對于這些數(shù)據(jù)，我們需要進行預處理。數(shù)據(jù)預處理的主要過程包括：數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載等。

數(shù)據(jù)的預處理結(jié)束后，可以通過數(shù)據(jù)變化找到數(shù)據(jù)的特征表示，包括規(guī)格化、歸納、切換、旋轉(zhuǎn)和投影等操作。其目的是將數(shù)據(jù)轉(zhuǎn)換成適于挖掘的形式。這里，我們應用云理論來進行數(shù)據(jù)的變換。

云是用自然語言值表示的某個定性概念與其定量表示之間的不確定性轉(zhuǎn)換模型。云由許多云滴組成，每一個云滴就是這個定性概念在數(shù)域空間中的一次具體實現(xiàn)。如果給定符合某一正態(tài)云分布規(guī)律的一組云滴（xi，μi），即可利用逆向云發(fā)生器計算出它們所代表的正態(tài)云的三個數(shù)字特征（Ex，、En、He），即從實現(xiàn)定量到定性的轉(zhuǎn)換，將一定數(shù)量的精確數(shù)據(jù)有效轉(zhuǎn)換為以恰當?shù)亩ㄐ哉Z言值{Ex，En，He}表示的概念，從而實現(xiàn)定性評價。

圖1 ：地下水數(shù)據(jù)資料

1 計算正態(tài)云的三個數(shù)字特征（Ex，、En、He）

這里我們將消除噪音以后的隨機函數(shù)作為云滴，采用劉常昱于2004年提出的一維逆向云發(fā)生器新算法來處理地下水的升降概念，具體算法如下：

輸出：這N個云滴表示的定性概念的期望Ex、En、He

算法：

2 劃分概念區(qū)間

概念區(qū)間的劃分采用五區(qū)間方案和三區(qū)間方案兩種。

(1)五區(qū)間方案

利用某一次定量值對定性概念的貢獻定義。把En一3He和En + 3He作為熵的上界和下界，將地下水的升降概念劃分為 [Ex-3En ，Ex-2En]，[Ex-2En ，Ex-En]，[Ex-En，Ex+En]，[Ex+En， Ex+2En]，[Ex+2En， Ex+3En]五個區(qū)間。[Ex-3En，Ex-2En]表示異常下降，[Ex-2En ，Ex-En]，表示異常下降，[Ex-En，Ex+En]表示穩(wěn)定，[Ex+En， Ex+2En]表示上升，[Ex+2En，Ex+3En]表示異常上升。

(2)三區(qū)間方案

利用某一次定量值對定性概念的貢獻定義。把En一3He和En + 3He作為熵的上界和下界，將地下水的升降概念劃分為[Ex-3En ，Ex-En]， [Ex-En，Ex+En]， [Ex+En， Ex+3En]三個區(qū)間。[Ex-3En ，Ex-En]，表示異常下降，[Ex-En，Ex+En]表示穩(wěn)定，[Ex+En， Ex+3En]表示上升。

3 建立空間數(shù)據(jù)庫

根據(jù)上述兩種區(qū)間劃分方案分別生成新的空間數(shù)據(jù)庫。各方案的轉(zhuǎn)換依據(jù)見表1和表2。

表1 基于五區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

表2 基于三區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

依據(jù)表1和表2系統(tǒng)生成三元表示的空間定性概念數(shù)據(jù)庫。由上表可見新生成的空間數(shù)據(jù)庫中對某一個因素的表達有下降、穩(wěn)定、上升三種狀態(tài)的，實現(xiàn)了不確定概念與定性概念的量化轉(zhuǎn)化，注意它不同于數(shù)據(jù)挖掘中常規(guī)的布爾型關(guān)系數(shù)據(jù)庫，故不能直接用常規(guī)數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則，需要開發(fā)新的空間關(guān)聯(lián)規(guī)則算法。但不確定概念與定性概念的量化轉(zhuǎn)化模型已經(jīng)成立。

從上述分析可以看出，云理論的五區(qū)間方案和三區(qū)間方案最大限度的劃分出了主體對象云的主體，而五區(qū)間方案中剔除的非主體就是我們所要獲取的異常。顯然，剔除[Ex-2En ，Ex-En]、[Ex-En，Ex+En]、[Ex+En， Ex+2En]，而 保 留 [Ex-3En ，Ex-2En]、[Ex+2En， Ex+3En]，即是我們需要的異常（如，表3）。由此也得到了地質(zhì)數(shù)據(jù)的異常提取模型。

表3 基于五區(qū)間的概念劃分及轉(zhuǎn)換結(jié)果數(shù)據(jù)表

最終，我們可以通過處理后的數(shù)據(jù)建立地質(zhì)數(shù)據(jù)殘缺數(shù)據(jù)的補充模型，還可以建立地質(zhì)學中不確定概念與定性概念的量化轉(zhuǎn)化模型以及建立地質(zhì)數(shù)據(jù)的異常提取模型。

[1]張志兵著，《空間數(shù)據(jù)挖掘及其相關(guān)問題研究》[M]，華中科技大學出版社，2011年10月。

[2]李德仁，王樹良，李德毅著，《空間數(shù)據(jù)挖掘理論與應用》[M]，科學出版社，2006年10月。