淺談知識發(fā)現(xiàn)與數(shù)據(jù)挖掘

趙 琳

中國海洋大學(xué)，山東 青島 266033

0 引言

隨著數(shù)據(jù)庫技術(shù)的成熟和數(shù)據(jù)應(yīng)用的普及，人類積累的數(shù)據(jù)量正在以指數(shù)速度迅速增長。當(dāng)數(shù)據(jù)量極度增長時，如果沒有有效的方法來提取有用信息和知識，人們也會感到面對信息海洋像大海撈針一樣束手無策。面臨浩渺無際的數(shù)據(jù)，人們渴望從數(shù)據(jù)汪洋中來一個去粗存精、去偽存真的技術(shù)。從數(shù)據(jù)庫中發(fā)現(xiàn)知識及其核心技術(shù)—數(shù)據(jù)采掘（DM）便應(yīng)運而生了。

1 知識發(fā)現(xiàn)過程

知識發(fā)現(xiàn)（KDD）是從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個過程；數(shù)據(jù)開采（DM）是KDD過程中的一個特定步驟，它用專門算法從數(shù)據(jù)中抽取模式（patterns）。1996年，F(xiàn)ayyad、PiatetskyShapiror和Smyth將KDD過程定義為：從數(shù)據(jù)中鑒別出有效模式的非平凡過程，該模式是新的、可能有用的和最終可理解的。KDD過程是多個步驟相互連接、反復(fù)進(jìn)行人機(jī)交互的過程。具體包括：1）學(xué)習(xí)某個應(yīng)用領(lǐng)域：包括應(yīng)用中的預(yù)先知識和目標(biāo)；2）建立目標(biāo)數(shù)據(jù)集：選擇一個數(shù)據(jù)集或在多數(shù)據(jù)集的子集上聚焦；3）數(shù)據(jù)預(yù)處理：去除噪聲或無關(guān)數(shù)據(jù)，去除空白數(shù)據(jù)域，考慮時間順序和數(shù)據(jù)變化等；4）數(shù)據(jù)轉(zhuǎn)換：找到數(shù)據(jù)的特征表示，用維變換或轉(zhuǎn)換方法減少有效變量的數(shù)目或找到數(shù)據(jù)的不變式；5）選定數(shù)據(jù)挖掘功能：決定數(shù)據(jù)挖掘的目的；6）選定數(shù)據(jù)挖掘算法：用KDD過程中的準(zhǔn)則，選擇某個特定數(shù)據(jù)挖掘算法（如匯總、分類、回歸、聚類等）用于搜索數(shù)據(jù)中的模式；7）數(shù)據(jù)挖掘：搜索或產(chǎn)生一個特定的感興趣的模式或一個特定的數(shù)據(jù)集；8）解釋：解釋某個發(fā)現(xiàn)的模式，去掉多余的不切題意的模式，轉(zhuǎn)換某個有用的模式，以使用戶明白；9）發(fā)現(xiàn)知識：把這些知識結(jié)合到運行系統(tǒng)中，獲得這些知識的作用或證明這些知識。用預(yù)先、可信的知識檢查和解決知識中可能的矛盾。

2 知識發(fā)現(xiàn)的核心―數(shù)據(jù)挖掘

所謂數(shù)據(jù)挖掘，就是從數(shù)據(jù)庫中抽取隱含的、以前未知的、具有潛在應(yīng)用價值的信息的過程。數(shù)據(jù)挖掘是KDD最核心的部分。數(shù)據(jù)挖掘與傳統(tǒng)分析工具不同的是數(shù)據(jù)挖掘使用的是基于發(fā)現(xiàn)的方法，運用模式匹配和其它算法決定數(shù)據(jù)之間的重要聯(lián)系。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識的好壞。目前，大多數(shù)的研究都集中在數(shù)據(jù)挖掘算法和應(yīng)用上。有的學(xué)者認(rèn)為，數(shù)據(jù)開采和知識發(fā)現(xiàn)含義相同，表示成KDD/DM，它是一個反復(fù)的過程，通常包含多個相互聯(lián)系的步驟：預(yù)處理、提出假設(shè)、選取算法、提取規(guī)則、評價和解釋結(jié)果、將模式構(gòu)成知識，最后是應(yīng)用。在實際，人們往往不嚴(yán)格區(qū)分?jǐn)?shù)據(jù)挖掘和數(shù)據(jù)庫中的知識發(fā)現(xiàn)，把兩者混淆使用。一般在科研領(lǐng)域中稱為KDD，而在工程領(lǐng)域則稱為數(shù)據(jù)挖掘。

3 數(shù)據(jù)挖掘中常用技術(shù)

目前，數(shù)據(jù)挖掘應(yīng)用方面有著種類繁多的商品工具和軟件，大致可以歸納為下列主要類型：傳統(tǒng)主觀導(dǎo)向系統(tǒng)，這是針對專業(yè)領(lǐng)域應(yīng)用的系統(tǒng)。如基于技術(shù)分析方法對金融市場進(jìn)行分析。采用的方法從簡單的走向分析直到基于高深數(shù)學(xué)基礎(chǔ)的分析理論和譜分析。這種技術(shù)需要有經(jīng)驗?zāi)Ｐ蜑榍疤?。屬于這類商品有美國的Metastak，SuperCharts，CandlestickForecaster和WallStreetMoney等傳統(tǒng)統(tǒng)計分析，這類技術(shù)包括相關(guān)分析、回歸分析及因子分析等。一般先由用戶提供假設(shè)，再由系統(tǒng)利用數(shù)據(jù)進(jìn)行驗證。缺點是需經(jīng)培訓(xùn)后才能使用，同時在數(shù)據(jù)探索過程中，用戶需要重復(fù)進(jìn)行一系列操作。由于近年來更先進(jìn)的DM方法的出現(xiàn)和使用，這些廠商在原有系統(tǒng)中綜合一些DM部件，以獲得更完善的功能。以上兩種技術(shù)主要基于傳統(tǒng)的數(shù)理統(tǒng)計等數(shù)學(xué)的基礎(chǔ)上，一般早已開始用于數(shù)據(jù)分析方面。神經(jīng)元網(wǎng)絡(luò)技術(shù)：神經(jīng)元網(wǎng)絡(luò)技術(shù)是屬于軟計算領(lǐng)域內(nèi)一種重要方法，它是多年來科研人員進(jìn)行人腦神經(jīng)學(xué)習(xí)機(jī)能模擬的成果，已成功地應(yīng)用于各工業(yè)部門。在DM（KDD）的應(yīng)用方面，當(dāng)需要復(fù)雜或不精確數(shù)據(jù)中導(dǎo)出概念和確定走向比較困難時，利用神經(jīng)網(wǎng)絡(luò)技術(shù)特別有效。經(jīng)過訓(xùn)練后的NN可以想像具有某種專門知識的“專家”，因此可以像人一樣從經(jīng)驗中學(xué)習(xí)。NN有多種結(jié)構(gòu)，但最常用的是多層BP模型。它已廣泛地應(yīng)用于各種 DM（KDD）工具和軟件中。有些是以NN為主導(dǎo)技術(shù)。NN技術(shù)已廣泛地做為一種方法嵌入各種DM成套軟件中。缺點是用它來分析復(fù)雜的系統(tǒng)諸如金融市場，NN就需要復(fù)雜的結(jié)構(gòu)為數(shù)眾多神經(jīng)元以及連接數(shù)，從而使現(xiàn)有的事例數(shù)無法滿足訓(xùn)練的需要；另外，由受訓(xùn)后的NN所代表的預(yù)測模型的非透明性也是缺點。盡管如此，它還是廣泛而成功地為各種金融應(yīng)用分析系統(tǒng)所采用。決策樹：在知識工程領(lǐng)域，決策樹是一種簡單的知識表示方法，它將事例逐步分類成代表不同的類別。由于分類規(guī)則是比較直觀的，因而比較易于理解。這種方法一般限于分類任務(wù)。在系統(tǒng)中采用這種方法的有美國的IDIS，法國的SIPINA.英國的 Clementinc和澳大利亞的C5.0.進(jìn)化式程序設(shè)計，這種方法的獨特思路是：系統(tǒng)自動生成有關(guān)目標(biāo)變量對其他多種變量依賴關(guān)系的務(wù)種假設(shè)，并形成以內(nèi)部編程語言表示的程序。內(nèi)部程序（假設(shè)）的產(chǎn)生過程是進(jìn)化式的，類似于遺傳算法過程。當(dāng)系統(tǒng)找到較好地描述依賴關(guān)系的一個假設(shè)時，就對這程序進(jìn)行各種不同的微小修正，生成子程序組，再在其中選擇能更好地改進(jìn)預(yù)測精度的子程序，如此依次進(jìn)行，最后獲得達(dá)到所需精度的最好程序時，由系統(tǒng)的專有模塊將所找到的依賴關(guān)系由內(nèi)部語言形式轉(zhuǎn)換成易于為人們理解的顯式形式。這種方法在原則上能保證任何一種依賴關(guān)系和算法都能用這種語言來描述。因此，它用于金融到醫(yī)療方面的各種應(yīng)用中將能獲得很好的結(jié)果。

[1]馬麗娜,劉弘,張希林.數(shù)據(jù)挖掘.OLAP在決策支持系統(tǒng)中的應(yīng)用[J].計算機(jī)應(yīng)用研究,2007(11):10-12.

[2]胡彥.基于數(shù)據(jù)倉庫的決策支持工具的比較研究[J].計算機(jī)應(yīng)用,2006,20(6):20-24.

[3]喻鋼,周定康.聯(lián)機(jī)分析處理（OLAP）技術(shù)的研究[J].計算機(jī)應(yīng)用,2007,21(11):80-84.