基于數(shù)據(jù)挖掘建模語言的數(shù)據(jù)挖掘系統(tǒng)設(shè)計

林 芳

（廣西工商職業(yè)技術(shù)學(xué)院，南寧 530003）

0 引言

數(shù)據(jù)挖掘技術(shù)在許多行業(yè)得到了廣泛的運用，特別在保險、金融及醫(yī)療等方面，發(fā)揮著非常重要的作用。但是，由于不同的廠商采用的技術(shù)體制不一樣，實現(xiàn)的數(shù)據(jù)挖掘系統(tǒng)存在著差異，致使挖掘模型不可以在眾多的數(shù)據(jù)挖掘系統(tǒng)間進行資源的共享，這就阻礙了數(shù)據(jù)挖掘的作用發(fā)揮。而且，由于數(shù)據(jù)源分布位置的不同，也導(dǎo)致了數(shù)據(jù)集中要花費較高的成本。為了促進和加強數(shù)據(jù)挖掘模型的標準化，目前一些組織及廠商（例如IBM，Microsoft，KXEN）已經(jīng)提出了有關(guān)的標準。在這些標準中，影響最廣的是數(shù)據(jù)挖掘組織（Data Mining Group，DMG）提出的預(yù)測模型標記語言(Predictive Model Markup Language，PMML)。

為此，本文設(shè)計了一種基于預(yù)測模型標記語言和Web服務(wù)的開放式數(shù)據(jù)挖掘體系，把預(yù)測模型標記語言當成數(shù)據(jù)挖掘標準，進行模型的描述，因此就能夠方便地進行模型實施的可視化及模型的多種應(yīng)用。采用Web服務(wù)技術(shù)，能夠使數(shù)據(jù)挖掘系統(tǒng)可以構(gòu)建應(yīng)用至應(yīng)用的結(jié)構(gòu)，具備較好的動態(tài)擴展性及可移植性，達到模塊間松散耦合的目的，而且，采用作為Web服務(wù)發(fā)布的不只是封裝的算法，也可以是模型預(yù)測，數(shù)據(jù)預(yù)處理，模型可視化等。把這兩者進行結(jié)合，引入至數(shù)據(jù)挖掘系統(tǒng)里，可以實現(xiàn)各種硬件和軟件資源的共享。

1 數(shù)據(jù)挖掘建模語言概述

依據(jù)側(cè)重點及功能的不同，可以把數(shù)據(jù)挖掘語言劃分成三個類型，即：挖掘建模語言、挖掘查詢語言以及通用挖掘語言。

1.1 數(shù)據(jù)挖掘查詢語言

查詢語言是數(shù)據(jù)挖掘原語構(gòu)成的，通過數(shù)據(jù)挖掘原語，來進行對數(shù)據(jù)挖掘任務(wù)的定義。通過數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)挖掘原語之間的通信，促使更加有效地知識發(fā)現(xiàn)。該原語主要有五種類型，即：挖掘知識種類、用戶關(guān)心的數(shù)據(jù)集、測量模式估值、指導(dǎo)挖掘?qū)I(yè)知識以及挖掘知識的可視化過程。

1.2 數(shù)據(jù)挖掘建模語言

建模語言是定義及描述數(shù)據(jù)挖掘的模型的語言，即通過規(guī)范的建模語言，讓在模型描述及定義方面，數(shù)據(jù)挖掘系統(tǒng)可以遵循相關(guān)的標準，從而讓眾多挖掘系統(tǒng)間能夠進行模型的共享，這不但能夠克服各系統(tǒng)間封閉性問題，而且能夠?qū)?shù)據(jù)挖掘模型嵌入到應(yīng)用系統(tǒng)中，有效解決單獨知識發(fā)現(xiàn)問題。而預(yù)測模型標記語言，恰是符合這種要求的一種建模語言。

1.3 通用數(shù)據(jù)挖掘語言

該語言是把上面兩種語言進行綜合，不但有模型定義功能，還可以作為查詢語言和數(shù)據(jù)挖掘系統(tǒng)實施通信，實施特定的挖掘和交互。標準化的通用數(shù)據(jù)挖掘語言，是當前數(shù)據(jù)挖掘領(lǐng)域一個最佳的解決方案。其中，OLE DB for Data Mining語言就是微軟公司提出的一種通用數(shù)據(jù)挖掘語言。

2 數(shù)據(jù)挖掘與Web服務(wù)技術(shù)的結(jié)合

1）數(shù)據(jù)挖掘系統(tǒng)中，數(shù)據(jù)的表示機制及存儲的一致性是分布式情況下要解決好的一個重要問題。而采用基于XML語言的Web服務(wù)技術(shù)，其設(shè)計了一個獨立的數(shù)據(jù)表示機制，能夠有效解決數(shù)據(jù)的不兼容性問題及私有化問題，讓在不同應(yīng)用系統(tǒng)中交換數(shù)據(jù)不再成為問題。

2）數(shù)據(jù)挖掘系統(tǒng)采用了Web服務(wù)技術(shù)之后，將會極大地提高系統(tǒng)的易用性。由于Web服務(wù)技術(shù)為構(gòu)建在因特網(wǎng)基礎(chǔ)上的，因而能夠通過WSDL及SOAP技術(shù)，部署在任何的地理位置供使用。而且，其接口具有平臺獨立性特點，具有自應(yīng)用至應(yīng)用的結(jié)構(gòu)優(yōu)點，與用戶至應(yīng)用結(jié)構(gòu)有明顯的區(qū)別。

3）隨著數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展，用戶需求的不斷變化，要求數(shù)據(jù)挖掘系統(tǒng)具有可擴展的、動態(tài)的架構(gòu)。將Web服務(wù)技術(shù)引入進來之后，各供應(yīng)廠商采用Web服務(wù)發(fā)布的組件就能夠?qū)嵤﹦討B(tài)地調(diào)用，滿足新技術(shù)發(fā)展需求及用戶的需求變化的需要。

3 數(shù)據(jù)挖掘系統(tǒng)設(shè)計

3.1 體系結(jié)構(gòu)

采用PMML與Web服務(wù)技術(shù)的數(shù)據(jù)挖掘系統(tǒng)，可以跨越數(shù)據(jù)結(jié)構(gòu)及平臺的異構(gòu)性，移植性較好，還可以跨越代理服務(wù)器與防火墻實施通信，具有良好的可擴展性、用戶透明性以及使用靈活等特點?；赪eb服務(wù)的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)設(shè)計如圖1所示。在圖1中能夠看出，該挖掘平臺是由四個邏輯模塊組成的，分別是：挖掘服務(wù)模塊、Web應(yīng)用模塊、UDDI模塊和用戶接口模塊。

3.2 挖掘任務(wù)流程

數(shù)據(jù)挖掘任務(wù)與挖掘步驟如下。

1）構(gòu)建在UDDI接口上的用戶界面，為系統(tǒng)提供Web服務(wù)的實時查找功能。

2）UDDI注冊中心針對全部記錄進行查詢，并將符合條件的記錄返回至用戶界面。

圖 1 基于Web服務(wù)的數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)

3）某個挖掘服務(wù)被用戶選中后，系統(tǒng)將該請求、參數(shù)及數(shù)據(jù)等發(fā)送至遠程服務(wù)端。

4）當遠端服務(wù)端收到該請求以后，進行數(shù)據(jù)挖掘任務(wù)的執(zhí)行。

5）當任務(wù)執(zhí)行完之后，由服務(wù)端把形成的挖掘模型發(fā)送給用戶。

3.3 功能模塊設(shè)計

典型的數(shù)據(jù)挖掘系統(tǒng)通常由三個模塊組成，即：數(shù)據(jù)準備模塊，模型建立模塊及模型應(yīng)用模塊。把Web服務(wù)應(yīng)用到挖掘系統(tǒng)之后，挖掘系統(tǒng)將全部的挖掘過程及挖掘組件進行封裝，變成Web服務(wù)的形式，并生成UDDI注冊中心，進行動態(tài)的服務(wù)管理。其中的UDDI模塊，其主要功能就是完成對服務(wù)的管理，例如服務(wù)的發(fā)布、查詢以及注銷等。功能模塊設(shè)計圖如圖2所示。

圖 2 數(shù)據(jù)挖掘系統(tǒng)的功能模塊

3.3.1 UDDI模塊

把Web服務(wù)引入至數(shù)據(jù)挖掘系統(tǒng)里來，封裝數(shù)據(jù)挖掘應(yīng)用成Web服務(wù)，還需要有針對被封裝的挖掘服務(wù)的Web服務(wù)管理機制。針對該挖掘服務(wù)的主要操作是：服務(wù)發(fā)布，更新，發(fā)現(xiàn)，刪除等，而這些操作均能夠以UDDI管理的方式進行實現(xiàn)。通過UDDI模塊，使系統(tǒng)具備了較好的可擴展性特點。UDDI模塊的構(gòu)成主要有四個部分，即：服務(wù)發(fā)布模塊、服務(wù)注銷模塊、服務(wù)發(fā)現(xiàn)模塊和UDDI注冊中心。UDDI模塊結(jié)構(gòu)如圖3所示。

圖 3 UDDI模塊結(jié)構(gòu)圖

3.3.2 模型構(gòu)造模塊

該挖掘系統(tǒng)關(guān)鍵模塊，就是模型構(gòu)造模塊。模型構(gòu)造模塊進行挖掘算法的調(diào)用，當數(shù)據(jù)完成預(yù)處理之后，就在數(shù)據(jù)集上進行實際數(shù)據(jù)挖掘任務(wù)，形成數(shù)據(jù)挖掘模型，同時要對挖掘模型實施驗證分析，最后，采用預(yù)測模型標記語言進行挖掘模型的表示。模型構(gòu)造模塊的模型驗證模塊，也是其中非常重要的一個模塊，模型驗證是對模型的有效性及可信度的評價，可以有效地輔助決策者辨別出有意義的模型。

3.4 PMML模塊結(jié)構(gòu)設(shè)計

為跨越各企業(yè)間及系統(tǒng)平臺、實現(xiàn)資源共享，還需要完成模型的共享，為此，還需要應(yīng)用獨立的PMML模塊。此模塊的主要功能有兩個方面：

1）在當前的數(shù)據(jù)挖掘系統(tǒng)中，取得數(shù)據(jù)挖掘模型，應(yīng)用PMML模塊，把它以標準化的PMML規(guī)范進行描述。采用PMML格式挖掘模型能夠方便地引入至其它數(shù)據(jù)挖掘應(yīng)用里，實施模型的部署，預(yù)測，集成，以及可視化。

2）把現(xiàn)有的PMML描述的挖掘模型，使用PMML模塊實施解析。經(jīng)過PMML文檔解析之后，從而獲得了實際的模型信息，該信息能被其他挖掘系統(tǒng)所調(diào)用。PMML模塊的應(yīng)用如圖4所示。

圖 4 PMML模塊的應(yīng)用

根據(jù)上述的PMML模塊功能分析，PMML模塊提供了不同挖掘系統(tǒng)間的通信紐帶。所以，PMML模塊需要有較強的獨立性，還要能夠完整地支持PMML規(guī)范操作。此外，PMML模塊要進行動態(tài)的不同類型挖掘模型添加處理。為此，本文使用了模塊化的、面向?qū)ο蟮脑O(shè)計，提供一套應(yīng)用程序接口，因而不同的應(yīng)用系統(tǒng)就可以進行對應(yīng)的接口調(diào)用，實現(xiàn)PMML規(guī)范的良好支持。與此同時，實現(xiàn)PMML規(guī)范支持方法要有多種，可以及時地變換實現(xiàn)方法，促使其性能更加穩(wěn)定。另外，實施了模塊化的設(shè)計，PMML的內(nèi)部模塊耦合度也相應(yīng)地降低，可以很容易地支持新的挖掘算法。

4 結(jié)束語

綜上所述，本文在對Web服務(wù)技術(shù)及數(shù)據(jù)挖掘語言實施了分析和研究后，提出一種在PMML和Web服務(wù)基礎(chǔ)上的數(shù)據(jù)挖掘系統(tǒng)架構(gòu)。該架構(gòu)具有可動態(tài)擴展性、平臺無關(guān)性及可移植性等特點，可以實現(xiàn)知識共享、應(yīng)用集成及節(jié)約資源的目的。

[1] 侯敬軍, 曾致遠, 向凌. 一種基于Web服務(wù)的分布式數(shù)據(jù)挖掘體系結(jié)構(gòu)[J]. 微機發(fā)展, 2006, 14(6): 48-51.

[2] 方駿, 方云, 肖杰. 數(shù)據(jù)挖掘的工業(yè)標準的現(xiàn)狀和展望[J]. 計算機應(yīng)用研究, 2007, 6: 8-10.

[3] 石峰, 周紹梅. 數(shù)據(jù)挖掘語言及其標準化淺析[J]. 江西科學(xué), 2007, 23(1): 69-71.

[4] 蘇衛(wèi). 數(shù)據(jù)挖掘工具的應(yīng)用與標準化[J]. 計算機工程(增刊), 2008, 30: 40-42.

[5] 王闖舟. PMML實現(xiàn)高速便捷的數(shù)據(jù)挖掘[J]. 金融電子化, 2007, 4: 57-58.