基于云計(jì)算的云數(shù)據(jù)挖掘引擎研究

（蘭州文理學(xué)院數(shù)字媒體學(xué)院 甘肅 蘭州 730000）

0.引言

在21世紀(jì)，科學(xué)技術(shù)的快速發(fā)展，使物聯(lián)網(wǎng)、云計(jì)算等新型技術(shù)相繼誕生，與此同時(shí)，互聯(lián)網(wǎng)技術(shù)的迅速普及與推廣，使計(jì)算機(jī)的應(yīng)用變得越來(lái)越深入，數(shù)據(jù)量也呈現(xiàn)出幾何倍數(shù)的增長(zhǎng)，人們對(duì)計(jì)算機(jī)的數(shù)據(jù)處理能力也有了更高的要求。面對(duì)海量的數(shù)據(jù)，如何提高計(jì)算機(jī)的數(shù)據(jù)挖掘與處理能力，已經(jīng)成為現(xiàn)下非常重要的熱門話題之一，通過(guò)對(duì)海量數(shù)據(jù)的充分挖掘，能夠幫助人們更加快速的找到所需信息，進(jìn)而提高數(shù)據(jù)的利用價(jià)值，促進(jìn)各個(gè)領(lǐng)域的發(fā)展。由于這些海量數(shù)據(jù)廣泛的分布于互聯(lián)網(wǎng)中，這也使數(shù)據(jù)的挖掘變得較為困難，特別是在云計(jì)算環(huán)境中，不同的數(shù)據(jù)挖掘技術(shù)都有著獨(dú)特的特點(diǎn)。以下便對(duì)云計(jì)算環(huán)境中不同模式的分布式數(shù)據(jù)挖掘方式進(jìn)行探討，以此研發(fā)出基于云計(jì)算的云數(shù)據(jù)挖掘引擎，以便于更好的提高計(jì)算機(jī)對(duì)海量數(shù)據(jù)的存儲(chǔ)、管理與計(jì)算能力。

1.基于云計(jì)算下的分布式數(shù)據(jù)挖掘研究

在網(wǎng)絡(luò)環(huán)境中，海量數(shù)據(jù)的存儲(chǔ)位置是不同的，而分布式數(shù)據(jù)挖掘，便是根據(jù)用戶的需求來(lái)對(duì)這些數(shù)據(jù)進(jìn)行提取的。通過(guò)分布式數(shù)據(jù)挖掘的有效應(yīng)用，能夠?yàn)榛谠朴?jì)算的數(shù)據(jù)挖掘引擎開(kāi)發(fā)提供有力的理論支撐，從而更好的提高數(shù)據(jù)挖掘引擎的性能，使數(shù)據(jù)挖掘引擎的優(yōu)勢(shì)得以最大程度的發(fā)揮。為此，以下便對(duì)分布式數(shù)據(jù)挖掘的三種不同模式進(jìn)行分別闡述。

1.1 Agent模式下的分布式數(shù)據(jù)挖掘

Agent模式又被稱之為主體形式的分布式數(shù)據(jù)挖掘模式，該模式具備較強(qiáng)的自適應(yīng)性、自主性、協(xié)作性與自治性，其通過(guò)多個(gè)Agent的利用來(lái)彌被分布式數(shù)據(jù)挖掘引擎在數(shù)據(jù)挖掘過(guò)程中存在的不足之處。在Agent中設(shè)置有相應(yīng)的數(shù)據(jù)本地訪問(wèn)機(jī)制，這使Agent能夠?qū)?shù)據(jù)進(jìn)行讀寫操作，并且也使本地?cái)?shù)據(jù)的安全性大大提高，有效保護(hù)了用戶的隱私。用戶在對(duì)Agent進(jìn)行初始化以后，Agent會(huì)根據(jù)分布式數(shù)據(jù)挖掘引擎的運(yùn)行情況來(lái)實(shí)施調(diào)整，進(jìn)而降低了數(shù)據(jù)挖掘中的干預(yù)，當(dāng)數(shù)據(jù)源改變時(shí)，Agent還能對(duì)數(shù)據(jù)源進(jìn)行動(dòng)態(tài)選擇，從而利用靜態(tài)數(shù)據(jù)挖掘方式來(lái)實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)處理。Agent協(xié)作性特點(diǎn)能夠更好的發(fā)揮分布式數(shù)據(jù)挖掘的并行、分布挖掘優(yōu)勢(shì)。現(xiàn)階段，Agent模式在進(jìn)行數(shù)據(jù)挖掘時(shí)，主要是采用“葉脈狀”的結(jié)構(gòu)框架，該結(jié)構(gòu)是從一個(gè)基礎(chǔ)點(diǎn)向若干個(gè)分系統(tǒng)進(jìn)行逐步拓展的，在數(shù)據(jù)挖掘系統(tǒng)中，不同的分系統(tǒng)之間是存在內(nèi)部聯(lián)系的，并且這些系統(tǒng)還能互相影響。利用這種“葉脈狀”的體系結(jié)構(gòu)，能夠使Agent成為整個(gè)挖掘引擎中的唯一語(yǔ)言，進(jìn)而使云數(shù)據(jù)挖掘引擎所具備的服務(wù)能力得到極大提高，使其更能滿足用戶的數(shù)據(jù)挖掘需求。

1.2 Foster模式下的分布式數(shù)據(jù)挖掘

Foster模式又被稱之為基于網(wǎng)格的分布式數(shù)據(jù)挖掘模式，F(xiàn)oster模式對(duì)電力網(wǎng)絡(luò)的概念及其特點(diǎn)進(jìn)行了充分的借鑒，并依據(jù)網(wǎng)格理論對(duì)數(shù)據(jù)挖掘模式進(jìn)行了具體的設(shè)置，從而使數(shù)據(jù)挖掘引擎對(duì)網(wǎng)絡(luò)的使用變得更加便捷，使用戶對(duì)網(wǎng)絡(luò)的使用要求得到了最大滿足。Foster模式和以往的分布式計(jì)算模式進(jìn)行比較，F(xiàn)oster模式利用網(wǎng)格來(lái)進(jìn)行設(shè)計(jì)，其優(yōu)勢(shì)將更加明顯，該模式不僅能夠?qū)崿F(xiàn)海量資源的大規(guī)模共享，而且也為人們?cè)跀?shù)據(jù)挖掘中提供了全新的服務(wù)方式，使數(shù)據(jù)挖掘引擎的服務(wù)范圍得到了極大拓展，進(jìn)而提高了數(shù)據(jù)挖掘引擎在網(wǎng)絡(luò)中的信息服務(wù)能力。此外，網(wǎng)格分布式數(shù)據(jù)挖掘模式，在功能上更加適用于具備高性能的計(jì)算機(jī)系統(tǒng)，它能夠?yàn)橛?jì)算機(jī)提供大量的遠(yuǎn)程資源、軟件資源與儲(chǔ)存資源。Foster模式與Agent模式相比，其在應(yīng)用優(yōu)勢(shì)上各有不同，這也使其能夠?yàn)榛谠朴?jì)算的云數(shù)據(jù)挖掘引擎的設(shè)計(jì)與研發(fā)提供科學(xué)的理論依據(jù)。

1.3 云平臺(tái)模式下的分布式數(shù)據(jù)挖掘

云平臺(tái)模式下的分布式數(shù)據(jù)挖掘也是非常重要的海量數(shù)據(jù)挖掘方式，該模式主要是利用虛擬化技術(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)挖掘的，該模式和網(wǎng)格模式下的分布式數(shù)據(jù)挖掘存在許多共同點(diǎn)，不過(guò)云平臺(tái)模式更加注重于數(shù)據(jù)安全、商業(yè)模型、模型計(jì)算及模型編程，并且能夠支持抽象化的數(shù)據(jù)應(yīng)用，這也使其在功能上更加強(qiáng)大，同時(shí)可以依據(jù)規(guī)模經(jīng)濟(jì)效益原則，使其能夠根據(jù)用戶的自身需求來(lái)提供數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算等云服務(wù)，進(jìn)而使用戶在數(shù)據(jù)存儲(chǔ)與計(jì)算等方面的需求得到有效滿足?？梢哉f(shuō)，云平臺(tái)模式下的分布式數(shù)據(jù)挖掘在實(shí)用性上要更高，更能充分發(fā)揮數(shù)據(jù)挖掘引擎的應(yīng)用優(yōu)勢(shì)。

2.基于云計(jì)算的云數(shù)據(jù)挖掘引擎

為了使云數(shù)據(jù)挖掘引擎的應(yīng)用優(yōu)勢(shì)得以充分發(fā)揮，本文便對(duì)基于云計(jì)算的云數(shù)據(jù)挖掘引擎下的CLOUDDM框架設(shè)計(jì)及其主要功能模塊的研發(fā)進(jìn)行了深入的分析，以此更好的滿足各個(gè)領(lǐng)域的數(shù)據(jù)挖掘與利用需求。

2.1 云數(shù)據(jù)挖掘引擎的信息服務(wù)模塊

基于云計(jì)算的云數(shù)據(jù)挖掘引擎采用了CLOUDDM框架，從該框架的功能進(jìn)行分析，云數(shù)據(jù)挖掘引擎 能夠適用于不同種類的數(shù)據(jù)信息挖掘。比如，CPU資源數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、計(jì)算數(shù)據(jù)資源、數(shù)據(jù)工具資源等，其中，CPU資源數(shù)據(jù)與數(shù)據(jù)存儲(chǔ)資源為一般的資源信息，對(duì)這些資源數(shù)據(jù)進(jìn)行管理主要是利用g-Lite等相關(guān)軟件來(lái)實(shí)現(xiàn)的，而計(jì)算數(shù)據(jù)資源以及數(shù)據(jù)工具資源，則屬于一種較為特殊的數(shù)據(jù)，這也使云數(shù)據(jù)挖掘引擎在框架設(shè)計(jì)、應(yīng)用及運(yùn)行都是以特殊數(shù)據(jù)資源管理需求來(lái)實(shí)現(xiàn)的。在云數(shù)據(jù)挖掘引擎中，設(shè)計(jì)人員需要明確云數(shù)據(jù)挖掘引擎框架中具體的數(shù)據(jù)資源信息的類別，并對(duì)這些不同類別的數(shù)據(jù)資源信息進(jìn)行區(qū)分，了解哪些種類的數(shù)據(jù)資源信息能夠即時(shí)即用，又有哪些種類的數(shù)據(jù)資源信息需要通過(guò)相應(yīng)的技術(shù)處理方可使用，以分析結(jié)果作為依據(jù)，然后對(duì)云數(shù)據(jù)挖掘引擎的運(yùn)行模式采取科學(xué)的設(shè)計(jì)，以此更好的滿足各個(gè)領(lǐng)域的數(shù)據(jù)挖掘需求。在信息服務(wù)模塊中，應(yīng)依據(jù)WSRF標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)，需要確保信息服務(wù)模塊能夠?qū)?shù)據(jù)計(jì)算資源、網(wǎng)絡(luò)數(shù)據(jù)以及CPU數(shù)據(jù)進(jìn)行高效的管理，并以外服務(wù)理論來(lái)對(duì)其進(jìn)行設(shè)計(jì)，以此確保信息服務(wù)模塊能夠滿足相關(guān)要求及服務(wù)需要。在信息服務(wù)模塊中，應(yīng)對(duì)Publish和Search操作接口進(jìn)行重點(diǎn)設(shè)計(jì)，其中，Publish接口的功能在于對(duì)用戶的所需元數(shù)據(jù)進(jìn)行接收，并對(duì)框架中的底層服務(wù)模式進(jìn)行調(diào)用，并利用數(shù)據(jù)庫(kù)對(duì)元數(shù)據(jù)進(jìn)行存儲(chǔ)，當(dāng)用戶需要挖掘某些數(shù)據(jù)時(shí)，用戶只需輸入具體的查詢條件，Search接口便可對(duì)相關(guān)數(shù)據(jù)信息進(jìn)行查詢，同時(shí)與數(shù)據(jù)庫(kù)進(jìn)行自動(dòng)連接，并根據(jù)用戶所提供的元數(shù)據(jù)來(lái)進(jìn)行數(shù)據(jù)挖掘。

2.2 云數(shù)據(jù)挖掘引擎的資源配置服務(wù)模塊

對(duì)于不同領(lǐng)域來(lái)說(shuō)，其對(duì)信息服務(wù)的要求也是有很大差異的，如何更好的滿足不同領(lǐng)域、不同用戶的數(shù)據(jù)需求，就必須要對(duì)云數(shù)據(jù)挖掘引擎中的數(shù)據(jù)采集機(jī)制進(jìn)行科學(xué)的建立，以此確保不同領(lǐng)域的用戶能夠利用相同平臺(tái)來(lái)挖掘到自身所需信息。而要想達(dá)到這一目的，就必須要對(duì)云數(shù)據(jù)挖掘引擎中的資源配置服務(wù)模塊進(jìn)行科學(xué)的設(shè)計(jì)。在資源配置服務(wù)模塊設(shè)計(jì)中，應(yīng)完成兩個(gè)方面的任務(wù)，其一是抽象執(zhí)行計(jì)劃的實(shí)例化任務(wù)，其二是概念模型的轉(zhuǎn)換設(shè)計(jì)任務(wù)，兩者缺一不可。在抽象執(zhí)行計(jì)劃的實(shí)例化任務(wù)中，主要是為了使云數(shù)據(jù)挖掘引擎的抽象執(zhí)行性能得以進(jìn)一步提高，資源配置服務(wù)模塊便是依據(jù)抽象執(zhí)行計(jì)劃轉(zhuǎn)化后所形成的執(zhí)行方案來(lái)進(jìn)行工作的。概念模型的轉(zhuǎn)換設(shè)計(jì)任務(wù)則是依據(jù)用戶提供的具體概念，由云數(shù)據(jù)挖掘引擎來(lái)對(duì)這些概念進(jìn)行實(shí)例化執(zhí)行或抽象執(zhí)行。

2.3 數(shù)據(jù)挖掘服務(wù)

在CLOUDDM框架中，云數(shù)據(jù)挖掘引擎的數(shù)據(jù)挖掘服務(wù)主要是依據(jù)相應(yīng)的數(shù)據(jù)挖掘算法來(lái)實(shí)現(xiàn)的，數(shù)據(jù)挖掘算法一般都采用的MapReduce，由框架自身對(duì)各個(gè)算法提供一個(gè)與之相匹配的Web Services，并利用HTTP協(xié)議來(lái)對(duì)其進(jìn)行調(diào)用，從而實(shí)現(xiàn)算法在計(jì)算過(guò)程中的聚類、分類、協(xié)同過(guò)濾及關(guān)聯(lián)規(guī)則等。比如，其將EM、K-Means等算法封裝到Web Services中，并向用戶提供EM()與Kme-ans()等操作，然后通過(guò)系統(tǒng)中所配置的算法輸入輸出路徑及參數(shù)等，來(lái)實(shí)現(xiàn)云數(shù)據(jù)挖掘引擎的數(shù)據(jù)挖掘服務(wù)。

3.結(jié)語(yǔ)

總而言之，對(duì)海量數(shù)據(jù)進(jìn)行高效的挖掘與利用仍舊是當(dāng)下挑戰(zhàn)性較高的一大研究難題，這也使其深受廣大專家學(xué)者的關(guān)注。云計(jì)算發(fā)展形勢(shì)下，使新型計(jì)算模型得以逐步興起，從而為海量數(shù)據(jù)的挖掘與利用問(wèn)題提供了可靠的設(shè)計(jì)思路，使基于云計(jì)算的云數(shù)據(jù)挖掘引擎在海量數(shù)據(jù)挖掘方面更具優(yōu)勢(shì)。本文通過(guò)探討不同模式下的數(shù)據(jù)挖掘方式，在此基礎(chǔ)上提出了一種基于云計(jì)算的云數(shù)據(jù)挖掘引擎框架，它能夠更好的發(fā)揮分布式數(shù)據(jù)挖掘優(yōu)勢(shì)，更好的適應(yīng)海量數(shù)據(jù)的挖掘任務(wù)，從而在很大程度上滿足了不同領(lǐng)域的海量數(shù)據(jù)處理需求。