基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)技術(shù)研究

劉吳文

(福建師范大學(xué)福清分校，福建 福州 350300)

基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)技術(shù)研究

劉吳文

(福建師范大學(xué)福清分校，福建 福州 350300)

通過云計算來挖掘海量的信息數(shù)據(jù)成為當(dāng)前計算機領(lǐng)域的主流技術(shù)，其優(yōu)勢在于能夠提供良好的數(shù)據(jù)挖掘平臺。本文以云計算與數(shù)據(jù)挖掘概念為基礎(chǔ)，闡述了相關(guān)架構(gòu)與功能模塊，并剖析了關(guān)鍵技術(shù)。

云計算；數(shù)據(jù)挖掘；大數(shù)據(jù)

云計算是一種計算平臺，可以通過并行、分布、網(wǎng)格等計算方式實現(xiàn)在海量數(shù)據(jù)中獲取動態(tài)數(shù)據(jù)的方式。因此，云計算在商業(yè)金融、電子商務(wù)以及科研開發(fā)等諸多領(lǐng)域中加以廣泛使用。云計算的突出優(yōu)勢在于：高效率、通用性、虛擬化、規(guī)?；约跋鄬α畠r等方面。使用時，可以根據(jù)客戶的需求提供虛擬、透明的計算并加以存儲，還能以動態(tài)形式將該客戶短期內(nèi)無法利用的數(shù)據(jù)提供給急需的客戶使用。這也凸顯出該技術(shù)的通用、廉價的特點，直接實現(xiàn)了大規(guī)模數(shù)據(jù)操作的可能性。

一、云計算數(shù)據(jù)挖掘系統(tǒng)架構(gòu)設(shè)計的分析

(一)目標(biāo)系統(tǒng)模型

以云計算為前提所構(gòu)建的目標(biāo)系統(tǒng)模型所提供的服務(wù)界面更為透明，接口服務(wù)也更具有開放性。此時，用戶可以通過終端訪問的方式直接使用系統(tǒng)，還可以通過開放式接口實現(xiàn)對應(yīng)用系統(tǒng)的間接訪問。終端客戶使用過程中不必考慮系統(tǒng)的存儲能力，僅需考慮到算法的選擇。使用結(jié)果就是將任務(wù)形式直接部署到相應(yīng)的系統(tǒng)之中，以此獲取所需的挖掘數(shù)據(jù)。同時，以云計算環(huán)境為條件的數(shù)據(jù)挖掘平臺，都可以通過開放式接口與用戶界面提供便捷的服務(wù)。

(二)功能層次框架設(shè)計

1.算法層

算法層主要是通過對下層數(shù)據(jù)的調(diào)用，并通過相關(guān)算法實現(xiàn)有效地管理。由于運算方法存在執(zhí)行順序與結(jié)果存在較大的差異，需區(qū)別對待。以數(shù)據(jù)清洗算法為例，該方法挖掘噪聲數(shù)據(jù)前，需對接口服務(wù)進(jìn)行調(diào)用，然后對相關(guān)數(shù)據(jù)加以清洗，通過數(shù)據(jù)層存儲于云計算平臺，該步驟的重要作用是更好地服務(wù)于后續(xù)數(shù)據(jù)挖掘。數(shù)據(jù)挖掘調(diào)用服務(wù)，在應(yīng)用該服務(wù)之前，將已清洗的及不需要清洗的數(shù)據(jù)利用數(shù)據(jù)挖掘技術(shù)統(tǒng)一對數(shù)據(jù)進(jìn)行調(diào)用。

2.應(yīng)用層

與其他層相比，抽象性是應(yīng)用層更為突出的特性。應(yīng)用層主要是描述海量數(shù)據(jù)的挖掘、算法之間的冠以相關(guān)具體數(shù)據(jù)，還能直接為客戶提供維護(hù)接口和調(diào)用服務(wù)。

3.用戶層

云計算的應(yīng)用層通過友好用戶界面直接提供了用戶所需的相關(guān)服務(wù)和軟件，主要為客戶提供OA、CRM和ERP等相關(guān)服務(wù)(見圖1)。

(三)云計算機構(gòu)設(shè)計的關(guān)鍵點

1.插件系統(tǒng)的設(shè)計

插件程序是對相應(yīng)的應(yīng)用程序開發(fā)接口加以規(guī)范實現(xiàn)的。所有插件都是由擴(kuò)展點、業(yè)務(wù)邏輯、調(diào)用下層擴(kuò)展點這三部分組成的，以上三部分都是由相同的模塊對綁定包加以管理。綁定包需具備規(guī)范要求，在特定目錄下防止插件，可以及時識別并實現(xiàn)動態(tài)加載。此外，插件的算法是以滿足算法為前提，而不僅局限于特定個數(shù)與排列數(shù)據(jù)，其兼容性的實現(xiàn)是以提供抽象數(shù)據(jù)為基礎(chǔ)的。該算法除此之外，算法實現(xiàn)不同于以往針對特定個數(shù)、排列數(shù)據(jù)而實現(xiàn)。它是在滿足實現(xiàn)算法的基礎(chǔ)上，利用抽象數(shù)據(jù)提供更多的兼容性。

2.開放接口的設(shè)計

在云計算平臺中，開放接口主要用于數(shù)據(jù)的使用。在使用過程中，我們可以充分挖掘出所需的數(shù)據(jù)資源。設(shè)計開放接口的前提是保證其具有相關(guān)性與高效性，無態(tài)型優(yōu)勢是平臺接口(REST)最為主要的使用優(yōu)勢。在某一局域網(wǎng)之中，緩沖裝置可實現(xiàn)重復(fù)調(diào)用。正是這種重復(fù)使用能提升服務(wù)器的吞吐量，最大限度的降低服務(wù)器的工作負(fù)擔(dān)。

(四)云計算數(shù)據(jù)挖掘平臺架構(gòu)的實現(xiàn)

1.開發(fā)環(huán)境

云計算的開發(fā)環(huán)境各不相同，但對環(huán)境的要求都是提供自動擴(kuò)展與動態(tài)服務(wù)等方面，以Google為例，其開發(fā)環(huán)境為App Engine，如果計算過程中出現(xiàn)重載以及數(shù)據(jù)量劇增的情況，構(gòu)造出的應(yīng)用程序具有較強的安全性。

2.云計算數(shù)據(jù)平臺架構(gòu)的開發(fā)思想與技術(shù)

(1)原型開發(fā)模型

該模型的開發(fā)是建立在快速分析的基礎(chǔ)之上的，開發(fā)人與用戶的有效溝通能夠準(zhǔn)確將系統(tǒng)需求加以定位，同時結(jié)合原型特征滿足開發(fā)的目的；建構(gòu)原型需結(jié)合認(rèn)真的分析，進(jìn)而建構(gòu)出具有較高可行性的系統(tǒng)。為了保證支持技術(shù)的可靠性，需使用相應(yīng)的軟件工具，暫不對系統(tǒng)細(xì)節(jié)加以考慮；為了保證原型運行通暢，設(shè)計人員需及時發(fā)現(xiàn)并解決問題；考核原型特性的目的是將原型的運行效果與用戶滿意程度加以測評，如測評中發(fā)現(xiàn)錯誤，有新的客戶需求，則需根據(jù)實際情況提出相應(yīng)的修改建議。

(2)以WSGI為前提的規(guī)范開發(fā)

由于WSGI 規(guī)范基礎(chǔ)上的開發(fā)優(yōu)勢明顯，能夠很好地實現(xiàn)系統(tǒng)可用性的提升、實現(xiàn)跨平臺的操作可行性。因此，該方式較之傳統(tǒng)的C/S 模塊而言，具有使用上的便捷性。用戶訪問系統(tǒng)是通過瀏覽器實現(xiàn)的，還為用戶提供了更多的選擇。需注意的是，WSGI規(guī)范的實現(xiàn)是以Python語言環(huán)境為基礎(chǔ)的，該語言具有跨平臺的特點，這也增加了系統(tǒng)與云計算平臺結(jié)合的便捷性。

3.開發(fā)步驟

(1)算法模塊插件系統(tǒng)

該系統(tǒng)的算法主要有數(shù)據(jù)挖掘算法、數(shù)據(jù)清洗算法、結(jié)果可視算法等。為了保證執(zhí)行過程的完整性，需在不規(guī)則數(shù)據(jù)和原始數(shù)據(jù)集的前提下通過數(shù)據(jù)清洗算法統(tǒng)一整理數(shù)據(jù)集才能實現(xiàn)。此外，還可以通過異構(gòu)和分布式中轉(zhuǎn)數(shù)據(jù)源后生成較為規(guī)則的數(shù)據(jù)集。通過數(shù)據(jù)挖掘算法對規(guī)則數(shù)據(jù)進(jìn)行處理，得到需要獲取的信息，進(jìn)而以可視的形式呈獻(xiàn)給使用者。上述過程中，涉及到數(shù)據(jù)調(diào)用的都需以REST接口實現(xiàn)，數(shù)據(jù)通過接口傳遞與轉(zhuǎn)換的格式都為XML。由于多種算法模塊的出現(xiàn)，促使云計算平臺下的數(shù)據(jù)挖掘平臺能夠提供更多的實用功能。

(2)數(shù)據(jù)集訪問模塊

數(shù)據(jù)集訪問模塊與算法模塊有很多相同之處，例如：插入方式與調(diào)用以及訪問數(shù)據(jù)集時的調(diào)用狀態(tài)都是一致的。不同之處在于，其在調(diào)用數(shù)據(jù)集訪問模塊之前，能夠?qū)?shù)據(jù)實例文件自動加以分解，形成多個物理訪問地址和元數(shù)據(jù)組，進(jìn)而將參數(shù)傳遞至數(shù)據(jù)集訪問模塊。

4.云計算數(shù)據(jù)挖掘平臺的架構(gòu)

(1)系統(tǒng)構(gòu)成

用戶交互、應(yīng)用程序、數(shù)據(jù)挖掘與硬件服務(wù)等眾多子系統(tǒng)構(gòu)成了基于云計算的數(shù)據(jù)挖掘平臺系統(tǒng)，通過終端設(shè)備進(jìn)入互聯(lián)網(wǎng)并與數(shù)據(jù)平臺連接，進(jìn)而實現(xiàn)數(shù)據(jù)挖掘的目的。上述幾個子系統(tǒng)的有機組合能夠很好地為用戶提供數(shù)據(jù)，還能通過單獨運行服務(wù)于用戶。

(2)用戶交互子系統(tǒng)

該系統(tǒng)是用戶與平臺之間的交互接口，在圖形的形式下操作。其主要服務(wù)內(nèi)容包括：注冊和注銷、用戶的授權(quán)申請、用戶的身份驗證、賬戶管理等。該系統(tǒng)不僅保證了平臺的安全，有效地提供了用戶入口。

(3)應(yīng)用程序子系統(tǒng)

作為數(shù)據(jù)挖掘和用戶管理之間的銜接環(huán)節(jié)，應(yīng)用程序子系統(tǒng)可以準(zhǔn)確描述數(shù)據(jù)與算法、相互關(guān)系，并通過任務(wù)形式加以實現(xiàn)。其工作內(nèi)容還包括：用戶的注冊和注銷、用戶應(yīng)用、調(diào)用服務(wù)于應(yīng)用維護(hù)入口等功能。

(4)數(shù)據(jù)挖掘子系統(tǒng)

該系統(tǒng)完成挖掘任務(wù)的基礎(chǔ)是數(shù)據(jù)的計算及數(shù)據(jù)信息的處理。該系統(tǒng)的功能模塊包括：數(shù)據(jù)的挖掘和預(yù)處理、數(shù)據(jù)的評估、特殊化服務(wù)等。該系統(tǒng)對相應(yīng)數(shù)據(jù)處理后，按照固定格式儲存于數(shù)據(jù)庫之中，并通過降噪處理滿足不同用戶的使用要求。

二、基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架的關(guān)鍵技術(shù)

構(gòu)建云計算數(shù)據(jù)挖掘是建立在分布式計算、并行與效用計算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡、熱備份冗余等網(wǎng)絡(luò)計算機技術(shù)之上的，所涉及的主要技術(shù)有如下幾方面。

(一)云計算技術(shù)

1.分布式儲存技術(shù)

為了保證云計算技術(shù)處理數(shù)據(jù)時的經(jīng)濟(jì)性與高可靠性，我們通常采用分布式存儲的方式實現(xiàn)數(shù)據(jù)的存儲。為了彌補硬件的不足，一般選用最為可靠的軟件，正是在這種要求下，分布式存儲技術(shù)不但能提供海量的數(shù)據(jù)挖掘支持，還具有非常廉價的經(jīng)濟(jì)優(yōu)勢。

2.虛擬化技術(shù)

全面虛擬條件下的應(yīng)用與整合可以保證在云計算的環(huán)境下，實現(xiàn)大量數(shù)據(jù)挖掘功能的實現(xiàn)。在虛擬化與云計算的組合作用下，資源調(diào)度能夠?qū)崿F(xiàn)數(shù)據(jù)挖掘通過跨系統(tǒng)整合，進(jìn)而通過IT資源匯合海量數(shù)據(jù)，并以動態(tài)的形式供給用戶虛擬化的資源。這樣能夠保證服務(wù)任務(wù)具有海量動態(tài)的特點和高效率的優(yōu)勢。

3.并行云計算技術(shù)

該技術(shù)與云計算技術(shù)并行，在執(zhí)行數(shù)據(jù)挖掘和計算過程中具有很強的高效性，因此，該技術(shù)屬于數(shù)據(jù)挖掘過程中的重要技術(shù)手段。該技術(shù)還能針對部分技術(shù)細(xì)節(jié)進(jìn)行封裝，如：任務(wù)調(diào)度、并行、容錯、數(shù)據(jù)分布等方面。由于該技術(shù)的功能打消了客戶的顧慮，直接提高了研發(fā)的效率。

(二)數(shù)據(jù)匯集調(diào)度中心

數(shù)據(jù)匯集調(diào)度中心主要作用在于能夠針對不同類的數(shù)據(jù)加以匯集。同時，該技術(shù)也收集匯合了接入云計算數(shù)據(jù)挖掘平臺的業(yè)務(wù)數(shù)據(jù)，有效地解決了因為數(shù)據(jù)不同而產(chǎn)生的數(shù)據(jù)相關(guān)規(guī)約問題，并在運行中支持各種源數(shù)據(jù)格式。

(三)服務(wù)調(diào)度與管理技術(shù)

在云計算的數(shù)據(jù)挖掘平臺下，為保證各種業(yè)務(wù)系統(tǒng)都能使用該平臺，需提供必要的管理與調(diào)度功能。通過有效地管理與調(diào)度，保證各系統(tǒng)能夠并行且互斥，還要實現(xiàn)系統(tǒng)間的隔離，這樣才能確保平臺在安全可靠的條件下服務(wù)于客戶。服務(wù)調(diào)度與管理需滿足統(tǒng)一服務(wù)注冊以及支持第三方數(shù)據(jù)挖掘的功能，這樣才能將平臺的服務(wù)能力更好地加以擴(kuò)展。

三、結(jié)語

隨著計算機技術(shù)的發(fā)展，基于云計算平臺下的數(shù)據(jù)挖掘系統(tǒng)日趨完善，并為用戶提供了更為便捷的服務(wù)。本文以云計算的數(shù)據(jù)挖掘平臺架構(gòu)設(shè)計與實現(xiàn)為切入點，對當(dāng)前云計算環(huán)境下的數(shù)據(jù)挖掘系統(tǒng)的發(fā)展加以分析，希望對推動該技術(shù)的發(fā)展起到積極的作用。

[1]陳康，鄭緯民.云計算:系統(tǒng)實例與研究現(xiàn)狀[J].軟件學(xué)報，2009，20(5).

[2]2015-2020年中國云計算產(chǎn)業(yè)發(fā)展前景與投資戰(zhàn)略規(guī)劃分析報告[R].2015.

[3]馮登國，張敏，張妍，等.云計算安全研究[J].軟件學(xué)報，2011，22(1).

[4]韓燕波，王桂玲，劉晨，等.互聯(lián)網(wǎng)計算的原理與實踐[M].北京:科學(xué)出版社，2010.

[5]莊福振.基于云計算的大數(shù)據(jù)挖掘平臺[J].中興通訊技術(shù)，2013，(19).

2095-4654(2015)10-0013-03

2015-08-02

TP311.13

A