一種基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)研究

作者/王微，沈陽(yáng)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)學(xué)院

一種基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)研究

作者/王微，沈陽(yáng)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)學(xué)院

網(wǎng)絡(luò)技術(shù)的快速發(fā)展給我們帶來(lái)了大量的數(shù)據(jù)信息，同時(shí)也為我們?cè)趶拇罅康臄?shù)據(jù)信息中發(fā)現(xiàn)自己需要的數(shù)據(jù)也增加了難度，數(shù)據(jù)挖掘技術(shù)的出現(xiàn)可以很好的解決這樣的問(wèn)題，數(shù)據(jù)挖掘技術(shù)在很多領(lǐng)域的決策分析的應(yīng)用中越來(lái)越廣泛。云計(jì)算可以提供虛擬化的高性能的計(jì)算平臺(tái)，滿足數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)的需要。本文對(duì)云計(jì)算平臺(tái)的特點(diǎn)進(jìn)行了分析，對(duì)基于云計(jì)算的數(shù)據(jù)挖掘架構(gòu)進(jìn)行了設(shè)計(jì)，對(duì)基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)的實(shí)現(xiàn)進(jìn)行了研究。

云計(jì)算；數(shù)據(jù)挖掘；分布式系統(tǒng)；數(shù)據(jù)規(guī)約

隨著計(jì)算機(jī)科學(xué)技術(shù)的快速發(fā)展，海量的數(shù)據(jù)被存儲(chǔ)在計(jì)算機(jī)的存儲(chǔ)介質(zhì)中，這些數(shù)據(jù)具有復(fù)雜性和異構(gòu)性的特點(diǎn)，為了滿足科研和商業(yè)等領(lǐng)域的需要，我們需要對(duì)這些數(shù)據(jù)進(jìn)行分析并且提取出來(lái)有價(jià)值的數(shù)據(jù)信息，數(shù)據(jù)挖掘技術(shù)作為一種交叉學(xué)科的新技術(shù)被應(yīng)用進(jìn)來(lái)，數(shù)據(jù)挖掘技術(shù)就是把數(shù)據(jù)庫(kù)中大量的和模糊的應(yīng)用數(shù)據(jù)從中提取出來(lái)，變?yōu)橛杏玫闹R(shí)信息的過(guò)程。

1. 云計(jì)算平臺(tái)的特點(diǎn)分析

云計(jì)算技術(shù)是通過(guò)強(qiáng)大的數(shù)據(jù)計(jì)算處理能力，為科研和商業(yè)等領(lǐng)域動(dòng)態(tài)的提供海量的各種類型的服務(wù)資源，云計(jì)算是分布在大規(guī)模的數(shù)據(jù)服務(wù)中心的，云計(jì)算采用網(wǎng)格計(jì)算和分布式計(jì)算等方式。云計(jì)算平臺(tái)是利用虛擬化技術(shù)，根據(jù)用戶的不同需求，為用戶動(dòng)態(tài)的提供虛擬計(jì)算服務(wù)和資源存儲(chǔ)的服務(wù)等，在用戶不使用云計(jì)算服務(wù)的時(shí)候可以將資源動(dòng)態(tài)收回并再次分配給其他用戶，為用戶提供大規(guī)模的并行計(jì)算和數(shù)據(jù)操作等服務(wù)。

云計(jì)算規(guī)模巨大，擁有海量的服務(wù)器集群，云為用戶提供強(qiáng)大的計(jì)算能力。云計(jì)算是虛擬化的，用戶可以在任何時(shí)間和任何地點(diǎn)根據(jù)自己的需要來(lái)獲取云計(jì)算的應(yīng)用服務(wù)，云計(jì)算具有高效性的特點(diǎn)，云計(jì)算的高效性主要是通過(guò)數(shù)據(jù)多副本容錯(cuò)等技術(shù)手段來(lái)實(shí)現(xiàn)的，云計(jì)算在使用上要比本地計(jì)算機(jī)可靠很多。云計(jì)算不針對(duì)特定的應(yīng)用，云計(jì)算是通用的，同一個(gè)云可以對(duì)多個(gè)應(yīng)用程序來(lái)進(jìn)行服務(wù)。云計(jì)算的規(guī)模可以根據(jù)需要來(lái)進(jìn)行動(dòng)態(tài)伸縮，云計(jì)算的擴(kuò)展性比較高，可以滿足應(yīng)用和用戶數(shù)量的增長(zhǎng)變化的需要。云是一個(gè)龐大的虛擬資源池，云服務(wù)可以按需購(gòu)買。

2. 基于云計(jì)算的數(shù)據(jù)挖掘架構(gòu)設(shè)計(jì)研究

2.1 系統(tǒng)需求分析

隨著云計(jì)算技術(shù)的出現(xiàn)和發(fā)展，云計(jì)算的分布式計(jì)算處理技術(shù)得到了廣泛的應(yīng)用。存儲(chǔ)在網(wǎng)絡(luò)中的海量的數(shù)據(jù)具有異構(gòu)和復(fù)雜等特點(diǎn)，這樣給數(shù)據(jù)挖掘帶來(lái)了很大的難度，對(duì)數(shù)據(jù)的處理需要強(qiáng)大的計(jì)算能力才可以滿足需要，在數(shù)據(jù)挖掘系統(tǒng)中云計(jì)算的分布式計(jì)算可以滿足數(shù)據(jù)挖掘技術(shù)對(duì)計(jì)算能力的需要，可以實(shí)現(xiàn)大規(guī)模的分布式并行計(jì)算。云計(jì)算可以提供動(dòng)態(tài)資源池，也可以提供高可用性的虛擬化的計(jì)算平臺(tái)，基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)可以提高數(shù)據(jù)挖掘的高效性，可以解決數(shù)據(jù)挖掘中異構(gòu)數(shù)據(jù)之間訪問(wèn)的問(wèn)題。

2.2 系統(tǒng)平臺(tái)設(shè)計(jì)要點(diǎn)分析

2.2.1 插件系統(tǒng)框架設(shè)計(jì)要點(diǎn)

插件是以應(yīng)用程序的開發(fā)接口為規(guī)范標(biāo)準(zhǔn)的程序，插件可以向上層提供服務(wù)。插件系統(tǒng)框架設(shè)計(jì)的系統(tǒng)具有良好的可擴(kuò)展性，有利于系統(tǒng)模塊的開發(fā)。本文提出的系統(tǒng)平臺(tái)的設(shè)計(jì)可以處于長(zhǎng)時(shí)間的運(yùn)行狀態(tài)，具有動(dòng)態(tài)更新的功能，系統(tǒng)中的核心插件的開發(fā)和維護(hù)由系統(tǒng)管理員來(lái)完成，用戶自定義的插件層是對(duì)外開放的，開發(fā)維護(hù)由用戶自己完成，這樣系統(tǒng)的擴(kuò)展性和開放性就更強(qiáng)大了。插件設(shè)計(jì)主要包括主程序執(zhí)行時(shí)系統(tǒng)內(nèi)核插件和主程序制定的算法插件等。

2.2.2 開放接口設(shè)計(jì)要點(diǎn)

開放接口主要是在基于數(shù)據(jù)挖掘平臺(tái)的應(yīng)用程序開發(fā)時(shí)使用的，通過(guò)開放接口，我們可以使用數(shù)據(jù)挖掘平臺(tái)提供的服務(wù)，本設(shè)計(jì)的開放接口的設(shè)計(jì)都是基于表達(dá)性狀態(tài)轉(zhuǎn)移REST的。REST的設(shè)計(jì)標(biāo),REST架構(gòu)的設(shè)計(jì)都是以WEB應(yīng)用為基礎(chǔ)來(lái)進(jìn)行設(shè)計(jì)的，可以減少系統(tǒng)設(shè)計(jì)的復(fù)雜性，增加系統(tǒng)的可伸縮性。REST設(shè)計(jì)原則， 網(wǎng)絡(luò)上所有的事物都被成為資源，每個(gè)資源都被定義了一個(gè)唯一的資源標(biāo)識(shí)符，我們通過(guò)連接器的接口對(duì)系統(tǒng)資源進(jìn)行訪問(wèn)，對(duì)資源的任何的操作在原則上都不會(huì)對(duì)資源標(biāo)示符做任何的改變，并且所有的操作都是在無(wú)狀態(tài)下進(jìn)行的。基于REST設(shè)計(jì)的接口的調(diào)用可以大大減少服務(wù)器的工作負(fù)擔(dān)，如果系統(tǒng)在運(yùn)行時(shí)由于用戶數(shù)量增加的原因而造成系統(tǒng)底層發(fā)生瓶頸的時(shí)候，系統(tǒng)可以通過(guò)擴(kuò)展吞吐量的方式來(lái)解決瓶頸的問(wèn)題，所以系統(tǒng)具有強(qiáng)大的吞吐能力可以提高系統(tǒng)對(duì)性能的需求。

2.3 系統(tǒng)總體框架模型設(shè)計(jì)

在云計(jì)算平臺(tái)的基礎(chǔ)之上構(gòu)建系統(tǒng)模型，為各用戶提供終端用戶界面的服務(wù)，為本系統(tǒng)的應(yīng)用程序提供接口，用戶在對(duì)系統(tǒng)進(jìn)行訪問(wèn)的時(shí)候可以通過(guò)終端用戶的界面對(duì)系統(tǒng)服務(wù)進(jìn)行訪問(wèn)，也可以使用應(yīng)用程序通過(guò)對(duì)系統(tǒng)接口進(jìn)行調(diào)用的的方式間接的對(duì)系統(tǒng)進(jìn)行訪問(wèn)來(lái)獲取服務(wù)。在整個(gè)系統(tǒng)框架的設(shè)計(jì)中，用戶不需要對(duì)系統(tǒng)的計(jì)算能力和存儲(chǔ)能力擔(dān)心，用戶把自己的任務(wù)部署給系統(tǒng)，然后系統(tǒng)按照用戶的要求去執(zhí)行相應(yīng)的操作，從而獲得數(shù)據(jù)挖掘的數(shù)據(jù)結(jié)果就可以了。數(shù)據(jù)挖掘平臺(tái)通過(guò)用戶的終端界面和應(yīng)用程序?yàn)橛脩籼峁┓?wù)，數(shù)據(jù)挖掘提供的接口開放功能服務(wù)對(duì)外部是可見的，用戶界面可以對(duì)接口進(jìn)行直接的調(diào)用來(lái)實(shí)現(xiàn)外部服務(wù)。系統(tǒng)模型設(shè)計(jì)如圖1所示。

圖1 系統(tǒng)模型設(shè)計(jì)

2.4 系統(tǒng)平臺(tái)各層功能設(shè)計(jì)及分析

基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)分層架構(gòu)圖如圖2所示，在系統(tǒng)平臺(tái)分層架構(gòu)圖中云計(jì)算平臺(tái)的應(yīng)用接口層是系統(tǒng)平臺(tái)的最底層，用戶界面及開放接口是系統(tǒng)平臺(tái)的最頂層，用戶通過(guò)對(duì)開放接口的調(diào)用來(lái)共享數(shù)據(jù)集和挖掘算法等服務(wù)，并且可以集成到用戶應(yīng)用中進(jìn)行使用，這樣就可以實(shí)現(xiàn)系統(tǒng)平臺(tái)的共享特性。

圖2 基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)分層架構(gòu)圖

在基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)分層架構(gòu)圖中算法層是實(shí)現(xiàn)算法調(diào)用和接口管理的，數(shù)據(jù)清洗算法調(diào)用服務(wù)是在數(shù)據(jù)挖掘之前對(duì)噪聲數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行預(yù)處理調(diào)用接口，數(shù)據(jù)被清洗后存儲(chǔ)在云計(jì)算平臺(tái)的數(shù)據(jù)層里面為數(shù)據(jù)挖掘提供服務(wù)；數(shù)據(jù)挖掘算法調(diào)用服務(wù)為數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘提供統(tǒng)一的調(diào)用接口服務(wù)；可視化算法調(diào)用是把數(shù)據(jù)挖掘的數(shù)據(jù)結(jié)果以表格等形式在調(diào)用接口表示出來(lái)；算法注冊(cè)和注銷服務(wù)主要是對(duì)算法模塊進(jìn)行管理的。應(yīng)用層是把數(shù)據(jù)挖掘相關(guān)的數(shù)據(jù)和算法以任務(wù)的形式描述出來(lái)，并且提供調(diào)用和接口服務(wù)；應(yīng)用調(diào)用服務(wù)為已經(jīng)注冊(cè)的應(yīng)用提供調(diào)用接口；應(yīng)用注冊(cè)與注銷服務(wù)是對(duì)任務(wù)應(yīng)用模塊進(jìn)行統(tǒng)一的管理。用戶層主要功能是對(duì)用戶身份進(jìn)行驗(yàn)證和提供身份授權(quán)服務(wù)的。在對(duì)系統(tǒng)平臺(tái)功能設(shè)計(jì)上采用XML作為基本的通訊語(yǔ)言，用戶可以給予任何層來(lái)進(jìn)行開發(fā)，可以把自己需要的功能和服務(wù)導(dǎo)入進(jìn)去，系統(tǒng)更具與開放性和可操作性，這也是數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)的最大的特點(diǎn)。

3. 總結(jié)

基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)具有強(qiáng)大的用戶界面功能，提供了更多的開放接口可以為更多的系統(tǒng)開發(fā)人員使用，有效的解決了異構(gòu)數(shù)據(jù)之間訪問(wèn)的問(wèn)題。基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)在系統(tǒng)的框架設(shè)計(jì)和系統(tǒng)的功能設(shè)計(jì)上更加完善。

＊ [1]基于小微型電子商務(wù)的數(shù)據(jù)挖掘的應(yīng)用[J].宋朝霞,方旭儒,宋哲,姬晨迪,賈文靜.中小企業(yè)管理與科技(下旬刊). 2015(10)

＊ [2]一種基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].王祥瑞,韓成浩.數(shù)字技術(shù)與應(yīng)用. 2015(09)

＊ [3]交通數(shù)據(jù)中心總體架構(gòu)與數(shù)據(jù)共享交換平臺(tái)的設(shè)計(jì)研究[J].汪祖云.交通運(yùn)輸系統(tǒng)工程與信息. 2014(03)

＊ [4]基于云計(jì)算平臺(tái)Hadoop的并行k—means聚類算法設(shè)計(jì)研究[J].趙衛(wèi)中,馬慧芳,傅燕翔,史忠植.計(jì)算機(jī)科學(xué). 2011(10)

＊ [5]一種結(jié)合RDBMS和Hadoop的海量小文件存儲(chǔ)方法[J]. 劉小俊,徐正全,潘少明.武漢大學(xué)學(xué)報(bào)(信息科學(xué)版).2013(01)