基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘平臺設(shè)計(jì)及技術(shù)分析

滕云

摘要：在市場信息資源競爭環(huán)境下，會滋生一些不良行為，對云計(jì)算中的數(shù)據(jù)安全造成嚴(yán)重的威脅、資源流失等，如破解密碼、僵尸網(wǎng)絡(luò)等會使得原有的防火墻系統(tǒng)由最初的賬號、密碼泄露，導(dǎo)致用戶找不到相應(yīng)的系統(tǒng)文件，對工作、學(xué)習(xí)造成嚴(yán)重的影響。因此，不能片面的認(rèn)定云計(jì)算技術(shù)能夠準(zhǔn)確無誤的保障數(shù)據(jù)信息安全，需要充分的熟悉掌握存在的安全隱患，防患于未然，做好相應(yīng)的預(yù)防及應(yīng)對措施，才能保障云計(jì)算的順利運(yùn)行和可持續(xù)發(fā)展。該文則對云計(jì)算技術(shù)下的數(shù)據(jù)挖掘平臺設(shè)計(jì)及技術(shù)展開分析。

關(guān)鍵詞：云計(jì)算技術(shù)；數(shù)據(jù)挖掘；設(shè)計(jì)；技術(shù)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）30-0005-00

對于數(shù)據(jù)挖掘平臺設(shè)計(jì)中，可以基于當(dāng)前云計(jì)算技術(shù)發(fā)展優(yōu)勢，而數(shù)據(jù)挖掘與數(shù)據(jù)是密不可分的，運(yùn)用云計(jì)算技術(shù)，有助于優(yōu)化數(shù)據(jù)挖掘平臺設(shè)計(jì)工作，以提升數(shù)據(jù)挖掘平臺設(shè)計(jì)性能。以下本篇對此做具體分析。

1云計(jì)算技術(shù)的應(yīng)用價值

在數(shù)據(jù)挖掘平臺設(shè)計(jì)中，數(shù)據(jù)挖掘（Data Mining），就是可以在實(shí)際工作中，針對大量、不完全數(shù)據(jù)，以及有噪聲、模糊的實(shí)際應(yīng)用數(shù)據(jù)之中[1]，能夠去有效提取在其中的隱含的數(shù)據(jù)，這些數(shù)據(jù)均是人們事先所不知道的數(shù)據(jù)，但是對于這些數(shù)據(jù)中，又潛在存在有用的信息；而對于這個發(fā)現(xiàn)新數(shù)據(jù)、信息知識過程，就是數(shù)據(jù)挖掘的過程，也成為數(shù)據(jù)庫中的知識發(fā)現(xiàn)KDD（Knowledge Discovery in Databases）。對于數(shù)據(jù)挖掘平臺設(shè)計(jì)中，運(yùn)用云計(jì)算技術(shù)，與傳統(tǒng)數(shù)據(jù)挖掘相比，采取云計(jì)算技術(shù)設(shè)計(jì)實(shí)現(xiàn)的數(shù)據(jù)挖掘平臺，能夠通過“云”中的多個資源，去完成數(shù)據(jù)挖掘的工作，可以使數(shù)據(jù)資源在該數(shù)據(jù)挖掘平臺中得到充分的利用，提高當(dāng)前數(shù)據(jù)挖掘的效率[2]。同時，基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘平臺，其設(shè)計(jì)意義重大，可以提高數(shù)據(jù)挖掘效率的同時[3]，還能夠克服實(shí)際中網(wǎng)格環(huán)境下挖掘數(shù)據(jù)的弊端，實(shí)現(xiàn)面向商業(yè)應(yīng)用的數(shù)據(jù)挖掘工作，現(xiàn)實(shí)中更具實(shí)用價值。

2數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)意義

對于本研究項(xiàng)目中，基于通信資源數(shù)據(jù)挖掘設(shè)計(jì)挖掘平臺。數(shù)據(jù)挖掘總體可以分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘兩個大的階段[4]。數(shù)據(jù)挖掘平臺設(shè)計(jì)中，根據(jù)數(shù)據(jù)特點(diǎn)運(yùn)用云計(jì)算技術(shù)，對數(shù)據(jù)進(jìn)行過濾、轉(zhuǎn)換等操作，有助于提升系統(tǒng)設(shè)計(jì)性能，滿足系統(tǒng)設(shè)計(jì)需求。對于該系統(tǒng)設(shè)計(jì)中，針對海量用戶數(shù)據(jù)信息，利用數(shù)據(jù)挖掘技術(shù)，基于云計(jì)算技術(shù)，可在計(jì)費(fèi)數(shù)據(jù)、業(yè)務(wù)訂購數(shù)據(jù)、網(wǎng)管數(shù)據(jù)等海量用戶數(shù)據(jù)中發(fā)現(xiàn)商業(yè)信息，為通信市場的精準(zhǔn)營銷打下基礎(chǔ)[5]。在系統(tǒng)設(shè)計(jì)中，運(yùn)用云計(jì)算技術(shù)實(shí)現(xiàn)數(shù)據(jù)挖掘， 將云計(jì)算技術(shù)融入數(shù)據(jù)挖掘中，采用分布式計(jì)算（Map/Reduce）概念，能夠?qū)⒋髷?shù)據(jù)集和挖掘任務(wù)分解到多臺計(jì)算機(jī)上并行處理，以確保數(shù)據(jù)挖掘平臺設(shè)計(jì)符合實(shí)際需求。

3云計(jì)算技術(shù)下的數(shù)據(jù)挖掘平臺設(shè)計(jì)及技術(shù)

3.1 系統(tǒng)總體設(shè)計(jì)

在云計(jì)算技術(shù)下，設(shè)計(jì)數(shù)據(jù)挖掘平臺，采取三層結(jié)構(gòu)，以數(shù)據(jù)預(yù)處理、云計(jì)算以及數(shù)據(jù)挖掘平臺為分層，優(yōu)化提升該平臺實(shí)現(xiàn)數(shù)據(jù)挖掘的功能。系統(tǒng)設(shè)計(jì)結(jié)構(gòu)如下圖所示：

圖1 數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)

對于該平臺設(shè)計(jì)中，在數(shù)據(jù)預(yù)處理層，能夠存儲分布式數(shù)據(jù)文件，實(shí)現(xiàn)對平臺的分布式系統(tǒng)管理。對于云計(jì)算層，可以對各個數(shù)據(jù)挖掘步驟及模塊總控、調(diào)度[6]；對原始數(shù)據(jù)進(jìn)行預(yù)處理以得到挖掘數(shù)據(jù)。對于數(shù)據(jù)挖掘平臺，可以實(shí)現(xiàn)具體應(yīng)用，以確保該平臺設(shè)計(jì)符合實(shí)際需求。

3.2 系統(tǒng)功能設(shè)計(jì)

運(yùn)用云計(jì)算技術(shù)，設(shè)計(jì)數(shù)據(jù)挖掘平臺，該平臺具備多種數(shù)據(jù)挖掘功能，由數(shù)據(jù)收集模塊、數(shù)據(jù)預(yù)處理模塊、模式規(guī)則選擇模塊、應(yīng)用接口模塊四部分組成。如下圖所示：

對于該系統(tǒng)的數(shù)據(jù)收集模塊，其主要的功能，就是可以負(fù)責(zé)收集在該平臺服務(wù)器端中的數(shù)據(jù)，同時也包括客戶的一些登記資料，然后就能夠運(yùn)用文本方式，返回這些收集的數(shù)據(jù)。

對于系統(tǒng)中的數(shù)據(jù)預(yù)處理模塊，主要功能則是，能夠預(yù)處理返回?cái)?shù)據(jù)信息，去除那些信息中無用的、冗余數(shù)據(jù)，以便節(jié)約系統(tǒng)數(shù)據(jù)挖掘時間[7]。

在數(shù)據(jù)挖掘平臺的模式規(guī)則選取模塊，可以獲取各個站點(diǎn)通用的模式，是一種學(xué)習(xí)策略。

在系統(tǒng)的應(yīng)用接口模塊，其功能是可以實(shí)現(xiàn)數(shù)據(jù)與該數(shù)據(jù)挖掘平臺的連接。

3.3 平臺數(shù)據(jù)庫設(shè)計(jì)

數(shù)據(jù)庫設(shè)計(jì)充分利用關(guān)系數(shù)據(jù)庫特征，減少數(shù)據(jù)冗余，數(shù)據(jù)只在一個地方存儲，通過主鍵和外鍵對應(yīng)動態(tài)生成所需視圖，方便程序編寫查詢檢索代碼。部分表鍵對應(yīng)關(guān)系如下所示：

平臺中，Reduce可以接收來自不同的map任務(wù)數(shù)據(jù)，同時，其每一個任務(wù)中傳來的數(shù)據(jù)，也均是有序存在的[8]。在該數(shù)據(jù)挖掘平臺中，若其reduce端數(shù)據(jù)量接受較小，可以將其直接存儲到內(nèi)存中，若是數(shù)據(jù)量超過緩沖區(qū)比例，可以將數(shù)據(jù)進(jìn)行合并，將其寫到磁盤之中。由于數(shù)據(jù)庫的編程語句太多，限于篇幅，僅在此介紹創(chuàng)建機(jī)架表的相關(guān)語句：

CREATE TABLE [dbo].[機(jī)架表]（

[Num] [int] IDENTITY（1，1） NOT NULL，

[所屬機(jī)房] [int] NULL，

[SSType] [int] NULL CONSTRAINT [DF_機(jī)架表_SSType] DEFAULT （0），

[WORLD_X] [float] NULL，

[WORLD_Y] [float] NULL，

[WORLD_Z] [float] NULL，

[PIC_PATH] [nvarchar]（50） NULL，

[TEXTURE_TOP] [nvarchar]（50） NULL，

[TEXTURE_BOTTOM] [nvarchar]（50） NULL，

[TEXTURE_LEFT] [nvarchar]（50） NULL，

[TEXTURE_RIGHT] [nvarchar]（50） NULL，

[TEXTURE_FRONT] [nvarchar]（50） NULL，

[TEXTURE_BACK] [nvarchar]（50） NULL，

[XL] [int] NULL，

[YL] [int] NULL，

[ZL] [int] NULL，

[Angle] [int] NULL，

[IsCreated] [int] NULL，

[Vindicator] [int] NULL，

[序號] [int] NULL，

[編號] [nvarchar]（100） NULL，

[名稱] [nvarchar]（100） NULL，

[類型] [int] NULL，

[設(shè)備型號] [int] NULL，

[生產(chǎn)廠家] [int] NULL，

[投運(yùn)日期] [smalldatetime] NULL，

[使用年限] [int] NULL，

[運(yùn)行狀態(tài)] [int] NULL，

[備注] [nvarchar]（1000） NULL，

CONSTRAINT [PK_機(jī)架表] PRIMARY KEY CLUSTERED

（ [Num] ASC）WITH

（PAD_INDEX = OFF，

STATISTICS_NORECOMPUTE = OFF，

IGNORE_DUP_KEY = OFF，

ALLOW_ROW_LOCKS = ON，

ALLOW_PAGE_LOCKS = ON）

ON [PRIMARY]

） ON [PRIMARY]

3.4 數(shù)據(jù)挖掘平臺算法實(shí)現(xiàn)

將云計(jì)算融入數(shù)據(jù)挖掘，將計(jì)算擴(kuò)展到無限規(guī)模的機(jī)器集群上進(jìn)行。在Map/Reduce框架中，每一次計(jì)算請求，均是以此作業(yè)。其數(shù)據(jù)挖掘中，可以將數(shù)據(jù)挖掘作業(yè)拆分為若干個不同的Map任務(wù)， 然后將其分配到數(shù)據(jù)挖掘平臺中不同的機(jī)器中執(zhí)行；當(dāng)完成所有的Map任務(wù)后，則可以進(jìn)入下一個數(shù)據(jù)挖掘步驟，將這些中間文件合并，輸出這些文件；同時，該數(shù)據(jù)挖掘平臺中，又將生成若干Reduce任務(wù)，循環(huán)以上算法，最后可生成所需的數(shù)據(jù)挖掘目標(biāo)文件。運(yùn)用該算法設(shè)計(jì)數(shù)據(jù)挖掘平臺，大大提高數(shù)據(jù)挖掘的靈活性，提升數(shù)據(jù)挖掘效率。明確數(shù)據(jù)挖掘的目標(biāo)，并對挖掘目標(biāo)建立恰當(dāng)?shù)哪Ｐ汀?/p>

4系統(tǒng)設(shè)計(jì)的相關(guān)建議

云安全檢測技術(shù)是根據(jù)文件、郵件以及網(wǎng)頁信譽(yù)評估數(shù)據(jù)庫，聯(lián)合安全網(wǎng)關(guān)進(jìn)行全自動、全智能安全防御，所有的數(shù)據(jù)實(shí)現(xiàn)多處服務(wù)器部署，最大限度內(nèi)保障數(shù)據(jù)安全。其應(yīng)用規(guī)模已經(jīng)涉及人們?nèi)粘Ｉ畹姆椒矫婷妫以谕ㄐ拧T產(chǎn)業(yè)、各大運(yùn)營商以及政府的大力扶植下（證詞、資金、人力等各方面），應(yīng)經(jīng)成為眾所周知的“新鮮事物”（獲得了廣大用戶的認(rèn)同和接受），具有寬廣的發(fā)展前景，發(fā)展態(tài)勢也比較良好[9]。在其發(fā)展中也需要注意以下方面：

1）驗(yàn)證、管理使用客戶的身份以及訪問權(quán)限（方式不受限制）

要建立完善用戶身份、使用權(quán)限的驗(yàn)證體系，通過各種各樣的方式，審核用戶的身份及使用權(quán)限是否符合相關(guān)規(guī)定（通過互聯(lián)網(wǎng)技術(shù)，定期地對所有用戶進(jìn)行訪問，及時的更新用戶資料），如可以進(jìn)行大型機(jī)、移動、聯(lián)通、社交環(huán)境等多方面的在線訪問，除此之外，還要不斷的提高洞察力，及時的判斷是否用用資料的真實(shí)性，改善和控制用戶的安全操作，規(guī)避數(shù)據(jù)安全風(fēng)險。

2）建立數(shù)據(jù)安全威脅掃描機(jī)制

建立數(shù)據(jù)安全威脅掃描機(jī)制，保障不影響整個而操作系統(tǒng)的正常運(yùn)作。具體做法為；架構(gòu)IT基礎(chǔ)，即創(chuàng)設(shè)保護(hù)服務(wù)器，有效地避免數(shù)據(jù)安全威脅。同時，需要對網(wǎng)絡(luò)、大型機(jī)、虛擬服務(wù)器、服務(wù)器以及客戶終端進(jìn)行高質(zhì)量的安全保護(hù)，在全方位、多層次的滿足用戶的各方面需求的基礎(chǔ)上，在整個體系上實(shí)現(xiàn)根本性的數(shù)據(jù)安全威脅預(yù)防[10]。

3）加強(qiáng)數(shù)據(jù)管理（實(shí)時的更新、升級數(shù)據(jù)庫）

實(shí)時的調(diào)查、審核、更新數(shù)據(jù)，適當(dāng)?shù)剡M(jìn)行數(shù)據(jù)安全保護(hù)調(diào)整，并且利用多年的工作經(jīng)驗(yàn)，綜合分析評估各項(xiàng)數(shù)據(jù)，一旦發(fā)現(xiàn)數(shù)據(jù)漏洞，及時的修補(bǔ)（嚴(yán)格的遵循相關(guān)規(guī)定），做好保密工作，通過各種各樣的方式盡可能的保障數(shù)據(jù)安全。

4）強(qiáng)化云計(jì)算相關(guān)工作人員的綜合素質(zhì)

在云服務(wù)安全管理工作中，不僅要強(qiáng)化工作人員的專業(yè)素質(zhì)，更重要的是強(qiáng)化工作人員的思想道德素質(zhì)，做好內(nèi)部質(zhì)量控制，通過各種各樣的方式，鍛煉工作人員的綜合化素質(zhì)，避免不安全行為的發(fā)生，用強(qiáng)大的、正確的價值觀，鞭策工作人員認(rèn)真工作，提高內(nèi)部數(shù)據(jù)安全質(zhì)量控制率。

總之，需要各個使用環(huán)節(jié)通力合作，最大限度的延長云安全檢測生命周期的安全性，積極努力地控制好每一步的安全使用，將云計(jì)算對社會有益的部分充分地發(fā)揮出來，從而方便人們的生活，保障數(shù)據(jù)信息安全，造福人們社會。

5 結(jié)論

綜上所述，本篇目的在于探討云計(jì)算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計(jì)及技術(shù)應(yīng)用效益。通過研究設(shè)計(jì)云計(jì)算技術(shù)下數(shù)據(jù)挖掘平臺，在云計(jì)算技術(shù)支持下，優(yōu)化設(shè)計(jì)數(shù)據(jù)挖掘平臺，以改革當(dāng)前數(shù)據(jù)挖掘技術(shù)質(zhì)量。結(jié)果證實(shí)，設(shè)計(jì)基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘平臺，不僅可以確保提升技術(shù)應(yīng)用效益，也可以提升數(shù)據(jù)挖掘質(zhì)量，提升數(shù)據(jù)挖掘平臺穩(wěn)定性，相比較傳統(tǒng)數(shù)據(jù)挖掘方式，提高云計(jì)算機(jī)技術(shù)下數(shù)據(jù)挖掘的效率，提高達(dá)到20.0%。由此可見設(shè)計(jì)基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘平臺，不僅可以滿足當(dāng)前系統(tǒng)設(shè)計(jì)需求，也可以滿足用戶規(guī)模的擴(kuò)大、應(yīng)用目標(biāo)多樣等環(huán)境下數(shù)據(jù)挖掘的應(yīng)用需求，提高數(shù)據(jù)挖掘的效率，具有實(shí)際應(yīng)用價值。

參考文獻(xiàn)：

[1] 程苗，陳華平.基于Hadoop的Web日志挖掘[J].計(jì)算機(jī)工程，2011，37（11）：37-39.

[2] 曹小春，曾安，潘丹，等.云計(jì)算環(huán)境下面向領(lǐng)域的數(shù)據(jù)挖掘服務(wù)平臺研究[J].自動化儀表，2014，35（9）：9-13.

[3] 黃章樹，劉晴晴.基于云計(jì)算服務(wù)模式的數(shù)據(jù)挖掘應(yīng)用平臺的構(gòu)建[J].電信科學(xué)，2012，28（1）：53-57.

[4] 王德文.基于云計(jì)算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)[J].電力系統(tǒng)自動化，2012，36（11）：67-71，107.

[5] 趙海東.關(guān)于流數(shù)據(jù)挖掘技術(shù)中有關(guān)云計(jì)算的應(yīng)用設(shè)計(jì)分析[J].數(shù)字化用戶，2013（15）：142-142.

[6] 金龍.云計(jì)算環(huán)境中的數(shù)據(jù)挖掘存儲管理設(shè)計(jì)[J].軟件工程師，2012（12）：36-37.

[7] 張大衛(wèi)，李海雁，李濤，等.云計(jì)算環(huán)境下多源遙感數(shù)據(jù)挖掘系統(tǒng)構(gòu)建[J].信息技術(shù)，2015（5）：187-191.

[8] 王水萍，王方.一種基于云計(jì)算數(shù)據(jù)挖掘平臺架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息安全與技術(shù)，2014（8）：64-66.

[9] 蔡江云.基于微軟云計(jì)算平臺的海量數(shù)據(jù)挖掘系統(tǒng)分析[J].才智，2015（5）：375-375.

[10] 朱巖，林穗.基于云計(jì)算的移動數(shù)據(jù)挖掘系統(tǒng)的研究與設(shè)計(jì)[J].現(xiàn)代計(jì)算機(jī)：上半月版，2012（3）：50-52.