基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究

宋文彬

（山西工程科技職業(yè)大學(xué) 山西省晉中市 030619）

在這個(gè)網(wǎng)絡(luò)技術(shù)飛速發(fā)展的新時(shí)期，高新技術(shù)被應(yīng)用到了各行各業(yè)當(dāng)中，云計(jì)算網(wǎng)絡(luò)技術(shù)脫穎而出。云計(jì)算的動(dòng)態(tài)處理能力較強(qiáng)，而且容量非常大，工作速度和品質(zhì)非常高，無論是科研領(lǐng)域還是商業(yè)領(lǐng)域都在積極應(yīng)用云計(jì)算網(wǎng)絡(luò)技術(shù)。而將云計(jì)算技術(shù)應(yīng)用到數(shù)據(jù)挖掘平臺(tái)架構(gòu)當(dāng)中，也能夠有效提升數(shù)據(jù)挖掘技術(shù)平臺(tái)的工作效率和工作品質(zhì)，為信息化時(shí)代提供完整完備的數(shù)據(jù)資料。

1 簡(jiǎn)要介紹云計(jì)算技術(shù)和數(shù)據(jù)挖掘的定義

1.1 概述云計(jì)算技術(shù)的工作原理和主要特點(diǎn)

在網(wǎng)絡(luò)計(jì)算技術(shù)、分布計(jì)算技術(shù)以及并行計(jì)算技術(shù)的影響下，云計(jì)算技術(shù)脫穎而出，能夠深入研究大量的數(shù)據(jù)資料，集中各種服務(wù)器中的信息資料處理和相關(guān)信息。目前來看，云計(jì)算技術(shù)已經(jīng)被應(yīng)用到了各行各業(yè)當(dāng)中，包括科研領(lǐng)域、商業(yè)領(lǐng)域以及電子商務(wù)領(lǐng)域。云計(jì)算技術(shù)的應(yīng)用成本就低，應(yīng)用范圍比較廣，不僅工作效率非常高，而且涉及到的規(guī)模巨大，能夠滿足各種用戶的各種需求，為使用者提供動(dòng)態(tài)真實(shí)的數(shù)據(jù)資料，提供準(zhǔn)確的計(jì)算數(shù)據(jù)，能夠整合暫時(shí)不需要的數(shù)據(jù)資料，將其傳輸給需要的人群。正因?yàn)樵朴?jì)算的應(yīng)用范圍較廣，而且應(yīng)用成本較低，所以普通用戶可以通過這項(xiàng)技術(shù)進(jìn)行數(shù)據(jù)操控工作。目前來看，伴隨著我國科學(xué)技術(shù)的發(fā)展和進(jìn)步，云計(jì)算平臺(tái)也發(fā)展的越來越好，有效推動(dòng)了數(shù)據(jù)計(jì)算工作的發(fā)展和進(jìn)步。

具體來講，云計(jì)算技術(shù)包含五個(gè)主要特征。

（1）云計(jì)算具有虛擬性。云計(jì)算收集到的信息資料是無形的，主要來源是云端系統(tǒng)，所以對(duì)使用者的終端和具體方位沒有特別的要求。

（2）云計(jì)算具有較強(qiáng)的通用性。云計(jì)算的應(yīng)用范圍非常廣，可供各種不同應(yīng)用使用，也可以打各種不同的應(yīng)用。

（3）云計(jì)算規(guī)模巨大且具有較高的延展性。云計(jì)算可以自動(dòng)擴(kuò)大收集數(shù)據(jù)資料的范圍，進(jìn)行動(dòng)態(tài)處理模式，而且不會(huì)對(duì)使用者造成不利影響。

（4）云計(jì)算具有非常高的可靠性。云計(jì)算中的多計(jì)算節(jié)點(diǎn)同構(gòu)可以互換，多個(gè)副本都具有較強(qiáng)的容錯(cuò)性，所以非?？煽?。

（5）云計(jì)算消耗成本較少。正因?yàn)樵朴?jì)算具有容錯(cuò)性，而且能夠自動(dòng)化的集中各種數(shù)據(jù)資料，節(jié)省很多管理和工作成本。

1.2 簡(jiǎn)述數(shù)據(jù)挖掘的定義和發(fā)展方向

數(shù)據(jù)挖掘顧名思義就是從眾多數(shù)據(jù)當(dāng)中挖掘具有價(jià)值的信息資料，有利于推動(dòng)現(xiàn)代知識(shí)的發(fā)展和進(jìn)步。數(shù)據(jù)挖掘技術(shù)包括預(yù)測(cè)分析、聚類分析、特征化分析、關(guān)聯(lián)分析等，而且數(shù)據(jù)挖掘技術(shù)的應(yīng)用領(lǐng)域非常廣泛，尤其是很多高技術(shù)領(lǐng)域都在積極應(yīng)用數(shù)據(jù)挖掘技術(shù)，比如人工智能研究、機(jī)器制造研究和模式識(shí)別研究等。從前進(jìn)行數(shù)據(jù)挖掘工作時(shí)，通常在數(shù)據(jù)倉庫的基礎(chǔ)上進(jìn)行數(shù)據(jù)計(jì)算，挖掘隱藏的數(shù)據(jù)資料和模型，這項(xiàng)工作需要統(tǒng)計(jì)計(jì)算和訪問大量數(shù)據(jù)資料，所以會(huì)消耗很多時(shí)間，耗費(fèi)大量的信息資源?？墒?，在互聯(lián)網(wǎng)飛速發(fā)展的云時(shí)代，數(shù)據(jù)規(guī)模由MB、GB 級(jí)變成了EB、ZB 級(jí)，而數(shù)據(jù)速度也在飛速增長，甚至達(dá)到了TB 級(jí)，而且各領(lǐng)域?qū)?shù)據(jù)挖掘工作的要求也越來越高，數(shù)據(jù)挖掘技術(shù)的應(yīng)用環(huán)境也越來越復(fù)雜，所以傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)已經(jīng)無法滿足時(shí)代的需求和行業(yè)發(fā)展的需要。由此可見，一定要積極應(yīng)用云計(jì)算技術(shù)，完善數(shù)據(jù)挖掘平臺(tái)架構(gòu)，不斷提升數(shù)據(jù)挖掘工作的速度和品質(zhì)，使數(shù)據(jù)挖掘工作跟上時(shí)代發(fā)展的步伐。

2 積極應(yīng)用云計(jì)算技術(shù)完善數(shù)據(jù)挖掘平臺(tái)架構(gòu)的具體要求

網(wǎng)絡(luò)云發(fā)展的速度越來越快，數(shù)據(jù)挖掘工作迎來了新的機(jī)遇和挑戰(zhàn)，必須適應(yīng)新時(shí)期的發(fā)展需求，不斷改革和完善數(shù)據(jù)挖掘平臺(tái)架構(gòu)。具體來講，積極應(yīng)用云計(jì)算技術(shù)完善數(shù)據(jù)挖掘平臺(tái)架構(gòu)，不但能夠有效解決數(shù)據(jù)挖掘工作速度和品質(zhì)的問題，還能夠在一定程度上減少工作成本。云計(jì)算也可以被應(yīng)用到商業(yè)領(lǐng)域，通過整合分布計(jì)算、并行計(jì)算和網(wǎng)絡(luò)計(jì)算模式，能夠快速的進(jìn)行動(dòng)態(tài)計(jì)算工作，進(jìn)而提升在大量數(shù)據(jù)中挖掘有效信息的速度和品質(zhì)。而伴隨云計(jì)算的SaaS 功能逐漸增強(qiáng)，數(shù)據(jù)挖掘工作的技術(shù)指導(dǎo)和理論指導(dǎo)內(nèi)容逐漸豐富，擴(kuò)大了基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)的應(yīng)用范圍，有效推動(dòng)各行各業(yè)的發(fā)展和進(jìn)步。

2.1 數(shù)據(jù)挖掘平臺(tái)發(fā)展現(xiàn)狀

實(shí)際上，正因?yàn)閲鴥?nèi)社會(huì)經(jīng)濟(jì)飛速發(fā)展，社會(huì)分析需求量逐漸加大，各種信息逐漸增多，原有的數(shù)據(jù)挖掘平臺(tái)架構(gòu)無法滿足新時(shí)代對(duì)數(shù)據(jù)處理和研究的要求，而云計(jì)算技術(shù)則能有效解決上述問題，減少數(shù)據(jù)規(guī)模擴(kuò)大對(duì)數(shù)據(jù)挖掘工作的不利影響。由此可見，新時(shí)代必須不斷完善數(shù)據(jù)挖掘平臺(tái)架構(gòu)，充分發(fā)揮云計(jì)算技術(shù)的價(jià)值和作用，推動(dòng)數(shù)據(jù)挖掘工作的發(fā)展。具體來講，在云計(jì)算影響下完善的數(shù)據(jù)挖掘平臺(tái)架構(gòu)主要有三層，逐級(jí)進(jìn)行數(shù)據(jù)挖掘工作，最底層的數(shù)據(jù)挖掘平臺(tái)架構(gòu)是由云計(jì)算技術(shù)構(gòu)建而成的，中層則是需要進(jìn)行數(shù)據(jù)挖掘工，最上層則是數(shù)據(jù)挖掘云服務(wù)，三層結(jié)構(gòu)自下而上打造完美的數(shù)據(jù)挖掘平臺(tái)。

2.2 分析研究各層數(shù)據(jù)挖掘平臺(tái)的價(jià)值和作用

基于云計(jì)算打造的數(shù)據(jù)挖掘平臺(tái)，屬于整個(gè)數(shù)據(jù)挖中的基礎(chǔ)部分，更是不可或缺的一部分。在整個(gè)數(shù)據(jù)挖掘平臺(tái)當(dāng)中，底層的云計(jì)算數(shù)據(jù)挖掘平臺(tái)能夠?qū)⒎稚⒃诟魈幍男畔①Y料完整儲(chǔ)存下來，支撐整個(gè)數(shù)正常運(yùn)行，為用戶提供相應(yīng)的數(shù)據(jù)信息，減少數(shù)據(jù)丟失問題，而且可以利用數(shù)據(jù)處理技術(shù)整合和計(jì)算相關(guān)的數(shù)據(jù)資料，為數(shù)據(jù)挖掘工作奠定良好的基礎(chǔ)。

數(shù)據(jù)挖掘架構(gòu)的中層部分是數(shù)據(jù)挖掘能力層，工程結(jié)構(gòu)屬于整個(gè)數(shù)據(jù)挖掘工作中的重點(diǎn)環(huán)節(jié)，對(duì)基礎(chǔ)能力要求非常高，支撐著數(shù)據(jù)挖掘的運(yùn)行。與此同時(shí)，中層數(shù)據(jù)挖掘結(jié)構(gòu)直接影響整個(gè)云服務(wù)平臺(tái)的運(yùn)行效果，屬于重要的能力支撐部分，數(shù)據(jù)挖掘工作中不可或缺的環(huán)節(jié)。在中層平臺(tái)內(nèi)部，不但能夠有效整合和研究算法數(shù)據(jù)，還可以自動(dòng)調(diào)度工作內(nèi)容，打造完整的服務(wù)管理結(jié)構(gòu)。數(shù)據(jù)挖掘能力層實(shí)際上能夠?yàn)閿?shù)據(jù)挖掘工作提供精準(zhǔn)的算法程序，利用數(shù)據(jù)挖掘技術(shù)處理和整合相關(guān)的信息資料。

數(shù)據(jù)挖掘云服務(wù)層數(shù)據(jù)挖掘架構(gòu)的上層部分，能夠?yàn)橥獠刻峁┫鄳?yīng)的云服務(wù)。而且，數(shù)據(jù)挖掘云服務(wù)層具有嚴(yán)格的查詢語句功能，外部用戶在進(jìn)行訪問工作時(shí)，可以利用引擎搜索模式查看相關(guān)信息，節(jié)省用戶的時(shí)間。目前來看，數(shù)據(jù)挖掘服務(wù)層的結(jié)構(gòu)樣式非常多，最常用的是WebService 以及XML 等。除此之外，在特定情況下，不同的業(yè)務(wù)系統(tǒng)可以重新更改云服務(wù)模式，調(diào)用云服務(wù)數(shù)據(jù)層，滿足不同業(yè)務(wù)的不同需求。

3 重點(diǎn)研究關(guān)鍵技術(shù)

3.1 云計(jì)算技術(shù)

實(shí)際上，根據(jù)實(shí)驗(yàn)表明，分布式計(jì)算系統(tǒng)能夠在眾多數(shù)據(jù)中深入挖掘有價(jià)值的信息或者業(yè)務(wù)工作需要的信息資料，能夠有效提升數(shù)據(jù)挖掘工作的質(zhì)量和效率。具體來講，分布式計(jì)算也包含兩個(gè)不同的層面，分布式儲(chǔ)存結(jié)構(gòu)和并行式儲(chǔ)存結(jié)構(gòu)并行工作簡(jiǎn)稱為分貝，而云計(jì)算平臺(tái)則可以完成兩種功能的具體要求，兩個(gè)層面工作中出現(xiàn)的各種漏洞，接下來具體分析分布式文件系統(tǒng)合并細(xì)算框架的應(yīng)用要求和價(jià)值作用。

分布式的文件系統(tǒng)不但能夠儲(chǔ)存和整理大量的信息資料，而且還可以明確信息位置，可靠性和安全性非常高。目前來講，在整個(gè)云計(jì)算領(lǐng)域當(dāng)中，分布式的文件構(gòu)建系統(tǒng)主要包含兩種，即GFS文件系統(tǒng)和HDFS 文件系統(tǒng)，此類文件系統(tǒng)全部是按照文件系統(tǒng)的要求打造而成的，可以整合、分析、研究海量數(shù)據(jù)，這些文件系統(tǒng)被應(yīng)用到了商業(yè)領(lǐng)域和學(xué)術(shù)研究領(lǐng)域，能夠有效提升工作效率。

分布式并行計(jì)算框架則可以處理一些細(xì)節(jié)性問題，滿足使用者的實(shí)際需求，在提升文件系統(tǒng)工作速度和品質(zhì)的基礎(chǔ)上減少維護(hù)和維修資金。目前來講，最常用的分布式計(jì)算框架結(jié)構(gòu)是MapReduce，在pc 機(jī)上經(jīng)常使用MapReduce 計(jì)算框架，這種框架結(jié)構(gòu)可以將分布數(shù)據(jù)和執(zhí)行任務(wù)的相關(guān)信息資料整合到一個(gè)數(shù)據(jù)庫中，使用者可以根據(jù)實(shí)際需要應(yīng)用其中的相關(guān)數(shù)據(jù)資料，在應(yīng)用過程中不會(huì)出現(xiàn)數(shù)據(jù)并聯(lián)等漏洞，工作效率非常高。另外，Pregel 計(jì)算框架也被應(yīng)用到了實(shí)際工作當(dāng)中，整體的運(yùn)行效率非常高，而且具有較強(qiáng)的容錯(cuò)性，能夠有效隱藏分布式計(jì)算中的細(xì)節(jié)問題，整體表現(xiàn)力較強(qiáng)，發(fā)展前景較好。

3.2 分析研究數(shù)據(jù)匯集調(diào)度中心的應(yīng)用要求

數(shù)據(jù)匯集調(diào)度中心能夠?qū)⒏鞣N平臺(tái)中的數(shù)據(jù)整合到一起，然后按照各種數(shù)據(jù)的歸約解除各種數(shù)據(jù)格式，而且數(shù)據(jù)匯集調(diào)度中心的容納范圍非常廣泛，可以容納各種形式的數(shù)據(jù)資料，比如OLTP 數(shù)據(jù)和OLAP 數(shù)據(jù)等。另外，數(shù)據(jù)匯集調(diào)度中心可以恐怖不同類型的數(shù)據(jù)格式，提高數(shù)據(jù)的同步處理效率，保證不同數(shù)據(jù)能夠同時(shí)輸送到用戶手中，比如Socket 數(shù)據(jù)同步和FTP 協(xié)議同步等。實(shí)際上，運(yùn)行數(shù)據(jù)匯集調(diào)度中心就是將各種各樣的數(shù)據(jù)格式匯集到一起，想要有效實(shí)現(xiàn)這項(xiàng)功能技術(shù)，就必須積極應(yīng)用模板化設(shè)計(jì)技術(shù)，利用數(shù)據(jù)模板和數(shù)據(jù)配置模式收集整理需要的數(shù)據(jù)，提高數(shù)據(jù)整合效率，為數(shù)據(jù)挖掘工作提供可靠性較強(qiáng)的數(shù)據(jù)資料。

3.3 分析研究服務(wù)調(diào)度和管理工作的價(jià)值作用

想要確保每項(xiàng)業(yè)務(wù)都能夠充分發(fā)揮數(shù)據(jù)挖掘平臺(tái)架構(gòu)的價(jià)值和作用，就必須要深入研究服務(wù)調(diào)度和服務(wù)管理工作，確保調(diào)度和管理技術(shù)符合工作要求。具體來講，服務(wù)調(diào)度技術(shù)則是按照服務(wù)的等級(jí)匹配數(shù)據(jù)資料，等級(jí)越高的業(yè)務(wù)完成資源匹配的速度越快，盡可能減少服務(wù)運(yùn)行過程中的各種漏洞，確保數(shù)據(jù)挖掘平臺(tái)架構(gòu)能夠正常工作。服務(wù)管理技術(shù)則是需要完成服務(wù)注冊(cè)要求，根據(jù)需要調(diào)度第三方的數(shù)據(jù)挖掘能力，擴(kuò)大數(shù)據(jù)挖掘平臺(tái)架構(gòu)的應(yīng)用范圍，提高數(shù)據(jù)服務(wù)調(diào)度和管理能力。

4 根據(jù)當(dāng)前數(shù)據(jù)挖掘平臺(tái)架構(gòu)的發(fā)展情況，研究充分云計(jì)算價(jià)值作用的具體方案

根據(jù)上述分析可知，云計(jì)算數(shù)據(jù)挖掘架構(gòu)平臺(tái)符合新時(shí)期的發(fā)展要求，能夠有效推動(dòng)各行業(yè)的發(fā)展和進(jìn)步。想要進(jìn)一步發(fā)揮云計(jì)算的價(jià)值和作用，就要積極改革應(yīng)用方案，提高云計(jì)算數(shù)據(jù)挖掘平臺(tái)的工作成效。

4.1 加大研發(fā)力度，挖掘云技術(shù)的潛在價(jià)值

目前來看，云計(jì)算的定義并不明確，不同行業(yè)對(duì)云計(jì)算的定義不同，各種研究者對(duì)云計(jì)算定義也持有不同的看法。想要充分發(fā)揮云計(jì)算的價(jià)值和作用，就必須要加大研發(fā)力度，增加研發(fā)資金，不斷完善技術(shù)研發(fā)方案，挖掘云技術(shù)的潛在價(jià)值，建設(shè)完備的工作理論。云技術(shù)包含的內(nèi)容非常多，包括人工智能理論和技術(shù)、統(tǒng)計(jì)學(xué)知識(shí)等，涉及范圍非常廣泛。就目前的研究現(xiàn)狀來看，相關(guān)技術(shù)人員一定要深入研發(fā)云計(jì)算技術(shù)，打造效率高的數(shù)據(jù)挖掘平臺(tái)架構(gòu)。具體來講，百度公司正在致力于研發(fā)云技術(shù)，始終將云計(jì)算放在首要研究地位，將取得了諸多成效，有利于公司的發(fā)展和進(jìn)步。

4.2 利用云計(jì)算技術(shù)，提升數(shù)據(jù)挖掘平臺(tái)的可靠性和安全性

目前來講，網(wǎng)絡(luò)建設(shè)中存在諸多問題，各類計(jì)算機(jī)病毒層出不窮，很多人躲在電腦后面違法犯罪。所以相關(guān)技術(shù)人員一定要充分利用云計(jì)算，提升數(shù)據(jù)挖掘平臺(tái)的可靠性和安全性，確保個(gè)人隱私不被泄露。目前來講，很多公司出現(xiàn)隱私泄露問題，進(jìn)而導(dǎo)致公司建設(shè)停滯不前，甚至公司破產(chǎn)。由此可見，為保護(hù)使用者的合法權(quán)益，工作人員要積極研發(fā)高新技術(shù)，降低數(shù)據(jù)挖掘架構(gòu)平臺(tái)的風(fēng)險(xiǎn)性，深入研究有效的管理技術(shù)，從關(guān)鍵技術(shù)研發(fā)工作入手，提升數(shù)據(jù)匯集調(diào)度中心工作水平，提升服務(wù)調(diào)度和服務(wù)管理技術(shù)水平，打造多層保護(hù)屏障，確保信息數(shù)據(jù)資料的安全性得到保障。

4.3 重視云計(jì)算和數(shù)據(jù)挖掘的結(jié)合，深入研究硬件服務(wù)工作

實(shí)際上，在應(yīng)用數(shù)據(jù)挖掘構(gòu)建平臺(tái)時(shí)，硬件問題非常嚴(yán)重，利用云計(jì)算分布式儲(chǔ)存技術(shù)能夠處理上述問題?？墒?，在這個(gè)信息化飛速發(fā)展的新時(shí)代，云計(jì)算仍然會(huì)出現(xiàn)各種各樣的漏洞。目前來講，相關(guān)研究者除了重視研發(fā)和應(yīng)用云計(jì)算以外，更要重視硬件研究、開發(fā)和應(yīng)用工作，減少技術(shù)應(yīng)用中的問題。

5 結(jié)語

總而言之，伴隨著社會(huì)的進(jìn)步和科學(xué)技術(shù)的不斷發(fā)展，云計(jì)算技術(shù)的發(fā)展勢(shì)頭越來越猛，被應(yīng)用到了各行各業(yè)當(dāng)中，具有較強(qiáng)的應(yīng)用價(jià)值，能夠有效推動(dòng)各行業(yè)的發(fā)展和進(jìn)步。基于目前數(shù)據(jù)挖掘技術(shù)的發(fā)展現(xiàn)狀來看，云計(jì)算技術(shù)能夠有效提升數(shù)據(jù)挖掘工作的品質(zhì)和效率，所以技術(shù)人員必須積極利用云計(jì)算技術(shù)，不斷革新技術(shù)挖掘技術(shù)方案，打造新型的數(shù)據(jù)挖掘平臺(tái)構(gòu)架，重點(diǎn)研發(fā)關(guān)鍵技術(shù)，為時(shí)代發(fā)展和進(jìn)步提供更具安全性和可靠性的數(shù)據(jù)收集平臺(tái)。