基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)

樊紅珍

摘 要 充分利用云計算完成對海量數(shù)據(jù)的信息挖掘，屬于當前階段研究的熱點。云計算因為具有良好優(yōu)越性可以對數(shù)據(jù)挖掘提供重要習性平臺。本研究中，充分介紹了云計算以及數(shù)據(jù)挖掘方面的功能。最終，對平臺建構(gòu)之中所應用的關(guān)鍵技術(shù)采取了深刻剖析?；谠朴嬎銛?shù)據(jù)挖掘平臺屬于當前研究重點，希望通過本研究可以對形成平臺架構(gòu)，促進關(guān)鍵技術(shù)水平提升提供借鑒和幫助。

【關(guān)鍵詞】云計算 數(shù)據(jù)平臺 架構(gòu) 關(guān)鍵技術(shù)

我國計算機技術(shù)不斷向前發(fā)展，對應對海量信息提供了重要幫助。結(jié)合相關(guān)數(shù)據(jù)提供及，全球數(shù)據(jù)在三年時間內(nèi)翻了一番。數(shù)據(jù)總量則已經(jīng)進入到ZB級。所有屬于產(chǎn)生于各行各業(yè)，其中包括了大量可使用信息。如何能夠在各個領(lǐng)域之中，都提取有效信息，屬于當前我國數(shù)據(jù)技術(shù)發(fā)展中的關(guān)鍵。希望通過本研究可以促進未來技術(shù)發(fā)展。

1 云計算及數(shù)據(jù)挖掘技術(shù)

1.1 云計算

云計算屬于互聯(lián)網(wǎng)基礎(chǔ)上，通過借助計算機服務器資源實現(xiàn)虛擬化商業(yè)化發(fā)展的計算模式。韻腳思安之中一般包括三個服務層次：基礎(chǔ)設施、平臺以及軟件服務。基礎(chǔ)設施層次之中，用戶能夠直接獲取包括硬件與存儲等服務形式在內(nèi)的全部服務。平臺服務層則能夠為用戶提供設計與測試功能。軟件服務層之中，則用戶可以利用云平臺獲取基于網(wǎng)絡的軟件使用權(quán)。云計算擁有資源共享、數(shù)據(jù)安全以及成本優(yōu)勢。為此，數(shù)據(jù)挖掘平臺技術(shù)研究表現(xiàn)出良好前瞻性。

1.2 數(shù)據(jù)挖掘

數(shù)據(jù)碗蕨可以利用不斷算法對海量數(shù)據(jù)開展有效處理，并通過這種方式提取隱藏在其中的信息進行處理，同時，對統(tǒng)計學、模式識別等思想進行進一步的融合。傳統(tǒng)數(shù)據(jù)挖掘?qū)儆诮柚鷮?shù)據(jù)倉庫完成的計算，并通過這種該模式找到數(shù)據(jù)模型以及相關(guān)數(shù)據(jù)關(guān)系。同時對大規(guī)模數(shù)據(jù)采取數(shù)據(jù)統(tǒng)計，這個過程中需要消耗掉大量的資源，除了效率低下，軟硬件成本相對較高，還具有通用性水平較低的情況。大數(shù)據(jù)在先進一部無法充分滿足所有領(lǐng)域的應用需求。為了可以發(fā)揮云計算優(yōu)勢，就需要充分了解數(shù)據(jù)挖掘以及信息技術(shù)的主要方向。

2 基于云計算消防數(shù)據(jù)挖掘平臺架構(gòu)

2.1 系統(tǒng)構(gòu)成分析

平臺系統(tǒng)的構(gòu)成包括了用戶交互子系統(tǒng)、應用程序子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)以及硬件服務系統(tǒng)。用戶運用不同類型的終端設備連接進入到互聯(lián)網(wǎng)之中，并連接到數(shù)據(jù)挖掘平臺，通過用戶信息登陸平臺后則能夠完成數(shù)據(jù)操作。

2.2 用戶交互系統(tǒng)

用戶交互子系統(tǒng)屬于是平臺與用戶之間關(guān)聯(lián)的重要系統(tǒng)形式，通過借助圖形，用戶能夠完成相關(guān)操作。包括用戶身份注銷與注冊、身份驗證、授權(quán)等所有操作。這個子系統(tǒng)屬于用戶進入到系統(tǒng)平臺之中的入口，屬于下層所有服務通行的主要方式，屬于平臺信息安全的保障方式。

2.3 應用程序系統(tǒng)

屬于數(shù)據(jù)挖掘系統(tǒng)以及用戶管理系統(tǒng)之間所具有的重要環(huán)節(jié)。數(shù)據(jù)挖掘系統(tǒng)之中可以調(diào)用的相關(guān)數(shù)據(jù)與算法以及相關(guān)對應關(guān)系可以描述為任務，同時開放調(diào)用以及相關(guān)服務。素有應用程序系統(tǒng)更加包括了注冊以及注銷功能。

2.4 數(shù)據(jù)挖掘系統(tǒng)

數(shù)據(jù)挖掘系統(tǒng)利用不同算法能夠?qū)?shù)據(jù)采取有效計算，并實現(xiàn)數(shù)據(jù)挖掘，以此可以達到信息處理效果，此部分同樣也能夠分為數(shù)據(jù)獲取、預處理以及計算、評估等功能。數(shù)據(jù)獲取模塊需要對數(shù)據(jù)讀入以及轉(zhuǎn)換提供幫助，通過數(shù)據(jù)清洗的方式去噪，最終可達到用戶需要。個性化服務功能則能夠充分滿足客戶需要，實現(xiàn)個性化制定，同時也可以將該用戶的自定義挖掘算法作為系統(tǒng)資源，再次提供到平臺進行使用。系統(tǒng)同時能夠記錄用戶使用請款個，big提交到用戶交互系統(tǒng)之中。

2.5 硬件服務系統(tǒng)

硬件服務系統(tǒng)之中包括了服務器以及數(shù)據(jù)庫等內(nèi)容，一方面能夠?qū)ζ脚_建設提供數(shù)據(jù)存儲與訪問的功能，另一方面則能夠獨立面向用戶提供平臺訪問與租賃等能力，促使實現(xiàn)資源的高效配置。

3 關(guān)鍵技術(shù)分析

分布式并行技術(shù)方式：最早有Google的GFS系統(tǒng)，后來的HDFS以及KFS等理論基礎(chǔ)上實現(xiàn)了開源并成為在商業(yè)以及學術(shù)研究領(lǐng)域之中廣泛應用的分布式文件系統(tǒng)。云計算的關(guān)鍵與核心是能夠提供分布式文件存儲與并行計算，存儲能夠有效確保數(shù)據(jù)具有高吞吐率，以此可以滿足計算需要。因為這個方式并不十分適合計計算具有相互關(guān)聯(lián)的數(shù)據(jù)，同時開發(fā)工具并不完善，其未來將會決定數(shù)據(jù)挖掘平臺開發(fā)。

數(shù)據(jù)挖掘算法：數(shù)據(jù)挖掘算法屬于整個數(shù)據(jù)挖掘平臺之中的核心，并在這個過程中綜合了所有學科，當前階段，比較常用的計算方法包括統(tǒng)計分析、決策樹、建模以及神經(jīng)網(wǎng)絡等。其中，統(tǒng)計分析屬于當前比較簡單的方法，可以通過數(shù)據(jù)最值、均值以及方差等方法探究統(tǒng)計規(guī)律。決策樹則屬于通過數(shù)據(jù)完成分類，描述方法更加簡單。關(guān)聯(lián)規(guī)則通過對數(shù)據(jù)倉庫之中搜索數(shù)據(jù)，并查找彼此關(guān)聯(lián)性，聚類分析則屬于結(jié)合實體特征完成對數(shù)據(jù)的有效聚類分析。所有算法都擁有十分具體且有效的實現(xiàn)算法方式，每一種算法更加具有自己的優(yōu)勢，可以適用在所有領(lǐng)域之中個，具體應用則能夠結(jié)合用戶需要完成調(diào)用與組合。

4 結(jié)束語

綜上所述，大數(shù)據(jù)時代已經(jīng)到來，云計算數(shù)據(jù)發(fā)掘則已經(jīng)徹底顛覆傳統(tǒng)，并通過海量存儲能力與強大的計算能力，完成擴展。有效解決海量數(shù)據(jù)分析，并處理存儲難題。我國在此方面的技術(shù)研究仍然處在探索階段，平臺架構(gòu)與應用需要提供必要的數(shù)據(jù)服務能力，因此，也可以說具有十分豐富的開發(fā)前景與巨大意義。

參考文獻

[1]張立眾.探討基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)[J].通訊世界，2015（16）：193.

[2]張瑤，劉輝.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)探討[J].電子技術(shù)與軟件工程，2015（05）：218.

[3]鄭妙師.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究[J].信息通信，2014（08）：71.

[4]郭敏杰.基于云計算的海量網(wǎng)絡流量數(shù)據(jù)分析處理及關(guān)鍵算法研究[D].北京郵電大學，2014.

[5]丁巖，楊慶平，錢煜明.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù)，2013（01）：53-56+60.