基于云計(jì)算技術(shù)視角的大數(shù)據(jù)挖掘技術(shù)分析

黃敏

摘要：云計(jì)算是一種新型的數(shù)據(jù)計(jì)算方式，主要是通過網(wǎng)絡(luò)系統(tǒng)將客戶端進(jìn)行連接之后將客戶端中的信息和數(shù)據(jù)資源進(jìn)行整合，然后統(tǒng)一到一個(gè)巨大的數(shù)據(jù)資源庫當(dāng)中，在這之后就可以根據(jù)實(shí)際的需求對(duì)資源進(jìn)行調(diào)配和管理。而大數(shù)據(jù)挖掘技術(shù)與分析平臺(tái)能夠更高效、更迅速地進(jìn)行計(jì)算和分析，滿足人們對(duì)信息的需求。

關(guān)鍵詞：云計(jì)算技術(shù);大數(shù)據(jù)挖掘技術(shù);體系架構(gòu)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）11-0096-01

1 大數(shù)據(jù)挖掘技術(shù)的基本概述

1.1 大數(shù)據(jù)挖掘技術(shù)的優(yōu)勢(shì)

大數(shù)據(jù)挖掘技術(shù)可以從數(shù)來眾多、類型豐富、流轉(zhuǎn)速度較快的信息與數(shù)據(jù)當(dāng)中挖掘到價(jià)值密度高的信息，將這些信息推送給用戶，為用戶提供精準(zhǔn)化的服務(wù)。與傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)相比，大數(shù)據(jù)挖掘技術(shù)在挖掘的深度與廣度方面和信息處理的效率方面都具有重要的優(yōu)勢(shì)。

在傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)當(dāng)中，數(shù)據(jù)來源主要是特定的管理系統(tǒng)，再加上網(wǎng)頁信息系統(tǒng)當(dāng)中的被動(dòng)數(shù)據(jù)。而大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)來源更加廣泛，除了上述兩個(gè)基本來源之外，各種傳感設(shè)備產(chǎn)生的仿真數(shù)據(jù)也是重要來源。從總數(shù)據(jù)體量來說，大數(shù)據(jù)挖掘技術(shù)的信息更加海量，需要使用EB或ZB計(jì)量。

1.2 應(yīng)用大數(shù)據(jù)挖掘技術(shù)的必要性

從數(shù)學(xué)的角度來說，數(shù)據(jù)挖掘就是通過特定的工作來對(duì)數(shù)據(jù)進(jìn)行分析與提取，了解數(shù)據(jù)的特點(diǎn)、發(fā)現(xiàn)數(shù)據(jù)之間的潛在規(guī)律。在應(yīng)用到企業(yè)當(dāng)中之后，大數(shù)據(jù)挖掘技術(shù)就可以通過對(duì)數(shù)據(jù)之間規(guī)律的總結(jié)來進(jìn)行預(yù)測(cè)，從而為企業(yè)的財(cái)務(wù)預(yù)算與各項(xiàng)決策提供理論依據(jù)。在互聯(lián)網(wǎng)領(lǐng)域當(dāng)中，各項(xiàng)技術(shù)不斷發(fā)展與成熟，可以為企業(yè)帶來經(jīng)濟(jì)上的巨大利潤(rùn)。

根據(jù)相關(guān)的調(diào)查顯示，大多數(shù)企業(yè)在互聯(lián)網(wǎng)領(lǐng)域的投資回報(bào)率都超過了投資數(shù)量的3倍。與此同時(shí)，在企業(yè)經(jīng)營(yíng)與發(fā)展的過程當(dāng)中，做好市場(chǎng)調(diào)研、了解外部環(huán)境動(dòng)態(tài)是科學(xué)決策的基礎(chǔ)，這些信息不僅可以使管理人員對(duì)市場(chǎng)走勢(shì)進(jìn)行精準(zhǔn)判斷，同時(shí)還可以為企業(yè)提供更便利的服務(wù)。而要實(shí)現(xiàn)這個(gè)目標(biāo)，就要利用大數(shù)據(jù)挖掘技術(shù)。

1.3 大數(shù)據(jù)挖掘技術(shù)的實(shí)際應(yīng)用

1.3.1 在鐵路行業(yè)當(dāng)中的應(yīng)用

鐵路行業(yè)的特點(diǎn)就是每天要處理大量的信息與數(shù)據(jù)，這是由于行業(yè)系統(tǒng)為了滿足人們不同的出行要求、為人們的生活提供便利，每天的客觀運(yùn)營(yíng)總量比較大，產(chǎn)生的信息量也比較大。與此同時(shí)，這些信息比較復(fù)雜，不僅需要對(duì)每天的客運(yùn)流量進(jìn)行統(tǒng)計(jì)，同時(shí)還需要對(duì)各個(gè)線路、測(cè)試數(shù)據(jù)進(jìn)行整理，還需要處理各種票務(wù)上的信息。而應(yīng)用大數(shù)據(jù)挖掘技術(shù)可以自動(dòng)對(duì)這些信息進(jìn)行搜集，同時(shí)還可以按照相關(guān)的算法來對(duì)信息進(jìn)行整理與分析。這樣一來，鐵路的管理人員就可以更好地了解旅客的出行需求，從而根據(jù)需求來調(diào)整列車運(yùn)行的狀況，同時(shí)可以在列車運(yùn)行期間，通過大數(shù)據(jù)挖掘技術(shù)對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行監(jiān)測(cè)。

1.3.2 在其他領(lǐng)域當(dāng)中的應(yīng)用

除了在鐵路部門之外，大數(shù)據(jù)挖掘技術(shù)還可以在其他很多領(lǐng)域當(dāng)中被應(yīng)用。比如在股票領(lǐng)域，利用該技術(shù)可以對(duì)歷史數(shù)據(jù)與信息進(jìn)行有效分析，從中發(fā)現(xiàn)這些數(shù)據(jù)的規(guī)律，從而對(duì)股票未來發(fā)展的趨勢(shì)進(jìn)行預(yù)測(cè)，從而為投資者提供參考依據(jù)。再比如在金融行業(yè)當(dāng)中，使用該技術(shù)可以通過對(duì)信息的深入挖掘，從而發(fā)現(xiàn)信用異常或者資產(chǎn)異常的客戶信息，同時(shí)通過對(duì)比發(fā)現(xiàn)其中存在的不法交易，這樣可以為相關(guān)企業(yè)減少經(jīng)濟(jì)損失。與此同時(shí)，金融企業(yè)還可以利用這一技術(shù)來對(duì)市場(chǎng)的走向進(jìn)行分析與預(yù)測(cè)，從而對(duì)公司未來的發(fā)展方向進(jìn)行調(diào)整。

2 基于云計(jì)算技術(shù)視角的大數(shù)據(jù)挖掘體系架構(gòu)

2.1 傳統(tǒng)數(shù)據(jù)挖掘體系存在的問題

傳統(tǒng)數(shù)據(jù)挖掘系統(tǒng)在構(gòu)建的過程當(dāng)中，通常是在單機(jī)或者服務(wù)器上進(jìn)行運(yùn)行，因此它的結(jié)構(gòu)體系主要是服務(wù)器的二層機(jī)構(gòu)，更加完善的是網(wǎng)頁瀏覽器的三層結(jié)構(gòu)。在應(yīng)用的過程當(dāng)中，通常會(huì)采用數(shù)據(jù)移向計(jì)算的方式，這種方式的特點(diǎn)是會(huì)先將信息進(jìn)行儲(chǔ)存然后再進(jìn)行集中處理。這種方式雖然具有一定的合理性和科學(xué)性，但是在面對(duì)海量信息與具有異構(gòu)動(dòng)態(tài)的信息與數(shù)據(jù)的時(shí)候，這種處理方式需要耗費(fèi)大量的時(shí)間，同時(shí)還需要大量的傳輸成本、增加了空間的復(fù)雜程度。

2.2 基于云計(jì)算技術(shù)的大數(shù)據(jù)挖掘體系架構(gòu)

大數(shù)據(jù)挖掘技術(shù)可以充分解決上述傳統(tǒng)數(shù)據(jù)挖掘體系存在的問題，它融合了計(jì)算、儲(chǔ)存等模式，可實(shí)現(xiàn)同步分析，同時(shí)還具有較強(qiáng)的分析與挖掘功能。在構(gòu)建體系架構(gòu)的過程當(dāng)中，可以分為不同的結(jié)構(gòu)層次。首先是支撐平臺(tái)層。該層次是大數(shù)據(jù)挖掘動(dòng)力的來源，可以提供基本的信息與資源。在該層次當(dāng)中，融合了大數(shù)據(jù)技術(shù)、云計(jì)算以及多種信息處理技術(shù)，形成了資源豐富的云環(huán)境。其次是功能層。功能層的作用是對(duì)用戶的需求進(jìn)行分析與挖掘，它可以根據(jù)用戶的喜好來挖掘他們的潛在需求。第三層是服務(wù)層。在服務(wù)層當(dāng)中，大數(shù)據(jù)挖掘技術(shù)可以通過客戶端來與服務(wù)提供者和使用者相連接，從而實(shí)現(xiàn)三者之間的信息交流，從而發(fā)掘價(jià)值密度比較高的信息，并以服務(wù)的形式傳達(dá)給用戶。

在大數(shù)據(jù)挖掘體系架構(gòu)構(gòu)建的過程當(dāng)中，云計(jì)算技術(shù)發(fā)揮了重要的作用。功能層、服務(wù)層與平臺(tái)層這三者之間相互配合，共同形成了挖掘云系統(tǒng)，在系統(tǒng)當(dāng)中實(shí)現(xiàn)了對(duì)信息的計(jì)算和儲(chǔ)存，同時(shí)展示了分析、挖掘的功能。在完成了上述的過程之后，可以通過服務(wù)的形式將分析的結(jié)果呈現(xiàn)給用戶，為他們的決策提供理論幫助。

3 基于Hadoop的大數(shù)據(jù)挖掘平臺(tái)

在Hadoop的基礎(chǔ)上構(gòu)建大數(shù)據(jù)挖掘平臺(tái)，可以更好地對(duì)大數(shù)據(jù)挖掘技術(shù)進(jìn)行分析，了解數(shù)據(jù)與信息的處理流程。

首先是數(shù)據(jù)預(yù)處理。大數(shù)據(jù)挖掘技術(shù)在運(yùn)行的過程當(dāng)中是以數(shù)據(jù)為基礎(chǔ)的，并不是先確定某種模式之后再確定數(shù)據(jù)，模式會(huì)隨著數(shù)據(jù)的改變而發(fā)生變化。在數(shù)據(jù)預(yù)處理的過程當(dāng)中，通過應(yīng)用各種現(xiàn)代化的處理技術(shù)，可以在處理過程當(dāng)中實(shí)現(xiàn)并行計(jì)算和迭代計(jì)算，同時(shí)還可以對(duì)數(shù)據(jù)進(jìn)行合并與共享。第二是數(shù)據(jù)存儲(chǔ)。大數(shù)據(jù)挖掘技術(shù)的存儲(chǔ)的方式比較多樣化，除了傳統(tǒng)的存儲(chǔ)形式之外，還包括分布式存儲(chǔ)方式，可以存儲(chǔ)各種形式的數(shù)據(jù)。對(duì)于不確定的數(shù)據(jù)，該平臺(tái)也有相應(yīng)的管理系統(tǒng)，可以通過構(gòu)建不確定關(guān)系模型來進(jìn)行有效存儲(chǔ)。第三是數(shù)據(jù)計(jì)算與分析。大數(shù)據(jù)挖掘技術(shù)主要是以多種計(jì)算模式相融合的方式來實(shí)現(xiàn)對(duì)信息與數(shù)據(jù)的分布并行處理的。對(duì)于靜態(tài)數(shù)據(jù)，通常維度比較小，傳統(tǒng)的分析工具可以進(jìn)行有效處理。而對(duì)于維度較大且復(fù)雜的數(shù)據(jù)，傳統(tǒng)的分析工具無法起到較好的效果，而大數(shù)據(jù)挖掘技術(shù)可以提高原有系統(tǒng)的計(jì)算能力和分析能力，對(duì)傳統(tǒng)的算法進(jìn)行改進(jìn)。

4 結(jié)語

總的來說，而云計(jì)算與大數(shù)據(jù)挖掘技術(shù)相結(jié)合之后，可以更加快速、高效地在大量的信息中為人們找到有用的信息，并按照人們的需要做好信息的篩選與數(shù)據(jù)的運(yùn)算。大數(shù)據(jù)挖掘技術(shù)與傳統(tǒng)的挖掘技術(shù)相比，在挖掘的深度與廣度上具有明顯的優(yōu)勢(shì)。本文在這個(gè)基礎(chǔ)上探究了大數(shù)據(jù)挖掘體系架構(gòu)和大數(shù)據(jù)挖掘平臺(tái)，希望能夠?yàn)榇髷?shù)據(jù)挖掘技術(shù)的發(fā)展提供參考與借鑒。

參考文獻(xiàn)

[1] 邢丘丹，焦晶，杜占河.基于云計(jì)算和大數(shù)據(jù)的在線教育交互應(yīng)用研究[J].現(xiàn)代教育技術(shù)，2017，24（04）：88-95.

[2] 何清，莊福振，曾立，趙衛(wèi)中，譚慶.PDMiner：基于云計(jì)算的并行分布式數(shù)據(jù)挖掘工具平臺(tái)[J].中國(guó)科學(xué)：信息科學(xué)，2017，44（07）：871-885.