基于云計算的大數(shù)據(jù)分析技術(shù)與應(yīng)用

李佳良

摘 要：本文分析了云計算和大數(shù)據(jù)之間的關(guān)系，闡述了基于云計算是大數(shù)據(jù)分析技術(shù)類型及其在實際領(lǐng)域中的應(yīng)用。

關(guān)鍵詞：云計算；大數(shù)據(jù)；技術(shù)；應(yīng)用

DOI：10.16640/j.cnki.37-1222/t.2017.21.107

1 大數(shù)據(jù)和云計算之間的關(guān)系

大數(shù)據(jù)分析處理可以將云計算作為平臺和基礎(chǔ)，即大數(shù)據(jù)統(tǒng)計和分析所依賴的各種關(guān)鍵技術(shù)都需要依靠云計算提供支持，可以說云計算成為大數(shù)據(jù)處理分析的重要途徑和主要優(yōu)勢，云計算強大的計算能力和數(shù)據(jù)存儲能力能夠為大數(shù)據(jù)處理分析帶來豐富性和多元性，使其能夠提供更為便捷的服務(wù)。云計算作為一種計算方式，大數(shù)據(jù)成為其計算的對象之一。大數(shù)據(jù)在分析處理時強調(diào)存儲能力，而云計算則強調(diào)計算能力。一方面，大數(shù)據(jù)處理分析是對自身進行計算和處理的過程，其過程需要以云計算強大的計算能力為根基；另一方面，大數(shù)據(jù)本身帶來的多元化應(yīng)用使得云計算具有了強大的實際應(yīng)用能力。

如果大數(shù)據(jù)在統(tǒng)計出海量的可視化信息之后，卻沒有云計算的支持，技術(shù)人員是難以對其進行數(shù)據(jù)總結(jié)和分析的，在這種情況下大數(shù)據(jù)和普通的統(tǒng)計數(shù)據(jù)信息沒有本質(zhì)區(qū)別，應(yīng)用于各行各業(yè)之中將會受到很大限制。而沒有海量大數(shù)據(jù)的充實，云計算的數(shù)據(jù)處理能力也無從發(fā)揮，事實上云計算的數(shù)據(jù)處理能力在處理簡單數(shù)據(jù)時將會產(chǎn)生大材小用的違和感。云計算和大數(shù)據(jù)勢相輔相成、優(yōu)勢相長的關(guān)系，二者結(jié)合能夠提升對方的實用價值，并在對方的計算發(fā)展過程中相會促進，實現(xiàn)了傳統(tǒng)信息處理和分析技術(shù)無法理解和比擬的功能和優(yōu)勢。

2 基于云計算的大數(shù)據(jù)分析技術(shù)功能分析

第一，可視化。實現(xiàn)信息處理過程的可視化對普通用戶還是數(shù)據(jù)分析專業(yè)人士來說都是基本要求?；诖诵枨笮纬傻闹匾蛩厥谴髷?shù)據(jù)進行數(shù)據(jù)分析的基礎(chǔ)。大數(shù)據(jù)分析的結(jié)果需要借助云計算可視化功能，使得數(shù)據(jù)分析者能夠直接地獲得分析數(shù)據(jù)，使得大數(shù)據(jù)能夠?qū)ζ浞治龊团袛嗵峁┚哂袇⒖純r值的指導(dǎo)。

第二，數(shù)據(jù)挖掘算法。為計算處理系統(tǒng)提供數(shù)據(jù)信息是數(shù)據(jù)挖掘要實現(xiàn)的終極目標。云計算提供的分割、集群、孤立點和其他運算方式能夠深入到大數(shù)據(jù)信息內(nèi)部，使得計算系統(tǒng)能夠更加深刻地挖掘出數(shù)據(jù)的價值。數(shù)據(jù)挖掘算法一方面要處理海量數(shù)據(jù)，另一方面要提供快速處理數(shù)據(jù)能力，將數(shù)據(jù)處理分析的實用價值展現(xiàn)出來。

第三，預(yù)測分析能力。對于數(shù)據(jù)挖掘得到的結(jié)果，云計算可以提供預(yù)測分析功能，數(shù)據(jù)分析人員能夠形成對分析結(jié)果處理方式的系統(tǒng)范式，在可視化結(jié)果和數(shù)據(jù)挖掘技術(shù)的加持下，理性分析可以讓人們通過數(shù)據(jù)分析形成對未來決策的客觀判斷。

第四，語義引擎。大數(shù)據(jù)帶來海量的非結(jié)構(gòu)化數(shù)據(jù)信息，這使得信息的呈現(xiàn)方式呈現(xiàn)出前所未有的多元性，同時也給數(shù)據(jù)分析帶來全新的挑戰(zhàn)。如果要將數(shù)據(jù)信息應(yīng)用到實際過程之中去，對信息的解析和提取則是非常必要的。云計算提供的語義引擎能夠在文檔之中任意地進行數(shù)據(jù)信息提取，使得數(shù)據(jù)分析人員在應(yīng)用的時候即時調(diào)取。

第五，數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量。大數(shù)據(jù)處理分析通過數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量實現(xiàn)在管理實踐上的應(yīng)用，云計算能夠提供的標準化流程和工具能夠是其進行數(shù)據(jù)處理分析的基礎(chǔ)，從而在預(yù)先定義的分析結(jié)果中保障其質(zhì)量。大數(shù)據(jù)是一次天翻地覆的技術(shù)性變革，數(shù)據(jù)管理和質(zhì)量將成為必須關(guān)注的目標。大數(shù)據(jù)時代是現(xiàn)代技術(shù)得到全新數(shù)據(jù)信息支持的時代，但是其數(shù)據(jù)質(zhì)量保障和數(shù)據(jù)管理安全得不到用戶的肯定和認可，大數(shù)據(jù)信息的實用價值無從展現(xiàn)。

3 基于云計算的大數(shù)據(jù)分析應(yīng)用途徑

第一，大數(shù)據(jù)聯(lián)機分析。云計算和大數(shù)據(jù)分析結(jié)合應(yīng)用的主要形式是數(shù)據(jù)倉庫系統(tǒng)的聯(lián)機分析，在借助復(fù)雜的分析操控技術(shù)的基礎(chǔ)上，使得分析結(jié)果能夠在實際決策中發(fā)揮作用，進而得到直觀的分析結(jié)果，最終方便信息使用者進行查詢和調(diào)取。云計算能力在應(yīng)用聯(lián)機分析之后能夠進行綜合數(shù)據(jù)分析，能夠讓信息決策者通過多角度和多層次感受到數(shù)據(jù)的實用價值。現(xiàn)如今多維分析已經(jīng)成為大數(shù)據(jù)分析的重要特征之一。所以有必要在數(shù)據(jù)庫倉庫之中引入聯(lián)機分析技術(shù)是很有必要的，從而實現(xiàn)對海量信息的全面快速處理，對決策支持系統(tǒng)的判斷起到推動作用。很多電商在運營過程中都具有自身獨特的數(shù)據(jù)庫，能夠在商業(yè)決策中提供可行性分析，比如各大搜索引擎比如百度、雅虎和谷歌則可以根據(jù)數(shù)據(jù)庫中的信息進行關(guān)鍵詞統(tǒng)計，對所有商用詞語進行數(shù)據(jù)倉庫系統(tǒng)整合，在聯(lián)機分析的基礎(chǔ)上實現(xiàn)最快的信息檢索和有力的信息調(diào)取。百度公司的大數(shù)據(jù)應(yīng)用和數(shù)據(jù)倉庫的技術(shù)方式應(yīng)用最為典型的一個結(jié)果就是百度云盤，其在2009年就開始運營百度云盤，實現(xiàn)了大數(shù)據(jù)應(yīng)用的商業(yè)價值發(fā)揮，為同行業(yè)企業(yè)進行大數(shù)據(jù)聯(lián)機分析提供了良好的借鑒和經(jīng)驗。

第二，通過大數(shù)據(jù)進行數(shù)據(jù)挖掘。大數(shù)據(jù)分析技術(shù)不應(yīng)該僅僅停留在表面信息提取方面，還要通過隱性知識的整合來對數(shù)據(jù)倉庫之中的相關(guān)關(guān)聯(lián)信息進行挖掘，將海量信息中隱藏的更有挖掘價值的信息展現(xiàn)出來。在云計算下的大數(shù)據(jù)分析技術(shù)主要運用了分布式并行技術(shù)進行數(shù)據(jù)挖掘，其可以再很短的時間內(nèi)對機器集群開展并行任務(wù)的拆分，多臺空閑設(shè)備可以在第一時間內(nèi)進行統(tǒng)一的計算和處理，極大地提升了大數(shù)據(jù)的數(shù)據(jù)處理速度和數(shù)據(jù)處理能力。云計算提供了Map Reduce挖掘模型，技術(shù)分析人員可以通過映射Map函數(shù)內(nèi)特定分塊數(shù)據(jù)完成處理過程，在提升數(shù)據(jù)應(yīng)用效果的同時將和本次數(shù)據(jù)分析處理無關(guān)的計算集群排除出去。

第三，利用大數(shù)據(jù)達到可視化應(yīng)用。讓人們享受到可視化的分析結(jié)果是大數(shù)據(jù)分析能力的直接體現(xiàn)。大數(shù)據(jù)的分析出的可視化信息結(jié)果使得海量信息內(nèi)部又有了內(nèi)部聯(lián)系基礎(chǔ)，實現(xiàn)對相關(guān)發(fā)展趨勢的預(yù)測。一般來說，大數(shù)據(jù)是以圖形或者圖像作為輸出模式的，能夠簡單、直接地提供對于未知信息的處理結(jié)果?？梢暬畔⑹沟萌藗兡軌颢@得更加具有參考價值的數(shù)據(jù)分析結(jié)果，突破了簡單觀察結(jié)果的限制，同時將直觀的方式規(guī)劃出體現(xiàn)結(jié)構(gòu)關(guān)系的促進作用和影響方式。

參考文獻：

[1]鄧波，黃同成，劉遠軍.基于4G移動網(wǎng)絡(luò)的大數(shù)據(jù)與云計算技術(shù)應(yīng)用分析及展望———以城市智能交通系統(tǒng)為例[J].信息與電腦（理論版），2015（23）：56-57.

[2]田野，王彪，劉丹.基于大數(shù)據(jù)的一體化移動警務(wù)綜合管控平臺建設(shè)與應(yīng)用[J].湖南科技大學(xué)學(xué)報（自然科學(xué)版），2017（01）：125-126.

[3]谷守軍，王海永.大數(shù)據(jù)時代人工智能在計算機網(wǎng)絡(luò)技術(shù)中的應(yīng)用[J].電子制作，2017（06）：86-87.endprint