基于云計算的大數(shù)據(jù)技術(shù)的研究

劉會珍 滁州職業(yè)技術(shù)學(xué)院

大數(shù)據(jù)時代的到來，使得大數(shù)據(jù)技術(shù)成為時代討論的核心問題，大數(shù)據(jù)技術(shù)使得信息處理更加高效便捷，準確安全，并且應(yīng)用于多領(lǐng)域、多方面，使得整體工作效率得到明顯提升，同時，云計算在海量化、爆炸式的信息數(shù)據(jù)時代里給予大數(shù)據(jù)以信息存儲、信息處理、信息管理、信息分析等多方面的技術(shù)支持，促進大數(shù)據(jù)技術(shù)的發(fā)展，使得信息處理系統(tǒng)得到明顯的優(yōu)化，使云計算成為大數(shù)據(jù)分析處理的核心，這也是研究大數(shù)據(jù)技術(shù)的關(guān)鍵，本文將基于云計算對大數(shù)據(jù)的技術(shù)支持以及兩者之間的關(guān)聯(lián)性，對大數(shù)據(jù)的定義及其特征進行準確概括，分析大數(shù)據(jù)技術(shù)的應(yīng)用，并對大數(shù)據(jù)的關(guān)鍵技術(shù)進行探究。

1 理解云計算和大數(shù)據(jù)

所謂云計算是指基于網(wǎng)絡(luò)，對數(shù)據(jù)進行相關(guān)計算，儲存，系統(tǒng)化地將網(wǎng)格計算、并行計算、分布式計算加以應(yīng)用，同時，結(jié)合多種軟件和硬件，促進網(wǎng)絡(luò)數(shù)據(jù)管理優(yōu)化升級，給予用戶更加多樣的選擇，更加全面的服務(wù)，簡而言之，云計算技術(shù)就是一種新型的網(wǎng)絡(luò)管理調(diào)度技術(shù)，更好的促進資源的開發(fā)和利用、大幅提高整體的運算效率。

大數(shù)據(jù)指的是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合，簡單可以理解為信息的海量性、復(fù)雜性和多樣性。其大數(shù)據(jù)技術(shù)是指從這爆炸性的海量數(shù)據(jù)中，能夠進行快速篩選、準確定位、安全的選出其中有價值的信息。大數(shù)據(jù)時代的討論核心就是大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)也是應(yīng)對大數(shù)據(jù)時代的關(guān)鍵技術(shù)。

大數(shù)據(jù)是在云計算之后產(chǎn)生的一個新的課題，兩者存在關(guān)聯(lián)性，大數(shù)據(jù)的處理是將云計算作為技術(shù)平臺，云計算給予大數(shù)據(jù)技術(shù)以其多方位的技術(shù)支持，具體體現(xiàn)在數(shù)據(jù)存儲、數(shù)據(jù)的處理、數(shù)據(jù)的計算分析上。大數(shù)據(jù)側(cè)重數(shù)據(jù)的存儲，云計算重點強調(diào)數(shù)據(jù)的計算，兩者結(jié)合，優(yōu)勢互補，基于云計算去討論和研究大數(shù)據(jù)技術(shù)有著重要意義，使數(shù)據(jù)處理更加便捷，展現(xiàn)更多的優(yōu)勢。

2 大數(shù)據(jù)的特征

大數(shù)據(jù)具體可以分為五大特征，即所謂的5V特性：

（一）體量（Volume）

大數(shù)據(jù)應(yīng)有海量數(shù)據(jù)、其數(shù)據(jù)量大，存儲量大、運算量大。

（二）多樣（Variety）

大數(shù)據(jù)的數(shù)據(jù)種類豐富多樣，數(shù)據(jù)形式具有多種類型。

（三）價值（Value）

大數(shù)據(jù)強調(diào)在海量數(shù)據(jù)中進行快速篩選，選擇有價值的信息。

（四）速度（Velocity）

數(shù)據(jù)的增長數(shù)據(jù)快，是數(shù)據(jù)處理的速度要求快。

（五）準確（Veracity）

強調(diào)數(shù)據(jù)處理中的準確性。

3 關(guān)鍵技術(shù)

（一）數(shù)據(jù)存儲技術(shù)

數(shù)據(jù)存儲時講究存儲的可靠、安全以及高速的讀寫速度， 在利用云計算進行數(shù)據(jù)存儲一般采用分布式存儲，使得數(shù)據(jù)匯總并存儲到集群服務(wù)器，如HDFS被廣泛應(yīng)用，因為其擁有較高的容錯量，在對數(shù)據(jù)的訪問上也有較大容量，很適合大數(shù)據(jù)的處理，便捷了大數(shù)據(jù)的應(yīng)用。

（二）虛擬化數(shù)據(jù)管理技術(shù)

基于云計算的大數(shù)據(jù)技術(shù)在對數(shù)據(jù)管理上具有虛擬化特征，這能夠針對大量數(shù)據(jù)，建立一個虛擬空間鏈接數(shù)據(jù)處理，使得各級共同合作，提高運算效率。

4 大數(shù)據(jù)技術(shù)的應(yīng)用

大數(shù)據(jù)技術(shù)使其能在海量數(shù)據(jù)中快速篩選出最具有價值的信息，使其信息處理更加高速和便捷，其應(yīng)用涉及到多方面、多領(lǐng)域。優(yōu)化了領(lǐng)域服務(wù)，帶給領(lǐng)域革命化的突破，同時又提供給人們更加多樣和便捷服務(wù)。其一，金融領(lǐng)域的大數(shù)據(jù)存儲了大量微小企業(yè)客戶及數(shù)以億計的個人用戶行為信息、交易記錄、身份數(shù)據(jù)等，擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈，做 P2P 及個人小額信貸，具有最大優(yōu)勢[1]。其二，通過大數(shù)據(jù)的精確統(tǒng)計，可以收集用戶的喜好，消費習(xí)慣等等，可以更加準確的制定市場營銷的策略。其三，大數(shù)據(jù)對于公眾服務(wù)的應(yīng)用，可以更加便捷生活，建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫,實現(xiàn)醫(yī)院之間對病患信息的共享，提高患者就醫(yī)效率。[2]

5 小結(jié)

大數(shù)據(jù)技術(shù)作為當前熱門的技術(shù)領(lǐng)域,得到了廣泛的關(guān)注和研究。[3]基于云計算去研究大數(shù)據(jù)技術(shù)才能夠滿足時代的需求，兩者結(jié)合更能發(fā)揮出優(yōu)勢，進一步推動數(shù)據(jù)處理的發(fā)展。