云計算下的大數(shù)據(jù)

文| 陳宇輝

云計算下的大數(shù)據(jù)

文| 陳宇輝

隨著云計算、物聯(lián)網(wǎng)等計算機技術(shù)的興起，各類智能移動終端設(shè)備不斷被研發(fā)，互聯(lián)網(wǎng)數(shù)據(jù)量大大增加，而“大數(shù)據(jù)”是指增長迅速、規(guī)模巨大且與傳統(tǒng)數(shù)據(jù)處理架構(gòu)不相適應(yīng)的信息數(shù)據(jù)，通過對其進行數(shù)據(jù)分析，人們可以從中發(fā)現(xiàn)有價值的相關(guān)信息。本文主要深入分析云計算下的大數(shù)據(jù)處理技術(shù)。

大數(shù)據(jù)“4V”特征

數(shù)據(jù)量巨大 (Volume Big)。就目前而言，大數(shù)據(jù)的數(shù)據(jù)儲存量已高達PB級別，部分已達到ZB級別，其儲存容量比傳統(tǒng)數(shù)據(jù)庫大好幾倍，因此，大數(shù)據(jù)的數(shù)據(jù)量被稱為“超量數(shù)據(jù)”。由于量變過程最終會導(dǎo)致質(zhì)變產(chǎn)生，隨著海量數(shù)據(jù)的增長速度不斷加快，傳統(tǒng)數(shù)據(jù)技術(shù)必然無法滿足巨大數(shù)據(jù)量的管理和存儲需求。

數(shù)據(jù)類型多樣 (Variable Type)。大數(shù)據(jù)還具有數(shù)據(jù)類型多樣的顯著特點，大數(shù)據(jù)中包括大量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等，這些數(shù)據(jù)一般以圖表、文本、視頻、語音、動態(tài)數(shù)據(jù)、傳感器數(shù)據(jù)、移動終端數(shù)據(jù)等形式存在，且多樣數(shù)據(jù)間的關(guān)系也十分復(fù)雜。

數(shù)據(jù)價值高、密度低 (Value High and Low Density)。在大數(shù)據(jù)的處理分析過程中，很可能需要同時處理一部分沒有意義的數(shù)據(jù)，經(jīng)過大量的沒有意義的數(shù)據(jù)分析處理，才有可能會得出無意義數(shù)據(jù)中所包含的那一部分高價值數(shù)據(jù)，進而得出高價值的數(shù)據(jù)分析結(jié)果。

數(shù)據(jù)具有動態(tài)性 (Velocity)。科學(xué)技術(shù)的飛速發(fā)展，促使計算機、傳感器設(shè)備、移動終端設(shè)備、的數(shù)據(jù)搜集頻率和上傳速度不斷加快，導(dǎo)致大數(shù)據(jù)中包含的各類數(shù)據(jù)無時無刻都在實時更新和增加，即大數(shù)據(jù)中的數(shù)據(jù)信息具有顯著的實時動態(tài)性。

大數(shù)據(jù)與云計算的關(guān)系

云計算技術(shù)是指根據(jù)按需分配的原則通過集中式遠程計算機數(shù)據(jù)資源池向終端用戶提供強大而廉價的計算服務(wù)技術(shù)。作為一種數(shù)據(jù)處理技術(shù)，云計算技術(shù)具有如下特點：① 從物理方面分析，數(shù)據(jù)資源池對終端用戶是完全透明的，用戶可根據(jù)自己所需從資源池中獲取相應(yīng)數(shù)據(jù)；② 云計算技術(shù)可以為各行各業(yè)提供優(yōu)質(zhì)的規(guī)?；嬎惴?wù)，而且其服務(wù)能力具有重大發(fā)展?jié)摿Γ虎?云計算技術(shù)應(yīng)用部署迅速便捷，能根據(jù)終端用戶對服務(wù)方式和服務(wù)質(zhì)量的要求進行定制，具有強大的彈性伸縮能力；④ 用戶可輕易獲取云端數(shù)據(jù)，同時可實現(xiàn)資源共享，數(shù)據(jù)使用成本低。

縱觀現(xiàn)今各種計算機數(shù)據(jù)處理技術(shù)，云計算技術(shù)可謂是目前最大型的信息數(shù)據(jù)存儲、傳輸和處理平臺，它能為大數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)，是大數(shù)據(jù)處理的必然之選。首先，云計算可以為大數(shù)據(jù)提供接近“無限”的存儲空間，數(shù)據(jù)處理速度快速，可滿足大數(shù)據(jù)的超大容量存儲要求和復(fù)雜數(shù)據(jù)分析處理需求，而這一點正是傳統(tǒng)數(shù)據(jù)存儲方式無法實現(xiàn)的。其次，云計算技術(shù)注重數(shù)據(jù)的計算處理，而大數(shù)據(jù)正是需要強大的數(shù)據(jù)處理能力，因此，云計算能滿足大數(shù)據(jù)的需要，促進云計算的數(shù)據(jù)處理類型的多樣化發(fā)展。

云計算下的大數(shù)據(jù)分析過程

數(shù)據(jù)采集。大數(shù)據(jù)的采集過程是整個數(shù)據(jù)分析過程的重要基礎(chǔ)，目前，互聯(lián)網(wǎng)技術(shù)的發(fā)展日新月異，隨著各種終端設(shè)備的不斷普及，數(shù)據(jù)產(chǎn)生速率越來越高，數(shù)據(jù)產(chǎn)量也日益增多，數(shù)據(jù)間關(guān)系變得更為復(fù)雜，唯有全面提高數(shù)據(jù)采集速度和精度才能滿足大數(shù)據(jù)的處理需求。

數(shù)據(jù)處理與集成。大數(shù)據(jù)的處理與集成是對采集到的數(shù)據(jù)進行一定的格式化處理、去噪處理和進一步的集成存儲處理。由于采集到的數(shù)據(jù)具有多樣化，且各類數(shù)據(jù)的結(jié)構(gòu)也不統(tǒng)一，對后續(xù)的數(shù)據(jù)分析進行有一定阻礙。因此，需要對數(shù)據(jù)進行處理，將無效數(shù)據(jù)預(yù)先去除，提高后續(xù)數(shù)據(jù)分析的可靠性和精度。

數(shù)據(jù)分析。完成對數(shù)據(jù)的采集和初步處理后，必須對數(shù)據(jù)進行分析，以得出大數(shù)據(jù)中的重要價值。數(shù)據(jù)分析過程的對象是經(jīng)初步處理與集成的具有統(tǒng)一格式的數(shù)據(jù)，該過程能夠根據(jù)用戶所需的數(shù)據(jù)應(yīng)用需求和價值體現(xiàn)方向進一步對原始樣本數(shù)據(jù)進行深入處理和分析。

數(shù)據(jù)解釋。數(shù)據(jù)解釋是指對分析后得出的數(shù)據(jù)結(jié)果進行解釋并向用戶展現(xiàn)，在數(shù)據(jù)處理過程中，對數(shù)據(jù)結(jié)果的解釋是指需要進行大數(shù)據(jù)分析的用戶能夠直觀了解分析結(jié)果的過程。傳統(tǒng)的數(shù)據(jù)分析結(jié)果顯示方式通過文本方式體現(xiàn)的，但由于數(shù)據(jù)量的迅速增加，傳統(tǒng)數(shù)據(jù)分析的結(jié)果也變得越來越復(fù)雜，傳統(tǒng)的數(shù)據(jù)顯示方法根本無法滿足這樣的大數(shù)據(jù)分析結(jié)果展示，而大數(shù)據(jù)中的可視化技術(shù)則能夠有效解決這一問題。

云計算下的大數(shù)據(jù)處理關(guān)鍵技術(shù)分析

采集技術(shù)。事實上，數(shù)據(jù)的采集方式有兩種，包括集中式和分布式，從靈活性考慮，分布式較集中式好；從全局性考慮，集中式較分布式好。基于云計算的大數(shù)據(jù)采集對象一般為組織系統(tǒng)內(nèi)部及各自相互獨立組織系統(tǒng)間的各類數(shù)據(jù)，而云計算恰好具備數(shù)據(jù)并行處理的顯著特點，因此，大數(shù)據(jù)通過云計算可以采用混合式采集方式實現(xiàn)數(shù)據(jù)的高效采集。

具體工作原理為：大數(shù)據(jù)在組織系統(tǒng)內(nèi)部應(yīng)用集中式數(shù)據(jù)采集方式，并以組織系統(tǒng)內(nèi)部的數(shù)據(jù)配置中心服務(wù)器作為集中式數(shù)據(jù)的注冊機構(gòu)，全面實現(xiàn)組織內(nèi)部數(shù)據(jù)的存儲和共享。而在各自相互獨立組織系統(tǒng)間，基于云計算的虛擬化技術(shù)、集群技術(shù)等在各自相互獨立的組織系統(tǒng)中心服務(wù)器內(nèi)通過分布式采集方式對數(shù)據(jù)進行采集、對接和共享。由于大數(shù)據(jù)中包含多樣化數(shù)據(jù)，在應(yīng)用云計算技術(shù)的前提下，采用分布式采集方式時，也可以依靠云計算的超強擴展性同化數(shù)據(jù)池內(nèi)的數(shù)據(jù)信息，再進一步對數(shù)據(jù)實行分類存儲。

存儲技術(shù)。信息爆炸時代下的數(shù)據(jù)具有超大體量、復(fù)雜、離散的特點，使得傳統(tǒng)數(shù)據(jù)存儲方式已無法滿足大數(shù)據(jù)的存儲要求。

首先，在數(shù)據(jù)容量方面，單結(jié)點的數(shù)據(jù)庫無法滿足每日呈幾何速度增長的數(shù)據(jù)量；在運行效率方面，也無法達到大數(shù)據(jù)的分析處理效率要求。其次，傳統(tǒng)數(shù)據(jù)庫采用的是按行存儲方式，需要大量存儲空間，雖然能為用戶提供大容量數(shù)據(jù)的索引和視圖，但在實際操作應(yīng)用中，需花費大量時間。

云計算技術(shù)采用的是列式存儲方式，不僅可以區(qū)分數(shù)據(jù)的不同屬性，還能根據(jù)數(shù)據(jù)的不同屬性將其單獨存放。云計算技術(shù)這種存儲方式能讓用戶在投影數(shù)據(jù)時，只需查詢到其屬性列就可以準(zhǔn)確查找數(shù)據(jù)位置，全面提升系統(tǒng)處理量和處理效率。另一方面，這種存儲方式還可以按照數(shù)據(jù)屬性對其進行列式存儲，若相鄰列數(shù)據(jù)相似性很高，系統(tǒng)就會對其進行進一步壓縮，全面提高數(shù)據(jù)壓縮率，有效節(jié)約存儲空間。

挖掘技術(shù)。數(shù)據(jù)挖掘技術(shù)則是一種基于聯(lián)機分析的技術(shù)，它能從海量數(shù)據(jù)庫中精確提取出數(shù)據(jù)中的隱含價值信息，并利用多媒體系統(tǒng)表達各數(shù)據(jù)信息間的規(guī)律、概念及模型特性?；谠朴嬎愕拇髷?shù)據(jù)挖掘采用的是分布式并行挖掘技術(shù)，對比各類數(shù)據(jù)串行方式，該技術(shù)借助機器集群對分布式系統(tǒng)中的并行任務(wù)進行拆分，再將經(jīng)拆分后的各個任務(wù)分別交由到不同的機器去進行進一步處理，真正實現(xiàn)對大數(shù)據(jù)的規(guī)模性處理，節(jié)省數(shù)據(jù)分析處理成本和時間。

可視化技術(shù)?；谠朴嬎愕目梢暬夹g(shù)可將經(jīng)挖掘技術(shù)處理后的有價值信息進行具體化，將數(shù)據(jù)及與數(shù)據(jù)相關(guān)的信息直觀全面地表示出來?？梢暬夹g(shù)就是指應(yīng)用圖像表示手法將存儲空間的數(shù)據(jù)庫信息表現(xiàn)出來，同時采用其他分析方法進一步獲取圖像中的隱含未知信息。可視化技術(shù)不僅可以對非空間數(shù)據(jù)進行多維度的圖像顯示，還有利于數(shù)據(jù)圖形的直觀表現(xiàn)，讓用戶能更好地挖掘和理解數(shù)據(jù)信息，有效提高數(shù)據(jù)檢索效率。

總之，在信息技術(shù)發(fā)展的大力推動下，基于云計算的大數(shù)據(jù)分析已逐步成為有效解決大數(shù)據(jù)問題的有效手段，為體現(xiàn)大數(shù)據(jù)海量信息所累積的高效價值，在全面部署云計算下的大數(shù)據(jù)分析平臺時，必須充分考慮系統(tǒng)硬件、計算機網(wǎng)絡(luò)、應(yīng)用軟件等各方面的集成，全面發(fā)揮云計算技術(shù)的優(yōu)質(zhì)性能，確保大數(shù)據(jù)分析具備高效性和準(zhǔn)確性。

中共哈爾濱市平房區(qū)委統(tǒng)戰(zhàn)部）