云技術對大數(shù)據(jù)管理的作用分析研究

林漢城

(閩南理工學院，福建 石獅 362700)

0 引言

根據(jù)國際數(shù)據(jù)公司對數(shù)據(jù)監(jiān)測情況來看，預計2020年，全球的數(shù)據(jù)量將會達到35萬億GB的數(shù)據(jù)量，其增長速度同比增長了近20倍。因為數(shù)據(jù)量的急據(jù)增長，沖擊著互聯(lián)網(wǎng)行業(yè)，數(shù)據(jù)變得越來越龐大，數(shù)據(jù)類型也變得越來越復雜，已經(jīng)超出了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)的處理能力，導致數(shù)據(jù)管理進入瓶頸。大數(shù)據(jù)概念也因此應運而生。其數(shù)據(jù)類型也分為結構化、半結構化、非結構化三大類。此外，數(shù)據(jù)的更新速度較快，實時動態(tài)處理要求高。為了達到這一目的，人們不得不使用云計算技術對其優(yōu)化。本文著重探討云計算與大數(shù)據(jù)的基本理論，分析云技術對數(shù)據(jù)管理的作用。

1 云計算與大數(shù)據(jù)基本理論

1.1 云計算對于云計算而言，其起源主要是量子物理中的 “電子云”。根據(jù)量子物理中的電子云實質(zhì)，不難得到云計算的存在意義，它主要是強調(diào)了以下三個性質(zhì)，即為彌漫性、分布性與社會性。云技術的發(fā)展主要經(jīng)歷了四個過程，第一、網(wǎng)格計算過程；第二、共用計算過程；第三、軟件服務過程；第四、云計算過程。其基本類型又可以分為三類，即為基礎設施服務類型、平臺服務類型、軟件服務類型。由此可見，云計算的提出是計算機科學發(fā)展與進步的里程碑。

1.2 大數(shù)據(jù)大數(shù)據(jù)定義還沒有統(tǒng)一的規(guī)范，一般說法是：第一， 大數(shù)據(jù)的數(shù)據(jù)量大、其結構十分復雜。 第二，大數(shù)據(jù)是具有種類多、流量大、容量大、價值高、社會特征豐富的數(shù)據(jù)。 第三，大數(shù)據(jù)是具有內(nèi)容大、分析大、帶寬高的海量數(shù)據(jù)。

1.3 大數(shù)據(jù)與云計算的關系所謂大數(shù)據(jù)就是海量數(shù)據(jù)，以所獲得的數(shù)據(jù)為分析依據(jù)，進行剖析，從而得到認識的完整性。云計算的實質(zhì)就是計算，它測重點是重視IT的解決方案，構造IT的基礎框架，該過程主要是計算能力，常用于數(shù)據(jù)的處理與優(yōu)化。 海量數(shù)據(jù)是實現(xiàn)云計算的基石，充分利用云計算的強大分析能力與數(shù)據(jù)處理能力，能夠提高大數(shù)據(jù)時代下的數(shù)據(jù)管理特性，從中獲取到數(shù)據(jù)所攜帶的社會特征。兩者之間共同促進，相輔相成。其主要區(qū)別見表1。

表1 大數(shù)據(jù)與云計算的關系表

2 云計算技術下大數(shù)據(jù)管理分析

眾所周知，傳統(tǒng)的數(shù)據(jù)管理模式，它主要有兩種形式，第一是收集數(shù)據(jù)，第二是存儲數(shù)據(jù)。我們以大數(shù)據(jù)背景為主，在云環(huán)境下建立數(shù)據(jù)管理模式，其管理模式結構如圖 1所示。

圖1 基于云計算的大數(shù)據(jù)管理模式

2.1 大數(shù)據(jù)采集

對大數(shù)據(jù)采集主要有以下兩種方式：其一為集中式采集；其二則為分布式采集。這二種采集數(shù)據(jù)的方法各有優(yōu)缺點。相對于分布式采集，集中式采集有著容易控制全局數(shù)據(jù)的優(yōu)點。相對于集中式采集，分布式采集又有著善于處理變化數(shù)據(jù)的優(yōu)點。兩者優(yōu)缺點如表2所示。

表 2 兩種數(shù)據(jù)采集方法優(yōu)缺點對照表

從上表中，我們可以看出，大數(shù)據(jù)時代下的數(shù)據(jù)采集方法各有優(yōu)點，選擇什么方法，需要結合實際情況，這樣才能充分利用云技術來管理數(shù)據(jù)。

圖2 基于云計算大數(shù)據(jù)分布式采集模式

對于大數(shù)據(jù)背景的數(shù)據(jù)來說，其數(shù)據(jù)結構十分復雜，在對數(shù)據(jù)進行采集時，針對不同的數(shù)據(jù)類型，我們應該采用不同的數(shù)據(jù)存儲，換句話說，數(shù)據(jù)要分類存儲，這樣才利于對數(shù)據(jù)的后期管理。

2.2 大數(shù)據(jù)存儲

在云計算中，我們需要一定的數(shù)據(jù)倉庫作為計算中轉站，這也使得如何存儲數(shù)據(jù)成為人們關注的焦點。根據(jù)研究得知，數(shù)據(jù)庫是一個具有倉儲、集成性、相對穩(wěn)定性的數(shù)據(jù)組合。通過對新型數(shù)據(jù)存儲與傳統(tǒng)數(shù)據(jù)存儲的比較，我們不難發(fā)現(xiàn)這樣一個問題，就新型的數(shù)據(jù)存儲來說，其存儲實質(zhì)偏向數(shù)據(jù)分析與數(shù)據(jù)決策。 傳統(tǒng)數(shù)據(jù)庫存儲的實質(zhì)與新型的數(shù)據(jù)存儲有所不同，它主要是利用運營型系統(tǒng)來對數(shù)據(jù)進行存儲。綜上所述，大數(shù)據(jù)背景下的數(shù)據(jù)存儲用傳統(tǒng)的數(shù)據(jù)存儲方式已無法滿足。

隨著數(shù)據(jù)量的增長，數(shù)據(jù)結構變的十分復雜。單結點的數(shù)據(jù)庫在存儲數(shù)據(jù)與分析海量數(shù)據(jù)中顯得力不從心。傳統(tǒng)的數(shù)據(jù)庫主要是根據(jù)元組按行的方式存儲數(shù)據(jù)，這種存儲方式不利于后期維護數(shù)據(jù)。大數(shù)據(jù)采用列式存儲數(shù)據(jù)庫能夠輕松地解決這一問題。列式數(shù)據(jù)庫存儲實質(zhì)主要是基于屬性列存儲，也就是說，在存儲中，每一屬性列都單獨存放，這就降低了數(shù)據(jù)的維護成本。尤其在云環(huán)境下，利用云技術存儲數(shù)據(jù)無疑增加了數(shù)據(jù)庫的管理能力。

2.3 大數(shù)據(jù)聯(lián)機分析

在數(shù)據(jù)存儲中，聯(lián)機分析并處理海量數(shù)據(jù)，是云計算的應用特點。聯(lián)機分析數(shù)據(jù)庫能支持十分復雜的數(shù)據(jù)分析操作，側重決策支持。在此過程中，聯(lián)機分析數(shù)據(jù)也能夠得到我們需要的信息。對于聯(lián)機分析而言，其實質(zhì)主要是以數(shù)據(jù)庫中的海量數(shù)據(jù)為切入點，通過計算并構建出相關的數(shù)據(jù)分析多維模型，并使用多維分析數(shù)據(jù)的方法，從多個角度、多個層次入手，其分析結構如圖3所示。聯(lián)機分析處理的一大特點就是對數(shù)據(jù)多維分析，極大地加強了對數(shù)據(jù)庫多維數(shù)據(jù)的信息采集效率。

圖3 數(shù)據(jù)聯(lián)機分析

利用聯(lián)機分析處理技術可以簡化大數(shù)據(jù)背景下的數(shù)據(jù)管理模式，使數(shù)據(jù)維護效率得到顯著提高。

3 云環(huán)境下的大數(shù)據(jù)管理策略構建

3.1 制定合理的大數(shù)據(jù)管理規(guī)則

為促進云技術背景下的數(shù)據(jù)管理，解決大數(shù)據(jù)所帶來的諸多問題。不少商家開始尋求數(shù)據(jù)管理所帶來的機遇，許多國家逐步涉獵其中，試圖挖掘大數(shù)據(jù)所帶來的商業(yè)潛力。美國為了迎合大數(shù)據(jù)背景下的商業(yè)價值，推出了大數(shù)據(jù)研究與開發(fā)計劃。中國在關注云技術與大數(shù)據(jù)進步的同時，合理規(guī)劃大數(shù)據(jù)管理計劃，還在積極地開展并推動大數(shù)據(jù)背景下的數(shù)據(jù)管理，努力提升海量數(shù)據(jù)的管理與應用能力。

3.2 制定大數(shù)據(jù)信息安全保護決策

基于大數(shù)據(jù)時代背景，一般的數(shù)據(jù)存儲都借助于非關系型數(shù)據(jù)庫，而許多非關系型數(shù)據(jù)庫在安全性上并沒有嚴格控制。同時又因為數(shù)據(jù)來源十分廣泛，這無形中就增加了監(jiān)管部門對數(shù)據(jù)安全的監(jiān)管難度。又因為在實際過程中，數(shù)據(jù)的儲存都不太分散，這樣一來，數(shù)據(jù)保護雖然得到了便利。但是數(shù)據(jù)的安全卻得不到保障,所以就需要人們重視數(shù)據(jù)安全，建立保護數(shù)據(jù)的法律法規(guī)。除此之外,基于技術進步以及數(shù)據(jù)信息的指數(shù)級增長方式，相關部門應該在數(shù)據(jù)量增加的同時細化相關法律，使其落實到實處。當然也需要借鑒其他地方的管理經(jīng)驗，共同保護云環(huán)境下的大數(shù)據(jù)安全，對數(shù)據(jù)管理具有重要意義。

3.3 建立云計算和大數(shù)據(jù)的技術標準

云技術下大數(shù)據(jù)的管理技術標準，比如云的相關特性和接口的優(yōu)化，在操作云時的業(yè)務遷移與相關安全性問題都需要解決。在解決過程中又需要結合大數(shù)據(jù)背景下的技術標準，包括采集、質(zhì)量、生命周期等，對大數(shù)據(jù)背景下的數(shù)據(jù)管理是極為有益。目前，世界領域中的云計算標準化工作已啟動了，針對于大數(shù)據(jù)所帶來的機遇和挑戰(zhàn)，為了更好地應對。我們也應該積極參與其中，合理制定大數(shù)據(jù)與云計算標準，繼而優(yōu)化數(shù)據(jù)管理。

4 結語

科技發(fā)展加快了數(shù)據(jù)更新速度，數(shù)據(jù)處理已需要以毫秒作為度量單位，應該充分利用云計算技術對其優(yōu)化。數(shù)據(jù)管理的實質(zhì)就是對數(shù)據(jù)的分析與處理。在今后的學習或研究過程中，我們應該加強對云技術的應用，將其與大數(shù)據(jù)時代下的數(shù)據(jù)管理結合，共同發(fā)展，相互促進，為今后網(wǎng)絡互連、信息互通、數(shù)據(jù)共享保駕護航。

〔1〕陸麗婷.大數(shù)據(jù)環(huán)境下的平臺架構技術研究〔J〕.計算機代,2014(10):22-23.

〔2〕孫久朋.大數(shù)據(jù)時代下煤炭企業(yè)精益管理分析探討〔J〕.經(jīng)濟視野,2016 (12):64-65.

〔3〕張莉.云環(huán)境下的大數(shù)據(jù)處理技術研究〔J〕.科技展望2017,27(15)：1-3.

〔4〕王曉萍.大數(shù)據(jù)時代云計算在新媒體平臺的應用研究〔J〕.電子制作,2015(10).158