基于云計算的大數據統(tǒng)

王穎?梁雪晴?王延輝

摘 要：本文主要是對基于云計算的大數據統(tǒng)一分析平臺進行研究與設計，首先介紹了大數據的基本特點以及基于云計算構建的大數據統(tǒng)一分析平臺的優(yōu)勢，而后從大數據統(tǒng)一分析平臺的體系結構、軟件結構等來實現大數據統(tǒng)一分析平臺，在此基礎上實現企業(yè)業(yè)務數據的統(tǒng)一處理與分析，提升企業(yè)核心競爭力。

關鍵詞：云計算；大數據分析；低響應時間；高速

一、概述

隨著現代科學技術的不斷發(fā)展和應用，互聯(lián)網成為人們生活中不可缺少的有機組成部分，各個社會行業(yè)領域積極地促進信息化、網絡化進程來提升企業(yè)的管理效率和數據信息的管理水平，也使得社會邁入了信息時代。信息時代的核心是數據，隨著時間的推移和互聯(lián)網用戶的不斷增加，互聯(lián)網中的數據呈指數級增長，目前已經達到了傳統(tǒng)數據技術難以處理和管理的地步。反過來講，海量數據對于一個企業(yè)來說，是一筆無形的財富，里面蘊含著很多對企業(yè)深度經營和精確營銷非常重要的信息，一個企業(yè)如何從海量數據中高效、快速地挖掘出對企業(yè)有用的知識，勢必會讓其在市場競爭中占有一席之地。大數據的快速發(fā)展，與云計算、物聯(lián)網一起顛覆了傳統(tǒng)的互聯(lián)網觀念，對于企業(yè)的發(fā)展決策、行為預測等起到非常重要的作用。然而傳統(tǒng)網絡構架對于數據洪流的處理隨著數據量的繼續(xù)增加已經顯得捉襟見肘，而基于云計算的思想構建大數據的統(tǒng)一分析平臺，將會大大降低大數據統(tǒng)一分析平臺的成本和數據處理的壓力，從而有效地實現對海量數據的快速存儲、處理與高效分析，最終減少數據分析的響應時間，提升企業(yè)業(yè)務的處理效率，最終提升企業(yè)在市場同業(yè)務中的競爭力。

二、基于云計算的大數據統(tǒng)一分析平臺的優(yōu)勢

大數據是“Big Data”，即大量信息數據，其在概念上需要符合三點：1）數據量龐大，該數據量一般在PB級別，常用海量等模糊詞來形容；2）數據結構復雜，大數據包含的信息眾多，類型復雜，除了傳統(tǒng)常規(guī)的結構化數據之外，大部分屬于非結構化數據，其包含的信息更加豐富；3）數據關聯(lián)度大，數據之間由于業(yè)務管理而使其關聯(lián)度非常高，這也是數據挖掘的最終意義體現，能夠挖掘到彼此之間相互的重要知識信息。

目前，大數據技術正在高速發(fā)展和廣泛應用，通過搭建云平臺來實現大數據的統(tǒng)一分析平臺，將提升整個系統(tǒng)對數據結構復雜度的包容力，實現了更多類型的非結構化數據處理能力和邏輯關聯(lián)能力的提升，最終實現了支持多類型非結構化的PB級別容量數據的分析，最終實現了前端應用在業(yè)務響應時間的減少，實現了其業(yè)務分析的價值提升，無論從經濟發(fā)展還是企業(yè)的戰(zhàn)略制定，都具有非常重要的實用價值。

利用云計算平臺構建大數據統(tǒng)一分析平臺，具有非常明顯的優(yōu)勢，首先，能夠按照企業(yè)的不同業(yè)務的優(yōu)先級來實現快速地對信息資源計算能力的分配；再者， 云計算平臺構建大數據分析平臺，通過細化數據集，保留數據集合內部的數據區(qū)別于聯(lián)系，從而優(yōu)化業(yè)務精確度，保持業(yè)務差異化，最終提升企業(yè)業(yè)務處理效率和水平；同時，云平臺實現大數據分析，能夠針對關鍵業(yè)務開展范圍內的組織寫作，實現最佳算法的傳播與挖掘結果的快速展現；最后，云平臺自身具有成本低的優(yōu)勢，通過云計算構建大數據分析平臺，可以構建商業(yè)化的大數據分析組件，從而擴展企業(yè)業(yè)務能力，提高業(yè)務機會，提升市場競爭力。所以，利用云計算構建大數據統(tǒng)一分析平臺，對于企業(yè)來說，提升業(yè)務數據處理能力，優(yōu)化數據細分粒度，降低數據訪問延遲，加快數據倉庫的構建以及實現數據分析的集成，從而為企業(yè)在市場競爭中取得先機優(yōu)勢。

三、基于云計算的大數據統(tǒng)一分析平臺的設計

1.分析平臺的體系結構

基于云計算的大數據統(tǒng)一分析平臺的設計，基本上拋棄了硬件結構，在相關的節(jié)點實現上都是以云計算平臺構建相應的虛擬硬件設施，來提供相應的硬件服務。基于云計算平臺，按照大數據統(tǒng)一分析平臺的基本需求構建相應的體系結構，從而實現最終的數據挖掘下的大數據分析功能。如圖1所示，為基于云計算大數據統(tǒng)一分析平臺的體系結構示意圖。

圖1 基于云平臺的大數據統(tǒng)一分析平臺體系結構示意圖

如圖1所示，整個系統(tǒng)結構的主要實現是以云計算為基礎，而相應的業(yè)務功能則是以大數據的思想來實現。在大數據統(tǒng)一分析平臺的后端，是整個大數據分析平臺的數據來源，主要是各個信息管理系統(tǒng)的數據庫存儲數據，例如企業(yè)的ERP系統(tǒng)、CRM系統(tǒng)等這些系統(tǒng)都會隨時產生大量的數據，為數據挖掘提供最原始的基礎數據。這些源數據在數據轉移下，經過大數據預處理技術，從而對數據進行轉換、清洗、去除噪聲數據等過程，最終形成可挖掘的數據，放置到數據倉庫中，最終經過大數據的數據挖掘技術實現對處理后的數據的處理，從而生成對于企業(yè)決策最基本的知識信息。最后，通過前端應用的實現，將這些數據形成直觀形象的數據報表，供企業(yè)決策者查閱分析，從而為企業(yè)的發(fā)展提供有效的、科學的依據。

2.分析平臺的軟件結構

大數據軟件架構的一般采用大數據分布式存儲和處理的思想來實現，通過構建一個Master主機和多個Slave的Segment服務器來實現對數據庫源數據的訪問、分析和處理。這種軟件結構每個存儲節(jié)點都相互獨立，彼此之間沒有數據共享，通過Master主機來實現slave節(jié)點的數據交換。一般的，Master服務器和Segment服務器之間通過互聯(lián)網相連，各個存儲節(jié)點之間在結構上沒有關聯(lián)，屬于完全無共享結構，從而實現了軟件結構的高擴展性，通過添加網絡節(jié)點和簡單配置即可增加網絡分布存儲節(jié)點。此外，為了提升系統(tǒng)高可用性，對于Master和Segment主機采用一主一備的方式，通過GE網絡將主機與Segment服務器相連，鏡像網絡實現數據備份，從而提升系統(tǒng)的可用性。

四、結語

基于云計算的大數據統(tǒng)一分析平臺的設計，是充分利用云計算技術和大數據數據挖掘技術，來試下對海量數據的存儲與管理，在高速的、智能的數據分析下，實現對海量數據的知識挖掘，最終優(yōu)化企業(yè)的業(yè)務處理能力，提升企業(yè)服務效率和水平。

參考文獻：

[1] 李巍巍. 基于云計算的大數據統(tǒng)一分析平臺設計與應用[J]. 自動化與儀器儀表. 2016（08）.

[2] 趙春雷，喬治·納漢. “大數據”時代的計算機信息處理技術 [J]. 世界科學. 2012（02）.

[3] 成靜靜，喻朝新. 基于云計算的大數據統(tǒng)一分析平臺研究與設計[J]. 廣東通信技術. 2013（01）.