基于大數(shù)據和云計算平臺與應用

范月祺 陳炯

（山西職業(yè)技術學院 山西省太原市 030006）

1 概述

隨著科技的發(fā)展和進步，互聯(lián)網技術也得以迅速發(fā)展，而且互聯(lián)網不僅操作簡單、聯(lián)系迅速，而且所覆蓋的信息較為全面逐漸成為人們日常生產和生活中不可獲取的一部分。互聯(lián)網的應用不僅有效的改變了傳統(tǒng)人們之間聯(lián)系的方式，而且還在一定程度上加快了人們的生活節(jié)奏并將人們帶入到一個全新的信息時代。作為時代發(fā)展的產物，大數(shù)據的發(fā)展為人類的生產和生活帶來了極大的便利，各個領域的日常工作、運轉等都是依托于大數(shù)據網絡技術的應用。而且計算機網絡技術本身就是一門綜合性加強的技術，其的應用不僅涉及到計算機技術而且還涉及了通信、密碼等過學科。另外，之所以計算機網絡技術得以普及發(fā)展最為根本的原因就是它的自由性，只要用戶連接到任意網絡就可以隨心所欲的找到自己想要的信息數(shù)據，進而方便人們獲取信息并為企業(yè)創(chuàng)造可觀經濟利益。而云計算則是與大數(shù)據應用相互依存的，雖然大數(shù)據技術可以高效的完成對信息的收集、處理等，但是由于在此過程中試單機系統(tǒng)，而要處理大量的信息勢必會給系統(tǒng)帶來巨大負擔，為此，通過云計算平臺則可以有效的彌補此類問題，而且隨著科技的進步，云計算以及大數(shù)據平臺的應用逐漸成為計算機發(fā)展的核心技術。

2 云計算、大數(shù)據的產生背景

從2013年思科在視覺網絡指數(shù)中關于全球互聯(lián)網流量所做出的統(tǒng)計可以看出，全球互聯(lián)網的使用效率正在以爆炸式增長方式進行增長。而且此增長速度不僅僅指的是速率上的增長，譬如，僅2007年要比2002年的全球互聯(lián)網流量增加二十倍之多，而且其流量基數(shù)也十分龐大。面對如此大的流量數(shù)據，大數(shù)據概念也由此得以提出。而對于云計算此概念而言，美國國家標準與技術研究院則稱，其在使用過程中是按照使用量進行付費應用的，用戶可以借助網絡技術實現(xiàn)信息數(shù)據存儲、應用服務等。除此以外，大數(shù)據這一概念并非是單一的某項技術，而是多種技術的融合，簡而言之，大數(shù)據指的是在某時間內常規(guī)軟件無法對內容進行獲取、管理以及分析的數(shù)據集合。IBM 將大數(shù)據這一概念定義為四個V，分別指的是多樣化（Variety）、大量化（Volume）、價值（Value）以及快速化（Velocity）。而云計算與大數(shù)據技術又是相輔相成的，如果數(shù)據被稱作資源的化，而大數(shù)據、云計算則是對這些資源進行存儲的平臺。云計算作為一種應用模式，其核心技術主要包括數(shù)據處理技術，而大數(shù)據則是對數(shù)據資產進行盤活，進而使這些數(shù)據更好的為國家、企業(yè)、個人等服務，這也是云計算的最終目標。

3 大數(shù)據和云計算平臺的重要性

3.1 能夠對數(shù)據進行有效的管理

通過大數(shù)據以及云計算平臺可以將對海量數(shù)據按照某種規(guī)律或者原則將其進行劃分，并通過計算機技術的不同處理，將不同類型、不同行業(yè)以及復雜程度不同的數(shù)據進行相應的細化處理。通過對海量數(shù)據的分類化處理，不僅可以有效的按照數(shù)據特點進行處理，而且還可以提升數(shù)據的應用效率。由此此種數(shù)據處理方式可以滿足不同類型的數(shù)據收集和處理，為此可以極大滿足人們的不同需求，而且還可以確保數(shù)據的準確以及價值，確保整個平臺的安全穩(wěn)定運行。另外，在大數(shù)據以及云計算平臺的應用中，為了更好的提升數(shù)據的有效管理，還可以構建一個信息系統(tǒng)，從而將某行業(yè)內部數(shù)據進行分類統(tǒng)一保存，從而便于后續(xù)的使用。

3.2 能夠為信息安全提供絕對保障

能夠高效的處理大量、復雜且多元化的信息，作為大數(shù)據、云計算平臺的優(yōu)勢特點，所以在應用過程中可以極大的提升數(shù)據的安全性，從而為數(shù)據的存儲和應用提供一個較為安全的穩(wěn)定環(huán)境，有效的避免數(shù)據泄露造成的經濟損失等。當平臺接收到來自外部信息數(shù)據時，首先就會對信息的來源安全進行合理判斷，而對于那些無法進行判斷或者無法確定是否合法的數(shù)據則會強制關閉或者禁止其進行相關操作。對于來源合法的數(shù)據則通過保密且安全的操作處理，進而確保數(shù)據信息的完整和安全。對于企業(yè)或者個人而言，信息的安全顯得尤為重要，而通過大數(shù)據以及云計算平臺的應用不僅可以對不同行業(yè)的信息數(shù)據進行分開保密的處理，而且還可以確保信息不被外來盜取，從而確保信息的絕對安全。

4 云計算、大數(shù)據平臺的主要技術框架

4.1 Hadoop簡介

簡單來講，Hadoop 就是一個可以對大量數(shù)據進行分析和處理的開源軟件框架。而且其除了可以對大量的數(shù)據進行處理外還具有一定的擴展性，為此，其在2008年成為了Apache 的頂級項目之一。而且隨著科技的進步，Hadoop 也得到了廣泛的應用，從2006年亞馬遜首個使用該系統(tǒng)的運行商，到目前的的阿里巴巴、騰訊以及微軟等各大企業(yè)都應用了屬于自己的Hadoop 平臺，Hadoop 的優(yōu)勢作用逐漸凸顯出來，并得以迅速發(fā)展。

Hadoop 系統(tǒng)是由多個組件而組成的。其主要包括Flume、Sqoop、Zookeeper、HDFS、MapReduce、HBase、Pig、Hive 以 及Ambari 等。其中，F(xiàn)lume 主要是對海量數(shù)據進行收集、整合以及傳輸?shù)南到y(tǒng)；Sqoop 則主要完成對數(shù)據的轉移；Zookeeper 則幫助整個系統(tǒng)提供配置維護以及分布式同步等功能；而分布式文件系統(tǒng)HDFS 以及MapReduce 則是整個系統(tǒng)的核心組件；HBase 則是完成對非結構化的數(shù)據進行擴展存儲；Pig 可以幫助用戶在不熟悉JAVA等編程規(guī)則時進行相關代碼的編寫；Hive 將系統(tǒng)的數(shù)據庫作為基礎架構，為用戶提供一種SQL 的查詢語言；Ambari 則是系統(tǒng)集群的監(jiān)控工具。

4.2 Spark簡介

與Hadoop 不同，Spark 系統(tǒng)可以基于內存算法來快速來完成對數(shù)據的分析及處理。2010年加州伯克利大學開始了對此項目的研發(fā)，起初該系統(tǒng)僅是由六十三個Scala 語言來進行編程操作的。而到2014年，隨著Spark 優(yōu)勢作用逐漸凸顯出來，其也被Apache列為重要的研發(fā)項目之一。由于Spark 是依托于內存計算來完成對數(shù)據的處理所以其對于數(shù)據的處理效率要比Hadoop MapReduce 的處理效率高百倍及以上。而且，與Hadoop 相比，此系統(tǒng)可以支持多種接口，譬如，Java、Python 等編程語言，所以極大的方便了用戶的使用。

在此開源系統(tǒng)中，Spark 系統(tǒng)中的Apache Mesos 可謂說是中低層資源管理部署平臺，而Tachyon 的應用則有效的實現(xiàn)了對數(shù)據的存儲，而其他項目的應用譬如，數(shù)據庫查詢工具、大規(guī)模近似查詢、機器學習項目、圖片處理以及一些平臺支持的工具，如任務服務器和前端編程語言SparkR 等等，則主要通過Spark 平臺的基礎上來實現(xiàn)各項功能的。另外，該系統(tǒng)還可以與亞馬遜AWS 或者Hadoop等數(shù)據和云計算項目聯(lián)合應用，譬如，其與Hadoop YARN 集群管理平臺的構建等。

5 基于大數(shù)據和云計算平臺的應用

5.1 Hadoop的應用

對于Hadoop 的應用，國內知名的企業(yè)主要有百度、阿里巴巴、騰訊以及華為等。以下將具體進行闡述：

（1）百度。作為搜索巨頭公司，百度主要通過語義分析來實現(xiàn)對海量數(shù)據的搜索功能，并且可以精準的通過搜索關鍵字來完成精準的匹配。通過Hadoop 數(shù)據處理平臺，百度平均每天可以完成的數(shù)據處理量可達20 PB。Hadoop 在此過程中則主要被應用在網頁的分析、日志的存儲分析、在線廣告的點擊以及用戶推薦等；

（2）阿里巴巴。阿里巴巴可以說是我國目前最大的一個電商平臺，而且其也是我國第一個使用Hadoop 平臺來處理相關數(shù)據信息的企業(yè)。從2008年開始，阿里巴巴旗下的淘寶就開始依托Hadoop 平臺構建云梯研究。作為全國最大的Hadoop 集群之一，云梯的應用不僅可以有效的滿足淘寶對海量數(shù)據分析的要求，而且其數(shù)據容量也較大，并且目前其正在以每天255 TB 的速度進行增長；

（3）騰訊。作為國內互聯(lián)網行業(yè)的領軍企業(yè)之一，騰訊業(yè)務也逐漸由最開始的QQ 覆蓋為社交網絡、電子商務、在線游戲等各類網絡服務。騰訊不僅僅依靠自主研發(fā)的臺風云計算平臺來完成對批量數(shù)據的處理和分析外，還通過Hadoop 技術來進行網頁分析或者數(shù)據挖掘等一些特殊問題。而且騰訊通過臺風與Hadoop 技術的有機融合，不僅僅發(fā)揮了Hadoop 技術優(yōu)勢，而且還在一定程度上提升了對數(shù)據資源的利用效率；

（4）華為。在2013年6月華為推出了首個國內運營云平臺，截止到目前，該平臺所簽署的ISV 數(shù)量已經超過三千多家。另外，華云數(shù)據電商云的開發(fā)也極大的吸引了電商的入駐，由此也在一定程度上促進了華云數(shù)據平臺的應用和發(fā)展。截止到2014年3月，華為又推出了自主研發(fā)的第四代云計算產品。

5.2 Spark的應用

隨著大數(shù)據時代的到來，大數(shù)據技術也被廣泛的應用在各行各業(yè)中，尤其是互聯(lián)網公司在廣告以及業(yè)務推薦方面，更是通過大數(shù)據技術來進行相關數(shù)據分析、定向投放等，而且還可以大數(shù)據來對系統(tǒng)的應用情況以及熱點點擊等進行分析。而Spark 的應用則可以為有效的滿足計算量加大且效率要求較高的場景。

5.2.1 騰訊

作為應用Spark 技術最早的企業(yè)之一，騰訊廣點通通過利用Spark 處理數(shù)據的優(yōu)勢，并依靠“數(shù)據+算法+系統(tǒng)”作為應用目標，極大的促進了對數(shù)據的實時采集以及對系統(tǒng)的實時預測，從而可以滿足每天上百億的點擊量。通過應用Spark Shark 中日志數(shù)據的快速查詢功能，可以有效的發(fā)揮對日志數(shù)據的席查詢功能，而且其使用性能要比Hive 高達2 到10 倍，如果在應用上內存表，其將比Hive 高達百倍以上。

5.2.2 Yahoo

Yahoo 通過應用Spark 技術，有效的完成了Audience Expansion算法。該算法作為廣告中有效尋找目標的最主要算法之一，其首先可以根據用戶觀看廣告且購買產品的客戶進行溝通交流，然后以此為基礎在進行新用戶的開發(fā)，并有針對性的進行廣告投放。通過Spark 集群的應用，可以有效的實現(xiàn)客戶的尋找以及即席查詢。

5.2.3 淘寶

在傳統(tǒng)的阿里搜索廣告的業(yè)務中，其主要是通過使用完全屬于自己知識產權的MapReduce 程序以及Mahout 程序來實現(xiàn)對目標客戶的相關算法，但是由于兩個程序無論是在效率還是代碼的維護方面均無法滿足廣告投放需求，由此嚴重阻礙了阿里對目標客戶的廣告投放效率。而淘寶通過基于內存算法的Spark 技術應用，不僅可以解決多次迭代的計算機算法，而且還可以高效處理較為復雜的算法等。并且通過對Spark Graphx 的應用，還有效的解決了淘寶商家生產線的問題，譬如基于隨機游走的用戶屬性傳播等問題。

5.2.4 優(yōu)酷土豆

通過Spark 的應用，首先可以有效的提升交互查詢效率，對于模擬廣告的投放計算效率也得到明顯提升，而且通過機器學習等算法的應用，極大的降低了網絡傳輸以及數(shù)據落地等問題。

總而言之，作為時代發(fā)展的產物，大數(shù)據的發(fā)展為人類的生產和生活帶來了極大的便利，各個領域的日常工作、運轉等都是依托于大數(shù)據網絡技術的應用。而且計算機網絡技術本身就是一門綜合性加強的技術，其的應用不僅涉及到計算機技術而且還涉及了通信、密碼等過學科。另外，之所以計算機網絡技術得以普及發(fā)展最為根本的原因就是它的自由性，只要用戶連接到任意網絡就可以隨心所欲的找到自己想要的信息數(shù)據，進而方便人們獲取信息并為企業(yè)創(chuàng)造可觀經濟利益。而且在大數(shù)據與云計算在應用過程中也是相輔相成的，通過兩者的應用不僅可以有效提升大數(shù)據與云計算技術的使用價值，而且還可以有效的促進我國信息化水平的提高。