一種安全性的海量數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)*

張德陽，王晶

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

一種安全性的海量數(shù)據(jù)處理平臺設(shè)計與實現(xiàn)*

張德陽1，2，王晶1，2

(1 北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京 100876； 2 東信北郵信息技術(shù)有限公司，北京 100191)

提出了一種開放分布式海量數(shù)據(jù)處理平臺的設(shè)計方案。該平臺以HDFS、Hive和HBase等作為底層數(shù)據(jù)存儲方式，以MapReduce、Spark和Storm等作為底層數(shù)據(jù)處理方式，向用戶提供了統(tǒng)一的接口，同時使用Kerberous進行權(quán)限控制，保證了數(shù)據(jù)安全性。這種開放式的服務(wù)可使用戶可在不同平臺不同環(huán)境下簡單方便地完成海量數(shù)據(jù)處理任務(wù)。

Hadoop；分布式系統(tǒng)；海量數(shù)據(jù)；Kerberous；數(shù)據(jù)處理平臺

1 引言

目前，解決海量數(shù)據(jù)處理主要有兩種方法：一種是傳統(tǒng)的超級計算機處理方式，例如中國著名的天河貳號，美國的泰坦等超級計算機；另一種是構(gòu)建于相對低廉的計算機集群之上的云計算平臺，例如Google的GFS，中國阿里的阿里云以及Apache基金會所開發(fā)的Hadoop等。對于大多數(shù)公司和政府機構(gòu)來說，更愿意付出一定的資金以獲得海量數(shù)據(jù)資源的安全性和保密性，即采用Hadoop開源云計算框架開發(fā)私有云平臺。Hadoop可在廉價的集群之上實現(xiàn)具有高可靠性、高擴展性和高容錯性等特點的云計算平臺。此外，由于Hadoop是依賴于開源社區(qū)的，研發(fā)和升級等的成本非常低。但Hadoop在實際的使用中也存在著很多缺點。首先，Hadoop的開源給我們帶來便利的同時，也因為Hadoop commons貢獻者各不相同而帶來難以管理的困擾。另一方面，Hadoop的權(quán)限管理也存在著極大的缺陷，對局域網(wǎng)內(nèi)部的人員來說，數(shù)據(jù)的權(quán)限劃分很不清晰。

本文介紹了一種基于Hadoop的分布式海量數(shù)據(jù)處理平臺的設(shè)計方案。首先闡述了數(shù)據(jù)處理平臺基本功能的構(gòu)建方案，包括分布式存儲與分布式計算的實現(xiàn)；然后介紹了系統(tǒng)的安全性保證措施，使用Kerberous和代理用戶訪問的方式解決鑒權(quán)問題；最后對該系統(tǒng)進行了相關(guān)測試。

2 平臺總體設(shè)計

數(shù)據(jù)處理平臺系統(tǒng)架構(gòu)如圖1所示。分布式海量數(shù)據(jù)處理平臺基于Hadoop構(gòu)建，可以充分利用Hadoop系統(tǒng)低成本高效率的優(yōu)點，同時針對Hadoop權(quán)限控制方面的不足，在用戶與數(shù)據(jù)層之間添加了一層數(shù)據(jù)處理平臺。平臺對底層可做到數(shù)據(jù)的統(tǒng)一管理，計算資源的統(tǒng)一分配，對上可以實現(xiàn)統(tǒng)一的用戶操作接口，方便操作的同時保證了數(shù)據(jù)的安全性。

圖1 總體系統(tǒng)架構(gòu)圖

2.1 基本功能

數(shù)據(jù)處理平臺的基本功能包括分布式存儲和分布式計算。在該系統(tǒng)中，用戶的一切操作都基于項目空間，一個項目空間中包括與該項目有關(guān)的各種資源，包括數(shù)據(jù)，用戶代碼，用戶自定義算法，任務(wù)信息，項目空間信息以及其他用戶想存儲的一切信息等。對這些資源的操作就屬于分布式存儲功能。

2．1．1 分布式存儲

數(shù)據(jù)處理平臺的存儲使用了Hadoop底層存儲提供的3種方式：HDFS、HBase和Hive。3種存儲方式各有其特點，系統(tǒng)會根據(jù)用戶提交的數(shù)據(jù)為其推薦存儲方式，用戶也可以自己指定存儲方式。我們的選取規(guī)則為：對于一般文件，例如圖片、視頻、音樂或其他數(shù)據(jù)結(jié)構(gòu)不明顯的數(shù)據(jù)，將其存儲為HDFS文件方式；對于數(shù)據(jù)表結(jié)構(gòu)清晰，例如從MySql中導(dǎo)入的數(shù)據(jù)，且用戶對數(shù)據(jù)的隨機訪問需求不大時，將選擇Hive存儲方式；對于數(shù)據(jù)結(jié)構(gòu)清晰且用戶有頻繁的隨機訪問需求時，選擇HBase存儲方式。

海量數(shù)據(jù)處理平臺長，一切操作都是面向項目空間的，所以如何將Hadoop的存儲方式映射到項目空間中，是一個重點問題。本文設(shè)計的映射規(guī)則如表1所示。

表1 文件系統(tǒng)映射規(guī)則

映射規(guī)則對用戶完全透明，用戶對不同方式存儲的數(shù)據(jù)進行訪問時將使用相同的命令，數(shù)據(jù)處理平臺會根據(jù)操作對象的不同自動轉(zhuǎn)化為Hadoop識別的操作命令。例如，用戶1 000擁有一個ID為001的項目空間，該空間中有一個名為f1的文件和一個名為f2的文件，在用戶看來兩個文件完全相同，而實際上文件h1存儲方式為Hive表而f2存儲方式為HDFS，則在我們的底層存儲中，f1數(shù)據(jù)存儲在名為H001U1000這個Hive數(shù)據(jù)庫中名為f1的數(shù)據(jù)表中，f2文件存儲在名為F001U1000這個HDFS路徑下的名為f2的HDFS文件中。

2．1．2 分布式計算

分布式計算主要提供任務(wù)管理和算法管理兩個功能模塊。任務(wù)管理模塊主要負責(zé)用戶計算任務(wù)的管理，既包括用戶計算任務(wù)的定時執(zhí)行，循環(huán)執(zhí)行，立即開始，立即關(guān)閉等基本操作，也包括任務(wù)信息查詢，歷史查詢，匯總統(tǒng)計等信息查詢。

算法管理模塊主要用于集成基于Hadoop Yarn之上的計算框架，向用戶提供統(tǒng)一的接口。數(shù)據(jù)處理平臺原生支持Hadoop的計算框架，包括MapReduce、Spark和Storm等，同時我們也提供我們自己的編程接口。但是與直接在Hadoop上執(zhí)行任務(wù)略有不同。一方面，平臺的一切操作都是面向用戶空間的，所以用戶計算任務(wù)的輸入路徑輸出路徑都是相對于項目空間來說的，另一方面，因為Hadoop平臺上的不同計算框架運行時需要大量的配置信息，這對用戶來說也是一種困擾，所以需要我們提供統(tǒng)一的任務(wù)執(zhí)行接口。這就是算法管理模塊的主要工作。

2.2 安全性保證

Hadoop自身的權(quán)限管理存在一定的安全隱患。Hadoop分布式文件系統(tǒng)實現(xiàn)了一個和POSIX系統(tǒng)類似的文件和目錄的權(quán)限模型。每個文件和目錄有一個所有者（owner）和一個組（group）。文件或目錄對其所有者、同組的其他用戶以及所有其他用戶分別有著不同的權(quán)限。在當(dāng)前版本的Hadoop中，客戶端用戶身份是通過宿主操作系統(tǒng)給出。對類Unix系統(tǒng)來說，用戶名等于`whoami`；對于Windos用戶來說，用戶名就是Windos當(dāng)前用戶名，HDFS并不提供創(chuàng)建用戶身份、創(chuàng)建組或處理用戶憑證等功能。

由此可見，Hadoop文件系統(tǒng)目前至少存在兩個問題：一是每個文件只有兩類權(quán)限，owner和group，其中owner還是單用戶，無法滿足開發(fā)需求。例如，對于某個文件，我們有2個用戶只需要寫權(quán)限，另外2個用戶只需要讀權(quán)限，則HDFS就無法滿足這個需求了。二是缺少用戶認證機制，這意味著我們只要將自己個人電腦的用戶名設(shè)置為他人的，你就可以獲得他人的一切HDFS訪問權(quán)限。

針對這兩個問題，我們提出了Kerberos認證和代理用戶訪問相配合的安全性保證措施。Kerberos 是一種網(wǎng)絡(luò)認證協(xié)議，其設(shè)計目標是通過密鑰系統(tǒng)為客戶機，服務(wù)器應(yīng)用程序提供強大的認證服務(wù)。代理用戶訪問則很好的分離了用戶操作系統(tǒng)和HDFS。具體措施是，對于每一個分布式處理平臺上的文件，創(chuàng)建兩個跟用戶無關(guān)的代理用戶，這兩個代理用戶分別充當(dāng)owner和group的角色。在用戶提出HDFS訪問需求時，為其賦予其中一個代理用戶的身份，用戶持有代理用戶的Kerberos憑證來進行數(shù)據(jù)訪問。該過程對用戶來說是完全透明的，用戶無法知道任何文件的訪問權(quán)限，也無法得到Kerberos憑證，實現(xiàn)了分布式處理平臺的安全性保證。

3 系統(tǒng)測試

我們從運行效率和簡便性兩方面對本文的海量數(shù)據(jù)處理平臺進行測試。準確性是為了驗證該平臺能實現(xiàn)基本的功能，且不會因為在用戶和底層之間增加了一層而影響到系統(tǒng)的效率。簡便性則是對系統(tǒng)的使用進行測試，以保證該系統(tǒng)確實能達到簡化用戶操作的目的。

實驗環(huán)境為14臺Linux機器搭建的Hadoop2.3.0版本的集群。機器配置均為4G內(nèi)存，CPU主頻3.0 MHz，硬盤空間3TB。

3.1 運行效率

我們選取了幾組數(shù)據(jù)測試集，做了兩組測試。一組測試為直接在Hadoop集群上進行數(shù)據(jù)操作，另一組為在分布式數(shù)據(jù)處理平臺上進行數(shù)據(jù)操作，進行多組并計算平均值，得到的結(jié)果如圖2所示。

圖2 運行時間測試

由圖2中數(shù)據(jù)可知，在數(shù)據(jù)量較低時，數(shù)據(jù)處理平臺的效率確實不如純Hadoop集群，但是差別很?。?0 s以內(nèi)），這個時間主要消耗在數(shù)據(jù)尋址和代理用戶權(quán)限分配上，且這個時間不會隨著數(shù)據(jù)量的增大而變化，因此在數(shù)據(jù)量較大時，兩者的運行效率幾乎一樣。

由于我們的實驗條件所限，并沒有對更大規(guī)模的數(shù)據(jù)進行測試，但由理論分析可知，影響效率的因素與數(shù)據(jù)量大小是無關(guān)的。由此可以證明，我們的數(shù)據(jù)處理平臺的效率是滿足需求的。

3.2 易操作性

數(shù)據(jù)處理平臺為用戶提供了統(tǒng)一的Hadoop操作接口，這意味著用戶可以用相同的操作命令操作HBase、Hive和HDFS上的數(shù)據(jù)，大大降低了用戶的學(xué)習(xí)成本，提高了工作效率。下面我們對相關(guān)的操作進行統(tǒng)計對比，得到的結(jié)果如表2所示。

表2 命令行操作測試

在分布式數(shù)據(jù)處理平臺中，由于將HDFS、Hadoop和Hive進行了統(tǒng)一的封裝，方便了用戶的使用，在很大程度上解決了Hadoop組件繁多且命令操作方式不統(tǒng)一的缺陷。

4 結(jié)束語

目前，海量數(shù)據(jù)處理成為越來越普遍的需求，但目前的大數(shù)據(jù)解決方案均存在一定的缺陷。實現(xiàn)了安全性保證。最后的測試證明，本文提出的基于Hadoop的海量數(shù)據(jù)處理平臺既保證了數(shù)據(jù)處理的高效率，又極大的簡化了操作方式，同時提供了完善的安全性保證措施。但由于我們的測試條件有限，無法對P級的數(shù)據(jù)進行測試，在此僅從理論上證明了其可行性。

[1] T Herawan， N Khan， A． Noraziah， E I． Ismail， M M Deris． Cloud Computing： Analysis of Various Platforms[J]． International Journal of E-Entrepreneurship and Innovation (IJEEI)． 2012(2)．

[2] V Ravi． Cloud Computing Paradigm for Indian Education Sector[J]．International Journal of Cloud Applications and Computing (IJCAC)．2012(2)．

[3] XU Zhiwei， YAN Bo， ZOU Yongqiang． Beyond Hadoop： Recent Directions in Data Computing for Internet Services[J]． International Journal of Cloud Applications and Computing (IJCAC)． 2011(1)．

[4] 鄒復(fù)民， 蔣新華， 胡惠淳， 朱銓， 莊孝昆． 云計算研究與應(yīng)用現(xiàn)狀綜述[J]． 福建工程學(xué)院學(xué)報， 2013(03)．

[5] 李冰． 云計算環(huán)境下動態(tài)資源管理關(guān)鍵技術(shù)研究[D]． 北京郵電大學(xué)， 2012．

[6] 欒亞建， 黃民， 龔高晟， 趙鐵柱． Hadoop平臺的性能優(yōu)化研究[J]． 計算機工程， 2010(14)．

[7] 孟小峰， 慈祥． 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]． 計算機研究與發(fā)展， 2013(01)．

[8] 陳康， 鄭緯民． 云計算：系統(tǒng)實例與研究現(xiàn)狀[J]． 軟件學(xué)報，2009(05)．

[9] 楊帆， 沈奇威． 分布式系統(tǒng)Hadoop平臺的視頻轉(zhuǎn)碼[J]． 計算機系統(tǒng)應(yīng)用， 2011(11)．

[10] 朱珠． 基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D]． 北京郵電大學(xué)，2008．

我國重點參與的云計算國際標準正式發(fā)布

近日，由中國等國家成員體推動立項并重點參與的兩項云計算國際標準正式發(fā)布，這標志著云計算國際標準化工作進入了一個新階段。

這是國際標準化組織（ISO）、國際電工委員會（IEC）與國際電信聯(lián)盟（ITU）三大國際標準化組織首次在云計算領(lǐng)域聯(lián)合制定標準，由ISO/IEC JTC1與ITU-T組成的聯(lián)合項目組共同研究制定。

這兩項云計算國際標準，規(guī)范了云計算的基本概念和常用詞匯，從使用者角度和功能角度闡述了云計算參考架構(gòu)，不僅為云服務(wù)提供者和開發(fā)者搭建了基本的功能參考模型，也為云服務(wù)的評估和審計人員提供了相關(guān)指南，有助于實現(xiàn)對云計算的統(tǒng)一認識。

聯(lián)通電信發(fā)力：LTE混合組網(wǎng)實驗將新增237個城市

之前，電信、聯(lián)通均宣布第二批TDLTE/LTE FDD混合組網(wǎng)4G實驗城市名單，增至24個。如今，電信、聯(lián)通還要繼續(xù)發(fā)力，即將把實驗城市增加237個，加上第一批的16個城市，第二批的24個城市，總計達到277個城市。

科技部高度重視5G發(fā)展：863計劃相關(guān)投入已超3億元

在日前召開的“2014未來5G信息通信技術(shù)國際研討會”上，科技部副部長曹建林表示，我國政府十分重視5G的發(fā)展?？萍疾恳呀?jīng)投入了約三億元人民幣，先期啟動了國家863計劃第五代移動通信系統(tǒng)重大研發(fā)項目，吸引了50多家研發(fā)企業(yè)、研究所、大學(xué)共同參與，也包括愛立信、三星等國際性廠商。

2014新一代寬帶無線移動通信發(fā)展論壇在京召開

由工業(yè)和信息化部電信研究院主辦的“2014新一代寬帶無線移動通信發(fā)展論壇”日前在北京萬壽賓館舉辦。本次論壇以“4G網(wǎng)絡(luò)融合與創(chuàng)新發(fā)展”為主題，圍繞加快實施寬帶中國戰(zhàn)略、促進TD-LTE和FDD LTE融合發(fā)展、推動4G創(chuàng)新和5G的研發(fā)等內(nèi)容，從技術(shù)創(chuàng)新、產(chǎn)業(yè)政策、網(wǎng)絡(luò)部署、行業(yè)應(yīng)用和運營管理等角度展開了深入探討和交流。

工信部通信發(fā)展司司長聞庫在發(fā)言時介紹，LTE融合組網(wǎng)趨勢逐漸顯現(xiàn)，TD-LTE和FDD的差距大幅度縮小。2014年9月，全球TD-LTE用戶達到5700萬，中國以外大概有1 400萬。除了亞非拉以外，TD-LTE也已進入美國、日本、澳大利亞等發(fā)達國家市場。到2014年9月底，全球發(fā)布LTE終端2218款，其中TD-LTE終端占比增長非常高，達到了30%。聞庫還表示，移動通信產(chǎn)業(yè)研發(fā)重心正向4G轉(zhuǎn)移。從技術(shù)演進及網(wǎng)絡(luò)投資而言，LTE成為以數(shù)據(jù)流量為主業(yè)務(wù)的性價比最高的技術(shù)路線，行業(yè)中心也正逐漸向4G轉(zhuǎn)移，進而催熟產(chǎn)業(yè)鏈。

工信部總工張峰表示，近年來，我國寬帶無線移動通信保持快速的發(fā)展態(tài)勢，核心業(yè)務(wù)從話音加速向數(shù)據(jù)更迭，發(fā)展模式由用戶規(guī)模驅(qū)動加速向業(yè)務(wù)創(chuàng)新引領(lǐng)轉(zhuǎn)型，呈現(xiàn)出競相創(chuàng)新，共同發(fā)展的良好局面。目前，LTE用戶和網(wǎng)絡(luò)規(guī)模持續(xù)擴大，截止到2014年9月，全球LTE商用網(wǎng)絡(luò)達到324張，用戶總數(shù)達到3.7億，亞太地區(qū)超過北美成為全球4G用戶最多的地區(qū)。移動互聯(lián)網(wǎng)的發(fā)展也帶來了業(yè)務(wù)結(jié)構(gòu)不斷優(yōu)化。今年1～9月，三家基礎(chǔ)電信企業(yè)，話音業(yè)務(wù)收入同比下降6.7%，而移動數(shù)據(jù)及互聯(lián)網(wǎng)業(yè)務(wù)收入達到1960億元，同比增長了41.5%，占電信業(yè)務(wù)收入比重超過22%。它依然是當(dāng)前電信市場增長最快的業(yè)務(wù)領(lǐng)域。

中國移動通信研究院副院長黃宇紅在論壇上透露，中國移動已經(jīng)開展了基于2.6 GHz的D頻段，F(xiàn)+D頻段的載波聚合，以及室內(nèi)的E頻段兩個載波的聚合，試驗效果均符合預(yù)期，速率上已經(jīng)達到220兆峰值的平均速率。她還表示，載波聚合能有效改善網(wǎng)絡(luò)質(zhì)量，提升吞吐量，這使將來網(wǎng)絡(luò)負載均衡時候會更加平滑。除了網(wǎng)絡(luò)設(shè)備已經(jīng)開始支持載波聚合外，終端也正逐步支持載波聚合，預(yù)計明年市場將有更多的支持載波聚合的終端推出。 (來源移動Labs， 作者：明海)

Google宣布參加第二條海纜系統(tǒng)建設(shè) 總長10556 km

Google公司日前宣布同巴西Algar電信、安哥拉Angola Cables和烏拉圭Antel三家運營商合作建設(shè)新的連接巴西Santos和Fortaleza到美國佛羅里達Boca Raton的海纜系統(tǒng)。該條海纜的承建商是TE Connectivity。

該海纜總長10556 km，擁有六對光纖，初始系統(tǒng)容量設(shè)計64 Tbit/s，預(yù)計2016年年底前完成建設(shè)。該海纜將為拉美地區(qū)帶來新的傳輸流量。

Google此前在今年8月曾經(jīng)宣布參加FASTER跨太平洋海纜建設(shè)。這條海纜是Google加入的第二條海纜系統(tǒng)。

貴州移動推廣“大數(shù)據(jù)旅游云應(yīng)用”

為加快貴州省旅游信息化建設(shè)步伐、促進旅游產(chǎn)業(yè)轉(zhuǎn)型升級，貴州省旅游局與中國移動貴州公司于10月28日共同舉行“多彩貴州·云上旅游”大數(shù)據(jù)旅游云應(yīng)用成果簽約會。

根據(jù)協(xié)議內(nèi)容，雙方將在貴州省旅游官方App、旅游云大數(shù)據(jù)游客分析系統(tǒng)、景區(qū)二維碼導(dǎo)覽、景區(qū)直播、旅游車務(wù)通和旅游號簿等旅游信息化方面展開全面深入的合作。各大系統(tǒng)建成后，游客到貴州旅游，吃飯、住宿、出行、游玩、購物、娛樂都不用發(fā)愁，這一切在到景區(qū)之前就能輕松搞定，游客坐在家里可以通過網(wǎng)絡(luò)了解到哪家餐館的飯菜最合口味，如何坐車最方便，哪里購物娛樂最劃算，什么時候有旅游節(jié)慶活動，提前視頻欣賞大美貴州的秀麗風(fēng)景等等，一切相關(guān)旅游資訊都可以通過手機了解。到了景區(qū)，游客可以通過手機、掌上電腦等移動終端，輕松實現(xiàn)自助導(dǎo)覽定位、自助導(dǎo)游講解、二維碼景區(qū)介紹、實時活動查詢等等，徹底甩開傳統(tǒng)地圖，不用導(dǎo)游，暢快地自主游覽。通過貴州移動無線網(wǎng)絡(luò)系統(tǒng)，在景區(qū)實現(xiàn)免費離線資源下載，體驗到在景區(qū)就像在家里WiFi環(huán)境下一樣方便。游玩過程中，還可以通過手機實現(xiàn)隨手拍照互動、網(wǎng)友分享等功能，舒適地享受旅游的快樂。

作為全省通信行業(yè)的排頭兵，中國移動貴州公司始終致力于以覆蓋廣、質(zhì)量高的精品網(wǎng)絡(luò)促進旅游經(jīng)濟發(fā)展。目前，中國移動通信網(wǎng)絡(luò)已覆蓋了全省100%的行政村和96%以上的自然村，并實現(xiàn)了全省4G網(wǎng)絡(luò)鄉(xiāng)鄉(xiāng)通，各級別、各類型風(fēng)景名勝區(qū)實現(xiàn)良好覆蓋。在精品網(wǎng)絡(luò)的基礎(chǔ)上，貴州移動還積極探索行業(yè)信息化、云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)等新技術(shù)在旅游行業(yè)的應(yīng)用推廣。

該系列協(xié)議的簽署，標志著中國移動貴州公司成為貴州省旅游局在推進旅游信息化建設(shè)中最重要的合作伙伴。今后，雙方將以打造“多彩貴州·云上旅游”為目標，創(chuàng)新服務(wù)手段，發(fā)揮貴州移動技術(shù)資源的優(yōu)勢，充分利用信息化、互聯(lián)網(wǎng)技術(shù)手段，推動現(xiàn)代信息技術(shù)在旅游產(chǎn)業(yè)中的應(yīng)用，不斷提高旅游公共服務(wù)的水平和效率。

我國M2M連接數(shù)超過5000萬 位居全球首位

日前，在2014新一代寬帶無線移動通信發(fā)展論壇上，工信部電信研究院通信標準所所長王志勤表示，目前，從M2M主要運營者來看，主要是電信運營商。同時，全球40%的運營商都是在積極部署M2M的業(yè)務(wù)和應(yīng)用。

近期，物聯(lián)網(wǎng)在重點行業(yè)越來越聚焦，已經(jīng)呈現(xiàn)出比較成型的業(yè)務(wù)發(fā)展模式。M2M市場在2010～2014年間，年復(fù)合增長率可達35%，亞太地區(qū)將是發(fā)展最活躍的區(qū)域。

截至2013年底，中國已經(jīng)有接近5 000萬的M2M的連接，居全球第一。

中興中標東南亞集團 將承建柬埔寨4G網(wǎng)

日前，中興通訊宣布，公司中標東南亞電信集團4G LTE項目。同時，中興通訊高級副總裁張任軍與東南亞電信集團董事長左華政分別代表雙方簽署了項目備忘錄與戰(zhàn)略合作協(xié)議。

東南亞電信集團是一家綜合性通信運營商，業(yè)務(wù)涵蓋移動通信與互聯(lián)網(wǎng)服務(wù)。東南亞電信（柬埔寨）有限公司已獲得柬埔寨王國政府頒發(fā)的運營牌照，其中包括：移動通信（含4G LTE)、ISP、無線固話、VoIP等，并已啟動了4G FDD LTE的全國移動通信網(wǎng)絡(luò)建設(shè)，計劃于2015年上半年投入運營。

中國鐵塔山東分公司揭牌 三大運營商明年不新建鐵塔

10月30日，中國鐵塔山東省分公司在濟南正式揭牌成立。業(yè)內(nèi)分析認為，鐵塔公司的運營將可避免電信基礎(chǔ)設(shè)施方面的重復(fù)建設(shè)，為三大運營商節(jié)省建設(shè)成本進而推動通訊資費降低。此外，明年年底前鐵塔公司有望引入民間資本，為民資介入電信行業(yè)打開新通道。

中國移動電商交易額突破1 600億元

截至目前，中國移動已經(jīng)提前完成2014年電子渠道業(yè)務(wù)的目標，提前實現(xiàn)了電子渠道在線交易額1 500億元、終端銷售量1 500萬臺。

據(jù)悉，中國移動總部及各省公司重點開展了自有移動商城建設(shè)、運營及外部電商加快拓展，天貓旗艦店上線入駐、支付及物流等基礎(chǔ)能力提升、互聯(lián)網(wǎng)充值直連合作、“5.17 4G手機狂歡節(jié)”統(tǒng)一營銷活動組織等工作。截至10月31日，在線交易額已突破1 620億元，同比增長182 %；終端銷售量已達1 161萬部，同比增長88%。(移動通信網(wǎng)訊)

中國電信等8企業(yè)發(fā)起成立中國企業(yè)大數(shù)據(jù)聯(lián)盟

11月4日，由中國電信、中國東方航空、中航信、工信部電信研究院、互聯(lián)網(wǎng)協(xié)會互聯(lián)網(wǎng)金融工作委員會、易車、亞信科技、晶贊科技等8單位發(fā)起，45家企業(yè)聯(lián)合組成的中國企業(yè)大數(shù)據(jù)聯(lián)盟在北京舉行成立大會。

中國電信集團公司總經(jīng)理楊杰在會中表示，大數(shù)據(jù)在優(yōu)化商業(yè)服務(wù)、拉動信息消費、改善社會治理、促進經(jīng)濟轉(zhuǎn)型等方面發(fā)揮著越來越積極的作用。中國企業(yè)大數(shù)據(jù)聯(lián)盟的成立，對推動大數(shù)據(jù)技術(shù)標準和數(shù)據(jù)安全標準的建立、跨界合作和商業(yè)模式創(chuàng)新有著積極的意義。中國電信作為聯(lián)盟的發(fā)起方和倡導(dǎo)者，將堅持“全面聚合、深入挖掘、高效應(yīng)用”的大數(shù)據(jù)發(fā)展戰(zhàn)略，開展全面深層次合作，全力打造數(shù)據(jù)生態(tài)鏈，推動大數(shù)據(jù)創(chuàng)新發(fā)展。

據(jù)了解，中國企業(yè)大數(shù)據(jù)聯(lián)盟致力于推動跨界大數(shù)據(jù)標準制定與合作，積極促進大數(shù)據(jù)技術(shù)成果在各行業(yè)應(yīng)用推廣，全面提升成員單位大數(shù)據(jù)應(yīng)用的整體水平；匯聚各方力量，借鑒世界先進經(jīng)驗，使聯(lián)盟成為推動大數(shù)據(jù)技術(shù)進步、應(yīng)用創(chuàng)新的中堅力量，為我國大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展做出貢獻。

中國企業(yè)大數(shù)據(jù)聯(lián)盟將給企業(yè)提供了一個多維度數(shù)據(jù)共享的平臺，促進聯(lián)盟成員加強交流，充分利用已有的數(shù)據(jù)能力，實現(xiàn)跨行業(yè)、多維度的數(shù)據(jù)互補，在產(chǎn)業(yè)規(guī)模化、行業(yè)陽光化、使用規(guī)范化方面，建立起統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)安全機制，更大程度的挖掘企業(yè)大數(shù)據(jù)使用的能力，促進創(chuàng)新應(yīng)用推廣。

聯(lián)想完成收購摩托羅拉移動

10月30日，聯(lián)想集團與谷歌宣布，聯(lián)想正式完成從谷歌收購摩托羅拉移動。

通過此次收購摩托羅拉品牌、創(chuàng)新的智能手機產(chǎn)品組合如 Moto X、Moto G、Moto E及DROIDTM系列等，以及摩托羅拉的未來產(chǎn)品規(guī)劃，聯(lián)想成為全球第三大智能手機廠商。

聯(lián)想將以全資子公司的形式運營摩托羅拉，其總部將繼續(xù)設(shè)在美國芝加哥。收購?fù)瓿珊螅瑢⒂薪? 500名來自全球的員工加入聯(lián)想，其中包括在美國的約2800名員工，他們主要負責(zé)設(shè)計、策劃、銷售和支持摩托羅拉的優(yōu)秀產(chǎn)品。聯(lián)想執(zhí)行副總裁兼移動業(yè)務(wù)集團總裁劉軍將出任摩托羅拉移動管理委員會主席。摩托羅拉資深高管 Rick Osterloh 將繼續(xù)擔(dān)任摩托羅拉總裁及首席運營官。

摩托羅拉憑借成功推出新產(chǎn)品及突破性創(chuàng)新，已在市場上呈現(xiàn)出強勁的發(fā)展勢頭。除了智能手機，Moto 360智能手表也備受消費者關(guān)注，確立了摩托羅拉進軍新興移動設(shè)備領(lǐng)域的地位。聯(lián)想預(yù)期在4～6個季度內(nèi)促使摩托羅拉業(yè)務(wù)取得盈利。谷歌將保留大部分摩托羅拉移動專利組合的所有權(quán)，摩托羅拉將獲得使用這些豐富專利組合和其他知識產(chǎn)權(quán)的許可權(quán)。摩托羅拉將持有逾2 000項專利資產(chǎn)、大量專利交叉授權(quán)協(xié)議以及摩托羅拉移動品牌和商標組合。此次交易的收購總額約為29.1億美元。

浙江移動全力保障首屆世界互聯(lián)網(wǎng)大會

10月30日下午，“首屆世界互聯(lián)網(wǎng)大會”在國務(wù)院新聞辦公室新聞發(fā)布廳召開了第一次新聞發(fā)布會，中央宣傳部副部長、國信辦主任魯煒，浙江省省長李強等領(lǐng)導(dǎo)出席會議并就前期會議籌備情況進行介紹。浙江移動利用先進的4G技術(shù)為浙江媒體第一時間傳回了發(fā)布會的現(xiàn)場視頻、通稿等信息。

10月30日本次新聞發(fā)布會由浙江移動提供實時信息傳輸保障，在會場有線寬帶接入存在一定困難的情況下，浙江移動第一時間為浙江省委宣傳部提供了基于4G(TD-LTE)網(wǎng)絡(luò)的無線回傳解決方案和基于中國移動“和彩云”的云存儲和云分享解決方案，確保大會視頻、新聞通稿等信息能第一時間傳回浙江本地，省內(nèi)近百家媒體可安全、快速地訪問“和彩云”平臺并下載相關(guān)資料。

由國家互聯(lián)網(wǎng)信息辦公室、浙江省人民政府主辦的“首屆世界互聯(lián)網(wǎng)大會”，是目前中國舉辦的規(guī)模最大、層次最高的互聯(lián)網(wǎng)大會。大會將于2014年11月19～21日在桐鄉(xiāng)烏鎮(zhèn)舉行，浙江移動作為本次大會基礎(chǔ)通信合作方、信息化應(yīng)用提供方，將全程支撐保障本次大會順利運行。為做好該項工作，浙江移動很早就開始了部署，通過增加專項投資、集中優(yōu)勢資源等措施，全力加快網(wǎng)絡(luò)建設(shè)與測試應(yīng)用準備，力爭向世界展示一流的移動通信、無線寬帶、有線寬帶以及各類信息化服務(wù)。

Design and implementation of security mass data processing platform

ZHANG De-yang1,2, WANG Jing1,2
(1 Beijing University of Posts and Telecommunications Networking and Switching Technology, State Key Laboratory, Beijing 100876, China; 2 EBUPT Information Technology Co., Ltd., Beijing 100191, China)

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS, Hive and HBase to realize data storage, uses MapReduce, spark and storm to realize data processing, uses kerberous to realize authority management. It also provides a unif ed operation interface to the user, so that users can handle the mass data simple and eff cient.

Hadoop; distributed system; mass data; kerberous; data processing platform

TN929.5

A

1008-5599（2014）11-0086-04

2014-10-08

國家973計劃項目（編號：2013CB329102）；國家自然科學(xué)基金資助項目（No． 61471063， 61372120， 61271019， 61101119， 61121001)；長江學(xué)者和創(chuàng)新團隊發(fā)展計劃資助（編號：IRT1049）；教育部科學(xué)技術(shù)研究重點(重大)項目資助（編號：MCM20130310）；北京高等學(xué)校青年英才計劃項目（編號：YETP0473）。