運(yùn)營(yíng)商PB級(jí)大數(shù)據(jù)服務(wù)能力外部引入研究

唐懿 黃倚霄 張攀翔 付文武 宋煒

【摘要】 運(yùn)營(yíng)商利用大數(shù)據(jù)對(duì)內(nèi)實(shí)現(xiàn)網(wǎng)絡(luò)配置優(yōu)化、對(duì)外實(shí)現(xiàn)精準(zhǔn)營(yíng)銷及價(jià)值變現(xiàn)的需求迫切，與自身大數(shù)據(jù)分析服務(wù)能力不足的現(xiàn)狀形成強(qiáng)烈的供需反差。在運(yùn)營(yíng)商亟需采用自建加外部引入模式建設(shè)大數(shù)據(jù)能力的背景下，提出運(yùn)營(yíng)商引入外部PB級(jí)大數(shù)據(jù)能力的應(yīng)用場(chǎng)景、引入模式及引入策略。

【關(guān)鍵詞】 PB級(jí) 大數(shù)據(jù)

一、概述

隨著大數(shù)據(jù)時(shí)代的到來(lái)，互聯(lián)網(wǎng)公司和電信運(yùn)營(yíng)商都積極投入力量進(jìn)行大數(shù)據(jù)分析，充分利用企業(yè)數(shù)據(jù)，深入挖掘數(shù)據(jù)價(jià)值，對(duì)內(nèi)支撐市場(chǎng)經(jīng)營(yíng)、網(wǎng)絡(luò)優(yōu)化，對(duì)外提供數(shù)據(jù)分析服務(wù)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)。例如Telefonica（西班牙電信）通過(guò)與市場(chǎng)研究機(jī)構(gòu)GFK合作，進(jìn)行數(shù)據(jù)分析和打包工作，讓這些數(shù)據(jù)變得更加易用，產(chǎn)生了巨大的經(jīng)濟(jì)價(jià)值。

然而由于運(yùn)營(yíng)商的“先天缺陷”，與大數(shù)據(jù)平臺(tái)應(yīng)用成熟的互聯(lián)網(wǎng)公司相比，存在大數(shù)據(jù)人才不足、研發(fā)能力薄弱、應(yīng)用復(fù)雜度高等問(wèn)題，導(dǎo)致當(dāng)前大數(shù)據(jù)平臺(tái)存在建設(shè)緩慢，大數(shù)據(jù)能力形成時(shí)間長(zhǎng)等問(wèn)題，這與日益增長(zhǎng)的互聯(lián)網(wǎng)大數(shù)據(jù)能力需求形成強(qiáng)烈的供需反差。

與此同時(shí)，國(guó)內(nèi)外領(lǐng)先互聯(lián)網(wǎng)公司在內(nèi)部運(yùn)用大數(shù)據(jù)平臺(tái)的同時(shí)也對(duì)外提供海量的大數(shù)據(jù)服務(wù)能力，因此運(yùn)營(yíng)商在努力打造自身大數(shù)據(jù)平臺(tái)的同時(shí)，需要極開(kāi)展外部引入PB級(jí)大數(shù)據(jù)服務(wù)能力的研究，借鑒外部成熟經(jīng)驗(yàn)，通過(guò)自建+外部能力引入相結(jié)合的方式迅速提升自身的大數(shù)據(jù)服務(wù)能力。

二、運(yùn)營(yíng)商外部引入大數(shù)據(jù)能力的驅(qū)動(dòng)力

2.1大數(shù)據(jù)應(yīng)用需求迫切

大數(shù)據(jù)是運(yùn)營(yíng)商面對(duì)OTT沖擊，實(shí)現(xiàn)收益持續(xù)增長(zhǎng)和企業(yè)轉(zhuǎn)型的重大契機(jī)，對(duì)此業(yè)內(nèi)已經(jīng)形成共識(shí)。移動(dòng)互聯(lián)網(wǎng)時(shí)代，隨著數(shù)據(jù)爆炸式的增長(zhǎng)，大數(shù)據(jù)已經(jīng)引爆了全球熱情。對(duì)于運(yùn)營(yíng)商而言，數(shù)據(jù)對(duì)內(nèi)能夠?qū)崿F(xiàn)網(wǎng)絡(luò)配置優(yōu)化、降低成本，對(duì)外能夠通過(guò)位置數(shù)據(jù)、精準(zhǔn)營(yíng)銷等數(shù)據(jù)分析實(shí)現(xiàn)海量數(shù)據(jù)的價(jià)值變現(xiàn)，因此大數(shù)據(jù)應(yīng)用的需求極為迫切。

2.2運(yùn)營(yíng)商自身大數(shù)據(jù)平臺(tái)發(fā)展緩慢

相比業(yè)內(nèi)領(lǐng)先互聯(lián)網(wǎng)公司已經(jīng)形成了完善的大數(shù)據(jù)金字塔，運(yùn)營(yíng)商在建設(shè)自身大數(shù)據(jù)平臺(tái)之時(shí)起步較晚，大部分還未實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一存儲(chǔ)、用戶唯一ID和統(tǒng)一畫(huà)像等大數(shù)據(jù)發(fā)展的基礎(chǔ)建設(shè)。與此同時(shí)，運(yùn)營(yíng)商在數(shù)據(jù)結(jié)構(gòu)、應(yīng)用復(fù)雜度等方面更高，大數(shù)據(jù)自研和運(yùn)維能力也相對(duì)較為薄弱，因此運(yùn)營(yíng)商在構(gòu)建自身大數(shù)據(jù)平臺(tái)時(shí)發(fā)展緩慢。

2.3外部大數(shù)據(jù)分析能力已經(jīng)成功轉(zhuǎn)化為生產(chǎn)力

國(guó)內(nèi)外互聯(lián)網(wǎng)巨頭如Amazon，Google、阿里巴巴、騰訊等公司均已經(jīng)成功將大數(shù)據(jù)平臺(tái)轉(zhuǎn)化為生產(chǎn)力，在企業(yè)內(nèi)部成功實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)的同時(shí)，紛紛對(duì)外提供大數(shù)據(jù)分析服務(wù)，以期占據(jù)更多的大數(shù)據(jù)市場(chǎng)蛋糕。

綜上所述，一方面為應(yīng)對(duì)不斷增長(zhǎng)的龐大的大數(shù)據(jù)分析能力需求，另一方面又面臨著自身能力不足，大數(shù)據(jù)平臺(tái)建設(shè)緩慢的現(xiàn)實(shí)困境。運(yùn)營(yíng)商需要以互聯(lián)網(wǎng)開(kāi)放、共享和合作的思維發(fā)展大數(shù)據(jù)業(yè)務(wù)，考慮引入外部大數(shù)據(jù)能力與自建的大數(shù)據(jù)能力有機(jī)融合，探索內(nèi)外兼修的大數(shù)據(jù)能力構(gòu)建新思路，有助于盡快提升和豐富運(yùn)營(yíng)商的大數(shù)據(jù)服務(wù)能力。運(yùn)營(yíng)商自建+外部引入大數(shù)據(jù)平臺(tái)的融合目標(biāo)架構(gòu)如圖1所示。

三、 運(yùn)營(yíng)商PB級(jí)大數(shù)據(jù)能力外部引入方案

3.1外部PB級(jí)大數(shù)據(jù)能力引入資源分析

從技術(shù)上看，下述大數(shù)據(jù)處理平臺(tái)均能夠提供PB級(jí)的在線數(shù)據(jù)存儲(chǔ)分析能力，包括Google的BigQuerry、Amazon的EMR、Splunk、阿里ODPS等。

3.1.1 Splunk

Splunk使用MapReduce模型，及通過(guò)許多計(jì)算機(jī)組成的集群分散處理，加速計(jì)算，在Splunk中，成為分布式搜索，在搜索結(jié)果用映射函數(shù)和化簡(jiǎn)函數(shù)形式表達(dá)后，建立簡(jiǎn)介改搜索集群的網(wǎng)絡(luò)連接，然后使用時(shí)間MapReduce方案開(kāi)始處理集群，當(dāng)數(shù)據(jù)流返回至啟動(dòng)搜索的實(shí)例時(shí)，數(shù)據(jù)存入硬盤，進(jìn)行簡(jiǎn)化函數(shù)運(yùn)算。

3.1.2 BigQuerry

Google發(fā)布的BigQuerry解決了海量數(shù)據(jù)存儲(chǔ)和快速處理問(wèn)題。BigQuerry 的這些技術(shù)包括Google文件系統(tǒng)GFS、分布式計(jì)算變成模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable、分布式存儲(chǔ)系統(tǒng)Megastore以及分布式監(jiān)控系統(tǒng)Dapper，Google的BigQuery使用流程如下圖所示：

3.1.3阿里ODPS

ODPS的體系架構(gòu)由四部分組成，分別是客戶端、接入層、集群調(diào)度和計(jì)算集群。用戶可以基于ODPS開(kāi)發(fā)自己的應(yīng)用，STful請(qǐng)求訪問(wèn)ODPS RESTful API、通過(guò)ODPS CLT、通過(guò) ODPS SDK是對(duì)RESTful API的封裝，并非是一一對(duì)應(yīng)的映射方式，而是提供了更高層次的抽象，以便于用戶理解并運(yùn)用ODPS中的概念，ODPS SDK按功能劃分了Tables、Jobs、Resources、Authorization、Registration等包，ODPS CLT是基于SDK的開(kāi)發(fā)的一個(gè)Windows/Linux命令工具，用戶可以以命令的方式運(yùn)行作業(yè)。

3.2外部大數(shù)據(jù)能力引入應(yīng)用場(chǎng)景

考慮到用戶隱私和信息安全，建議可以在非關(guān)鍵應(yīng)用的離線分析和常規(guī)報(bào)表統(tǒng)計(jì)輸出等應(yīng)用中引入外部大數(shù)據(jù)能力滿足日常統(tǒng)計(jì)分析工作的需求。不建議在精準(zhǔn)營(yíng)銷、觸點(diǎn)服務(wù)等涉及用戶、位置等敏感信息且實(shí)時(shí)性要求高的業(yè)務(wù)場(chǎng)景中使用。主要的業(yè)務(wù)場(chǎng)景如下：

（1）批量離線分析：基于MR的傳統(tǒng)批量離線分析應(yīng)用，主要用于產(chǎn)生統(tǒng)計(jì)分析結(jié)果用于后續(xù)的業(yè)務(wù)開(kāi)發(fā)，如用戶離網(wǎng)率分析、用戶投訴分析等.

（2）簡(jiǎn)單鍵值對(duì)查詢：基于HBase的簡(jiǎn)單鍵值對(duì)查詢應(yīng)用，如傳統(tǒng)的話費(fèi)詳單查詢等。

（3）準(zhǔn)實(shí)時(shí)查詢：基于流計(jì)算的準(zhǔn)實(shí)時(shí)營(yíng)銷和網(wǎng)絡(luò)保障等應(yīng)用，如終端營(yíng)銷、內(nèi)容營(yíng)銷等。

（4）復(fù)雜即席查詢：基于Hive的定制化查詢，需要整合用戶常用數(shù)據(jù)，形成數(shù)據(jù)寬表，用戶可靈活定制查詢條件及導(dǎo)出結(jié)果，并支持高級(jí)SQL編輯功能，如HLR用戶數(shù)據(jù)寬表、PS用戶行為明細(xì)寬表等。

3.3外部大數(shù)據(jù)能力引入模式分析

（1）模式一：購(gòu)買大數(shù)據(jù)分析能力

此模式是租用外部互聯(lián)網(wǎng)公司的大數(shù)據(jù)存儲(chǔ)分析能力，將數(shù)據(jù)源導(dǎo)入到相關(guān)處理平臺(tái)，具體的數(shù)據(jù)處理分析模型仍舊由運(yùn)營(yíng)商自身負(fù)責(zé)搭建，由外部平臺(tái)進(jìn)行處理分析后輸出所需的結(jié)果。

為了保障數(shù)據(jù)的安全性和傳輸速率，可通過(guò)專線實(shí)現(xiàn)與外部互聯(lián)網(wǎng)公司大數(shù)據(jù)分析平臺(tái)的互通，運(yùn)營(yíng)商通過(guò)專線將需存儲(chǔ)處理的數(shù)據(jù)源導(dǎo)入外部大數(shù)據(jù)處理分析平臺(tái)，運(yùn)行自有的算法分析模型，得到所需的分析結(jié)果。

此模式可快速解決當(dāng)前運(yùn)營(yíng)商大數(shù)據(jù)分析處理能力不足的問(wèn)題，并且可以將技術(shù)人員快速地投入到大數(shù)據(jù)分析的實(shí)踐中，同時(shí)可以培養(yǎng)廣東移動(dòng)自有的數(shù)據(jù)建模分析能力。

（2）模式二：購(gòu)買大數(shù)據(jù)分析服務(wù)

與模式一相比，模式二除了購(gòu)買外部大數(shù)據(jù)處理分析能力之外，數(shù)據(jù)分析模型搭建的工作也由第三方專業(yè)數(shù)據(jù)分析公司提供，運(yùn)營(yíng)商只需負(fù)責(zé)提供待處理的數(shù)據(jù)源以及需實(shí)現(xiàn)的數(shù)據(jù)分析功能需求即可，經(jīng)外部專業(yè)數(shù)據(jù)分析公司的大數(shù)據(jù)處理平臺(tái)處理分析后，直接輸出運(yùn)營(yíng)商所需的結(jié)果（也可與第三方公司共同開(kāi)發(fā)）。

相比較而言，此模式是實(shí)現(xiàn)運(yùn)營(yíng)商引入外部PB級(jí)大數(shù)據(jù)服務(wù)能力最快捷有效的方式，外部專業(yè)數(shù)據(jù)分析服務(wù)公司可根據(jù)運(yùn)營(yíng)商的需求定制開(kāi)發(fā)數(shù)據(jù)處理分析模型，運(yùn)營(yíng)商通過(guò)專線向第三方大數(shù)據(jù)分析平臺(tái)提供數(shù)據(jù)源即可。

此模式的缺點(diǎn)是大數(shù)據(jù)分析能力主要依靠第三方公司，無(wú)法培養(yǎng)運(yùn)營(yíng)商自有的大數(shù)據(jù)平臺(tái)搭建、運(yùn)營(yíng)能力，不利于長(zhǎng)遠(yuǎn)的發(fā)展和公司人才的培養(yǎng)，且成本較高。并且由于數(shù)據(jù)分析模型也由第三方公司提供，運(yùn)營(yíng)商無(wú)法根據(jù)變化的需求，靈活地更改調(diào)整數(shù)據(jù)分析模型，存在建模分析周期不可控等弊端。

（3）模式三：合作共建

模式三的側(cè)重點(diǎn)在合作共建，購(gòu)買專業(yè)數(shù)據(jù)分析公司的技術(shù)服務(wù)，指導(dǎo)運(yùn)營(yíng)商的大數(shù)據(jù)分析平臺(tái)建設(shè)工作。運(yùn)營(yíng)商負(fù)責(zé)提供機(jī)房、服務(wù)器、網(wǎng)絡(luò)設(shè)備等物理資源，引入專業(yè)第三方數(shù)據(jù)分析公司先進(jìn)的大數(shù)據(jù)平臺(tái)搭建技術(shù)和部署經(jīng)驗(yàn)，合作完成數(shù)據(jù)分析模型的建模，形成運(yùn)營(yíng)商自有的大數(shù)據(jù)平臺(tái)搭建和運(yùn)營(yíng)能力以及數(shù)據(jù)分析模型建模能力，同時(shí)也可以進(jìn)一步培養(yǎng)運(yùn)營(yíng)商自有的大數(shù)據(jù)人才。

該模式較好地平衡了快速引入大數(shù)據(jù)平臺(tái)能力和自有大數(shù)據(jù)分析能力培養(yǎng)建設(shè)的需求，既可以較快速地解決現(xiàn)有大數(shù)據(jù)能力不足的問(wèn)題，也有助于向未來(lái)自有大數(shù)據(jù)平臺(tái)能力的過(guò)渡和打造專業(yè)數(shù)據(jù)價(jià)值挖掘的專業(yè)團(tuán)隊(duì)。

（4）模式四：大數(shù)據(jù)貿(mào)易共享

當(dāng)運(yùn)營(yíng)商自有大數(shù)據(jù)分析平臺(tái)發(fā)展到一定規(guī)模的時(shí)候，可以借助引入外部大數(shù)據(jù)服務(wù)能力的契機(jī)，考慮另一形式的“外部大數(shù)據(jù)分析能力引入”，即建設(shè)開(kāi)放共享的數(shù)據(jù)貿(mào)易平臺(tái)，讓數(shù)據(jù)資源變得像電商產(chǎn)品一樣可視化、可交易化，實(shí)現(xiàn)運(yùn)營(yíng)商與第三方企業(yè)之間、第三方企業(yè)與第三方企業(yè)之間的數(shù)據(jù)互通及貿(mào)易共享，兩兩或多方合作共享，讓數(shù)據(jù)的交換和合作產(chǎn)生更大價(jià)值，該模式屬于外部大數(shù)據(jù)能力引入的高級(jí)形式，屬于后期發(fā)展的目標(biāo)。

綜上所述，以上四種模式各有優(yōu)劣，分別適用于運(yùn)營(yíng)商不同階段應(yīng)用，各模式的對(duì)比分析如下表1所示。

3.4外部大數(shù)據(jù)能力引入策略分析

（1）初期：由于運(yùn)營(yíng)商匱乏大數(shù)據(jù)平臺(tái)分析能力以及算法分析師人才，為應(yīng)對(duì)迫切的大數(shù)據(jù)分析需求，可采取模式一和模式二并重的方式，一部分?jǐn)?shù)據(jù)推送至外部成熟大數(shù)據(jù)分析公司的平臺(tái)（帶算法模型）直接獲取所需的分析結(jié)果，另一部分?jǐn)?shù)據(jù)推送至類似阿里ODPS的大數(shù)據(jù)處理平臺(tái)，運(yùn)營(yíng)商開(kāi)發(fā)自有的算法分析模型，并在ODPS平臺(tái)上進(jìn)行分析處理，然后獲取所需數(shù)據(jù)。

（2）中期：可考慮引入外部大數(shù)據(jù)平臺(tái)技術(shù)支撐服務(wù)，進(jìn)行合作共建，由專業(yè)大數(shù)據(jù)解決方案提供商協(xié)助運(yùn)營(yíng)商建設(shè)自有大數(shù)據(jù)平臺(tái)，并指導(dǎo)算法分析模型的搭建工作，培養(yǎng)運(yùn)營(yíng)商自有架構(gòu)師、分析師等高端大數(shù)據(jù)人才，最終形成運(yùn)營(yíng)商自己的大數(shù)據(jù)分析解決能力。

（3）后期：在運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)發(fā)展到一定規(guī)模和能力之后，可考慮數(shù)據(jù)進(jìn)行對(duì)外貿(mào)易共享，兩兩結(jié)合或多方結(jié)合，讓數(shù)據(jù)的交換和合作產(chǎn)生更大價(jià)值，并且可以將大數(shù)據(jù)平臺(tái)處理能力和數(shù)據(jù)作為能力開(kāi)放的資源對(duì)外開(kāi)放，吸引更多優(yōu)秀的分析模型進(jìn)行數(shù)據(jù)價(jià)值變現(xiàn)。

四、結(jié)束語(yǔ)

大數(shù)據(jù)時(shí)代的到來(lái)，面對(duì)外部PB級(jí)大數(shù)據(jù)能力產(chǎn)品的不斷涌現(xiàn)，運(yùn)營(yíng)商在探索打造自身大數(shù)據(jù)服務(wù)平臺(tái)的同時(shí)，也應(yīng)積極加強(qiáng)對(duì)外部商用產(chǎn)品的研究，根據(jù)不同的應(yīng)用場(chǎng)景和風(fēng)險(xiǎn)管控需要靈活采用能力引入、合作共建等模式，通過(guò)自建+外部服務(wù)引入相結(jié)合的方式快步提升自身能力。

參 考 文 獻(xiàn)

[1]劉智慧.張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版，2014，48（6）：1-16

[2]趙清，唐菁.電信業(yè)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及關(guān)鍵技術(shù)研究[J].信息通信技術(shù)，2013，7（6）：15-19