電信運(yùn)營(yíng)商大數(shù)據(jù)能力開(kāi)放平臺(tái)建設(shè)

張海峰，董昭，李娟，齊磊，顧慧瓊

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

電信運(yùn)營(yíng)商大數(shù)據(jù)能力開(kāi)放平臺(tái)建設(shè)

張海峰，董昭，李娟，齊磊，顧慧瓊

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

大數(shù)據(jù)正加速在各行各業(yè)的應(yīng)用，數(shù)據(jù)的開(kāi)放有助于運(yùn)營(yíng)商內(nèi)部的聚合和共享，有助于服務(wù)千變?nèi)f化的應(yīng)用場(chǎng)景，對(duì)運(yùn)營(yíng)商開(kāi)拓新業(yè)務(wù)具有重要意義。分析了大數(shù)據(jù)和云計(jì)算進(jìn)行結(jié)合的背景，提出面向云計(jì)算的大數(shù)據(jù)開(kāi)放平臺(tái)整體架構(gòu)和核心能力，對(duì)大數(shù)據(jù)開(kāi)放平臺(tái)的建設(shè)思路進(jìn)行闡述，并對(duì)運(yùn)營(yíng)商在具體工程中進(jìn)行大數(shù)據(jù)PaaS平臺(tái)的規(guī)劃和待解決問(wèn)題進(jìn)行闡述，為相關(guān)研究人員提供參考。

大數(shù)據(jù)；能力開(kāi)放平臺(tái)；云計(jì)算；PaaS

1 引言

隨著近些年全球互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)也逐漸從技術(shù)驅(qū)動(dòng)轉(zhuǎn)變?yōu)槠髽I(yè)的商業(yè)驅(qū)動(dòng)，如數(shù)據(jù)資產(chǎn)服務(wù)、數(shù)據(jù)分析服務(wù)、數(shù)據(jù)開(kāi)放平臺(tái)服務(wù)。未來(lái)幾年，企業(yè)經(jīng)營(yíng)優(yōu)化和數(shù)據(jù)資產(chǎn)變現(xiàn)將成為主要訴求，基于大數(shù)據(jù)的商業(yè)模式創(chuàng)新將會(huì)爆發(fā)式增長(zhǎng)。

在大數(shù)據(jù)成為趨勢(shì)、成為國(guó)家戰(zhàn)略的今天，如何最大限度地發(fā)揮大數(shù)據(jù)的價(jià)值成為人們思考的問(wèn)題。無(wú)論是互聯(lián)網(wǎng)企業(yè)、電信運(yùn)營(yíng)商還是數(shù)量眾多的初創(chuàng)企業(yè)，大數(shù)據(jù)的開(kāi)放與變現(xiàn)顯得尤為重要。在探索大數(shù)據(jù)商業(yè)模式的同時(shí)，大數(shù)據(jù)正加速在各行各業(yè)的應(yīng)用，大數(shù)據(jù)不僅為人們的購(gòu)物、出行、交友提供了幫助，甚至還在各類(lèi)重要的事件中發(fā)揮作用[1]。

2 大數(shù)據(jù)開(kāi)放的訴求及其內(nèi)容

2.1 大數(shù)據(jù)應(yīng)用前景

電信運(yùn)營(yíng)商掌握了豐富的用戶(hù)身份數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、視頻數(shù)據(jù)、流量數(shù)據(jù)和位置數(shù)據(jù)，數(shù)據(jù)的海量性、多元性和實(shí)時(shí)性使運(yùn)營(yíng)商具有經(jīng)營(yíng)大數(shù)據(jù)的先天優(yōu)勢(shì)。隨著智能手機(jī)和高速網(wǎng)絡(luò)的普及，運(yùn)營(yíng)商能夠獲得的用戶(hù)行為數(shù)據(jù)還將更為豐富。運(yùn)營(yíng)商的大數(shù)據(jù)應(yīng)用主要分為面向內(nèi)部的應(yīng)用和面向外部的應(yīng)用兩部分。

（1）面向內(nèi)部的應(yīng)用

· 促進(jìn)市場(chǎng)營(yíng)銷(xiāo)：通過(guò)用戶(hù)偏好分析，及時(shí)、準(zhǔn)確進(jìn)行業(yè)務(wù)推薦，包括流量經(jīng)營(yíng)、存量經(jīng)營(yíng)、集團(tuán)客戶(hù)經(jīng)營(yíng)、終端營(yíng)銷(xiāo)。

· 改善用戶(hù)體驗(yàn)：通過(guò)大數(shù)據(jù)分析用戶(hù)行為，運(yùn)營(yíng)商可以改進(jìn)產(chǎn)品設(shè)計(jì)，并通過(guò)用戶(hù)偏好分析，及時(shí)、準(zhǔn)確進(jìn)行業(yè)務(wù)推薦，強(qiáng)化客戶(hù)關(guān)懷，這樣就可以不斷改善用戶(hù)體驗(yàn)，增加用戶(hù)的信息消費(fèi)以及對(duì)運(yùn)營(yíng)商的黏性。

· 優(yōu)化網(wǎng)絡(luò)質(zhì)量：在網(wǎng)絡(luò)層面，可以通過(guò)大數(shù)據(jù)分析網(wǎng)絡(luò)的流量、流向變化趨勢(shì)，及時(shí)調(diào)整資源配置，同時(shí)還可以分析網(wǎng)絡(luò)日志，進(jìn)行全網(wǎng)絡(luò)優(yōu)化，不斷提升網(wǎng)絡(luò)質(zhì)量和網(wǎng)絡(luò)利用率[2]。

（2）面向外部的應(yīng)用

電信運(yùn)營(yíng)商也從傳統(tǒng)BI系統(tǒng)逐漸向大數(shù)據(jù)平臺(tái)進(jìn)行轉(zhuǎn)型，未來(lái)的商業(yè)模式也不僅局限內(nèi)部應(yīng)用，更多的是面向政府、旅游、銀行、交通等各行各業(yè)的開(kāi)放合作。

· 實(shí)時(shí)營(yíng)銷(xiāo)：通過(guò)對(duì)用戶(hù)基本信息、業(yè)務(wù)信息、消費(fèi)信息、位置信息、行為信息的綜合分析，形成全方位的用戶(hù)畫(huà)像。根據(jù)外部公司的需求，為互聯(lián)網(wǎng)行業(yè)提供數(shù)據(jù)產(chǎn)品服務(wù)，指導(dǎo)用戶(hù)精準(zhǔn)洞察、廣告精準(zhǔn)投放，實(shí)現(xiàn)數(shù)據(jù)增值。

· 位置應(yīng)用：通過(guò)離線(xiàn)挖掘與實(shí)時(shí)分析相結(jié)合的方式，對(duì)海量移動(dòng)用戶(hù)運(yùn)動(dòng)軌跡進(jìn)行精準(zhǔn)計(jì)算，分析特定場(chǎng)景（如地鐵、公交、商場(chǎng)、美容院等）下人群的聚類(lèi)特征，應(yīng)用于城市規(guī)劃、商圈選址、智慧旅游、交通規(guī)劃、人流預(yù)警等領(lǐng)域。

· 研究報(bào)告：通過(guò)與行業(yè)的深入結(jié)合，實(shí)現(xiàn)數(shù)據(jù)跨行業(yè)的關(guān)聯(lián)與分析，生成特定需求的行業(yè)分析報(bào)告。

2.2 大數(shù)據(jù)開(kāi)放的意義

大數(shù)據(jù)平臺(tái)的使用對(duì)象往往需要大數(shù)據(jù)平臺(tái)提供一定的二次開(kāi)發(fā)能力，包括數(shù)據(jù)、開(kāi)發(fā)工具、分析工具、計(jì)算存儲(chǔ)資源等一系列的環(huán)境，以更好地迭代服務(wù)千變?nèi)f化的應(yīng)用場(chǎng)景，因此大數(shù)據(jù)平臺(tái)必須以開(kāi)放化的方式進(jìn)行建設(shè)。將大數(shù)據(jù)平臺(tái)開(kāi)放可以獲取如下收益：

· 有助于企業(yè)內(nèi)數(shù)據(jù)的聚合和共享，從而減少數(shù)據(jù)重復(fù)采集、重復(fù)處理、重復(fù)存儲(chǔ)，降低大數(shù)據(jù)整體開(kāi)發(fā)運(yùn)維成本；

· 有助于打造開(kāi)放的、共享的、百家爭(zhēng)鳴的大數(shù)據(jù)應(yīng)用生態(tài)環(huán)境；

· 有效支撐不同業(yè)務(wù)部門(mén)的個(gè)性化應(yīng)用需求；

· 有益于大數(shù)據(jù)對(duì)外變現(xiàn)和產(chǎn)業(yè)合作能力，讓數(shù)據(jù)產(chǎn)生更大價(jià)值。

2.3 開(kāi)放平臺(tái)的目標(biāo)

雖然電信運(yùn)營(yíng)商的數(shù)據(jù)保有量大，但在推動(dòng)數(shù)據(jù)對(duì)外合作方面也遇到很多困難，比如現(xiàn)有數(shù)據(jù)散落在多個(gè)管理域中，數(shù)據(jù)割裂，重復(fù)存儲(chǔ)；平臺(tái)能力方面沒(méi)有進(jìn)行統(tǒng)一規(guī)劃，各部門(mén)及各省公司重復(fù)進(jìn)行能力建設(shè)；系統(tǒng)模式單一，開(kāi)發(fā)周期長(zhǎng)，運(yùn)維模式僵化。

因此，面向未來(lái)的大數(shù)據(jù)平臺(tái)核心訴求如下。

（1）數(shù)據(jù)資產(chǎn)全網(wǎng)統(tǒng)一

完成對(duì)全網(wǎng)B/O/M三域數(shù)據(jù)以及互聯(lián)網(wǎng)DPI數(shù)據(jù)、各業(yè)務(wù)平臺(tái)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲(chǔ)和統(tǒng)一治理，形成企業(yè)級(jí)統(tǒng)一的數(shù)據(jù)資產(chǎn)，有效支撐數(shù)據(jù)的對(duì)外開(kāi)放。

（2）系統(tǒng)架構(gòu)轉(zhuǎn)型

打破現(xiàn)有煙囪式和省分獨(dú)立建設(shè)模式，以“縱向拆分，橫向整合”為原則，實(shí)現(xiàn)應(yīng)用與平臺(tái)的解耦，實(shí)現(xiàn)跨系統(tǒng)的能力共享。

（3）能力對(duì)外開(kāi)放

構(gòu)建標(biāo)準(zhǔn)、開(kāi)放的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，滿(mǎn)足各專(zhuān)業(yè)公司、省公司、外部開(kāi)發(fā)者和使用者對(duì)全網(wǎng)數(shù)據(jù)日益迫切的個(gè)性化分析需求。

（4）開(kāi)發(fā)運(yùn)維提升

轉(zhuǎn)換傳統(tǒng)的開(kāi)發(fā)模式，引入合作伙伴，實(shí)現(xiàn)應(yīng)用的快速開(kāi)發(fā)；建設(shè)自動(dòng)化的運(yùn)維能力，有效支撐應(yīng)用的快速部署。

2.4 開(kāi)放的內(nèi)容

大數(shù)據(jù)開(kāi)放平臺(tái)重點(diǎn)關(guān)注大數(shù)據(jù)平臺(tái)的能力如何向應(yīng)用開(kāi)發(fā)者開(kāi)放，應(yīng)用開(kāi)發(fā)者以何種形式使用這些能力以及為達(dá)成這些能力的開(kāi)放平臺(tái)必須具備和關(guān)注的管理能力。大數(shù)據(jù)開(kāi)放平臺(tái)的開(kāi)放內(nèi)容包括兩部分。

（1）數(shù)據(jù)開(kāi)放能力

在可管、可控的前提下，實(shí)現(xiàn)業(yè)務(wù)支撐域、管理信息域、網(wǎng)絡(luò)支撐域、DPI數(shù)據(jù)及業(yè)務(wù)平臺(tái)數(shù)據(jù)的開(kāi)放。

（2）數(shù)據(jù)處理能力

通過(guò)多租戶(hù)的方式，提供大數(shù)據(jù)平臺(tái)的計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源、中間件、分析工具等能力，確保租戶(hù)在共享能力的同時(shí)實(shí)現(xiàn)一定的隔離。

3 大數(shù)據(jù)開(kāi)放平臺(tái)架構(gòu)及核心能力

3.1 大數(shù)據(jù)與云計(jì)算的結(jié)合

云計(jì)算按照其定義，具備五大基本特征：資源的共享、按需的便捷服務(wù)、廣泛的網(wǎng)絡(luò)訪(fǎng)問(wèn)、快速的彈性伸縮和可度量的服務(wù)?？梢钥吹?，云計(jì)算正是解決大數(shù)據(jù)對(duì)外開(kāi)放的利器。

云計(jì)算提供基于多租戶(hù)共享資源的消費(fèi)模式以及彈性擴(kuò)展能力，使得數(shù)據(jù)資產(chǎn)和平臺(tái)能力實(shí)現(xiàn)了共享，同時(shí)為開(kāi)發(fā)者提供了很好的便捷性，這使它成為大數(shù)據(jù)分析的理想選擇。有了云計(jì)算技術(shù)，大數(shù)據(jù)的價(jià)值才能得到更好的轉(zhuǎn)化。因此大數(shù)據(jù)和云計(jì)算的結(jié)合是必然的。

云計(jì)算分為IaaS、PaaS和SaaS 3種服務(wù)模式。電信運(yùn)營(yíng)商在云計(jì)算的發(fā)展過(guò)程中也是從IaaS入手，已經(jīng)初步建設(shè)了集中的IaaS平臺(tái)，實(shí)現(xiàn)了云存儲(chǔ)、云主機(jī)、云數(shù)據(jù)中心等基礎(chǔ)資源的統(tǒng)一管理。

隨著云計(jì)算技術(shù)的日趨成熟，本文發(fā)現(xiàn) IaaS提供了硬件資源層的能力與服務(wù)，本身并不面向應(yīng)用。IaaS需要用戶(hù)自行構(gòu)建開(kāi)發(fā)測(cè)試環(huán)境，自行管理和運(yùn)維平臺(tái)軟件，天然與應(yīng)用之間產(chǎn)生鴻溝。而當(dāng)PaaS以自動(dòng)化部署、一整套中間件服務(wù)、全流程的DevOps出現(xiàn)時(shí)，本文發(fā)現(xiàn)PaaS才是真正貼近于應(yīng)用的平臺(tái)。因?yàn)椤案?、更便捷、更靈活的用戶(hù)體驗(yàn)”才是云計(jì)算一直以來(lái)的核心。

圖1說(shuō)明了IaaS和PaaS的關(guān)系。

當(dāng)更多的應(yīng)用開(kāi)發(fā)者開(kāi)始轉(zhuǎn)向微服務(wù)的時(shí)候，也就說(shuō)明他們選擇了PaaS。因此，未來(lái)的大數(shù)據(jù)要做到開(kāi)放、靈活，一定是要擁抱PaaS的。

3.2 平臺(tái)目標(biāo)架構(gòu)

由第3.1節(jié)可知，未來(lái)企業(yè)級(jí)大數(shù)據(jù)開(kāi)放平臺(tái)需要依托在以PaaS為核心的基礎(chǔ)上，整體平臺(tái)架構(gòu)如圖2所示。

企業(yè)大數(shù)據(jù) PaaS平臺(tái)主要包括：集成平臺(tái)I-PaaS、面向應(yīng)用的能力組件平臺(tái) A-PaaS、API開(kāi)放平臺(tái)以及PaaS管理平臺(tái)。

（1）I-PaaS

提供集成和構(gòu)建復(fù)合應(yīng)用的能力，因?yàn)槠髽I(yè)級(jí)PaaS平臺(tái)不僅僅是應(yīng)用部署平臺(tái)，而且是復(fù)雜多租戶(hù)環(huán)境和復(fù)雜應(yīng)用環(huán)境下的共享基礎(chǔ)設(shè)施平臺(tái)。I-PaaS解決的是多個(gè)應(yīng)用間如何集成和交互的問(wèn)題，滿(mǎn)足應(yīng)用從開(kāi)發(fā)態(tài)到集成態(tài)的一系列調(diào)度、集成、服務(wù)發(fā)現(xiàn)及工作流的問(wèn)題。

圖1 IaaS和PaaS的關(guān)系

圖2 企業(yè)大數(shù)據(jù)PaaS平臺(tái)整體架構(gòu)

（2）A-PaaS

用來(lái)承載和管理不同的應(yīng)用，提供應(yīng)用相關(guān)的能力組件。A-PaaS提供諸如MPP、RDB、HDFS等大數(shù)據(jù)分析能力，報(bào)表統(tǒng)計(jì)、自助分析、中間件等工具軟件的能力以及多租戶(hù)訪(fǎng)問(wèn)的支持能力。

（3）API開(kāi)放平臺(tái)

用來(lái)實(shí)現(xiàn)將底層的能力組件通過(guò)API的方式提供對(duì)外訪(fǎng)問(wèn)。

（4）PaaS管理平臺(tái)

提供諸如多租戶(hù)管理、安全管理、運(yùn)維監(jiān)控等能力。

3.3 核心能力

大數(shù)據(jù)PaaS平臺(tái)需具備的核心能力包括如下幾點(diǎn)。

3.3.1 多租戶(hù)

多租戶(hù)的概念最早起源于軟件領(lǐng)域，指一個(gè)軟件實(shí)例服務(wù)于多個(gè)用戶(hù)的架構(gòu)，每個(gè)用戶(hù)稱(chēng)為一個(gè)租戶(hù)。多租戶(hù)帶來(lái)資源高度共享模式，提高資源利用率，降低單位資源成本。

建設(shè)基于多租戶(hù)的能力開(kāi)放框架需要具備如下功能。

（1）租戶(hù)管理

企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)通過(guò)租戶(hù)開(kāi)放的模式實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源以及數(shù)據(jù)的隔離管控，以保障資源的安全使用。租戶(hù)的管理包括對(duì)資源的物理隔離和安全控制、對(duì)租戶(hù)作業(yè)的調(diào)度。

（2）租戶(hù)權(quán)限管理

租戶(hù)權(quán)限管理，是通過(guò)租戶(hù)資源級(jí)權(quán)限設(shè)置、數(shù)據(jù)級(jí)權(quán)限設(shè)置兩類(lèi)權(quán)限管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)開(kāi)放、資源開(kāi)放、工具開(kāi)放3種基于多租戶(hù)的開(kāi)放能力的權(quán)限管控，確保租戶(hù)內(nèi)的資源、數(shù)據(jù)等訪(fǎng)問(wèn)安全。

（3）租戶(hù)資源調(diào)度管理

資源管理包含：資源分配（空間、權(quán)限、優(yōu)先級(jí)）、數(shù)據(jù)隔離和安全控制；作業(yè)調(diào)度包含：租戶(hù)作業(yè)優(yōu)先級(jí)控制，業(yè)務(wù)優(yōu)先級(jí)控制。在大數(shù)據(jù)平臺(tái)多租戶(hù)、多應(yīng)用并存的情況下，作業(yè)的統(tǒng)一調(diào)度可以提高系統(tǒng)運(yùn)行效率和資源的利用率。統(tǒng)一調(diào)度應(yīng)能管控集群內(nèi)的所有資源，包括計(jì)算資源和存儲(chǔ)資源。統(tǒng)一調(diào)度包括對(duì)數(shù)據(jù)采集、數(shù)據(jù)交互、數(shù)據(jù)處理等各類(lèi)作業(yè)的調(diào)度，并支持跨系統(tǒng)的作業(yè)依賴(lài)和調(diào)度，對(duì)作業(yè)優(yōu)先級(jí)和并發(fā)進(jìn)行控制，同時(shí)支持可視化監(jiān)控和管理功能。

基于Hadoop平臺(tái)的大數(shù)據(jù)多租戶(hù)實(shí)現(xiàn)方式：采用租戶(hù)的方式，調(diào)用Hadoop的組件Yarn、組件HDFS、組件Thrift實(shí)現(xiàn)多租戶(hù)資源的自動(dòng)分配管理方式管理。包括以下幾部分。

· 提供最小分配資源定義、共享資源定義和資源單位定義以及對(duì)應(yīng)的API； PaaS管控平臺(tái)根據(jù)Hadoop提供的API完成資源信息查詢(xún)和分配功能。

· 數(shù)據(jù)共享與安全控制：實(shí)現(xiàn)不同 Hadoop應(yīng)用忙閑時(shí)資源復(fù)用，數(shù)據(jù)只保存一份；不同租戶(hù)間的數(shù)據(jù)做到有效隔離，不能有非法的跨系統(tǒng)間互訪(fǎng)。

· 資源優(yōu)先級(jí)控制：根據(jù)租戶(hù)優(yōu)先級(jí)，來(lái)分配不同的資源容量。

· 業(yè)務(wù)優(yōu)先級(jí)保護(hù)：統(tǒng)計(jì)分析型離線(xiàn)業(yè)務(wù)，優(yōu)先級(jí)低于清單查詢(xún)型實(shí)時(shí)業(yè)務(wù)。

· PaaS管控平臺(tái)基于Hadoop實(shí)現(xiàn)多租戶(hù)能力，通過(guò)集成 Hadoop平臺(tái)的租戶(hù)管理界面，實(shí)現(xiàn)租戶(hù)的新增、修改、刪除等功能，包括：支持在Hadoop平臺(tái)的租戶(hù)管理界面上新增、刪除、修改租戶(hù)；支持通過(guò)Hadoop平臺(tái)提供的接口查詢(xún)租戶(hù)信息，包括租戶(hù)對(duì)應(yīng)的資源信息。

3.3.2 業(yè)務(wù)敏捷性

隨著應(yīng)用的微服務(wù)化與持續(xù)集成的興起，傳統(tǒng)的開(kāi)發(fā)運(yùn)維模式受到很大沖擊，基于手工方式實(shí)現(xiàn)開(kāi)發(fā)、測(cè)試、部署的時(shí)間周期長(zhǎng)，而且軟件版本和平臺(tái)環(huán)境也無(wú)法做到完全統(tǒng)一。借助Dorker的成功和資源調(diào)度技術(shù)的實(shí)現(xiàn)，PaaS平臺(tái)可以輕松實(shí)現(xiàn)從開(kāi)發(fā)測(cè)試到生產(chǎn)運(yùn)維的自動(dòng)化管理，實(shí)現(xiàn)應(yīng)用快速上線(xiàn)。

（1）DevOps

DevOps是一組過(guò)程、方法與系統(tǒng)的統(tǒng)稱(chēng)，用于促進(jìn)開(kāi)發(fā)（應(yīng)用程序/軟件工程）、技術(shù)運(yùn)營(yíng)和質(zhì)量保障部門(mén)之間的溝通、協(xié)作與整合。它的出現(xiàn)是由于軟件行業(yè)日益清晰地認(rèn)識(shí)到為了按時(shí)交付軟件產(chǎn)品和服務(wù)，開(kāi)發(fā)和運(yùn)營(yíng)工作必須緊密合作而提出的。

DevOps不僅僅是自動(dòng)化，更是一種新的文化，用于促進(jìn)業(yè)務(wù)、開(kāi)發(fā)、運(yùn)營(yíng)的溝通和協(xié)作。DevOps的目標(biāo)是通過(guò)建立持續(xù)交付的流水線(xiàn)，從代碼開(kāi)發(fā)到持續(xù)測(cè)試、持續(xù)集成、持續(xù)部署的能力。DevOps 加速軟件開(kāi)發(fā)，減少軟件開(kāi)發(fā)到上線(xiàn)的時(shí)間，并使開(kāi)發(fā)和運(yùn)維協(xié)作得更緊密。

DevOps 的價(jià)值具備以下幾點(diǎn)。

· 代碼的提交直接觸發(fā)：消除等待時(shí)間，快速反饋。

· 全開(kāi)發(fā)流程高效自動(dòng)化：穩(wěn)定，快速，交付結(jié)果可預(yù)測(cè)。

· 持續(xù)進(jìn)行自動(dòng)化回歸測(cè)試：提升交付質(zhì)量。

· 設(shè)施共享并按需提供：資源利用最大化。

· 每個(gè)變化對(duì)應(yīng)一個(gè)交付管道：使問(wèn)題定位和調(diào)試變得簡(jiǎn)單。

（2）Docker

Docker是容器技術(shù)的一種，它運(yùn)行于 Linux宿主機(jī)之上，每個(gè)運(yùn)行的容器都是相互隔離的，也被稱(chēng)為輕量級(jí)虛擬技術(shù)或容器型虛擬技術(shù)[3]，是基于容器技術(shù)的輕量級(jí)虛擬化解決方案。Docker容器技術(shù)的部署架構(gòu)如圖3所示。

圖3 Docker容器技術(shù)的部署架構(gòu)

Docker的優(yōu)勢(shì)在于秒級(jí)啟動(dòng)，秒級(jí)停止，空間資源占用極少。可實(shí)現(xiàn)集成級(jí)別的隔離，可在普通服務(wù)器上建立上百個(gè)Docker實(shí)例，并加快開(kāi)發(fā)測(cè)試部署的速度，簡(jiǎn)化版本管理工作。它可解決資源利用效率低、單物理機(jī)多應(yīng)用無(wú)法有效隔離、運(yùn)維部署不便、版本管理復(fù)雜、遷移成本高等問(wèn)題。

Docker的價(jià)值包括以下幾點(diǎn)。

· 更快的交付部署：以“集裝箱”為單位來(lái)管理應(yīng)用，使開(kāi)發(fā)、測(cè)試、運(yùn)維直接使用同一鏡像來(lái)部署。

· 高效的虛擬化：直接使用操作系統(tǒng)的內(nèi)核隔離功能，是輕量的虛擬化技術(shù)，實(shí)現(xiàn)應(yīng)用隔離和多租戶(hù)環(huán)境。

· 輕松遷移擴(kuò)展：一次創(chuàng)建，隨處運(yùn)行，可以運(yùn)行在任意平臺(tái)。

· 便捷的管理：減少人工維護(hù)和手工更新的工作，修改以增量的方式進(jìn)行更新。

3.3.3 運(yùn)維自動(dòng)化

傳統(tǒng)基于IaaS的應(yīng)用需要單獨(dú)部署中間件、數(shù)據(jù)庫(kù)、應(yīng)用程序等，且大規(guī)模分布式環(huán)境下的應(yīng)用部署不具備自動(dòng)化能力。PaaS平臺(tái)支持一鍵部署、故障恢復(fù)、彈性伸縮的能力，全面支持運(yùn)維自動(dòng)化。

3.3.4 豐富的能力組件

PaaS平臺(tái)提供諸如MPP、RDB、HDFS等大數(shù)據(jù)分析能力，報(bào)表統(tǒng)計(jì)、自助分析、ETL等工具軟件的能力，Redis、Kafka等中間件的能力。讓開(kāi)發(fā)者聚焦業(yè)務(wù)代碼的開(kāi)發(fā)，通用的能力用PaaS平臺(tái)來(lái)統(tǒng)一提供。

3.3.5 數(shù)據(jù)資產(chǎn)服務(wù)

大數(shù)據(jù)平臺(tái)中最有價(jià)值的部分就是數(shù)據(jù)本身，一方面要實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一視圖，另一方面也要做到數(shù)據(jù)的方便獲取和安全隔離，確保數(shù)據(jù)的有效共享。

數(shù)據(jù)開(kāi)放包括如下幾部分。

（1）現(xiàn)有數(shù)據(jù)資產(chǎn)盤(pán)點(diǎn)，包括資料類(lèi)數(shù)據(jù)、行為類(lèi)數(shù)據(jù)、終端類(lèi)數(shù)據(jù)、收入類(lèi)數(shù)據(jù)、交往圈數(shù)據(jù)、位置類(lèi)數(shù)據(jù)、上網(wǎng)行為類(lèi)數(shù)據(jù)、客戶(hù)標(biāo)簽類(lèi)數(shù)據(jù)及集團(tuán)客戶(hù)類(lèi)數(shù)據(jù)。

（2）構(gòu)建開(kāi)放平臺(tái)引入合作伙伴開(kāi)發(fā)者。

（3）實(shí)現(xiàn)多樣化數(shù)據(jù)服務(wù)模式。

· PaaS（平臺(tái)即服務(wù)）適用于第三方帶私有的數(shù)據(jù)到數(shù)據(jù)工廠(chǎng)跟企業(yè)數(shù)據(jù)進(jìn)行融合加工提取信息。建設(shè)數(shù)據(jù)工廠(chǎng)，包括數(shù)據(jù)融合、應(yīng)用開(kāi)發(fā)、數(shù)據(jù)目錄及開(kāi)發(fā)者門(mén)戶(hù)。

· DaaS（數(shù)據(jù)即服務(wù)）適用于需求方查詢(xún)調(diào)用企業(yè)內(nèi)部的數(shù)據(jù)。

· SaaS（軟件即服務(wù)）利用企業(yè)數(shù)據(jù)能力構(gòu)建應(yīng)用供第三方使用，建立應(yīng)用商店，如應(yīng)用開(kāi)發(fā)、應(yīng)用注冊(cè)及應(yīng)用下載。

4 大數(shù)據(jù)開(kāi)放平臺(tái)演進(jìn)思路

近年來(lái)，電信運(yùn)營(yíng)商已經(jīng)初步構(gòu)建了“傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)+MPP+Hadoop”的混搭架構(gòu)。面對(duì)未來(lái)大數(shù)據(jù)開(kāi)放平臺(tái)的建設(shè)需求，需要重點(diǎn)推動(dòng)全網(wǎng)數(shù)據(jù)整合和統(tǒng)一大數(shù)據(jù)平臺(tái)基礎(chǔ)能力，構(gòu)建多樣化的大數(shù)據(jù)服務(wù)能力，對(duì)內(nèi)支撐精細(xì)化運(yùn)營(yíng)管理與精準(zhǔn)營(yíng)銷(xiāo)，對(duì)外聯(lián)動(dòng)數(shù)字化生態(tài)，支撐整體大數(shù)據(jù)開(kāi)放戰(zhàn)略。

電信運(yùn)營(yíng)商大數(shù)據(jù)開(kāi)放平臺(tái)的演進(jìn)主要包括如下幾個(gè)階段。

（1）采取“先立后破”，推動(dòng)集中平臺(tái)能力

針對(duì)企業(yè)內(nèi)部多套分析系統(tǒng)，需要打破目前各個(gè)系統(tǒng)獨(dú)立建設(shè)、重復(fù)存儲(chǔ)、數(shù)據(jù)不共享的模式，建設(shè)跨域統(tǒng)一的數(shù)據(jù)基礎(chǔ)資源層，完成對(duì)跨域數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲(chǔ)和統(tǒng)一計(jì)算，實(shí)現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)統(tǒng)一視圖。

（2）初步構(gòu)建服務(wù)化能力

①構(gòu)建平臺(tái)能力

按照先易后難，初步構(gòu)建具備核心能力的PaaS平臺(tái)。實(shí)現(xiàn)I-PaaS中的資源調(diào)度、運(yùn)維部署、多租戶(hù)隔離等框架功能，實(shí)現(xiàn)A-PaaS中的一部分組件能力，如Spark、HDFS、中間件、自助分析等能力，實(shí)現(xiàn)一部分API對(duì)外訪(fǎng)問(wèn)能力。

②推動(dòng)關(guān)鍵產(chǎn)品的優(yōu)先部署

形成部分共性應(yīng)用在總部節(jié)點(diǎn)支撐，對(duì)外提供全網(wǎng)能力級(jí)的DaaS、SaaS產(chǎn)品，如征信、位置能力，構(gòu)建大數(shù)據(jù)產(chǎn)品統(tǒng)一發(fā)布門(mén)戶(hù)。探索總部與各省、各專(zhuān)業(yè)公司在統(tǒng)一服務(wù)、眾包化全網(wǎng)應(yīng)用開(kāi)發(fā)等方面的協(xié)同機(jī)制。

（3）規(guī)模推進(jìn)與優(yōu)化

①大數(shù)據(jù)PaaS平臺(tái)規(guī)?；?/p>

逐步實(shí)現(xiàn)統(tǒng)一的開(kāi)發(fā)環(huán)境、統(tǒng)一的調(diào)度工具以及一些復(fù)雜組件服務(wù)的接入管理，按照“成熟一個(gè)，接入一個(gè)”的原則，不斷地豐富PaaS平臺(tái)的組件，不斷地完善平臺(tái)功能，實(shí)現(xiàn)平臺(tái)整體資源的彈性伸縮能力。除Hadoop平臺(tái)外，增加更多組件能力，如MPP、可視化、數(shù)據(jù)挖掘等。

②統(tǒng)一架構(gòu)體系、統(tǒng)一數(shù)據(jù)治理儲(chǔ)備

對(duì)現(xiàn)有架構(gòu)體系進(jìn)行優(yōu)化，逐步建設(shè)集中控制、分散部署的大數(shù)據(jù)平臺(tái)架構(gòu)。同時(shí)，對(duì)子節(jié)點(diǎn)大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等提供統(tǒng)一的數(shù)據(jù)治理。

（4）縱向統(tǒng)一

隨著技術(shù)的不斷成熟，大數(shù)據(jù)PaaS平臺(tái)逐漸由一點(diǎn)向多點(diǎn)進(jìn)行演進(jìn)，實(shí)現(xiàn)“邏輯集中、物理分布”的統(tǒng)一大數(shù)據(jù)PaaS平臺(tái)，實(shí)現(xiàn)省級(jí)平臺(tái)到總部平臺(tái)的縱向匯聚與對(duì)接，實(shí)現(xiàn)數(shù)據(jù)的分散處理與調(diào)度的統(tǒng)一管理。以一點(diǎn)接入的模式實(shí)現(xiàn)對(duì)外部合作伙伴提供統(tǒng)一的DaaS、PaaS、SaaS服務(wù)，如圖4所示。

圖4 縱向統(tǒng)一的大數(shù)據(jù)PaaS平臺(tái)

5 結(jié)束語(yǔ)

建設(shè)大數(shù)據(jù)開(kāi)放平臺(tái)是一個(gè)十分艱難的過(guò)程，受限于開(kāi)源技術(shù)、企業(yè)組織架構(gòu)、安全策略等因素。隨著云計(jì)算、大數(shù)據(jù)技術(shù)的不斷完善，未來(lái)一定會(huì)吸引更多的合作伙伴，形成優(yōu)勢(shì)互補(bǔ)的大數(shù)據(jù)生態(tài)圈，引領(lǐng)大數(shù)據(jù)應(yīng)用向各行業(yè)深度發(fā)展，百花齊放。

[1] 劉春, 鄒海鋒, 向勇. 大數(shù)據(jù)環(huán)境下電信數(shù)據(jù)服務(wù)能力開(kāi)放研究[J]. 電信科學(xué), 2014, 30(3): 156-161. LIU C, ZOU H F, XIANG Y, et al. Research on telecom data service open ability under the environment of big data[J]. Telecommunications Science, 2014, 30(3): 156-161.

[2] 韓晶, 張智江, 王健全, 等. 面向統(tǒng)一運(yùn)營(yíng)的電信運(yùn)營(yíng)商大數(shù)據(jù)戰(zhàn)略[J]. 電信科學(xué), 2014, 30(11): 154-158. HAN J, ZHANG Z J, WANG J Q, et al. The unified-operationoriented big data strategy for telecom operators[J]. Telecommunications Science, 2014, 30(11): 154-158.

[3] 谷紅勛, 楊珂. 基于大數(shù)據(jù)的移動(dòng)用戶(hù)行為分析系統(tǒng)與應(yīng)用案例[J]. 電信科學(xué), 2016, 32(3): 139-146. GU H X, YANG K. Mobile user behavior analysis system and applications based on big data[J]. Telecommunications Science, 2016, 32(3): 139-146.

張海峰（1979?），男，中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師，主要研究方向?yàn)镮T支撐系統(tǒng)、大數(shù)據(jù)技術(shù)及組網(wǎng)。

董昭（1977?），男，中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司網(wǎng)絡(luò)所副所長(zhǎng)、高級(jí)工程師，主要研究方向?yàn)镮T支撐系統(tǒng)技術(shù)及組網(wǎng)。

李娟（1978?），女，中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師，主要研究方向?yàn)镮T支撐系統(tǒng)、大數(shù)據(jù)技術(shù)及組網(wǎng)。

齊磊（1982?），男，中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師，主要研究方向?yàn)镮T支撐系統(tǒng)技術(shù)及組網(wǎng)。

顧慧瓊（1982?），女，中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司高級(jí)工程師，主要研究方向?yàn)镮T支撐系統(tǒng)技術(shù)及組網(wǎng)。

Construction of big data open platform for telecom operators

ZHANG Haifeng, DONG Zhao, LI Juan, QI Lei, GU Huiqiong
China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

Big data is accelerating the application across various industries, the opening of the data will help operators in the internal aggregation and sharing, and help to serve the ever-changing application scenarios, this is important for operators to develop new business. The background of combining big data with cloud computing was analyzed, overall architecture of big data platform for cloud computing was proposed, then the big data open platform implementation scheme was focused on, the platform planning and the problems to be solved in the project were carried out, and the reference for the related researchers were provided.

big data, open platform, cloud computing, PaaS

TP319

A

10.11959/j.issn.1000?0801.2017106

2017?03?15；

2017?04?05