運(yùn)營商大數(shù)據(jù)平臺建設(shè)方案研究

辛笛

（中國通信建設(shè)集團(tuán)設(shè)計(jì)院有限公司第四分公司，鄭州 450052）

電信業(yè)歷經(jīng)多年IT建設(shè)，已經(jīng)具備大量數(shù)據(jù)和應(yīng)用的成果與經(jīng)驗(yàn)。隨著企業(yè)級數(shù)據(jù)整合，海量數(shù)據(jù)處理和大數(shù)據(jù)應(yīng)用建設(shè)等的需求不斷增加，造成當(dāng)前計(jì)算資源管理、任務(wù)調(diào)度、運(yùn)營監(jiān)控和元數(shù)據(jù)管理等能力不能滿足要求，傳統(tǒng)數(shù)據(jù)運(yùn)營管理體系向大數(shù)據(jù)運(yùn)營體系演進(jìn)勢在必行。

大數(shù)據(jù)平臺的演進(jìn)應(yīng)按照“搭平臺、做應(yīng)用”的思路進(jìn)行，分能力建設(shè)階段、完善提升階段、深化擴(kuò)展階段3個階段進(jìn)行，大數(shù)據(jù)平臺分階段建設(shè)內(nèi)容如表1所示。

在能力建設(shè)階段，主要構(gòu)建基礎(chǔ)能力，同時(shí)針對性搭建應(yīng)用；在完善提升階段，則需要完善平臺能力，提升應(yīng)用價(jià)值；在深化擴(kuò)展階段，主要開展創(chuàng)新與合作，完善大數(shù)據(jù)產(chǎn)業(yè)鏈。

電信運(yùn)營商應(yīng)聚焦自身大數(shù)據(jù)資產(chǎn)，以客戶為中心，形成大數(shù)據(jù)匯聚合力，支撐技術(shù)創(chuàng)新的市場客戶產(chǎn)品類、網(wǎng)絡(luò)資源運(yùn)維類、業(yè)務(wù)開放創(chuàng)新三大類應(yīng)用，提升用戶體驗(yàn)。

表1 大數(shù)據(jù)平臺分階段建設(shè)內(nèi)容

1 大數(shù)據(jù)平臺建設(shè)方案

大數(shù)據(jù)平臺總體建設(shè)應(yīng)以用戶需求為中心，以業(yè)務(wù)運(yùn)營為導(dǎo)向，深度分析挖掘用戶的通信和互聯(lián)網(wǎng)行為，依據(jù)行為結(jié)果建設(shè)基礎(chǔ)平臺集成和數(shù)據(jù)模型，將行為結(jié)果轉(zhuǎn)化為營銷商機(jī)數(shù)據(jù)，通過多渠道協(xié)同，推進(jìn)智慧在線運(yùn)營，打造企業(yè)差異化競爭能力。

1.1 體系結(jié)構(gòu)

大數(shù)據(jù)系統(tǒng)體系架構(gòu)采用云化混搭架構(gòu)建設(shè)開放、可靠、易維護(hù)的大數(shù)據(jù)平臺；以數(shù)據(jù)為基礎(chǔ)，需求為導(dǎo)向，通過持續(xù)的模型、業(yè)務(wù)研究，構(gòu)建對內(nèi)、對外應(yīng)用，支撐大數(shù)據(jù)戰(zhàn)略的實(shí)現(xiàn)。

整個大數(shù)據(jù)平臺包括采集調(diào)度中心、存儲計(jì)算中心、平臺資源管控中心、數(shù)據(jù)管控中心、服務(wù)開放中心5個部分，總體架構(gòu)如圖1所示，具體功能如下。

(1)采集調(diào)度中心：采用數(shù)據(jù)不落地傳輸、分布式內(nèi)存數(shù)據(jù)計(jì)算、實(shí)時(shí)流數(shù)據(jù)處理等技術(shù)實(shí)現(xiàn)對系統(tǒng)源數(shù)據(jù)的處理與交換。

(2)存儲計(jì)算中心：以Hadoop、MPP、流處理等技術(shù)建立數(shù)據(jù)處理中心，提供離線計(jì)算服務(wù)和在線計(jì)算服務(wù)，實(shí)現(xiàn)海量數(shù)據(jù)批處理和實(shí)時(shí)處理。

(3)平臺資源管控中心：面向多租戶的安全管控，資源分配/隔離等，支持多廠家、多應(yīng)用安全高效的開發(fā)和運(yùn)行。

(4)數(shù)據(jù)管控中心：統(tǒng)一封裝的函數(shù)庫，屏蔽底層差異性，通過類SQL編寫或函數(shù)調(diào)度，實(shí)現(xiàn)跨平臺統(tǒng)一開發(fā)。

(5)服務(wù)開放中心：通過PAAS、DAAS、SAAS 3種不同層次的開放，對圍繞數(shù)據(jù)的各種角色提供支撐。

1.2 數(shù)據(jù)分析思路

大數(shù)據(jù)平臺擔(dān)負(fù)著向各平臺應(yīng)用提供數(shù)據(jù)支撐的責(zé)任。原始數(shù)據(jù)的雜亂無章難以支撐應(yīng)用的多元化需求，這就需要平臺對其進(jìn)行梳理分析，得到滿足如下條件的分析數(shù)據(jù)。

(1）數(shù)據(jù)分域分層，結(jié)構(gòu)清晰，便于取用。

(2）數(shù)據(jù)組合靈活，能應(yīng)對多元化應(yīng)用需求。

(3）數(shù)據(jù)內(nèi)容豐富，不過于依賴接口歷史數(shù)據(jù)。

根據(jù)對數(shù)據(jù)支撐應(yīng)用的要求，平臺將數(shù)據(jù)縱向分為3層： 接口層(原始數(shù)據(jù))，整合層(關(guān)聯(lián)后數(shù)據(jù))，匯總層(對外提供數(shù)據(jù))。

其中整合層將數(shù)據(jù)橫向分為4域： 基礎(chǔ)域(三戶基礎(chǔ)信息、訂購信息等)，消費(fèi)域(涉及用戶所有的消費(fèi)數(shù)據(jù)) ，行為域(用戶各類行為數(shù)據(jù)，頻值、幣值、趨勢)，偏好域(計(jì)算獲得的用戶各類偏好，時(shí)間、內(nèi)容等)。

匯總層將數(shù)據(jù)橫向分為3域： 營銷域(支撐營銷類事件) ，分析域(支撐分析與決策) ，服務(wù)域(支撐客服類、維系類、關(guān)懷類事件)。如上文所述，數(shù)據(jù)的分層分域圖如圖2所示。

另一方面，搭建大數(shù)據(jù)平臺的物理層網(wǎng)絡(luò)拓?fù)鋱D如圖3所示。

關(guān)于大數(shù)據(jù)平臺物理層的網(wǎng)絡(luò)拓?fù)鋱D，作如下說明。

（1）網(wǎng)絡(luò)架構(gòu)：所有集群主機(jī)通過高速交換機(jī)進(jìn)行網(wǎng)絡(luò)連接，實(shí)現(xiàn)系統(tǒng)的高可靠性。

圖1 大數(shù)據(jù)平臺總體架構(gòu)圖

圖2 數(shù)據(jù)的分層分域圖

圖3 大數(shù)據(jù)平臺物理層網(wǎng)絡(luò)拓?fù)鋱D

(2）NameNode：NameNode節(jié)點(diǎn)是Hadoop集群的管理節(jié)點(diǎn)，采用雙機(jī)熱備的形式實(shí)現(xiàn)了高可用性。

(3）DataNode：DataNode節(jié)點(diǎn)是Hadoop集群的數(shù)據(jù)存儲和計(jì)算節(jié)點(diǎn)，采用多機(jī)冗余和數(shù)據(jù)冗余的方式實(shí)現(xiàn)了高可用性。

(4）接口機(jī)（與ETL共用）：接口機(jī)用于接收和暫存數(shù)據(jù)源系統(tǒng)向外傳送的數(shù)據(jù)文件，雙機(jī)配置可以用于接口壓力的分擔(dān)，也可以在單機(jī)故障時(shí)互為備份用機(jī)。

(5）系統(tǒng)管理（ETL）：系統(tǒng)管理部署集群管理軟件，實(shí)現(xiàn)對集群的管理和任務(wù)調(diào)度，采用雙機(jī)熱備的方式實(shí)現(xiàn)了高可用性。

1.3 大數(shù)據(jù)平臺硬件配置

如表2所示，根據(jù)業(yè)務(wù)需要和數(shù)據(jù)平臺架構(gòu)特點(diǎn)，規(guī)劃大數(shù)據(jù)平臺硬件配置，保證系統(tǒng)的處理能力、高可靠性，并保證系統(tǒng)的高可擴(kuò)展能力。所有服務(wù)器硬件設(shè)備采用相同的配置，目的是當(dāng)集群中關(guān)鍵節(jié)點(diǎn)（如NameNode節(jié)點(diǎn)）出現(xiàn)故障時(shí)，可以將集群中的冗余服務(wù)器臨時(shí)替代關(guān)鍵節(jié)點(diǎn)主機(jī)，實(shí)現(xiàn)備品替換。對于用作DataNode節(jié)點(diǎn)的PC服務(wù)器，應(yīng)根據(jù)平臺規(guī)劃來確定數(shù)量，并隨著業(yè)務(wù)發(fā)展逐步增加臺數(shù)。

2 大數(shù)據(jù)應(yīng)用探討

基于大數(shù)據(jù)平臺的應(yīng)用，可分為企業(yè)內(nèi)部應(yīng)用和企業(yè)外部應(yīng)用兩大類。

2.1 企業(yè)內(nèi)部應(yīng)用

對于運(yùn)營商內(nèi)部應(yīng)用，可以通過構(gòu)建如下三大體系實(shí)現(xiàn)對運(yùn)營商服務(wù)、經(jīng)營及運(yùn)營的有力支撐。

（1）基于大數(shù)據(jù)超細(xì)分的營銷服務(wù)體系： 通過用戶細(xì)分，研究各細(xì)分用戶群行為規(guī)律及營銷特征。

(2）以大數(shù)據(jù)分析為引領(lǐng)的經(jīng)營支撐體系：通過超細(xì)分研究，對市場發(fā)展、行業(yè)競爭、產(chǎn)品推廣進(jìn)行分析。

(3）依托大數(shù)據(jù)能力的集約化實(shí)時(shí)運(yùn)營體系：通過大數(shù)據(jù)采集系統(tǒng)，實(shí)時(shí)掌握市場發(fā)展動態(tài)；通過智能化營銷決策系統(tǒng)，動態(tài)進(jìn)行營銷實(shí)時(shí)預(yù)警、管理。

2.2 企業(yè)外部應(yīng)用

相比較于企業(yè)內(nèi)部應(yīng)用，大數(shù)據(jù)外部應(yīng)用則可實(shí)現(xiàn)如下功能。

（1）精準(zhǔn)廣告：建立RTB-DMP平臺， 開展大數(shù)據(jù)精準(zhǔn)/展示廣告業(yè)務(wù)。

（2）行業(yè)資訊：建立大數(shù)據(jù)對外合作模式，形成行業(yè)分析報(bào)告。

表2 大數(shù)據(jù)平臺硬件配置

（3）區(qū)域洞察：重點(diǎn)針對零售等行業(yè)企業(yè)，開展大數(shù)據(jù)應(yīng)用，為商業(yè)活動提供決策依據(jù)。

(4）數(shù)據(jù)交易：研究大數(shù)據(jù)交易開放、安全機(jī)制，構(gòu)建面向互聯(lián)網(wǎng)的數(shù)據(jù)共享和交易平臺。

3 結(jié)束語

大數(shù)據(jù)正在以不可阻擋的趨勢走進(jìn)各行各業(yè)，電信運(yùn)營商擁有龐大的用戶數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)等數(shù)據(jù)源，在大數(shù)據(jù)時(shí)代具備天然的優(yōu)勢。建設(shè)適合運(yùn)營商自身的大數(shù)據(jù)平臺是發(fā)揮數(shù)據(jù)資源優(yōu)勢，挖掘運(yùn)營商大數(shù)據(jù)價(jià)值的必由之路。

今后，電信企業(yè)應(yīng)不斷提升數(shù)據(jù)共享能力，將大數(shù)據(jù)平臺形成的數(shù)據(jù)能力共享給其它系統(tǒng)，發(fā)揮數(shù)據(jù)價(jià)值，提升數(shù)據(jù)對生產(chǎn)運(yùn)營的支撐作用。最終實(shí)現(xiàn)大數(shù)據(jù)融合、打造大數(shù)據(jù)服務(wù)、盤活大數(shù)據(jù)價(jià)值，創(chuàng)建一個全面數(shù)據(jù)管理、容納多種合作模式、提供豐富產(chǎn)品內(nèi)涵的完善生態(tài)體系。

[1] 田雯, 劉倩, 孫紅恩. MPP數(shù)據(jù)庫在中國移動大數(shù)據(jù)應(yīng)用中的前景分析[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化, 2017(3).

[2] 覃雄派, 王會舉, 杜小勇, 等. 大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J]. 軟件學(xué)報(bào)，2012(01).

[3] 孫紅恩. 電信運(yùn)營商省級大數(shù)據(jù)平臺建設(shè)方案[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化, 2016(2).

[4] 于富東. 大數(shù)據(jù)平臺的關(guān)鍵技術(shù)及組網(wǎng)方案[J]. 電信科學(xué),2015,31(07):164-169.

[5] 徐計(jì), 王國胤, 于洪. 基于粒計(jì)算的大數(shù)據(jù)處理[J/OL].計(jì)算機(jī)學(xué)報(bào), 2015,38(08):1497-1517. (2014-11-28)[2017-08-20]. http://kns.cnki.net/kcms/detail/11.1826.tp.20141205.1510.013.html

[6] 潘文宇, 蔡鑫, 阮宜龍, 等. 運(yùn)營商大數(shù)據(jù)平臺的敏感信息保護(hù)研究[J]. 電信科學(xué), 2014,30(11):125-130.

[7] 任建新. 基于Hadoop平臺的大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)的研究與實(shí)現(xiàn)[D].北京：北京郵電大學(xué), 2014.

[8] 陳云海, 黃蘭秋. 大數(shù)據(jù)處理對電子商務(wù)的影響研究[J]. 電信科學(xué), 2013,29(03):17-21.

[9] 沙樂天, 肖甫, 陳偉, 等. 基于多屬性決策及污點(diǎn)跟蹤的大數(shù)據(jù)平臺敏感信息泄露感知方法[J]. 通信學(xué)報(bào), 2017,38(07):56-69.

[10] 周亮. 面向大數(shù)據(jù)的網(wǎng)絡(luò)安全分析方法[D]. 南京郵電大學(xué),2016.

[11] 張超. 云環(huán)境下的新型大數(shù)據(jù)處理平臺研究[D]. 華南理工大學(xué), 2016.

[12] 王強(qiáng), 李俊杰, 陳小軍, 等. 大數(shù)據(jù)分析平臺建設(shè)與應(yīng)用綜述[J]. 集成技術(shù), 2016,5(02):2-18.

[13] 喜藝. Hadoop大數(shù)據(jù)平臺與傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作探究[J]. 通訊世界, 2015,(17):8-9.

[14] 王洪春. 大數(shù)據(jù)平臺在大型國企效能建設(shè)中的應(yīng)用研究[J].通訊世界, 2015,(13):145-146.

[15] 趙晶. 針對運(yùn)營商的大數(shù)據(jù)建設(shè)方案研究[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化，2015(3).