運(yùn)營商大數(shù)據(jù)技術(shù)及應(yīng)用

劉洋 金良

【摘要】 隨著“互聯(lián)網(wǎng)+”概念的提出，數(shù)據(jù)成為企業(yè)乃至國家的戰(zhàn)略資產(chǎn)。如何處理和應(yīng)用好海量的數(shù)據(jù)是運(yùn)營商當(dāng)前要面臨的主要問題。本文從大數(shù)據(jù)的發(fā)展現(xiàn)狀入手，通過對(duì)主流大數(shù)據(jù)技術(shù)和運(yùn)營商應(yīng)用的分析，可對(duì)大數(shù)據(jù)系統(tǒng)建設(shè)和應(yīng)用予以參考和指導(dǎo)。

【關(guān)鍵詞】 大數(shù)據(jù) 互聯(lián)網(wǎng)+ hadoop

一、引言

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)的快速發(fā)展以及手機(jī)、平板電腦等各種智能終端的普及帶來了數(shù)據(jù)量的爆發(fā)式增長，數(shù)據(jù)逐步成為企業(yè)乃至國家的戰(zhàn)略資產(chǎn)。在國家層面，大數(shù)據(jù)技術(shù)事關(guān)國家安全和未來，成為大國博弈的另一空間。2012年3月29日，美國政府宣布了“大數(shù)據(jù)研究和發(fā)展倡議”，以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見的能力，投資總共超過2億美元，來大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù)，這也是大數(shù)據(jù)技術(shù)從商業(yè)領(lǐng)域上升到國家戰(zhàn)略高度的開端。

2015年中國政府提出“互聯(lián)網(wǎng)+行動(dòng)計(jì)劃”，互聯(lián)網(wǎng)化已經(jīng)成為各個(gè)傳統(tǒng)行業(yè)升級(jí)和創(chuàng)新商業(yè)模式的最重要的議題，互聯(lián)網(wǎng)+時(shí)代的到來，不僅在改善和提升用戶體驗(yàn)上發(fā)揮作用，更會(huì)重構(gòu)已有的商業(yè)模式?；ヂ?lián)網(wǎng)+對(duì)傳統(tǒng)產(chǎn)業(yè)的改造，將誕生海量的數(shù)據(jù)資產(chǎn)，所帶來的一個(gè)共同點(diǎn)就是大數(shù)據(jù)將成為推動(dòng)行業(yè)創(chuàng)新的驅(qū)動(dòng)引擎。不久的將來，全新的數(shù)據(jù)商業(yè)時(shí)代將開啟。

無論哪種智能終端，上網(wǎng)都要經(jīng)過運(yùn)營商管道；運(yùn)營商可以獲取包括淘寶、騰訊、百度等各種平臺(tái)的數(shù)據(jù)。隨著4G數(shù)據(jù)時(shí)代的到來，運(yùn)營商將獲得更加完備的資源，這個(gè)“大數(shù)據(jù)”主要是大量的用戶行為數(shù)據(jù)，能否挖掘出這些數(shù)據(jù)的價(jià)值將決定能否把握住大數(shù)據(jù)帶來的機(jī)遇。

二、大數(shù)據(jù)時(shí)期運(yùn)營商的影響與挑戰(zhàn)

越來越多的行業(yè)被移動(dòng)互聯(lián)網(wǎng)進(jìn)行滲透，帶來大數(shù)據(jù)的黃金時(shí)代，諸如：醫(yī)療、教育、娛樂、旅游、出行等，這將帶動(dòng)大量的用戶行為和信息及各類大數(shù)據(jù)。我們認(rèn)為，現(xiàn)在大數(shù)據(jù)可能已經(jīng)達(dá)到增長的拐點(diǎn)，未來大數(shù)據(jù)將出現(xiàn)井噴。根據(jù)愛立信的報(bào)告，2020年的大數(shù)據(jù)產(chǎn)生量將接近目前的10倍。而大數(shù)據(jù)的激增以及各類大數(shù)據(jù)的融合使得大數(shù)據(jù)的大規(guī)模商業(yè)化和落地變得可能。

目前非結(jié)構(gòu)化數(shù)據(jù)已接近總數(shù)據(jù)的 90%，而非結(jié)構(gòu)化大數(shù)據(jù)的分析仍處于開始階段，未來大數(shù)據(jù)的價(jià)值挖掘及變現(xiàn)將是高速發(fā)展的領(lǐng)域，將造就千億級(jí)以上市場，而其中將誕生大量機(jī)遇以及機(jī)會(huì)。[1]

通信大數(shù)據(jù)已迎來黃金時(shí)代，15年是運(yùn)營商大數(shù)據(jù)的推進(jìn)年。截止2015年底中國網(wǎng)民規(guī)模達(dá)6.68億，手機(jī)上網(wǎng)人群占比88.9%。運(yùn)營商基本于2012年開始進(jìn)行大數(shù)據(jù)布局，在經(jīng)過3年多的大數(shù)據(jù)積累后，這些大數(shù)據(jù)的價(jià)值需要兌現(xiàn)。從運(yùn)營商訴求看，傳統(tǒng)業(yè)務(wù)下降明顯，運(yùn)營商亟需拓展新業(yè)務(wù)。

三大運(yùn)營商在大數(shù)據(jù)的進(jìn)展上略有差異。電信進(jìn)展最快、聯(lián)通次之、移動(dòng)進(jìn)展相對(duì)較慢。中電信大數(shù)據(jù)布局迅速主要是依靠之前固網(wǎng)寬帶和IPTV業(yè)務(wù)，使得其在移動(dòng)互聯(lián)時(shí)代之前已有大量數(shù)據(jù)并已開始進(jìn)行采集和分析，無論是在數(shù)據(jù)的廣度還是范圍上均有優(yōu)勢(shì)，其應(yīng)用進(jìn)展相對(duì)較快。

大數(shù)據(jù)給運(yùn)營商相關(guān)技術(shù)帶來極大挑戰(zhàn)，主要是數(shù)據(jù)的管理、采集、分析不足。數(shù)據(jù)量的增加使得運(yùn)營商傳統(tǒng)的處理數(shù)據(jù)和存儲(chǔ)壓力增大，數(shù)據(jù)類型的多樣化使得傳統(tǒng)數(shù)據(jù)處理窗口難以處理。另外，運(yùn)營商知道用戶訪問過哪些網(wǎng)站，但是不知道用戶究竟看了哪些內(nèi)容；或者知道用戶在哪個(gè)地址，但是不知道用戶在哪個(gè)地點(diǎn)。在數(shù)據(jù)分析方面，運(yùn)營商希望復(fù)合關(guān)聯(lián)，希望快速實(shí)施，但事實(shí)上，現(xiàn)有的DPI的分析僅僅用了幾張報(bào)表。數(shù)據(jù)散落在各種系統(tǒng)中無法進(jìn)行有效的采集、分析。海量的半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)大大降低了數(shù)據(jù)處理的效率，給運(yùn)營商帶來了巨大的數(shù)據(jù)存儲(chǔ)和讀寫壓力。如若不能縮短數(shù)據(jù)處理的周期，很多數(shù)據(jù)的價(jià)值都會(huì)被極大地稀釋。

在運(yùn)營商中，傳統(tǒng)數(shù)據(jù)包括IT支撐系統(tǒng)數(shù)據(jù)、電子渠道及商務(wù)數(shù)據(jù)、網(wǎng)絡(luò)資源及運(yùn)維數(shù)據(jù)和增值業(yè)務(wù)衍生及內(nèi)容數(shù)據(jù)等。這些數(shù)據(jù)大部分都是結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在傳統(tǒng)數(shù)據(jù)庫中，隨著日志數(shù)據(jù)、各種流媒體數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)越來越多，傳統(tǒng)廠商將Hadoop、MPP技術(shù)逐漸融入到傳統(tǒng)數(shù)據(jù)庫中。未來大數(shù)據(jù)平臺(tái)將超越傳統(tǒng)智能分析層面，從應(yīng)用、角色角度回去找數(shù)據(jù)、統(tǒng)計(jì)建模并最終提供知識(shí)，這必將為運(yùn)營商傳統(tǒng)IT支撐系統(tǒng)的各個(gè)域產(chǎn)生重要影響，要求運(yùn)營商結(jié)合自身的業(yè)務(wù)特性、系統(tǒng)特性、管理訴求，在大數(shù)據(jù)環(huán)境下研究企業(yè)業(yè)務(wù)應(yīng)用及管理需求，如智能流量支撐、大服務(wù)支撐、電子商務(wù)/精細(xì)化商品營銷支撐、精細(xì)化資源管控支撐等對(duì)數(shù)據(jù)的要求，對(duì)企業(yè)級(jí)數(shù)據(jù)進(jìn)行管理和經(jīng)營，建立符合電信運(yùn)營商的大數(shù)據(jù)框架。

三、 大數(shù)據(jù)在IT支撐系統(tǒng)應(yīng)用存在的問題

目前各運(yùn)營商在大數(shù)據(jù)應(yīng)用中都有一定的探索，但還處于初期階段，也暴露的諸多問題：

1.數(shù)據(jù)層面：數(shù)據(jù)沒有全量采集與接收，缺乏集中統(tǒng)一的數(shù)據(jù)處理。2、平臺(tái)層面：IT支撐系統(tǒng)支撐能力不足，不能有效的支撐大數(shù)據(jù)應(yīng)用落地。3、業(yè)務(wù)層面：大數(shù)據(jù)應(yīng)用價(jià)值還未被大眾全面認(rèn)知，亟待推廣。4、運(yùn)營層面：沒有專門數(shù)據(jù)運(yùn)營人員，人員分散沒有形成聚力。

運(yùn)營商需要在公司層面進(jìn)行大數(shù)據(jù)規(guī)劃，從業(yè)務(wù)、IT、管理配套、技術(shù)能力等方面，統(tǒng)籌考慮，進(jìn)行全面部署。

四、主流大數(shù)據(jù)處理技術(shù)

（1）Hadoop技術(shù)。應(yīng)用分析：Hadoop 在處理非結(jié)構(gòu)數(shù)據(jù)和半結(jié)構(gòu)數(shù)據(jù)上具備優(yōu)勢(shì)，尤其適合海量數(shù)據(jù)批處理等應(yīng)用需求。隨著Hadoop技術(shù)的成熟，基于Hadoop的即時(shí)查詢技術(shù)也逐漸嶄露頭角。應(yīng)用場景：適用于大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)的采集、處理、存儲(chǔ)和交換，應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)處理和半結(jié)構(gòu)化日志處理。如：ETL、詳單查詢、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘、冷數(shù)據(jù)存儲(chǔ)。

（2）MPP技術(shù)。應(yīng)用分析： MPP數(shù)據(jù)庫適合結(jié)構(gòu)化數(shù)據(jù)的深度分析、復(fù)雜查詢以及多變的自助分析類應(yīng)用。無需像Hadoop一樣需要定制開發(fā)，同時(shí)可以降低擁有成本。應(yīng)用場景：MPP數(shù)據(jù)庫面向的是海量數(shù)據(jù)的分析型場景，通過列存儲(chǔ)模式、數(shù)據(jù)壓縮、智能化索引、并行處理、并發(fā)控制、高效的查詢優(yōu)化器等技術(shù)，讓大數(shù)據(jù)的分析場景最大限度地減少了磁盤I/O，提升了查詢效率。

（3）流計(jì)算技術(shù)。應(yīng)用分析：Storm是一種開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，可以簡單、高效、可靠地處理大量的數(shù)據(jù)流。應(yīng)用場景：通過提取和分析來自各種分布式系統(tǒng)的信息，來解決企業(yè)監(jiān)控和管理的各種問題。目前流計(jì)算技術(shù)可以應(yīng)用于營業(yè)廳營銷信息定制化推薦、電子營業(yè)廳營銷信息推送等實(shí)時(shí)營銷，四網(wǎng)協(xié)同、渠道協(xié)同等實(shí)時(shí)服務(wù)以及熱點(diǎn)區(qū)域用戶監(jiān)控、關(guān)鍵業(yè)務(wù)指標(biāo)監(jiān)控等實(shí)時(shí)監(jiān)控等應(yīng)用場景。

（4）NoSQL技術(shù)。應(yīng)用分析： NoSQL拋棄了關(guān)系數(shù)據(jù)庫復(fù)雜的關(guān)系操作、事務(wù)處理等功能，僅提供簡單的鍵值對(duì)（Key，Value）數(shù)據(jù)的存儲(chǔ)與查詢，換取高擴(kuò)展性和高性能。例如HBase。應(yīng)用場景：HBase是基于Hadoop的NoSQL數(shù)據(jù)庫。HBase的典型場景可用于詳單存儲(chǔ)和查詢、互聯(lián)網(wǎng)內(nèi)容存儲(chǔ)、GiS數(shù)據(jù)存儲(chǔ)、半結(jié)構(gòu)化歷史數(shù)據(jù)存儲(chǔ)。[2]

五、 運(yùn)營商的大數(shù)據(jù)應(yīng)用

5.1流量經(jīng)營精細(xì)化

深入洞察客戶、助力精準(zhǔn)營銷和指導(dǎo)網(wǎng)絡(luò)優(yōu)化。首先，基于客戶終端信息、手機(jī)上網(wǎng)行為軌跡等豐富的數(shù)據(jù)，借助DPI（Deep Packet Inspection，深度數(shù)據(jù)包檢測）技術(shù)等，建立客戶超級(jí)細(xì)分模型，為各細(xì)分群組客戶打上互聯(lián)網(wǎng)行為標(biāo)簽，完善客戶的360度畫像，深入了解客戶行為偏好和需求特征；其次，根據(jù)用戶行為偏好，推送合適的業(yè)務(wù)，并根據(jù)對(duì)客戶特征的深入理解，建立客戶與業(yè)務(wù)、資費(fèi)套餐、終端類型、在用網(wǎng)絡(luò)的精準(zhǔn)匹配，同時(shí)也能做到在推送渠道、推送時(shí)機(jī)、推送方式上滿足客戶的個(gè)性化需求，實(shí)現(xiàn)全程精準(zhǔn)營銷；再次，利用大數(shù)據(jù)技術(shù)實(shí)時(shí)采集處理網(wǎng)絡(luò)信令數(shù)據(jù)，監(jiān)控網(wǎng)絡(luò)狀況，識(shí)別價(jià)值小區(qū)和業(yè)務(wù)熱點(diǎn)小區(qū)，更精準(zhǔn)的指導(dǎo)網(wǎng)絡(luò)優(yōu)化，實(shí)現(xiàn)網(wǎng)絡(luò)、應(yīng)用和用戶的智能指配。

5.2智能客服

深入分析客服熱線呼入客戶的IVR行為特征、訪問路徑、等候時(shí)長等等，同時(shí)結(jié)合客戶歷史接觸信息、基本屬性等，建立熱線呼入客戶的智能識(shí)別模型。基于客戶智能識(shí)別模型可以在某類客戶下次呼入前預(yù)先推測其呼入的需求大體是什么，IVR接入后應(yīng)該走什么樣的節(jié)點(diǎn)和處理流程。這樣，就可以基于呼入客戶習(xí)慣與需求的事先預(yù)測而設(shè)計(jì)的按鍵菜單、訪問路徑和處理流程，合理控制人工處理量，縮短梳理時(shí)限，為客戶服務(wù)中心內(nèi)部流程優(yōu)化提供數(shù)據(jù)支撐，有助于提升熱線服務(wù)管理水平，加速熱線營銷渠道資源整合，有效識(shí)別客戶投訴風(fēng)險(xiǎn)，助力智能客服中心的建設(shè)。

5.3觸發(fā)營銷

通過用戶消費(fèi)行為、用戶上網(wǎng)行為等行為進(jìn)行分析為用戶設(shè)定包括時(shí)間、位置、行為等觸發(fā)條件為用戶提供相應(yīng)的應(yīng)用，實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)營銷。

5.4對(duì)外數(shù)據(jù)服務(wù)

對(duì)外數(shù)據(jù)服務(wù)是大數(shù)據(jù)應(yīng)用的高級(jí)階段，這個(gè)階段運(yùn)營商不再局限于利用大數(shù)據(jù)來提升內(nèi)部管理效益，而是更加注重?cái)?shù)據(jù)資產(chǎn)的平臺(tái)化運(yùn)營。利用大數(shù)據(jù)資產(chǎn)優(yōu)勢(shì)，將數(shù)據(jù)封裝成服務(wù)，提供給相關(guān)行業(yè)的企業(yè)用戶，為合作伙伴提供數(shù)據(jù)分析開放能力。

六、結(jié)束語

大數(shù)據(jù)的技術(shù)及其應(yīng)用挖掘?qū)\(yùn)營商來說還是起步和發(fā)展階段，運(yùn)營商目前自上而下的傳統(tǒng)運(yùn)營模式無法更接近用戶需求，為支撐大數(shù)據(jù)業(yè)務(wù)開展需要，重新梳理企業(yè)的經(jīng)營模式和組織機(jī)制，全面轉(zhuǎn)向以客戶和消費(fèi)者為中心的運(yùn)營體系，包括信息系統(tǒng)、組織支撐模式、業(yè)務(wù)模式、人力儲(chǔ)備、企業(yè)合作模式等諸多方面，進(jìn)行運(yùn)營模式的變革創(chuàng)新。進(jìn)而提高運(yùn)營商互聯(lián)網(wǎng)戰(zhàn)略的支撐能力，驅(qū)動(dòng)企業(yè)精細(xì)化、智能化管理，支持對(duì)外信息服務(wù)、生態(tài)化運(yùn)營，挖掘出大數(shù)據(jù)的核心價(jià)值。

參 考 文 獻(xiàn)

[1] 吳友文，周軍《通信大數(shù)據(jù)將迎來黃金時(shí)代—運(yùn)營商大數(shù)據(jù)專題報(bào)告》[R]東方證券.2015.3.

[2] 范承工，周寶曜，劉偉《大數(shù)據(jù)：戰(zhàn)略·技術(shù)·實(shí)踐》[M]北京. 電子工業(yè)出版社. 2013.5.