電信運營商大數(shù)據(jù)系統(tǒng)建設初探

溫文波

【摘要】 結合運營商內(nèi)部大數(shù)據(jù)系統(tǒng)建設實際經(jīng)驗，從數(shù)據(jù)、平臺、能力、應用等四個方面對運營商大數(shù)據(jù)系統(tǒng)建設提出自己的想法和意見，僅供參考。

【關鍵詞】 大數(shù)據(jù) hadoop 能力建設

4G時代，運營商“管道化”一詞開始被頻繁提及。運營商與互聯(lián)網(wǎng)企業(yè)，傳統(tǒng)電信業(yè)務與OTT業(yè)務被從各個角度進行比較，與此同時，大數(shù)據(jù)，作為運營商利用“管道”資源進行自我救贖的重要舉措也開始在各運營商落地、開花。

大數(shù)據(jù)系統(tǒng)的建設，無外乎數(shù)據(jù)、平臺、能力、應用等幾個層面，電信運營商作為作為網(wǎng)絡服務接入者和網(wǎng)絡內(nèi)容的承載者，在大數(shù)據(jù)系統(tǒng)建設方面有著自己的先天優(yōu)勢，同時在建設過程中也有一些針對性要求：傳統(tǒng)電信級運營的準確、穩(wěn)定、安全的要求與互聯(lián)網(wǎng)模式所強調(diào)的快速、體驗、迭代在理念上的沖突也要求電信運營商在大數(shù)據(jù)的建設、運營方面有所突破。

一、數(shù)據(jù)

相對互聯(lián)網(wǎng)企業(yè)而言運營商在數(shù)據(jù)來源方面具有明顯優(yōu)勢：

1、全覆蓋，運營商所能獲取的數(shù)據(jù)包含了行為（瀏覽、搜索、下載等）、時間、位置（基于基站的位置）甚至可能包行用戶本次瀏覽的體驗（網(wǎng)速、掉線等）。這些數(shù)據(jù)APP只能以游走法律邊緣的形式偷偷獲取（如手機識別碼、位置、通話記錄），甚至根本無法獲得（用戶本次瀏覽的體驗），而對運營商而言這些都只是運營商提供服務所必須具備的基礎數(shù)據(jù)，運營商先天擁有這些數(shù)據(jù)。同時運營商能獲取用戶全天候上網(wǎng)行為數(shù)據(jù)，保證了對用戶上網(wǎng)行為數(shù)據(jù)的全面掌握，相對而言，任何APP都無法避免被關閉，甚至后臺進程一起被關閉而無法獲取用戶任何信息的黑暗時期。

2、強關聯(lián)，通過IMEI這個天然的“關鍵字”，所有用戶的上網(wǎng)行為可以被明確地關聯(lián)至準確的用戶，避免了cookie存在的已識別用戶丟失的問題；通過LAC和CI，用戶的位置等信息可以被準確關聯(lián)致小區(qū)、基站，對用戶“在哪兒”做什么的跟蹤也變得非常容易。

3、多維度，運營上不僅有用戶的上網(wǎng)行為數(shù)據(jù)，還有用戶的通話、繳費等傳統(tǒng)營帳數(shù)據(jù)數(shù)據(jù)，有投訴、咨詢等客服數(shù)據(jù)。能全面刻畫用戶視圖。

在我們的系統(tǒng)建設過程中，我們首先考慮的是DPI數(shù)據(jù)（Gn口）、信令數(shù)據(jù)（電路域（A口、IuCS）及數(shù)據(jù)域（Gb、IuPS））的獲取。通過Gn口數(shù)據(jù)，我們對用戶LAC、CI、流量類型、應用IP地址、流量、時長等信息進行解析；通過信令數(shù)據(jù)，我們對用戶LAC、CI、呼叫次數(shù)、是否成功等信息進行解析。同時，BOSS重要數(shù)據(jù)也被一并接入，力圖從上網(wǎng)行為、通話行為、繳費行為、位置、投訴、終端等各種維度客戶用戶畫像。

二、平臺

籠統(tǒng)而言電信運營商對平臺的需求至少包含以下幾個方面：

1、穩(wěn)定：底層可升級，確保底層平臺的延續(xù)性。盡可能采用開源版本，減少運維壓力；2、易用：屏蔽hadoop底層技術難點，運營商可集中精力處理能力實現(xiàn)、應用支持等核心問題；3、可視化：元數(shù)據(jù)管理、任務管理、運行監(jiān)控、資源分配等操作盡可能采用可視化操作；常用挖掘算法、工具的調(diào)用，重點數(shù)據(jù)源的引用均應盡可能以可視化方式實現(xiàn)；4、自動：任務分布式依賴與調(diào)度，減少人工干預；5、數(shù)據(jù)生命周期管理：數(shù)據(jù)保存周期的自動維護、歸檔和清理；6、多租戶：數(shù)據(jù)的隔離與訪問控制以確保安全，避免在ETL、數(shù)據(jù)初加工、建模、能力建設等任何環(huán)節(jié)被綁定于一個供應商；7、安全共享：實現(xiàn)自動數(shù)據(jù)脫敏、日志、審計等；

目前市場上主流的大數(shù)據(jù)平臺主要有hadoop（開源）、Greenplum、Vertica等；Hadoop 分布式計算平臺是Hadoop 采用開源模式，以分散存儲和并行計算為基礎的分布式計算平臺，利用低成本的通用計算設備（PC）組成大型集群，構建下一代具備高性能的海量數(shù)據(jù)分布式計算服務平臺，其由hdfs支持的分散存儲、由map/reduce實現(xiàn)的并行計算、由hive實現(xiàn)的數(shù)據(jù)倉庫平臺，hdaoop很好地支持了超大規(guī)模數(shù)據(jù)存儲能力、高性能分布式處理、數(shù)據(jù)可靠性保障、系統(tǒng)的水平擴展，其主要問題在于不支持聯(lián)機事務分析及相對陡峭的學習曲線。考慮到GP等昂貴的license費用、對最前沿技術跟進的相對滯后，hadoop無疑是最好的選擇。為解決學習曲線陡峭的問題，我們在基礎平臺上建設了基礎平臺管理系統(tǒng)，實現(xiàn)對基礎平臺的圖形化、可視化管理；建設了數(shù)據(jù)管理系統(tǒng)實現(xiàn)對元數(shù)據(jù)、數(shù)據(jù)安全、訪問控制等的管理。在很好地利用了開源性、多租戶、安全、穩(wěn)定等平臺優(yōu)勢的同時，實現(xiàn)了易用性、可視化。

三、能力

電信運營商的大數(shù)據(jù)能力建設至少應該包括以下2個方面：建模/挖掘能力、數(shù)據(jù)開放能力。

就建模、挖據(jù)能力而言，大數(shù)據(jù)價值的最終來源并不在于其龐大的基礎數(shù)據(jù)量，而在于數(shù)據(jù)之間若有若無的微妙聯(lián)系以及在此基礎上的數(shù)據(jù)關聯(lián)的模式；在于各數(shù)據(jù)圖層疊加的過程中凸顯的數(shù)據(jù)之間的相互聯(lián)系，這方面，“啤酒與尿布”的故事很能說明問題。

在內(nèi)部，我們綜合了在網(wǎng)時長、客服接觸情況、通信圈變話、呼轉等數(shù)據(jù)，對用戶的穩(wěn)定度進行評估，最終的求準率達到85%以上，達到了較好的效果。

對外，我們綜合了用戶通話消費情況、交往圈情況、搜索情況、訪問重點網(wǎng)商的情況，對用戶的綜合消費能力進行評估，使用過程中滿意度也較高。

就數(shù)據(jù)開放能力而言，無論大數(shù)據(jù)分析、挖據(jù)的結果含金量有多高，最終能讓這種價值得到體現(xiàn)的是數(shù)據(jù)的開放能力，數(shù)據(jù)的開放能力至少包含了三種能力“個體數(shù)據(jù)脫敏輸出的能力”、“報告性質的二維數(shù)據(jù)輸出的能力”、“數(shù)據(jù)魔方等三維數(shù)據(jù)輸出的能力”；

其中，最為敏感的是個體數(shù)據(jù)的脫敏輸出，對個體數(shù)據(jù)的利用無法避免公眾對自身信息安全的疑慮、國家法律對個人隱私保護等問題。對此，互聯(lián)網(wǎng)公司一般采用cookie而不是個人物理信息關聯(lián)的辦法避免碰觸法律紅線；在運營商內(nèi)部，手機號碼、用戶/客戶編號無疑是最便捷的數(shù)據(jù)關聯(lián)方式，但是在與外界進行數(shù)據(jù)交換的時候，IMEI等必將被啟用作數(shù)據(jù)交換過程中唯一識別碼，在此過程中，如何保證數(shù)據(jù)的完全脫敏就成為很大的問題；

人群熱力分布、特定人群消費能力評估等作為評估報告進行輸出，在輸出報告的過程中，個體信息不會被顯示出來，因此個體數(shù)據(jù)相對安全，審計、日志等手段就成為保證群體性數(shù)據(jù)安全的必要手段。

四、應用

電信運營商的大數(shù)據(jù)應用場景基本可以歸為三類

精準化營銷/維系：通過對用戶行為、特征、愛好的準確刻畫，達到減少客戶接觸次數(shù)、提升接觸效果（營銷/挽留）的目標。隨著目標人群手機飽和度越來越大（部分甚至已經(jīng)大于100%），各運營商也逐漸將運營重點從新增市場轉向存量市場，在存量市場中，對客戶體驗、客戶需求的準確把握并提出針對性的營銷、維系案尤為重要。某運營商曾對用戶的客服電話主動撥打行為和離網(wǎng)行為進行關聯(lián)分析，結果發(fā)現(xiàn)，主動撥打客服電話人群在后續(xù)3-6個月內(nèi)離網(wǎng)概率大幅增加，撥打次數(shù)的上升會使離網(wǎng)趨勢急劇上升。這種關聯(lián)，對后續(xù)的維系服務無疑具有極重要的導向性意義。

提升運營效能：基于大數(shù)據(jù)的網(wǎng)絡效益、業(yè)務體驗、網(wǎng)絡投資等指標綜合優(yōu)化，達到優(yōu)化投資、提升運營效能的目標。大數(shù)據(jù)時代，對網(wǎng)絡質量的指標要求從撥測、探針取數(shù)轉向客戶的實際體驗的數(shù)據(jù)模擬，這種模擬包含了CS/PS海量數(shù)據(jù)還原，也包含了通過用戶上網(wǎng)行為對用戶體驗的反向定位。由此得出的基礎數(shù)據(jù)，對運營商的網(wǎng)絡布局、網(wǎng)絡優(yōu)化無疑都至關重要，針對性的網(wǎng)優(yōu)和網(wǎng)絡布點可以很大程度上優(yōu)化投資、提升運營效能。

數(shù)據(jù)變現(xiàn)：即以脫敏數(shù)據(jù)、綜合報告等形式交付數(shù)據(jù)，實現(xiàn)經(jīng)濟收益、社會效益、數(shù)據(jù)交換收益。在RTB整個產(chǎn)業(yè)鏈中，運營商所能扮演的DMP或者CSP角色就很能說明運營商所掌握數(shù)據(jù)在整個產(chǎn)業(yè)鏈中的價值。熱力圖、人群報告等社會管理中亦有及重要的意義。某運營商在重大賽事期間所提供的運動場館附近人群實時熱力分布為主辦方了解整體狀況、確保安全提供了基礎信息保障。

搭建延展性好、延續(xù)性佳的平臺，盡可能匯聚數(shù)據(jù)并在此基礎上針對性建模、挖掘，并將結果內(nèi)向與外向輸出，以實現(xiàn)數(shù)據(jù)價值。這就是筆者從事運營商大數(shù)據(jù)系統(tǒng)建設的最大體會。