基于大數(shù)據(jù)的通信運營商企業(yè)級數(shù)據(jù)中心搭建

【摘 要】進(jìn)入流量經(jīng)營時代，通信運營商面臨端管云全方位競爭。需要打破數(shù)據(jù)壁壘，融合通信運營商業(yè)務(wù)運營、網(wǎng)絡(luò)支撐、管理信息等不同域的數(shù)據(jù)，通過大數(shù)據(jù)進(jìn)行立體分析與挖掘，提升流量經(jīng)營時代核心競爭力。如何借助大數(shù)據(jù)，實現(xiàn)從傳統(tǒng)的基于話單的數(shù)據(jù)倉庫向基于業(yè)務(wù)運營、網(wǎng)絡(luò)信令、財務(wù)指標(biāo)等海量信息的企業(yè)級數(shù)據(jù)中心發(fā)展呢？本文重點描述了通信運營商企業(yè)級數(shù)據(jù)中心的系統(tǒng)架構(gòu)設(shè)計、平臺演進(jìn)技術(shù)及其管控配套建議。

【關(guān)鍵詞】大數(shù)據(jù) 通信運營商 企業(yè)級 數(shù)據(jù)中心

一、現(xiàn)狀分析與背景技術(shù)

（一）數(shù)據(jù)倉庫技術(shù)在通信運營商中的應(yīng)用現(xiàn)狀與挑戰(zhàn)

在電信行業(yè)競爭日趨激烈的背景下，如何提升市場營銷能力、客戶服務(wù)水平與經(jīng)營決策水平已成為通信運營商面臨的一個重要問題。數(shù)據(jù)倉庫技術(shù)作為數(shù)據(jù)整理和分析的主流技術(shù)，在通信運營商的應(yīng)用越來越廣泛，在企業(yè)經(jīng)營生產(chǎn)中也扮演著越來越重要的角色。然而通信運營商數(shù)據(jù)倉庫具有數(shù)據(jù)量巨大且增長迅速、業(yè)務(wù)需求復(fù)雜度高、系統(tǒng)效率及數(shù)據(jù)質(zhì)量要求高等特點。這些都對數(shù)據(jù)倉庫的開發(fā)設(shè)計提出了很高的要求，亟需探索建立更加合理高效的新型數(shù)據(jù)倉庫體系架構(gòu)。

（二）大數(shù)據(jù)定義及新技術(shù)引入意義

“大數(shù)據(jù)”作為時下最火熱的IT行業(yè)的詞匯，研究機構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在企業(yè)級數(shù)據(jù)中心構(gòu)建中，可供選擇的除了傳統(tǒng)數(shù)據(jù)倉庫技術(shù)外，還有Hadoop和MPP數(shù)據(jù)庫。Hadoop是一個以一種可靠、高效、可伸縮的方式對大量數(shù)據(jù)進(jìn)行分布式軟件框架。MPP數(shù)據(jù)庫是一個大規(guī)模并行處理數(shù)據(jù)庫，通過每個集群中的每個節(jié)點處理計算通過高速專用網(wǎng)絡(luò)連接共享提供數(shù)據(jù)庫服務(wù)。Hadoop 和MPP數(shù)據(jù)庫為海量數(shù)據(jù)處理提供了一個超越傳統(tǒng)存儲和數(shù)據(jù)庫技術(shù)的解決方案，已經(jīng)成為構(gòu)建海量數(shù)據(jù)構(gòu)架的主流選擇。

二、借助大數(shù)據(jù)搭建企業(yè)級數(shù)據(jù)中心的架構(gòu)規(guī)劃

（一）企業(yè)級數(shù)據(jù)中心架構(gòu)設(shè)計

面向多專業(yè)領(lǐng)域海量數(shù)據(jù)的存儲、處理與開放的需求，可以通過引入大數(shù)據(jù)技術(shù)，采用分級存儲混搭數(shù)據(jù)倉庫搭建新型企業(yè)級數(shù)據(jù)中心，既兼顧了現(xiàn)網(wǎng)投資節(jié)約成本，又考慮到平臺開放性與擴展性。與傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)類似，企業(yè)級數(shù)據(jù)中心分為數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)應(yīng)用層三層架構(gòu)。

1.數(shù)據(jù)獲取層：各生產(chǎn)系統(tǒng)數(shù)據(jù)源數(shù)據(jù)經(jīng)過抽取、清洗、轉(zhuǎn)換，并加載到數(shù)據(jù)中心。數(shù)據(jù)源范圍大大擴張，不再局限于業(yè)務(wù)運營數(shù)據(jù)，而是覆蓋了業(yè)務(wù)運營、網(wǎng)絡(luò)運維、財務(wù)分析及網(wǎng)絡(luò)信令等網(wǎng)元平臺，甚至包括外部數(shù)據(jù)。數(shù)據(jù)量急劇膨脹，以一個中等規(guī)模的省級通信運營商網(wǎng)絡(luò)信令為例，GPRS話單數(shù)據(jù)量一天約為6GB，僅Gn口上網(wǎng)日志數(shù)據(jù)量一天就達(dá)到5TB。數(shù)據(jù)類型多種多樣，包含了清單類結(jié)構(gòu)化數(shù)據(jù)，日志類半結(jié)構(gòu)化數(shù)據(jù)，GIS類非結(jié)構(gòu)化數(shù)據(jù)等。

2.數(shù)據(jù)存儲層：實現(xiàn)對數(shù)據(jù)倉庫中數(shù)據(jù)和元數(shù)據(jù)的集中存儲與管理，并可根據(jù)需求建立面向部門、主題或分支機構(gòu)的數(shù)據(jù)集市。為了支持海量數(shù)據(jù)存儲與分析，構(gòu)建低成本高效的企業(yè)級數(shù)據(jù)倉庫，可以考慮采用分級存儲的混搭數(shù)據(jù)倉庫模式，即“傳統(tǒng)數(shù)據(jù)倉庫+MPP數(shù)據(jù)庫+Hadoop Hbase數(shù)據(jù)庫”的混搭架構(gòu)。

3.數(shù)據(jù)應(yīng)用層：通過多樣化的前端分析展示工具，實現(xiàn)對數(shù)據(jù)倉庫中數(shù)據(jù)的分析和處理，形成市場經(jīng)營和決策工作所需要的科學(xué)、準(zhǔn)確、及時的業(yè)務(wù)信息和知識。既可以是各個專業(yè)領(lǐng)域的分析應(yīng)用，也可以是基于完成的企業(yè)級數(shù)據(jù)進(jìn)行的企業(yè)級分析與決策支持系統(tǒng)。

（二）企業(yè)級數(shù)據(jù)中心各數(shù)據(jù)庫介紹及其比較

1.清單庫：基于低成本文件存儲，采用Hadoop技術(shù)，實現(xiàn)原始數(shù)據(jù)預(yù)處理與存儲。低成本存儲承載低價值數(shù)據(jù)，主要用于存儲通話詳單、網(wǎng)絡(luò)信令等規(guī)模龐大的原始數(shù)據(jù)。

2.基礎(chǔ)數(shù)據(jù)庫：采用MPP技術(shù)的中低成本數(shù)據(jù)庫搭建分布式深度分析平臺，主要用于存儲經(jīng)過輕度匯總的數(shù)據(jù)并對外開放。

3.核心信息庫：采用傳統(tǒng)的高性能數(shù)據(jù)庫用于存儲高價值核心數(shù)據(jù)，在產(chǎn)品選擇上可以采用ORACLE、DB2等主流廠家的成熟產(chǎn)品。主要用于存儲與處理高度匯總數(shù)據(jù)，提供報表分析與即席查詢等高端應(yīng)用。

三、技術(shù)測試驗證情況

在企業(yè)級數(shù)據(jù)中心搭建過程中進(jìn)行了大量的測試驗證工作。例如在業(yè)內(nèi)有多種Hadoop產(chǎn)品和解決方案，為了驗證產(chǎn)品選型，專門組織了Hadoop產(chǎn)品性能與穩(wěn)定性測試。根據(jù)測試結(jié)果分析：Hadoop平臺處理能力需求與處理數(shù)據(jù)量大小成正比，處理能力與數(shù)據(jù)存儲容量可以通過增加計算節(jié)點數(shù)線性獲得。在相當(dāng)?shù)呐渲们闆r下，在一個地市級電信公司31天詳單中查詢隨機號碼的話單記錄，考察數(shù)據(jù)加載能力，開源Hadoop能達(dá)到17萬條/秒，而傳統(tǒng)數(shù)據(jù)庫僅為3萬條/秒。Hadoop架構(gòu)比傳統(tǒng)數(shù)據(jù)庫在大數(shù)據(jù)處理上能更好地發(fā)揮硬件能力。

四、其他實施關(guān)注點

建設(shè)面向企業(yè)級的數(shù)據(jù)倉庫，需要將原來數(shù)據(jù)倉庫體系中的元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、安全和運維管理經(jīng)驗運用到云平臺上，增強云平臺可運營可管理的能力，從而建立相應(yīng)的數(shù)據(jù)管控和應(yīng)用支撐體系，這就需要有專門的團隊運營數(shù)據(jù)資源，并統(tǒng)一支撐數(shù)據(jù)分析需求。該團隊需要負(fù)責(zé)工作包括數(shù)據(jù)標(biāo)準(zhǔn)建立、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)應(yīng)用支持、數(shù)據(jù)需求管理等，先進(jìn)合理的技術(shù)架構(gòu)需要有與之相對應(yīng)的管控配套才能更好發(fā)揮企業(yè)級數(shù)據(jù)中心的作用。