網(wǎng)絡(luò)智能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

郭孔梁

（中國移動通信集團(tuán)福建有限公司，福州 350108）

目前通信網(wǎng)絡(luò)的運(yùn)維和優(yōu)化工作仍處于傳統(tǒng)網(wǎng)管支撐模式，網(wǎng)絡(luò)信令類數(shù)據(jù)的相關(guān)應(yīng)用和平臺都集中在KPI計(jì)算或用戶投訴詳單查詢上，網(wǎng)管各個(gè)系統(tǒng)之間的數(shù)據(jù)互不共享，因此存在信息數(shù)據(jù)孤島問題，無法對各個(gè)業(yè)務(wù)以及各個(gè)平臺數(shù)據(jù)之間的內(nèi)在聯(lián)系和關(guān)聯(lián)關(guān)系進(jìn)行有效的分析和利用，難以滿足大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘需要。通過近年的實(shí)踐與探索，福建公司為提升綜合實(shí)力和網(wǎng)絡(luò)運(yùn)營能力，滿足精細(xì)運(yùn)維發(fā)展的需要，打破原有網(wǎng)管平臺只支持網(wǎng)絡(luò)運(yùn)維的認(rèn)識，將當(dāng)前網(wǎng)絡(luò)技術(shù)和市場業(yè)務(wù)支撐有機(jī)結(jié)合，對相關(guān)的信令類數(shù)據(jù)進(jìn)行深入挖掘和關(guān)聯(lián)分析，建設(shè)一個(gè)面向業(yè)務(wù)、面向客戶的網(wǎng)絡(luò)智能分析系統(tǒng)。

1 系統(tǒng)概述

福建移動網(wǎng)絡(luò)智能分析系統(tǒng)主要利用Traffica和CHR數(shù)據(jù)，通過網(wǎng)絡(luò)信令類數(shù)據(jù)的挖掘和關(guān)聯(lián)分析，進(jìn)而分析用戶網(wǎng)絡(luò)行為和業(yè)務(wù)網(wǎng)絡(luò)質(zhì)量，提供面向客戶和面向市場的網(wǎng)絡(luò)支撐。業(yè)務(wù)上，除了常規(guī)的KPI計(jì)算和指標(biāo)分析外，更加側(cè)重細(xì)粒度、精細(xì)化、面向網(wǎng)絡(luò)質(zhì)量、面向運(yùn)維、面向市場支撐的多維度、多方式的挖掘和分析；在空間粒度上做到小區(qū)級，譬如能夠?qū)Ω鱾€(gè)小區(qū)的業(yè)務(wù)質(zhì)量狀況進(jìn)行分析和排名，能夠?qū)ι顓^(qū)、商務(wù)區(qū)等不同場景特征的生活圈進(jìn)行分析；在對象粒度上做到用戶級，譬如能夠?qū)χ攸c(diǎn)客戶進(jìn)行業(yè)務(wù)質(zhì)量分析和故障原因溯源，能夠?qū)χ攸c(diǎn)客戶活動軌跡中的業(yè)務(wù)質(zhì)量進(jìn)行監(jiān)控和回放；在時(shí)間粒度上能夠做到分鐘級，尤其是針對VIP客戶保障分析，采用了10 min分析粒度；在終端粒度上做到型號和操作系統(tǒng)級別，能夠分析不同型號、不同操作系統(tǒng)的終端業(yè)務(wù)質(zhì)量情況、市場占有率排名等。系統(tǒng)主要提供如下幾方面的分析功能。

（1）建立面向網(wǎng)絡(luò)運(yùn)維的分析模式，提供整體網(wǎng)絡(luò)質(zhì)量分析、尋呼黑洞分析、單通串話分析、自動路測分析、掉話率自動分析、接續(xù)時(shí)長分析、用戶通話異常行為分析（包括掉話、接通、時(shí)延異常）、群發(fā)群呼分析、超短重呼分析等功能。

（2）建立面向客戶的分析模式，提供集團(tuán)客戶保障分析、特定VIP客戶保障分析、終端品牌質(zhì)量分析、質(zhì)差用戶關(guān)聯(lián)分析、重點(diǎn)用戶分析、漫游用戶業(yè)務(wù)量和質(zhì)量分析、漫游用戶話務(wù)模型分析、漫游用戶交通工具分析等功能。

（3）建立面向業(yè)務(wù)的分析模式，提供特殊號碼特定業(yè)務(wù)的業(yè)務(wù)量和質(zhì)量分析、2G/3G業(yè)務(wù)質(zhì)量和業(yè)務(wù)量分析、業(yè)務(wù)流量流向分析、長途話務(wù)分析、3G用戶駐留2G網(wǎng)絡(luò)業(yè)務(wù)量分析、互聯(lián)互通業(yè)務(wù)質(zhì)量和業(yè)務(wù)量分析、特定場景分析、緊急呼叫號碼分析、企業(yè)短號和政府短號的業(yè)務(wù)量和質(zhì)量分析等功能。

2 設(shè)計(jì)與實(shí)現(xiàn)

2.1 總體設(shè)計(jì)思路

本系統(tǒng)從技術(shù)架構(gòu)上分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、應(yīng)用展現(xiàn)層。系統(tǒng)的技術(shù)架構(gòu)圖如圖1所示。數(shù)據(jù)采集層主要是搭建統(tǒng)一的數(shù)據(jù)采集層，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的接入，并提供新增數(shù)據(jù)源的“插件式”接入功能，實(shí)現(xiàn)多級引擎的數(shù)據(jù)處理功能。數(shù)據(jù)存儲層是基于OLAP的多層數(shù)據(jù)庫存儲功能，實(shí)現(xiàn)對海量數(shù)據(jù)進(jìn)行高效的存儲管理。從目標(biāo)數(shù)據(jù)文件中提取報(bào)告，并將系統(tǒng)中所需的數(shù)據(jù)按面向分析主題的方法進(jìn)行數(shù)據(jù)調(diào)整，通過數(shù)據(jù)倉庫完成各種粒度的相關(guān)事實(shí)數(shù)據(jù)存儲，使用多維建模方式完成各種專題數(shù)據(jù)模型的建立和分析，實(shí)現(xiàn)全網(wǎng)、全用戶的多維度、細(xì)粒度的分析。應(yīng)用展現(xiàn)層主要完成面向網(wǎng)絡(luò)、面向業(yè)務(wù)、面向客戶的分析功能。先是調(diào)用數(shù)據(jù)存儲層提供的數(shù)據(jù)服務(wù)接口，定期執(zhí)行或接收用戶請求，按需執(zhí)行預(yù)先設(shè)定的業(yè)務(wù)分析功能，完成基于組件化的界面生成。系統(tǒng)界面可以通過導(dǎo)航條設(shè)定自己定制的查詢；生成基礎(chǔ)報(bào)表，支持報(bào)表任務(wù)管理，報(bào)表自動保存；定制需要的個(gè)性化報(bào)表；同時(shí)支持多維的統(tǒng)計(jì)和分析。后面將展開說明技術(shù)架構(gòu)的搭建。

2.2 基于多級引擎的數(shù)據(jù)處理

網(wǎng)絡(luò)智能分析系統(tǒng)的核心數(shù)據(jù)來源于諾西Traffica和華為CHR準(zhǔn)信令數(shù)據(jù)的提取和處理，輔助來源于話務(wù)網(wǎng)管，騷擾電話等外圍系統(tǒng)數(shù)據(jù)。以分析數(shù)據(jù)源主數(shù)據(jù)來看，福建全省每天生成的Traffica和CHR數(shù)據(jù)將近1T的容量，因此高效靈活的數(shù)據(jù)處理過程是網(wǎng)絡(luò)分析平臺的核心和關(guān)鍵。系統(tǒng)通過兩級引擎實(shí)現(xiàn)對原始數(shù)據(jù)采集、抽取、規(guī)整、過濾同時(shí)生成所需的細(xì)粒度基礎(chǔ)指標(biāo)。數(shù)據(jù)處理模塊設(shè)計(jì)成多個(gè)模塊化組件，主要包括數(shù)據(jù)源讀取模塊、預(yù)處理模塊、兩級引擎、KPI分布式處理模塊。數(shù)據(jù)源讀取模塊負(fù)責(zé)將文件中的記錄讀取到內(nèi)存當(dāng)中，并且轉(zhuǎn)換成規(guī)則引擎需要的對象。在讀取的循環(huán)中，每讀取一個(gè)對象，就向規(guī)則會話（RuleSession）中插入一個(gè)對象，直到文件結(jié)束。預(yù)處理模塊處理的對象是從文件中直接生成的對象，它和規(guī)則計(jì)算Fact對象是一一對應(yīng)的，它負(fù)責(zé)判斷此對象是否需要送至規(guī)則引擎進(jìn)行計(jì)算,例如空白對象不需要送入規(guī)則引擎。

圖1 系統(tǒng)技術(shù)架構(gòu)示意圖

其中一級引擎模塊是整個(gè)ETL數(shù)據(jù)處理的核心模塊。一級引擎接受采集的Fact對象，計(jì)算出KPI或COUNT的值。引入了規(guī)則引擎的技術(shù)來進(jìn)行處理，根據(jù)規(guī)則中包含的指定過濾條件，判斷其能否匹配運(yùn)行時(shí)刻的實(shí)時(shí)條件來執(zhí)行規(guī)則中所規(guī)定的動作。二級引擎主要負(fù)責(zé)接收一級引擎計(jì)算的KPI，對同一類型的KPI聚合，計(jì)算出正確的KPI值，同時(shí)接收網(wǎng)管系統(tǒng)傳遞的KPI，并根據(jù)預(yù)先設(shè)定的告警閾值，產(chǎn)生出正確的告警信息。二級引擎還接收一級引擎?zhèn)鱽淼腃OUNT的值，聚合算出COUNT的正確的值，并存入數(shù)據(jù)庫倉庫，供后面的事實(shí)分析和鉆取。

另外對于某些KPI是另外的KPI的比率或者函數(shù)的，例如某某率是兩個(gè)KPI相除的結(jié)果，還要用到KPI分布式處理組件。

2.3 基于OLAP的多層數(shù)據(jù)存儲

網(wǎng)絡(luò)智能分析系統(tǒng)采用 OLAP技術(shù)構(gòu)建多維數(shù)據(jù)庫，建立全網(wǎng)全用戶的Cube和多專題的Cube，支持用戶自定義的多維度分析和鉆取?；跀?shù)據(jù)倉庫/Cube/OLAP的分層、多維數(shù)據(jù)存儲和分析技術(shù)架構(gòu)，通過分專題建立的Cube，向上層應(yīng)用提供靈活、高效的OLAP分析。圖2是系統(tǒng)基于數(shù)據(jù)倉庫/Cube/OLAP的多維分析技術(shù)架構(gòu)示意圖。

圖2 基于數(shù)據(jù)倉庫/Cube/OLAP的多維分析技術(shù)架構(gòu)

網(wǎng)絡(luò)智能分析系統(tǒng)的多維數(shù)據(jù)庫設(shè)計(jì)流程如下：先根據(jù)業(yè)務(wù)需求集合所有維度和度量值構(gòu)建一個(gè)涵蓋所有業(yè)務(wù)范圍的一個(gè)大數(shù)據(jù)倉庫；再根據(jù)該數(shù)據(jù)倉庫構(gòu)建一個(gè)大型多維數(shù)據(jù)庫；根據(jù)業(yè)務(wù)需求將需要經(jīng)常組合查詢的維度的度量集合在一起，設(shè)計(jì)多個(gè)小的數(shù)據(jù)庫；利用自主開發(fā)的ETL工具將大Cube中的數(shù)據(jù)分割抽取到小數(shù)據(jù)倉庫中；基于各個(gè)小的數(shù)據(jù)倉庫再次構(gòu)建相對小巧的多維數(shù)據(jù)庫。

相比傳統(tǒng)一次抽取的Cube具有如下優(yōu)勢：用戶最終查詢的是粗粒度的小Cube，性能大大提高；有小數(shù)據(jù)倉庫的存在，有效解決了大數(shù)據(jù)量事實(shí)表不好保存歷史數(shù)據(jù)的問題；與大Cube構(gòu)建聚合相比，這種小Cube設(shè)計(jì)更簡單，冗余少，與大Cube分別部署相互不受影響；根據(jù)業(yè)務(wù)邏輯分割后的Cube可讀性更好，容易理解；分割后的小數(shù)據(jù)庫倉庫處理性能大大提高。

2.4 基于組件化的界面生成

在多維分析報(bào)表上，本系統(tǒng)區(qū)別于傳統(tǒng)的固定格式報(bào)表和可多維拖拽的報(bào)表，既避免了固定報(bào)表的過于死板，又避免了拖拽報(bào)表的展示效果差和權(quán)限控制效果差，實(shí)現(xiàn)了突破和創(chuàng)新。首先對多維數(shù)據(jù)庫進(jìn)行XML格式的定義和對象化；然后利用傳統(tǒng)技術(shù)開發(fā)幾種固定的頁面（可無限擴(kuò)展）；對頁面所需的動態(tài)元素也進(jìn)行 XML格式定義和對象化；動態(tài)解析頁面的 XML配置取得頁面對象；根據(jù)頁面對象獲取頁面類型和所查詢的Cube名稱；解析Cube的XML配置生成Cube對象。然后根據(jù)頁面動態(tài)元素（例如表格的行、列、篩選條件、鉆取維度、排序方式等）和 Cube配置對象生成多維查詢語句MDX (多維表達(dá)式)。最后通過XML配置生成的MDX查詢數(shù)據(jù)庫來獲取數(shù)據(jù)，并據(jù)獲取到的數(shù)據(jù)和頁面配置中定義的展現(xiàn)方式繪制出報(bào)表頁面。

采用這種方式的好處如下：將Cube配置、報(bào)表配置、頁面展示解析程序都變成模塊化，可任意插入和刪除，而不需要改動程序結(jié)構(gòu)；如果新增Cube，只需在Cube配置文件中加一節(jié)配置；如果新增報(bào)表只需要在頁面配置文件中新增一節(jié)配置，無需重新開發(fā)；如果要新增報(bào)表展現(xiàn)方式只需要加一種解析程序。

Cube單維度頁面的設(shè)計(jì)舉例如下。配置節(jié)包含整個(gè)頁面展示基礎(chǔ)信息，如搜索內(nèi)容（Searchs），表內(nèi)容（Row，Drills），圖內(nèi)容（Chart），以及地圖內(nèi)容（Gis）。 屬性id代指頁面唯一標(biāo)識，屬性title頁面名稱。屬性type指當(dāng)前頁面類型，有單維度（Single），復(fù)合維度（Double）；屬性Cube指向Cube配置源。包含查詢維度集合。，，,組合生成表格及圖形界面。定義了圖形控件內(nèi)容，屬性chartType指圖形展現(xiàn)形式，屬性width與屬性height指定圖形大小。

3 面向業(yè)務(wù)的網(wǎng)絡(luò)指標(biāo)分析應(yīng)用舉例

在面向設(shè)備的傳統(tǒng)網(wǎng)管數(shù)據(jù)中，只能提供分地市、分設(shè)備的接通率、掉話率等指標(biāo)，而對網(wǎng)絡(luò)提供的業(yè)務(wù)，比如13800138000充值業(yè)務(wù)、17951 IP電話業(yè)務(wù)、10086客服電話等特殊號碼業(yè)務(wù)，無法知曉這些業(yè)務(wù)的網(wǎng)絡(luò)指標(biāo)情況。而在網(wǎng)絡(luò)智能分析系統(tǒng)中就提供這種面向業(yè)務(wù)的指標(biāo)分析，例如可以輸出各類企業(yè)短號、政府短號等網(wǎng)絡(luò)質(zhì)量指標(biāo)，為網(wǎng)絡(luò)精細(xì)化管理提供數(shù)據(jù)支撐。另外深入研究運(yùn)營商接入短號的接通率等網(wǎng)絡(luò)質(zhì)量變化（如12593業(yè)務(wù)接通率、17951業(yè)務(wù)接通率等）、研究企業(yè)和政府接入短號的業(yè)務(wù)量情況，為短號接入由競爭對手轉(zhuǎn)接改直連的市場運(yùn)營提供數(shù)據(jù)支撐。

特殊號碼通話分析主要包括基于特服號碼的業(yè)務(wù)量TOPN分布分析和基于特服號碼的業(yè)務(wù)量趨勢分析等功能。從輸出分析頁面，可以得出如下指標(biāo)：某日110特殊號碼通話次數(shù)是15 056次，通話時(shí)長是248.75 h，接通率指標(biāo)是98.76%，掉話率指標(biāo)時(shí)0.95%。再比如，從分析系統(tǒng)可以看出某個(gè)時(shí)期用戶撥打119的接通率是98.63%，撥打4000號碼的接通率是96.57%，撥打10086電話的接通率是99.07%。

4 結(jié)束語

本文詳細(xì)從數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)展示幾個(gè)方面闡述了網(wǎng)絡(luò)智能分析系統(tǒng)的實(shí)現(xiàn)方案，并舉例說明分析系統(tǒng)在實(shí)際網(wǎng)絡(luò)分析工作中的應(yīng)用。此方案已經(jīng)在福建省投入使用，并取得良好的效果。隨著今后TDSCDMA、LTE基站快速部署和大量TD-SCDMA和LTE終端投放，為準(zhǔn)確進(jìn)行網(wǎng)絡(luò)資源投放和終端投放的匹配度分析，該系統(tǒng)還將不斷完善和加強(qiáng)。