基于廣電網(wǎng)絡(luò)ODS進行運營數(shù)據(jù)分析

李志剛 李俊杰

【摘要】 隨著廣東廣電開始進入全面的視頻和數(shù)據(jù)業(yè)務運營階段，各種經(jīng)營活動將逐步向精細化邁進。 三網(wǎng)融合的大背景下，未來的競爭將考驗廣電運營商采集和分析數(shù)據(jù)的能力。對于現(xiàn)有的廣電，缺少對數(shù)據(jù)挖掘和分析的經(jīng)營分析系統(tǒng)，如何理解數(shù)據(jù)、規(guī)范數(shù)據(jù)、運用數(shù)據(jù)、實現(xiàn)數(shù)據(jù)從信息到價值的提升，成為擺在管理者面前一個重要課題。

【關(guān)鍵詞】 ODS 運營數(shù)據(jù)

一、背景

現(xiàn)在，廣東廣電各個業(yè)務系統(tǒng)都已經(jīng)全面上線運營，包括集中BOSS系統(tǒng)、綜合運維系統(tǒng)（OSS）、客服系統(tǒng)等。系統(tǒng)數(shù)據(jù)運行狀況如何？我們可以從運營數(shù)據(jù)中看到什么？

問題一：當前BOSS系統(tǒng)主要以業(yè)務受理支撐為主，缺乏經(jīng)營分析模塊，難以提供經(jīng)營分析數(shù)據(jù)。BOSS提供了一部分經(jīng)營數(shù)據(jù)報表，但缺少明細數(shù)據(jù)。所提供的專用查詢數(shù)量有限，都局限于面對營業(yè)員和客服人員使用的，不能滿足復雜的信息提取。

問題二：各個業(yè)務系統(tǒng)，數(shù)據(jù)獨立，難以進行聯(lián)合查詢。BOSS負責客戶管理、產(chǎn)品管理及收費管理等，OSS系統(tǒng)負責綜合工單調(diào)度和資源（地址）管理，客服系統(tǒng)負責客戶來電接入和客戶咨詢、投訴等。各個系統(tǒng)的獨立性對數(shù)據(jù)統(tǒng)計分析帶來了很大困難。

問題三：缺乏良好的分析視圖，缺乏角色定制，對運營決策者、各級管理者的決策支持力度十分有限。

為解決這些數(shù)據(jù)分析問題，我們的長遠目標是建立一套經(jīng)營分析系統(tǒng)。經(jīng)營分析系統(tǒng)是基于數(shù)據(jù)倉庫進行數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)挖掘的。

ODS是一個面向主題的、集成的、可變的、當前的細節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求，支持企業(yè)日常的全局應用的數(shù)據(jù)集合。ODS是介于業(yè)務數(shù)據(jù)庫（DB）和數(shù)據(jù)倉庫（DW）之間的一種數(shù)據(jù)存儲技術(shù)，和原來面向應用的分散的DB相比，ODS具備業(yè)務數(shù)據(jù)庫的部分特性（數(shù)據(jù)細節(jié)和數(shù)據(jù)結(jié)構(gòu)都接近業(yè)務數(shù)據(jù)庫），但也轉(zhuǎn)移和整合了部分數(shù)據(jù)，數(shù)據(jù)組織方式和數(shù)據(jù)倉庫（DW）一樣也是面向主題的和集成的，具備部分DW特征。（圖1）

二、ODS數(shù)據(jù)查詢

ODS的建設(shè)本身是為經(jīng)營分析系統(tǒng)服務的，現(xiàn)在有關(guān)BOSS的報表統(tǒng)計都是來源于ODS。我們需要了解更多的經(jīng)營數(shù)據(jù)，也可以通過ODS來獲取。特別是一些報表數(shù)據(jù)明細，BOSS本身只給出了結(jié)果，缺少過程和明細。

ODS采用Oracle數(shù)據(jù)庫存儲，我們查詢訪問主要通過PL/SQL Developer來處理。PL/SQL Developer是一個集成開發(fā)環(huán)境，專門面向Oracle數(shù)據(jù)庫存儲程序單元的開發(fā)。

我們經(jīng)常使用的就是通過PL/SQL Developer，但使用過程中發(fā)現(xiàn)，該工具重點在于進行開發(fā)和測試，如經(jīng)常進行ODS數(shù)據(jù)提取，則需要操作人具備一定的數(shù)據(jù)庫知識基礎(chǔ)；數(shù)據(jù)的需求者一般是市場部或者運維部的普通員工，由于能力有限，不能自行在PL/SQL Developer進行查詢和導出，都需要通過企信人員操作等問題。

三、經(jīng)營數(shù)據(jù)分析助手開發(fā)

需要數(shù)據(jù)的市場或者營銷人員，他往往只是想看到最終的數(shù)據(jù)結(jié)果，期望一個簡單的工具或者界面。為此，我們開發(fā)了一個專門基于ODS的“經(jīng)營數(shù)據(jù)分析助手”工具。這個工具可以通過簡單的參數(shù)選擇組合，點擊一下按鈕就可以提取到所需要的數(shù)據(jù)。

經(jīng)營數(shù)據(jù)分析助手采用DELPHI編程語言進行開發(fā)。程序結(jié)構(gòu)相對比較簡單，采用C/S模式，通過dbExpress組件直接進行ODS數(shù)據(jù)庫訪問。讓經(jīng)營數(shù)據(jù)分析助手可以更加簡單和容易部署，直接拷貝就可以使用，真正是綠色版本。

運營數(shù)據(jù)分析助手開發(fā)的初始開發(fā)目的是取替PL/SQL Developer，用來做數(shù)據(jù)查詢和提取，并針對用戶數(shù)據(jù)做一些簡單的分析處理。所以，程序上很大部分都是針對SQL語句管理和查詢數(shù)據(jù)的處理，下面針對部分主要功能介紹如下：

1、操作員登陸認證與權(quán)限設(shè)計。

用戶數(shù)據(jù)的查詢提取需要保證一定的權(quán)限控制，確保數(shù)據(jù)的安全性，所以必須有登陸認證過程，其中，密碼是以MD5格式進行加密保存的。

2、分業(yè)務區(qū)分類別管理SQL語句。

分析助手對所有SQL進行編號和分類管理，并且區(qū)分不同分公司。例如我們有2個查詢名稱分別是：B01總在用用戶數(shù)統(tǒng)計，B02按片區(qū)在用用戶數(shù)統(tǒng)計。雖然都是在用用戶數(shù)統(tǒng)計，但有了不同的編碼就可以讓分析人員很容易的知道自己需要那一個。

3、參數(shù)化的SQL管理。

在分析助手界面上提供常用的參數(shù)。根據(jù)需要，我們配置了超過20個參數(shù)選項， 包括ODS表日期、查詢的業(yè)務區(qū)名稱、日期區(qū)間、產(chǎn)品名稱、營銷方案名稱等等。這些參數(shù)使每次運行SQL的時候，都可以根據(jù)用戶的界面選擇進行自動匹配。

4、使用中間表分步查詢。

有些查詢要求比較復雜，例如查詢結(jié)果需要同時展現(xiàn)：客戶資料、客戶總機頂盒臺數(shù)、客戶高清機頂盒臺數(shù)、寬帶賬號數(shù)、互動用戶數(shù)等。如果只用一個SQL執(zhí)行，不但編寫困難，而且執(zhí)行起來也非常占系統(tǒng)資源。我們可以把這個查詢要求進行拆分為幾個子查詢并生成臨時中間表，再通過中間表列出數(shù)據(jù)。

經(jīng)營數(shù)據(jù)分析助手目的是提供一個簡單的方法，讓數(shù)據(jù)分析員能快速提取到自己的數(shù)據(jù)。經(jīng)營數(shù)據(jù)分析助手是通過組建更多的寬表，并且加入客戶標簽，組成BOSS系統(tǒng)和經(jīng)營分析系統(tǒng)的“外掛”，為做真正的數(shù)據(jù)挖掘。

四、通過ODS洞察業(yè)務數(shù)據(jù)

實際上，ODS給到我們的并不僅僅于此。我們通過ODS的數(shù)據(jù)分析，也發(fā)現(xiàn)了生產(chǎn)系統(tǒng)存在的一些問題。因為，ODS數(shù)據(jù)是業(yè)務數(shù)據(jù)庫的直接反饋，是直接來源于生產(chǎn)系統(tǒng)明細的。在做經(jīng)營數(shù)據(jù)分析過程中，我們就多次發(fā)現(xiàn)過存在的一些數(shù)據(jù)問題。

通過ODS的經(jīng)營數(shù)據(jù)分析，我們不但可以了解詳細的經(jīng)營數(shù)據(jù)，也可以發(fā)現(xiàn)存在的一些生成系統(tǒng)數(shù)據(jù)問題，這也有利于我們?nèi)ダ^續(xù)改進和優(yōu)化生產(chǎn)系統(tǒng)。

五、總結(jié)和思考

大數(shù)據(jù)時代來了，其他電信運營商的經(jīng)營數(shù)據(jù)分析已經(jīng)走到了前面，我們只能迎頭趕上。ODS是大數(shù)據(jù)的基礎(chǔ)，是大數(shù)據(jù)分析的第一階段，重點是解決業(yè)務應用統(tǒng)計分析報表功能，具備可變性、準實時性，數(shù)據(jù)結(jié)構(gòu)也基本和業(yè)務系統(tǒng)數(shù)據(jù)表一致；第二個階段是就是數(shù)據(jù)挖掘、決策分析和模型導入。

通過整合所有業(yè)務系統(tǒng)數(shù)據(jù)庫，進行ODS的建設(shè)和不斷完善，把日常的數(shù)據(jù)查詢提煉，整理出模板，相信這將成為日后數(shù)據(jù)挖掘建模的重要組成部分。我們將努力建設(shè)出一套能夠真正提供廣電決策支持的經(jīng)營分析系統(tǒng)。