基于統(tǒng)一數(shù)據(jù)抽取網(wǎng)關(guān)的網(wǎng)格系統(tǒng)數(shù)據(jù)倉庫建設(shè)

劉冉冉 江蘇省廣電有線信息網(wǎng)絡(luò)股份有限公司

?

基于統(tǒng)一數(shù)據(jù)抽取網(wǎng)關(guān)的網(wǎng)格系統(tǒng)數(shù)據(jù)倉庫建設(shè)

劉冉冉 江蘇省廣電有線信息網(wǎng)絡(luò)股份有限公司

【摘 要】網(wǎng)格系統(tǒng)數(shù)據(jù)倉庫的原始數(shù)據(jù)來自于BOSS系統(tǒng)、經(jīng)分系統(tǒng)、互動系統(tǒng)、終端管理系統(tǒng)等多個系統(tǒng)。各系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)和特性存在較大差異，因此建立統(tǒng)一的數(shù)據(jù)抽取機制尤為重要。本文介紹了基于統(tǒng)一數(shù)據(jù)抽取網(wǎng)關(guān)的網(wǎng)格系統(tǒng)數(shù)據(jù)倉庫建設(shè)，包括其系統(tǒng)架構(gòu)，外部接口設(shè)計以及非結(jié)構(gòu)化的機頂盒日志處理、可視化的多任務(wù)運行監(jiān)控等關(guān)鍵技術(shù)。

【關(guān)鍵詞】統(tǒng)一數(shù)據(jù)抽取 非結(jié)構(gòu)化 可視化 多任務(wù)

一、引言

2014年，江蘇有線提出加快建設(shè)新型網(wǎng)格化服務(wù)營維體系的戰(zhàn)略舉措。新型網(wǎng)格化服務(wù)營維體系是將目標(biāo)市場按照物理和類型等維度進行劃分，以網(wǎng)格為單位開展以客戶為導(dǎo)向的服務(wù)銷售，從關(guān)注產(chǎn)品和關(guān)注客戶兩個維度進行考核指標(biāo)設(shè)置，從而實現(xiàn)團隊協(xié)同作戰(zhàn)的管理模式，是企業(yè)在發(fā)展中進一步細分市場、實現(xiàn)精細化營銷的一種有效方式。

通過建立底層服務(wù)平臺，省經(jīng)分系統(tǒng)對接所有BSS域數(shù)據(jù)，數(shù)據(jù)倉庫對接GIS系統(tǒng)、終端管理系統(tǒng)、運維支撐系統(tǒng)、網(wǎng)絡(luò)資源管理系統(tǒng)、呼叫中心系統(tǒng)、業(yè)務(wù)開通系統(tǒng)等其他外部系統(tǒng)數(shù)據(jù)，打通地址、客戶、業(yè)務(wù)資源與網(wǎng)絡(luò)資源等的關(guān)聯(lián)，為上層各類功能應(yīng)用的建設(shè)奠定基礎(chǔ)。

二、系統(tǒng)架構(gòu)

2.1系統(tǒng)組成

整合業(yè)務(wù)支撐（B域）、運營支撐（O域）、決策支撐（D域）的BOSS系統(tǒng)、GIS系統(tǒng)、綜合網(wǎng)管系統(tǒng)、OSS系統(tǒng)、終端管理系統(tǒng)、互動平臺、經(jīng)分系統(tǒng)中各類數(shù)據(jù)，實現(xiàn)客戶、業(yè)務(wù)和網(wǎng)絡(luò)資源的關(guān)聯(lián)，從而達到精確支撐服務(wù)和營銷的目標(biāo)，統(tǒng)一抽取框架如圖1所示。

圖1　統(tǒng)一抽取框架

2.2外部接口類型及層次設(shè)計

網(wǎng)格系統(tǒng)與外部系統(tǒng)的接口主要分為三類：

1） 實時接口：實時接口需要傳輸網(wǎng)格系統(tǒng)需要立即處理、實時展現(xiàn)的數(shù)據(jù)。

2） 文件接口：文件接口需要傳輸大批量、對于時效不太敏感的數(shù)據(jù)。例如機頂盒使用日志。

3） 主動抓?。河芍苓呄到y(tǒng)賦權(quán)給網(wǎng)格化營銷系統(tǒng)，由網(wǎng)格化營銷系統(tǒng)主動從周邊系統(tǒng)的庫表里抓取。

由于新型網(wǎng)格化服務(wù)營維支撐系統(tǒng)兼有OLAP聯(lián)機分析處理（數(shù)據(jù)統(tǒng)計分析）和OLTP聯(lián)機事務(wù)處理（網(wǎng)格劃分的增刪改查）的特征，因此該系統(tǒng)數(shù)據(jù)層設(shè)計與傳統(tǒng)的數(shù)據(jù)倉庫或者經(jīng)營分析系統(tǒng)并不一樣。該項目以網(wǎng)格化業(yè)務(wù)流程為導(dǎo)向，設(shè)計了接口層、明細數(shù)據(jù)層、網(wǎng)格聯(lián)機事務(wù)層（詳見表1網(wǎng)格聯(lián)機事務(wù)層設(shè)計、表2網(wǎng)格明細數(shù)據(jù)層）、網(wǎng)格明細數(shù)據(jù)層以及網(wǎng)格主題應(yīng)用層。通過明確定義各接口的“語義層”，自主研發(fā)ETL調(diào)度工具和ETL過程進行數(shù)據(jù)的清理和轉(zhuǎn)換，匯聚至各數(shù)據(jù)層。

表1　網(wǎng)格聯(lián)機事務(wù)層設(shè)計

由于客戶有可能進行移機、更改地址等業(yè)務(wù)操作，這些操作會造成客戶對應(yīng)的網(wǎng)格發(fā)生變化，如果僅根據(jù)每個月底客戶對應(yīng)的網(wǎng)格進行各類數(shù)據(jù)統(tǒng)計，會使得對應(yīng)網(wǎng)格的業(yè)績統(tǒng)計不夠準(zhǔn)確。因此，該項目特別設(shè)計了網(wǎng)格明細數(shù)據(jù)層，對日增量類型的數(shù)據(jù)進行每日網(wǎng)格明細數(shù)據(jù)更新，確保了網(wǎng)格維度各類經(jīng)營指標(biāo)的準(zhǔn)確性。

表2　網(wǎng)格明細數(shù)據(jù)層

三、關(guān)鍵技術(shù)

3.1非結(jié)構(gòu)化的機頂盒日志處理

由于終端管理系統(tǒng)采用TR069協(xié)議與機頂盒通信，采用Inform命令完成數(shù)據(jù)的上報等工作，開機上報內(nèi)容如表3所示。

表3　開機上報內(nèi)容

典型的報文如下所示：

Response

這是典型的非結(jié)構(gòu)化數(shù)據(jù)，以文件形式保存在數(shù)據(jù)庫里。該文件抽取過來以后，必須首先進行解析和處理，然后轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，機頂盒開機數(shù)據(jù)如表4所示。

3.2可視化的多任務(wù)運行監(jiān)控技術(shù)

由于每天系統(tǒng)會由眾多調(diào)度任務(wù)通過接口從外部系統(tǒng)抽取大量數(shù)據(jù)，在數(shù)據(jù)抽取完成后又會經(jīng)過一系列的計算，最后生成前臺數(shù)據(jù)，這一過程中任一個環(huán)節(jié)出現(xiàn)故障，都可能會導(dǎo)致下一環(huán)節(jié)任務(wù)無法正確執(zhí)行。因此，對系統(tǒng)多任務(wù)執(zhí)行狀態(tài)的有效監(jiān)控是系統(tǒng)保障的一個重要方面。系統(tǒng)開發(fā)了一種新的基于用戶體驗的任務(wù)執(zhí)行監(jiān)控管理平臺，通過可視化的系統(tǒng)性能指標(biāo)和任務(wù)執(zhí)行情況關(guān)鍵指標(biāo)，對影響系統(tǒng)任務(wù)執(zhí)行的問題進行主動預(yù)警?？梢暬O(jiān)控流程見圖2。

表4　機頂盒開機數(shù)據(jù)

四、結(jié)論

網(wǎng)格系統(tǒng)采用統(tǒng)一數(shù)據(jù)抽取網(wǎng)關(guān)之后不同系統(tǒng)不同數(shù)據(jù)結(jié)構(gòu)的源數(shù)據(jù)從不同接口抽取進網(wǎng)格系統(tǒng)進行清洗、轉(zhuǎn)換、統(tǒng)計，這大大提升了運營分析數(shù)據(jù)生成的效率。同時這種統(tǒng)一數(shù)據(jù)網(wǎng)關(guān)的可擴展性也很強，有新的系統(tǒng)的源數(shù)據(jù)接入時，只需新增對應(yīng)的抽取接口且不會對原有系統(tǒng)產(chǎn)生影響。

可視化多任務(wù)運行監(jiān)控在實際應(yīng)用過程中能快速識別故障環(huán)節(jié)，變被動運維為主動運維，為應(yīng)用性能提供可靠、科學(xué)的系統(tǒng)化支撐，提升IT系統(tǒng)核心價值。

圖2　可視化監(jiān)控流程