基于Hadoop和OGG技術(shù)的運(yùn)營(yíng)商裝維數(shù)據(jù)傳輸方案

謝翠琴　吳　春

（1．安徽職業(yè)技術(shù)學(xué)院，安徽　合肥　230011；2．科大國(guó)創(chuàng)軟件股份有限公司，安徽　合肥　230088）

基于Hadoop和OGG技術(shù)的運(yùn)營(yíng)商裝維數(shù)據(jù)傳輸方案

謝翠琴1吳春2

（1．安徽職業(yè)技術(shù)學(xué)院，安徽合肥230011；2．科大國(guó)創(chuàng)軟件股份有限公司，安徽合肥230088）

運(yùn)營(yíng)商OSS域裝維數(shù)據(jù)傳輸為實(shí)現(xiàn)運(yùn)營(yíng)商全網(wǎng)裝維服務(wù)分析奠定數(shù)據(jù)基礎(chǔ)。文章提出了集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)通道和集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)通道的建立方案，并結(jié)合數(shù)據(jù)的傳輸提出了配套兩級(jí)數(shù)據(jù)通道監(jiān)測(cè)與管理的方案。以某運(yùn)營(yíng)商為實(shí)例，論證了該數(shù)據(jù)傳輸方案的可行性。應(yīng)用表明通過(guò)建立OSS域裝維數(shù)據(jù)傳輸通道，能實(shí)現(xiàn)裝維數(shù)據(jù)的及時(shí)、可靠傳輸，為裝維業(yè)務(wù)分析奠定數(shù)據(jù)基礎(chǔ)。

OSS；裝維服務(wù)；數(shù)據(jù)傳輸；運(yùn)營(yíng)商；Hadoop；OGG

1　引言

隨著電信行業(yè)競(jìng)爭(zhēng)格局的形成，市場(chǎng)競(jìng)爭(zhēng)環(huán)境日趨激烈，各運(yùn)營(yíng)商都面臨提升服務(wù)水平、提升業(yè)務(wù)運(yùn)營(yíng)效率、提高客戶感知等多方面的壓力和挑戰(zhàn)[1]。服務(wù)成了運(yùn)營(yíng)商間博弈的重要籌碼，服務(wù)工作也從過(guò)去“治病救人”的戰(zhàn)術(shù)層面上升到“預(yù)防優(yōu)先”創(chuàng)造客戶價(jià)值的戰(zhàn)略層面[2]。面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng)，如何發(fā)揮裝維服務(wù)的作用，提高客戶忠誠(chéng)度，持續(xù)發(fā)掘客戶潛在價(jià)值，成為各運(yùn)營(yíng)商新的爭(zhēng)奪焦點(diǎn)[3]。

裝維服務(wù)數(shù)據(jù)作為運(yùn)營(yíng)商的重要業(yè)務(wù)數(shù)據(jù)之一，反映了運(yùn)營(yíng)商服務(wù)質(zhì)量和服務(wù)效率。獲取全國(guó)實(shí)例級(jí)數(shù)據(jù)，并從客戶角度對(duì)裝維服務(wù)端到端進(jìn)行準(zhǔn)實(shí)時(shí)管控和監(jiān)測(cè)分析，可推進(jìn)運(yùn)營(yíng)商裝維服務(wù)能力和服務(wù)質(zhì)量的提升。

裝維服務(wù)數(shù)據(jù)分布在各地業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)量龐大。如何實(shí)現(xiàn)海量數(shù)據(jù)的傳輸，成為裝維服務(wù)分析需要解決的首要問(wèn)題。本文擬從建立集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)通道、元數(shù)據(jù)及配置數(shù)據(jù)通道和配套兩級(jí)數(shù)據(jù)通道監(jiān)測(cè)與管理三個(gè)方面，對(duì)運(yùn)營(yíng)商OSS域裝維數(shù)據(jù)傳輸方案進(jìn)行探討。基于應(yīng)用系統(tǒng)環(huán)境和數(shù)據(jù)傳輸業(yè)務(wù)需求，實(shí)例和配置數(shù)據(jù)通道分別采用了Hadoop技術(shù)和Oracle GoldenGate（OGG）技術(shù)。

2　集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)通道建立方案

隨著新技術(shù)和新業(yè)務(wù)的加快出現(xiàn)，運(yùn)營(yíng)商OSS系統(tǒng)要逐步擺脫孤立系統(tǒng)的束縛并消除專有應(yīng)用。OSS不僅要提供綜合性的報(bào)表，還應(yīng)該具備基于業(yè)務(wù)級(jí)、用戶級(jí)的端到端實(shí)時(shí)多位分析視圖和分析能力[4]。

根據(jù)OSS業(yè)務(wù)分析需要，全量裝維實(shí)例數(shù)據(jù)須在規(guī)定時(shí)間內(nèi)完成從省內(nèi)生產(chǎn)業(yè)務(wù)系統(tǒng)傳輸?shù)郊瘓F(tuán)，并共享給集團(tuán)應(yīng)用系統(tǒng)。全量裝維實(shí)例數(shù)據(jù)包括開(kāi)通、保障、預(yù)處理、激活、調(diào)度等業(yè)務(wù)單實(shí)例數(shù)據(jù)，還包括業(yè)務(wù)單攜帶的實(shí)體數(shù)據(jù)以及Authentication,Authorization,Accounting AAA平臺(tái)上網(wǎng)記錄數(shù)據(jù)及寬帶測(cè)速數(shù)據(jù)。由于數(shù)據(jù)量龐大，為了保證數(shù)據(jù)傳輸，需要建立集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)通道。

圖1　集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)互聯(lián)通道

如圖1所示，全量裝維實(shí)例數(shù)據(jù)通道的數(shù)據(jù)由省生產(chǎn)系統(tǒng)將數(shù)據(jù)轉(zhuǎn)化成統(tǒng)一的Key-Value模型，再經(jīng)過(guò)兩級(jí)數(shù)據(jù)總線互聯(lián)通道將數(shù)據(jù)同步至集團(tuán)數(shù)據(jù)總線。由集團(tuán)數(shù)據(jù)總線完成數(shù)據(jù)的存儲(chǔ)、校驗(yàn)、整合和索引，最終提供給集團(tuán)應(yīng)用系統(tǒng)。

為保證在指定時(shí)間內(nèi)海量的裝維實(shí)例數(shù)據(jù)可以同步至集團(tuán)數(shù)據(jù)總線并及時(shí)存儲(chǔ)及共享，數(shù)據(jù)傳輸方案的設(shè)計(jì)采用了用基于Hadoop框架的主從復(fù)制數(shù)據(jù)同步架構(gòu)技術(shù)。

Hadoop平臺(tái)基礎(chǔ)架構(gòu)主要包括兩個(gè)最重要的部分：并行計(jì)算框架Map/Reduce和Hadoop分布式文件系統(tǒng)（HDFS: Hadoop Distributed File System）[5]。Hadoop分布式系統(tǒng)基于java開(kāi)發(fā)，為應(yīng)用程序提供一組穩(wěn)定可靠的API接口，實(shí)現(xiàn)具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)[6]。在Hadoop架構(gòu)中，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)[7]。在裝維實(shí)例數(shù)據(jù)傳輸方案中該技術(shù)的主要優(yōu)點(diǎn)如下：

高效：可支撐大批量數(shù)據(jù)亞秒級(jí)的復(fù)制同步；

安全：可保證在網(wǎng)絡(luò)波動(dòng)、堵塞、中斷或者省側(cè)或集團(tuán)側(cè)數(shù)據(jù)總線出現(xiàn)短暫宕機(jī)的情況下，保證數(shù)據(jù)完整性；

穩(wěn)定：可保證長(zhǎng)時(shí)間運(yùn)行狀態(tài)下不出現(xiàn)性能裂化；

圖2　主從復(fù)制數(shù)據(jù)同步架構(gòu)

主從復(fù)制數(shù)據(jù)同步架構(gòu)如圖2所示。

(1)省內(nèi)將開(kāi)通、保障、激活、調(diào)度、預(yù)處理等業(yè)務(wù)系統(tǒng)的生產(chǎn)數(shù)據(jù)按照統(tǒng)一模型轉(zhuǎn)換成Key-Value結(jié)構(gòu)寫入省數(shù)據(jù)總線；

(2)通過(guò)集團(tuán)-省兩級(jí)全量裝維實(shí)例數(shù)據(jù)通道互聯(lián)，將裝維數(shù)據(jù)同步至集團(tuán)裝維前置庫(kù)；

(3)集團(tuán)側(cè)通過(guò)對(duì)全國(guó)省級(jí)裝維數(shù)據(jù)進(jìn)行數(shù)據(jù)切分、校驗(yàn)、索引處理，直接存儲(chǔ)至集團(tuán)裝維統(tǒng)一庫(kù)。

3　集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)通道建立方案

除了全量裝維實(shí)例數(shù)據(jù)，還需要將裝維相關(guān)的省私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)同步至集團(tuán)。對(duì)于企業(yè)信息管理系統(tǒng)來(lái)說(shuō)，元數(shù)據(jù)是對(duì)系統(tǒng)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的描述[8]。裝維數(shù)據(jù)中的數(shù)據(jù)模型、數(shù)據(jù)編碼就是重要的一類元數(shù)據(jù)。

為保證海量的元數(shù)據(jù)和配置數(shù)據(jù)可以及時(shí)地傳遞至集團(tuán)，還需建立集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)通道。

數(shù)據(jù)通道如圖3所示。省側(cè)先從集團(tuán)的基庫(kù)獲取裝維標(biāo)準(zhǔn)元數(shù)據(jù)，再將省內(nèi)的私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)通過(guò)集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道上傳至集團(tuán)元數(shù)據(jù)庫(kù)。經(jīng)集團(tuán)元數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的校驗(yàn)、整合及存儲(chǔ)，最后共享給集團(tuán)應(yīng)用系統(tǒng)。

圖3　集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道

為保證元數(shù)據(jù)及配置數(shù)據(jù)上傳的高效、穩(wěn)定，集團(tuán)-省兩級(jí)元數(shù)據(jù)及配置數(shù)據(jù)互聯(lián)通道采用了OGG（Oracle Golden-Gate）技術(shù)。Oracle GoldenGate是一種非插入行的基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制技術(shù)[9]。OGG滿足數(shù)據(jù)處理量大、傳輸時(shí)間短、錯(cuò)誤率低及系統(tǒng)資源占用少的要求[10]。元數(shù)據(jù)及配置數(shù)據(jù)傳輸方案中OGG技術(shù)的優(yōu)點(diǎn)如下：

高效：可保證在分鐘時(shí)間內(nèi)實(shí)現(xiàn)數(shù)據(jù)的同步；

靈活：可對(duì)數(shù)據(jù)通道進(jìn)行靈活配置，進(jìn)行合理的權(quán)限控制、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)在線操作等；

穩(wěn)定：可保證長(zhǎng)時(shí)間運(yùn)行下架構(gòu)性能不會(huì)裂化。

圖4　OGG數(shù)據(jù)同步架構(gòu)

OGG數(shù)據(jù)同步架構(gòu)如圖4所示。

(1)省側(cè)通過(guò)訪問(wèn)集團(tuán)側(cè)裝維基庫(kù)獲取最新的標(biāo)準(zhǔn)元數(shù)據(jù)；

(2)省側(cè)通過(guò)標(biāo)準(zhǔn)元數(shù)據(jù)，上傳省側(cè)私有元數(shù)據(jù)、流程配置數(shù)據(jù)、配置模型數(shù)據(jù)及人員組織數(shù)據(jù)至集團(tuán)側(cè)裝維元數(shù)據(jù)庫(kù)；

(3)集團(tuán)側(cè)對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)、整合，最后共享給集團(tuán)應(yīng)用系統(tǒng)。

4　配套兩級(jí)數(shù)據(jù)通道監(jiān)測(cè)與管理方案

為了保證數(shù)據(jù)通道的可用性、及時(shí)性，需建立配套的通道監(jiān)測(cè)及管理功能。配套兩級(jí)數(shù)據(jù)通道的監(jiān)測(cè)與管理方案，包括兩級(jí)數(shù)據(jù)通道的監(jiān)測(cè)和兩級(jí)數(shù)據(jù)通道的配置管理兩部分。

4.1兩級(jí)數(shù)據(jù)通道監(jiān)測(cè)

基于裝維業(yè)務(wù)的特點(diǎn)，數(shù)據(jù)傳輸在凌晨時(shí)間段會(huì)存在周期時(shí)間內(nèi)無(wú)數(shù)據(jù)同步的情況，為保障對(duì)裝維數(shù)據(jù)傳輸通道的監(jiān)控，本方案采用了心跳模式對(duì)裝維數(shù)據(jù)傳輸通道進(jìn)行全方位的監(jiān)測(cè)。

圖5　心跳模式架構(gòu)圖

心跳模式架構(gòu)圖如圖5所示。

(1)省數(shù)據(jù)總線心跳寫入

省數(shù)據(jù)總線新建一張數(shù)據(jù)表，用于周期寫入心跳數(shù)據(jù)。時(shí)間周期可以根據(jù)實(shí)際業(yè)務(wù)需要進(jìn)行配置。

(2)集團(tuán)數(shù)據(jù)總線心跳監(jiān)控

集團(tuán)數(shù)據(jù)總線新建一張數(shù)據(jù)表，用于周期接收省內(nèi)同步的心跳數(shù)據(jù)，并且針對(duì)上傳的數(shù)據(jù)信息進(jìn)行監(jiān)控比對(duì)。

(3)監(jiān)測(cè)指標(biāo)計(jì)算

通道可用性指標(biāo)：集團(tuán)在監(jiān)控周期內(nèi)接收到的省內(nèi)上傳的心跳數(shù)據(jù)量。

通道及時(shí)性指標(biāo)：集團(tuán)接收到省內(nèi)心跳數(shù)據(jù)所需的時(shí)間—省內(nèi)上傳心跳數(shù)據(jù)時(shí)間一般不超過(guò)1分鐘。

(4)監(jiān)測(cè)異常告警

當(dāng)監(jiān)測(cè)發(fā)現(xiàn)通道可用性異?；蛲ǖ蓝氯ㄍ酱嬖诟哐訒r(shí)）可通過(guò)短信、郵件方式及時(shí)發(fā)出告警。告警信息發(fā)送給集團(tuán)-省兩側(cè)相關(guān)業(yè)務(wù)干系人。

4.2兩級(jí)數(shù)據(jù)通道配置管理

為保證裝維兩級(jí)數(shù)據(jù)同步通道的運(yùn)營(yíng)，設(shè)計(jì)了配置管理模塊對(duì)省級(jí)數(shù)據(jù)總線進(jìn)行統(tǒng)一的配置、管理、可視化展示和數(shù)據(jù)總線源端配置。以實(shí)現(xiàn)省數(shù)據(jù)總線的新增、修改、刪除和網(wǎng)絡(luò)撥測(cè)。

5　方案應(yīng)用

本文提出的運(yùn)營(yíng)商OSS裝維數(shù)據(jù)傳輸方案，在某電信運(yùn)營(yíng)商的生產(chǎn)環(huán)境中進(jìn)行了實(shí)施和部署。經(jīng)運(yùn)行檢測(cè)，效果良好。實(shí)現(xiàn)了該運(yùn)營(yíng)商集團(tuán)-省的裝維數(shù)據(jù)高效、可靠傳輸。

6　結(jié)語(yǔ)

裝維服務(wù)作為運(yùn)營(yíng)商直接面向用戶的服務(wù)，關(guān)系著運(yùn)營(yíng)商的服務(wù)能力。提高裝維服務(wù)質(zhì)量是提升公眾客戶感知的關(guān)鍵。加強(qiáng)全網(wǎng)裝維數(shù)據(jù)分析，是提升運(yùn)營(yíng)商裝維服務(wù)的關(guān)鍵。如何實(shí)現(xiàn)裝維數(shù)據(jù)的及時(shí)、可靠傳輸，是實(shí)現(xiàn)全網(wǎng)裝維數(shù)據(jù)分析的關(guān)鍵。文章提出的裝維數(shù)據(jù)傳輸方案在國(guó)內(nèi)某運(yùn)營(yíng)商的實(shí)施也為運(yùn)營(yíng)商提高裝維服務(wù)質(zhì)量奠定了數(shù)據(jù)基礎(chǔ)。

[1]徐代道．運(yùn)營(yíng)商裝維效率的問(wèn)題剖析及能力提升[J]．通訊世界，2015(10)：4-5．

[2]林登山．淺談如何提升寬帶裝維服務(wù)客戶感知度[J]．信息通信，2015(11)：165-165．

[3]張洪波．裝維服務(wù)：電信業(yè)客戶服務(wù)與價(jià)值挖潛之關(guān)鍵[J]．通信世界，2015(14)：23-24．

[4]黃雨竹．發(fā)掘運(yùn)維大數(shù)據(jù)，開(kāi)拓運(yùn)營(yíng)新天地——“智變”中的OSS [J]．通信世界，2015(19)：20-20．

[5]陳丹，郭先會(huì)．Hadoop在電信大數(shù)據(jù)平臺(tái)的研究與設(shè)計(jì)[J]．現(xiàn)代電信科技，2014(8)：12-16．

[6]潘毅，成靜靜．Hadoop在電信運(yùn)營(yíng)商經(jīng)營(yíng)分析系統(tǒng)中應(yīng)用的研究[J]．?dāng)?shù)據(jù)通信，2014(6)：25-28．

[7]辛晃，易興輝，陳震宇．基于Hadoop+MPP架構(gòu)的電信運(yùn)營(yíng)商網(wǎng)絡(luò)數(shù)據(jù)共享平臺(tái)研究[J]．電信科學(xué)，2014，30(4)：135-145．

[8]王爽，馬又良，褚衛(wèi)艷．電信企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理方案研究[J]．郵電設(shè)計(jì)技術(shù)，2015(3)：72-75．

[9]賈海軍．一種基于OGG方式進(jìn)行數(shù)據(jù)遷移的研究[J]．軟件，2015(5)：140-145．

[10]楊維，王振宇，李志民，等．Oracle GoldenGate在大型客服中心系統(tǒng)中的應(yīng)用[J]．電氣應(yīng)用，2015(7)：108-111．

Data Transmission Scheme for Operators Based on Hadoop and OGG

Xie Cuiqin1Wu Chun2
(1.Anhui Vocational and Technical College，Hefei 230011,Anhui; 2.USTC Sinovate Software Co,Ltd,Hefei 230088,Anhui)

It is the data transmission of the OSS(Operation Support System)domain of the operator,which lays the foundation for the full network operator service analysis.This paper puts forward the establishment scheme of the group-provincial total real installation and maintenance data channel and group-provincial level metadata and configuration data channel,and puts forward a project for matching two level data channel monitoring and management based on data transmission.For a certain operator,this paper proves the feasibility of the data transmission solution.The application shows that establishing the installation and maintenance data transmission channel can realize the timely and reliable transmission of the data,which lays the foundation for the data analysis of the installation and maintenance services.

OSS;installation and maintenance service;data transmission;operator;Hadoop;OGG

TP391

A

1008-6609(2016)06-0071-03

謝翠琴，女，安徽樅陽(yáng)人，碩士，講師，研究方向：通信技術(shù)職業(yè)教育。