OSS域統(tǒng)一采集適配平臺建設方案探討

曹永剛　中國電信股份有限公司內蒙古分公司工程師王冠之　中國電信股份有限公司內蒙古分公司工程師張永艷　中國電信股份有限公司內蒙古分公司工程師董　信　中國電信股份有限公司內蒙古分公司工程師

?

OSS域統(tǒng)一采集適配平臺建設方案探討

曹永剛中國電信股份有限公司內蒙古分公司工程師
王冠之中國電信股份有限公司內蒙古分公司工程師
張永艷中國電信股份有限公司內蒙古分公司工程師
董信中國電信股份有限公司內蒙古分公司工程師

摘要：通過分析電信運營商網(wǎng)絡及網(wǎng)管現(xiàn)狀，探討了OSS域統(tǒng)一采集適配平臺建設方案，結合網(wǎng)絡管理系統(tǒng)的實際需求以及國內主流網(wǎng)管產(chǎn)品的實際案例和使用情況，實現(xiàn)南向網(wǎng)元的統(tǒng)一接入管理，通過屏蔽OMC/NE網(wǎng)絡技術與廠商差異，對多專業(yè)、多技術接口的網(wǎng)元進行數(shù)據(jù)采集和轉換，以及對網(wǎng)元的操作指令快速翻譯。對OSS域統(tǒng)一采集適配平臺的建設有一定借鑒意義。

關鍵詞：采集適配；轉換；指令翻譯

1　引言

國內電信運營商網(wǎng)管領域長期以來一直按照分專業(yè)、分廠家的模式來建設網(wǎng)管系統(tǒng)，按自下而上劃分，包括三大類網(wǎng)管：廠家網(wǎng)管、專業(yè)綜合網(wǎng)管和跨專業(yè)綜合網(wǎng)管。經(jīng)過多年的發(fā)展，這些大大小小的網(wǎng)管在網(wǎng)絡維護和管理支撐等各方面，提供了非常豐富的支撐手段，為電信業(yè)務的快速發(fā)展提供了強有力的后端支撐。但是這種持續(xù)、分散的建設模式同時也導致了電信網(wǎng)管建設出現(xiàn)了網(wǎng)管數(shù)量龐大、維護和運行效率低等一系列問題，已經(jīng)無法滿足集約化運維需求。

網(wǎng)管層級太多，網(wǎng)管的南向接口薄弱，各種應用都向網(wǎng)絡要數(shù)據(jù)，各種操作要求也不斷涌現(xiàn)網(wǎng)絡，一方面形成了各網(wǎng)管和網(wǎng)絡之間多而復雜的網(wǎng)狀接口；另一方面，越上層的網(wǎng)管越不具備對設備的操作能力，制約了集約化維護的發(fā)展。

如何通過一套具備多專業(yè)、多協(xié)議的數(shù)據(jù)采集和轉換能力，對網(wǎng)元的操作指令快速翻譯能力、快速靈活擴展能力的統(tǒng)一采集適配平臺，實現(xiàn)與相關業(yè)務系統(tǒng)的接口，獲取數(shù)據(jù)，來滿足上層場景應用視圖以及對外數(shù)據(jù)共享的需求，是目前OSS域統(tǒng)一采集適配平臺建設的熱點問題。

2　現(xiàn)狀

目前，分專業(yè)、分廠家的建設模式也導致電信網(wǎng)管的網(wǎng)元接入層出現(xiàn)了如下問題：

（1）北向接口協(xié)議不規(guī)范

由于各類新、老設備的特點以及分專業(yè)、分廠家的建設模式，導致網(wǎng)管領域長期以來一直未能進行統(tǒng)一規(guī)范。雖然部分專業(yè)制定了一些標準的北向接口規(guī)范，但是相對于中國電信整個網(wǎng)管域，仍僅占其中較小部分。絕大部分的設備、廠家網(wǎng)管仍然采用的是私有協(xié)議，正是由于這種大量私有協(xié)議的使用，導致協(xié)議數(shù)量眾多，極大增加了網(wǎng)管接入、管理和維護網(wǎng)元的工作量。

（2）系統(tǒng)間接口網(wǎng)狀互聯(lián)

由于對網(wǎng)管域沒有規(guī)劃統(tǒng)一的入口，導致IT系統(tǒng)、跨專業(yè)綜合網(wǎng)管與專業(yè)綜合網(wǎng)管、廠家網(wǎng)管和設備之間的接口連接呈網(wǎng)狀形式，從而導致網(wǎng)絡運維管理的相關部門難以對網(wǎng)絡進行統(tǒng)一的監(jiān)控和維護。

（3）缺乏統(tǒng)一管控能力

現(xiàn)有的專業(yè)網(wǎng)管、綜合網(wǎng)管、廠家網(wǎng)管、本地網(wǎng)管、EMS等都進行資源、告警、性能數(shù)據(jù)的采集，但采上來的數(shù)據(jù)千差萬別，各自為政，沒有統(tǒng)一的管理，無法保證數(shù)據(jù)的一致性。

（4）缺乏大數(shù)據(jù)采集能力

隨著網(wǎng)絡分析的深入，運營商越來越關注用戶行為的分析和用戶價值的挖掘，因此需要對話單、信令、路測等大數(shù)據(jù)量進行采集適配，這些數(shù)據(jù)都是日增量以TB為單位的，并且要求處理時間到分鐘級。這就要求數(shù)據(jù)采集平臺要具備大數(shù)據(jù)采集和處理機制，滿足上述需求。

（3）存在單點隱患

網(wǎng)管作為日常維護的必備手段，在運維支持中起著重要的作用，網(wǎng)絡的維護管理要求網(wǎng)管系統(tǒng)的數(shù)據(jù)必須完整、準確、實時。這就要求網(wǎng)管數(shù)據(jù)必須保證7×24h不缺失，需要數(shù)據(jù)采集平臺能實現(xiàn)分布式部署，實現(xiàn)Server和采集端的負載均衡，規(guī)避單點故障而導致數(shù)據(jù)無法正常采集的情況。

如何才能保證采集接入，個人認為統(tǒng)一采集適配平臺需要考慮如下問題：

●采集適配要由注重數(shù)據(jù)的接入能力向注重數(shù)據(jù)的管控能力演進

專業(yè)網(wǎng)管私有接口多，采集系統(tǒng)更注重接口的匹配能力。集成共享平臺的采集接口相對固定，更加關注采集任務的管控和數(shù)據(jù)質量的管控，是從面向接口到面向用戶的轉變。

●采集適配由注重數(shù)據(jù)的提供能力向注重數(shù)據(jù)的共享能力演進

專業(yè)網(wǎng)管通常是要看什么報表就采什么數(shù)據(jù)，消費形式簡單，數(shù)據(jù)可以拿來直接就用。集成共享平臺數(shù)據(jù)來源不一，數(shù)據(jù)消費的形式多變，需要將數(shù)據(jù)采集過來先集中和共享，再由應用來判定和消費。采集的服務能力體現(xiàn)在數(shù)據(jù)的集中化和共享的輸出能力上。

●采集適配要由注重數(shù)據(jù)的被動集成能力向注重數(shù)據(jù)的主動分發(fā)能力演進

以前專業(yè)網(wǎng)管總覺得數(shù)據(jù)不夠，總想東抓抓西湊湊；集成共享平臺本身的技術架構解決了數(shù)據(jù)來源問題，需要面對的就是數(shù)據(jù)的有效分發(fā)能力。采集系統(tǒng)在不同的時期、不同的應用系統(tǒng)支撐過程中所起的作用不同，需要有強大的數(shù)據(jù)預處理和邏輯統(tǒng)一的數(shù)據(jù)分發(fā)能力，使之適應不同的應用系統(tǒng)的數(shù)據(jù)采集需求。

3　定位

統(tǒng)一采集適配平臺定位于集成共享平臺的底層基礎設施，用來屏蔽網(wǎng)元技術與廠商差異，為集成共享平臺應用提供底層的數(shù)據(jù)基礎和網(wǎng)元訪問入口。集成共享平臺所涉及到底層網(wǎng)元的數(shù)據(jù)采集和網(wǎng)元操作功能，主要由統(tǒng)一采集適配平臺提供。采集適配平臺能夠最大限度降低底層網(wǎng)元變動對上層網(wǎng)管應用的影響。

統(tǒng)一采集適配平臺作為集成共享平臺的基礎平臺，主要提供兩大類支撐能力，即數(shù)據(jù)采集和網(wǎng)元操作。平臺屬于集成共享平臺的內部模塊，不直接對外部系統(tǒng)提供網(wǎng)元訪問服務。對于數(shù)據(jù)采集和網(wǎng)元操作的邊界規(guī)定如下：

（1）數(shù)據(jù)采集

所有需要入庫的數(shù)據(jù)，由采集適配平臺直接或間接調用數(shù)據(jù)中心的服務進行入庫。數(shù)據(jù)采集包括從網(wǎng)元側的數(shù)據(jù)采集及從專業(yè)網(wǎng)管側的數(shù)據(jù)采集兩種數(shù)據(jù)來源。

（2）網(wǎng)元操作

對于通過專業(yè)網(wǎng)管具備網(wǎng)元操作功能的，由專業(yè)網(wǎng)管對網(wǎng)元操作能力進行封裝后在服務總線上注冊供上層應用調用；對于其它網(wǎng)元所涉及的網(wǎng)元訪問邏輯，均由采集適配平臺的標準指令操作接口及業(yè)務操作接口通過注冊到網(wǎng)管服務總線的標準服務能力對外提供。

4　目標

統(tǒng)一采集適配平臺致力于建設成為集成共享平臺所需要的配置、性能、告警和使用記錄等數(shù)據(jù)的采集來源，以及為上層應用提供網(wǎng)元操作服務的綜合平臺。該平臺將是集成共享平臺與網(wǎng)元和專業(yè)網(wǎng)管交互的重要手段，將是集成共享平臺實現(xiàn)智能化的核心基礎設施。

本文統(tǒng)一采集適配平臺的建設了如下的建設目標：

（1）標準化：定義采集適配平臺向上的標準接口，屏蔽網(wǎng)絡技術和廠商差異，降低底層網(wǎng)元或網(wǎng)管接入對上層應用系統(tǒng)的影響。

（2）規(guī)范化：對新設備新網(wǎng)管的接入提供規(guī)范的接口要求，提升新網(wǎng)絡的接入效率和對新業(yè)務的支撐能力。

（3）融合化：融合全網(wǎng)全專業(yè)的網(wǎng)元接入能力，融合數(shù)據(jù)采集與網(wǎng)元操作功能，預集成通用接口，簡化北向接口的接入。

（4）平臺化：提供基礎運行框架和易擴展的插件開發(fā)接口，各系統(tǒng)提供商可按平臺標準進行開發(fā)，有效提高平臺穩(wěn)定性和縮短網(wǎng)元接入周期。

采集適配平臺在技術和功能層面應達到以下目標：

●功能目標：提供包括配置、性能、告警和使用記錄等數(shù)據(jù)的采集及網(wǎng)元操作的能力。

●技術目標：規(guī)范化網(wǎng)管域數(shù)據(jù)交互標準，提高數(shù)據(jù)一致性，提供靈活的任務調度機制，并具備多協(xié)議適配能力。

圖1　功能架構

5　方案

統(tǒng)一采集適配平臺采用Ultra-IDCP（綜合數(shù)據(jù)采集平臺），由Ultra-IDCPServer、Ultra-IDCPProbe組成，Server與Probe之間的數(shù)據(jù)交互由MQ消息中間件來承載；Ultra-IDCP從功能層次可以分為數(shù)據(jù)接入層、數(shù)據(jù)處理層、數(shù)據(jù)共享層。采用分布式部署，支持多專業(yè)、各類型數(shù)據(jù)接入；支持各種接口適配，并保持接口可擴展性。目前，該產(chǎn)品能采集各專業(yè)通信網(wǎng)（包括無線網(wǎng)、交換網(wǎng)、數(shù)據(jù)網(wǎng)、傳輸網(wǎng)等）設備的性能數(shù)據(jù)、配置數(shù)據(jù)、告警數(shù)據(jù)、業(yè)務數(shù)據(jù)。

統(tǒng)一適配平臺滿足對大數(shù)據(jù)的采集需求，大數(shù)據(jù)主要是文件數(shù)量多（單次采集50個文件）、單個文件大（單個文件可達10G或更大）的日志文件以及CDR話單等。

綜合數(shù)據(jù)采集平臺系統(tǒng)功能架構如圖1所示。

（1）數(shù)據(jù)接入層主要負責數(shù)據(jù)的采集、協(xié)議的適配等

采集適配器實現(xiàn)與設備側的接口協(xié)議適配的功能，從設備側獲取原始數(shù)據(jù)，進行數(shù)據(jù)解析（詞法分析，數(shù)據(jù)格式標準化，根據(jù)處理規(guī)則將采集到的底層數(shù)據(jù)轉換成相應的信息模型的數(shù)據(jù)）。采集適配器的功能組成包括協(xié)議適配、數(shù)據(jù)獲取、數(shù)據(jù)解析、數(shù)據(jù)上報，并支持被動接收設備側發(fā)送的數(shù)據(jù)。經(jīng)過解析后的源數(shù)據(jù)通過適配器北向接口向上共享。

（2）數(shù)據(jù)處理層主要負責數(shù)據(jù)的預處理與臨時數(shù)據(jù)存儲

采集任務/數(shù)據(jù)處理：接收調度中心的數(shù)據(jù)處理命令，將采集適配器生成的數(shù)據(jù)進行處理、關聯(lián)運算，通過ETL過程將數(shù)據(jù)錄入到數(shù)據(jù)庫中。

（3）數(shù)據(jù)共享層主要負責接收訂閱采集策略、數(shù)據(jù)訂閱請求及北向接口

●采集策略接收

接收訂閱策略，根據(jù)策略和當前時間實例化成采集任務，根據(jù)各采集節(jié)點的運行環(huán)境和資源空閑情況進行判斷，能夠選擇合適的采集節(jié)點，并把任務下發(fā)；能夠接收采集節(jié)點反饋的任務執(zhí)行情況，并監(jiān)控各采集節(jié)點運行狀態(tài)；根據(jù)任務的采集結果分析數(shù)據(jù)是否完整，能夠根據(jù)設定的策略觸發(fā)數(shù)據(jù)的補采。

●數(shù)據(jù)訂閱/共享

接收外部系統(tǒng)發(fā)送的數(shù)據(jù)訂閱請求，根據(jù)設定的數(shù)據(jù)訂閱權限判斷該訂閱請求是否合理并作出響應。數(shù)據(jù)準備好后，給訂閱該數(shù)據(jù)的外部系統(tǒng)發(fā)送通知消息以及數(shù)據(jù)的訪問方法，外部系統(tǒng)主動獲取數(shù)據(jù)，對同一份數(shù)據(jù)的不同訂閱者分別發(fā)送通知。

●北向接口

這里的北向接口是指負責完成上層應用與采集適配平臺的交互；接收來自上層應用的各種告警、性能、配置、網(wǎng)元操作等相關的請求；將處理與轉化后的數(shù)據(jù)或結果以標準接口形式提供給上層應用系統(tǒng)。在規(guī)范中也叫標準接口。

采集入庫后的數(shù)據(jù)提供給上層的系統(tǒng)和模塊進行調用，通過北向接口向外輸出，對于北向接口，提供多種接口方式輸出，包括DB、文件、消息等。

另外，作為IDCP的前端界面，將采集管理、元任務管理、數(shù)據(jù)質量管理、系統(tǒng)維護、日志管理作為主菜單，其中還包括了任務管理、任務監(jiān)控、采集機管理、進程監(jiān)控、消息管理、數(shù)據(jù)核查、算法管理、指標管理模塊，使采集平臺的操作簡便明了。

并且按照組件化和模塊化的設計思想，IDCP將一些常用的公共組件固化下來統(tǒng)一管理，如共享管理、元數(shù)據(jù)管理、消息服務管理、數(shù)據(jù)解析組件等。

6　原理

6.1采集設備管理

統(tǒng)一采集平臺數(shù)據(jù)來源于廠家網(wǎng)管（如EMS/ OMC）、專業(yè)網(wǎng)管（如移動網(wǎng)管、交換網(wǎng)管、業(yè)務平臺網(wǎng)管、數(shù)據(jù)網(wǎng)管）、綜合類網(wǎng)管（如集中告警、分析系統(tǒng)、C網(wǎng)網(wǎng)管）、設備網(wǎng)元等系統(tǒng)；集成共享平臺所需采集的數(shù)據(jù)，從數(shù)據(jù)種類來看，主要可以分為以下兩類：常規(guī)數(shù)據(jù)、大數(shù)據(jù)。常規(guī)數(shù)據(jù)主要有網(wǎng)元的配置數(shù)據(jù)、告警數(shù)據(jù)、性能數(shù)據(jù)等。大數(shù)據(jù)主要有信令數(shù)據(jù)、話單數(shù)據(jù)、路測數(shù)據(jù)等。下面針對不同數(shù)據(jù)類型的數(shù)據(jù)，分別描述對這幾類數(shù)據(jù)采集上報的處理過程。

針對于以上兩類數(shù)據(jù)，分別由不同的數(shù)據(jù)采集及處理機制進行處理。

（1）常規(guī)數(shù)據(jù)的采集適配處理

采用統(tǒng)一采集平臺模塊進行采集適配及數(shù)據(jù)處理。該平臺的主要業(yè)務邏輯實現(xiàn)如圖2所示。

首先，可定制對指定數(shù)據(jù)源、指定網(wǎng)元、指定指標的采集策略，系統(tǒng)將采集策略以及調度規(guī)則信息發(fā)送到Server端的動態(tài)任務調度模塊，該模塊根據(jù)Probe采集機的資源使用情況，可動態(tài)控制Probe端任務的啟停狀態(tài)。當Probe端分布式部署時，同一個任務可在多個Probe端存在，當Server接收到任務控制的請求消息時，能夠根據(jù)各Probe采集機的資源利用狀況，選擇最合適的Probe來執(zhí)行任務。這多個Probe的多個任務配置信息統(tǒng)稱為任務資源池。那么，如何收集到采集機的資源利用狀態(tài)呢？Server端的自監(jiān)控模塊可以根據(jù)監(jiān)控采集任務的執(zhí)行狀況、監(jiān)控采集機資源狀況、監(jiān)控數(shù)據(jù)質量狀況，通過一定的規(guī)則來生成最合適執(zhí)行任務的Probe推薦信息供動態(tài)任務調度模塊選擇。在采集任務信息下發(fā)到Probe采集機之后，采集任務根據(jù)其屬性，分為探測任務、補/重采任務、正常采集任務3種。探測任務是一種主動式的對數(shù)據(jù)源進行數(shù)據(jù)完整性是否滿足業(yè)務要求的準實時檢查，通常探測的粒度以秒為單位，相對于定時采集任務的調度，數(shù)據(jù)探測的機制同時也進一步從源頭上解決了數(shù)據(jù)源數(shù)據(jù)產(chǎn)生的及時性問題；補重采任務是根據(jù)數(shù)據(jù)質量模塊傳遞得到的數(shù)據(jù)完整性信息，判斷是否對已采集任務進行補采或重采，用以滿足業(yè)務系統(tǒng)對數(shù)據(jù)完整性的需求；常規(guī)采集任務則通過對接口進行適配、進行數(shù)據(jù)源數(shù)據(jù)的獲取、清洗、歸一化處理等動作，最終通過北向接口輸出到指定的位置中。

圖2　IDCP業(yè)務實現(xiàn)邏輯

通常一個數(shù)據(jù)采集的過程為通過創(chuàng)建廠商、采集項、元數(shù)據(jù)、采集任務、采集環(huán)境、數(shù)據(jù)輸出規(guī)則等操作后，把數(shù)據(jù)采集任務分配給采集機，并啟動數(shù)據(jù)采集任務，采集任務按照采集周期或采集請求觸發(fā)進行數(shù)據(jù)采集，將采集到的數(shù)據(jù)按照約定好的格式共享輸出給上層應用，如有必要用消息通知給上層應用。

在Corba接口協(xié)議的數(shù)據(jù)源采集過程中，由于Corba接口本身的規(guī)范制定了數(shù)據(jù)源生成數(shù)據(jù)的消息通知機制，所以現(xiàn)有網(wǎng)管系統(tǒng)的南向接口越來越多的采用Corba接口進行采集適配，一旦數(shù)據(jù)源準備好數(shù)據(jù)，采集程序接收到消息后立即到指定位置獲取數(shù)據(jù)，大大減緩了數(shù)據(jù)采集的延時性。

●告警數(shù)據(jù)的采集適配處理

告警數(shù)據(jù)用于及時反映全網(wǎng)系統(tǒng)運行狀態(tài)。

采集方式包括Corba、MQ、Socket、WEBSERVICE、SNMP、TRAP、SYSLOG等。

告警數(shù)據(jù)主要包括核心網(wǎng)設備、信令網(wǎng)設備、IP數(shù)據(jù)設備、傳輸設備、接入網(wǎng)設備等設備告警及業(yè)務平臺產(chǎn)生的業(yè)務告警，動力設備和環(huán)境監(jiān)控告警、相關性能指標超閾值的告警等。

統(tǒng)一采集適配平臺與集中告警獲取全專業(yè)告警數(shù)據(jù)，采用Socket接口方式。

系統(tǒng)通過內置的采集接口，連接各廠家網(wǎng)管、專業(yè)網(wǎng)管、綜合類網(wǎng)管、設備網(wǎng)元等，實時獲取其主動上報的告警消息，并對告警消息按照采集策略中定義的規(guī)則進行清洗、歸一化處理，供其它應用服務使用。

●性能數(shù)據(jù)的采集適配

性能數(shù)據(jù)來源于專業(yè)綜合網(wǎng)管、固網(wǎng)交換網(wǎng)管、接入網(wǎng)網(wǎng)管和EMS、設備網(wǎng)元等；性能數(shù)據(jù)用于評價系統(tǒng)運行質量，通過分析歷史數(shù)據(jù)的情況、預測未來的發(fā)展，提升管理層次，達到面向服務品質的管理。

采集方式包括FTP、DB、Corba、WEBSERVICE、SNMP等。

性能指標的采集粒度至少應為1h以內，在條件允許時，專業(yè)網(wǎng)管、EMS/OMC、設備網(wǎng)元等應提供15min、5min等粒度的指標采集能力。

統(tǒng)一采集適配平臺與傳輸網(wǎng)管、C網(wǎng)網(wǎng)管、接入網(wǎng)網(wǎng)管、IP網(wǎng)管、動環(huán)網(wǎng)管獲相關性能指標數(shù)據(jù)，通采用FTP接口方式。

●配置數(shù)據(jù)的采集適配

資源配置數(shù)據(jù)來源于專業(yè)綜合網(wǎng)管、資源系統(tǒng)、固網(wǎng)交換網(wǎng)管、接入網(wǎng)網(wǎng)管和EMS等系統(tǒng)；資源配置數(shù)據(jù)是指無線網(wǎng)設備、核心網(wǎng)設備、信令網(wǎng)、IP數(shù)據(jù)網(wǎng)設備、接入網(wǎng)設備、傳輸設備、動力環(huán)境設備、業(yè)務平臺系統(tǒng)、客戶、合作伙伴、空間等各種配置元素的類型、屬性信息以及相關人員、文檔、介質、地理等維度屬性，它用于整體描述綜合網(wǎng)管系統(tǒng)的資源狀況。

資源數(shù)據(jù)的采集方式一般采用文件接口、DB、Corba等方式。

系統(tǒng)通過內置的采集接口，連接專業(yè)綜合網(wǎng)管、資源系統(tǒng)、固網(wǎng)交換網(wǎng)管、接入網(wǎng)網(wǎng)管和EMS等系統(tǒng)，采取周期性獲取的方式，從數(shù)據(jù)源獲取格式化的資源配置數(shù)據(jù)，根據(jù)預先定義好的采集腳本進行解析入庫，為上層應用提供相應的數(shù)據(jù)支撐。

統(tǒng)一采集適配平臺與綜合資源系統(tǒng)獲取全專業(yè)資源數(shù)據(jù)，采用DB接口方式。

（2）使用記錄的采集適配處理

使用記錄的定義是：使用記錄是在智能網(wǎng)管參考SID引入的新模型，指外部客戶或運營商自身因使用（包括用戶消費網(wǎng)絡產(chǎn)生的數(shù)據(jù)、運營商因維護網(wǎng)絡而產(chǎn)生的數(shù)據(jù)）網(wǎng)絡而產(chǎn)生的各類服務使用數(shù)據(jù)、資源使用數(shù)據(jù)，這些數(shù)據(jù)都是海量數(shù)據(jù)。

圖3　大數(shù)據(jù)采集原理

所謂的使用記錄，在電信網(wǎng)管領域具體的就是指像短信話單、WAP話單、信令數(shù)據(jù)、路測數(shù)據(jù)、分組域數(shù)據(jù)等半結構化的，日增量在TB以上級別的，同時系統(tǒng)對數(shù)據(jù)處理的實時性要求在分鐘級別的一類數(shù)據(jù)，這類數(shù)據(jù)具備大容量、準實時、復雜度高、價值密度低等典型的大數(shù)據(jù)特征，針對這類數(shù)據(jù)，采用大數(shù)據(jù)采集模塊進行使用記錄的采集適配及數(shù)據(jù)處理。

采用開源的大容量字符碼流采集框架Flume-ng來進行二次開發(fā)和處理這類大數(shù)據(jù)。ApacheFlume是一個分布式、可靠和可用的系統(tǒng)，其有效地收集、匯總和轉移大量的日志數(shù)據(jù)從許多不同來源移動到一個集中的數(shù)據(jù)存儲區(qū)；具有數(shù)據(jù)流模型、數(shù)據(jù)可靠性、可擴展、高效率采集等特性；Flume的數(shù)據(jù)源支持包括log4j、unixtail、syslog、TCP/UDP的端口監(jiān)聽、文本文件等，在數(shù)據(jù)輸出方面，支持HDFS和Hbase，除了這兩種之外，還支持寫入文本文件、通過TCP把數(shù)據(jù)傳到另外的主機等，若需輸出到關系型數(shù)據(jù)庫如Oracle，MySQL等，則需要進行二次開發(fā)，目前的大數(shù)據(jù)采集產(chǎn)品已完全支持這兩種數(shù)據(jù)庫的輸出。

●FlumeAgent大數(shù)據(jù)采集機工作原理

每個FlumeAgent能配置多個Source-channel-sink工作流（見圖3）。

通過界面可輕松配置每個工作流的Source、Channel、Sink等步驟的屬性參數(shù)，采集平臺服務側將配置好的工作流通過消息中間件下發(fā)到指定的FlumeAgent，F(xiàn)lumeAgent會將配置參數(shù)保存到相應的配置文件，在下一個運行周期到來后按最新的Source-channel-sink工作流來工作。

●FlumeAgent特性

設置多個Agent流，前一個Agent的Sink作為后一個Agent的Source，具體參見圖4。

圖4　多Agent流示意圖

由Agent1、Agent2、Agent3同時進行采集，把采集的到的數(shù)據(jù)統(tǒng)一作為Agent4的數(shù)據(jù)源，由Agent4進行合并或統(tǒng)計處理，Agent4處理后寫到HDFS中，具體參見圖5。

圖5　多Agent合并處理示意圖

對于同一個源，可以進行不同的數(shù)據(jù)處理，處理后的結果可以寫到HDFS中，或者由JMS發(fā)送出去。同時也可以作為下一個Agent的數(shù)據(jù)源，再次處理，具體參見圖6。

●大數(shù)據(jù)完整性保證

對于Tail、File的Source數(shù)據(jù)源，需要對其數(shù)據(jù)完整性進行處理，有以下兩點功能：

——因大數(shù)據(jù)采集引入了事務處理機制，當工作流在Source-channel-sink過程中遇到任何異常中止數(shù)據(jù)傳輸或采集，都會相應的步驟保存前一步驟的數(shù)據(jù)，當FlumeAgent下次啟動時會自動進行數(shù)據(jù)恢復并傳輸?shù)较鄳哪康牡?，具體參見圖7。

——當數(shù)據(jù)源與FlumeAgent之間出現(xiàn)了不可抗拒的異常情況后，就需要FlumeAgent自動記錄當時Tail文件的行數(shù)，或File文件記錄的行數(shù)，當異常情況修復后，就必須從記錄行開始進行數(shù)據(jù)采集，保證Tail、File的數(shù)據(jù)采集完整性。

●大數(shù)據(jù)采集過程

對實時數(shù)據(jù)采集層需要完成實時數(shù)據(jù)的裝載、批量數(shù)據(jù)加載，實時數(shù)據(jù)裝載需要有SDTP協(xié)議解析模塊來解析SDTP接口發(fā)送的實時信令數(shù)據(jù)，將其中的XDR解析出來后，利用消息分發(fā)模塊分發(fā)到消息中間件中，為了保障數(shù)據(jù)在加載過程中的高可用性，加載過程需要進行本地持久化。流計算集群按照定制好的預處理拓撲讀取消息隊列中的數(shù)據(jù)，進行實時計算，需要支持分組統(tǒng)計、Count、求和、平均、最大值、最小值等常用算法，并采用時間窗口的概念來區(qū)分計算批次，將計算完的批次實時同步到內存數(shù)據(jù)庫中。同樣，內存數(shù)據(jù)庫中的數(shù)據(jù)也會進行本地持久化，保證數(shù)據(jù)不丟失。

圖6　數(shù)據(jù)輸出方式多樣

對于文件接口的批量采集框架，可以采用分布式的Flume-ng進行采集，內置內存DBSource采集適配插件、FTPSource采集適配插件、HDFS采集適配插件、數(shù)據(jù)庫采集適配插件、WebService采集適配插件、MPP數(shù)據(jù)庫Loader采集適配插件等常用接口采集插件。通過界面化定制采集任務的方式，周期性的發(fā)現(xiàn)FTP目錄的文件，增量采集到HDFS或MPPLoader中。特別的是，在增量采集到HDFS時，需要支持小文件合并的能力，合并的大小要大于HDFSBlock的大小。同樣，在采集過程中，持久化文件到本地磁盤，保證采集過程數(shù)據(jù)不丟失。并且在配置采集任務時，可以配置異常數(shù)據(jù)的判斷規(guī)則，以及將異常數(shù)據(jù)輸出的路徑，并將異常記錄到采集日志中。采集到HDFS中原始數(shù)據(jù)，需要同采集的指定版本的資源數(shù)據(jù)進行關聯(lián)，例如網(wǎng)元資源、用戶資源、熱點資源等，這就需要周期性的將固定版本的資源數(shù)據(jù)同步到HDFS中。對于采集到MPP數(shù)據(jù)庫中的數(shù)據(jù)，都必須通過MPP數(shù)據(jù)庫的Loader服務器進行加載，避免通過JDBC或ODBC加載產(chǎn)生的低效率。由于經(jīng)由HDFS計算后的統(tǒng)計數(shù)據(jù)需要加載到MPP數(shù)據(jù)庫中，為了統(tǒng)一數(shù)據(jù)分發(fā)流程，特經(jīng)由Flume-ng的HDFSSource插件進行統(tǒng)一加載。圖8為大數(shù)據(jù)采集流程示意圖。

平臺需采集固網(wǎng)系統(tǒng)的AAA話單、WLAN話單、日志數(shù)據(jù)和分組域AAA系統(tǒng)的AAA話單等，其數(shù)據(jù)量規(guī)模較大，并且還在不斷增長中，數(shù)據(jù)的快速增長帶來了數(shù)據(jù)存儲、處理、分析的巨大壓力，傳統(tǒng)的數(shù)據(jù)處理手段已經(jīng)無法滿足如此大規(guī)模的數(shù)據(jù)的處理及運行效率，因此對這幾類數(shù)據(jù)的采集都采用大數(shù)據(jù)采集方案進行處理。數(shù)據(jù)采集部署如圖9所示。

6.2采集調度管理

O域網(wǎng)管系統(tǒng)對各類網(wǎng)元配置數(shù)據(jù)進行采集，支持定期采集、全量采集、增量采集等方式的任務調度。系統(tǒng)通過內置的采集接口，連接專業(yè)綜合網(wǎng)管、資源系統(tǒng)、固網(wǎng)交換網(wǎng)管、接入網(wǎng)網(wǎng)管和EMS等系統(tǒng)，采取周期性獲取的方式，從數(shù)據(jù)源獲取格式化的資源配置數(shù)據(jù)，根據(jù)預先定義好的采集腳本進行解析入庫，為上層應用提供相應的數(shù)據(jù)支撐。

6.3協(xié)議適配

作為OSS域統(tǒng)一采集適配平臺。該平臺內置豐富的采集接口適配能力，并且基于組件技術進行開發(fā)，根據(jù)不同采集對象的接口協(xié)議和應用協(xié)議來進行組件開發(fā)，快速支持新協(xié)議的適配。

（1）多種接口協(xié)議的支持

圖7　數(shù)據(jù)傳輸事務處理機制

圖8　大數(shù)據(jù)采集流程

接口協(xié)議的支持：Socket、MQ、FTP、DB、Corba、WEBSERVICE、SNMP、Trap、telnet、SSH、syslog、MML、TL1、Q3、Flume等接口協(xié)議。

（2）多種數(shù)據(jù)種類的支持

提供如下數(shù)據(jù)種類的支持：配置數(shù)據(jù)、告警數(shù)據(jù)、性能數(shù)據(jù)、日志數(shù)據(jù)、信令數(shù)據(jù)、話單數(shù)據(jù)等數(shù)據(jù)的采集適配。

（3）多種網(wǎng)絡管理層次的支持

提供如下網(wǎng)絡管理層次的接入支持：省級專業(yè)網(wǎng)管、本地網(wǎng)專業(yè)網(wǎng)管，廠家網(wǎng)管EMS/ OMC，網(wǎng)元直連等。

（4）多種專業(yè)及廠家的支持

提供如下專業(yè)及廠家的支持：話務專業(yè)、傳輸專業(yè)、數(shù)據(jù)專業(yè)、動環(huán)專業(yè)等專業(yè)的數(shù)據(jù)采集，諾西、阿卡、愛立信、摩托、華為、中興、東信、北電、NEC、UT、中郵通、大唐，烽火、BMC等主流設備廠商的數(shù)據(jù)采集適配。

7　結束語

伴隨著電信業(yè)務的不斷發(fā)展，網(wǎng)絡建設越來越多，用來監(jiān)控網(wǎng)絡的專業(yè)網(wǎng)管以及綜合網(wǎng)管數(shù)量在不斷的增長，在運營過程中產(chǎn)生大量的O域和B域的相關數(shù)據(jù)。通過一套具備多專業(yè)、多協(xié)議的數(shù)據(jù)采集和轉換能力，對網(wǎng)元的操作指令快速翻譯能力，快速靈活擴展能力的統(tǒng)一采集適配平臺為采集適應復雜網(wǎng)絡要求，增加訪問網(wǎng)元的敏捷性等方面奠定了基礎。如何通過統(tǒng)一適配平臺的分布式采集，統(tǒng)一采集任務監(jiān)控，界面可視化配置以及對大數(shù)據(jù)采集全程的數(shù)據(jù)質量管控，需要今后更進一步的深入研究和探索。

圖9　數(shù)據(jù)采集部署示意圖

Discussion onthe construction of unified acquisition and adaptation platform inOSSdomain

CAOYonggang，WANGGuanzhi，ZHANGYongyan，DONGXin

Abstract:In this paper， through telecommunications network operators and network management present situation analysis，discusses the OSS domain unified acquisition adaptation platform construction scheme， combined with the actual case of network management system of the actual demand and domestic mainstream network management products and the use of，realize unified access management element to the south， through the shielding OMC/NE network technology and the vendors difference， network elements of multi- disciplinary， multi interface technology of data acquisition and conversion， and the element of the operating instructions fast translation. It has certain reference significance to the construction of unified acquisition and adaptation platform inOSSdomain.

Keywords:acquisition adapter； conversion； instruction translation

收稿日期：（2016-01-10）