移動(dòng)通信數(shù)據(jù)網(wǎng)絡(luò)資源智能采集處理工具的設(shè)計(jì)與實(shí)現(xiàn)

林文鋒

（中國移動(dòng)通信集團(tuán)廣東有限公司網(wǎng)絡(luò)管理中心 廣州 510623）

1 引言

隨著網(wǎng)絡(luò)綜合資源管理系統(tǒng)建設(shè)的不斷推進(jìn)，中國移動(dòng)通信集團(tuán)廣東有限公司（以下簡稱廣東移動(dòng)）已完成了對全專業(yè)網(wǎng)絡(luò)資源數(shù)據(jù)的統(tǒng)一管理，并通過構(gòu)建較為完整的全生命周期資源維護(hù)流程，確保資源數(shù)據(jù)的動(dòng)態(tài)準(zhǔn)確性。綜合資源現(xiàn)有的核心資源數(shù)據(jù)庫，已作為OSS域權(quán)威的網(wǎng)絡(luò)資源數(shù)據(jù)來源，為廣東移動(dòng)的業(yè)務(wù)開通、服務(wù)保障、經(jīng)營分析、網(wǎng)絡(luò)優(yōu)化等眾多前后端應(yīng)用系統(tǒng)提供網(wǎng)絡(luò)資源數(shù)據(jù)支撐。同時(shí)，前后端各級應(yīng)用系統(tǒng)也對各專業(yè)資源的精細(xì)化管理能力以及資源數(shù)據(jù)的準(zhǔn)確性、完整性提出了更高的要求。

在實(shí)際的資源數(shù)據(jù)管理維護(hù)過程中，資源數(shù)據(jù)質(zhì)量的好壞直接決定了上層各類應(yīng)用的可用性和有效性；如何在資源數(shù)據(jù)動(dòng)態(tài)維護(hù)過程中，保持高的數(shù)據(jù)質(zhì)量是綜合資源管理永恒的話題。在廣東移動(dòng)目前的資源管理中，主要依靠如下兩種手段提高網(wǎng)絡(luò)資源的數(shù)據(jù)質(zhì)量。

（1）定義較為完備的資源全生命周期管理流程

通過流程環(huán)節(jié)的管控，對從資源的設(shè)計(jì)、工程、入網(wǎng)、運(yùn)維、調(diào)整直至退網(wǎng)的整個(gè)生命周期進(jìn)行合理管理，保證增量數(shù)據(jù)動(dòng)態(tài)維護(hù)的及時(shí)性與準(zhǔn)確性。

（2）對持續(xù)的現(xiàn)網(wǎng)資源采集進(jìn)行比對處理

針對機(jī)房內(nèi)的智能設(shè)備，特別是數(shù)據(jù)網(wǎng)絡(luò)設(shè)備，通過定義廣泛的數(shù)據(jù)核查指標(biāo)，結(jié)合綜合資源采集比對能力，定期對系統(tǒng)中的存量數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控，及時(shí)發(fā)現(xiàn)數(shù)據(jù)存在的問題，并通過自動(dòng)化或半自動(dòng)化手段及時(shí)進(jìn)行數(shù)據(jù)糾錯(cuò)。

本文主要針對第2種手段進(jìn)行分析，在現(xiàn)有采集核查機(jī)制的基礎(chǔ)上針對數(shù)據(jù)網(wǎng)專業(yè)資源，研究如何進(jìn)一步加強(qiáng)資源數(shù)據(jù)的采集與處理能力，以提升核查差異數(shù)據(jù)的人工糾錯(cuò)工作效率，并且在原有只針對物理資源采集比對的基礎(chǔ)上，提出了數(shù)據(jù)網(wǎng)邏輯鏈路采集與發(fā)現(xiàn)的處理方法，從而支撐數(shù)據(jù)網(wǎng)拓?fù)湫畔⒌淖詣?dòng)采集比對核查處理。

2 研究現(xiàn)狀

目前廣東移動(dòng)綜合資源管理系統(tǒng)的采集比對模塊所提供的功能，主要是通過采集比對發(fā)現(xiàn)資源存量數(shù)據(jù)與現(xiàn)網(wǎng)資源的差異，并生成各類核查差異指標(biāo)報(bào)表。但由于現(xiàn)網(wǎng)設(shè)備名稱的規(guī)范性、核查比對規(guī)則的完備性、采集數(shù)據(jù)處理的粒度等問題，還不能基于該核查結(jié)果直接對存量數(shù)據(jù)進(jìn)行調(diào)整更新。

核查所發(fā)現(xiàn)的資源差異數(shù)據(jù)整改流程，主要以人工處理模式為主，具體過程如圖1所示。

圖1 核查數(shù)據(jù)人工整改模式

采集核查過程中發(fā)現(xiàn)數(shù)據(jù)問題時(shí)，系統(tǒng)會(huì)生成各類核查差異指標(biāo)報(bào)表，并發(fā)布給各地市的一線維護(hù)人員，由一線人員以人工方式從比對結(jié)果信息中提取與現(xiàn)網(wǎng)有差異的網(wǎng)絡(luò)資源范圍；然后從網(wǎng)絡(luò)設(shè)備、廠商網(wǎng)管或者前期維護(hù)資料中分析并提取最新的資源信息；最后按照綜合資源導(dǎo)入數(shù)據(jù)模板的要求填寫各種導(dǎo)入表格，通過綜合資源管理系統(tǒng)的導(dǎo)入功能完成整改數(shù)據(jù)的入庫。

上述方式存在的問題顯而易見：日常整改維護(hù)以人工整理方式為主，工作量較大，往往會(huì)造成數(shù)據(jù)整改維護(hù)不及時(shí)；由于自動(dòng)化程度較低，人工環(huán)節(jié)多，導(dǎo)致問題數(shù)據(jù)核查整改效率低下，出錯(cuò)風(fēng)險(xiǎn)高。

同時(shí)在數(shù)據(jù)處理粒度方面，采集比對模塊主要基于之前粗粒度的數(shù)據(jù)建模能力，對于從各種渠道采集的數(shù)據(jù)，重點(diǎn)比對物理資源層面數(shù)據(jù)以及端口所關(guān)聯(lián)的部分碼號(hào)資源的完整性與準(zhǔn)確性。但其所處理的資源數(shù)據(jù)粒度并不能滿足一線網(wǎng)絡(luò)資源數(shù)據(jù)配置管理的精細(xì)化需求，存在諸如VLAN/VLAN IF/trunk等邏輯口采集關(guān)聯(lián)定義混亂、VPN/QINQ VLAN/IP地址池等邏輯對象采集內(nèi)容過于粗略等問題。同樣，對于業(yè)務(wù)承載關(guān)聯(lián)的非常重要的數(shù)據(jù)鏈路資源信息，目前也沒有手段進(jìn)行智能采集處理。

針對上述問題，本文以數(shù)據(jù)網(wǎng)專業(yè)為切入點(diǎn)，嘗試構(gòu)建更為智能的資源數(shù)據(jù)采集處理工具，它能擴(kuò)展并豐富數(shù)據(jù)網(wǎng)資源的信息采集能力，將所采集的資源信息通過智能化處理，自動(dòng)生成滿足綜合資源數(shù)據(jù)入庫需求的信息模板，從而為提高數(shù)據(jù)入庫質(zhì)量、地市人員日常運(yùn)維工作效率以及減輕一線人員工作負(fù)擔(dān)提供有力支撐。

3 設(shè)計(jì)原則

智能處理工具需要從現(xiàn)網(wǎng)復(fù)雜的網(wǎng)絡(luò)架構(gòu)以及廠商產(chǎn)品的組成中提取所需的資源信息，同時(shí)作為綜合資源系統(tǒng)核心應(yīng)用的必要補(bǔ)充，必須能夠適應(yīng)網(wǎng)絡(luò)和技術(shù)的發(fā)展，因此需遵循以下原則。

· 開放性：網(wǎng)絡(luò)廠商設(shè)備的多樣性與復(fù)雜性以及快速的技術(shù)發(fā)展，都要求采集數(shù)據(jù)處理模塊具有很高的開放性，需要以適配器模式構(gòu)建信息提取與處理功能，支持多廠商多設(shè)備類型的應(yīng)用需求。

· 穩(wěn)定性：智能處理工具所解析加工的數(shù)據(jù)將直接作為綜合資源數(shù)據(jù)核查整改的調(diào)整數(shù)據(jù)源，故其處理的穩(wěn)定性與數(shù)據(jù)解析的準(zhǔn)確性非常重要。

· 獨(dú)立性：依據(jù)數(shù)據(jù)網(wǎng)資源智能處理工具的定位，作為綜合資源現(xiàn)有采集比對能力的有效補(bǔ)充，其網(wǎng)絡(luò)資源數(shù)據(jù)的提取以及智能數(shù)據(jù)的處理操作等功能應(yīng)獨(dú)立于現(xiàn)有綜合資源管理系統(tǒng)，不對其日常生產(chǎn)應(yīng)用造成影響。

4 設(shè)計(jì)方案

數(shù)據(jù)網(wǎng)資源智能采集處理工具作為綜合資源系統(tǒng)核心應(yīng)用的重要補(bǔ)充，主要包括智能資源數(shù)據(jù)處理服務(wù)和細(xì)粒度資源采集服務(wù)兩個(gè)部分，其整體集成框架以及交互過程如圖2所示。

智能資源數(shù)據(jù)處理服務(wù)是本應(yīng)用工具的核心，提供問題數(shù)據(jù)范圍提取、采集數(shù)據(jù)模型轉(zhuǎn)換、鏈路信息發(fā)現(xiàn)、非采集屬性信息豐富以及資源數(shù)據(jù)模板生成等功能，同時(shí)保證數(shù)據(jù)處理的準(zhǔn)確性。

細(xì)粒度資源采集服務(wù)是獲取現(xiàn)網(wǎng)資源信息的基礎(chǔ)服務(wù)層，建立與現(xiàn)網(wǎng)設(shè)備交互的采集通道，提供采集指令的配置、采集代理的配置與調(diào)度、采集原始數(shù)據(jù)清洗入庫、采集過程監(jiān)控管理等功能，并充分考慮其可擴(kuò)展性，以滿足網(wǎng)絡(luò)技術(shù)和廠商設(shè)備的擴(kuò)展需求。

該智能處理工具的集成處理過程描述如下。

（1）自動(dòng)提取綜合資源系統(tǒng)中核查發(fā)現(xiàn)有差異的網(wǎng)元設(shè)備范圍。

（2）基于上述范圍，利用資源采集服務(wù)層的能力，按照配置的細(xì)粒度擴(kuò)展采集指令，獲取現(xiàn)網(wǎng)資源數(shù)據(jù)并進(jìn)行一次清洗入庫。

（3）內(nèi)部模型轉(zhuǎn)換處理將采集資源模型轉(zhuǎn)換為資源對象模型數(shù)據(jù)，并疊加鏈路發(fā)現(xiàn)算法生成拓?fù)鋽?shù)據(jù)。對于資源模型中無法采集的業(yè)務(wù)或管理屬性，通過規(guī)則映射自動(dòng)從綜合資源管理系統(tǒng)提取信息并進(jìn)行屬性豐富。

（4）按照綜合資源數(shù)據(jù)導(dǎo)入模板的要求，格式化生成可導(dǎo)入數(shù)據(jù)，完成需整改數(shù)據(jù)的最終入庫。

數(shù)據(jù)網(wǎng)資源智能采集處理工具二級功能框架如圖3所示。

圖3 數(shù)據(jù)網(wǎng)絡(luò)智能采集工具二級功能框架

其中，應(yīng)用層負(fù)責(zé)智能資源數(shù)據(jù)處理全過程的管理，對細(xì)粒度資源采集提供運(yùn)行調(diào)度、配置與監(jiān)控管理功能；采集層負(fù)責(zé)與不同廠商設(shè)備、不同網(wǎng)絡(luò)技術(shù)下采集接口方式的適配工作；數(shù)據(jù)層負(fù)責(zé)存儲(chǔ)本智能工具運(yùn)行所需的各類型基礎(chǔ)數(shù)據(jù)。

該設(shè)計(jì)方案中所涉及的關(guān)鍵技術(shù)點(diǎn)，具體為以下3個(gè)方面。

·細(xì)粒度可采集資源模型：智能采集處理的核心，通過分析各廠商數(shù)據(jù)網(wǎng)絡(luò)設(shè)備的輸出指令以及MIB庫信息，定義一套更細(xì)粒度的可采集資源數(shù)據(jù)模型。

·資源采集處理：說明數(shù)據(jù)采集處理通道的構(gòu)建以及

圖2 數(shù)據(jù)網(wǎng)絡(luò)智能采集工具一級功能整體框架及交互過程

資源采集過程的任務(wù)管理與執(zhí)行過程?！?鏈路拓?fù)渲悄馨l(fā)現(xiàn)處理：是該智能工具設(shè)計(jì)與實(shí)現(xiàn)

的重要?jiǎng)?chuàng)新點(diǎn)，嘗試構(gòu)建一種較為通用的鏈路拓?fù)涮幚矸椒ǎ越鉀Q當(dāng)前資源數(shù)據(jù)采集在鏈路信息處理方面所存在的技術(shù)難題。

4.1 細(xì)粒度可采集資源模型

現(xiàn)實(shí)網(wǎng)絡(luò)中有對網(wǎng)絡(luò)資源最為精準(zhǔn)的刻畫，從資源信息維護(hù)角度而言，如何最大粒度地從現(xiàn)有設(shè)備中自動(dòng)提取有價(jià)值的網(wǎng)絡(luò)資源信息，以豐富現(xiàn)有資源對象模型，在滿足網(wǎng)絡(luò)資源數(shù)據(jù)配置精細(xì)化管理需求的同時(shí)，減輕一線人員數(shù)據(jù)維護(hù)的工作量，是本工具設(shè)計(jì)與實(shí)現(xiàn)過程中所考慮的重點(diǎn)問題之一。

通過分析各廠商數(shù)據(jù)網(wǎng)絡(luò)設(shè)備的輸出指令以及MIB庫信息，定義了一套更細(xì)粒度的可采集資源數(shù)據(jù)模型，其中包括對于數(shù)據(jù)網(wǎng)絡(luò)物理資源、邏輯資源的刻畫。部分主要可采集資源對象類型及其細(xì)粒度資源屬性信息見表1。

表1 可采集資源數(shù)據(jù)模型

上述模型設(shè)計(jì)時(shí)考慮了與網(wǎng)元輸出指令或MIB庫信息定義相對應(yīng)，以一種扁平化的方式刻畫現(xiàn)網(wǎng)中的可采集資源，簡化了采集數(shù)據(jù)一次清洗過程中的復(fù)雜度。但在綜合資源管理系統(tǒng)中的資源數(shù)據(jù)模型是一種對象化的關(guān)聯(lián)模型，在智能處理過程中需要在兩種異構(gòu)模型中進(jìn)行映射轉(zhuǎn)換，將扁平化可采集資源模型轉(zhuǎn)換為綜合資源的對象關(guān)聯(lián)模型。以可采集資源對象類型IPVPN為例，可采集資源模型中的IP VPN對象將轉(zhuǎn)換映射為綜合資源模型中的VPN服務(wù)對象、服務(wù)對象與端口之間的關(guān)聯(lián)、VRF/RT/RD/VPN ID等碼號(hào)對象類型以及碼號(hào)對象與端口對象的關(guān)聯(lián)。其模型間映射轉(zhuǎn)換如圖4所示。

圖4 可采集資源模型與綜合資源對象模型轉(zhuǎn)換示例

4.2 資源采集處理

資源采集處理服務(wù)負(fù)責(zé)從現(xiàn)實(shí)網(wǎng)絡(luò)中提取智能數(shù)據(jù)處理所需的原始資源配置數(shù)據(jù)，其部署組成包括采集處理服務(wù)器端和網(wǎng)絡(luò)側(cè)部署的采集代理兩部分，如圖5所示，各模塊具體介紹如下。

·服務(wù)器端提供與采集相關(guān)的指令模板配置、采集環(huán)境元數(shù)據(jù)配置以及采集任務(wù)調(diào)度管理等能力，并將相關(guān)的配置信息和具體的采集處理請求，通過Web Services接口下發(fā)給各采集代理。

·采集代理具體執(zhí)行現(xiàn)網(wǎng)數(shù)據(jù)的采集任務(wù)以及原始數(shù)據(jù)的一次清洗處理工作，在此過程中會(huì)使用服務(wù)器端所下發(fā)的各類配置信息（包括所轄網(wǎng)絡(luò)環(huán)境配置信息、網(wǎng)元類型配置信息、指令模板信息等）。采集代理會(huì)在多個(gè)相互獨(dú)立的網(wǎng)絡(luò)拓?fù)渲蟹謩e部署（如不同地市的城域網(wǎng)會(huì)部署各自獨(dú)立的采集代理）。

服務(wù)器端的采集任務(wù)主要由以下兩種方式生成。

（1）差異數(shù)據(jù)采集定時(shí)觸發(fā)方式

定時(shí)提取綜合資源差異比對數(shù)據(jù)，生成需采集的網(wǎng)元設(shè)備范圍，并通過匹配采集環(huán)境元數(shù)據(jù)配置信息，將需采集的網(wǎng)元設(shè)備范圍列表以采集代理為單位進(jìn)行分解，最終形成每個(gè)采集代理所對應(yīng)的采集任務(wù)。

（2）人工即席采集方式

一線維護(hù)人員自行設(shè)定需采集的網(wǎng)元設(shè)備范圍，并即時(shí)觸發(fā)采集處理請求，該方式最終也會(huì)按照采集代理所轄范圍進(jìn)行采集任務(wù)的分解處理。

圖5 資源采集服務(wù)兩級部署

服務(wù)器端的采集任務(wù)管理服務(wù)會(huì)統(tǒng)一管理采集任務(wù)的生成以及按采集代理分解后的子任務(wù)調(diào)度處理過程。

采集代理接收到采集任務(wù)請求后的具體處理過程如圖6所示。

圖6 采集代理任務(wù)的處理過程

其具體處理流程如下所述。

· 采集代理接收到采集處理請求后，由采集任務(wù)初始化服務(wù)創(chuàng)建采集任務(wù)實(shí)例（唯一ID標(biāo)識(shí)），并初始化采集任務(wù)處理目錄結(jié)構(gòu)等輔助環(huán)境。

·設(shè)備偵測服務(wù)識(shí)別采集處理請求中納入處理的設(shè)備管理IP地址信息，對于新出現(xiàn)的設(shè)備管理IP地址，將通過SNMP/Telnet兩種方式發(fā)送探測指令，以識(shí)別設(shè)備的具體類型。

· 依據(jù)采集范圍中識(shí)別的設(shè)備類型，適配具體的采集方式以及配套的采集指令模板或MIB庫鍵值模板信息。

·網(wǎng)元信息采集服務(wù)將連接具體的網(wǎng)元設(shè)備，按照采集模板定義獲取特定設(shè)備類型所有可采集的原始配置信息。

· 對于Telnet指令方式所獲取的原始采集數(shù)據(jù)，需要調(diào)用指令輸出文本解析服務(wù)，將非結(jié)構(gòu)化的原始采集數(shù)據(jù)進(jìn)行結(jié)構(gòu)化解析處理。

·一階段數(shù)據(jù)清洗轉(zhuǎn)換服務(wù)將結(jié)構(gòu)化的采集數(shù)據(jù)，初步轉(zhuǎn)換處理為可采集的資源數(shù)據(jù)模型。

·對于本批次采集任務(wù)的所有資源對象生成唯一鍵值，并建立資源對象間的關(guān)聯(lián)性。

·對進(jìn)行鍵值化處理的所有本批次采集的資源數(shù)據(jù)，應(yīng)用資源數(shù)據(jù)完整性檢查，以發(fā)現(xiàn)資源關(guān)聯(lián)性層面可能存在的異常或數(shù)據(jù)缺失。

· 資源關(guān)聯(lián)性校驗(yàn)無誤后，采集任務(wù)終止服務(wù)將處理結(jié)果打包上傳至服務(wù)器端（由后續(xù)服務(wù)器程序完成采集數(shù)據(jù)統(tǒng)一入庫），完成本次采集處理過程。

4.3 鏈路拓?fù)渲悄馨l(fā)現(xiàn)處理

在綜合資源或各類網(wǎng)管系統(tǒng)數(shù)據(jù)采集處理過程中，如何通過分析網(wǎng)元層面所采集的數(shù)據(jù)，發(fā)現(xiàn)并生成數(shù)據(jù)網(wǎng)絡(luò)設(shè)備間的網(wǎng)絡(luò)拓?fù)溥B接信息，一直是一個(gè)比較棘手的問題。由于支撐手段的缺失，以人工方式在綜合資源管理系統(tǒng)錄入的鏈路拓?fù)湫畔o法與現(xiàn)網(wǎng)數(shù)據(jù)進(jìn)行核查比對，這部分的數(shù)據(jù)質(zhì)量一直難以提升。

本工具提供對數(shù)據(jù)設(shè)備中的多個(gè)常用協(xié)議配置信息進(jìn)行解析處理的功能，并通過對不同的網(wǎng)絡(luò)拓?fù)洵h(huán)境疊加應(yīng)用這些協(xié)議的處理結(jié)果，從而發(fā)現(xiàn)數(shù)據(jù)設(shè)備間的鏈路拓?fù)湫畔ⅰ?/p>

作為鏈路拓?fù)鋽?shù)據(jù)處理的基礎(chǔ)，首先需要從網(wǎng)元中提取各種可能的協(xié)議配置數(shù)據(jù)信息，數(shù)據(jù)采集所涉及的常用網(wǎng)絡(luò)協(xié)議包括以下幾種。

·ARP：通過ARP映射表中所記錄的MAC地址與IP地址的綁定關(guān)系解析發(fā)現(xiàn)可能的物理端口二層連接。

·CDP：對于某一網(wǎng)絡(luò)拓?fù)渲蠧isco設(shè)備間的鏈路拓?fù)?，可以通過提取CDP信息進(jìn)行鄰居設(shè)備的自動(dòng)發(fā)現(xiàn)與二/三層鏈路的采集處理。

·STP：可應(yīng)用于在網(wǎng)絡(luò)中建立樹型拓?fù)?，二層交換網(wǎng)絡(luò)拓?fù)渲锌梢酝ㄟ^采集獲取該協(xié)議處理信息來分析并構(gòu)建網(wǎng)絡(luò)設(shè)備之間的鏈路連接關(guān)系，適合所有廠商的網(wǎng)絡(luò)設(shè)備。

·NDP：對于某一網(wǎng)絡(luò)拓?fù)渲兄С諲DP的設(shè)備之間的鏈路拓?fù)?（如所有華為數(shù)通設(shè)備），可以通過提取NDP信息進(jìn)行鄰居設(shè)備的自動(dòng)發(fā)現(xiàn)與二/三層鏈路的采集處理。

· 點(diǎn)到點(diǎn)協(xié)議：通過處理POS、PPP、PPTP等點(diǎn)到點(diǎn)協(xié)議端口及其配置IP地址，處理二層鏈路點(diǎn)到點(diǎn)連接信息。

同時(shí)，在特定場景下，設(shè)備的靜態(tài)路由表信息、IP地址子網(wǎng)規(guī)則匹配等方法也會(huì)被綜合應(yīng)用。

在實(shí)際的網(wǎng)絡(luò)組成中，必然是多廠商設(shè)備、多技術(shù)承載并存的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，故在進(jìn)行鏈路拓?fù)渲悄芴幚頃r(shí)，需遵循如下處理步驟：

·按照現(xiàn)實(shí)網(wǎng)絡(luò)結(jié)構(gòu)，先劃分合理的網(wǎng)絡(luò)拓?fù)浞秶ㄈ绨磳I(yè)、地市區(qū)域、接入/匯聚網(wǎng)絡(luò)層次等），從而降低全網(wǎng)遍歷的復(fù)雜度；

·設(shè)定不同協(xié)議方法的處理優(yōu)先級；

·按優(yōu)先級順序選擇某一協(xié)議處理方法，遍歷處理某一網(wǎng)絡(luò)拓?fù)浞秶懈髟O(shè)備的物理端口或邏輯終結(jié)點(diǎn)，得到這一階段的拓?fù)滏溄有畔ⅲ谕环N協(xié)議方法中，物理端口可能被“重復(fù)使用”；

·每種協(xié)議方法都只處理那些在前一種協(xié)議方法中未被“使用”的物理端口或邏輯終結(jié)點(diǎn)，這樣后一種協(xié)議方法的結(jié)果，不會(huì)影響前一種相對準(zhǔn)確方法的鏈路發(fā)現(xiàn)結(jié)果。

通過綜合應(yīng)用多種協(xié)議配置數(shù)據(jù)，最終得到最為合理的網(wǎng)絡(luò)鏈路拓?fù)浣Y(jié)構(gòu)。

不同網(wǎng)絡(luò)場景所采用的協(xié)議處理方法與順序如下。

（1）以太網(wǎng)鏈路處理方法

以太網(wǎng)鏈路發(fā)現(xiàn)是一系列協(xié)議方法按照一定順序處理的集合，能夠發(fā)現(xiàn)交換端口之間的鏈路連接關(guān)系。協(xié)議方法處理集合主要包括：

· 基于STP的數(shù)據(jù)，將處理以太網(wǎng)交換機(jī)端口間的互

聯(lián)端口；

· 基于透明橋轉(zhuǎn)發(fā)數(shù)據(jù)（TpFdb），將處理以太網(wǎng)交換

機(jī)與非交換網(wǎng)元之間的鏈路連接；

· 基于ARP的數(shù)據(jù)，將處理網(wǎng)元設(shè)備間不存在交換中

介的鏈路連接。

（2）路由器間二層連接處理方法

路由器間二層連接主要通過CDP/NDP方法進(jìn)行處理，以Cisco設(shè)備為例，可以從Cisco MIB庫中的CiscoCdpMIB(1.3.6.1.4.1.9.9.23)解析匹配的設(shè)備ID和端口構(gòu)建連接。

CDP/NDP數(shù)據(jù)處理本身算法比較簡單，此處不做贅述，但其應(yīng)用場景存在局限性，如CDP只能應(yīng)用于Cisco設(shè)備構(gòu)建的網(wǎng)絡(luò)，而NDP一般只應(yīng)用于華為數(shù)通設(shè)備所構(gòu)建的網(wǎng)絡(luò)。上述協(xié)議處理所發(fā)現(xiàn)的鏈路連接會(huì)橫跨或忽略不支持它們的其他設(shè)備，所以需要配合其他補(bǔ)充協(xié)議的處理方法進(jìn)行結(jié)果改進(jìn)。

對于其他路由器間的以太網(wǎng)連接，主要通過ARP數(shù)據(jù)（IP地址MIB中）進(jìn)行分析處理，不會(huì)作用于前項(xiàng)協(xié)議處理方法（如STP、TpFdb、CDP/NDP）已處理過的物理端口之上。

該方法主要進(jìn)行如下兩項(xiàng)檢測：

·兩個(gè)相鄰設(shè)備端口在各自的MAC表中是否有互相引用；

·兩個(gè)端口是否存在于相同的IP地址子網(wǎng)段中。其中，動(dòng)態(tài)學(xué)習(xí)和靜態(tài)的ARP數(shù)據(jù)都會(huì)被使用到。（3）點(diǎn)到點(diǎn)連接處理方法

對于非以太網(wǎng)技術(shù)以及CDP/NDP等技術(shù)不適用的情況下，一般通過IP地址子網(wǎng)匹配或者特定的路由信息來分析處理點(diǎn)到點(diǎn)串行鏈路連接。

點(diǎn)到點(diǎn)串行鏈路一般會(huì)綁定一個(gè)小的30位子網(wǎng)；鏈路發(fā)現(xiàn)算法識(shí)別到PPP/POS/PPTP等類型的設(shè)備端口時(shí)，就會(huì)處理它們所綁定的IP地址，通過IP地址子網(wǎng)的匹配性解析鏈路連接信息。

對于端口未綁定IP地址的情況 （為了節(jié)省IP地址空間，未綁定IP地址的端口將從另一端口上借用一個(gè)IP地址），如果路由器上某個(gè)串行端口未綁定IP地址，協(xié)議處理算法將解析路由器上每個(gè)端口的路由表信息，間接識(shí)別串行鏈路連接。

圖7 鏈路拓?fù)渲悄芴幚砭C合場景示例

（4）基于IP地址鄰居關(guān)系的處理方法

基于分析相鄰設(shè)備之間動(dòng)態(tài)或者靜態(tài)路由信息來發(fā)現(xiàn)IP地址鏈路對象，該方法需要從MIB庫的路由表或者配置文件中提取<目標(biāo)IP地址，子網(wǎng)掩碼，輸出接口>三元組信息，然后解析IP地址子接口間是否存在相互的路由，從而提取潛在的鏈路連接信息，每一輪處理所發(fā)現(xiàn)的接口關(guān)聯(lián)在下一次處理中將被淘汰。

上述協(xié)議處理方法需按順序執(zhí)行，避免協(xié)議方法處理數(shù)據(jù)之間的干擾性。上述各協(xié)議處理方法的綜合場景應(yīng)用示例如圖7所示。

被發(fā)現(xiàn)的物理鏈路包括以下幾種：

· A∶E，通過ARP數(shù)據(jù)處理得到；

· B∶F，通過FDB橋接數(shù)據(jù)處理得到；

· C∶F，通過FDB橋接數(shù)據(jù)處理得到；

· D∶E，通過ARP數(shù)據(jù)處理得到；

· D∶G，通過CDP數(shù)據(jù)處理得到；

· E∶F，通過FDB橋接數(shù)據(jù)處理得到；

· F∶H，通過STP數(shù)據(jù)處理得到；

· G∶H，通過FDB橋接數(shù)據(jù)處理得到；

· G∶K，通過IP地址子網(wǎng)匹配處理得到。

5 應(yīng)用效果

該智能處理工具已在廣東移動(dòng)的深圳、佛山等地市分公司推廣應(yīng)用，通過資料整理、數(shù)據(jù)處理流程優(yōu)化，在數(shù)據(jù)維護(hù)效率和數(shù)據(jù)維護(hù)準(zhǔn)確性方面有了明顯的提升。

5.1 數(shù)據(jù)維護(hù)效率

未使用該采集工具前，主要依靠人工進(jìn)行數(shù)據(jù)采集、分析和錄入模板整理，以某地市數(shù)據(jù)網(wǎng)專業(yè)的設(shè)備（路由器85臺(tái)，交換機(jī)75臺(tái)，板卡1 002個(gè)，板卡1 663個(gè)，端口17 447個(gè)）為例，做一次全量數(shù)據(jù)清理，平均一個(gè)周期大概約需15個(gè)人·日。

使用智能采集工具后，數(shù)據(jù)網(wǎng)絡(luò)設(shè)備信息的采集、分析和錄入模板都由智能工具智能處理，只需要通過人工操作補(bǔ)充無法采集的數(shù)據(jù)。以該地市為例，一次全量設(shè)備信息清理約需2個(gè)人·日（采集分析導(dǎo)出需0.5個(gè)人·日，數(shù)據(jù)補(bǔ)充約需1.5人·日），如圖8所示，效率明顯提升。

圖8 數(shù)據(jù)維護(hù)效率比對

5.2 數(shù)據(jù)維護(hù)準(zhǔn)確性

未使用該采集工具前，以人工方式收集、整理數(shù)據(jù)網(wǎng)的物理資源、邏輯資源和鏈路資源，容易導(dǎo)致部分資源信息錄入缺失，鏈路與設(shè)備端口的關(guān)聯(lián)存在誤差。以某地市2011年度數(shù)據(jù)網(wǎng)絡(luò)為例，各月的鏈路與端口的關(guān)聯(lián)率平均值約為82%，對整體網(wǎng)絡(luò)拓?fù)涑尸F(xiàn)有一定的影響。

使用智能采集工具后，數(shù)據(jù)網(wǎng)絡(luò)設(shè)備信息自動(dòng)采集率達(dá)到97%，采集日志信息的智能處理率達(dá)到100%，設(shè)備錄入信息的智能生成率達(dá)到100%。同時(shí)通過智能工具采集數(shù)據(jù)網(wǎng)絡(luò)的鏈路信息，能保證鏈路信息的完整，且鏈路與設(shè)備端口的關(guān)聯(lián)關(guān)系準(zhǔn)確。仍以該地市2012年度數(shù)據(jù)網(wǎng)絡(luò)為例，采用智能采集工具輔助后，各月的鏈路與端口的關(guān)聯(lián)率平均值約為98%，基本上可準(zhǔn)確呈現(xiàn)數(shù)據(jù)網(wǎng)專業(yè)的拓?fù)洌暂o助故障定位。

結(jié)合數(shù)據(jù)網(wǎng)專業(yè)的數(shù)據(jù)核查指標(biāo)，使用工具前后的效果對比見表2，資源數(shù)據(jù)的準(zhǔn)確性有了較大的提升。

表2 數(shù)據(jù)準(zhǔn)確性對比

通過對比，可見該智能處理工具作為一線人員對數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行日常維護(hù)的必要工具，較好地解決了原有資源差異數(shù)據(jù)維護(hù)過程中存在的種種問題，極大地提高了一線人員的生產(chǎn)效率；同時(shí)，其加工后的數(shù)據(jù)（包括邏輯資源和鏈路資源），又可以作為綜合資源對比模塊的必要補(bǔ)充，提升綜合資源數(shù)據(jù)鏈路的對比處理能力。

6 結(jié)束語

綜合資源管理系統(tǒng)作為通信企業(yè)網(wǎng)絡(luò)資源的核心數(shù)據(jù)來源，所維護(hù)管理的網(wǎng)絡(luò)資源數(shù)據(jù)在企業(yè)的生產(chǎn)運(yùn)營中起到越來越重要的作用，其數(shù)據(jù)已經(jīng)普遍用于支撐業(yè)務(wù)開通、服務(wù)保障、經(jīng)營分析、網(wǎng)絡(luò)優(yōu)化等眾多前后端應(yīng)用系統(tǒng)。其所管理數(shù)據(jù)質(zhì)量的高低，直接影響企業(yè)網(wǎng)絡(luò)運(yùn)營水平的高低。本文所提出的數(shù)據(jù)網(wǎng)資源采集信息的深入挖潛以及邏輯鏈路信息的智能發(fā)現(xiàn)等思路，應(yīng)用于構(gòu)建綜合資源外圍的數(shù)據(jù)處理工具，可以成為綜合資源核心應(yīng)用的必要補(bǔ)充，為其數(shù)據(jù)質(zhì)量的進(jìn)一步提升以及一線數(shù)據(jù)維護(hù)負(fù)擔(dān)的減輕提供了有力的支撐。

1 中國移動(dòng)綜合網(wǎng)絡(luò)資源管理系統(tǒng)技術(shù)規(guī)范通用功能分冊(V1.0.0),2003

2 中國移動(dòng)綜合網(wǎng)絡(luò)資源管理系統(tǒng)技術(shù)規(guī)范技術(shù)架構(gòu)分冊(V1.0.0),2006

3 IEEE Std 802.1D.生成樹協(xié)議標(biāo)準(zhǔn),2004

4 Cisco.Cisco Discovery Protocol(CDP)Specification,2004

5 華為NE系列路由器產(chǎn)品文檔，2008