基于日志分析的智能網(wǎng)絡(luò)運(yùn)維方法

［邱傳寧］

1 引言

隨著電信網(wǎng)絡(luò)云網(wǎng)一體化轉(zhuǎn)型的不斷深入，網(wǎng)絡(luò)設(shè)備的高度集中，各類型設(shè)備硬件及軟件運(yùn)維壓力持續(xù)增大。在傳統(tǒng)運(yùn)維模式中，當(dāng)網(wǎng)絡(luò)運(yùn)行出現(xiàn)異常，產(chǎn)生告警時(shí)，運(yùn)維管理人員通過(guò)告警定位信息，查看網(wǎng)管告警、性能日志去查找和定位故障信息，這種方法已無(wú)法滿足面向用戶感知的網(wǎng)絡(luò)網(wǎng)絡(luò)智能運(yùn)維需求，傳統(tǒng)依賴人工的運(yùn)維手段逐漸向自動(dòng)化、智能化的運(yùn)維手段轉(zhuǎn)變。運(yùn)維模式逐漸趨向主動(dòng)監(jiān)測(cè)分析業(yè)務(wù)、網(wǎng)絡(luò)、設(shè)備各層面的運(yùn)行情況，主動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)隱患和業(yè)務(wù)質(zhì)量下降趨勢(shì)，彌補(bǔ)設(shè)備告警的不足。

與此同時(shí)，由于電信運(yùn)營(yíng)網(wǎng)絡(luò)的分拆整合，部門(mén)的重組調(diào)整，網(wǎng)絡(luò)工程師流動(dòng)性加大，這就要求將專家維護(hù)經(jīng)驗(yàn)固化和沉淀下來(lái)，起到降本增效的作用。還可將固化的電信維護(hù)操作案例作為新員工專業(yè)培訓(xùn)教材，通過(guò)經(jīng)典案例的學(xué)習(xí)，解決新員工培訓(xùn)上崗周期長(zhǎng)的問(wèn)題。

現(xiàn)有的日志分析技術(shù)，主要以網(wǎng)絡(luò)和信息安全審計(jì)為目的，對(duì)接入平臺(tái)終端用戶的登錄情況、設(shè)備操作行為等進(jìn)行記錄和檢測(cè)，審計(jì)是否存在繞行等異常登錄，高危的敏感操作是否按單施工，以及其他的違規(guī)操作。

針對(duì)上述電信網(wǎng)絡(luò)現(xiàn)狀以及運(yùn)維訴求的痛點(diǎn)，本文提出了一種基于日志數(shù)據(jù)分析的智能網(wǎng)絡(luò)運(yùn)維方法，通過(guò)分析處理海量操作日志數(shù)據(jù)，獲取成功維護(hù)經(jīng)驗(yàn)，從而將優(yōu)秀專家維護(hù)經(jīng)驗(yàn)固化，引入大數(shù)據(jù)和AI 來(lái)替代重復(fù)工作，解決復(fù)雜和難點(diǎn)問(wèn)題，為提升運(yùn)營(yíng)商的運(yùn)維水平打下夯實(shí)基礎(chǔ)。

2 智能網(wǎng)絡(luò)運(yùn)維方法

網(wǎng)絡(luò)設(shè)備硬件、軟件在運(yùn)維過(guò)程中，產(chǎn)生了海量的操作日志數(shù)據(jù)，本文以日志采集處理架構(gòu)ELK（ElasticSearch全文檢索數(shù)據(jù)庫(kù)、Logstash 日志采集器和Kibana 可視化數(shù)據(jù)搜索）為基礎(chǔ)，對(duì)日志數(shù)據(jù)進(jìn)行采集、清洗以及分析。通過(guò)操作日志數(shù)據(jù)分析，回溯網(wǎng)絡(luò)設(shè)備故障工單告警產(chǎn)生信息，故障閉環(huán)信息，對(duì)于網(wǎng)管所執(zhí)行操作能成功排除故障的案例，獲取其成功維護(hù)經(jīng)驗(yàn)，自動(dòng)生成專家經(jīng)驗(yàn)庫(kù)，用以指導(dǎo)同類故障處理，并通過(guò)預(yù)先定義的告警項(xiàng)、觸發(fā)器、故障動(dòng)作等，做到實(shí)時(shí)故障預(yù)警、故障恢復(fù)，評(píng)估可實(shí)現(xiàn)約10%的網(wǎng)絡(luò)設(shè)備故障自動(dòng)修復(fù)，從而有效提升故障處理的時(shí)效性，實(shí)現(xiàn)網(wǎng)絡(luò)設(shè)備運(yùn)維智能化、自動(dòng)化。

與現(xiàn)有技術(shù)相比，本文利用大數(shù)據(jù)架構(gòu)，分析操作日志數(shù)據(jù)，回溯故障工單，獲取成功維護(hù)經(jīng)驗(yàn)，提高了運(yùn)維效率及可靠性，同時(shí)自動(dòng)生成經(jīng)典維護(hù)案例，實(shí)現(xiàn)運(yùn)維知識(shí)的高效傳遞。

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

本文介紹的基于操作日志分析的智能運(yùn)維設(shè)計(jì)方法，操作日志分析以大數(shù)據(jù)ELK 平臺(tái)為基礎(chǔ)，包含了ElasticSearch 全文檢索數(shù)據(jù)庫(kù)、Logstash 日志采集器和Kibana 可視化數(shù)據(jù)搜索，系統(tǒng)架構(gòu)設(shè)計(jì)如圖1 所示。

圖1 系統(tǒng)架構(gòu)設(shè)計(jì)

Logstash 具有實(shí)時(shí)傳輸能力的數(shù)據(jù)采集引擎，以Logstash 進(jìn)行日志數(shù)據(jù)、故障工單數(shù)據(jù)的采集和解析，再將數(shù)據(jù)傳送到ElasticSearch 數(shù)據(jù)庫(kù)。

ElasticSearch 是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎，ElasticSearch 提供的API 是基于HTTP 協(xié)議的RESTful API，可以用于全文搜索和分析，使用字段、數(shù)值范圍檢索，指定時(shí)間范圍查詢的大數(shù)據(jù)檢索，使海量數(shù)據(jù)可以達(dá)到秒級(jí)響應(yīng)。運(yùn)維日志分析引擎利用ElasticSearch API 封裝了自定義的運(yùn)維日志分析模塊，按運(yùn)維需求，結(jié)合故障工單數(shù)據(jù)，對(duì)經(jīng)過(guò)采集、清洗過(guò)的4A 操作日志、網(wǎng)管操作日志進(jìn)行分析，獲取成功維護(hù)經(jīng)驗(yàn)。

Kibana 為ElasticSearch 提供了分析和可視化的Web接口，通過(guò)Kibana 使用戶能連接ElasticSearch 搜索引擎，進(jìn)行搜索、統(tǒng)計(jì)數(shù)據(jù)，并能對(duì)Elasticsearch API 封裝的自定義運(yùn)維日志分析規(guī)則進(jìn)行驗(yàn)證，生成各種維度表格和圖形。

基于操作日志分析的智能運(yùn)維模型，從網(wǎng)絡(luò)安全和運(yùn)維的需求出發(fā)，提出基于大數(shù)據(jù)海量日志分析基礎(chǔ)上進(jìn)行的智能安全感知算法，擁有日志全文搜索、可視化多維分析等核心功能，通過(guò)前端WEB 界面進(jìn)行分析與展示，實(shí)現(xiàn)統(tǒng)一管理、隱患分析、故障定位、安全預(yù)警等分析功能，給運(yùn)維人員提供價(jià)值最大化的日志數(shù)據(jù)信息。實(shí)現(xiàn)“面向設(shè)備”、“面向網(wǎng)絡(luò)”的傳統(tǒng)監(jiān)控模式轉(zhuǎn)變?yōu)椤懊嫦蚩蛻簟弊詣?dòng)化、智能化的主動(dòng)運(yùn)維模式。

2.2 運(yùn)維日志分析邏輯設(shè)計(jì)

當(dāng)網(wǎng)絡(luò)設(shè)備運(yùn)行出現(xiàn)異常，網(wǎng)絡(luò)集中告警監(jiān)控系統(tǒng)檢測(cè)到異常并實(shí)時(shí)生成故障工單，派修至相關(guān)責(zé)任部門(mén)，相關(guān)部門(mén)遠(yuǎn)程集中維護(hù)人員開(kāi)始故障處理，通過(guò)4A 平臺(tái)授權(quán)登錄，接入各網(wǎng)管執(zhí)行維護(hù)操作，排查故障。以上大量網(wǎng)內(nèi)故障處理以及日常運(yùn)維操作過(guò)程產(chǎn)生的海量操作日志數(shù)據(jù)經(jīng)過(guò)ELK 平臺(tái)處理后，進(jìn)入日志分析模塊。日志分析從故障工單入口，通過(guò)回溯網(wǎng)絡(luò)設(shè)備故障工單告警產(chǎn)生關(guān)鍵信息，故障閉環(huán)信息，對(duì)操作日志進(jìn)行分析，將網(wǎng)管所執(zhí)行操作能成功排除故障的案例，打上經(jīng)驗(yàn)標(biāo)簽，成功維護(hù)經(jīng)驗(yàn)權(quán)重值置“1”，獲取成功維護(hù)經(jīng)驗(yàn)，運(yùn)維操作日志分析邏輯流程如圖2 所示。

圖2 日志分析邏輯流程圖

3 實(shí)例分析

以下通過(guò)實(shí)例分析，進(jìn)一步論證在大數(shù)據(jù)ELK 平臺(tái)基礎(chǔ)上，對(duì)運(yùn)維操作日志分析，回溯網(wǎng)絡(luò)設(shè)備故障工單，獲取成功維護(hù)經(jīng)驗(yàn)邏輯的有效性和可行性。

如圖1 系統(tǒng)架構(gòu)設(shè)計(jì)所示，日志數(shù)據(jù)、故障工單數(shù)據(jù)通過(guò)Logstash 數(shù)據(jù)采集引擎采集，并傳送到ElasticSearch數(shù)據(jù)庫(kù)。ElasticSearch 運(yùn)維日志分析模塊按運(yùn)維梳理規(guī)則，提取故障工單關(guān)鍵信息；比對(duì)分析故障關(guān)鍵信息與操作日志；利用匹配出的操作日志數(shù)據(jù)，回溯到故障工單“結(jié)單信息”；生成成功維護(hù)經(jīng)驗(yàn)數(shù)據(jù)，存儲(chǔ)到專家經(jīng)驗(yàn)庫(kù)。

以某故障為例，如圖3，故障標(biāo)題“2012 烽火江珠中80*（40/100）Gb/sDWDM 系統(tǒng)OOP_HIGH”。

圖3 故障工單

實(shí)例處理步驟1：提取故障工單關(guān)鍵信息，對(duì)應(yīng)圖2步驟1。

故障工單-“故障描述”（故障內(nèi)容）字段查找網(wǎng)絡(luò)設(shè)備告警產(chǎn)生關(guān)鍵信息如下：

【告警時(shí)間】:2021-02-22 15:54:40

【告警位置】:/Ems=廣東二干烽火100G 波分網(wǎng)管/Ne=04-01-江門(mén)炮臺(tái)

-OTM-珠海方向/Shelf=1-3/Board=49/Port=1

【告警信息】:OOP_HIGH

實(shí)例處理步驟2：將故障關(guān)鍵信息與ELK 平臺(tái)采集清洗后的操作日志匹配，對(duì)應(yīng)圖2 步驟2。

EMS 網(wǎng)管操作日志數(shù)據(jù)如圖4 所示，其中“操作對(duì)象”與故障工單關(guān)鍵信息中的“告警位置”相關(guān)聯(lián)匹配，對(duì)于關(guān)聯(lián)上的操作日志，同時(shí)關(guān)聯(lián)故障工單“告警時(shí)間”與操作日志“操作時(shí)間”（在告警時(shí)間后2 小時(shí)內(nèi)），搜索關(guān)聯(lián)操作，查找“操作指令”（詳細(xì)信息）。

圖4 EMS 網(wǎng)管操作日志

光保護(hù)網(wǎng)管操作日志數(shù)據(jù)詳見(jiàn)圖5，其中“局站”與故障工單關(guān)鍵信息中的“告警位置”相關(guān)聯(lián)匹配，對(duì)于關(guān)聯(lián)上的操作日志，同時(shí)關(guān)聯(lián)故障工單“告警時(shí)間”與操作日志“操作時(shí)間”（在告警時(shí)間后2 小時(shí)內(nèi)），搜索關(guān)聯(lián)操作，查找“當(dāng)前路由（切換指令）”，匹配出對(duì)應(yīng)該故障工單的操作日志數(shù)據(jù)“備”到“主”的切換操作。

圖5 光保護(hù)網(wǎng)管操作日志

實(shí)例處理步驟3：利用以上匹配出的操作日志數(shù)據(jù)，回溯到故障工單“結(jié)單信息”，對(duì)應(yīng)圖2 步驟3。

如圖6 所示，匹配結(jié)果與所執(zhí)行操作一致，根據(jù)網(wǎng)管執(zhí)行操作動(dòng)作，故障得以清除，插入新增字段“經(jīng)驗(yàn)獲取”標(biāo)志權(quán)值為“1”，對(duì)應(yīng)圖2 步驟4。

實(shí)例處理步驟5：生成成功維護(hù)經(jīng)驗(yàn)數(shù)據(jù)，存儲(chǔ)到專家經(jīng)驗(yàn)庫(kù)

故障工單“經(jīng)驗(yàn)獲取”標(biāo)簽值為“1”，作為成功維護(hù)經(jīng)驗(yàn)數(shù)據(jù)固化到專家經(jīng)驗(yàn)庫(kù)，對(duì)應(yīng)圖2 步驟5。

圖6 故障工單結(jié)單信息

通過(guò)以上實(shí)例說(shuō)明，基于操作日志分析，回溯故障工單，獲取成功維護(hù)經(jīng)驗(yàn)進(jìn)行固化的方法，在電信大數(shù)據(jù)平臺(tái)的基礎(chǔ)上，利用人工智能自學(xué)習(xí)的運(yùn)維模式，自動(dòng)生成專家經(jīng)驗(yàn)庫(kù)，并通過(guò)優(yōu)秀專家維護(hù)經(jīng)驗(yàn)的指導(dǎo)和學(xué)習(xí)，也保證運(yùn)維人員隊(duì)伍的維護(hù)水平，從而保障網(wǎng)絡(luò)安全、穩(wěn)定的運(yùn)行，讓網(wǎng)絡(luò)維護(hù)優(yōu)化工作更加面向客戶，以提升客戶對(duì)網(wǎng)絡(luò)的感知。

4 結(jié)束語(yǔ)

利用大數(shù)據(jù)框架分析處理海量操作日志數(shù)據(jù)，獲取成功維護(hù)經(jīng)驗(yàn)，從而將優(yōu)秀專家維護(hù)經(jīng)驗(yàn)固化和沉淀下來(lái)，解決了網(wǎng)絡(luò)運(yùn)維工程師流動(dòng)性趨增的問(wèn)題。并按運(yùn)維需求預(yù)設(shè)告警觸發(fā)器，故障動(dòng)作，實(shí)現(xiàn)故障自動(dòng)預(yù)警，自動(dòng)修復(fù)。