基于大數(shù)據(jù)技術的智能安全運維管理平臺建設

摘要：交銀租賃信息系統(tǒng)擁有多個不同版本和類型的組件。運行維護人員和管理人員在運行事件發(fā)生后往往忙于系統(tǒng)搶險和應急處理，難以對每一項資產(chǎn)進行高頻率的人工檢查。究其原因，主要是這些資源的軟硬件結構復雜，維護過程煩瑣。目前，故障處理主要依靠人工排除故障?；诖?，文章介紹了基于大數(shù)據(jù)技術的智能安全運維管理平臺，旨在實現(xiàn)對企業(yè)IT資產(chǎn)的快速有效管理。

關鍵詞：資產(chǎn)監(jiān)控;智能運維;日志采集;實時告警;大數(shù)據(jù)分析中圖法分類號：TP311

文獻標識碼：A

Construction of intelligent security operation and maintenance managementplatform based on big data technology

MENG Wei

（Bocom Financial Leasing Co.，Ltd.，Shanghai 200000，China）

Abstract：At present， the bocomleasing IT system includes many components of different versions and types. Operation and maintenance personnel and management personnel are often busy with system rescue and emergency treatment after operation events， so it is difficult to conduct high- frequency manual inspection on each asset. The main reason is that the software and hardware structure of these resources is complex and the maintenance method is cumbersome.Troubleshooting mainly depends on manual troubleshooting. To sum up， this paper proposes and implements an intelligent security operation and maintenance management platform based on big data technology. The platform can realize the rapid and effective management of enterprise IT assets.

Key words： asset monitoring， intelligent operation and maintenance， log collection， real time alarm， big data analysis

1? 引言

依靠傳統(tǒng)人工檢查的工作方式，工作被動且效率低下，故障檢測效率低，容易遺漏，不能快速有效地進行檢測。為了解決上述問題，本文提出了基于大數(shù)據(jù)技術的智能安全運維監(jiān)控管理，其能夠將監(jiān)控和運維過程中產(chǎn)生的數(shù)據(jù)進行整合、收斂、規(guī)則處理、自動化分析，并利用大數(shù)據(jù)等新技術更快、更全面、更準確地對系統(tǒng)數(shù)據(jù)進行分析和挖掘，以生成知識庫，這不僅可以對處理問題的過程進行指導，還可以逐步對故障進行預判，從而“變救火為防火”。

2? 交銀租賃安全運維監(jiān)控現(xiàn)狀分析

近年來，交銀租賃旗下的業(yè)務場景逐步變多，與之對應的機房內(nèi)的網(wǎng)絡環(huán)境也變得越來越復雜。如何高效、可靠、穩(wěn)定地維護機房內(nèi)的設備，成為越來越迫切的任務。目前，大部分監(jiān)控運維系統(tǒng)都停留在“發(fā)現(xiàn)問題”上，但是如何解決或者如何能夠更好地預防故障還都需要技術人員憑借自己積累的經(jīng)驗來解決。該方式費時費力，而且容易出錯。交銀租賃信息系統(tǒng)主要存在的問題包括網(wǎng)絡環(huán)境越來越復雜、故障排除需人工參與、各個維度數(shù)據(jù)不能有效整合。

3? 交銀租賃大數(shù)據(jù)技術應用

3.1? 面臨的挑戰(zhàn)

在大數(shù)據(jù)技術集中化趨勢日益明顯的背景下，大數(shù)據(jù)在企業(yè)運維管理中的新探索和實踐方向是構建具有實時采集和海量分析能力的智能大數(shù)據(jù)運維系統(tǒng)。借助大數(shù)據(jù)技術，可以提升運維能力，實現(xiàn)事前及時預警、事后快速追溯等。

結合交銀租賃生產(chǎn)運維的實際情況，交銀租賃發(fā)起智能運維大數(shù)據(jù)平臺項目，針對設備監(jiān)控，實施日志智能檢索分析、異常檢測和輔助預警等功能的建模與開發(fā)。開發(fā)完成后，將交銀租賃的所有運維數(shù)據(jù)完成數(shù)據(jù)集中（包括數(shù)據(jù)治理）處理，并且完成基于大數(shù)據(jù)技術的分析模型，幫助相關人員提高運維效率，并有效降低故障發(fā)生率。

3.2? 交銀租賃大數(shù)據(jù)運維體系

與傳統(tǒng)信息系統(tǒng)相比，大數(shù)據(jù)智能運維管理平臺的工作重點有較大的區(qū)別。通過運用多樣化的方法和手段、技術和系統(tǒng)、流程和文檔，對系統(tǒng)、人員、軟件運行環(huán)境等多種資源進行管理，確保大數(shù)據(jù)信息系統(tǒng)高效穩(wěn)定運行。因此，大數(shù)據(jù)智能運維管理平臺的運維體系建設主要包含以下幾個方面。

（1）平臺架構

大數(shù)據(jù)智能運維管理平臺的構建主要包括設備層、采集協(xié)議、消息管道、數(shù)據(jù)處理、模型建立、業(yè)務展現(xiàn)等模塊（圖 1）。其中，設備層是所有數(shù)據(jù)的源頭;采集協(xié)議將采集到的數(shù)據(jù)傳給數(shù)據(jù)處理層，最后將用戶想要的數(shù)據(jù)展示給用戶。

（2）平臺運維任務

傳統(tǒng)信息平臺的運維任務完成效率與大數(shù)據(jù)智能運維管理平臺的運維任務完成效率存在較大差距。傳統(tǒng)信息平臺由一臺或多臺服務器組成，而大數(shù)據(jù)智能運維管理平臺由多臺服務器集群組成。如果硬件設備出現(xiàn)故障，將對傳統(tǒng)信息平臺產(chǎn)生很大影響，如影響其正常運行。對大數(shù)據(jù)智能運維管理平臺而言，如果由于底層故障導致數(shù)據(jù)備份不足，其服務會自動復制，進一步提升信息的使用價值[1]。66DBC426-1084-4E1A-B9AE-31DE04CCCD64

（3）平臺搭建

由于交銀租賃網(wǎng)絡環(huán)境的特殊性，生產(chǎn)環(huán)境中各個網(wǎng)段之間通過防火墻等網(wǎng)絡安全設備進行了邏輯隔離，因此大數(shù)據(jù)智能運維管理平臺采用雙機分布式的方式來部署服務器。該方式首先會部署兩臺服務器作為雙機熱備，以提供頁面訪問功能，然后會在各個網(wǎng)段部署相應的監(jiān)控及運維節(jié)點，這些節(jié)點可對各自網(wǎng)段的所有設備進行數(shù)據(jù)采集及故障解決，并將最后的數(shù)據(jù)反饋給主服務器，由主服務器進行數(shù)據(jù)處理，以供用戶訪問。

通過大數(shù)據(jù)智能運維管理平臺的實時監(jiān)控預警聯(lián)動，有助于提高企業(yè)的運營安全和效率，為企業(yè)的日常發(fā)展和業(yè)務運營提供保障，并提供安全可靠的基礎設施監(jiān)控。

4? 交銀租賃智能安全運維管理平臺

交銀租賃基于大數(shù)據(jù)技術安裝智能安全運維管理系統(tǒng)。該系統(tǒng)擁有數(shù)據(jù)采集層、大數(shù)據(jù)處理層以及 Web 應用層。其中，數(shù)據(jù)采集層擁有用于采集主機、存儲器、網(wǎng)絡資源的采集工具以及用于采集 Web 應用層數(shù)據(jù)的專項采集程序;大數(shù)據(jù)處理層用于對采集層采集的各項數(shù)據(jù)進行分析，以生成運維指標，智能分析運維指標后，將有效的運維指標寫入數(shù)據(jù)庫中;Web應用層從數(shù)據(jù)庫中讀取數(shù)據(jù)，并在前端進行展示或者管理。

4.1? 平臺架構

智能安全運維管理平臺由身份認證管理、資產(chǎn)管理、資產(chǎn)監(jiān)控和日志數(shù)據(jù)采集、合規(guī)安全處理、大數(shù)據(jù)分析、實時監(jiān)控告警、智能運維策略推薦、統(tǒng)計分析報表等模塊組成（圖 2）。該平臺將設備監(jiān)控和采集獲取的數(shù)據(jù)進行合規(guī)處理并存入數(shù)據(jù)庫中，方便采用大數(shù)據(jù)方法進行離線分析，對分析所得的異常數(shù)據(jù)進行告警及調用自動化腳本處理故障。最終將該故障現(xiàn)象及處理過程存入知識庫中。

4.2? 平臺的關鍵功能

（1）身份認證及訪問管理

智能安全運維管理平臺為客戶構建統(tǒng)一身份認證管理系統(tǒng)，其中包括構建統(tǒng)一的組織賬戶信息系統(tǒng)，支持多級、區(qū)域等多樣用戶組織管理以及用戶身份全生命周期管理，采用靈活的賬戶安全配置策略，從而達到賬號集中管理、角色有效劃分、資源權限細分的目的，并細粒度授權、認證方式靈活[2]。

（2）資產(chǎn)配置管理

智能安全運維管理平臺可提供自動發(fā)現(xiàn) IT、配置核查、基線管理等功能，實現(xiàn)對企業(yè)整個 IT 資產(chǎn)的主動管理，包括服務器、路由交換機、防火墻、應用、虛擬化等設備庫;實現(xiàn)資產(chǎn)全生命周期的全流程管理。幫助企業(yè)全面掌握信息資產(chǎn)的分布，從而降低運營成本、提高運營效率。

（3）資產(chǎn)監(jiān)控及日志收集

該部分包括資產(chǎn)的定時主動監(jiān)控、設備故障日志收集、日志收集、中間件等應用軟件日志搜集。該平臺使用高性能采集器，分布式地收集不同采集對象的數(shù)據(jù)。對支持snmp協(xié)議的操作系統(tǒng)、網(wǎng)絡設備等，采集頻率可達60次/分鐘;單采集器的日志處理能力可達 5000EPS ，且可以集群的方式橫向擴展。

智能安全運維管理平臺能夠對傳統(tǒng) IT、私有云、公有云、混合云等基礎設施進行全方位、多維度、可視化的統(tǒng)一管理，結合實時性能監(jiān)控、高性能事件處理以及多方式故障預警，幫助用戶全面掌控網(wǎng)絡狀態(tài)和異常情況，深入檢查性能瓶頸和風險，快速定位技術故障及可能影響范圍。

（4）網(wǎng)絡拓撲實時監(jiān)控告警

智能安全運維管理平臺可將資產(chǎn)自動生成網(wǎng)絡拓撲，并且通過設置的規(guī)則，能夠將實時監(jiān)控與閾值告警的結果在網(wǎng)絡拓撲上進行展示，使核心資源及核心業(yè)務服務運行狀況一目了然。

（5）數(shù)據(jù)合規(guī)及安全處理

該部分主要是對上一部分采集到的數(shù)據(jù)進行自定義規(guī)則過濾。

（6）實時告警

該部分主要是對采集到的數(shù)據(jù)按照預先設置的閾值規(guī)則進行匹配，如果匹配成功就產(chǎn)生事件，并發(fā)送對應的告警給管理員;反之，如果設備恢復正常則要產(chǎn)生恢復事件給管理員。

針對異常告警是本平臺最重要的工作之一，其提供了郵件、短信等多種告警方式，并且可以分別采取不同的告警策略。

（7）安全運維及綜合審計

根據(jù)知識庫中構建的策略選擇系統(tǒng)內(nèi)置的自動化運維腳本進行故障修復，并記錄運維日志，以完善知識庫。

智能安全運維管理平臺在簡化科技人員日常運維的同時，全面解決各種復雜環(huán)境下的運維安全問題，提升企業(yè)整體 IT 運維管理水平?？蓪崿F(xiàn)對運維人員的訪問過程進行授權和記錄，對日常操作的全過程進行管控，運行審計和過程回放，實現(xiàn)運維過程“事前預防、事中控制、事后審計”，筑牢信息運維的安全防線。

（8）自動化運維

智能安全運維管理平臺系統(tǒng)自動化運維主要是針對 Windows ，Linux ，AIX 等系統(tǒng)的自動化安全檢查及修復建議，以及 CMDB 配置項的發(fā)現(xiàn)和屬性采集，由六大部分組成。

5? 效果評估

通過部署雙機分布式安全運維管理平臺，服務器資源得到了有效利用，并節(jié)省了服務器的計算資源，而且單臺服務器的存儲資源也節(jié)省了15%。此前，單核處理器每秒能夠傳輸3000條數(shù)據(jù)。部署安全運維管理平臺后，每秒能夠傳輸6000～ 8000條數(shù)據(jù)。而且，在服務器單獨空跑，即不加任何計算時，單核處理器每秒能傳輸近1 萬條數(shù)據(jù)。同時，很少觸發(fā) ES 保護機制，原因在于數(shù)據(jù)進行了分流。

6? 結論

本文提出了一種基于大數(shù)據(jù)技術的智能安全運維管理解決方案。該方案在實際運行中著重解決了以下三個問題：（1）“實時告警+故障處理”，可以快速高效地解決設備運行時產(chǎn)生的問題;（2）將日志收集、資產(chǎn)監(jiān)控、運維三大板塊有效結合，實現(xiàn)設備故障的閉環(huán)處理;（3）基于大數(shù)據(jù)技術構建知識庫，有助于提前預防故障，杜絕安全隱患。不過，目前該方案只支持對部分常見設備進行有效運維管理。后續(xù)隨著算法的優(yōu)化及設備相關信息的全方位分析，會逐步實現(xiàn)全網(wǎng)設備的智能安全運維管理。

參考文獻：

[1] 劉志勇，何忠江，阮宜龍，等.大數(shù)據(jù)安全特征與運營實踐[J].電信科學，2021，37（5）：160?169.

[2] 王俊，李咸寧.基于人工智能的計算機大數(shù)據(jù)安全技術平臺構建[J].科學技術創(chuàng)新，2020（34）：73?74.

作者簡介：

孟巍（1984—） ，碩士，工程師，研究方向：信息安全。66DBC426-1084-4E1A-B9AE-31DE04CCCD64