基于大數(shù)據(jù)技術(shù)的智能安全運(yùn)維管理平臺建設(shè)

摘要：交銀租賃信息系統(tǒng)擁有多個不同版本和類型的組件。運(yùn)行維護(hù)人員和管理人員在運(yùn)行事件發(fā)生后往往忙于系統(tǒng)搶險(xiǎn)和應(yīng)急處理，難以對每一項(xiàng)資產(chǎn)進(jìn)行高頻率的人工檢查。究其原因，主要是這些資源的軟硬件結(jié)構(gòu)復(fù)雜，維護(hù)過程煩瑣。目前，故障處理主要依靠人工排除故障?；诖耍恼陆榻B了基于大數(shù)據(jù)技術(shù)的智能安全運(yùn)維管理平臺，旨在實(shí)現(xiàn)對企業(yè)IT資產(chǎn)的快速有效管理。

關(guān)鍵詞：資產(chǎn)監(jiān)控;智能運(yùn)維;日志采集;實(shí)時告警;大數(shù)據(jù)分析中圖法分類號：TP311

文獻(xiàn)標(biāo)識碼：A

Construction of intelligent security operation and maintenance managementplatform based on big data technology

MENG Wei

（Bocom Financial Leasing Co.，Ltd.，Shanghai 200000，China）

Abstract：At present， the bocomleasing IT system includes many components of different versions and types. Operation and maintenance personnel and management personnel are often busy with system rescue and emergency treatment after operation events， so it is difficult to conduct high- frequency manual inspection on each asset. The main reason is that the software and hardware structure of these resources is complex and the maintenance method is cumbersome.Troubleshooting mainly depends on manual troubleshooting. To sum up， this paper proposes and implements an intelligent security operation and maintenance management platform based on big data technology. The platform can realize the rapid and effective management of enterprise IT assets.

Key words： asset monitoring， intelligent operation and maintenance， log collection， real time alarm， big data analysis

1? 引言

依靠傳統(tǒng)人工檢查的工作方式，工作被動且效率低下，故障檢測效率低，容易遺漏，不能快速有效地進(jìn)行檢測。為了解決上述問題，本文提出了基于大數(shù)據(jù)技術(shù)的智能安全運(yùn)維監(jiān)控管理，其能夠?qū)⒈O(jiān)控和運(yùn)維過程中產(chǎn)生的數(shù)據(jù)進(jìn)行整合、收斂、規(guī)則處理、自動化分析，并利用大數(shù)據(jù)等新技術(shù)更快、更全面、更準(zhǔn)確地對系統(tǒng)數(shù)據(jù)進(jìn)行分析和挖掘，以生成知識庫，這不僅可以對處理問題的過程進(jìn)行指導(dǎo)，還可以逐步對故障進(jìn)行預(yù)判，從而“變救火為防火”。

2? 交銀租賃安全運(yùn)維監(jiān)控現(xiàn)狀分析

近年來，交銀租賃旗下的業(yè)務(wù)場景逐步變多，與之對應(yīng)的機(jī)房內(nèi)的網(wǎng)絡(luò)環(huán)境也變得越來越復(fù)雜。如何高效、可靠、穩(wěn)定地維護(hù)機(jī)房內(nèi)的設(shè)備，成為越來越迫切的任務(wù)。目前，大部分監(jiān)控運(yùn)維系統(tǒng)都停留在“發(fā)現(xiàn)問題”上，但是如何解決或者如何能夠更好地預(yù)防故障還都需要技術(shù)人員憑借自己積累的經(jīng)驗(yàn)來解決。該方式費(fèi)時費(fèi)力，而且容易出錯。交銀租賃信息系統(tǒng)主要存在的問題包括網(wǎng)絡(luò)環(huán)境越來越復(fù)雜、故障排除需人工參與、各個維度數(shù)據(jù)不能有效整合。

3? 交銀租賃大數(shù)據(jù)技術(shù)應(yīng)用

3.1? 面臨的挑戰(zhàn)

在大數(shù)據(jù)技術(shù)集中化趨勢日益明顯的背景下，大數(shù)據(jù)在企業(yè)運(yùn)維管理中的新探索和實(shí)踐方向是構(gòu)建具有實(shí)時采集和海量分析能力的智能大數(shù)據(jù)運(yùn)維系統(tǒng)。借助大數(shù)據(jù)技術(shù)，可以提升運(yùn)維能力，實(shí)現(xiàn)事前及時預(yù)警、事后快速追溯等。

結(jié)合交銀租賃生產(chǎn)運(yùn)維的實(shí)際情況，交銀租賃發(fā)起智能運(yùn)維大數(shù)據(jù)平臺項(xiàng)目，針對設(shè)備監(jiān)控，實(shí)施日志智能檢索分析、異常檢測和輔助預(yù)警等功能的建模與開發(fā)。開發(fā)完成后，將交銀租賃的所有運(yùn)維數(shù)據(jù)完成數(shù)據(jù)集中（包括數(shù)據(jù)治理）處理，并且完成基于大數(shù)據(jù)技術(shù)的分析模型，幫助相關(guān)人員提高運(yùn)維效率，并有效降低故障發(fā)生率。

3.2? 交銀租賃大數(shù)據(jù)運(yùn)維體系

與傳統(tǒng)信息系統(tǒng)相比，大數(shù)據(jù)智能運(yùn)維管理平臺的工作重點(diǎn)有較大的區(qū)別。通過運(yùn)用多樣化的方法和手段、技術(shù)和系統(tǒng)、流程和文檔，對系統(tǒng)、人員、軟件運(yùn)行環(huán)境等多種資源進(jìn)行管理，確保大數(shù)據(jù)信息系統(tǒng)高效穩(wěn)定運(yùn)行。因此，大數(shù)據(jù)智能運(yùn)維管理平臺的運(yùn)維體系建設(shè)主要包含以下幾個方面。

（1）平臺架構(gòu)

大數(shù)據(jù)智能運(yùn)維管理平臺的構(gòu)建主要包括設(shè)備層、采集協(xié)議、消息管道、數(shù)據(jù)處理、模型建立、業(yè)務(wù)展現(xiàn)等模塊（圖 1）。其中，設(shè)備層是所有數(shù)據(jù)的源頭;采集協(xié)議將采集到的數(shù)據(jù)傳給數(shù)據(jù)處理層，最后將用戶想要的數(shù)據(jù)展示給用戶。

（2）平臺運(yùn)維任務(wù)

傳統(tǒng)信息平臺的運(yùn)維任務(wù)完成效率與大數(shù)據(jù)智能運(yùn)維管理平臺的運(yùn)維任務(wù)完成效率存在較大差距。傳統(tǒng)信息平臺由一臺或多臺服務(wù)器組成，而大數(shù)據(jù)智能運(yùn)維管理平臺由多臺服務(wù)器集群組成。如果硬件設(shè)備出現(xiàn)故障，將對傳統(tǒng)信息平臺產(chǎn)生很大影響，如影響其正常運(yùn)行。對大數(shù)據(jù)智能運(yùn)維管理平臺而言，如果由于底層故障導(dǎo)致數(shù)據(jù)備份不足，其服務(wù)會自動復(fù)制，進(jìn)一步提升信息的使用價值[1]。

（3）平臺搭建

由于交銀租賃網(wǎng)絡(luò)環(huán)境的特殊性，生產(chǎn)環(huán)境中各個網(wǎng)段之間通過防火墻等網(wǎng)絡(luò)安全設(shè)備進(jìn)行了邏輯隔離，因此大數(shù)據(jù)智能運(yùn)維管理平臺采用雙機(jī)分布式的方式來部署服務(wù)器。該方式首先會部署兩臺服務(wù)器作為雙機(jī)熱備，以提供頁面訪問功能，然后會在各個網(wǎng)段部署相應(yīng)的監(jiān)控及運(yùn)維節(jié)點(diǎn)，這些節(jié)點(diǎn)可對各自網(wǎng)段的所有設(shè)備進(jìn)行數(shù)據(jù)采集及故障解決，并將最后的數(shù)據(jù)反饋給主服務(wù)器，由主服務(wù)器進(jìn)行數(shù)據(jù)處理，以供用戶訪問。

通過大數(shù)據(jù)智能運(yùn)維管理平臺的實(shí)時監(jiān)控預(yù)警聯(lián)動，有助于提高企業(yè)的運(yùn)營安全和效率，為企業(yè)的日常發(fā)展和業(yè)務(wù)運(yùn)營提供保障，并提供安全可靠的基礎(chǔ)設(shè)施監(jiān)控。

4? 交銀租賃智能安全運(yùn)維管理平臺

交銀租賃基于大數(shù)據(jù)技術(shù)安裝智能安全運(yùn)維管理系統(tǒng)。該系統(tǒng)擁有數(shù)據(jù)采集層、大數(shù)據(jù)處理層以及 Web 應(yīng)用層。其中，數(shù)據(jù)采集層擁有用于采集主機(jī)、存儲器、網(wǎng)絡(luò)資源的采集工具以及用于采集 Web 應(yīng)用層數(shù)據(jù)的專項(xiàng)采集程序;大數(shù)據(jù)處理層用于對采集層采集的各項(xiàng)數(shù)據(jù)進(jìn)行分析，以生成運(yùn)維指標(biāo)，智能分析運(yùn)維指標(biāo)后，將有效的運(yùn)維指標(biāo)寫入數(shù)據(jù)庫中;Web應(yīng)用層從數(shù)據(jù)庫中讀取數(shù)據(jù)，并在前端進(jìn)行展示或者管理。

4.1? 平臺架構(gòu)

智能安全運(yùn)維管理平臺由身份認(rèn)證管理、資產(chǎn)管理、資產(chǎn)監(jiān)控和日志數(shù)據(jù)采集、合規(guī)安全處理、大數(shù)據(jù)分析、實(shí)時監(jiān)控告警、智能運(yùn)維策略推薦、統(tǒng)計(jì)分析報(bào)表等模塊組成（圖 2）。該平臺將設(shè)備監(jiān)控和采集獲取的數(shù)據(jù)進(jìn)行合規(guī)處理并存入數(shù)據(jù)庫中，方便采用大數(shù)據(jù)方法進(jìn)行離線分析，對分析所得的異常數(shù)據(jù)進(jìn)行告警及調(diào)用自動化腳本處理故障。最終將該故障現(xiàn)象及處理過程存入知識庫中。

4.2? 平臺的關(guān)鍵功能

（1）身份認(rèn)證及訪問管理

智能安全運(yùn)維管理平臺為客戶構(gòu)建統(tǒng)一身份認(rèn)證管理系統(tǒng)，其中包括構(gòu)建統(tǒng)一的組織賬戶信息系統(tǒng)，支持多級、區(qū)域等多樣用戶組織管理以及用戶身份全生命周期管理，采用靈活的賬戶安全配置策略，從而達(dá)到賬號集中管理、角色有效劃分、資源權(quán)限細(xì)分的目的，并細(xì)粒度授權(quán)、認(rèn)證方式靈活[2]。

（2）資產(chǎn)配置管理

智能安全運(yùn)維管理平臺可提供自動發(fā)現(xiàn) IT、配置核查、基線管理等功能，實(shí)現(xiàn)對企業(yè)整個 IT 資產(chǎn)的主動管理，包括服務(wù)器、路由交換機(jī)、防火墻、應(yīng)用、虛擬化等設(shè)備庫;實(shí)現(xiàn)資產(chǎn)全生命周期的全流程管理。幫助企業(yè)全面掌握信息資產(chǎn)的分布，從而降低運(yùn)營成本、提高運(yùn)營效率。

（3）資產(chǎn)監(jiān)控及日志收集

該部分包括資產(chǎn)的定時主動監(jiān)控、設(shè)備故障日志收集、日志收集、中間件等應(yīng)用軟件日志搜集。該平臺使用高性能采集器，分布式地收集不同采集對象的數(shù)據(jù)。對支持snmp協(xié)議的操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備等，采集頻率可達(dá)60次/分鐘;單采集器的日志處理能力可達(dá) 5000EPS ，且可以集群的方式橫向擴(kuò)展。

智能安全運(yùn)維管理平臺能夠?qū)鹘y(tǒng) IT、私有云、公有云、混合云等基礎(chǔ)設(shè)施進(jìn)行全方位、多維度、可視化的統(tǒng)一管理，結(jié)合實(shí)時性能監(jiān)控、高性能事件處理以及多方式故障預(yù)警，幫助用戶全面掌控網(wǎng)絡(luò)狀態(tài)和異常情況，深入檢查性能瓶頸和風(fēng)險(xiǎn)，快速定位技術(shù)故障及可能影響范圍。

（4）網(wǎng)絡(luò)拓?fù)鋵?shí)時監(jiān)控告警

智能安全運(yùn)維管理平臺可將資產(chǎn)自動生成網(wǎng)絡(luò)拓?fù)?，并且通過設(shè)置的規(guī)則，能夠?qū)?shí)時監(jiān)控與閾值告警的結(jié)果在網(wǎng)絡(luò)拓?fù)渖线M(jìn)行展示，使核心資源及核心業(yè)務(wù)服務(wù)運(yùn)行狀況一目了然。

（5）數(shù)據(jù)合規(guī)及安全處理

該部分主要是對上一部分采集到的數(shù)據(jù)進(jìn)行自定義規(guī)則過濾。

（6）實(shí)時告警

該部分主要是對采集到的數(shù)據(jù)按照預(yù)先設(shè)置的閾值規(guī)則進(jìn)行匹配，如果匹配成功就產(chǎn)生事件，并發(fā)送對應(yīng)的告警給管理員;反之，如果設(shè)備恢復(fù)正常則要產(chǎn)生恢復(fù)事件給管理員。

針對異常告警是本平臺最重要的工作之一，其提供了郵件、短信等多種告警方式，并且可以分別采取不同的告警策略。

（7）安全運(yùn)維及綜合審計(jì)

根據(jù)知識庫中構(gòu)建的策略選擇系統(tǒng)內(nèi)置的自動化運(yùn)維腳本進(jìn)行故障修復(fù)，并記錄運(yùn)維日志，以完善知識庫。

智能安全運(yùn)維管理平臺在簡化科技人員日常運(yùn)維的同時，全面解決各種復(fù)雜環(huán)境下的運(yùn)維安全問題，提升企業(yè)整體 IT 運(yùn)維管理水平?？蓪?shí)現(xiàn)對運(yùn)維人員的訪問過程進(jìn)行授權(quán)和記錄，對日常操作的全過程進(jìn)行管控，運(yùn)行審計(jì)和過程回放，實(shí)現(xiàn)運(yùn)維過程“事前預(yù)防、事中控制、事后審計(jì)”，筑牢信息運(yùn)維的安全防線。

（8）自動化運(yùn)維

智能安全運(yùn)維管理平臺系統(tǒng)自動化運(yùn)維主要是針對 Windows ，Linux ，AIX 等系統(tǒng)的自動化安全檢查及修復(fù)建議，以及 CMDB 配置項(xiàng)的發(fā)現(xiàn)和屬性采集，由六大部分組成。

5? 效果評估

通過部署雙機(jī)分布式安全運(yùn)維管理平臺，服務(wù)器資源得到了有效利用，并節(jié)省了服務(wù)器的計(jì)算資源，而且單臺服務(wù)器的存儲資源也節(jié)省了15%。此前，單核處理器每秒能夠傳輸3000條數(shù)據(jù)。部署安全運(yùn)維管理平臺后，每秒能夠傳輸6000～ 8000條數(shù)據(jù)。而且，在服務(wù)器單獨(dú)空跑，即不加任何計(jì)算時，單核處理器每秒能傳輸近1 萬條數(shù)據(jù)。同時，很少觸發(fā) ES 保護(hù)機(jī)制，原因在于數(shù)據(jù)進(jìn)行了分流。

6? 結(jié)論

本文提出了一種基于大數(shù)據(jù)技術(shù)的智能安全運(yùn)維管理解決方案。該方案在實(shí)際運(yùn)行中著重解決了以下三個問題：（1）“實(shí)時告警+故障處理”，可以快速高效地解決設(shè)備運(yùn)行時產(chǎn)生的問題;（2）將日志收集、資產(chǎn)監(jiān)控、運(yùn)維三大板塊有效結(jié)合，實(shí)現(xiàn)設(shè)備故障的閉環(huán)處理;（3）基于大數(shù)據(jù)技術(shù)構(gòu)建知識庫，有助于提前預(yù)防故障，杜絕安全隱患。不過，目前該方案只支持對部分常見設(shè)備進(jìn)行有效運(yùn)維管理。后續(xù)隨著算法的優(yōu)化及設(shè)備相關(guān)信息的全方位分析，會逐步實(shí)現(xiàn)全網(wǎng)設(shè)備的智能安全運(yùn)維管理。

參考文獻(xiàn)：

[1] 劉志勇，何忠江，阮宜龍，等.大數(shù)據(jù)安全特征與運(yùn)營實(shí)踐[J].電信科學(xué)，2021，37（5）：160?169.

[2] 王俊，李咸寧.基于人工智能的計(jì)算機(jī)大數(shù)據(jù)安全技術(shù)平臺構(gòu)建[J].科學(xué)技術(shù)創(chuàng)新，2020（34）：73?74.

作者簡介：

孟?。?984—） ，碩士，工程師，研究方向：信息安全。