基于大數(shù)據(jù)和機(jī)器學(xué)習(xí)的數(shù)據(jù)中心運維內(nèi)控管理研究與實踐

王慧

關(guān)鍵詞 機(jī)器學(xué)習(xí) 大數(shù)據(jù) 內(nèi)控管理

結(jié)合長時間積累的運維內(nèi)控管理經(jīng)驗，本文創(chuàng)新提出了“ 4P ” 運維內(nèi)控管理理念， 從人員畫像（ Persona ）、規(guī)范分析（ Prescriptive ）、風(fēng)險防范（Prevent）、行為預(yù)測（Predictive）四個維度，將之融入大數(shù)據(jù)運維內(nèi)控管理平臺設(shè)計和應(yīng)用中，于全方位拓展運維內(nèi)控管理的工作理念和管理思路，促使運維內(nèi)控管理工作更具全面性、系統(tǒng)性和前瞻性[1] 。

1系統(tǒng)主體設(shè)計理念和實現(xiàn)功能

人員畫像（Persona）：綜合展示每個運維人員的工作現(xiàn)狀、操作習(xí)慣、行為特征、合規(guī)情況等信息全貌，可視化展現(xiàn)運維人員360°立體式畫像。

規(guī)范分析（Prescriptive）：全過程跟蹤運維人員進(jìn)出ECC 的行為交互路徑，實現(xiàn)命令、操作和行為的過程回放和模擬復(fù)盤，精準(zhǔn)定位不合規(guī)操作異動，提升運維內(nèi)控的事后管理效率。

風(fēng)險防范（Prevent）：對生產(chǎn)操作中的高危命令、違規(guī)行為、系統(tǒng)訪問軌跡等進(jìn)行實時監(jiān)控和自動隔離，通過規(guī)則匹配方式強(qiáng)化運維操作風(fēng)險防范，加固運維內(nèi)控的事中監(jiān)督機(jī)制。

行為預(yù)測（Predictive）：基于大數(shù)據(jù)存儲和分布式計算環(huán)境，引入機(jī)器學(xué)習(xí)算法，挖掘海量運維數(shù)據(jù)中的潛在規(guī)律，提前預(yù)判變更行為和實施風(fēng)險，強(qiáng)化運維內(nèi)控的事前管理能力。

2基于大數(shù)據(jù)和機(jī)器學(xué)習(xí)的“4P” 運維內(nèi)控管理平臺設(shè)計

大數(shù)據(jù)運維內(nèi)控管理平臺將各運維監(jiān)控平臺、ECC 管理系統(tǒng)、ISO20000 流程系統(tǒng)的海量多結(jié)構(gòu)化數(shù)據(jù)集中長久存儲、分布式計算分析。總體系統(tǒng)架構(gòu)由運維監(jiān)控層、數(shù)據(jù)采集層、數(shù)據(jù)分析層、數(shù)據(jù)應(yīng)用層和數(shù)據(jù)展現(xiàn)層構(gòu)成，基于大數(shù)據(jù)架構(gòu)，“4P”運維內(nèi)控管理功能實現(xiàn)技術(shù)設(shè)計如下。

2.1面向運維內(nèi)控管理的人員畫像模型

人員畫像作為一種能將定性與定量方法很好結(jié)合在一起的載體，通過定量化的數(shù)據(jù)分析獲得對運維人員較為精準(zhǔn)的認(rèn)識，從而從龐大的運維群體將特征相似的群體凸顯出來。進(jìn)行歸納、分類、比較，進(jìn)而對某個或某類現(xiàn)象的性質(zhì)和特征做出概括，對人員行為進(jìn)行規(guī)范性分析和預(yù)測。對可能出現(xiàn)的違規(guī)行為進(jìn)行預(yù)先干預(yù)，從而消除由人為引發(fā)的風(fēng)險。其具體實現(xiàn)可歸納為四個步驟。

第一步，設(shè)置用戶標(biāo)簽。標(biāo)簽通常是人為規(guī)定的高度精練的特征標(biāo)識，結(jié)合運維內(nèi)控的實際特點，我們將人員畫像的用戶標(biāo)簽分為四類，分別是操作量、合規(guī)性、安全意識、關(guān)鍵程度。

第二步，數(shù)據(jù)集成。運維內(nèi)控相關(guān)數(shù)據(jù)主要分為兩類，即靜態(tài)類數(shù)據(jù)和動態(tài)類數(shù)據(jù)。靜態(tài)類數(shù)據(jù)即相對穩(wěn)定的用戶屬性信息，可直接使用并轉(zhuǎn)化為用戶數(shù)據(jù);動態(tài)類數(shù)據(jù)即不斷變化的行為用戶信息，可通過對接流程平臺或運維數(shù)據(jù)倉庫并加以甄別、過濾、清洗來獲得。

第三步，數(shù)據(jù)建模。通過建立標(biāo)準(zhǔn)規(guī)則庫，構(gòu)建用戶畫像的數(shù)據(jù)模型，該模型公式可以簡要概括為“人員基本屬性+觸發(fā)時間+行為類型+具體用戶數(shù)據(jù)=用戶標(biāo)簽評價”。

第四步，關(guān)聯(lián)評價。為更為直觀地描述用戶畫像特征，可以通過五星評級方式，展示用戶標(biāo)簽的程度性，使得人員畫像模型適用于橫向比較。

2.2端到端的人員操作行為規(guī)范分析

規(guī)范分析是對已有的事物現(xiàn)象、事物運行狀態(tài)做出是非曲直的價值判斷，對應(yīng)該具有的規(guī)范性和結(jié)果進(jìn)行闡述和說明。在實際的運維內(nèi)控實際操作過程中，對人員進(jìn)入ECC 到離開的全過程進(jìn)行記錄。從登記進(jìn)入ECC 到操作完成登記離開ECC 的全過程進(jìn)行記錄，對其操作內(nèi)容能夠全部記錄并實時分析，一旦發(fā)現(xiàn)異動操作行為即終止操作。另外，能夠?qū)ζ湓趫?zhí)行過程中的命令、操作和行為進(jìn)行回放，規(guī)范分析其每一項操作的合規(guī)性。

2.3基于規(guī)則匹配的人員操作風(fēng)險防范

人員操作風(fēng)險防范是指風(fēng)險管理者采取各種預(yù)防性措施和方法，消滅或減少風(fēng)險事件發(fā)生的概率或者減少風(fēng)險事件發(fā)生時造成的損失。大數(shù)據(jù)運維內(nèi)控管理平臺中，實時獲取對數(shù)據(jù)庫執(zhí)行的每一條SQL語句、用戶登錄和退出信息、系統(tǒng)訪問以及系統(tǒng)日志數(shù)據(jù)，基于預(yù)定義的規(guī)則庫實時比對后，將結(jié)果輸送給監(jiān)控告警和報表展示，實現(xiàn)對高危操作實時監(jiān)控、違規(guī)行為統(tǒng)計報告以及系統(tǒng)訪問軌跡自動識別[2] 。

2.3.1高危操作實時監(jiān)控

記錄每一次對數(shù)據(jù)庫直接訪問和前臺應(yīng)用程序?qū)?shù)據(jù)庫間接訪問，每一條記錄實時比對自定義數(shù)據(jù)庫高危操作命令規(guī)則庫，自定義策略的條件組合包括：訪問數(shù)據(jù)庫的庫名、用戶名、應(yīng)用軟件名稱，訪問端的IP 地址、操作系統(tǒng)主機(jī)名、操作系統(tǒng)用戶名，訪問操作時間、原始操作指令、操作回應(yīng)內(nèi)容、操作返回的代碼，訪問數(shù)據(jù)庫的對象名等。

2.3.2違規(guī)行為統(tǒng)計報告

系統(tǒng)自動將標(biāo)準(zhǔn)化的系統(tǒng)日志轉(zhuǎn)化為標(biāo)準(zhǔn)的可讀事件，包含常見的系統(tǒng)安全相關(guān)的預(yù)定義規(guī)則，并支持自定義規(guī)則擴(kuò)充，當(dāng)系統(tǒng)日志中的相關(guān)記錄匹配了安全事件規(guī)則后觸發(fā)告警。

2.3.3系統(tǒng)訪問軌跡自動識別

根據(jù)系統(tǒng)登錄類型日志中的源地址、源用戶名、目標(biāo)地址、登錄成功日志等信息，自動生成訪問軌跡圖，通過系統(tǒng)訪問軌跡，發(fā)現(xiàn)非受控終端違規(guī)登錄、跳板機(jī)、頻繁登錄行為等內(nèi)控管理關(guān)注點。

2.4基于關(guān)聯(lián)分析和分類算法的行為預(yù)測研究

在人類漫長的發(fā)展歷史中，人類的行為并不是隨機(jī)的，并不是泊松分布的，而是存在一定的規(guī)則。通過對大數(shù)據(jù)的分析可以看到人類的行為規(guī)則是基于優(yōu)先級排布的問題。每個人都有自己的任務(wù)列表，而如何按照優(yōu)先級排列順序則產(chǎn)生了不同的影響。換言之，在大量的歷史數(shù)據(jù)之上，人類的行為是可以被預(yù)測的。在這樣一個理論前提下，數(shù)據(jù)中心基于大數(shù)據(jù)平臺結(jié)合機(jī)器學(xué)習(xí)算法，對如下兩個場景進(jìn)行了嘗試。

2.4.1監(jiān)控報警導(dǎo)致的變更行為預(yù)測研究

監(jiān)控報警與變更行為之間有某種必然關(guān)系，通常我們能夠通過人為經(jīng)驗建立其一小部分關(guān)系。隨著大數(shù)據(jù)技術(shù)的發(fā)展，使用關(guān)聯(lián)分析算法在海量數(shù)據(jù)中進(jìn)行挖掘成為可能，為我們帶來更為全面乃至意想不到的結(jié)果。

關(guān)聯(lián)分析是一種非監(jiān)督式的機(jī)器學(xué)習(xí)算法，“啤酒與尿布”的數(shù)據(jù)挖掘經(jīng)典案例要說明的即是這種算法。關(guān)聯(lián)分析主要有兩個關(guān)鍵概念，即頻繁項集和關(guān)聯(lián)規(guī)則。頻繁項集（frequent item sets）是從所有對象組成的候選項集（items sets）中發(fā)現(xiàn)的經(jīng)常一起出現(xiàn)的對象集合。其中，頻繁的概念可以用支持度來定義。支持度（support）被定義為數(shù)據(jù)集中包含該項集的記錄所占的比例，保留滿足最小支持度的項集;關(guān)聯(lián)規(guī)則（association rules） 暗示兩種事物之間可能存在很強(qiáng)的關(guān)系。關(guān)聯(lián)的概念可用置信度或可信度來定義[3] 。

結(jié)合數(shù)據(jù)中心具體場景，即通過日常積累的大量系統(tǒng)歷史告警信息及運維方案知識庫，分析系統(tǒng)告警信息與變更處理方案間的關(guān)聯(lián)關(guān)系，從而依據(jù)告警信息預(yù)測出未來可能發(fā)生的變更維護(hù)。我們將告警信息與變更都看作候選項集（Items sets，I），通過變更維護(hù)平臺及工單系統(tǒng)得到監(jiān)控告警與變更間的關(guān)聯(lián)信息數(shù)據(jù)庫（Database，D），庫中每一項為一次事件（Transaction，T），如某次變更內(nèi)容為文件系統(tǒng)擴(kuò)容，通過變更管理平臺上的信息得知此項變更是由于文件系統(tǒng)使用率超過90% 告警而引發(fā)。采用經(jīng)典的Apriori 算法，從歷史大規(guī)模監(jiān)控告警以及變更信息中尋找兩者之間的隱含關(guān)系。設(shè)最小支持度為20%，算法過程如下。

第一步，經(jīng)過算法的第一次迭代，對事務(wù)數(shù)據(jù)庫進(jìn)行一次掃描，計算出D 中所包含的每個項目出現(xiàn)的次數(shù)，生成候選1?項集的集合C1。

第二步，根據(jù)設(shè)定的最小支持度，從C1 中確定頻繁1?項集L1。

第三步，由L1 產(chǎn)生候選2?項集C2，然后掃描事務(wù)數(shù)據(jù)庫對C2 中的項集進(jìn)行計數(shù)。

第四步，根據(jù)最小支持度，從候選集C2 中確定頻繁集L2。

第五步，由頻繁2?項集L2 生成候選3?項集C3。

循環(huán)上述過程，直到Ck 為空，沒有符合最小支持度的候選集合為止。

由此找到了頻繁項集（frequent item sets），可以得出集合中系統(tǒng)告警信息與變更之間的支持度（support）與置信度（confidence），來描述告警信息A 與變更B 間的并集在所有事務(wù)集合中出現(xiàn)的概率support（A B）= P（A U B），以及所有事務(wù)中出現(xiàn)告警A 之后，出現(xiàn)變更B 的置信度P（B|A），即confidence （A B）。

通過上述方法，基于大量歷史告警信息與變更行為之間的關(guān)聯(lián)分析，得到告警信息與變更間的關(guān)聯(lián)關(guān)系，當(dāng)后續(xù)產(chǎn)生新的告警信息時，通過比對關(guān)聯(lián)關(guān)系預(yù)測出近期可能出現(xiàn)的變更行為。比對預(yù)測結(jié)果與變更管理平臺變更信息，為違規(guī)變更操作內(nèi)控檢查提供依據(jù)。

2.4.2 變更實施方案風(fēng)險預(yù)測研究變更是影響系統(tǒng)穩(wěn)定運行的重要因素之一[4] ，因此科學(xué)、全面評估變更可能對生產(chǎn)運行造成影響的實施風(fēng)險程度具有重要意義，分類算法較適用此場景。

我們采用基于樸素貝葉斯的文本分類算法，將變更實施風(fēng)險程度劃分為高、中、低三類，通過歷史變更信息以及對應(yīng)實施風(fēng)險高、中、低評判數(shù)據(jù)的訓(xùn)練學(xué)習(xí)以建立分類器，后續(xù)新變更產(chǎn)生時通過分類器預(yù)測其分別屬于高、中、低實施風(fēng)險的概率。

第一步是準(zhǔn)備工作階段。將變更步驟中詳細(xì)的操作命令，進(jìn)行分詞及TF?IDF 計算，得到變更步驟中的命令及命令頻率，某變更步驟就可以表示為向量d=（t1，t2，…，tk），tk 是該變更步驟中出現(xiàn)過的命令，通過變更管理平臺結(jié)合已有知識庫中的歷史變更步驟及其實施風(fēng)險（高，中，低），經(jīng)分詞得到訓(xùn)練樣本數(shù)據(jù)。

第二步是分類器訓(xùn)練階段。計算得到如下兩個概率值：“先驗概率P（risk）= 某類實施風(fēng)險下命令總數(shù)/ 整個訓(xùn)練樣本的命令總數(shù)” “類條件概率P（tk |risk）= （某類實施風(fēng)險下命令tk 在各個變更方案中出現(xiàn)過的次數(shù)之和+1） / （某類實施風(fēng)險下的單詞總數(shù)+|V|）”，V 是訓(xùn)練樣本的命令表，|V|則表示訓(xùn)練樣本包含多少種命令。

第三步是應(yīng)用階段。后續(xù)有新的變更出現(xiàn)，通過分詞方法得到文檔向量d=（t1，t2，..，tk），采用樸素貝葉斯文本分類算法的多項式模型，結(jié)合先驗概率P（risk） 與類條件概率P（tk|risk），計算出P（risk|d）=P（risk|（t1，t2，…，tk）），即此變更方案的實施風(fēng)險分別屬于高、中、低三種情況的概率。例如，給定某變更方案，屬于高風(fēng)險的概率為0.005，屬于中風(fēng)險的概率為0.002，屬于低風(fēng)險的概率為0.003。

3結(jié)束語

大數(shù)據(jù)運維內(nèi)控管理平臺引入了大數(shù)據(jù)、機(jī)器學(xué)習(xí)等新技術(shù)，從數(shù)據(jù)中心日常運維積累的龐大多結(jié)構(gòu)化數(shù)據(jù)中挖掘出對內(nèi)控管理有價值的數(shù)據(jù)，分為人員畫像（Persona ）、規(guī)范分析（ Prescriptive ）、風(fēng)險防范（Prevent）和行為預(yù)測（Predictive）四個維度，強(qiáng)化運維內(nèi)控的事前管理能力、加固運維內(nèi)控的事中監(jiān)督機(jī)制、提升運維內(nèi)控的事后管理效率，實現(xiàn)了全面、精準(zhǔn)、高效、量化的內(nèi)控管理，為數(shù)據(jù)中心安全保駕護(hù)航。