基于大數(shù)據(jù)和機器學習的數(shù)據(jù)中心運維內控管理研究與實踐

王慧

關鍵詞 機器學習 大數(shù)據(jù) 內控管理

結合長時間積累的運維內控管理經(jīng)驗，本文創(chuàng)新提出了“ 4P ” 運維內控管理理念， 從人員畫像（ Persona ）、規(guī)范分析（ Prescriptive ）、風險防范（Prevent）、行為預測（Predictive）四個維度，將之融入大數(shù)據(jù)運維內控管理平臺設計和應用中，于全方位拓展運維內控管理的工作理念和管理思路，促使運維內控管理工作更具全面性、系統(tǒng)性和前瞻性[1] 。

1系統(tǒng)主體設計理念和實現(xiàn)功能

人員畫像（Persona）：綜合展示每個運維人員的工作現(xiàn)狀、操作習慣、行為特征、合規(guī)情況等信息全貌，可視化展現(xiàn)運維人員360°立體式畫像。

規(guī)范分析（Prescriptive）：全過程跟蹤運維人員進出ECC 的行為交互路徑，實現(xiàn)命令、操作和行為的過程回放和模擬復盤，精準定位不合規(guī)操作異動，提升運維內控的事后管理效率。

風險防范（Prevent）：對生產(chǎn)操作中的高危命令、違規(guī)行為、系統(tǒng)訪問軌跡等進行實時監(jiān)控和自動隔離，通過規(guī)則匹配方式強化運維操作風險防范，加固運維內控的事中監(jiān)督機制。

行為預測（Predictive）：基于大數(shù)據(jù)存儲和分布式計算環(huán)境，引入機器學習算法，挖掘海量運維數(shù)據(jù)中的潛在規(guī)律，提前預判變更行為和實施風險，強化運維內控的事前管理能力。

2基于大數(shù)據(jù)和機器學習的“4P” 運維內控管理平臺設計

大數(shù)據(jù)運維內控管理平臺將各運維監(jiān)控平臺、ECC 管理系統(tǒng)、ISO20000 流程系統(tǒng)的海量多結構化數(shù)據(jù)集中長久存儲、分布式計算分析?？傮w系統(tǒng)架構由運維監(jiān)控層、數(shù)據(jù)采集層、數(shù)據(jù)分析層、數(shù)據(jù)應用層和數(shù)據(jù)展現(xiàn)層構成，基于大數(shù)據(jù)架構，“4P”運維內控管理功能實現(xiàn)技術設計如下。

2.1面向運維內控管理的人員畫像模型

人員畫像作為一種能將定性與定量方法很好結合在一起的載體，通過定量化的數(shù)據(jù)分析獲得對運維人員較為精準的認識，從而從龐大的運維群體將特征相似的群體凸顯出來。進行歸納、分類、比較，進而對某個或某類現(xiàn)象的性質和特征做出概括，對人員行為進行規(guī)范性分析和預測。對可能出現(xiàn)的違規(guī)行為進行預先干預，從而消除由人為引發(fā)的風險。其具體實現(xiàn)可歸納為四個步驟。

第一步，設置用戶標簽。標簽通常是人為規(guī)定的高度精練的特征標識，結合運維內控的實際特點，我們將人員畫像的用戶標簽分為四類，分別是操作量、合規(guī)性、安全意識、關鍵程度。

第二步，數(shù)據(jù)集成。運維內控相關數(shù)據(jù)主要分為兩類，即靜態(tài)類數(shù)據(jù)和動態(tài)類數(shù)據(jù)。靜態(tài)類數(shù)據(jù)即相對穩(wěn)定的用戶屬性信息，可直接使用并轉化為用戶數(shù)據(jù);動態(tài)類數(shù)據(jù)即不斷變化的行為用戶信息，可通過對接流程平臺或運維數(shù)據(jù)倉庫并加以甄別、過濾、清洗來獲得。

第三步，數(shù)據(jù)建模。通過建立標準規(guī)則庫，構建用戶畫像的數(shù)據(jù)模型，該模型公式可以簡要概括為“人員基本屬性+觸發(fā)時間+行為類型+具體用戶數(shù)據(jù)=用戶標簽評價”。

第四步，關聯(lián)評價。為更為直觀地描述用戶畫像特征，可以通過五星評級方式，展示用戶標簽的程度性，使得人員畫像模型適用于橫向比較。

2.2端到端的人員操作行為規(guī)范分析

規(guī)范分析是對已有的事物現(xiàn)象、事物運行狀態(tài)做出是非曲直的價值判斷，對應該具有的規(guī)范性和結果進行闡述和說明。在實際的運維內控實際操作過程中，對人員進入ECC 到離開的全過程進行記錄。從登記進入ECC 到操作完成登記離開ECC 的全過程進行記錄，對其操作內容能夠全部記錄并實時分析，一旦發(fā)現(xiàn)異動操作行為即終止操作。另外，能夠對其在執(zhí)行過程中的命令、操作和行為進行回放，規(guī)范分析其每一項操作的合規(guī)性。

2.3基于規(guī)則匹配的人員操作風險防范

人員操作風險防范是指風險管理者采取各種預防性措施和方法，消滅或減少風險事件發(fā)生的概率或者減少風險事件發(fā)生時造成的損失。大數(shù)據(jù)運維內控管理平臺中，實時獲取對數(shù)據(jù)庫執(zhí)行的每一條SQL語句、用戶登錄和退出信息、系統(tǒng)訪問以及系統(tǒng)日志數(shù)據(jù)，基于預定義的規(guī)則庫實時比對后，將結果輸送給監(jiān)控告警和報表展示，實現(xiàn)對高危操作實時監(jiān)控、違規(guī)行為統(tǒng)計報告以及系統(tǒng)訪問軌跡自動識別[2] 。

2.3.1高危操作實時監(jiān)控

記錄每一次對數(shù)據(jù)庫直接訪問和前臺應用程序對數(shù)據(jù)庫間接訪問，每一條記錄實時比對自定義數(shù)據(jù)庫高危操作命令規(guī)則庫，自定義策略的條件組合包括：訪問數(shù)據(jù)庫的庫名、用戶名、應用軟件名稱，訪問端的IP 地址、操作系統(tǒng)主機名、操作系統(tǒng)用戶名，訪問操作時間、原始操作指令、操作回應內容、操作返回的代碼，訪問數(shù)據(jù)庫的對象名等。

2.3.2違規(guī)行為統(tǒng)計報告

系統(tǒng)自動將標準化的系統(tǒng)日志轉化為標準的可讀事件，包含常見的系統(tǒng)安全相關的預定義規(guī)則，并支持自定義規(guī)則擴充，當系統(tǒng)日志中的相關記錄匹配了安全事件規(guī)則后觸發(fā)告警。

2.3.3系統(tǒng)訪問軌跡自動識別

根據(jù)系統(tǒng)登錄類型日志中的源地址、源用戶名、目標地址、登錄成功日志等信息，自動生成訪問軌跡圖，通過系統(tǒng)訪問軌跡，發(fā)現(xiàn)非受控終端違規(guī)登錄、跳板機、頻繁登錄行為等內控管理關注點。

2.4基于關聯(lián)分析和分類算法的行為預測研究

在人類漫長的發(fā)展歷史中，人類的行為并不是隨機的，并不是泊松分布的，而是存在一定的規(guī)則。通過對大數(shù)據(jù)的分析可以看到人類的行為規(guī)則是基于優(yōu)先級排布的問題。每個人都有自己的任務列表，而如何按照優(yōu)先級排列順序則產(chǎn)生了不同的影響。換言之，在大量的歷史數(shù)據(jù)之上，人類的行為是可以被預測的。在這樣一個理論前提下，數(shù)據(jù)中心基于大數(shù)據(jù)平臺結合機器學習算法，對如下兩個場景進行了嘗試。

2.4.1監(jiān)控報警導致的變更行為預測研究

監(jiān)控報警與變更行為之間有某種必然關系，通常我們能夠通過人為經(jīng)驗建立其一小部分關系。隨著大數(shù)據(jù)技術的發(fā)展，使用關聯(lián)分析算法在海量數(shù)據(jù)中進行挖掘成為可能，為我們帶來更為全面乃至意想不到的結果。

關聯(lián)分析是一種非監(jiān)督式的機器學習算法，“啤酒與尿布”的數(shù)據(jù)挖掘經(jīng)典案例要說明的即是這種算法。關聯(lián)分析主要有兩個關鍵概念，即頻繁項集和關聯(lián)規(guī)則。頻繁項集（frequent item sets）是從所有對象組成的候選項集（items sets）中發(fā)現(xiàn)的經(jīng)常一起出現(xiàn)的對象集合。其中，頻繁的概念可以用支持度來定義。支持度（support）被定義為數(shù)據(jù)集中包含該項集的記錄所占的比例，保留滿足最小支持度的項集;關聯(lián)規(guī)則（association rules） 暗示兩種事物之間可能存在很強的關系。關聯(lián)的概念可用置信度或可信度來定義[3] 。

結合數(shù)據(jù)中心具體場景，即通過日常積累的大量系統(tǒng)歷史告警信息及運維方案知識庫，分析系統(tǒng)告警信息與變更處理方案間的關聯(lián)關系，從而依據(jù)告警信息預測出未來可能發(fā)生的變更維護。我們將告警信息與變更都看作候選項集（Items sets，I），通過變更維護平臺及工單系統(tǒng)得到監(jiān)控告警與變更間的關聯(lián)信息數(shù)據(jù)庫（Database，D），庫中每一項為一次事件（Transaction，T），如某次變更內容為文件系統(tǒng)擴容，通過變更管理平臺上的信息得知此項變更是由于文件系統(tǒng)使用率超過90% 告警而引發(fā)。采用經(jīng)典的Apriori 算法，從歷史大規(guī)模監(jiān)控告警以及變更信息中尋找兩者之間的隱含關系。設最小支持度為20%，算法過程如下。

第一步，經(jīng)過算法的第一次迭代，對事務數(shù)據(jù)庫進行一次掃描，計算出D 中所包含的每個項目出現(xiàn)的次數(shù)，生成候選1?項集的集合C1。

第二步，根據(jù)設定的最小支持度，從C1 中確定頻繁1?項集L1。

第三步，由L1 產(chǎn)生候選2?項集C2，然后掃描事務數(shù)據(jù)庫對C2 中的項集進行計數(shù)。

第四步，根據(jù)最小支持度，從候選集C2 中確定頻繁集L2。

第五步，由頻繁2?項集L2 生成候選3?項集C3。

循環(huán)上述過程，直到Ck 為空，沒有符合最小支持度的候選集合為止。

由此找到了頻繁項集（frequent item sets），可以得出集合中系統(tǒng)告警信息與變更之間的支持度（support）與置信度（confidence），來描述告警信息A 與變更B 間的并集在所有事務集合中出現(xiàn)的概率support（A B）= P（A U B），以及所有事務中出現(xiàn)告警A 之后，出現(xiàn)變更B 的置信度P（B|A），即confidence （A B）。

通過上述方法，基于大量歷史告警信息與變更行為之間的關聯(lián)分析，得到告警信息與變更間的關聯(lián)關系，當后續(xù)產(chǎn)生新的告警信息時，通過比對關聯(lián)關系預測出近期可能出現(xiàn)的變更行為。比對預測結果與變更管理平臺變更信息，為違規(guī)變更操作內控檢查提供依據(jù)。

2.4.2 變更實施方案風險預測研究變更是影響系統(tǒng)穩(wěn)定運行的重要因素之一[4] ，因此科學、全面評估變更可能對生產(chǎn)運行造成影響的實施風險程度具有重要意義，分類算法較適用此場景。

我們采用基于樸素貝葉斯的文本分類算法，將變更實施風險程度劃分為高、中、低三類，通過歷史變更信息以及對應實施風險高、中、低評判數(shù)據(jù)的訓練學習以建立分類器，后續(xù)新變更產(chǎn)生時通過分類器預測其分別屬于高、中、低實施風險的概率。

第一步是準備工作階段。將變更步驟中詳細的操作命令，進行分詞及TF?IDF 計算，得到變更步驟中的命令及命令頻率，某變更步驟就可以表示為向量d=（t1，t2，…，tk），tk 是該變更步驟中出現(xiàn)過的命令，通過變更管理平臺結合已有知識庫中的歷史變更步驟及其實施風險（高，中，低），經(jīng)分詞得到訓練樣本數(shù)據(jù)。

第二步是分類器訓練階段。計算得到如下兩個概率值：“先驗概率P（risk）= 某類實施風險下命令總數(shù)/ 整個訓練樣本的命令總數(shù)” “類條件概率P（tk |risk）= （某類實施風險下命令tk 在各個變更方案中出現(xiàn)過的次數(shù)之和+1） / （某類實施風險下的單詞總數(shù)+|V|）”，V 是訓練樣本的命令表，|V|則表示訓練樣本包含多少種命令。

第三步是應用階段。后續(xù)有新的變更出現(xiàn)，通過分詞方法得到文檔向量d=（t1，t2，..，tk），采用樸素貝葉斯文本分類算法的多項式模型，結合先驗概率P（risk） 與類條件概率P（tk|risk），計算出P（risk|d）=P（risk|（t1，t2，…，tk）），即此變更方案的實施風險分別屬于高、中、低三種情況的概率。例如，給定某變更方案，屬于高風險的概率為0.005，屬于中風險的概率為0.002，屬于低風險的概率為0.003。

3結束語

大數(shù)據(jù)運維內控管理平臺引入了大數(shù)據(jù)、機器學習等新技術，從數(shù)據(jù)中心日常運維積累的龐大多結構化數(shù)據(jù)中挖掘出對內控管理有價值的數(shù)據(jù)，分為人員畫像（Persona ）、規(guī)范分析（ Prescriptive ）、風險防范（Prevent）和行為預測（Predictive）四個維度，強化運維內控的事前管理能力、加固運維內控的事中監(jiān)督機制、提升運維內控的事后管理效率，實現(xiàn)了全面、精準、高效、量化的內控管理，為數(shù)據(jù)中心安全保駕護航。