基于特征提取和隨機(jī)森林的接口服務(wù)異常值檢測(cè)

左金虎 肖忠良 陳理華

摘? 要：文章提出了一種提取一維統(tǒng)計(jì)學(xué)中的特征作為屬性，通過隨機(jī)森林進(jìn)行訓(xùn)練的有監(jiān)督學(xué)習(xí)的異常檢測(cè)方法。作為屬性的特征有標(biāo)準(zhǔn)分異常值、格拉布斯異常值、中位數(shù)方差異常值和平均偏離值等?，F(xiàn)階段一般采用無監(jiān)督模型和集成學(xué)習(xí)的方法來檢測(cè)異常值。文章提出的方法就是基于現(xiàn)階段方法做的一個(gè)升級(jí)版本，能檢測(cè)出大部分跨區(qū)換卡、套餐變更和個(gè)人開機(jī)的中國(guó)移動(dòng)業(yè)務(wù)接口服務(wù)異常值。

關(guān)鍵詞：隨機(jī)森林；一維特征提??；有監(jiān)督學(xué)習(xí)；業(yè)務(wù)接口服務(wù)異常值

中圖分類號(hào)：TP311? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）05-0163-04

Detection of Interface Service Outlier Based on Feature Extraction and Random Forest

ZUO Jinhu， XIAO Zhongliang， CHEN Lihua

（China Mobile Information Technology Co.， Ltd.，? Beijing 102200， China）

Abstract： This paper proposes a outlier detection method with supervised learning that extracts features in one-dimensional statistics as attributes and trains through Random Forest. The features as attributes include standard score outliers， Grubbs outliers， median variance outliers， and mean deviation values. At this stage， unsupervised models and ensemble learning methods are generally used to detect outliers. The method proposed in this paper is an upgraded version based on the method at current stage， which can detect most of the outliers of China Mobile business interface services such as cross-regional card replacement， package change and personal boot.

Keywords： Random Forest; one-dimensional feature extraction; supervised learning; business interface service outlier

0? 引? 言

在運(yùn)維監(jiān)控的領(lǐng)域中，時(shí)序數(shù)據(jù)一般有三種類型：周期型、階梯型和無規(guī)律型。一般涉及具體業(yè)務(wù)的，比如在線用戶數(shù)量，業(yè)務(wù)量等有較為明顯的，以日、周、月、節(jié)假日為周期的規(guī)律。 以磁盤使用率為代表的時(shí)序數(shù)據(jù)一般為階梯增長(zhǎng)，而CPU使用率、內(nèi)存使用率則大多為無規(guī)律型。目前針對(duì)這些時(shí)序數(shù)據(jù)的檢測(cè)算法一般可分為三類：

第一類是基于經(jīng)驗(yàn)閾值的檢測(cè)方法，這過于依賴專家知識(shí)，需要專家在部署監(jiān)控程序時(shí)指定閾值，指標(biāo)數(shù)值超過閾值時(shí)則為異常。

第二類是基于有監(jiān)督的方法，比如xgboost、logistic回歸、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等方法。這類有監(jiān)督學(xué)習(xí)依賴于有標(biāo)注的數(shù)據(jù)集。

第三類是基于無監(jiān)督的方法，這種一般采用線性回歸，ARIMA，移動(dòng)平均，Holt-Winter，聚類等方法。

當(dāng)前場(chǎng)景下，在計(jì)算機(jī)采集的關(guān)鍵指標(biāo)數(shù)據(jù)上進(jìn)行異常檢測(cè)存在兩方面問題：（1）指標(biāo)數(shù)量多，無標(biāo)注，且歷史記錄的異常非常少，缺乏已標(biāo)注的異常數(shù)據(jù)。（2）類型多。時(shí)間序列一般可分為周期性、階梯形和無規(guī)律型。但同樣是CPU利用率，可能有周期性，也可能是無規(guī)律，并且可能因?yàn)闃I(yè)務(wù)變更導(dǎo)致該指標(biāo)從一種類型（比如無規(guī)律型）變換為另一種（比如周期型）。

現(xiàn)有方案中，經(jīng)驗(yàn)閾值依賴專家經(jīng)驗(yàn)，面臨指標(biāo)數(shù)量多，業(yè)務(wù)調(diào)整頻繁等問題；有監(jiān)督算法依賴于有標(biāo)注數(shù)據(jù)，但系統(tǒng)和應(yīng)用異常在日常生活中屬于極小概率事件，能積累的異常數(shù)據(jù)非常少，這就導(dǎo)致了哪怕能提供標(biāo)注數(shù)據(jù)，其正負(fù)樣本也極度不均衡，并且只能檢測(cè)數(shù)據(jù)集中出現(xiàn)過的故障；而單一的無監(jiān)督算法則面臨時(shí)間序列類型多樣，難以使用一個(gè)算法應(yīng)對(duì)全部類型的問題。

目前，中國(guó)移動(dòng)的業(yè)務(wù)支撐系統(tǒng)大部分均采用的分布式服務(wù)器，所以一套系統(tǒng)中包含了多個(gè)子系統(tǒng)，子系統(tǒng)經(jīng)常會(huì)存在互相調(diào)用的情況，有時(shí)候服務(wù)器處理完請(qǐng)求返回結(jié)果的時(shí)候進(jìn)程就會(huì)掛掉。此時(shí)用戶發(fā)現(xiàn)自己的請(qǐng)求沒有返回結(jié)果，就會(huì)多次請(qǐng)求業(yè)務(wù)，這時(shí)就容易出現(xiàn)異常值，表示出現(xiàn)業(yè)務(wù)上的故障?，F(xiàn)階段的處理方法是：運(yùn)維人員接到服務(wù)器發(fā)出的告警之后，人眼觀察此時(shí)間段是否出現(xiàn)異常值，然后再處理告警看是否需要升級(jí)告警或者處理故障。此時(shí)如果是出現(xiàn)故障的話，已經(jīng)發(fā)生了一段時(shí)間了，這種方法的弊端是不能及時(shí)發(fā)現(xiàn)故障和需要有經(jīng)驗(yàn)的運(yùn)維人員判斷是否發(fā)生了故障。或者是用多種無監(jiān)督學(xué)習(xí)的方法來判斷當(dāng)前時(shí)間點(diǎn)是否為業(yè)務(wù)上的異常點(diǎn)，然后再經(jīng)過集成學(xué)習(xí)投票的方法來最終決定該點(diǎn)是否為異常點(diǎn)[1]。這種方法雖然發(fā)現(xiàn)異常的速度快而且不需要人為判斷而且召回率高，但是它的準(zhǔn)確率不是特別理想。

本文就提出一種提取特征的方法，將標(biāo)準(zhǔn)分異常值、格拉布斯異常值、中位數(shù)方差異常值和平均偏離值等特征提取出來。從以前的一維特征轉(zhuǎn)變?yōu)槎嗑S特征的維度復(fù)雜化操作。這相當(dāng)于每個(gè)時(shí)間戳上都含有該時(shí)間戳附近時(shí)間點(diǎn)的信息。然后再把它們喂給隨機(jī)森林模型進(jìn)行訓(xùn)練，最后由若干個(gè)決策樹來判斷該時(shí)間點(diǎn)是否為異常點(diǎn)。這個(gè)方法能檢測(cè)出大部分跨區(qū)換卡、套餐變更和個(gè)人開機(jī)的中國(guó)移動(dòng)業(yè)務(wù)接口服務(wù)異常值。

綜上，我們提出時(shí)間序列集成檢測(cè)算法（Bagging Detection on Time-Series， BDTS），從統(tǒng)計(jì)學(xué)習(xí)出發(fā)，以學(xué)習(xí)數(shù)據(jù)的統(tǒng)計(jì)分布為目的，將數(shù)據(jù)中不符合統(tǒng)計(jì)分布的小概率數(shù)據(jù)視為異常點(diǎn)，并采用集成學(xué)習(xí)bagging的策略，在算法上集成3sigma、Quantile、 ESMA、IForrest等算法，在時(shí)間上提取不同粒度的統(tǒng)計(jì)特征，集成多類型、多時(shí)間粒度層次的無監(jiān)督學(xué)習(xí)算法，并通過自行設(shè)計(jì)的6個(gè)評(píng)價(jià)指標(biāo)監(jiān)控模型性能，并在交叉驗(yàn)證中自動(dòng)調(diào)整子模型權(quán)重，使得模型自動(dòng)適配周期型，階梯型和無規(guī)律型時(shí)間序列的異常檢測(cè)任務(wù)，檢測(cè)時(shí)序上的離群點(diǎn)、不一致點(diǎn)和突變點(diǎn)。

1? 接口服務(wù)異常值檢測(cè)算法

1.1? 特征提取的方法

在采集后的數(shù)據(jù)集中只有兩個(gè)特征，一個(gè)是時(shí)間戳，另一個(gè)是數(shù)值。特征提取的方法就是將數(shù)據(jù)按照時(shí)間戳進(jìn)行排序再固定一個(gè)有意義的時(shí)間窗口，然后根據(jù)相應(yīng)的統(tǒng)計(jì)學(xué)方法計(jì)算該時(shí)間戳在整個(gè)時(shí)間窗口中具有統(tǒng)計(jì)意義的另外一個(gè)值。一個(gè)值就對(duì)應(yīng)著該時(shí)間戳上的一個(gè)特征，從而達(dá)到將簡(jiǎn)單的一維數(shù)據(jù)復(fù)雜成多維數(shù)組。這種復(fù)雜化操作，既能降低單一時(shí)間戳上預(yù)測(cè)異常值的隨機(jī)性，讓預(yù)測(cè)的異常值更可信，還能讓只有一個(gè)屬性的數(shù)組多出幾個(gè)具有上下時(shí)間戳信息的屬性出來。本文選取了四個(gè)統(tǒng)計(jì)學(xué)的方法提取特征，分別是標(biāo)準(zhǔn)分異常值、格拉布斯異常值、中位數(shù)方差異常值、平均偏離值和波形的判斷。

標(biāo)準(zhǔn)分異常值是指以標(biāo)準(zhǔn)差為單位算每個(gè)樣本到集合中均值的距離，相當(dāng)于樣本到均值的平均偏離水平。算法的大致流程：（1）排除最后一個(gè)值。（2）求剩余樣本值的平均值；（3）所有樣本減去這個(gè)平均值。（4）求剩余樣本的標(biāo)準(zhǔn)差。（5）（中間三個(gè)數(shù)的平均值-全序列的均值）/全序列的標(biāo)準(zhǔn)差。

格拉布斯異常值是一種從時(shí)間窗口的樣本中找異常點(diǎn)的方法，樣本中偏離平均值過遠(yuǎn)的數(shù)據(jù)有可能是極端情況下的正常數(shù)據(jù)，也有可能是測(cè)量數(shù)據(jù)時(shí)候的異常數(shù)值。假設(shè)樣本是符合正太分布的，然后選定一個(gè)臨界值就可以用Grubbs進(jìn)行檢測(cè)，格拉布斯臨界值表如表1所示。

格拉布斯異常值檢測(cè)大致流程：（1）將時(shí)間窗內(nèi)樣本從大到小進(jìn)行排序。（2）求時(shí)間窗內(nèi)樣本的均值和標(biāo)準(zhǔn)偏差。（3）計(jì)算最大值和最小值和均值的差，哪個(gè)差值大哪個(gè)更加可疑。（4）求可疑值的標(biāo)準(zhǔn)分異常值，如果大于格拉布斯中選取的臨界值，它就是異常值。（5）不斷更新格拉布斯臨界值中的檢出水平∝和樣本數(shù)量n，排除異常值并重復(fù)1～5步驟。

中位數(shù)方差異常值和標(biāo)準(zhǔn)分異常值是十分相似的，前者是以均值為評(píng)判數(shù)據(jù)的進(jìn)奏或者分散程度，后者則是用集合中的中位數(shù)為標(biāo)準(zhǔn)。如果集合的元素是偶數(shù)，則取中間兩個(gè)數(shù)的平均值。這個(gè)特征就是先算滑動(dòng)窗口中的中位數(shù)，然后每個(gè)元素減去這個(gè)中位數(shù)的值作為新的特征[2]。

平均偏離值的特征值類似3-sigma準(zhǔn)則。簡(jiǎn)單的算法流程：（1）去除滑動(dòng)窗口中的最后一個(gè)值，求剩余值的均值。

（2）滑動(dòng)窗口中的每一個(gè)值減去這個(gè)均值，再求標(biāo)準(zhǔn)差。（3）然后再求滑動(dòng)窗口中間值和第二步中減去均值后的那個(gè)值的絕對(duì)值，將得到的值作為新的特征。

波形的判斷是用來判斷滑動(dòng)窗口中的數(shù)據(jù)的規(guī)律類型，總共分為4中類別：周期型、階梯型、平緩型和無規(guī)律型，然后用0、1、2、3位滑動(dòng)窗口內(nèi)的數(shù)據(jù)類型進(jìn)行分類。

1.2? 隨機(jī)森林的生成

通過之前的維度復(fù)雜化的操作，一個(gè)時(shí)間戳下從以前的只有一個(gè)值變換成了有六個(gè)屬性的復(fù)雜特征矩陣。這時(shí)本文選擇用隨機(jī)森林的方法來進(jìn)行類別的判斷，判斷該時(shí)間戳上是否為異常點(diǎn)，1為異常，0為正常。隨機(jī)森林是由若干個(gè)決策樹組合而成的，其是一個(gè)二叉樹，是一個(gè)預(yù)測(cè)模型，它是根據(jù)屬性遞歸進(jìn)行判斷是否是異常點(diǎn)，直到屬性用完或者得到下一分支的結(jié)果就會(huì)停止遞歸，決策樹的結(jié)構(gòu)如圖1所示。

在這個(gè)決策樹中，每個(gè)內(nèi)部節(jié)點(diǎn)代表一個(gè)樣本中的其中一個(gè)屬性，每個(gè)分支代表一個(gè)測(cè)試輸出，每個(gè)葉節(jié)點(diǎn)代表一種類別。然后通過無放回的方法，把所有可能的情況全部枚舉出來組成一個(gè)由若干個(gè)決策樹組成的隨機(jī)森林。每顆決策樹都要輸出這個(gè)樣本是否是異常點(diǎn)，每顆決策樹都是獨(dú)立的，由若干個(gè)弱分類器來組成這個(gè)強(qiáng)分類的森林[4]。

2? 模型算法實(shí)驗(yàn)

2.1? 數(shù)據(jù)預(yù)處理

通過集中化BOMC系統(tǒng)采集數(shù)據(jù)，原數(shù)據(jù)集分為四列：接口服務(wù)ID、時(shí)間戳、value值和標(biāo)簽。接口服務(wù)ID是區(qū)別每個(gè)服務(wù)器不同的唯一ID。時(shí)間戳是指在該接口服務(wù)上的時(shí)間戳。value值是類似系統(tǒng)健康度一樣一個(gè)綜合的評(píng)分，每過5秒鐘產(chǎn)生一次。標(biāo)簽只有0和1，0代表正常，1代表異常。然后把數(shù)據(jù)集按照8：1：1的比例分為訓(xùn)練集、驗(yàn)證機(jī)和測(cè)試集。并且對(duì)value值作歸一化的處理，減少數(shù)據(jù)的擾動(dòng)。

接著就需要根據(jù)這個(gè)value值進(jìn)行特征維度的擴(kuò)充，選擇20個(gè)數(shù)據(jù)作為滑動(dòng)的時(shí)間窗口，每一行的數(shù)據(jù)擴(kuò)充特征維度的時(shí)候都是以該行數(shù)據(jù)為中心上下依次選取10行數(shù)據(jù)。然后算標(biāo)準(zhǔn)分布值、格拉布斯值、平均偏離值、中位數(shù)方差值和波形的判斷，作為每一行數(shù)據(jù)新增的屬性，標(biāo)簽不變。

2.2? 模型的訓(xùn)練

本文選用機(jī)器學(xué)習(xí)中的隨機(jī)森林模型進(jìn)行訓(xùn)練。以標(biāo)準(zhǔn)分布值、格拉布斯值、平均偏離值、中位數(shù)方差值、波形的判斷和value值作為模型的輸入特征屬性。Batch Size的大小是數(shù)據(jù)總量-滑動(dòng)窗口大小/2。在參數(shù)的設(shè)定方面，本文選擇120個(gè)決策樹和10的深度。一般來說森林的規(guī)模越大，集成的方差越小，模型泛化能力越強(qiáng)，但是算力開銷也會(huì)越大；同時(shí)，決策樹深度越深，模型擬合偏差越小，但是也容易模型過擬合和算力開銷大。RF樹的數(shù)量與F1得分的關(guān)系如圖3所示，RF樹的深度與F1得分的關(guān)系如圖4所示。

訓(xùn)練采用不放回的訓(xùn)練策略，并且支持決策樹之間交叉驗(yàn)證。在job的選擇中選擇了1，減少每次迭代訓(xùn)練之間的影響，并行提高性能。

數(shù)據(jù)預(yù)處理主要分兩部分，有時(shí)候因?yàn)椴杉疉gent的重啟或者流程重復(fù)等因素，采集的數(shù)據(jù)存在時(shí)間戳重復(fù)和缺失的情況。一般處理重復(fù)時(shí)間戳可以考慮直接去除，或者是合并的方式。具體采用哪種跟指標(biāo)類型有關(guān)。一般填補(bǔ)缺失時(shí)間戳指標(biāo)值的方式可以使用統(tǒng)計(jì)值，比如均值和中位數(shù)來填充，具體統(tǒng)計(jì)的時(shí)間粒度根據(jù)需求而定。

2.3? 特征工程

特征工程的內(nèi)容包括：提取不同類型和不同時(shí)間粒度的統(tǒng)計(jì)特征。類型包括均值、標(biāo)準(zhǔn)差、分位數(shù)等，時(shí)間粒度上，一般默認(rèn)7種，不分組的、日、周、月、工作日/周末、月初/月中/月末、節(jié)假日/非節(jié)假日。此外還可以根據(jù)業(yè)務(wù)指定一些特定的周期。采集的統(tǒng)計(jì)值可視化結(jié)果為：

（1）時(shí)間粒度：不分組，從全部的數(shù)據(jù)中提取全局均值、標(biāo)準(zhǔn)差、分位數(shù)等。

（2）時(shí)間粒度：日，將每天中的8：00分為一組，并提取前后各5分鐘的數(shù)據(jù)填充，則按分鐘采樣的數(shù)據(jù)集可以分為24×60=1 440組，從每一組中提取局部均值、標(biāo)準(zhǔn)差、分位數(shù)等。

（3）時(shí)間粒度：周，將每周三的8：00分為一組，并提取前后各5分鐘的數(shù)據(jù)填充，則按分鐘采樣的數(shù)據(jù)集可以分為7×24×60=10 080組，從每一組中提取局部均值、標(biāo)準(zhǔn)差、分位數(shù)等。

（4）其他的時(shí)間粒度的數(shù)據(jù)分組和提取統(tǒng)計(jì)特征的方式依次類推。

2.4? 模型測(cè)試集結(jié)果分析

測(cè)試模型在測(cè)試集的表現(xiàn)結(jié)果是由F1得分決定的。F1得分是統(tǒng)計(jì)學(xué)中衡量分類任務(wù)模型的一種方法，它由準(zhǔn)確率和召回率組成。它的本質(zhì)是一種模型準(zhǔn)確率和召回率的加權(quán)平均，最大值為1，最小值為0，值越大越好，計(jì)算公式為[5]：

模型在測(cè)試集的最終F1得分為0.86。

測(cè)試集上對(duì)模型的性能進(jìn)行評(píng)估之后，在全部的數(shù)據(jù)上對(duì)BDTS模型進(jìn)行重新訓(xùn)練。并將模型部署為在線服務(wù)。持續(xù)從數(shù)據(jù)平臺(tái)中接收實(shí)時(shí)采集的數(shù)據(jù)流，在實(shí)時(shí)數(shù)據(jù)流上進(jìn)行異常檢測(cè)，并展現(xiàn)異常檢測(cè)結(jié)果。展示內(nèi)容包括時(shí)序圖，檢測(cè)到的異常點(diǎn)及其異常概率，以及整體異常比例，當(dāng)異常比例高于5%以上時(shí)進(jìn)行告警，檢測(cè)結(jié)果可視化界面如圖5所示。

3? 結(jié)? 論

本文提出了一種基于特征提取和隨機(jī)森林的接口服務(wù)器異常檢測(cè)的方法，將本身比較簡(jiǎn)單和單一的異常值擴(kuò)充成多維度的特征屬性，使得模型訓(xùn)練和測(cè)試時(shí)更加復(fù)雜和準(zhǔn)確。這種方法幫助了運(yùn)維系統(tǒng)的人員更加快捷的發(fā)現(xiàn)故障，減少系統(tǒng)故障延時(shí)發(fā)現(xiàn)的頻率，提升了系統(tǒng)的穩(wěn)定性。文章提出了一種提取一維統(tǒng)計(jì)學(xué)中的特征作為屬性，把屬性喂給隨機(jī)森林進(jìn)行訓(xùn)練的有監(jiān)督學(xué)習(xí)的異常檢測(cè)方法。作為屬性的特征有標(biāo)準(zhǔn)分異常值、格拉布斯異常值、中位數(shù)方差異常值和平均偏離值等?，F(xiàn)階段一般采用無監(jiān)督模型和集成學(xué)習(xí)的方法來檢測(cè)異常值。本文提出的方法就是基于現(xiàn)階段方法做的一個(gè)升級(jí)版本，能檢測(cè)出大部分跨區(qū)換卡、套餐變更和個(gè)人開機(jī)的中國(guó)移動(dòng)業(yè)務(wù)接口服務(wù)異常值。

參考文獻(xiàn)：

[1] BREIMAN L. Bagging predictors [J].Mach Learn，1996，24（2）：123-140.

[2] BREIMAN L. Random Forests [J].Machine Language，45（1）：5-32.

[3] GILLES L. Understanding Random Forests [D].Liege University of Liège，2015.

[4] BARTLETT P，F(xiàn)REUND Y，LEE W S. Boosting the margin：a new explanation for the effectiveness of voting methods [J].Ann.Statist.，1998，26（5）：1651-1686.

[5] KAGGLE. Macro F1-Score Keras [EB/OL].[2022-09-06].https：//www.kaggle.com/code/guglielmocamporese/macro-f1-score-keras/notebook.

作者簡(jiǎn)介：左金虎（1983—），男，漢族，湖北漢川人，應(yīng)用業(yè)務(wù)架構(gòu)師，碩士研究生，研究方向：應(yīng)用系統(tǒng)架構(gòu)演進(jìn)及AIOps；肖忠良（1986—），男，漢族，山西朔州人，高級(jí)工程師，碩士研究生，研究方向：AIOps算法；陳理華（1985—），男，漢族，湖南邵陽(yáng)人，集團(tuán)專家，碩士研究生，研究方向：AIOps運(yùn)營(yíng)。

收稿日期：2022-10-26