基于主成分分析和蟻群優(yōu)化方法對(duì)IP流進(jìn)行網(wǎng)絡(luò)異常檢測(cè)

(撫順市公安消防支隊(duì)，遼寧 撫順 113000)

0 引言

隨著通信技術(shù)的不斷發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)越來越不可或缺。這意味著網(wǎng)絡(luò)管理人員有責(zé)任檢測(cè)異常情況，如網(wǎng)絡(luò)元素故障，配置錯(cuò)誤、惡意攻擊，要確保它們不會(huì)造成對(duì)連接質(zhì)量影響或中斷，以提供給最終用戶的服務(wù)。異常檢測(cè)方法是基于簽名和基于輪廓的方法?；谳喞姆椒▌?chuàng)建了一個(gè)表示流量正常行為的網(wǎng)絡(luò)配置文件，并且從該配置文件的偏差中檢測(cè)到流量異常。

本文提出了一種新型的異常檢測(cè)算法：創(chuàng)建一個(gè)模型，描述正常的路徑選擇，通過歷史數(shù)據(jù)，稱為數(shù)字簽名的網(wǎng)絡(luò)段采用流量分析DSNSF和多級(jí)報(bào)警激活檢測(cè)行為偏差。本文提出的算法能夠主動(dòng)工作，無需人工監(jiān)督就能自動(dòng)檢測(cè)異常網(wǎng)絡(luò)的流量。

1 異常監(jiān)測(cè)的算法結(jié)構(gòu)

本文的算法是分為兩個(gè)模塊。第一，路徑特性分析，執(zhí)行流屬性生成DSNSF特征提取。該屬性位的多維分析，數(shù)據(jù)包和流量每秒傳輸?shù)腜CADS和ACODS方法進(jìn)行。所討論的方法屬于不同的算法組，在這兩種方法中，數(shù)字簽名的創(chuàng)建因其特殊性而不同。

在第二個(gè)模塊是檢測(cè)和通知，將先前生成的數(shù)字簽名與由網(wǎng)絡(luò)設(shè)備(交換機(jī)、路由器)傳遞的實(shí)際網(wǎng)絡(luò)通信量進(jìn)行比較。沖突以DSNSF不正常輪廓，可以被認(rèn)為是異常的事件。本文提出自適應(yīng)動(dòng)態(tài)時(shí)間規(guī)整(ADTW)完成檢測(cè)。在分析中檢測(cè)有關(guān)IP源和目的IP、源端口和目的端口的信息，異常信息有必要向網(wǎng)絡(luò)管理員提供關(guān)于異常發(fā)現(xiàn)的詳細(xì)報(bào)告。

2 PCADS -數(shù)字簽名的主成分分析

數(shù)字簽名的主成分分析(PCADS)是基于主成分分析(PCA)來創(chuàng)建一個(gè)網(wǎng)絡(luò)段的流量特性DSNSF。這是一個(gè)統(tǒng)計(jì)過程，用來減少多元問題的維數(shù)，通過分析所有變量之間的方差。然后，輸入的數(shù)據(jù)可以通過減少的尺寸沒有太多的信息損失。

M個(gè)N維向量，想將其變換為由R個(gè)N維向量表示的新空間中，那么首先將R個(gè)N維向量按行組成矩陣A，然后將向量按列組成矩陣B，那么兩矩陣的乘積AB就是變換結(jié)果，其中AB的第m列為A中第m列變換后的結(jié)果，如公式(1)：

(1)

方差：

(2)

協(xié)方差C：

(3)

協(xié)方差矩陣有：

(4)

(5)

得出P：

P=ET

(6)

從流量記錄中收集的數(shù)據(jù)以這樣的方式安排，即每天的流量運(yùn)動(dòng)由三個(gè)向量表示，這些向量包含與每天24小時(shí)相對(duì)應(yīng)的比特、分組和流的總和。對(duì)PCADS輸入矩陣的構(gòu)造。

PCADS算法是從歷史數(shù)據(jù)庫中收集的每一秒接收到的比特、分組，形成N×P矩陣。其中μ是1個(gè)時(shí)間間隔內(nèi)的流量，即DSNSF。

μt←eigenvectort×zero_mean_matrixt

(7)

算法提出的用于PCADS模型PCA方法。由于每個(gè)路徑時(shí)期有其自己的特點(diǎn)，尋求防止干擾在另一個(gè)時(shí)期，PCADS是每一分鐘進(jìn)行分析。

首先，需要將原點(diǎn)移動(dòng)到數(shù)據(jù)集的平均值中，減去輸入矩陣中每個(gè)列的平均值。這就是所謂的均值偏差形式(或零均值矩陣)，它是重要的，因?yàn)楹喕瘏f(xié)方差矩陣的計(jì)算和避免失真的結(jié)果，由于平均鏈路利用率的差異。協(xié)方差矩陣如圖1所示。

圖1 主成分分析的協(xié)方差矩陣圖

然后，用零均值矩陣計(jì)算協(xié)方差矩陣，用于計(jì)算兩個(gè)重要結(jié)構(gòu)：特征向量和特征值。每個(gè)維度都有一個(gè)相關(guān)的特征向量，它指向數(shù)據(jù)的方差，以及一個(gè)特征值，一個(gè)表示其相關(guān)維度在其他方面的重要性的數(shù)值。

特征值最高的特征向量被稱為主成分，它們被經(jīng)典PCA所選擇，構(gòu)成一個(gè)新的簡化數(shù)據(jù)集。PCADS創(chuàng)建數(shù)字簽名只使用一個(gè)主成分(特征向量)。經(jīng)過一些測(cè)試，發(fā)現(xiàn)中間的方差分量會(huì)為了防止可能的差距產(chǎn)生更均勻的簽名(異常)在訓(xùn)練數(shù)據(jù)集生成的DSNSF噪聲，如圖2所示。

圖2 訓(xùn)練數(shù)據(jù)集生成的DSNSF噪聲圖

3 ACODS-數(shù)字簽名的蟻群優(yōu)化算法

蟻群優(yōu)化(ACO)是基于群體智能的原理，合作尋找最佳解決方案。蟻群的習(xí)慣基本上與數(shù)據(jù)分組相似。蟻群算法在聚類分析應(yīng)用中具有天然優(yōu)勢(shì)。這是因?yàn)檫@些方法特別適用于在構(gòu)建解決方案期間使用個(gè)人自組織進(jìn)行探索性數(shù)據(jù)分析。本文引入了用于數(shù)字簽名的蟻群優(yōu)化(ACODS)，這是使用聚類方法對(duì)DSNSF創(chuàng)建進(jìn)行的蟻群優(yōu)化元啟發(fā)式的修改。由先前通過相同路徑的螞蟻沉積的信息素的濃度較高的那些。在本文中，本文假設(shè)路徑在簇(中心)的中心和將被聚集的每個(gè)流之間形成。

τij(t)=(1-ρ)×τij(t-1)+Δτij

(8)

(9)

(10)

本文提出的ACODS算法旨在優(yōu)化聚類的效率和最小化目標(biāo)函數(shù)值J，這將確保將每個(gè)流分組到存在j，其中j= 1,…,K。此外，它還可以構(gòu)造局部最優(yōu)不存在的解決方案，和解決聚類算法中存在的局部最大問題。

(11)

式中，E表示流量是集群，和A顯示數(shù)據(jù)的維數(shù)，是要處理的流特性的數(shù)目。收集的流量分為1分鐘的間隔，一天總計(jì)有1 440個(gè)數(shù)據(jù)集。要生成的數(shù)據(jù)粒度足以用于ADTW和提供有效的異常檢測(cè)DSNSF。

圖3 蟻群算法在網(wǎng)絡(luò)節(jié)點(diǎn)中查詢異常圖

4 異常檢測(cè)的自適應(yīng)動(dòng)態(tài)時(shí)間規(guī)整

為了找到不同于DSNSF的路徑選擇，應(yīng)該采用相似性度量。相同指數(shù)的每個(gè)點(diǎn)之間的歐氏距離已被廣泛用于時(shí)間序列。然而，該度量不適用于識(shí)別數(shù)據(jù)序列中的移位。 給出兩個(gè)時(shí)間序列，其中一個(gè)時(shí)間軸在時(shí)間軸上移動(dòng)，可以計(jì)算歐氏距離來考慮完全不同的系列。相信由于用戶活動(dòng)進(jìn)度的變化，正常的路徑選擇可能遭受這種流離失所，本文開發(fā)了適應(yīng)性相似性度量來適應(yīng)這些情況。假設(shè)DSNSF系列的分析用X= {X1,X2,…,Xn}和實(shí)際流量系列Y={Y1,Y2,…,Ym}，那么時(shí)間規(guī)整公式就是：

(12)

那么DTW的核心在于求解扭曲曲線或者說扭曲路徑，也就是點(diǎn)點(diǎn)之間的對(duì)應(yīng)關(guān)系。我們表示為φ(k)=(φx(k),φy(k))，其中φx(k)的可能值為1,2…N，φy(k)的可能值為1,2…M，k=1…T。也就是說，求出T個(gè)從X序列中點(diǎn)到Y(jié)序列中點(diǎn)的對(duì)應(yīng)關(guān)系，例如若φ(k)=(1,1), 那么就是說X曲線的第一個(gè)點(diǎn)與Y曲線的第一個(gè)點(diǎn)是一個(gè)對(duì)應(yīng)。給定了φ(k)，我們可以求解兩個(gè)序列的累積距離：

(13)

(14)

DTW結(jié)果可以由兩個(gè)系列之間的相關(guān)因素，給出調(diào)整后計(jì)算。對(duì)于這個(gè)度量，當(dāng)結(jié)果接近于0時(shí)，輸入序列更類似。另一種獲得DTW結(jié)果的方法是用一個(gè)圖形表示，它提供了一個(gè)大小為n*m的矩陣，其中軸表示分析的級(jí)數(shù)。使用這種方法,該算法創(chuàng)建最優(yōu)路徑對(duì)齊,ω,之間的輸入序列,減少失真。

d=min(|wi,j-wi-1,j|,|wi,j-wi,j-1|,

|wi,j-wi-1,j-1|),fori>1,j>1

(15)

φx(k+1)≥φx(k)

(16)

φy(k+1)≥φy(k)

(17)

公式(16)且公式(17)成立表示單調(diào)性，扭曲曲線不能往左或者往上后退，否則會(huì)出現(xiàn)無意義的循環(huán)。

φx(k+1)-φx(k)≤1

(18)

公式(18)成立表示連續(xù)性，即扭曲曲線不能跳躍，必須是連續(xù)的，保證兩個(gè)序列里的所有點(diǎn)都被匹配到，但這個(gè)條件可以一定程度上被放松。

φx(1)=φy(1)=1

φx(T)=N，φy(T)=M

(19)

公式(19)成立表示邊界條件確定性，路徑一定從左上開始，結(jié)束于右下，這個(gè)條件也可以被放松，以實(shí)現(xiàn)局部匹配。

|φx(s)-φy(s)|≤r

(20)

公式(20)表示全局路徑窗口，比較好的匹配路徑往往在對(duì)角線附近，所以我們可以只考慮在對(duì)角線附近的一個(gè)區(qū)域?qū)ふ液线m路徑(r就是這個(gè)區(qū)域的寬度)；

(21)

公式(21)表示斜率約束，路徑一定從左上開始，結(jié)束于右下，這個(gè)條件也可以被放松，以實(shí)現(xiàn)局部匹配。

步模式(Step Pattern)一定程度上涵蓋了不同的約束，步模式指的是生成損失矩陣時(shí)的具體算法，其中準(zhǔn)對(duì)稱步模式：

Mc(i,j)=Min(Mc(i-1,j-1),

Mc(i-1,j),Mc(i,j-1))+M(i,j)

(22)

DTW唯一需要的輸入，距離函數(shù)d，本文選擇與歐氏距離作比較，所以不需要考慮輸入的具體形式(一維或多維，離散或連續(xù))，只要能夠給定合適的距離函數(shù)，就可以DTW比對(duì)。DTW是對(duì)時(shí)間上的壓縮和延展不敏感，但是對(duì)值的大小是敏感的，可以通過合理選取距離函數(shù)來讓DTW適應(yīng)值大小的差異。

自適應(yīng)動(dòng)態(tài)時(shí)間規(guī)整(ADTW)用于異常檢測(cè)的方法是在一分鐘內(nèi)預(yù)設(shè)的時(shí)間間隔進(jìn)行。相似度計(jì)算是在時(shí)間間隔T中路徑和DSNSF之間，使用傳統(tǒng)的DTW算法。即使在一系列的小位移驗(yàn)證，結(jié)果表明，他們之間的良好匹配，因?yàn)闀r(shí)間對(duì)準(zhǔn)。在此之前，只有分析的時(shí)間序列的形狀之間的對(duì)應(yīng)關(guān)系進(jìn)行了驗(yàn)證。

圖4 ADTW和歐氏距離的時(shí)間序列比較圖

(23)

(24)

為了提高檢測(cè)系統(tǒng)的效率，在同一時(shí)間窗口t中對(duì)實(shí)際路徑選擇和DSNSF進(jìn)行了評(píng)估，包括一分鐘間隔。在一個(gè)時(shí)間窗口中只生成一個(gè)警報(bào)，確保管理員只在真正值得注意的情況下才收到警報(bào)。

5 測(cè)試與分析

為了驗(yàn)證所提出的方法是否能在真實(shí)的網(wǎng)絡(luò)環(huán)境中運(yùn)行，本文收集了來自于某大學(xué)的網(wǎng)絡(luò)核心交換機(jī)的IP流量，該網(wǎng)絡(luò)由大約7000個(gè)相互連接的設(shè)備組成。由于流量大，使用采樣率為1:256，由集合協(xié)議的s流實(shí)現(xiàn)。收集周期包括兩個(gè)月，從5月10日開始，到6月9日結(jié)束。

為了緩解評(píng)估,數(shù)據(jù)集被分離在兩組:ACODS使用頭幾個(gè)星期的流量數(shù)據(jù)，PCADS作為DSNSF歷史信息創(chuàng)建和工作日的時(shí)期——從5月10日至6月9日用于路徑特征和異常檢測(cè)評(píng)估，流量特征如圖5所示。

圖5 PCADS與ACODS的流量特征圖

衡量DSNSF代每個(gè)方法的準(zhǔn)確性，本文采用了兩種不同的評(píng)價(jià)標(biāo)準(zhǔn)：歸一化均方誤差(NMSE)和歸一化相關(guān)系數(shù)(CC)。歸一化均方誤差(NMSE)評(píng)價(jià)之間的差異，實(shí)際上是驗(yàn)證預(yù)期。此測(cè)度的限制值為0，表示期望值與驗(yàn)證值完全相等的情況。這個(gè)指標(biāo)的更高值表示預(yù)期的更遙遠(yuǎn)的結(jié)果，如圖6所示。

圖6 兩種方法的NMSE特征值

歸一化相關(guān)系數(shù)表明兩個(gè)變量之間的相關(guān)程度，以及這種關(guān)系的方向(正或負(fù))。所得到的值的范圍內(nèi)(-1,+1)。值1表示總相關(guān)度，分?jǐn)?shù)0表示兩個(gè)變量不相關(guān)，-1指定一個(gè)完全負(fù)相關(guān)，即變量增加，另一個(gè)減少，反之亦然，相關(guān)度如圖7所示。

圖7 兩種方法的相關(guān)度

為了正確評(píng)估本文的異常檢測(cè)系統(tǒng)，本文使用了一個(gè)工具來在真實(shí)的流量中人為地引入異常事件。本文模擬的異常的情況下，在本文的數(shù)據(jù)集通過使用一個(gè)工具叫天蝎座，這是由本文的網(wǎng)絡(luò)研究組開發(fā)的。天蝎座是一個(gè)工具，它模擬了網(wǎng)絡(luò)異常的實(shí)時(shí)路徑流數(shù)據(jù)，如DoS，DDoS攻擊，端口掃描和閃光的人群，本文小組用來幫助測(cè)試的異常檢測(cè)系統(tǒng)。這些異常被注入到收集的流量數(shù)據(jù)中，而不需要對(duì)網(wǎng)絡(luò)進(jìn)行真正和直接的干預(yù)，以防止異常帶來的影響。

為了測(cè)量所提出的檢測(cè)系統(tǒng)的整體效率，本文使用接收機(jī)工作特性(ROC)圖和精度度量。ROC圖被定義為一種分類器性能測(cè)試技術(shù)，被廣泛應(yīng)用于信號(hào)檢測(cè)理論中來描述真陽性率和假陽性率之間的權(quán)衡。TPR(真陽性率)描述正確檢測(cè)信號(hào)，而FPR(假陽性率)描述了如何往往是一個(gè)信號(hào)檢測(cè)錯(cuò)誤。然后，精確性度量描述總體命中率，即兩個(gè)類命中率(正數(shù)和負(fù)數(shù))。

如圖8所示，Φ值低于15%有更壞的結(jié)果為TPR和FPR。這是由于門檻的降低，使有關(guān)DSNSF最小流量變化，包括合法行為，被錯(cuò)誤地定性為異常。另一方面，當(dāng)該值大于20%，檢測(cè)到異常時(shí)其行為嚴(yán)重偏離了DSNSF路徑模式。通過ROC曲線的分析，可以推斷，這種情況導(dǎo)致較低的真陽性率，和這種缺陷是提高Φ而增加價(jià)值。一個(gè)基于PCADS比ACODS，降低假陽性率，達(dá)到92%的TPR 21% FPR的權(quán)衡，為ACODS達(dá)到92% TPR 24% FPR。

圖8 ADTW不同Φ值的ROC曲線

兩系統(tǒng)產(chǎn)生更好的準(zhǔn)確率Φ= 20%時(shí)，Φ值高于或低于此閾值，準(zhǔn)確率開始下降。所以，ω=20%，兩系統(tǒng)取得有價(jià)值的成果，獲得平均96%的準(zhǔn)確率。

系統(tǒng)識(shí)別前3的目標(biāo)IP地址和端口實(shí)際上是異常模擬中使用的虛擬屬性。 我們可以觀察到，與正?；顒?dòng)相比，異常情況會(huì)影響大量IP流量比例，而不僅僅是與體積有關(guān)，而且與描述性屬性相關(guān)。受DDOS攻擊的異常分布如圖9所示。

圖9 網(wǎng)絡(luò)流量統(tǒng)計(jì)的異常分布圖

6 結(jié)論

本文提出基于主成分分析和蟻群優(yōu)化的異常檢測(cè)算法，以幫助網(wǎng)絡(luò)管理。主要內(nèi)容包括主成分分析的應(yīng)用和語境化，蟻群優(yōu)化和動(dòng)態(tài)時(shí)間扭曲方法對(duì)模式識(shí)別和異常檢測(cè)的環(huán)境。還比較了兩種不同的路徑選擇方法，PCADS和ACODS。識(shí)別模塊的檢測(cè)中自適應(yīng)DTW(ADTW)算法，調(diào)整ADTWΦ值20%。通過分析ROC圖和準(zhǔn)確率，PCADS比ACODS。真實(shí)陽性率和假陽性率之間的對(duì)應(yīng)關(guān)系表明，該系統(tǒng)能夠通過保持令人滿意的誤報(bào)率來增強(qiáng)異常行為的檢測(cè)。異常檢測(cè)方法可以為網(wǎng)絡(luò)管理員提供重要的流量統(tǒng)計(jì)信息，以便幫助解決問題，以實(shí)現(xiàn)準(zhǔn)確和快速的異常檢測(cè)。

本文所提出的方法，利用PCADS，ACODS和ADTW，適合于網(wǎng)絡(luò)管理、流量異常檢測(cè)，提供的可用性和可靠性網(wǎng)絡(luò)及其提供的服務(wù)。

參考文獻(xiàn)：

[1] 謝 佩,吳小俊. 分塊多線性主成分分析及其在人臉識(shí)別中的應(yīng)用研究[J]. 計(jì)算機(jī)科學(xué),2015,42(3):274-279.

[2] 胡 然,郭成城,楊劍鋒. 基于小波閾值和主成分分析的視頻去噪算法[J]. 計(jì)算機(jī)科學(xué),2016,43(4):290-293.

[3] 邵麗麗. 蟻群優(yōu)化自適應(yīng)遺傳算法物流車輛調(diào)度實(shí)現(xiàn)[J]. 計(jì)算機(jī)測(cè)量與控制,2012,20(5):1423-1425.

[4] 趙 宇,周文剛. 基于免疫蟻群優(yōu)化的無線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)調(diào)度研究[J]. 計(jì)算機(jī)測(cè)量與控制,2014,22(7):2328-2330.

[5] 曹素燕. 基于網(wǎng)絡(luò)流量異常檢測(cè)的威脅態(tài)勢(shì)感知系統(tǒng)[D].蘇州：蘇州大學(xué),2016.

[6] 樊夢(mèng)嬌. 基于行為特征的網(wǎng)絡(luò)異常檢測(cè)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱:哈爾濱工業(yè)大學(xué),2016.

[7] 丁美美. 基于主成分分析的網(wǎng)絡(luò)流量異常檢測(cè)研究[D].北京:北京交通大學(xué),2017.

[8] 張新超,董建鋒,張 婧. 主成分分析在網(wǎng)絡(luò)流量異常檢測(cè)中的應(yīng)用研究[J]. 信息網(wǎng)絡(luò)安全,2012(1):29-31.

[9] 姚智勝,邵春福,熊志華,等. 基于主成分分析和支持向量機(jī)的道路網(wǎng)短時(shí)交通流量預(yù)測(cè)[J]. 吉林大學(xué)學(xué)報(bào)(工學(xué)版),2008(1):48-52.

[10] 侯重遠(yuǎn),江漢紅,芮萬智,等. 工業(yè)網(wǎng)絡(luò)流量異常檢測(cè)的概率主成分分析法[J]. 西安交通大學(xué)學(xué)報(bào),2012,46(2):70-75.

[11] 王 建. 基于流量主成分HMM模型的DDoS檢測(cè)方法研究[D].重慶:重慶大學(xué),2015.

[12] 顏晨陽,熊偉清,張友鵬. 基于交通流量控制的二元蟻群優(yōu)化模型[J]. 系統(tǒng)仿真學(xué)報(bào),2007(10):2346-2350.

[13] 吳文鐵,宋曰聰,李 敏. 蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量混沌預(yù)測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用,2012,48(34):97-101.

[14] 淡 軍. 基于流量數(shù)據(jù)的網(wǎng)絡(luò)異常檢測(cè)算法研究[D].昆明：云南師范大學(xué),2016.

[15] 劉興萬. 基于結(jié)構(gòu)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)異常檢測(cè)研究[D].沈陽：遼寧大學(xué),2016.