基于多層次特征的RoQ 隱蔽攻擊無監(jiān)督檢測(cè)方法

趙靜，李俊，龍春，萬巍，魏金俠，陳凱

（1.中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100083；2.中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100049）

0 引言

隨著當(dāng)前網(wǎng)絡(luò)安全防護(hù)方法和能力的升級(jí)，拒絕服務(wù)（DoS,denial of service）等常見攻擊已可以被輕松識(shí)別。然而，一類新的隱蔽攻擊悄然而生，即降質(zhì)（RoQ,reduction of quality）攻擊。與傳統(tǒng)DoS 相比，RoQ 攻擊的原則不再是使目標(biāo)系統(tǒng)完全喪失對(duì)正常請(qǐng)求的服務(wù)能力，而是利用互聯(lián)網(wǎng)廣泛采用的確保網(wǎng)絡(luò)公平性、穩(wěn)定性的自適應(yīng)機(jī)制，通過周期性地在短暫間隔內(nèi)突發(fā)攻擊數(shù)據(jù)包，降低目標(biāo)主機(jī)的服務(wù)質(zhì)量。這種攻擊流量與正常流量幾乎沒有區(qū)別，很容易繞過常規(guī)的入侵檢測(cè)系統(tǒng)。

具體分析，RoQ 攻擊主要有以下特點(diǎn)。

1) 從流量特點(diǎn)上看，RoQ 攻擊呈現(xiàn)出脈沖式的特征。在一個(gè)攻擊周期中，只有大約的時(shí)間存在攻擊流量。因此，RoQ 攻擊也稱為脈沖式隱蔽攻擊[1]。

2) 從攻擊方式上看，RoQ 攻擊廣泛分布的攻擊者在目標(biāo)路由器的末端聚合攻擊流量，使攻擊流量的分布在整個(gè)網(wǎng)絡(luò)中更加分散，平均流量更低。

3) 從攻擊行為上看，RoQ 攻擊可以使用從網(wǎng)絡(luò)層到應(yīng)用層的任何協(xié)議合法流量，與普通應(yīng)用具有相同的行為特征，能夠完全隱藏在海量網(wǎng)絡(luò)流量中。

4) 從攻擊目的上看，RoQ 攻擊主要是為了使系統(tǒng)運(yùn)行速度減慢，服務(wù)質(zhì)量下降。因此，大部分網(wǎng)絡(luò)管理員往往將此類情況歸因于系統(tǒng)故障或網(wǎng)絡(luò)線路故障，忽略了攻擊的可能性而導(dǎo)致處理延后。

僅利用流特征不能完全準(zhǔn)確地區(qū)分RoQ 攻擊流量和正常流量。但是，從包特征上看，異常流量整體分布的形態(tài)差異與正常流量相比具有一定的區(qū)分度（例如，將兩段不同的流量從時(shí)域轉(zhuǎn)換到頻域，就能發(fā)現(xiàn)其中的不同）。因此，利用時(shí)序特征對(duì)這類攻擊進(jìn)行檢測(cè)更合適。再者，真實(shí)環(huán)境中RoQ 攻擊樣本稀少，且每次攻擊都具有獨(dú)立性、特殊性，不容易使用監(jiān)督學(xué)習(xí)方法來學(xué)習(xí)隱蔽的攻擊特征。因此，要求檢測(cè)方法在零先驗(yàn)知識(shí)或極少先驗(yàn)知識(shí)的情況下發(fā)揮作用。綜上，本文在完成大量攻擊試驗(yàn)，并梳理RoQ 攻擊相關(guān)特征之后，提出了一種基于多層次特征的RoQ 隱蔽攻擊無監(jiān)督檢測(cè)方法，主要?jiǎng)?chuàng)新點(diǎn)如下。

1) 提出了基于多層次特征的RoQ 隱蔽攻擊檢測(cè)的兩階段方法。根據(jù)目標(biāo)在不同階段使用不同層面的特征，整體上達(dá)到了較好的效果。

2) 為了篩除大部分正常流量，減少對(duì)后續(xù)結(jié)果的干擾，研究了基于正樣本監(jiān)督信息的半監(jiān)督譜聚類方法。利用流特征，構(gòu)造少量正樣本監(jiān)督信息以修正樣本中偏離過大的離群點(diǎn)。同時(shí)構(gòu)造標(biāo)簽損失算法來評(píng)價(jià)算法損失度以便調(diào)整參數(shù)，使篩除正樣本的準(zhǔn)確率接近100%。

3) 考慮到RoQ 攻擊流量特征不明顯，為了提高檢測(cè)率，將經(jīng)典Shapelet 時(shí)間序列算法修改為多維算法，利用流量時(shí)序包特征構(gòu)造了最具辨識(shí)度的n-Shapelet 基序列空間。經(jīng)過空間投影后的特征能夠最大限度體現(xiàn)相似序列差別最大的局部特征，提高了RoQ 攻擊特征的識(shí)別率。

4) 考慮到RoQ 攻擊樣本稀少無法訓(xùn)練檢測(cè)模型但仍需實(shí)現(xiàn)高精度檢測(cè)，構(gòu)造了無監(jiān)督分類優(yōu)化模型。該模型能夠根據(jù)檢測(cè)結(jié)果多次迭代直至收斂到最優(yōu)解，實(shí)現(xiàn)了無學(xué)習(xí)樣本的高精度檢測(cè)。

1 相關(guān)工作

一直以來，很多研究者著重研究RoQ 攻擊如何繞過檢測(cè)系統(tǒng)，以期更好地解決RoQ 攻擊檢測(cè)問題。Guirguis 等[2]最早提出了一種利用TCP 協(xié)議的低速率拒絕服務(wù)攻擊，這種攻擊沒有明顯的異常特征，利用傳輸控制協(xié)議（TCP,transmission control protocol）中自適應(yīng)機(jī)制造成信道阻塞，從而達(dá)到攻擊目的。緊接著，Luo[3]介紹了一種短時(shí)間內(nèi)阻塞鏈路的脈沖式拒絕服務(wù)攻擊；Guirguis 等[1,4]提出了利用動(dòng)態(tài)負(fù)載均衡機(jī)制的RoQ 攻擊和針對(duì)內(nèi)容自適應(yīng)機(jī)制的脈沖式攻擊。近幾年的主要研究包括利用KeepAlive 機(jī)制占滿服務(wù)器等待隊(duì)列的攻擊[5]、強(qiáng)效的Shrew 變種FB-Shrew 攻擊[6]、利用物聯(lián)網(wǎng)設(shè)備之間消息隊(duì)列遙測(cè)傳輸（MQTT,message queuing telemetry trandport）協(xié)議漏洞的攻擊[7]、隱蔽漏洞掃描等其他脈沖探測(cè)類攻擊[8]?？傮w來講，RoQ 攻擊隱匿性高，缺乏已知樣本，是一種極難發(fā)現(xiàn)的新型攻擊。

現(xiàn)有針對(duì)RoQ 隱蔽攻擊的檢測(cè)方法大致可以分為基于信號(hào)處理、基于統(tǒng)計(jì)分析、基于數(shù)據(jù)建模及基于人工智能技術(shù)這4 種類型。

基于信號(hào)處理的檢測(cè)方法是最常用的，其核心思想是將流量時(shí)域特征轉(zhuǎn)換成頻域，來增加正常流量和異常流量的區(qū)分度。Chen 等[9]采用了2 個(gè)新的頻域特征：傅里葉功率譜熵（FPSE,Fourier power spectral entropy）和小波功率譜熵（WPSE,wavelet power spectrum entropy），提高了檢測(cè)率。Agrawal等[10]將流量從時(shí)域變換到頻域上，通過功率頻譜分布判斷攻擊?；谛盘?hào)處理的檢測(cè)方法能夠從一定程度上檢測(cè)出RoQ 攻擊，但是在檢測(cè)深度偽裝、特征不明顯的攻擊時(shí)效果不佳。

基于統(tǒng)計(jì)分析的檢測(cè)方法根據(jù)流量偏離正常狀態(tài)的特征行為來進(jìn)行識(shí)別。吳志軍等[11]根據(jù)低速率拒絕服務(wù)（LDoS,low-rate denial of service）攻擊周期性的小信號(hào)特征構(gòu)造出特征值估計(jì)矩陣來判斷是否發(fā)生了攻擊。Tang 等[12]提出了一種自適應(yīng)指數(shù)加權(quán)移動(dòng)平均算法，根據(jù)加權(quán)值的變化檢測(cè)攻擊。在之后的研究中又基于脈沖流量離散特性提出一種新的統(tǒng)計(jì)方法來進(jìn)行檢測(cè)[13]。為了進(jìn)一步提高檢測(cè)率，Tang 等[14]提出利用用戶數(shù)據(jù)報(bào)協(xié)議（UDP,user datagram protocol）流量與傳輸控制協(xié)議（TCP,transmission control protocol）流量的比值（UTR,ratio of UDP traffic to TCP traffic）能夠更準(zhǔn)確區(qū)分攻擊流量和正常流量?；诮y(tǒng)計(jì)分析的檢測(cè)方法在設(shè)立閾值的過程中需要大量的專業(yè)領(lǐng)域知識(shí)和工程技能，煩瑣復(fù)雜，很難大規(guī)模使用。

基于數(shù)學(xué)建模的檢測(cè)方法是利用數(shù)據(jù)方法對(duì)網(wǎng)絡(luò)流量進(jìn)行分析，區(qū)分出正常流量中的隱蔽RoQ攻擊。如Wu 等[15]研究了RoQ 攻擊對(duì)網(wǎng)絡(luò)流量的多重分形特性的影響，提出了MF-DFA（multifractal detrended fluctuation analysis）算法，計(jì)算正常情況和攻擊情況下的網(wǎng)絡(luò)流量H?lder 指數(shù)的差值來判斷是否發(fā)生了攻擊。

考慮到隱蔽RoQ 攻擊的特征提取困難，一些研究者開始考慮使用人工智能技術(shù)。例如，Koay 等[16]基于熵特征集成了循環(huán)神經(jīng)網(wǎng)絡(luò)、多層感知網(wǎng)絡(luò)、交替決策樹3 個(gè)分類器形成投票系統(tǒng)，共同判斷流量異常。Tang 等[17]基于SADBSCAN（self-adaptive density-based spatial clustering of applications with noise）算法提出了在多密度數(shù)據(jù)集中自適應(yīng)識(shí)別聚類的解決方案。根據(jù)網(wǎng)絡(luò)流量受到RoQ 攻擊的特點(diǎn)，對(duì)網(wǎng)絡(luò)流量進(jìn)行分組。然后使用余弦相似度來確定每個(gè)組中是否包含攻擊數(shù)據(jù)。特征工程是基于人工智能技術(shù)的檢測(cè)方法中重要的一環(huán)，為了提高攻擊檢測(cè)率，Tang 等[18]提取了RoQ 攻擊中包括信息熵在內(nèi)的28 個(gè)特征，并提出改進(jìn)的MF-Adaboost算法，能夠更準(zhǔn)確地檢測(cè)RoQ 攻擊。吳志軍團(tuán)隊(duì)近幾年著重研究了利用路由器隊(duì)列管理機(jī)制漏洞的RoQ 攻擊的檢測(cè)方法。2018 年，吳志軍等[19]提取了路由器瞬時(shí)隊(duì)列和平均隊(duì)列作為數(shù)據(jù)特征，利用核主成分分析（KPCA,kernel principal component analysis）進(jìn)行特征處理，并利用反向傳播（BP,back propagation）神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和檢測(cè)，效果較好。2020 年，該團(tuán)隊(duì)[20]提出了基于序列確認(rèn)號(hào)（ACK,acknowledge number）、報(bào)文大小和隊(duì)列長(zhǎng)度的多特征融合的路由器降質(zhì)攻擊檢測(cè)方法。每種特征分別輸入K 鄰近（KNN,K-nearest neighbor）分類器得到綜合的決策輪廓矩陣，并定義融合決策指標(biāo)D 作為檢測(cè)RoQ 攻擊的依據(jù)，在一定程度上提高了檢測(cè)率。利用路由器漏洞的攻擊屬于眾多RoQ 攻擊的一種，在檢測(cè)時(shí)比較容易提取路由器隊(duì)列特征。而傳輸層和應(yīng)用層的攻擊因流量特征與正常流量區(qū)別很小，很難提取有效特征，隱蔽性很強(qiáng)。

綜上，現(xiàn)有RoQ 攻擊檢測(cè)方法大部分假陰性率較高，僅適用于小規(guī)模數(shù)據(jù)，或只能在仿真集中實(shí)現(xiàn)，在真實(shí)環(huán)境中應(yīng)用有一定的局限性。目前，基于人工智能技術(shù)的檢測(cè)方法研究進(jìn)展較慢、實(shí)用性不強(qiáng)。大部分方法在訓(xùn)練模型時(shí)需要大量已知的訓(xùn)練樣本支撐，這與缺少真實(shí)樣本的現(xiàn)實(shí)情況相悖。其次，部分研究中的實(shí)驗(yàn)是基于NS2 等模擬軟件的，實(shí)驗(yàn)條件理想、數(shù)據(jù)單一，不具有說服力。此外，目前大部分研究沒有考慮到RoQ 攻擊的偽裝性，在海量流量中的識(shí)別性較差。

2 基礎(chǔ)知識(shí)

2.1 譜聚類

譜聚類是一種聚類算法，相較于傳統(tǒng)聚類算法，它對(duì)數(shù)據(jù)分布的適應(yīng)性更強(qiáng)，聚類效果更好，計(jì)算量更小，在攻擊檢測(cè)中常常被用作聚類算法[21]。在對(duì)相似攻擊行為的聚類方面，譜聚類比K-means、（DBSCAN,density-based spatial clustering of applications with noise）等聚類算法輪廓系數(shù)更高，識(shí)別效果更好[22]。

譜聚類的主要思想是基于圖譜分割理論，主要流程如下。

目標(biāo)：輸入n個(gè)數(shù)據(jù)點(diǎn)集，獲得k個(gè)聚類。

1) 利用距離公式計(jì)算每個(gè)點(diǎn)集的相似度，形成相似矩陣。

2) 利用相似矩陣構(gòu)建鄰接矩陣N和度矩陣G。

3) 由步驟2)得到的鄰接矩陣N和度矩陣G計(jì)算得出拉普拉斯矩陣

4) 選取拉普拉斯矩陣的前k個(gè)最大特征值對(duì)應(yīng)的特征向量。

5) 標(biāo)準(zhǔn)化特征向量，形成k×n維特征矩陣。

6) 將特征向量的每一行作為一個(gè)k維的樣本，共n個(gè)樣本，使用K-means 等聚類算法進(jìn)行聚類。

2.2 Shapelet 時(shí)間子序列

2009 年，Keogh 等[23]在數(shù)據(jù)挖掘頂級(jí)會(huì)議上首次提出了時(shí)序數(shù)據(jù)中的Shapelet 的概念。Shapelet 是時(shí)間序列的子序列，是相似時(shí)間序列中最不相同的一段序列，在區(qū)分相似度很高的序列方面穩(wěn)健性更強(qiáng)，準(zhǔn)確性更高。它可以較充分地說明各個(gè)類別之間的差異，使分類結(jié)果具有更強(qiáng)的可解釋性。

Shapelet 子序列各概念定義如下。

定義 1時(shí)間序列及子序列。時(shí)間序列是按時(shí)間順序采樣的數(shù)據(jù)點(diǎn)構(gòu)成的序列，t i(i∈1,2,…,n)是任意實(shí)數(shù)。子序列是從某一位置開始、長(zhǎng)度為k的一段連續(xù)序列，

定義2時(shí)間序列的距離。將長(zhǎng)度為m的2 條時(shí)間序列看作向量，它們之間的距離

定義3子序列和時(shí)間序列的距離。對(duì)于長(zhǎng)度不同的子序列S和時(shí)間序列T，距離定義為S與T中長(zhǎng)度與S相同的子序列的距離的最小值，即表示T中長(zhǎng)度與S相同的所有子序列。

定義4信息增益。設(shè)數(shù)據(jù)集D被劃分為數(shù)據(jù)子集D1和D2，則其信息增益可表示為

其中，n、n1和n2分別表示數(shù)據(jù)集D、D1和D2的大小。E(D) 表示D的熵，表示為

其中，pc表示屬于數(shù)據(jù)集D的元素c的概率。

定義5Shapelet 子序列。定義分裂點(diǎn)為一個(gè)二元組 ＜S,δ＞，由子序列S和距離閾值δ組成，根據(jù)S與數(shù)據(jù)集中每一條時(shí)間序列之間的距離是否大于δ，將時(shí)間序列數(shù)據(jù)D分為DL和DR，當(dāng)信息增益最大時(shí)即Shapelet，此時(shí)的距離閾值

Shapelet 子序列在網(wǎng)絡(luò)安全領(lǐng)域是一個(gè)較新的概念，但是已經(jīng)在其他領(lǐng)域被用于時(shí)序異常檢測(cè)和預(yù)測(cè)[24-25]。在現(xiàn)有的研究中，Shapelet 可以與圖論[26]或神經(jīng)網(wǎng)絡(luò)[27]結(jié)合完成分類。

3 RoQ 隱蔽攻擊無監(jiān)督檢測(cè)模型總體框架

本文提出的RoQ 隱蔽攻擊無監(jiān)督檢測(cè)模型包含2 個(gè)階段，分別使用了不同層面的流量特征。首先，利用流特征對(duì)流量進(jìn)行初篩，篩除大量可能會(huì)干擾檢測(cè)效果的正常流量，保留正常流量與異常流量相對(duì)均衡的樣本。因此，要求篩選速度快、效率高，且篩除的正常流量的精確率接近100%。其次，利用時(shí)序包特征，在沒有先驗(yàn)知識(shí)的情況下，對(duì)篩選后的流量進(jìn)行無監(jiān)督精準(zhǔn)分類，要求分類模型具有局部特征差異的辨識(shí)能力。RoQ 隱蔽攻擊檢測(cè)模型整體框架如圖1 所示。其中，網(wǎng)絡(luò)流量通過數(shù)據(jù)平面開發(fā)套件（DPDK,data plane development kit）進(jìn)行采集過濾，進(jìn)入后續(xù)處理流程。

圖1 RoQ 隱蔽攻擊檢測(cè)模型整體框架

第一階段為基于流的聚類檢測(cè)算法，主要實(shí)現(xiàn)大量正常流量的篩除。該階段的輸入是去噪聲、去冗余格式化后經(jīng)過特征提取后的網(wǎng)絡(luò)流特征，核心算法為改進(jìn)的半監(jiān)督譜聚類算法。為了提高正樣本分類的精確度，利用極少數(shù)已知的攻擊樣本構(gòu)造正樣本強(qiáng)化監(jiān)督信息。同時(shí)，為了最大化利用這些已知攻擊樣本，使譜聚類算法有最優(yōu)的迭代次數(shù)限制，設(shè)計(jì)基于極少已知標(biāo)簽的算法調(diào)整機(jī)制，根據(jù)調(diào)整機(jī)制評(píng)價(jià)結(jié)果調(diào)整參數(shù)和聚類次數(shù)。

第二階段為基于n-Shapelet 子序列的無監(jiān)督自學(xué)習(xí)算法，主要實(shí)現(xiàn)剩余流量的準(zhǔn)確分類。該階段的輸入是按時(shí)間排列的數(shù)據(jù)包，稱為時(shí)間包序列。首先，利用Shapelet 子序列的特點(diǎn)構(gòu)造Shapelet 序列空間，該空間代表了樣本間差距最大的局部特征。其次，將每一個(gè)時(shí)間包序列映射到Shapelet 序列空間內(nèi)，轉(zhuǎn)換為S空間特征，使用聚類算法進(jìn)行聚類。為了使分類結(jié)果更準(zhǔn)確，構(gòu)造無監(jiān)督目標(biāo)優(yōu)化函數(shù)來調(diào)整算法參數(shù)。

4 基于流的聚類檢測(cè)算法

通常，距離比較遠(yuǎn)的數(shù)據(jù)被認(rèn)為是不同類的，而距離較近的數(shù)據(jù)則是同類的。但在一些特殊情況下，存在一些距離較大但屬于不同類的、或者距離較小但屬于同類的離群點(diǎn)需要被修正。因此，本節(jié)提出一種基于半監(jiān)督譜聚類的正常流量篩除方法，盡可能保證篩除的正常流量的精確度接近100%。在具體方法上包括3 個(gè)部分：正樣本強(qiáng)化監(jiān)督信息構(gòu)造主要實(shí)現(xiàn)去除正樣本側(cè)的離群點(diǎn)；半監(jiān)督譜聚類算法主要實(shí)現(xiàn)數(shù)據(jù)流的聚類；基于極少已知標(biāo)簽的算法調(diào)整機(jī)制主要實(shí)現(xiàn)聚類結(jié)果的合理評(píng)價(jià)。

4.1 正樣本強(qiáng)化監(jiān)督信息構(gòu)造

構(gòu)造正樣本強(qiáng)化監(jiān)督信息對(duì)，包括距離很大的正樣本信息對(duì)、正樣本與其他類型樣本距離很小的信息對(duì)。具體方法如下。

1) 關(guān)注的正常類別。初始化監(jiān)督信息限制數(shù)目M，集合A為空，利用簡(jiǎn)單專家知識(shí)規(guī)則在Qint中確定一定數(shù)量的正樣本，加入集合S中；初始化當(dāng)前監(jiān)督信息數(shù)目m=0 。

重復(fù)步驟2)和步驟3)，完成正樣本監(jiān)督信息集構(gòu)造。監(jiān)督信息集包括2 個(gè)集合，集合1 中都為正樣本，但彼此距離較遠(yuǎn)；集合2 中一個(gè)為正樣本，另一個(gè)為其他類型樣本，但距離很近。

4.2 半監(jiān)督譜聚類算法

本文提出的改進(jìn)后的半監(jiān)督譜聚類算法具有對(duì)正樣本修正的能力，具體算法R如下。

4) 選取P矩陣最小e個(gè)特征值對(duì)應(yīng)的特征向量組成特征矩陣F，對(duì)F進(jìn)行標(biāo)準(zhǔn)化后再聚類，得到聚類結(jié)果為正樣本的類別。

4.3 基于極少已知標(biāo)簽的算法調(diào)整機(jī)制

基于半監(jiān)督譜聚類算法通過監(jiān)督信息消除了正樣本側(cè)的離群點(diǎn)，提高了分類的精度。在聚類過程中，數(shù)據(jù)集帶有極少已知的標(biāo)簽信息。為了提高這部分信息的利用程度，得到更精確的聚類分配結(jié)果，使算法結(jié)果可評(píng)價(jià)，收斂速度可控，本文提出基于極少已知標(biāo)簽的算法調(diào)整機(jī)制。

首先，定義p(yi,q)為樣本yi與類別q的相似度，也可以看作樣本yi屬于類別q的概率。

算法調(diào)整機(jī)制具體方法如下。

1) 對(duì)數(shù)據(jù)集使用算法R進(jìn)行首次聚類，得到聚類結(jié)果，統(tǒng)計(jì)每類結(jié)果中標(biāo)簽數(shù)據(jù)量最大的那一類作為該類的標(biāo)簽c。對(duì)于已知標(biāo)簽的部分樣本經(jīng)過聚類后被劃分為代表不同的類別，*為任意整數(shù)。

2) 使用標(biāo)記列表A′標(biāo)記正樣本點(diǎn)的劃分正確與否，標(biāo)記列表A′中元素ai的含義為

則已知標(biāo)簽的正樣本聚類損失為

3) 使用標(biāo)記列表B′標(biāo)記負(fù)樣本點(diǎn)的劃分正確與否，標(biāo)記列表B′中元素bi的含義為

則已知標(biāo)簽的負(fù)樣本聚類損失為

則整體損失為

5 基于n-Shapelet 子序列的無監(jiān)督自學(xué)習(xí)算法

第一階段的初步分類旨在精準(zhǔn)地篩除大部分正常樣本，第二階段將完成更準(zhǔn)確的分類。不同于第一階段基于流特征的方法，第二階段將剩余的流還原成數(shù)據(jù)包，按照時(shí)間順序排列形成時(shí)間序列，一條流表示為

其中，l表示時(shí)間序列的長(zhǎng)度，n表示每一個(gè)數(shù)據(jù)包的特征維度。

5.1 Shapelet 空間特征映射

為了找到局部更具有區(qū)分度的特征，本節(jié)利用Shapelet 子序列完成特征提取。在待檢測(cè)的流量中尋找到時(shí)序包序列中的若干個(gè)最優(yōu)Shapelet，構(gòu)成S空間。將時(shí)間包序列投影到新空間，轉(zhuǎn)換為新特征再進(jìn)行檢測(cè)。

根據(jù)Shapelet 定義[23]，n維包序列的Shapelet子序列表示為

其中，k(k＜l) 為Shapelet 子序列的長(zhǎng)度，子序列的每個(gè)元素保持n個(gè)維度，用于表示序列短時(shí)間內(nèi)（即長(zhǎng)度k內(nèi)）在所有維度上的綜合變化特征。選取若干個(gè) Shapelet 子序列，構(gòu)造 S 空間為

定義時(shí)間序列T與子序列S的距離為

為了方便后續(xù)的最小化求解，距離函數(shù)連續(xù)化為

至此，原始包序列各特征投影到新空間形成新的特征矩陣X，新特征是在不同Shapelet 子序列上的投影，具有最佳辨識(shí)度，可以使用聚類算法對(duì)X進(jìn)行聚類。

5.2 無監(jiān)督分類優(yōu)化模型

S空間的Shapelet 子序列可以最大程度地學(xué)到各個(gè)時(shí)間序列的最大區(qū)分局部特征，因此，需保證各個(gè)Shapelet 子序列的相似度最低。定義Shapelet相似度矩陣表示為

X經(jīng)過聚類之后得到分類結(jié)果Y，并根據(jù)分類優(yōu)化函數(shù)對(duì)參數(shù)W和S進(jìn)行迭代優(yōu)化，迭代過程如下。

1)Y的迭代

根據(jù)分類優(yōu)化函數(shù)中的第1 項(xiàng)

對(duì)Y求導(dǎo)并令其為0，有

2)W的迭代

根據(jù)分類優(yōu)化函數(shù)中的第1 項(xiàng)和第3 項(xiàng)

對(duì)W求導(dǎo)并令其為0，有

3)S的迭代

根據(jù)分類優(yōu)化函數(shù)中的第1 項(xiàng)和第2 項(xiàng)

其中，c為類別數(shù)目。

將W、Y、X、H代入F(S)，展開得

5.3 時(shí)間復(fù)雜度評(píng)估

在無監(jiān)督學(xué)習(xí)和推理過程中，經(jīng)過參數(shù)的初始化后，目標(biāo)函數(shù)需要多次迭代直至收斂。每次迭代過程都包括2 個(gè)矩陣的計(jì)算階段以及3 個(gè)參數(shù)矩陣的更新階段。根據(jù)5.2 節(jié)的定義，包序列數(shù)據(jù)集，一條時(shí)間序列T長(zhǎng)度為l，每個(gè)包有n維特征；S空間Shapelet 子序列長(zhǎng)度為k，大小為v；聚類類別為K。那么，在矩陣X,H的計(jì)算階段，根據(jù)式(13)和式(14)可得計(jì)算X的時(shí)間復(fù)雜度為O(uvkln)，計(jì)算H的時(shí)間復(fù)雜度為O(v2kn)。在參數(shù)矩陣(Y,W,S)的更新階段，根據(jù)式(16)可得更新參數(shù)矩陣Y的時(shí)間復(fù)雜度為O(Kuv)，根據(jù)式(18)可得更新參數(shù)矩陣W的時(shí)間復(fù)雜度為O(v2u+vuK+v2K+v3)，根據(jù)式(24)～式(28)可得更新參數(shù)矩陣的時(shí)間復(fù)雜度為O(uvlk2n2K+v2kn)。因此，無監(jiān)督聚類算法的總體時(shí)間復(fù)雜度為O(I(uvkln+v2kn+Kuv+v2u+v2K+v3+uvlk2n2K))，I是迭代次數(shù)，又因?yàn)閰?shù)中k?l,v?u,K?u，因此，時(shí)間復(fù)雜度可表示為O(I(uln2))。

6 實(shí)驗(yàn)分析

6.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)說明

由于目前開源數(shù)據(jù)集中沒有TCP 擁塞控制等攻擊樣本，且在真實(shí)網(wǎng)絡(luò)數(shù)據(jù)中也較難捕捉到這類攻擊，因此，實(shí)驗(yàn)搭建了簡(jiǎn)單的模擬環(huán)境，模擬部分攻擊來采集攻擊數(shù)據(jù)。實(shí)驗(yàn)環(huán)境配置如表1 所示。

表1 實(shí)驗(yàn)環(huán)境配置

為了從不同角度驗(yàn)證本文方法的合理性，實(shí)驗(yàn)基于模擬場(chǎng)景使用開源數(shù)據(jù)集，模擬攻擊流量和真實(shí)網(wǎng)絡(luò)流量構(gòu)造了多種數(shù)據(jù)集。攻擊類型覆蓋了利用HTTP 自適應(yīng)機(jī)制的攻擊、新型隱蔽攻擊、逃避攻擊等多種組合。

本文實(shí)驗(yàn)中使用的部分開源數(shù)據(jù)集來自ISCX-SlowDoS-2016[5]、CIC-DDoS-2019[28]、CIRA-CIC-DoHBrw-2020[29]，詳細(xì)描述如表2 所示。ISCX-SlowDoS-2016 數(shù)據(jù)集包含了應(yīng)用層各種DoS攻擊，包含大量的應(yīng)用層的小容量隱蔽攻擊。CIC-DDoS-2019 數(shù)據(jù)集中包含了WebDoS、Port Scan 等多源的DDoS 變種隱蔽攻擊。CIRA-CICDoHBrw-2020 中的惡意流量包含了針對(duì)網(wǎng)站的隱蔽攻擊樣本。這3 個(gè)數(shù)據(jù)集均提供了原始的包捕獲文件（.pcap 文件），數(shù)據(jù)完整。

表2 本文實(shí)驗(yàn)使用的數(shù)據(jù)集詳情

6.2 特征提取與參數(shù)設(shè)置

6.2.1 流量特征提取

本文方法在實(shí)驗(yàn)過程中需要提取2 個(gè)層面的特征。首先是基于流特征的初步篩選，需要在原始流量中提取一段時(shí)間內(nèi)流量的宏觀特征。其次是基于時(shí)間包序列的精確分類，需要將剩余流量還原成按照時(shí)間排列的包序列，提取每一個(gè)包的具體特征。流特征和包特征描述分別如表3 和表4所示。

表3 流特征描述

表4 包特征描述

為了能夠直觀看出多層次特征使用的意義，本文選取部分具有代表性的數(shù)值化特征繪制了對(duì)比曲線。本文方法第一階段的正常流量與攻擊流量的部分流特征對(duì)比如圖4 所示，從圖4 中可以看出，流特征在正常流量和攻擊流量中有明顯差異，能夠使用聚類算法完成大部分流量的分類。

圖4 正常流量與異常流量的部分流特征對(duì)比

本文方法第2 個(gè)階段的正常流量與攻擊流量的部分包特征對(duì)比如圖5 所示。從圖5(a)和圖5(b)中可以看出，正常流量和攻擊流量的獨(dú)立的包特征差別較小，很難用可視化的圖分辨。從圖5(c)中可以看出，正常流量和攻擊流量的包的前序包特征有較明顯的差別。因此，在這一階段提取時(shí)間序列特征對(duì)流量進(jìn)行分類比較有效。

圖5 正常流量與異常流量的部分包特征對(duì)比

6.2.2 參數(shù)選擇

本文方法2 個(gè)階段的算法需要確定超參。在第一階段中，聚類類別數(shù)K與拉普拉斯矩陣的最小特征向量個(gè)數(shù)e取值一致，均可以根據(jù)實(shí)驗(yàn)數(shù)據(jù)集本身的標(biāo)簽獲得。監(jiān)督信息的數(shù)量M則通過正樣本的聚類純度P來確定。

監(jiān)督信息數(shù)選擇如表5 所示。從表5 中可以看出，有0.5%的監(jiān)督信息比無監(jiān)督信息精確率提高了4.4%。為了使實(shí)驗(yàn)結(jié)果有明顯區(qū)分度，選擇0.5%為增長(zhǎng)間隔。當(dāng)監(jiān)督信息占比進(jìn)一步增加至1%時(shí)，精確率提升至99.7%。從表5 后兩行可以看出，隨著監(jiān)督信息的繼續(xù)增加，精確率并沒有明顯提升，當(dāng)監(jiān)督信息占比增長(zhǎng)至2%時(shí)，精確率只比1%時(shí)提升了0.1%，回報(bào)率低。因此，監(jiān)督信息占比1%為最佳平衡點(diǎn)，可在盡量少的監(jiān)督信息下獲得盡量高的精確度。

表5 監(jiān)督信息數(shù)選擇

第二階段中，S空間的大小即Shapelet 子序列的長(zhǎng)度k和v-S空間中Shapelet 的個(gè)數(shù)v為待確定的參數(shù)，通過聚類純度P、蘭德系數(shù)（RI,Rand index）及F1 值確定。

在TCP-Congestion Dos 數(shù)據(jù)集中，數(shù)據(jù)的長(zhǎng)度范圍為100～4 000，參考Zhang 等[31]實(shí)驗(yàn)中的參數(shù)選擇，本文實(shí)驗(yàn)分別選取最短序列長(zhǎng)度的5%、8%、10%、15%、20%進(jìn)行對(duì)比。需要說明的是，經(jīng)過前期的實(shí)驗(yàn)，當(dāng)Shapelet 子序列長(zhǎng)度k選取5%以下時(shí)，信息量過少會(huì)影響區(qū)分度，因此最短序列長(zhǎng)度從5%開始。為了方便實(shí)驗(yàn)，選擇Shapelet的個(gè)數(shù)為2，不同Shaplet 長(zhǎng)度的性能表現(xiàn)如表6所示。從表6 中可以看出，在k從5%增長(zhǎng)到20%的過程中，性能呈現(xiàn)先上升后下降的趨勢(shì)，可以推斷，在TCP-Congestion Dos 數(shù)據(jù)集中，最具辨識(shí)度的k在5%～20%，也說明在這個(gè)區(qū)間內(nèi)存在局部最優(yōu)解。進(jìn)一步分析，k在10%～15%時(shí)P、RI 和F1 值均較高，因此最優(yōu)的Shapelet 子序列長(zhǎng)度應(yīng)在10%～15%。為了計(jì)算方便，后續(xù)實(shí)驗(yàn)選取最短序列長(zhǎng)度的10%為k的最優(yōu)值。

表6 不同Shapelet 長(zhǎng)度的性能表現(xiàn)

S空間中Shapelet 的個(gè)數(shù)v的選擇同樣重要，v過大會(huì)影響計(jì)算速度，過小又會(huì)使區(qū)分度不夠明顯。因此，實(shí)驗(yàn)分別選取v為2、3、4、5、6、7、8，在計(jì)算效率可接受的情況下選取最優(yōu)值。

不同Shapelet 個(gè)數(shù)的性能表現(xiàn)如表7 所示，從表7 中可以看出，隨著v的增加，聚類純度P總體呈上升趨勢(shì)，在RI 和F1 值上的表現(xiàn)也相對(duì)較好。綜合考慮性能和計(jì)算速度，v=3 是本文實(shí)驗(yàn)的局部最優(yōu)取值。同時(shí)需要說明的是，經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)v=8 時(shí)，所用時(shí)間是v=3 時(shí)的2 倍，因此，不再考慮v超過8 的情況。綜上，Shapelet 個(gè)數(shù)v最佳取值為3。

表7 不同Shapelet 個(gè)數(shù)的性能表現(xiàn)

至此，本文方法的超參分別確定為：監(jiān)督信息占比為1%，Shapelet 長(zhǎng)度為最短序列長(zhǎng)度的10%，Shapelet 空間子序列個(gè)數(shù)為3。

6.3 實(shí)驗(yàn)結(jié)果分析

6.3.1 檢測(cè)性能評(píng)估

為了驗(yàn)證本文方法的先進(jìn)性，實(shí)驗(yàn)選取了部分具有代表性的無監(jiān)督異常/攻擊檢測(cè)方法進(jìn)行對(duì)比。這些方法主要分為以下三類：第一類為經(jīng)典的基于原始流量的經(jīng)典無監(jiān)督聚類方法——K-means；第二類為專門針對(duì)隱蔽攻擊的檢測(cè)方法，包括自動(dòng)編碼器（Autoencoder）[32]、Whisper[33]模型；第三類為基于Shapelet 的無監(jiān)督檢測(cè)方法，如u-Shapelet[23]等。

由于K-means 和u-Shapelet 沒有針對(duì)樣本不平衡的處理，本文中的數(shù)據(jù)集正負(fù)樣本數(shù)量差距大，直接使用會(huì)影響后續(xù)結(jié)果的計(jì)算，因此這2 種方法使用的是經(jīng)過本文方法第一階段處理篩除大量正常流量后的數(shù)據(jù)。具體的對(duì)比結(jié)果如表8～表10 所示。

首先，從表8～表10 的第一列和第二列中可以看出，K-means 對(duì)于RoQ 隱蔽攻擊基本起不到聚類的作用，平均聚類純度在50%左右，相當(dāng)于隨機(jī)歸類。Autoencoder 對(duì)于Slowheaders、DoS slowloris等特征較明顯的攻擊檢測(cè)效果較好。同樣地，在混合數(shù)據(jù)1 上的表現(xiàn)也比較好，這是因?yàn)榛旌蠑?shù)據(jù)1中含有大量Slowheaders、DoS slowloris 攻擊數(shù)據(jù)。除此之外，Autoencoder 在其他數(shù)據(jù)集上表現(xiàn)一般。

其次，從表8～表10 的后三列中可以看出，Whisper、u-Shapelet 和本文方法各具優(yōu)勢(shì)。Whisper最主要的特點(diǎn)是將時(shí)域數(shù)據(jù)轉(zhuǎn)換成頻域數(shù)據(jù)，因?yàn)楣粽卟荒茌p易干擾頻域特征，所以即使是手段復(fù)雜隱蔽的攻擊在轉(zhuǎn)換為頻域特征后也具有一定的識(shí)別率。從實(shí)驗(yàn)結(jié)果上來看，在攻擊比較隱蔽的混合數(shù)據(jù)2和隱蔽攻擊1數(shù)據(jù)集中，Whisper的聚類純度最高；在頻域特征最明顯的DoS slowloris 數(shù)據(jù)集中，Whisper的F1 值最高。這說明該方法有較強(qiáng)的隱蔽攻擊識(shí)別能力，并且可以看出頻域特征是該算法所依賴的一個(gè)重要特征。

表8 不同方法在不同數(shù)據(jù)集上聚類純度P 的性能表現(xiàn)

表9 不同方法在不同數(shù)據(jù)集上蘭德系數(shù)RI 的性能表現(xiàn)

表10 不同方法在不同數(shù)據(jù)集上F1 值的性能表現(xiàn)

u-Shapelet 只適合一維時(shí)間序列，因此在實(shí)驗(yàn)時(shí)只選取了包大小隨時(shí)間的變化特征。從實(shí)驗(yàn)結(jié)果來看，在5 種方法中，u-Shapelet 在Router LDoS數(shù)據(jù)集中聚類純度最高，在TCP-Congestion DoS中RI 和F1 值最高，在其他數(shù)據(jù)集上的表現(xiàn)也相對(duì)均衡。這表明使用Shapelet 子序列辨識(shí)流量中的變化是可行的。

本文方法在4 個(gè)數(shù)據(jù)集上具有最優(yōu)的聚類純度，在5 個(gè)數(shù)據(jù)集上具有最優(yōu)的RI 和F1 值。對(duì)比Whisper，本文方法在時(shí)序特征的分辨上更細(xì)致，因此在檢測(cè)時(shí)序特征明顯的隱蔽攻擊時(shí)表現(xiàn)更好。對(duì)比u-Shapelet，本文方法使用了流量中更多的有效特征，檢測(cè)性能更好。綜上，本文方法在針對(duì)RoQ隱蔽攻擊的檢測(cè)時(shí)最具優(yōu)勢(shì)。

譜聚類算法篩除了大部分正常流量，僅留下比較難以識(shí)別的少量流量使進(jìn)入第二階段。修改后的基于正樣本的半監(jiān)督譜聚類算法進(jìn)一步提高了篩選精度。為了驗(yàn)證本文提出的半監(jiān)督譜聚類的優(yōu)勢(shì)，實(shí)驗(yàn)分別選取了經(jīng)典的聚類方法K-means、圍繞中心點(diǎn)的劃分（PAM,partitioning around medoid）及DBSCAN 替換譜聚類進(jìn)行實(shí)驗(yàn)對(duì)比，并依舊保留了原本的半監(jiān)督機(jī)制，分別記為方法A、方法B 和方法C。實(shí)驗(yàn)數(shù)據(jù)選擇混合數(shù)據(jù)1，結(jié)果如表11 所示。從表11 中可以看出，方法A 方法、B 方法、C 的性能逐漸提升，這是由于PAM 在獲取新的聚類中心時(shí)策略較K-means 更佳?；诿芏染垲惖姆椒– 的召回率能達(dá)到94.17%，說明了RoQ 攻擊流量在全流量中的分布也具有密度稀疏的特點(diǎn)。綜合來看，本文方法總體性能表現(xiàn)優(yōu)異。

表11 不同聚類方法的性能表現(xiàn)

為了更加形象地表示本文方法的學(xué)習(xí)過程，實(shí)驗(yàn)在Slowheaders 數(shù)據(jù)集上將分類過程進(jìn)行了數(shù)值可視化，如圖6 所示。從圖6 可以看出，隨著迭代次數(shù)的增多，分類效果越明顯，當(dāng)?shù)螖?shù)達(dá)到6 次時(shí)，已經(jīng)可以很明顯地區(qū)分出正常流量和攻擊流量。

圖6 分類過程可視化

6.3.2 穩(wěn)健性評(píng)估

本節(jié)將驗(yàn)證本文方法的穩(wěn)健性。實(shí)驗(yàn)假設(shè)攻擊者知道惡意流量檢測(cè)的存在，可以構(gòu)造規(guī)避攻擊，即通過注入各種良性流量將惡意流量偽裝成正常流量來逃避檢測(cè)。

在實(shí)驗(yàn)中，選擇5 種惡意流量模式，并混入不同比例的良性流量，惡性流量和良性流量的比例在1：1 到1：8 之間。表12 顯示了不同方法在不同比例（惡意流量/良性流量）時(shí)對(duì)5 種攻擊的（AUC,area under curve）值。

從表12 中可知，K-means 的穩(wěn)健性較差。在TCP-Congestion DoS 攻擊采取不同注入策略時(shí)，AUC 值最多降低了0.694，在大部分攻擊使用不同策略偽裝后檢測(cè)性能不穩(wěn)定，部分AUC 值甚至低于0.5。對(duì)比K-means，Autoencoder 受規(guī)避攻擊的影響較小。在Slowheaders 偽裝攻擊上的AUC 值最多降低了0.229，推測(cè)這與自動(dòng)編碼器本身在特征方面的處理優(yōu)勢(shì)有關(guān)。u-Shapelet 從檢測(cè)結(jié)果來看，當(dāng)良性和惡意流量為1:1 時(shí)，AUC 值較高，能夠達(dá)到0.879。當(dāng)良性和惡意流量比例逐漸增加時(shí)，在WebDoS、Slowbody2 和Router LDoS 這3 種規(guī)避攻擊檢測(cè)中有比較明顯的降低，最多降低了0.311；但對(duì)于另外兩類規(guī)避類攻擊穩(wěn)健性較好，可以推測(cè)Shapelet 子序列起到了關(guān)鍵作用。對(duì)比上述3 種方法，本文方法在Router LDoS 規(guī)避攻擊中AUC 值最多下降了0.136，在Slowheaders 規(guī)避攻擊和WebDoS 規(guī)避攻擊中保持了較高且較穩(wěn)定AUC 值。以上結(jié)果說明本文方法穩(wěn)健性較強(qiáng)，且本文方法的第一階段基于半監(jiān)督譜聚類的正常流量篩除起到了重要的作用。

表12 不同方法在不同比例（惡意流量/良性流量）時(shí)對(duì)5 種攻擊的AUC 值

圖7 為不同方法的AUC 平均值對(duì)比，從圖7中可以看到，本文方法的 AUC 平均值最高，K-means 最低。在WebDoS 攻擊檢測(cè)中本文方法分類能力最突出。

圖7 不同方法的AUC 平均值對(duì)比

7 結(jié)束語

本文針對(duì)RoQ 攻擊特征不明顯，高質(zhì)量學(xué)習(xí)樣本稀少等問題，提出了一種基于多層次特征的無監(jiān)督隱蔽攻擊檢測(cè)方法。首先研究了基于半監(jiān)督譜聚類算法，利用第一層流特征實(shí)現(xiàn)了正常流量高精度篩除，減少了對(duì)后續(xù)結(jié)果的干擾。其次，基于第二層時(shí)序包特征構(gòu)造了基于n-Shapelet子序列的無監(jiān)督攻擊檢測(cè)模型，實(shí)現(xiàn)了RoQ 攻擊的高檢測(cè)率。實(shí)驗(yàn)結(jié)果表明，相較于現(xiàn)有方法，本文方法能夠保持較高的檢測(cè)性能，且對(duì)規(guī)避攻擊具有穩(wěn)健性。但是，本文方法的無監(jiān)督學(xué)習(xí)模型中有3 個(gè)超參，這3 個(gè)超參的迭代計(jì)算增加了整體方法的復(fù)雜度。因此，未來將研究無監(jiān)督學(xué)習(xí)模型，使其達(dá)到更快的收斂速度。