基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量異常檢測方法

劉天澤

（南京大學(xué)金陵學(xué)院，江蘇 南京 210089）

1 研究背景

自互聯(lián)網(wǎng)普及以來，由于經(jīng)濟利益等驅(qū)動，網(wǎng)絡(luò)病毒和各類網(wǎng)絡(luò)流量攻擊層出不窮，造成了諸多由于惡意而導(dǎo)致的安全事故，而技術(shù)革新與網(wǎng)絡(luò)拓撲結(jié)構(gòu)的復(fù)雜化也對網(wǎng)絡(luò)入侵檢測系統(tǒng)（Network Intrusion Detection System，NIDS） 提出了新的要求。機器學(xué)習(xí)等較為傳統(tǒng)的方式受到穩(wěn)健性低、準確性低的限制，難以檢測和解決網(wǎng)絡(luò)入侵異常與突發(fā)訪問性異常造成的網(wǎng)絡(luò)流量異常問題。

在網(wǎng)絡(luò)入侵檢測面臨較高挑戰(zhàn)的情況下，傳統(tǒng)的統(tǒng)計分析和信號處理等技術(shù)難以滿足復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)分析需求，無法達到高效的檢測速度和穩(wěn)健性標準。為了滿足高級網(wǎng)絡(luò)工作場合的異常檢測需求，本文將介紹兩種先進的網(wǎng)絡(luò)流量異常檢測方法：一是堆疊降噪自編碼器（Stacked Denoising Auto encoder，SDA） 算法設(shè)計，采用粒子群算法進行改良，在深度特征學(xué)習(xí)的基礎(chǔ)上確定SDA 算法參數(shù)，以一種邏輯回歸算法進一步增強網(wǎng)絡(luò)流量攻擊的檢測能力，避免受到噪聲數(shù)據(jù)的影響。二是由LetNet 為主體的攻擊模塊和長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM） 算法實現(xiàn)的結(jié)構(gòu)，先實時監(jiān)測并收集數(shù)據(jù)，再由dummy 變量（One-Hot編碼） 對攻擊事件進行分類并計算發(fā)生概率，防止突發(fā)的網(wǎng)絡(luò)流量攻擊安全事件。這兩種方法都基于深度學(xué)習(xí)的思想，即通過端到端的深層網(wǎng)絡(luò)方式設(shè)計并實現(xiàn)，在特征設(shè)計方法舉步不前的情況下都取得了良好的收益，是目前我國主流的網(wǎng)絡(luò)流量檢測方法[1-4]。

2 網(wǎng)絡(luò)流量檢測與深度學(xué)習(xí)

2.1 常見的網(wǎng)絡(luò)攻擊與網(wǎng)絡(luò)流量異常檢測

網(wǎng)絡(luò)攻擊即在未得到授權(quán)的情況下偷取或訪問計算機中的數(shù)據(jù)，進而造成破壞，修改或使服務(wù)器原有的某種功能失效。常見的網(wǎng)絡(luò)攻擊分為3 類：一是偵察跟蹤攻擊：盜取目標計算機的各種信息；二是訪問攻擊：利用系統(tǒng)漏洞獲取主機控制權(quán)限；三是拒絕服務(wù)（Denial of Service，DoS） 攻擊：利用大量鏈接請求耗盡網(wǎng)絡(luò)服務(wù)資源，使計算機正常服務(wù)環(huán)境崩潰。網(wǎng)絡(luò)流量異常檢測則是通過應(yīng)用各種異常檢測技術(shù)分析網(wǎng)絡(luò)流量，以提前發(fā)現(xiàn)網(wǎng)絡(luò)攻擊行為。

2.2 常見的網(wǎng)絡(luò)流量檢測技術(shù)

信號處理技術(shù)為較成熟的主流網(wǎng)絡(luò)流量檢測方式，其核心思想是對各類信號按照想要得到的結(jié)果進行分類和提取，分別利用一維數(shù)組和二維數(shù)組對單鏈和多鏈進行數(shù)據(jù)處理。

由信號處理技術(shù)又衍生出一種頻譜分析技術(shù)，借助傅里葉變換轉(zhuǎn)化為頻率域信號，該技術(shù)能夠通過分析頻率變化（即時間區(qū)間中的突發(fā)奇異點） 來確定異常的位置，擁有較高的準確性和靈活性。

分類技術(shù)和聚類技術(shù)統(tǒng)稱為數(shù)據(jù)挖掘技術(shù)。分類技術(shù)與早期的統(tǒng)計分析法思想類似，即通過正常網(wǎng)絡(luò)流量與異常網(wǎng)絡(luò)流量特征的不同而建立模型，常見的分類技術(shù)為K 最鄰近（K-Nearest Neighbor，KNN） 算法和支持向量機（Support Vector Machine，SVM） 算法；聚類技術(shù)則是對數(shù)據(jù)進行標準化處理，選取相似的部分進行集中分類，探究潛在的相似性。

神經(jīng)網(wǎng)絡(luò)異常檢測技術(shù)及其模型以深度學(xué)習(xí)為核心思想，是近年來的主要研究方向。先構(gòu)建檢測器對流量數(shù)據(jù)進行預(yù)處理，將正常網(wǎng)絡(luò)流量的數(shù)字特征轉(zhuǎn)化為數(shù)據(jù)網(wǎng)絡(luò)模型，再對當(dāng)前的流量情況進行具體分析，得出穩(wěn)健性高、自適性好的結(jié)果，并且可以通過對實數(shù)編碼的優(yōu)化提高工作效率。

本文介紹的SDA 算法和LSTM 算法都由深度學(xué)習(xí)為主要思想，建立不同的網(wǎng)絡(luò)流量模型以尋求實時高效的網(wǎng)絡(luò)流量異常檢測方法，下面將圍繞深度學(xué)習(xí)對兩種算法展開探究與討論。

2.3 深度學(xué)習(xí)思想

深度學(xué)習(xí)的發(fā)展歷程分為3 個階段：從最初1957 年，感知機的概念首次出現(xiàn)；再到20 世紀80年代，多層感知機和反向傳播算法提出；直到2006年，深度學(xué)習(xí)的核心理念——預(yù)訓(xùn)練概念提出，神經(jīng)網(wǎng)絡(luò)的研究成果得以百花齊放。深度學(xué)習(xí)理論的發(fā)展，離不開科技的飛速進步和數(shù)學(xué)家們提出的算法改良。

所謂深度學(xué)習(xí)，便是搭建擁有高速計算能力的深層神經(jīng)網(wǎng)絡(luò)以取代人工設(shè)計，直接通過特征學(xué)習(xí)的方法分析數(shù)據(jù)并以高層特征表示，最后進行分類等計算。這種端到端的形式可以避免冗雜且容易產(chǎn)生錯誤的人工設(shè)計，在各個行業(yè)和科技領(lǐng)域都曾被廣泛應(yīng)用。

3 SDA 算法模型的網(wǎng)絡(luò)流量異常檢測方法

3.1 算法需求分析

網(wǎng)絡(luò)流量檢測大致可分為3 個模塊：首先，對網(wǎng)絡(luò)流量數(shù)據(jù)進行預(yù)處理，以提取特征向量；其次，由輸入層轉(zhuǎn)到隱藏層，用不同的算法對其進行尋優(yōu)，提取網(wǎng)絡(luò)流量深度特征；最后，根據(jù)特征值用分類器辨別正常網(wǎng)絡(luò)流量與異常網(wǎng)絡(luò)流量。

由于常規(guī)的單階段SDA 算法采用單階段尋優(yōu)而影響了輸入層的效率，使提取特征的能力受到制約，因此本文在此基礎(chǔ)上介紹了一種基于粒子群優(yōu)化（Particle Swarm Optimization，PSO） 算法的兩階段SDA 算法，分別進行層數(shù)尋優(yōu)和每層節(jié)點數(shù)尋優(yōu)，二者共同組成了網(wǎng)絡(luò)流量特征學(xué)習(xí)，大大提高了網(wǎng)絡(luò)流量特征提取的準確性。

3.2 算法總體設(shè)計

第一階段為層數(shù)尋優(yōu)，首先對PSO 算法進行初始化，規(guī)定每個粒子的局部最優(yōu)值，并根據(jù)數(shù)據(jù)得出全局最優(yōu)值，迭代并刷新粒子數(shù)值，由SDA 生成隱藏層；然后計算適應(yīng)值并得出對應(yīng)的局部最優(yōu)值和全局最優(yōu)解，將時間循環(huán)至最大次數(shù)后，將最優(yōu)值輸出給SDA，使其分析出節(jié)點數(shù)和隱藏層。

第二階段為節(jié)點數(shù)尋優(yōu)，根據(jù)隱藏層層數(shù)設(shè)置n 維空間并進行粒子初始化，得出每個向量對應(yīng)的局部最優(yōu)值和全局最優(yōu)解，迭代完成后刷新向量元素值，將值賦給SDA，計算隱藏層包含的節(jié)點數(shù)和粒子適應(yīng)值，并得出新的最優(yōu)值和粒子全局最優(yōu)向量，將時間循環(huán)至最大次數(shù)后，得出最優(yōu)全局向量，至此便完成了對SDA 結(jié)構(gòu)的分析，可以進行網(wǎng)絡(luò)流量深度特征學(xué)習(xí)環(huán)節(jié)。

在得到的SDA 結(jié)構(gòu)的基礎(chǔ)上，用批梯度下降（Batch Gradient Descent，BGD） 算法對其進行無監(jiān)督逐層貪婪預(yù)訓(xùn)練，得到網(wǎng)絡(luò)流量深度特征。在訓(xùn)練進行時，采用xavier 神經(jīng)網(wǎng)絡(luò)參數(shù)初始化方法，在迭代完成后根據(jù)向量位置更新SDA 結(jié)構(gòu)每層節(jié)點數(shù)，并返回最優(yōu)結(jié)構(gòu)。逐層迭代完成后，即可得到訓(xùn)練后的網(wǎng)絡(luò)流量深度特征。

采取softmax 分類器對網(wǎng)絡(luò)流量異常檢測進行構(gòu)建。首先，將由最優(yōu)SDA 算法結(jié)構(gòu)得出的網(wǎng)絡(luò)流量深度特征傳給softmax 分類器，分析并輸出樣本的類別；其次，利用交叉熵代價函數(shù)進行訓(xùn)練（包含于最小化式），得出基于網(wǎng)絡(luò)流量異常檢測分類器的新規(guī)則；最后，再次調(diào)整SDA 結(jié)構(gòu)，以提高準確性和對異常網(wǎng)絡(luò)流量的檢測能力。

3.3 算法結(jié)果分析

兩階段SDA 算法的準確性明顯高于單階段SDA 算法，檢測率有較大提升，誤報率明顯下降。由于網(wǎng)絡(luò)流量特征提取效率的提升使得異常檢測模型的結(jié)構(gòu)得到了改善，因此穩(wěn)健性得以提高，使整體模型結(jié)構(gòu)面對突發(fā)性網(wǎng)絡(luò)攻擊的威脅抗性得到大幅增強，證明了多階段SDA 算法的優(yōu)越性。

4 LSTM 算法模型的網(wǎng)絡(luò)流量異常檢測方法

4.1 算法與模型概述

和SDA 算法模型類似，LSTM 算法模型網(wǎng)絡(luò)流量檢測同樣分為3 個模塊：首先，進行預(yù)處理，在雜亂的網(wǎng)絡(luò)流量數(shù)據(jù)中提取出網(wǎng)絡(luò)流量單元，該部分又分為對數(shù)據(jù)包的特征分析和對網(wǎng)絡(luò)流的特征分析，其中序列結(jié)構(gòu)由流量byte 和數(shù)據(jù)包向量構(gòu)成。其次，轉(zhuǎn)換數(shù)據(jù)編碼，然后利用特征學(xué)習(xí)分析網(wǎng)絡(luò)流量，將編碼改寫為向量形式，也是模型的核心和算法的主要部分；最后，使用分類器對向量進行分類，得到最終結(jié)果。下面分別予以具體分析。

4.2 算法總體設(shè)計

在packet capture 被劃分為網(wǎng)絡(luò)流后，開始進行特征分析，之所以分為這兩個階段，是為了針對不同的數(shù)據(jù)結(jié)構(gòu)而給出更加清晰的架構(gòu)方案，同時為了避免由于網(wǎng)絡(luò)流的局限性而漏掉大量數(shù)據(jù)包信息的情況，便于提高全面性，并且在處理時具有時效性，相對降低了冗雜性，使得整個系統(tǒng)的靈活性大大提高。

在網(wǎng)絡(luò)流內(nèi)時序特征學(xué)習(xí)階段，讓向量序列重復(fù)第一階段的操作，利用構(gòu)建的神經(jīng)網(wǎng)絡(luò)排列整體序列，并用特征學(xué)習(xí)的方法加以分析，時間分布層可以作為第一階段轉(zhuǎn)為第二階段的工具，使網(wǎng)絡(luò)層變?yōu)樘幚韺樱⒆罱K得到一串網(wǎng)絡(luò)流向量。該向量包括了所有有價值的結(jié)構(gòu)化信息，便于從宏觀層面上分析網(wǎng)絡(luò)流量數(shù)據(jù)特征。最后再以softmax 分類器進行分類，至此便完成了分類階段。

4.3 特征學(xué)習(xí)的實現(xiàn)

在分類階段完成后，將通過機器學(xué)習(xí)的方式進行網(wǎng)絡(luò)流量異常檢測，實現(xiàn)自動學(xué)習(xí)網(wǎng)絡(luò)流量的時空特征的功能。大致步驟為：首先，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN） 算法學(xué)習(xí)數(shù)據(jù)包中的空間特征，并將其轉(zhuǎn)化為2D 圖像形式；其次，通過LSTM 算法學(xué)習(xí)時間特征，系統(tǒng)將得到的時空特征歸納并用作網(wǎng)絡(luò)流量檢測的基準。

CNN 算法學(xué)習(xí)空間特征的階段可分為兩個步驟：首先，用CNN 算法思想和One-Hot 編碼將網(wǎng)絡(luò)流字節(jié)轉(zhuǎn)化為2D 圖像，該圖像通過池化和卷積變?yōu)樘卣飨蛄?；其次，對?shù)據(jù)包進行相同的步驟，使其變?yōu)槟軌蛱崛√卣鞯臄?shù)據(jù)包向量，最后將兩部分向量合并成一個整體向量，完成空間特征學(xué)習(xí)。

最后使用softmax 分類器。softmax 分類器用于對自動學(xué)習(xí)的流量特征進行分析檢測，得出結(jié)果，該模型的設(shè)計比常規(guī)的深度學(xué)習(xí)方法誤報率更低，且避免了不必要的人工操作。

5 結(jié)束語

本文共介紹了兩種網(wǎng)絡(luò)入侵檢測方法，旨在分析預(yù)防網(wǎng)絡(luò)流量攻擊的主流方式，如CNN 算法、SDA 算法和LSTM 算法，它們各有優(yōu)勢卻難以互補。盡管在深度學(xué)習(xí)的基礎(chǔ)上，復(fù)雜的算法和架構(gòu)設(shè)計得以實現(xiàn)，在網(wǎng)絡(luò)攻擊的預(yù)防中取得了一定成效，但在網(wǎng)絡(luò)關(guān)系日益復(fù)雜的情況下，對不定時惡意攻擊的檢測必須具有更高的學(xué)習(xí)能力和特征分析能力，這離不開密鑰技術(shù)和計算機技術(shù)等各方面的進步，未來的檢測技術(shù)也需要更高效的分類器和更高明的算法，希望在不久的將來神經(jīng)網(wǎng)絡(luò)技術(shù)能夠發(fā)展到人類無需干預(yù)的地步，屆時異常網(wǎng)絡(luò)流量的攻擊將不再是制約網(wǎng)絡(luò)發(fā)展的一大難題。