基于多層雙向SRU 與注意力模型的加密流量分類方法

張穌榮，卜佑軍，陳 博，孫重鑫，王 涵，胡先君

（1.中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)信息技術(shù)研究所，鄭州 450000；2.網(wǎng)絡(luò)通信與安全紫金山實(shí)驗(yàn)室內(nèi)生安全研究中心，南京 211100）

0 概述

流量分類是網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全領(lǐng)域的一項(xiàng)重要任務(wù)，在服務(wù)質(zhì)量保證、網(wǎng)絡(luò)規(guī)劃、入侵檢測(cè)、網(wǎng)絡(luò)監(jiān)控、流量趨勢(shì)分析等領(lǐng)域發(fā)揮著重要作用［1］。隨著互聯(lián)網(wǎng)用戶對(duì)隱私和安全的日益關(guān)注，非加密的數(shù)據(jù)傳輸方式逐漸被加密傳輸方式所取代，加密網(wǎng)絡(luò)流量在互聯(lián)網(wǎng)中所占的比例逐年上升［2］。但是，加密流量在保護(hù)用戶隱私與安全的同時(shí)，給網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全帶來(lái)了巨大的挑戰(zhàn)，原因是加密后所有的通信內(nèi)容都是隨機(jī)的，導(dǎo)致深度數(shù)據(jù)包檢測(cè)（Deep Packet Inspection，DPI）［3］等傳統(tǒng)流量分類方法失效［4］。因此，對(duì)加密流量進(jìn)行有效分類成為工業(yè)界和學(xué)術(shù)界關(guān)注的焦點(diǎn)問題。

將特征工程與機(jī)器學(xué)習(xí)算法相結(jié)合，一度成為加密流量分類的主流方法。特征工程是指人工提取和選擇加密流量的統(tǒng)計(jì)特征，如最大數(shù)據(jù)包長(zhǎng)度、平均傳輸時(shí)間等，將其作為機(jī)器學(xué)習(xí)模型的輸入。這種方法在很大程度上依賴于專家經(jīng)驗(yàn)，耗時(shí)耗力，且往往不能產(chǎn)生令人滿意的分類結(jié)果［5］。相比于這種步驟分散的處理方法，將加密流量分類的所有過程集成于一體的深度學(xué)習(xí)方法受到了研究人員的青睞。深度學(xué)習(xí)方法將特征提取與模型訓(xùn)練結(jié)合成一個(gè)統(tǒng)一的端到端模型［6］，直接從原始流量中自動(dòng)學(xué)習(xí)特征并進(jìn)行分類。雖然基于深度學(xué)習(xí)的加密流量分類能夠避免繁雜的人工操作，但是大多數(shù)常用的模型較少考慮效率問題，它們使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)來(lái)保證結(jié)果的高精度，導(dǎo)致模型訓(xùn)練和測(cè)試時(shí)間較長(zhǎng)。如何在保證分類精度的同時(shí)盡可能提高模型的運(yùn)行速度以提升其分類效率，是一個(gè)值得關(guān)注的問題。

本文提出一種基于多層雙向簡(jiǎn)單循環(huán)單元［7］與注意力（Multi-Layer Bidirectional Simple Recurrent Unit and Attention，MLBSRU-A）模型的加密流量分類方法，并基于公開數(shù)據(jù)集ISCX VPN-nonVPN 和USTC-TFC 2016 來(lái)驗(yàn)證MLBSRU-A 模型的有效性。

1 相關(guān)工作

近年來(lái)，傳統(tǒng)的機(jī)器學(xué)習(xí)方法在加密流量分類領(lǐng)域取得了突出的成果［8-10］，但是其核心步驟（即特征提取和特征選擇）嚴(yán)重依賴于專家經(jīng)驗(yàn)，不僅成本較高，而且容易出錯(cuò)。為解決基于機(jī)器學(xué)習(xí)模型的加密流量分類方法中存在的問題，研究人員提出基于深度學(xué)習(xí)的加密流量分類方法。王偉等［6］提出一種基于一維卷積神經(jīng)網(wǎng)絡(luò)（One-Dimensional Convolutional Neural Network，1D-CNN）的端到端加密流量分類方法，其將特征提取、特征選擇和分類器集成到一個(gè)統(tǒng)一的框架中，從而自動(dòng)學(xué)習(xí)原始輸入和期望輸出之間的非線性關(guān)系。隨后，基于CNN［11-13］、堆疊自動(dòng)編碼器（Stacked Auto-Encoder，SAE）［11］等深度學(xué)習(xí)模型的加密流量分類方法陸續(xù)被提出。

網(wǎng)絡(luò)流量數(shù)據(jù)具有時(shí)間序列屬性，因此，除CNN外，具有強(qiáng)大序列建模能力的RNN［14］也受到學(xué)者們的關(guān)注。ZOU 等［15］提出一種新的深度神經(jīng)網(wǎng)絡(luò)，將CNN和長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）模型相結(jié)合，以提高分類結(jié)果的準(zhǔn)確性，其中CNN 用于學(xué)習(xí)網(wǎng)絡(luò)流量的低層次空間特征，LSTM 網(wǎng)絡(luò)用于學(xué)習(xí)高層次時(shí)間特征。文獻(xiàn)［16-18］都將LSTM 與其他深度學(xué)習(xí)模型相結(jié)合，從而更全面地提取流量特征。

目前，在加密流量分類領(lǐng)域，計(jì)算量更小的門控循環(huán)單元（Gated Recurrent Unit，GRU）［19］逐漸替代LSTM。文獻(xiàn)［20］提出一種用于加密流量分類的流序列網(wǎng)絡(luò)，稱為FS-Net，其使用雙向GRU（Bidirectional-GRU，Bi-GRU）網(wǎng)絡(luò)來(lái)提取報(bào)文長(zhǎng)度序列中的隱藏信息。隨著注意力機(jī)制在自然語(yǔ)言處理領(lǐng)域的成功應(yīng)用，越來(lái)越多的學(xué)者將GRU 和注意力機(jī)制相結(jié)合以進(jìn)行加密流量分類。LIU 等［21］利用Bi-GRU 和注意力機(jī)制構(gòu)建一個(gè)用于HTTPs 流量分類的深度學(xué)習(xí)模型，稱為BGRUA。其中，Bi-GRU 用于提取會(huì)話中字節(jié)序列的前向和后向特征，并采用注意力機(jī)制根據(jù)特征對(duì)分類的貢獻(xiàn)大小來(lái)分配權(quán)重。實(shí)驗(yàn)結(jié)果表明，BGRUA 在準(zhǔn)確率、精確率、召回率和F1 分?jǐn)?shù)上都有較好的表現(xiàn)。類似地，文獻(xiàn)［22-23］也使用GRU 模型與注意力機(jī)制進(jìn)行加密流量檢測(cè)。

盡管上述研究都取得了較好的結(jié)果，但是大多沒有考慮RNN 模型普遍存在的梯度消失、并行性差等問題，這些缺陷將導(dǎo)致RNN 模型效率較低、準(zhǔn)確率下降以及訓(xùn)練速度減慢，從而限制了它們對(duì)加密流量的分類能力。

2 SRU 模型

RNN 模型通過引入記憶單元來(lái)處理序列之間的時(shí)序關(guān)聯(lián)性，它是序列信息分析中最常用的模型之一［20］。但是，傳統(tǒng)RNN 模型（如LSTM［24］、GRU［19］等）必須等待對(duì)上一時(shí)刻輸出狀態(tài)全部完成計(jì)算后才能對(duì)當(dāng)前時(shí)刻輸出狀態(tài)進(jìn)行計(jì)算，即無(wú)法實(shí)現(xiàn)并行計(jì)算，這種前后時(shí)間步之間的依賴性使得循環(huán)網(wǎng)絡(luò)的運(yùn)行效率低于其他模型。

為了提高RNN 的訓(xùn)練速度，LEI 等［7］在LSTM和GRU 的基礎(chǔ)上提出SRU，如圖1 所示。SRU 單元包含遺忘門ft和重置門rt，利用單元狀態(tài)ct在所有時(shí)間步上傳遞信息，最終輸出隱藏狀態(tài)ht。在時(shí)間步t處，SRU 結(jié)構(gòu)涉及的所有計(jì)算如式（1）～式（4）所示：

圖1 SRU 結(jié)構(gòu)Fig.1 SRU structure

其中：σ為Sigmoid 函 數(shù)；Wf、W和Wr是需要學(xué)習(xí)的權(quán)重矩陣；xt是時(shí)間步t處的輸入數(shù)據(jù)；vf、vr、br和bf是訓(xùn)練期間要學(xué)習(xí)的參數(shù)向量；⊙表示Hadamard 乘積，即元素對(duì)應(yīng)乘積而非矩陣乘積。

與常見的RNN 模型相比，SRU 最大的不同之處在于其具有高度并行化的序列建模能力，且兼具改善梯度消失問題的能力。SRU 具有如下特點(diǎn)：

1）將門控計(jì)算中常用的參數(shù)矩陣替換為參數(shù)向量，同時(shí)將矩陣乘法替換為Hadamard 乘積，通過這種簡(jiǎn)化，ct和ft的每個(gè)維度都變得獨(dú)立，即使只知道ct-1中的一個(gè)維度值，也可以直接算出ct和ft這一個(gè)對(duì)應(yīng)維度上的值，無(wú)須等待ct-1全部計(jì)算完畢。因此，可以實(shí)現(xiàn)維度上的并行化，且并不影響RNN 模型在時(shí)間上串行計(jì)算的本質(zhì)。

2）對(duì)于式（1）～式（3）中存在的矩陣乘法Wf xt、Wxt和Wr xt，在所有時(shí)間步上進(jìn)行批量處理。假設(shè)輸入序列維度為D，長(zhǎng)度為L(zhǎng)，隱藏層維度為d，則批處理乘法如式（5）所示：

其中：W，Wf，Wr∈Rd×D；U∈RL×3d。那么對(duì)于一個(gè)批次中的B個(gè)樣本，可以先計(jì)算得到張量U(L，B，3d)，在之后每個(gè)時(shí)間步的計(jì)算中只需查表就可以完成，這樣操作能夠顯著提高計(jì)算效率。

3）在計(jì)算隱藏狀態(tài)ht時(shí)采用跳躍連接方式，直接將輸入xt納入計(jì)算，類似于殘差連接，可以改善反向傳播過程中的梯度消失問題，打破網(wǎng)絡(luò)的對(duì)稱性［25］，從而提升網(wǎng)絡(luò)的表征能力。

上述特點(diǎn)使得SRU 能夠快速處理序列信息，符合網(wǎng)絡(luò)管理和網(wǎng)絡(luò)安全領(lǐng)域中各項(xiàng)工作對(duì)加密流量準(zhǔn)確快速分類的要求。因此，本文選擇SRU 網(wǎng)絡(luò)對(duì)加密流量進(jìn)行特征提取。在下文中，使用如式（6）所示的方程來(lái)簡(jiǎn)要表達(dá)SRU 中隱藏狀態(tài)的更新：

其中：ct-1表示上一時(shí)刻的單元狀態(tài)；xt表示當(dāng)前時(shí)刻的輸入數(shù)據(jù)。

3 基于MLBSRU-A 模型的加密流量分類方法

本文基于MLBSRU-A 模型的加密流量分類方法使用端到端的模型架構(gòu)，如圖2 所示，該方法將特征學(xué)習(xí)和分類統(tǒng)一到同一模型中，無(wú)需人工進(jìn)行額外的特征提取。首先，對(duì)原始流量數(shù)據(jù)集進(jìn)行預(yù)處理，包括流量分割、數(shù)據(jù)清洗、長(zhǎng)度統(tǒng)一、數(shù)據(jù)歸一化、矩陣變換等步驟；然后，將預(yù)處理后的數(shù)據(jù)輸入到特征提取層中，輸出每個(gè)時(shí)間步上隱藏狀態(tài)的集合作為特征向量；之后，將特征向量輸入到注意力層中，計(jì)算每個(gè)特征的權(quán)重值，并輸出加權(quán)后的流特征向量；最后，將注意力層輸出的加權(quán)流特征向量輸入到全連接層中，得到該輸入數(shù)據(jù)屬于各類標(biāo)簽的概率，概率值最高的類別即為模型產(chǎn)生的分類結(jié)果。

圖2 基于MLBSRU-A 模型的加密流量分類方法整體架構(gòu)Fig.2 Overall architecture of encrypted traffic classification method based on MLBSRU-A model

3.1 數(shù)據(jù)預(yù)處理層

以pcap 格式存儲(chǔ)的原始流量數(shù)據(jù)作為數(shù)據(jù)預(yù)處理層的輸入，經(jīng)過流量分割、數(shù)據(jù)清洗等步驟后，得到包含可用信息的流矩陣。具體步驟如下：

1）流量分割。為了區(qū)分不同應(yīng)用程序或網(wǎng)站產(chǎn)生的流量，需要按照五元組信息將原始流量分為不同的雙向流。其中，流定義為一組具有相同五元組（源IP、目的IP、源端口、目的端口、傳輸層協(xié)議）的數(shù)據(jù)包，而雙向流中數(shù)據(jù)包五元組的源IP 和目的IP、源端口和目的端口可以交換。在下文中將雙向流簡(jiǎn)稱為流。

2）數(shù)據(jù)清洗。刪除數(shù)據(jù)包中對(duì)于流量分類而言有效信息較少的以太網(wǎng)報(bào)頭；將數(shù)據(jù)包中的IP 地址用零來(lái)代替，以消除由隨機(jī)端口分配、網(wǎng)絡(luò)地址轉(zhuǎn)換等技術(shù)造成的混淆。此外，還需刪除流中包含的空數(shù)據(jù)包和重復(fù)數(shù)據(jù)包，以避免它們對(duì)模型學(xué)習(xí)過程造成干擾。

3）長(zhǎng)度統(tǒng)一。由于模型要求所有輸入數(shù)據(jù)的長(zhǎng)度相同，因此取每條流的前n字節(jié)（本文規(guī)定n為50的倍數(shù)）作為輸入。如果流長(zhǎng)度大于n，則截?cái)?；反之，則補(bǔ)零（0x00）至n字節(jié)。

4）數(shù)據(jù)歸一化。為了減小輸入數(shù)據(jù)數(shù)值范圍對(duì)模型訓(xùn)練的影響，將流數(shù)據(jù)進(jìn)行歸一化處理，流的每一字節(jié)都被轉(zhuǎn)換成一個(gè)［0，1］范圍內(nèi)的整數(shù)，此時(shí)流數(shù)據(jù)被轉(zhuǎn)換為長(zhǎng)度為n的向量f。

5）矩陣變換。SRU網(wǎng)絡(luò)在每一時(shí)間步處輸入的維度是固定的，本文將其設(shè)置為50，這意味著在每一時(shí)間步將有50個(gè)字節(jié)的流數(shù)據(jù)輸入到SRU網(wǎng)絡(luò)中。為此，需要將流向量f進(jìn)行維度變換，轉(zhuǎn)換成流矩陣x=[x1，x2，…，xN]，其中，N=，xi∈R50，i∈[1，N]，x∈R50×N。

3.2 特征提取層

經(jīng)過M層雙向SRU 網(wǎng)絡(luò)的特征提取過程，特征向量hN高度聚合了整條流的雙向上下文信息，能夠使模型更準(zhǔn)確地對(duì)流量進(jìn)行分類。

3.3 注意力層

對(duì)于一條流而言，并非所有字節(jié)都對(duì)分類起到同樣重要的作用。為了使流中相對(duì)重要的信息能對(duì)分類結(jié)果產(chǎn)生較大的影響，本文引入注意力機(jī)制［26］，如圖3所示。

圖3 注意力層計(jì)算過程Fig.3 Attention layer calculation process

在注意力機(jī)制中，核心操作是各元素的權(quán)重計(jì)算。本文將特征提取層輸出的特征向量hN作為注意力層的輸入，通過將每個(gè)時(shí)間步上的隱藏狀態(tài)進(jìn)行加權(quán)求和，得到流特征向量s，如式（12）所示：

αt是的權(quán)重系數(shù)，計(jì)算方法如式（13）所示：

et是通過一個(gè)前饋神經(jīng)網(wǎng)絡(luò)層生成的隱藏表示，計(jì)算如下：

其中：Wh和bh分別為權(quán)重矩陣和偏差。

3.4 全連接層

全連接層以注意力層輸出的特征向量s作為輸入，通過線性變換將其映射到樣本標(biāo)記空間Rc中，以獲得向量v∈Rc，其中，c是流量類別總數(shù)。向量v輸入到Softmax 函數(shù)中，得到該條流屬于各類別的概率值，取概率值最大的類別作為最終的分類結(jié)果。Softmax 函數(shù)如式（15）所示：

其中：pi是輸入樣本屬于類別i的概率；vi∈v為(-∞，+∞)范圍內(nèi)的實(shí)數(shù)，又稱該條數(shù)據(jù)對(duì)應(yīng)于各個(gè)類別的分?jǐn)?shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了使實(shí)驗(yàn)具有更高的可信度，本文基于2 個(gè)公共流量數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：

1）數(shù)據(jù)集A 是基于ISCX VPN-nonVPN 數(shù)據(jù)集［27］所生成，ISCX VPN-nonVPN 數(shù)據(jù)集有7 種常規(guī)加密流量和7 種協(xié)議封裝流量，但是其中6 種加密流量都與網(wǎng)頁(yè)瀏覽有關(guān)，因此，本文參照文獻(xiàn)［6］放棄網(wǎng)頁(yè)瀏覽這類流量。數(shù)據(jù)集A 的具體信息如表1 所示。

表1 數(shù)據(jù)集A 具體信息Table 1 Specific information of dataset A

2）數(shù)據(jù)集B 是USTC-TFC 2016 數(shù)據(jù)集，由王偉等［28］創(chuàng)建，包含10 類正常加密流量和10 類惡意加密流量，具體信息如表2 所示。

表2 數(shù)據(jù)集B 具體信息Table 2 Specific information of dataset B

4.2 對(duì)比模型

為了對(duì)MLBSRU-A 模型的性能進(jìn)行驗(yàn)證，本文選擇4 個(gè)關(guān)聯(lián)性較強(qiáng)的模型進(jìn)行對(duì)比：

1）BLSTMA 模型［29］，通過將Bi-LSTM 與注意力機(jī)制相結(jié)合，提取流中的數(shù)據(jù)包序列信息，并通過注意力機(jī)制，根據(jù)每個(gè)數(shù)據(jù)包特征對(duì)分類的貢獻(xiàn)大小來(lái)對(duì)其分配權(quán)重。

2）BGRUA 模型［21］，采用Bi-GRU 網(wǎng)絡(luò)提取會(huì)話中的雙向字節(jié)序列信息，同時(shí)結(jié)合注意力機(jī)制來(lái)提高HTTPS 流量分類的準(zhǔn)確性。

3）1D-CNN 模型［6］，將特征選擇、特征提取、分類器與1D-CNN 整合到一個(gè)統(tǒng)一的端到端框架中，旨在自動(dòng)學(xué)習(xí)原始輸入和期望輸出之間的非線性關(guān)系，該模型也是第一次將端到端方法應(yīng)用于加密流量分類領(lǐng)域。

4）CNN+LSTM 模型［15］，將卷積網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)相結(jié)合，以提高流量分類的準(zhǔn)確性。其中，CNN 用于提取單個(gè)數(shù)據(jù)包的特征，LSTM 以流中任意3 個(gè)連續(xù)數(shù)據(jù)包的包特征作為輸入來(lái)提取流特征。

4.3 評(píng)價(jià)指標(biāo)與實(shí)驗(yàn)環(huán)境

本文采用4 個(gè)指標(biāo)對(duì)模型進(jìn)行性能評(píng)估，分別為準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）以及F1 分?jǐn)?shù)（F1_score）。對(duì)于多分類問題，將每個(gè)類和剩余類樣本視為一個(gè)二元分類，即可直接計(jì)算出每種類型的精確率和召回率。4 個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式分別如下：

其中：TP、FP、TN和FN分別為真陽(yáng)性、假陽(yáng)性、真陰性及假陰性；準(zhǔn)確率表示樣本被正確分類的比例；精確率表示在所有被預(yù)測(cè)為正的樣本中實(shí)際為正的樣本所占的比例；召回率表示在實(shí)際為正的樣本中被預(yù)測(cè)為正的樣本所占的比例；F1 分?jǐn)?shù)是精確率和召回率的調(diào)和平均，能夠同時(shí)兼顧這2 種指標(biāo)。

本文實(shí)驗(yàn)環(huán)境與配置具體如表3 所示。

表3 實(shí)驗(yàn)環(huán)境與配置Table 3 Experimental environment and configuration

4.4 結(jié)果分析

4.4.1 MLBSRU-A 模型參數(shù)選擇與分析

調(diào)參是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)重要步驟，在訓(xùn)練階段，通過改變每個(gè)超參數(shù)來(lái)估計(jì)參數(shù)梯度，并根據(jù)準(zhǔn)確率的變化來(lái)決定超參數(shù)數(shù)值的增大或減小，使得模型達(dá)到最優(yōu)性能。本節(jié)基于數(shù)據(jù)集A 中的6 類常規(guī)加密流量分別進(jìn)行實(shí)驗(yàn)，使用準(zhǔn)確率作為度量標(biāo)準(zhǔn)以確定最佳超參數(shù)值，從而實(shí)現(xiàn)分類精度和效率之間的權(quán)衡。

1）每條流的字節(jié)數(shù)n和SRU 網(wǎng)絡(luò)的堆疊層數(shù)M

在3.1 節(jié)提到，本文將每條流的長(zhǎng)度固定為n字節(jié)（設(shè)置n為50 的倍數(shù)），以滿足模型對(duì)輸入數(shù)據(jù)的要求，同時(shí)將SRU 網(wǎng)絡(luò)堆疊M層，以提取流量的高階特征。本文將n的取值范圍設(shè)置為［50，1 000］，步長(zhǎng)為50，同時(shí)將M的取值范圍設(shè)置為［1，5］，分別進(jìn)行實(shí)驗(yàn)以觀察不同n值及M值對(duì)模型分類結(jié)果的影響，從而確定兩者的最佳取值。在該實(shí)驗(yàn)中，使用準(zhǔn)確率作為性能評(píng)估指標(biāo)，實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 不同n 值對(duì)應(yīng)的模型分類準(zhǔn)確率Fig.4 Model classification accuracy corresponding to different n values

每條流包含的字節(jié)數(shù)和SRU 網(wǎng)絡(luò)堆疊層數(shù)對(duì)模型分類性能有重要影響，從圖4 可以看出，隨著每條流中包含字節(jié)數(shù)n的增加，模型的準(zhǔn)確率不斷提高，直至n=500 左右模型收斂，準(zhǔn)確率達(dá)到最高后幾乎不再變化，因此，本文將每條流中包含的字節(jié)數(shù)n確定為500。此外，可以看到，當(dāng)M=1（即模型中Bi-SRU 網(wǎng)絡(luò)只有一層）時(shí)，模型分類準(zhǔn)確率較低，最終只能達(dá)到0.92 左右；當(dāng)M≥2（即模型中Bi-SRU 網(wǎng)絡(luò)大于等于兩層）時(shí)，準(zhǔn)確率較M=1 時(shí)有明顯提升。但是，值得注意的是，當(dāng)M≥2 時(shí)，更多的堆疊層數(shù)并不會(huì)帶來(lái)模型性能的更大提升，這表明兩層Bi-SRU網(wǎng)絡(luò)能夠提取充分的加密流量特征，因此，本文最終將SRU 網(wǎng)絡(luò)堆疊層數(shù)M確定為2。

2）學(xué)習(xí)率lr

依照上一節(jié)的實(shí)驗(yàn)結(jié)果，本文將每條流的字節(jié)數(shù)n設(shè)置為500，SRU 網(wǎng)絡(luò)堆疊層數(shù)M設(shè)置為2。另外，設(shè)置epoch=100，lr取值范圍設(shè)置為［0.000 1，0.001，0.01］，然后基于數(shù)據(jù)集A 中的6 類常規(guī)加密流量再次進(jìn)行實(shí)驗(yàn)，以觀察模型準(zhǔn)確率隨訓(xùn)練輪次epoch 和學(xué)習(xí)率lr的變化情況，從而確定學(xué)習(xí)率的最佳取值。圖5 所示為不同學(xué)習(xí)率下模型的準(zhǔn)確率變化情況。從圖5 可以看出，當(dāng)學(xué)習(xí)率為0.000 1 時(shí)，模型收斂速度最慢，在訓(xùn)練100 個(gè)epoch 后模型的準(zhǔn)確率仍然沒有達(dá)到穩(wěn)定，這是因?yàn)閷W(xué)習(xí)率是根據(jù)損失函數(shù)調(diào)整網(wǎng)絡(luò)權(quán)重程度的超參數(shù)，當(dāng)學(xué)習(xí)率較低時(shí)，損失函數(shù)的調(diào)整幅度較小，能夠確保模型不會(huì)錯(cuò)過局部最小值，但也意味著模型需要花費(fèi)很長(zhǎng)時(shí)間才能達(dá)到收斂，當(dāng)學(xué)習(xí)率設(shè)置為0.01 時(shí)，學(xué)習(xí)率曲線出現(xiàn)較大幅度的震蕩，這說(shuō)明該學(xué)習(xí)率過大，導(dǎo)致在訓(xùn)練過程中梯度在最小值附近的一個(gè)區(qū)域內(nèi)擺動(dòng)，模型難以收斂。在圖5 中，lr=0.001 時(shí)模型收斂最快，且準(zhǔn)確率曲線震蕩幅度很小，收斂后準(zhǔn)確率最高，因此，本文將學(xué)習(xí)率設(shè)置為0.001。

圖5 不同學(xué)習(xí)率下模型的準(zhǔn)確率Fig.5 Model accuracy with different learning rates

4.4.2 不同模型的加密流量分類性能對(duì)比與分析

為了驗(yàn)證MLBSRU-A模型的分類性能，本文基于數(shù)據(jù)集A設(shè)置4種實(shí)驗(yàn)場(chǎng)景，如表4所示。場(chǎng)景1為協(xié)議封裝流量與常規(guī)加密流量識(shí)別，這是一個(gè)二分類問題；場(chǎng)景2是協(xié)議封裝流量分類，包含6類以VPN協(xié)議封裝的加密流量；場(chǎng)景3是常規(guī)加密流量分類，也是一個(gè)六分類問題；場(chǎng)景4是加密流量分類，包含場(chǎng)景2和場(chǎng)景3中所涉及的12種加密流量，是一個(gè)十二分類問題。

表4 基于數(shù)據(jù)集A 的實(shí)驗(yàn)場(chǎng)景設(shè)置Table 4 Experimental scenes setting based on dataset A

基于上述場(chǎng)景將MLBSRU-A 模型與4.2 節(jié)所述的4 種模型進(jìn)行對(duì)比，在實(shí)驗(yàn)過程中，將MLBSRU-A模型的超參數(shù)分別設(shè)置為：每條流中包含的字節(jié)數(shù)n=500；SRU 網(wǎng)絡(luò)堆疊層數(shù)M=2；學(xué)習(xí)率lr=0.001；訓(xùn)練輪次epoch=50。

圖6 所示為上述4 種實(shí)驗(yàn)場(chǎng)景下各模型的準(zhǔn)確率、精確率、召回率和F1 分?jǐn)?shù)。從圖6 可以看出，在場(chǎng)景1 中，所有模型均可以有效解決二分類問題，且各模型在VPN 數(shù)據(jù)集上的效果都優(yōu)于nonVPN 數(shù)據(jù)集，造成該現(xiàn)象的一個(gè)合理解釋是，不同應(yīng)用類型的流量在協(xié)議封裝后產(chǎn)生了不同的分布，如文獻(xiàn)［6］中所述，這些類型間的分布差異為深度學(xué)習(xí)模型提供了更多可以學(xué)習(xí)和提取的有效特征，從而更準(zhǔn)確地對(duì)加密流量進(jìn)行分類。在所有場(chǎng)景中，1D-CNN 模型的性能最差，這是因?yàn)槠浣Y(jié)構(gòu)過于簡(jiǎn)單，無(wú)法提取足夠的特征來(lái)進(jìn)行分類，文獻(xiàn)［6］首次將深度學(xué)習(xí)用于加密流量分類領(lǐng)域，為該領(lǐng)域的后續(xù)研究工作提供了新的思路。

圖6 在4 種實(shí)驗(yàn)場(chǎng)景下各模型的分類性能Fig.6 Classification performance of each model under four experimental scenes

在場(chǎng)景2～場(chǎng)景4 中，本文MLBSRU-A 模型在所有指標(biāo)上都明顯優(yōu)于對(duì)比模型。在場(chǎng)景3 中，MLBSRU-A 模型的準(zhǔn)確率、精確率、召回率和F1 分?jǐn)?shù)分別達(dá)到99.33%、99.80%、99.75%和98.77%。值得注意的是，在更為復(fù)雜的十二分類場(chǎng)景中，MLBSRU-A 模型的準(zhǔn)確率依舊能達(dá)到99.08%，相比于BLSTMA 模型、BGRUA 模型、1D-CNN 模型及CNN+LSTM 模型分別提高了8.47%、4.34%、13.73%和10.17%。此外，在該場(chǎng)景中，本文模型的精確率、召回率和F1 分?jǐn)?shù)分別為98.8%、98.4%、98.6%，相比于其他對(duì)比模型有明顯提升，這可能是因?yàn)橄噍^于傳統(tǒng)的RNN 網(wǎng)絡(luò)，MLBSRU-A 模型通過門控機(jī)制及SRU 模塊中使用的跳躍連接有效地緩解了梯度消失問題，同時(shí)通過多層SRU 網(wǎng)絡(luò)堆疊有效且全面地提取加密流量的高階特征，然后利用注意力機(jī)制為重要的特征賦予更大的權(quán)重，從而提高了模型的整體分類性能。

為了更直觀地體現(xiàn)各場(chǎng)景下MLBSRU-A 模型對(duì)流量分類的準(zhǔn)確率，圖7 展示出4 個(gè)實(shí)驗(yàn)場(chǎng)景下模型的混淆矩陣。從混淆矩陣熱力圖可以看出，MLBSRU-A模型可以實(shí)現(xiàn)精準(zhǔn)無(wú)誤的二分類，在場(chǎng)景3中針對(duì)VPN數(shù)據(jù)集的六分類準(zhǔn)確率略高于場(chǎng)景2 中針對(duì)nonVPN數(shù)據(jù)集的六分類準(zhǔn)確率，這是因?yàn)樵趎onVPN 數(shù)據(jù)集中，模型在Email和Chat流量之間發(fā)生了混淆，即有4%的Chat 流量被錯(cuò)誤地識(shí)別為Email，而在VPN 數(shù)據(jù)集中流量之間的混淆程度很低，這也可以解釋各模型在VPN 數(shù)據(jù)集上的分類效果都優(yōu)于nonVPN 數(shù)據(jù)集這一現(xiàn)象?？傮w而言，無(wú)論是簡(jiǎn)單還是復(fù)雜的場(chǎng)景，本文MLBSRU-A 模型的性能均優(yōu)于其他模型，其在實(shí)現(xiàn)最佳分類效果的同時(shí)也具有一定的魯棒性。

圖7 不同場(chǎng)景下MLBSRU-A 模型的混淆矩陣Fig.7 Confusion matrix of MLBSRU-A model under different scenes

4.4.3 不同模型的效率對(duì)比與分析

本文從訓(xùn)練時(shí)間和測(cè)試時(shí)間2 個(gè)方面來(lái)評(píng)估模型的時(shí)間開銷。訓(xùn)練時(shí)間即模型基于訓(xùn)練集進(jìn)行訓(xùn)練的時(shí)間，其與迭代次數(shù)、模型規(guī)模以及實(shí)驗(yàn)硬件環(huán)境有關(guān)。測(cè)試時(shí)間是指用測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試的時(shí)長(zhǎng)，其與測(cè)試集大小、模型規(guī)模以及實(shí)驗(yàn)硬件環(huán)境有關(guān)。表5 所示為各模型在場(chǎng)景4 中完成50 個(gè)epoch 所需的訓(xùn)練時(shí)間、基于同一測(cè)試集的測(cè)試時(shí)間以及模型達(dá)到收斂狀態(tài)所用的時(shí)長(zhǎng)。從表5 可以看出，本文MLBSRU-A 模型基于數(shù)據(jù)集A 完成50 個(gè)epoch 所需的訓(xùn)練時(shí)間為492.29 s，是BLSTMA模型的65.64%、BGRUA 模型的71.62%、CNN+LSTM模型的18.83%，與結(jié)構(gòu)最簡(jiǎn)單的1D-CNN 模型所用時(shí)間幾乎相同，但其準(zhǔn)確率比1D-CNN 模型提升13.73%。從模型的收斂時(shí)長(zhǎng)來(lái)看，MLBSRU-A 模型收斂速度最快，所用時(shí)長(zhǎng)僅為BLSTMA 模型的38.69%、BGRUA 模型的44.62%、1D-CNN 模型的67.24%、CNN+LSTM 模型的9.28%。相較BLSTMA、BGRUA 等模型，MLBSRU-A 模型具有較快的收斂和測(cè)試速度，原因是其采用的SRU 模塊將矩陣乘積替換為Hadamard 乘積，能夠?qū)崿F(xiàn)維度上的并行化計(jì)算。此外，SRU 模塊中采用類似于殘差鏈接的跳躍鏈接，能夠有效緩解梯度消失問題，同時(shí)相較CNN模型其可訓(xùn)練參數(shù)較少，因此，MLBSRU-A 模型在保證分類準(zhǔn)確率的同時(shí)具有更高的運(yùn)行效率。

表5 不同模型的運(yùn)行效率對(duì)比Table 5 Operation efficiency comparison of different models單位：s

4.4.4 MLBSRU-A 的加密惡意流量檢測(cè)性能分析

為了驗(yàn)證MLBSRU-A 模型在加密惡意流量檢測(cè)與分類任務(wù)中的有效性，本文基于數(shù)據(jù)集B 進(jìn)行實(shí)驗(yàn)。如4.1 節(jié)所述，數(shù)據(jù)集B 中包含10 類正常流量和10 類惡意流量，本文基于該數(shù)據(jù)集設(shè)置與4.4.2 節(jié)類似的實(shí)驗(yàn)場(chǎng)景，詳情如表6 所示：場(chǎng)景1 為已知的加密惡意流量檢測(cè)，即測(cè)試集和訓(xùn)練集中的惡意流量均包含全部的10 類加密惡意流量，是一個(gè)二分類問題；場(chǎng)景2 與場(chǎng)景1 的區(qū)別在于其測(cè)試集中的部分惡意流量沒有經(jīng)過訓(xùn)練，對(duì)模型來(lái)說(shuō)是未知的，即訓(xùn)練集中只有5 類加密惡意流量，而測(cè)試集中包含所有類別，這一場(chǎng)景旨在測(cè)試模型對(duì)未知加密惡意流量的敏感性，詳細(xì)設(shè)置如表7 所示；場(chǎng)景3 為10 類正常流量分類；場(chǎng)景4 為10 類惡意流量分類；場(chǎng)景5 是對(duì)全部流量進(jìn)行二十分類。

表6 基于數(shù)據(jù)集B 的實(shí)驗(yàn)場(chǎng)景設(shè)置Table 6 Experimental scenes setting based on dataset B

表7 實(shí)驗(yàn)場(chǎng)景2 中數(shù)據(jù)集的具體設(shè)置Table 7 Specific setting of the dataset in experiment scene 2

表8 所示為MLBSRU-A 模型在各實(shí)驗(yàn)場(chǎng)景下的準(zhǔn)確率、精確率、召回率和F1 分?jǐn)?shù)。從中可以看出，MLBSRU-A 模型在5 個(gè)不同的實(shí)驗(yàn)場(chǎng)景下均達(dá)到了較高的分類性能，尤其是在已知加密惡意流量檢測(cè)場(chǎng)景下，各指標(biāo)均達(dá)到了100%。值得注意的是，在場(chǎng)景2 中，MLBSRU-A 模型展現(xiàn)出了對(duì)未知加密惡意流量的高度敏感性，能夠準(zhǔn)確識(shí)別訓(xùn)練集中沒有出現(xiàn)過的加密惡意流量，準(zhǔn)確率達(dá)到99.50%。此外，在最復(fù)雜的二十分類場(chǎng)景（即場(chǎng)景5）中，MLBSRUA 模型依舊表現(xiàn)突出，平均準(zhǔn)確率達(dá)到99.38%，精確率、召回率和F1 分?jǐn)?shù)分別達(dá)到99.43%、99.24% 及99.33%。因此，本文MLBSRU-A 模型不僅可以實(shí)現(xiàn)高效的加密流量應(yīng)用類型分類，而且具有對(duì)未知加密惡意流量的高精度檢測(cè)能力以及對(duì)加密惡意流量的細(xì)粒度分類能力。

表8 MLBSRU-A 模型的加密惡意流量檢測(cè)結(jié)果Table 8 Encrypted malicious traffic detection results of MLBSRU-A model %

5 結(jié)束語(yǔ)

本文提出一種基于MLBSRU-A 模型的加密流量分類方法，利用具有高度并行化序列建模能力的SRU 網(wǎng)絡(luò)對(duì)加密流量進(jìn)行高效特征提取，通過注意力機(jī)制進(jìn)一步提高模型的分類精度。實(shí)驗(yàn)結(jié)果表明，MLBSRU-A 模型的準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)相比BLSTMA、BGRUA 等模型均有明顯提升，其在保證分類準(zhǔn)確率的同時(shí)具有更高的運(yùn)行效率，并且能夠適用于不同復(fù)雜度的場(chǎng)景，具有一定的魯棒性。此外，本文方法不僅可以實(shí)現(xiàn)高效的加密流量應(yīng)用類型分類，而且具有對(duì)未知加密惡意流量的高精度檢測(cè)能力以及對(duì)加密惡意流量的細(xì)粒度分類能力。但是，目前該方法只在實(shí)驗(yàn)室環(huán)境下進(jìn)行了測(cè)試，下一步將在實(shí)際網(wǎng)絡(luò)環(huán)境中對(duì)本文方法進(jìn)行部署，以驗(yàn)證其對(duì)真實(shí)流量的檢測(cè)和分類性能。