網(wǎng)絡(luò)協(xié)議流量識別方法研究

孟 博， 何旭東， 王德軍， 劉加兵

(中南民族大學(xué) 計算機科學(xué)學(xué)院 湖北 武漢 430074)

0 引言

近幾年，網(wǎng)絡(luò)協(xié)議流量識別受到廣泛關(guān)注并取得了許多重要成果.文獻[1]使用8種指標對6種流量分類方法在加密流量識別方面的工作進行了討論，文獻[2]討論了3種流量分類方法和3種軌跡收集方法，但是這些研究并沒有基于大量應(yīng)用的4種場景(在線加密流量、在線非加密流量、離線加密流量和離線非加密流量).一方面，加密流量的激增對傳統(tǒng)流量識別方法提出了新的挑戰(zhàn)；另一方面，頻繁發(fā)生的網(wǎng)絡(luò)攻擊使得在線流量識別方法受到重視.加密流量識別方法和在線流量識別方法研究的側(cè)重點不同，其中在線加密流量識別方法尚不成熟.本文基于4種常見的應(yīng)用場景，對已有研究成果進行深入的歸納總結(jié)，并展望了網(wǎng)絡(luò)協(xié)議流量識別方法的研究方向.

1 研究對象

識別對象作為識別器的輸入，分為有效負載、流、分組[3]、主機行為[4]、混合輸入等.基于行為的識別方法，輸入對象是包頭中的交互信息；基于負載隨機性的識別方法，輸入對象是負載的隨機性分布；基于有效負載的識別方法，輸入對象是有效負載中的指紋或簽名；基于統(tǒng)計學(xué)特征的識別方法，輸入對象是流量特征或分組特征.表1對比了8種研究對象的網(wǎng)絡(luò)協(xié)議流量識別方法.在線分類常用分組頭部特征和分組大小特征，其中分組頭部特征實時性高，分組大小特征準確率較高.加密識別常用流統(tǒng)計特征、統(tǒng)計指紋和包頭指紋，其中包頭指紋復(fù)雜度較高且準確率高，流統(tǒng)計特征復(fù)雜度較低且準確率較高.

2 研究方法

當前網(wǎng)絡(luò)協(xié)議流量識別方法主要有4種：基于行為的識別方法、基于負載隨機性的識別方法、基于有效負載的識別方法、基于統(tǒng)計學(xué)特征的識別方法.基于行為的識別方法通過輸入包頭信息獲取行為模式并應(yīng)用圖論建模，進而識別網(wǎng)絡(luò)協(xié)議流量；基于負載隨機性的識別方法通過負載的隨機性分布識別；基于有效負載的識別方法通過DPI輸入負載中的有效指紋，接著采用模式匹配方法識別網(wǎng)絡(luò)協(xié)議和應(yīng)用；基于統(tǒng)計學(xué)特征的識別方法首先獲取流或者分組的統(tǒng)計特征，進而用機器學(xué)習(xí)方法進行識別.圖1對比了上述4種方法在在線和離線、加密和非加密場景下的優(yōu)缺點和分類性能.

表1 不同研究對象的網(wǎng)絡(luò)協(xié)議流量識別方法對比Tab.1 Comparison of network protocol traffic identification methods on different objects

圖1 網(wǎng)絡(luò)協(xié)議流量識別方法Fig.1 Network protocol traffic identification methods

3 在線流量識別

網(wǎng)絡(luò)協(xié)議在線流量識別旨在流量沒有結(jié)束之前識別流量所屬的協(xié)議類型或者應(yīng)用類型,研究對象主要是數(shù)據(jù)分組.主要研究方法有基于主機行為的識別方法、基于有效負載的識別方法和基于統(tǒng)計學(xué)特征的識別方法.目前研究集中于低復(fù)雜度的統(tǒng)計學(xué)特征識別方法.

3.1 加密流量識別

在在線加密流量條件下，基于主機行為的識別方法，通過行為模式識別，復(fù)雜度和準確率中等，識別粒度粗，適用于主干網(wǎng)絡(luò)在線流量識別；基于負載隨機性的識別方法，易受負載加密程度和隨機負載范圍的影響，復(fù)雜度最高且準確率較低；基于有效負載的識別方法,復(fù)雜度最高且準確率低，但是通過識別統(tǒng)計指紋和包頭指紋能提升準確率；基于統(tǒng)計學(xué)特征的識別方法，復(fù)雜度較低且準確率較高.

基于行為的識別方法:文獻[4]首次提出基于主機行為的網(wǎng)絡(luò)協(xié)議在線加密識別方法BLINC，該方法從社會層、功能層和應(yīng)用層對主機行為進行建模.在社會層，通過IP地址捕獲主機交互；在功能層，通過識別源IP、目的IP、源端口號和目的端口號推測主機在網(wǎng)絡(luò)中的角色；在應(yīng)用層，通過傳輸層交互特征(包長度、傳輸協(xié)議等)確定應(yīng)用源，進而用五元組建模主機行為，最后構(gòu)建圖字典在線識別加密流量，識別結(jié)果與路由技術(shù)和觀察點緊密相關(guān).該方法能夠識別負載加密的應(yīng)用程序，但是既不能識別傳輸層加密，也不能識別采用同一應(yīng)用程序的不同網(wǎng)絡(luò)協(xié)議，而且建模時間長、效率低.文獻[5]提出基于行為的高準確率的機器學(xué)習(xí)識別方法,該方法通過網(wǎng)絡(luò)協(xié)議協(xié)商階段的多輪交互產(chǎn)生的應(yīng)用層信息確定統(tǒng)計學(xué)特征，最后用C4.5決策樹識別這些特征，總體準確率較高.

基于負載隨機性的識別方法:文獻[6]提出在線加密流量識別算法EIWCT，EIWCT衡量負載隨機性，并根據(jù)報文長度對結(jié)果進行加權(quán)綜合，避免對數(shù)據(jù)重復(fù)耗時的處理，有效識別私有協(xié)議和加密協(xié)議流量.

基于有效負載的識別方法:基于皮爾遜的卡方檢驗，文獻[7]提出一種在線加密流量識別方法，應(yīng)用比特序列的隨機性，從分組幀結(jié)構(gòu)中檢測Skype的指紋.文獻[8]依據(jù)不同客戶端SSL/TLS握手產(chǎn)生的ClientHello消息，建立消息與客戶端標識符的相關(guān)性字典，進而在線識別客戶端.文獻[9]提出基于二階馬爾可夫鏈屬性的加密流量識別方法，首先獲取網(wǎng)絡(luò)應(yīng)用程序指紋，接著使用二階馬爾可夫鏈構(gòu)建狀態(tài)轉(zhuǎn)換模型，然后通過證書包長度等改善馬爾可夫鏈的狀態(tài)多樣性，最后識別網(wǎng)絡(luò)協(xié)議流量.

基于統(tǒng)計學(xué)特征的識別方法:文獻[10]基于Wavelet Leaders Multifractal Formalism的特征抽取算法和主成分分析方法，提出新的特征選擇方法PCABFS，通過分析特征與分類器準確率的關(guān)系以及不同特征之間的關(guān)系消除冗余，得到的特征集魯棒性更強、準確率更高、復(fù)雜度更低，可以用于在線加密流量識別，但是PCABFS方法特征集的魯棒性易受到樣本到達時間間隔和持續(xù)時間的影響.

3.2 非加密流量識別

在在線非加密流量條件下，基于行為的識別方法，復(fù)雜度和準確率中等，識別粒度粗，適用于主干網(wǎng)絡(luò)在線流量識別；基于負載隨機性的識別方法，由于復(fù)雜度最高且準確率較低，較少使用；基于有效負載的識別方法，能夠精確識別負載特殊字段，但是復(fù)雜度最高，可用于在線條件；基于統(tǒng)計學(xué)特征的識別方法，復(fù)雜度較低且準確率較高，是主要的研究方法.

基于統(tǒng)計學(xué)特征的識別方法：文獻[11]基于SubFlow方法，首先創(chuàng)建連續(xù)數(shù)據(jù)包的子流量，接著選取生命周期中有特殊統(tǒng)計特征的子流量，然后通過SSP方法得到子流量鏡像，最后結(jié)合子流量訓(xùn)練識別器.文獻[12]提出一種檢測異常的方法，應(yīng)用最大化皮爾遜線性相關(guān)系數(shù)提取相關(guān)特征，建立特征之間的相互關(guān)系，進而綜合皮爾遜線性相關(guān)系數(shù)的絕對值和識別器輸出的結(jié)果，選擇最相關(guān)特征.文獻[13]提出適用于高吞吐量的在線非加密流量識別方法，基于FPGA平臺，使用EOFS訓(xùn)練決策樹，提出ODT和DQ方法實現(xiàn)更高的吞吐量.為檢測零日攻擊，文獻[14]提出一種自適應(yīng)實時檢測零日攻擊的方法，首先從蜜罐中搜集零日攻擊數(shù)據(jù)，把分類器的輸入數(shù)據(jù)視作合法數(shù)據(jù)，如果發(fā)現(xiàn)異常則報警，未發(fā)現(xiàn)異常則更新參數(shù).

4 離線流量識別

網(wǎng)絡(luò)協(xié)議離線流量識別主要關(guān)注識別準確率，研究對象主要是流.主要研究方法為基于負載隨機性的識別方法、基于有效負載的識別方法和基于統(tǒng)計學(xué)特征的識別方法.目前研究集中于后兩種高準確率的方法.

4.1 加密流量識別

在離線加密流量條件下，基于負載隨機性的識別方法通過負載隨機性分布識別離線加密流量，準確率較低；基于有效負載的識別方法很難提取加密負載中的指紋，準確率低，但是可以通過統(tǒng)計指紋和包頭指紋識別加密流，其中包頭指紋識別準確率較高；基于統(tǒng)計學(xué)特征的識別方法采用特征選擇，準確率較高.

基于負載隨機性的識別方法：文獻[15]提出基于熵的加密流量內(nèi)容本質(zhì)識別方法Iustitia.Iustitia方法根據(jù)文本流量具有較低的熵，加密流量具有較高的熵，二進制流量的熵值介于兩者之間，能細粒度地識別圖像格式、視頻和可執(zhí)行文件，平均識別準確率為88.27%.

基于有效負載的識別方法：文獻[16]融合指紋和機器學(xué)習(xí)識別加密流量，先用指紋匹配識別SSL/TLS協(xié)議，再用NB算法識別SSL/TLS網(wǎng)絡(luò)應(yīng)用.文獻[17]提出基于一階齊次馬爾可夫鏈的隨機指紋生成方法，識別SSL/TLS網(wǎng)絡(luò)協(xié)議應(yīng)用程序，但需要定期更新隨機指紋.

基于統(tǒng)計學(xué)特征的識別方法：文獻[18]根據(jù)視頻流量大、速度快和持續(xù)時間長的特點，首先用下行和上行流量速率作為特征定義新的QoS類，進而構(gòu)建一個bag-QoS-words模型作為用QoS特征表示的特定QoS局部模式集合，最后對視頻流量進行有效識別.文獻[19]提出首個嗅探ISP或Wi-Fi加密的HTTP自適應(yīng)視頻流量節(jié)目識別方法，首先通過客戶端Hello消息過濾YouTube流量，然后移除音頻包，最后根據(jù)視頻流量中普遍存在的速度峰值編碼為特征，通過機器學(xué)習(xí)方法識別視頻流量.

4.2 非加密流量識別

離線非加密流量識別的難度較低，主要研究方向是識別新的網(wǎng)絡(luò)協(xié)議流量、提高較小訓(xùn)練樣本條件下分類器的性能、高帶寬識別方法和特征選擇算法等.

基于有效負載的識別方法：文獻[20]提出基于語義信息，面向文本和二進制網(wǎng)絡(luò)協(xié)議流量識別的Securitas方法.首先收集特定協(xié)議和非特定協(xié)議的跟蹤包，用于建模、訓(xùn)練n-grams生成器，得到n-grams序列，然后通過n-grams序列得到協(xié)議關(guān)鍵字聯(lián)合概率分布模型，接著從協(xié)議關(guān)鍵字模型中抽取網(wǎng)絡(luò)包的特征，采用SVM算法進行網(wǎng)絡(luò)協(xié)議流量識別.

基于統(tǒng)計學(xué)特征的識別方法：文獻[21]結(jié)合監(jiān)督和無監(jiān)督的機器學(xué)習(xí)方法，提出RTC方法，首先用K-means方法發(fā)現(xiàn)未知簇，然后對未知簇用BoF建模，進而將未知簇加入已知協(xié)議的集合，最后擴展訓(xùn)練數(shù)據(jù)集并重新訓(xùn)練.文獻[22]在少量訓(xùn)練集條件下，通過使用NB算法產(chǎn)生一組后驗概率作為每個測試流量的預(yù)測值，然后使用BoF建模網(wǎng)絡(luò)協(xié)議流量，最后使用求和規(guī)則進行識別.文獻[23]提出自學(xué)習(xí)智能識別器SLIC，SLIC應(yīng)用少量的訓(xùn)練樣本，通過k-NN識別器生成預(yù)測BoF流量，并作為下一輪識別器的訓(xùn)練集，SLIC的準確率隨著自學(xué)習(xí)輪數(shù)的增加逐步提高.文獻[24]提出基于擴展流量向量的識別方法TCEV.TCEV根據(jù)五元組，通過IP地址與端口號的組合，按照相關(guān)性由強到弱定義了L3、L2和L1三個等級的七種流類型關(guān)系，然后根據(jù)流相關(guān)性建造相關(guān)流量集并擴展流向量.TCEV方法對數(shù)據(jù)包缺失有很強的魯棒性，能夠顯著減少處理數(shù)據(jù)包與被分類流的數(shù)量，復(fù)雜度較低.

5 流量識別方法討論與分析

基于統(tǒng)計學(xué)的機器學(xué)習(xí)識別方法是目前主要的研究方向.本文分別從在線與離線識別、加密與非加密識別和識別新應(yīng)用3個方面討論基于統(tǒng)計學(xué)的機器學(xué)習(xí)識別方法.

5.1 在線與離線識別

在線識別方法采用低復(fù)雜度分類器和特征選擇方法降低向量空間維度和提高特征有效性，其準確率和復(fù)雜度低于離線識別方法.

在識別對象選擇方面，在線識別方法集中在分組大小特征和分組頭部特征，離線識別方法集中在流量統(tǒng)計特征.文獻[25]指出，基于流量統(tǒng)計特征的識別方法準確率高，基于分組大小特征的識別方法實時性強. 文獻[26]指出，初期的流量識別使用數(shù)據(jù)包大小和流量統(tǒng)計特征進行識別，準確率幾乎相同.

在特征選擇方面，最優(yōu)特征集能顯著提高識別準確率并降低復(fù)雜度，特征選擇方法分為包裝方法和過濾方法.包裝方法通過觀察不同特征下識別器準確率變化進行特征選擇，代價較高.過濾方法通過識別冗余和無關(guān)屬性，復(fù)雜度低.在線識別一般采用過濾方法.

在分類器選擇方面，普遍認為C4.5識別效率最高.文獻[27]認為，C4.5離散的輸入特征是準確率升高的原因，應(yīng)用特征離散的其他識別器與C4.5性能相當.

5.2 加密與非加密識別

文獻[16]指出，基于包頭的特征集和基于流量的特征集足夠?qū)θ魏渭用芡ㄐ胚M行識別，并且這兩類特征集的識別性能相當.文獻[28]指出，流量在加密后特征發(fā)生明顯改變，需要選出代表性強的特征.因此，目前主要應(yīng)用特征選擇方法結(jié)合機器學(xué)習(xí)分類器進行識別.文獻[3]指出，基于分組大小和流量統(tǒng)計特征都能有效識別加密流量.文獻[10] 進一步提出基于Wavelet Leaders特征選擇算法的在線識別方法，顯著提高TLS流量識別準確率.

5.3 識別新應(yīng)用

在識別新應(yīng)用方面，機器學(xué)習(xí)方法依賴于訓(xùn)練集，訓(xùn)練后的識別器很難處理新應(yīng)用.識別新應(yīng)用一般分離并標記未知流，更新訓(xùn)練集，再訓(xùn)練識別器，但是這種方法只適用于一次僅出現(xiàn)一類未知流量的情況，同時很難搜集到足夠大小的未知流量的訓(xùn)練集且不能確定該訓(xùn)練集是否具有代表性，也很難處理同時出現(xiàn)多個未知流量的情況.文獻[21]通過BoF識別零日流量樣本并標記；文獻[29]在半已知網(wǎng)絡(luò)環(huán)境中，應(yīng)用K-means標記未知流量；文獻[30]通過流量標簽擴散映射已知流量，最鄰近聚類識別未知流量；文獻[31]通過遞歸過濾得到未知流量，并通過自播種方法映射到已知流量.

6 結(jié)語

網(wǎng)絡(luò)協(xié)議流量識別是保障網(wǎng)絡(luò)空間安全的重要環(huán)節(jié).基于在線加密流量、在線非加密流量、離線加密流量和離線非加密流量4種應(yīng)用場景，對現(xiàn)有相關(guān)工作進行歸類、總結(jié)和討論.

場景①(在線加密流量識別).基于行為的識別方法不能用于傳輸層加密，但是對負載加密不敏感，識別粒度粗，復(fù)雜度和準確率中等，適用于主干網(wǎng)絡(luò)協(xié)議流量在線識別，可用于場景①；基于負載隨機性的識別方法由于復(fù)雜度最高且準確率較低，同時受加密和負載類型的影響，較少用于場景①；基于有效負載的識別方法通過統(tǒng)計指紋和包頭指紋識別，復(fù)雜度高，較難用于場景①；基于統(tǒng)計學(xué)特征的識別方法復(fù)雜度較低且準確率高，適用于場景①.

場景②(在線非加密流量識別).基于行為的識別方法可用于場景②；基于負載隨機性的識別方法復(fù)雜度最高且準確率較低，較少用于場景②；基于有效負載的識別方法復(fù)雜度最高且準確率高，可用于場景②；基于統(tǒng)計學(xué)特征的識別方法復(fù)雜度較低且準確率較高，適用于場景②.

場景③(離線加密流量識別).基于行為的識別方法不適用于場景③；基于負載隨機性的識別方法準確率較低，可用于場景③；基于有效負載的識別方法通過識別加密協(xié)議包頭指紋和統(tǒng)計指紋，適用于場景③；基于統(tǒng)計學(xué)特征的識別方法采用特征選擇，適用于場景③.

場景④(離線非加密流量識別).基于行為的識別方法不適用于場景④；基于負載隨機性的識別方法準確率較低，較少用于場景④；基于有效負載的識別方法準確率最高，適用于場景④；基于統(tǒng)計學(xué)特征的識別方法準確率高，適用于場景④.

綜上討論，從網(wǎng)絡(luò)協(xié)議流量識別的發(fā)展趨勢來看，未來研究方向?qū)⒊尸F(xiàn)以下特點.

(1) 識別新應(yīng)用.基于行為的識別方法需要的數(shù)據(jù)量大，建模時間長，識別粒度粗，適用于主干網(wǎng)絡(luò)，未來的研究趨向于結(jié)合其他識別方法的綜合識別方法，以提高準確率并且降低復(fù)雜度. 基于負載的識別方法需要結(jié)合協(xié)議逆向方法和指紋生成方法，從而自動維護指紋庫. 監(jiān)督的機器學(xué)習(xí)識別方法不能識別新應(yīng)用；無監(jiān)督的機器學(xué)習(xí)識別方法由于增加了新應(yīng)用，導(dǎo)致k值可能發(fā)生變化，識別準確率降低.未來的研究方向是低復(fù)雜度、在線的自適應(yīng)識別方法.

(2) 可擴展性.基于行為的識別方法需要用某個網(wǎng)絡(luò)節(jié)點的大量數(shù)據(jù)構(gòu)建交互圖，但是不同網(wǎng)絡(luò)節(jié)點觀察到的網(wǎng)絡(luò)流量不同，可能很難識別單個用戶的行為，而骨干數(shù)據(jù)可能會顯示出無法識別的復(fù)雜邊緣行為，導(dǎo)致基于行為的識別方法的識別準確率受觀察點的影響而不穩(wěn)定，可擴展性差.基于統(tǒng)計學(xué)特征的識別方法應(yīng)用于不同網(wǎng)絡(luò)節(jié)點，由于不同網(wǎng)絡(luò)節(jié)點和不同時間的流量類型組成差別較大，且訓(xùn)練樣本的代表性和特征的有效性相對于其他訓(xùn)練樣本會產(chǎn)生概念漂移，導(dǎo)致可擴展性差.而如何克服概念漂移和提高機器學(xué)習(xí)識別方法的可擴展性成為未來的一個研究方向.

(3) 物聯(lián)網(wǎng)設(shè)備保護.2016年10月21日，黑客通過劫持攝像頭使美國東海岸的互聯(lián)網(wǎng)遭遇強力DDoS攻擊.隨著物聯(lián)網(wǎng)的發(fā)展，即將迎來萬物互聯(lián)的時代.傳感器網(wǎng)絡(luò)[32-33]將產(chǎn)生種類和數(shù)量極多的流量，而這些流量的識別將成為保護設(shè)備安全和隱私安全[34]的新的研究方向.

(4) SSL加密流量.SSL/TLS在Android平臺和IOS平臺[35]上的占比分別增加到64%和75%，安全協(xié)議[36-37]加密流量與偽裝流量激增，使用同一個加密協(xié)議的不同應(yīng)用產(chǎn)生的流量成為一個新的關(guān)注點.

(5) 魯棒性.在網(wǎng)絡(luò)服務(wù)質(zhì)量差的環(huán)境中，特別是網(wǎng)絡(luò)節(jié)點擁塞或服務(wù)器性能下降時，路由器開始丟包，TCP等協(xié)議開啟擁塞控制.例如，視頻媒體通過限速和降低視頻分辨率來保證流暢，會直接影響到分組大小特征和分組頭部特征的有效性，這對在線識別方法的魯棒性提出了更高的要求.因此，魯棒性是在線網(wǎng)絡(luò)協(xié)議識別的一個研究熱點.

(6) 高帶寬網(wǎng)絡(luò)流量.互聯(lián)網(wǎng)的迅速發(fā)展，要求流量識別器吞吐量每秒高達數(shù)千Gb.然而，現(xiàn)有的流量識別引擎最多只支持每秒幾十Gb吞吐量.因此，在高速路由器中現(xiàn)有流量識別引擎成為性能瓶頸，低復(fù)雜度、高帶寬、高并行的識別方法將是一個研究熱點.

隨著研究方法的改善和研究技術(shù)的成熟，以上研究展望將會得到更好的發(fā)展，必將對網(wǎng)絡(luò)協(xié)議流量識別研究的發(fā)展產(chǎn)生深遠影響.