基于隨機森林的流量多特征提取與分類研究*

韋澤鯤， 夏靖波， 張曉燕， 付 凱， 申 健

(1.空軍工程大學 信息與導航學院，陜西 西安710077；2.廈門大學 嘉庚學院，福建 廈門 363105)

?

基于隨機森林的流量多特征提取與分類研究*

韋澤鯤1， 夏靖波2， 張曉燕1， 付 凱1， 申 健1

(1.空軍工程大學 信息與導航學院，陜西 西安710077；2.廈門大學 嘉庚學院，福建 廈門 363105)

網(wǎng)絡流量的多樣化和復雜化以及高實時性要求對流量識別技術帶來了巨大挑戰(zhàn)，而通過基于機器學習的網(wǎng)絡流量分類中，流量統(tǒng)計特征選擇能夠快速準確對流量進行識別，具有重要的研究意義。隨機森林(RF)作為近年較熱門的灰盒算法，對當前的網(wǎng)絡流量具有較好的識別能力。通過隨機森林的節(jié)點選擇算法，對流量特征進行選擇，并結合物理意義進行優(yōu)化，進行多次特征提取。實驗結果表明：提出的算法在識別模型構建上性能更加優(yōu)越，耗費時間大大減小，同時準確度等指標得到提高。

流量統(tǒng)計特征； 隨機森林； 灰盒模型； 特征提取

0 引 言

隨著網(wǎng)絡規(guī)模日益增大、5G等更高帶寬技術的高速發(fā)展、云計算與大數(shù)據(jù)的應用呈爆發(fā)式增長，同時高附加值業(yè)務與用戶行為的日趨復雜，尤其是移動終端和去中心化、異構網(wǎng)絡的普遍性，導致需要更加高效地進行網(wǎng)絡管理和數(shù)據(jù)流量控制。對網(wǎng)絡資源的有效分配利用，對用戶資源的分析引導，流量入侵檢測和網(wǎng)絡規(guī)劃架構，是當今網(wǎng)絡監(jiān)管和互聯(lián)網(wǎng)服務提供商(Internet service providers,ISPs)亟需處理的關鍵問題。

流量分類則是對不同應用類型流量進行分類，保證解析出適合用戶群的業(yè)務模式，保證較高的服務質量(quality of service，QoS)，為解決上述問題提供可靠的技術支持。通過采集流量的外部統(tǒng)計特征并應用機器學習算法分類是最常用的流量識別方法[1,2]。因此,機器學習流量分類技術是目前任何形式流量分類的主流技術。

近10年來，流量分類技術幾近處于瓶頸階段。各種機器學習技術準確率皆到達90 %以上，甚至超過99 %，技術的創(chuàng)新遭遇到了前所未有的挑戰(zhàn)。Bernaille和Nguyen T提出采用網(wǎng)絡子流的統(tǒng)計特征作為流量分類的研究對象，不僅克服網(wǎng)絡應用的規(guī)避檢測技術，大大提高分類的準確性，同時滿足實時性的要求。柏駿、夏靖波等人[2]詳細綜述2006年～2012年國內外實時流量分類識別技術，提出以準確性與實時性作為兩大指標，對流量分類方法進行研究的評價指標。Kalaiselvi T和Shanmugaraja P[3]結合機器學習中的有監(jiān)督和無監(jiān)督分類算法，提出了一種C4.5與k-means混合算法，且選取了極少量的流統(tǒng)計特征數(shù)據(jù)，并實驗得到了較高的準確率。李平紅、王勇等人[4]針對未識別流量，提出了一種基于成對約束擴展的半監(jiān)督特征選擇方法，該算法在較少成對約束條件下得到了更好的分類性能。文獻[5]的特征提取實驗,法國De Lorraine大學的Jerome Francois分析客戶端向服務器發(fā)送通信數(shù)據(jù)的業(yè)務節(jié)點接口(service node interface,SNI)擴展碼，提出多級框架去識別HTTPS服務的流量，必將識別的特征數(shù)量大大減少，實時流識別準確率高達93.10 %。

1 流量特征分類技術

在IP網(wǎng)絡中，網(wǎng)絡流量定義為源和目的計算機之間基于特定端口(如傳輸控制協(xié)議(transmission control protocol,TCP),用戶數(shù)據(jù)報協(xié)議(user datagram protocol,UDP)，互聯(lián)網(wǎng)控制報文協(xié)議(Internet control message protocol,ICMP)等)的一個或者多個數(shù)據(jù)包。這些數(shù)據(jù)包中存在流的五元組信息〈源IP地址，源端口，目的IP，目的端口，傳輸層協(xié)議〉[6]，相同流的五元組信息是相同的。

基于機器學習的流量分類方法是近年來熱門的研究領域，流量分類模型可表述為：f:X→T，X={X1,X2,…,Xm}為類型未知的網(wǎng)絡流集合，T={T1,T2,…,Tn}為已知網(wǎng)絡流集合，f為特定的機器學習算法，如何通過特定的算法對普遍或特殊流量問題進行分類，是該領域研究的重點[7]。主要有有監(jiān)督的機器學習和無監(jiān)督的機器學習[7,8]構成；有監(jiān)督的分類方法是將N-分類問題轉化為N個二分類問題，即為每種流量類型單獨訓練一個分類模型，常見的有樸素貝葉斯Naive Bayes，支持向量機(support vector machine,SVM)和決策樹算法。無監(jiān)督的分類方法則無需考慮單獨處理每個流量類型，常見的如聚類k-means聚類算法等。結合文獻[6～8,10]本文中用于特征選擇的物理特征如表1。

表1 常用流量識別特征

2 隨機森林算法

隨機森林(random forest,RF)[11]是由一系列決策樹{h(X,Θk),k=1,2,…,K}所組成，其中{Θk}是服從獨立分布的隨機向量，k為決策樹的個數(shù)。訓練數(shù)據(jù)集被隨機指派到多種決策樹上獨立處理，且每一個節(jié)點上的優(yōu)化策略是一致的。這些樹得出判決或預測值后停止生長，所有樹的結果將歸入一個集合，并根據(jù)最多數(shù)的判決計算出最終結果。RF產生的最終分類決策為

(1)

式中 H(x)為組合模型，hi為單個決策樹分類模型，Y為目標變量。

近年來，我國應用型本科院校發(fā)展取得了一些成績。在教育部的指導下，以應用技術大學為辦學定位的地方本科院校發(fā)起并成立了應用技術大學（學院）聯(lián)盟。截止到2018年6月，已有172所高校加入了該聯(lián)盟。

就屬性特征而言，特征的選擇因樹的不同而不同，因而產生的樹更具有普遍性，RF因此能夠平衡一些屬性權重帶來的偏差或者誤差。當樹的數(shù)量變得龐大時，帶有缺失或者統(tǒng)計錯誤的屬性數(shù)據(jù)就會聚合，因此,對于噪聲，RF具有魯棒性。

RF模型具有很好的收斂性，通過余量函數(shù)(marginfunction)定量地描述

(2)

余量函數(shù)表示平均正確分類數(shù)超過平均錯誤分類數(shù)的程度，mg(X,Y)越大，分類的準確性就越高。由余量函數(shù)可推得泛化誤差，公式為

PE*=Px,y,mg(X,Y)<0

(3)

3 實驗與驗證

3.1 流量特征的選取

特征選擇是指從原始特征集中提取出一個特征子集，使得此特征集在特定的分類評價標準下達到最優(yōu)。目前較多的特征選擇方法為過濾方法和包裝方法[12]。在本實驗中，采用的是RF灰盒算法和人工選取的方法，在不斷迭代的RF算法中，利用RF算法的變量重要性度量對特征進行排序，并尋找較大影響因子的葉子節(jié)點給予保留，多次迭代進行比較，目的剔除掉流量數(shù)據(jù)中無關的、冗余的特征，最終得到高準確率，低時間消耗的特征選擇結果。迭代公式：Xt=Dt-1αT(Xt∈Rm×k,Dt-1∈Rm×n,α∈Rn×k)，其中,Xt為第t次迭代的生成k維數(shù)據(jù)集，D0為原始數(shù)據(jù)集，Dt-1為第t-1次迭代的數(shù)據(jù)集(t≥1)。αT為迭代矩陣(α中只有0和1)，且每迭代一次，迭代矩陣會發(fā)生變化。

在決策樹中，無論對于連續(xù)或非連續(xù)變量，分裂屬性節(jié)點的選擇直接影響到?jīng)Q策樹分類和預測的性能。常用的決策樹中，C4.5的信息增益率，分類回歸樹(classification and regression tree,CART)的Gini純度指標，都有較好的性能。RF作為一個多種決策樹分類器集成的模型，集成了多種分裂與剪枝模型。

實驗中將采用Gin指標和信息增益率對訓練數(shù)據(jù)集進行屬性篩選，對特征的選取提供理論依據(jù)和可選擇方案。Gini指標相關公式如下

(4)

(5)

信息增益率相關公式如下

(6)

分裂信息熵為

(7)

信息增益率為

(8)

Gain(An)=Entropy(S)-Entropy(SA)

(9)

特征選擇流程圖如圖1所示 。

圖1 流量多特征選擇模型流程圖Fig 1 Flow chart of flow multi-feature selection model

3.2 數(shù)據(jù)集

倫敦瑪麗女王大學(Queen Mary，University of London)的Moore A等人[13]于2003年從1 000個與互聯(lián)網(wǎng)相連的校園網(wǎng)用戶上，以24 h為一個采集周期，采集了10個時段的10個TCP流量數(shù)據(jù)，對流數(shù)據(jù)的持續(xù)時間、分組大小、時間間隔、往返時延等的數(shù)學統(tǒng)計特征(包括最大、最小、平均大小、方差等度量)以及標志位字段、端口號等做了詳細的記錄。

Moore_Set總共包含377 526個網(wǎng)絡流量樣本，每條TCP雙向數(shù)據(jù)流都是以完整的三次握手同步—確認字段(synchronous-acknowledge character,SYN-ACK)開始，以結束—確認字段(finished-acknowledge charater,FIN-ACK)結束，并抽象得到249項屬性，且最后一項為目標流量的類別，詳細描述可參考文獻[13]。

3.3 實驗結果分析

在實驗中，工具采用新西蘭懷卡托大學的Weka—3.7.13，實驗主機為CPU為Inter i5—3470，主頻為3.20G Hz和3.19 GHz，內存為3.48GB的搭載winXP系統(tǒng)的PC主機。本文的實驗研究對象為Moore_Set的前4個數(shù)據(jù)集，即Moore_Set 1～4總共93 881個樣本，在不進行任何特征選擇的情況下，采用RF對其進行分類，袋外誤差為0.003 6，準確率為99.658 1 %，平均建模時間為128.38 s。

本文選取Gain Ratio Attribute Eval(GRAE)和Info Gain Attribute Eval(IGAE)兩種評估器對流量進行第一次選擇排序，即RF決策樹的分裂點選擇法則[14]，并且閾值T=22，選取特征排序后結果如表2。

表2 第一次特征選取

經(jīng)過選取特征集按照排序依次遞減，得出的正確率如圖2所示。實驗中，通過上述兩種方式，依次將特征值按照特征排序，不斷提高閾值，刪除掉后幾項，分別得到特征值數(shù)目為22,18,12,9,6的五種情況。IGAE算法中，準確率最高99.742 2 %，最低99.730 5 %；GRAE算法中，準確率在99.651 7 %～99.477 %，兩種算法準確率都比特征選擇前的99.658 1 %高，而整體IGAE算法比GRAE算法準確率高。隨著特征數(shù)目的減少， IGAE算法準確率沒有太大變化，甚至出現(xiàn)升高的情況，而GRAE算法的準確率雖逐漸小幅度降低，但也出現(xiàn)了不降反升的現(xiàn)象(如9特征和6特征時)。由此說明，當剔除冗余分類特征后，準確率不僅不會減小，反而保持不變甚至提高。對比這兩種算法，選取IGAE+Rank的特征排序方法。不同特征數(shù)目時RF建模消耗時間對比如圖3所示。

圖2 兩種特征選取算法準確率對比圖Fig 2 Comparison of accuracy of two algorithms on feature selection

圖3 RF建模時間消耗對比圖Fig 3 Comparison of modeling time consumption of RF

重新改變閾值 ，結合上文常用于特征選擇的物理特征與文獻[15]，引入{8，43，44，47，48，91，93，94，95，96，109，110，119，120，213，227，230}具有物理意義的特征屬性，其中8：Client Port；43，44：total_packets；47，48：pure_acks_sent；91，93，94，95，96：mss_requested和segm_size；109，110：initial_window-packets；119，120：data_xmit_time；213：inter-arrival time；227，230：bulk。結合之前的排序，總結出26個特征屬性{4，8，43，44，47，48，91，93，94，95，96，98，107，108，109，110，119，120，193，198，200，201，213，227，230}。經(jīng)過不斷剔除物理屬性相近的值，并不斷迭代RF分類器，得出如圖4的準確率變化圖。

圖4 不同特征準確率對比Fig 4 Comparison of different characteristic accuracy

圖4中，同一橫坐標下，造成不同準確率的關鍵原因在于剔除特征屬性的不同。經(jīng)過不斷比較迭代，最終確定了7個特征屬性值：{4，8，98，107，193，198，200}，在該數(shù)據(jù)集下，準確率到達了99.780 6 %。

將數(shù)據(jù)集重新選取特征，采用優(yōu)先搜索+基于相關性的特征選擇(best first+correlation-based feature selection,BF+CFS)算法對數(shù)據(jù)子集分別進行特征選擇，并對生成的特征集進行二次特征選擇；采用分治投票(divide-conquer and voting,DV )[16]算法進行分治投票選擇，可得出表3，下文中本實驗的特征子集提取算法用RF排序(RF+rank)表示。

采用以上不同算法提取出的特征子集對Moore_set1～4

表3 不同算法提取的特征子集比較

數(shù)據(jù)集進行識別，評估驗證采用十折交叉方法對數(shù)據(jù)進行交叉驗證，每次實驗重復10次，實驗結果取10次重復實驗的平均值，并比較Accuracy,Precision,Recall,F-Measure 4個指標。

圖5 不同特征提取模型性能指標比較Fig 5 Comparison of performance indexes of different feature extraction models

通過對圖5的結果分析可知，經(jīng)過RF模型的識別，不同特征算法表現(xiàn)各異，總體上BF+CFS,DV與RF+Rank算法在度量指標上差距較小，RF+Fank的指標性能最好，在準確率上，比BF+CFS與DV分別提高了0.132 1 %，0.063 9 %。由于RF的算法的優(yōu)異分類特性，三種算法各自的Precision,Recall和F-Measure三項指標相同，RF+Rank比BF+CFS和DV分別提高0.2 %和0.1 %。因此說明本實驗選取的流量特征子集更優(yōu)越。通過與原始數(shù)據(jù)分類整體準確率99.658 1 %的對比，本實驗的算法為99.780 6 %，總體提高0.122 5 %，且時間上由128.38 s降低為34.63 s，耗費時間大大降低，減少了73 %。盡管準確率提高幅度不大，但是在當今準確率趨于99 %，甚至更高的分類模型下，性能指標的微小提升，對于海量數(shù)據(jù)來說也是大的進步。

上述實驗都是基于RF進行流量分類的，圖6通過對比4種分類器的性能：SVM，NaiveBayes，C4.5決策樹，RF，結果決策樹類分類器明顯優(yōu)于SVM和NaiveBayes，其中SVM準確率、精確率等指標最低，在決策樹類中，RF略微優(yōu)于C4.5算法。

圖6 不同分類模型性能指標比較Fig 6 Comparison of performance indexes of different classification models

4 結束語

經(jīng)過實驗驗證，本文提出的RF+Rank迭代算法，通過RF模型的分類，在消耗時間上比原始數(shù)據(jù)集減少了73 %，整體分類準確率增加了0.122 5 %，且特征選擇算法性能指標優(yōu)于其它同類算法，RF模型也優(yōu)于其它識別分類模型。未來工作重點將在實時性上，對實時流量數(shù)據(jù)進行分類；同時針對有較大比例不屬于已知類的異常的數(shù)據(jù)集，將改進流量預處理準則，如通過Hellinger距離排除掉異常數(shù)據(jù)。隨著網(wǎng)絡規(guī)模日益增大、云計算與大數(shù)據(jù)的普及，本文提出的特征選擇算法將使得云計算技術和數(shù)據(jù)中心網(wǎng)絡在現(xiàn)有大規(guī)模流量識別中發(fā)揮重要作用，提升網(wǎng)絡管理效率和服務質量，具有較高的理論研究與實際應用價值。

[1] Ding L,Yu F,Peng S,et al.A classification algorithm for network traffic based on improved support vector machine[J].Journal of Computer,2013,8(4):1090-1096.

[2] 柏 駿,夏靖波,吳吉祥,等.實時網(wǎng)絡流量分類研究綜述[J].計算機科學,2013,40(9):8-15.

[3] Kalaiselvi T,Shanmugaraja P.Hybrid alforithm for the classification of traffic flows[J].International Journal of Emerging Technology in Computer Science & Electronics (IJETCSE),2016,21(2)： 340-343.

[4] 李平紅，王 勇，陶曉玲.基于成對約束擴展的半監(jiān)督網(wǎng)絡流量特征選擇算法[J].傳感器與微系統(tǒng),2013,32(5):146-149.

[5] de Donato W,Pescape A,Dainotti A.Traffic identification engine:

An open platform for traffic classification[J].Network,IEEE,2014,28(2):56-64.

[6] 朱文波.流統(tǒng)計特征在網(wǎng)絡流量分類中的應用研究[D].杭州：杭州電子科技大學,2015.

[7] 王怡萱.網(wǎng)絡流量分類方法研究及流量特征分析[D].北京：北京郵電大學，2013.

[8] 周劍峰,陽愛民,劉吉財.基于改進的C4.5算法的網(wǎng)絡流量分類方法[J].計算機工程與應用,2012，48(5):71-74.

[9] 陳中杰,蔣 剛,蔡 勇.基于SVM一對一多分類算法的二次細分法研究[J].傳感器與微系統(tǒng),2013,32(4):44-47.

[10] 趙樹鵬，陳貞翔，彭立志.基于流中前5個包的在線流量分類特征[J].濟南大學學報:自然科學版，2012，26(2):156-160.

[11] 張 建,武東英,劉慧生.基于隨機森林的流量分類方法[J].信息工程大學學報，2012，13(5):621-625.

[12] 侯大軍,朱偉興.基于改進粒子群算法的最優(yōu)特征子集研究[J].傳感器與微系統(tǒng),2010,29(9):64-66.

[13] Moore A,Zue V ,Crogan M.Discriminators for use in flow-based classification[D].London:Queen Mary and Westfield College,2005.

[14] 姚登舉，楊 靜，詹曉娟.基于隨機森林的特征選擇算法[J].吉林大學學報：工學版，2014，44(1)：137-141.

[15] 葉春明,王 珍，陳 思，等.基于節(jié)點行為特征分析的網(wǎng)絡分類方法[J].電子與信息學報，2014,36(9)：2158-2165.

[16] 高 文，錢亞冠，吳春明.網(wǎng)絡流量特征選擇方法中的分治投票策略研究[J].電子學報，2015,43(4)：795-799.

Research on traffic multi-feature extraction and classification based on random forest*

WEI Ze-kun1, XIA Jing-bo2, ZHANG Xiao-yan1, FU Kai1, SHEN Jian1

(1.College of Information and Navigation,Air Force Engineering University,Xi’an,710077,China;2.Tan Kah Kee College，Xiamen University,Xiamen 363105,China)

Diversity and complexity of network traffic and the high real-time requirement has brought great challenges,meanwhile by the network traffic classification based on machine learning ,the selection of flow statistics feature can quickly and accurately identify traffic,which is of great significance.As a gray box model，random forest(RF) is popular in recent years,which has good recognition ability of the current network traffic.By the algorithm of RF node selection,flow characteristics are selected,and combined with the physical significance to carry out optimization and a number of feature extraction.Experimental results show that the proposed algorithm is superior to the model construction,time-consumption is greatly reduced,meanwhile the accuracy is improved.

traffic statistic feature； random forest(RF)； gray box model； feature extraction

10.13873/J.1000—9787(2016)12—0055—05

2016—10—08

陜西省科技計劃基金資助重點項目(2012JZ8005); 航空科學基金資助項目(20141996018)

TP 393

A

1000—9787(2016)12—0055—05

韋澤鯤(1992-)，男，陜西西安人，碩士研究生，主要研究方向為大數(shù)據(jù)挖掘和網(wǎng)絡態(tài)勢感知。