面向海量NetFlow數(shù)據(jù)的存儲和查詢處理方法研究①

陳重韜 王偉平 孟 丹 崔 甲* 胡 斌

(*中國科學(xué)院計算技術(shù)研究所計算機應(yīng)用研究中心 北京 100190) (**中國科學(xué)院大學(xué) 北京 100049) (***中國科學(xué)院信息工程研究所 北京 100093) (****中國信息安全測評中心 北京 100085)

?

面向海量NetFlow數(shù)據(jù)的存儲和查詢處理方法研究①

陳重韜②******王偉平***孟 丹***崔 甲****胡 斌***

(*中國科學(xué)院計算技術(shù)研究所計算機應(yīng)用研究中心 北京 100190) (**中國科學(xué)院大學(xué) 北京 100049) (***中國科學(xué)院信息工程研究所 北京 100093) (****中國信息安全測評中心 北京 100085)

針對全國骨干網(wǎng)高速海量NetFlow數(shù)據(jù)到來速度快、數(shù)據(jù)量大以及對所存數(shù)據(jù)進行頻繁多維查詢操作的特點，提出了一種多維屬性聚簇存儲(MACS)模型。該模型根據(jù)實際應(yīng)用環(huán)境中查詢的特點對數(shù)據(jù)進行空間分片，以并行加流水的方式對數(shù)據(jù)進行存儲。此外，為NetFlow提出了一種超多面體的查詢模式。真實環(huán)境實驗結(jié)果表明，運用MACS模型實現(xiàn)的系統(tǒng)單點數(shù)據(jù)實時存儲速度達到270萬條/s，遠(yuǎn)遠(yuǎn)快于其他的數(shù)據(jù)分析系統(tǒng)，并且多維屬性查詢的速度優(yōu)于Hive和Impala。

NetFlow， 多維屬性聚簇存儲(MACS)模型， 實時數(shù)據(jù)存儲， 超多面體

0 引 言

伴隨著信息技術(shù)和網(wǎng)絡(luò)的快速發(fā)展，網(wǎng)絡(luò)安全形勢日益嚴(yán)峻[1,2]。NetFlow[3]作為收集和監(jiān)控網(wǎng)絡(luò)流數(shù)據(jù)的一種網(wǎng)絡(luò)協(xié)議，被廣泛用于網(wǎng)絡(luò)流量統(tǒng)計、拒絕服務(wù)監(jiān)控、入侵檢測等方面[4-7]，具有很高的應(yīng)用價值和實際意義。目前，國內(nèi)外在NetFlow數(shù)據(jù)的存儲和分析方面的工作主要面向小規(guī)模網(wǎng)絡(luò)，當(dāng)面對全國范圍的網(wǎng)絡(luò)時，現(xiàn)有的解決方案均存在問題，因此需要對海量NetFlow數(shù)據(jù)的存儲管理框架進行重新設(shè)計。

本文面向全國范圍廣域網(wǎng)骨干路由器發(fā)回的海量NetFlow數(shù)據(jù)，主要面臨以下挑戰(zhàn)：(1)高速寫入。一般區(qū)域數(shù)據(jù)到來速度可達到130萬條/s，對數(shù)據(jù)的實時存儲提出了很高的要求；(2)數(shù)據(jù)近實時可查。由于應(yīng)用場景要求，數(shù)據(jù)由存儲到可查近似實時，不能有過高的訪問延遲；(3)數(shù)據(jù)海量?，F(xiàn)有數(shù)據(jù)針對全國各主要省市骨干路由器，每省每天存儲數(shù)據(jù)壓縮后接近1TB，全國數(shù)據(jù)存儲總量可達到PB級。伴隨著網(wǎng)絡(luò)擴容，以及各地方路由器的不斷接入，勢必會造成數(shù)據(jù)量成倍甚至數(shù)十倍的增長；(4)高頻多維檢索。NetFlow數(shù)據(jù)會被頻繁的檢索訪問，其中含有大量同時對流記錄內(nèi)不同屬性的篩選類查詢操作，因而需要對數(shù)據(jù)進行有針對性的組織，保證數(shù)據(jù)檢索能力。

針對以上挑戰(zhàn)，結(jié)合相關(guān)應(yīng)用場景特征，本文提出了一種針對海量NetFlow數(shù)據(jù)的多維屬性聚簇存儲(multidimensional attributes clustering storage model，MACS)模型，簡稱MACS模型。該模型根據(jù)現(xiàn)有負(fù)載特征選擇聚簇屬性，通過對數(shù)據(jù)進行空間切分，有效過濾檢索數(shù)據(jù)，在存儲過程中采用并行加流水的方式，保證數(shù)據(jù)的快速實時存儲，并在查詢過程中，提出以超多面體的方式描述查詢條件，進一步貼合場景要求。實驗結(jié)果表明，運用MACS模型實現(xiàn)的系統(tǒng)單點實時存儲速度達到270萬條/s，并能提供高效的多維數(shù)據(jù)檢索性能。

1 相關(guān)工作

傳統(tǒng)的數(shù)據(jù)管理技術(shù)以關(guān)系數(shù)據(jù)庫為代表，得益于成熟的索引及查詢機制，其在數(shù)據(jù)查詢方面的優(yōu)勢非常明顯。但由于關(guān)系數(shù)據(jù)庫在事務(wù)處理上具有強一致性的要求，導(dǎo)致其犧牲了數(shù)據(jù)加載的性能，并且系統(tǒng)結(jié)構(gòu)難以擴展。同時，數(shù)據(jù)庫的存儲結(jié)構(gòu)面向更新而設(shè)計，導(dǎo)致其數(shù)據(jù)的讀寫效率較低，而NetFlow數(shù)據(jù)采用實時傳輸并以追加的方式進行存儲，數(shù)據(jù)存儲之后不再進行修改，不需要上述嚴(yán)格的要求。

SILk[8]作為面向NetFlow數(shù)據(jù)的專有系統(tǒng)，是由CERT NetSA開發(fā)并應(yīng)用于大型網(wǎng)絡(luò)的安全分析工具。相比于關(guān)系數(shù)據(jù)庫，SILk的存儲格式簡練，數(shù)據(jù)實時存儲性能優(yōu)異，能夠滿足較大流量的加載性能要求。但其只能采用全掃描的方式對數(shù)據(jù)進行處理，這對于需要進行多維度屬性查詢的應(yīng)用來說，將造成大量的冗余數(shù)據(jù)掃描，嚴(yán)重影響查詢性能。

以Google為代表的互聯(lián)網(wǎng)公司針對各自應(yīng)用中的海量數(shù)據(jù)特點，提出了一系列的NoSQL分布式數(shù)據(jù)管理技術(shù)，成為目前海量數(shù)據(jù)存儲與管理的主流技術(shù)。針對海量數(shù)據(jù)的存儲問題，Google提出了分布式文件系統(tǒng)GFS[9]；面向高并發(fā)、低延遲的在線訪問類應(yīng)用，Google提出了分布式多維表BigTable[10]，提供了基于鍵值的快速檢索能力。Hadoop[11]作為Google Mapreduce[12]和GFS的開源實現(xiàn)，與上層的Hive[13]以及Hbase[14]一起被廣泛地應(yīng)用在Yahoo、Facebook、百度等大型互聯(lián)網(wǎng)公司，取得很好的應(yīng)用效果。但是，這些NoSQL技術(shù)都較為通用，應(yīng)用到管理NetFlow數(shù)據(jù)上，在數(shù)據(jù)存儲效率、加載性能以及查詢性能方面還存在不足。

Hbase作為BigTable的一個開源實現(xiàn)，以其良好的擴展性和快速查詢能力，被廣泛應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)的存儲。但在面對海量NetFlow數(shù)據(jù)時，首先，由于Hbase采用列存儲，原始數(shù)據(jù)載入到Hbase時會有很多關(guān)于列和列簇的信息加入，從而造成嚴(yán)重的數(shù)據(jù)膨脹，直接導(dǎo)致存儲開銷成倍增長；其次，Hbase的數(shù)據(jù)實時加載性能遠(yuǎn)低于海量NetFlow數(shù)據(jù)的到來速度；最后，現(xiàn)有的Hbase只針對包含主鍵列的查詢擁有良好的篩選能力，對于其他屬性列的查詢只能通過全掃描的方式來實現(xiàn)，雖然針對多維屬性查詢問題，可以通過在Hbase之上建立二級索引的方式來解決，但是這種方式勢必會進一步影響已經(jīng)很有限的加載性能，并且二級索引所占用的存儲空間也不容忽視。因此，Hbase的解決方式并不適用于海量NetFlow數(shù)據(jù)。

Hive作為當(dāng)前海量數(shù)據(jù)倉庫通用的解決方案，在面對海量NetFlow數(shù)據(jù)時，其數(shù)據(jù)加載以及查詢的性能均不能滿足要求。首先Hive作為離線分析系統(tǒng)而設(shè)計，因而并不能提供高效的數(shù)據(jù)實時載入性能；其次其查詢的實質(zhì)是強行全掃描數(shù)據(jù)，并不能對數(shù)據(jù)進行有效的篩選。與Hive對應(yīng)的Impala，受Dremel[15]的啟發(fā)由Cloudera開發(fā)，采用類似并行數(shù)據(jù)庫的大規(guī)模并行處理引擎(MPP)，有效地提高了查詢的性能，但底層仍然是以HDFS或Hbase作為存儲介質(zhì)，直接導(dǎo)致其實時存儲性能不能滿足要求，而且與Hive相似，Impala的數(shù)據(jù)掃描方式也是全掃描，因而多維數(shù)據(jù)篩選類查詢的性能并不十分出色。

綜上所述，傳統(tǒng)的解決方案都基于較小的數(shù)據(jù)集，當(dāng)數(shù)據(jù)規(guī)模達到TB及以上級別時，均存在問題，而目前新型的通用海量數(shù)據(jù)解決方案又不能滿足NetFlow數(shù)據(jù)對于實時存儲以及多維度屬性檢索性能的基本要求，因而需要研究面向海量NetFlow數(shù)據(jù)存儲與管理的新型體系結(jié)構(gòu)。

2 MACS模型

2.1 模型定義

給定一個具有n維屬性的關(guān)系R(A1，A2，…，An)∈D1(D2(…(Dn，其中Di為屬性Ai的定義域，關(guān)系R被視為n維數(shù)據(jù)空間S=D1×D2×…×Dn的一個子集。多維聚簇存儲模型首先從n維屬性中選定一個或多個屬性，針對每一維選定的屬性進行劃分，最終將空間S劃分為若干子空間，原則是使R在每個子空間中具有近似相等的元組數(shù)。關(guān)系R即被劃分成若干近似相等的子空間。依據(jù)上述描述，MACS模型即選擇數(shù)據(jù)記錄的某個或某幾個屬性對整體數(shù)據(jù)進行空間切分，將海量數(shù)據(jù)劃分到不同的邏輯區(qū)域內(nèi)存儲。

下面以一個例子來說明多維屬性聚簇模型在數(shù)據(jù)的存儲和查詢過程中所起到的作用。如圖1所示在3個維度上做空間切分。對于值域范圍內(nèi)任意一條網(wǎng)絡(luò)流記錄所對應(yīng)的3維屬性的值，都可以在此空間內(nèi)找到唯一的一塊子空間與之對應(yīng)。在數(shù)據(jù)存儲過程中，隨著流數(shù)據(jù)的不斷到來，依據(jù)模型中對于各個屬性的劃分規(guī)則，將逐漸填充相應(yīng)的空間。而根據(jù)已有規(guī)則查找數(shù)據(jù)的過程與存儲過程相似，依據(jù)查詢條件得到一個或多個子空間作為候選集，然后對候選集內(nèi)的數(shù)據(jù)進行篩選查找，最終得到查詢結(jié)果。例如查找的一條記錄Rec的屬性滿足：time1

圖1 三維空間聚簇存儲模型邏輯示意圖

2.2 模型建立

聚簇屬性選擇的好壞將直接影響到查詢效率，本文通過構(gòu)建屬性頻度關(guān)聯(lián)矩陣并統(tǒng)計屬性整體出現(xiàn)頻率的方式來選取聚簇屬性。作為準(zhǔn)備，需要統(tǒng)計查詢負(fù)載信息，主要包括應(yīng)用環(huán)境中常用的查詢及其頻度、查詢中涉及的篩選類限制屬性，算法中涉及到的符號描述如表1所示。

表1 聚簇屬性選擇算法輸入符號描述

定義1關(guān)系R的屬性頻度關(guān)聯(lián)矩陣的行表示作用在該關(guān)系上的不同查詢，列表示關(guān)系中的所有屬性，矩陣中若查詢Qi中涉及Rj屬性，則該位置取值為fi，反之，取值為0。

聚簇屬性選取的第一步將根據(jù)負(fù)載統(tǒng)計信息依據(jù)定義1中描述構(gòu)建屬性頻度關(guān)聯(lián)矩陣，如表2所示，Q1包含屬性A1和A3，則矩陣中相應(yīng)的值為Q1的出現(xiàn)頻度f1，以此類推；第二步基于該矩陣統(tǒng)計每一維屬性出現(xiàn)的頻度，A1的屬性出現(xiàn)頻度即為相應(yīng)矩陣值求和；最后根據(jù)設(shè)置的閾值得到聚簇屬性集合。關(guān)于閾值的設(shè)置，會根據(jù)應(yīng)用場景中數(shù)據(jù)量的大小進行動態(tài)的變化。

表2 屬性頻度關(guān)聯(lián)矩陣示例

3 存儲模式

針對NetFlow數(shù)據(jù)到來速度快的特點，并充分利用數(shù)據(jù)服務(wù)器的計算資源，數(shù)據(jù)服務(wù)器采用并行加流水的方法來保證數(shù)據(jù)的實時存儲性能。數(shù)據(jù)存儲引擎采取多線程壓縮，最終多線程寫盤，并且壓縮與寫盤過程分開的策略，其中壓縮采用zlib算法進行。數(shù)據(jù)存儲引擎在接收到數(shù)據(jù)后，將數(shù)據(jù)按照不同的聚簇屬性區(qū)間進行劃分，并添加到內(nèi)存相應(yīng)的一級緩沖區(qū)中，當(dāng)緩存的數(shù)據(jù)量達到設(shè)定的閾值時，相應(yīng)的數(shù)據(jù)存儲線程會將緩存的數(shù)據(jù)進行壓縮，并將壓縮塊寫入到指定的二級緩沖區(qū)中，最終當(dāng)二級緩沖區(qū)達到閾值之后，以追加的方式寫到相應(yīng)的數(shù)據(jù)文件中。圖2給出了多維數(shù)據(jù)聚簇存儲執(zhí)行框架。

采用第二級緩沖區(qū)的目的是盡量保證數(shù)據(jù)的順序?qū)懭搿４疟P順序讀寫的性能遠(yuǎn)遠(yuǎn)高于隨機讀寫的性能，因而在數(shù)據(jù)存儲的過程中需盡量保證數(shù)據(jù)的順序?qū)懭?。由于本文對MACS模型的實現(xiàn)需要存儲大量的文件，在數(shù)據(jù)寫盤過程中會同時打開多個文件進行后追加寫，使得數(shù)據(jù)隨機寫入的概率增加。雖然現(xiàn)有的文件系統(tǒng)本身有預(yù)分配策略，來盡量保證數(shù)據(jù)的順序?qū)懭耄窃摬呗灾辉趩尉€程寫操作的情況下效果明顯，對于多線程同時寫多個文件，尤其是每次寫數(shù)據(jù)量都很小的情況下并不能保證數(shù)據(jù)的連續(xù)性，從而嚴(yán)重影響數(shù)據(jù)的讀寫性能。因此我們采用增加寫操作數(shù)據(jù)量的方式來盡量保證數(shù)據(jù)順序?qū)懭氪疟P，同時也會根據(jù)磁盤掛載的情況調(diào)整寫隊列的數(shù)量。

圖2 多維數(shù)據(jù)聚簇存儲執(zhí)行框架

為進一步提高數(shù)據(jù)的過濾能力，本研究對文件內(nèi)部數(shù)據(jù)采用一種新的方式進行組織，如圖3所示。文件由數(shù)據(jù)頭和數(shù)據(jù)塊兩部分組成，數(shù)據(jù)頭用來記錄數(shù)據(jù)塊的基本信息，數(shù)據(jù)塊內(nèi)部則是一定時間范圍內(nèi)的流記錄的集合。數(shù)據(jù)頭內(nèi)部TimeRange代表所對應(yīng)的數(shù)據(jù)塊的時間跨度，offset記錄該數(shù)據(jù)塊在文件中的位置信息，F(xiàn)ile Head Offset記錄數(shù)據(jù)頭在文件中的位置。每個文件都包含若干個數(shù)據(jù)塊，在寫入過程中每當(dāng)緩存達到閾值時，便將處理后的數(shù)據(jù)塊以后追加的形式寫入到相應(yīng)的數(shù)據(jù)文件中。文件頭則一直保存在內(nèi)存中，每當(dāng)有新的數(shù)據(jù)塊完成寫入時，便在文件頭中添加相應(yīng)信息。直到文件關(guān)閉，數(shù)據(jù)頭才會以后追加的方式寫入到文件中，并同時更新File Head Offset信息。

圖3 文件內(nèi)部結(jié)果示意圖

在進行查詢的過程中，會先讀取文件頭信息，查找符合查詢條件的TimeRange，并依據(jù)對應(yīng)的位置信息讀取相應(yīng)的數(shù)據(jù)塊。通過對文件進行如上組織，可以進一步減少查詢中讀取的數(shù)據(jù)量。

4 查詢模式

本文所面向的應(yīng)用場景為一個跨區(qū)域環(huán)境，查詢系統(tǒng)采用兩級分布式查詢模型，如圖4所示。

圖4 兩級查詢模型示意圖

一級查詢服務(wù)根據(jù)查詢請求生成查詢計劃，通過查找元數(shù)據(jù)信息，直接將查詢下發(fā)給相應(yīng)的二級查詢服務(wù)，最終由二級查詢服務(wù)進行數(shù)據(jù)的掃描和處理。二級查詢服務(wù)會根據(jù)查詢的類型采用不同的結(jié)果回傳方式，若為普通篩選類查詢則進行實時分段回傳，若為聚集排序等復(fù)雜查詢，則先對中間結(jié)果進行預(yù)處理，之后返回給一級查詢服務(wù)。一級查詢服務(wù)也會針對不同的查詢類型進行結(jié)果處理，包括分組、排序等，最終將查詢結(jié)果返回。

在二級服務(wù)查詢的過程中，依據(jù)場景特點，定義了超多面體模型，以超多面體的并、交、差來描述查詢條件，以快速定位數(shù)據(jù)文件。

假設(shè)查詢涉及關(guān)系的維度為N，那么這N維屬性便構(gòu)成了一個N維空間。任意一條值域空間范圍內(nèi)的流記錄Rec：(r1, r2,…, rn)，都可以看做此N維空間中的一個點。同理，查詢條件都可轉(zhuǎn)化為此N維空間中的一個或多個超多面體，而查找滿足查詢條件的流記錄，就等價于：(1)找到查詢條件所對應(yīng)的超多面體集合；(2)找到該集合中所包含的點。圖5給出了一個查詢條件轉(zhuǎn)化示例。

圖5 超多面體空間查詢示例

圖5中所示查詢條件轉(zhuǎn)化為3個超多面體的并：Cond1∪Cond2∪Cond3，其中：

Cond1等價于：1≤x≤5∩7≤y≤11

Cond2等價于：3≤x≤11∩5≤y≤9

Cond3等價于：14≤x≤17∩1≤y≤13

用超多面體來表達的查詢條件具有析取范式的形式：Cond1∪Cond2∪…∪Condm，其中每個超多面體Condi都是一系列屬性條件的合取式：A1∩A2∩…∩An，這里每個屬性條件Aj決定了Condi的一條邊，即流記錄Rec若包含于Condi，那么它在任意第j個查詢屬性上必須滿足的條件。由于任何邏輯表達式都存在對應(yīng)的析取范式，因此對于任意的查詢條件，也總能找到與之等價的一組超多面體。用超多面體的方式描述查詢條件，不僅直觀，而且合乎NetFlow數(shù)據(jù)查詢條件的常見方式。

5 實驗結(jié)果與分析

以MACS模型為基礎(chǔ)，采用上文提到的存儲和查詢模式，本研究實現(xiàn)了在線系統(tǒng)SIEVE，根據(jù)場景要求，SIEVE為跨區(qū)域的系統(tǒng)，已于2012年上線運行，本節(jié)所涉及的測試均采用SIEVE系統(tǒng)來進行。測試平臺由9臺服務(wù)器組成，服務(wù)器硬件為每個節(jié)點4個頻率為2.2GHz八核CPU，32GB內(nèi)存和1TB的存儲容量。節(jié)點運行的操作系統(tǒng)為Red Hat 6.2，內(nèi)核版本號2.6.32，節(jié)點間通過千兆網(wǎng)互連。其中，1臺節(jié)點作為SIEVE的查詢控制節(jié)點，同時作為Hadoop集群的master節(jié)點，其余8臺節(jié)點作為數(shù)據(jù)節(jié)點。實驗中運行的Java環(huán)境為1.7.0，使用的Hadoop版本為2.6.0，Hive版本為1.1.0，Impala版本為2.3.0，Hbase版本為0.96.12，存儲在HDFS上的文件副本數(shù)為3，Hive以及Impala所涉及數(shù)據(jù)均采用Parquet的文件格式進行存儲。SIEVE系統(tǒng)采用C++實現(xiàn)，測試采用的數(shù)據(jù)均來自于實際線上環(huán)境。SIEVE默認(rèn)時間粒度設(shè)置1h，選取源IP、目的IP作為聚簇存儲屬性，而在每個維度上分為4個分片。

5.1 數(shù)據(jù)壓縮比

本節(jié)測試數(shù)據(jù)的存儲效率，方法為統(tǒng)計使用多維屬性聚簇模型存儲的數(shù)據(jù)所占空間大小以及數(shù)據(jù)中包含的NetFlow數(shù)據(jù)條數(shù)，即得到壓縮后每條記錄所占空間大小。經(jīng)測試，壓縮后單條數(shù)據(jù)大小約為17個字節(jié)，而原始數(shù)據(jù)單條數(shù)據(jù)大小為48個字節(jié)，壓縮比約為3:1，壓縮效果明顯。有如此明顯的壓縮效率主要原因是數(shù)據(jù)經(jīng)過MACS模型組織后，數(shù)據(jù)塊內(nèi)均為相近的數(shù)據(jù)，并且最終采用二進制方式進行存儲。

5.2 實時存儲速率

對比SIEVE、Hive以及Hbase 3種數(shù)據(jù)存儲方式的數(shù)據(jù)加載性能，其中Hive采用批量加載的方式，而SIEVE、Hbase采用在線實時加載的方式，比較三者的加載完成時間。圖6給出了數(shù)據(jù)加載平均時間的對比。

圖6 數(shù)據(jù)實時存儲速度

圖6中本文存儲約26.7億條數(shù)據(jù)，來測試數(shù)據(jù)存儲速率，其中縱坐標(biāo)為完成數(shù)據(jù)加載所需時間，由于測試環(huán)境為千兆以太網(wǎng)，因而SIEVE采用一臺數(shù)據(jù)服務(wù)器進行接收。本研究可知，SIEVE的數(shù)據(jù)實時存儲速度最快，單點接收速度大概為270萬條/s，基本接近了千兆以太網(wǎng)卡的流速上限，遠(yuǎn)高于Hive和Hbase。

5.3 查詢性能

對比SIEVE、Hive以及Impala的查詢性能。實驗中包括應(yīng)用環(huán)境中最常出現(xiàn)的點查詢以及聚集排序類查詢，點查詢的查詢語句形式為“select* from table where sip=*** and dip=***”，而聚集排序類查詢的查詢語句形式為“select sip,dip,dport,sum(bytes) as sum_bytes from table where sip=*** and dip=*** group by sip,dip,dport order by sum_bytes desc”。圖7給出了查詢執(zhí)行的平均時間對比。

圖7 查詢性能對比測試

圖7中本文對約26.7億條數(shù)據(jù)進行查詢，測試查詢完成時間，橫坐標(biāo)為查詢類型，其中Q1、Q2為點查詢，Q3、Q4、Q5為聚集排序類查詢，Q1、Q3查詢條件中包括對源IP 、目的IP的篩選限制，Q2、Q4、Q5查詢條件僅包括對目的IP的篩選限制，Q4、Q5區(qū)別在于最終結(jié)果列的數(shù)量，Q5僅對兩維數(shù)據(jù)進行統(tǒng)計并最終排序。本研究可知，SIEVE具有最好的查詢性能。對于Hive和Impala，雖然Parquet存儲格式中有關(guān)于block內(nèi)數(shù)據(jù)列最大最小值的統(tǒng)計信息，但是由于NetFlow單條記錄小，導(dǎo)致每個數(shù)據(jù)塊中所含的數(shù)據(jù)條數(shù)多，而IP分布本身具有分散的特性，這就使得統(tǒng)計信息的作用有限，最終仍需要掃描絕大部分的數(shù)據(jù)，因而執(zhí)行時間均較長，尤其是Hive在執(zhí)行聚集排序類操作時需要啟動兩個MapReduce作業(yè)來實現(xiàn)，導(dǎo)致耗費時間最長。Q5在執(zhí)行時間上比同樣進行目的IP篩選條件的Q4更快是因為Parquet存儲格式采用的是純列存，因而查詢結(jié)果中涉及的數(shù)據(jù)列越少，查詢性能便越高。

圖8中本文對不同選擇率的查詢性能進行比較，其中橫坐標(biāo)為點查詢的查詢結(jié)果條數(shù)，同時也為聚集排序類查詢的符合條件的原始數(shù)據(jù)條數(shù)，查詢條件中包括對源IP 、目的IP的篩選限制。本研究可知，SIEVE在不同的數(shù)據(jù)選擇率下具有穩(wěn)定且優(yōu)越的查詢性能。而Hive和Impala在不同選擇率下查詢也沒有太大的波動，進一步說明Parquet存儲格式的統(tǒng)計信息優(yōu)化在本場景中作用有限。

圖8 查詢性能對比測試

5.4 系統(tǒng)擴展性

本節(jié)固定對約26.7億條數(shù)據(jù)進行查詢，通過增加機器的數(shù)量，查看查詢時間變化趨勢，如圖9所示，由5.3節(jié)可知點查詢與聚集排序查詢性能表現(xiàn)一致，因而本節(jié)僅選取點查詢進行測試。本研究可知，通過增加節(jié)點的數(shù)量，系統(tǒng)的查詢性能近似線性提高。在線環(huán)境已運行超過100臺節(jié)點，運行狀況良好。

圖9 系統(tǒng)擴展性測試

6 結(jié) 論

面對快速到來的海量NetFlow流數(shù)據(jù)給存儲和查詢分析帶來的挑戰(zhàn)，本文提出了多維屬性聚簇存儲(MACS)模型。它通過分析現(xiàn)有負(fù)載查詢特點，合理選擇一個或多個屬性作為聚簇屬性，劃分?jǐn)?shù)據(jù)空間，從而減少數(shù)據(jù)處理過程中待處理的數(shù)據(jù)量，通過并行加流水的方式，充分利用各節(jié)點的計算和存儲資源，保證每一維數(shù)據(jù)的實時快速存儲，并在查詢中定義了超多面體的查詢描述方式，使之更貼近應(yīng)用場景，更加直觀和高效地表示對于NetFLow數(shù)據(jù)的查詢操作。實驗結(jié)果表明，MACS模型實現(xiàn)的系統(tǒng)單點實時存儲性能達到270萬條/s，并且多維數(shù)據(jù)查詢能力也優(yōu)于Hive和Impala，能夠提供穩(wěn)定持續(xù)的查詢服務(wù)。未來我們將研究新的文件組織形式來作為MACS模型的實現(xiàn)，進一步保證數(shù)據(jù)在磁盤上的順序讀寫，保證讀寫性能，此外還將研究MACS模型在Hive、Impala等查詢分析系統(tǒng)中的應(yīng)用。

[1] Cncert/Cc. 2013年我國互聯(lián)網(wǎng)網(wǎng)絡(luò)安全態(tài)勢綜述. http://www.cert.org.cn/：國家互聯(lián)網(wǎng)應(yīng)急中心，2014

[2] Cncert/Cc. 2013年中國互聯(lián)網(wǎng)網(wǎng)絡(luò)安全報告. 北京：人民郵電出版社, 2014

[3] Li B, Springer J, Bebis G, et al. A survey of network flow applications.JournalofNetworkandComputerApplications, 2013, 36(36):567-581

[4] Wang Z, Wang X. NetFlow based intrusion detection system. In: Proceedings of the 2008 International Conference on MultiMedia and Information Technology, Three Gorges, China, 2008. 825-828

[5] 吳斌, 丘勁松, 金連甫. 基于NetFlow的流量計費系統(tǒng)的設(shè)計與實現(xiàn). 計算機工程, 2004, 30(7):189-191

[6] 陳寧, 徐同閣. NetFlow流量采集與存儲技術(shù)的研究實現(xiàn). 計算機應(yīng)用研究, 2008, 25(2):559-561

[7] Liu B, Lin C, Ruan D H, et al. Netfiow based flow analysis and monitor. In：Proceedings of the 2006 IEEE International Conference on Communication Technology, Vienna, Austria, 2006. 1-4

[8] Gates C, Collins M, Duggan M, et al. More netflow tools for performance and security. In: Proceedings of USENIX Conference on System Administration, Atlanta, USA, 2004. 121-132

[9] Ghemawat S, Gobioff H, Leung S. File and storage systems: the google file system.AcmSymposiumonOperatingSystemsPrinciplesBoltonLanding, 2003, 37:29-43

[10] Chang F, Dean J, Ghemawat S, et al. Bigtable: A distributed storage system for structured data.ACMTransactionsonComputerSystems, 2008, 26(2): 205-218

[11] Bialecki A，Cafarella M．Hadoop：A Framework for Running Applications on Large Clusters Built of Commodity Hardware，http://lucene.apache.org/hadoop: Apache, 2008

[12] Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters.CommunicationsofTheACM, 2008, 51(1): 107-113

[13] Thusoo A, Sarma J S, Jain N, et al. Hive: a warehousing solution over a map-reduce framework.ProceedingsoftheVldbEndowment, 2009, 2(2):1626-1629

[14] George L. HBase: The Definitive Guide. Sebastopol, USA: O'Reilly Media, 2011

[15] Melnik S, Gubarev A, Long J J, et al. Dremel: Interactive analysis of web-scale datasets.CommunicationsoftheAcm, 2011, 3(12):114-123

Research on storage and query processing for massive NetFlow data

Chen Zhongtao******，Wang Weiping***， Meng Dan***， Cui Jia****， Hu Bin***

(*Center of Computer Application Research， Institute of Computing Technology, Chinese Academy of Sciences， Beijing 100190) (**University of Chinese Academy of Sciences， Beijing 100049) (***Institute of Information Engineering， Chinese Academy of Sciences， Beijing 100093) (****China Information Technology Security Evaluation Center， Beijing 100085)

Considering that China backbone network’s NetFlow data has the features of high arrival rate, large amount and need of frequent multidimensional query operation, the study proposed a multidimensional attributes clustering storage (MACS) model. According to the properties of real applicable queries, the proposed MACS model conducts space partition on NetFlow data, and stores the data in the way of parallel pipelining. Moreover, a hyper-polyhedron query mode for NetFlow data was presented. The experiments performed in real application environments show that the real time data storing rate of a single system realized with the model can achieve the storing rate up to 2.7 million records per second, which is more faster than all the other systems. Especially, the speed of the proposed multidimensional query is faster than Hive and Impala.

NetFlow， multidimensional attributes clustering storage (MACS) model， real time data storage， super polyhedron

10.3772/j.issn.1002-0470.2016.06.003

①國家科技支撐計劃(2012BAH46B03)，國家自然科學(xué)基金(61402473)，核高基(2013ZX01039-002-001-001)和中國科學(xué)院先導(dǎo)專項(XDA06030200)資助項目。

2016-03-29)

②男，1986年生，博士生；研究方向：海量數(shù)據(jù)的存儲與處理；聯(lián)系人，E-mail: chenzhongtao@ncic.ac.cn