海量冗余數(shù)據(jù)干擾下的網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)研究

摘 要： 傳統(tǒng)的網(wǎng)絡(luò)信號捕獲方法通過滑動相關(guān)法分析本地樣本信號與接收網(wǎng)絡(luò)信號的關(guān)聯(lián)性，實(shí)現(xiàn)信號捕獲，但當(dāng)網(wǎng)絡(luò)中存在海量冗余數(shù)據(jù)干擾時，占空較小，容易在無信號時間區(qū)間形成大量的噪聲，導(dǎo)致網(wǎng)絡(luò)信號誤捕獲的問題。因此，提出基于Winpcap網(wǎng)絡(luò)和kd?treed模型的數(shù)據(jù)捕獲方法，設(shè)計(jì)網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)，捕獲系統(tǒng)包括用于捕獲和過濾數(shù)據(jù)的內(nèi)核模塊、用于數(shù)據(jù)變換和協(xié)議分析的用戶分析模塊并分析系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)捕獲的功能模塊。通過Winpcap 底層網(wǎng)絡(luò)分析體系結(jié)構(gòu)，實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)包的捕獲，采用kd?treed模型過濾海量數(shù)據(jù)干擾，提高數(shù)據(jù)捕獲的精度。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)穩(wěn)定性高，數(shù)據(jù)捕獲精度高。

關(guān)鍵詞： 冗余數(shù)據(jù)干擾； 網(wǎng)絡(luò)數(shù)據(jù)捕獲； 數(shù)據(jù)捕獲系統(tǒng)； 數(shù)據(jù)分析系統(tǒng)

中圖分類號： TN926?34； TP311 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）16?0027?04

Abstract： Since the traditional method of network signal capture may form a lot of noise in the time interval without signal and cause 1 capture of network signal when the massive redundant data interference exists in the network， a data capture method based on Winpcap network and kd?treed model is proposed to design the network data capture system and analysis system. The capture system includes the kernel module for data capture and filtering， and user analysis model for data transformation and protocol analysis. The kd?treed model is used to filter the interference of massive data， improve the accuracy of data capture， and realize the network packet capture through Winpcap underlying network analysis system structure. The experimental results indicate that the designed system has high stability， and can realize high?precision data capture.

Keywords： redundant data interference； network data capture； data capture system； data analysis system

0 引 言

隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)逐漸成為人們生產(chǎn)和生活中的重要工具。網(wǎng)絡(luò)安全性受到人們的普遍關(guān)注[1?2]。安全性是指網(wǎng)絡(luò)信息不被泄露和破壞。網(wǎng)絡(luò)數(shù)據(jù)包捕獲和分析技術(shù)是一種基本的網(wǎng)絡(luò)安全維護(hù)手段。建立有關(guān)網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析方法對網(wǎng)絡(luò)安全具有重要作用[3?5]。目前，有關(guān)網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析方法取得了如下進(jìn)展：李小華將TDT同步算法與滑動相關(guān)法融合完成網(wǎng)絡(luò)數(shù)據(jù)捕獲，但存在效率低、一級數(shù)據(jù)損失高的缺陷[6]；崔文明對參考信號和接收信號進(jìn)行卷積，并通過關(guān)聯(lián)峰值捕獲方法獲取網(wǎng)絡(luò)信號，此方法為串行檢索，效率較低[7]；翁佳雷通過訓(xùn)練序列完成信號的捕獲，但此方法受到關(guān)聯(lián)峰的影響，信號捕獲誤差較高[8]；孫大為通過滑動相關(guān)法捕獲網(wǎng)絡(luò)數(shù)據(jù)，接收機(jī)運(yùn)算本地樣本同接收信號的關(guān)聯(lián)度完成網(wǎng)絡(luò)信號的捕獲，但該方法抗噪性能較低[9]。針對上述方法的缺陷，提出一種基于Winpcap 網(wǎng)絡(luò)和kd?treed模型的數(shù)據(jù)捕獲方法，設(shè)計(jì)網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)。

1 基于Winpcap網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)

1.1 網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)

Winpcap由核心包過濾驅(qū)動程序（Netgroup Paeket Filter，NPF）、高層動態(tài)鏈接庫Wpcap.dll 以及基礎(chǔ)動態(tài)鏈接庫 Packet.dll 構(gòu)成。Winpcap 的 NPF 模塊的功能是過濾和捕獲數(shù)據(jù)包、存儲和發(fā)送數(shù)據(jù)包以及對網(wǎng)絡(luò)參數(shù)進(jìn)行統(tǒng)計(jì)分析。Wpcap.dll 動態(tài)鏈接庫模塊的功能是利用其緩沖區(qū)、過濾器產(chǎn)生部件以及數(shù)據(jù)匯總和塑造數(shù)據(jù)等高層功能的函數(shù)；動態(tài)鏈接庫Packet.dll 模塊的功能是提供較低層的編程接口，能夠直接調(diào)用 Winpcap 庫函數(shù)?；?Winpcap 的網(wǎng)絡(luò)數(shù)據(jù)包捕獲與分析系統(tǒng)包括用于捕獲和過濾數(shù)據(jù)的內(nèi)核模塊及用于數(shù)據(jù)變換和協(xié)議分析的用戶分析模塊?；?Winpcap 的網(wǎng)絡(luò)數(shù)據(jù)包捕獲與分析系統(tǒng)與 Winpcap之間的結(jié)構(gòu)關(guān)系如圖1所示。

圖1 基于Winpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲與分析系統(tǒng)

1.2 系統(tǒng)功能結(jié)構(gòu)

設(shè)計(jì)的網(wǎng)絡(luò)數(shù)據(jù)包捕獲與分析系統(tǒng)運(yùn)行過程中，主要的功能模塊和軟件結(jié)構(gòu)如圖2所示。

網(wǎng)絡(luò)數(shù)據(jù)捕獲分析各功能模塊的具體描述如下：

（1） 網(wǎng)卡搜索可進(jìn)行全部本機(jī)的網(wǎng)絡(luò)端口的搜索，同時鎖定可完成數(shù)據(jù)包捕獲的網(wǎng)絡(luò)端口。當(dāng)進(jìn)行網(wǎng)卡搜索時，能夠通過字符串char*捕獲數(shù)據(jù)端口裝置。

（2） 綁定網(wǎng)卡為捕獲程序的初始化和獲取數(shù)據(jù)包提供了有利條件，實(shí)現(xiàn)網(wǎng)卡綁定首先要在眾多網(wǎng)絡(luò)裝置的數(shù)據(jù)中，確立需要捕獲的網(wǎng)絡(luò)數(shù)據(jù)。當(dāng)許多裝置一并被捕獲時，將文件句柄 handle充當(dāng)辨別裝置，將不同的用戶數(shù)據(jù)捕獲的裝置進(jìn)行逐一劃分。其次必須建立所使用的、捕獲數(shù)據(jù)的網(wǎng)卡，同時根據(jù)命令的參數(shù)方法，利用變量載入被捕獲的數(shù)據(jù)包長度和等待時間等。

（3） 建立過濾器是完成過濾條例創(chuàng)建和轉(zhuǎn)換的過程。可將創(chuàng)設(shè)的過濾條例集進(jìn)行轉(zhuǎn)換后呈遞給Winpcap引擎，就能對特殊的反饋數(shù)據(jù)包進(jìn)行捕獲。在這一系列的處理過程中，應(yīng)先確立一個字符串，對過濾條例集合進(jìn)行存儲，然后把這些字符串改變?yōu)槠渌袷剑疤崾沁@種格式必須被Winpcap引擎辨認(rèn)，最后能夠?qū)崿F(xiàn)轉(zhuǎn)換。轉(zhuǎn)換完成后，為了能夠把轉(zhuǎn)換和創(chuàng)建的過程看成該程序內(nèi)捕獲和篩選數(shù)據(jù)包的條例，就需要把所有轉(zhuǎn)換的條例反饋到Winpcap引擎。

（4） 數(shù)據(jù)包捕獲是在建立的捕獲單個數(shù)據(jù)包的作用模塊的基礎(chǔ)上，重新建立循環(huán)捕獲數(shù)據(jù)包的主體循環(huán)。它主要通過以下兩種方法實(shí)現(xiàn)：每當(dāng)有一個符合標(biāo)準(zhǔn)的數(shù)據(jù)包出現(xiàn)時，立刻對其進(jìn)行捕獲，并且把所捕獲的數(shù)據(jù)包全部反饋到數(shù)據(jù)包分析模塊上，實(shí)行相應(yīng)的操作和分析；建立一套完整且不斷運(yùn)行的步驟，與此同時，在這個步驟中，結(jié)束對數(shù)據(jù)包的捕獲和分析。

（5） 數(shù)據(jù)包分析是根據(jù)以上步驟，對捕獲到的數(shù)據(jù)包頂端存有相關(guān)的協(xié)議信息和地址信息進(jìn)行分析。在該模塊運(yùn)行過程中，依據(jù)已捕獲到的協(xié)議和地址資料，系統(tǒng)分析捕獲數(shù)據(jù)包中的協(xié)議成分。按照用戶的要求，分析和整理數(shù)據(jù)包中的剩余資料，并保留分析成果。

1.3 CAN控制器硬件設(shè)計(jì)

CAN控制器對網(wǎng)絡(luò)數(shù)據(jù)捕獲與分析系統(tǒng)中的數(shù)據(jù)鏈路層以及物理層進(jìn)行調(diào)控，增強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)捕獲的質(zhì)量。CAN總線驅(qū)動模塊功能控制器采用驅(qū)動芯片與其他控制器相結(jié)合完成通信，詳細(xì)的電路模塊如圖3所示。CAN總線收發(fā)器選用PCA82C250作為總線收發(fā)器，PCA82C250是協(xié)議控制器和物理總線之間的接口，能夠提高對總線的差動發(fā)送能力和對CAN控制器的差動采集性能。

PCA82C250可處理海量冗余數(shù)據(jù)環(huán)境下的瞬間干擾。在緩沖器驅(qū)動時，設(shè)置高速光隔，提高網(wǎng)絡(luò)數(shù)據(jù)通信的抗干擾性能和穩(wěn)定性。

2 網(wǎng)絡(luò)數(shù)據(jù)包捕獲

2.1 基于kd?treed模型的海量數(shù)據(jù)干擾去除

為了提高網(wǎng)絡(luò)數(shù)據(jù)捕獲的精度，應(yīng)清除網(wǎng)絡(luò)中的海量冗余數(shù)據(jù)干擾，通過構(gòu)建kd?tree數(shù)據(jù)模型，可將海量數(shù)據(jù)劃分成不同的層次，獲取一個樹狀結(jié)構(gòu)，針對該結(jié)構(gòu)塑造干擾辨識模塊，按照相關(guān)的方案分析并過濾干擾數(shù)據(jù)。若樹狀結(jié)構(gòu)中的節(jié)點(diǎn)n中覆蓋某范圍的所有數(shù)據(jù)，需要將節(jié)點(diǎn)當(dāng)成單元集[n.cell]。海量數(shù)據(jù)中的點(diǎn)數(shù)量不確定，僅可明確一個數(shù)據(jù)點(diǎn)，其在樹狀結(jié)構(gòu)中用葉子描述。kd?tree的根節(jié)點(diǎn)同所有數(shù)據(jù)節(jié)點(diǎn)相關(guān)，通過kd?tree中的某節(jié)點(diǎn)[n]，求出包含的數(shù)據(jù)有效數(shù)量[n.count]以及存在關(guān)聯(lián)性的數(shù)據(jù)[n.total]。節(jié)點(diǎn)[n]單元的中心為[n.center=n.totaln.count]。

過濾網(wǎng)絡(luò)中的海量數(shù)據(jù)干擾時，應(yīng)確保kd?tree中始終有節(jié)點(diǎn)n，數(shù)據(jù)中心存在數(shù)據(jù)集合，用[n.SC]描述。數(shù)據(jù)結(jié)構(gòu)的最上部節(jié)點(diǎn)，用于描述待挖掘的數(shù)據(jù)中心集。外部的分支節(jié)點(diǎn)用[n]描述，并且[n.SC=pn.SC]，其中[pn.SC]用于描述父輩節(jié)點(diǎn)的中心。過濾不是[n.cell]中任何數(shù)據(jù)點(diǎn)的最近中心時，應(yīng)設(shè)置候選[Ci∈n.SC]，即[n.cell]的中心點(diǎn)，表示逼近[c.center]的候選點(diǎn)。對于一個簇中心[C∈n.SCCi]，若[C]不是[n.cell]中任何數(shù)據(jù)點(diǎn)的最鄰近中心，則將[C]從候選中心集[n.SC]中過濾掉。

用[xi，min]，[xi，max]描述[n.cell]在空間映射的最小值與最大值，記作[U=u1，u2，…，udt=C-Ci]，若[C∈n.SCCi]。[n.cell]的頂端數(shù)據(jù)用[V=v1，v2，…，vdt]進(jìn)行描述，用[vi，][i=1，2，…，d]描述參數(shù)；假設(shè)[ui≥0]，[vi=xi，min]，若不成立，則[vi=xi，max]。假設(shè)[dV，C>dV，Ci]，[C]并非[n.cell]中的中心點(diǎn)，描述成干擾數(shù)據(jù)，可對[n.SC]中的干擾數(shù)據(jù)進(jìn)行刪除。假設(shè)[n.SC=1]，則[n.SC]為[n.SC]的基，[Ci]即為中心數(shù)據(jù)點(diǎn)，并非干擾數(shù)據(jù)，則將[n.count]提升至[Ci.count]與[Ci.total]，[Ci.count]與[Ci.total]分別是以[Ci]為中心的聚類數(shù)據(jù)集的個數(shù)和矢量和，以上步驟實(shí)現(xiàn)了網(wǎng)絡(luò)中干擾數(shù)據(jù)的過濾。綜上所述，采用kd?treed模型，可過濾網(wǎng)絡(luò)中的干擾數(shù)據(jù)，提高剩余數(shù)據(jù)的單純性，增強(qiáng)數(shù)據(jù)分類精度，為數(shù)據(jù)捕獲提供可靠依據(jù)。

2.2 基于Winpcap 的網(wǎng)絡(luò)數(shù)據(jù)包的捕獲過程

完成網(wǎng)絡(luò)中干擾數(shù)據(jù)的過濾后，可為網(wǎng)絡(luò)數(shù)據(jù)的捕獲創(chuàng)造良好環(huán)境，采用基于Winpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲方法，實(shí)現(xiàn)數(shù)據(jù)的高精度捕獲。Winpcap 為Win32環(huán)境中的高質(zhì)量底層網(wǎng)絡(luò)分析體系結(jié)構(gòu)，基于Winpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲和分析程序，由程序捕獲模塊以及用戶分析模塊構(gòu)成。程序捕獲模塊可從網(wǎng)絡(luò)中捕獲數(shù)據(jù)，過濾數(shù)據(jù)包；用戶分析模塊可對數(shù)據(jù)進(jìn)行格式化操作，并完成協(xié)議分析等工作?；赪inpcap的網(wǎng)絡(luò)數(shù)據(jù)包的捕獲過程如下：選擇一個端口進(jìn)行捕獲；初始化捕獲程序；設(shè)置過濾器；捕獲數(shù)據(jù)；解析數(shù)據(jù)包；完成數(shù)據(jù)捕獲后，終止進(jìn)程。

Winpcap實(shí)現(xiàn)數(shù)據(jù)捕獲的工作原理如圖4所示。

2.3 網(wǎng)絡(luò)數(shù)據(jù)捕獲過程的代碼設(shè)計(jì)

網(wǎng)絡(luò)數(shù)據(jù)捕獲過程的代碼源于開放源代碼形式頒布的PGrab程序，代碼依照GNU/GPL協(xié)議運(yùn)行。在此將以太網(wǎng)（Ethernet）環(huán)境作為網(wǎng)絡(luò)數(shù)據(jù)捕獲環(huán)境。

3 實(shí)驗(yàn)分析

檢測本文設(shè)計(jì)的網(wǎng)絡(luò)數(shù)據(jù)捕獲系統(tǒng)的性能時，使用了標(biāo)準(zhǔn)的 C/S 結(jié)構(gòu)，通過Load Runner 8.1檢測本文設(shè)計(jì)的數(shù)據(jù)捕獲系統(tǒng)的性能。

3.1 三種檢測實(shí)例下系統(tǒng)穩(wěn)定性比對

實(shí)驗(yàn)采用表1描述的三種檢測實(shí)例測試本文系統(tǒng)的性能，并進(jìn)行比對，結(jié)果如表2所示。

由表2可知，采用本文系統(tǒng)對3種用例進(jìn)行檢測，吞吐量分別為97%，93%，95%，表明系統(tǒng)具有較高的穩(wěn)定性。

3.2 系統(tǒng)數(shù)據(jù)捕獲結(jié)果的分析

實(shí)驗(yàn)測試本文系統(tǒng)的捕獲性能，結(jié)果如表3、圖5所示。

由表3可知，本文系統(tǒng)的數(shù)據(jù)捕獲精度均高于96%，證明了本文方法的準(zhǔn)確性。

將本文系統(tǒng)與滑動相關(guān)法在捕獲數(shù)據(jù)包的時間進(jìn)行比對，由圖5可知，本文系統(tǒng)平均每個數(shù)據(jù)包的捕獲時間為6.25 s，遠(yuǎn)低于滑動相關(guān)法的平均捕獲時間11.34 s，說明本文系統(tǒng)具有較高的捕獲效率。

4 結(jié) 論

本文提出基于Winpcap 網(wǎng)絡(luò)和kd?treed模型的數(shù)據(jù)捕獲方法，設(shè)計(jì)網(wǎng)絡(luò)數(shù)據(jù)捕獲和分析系統(tǒng)，實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)包的捕獲。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)穩(wěn)定性高，具備較高的數(shù)據(jù)捕獲精度。

參考文獻(xiàn)

[1] 許應(yīng)康，張阿莉.基于PCAP格式網(wǎng)絡(luò)數(shù)據(jù)包分析軟件設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2013，36（10）：49?51.

[2] 邱志宏，潘大慶，黃力.可擴(kuò)展網(wǎng)絡(luò)協(xié)議分析平臺設(shè)計(jì)與實(shí)現(xiàn)[J].煤炭技術(shù)，2013，32（7）：177?179.

[3] 吳歡歡，周建平，許燕，等.RFID發(fā)展及其應(yīng)用綜述[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（12）：203?206.

[4] 高旭東.物聯(lián)網(wǎng)（智能家居）中無線異構(gòu)網(wǎng)絡(luò)融合網(wǎng)關(guān)的設(shè)計(jì)與應(yīng)用[D].南京：南京郵電大學(xué)，2013.

[5] 付印金.面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2013.

[6] 周亞峰.我國計(jì)算機(jī)應(yīng)用的發(fā)展現(xiàn)狀與趨勢預(yù)測[J].電腦知識與技術(shù)，2013（5）：1228?1229.

[7] 崔文明，余正州，任偉.Android平臺下應(yīng)用程序流量控制技術(shù)及其系統(tǒng)實(shí)現(xiàn)[J].信息網(wǎng)絡(luò)安全，2013（8）：33?37.

[8] 翁佳雷.網(wǎng)絡(luò)實(shí)時分析系統(tǒng)的分析平臺設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2014.

[9] 孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014，25（4）：839?862.