海量冗余數(shù)據(jù)干擾下的網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)研究

孟慶娟，曹青媚，馬占飛

（1.包頭輕工職業(yè)技術學院 電子商務學院，內(nèi)蒙古 包頭　014035；2.內(nèi)蒙古農(nóng)業(yè)大學職業(yè)技術學院 計算機技術與信息管理系，內(nèi)蒙古 包頭　014100；3.內(nèi)蒙古科技大學包頭師范學院 信息科學與技術學院，內(nèi)蒙古 包頭　014030）

海量冗余數(shù)據(jù)干擾下的網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)研究

孟慶娟1，曹青媚2，馬占飛3

（1.包頭輕工職業(yè)技術學院 電子商務學院，內(nèi)蒙古 包頭014035；2.內(nèi)蒙古農(nóng)業(yè)大學職業(yè)技術學院 計算機技術與信息管理系，內(nèi)蒙古 包頭014100；3.內(nèi)蒙古科技大學包頭師范學院 信息科學與技術學院，內(nèi)蒙古 包頭014030）

摘要：傳統(tǒng)的網(wǎng)絡信號捕獲方法通過滑動相關法分析本地樣本信號與接收網(wǎng)絡信號的關聯(lián)性，實現(xiàn)信號捕獲，但當網(wǎng)絡中存在海量冗余數(shù)據(jù)干擾時，占空較小，容易在無信號時間區(qū)間形成大量的噪聲，導致網(wǎng)絡信號誤捕獲的問題。因此，提出基于Winpcap網(wǎng)絡和kd?treed模型的數(shù)據(jù)捕獲方法，設計網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)，捕獲系統(tǒng)包括用于捕獲和過濾數(shù)據(jù)的內(nèi)核模塊、用于數(shù)據(jù)變換和協(xié)議分析的用戶分析模塊并分析系統(tǒng)實現(xiàn)數(shù)據(jù)捕獲的功能模塊。通過Winpcap底層網(wǎng)絡分析體系結(jié)構，實現(xiàn)網(wǎng)絡數(shù)據(jù)包的捕獲，采用kd?treed模型過濾海量數(shù)據(jù)干擾，提高數(shù)據(jù)捕獲的精度。實驗結(jié)果表明，所設計系統(tǒng)穩(wěn)定性高，數(shù)據(jù)捕獲精度高。

關鍵詞：冗余數(shù)據(jù)干擾；網(wǎng)絡數(shù)據(jù)捕獲；數(shù)據(jù)捕獲系統(tǒng)；數(shù)據(jù)分析系統(tǒng)

0　引　言

隨著網(wǎng)絡技術的快速發(fā)展，網(wǎng)絡逐漸成為人們生產(chǎn)和生活中的重要工具。網(wǎng)絡安全性受到人們的普遍關注［1?2］。安全性是指網(wǎng)絡信息不被泄露和破壞。網(wǎng)絡數(shù)據(jù)包捕獲和分析技術是一種基本的網(wǎng)絡安全維護手段。建立有關網(wǎng)絡數(shù)據(jù)捕獲和分析方法對網(wǎng)絡安全具有重要作用［3?5］。目前，有關網(wǎng)絡數(shù)據(jù)捕獲和分析方法取得了如下進展：李小華將TDT同步算法與滑動相關法融合完成網(wǎng)絡數(shù)據(jù)捕獲，但存在效率低、一級數(shù)據(jù)損失高的缺陷［6］；崔文明對參考信號和接收信號進行卷積，并通過關聯(lián)峰值捕獲方法獲取網(wǎng)絡信號，此方法為串行檢索，效率較低［7］；翁佳雷通過訓練序列完成信號的捕獲，但此方法受到關聯(lián)峰的影響，信號捕獲誤差較高［8］；孫大為通過滑動相關法捕獲網(wǎng)絡數(shù)據(jù)，接收機運算本地樣本同接收信號的關聯(lián)度完成網(wǎng)絡信號的捕獲，但該方法抗噪性能較低［9］。針對上述方法的缺陷，提出一種基于Winpcap網(wǎng)絡和kd?treed模型的數(shù)據(jù)捕獲方法，設計網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)。

1　基于Winpcap網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)

1.1網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)

Winpcap由核心包過濾驅(qū)動程序（Netgroup Paeket Filter，NPF）、高層動態(tài)鏈接庫Wpcap.dll以及基礎動態(tài)鏈接庫 Packet.dll構成。Winpcap的 NPF模塊的功能是過濾和捕獲數(shù)據(jù)包、存儲和發(fā)送數(shù)據(jù)包以及對網(wǎng)絡參數(shù)進行統(tǒng)計分析。Wpcap.dll動態(tài)鏈接庫模塊的功能是利用其緩沖區(qū)、過濾器產(chǎn)生部件以及數(shù)據(jù)匯總和塑造數(shù)據(jù)等高層功能的函數(shù)；動態(tài)鏈接庫Packet.dll模塊的功能是提供較低層的編程接口，能夠直接調(diào)用 Winpcap庫函數(shù)?；?Winpcap的網(wǎng)絡數(shù)據(jù)包捕獲與分析系統(tǒng)包括用于捕獲和過濾數(shù)據(jù)的內(nèi)核模塊及用于數(shù)據(jù)變換和協(xié)議分析的用戶分析模塊?；?Winpcap的網(wǎng)絡數(shù)據(jù)包捕獲與分析系統(tǒng)與 Winpcap之間的結(jié)構關系如圖1所示。

圖1　基于Winpcap的網(wǎng)絡數(shù)據(jù)包捕獲與分析系統(tǒng)

1.2系統(tǒng)功能結(jié)構

設計的網(wǎng)絡數(shù)據(jù)包捕獲與分析系統(tǒng)運行過程中，主要的功能模塊和軟件結(jié)構如圖2所示。

網(wǎng)絡數(shù)據(jù)捕獲分析各功能模塊的具體描述如下：

（1）網(wǎng)卡搜索可進行全部本機的網(wǎng)絡端口的搜索，同時鎖定可完成數(shù)據(jù)包捕獲的網(wǎng)絡端口。當進行網(wǎng)卡搜索時，能夠通過字符串char*捕獲數(shù)據(jù)端口裝置。

（2）綁定網(wǎng)卡為捕獲程序的初始化和獲取數(shù)據(jù)包提供了有利條件，實現(xiàn)網(wǎng)卡綁定首先要在眾多網(wǎng)絡裝置的數(shù)據(jù)中，確立需要捕獲的網(wǎng)絡數(shù)據(jù)。當許多裝置一并被捕獲時，將文件句柄 handle充當辨別裝置，將不同的用戶數(shù)據(jù)捕獲的裝置進行逐一劃分。其次必須建立所使用的、捕獲數(shù)據(jù)的網(wǎng)卡，同時根據(jù)命令的參數(shù)方法，利用變量載入被捕獲的數(shù)據(jù)包長度和等待時間等。

（3）建立過濾器是完成過濾條例創(chuàng)建和轉(zhuǎn)換的過程?？蓪?chuàng)設的過濾條例集進行轉(zhuǎn)換后呈遞給Win?pcap引擎，就能對特殊的反饋數(shù)據(jù)包進行捕獲。在這一系列的處理過程中，應先確立一個字符串，對過濾條例集合進行存儲，然后把這些字符串改變?yōu)槠渌袷?，前提是這種格式必須被Winpcap引擎辨認，最后能夠?qū)崿F(xiàn)轉(zhuǎn)換。轉(zhuǎn)換完成后，為了能夠把轉(zhuǎn)換和創(chuàng)建的過程看成該程序內(nèi)捕獲和篩選數(shù)據(jù)包的條例，就需要把所有轉(zhuǎn)換的條例反饋到Winpcap引擎。

圖2　網(wǎng)絡數(shù)據(jù)捕獲與分析功能模塊和軟件結(jié)構

（4）數(shù)據(jù)包捕獲是在建立的捕獲單個數(shù)據(jù)包的作用模塊的基礎上，重新建立循環(huán)捕獲數(shù)據(jù)包的主體循環(huán)。它主要通過以下兩種方法實現(xiàn)：每當有一個符合標準的數(shù)據(jù)包出現(xiàn)時，立刻對其進行捕獲，并且把所捕獲的數(shù)據(jù)包全部反饋到數(shù)據(jù)包分析模塊上，實行相應的操作和分析；建立一套完整且不斷運行的步驟，與此同時，在這個步驟中，結(jié)束對數(shù)據(jù)包的捕獲和分析。

（5）數(shù)據(jù)包分析是根據(jù)以上步驟，對捕獲到的數(shù)據(jù)包頂端存有相關的協(xié)議信息和地址信息進行分析。在該模塊運行過程中，依據(jù)已捕獲到的協(xié)議和地址資料，系統(tǒng)分析捕獲數(shù)據(jù)包中的協(xié)議成分。按照用戶的要求，分析和整理數(shù)據(jù)包中的剩余資料，并保留分析成果。

1.3CAN控制器硬件設計

CAN控制器對網(wǎng)絡數(shù)據(jù)捕獲與分析系統(tǒng)中的數(shù)據(jù)鏈路層以及物理層進行調(diào)控，增強網(wǎng)絡數(shù)據(jù)捕獲的質(zhì)量。CAN總線驅(qū)動模塊功能控制器采用驅(qū)動芯片與其他控制器相結(jié)合完成通信，詳細的電路模塊如圖3所示。CAN總線收發(fā)器選用PCA82C250作為總線收發(fā)器，PCA82C250是協(xié)議控制器和物理總線之間的接口，能夠提高對總線的差動發(fā)送能力和對CAN控制器的差動采集性能。

PCA82C250可處理海量冗余數(shù)據(jù)環(huán)境下的瞬間干擾。在緩沖器驅(qū)動時，設置高速光隔，提高網(wǎng)絡數(shù)據(jù)通信的抗干擾性能和穩(wěn)定性。

圖3　CAN驅(qū)動模塊

2　網(wǎng)絡數(shù)據(jù)包捕獲

2.1基于kd?treed模型的海量數(shù)據(jù)干擾去除

為了提高網(wǎng)絡數(shù)據(jù)捕獲的精度，應清除網(wǎng)絡中的海量冗余數(shù)據(jù)干擾，通過構建kd?tree數(shù)據(jù)模型，可將海量數(shù)據(jù)劃分成不同的層次，獲取一個樹狀結(jié)構，針對該結(jié)構塑造干擾辨識模塊，按照相關的方案分析并過濾干擾數(shù)據(jù)。若樹狀結(jié)構中的節(jié)點n中覆蓋某范圍的所有數(shù)據(jù)，需要將節(jié)點當成單元集n.cell。海量數(shù)據(jù)中的點數(shù)量不確定，僅可明確一個數(shù)據(jù)點，其在樹狀結(jié)構中用葉子描述。kd?tree的根節(jié)點同所有數(shù)據(jù)節(jié)點相關，通過kd?tree中的某節(jié)點n，求出包含的數(shù)據(jù)有效數(shù)量n.count以及存在關聯(lián)性的數(shù)據(jù)n.total。節(jié)點n單元的中心為n.center=n.tota/n.count 。

2.2基于Winpcap的網(wǎng)絡數(shù)據(jù)包的捕獲過程

完成網(wǎng)絡中干擾數(shù)據(jù)的過濾后，可為網(wǎng)絡數(shù)據(jù)的捕獲創(chuàng)造良好環(huán)境，采用基于Winpcap的網(wǎng)絡數(shù)據(jù)包捕獲方法，實現(xiàn)數(shù)據(jù)的高精度捕獲。Winpcap為Win32環(huán)境中的高質(zhì)量底層網(wǎng)絡分析體系結(jié)構，基于Winpcap的網(wǎng)絡數(shù)據(jù)包捕獲和分析程序，由程序捕獲模塊以及用戶分析模塊構成。程序捕獲模塊可從網(wǎng)絡中捕獲數(shù)據(jù)，過濾數(shù)據(jù)包；用戶分析模塊可對數(shù)據(jù)進行格式化操作，并完成協(xié)議分析等工作?；赪inpcap的網(wǎng)絡數(shù)據(jù)包的捕獲過程如下：選擇一個端口進行捕獲；初始化捕獲程序；設置過濾器；捕獲數(shù)據(jù)；解析數(shù)據(jù)包；完成數(shù)據(jù)捕獲后，終止進程。

Winpcap實現(xiàn)數(shù)據(jù)捕獲的工作原理如圖4所示。

圖4　Winpcap工作原理示意圖

2.3網(wǎng)絡數(shù)據(jù)捕獲過程的代碼設計

網(wǎng)絡數(shù)據(jù)捕獲過程的代碼源于開放源代碼形式頒布的PGrab程序，代碼依照GNU/GPL協(xié)議運行。在此將以太網(wǎng)（Ethernet）環(huán)境作為網(wǎng)絡數(shù)據(jù)捕獲環(huán)境。

3　實驗分析

檢測本文設計的網(wǎng)絡數(shù)據(jù)捕獲系統(tǒng)的性能時，使用了標準的 C/S結(jié)構，通過Load Runner 8.1檢測本文設計的數(shù)據(jù)捕獲系統(tǒng)的性能。

3.1三種檢測實例下系統(tǒng)穩(wěn)定性比對

實驗采用表1描述的三種檢測實例測試本文系統(tǒng)的性能，并進行比對，結(jié)果如表2所示。

表1　測試用例

表2　系統(tǒng)穩(wěn)定性測試結(jié)果

由表2可知，采用本文系統(tǒng)對3種用例進行檢測，吞吐量分別為97%，93%，95%，表明系統(tǒng)具有較高的穩(wěn)定性。

3.2系統(tǒng)數(shù)據(jù)捕獲結(jié)果的分析

實驗測試本文系統(tǒng)的捕獲性能，結(jié)果如表3、圖5所示。

表3　系統(tǒng)數(shù)據(jù)捕獲測試結(jié)果統(tǒng)計表

圖5　捕獲數(shù)據(jù)包時間圖

由表3可知，本文系統(tǒng)的數(shù)據(jù)捕獲精度均高于96%，證明了本文方法的準確性。

將本文系統(tǒng)與滑動相關法在捕獲數(shù)據(jù)包的時間進行比對，由圖5可知，本文系統(tǒng)平均每個數(shù)據(jù)包的捕獲時間為6.25 s，遠低于滑動相關法的平均捕獲時間11.34 s，說明本文系統(tǒng)具有較高的捕獲效率。

4　結(jié)　論

本文提出基于Winpcap網(wǎng)絡和kd?treed模型的數(shù)據(jù)捕獲方法，設計網(wǎng)絡數(shù)據(jù)捕獲和分析系統(tǒng)，實現(xiàn)了網(wǎng)絡數(shù)據(jù)包的捕獲。實驗結(jié)果表明，所設計系統(tǒng)穩(wěn)定性高，具備較高的數(shù)據(jù)捕獲精度。

參考文獻

［1］許應康，張阿莉.基于PCAP格式網(wǎng)絡數(shù)據(jù)包分析軟件設計［J］.現(xiàn)代電子技術，2013，36（10）：49?51.

［2］邱志宏，潘大慶，黃力.可擴展網(wǎng)絡協(xié)議分析平臺設計與實現(xiàn)［J］.煤炭技術，2013，32（7）：177?179.

［3］吳歡歡，周建平，許燕，等.RFID發(fā)展及其應用綜述［J］.計算機應用與軟件，2013，30（12）：203?206.

［4］高旭東.物聯(lián)網(wǎng)（智能家居）中無線異構網(wǎng)絡融合網(wǎng)關的設計與應用［D］.南京：南京郵電大學，2013.

［5］付印金.面向云環(huán)境的重復數(shù)據(jù)刪除關鍵技術研究［D］.長沙：國防科學技術大學，2013.

［6］周亞峰.我國計算機應用的發(fā)展現(xiàn)狀與趨勢預測［J］.電腦知識與技術，2013（5）：1228?1229.

［7］崔文明，余正州，任偉.Android平臺下應用程序流量控制技術及其系統(tǒng)實現(xiàn)［J］.信息網(wǎng)絡安全，2013（8）：33?37.

［8］翁佳雷.網(wǎng)絡實時分析系統(tǒng)的分析平臺設計與實現(xiàn)［D］.北京：北京郵電大學，2014.

［9］孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計算：關鍵技術及系統(tǒng)實例［J］.軟件學報，2014，25（4）：839?862.

中圖分類號：TN926?34；TP311

文獻標識碼：A

文章編號：1004?373X（2016）16?0027?04

doi：10.16652/j.issn.1004?373x.2016.16.007

作者簡介：孟慶娟（1979—），女，蒙古族，內(nèi)蒙古赤峰人，講師，碩士。主要研究領域為電子商務、大數(shù)據(jù)以及激光、自動化等科技發(fā)展策略研究及計算機應用。曹青媚（1978—），女，滿族，內(nèi)蒙古烏海人，講師，碩士。主要研究領域為圖形圖像。馬占飛（1973—），男，內(nèi)蒙古包頭人，研究生導師，教授，博士。主要研究領域為計算機網(wǎng)絡與信息安全、人工智能、物聯(lián)網(wǎng)安全與應用。

收稿日期：2015?12?28

基金項目：國家自然科學基金項目：面向物聯(lián)網(wǎng)安全的Multi?ISM協(xié)同建模及關鍵技術研究（61163025）

Research on network data capture system and analysis system under interference of massive redundant data

MENG Qingjuan1，CAO Qingmei2，MA Zhanfei3
（1.Electronic Commerce Institute，Baotou Light Industry Vocational Technical College，Baotou 014035，China；2.Department of Computer Technology and Information Management，Vocational and Technical College OF IMAU，Baotou 014100，China；3.School of Information Science and Technology，Normal College of Inner Mongolia University of Science and Technology，Baotou 014030，China）

Abstract：Since the traditional method of network signal capture may form a lot of noise in the time interval without signal and cause false capture of network signal when the massive redundant data interference exists in the network，a data capture method based on Winpcap network and kd?treed model is proposed to design the network data capture system and analysis sys?tem.The capture system includes the kernel module for data capture and filtering，and user analysis model for data transforma?tion and protocol analysis.The kd?treed model is used to filter the interference of massive data，improve the accuracy of data capture，and realize the network packet capture through Winpcap underlying network analysis system structure.The experimen?tal results indicate that the designed system has high stability，and can realize high?precision data capture.

Keywords：redundant data interference；network data capture；data capture system；data analysis system