物聯(lián)網(wǎng)網(wǎng)絡(luò)流量分析系統(tǒng)設(shè)計

摘要：隨著物聯(lián)網(wǎng)技術(shù)迅速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)激增，對數(shù)據(jù)分析和網(wǎng)絡(luò)安全提出挑戰(zhàn)。數(shù)據(jù)可視化技術(shù)在物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析中發(fā)揮關(guān)鍵作用。本文設(shè)計一個專注于物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)的可視化系統(tǒng)，整合各類數(shù)據(jù)可視化工具，建立高效分析平臺。該系統(tǒng)實際部署后能有效識別和分析網(wǎng)絡(luò)流量數(shù)據(jù)，為研究人員提供強大支持。通過數(shù)據(jù)可視化技術(shù)，用戶能夠更直觀地了解大規(guī)模網(wǎng)絡(luò)流量的特征、趨勢和異常，為不斷變化的網(wǎng)絡(luò)環(huán)境提供全面可靠的解決方案。

關(guān)鍵詞：物聯(lián)網(wǎng)；網(wǎng)絡(luò)流量；網(wǎng)絡(luò)安全；數(shù)據(jù)可視化

引言

數(shù)據(jù)可視化技術(shù)在物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析中扮演關(guān)鍵角色，提升了網(wǎng)絡(luò)安全和分析人員對通信模式及異常的識別效率[1]，對物聯(lián)網(wǎng)網(wǎng)絡(luò)研究和監(jiān)管至關(guān)重要，有助于檢測異常、了解流量特征和趨勢。隨著物聯(lián)網(wǎng)網(wǎng)絡(luò)節(jié)點增多，結(jié)構(gòu)復(fù)雜，流量數(shù)據(jù)不斷增加，網(wǎng)絡(luò)管理和安全分析面臨巨大挑戰(zhàn)。數(shù)據(jù)可視化技術(shù)減輕了分析人員工作負(fù)擔(dān)，避免了資源和時間成本的浪費。物聯(lián)網(wǎng)網(wǎng)絡(luò)安全可視化技術(shù)通過將抽象網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)化為圖形和動畫，結(jié)合人機交互技術(shù)進(jìn)行網(wǎng)絡(luò)安全事件分析，有助于實現(xiàn)網(wǎng)絡(luò)安全態(tài)勢感知，發(fā)現(xiàn)入侵和異常，促進(jìn)未知安全事件的研究[2]。

將可視化技術(shù)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域?qū)碓S多優(yōu)勢。首先，可視化技術(shù)使得網(wǎng)絡(luò)安全數(shù)據(jù)信息更易于獲取。通過可視化技術(shù)，研究和管理人員能夠更快速地感知網(wǎng)絡(luò)安全數(shù)據(jù)信息，迅速識別數(shù)據(jù)模式和數(shù)據(jù)差異，從而更深入地發(fā)現(xiàn)數(shù)據(jù)異常。其次，可視化技術(shù)使對威脅的感知更加直觀敏捷。它可以方便地對網(wǎng)絡(luò)入侵事件進(jìn)行聚類識別，從海量數(shù)據(jù)信息中發(fā)現(xiàn)新的攻擊模式和規(guī)律，進(jìn)而對攻擊趨勢進(jìn)行預(yù)測并提前進(jìn)行防御。

物聯(lián)網(wǎng)安全可視化的方向大體可分為以下幾種：首先是物聯(lián)網(wǎng)安全管理的可視化，該方法實現(xiàn)了對物聯(lián)網(wǎng)安全運維全過程的跟蹤和管控，通過拓?fù)浔磉_(dá)方式支持設(shè)備管理、策略管理及部署，圖表數(shù)據(jù)暴露了更深層次的物聯(lián)網(wǎng)安全信息和線索。其次是信息安全的可視化，解決了不同物聯(lián)網(wǎng)安全產(chǎn)品產(chǎn)生的異構(gòu)安全信息的融合問題，整理分析出真正對物聯(lián)網(wǎng)安全分析人員有意義有價值的信息，增強物聯(lián)網(wǎng)安全產(chǎn)品和網(wǎng)絡(luò)系統(tǒng)之間的聯(lián)系。最后是數(shù)據(jù)可視化，通過二維或三維空間的直觀反映，解決了日志數(shù)據(jù)信息受到數(shù)據(jù)集特征限制的問題，使信息更直觀立體，達(dá)到更好的顯示效果。

Keim等人[3]引入Radial Traffic Analyzer系統(tǒng)，以同心圓形式可視化網(wǎng)絡(luò)流量的源/目的IP地址和端口，協(xié)助分析人員監(jiān)控流量、捕捉通信模式。Lakkaraju等人[4]設(shè)計TNV系統(tǒng)，基于時序進(jìn)行全局網(wǎng)絡(luò)流量分析，避免底層細(xì)節(jié)過度關(guān)注。Cappers等人[5]提出SNAPS系統(tǒng)，結(jié)合深度數(shù)據(jù)包檢查和異常檢測，協(xié)助安全分析人員評估消息層異常對網(wǎng)絡(luò)層安全的威脅。Ball等人[6]提出VISUAL系統(tǒng)監(jiān)控內(nèi)部網(wǎng)絡(luò)，通過網(wǎng)格表示內(nèi)外部節(jié)點，展示訪問行為和強度。Xiao等人[7]將網(wǎng)絡(luò)流量可視化與陳述式知識表達(dá)法相結(jié)合，通過迭代發(fā)現(xiàn)網(wǎng)絡(luò)攻擊模式，并更新知識庫。Mansmann等人[8]提出可交互的TreeMap布局網(wǎng)絡(luò)地圖系統(tǒng)，對IP地址空間分層處理，實現(xiàn)大規(guī)模網(wǎng)絡(luò)直觀分析。

本文專注于研究物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化和網(wǎng)絡(luò)安全可視化，設(shè)計并建立物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)，并利用可信賴的網(wǎng)絡(luò)異常流量數(shù)據(jù)集CIC-IDS-2017進(jìn)行系統(tǒng)測試，通過構(gòu)建后臺管理平臺，整合了模擬攻擊、數(shù)據(jù)收集和圖表展示等功能。

1. 系統(tǒng)設(shè)計

在龐大的物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)中，有針對性地進(jìn)行全面的可視化模擬與分析，對于不同研究領(lǐng)域和具體平臺環(huán)境至關(guān)重要。盡管已存在多種網(wǎng)絡(luò)數(shù)據(jù)可視化技術(shù)，卻缺乏一個綜合的平臺架構(gòu)，為數(shù)據(jù)可視化提供更大的發(fā)展空間。本文提出了一個與物聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)深度結(jié)合、兼具視覺效果和高性能操控感的物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)平臺。

該系統(tǒng)整合了數(shù)據(jù)可視化、后臺管理和模擬網(wǎng)絡(luò)攻擊等功能，涵蓋了數(shù)據(jù)集研究、真實數(shù)據(jù)反饋和跨平臺數(shù)據(jù)交互等需求。從對數(shù)據(jù)集的研究到對真實環(huán)境下網(wǎng)絡(luò)流量數(shù)據(jù)的分析，該系統(tǒng)滿足了數(shù)據(jù)分析管理人員學(xué)習(xí)與工作的多方面需求。

物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化系統(tǒng)涉及兩個主要信息來源：一是網(wǎng)絡(luò)安全數(shù)據(jù)集的信息，通過對不同網(wǎng)絡(luò)安全數(shù)據(jù)集進(jìn)行數(shù)據(jù)可視化，降低研究人員的工作難度，以更直觀有效的方式獲取全面的數(shù)據(jù)集信息；二是網(wǎng)站后臺的真實網(wǎng)絡(luò)流量數(shù)據(jù)，通過對真實流量數(shù)據(jù)的研究分析，深入了解網(wǎng)絡(luò)流量數(shù)據(jù)的各個方面，幫助實際網(wǎng)站運營者提供準(zhǔn)確的網(wǎng)絡(luò)安全洞察，以便網(wǎng)絡(luò)安全人員更好地理解網(wǎng)絡(luò)攻擊和威脅。

2. 系統(tǒng)實現(xiàn)

2.1 PC前端部分

PC前端數(shù)據(jù)可視化部分的核心基礎(chǔ)是Web技術(shù)，其主要功能是實現(xiàn)數(shù)據(jù)可視化，使研究人員能以更直觀清晰的方式研究網(wǎng)絡(luò)數(shù)據(jù)集，發(fā)揮數(shù)據(jù)可視化在網(wǎng)絡(luò)安全研究學(xué)習(xí)中的作用。

PC端數(shù)據(jù)可視化部分的主要功能流程如下：用戶注冊登錄，本功能為系統(tǒng)基礎(chǔ)功能，用于用戶的注冊和登錄，用戶可分為管理員和普通用戶，管理員可以在后臺進(jìn)行設(shè)置，目前為了系統(tǒng)的通用性，系統(tǒng)所有功能設(shè)置對所有用戶可見，之后會加強系統(tǒng)的安全性和可維護(hù)性，添加隱私機制。用戶通過注冊和登錄進(jìn)入系統(tǒng)，系統(tǒng)分為系統(tǒng)首頁與實驗案例兩部分。在系統(tǒng)首頁，用戶可以根據(jù)需要查看基于某些數(shù)據(jù)集的網(wǎng)絡(luò)攻擊數(shù)據(jù)展示。此外，用戶也可根據(jù)自身需求上傳自有數(shù)據(jù)進(jìn)行可視化操作。PC端數(shù)據(jù)可視化部分的建立涵蓋兩個主要方面：網(wǎng)絡(luò)攻擊數(shù)據(jù)展示和數(shù)據(jù)上傳處理操作。

在系統(tǒng)的架構(gòu)中，采用了Python的Tornado作為Web服務(wù)器兼Web應(yīng)用框架，同時利用Nginx進(jìn)行反向代理，并通過Supervisor進(jìn)行監(jiān)控。在Handlers中，包含了系統(tǒng)所有頁面的處理邏輯。通過向web.Application類的構(gòu)造函數(shù)傳遞static_path參數(shù)，系統(tǒng)能夠從文件系統(tǒng)的特定位置提供靜態(tài)文件。為便于部署，靜態(tài)文件目錄被命名為static。我們配置了靜態(tài)文件的URL，并設(shè)定了模板文件的路徑。在Methods部分，使用PyMySQL進(jìn)行數(shù)據(jù)庫連接的配置，并利用MySQL處理相關(guān)的數(shù)據(jù)庫操作。這種系統(tǒng)架構(gòu)充分發(fā)揮了Tornado的異步性能、Nginx的反向代理特性，并通過Supervisor進(jìn)行監(jiān)控，從而使系統(tǒng)具備高性能、可伸縮性和穩(wěn)定性。

本系統(tǒng)的主要功能包括網(wǎng)絡(luò)攻擊數(shù)據(jù)的展示和數(shù)據(jù)上傳操作。在網(wǎng)絡(luò)攻擊數(shù)據(jù)展示功能頁面中，詳細(xì)呈現(xiàn)了數(shù)據(jù)集中的攻擊類型統(tǒng)計、攻擊源IP和目的IP，以及時間戳對IP的關(guān)聯(lián)（由于數(shù)據(jù)集中時間戳過于集中而省略此功能）、時間戳對其他、其他對其他（根據(jù)數(shù)據(jù)集中的特征標(biāo)簽來命名功能）。在數(shù)據(jù)上傳操作功能頁面中，包括攻擊源IP和目的IP，以及時間戳對其他這兩個功能，其他功能由于實用性不高而被舍棄。在數(shù)據(jù)上傳操作功能中，用戶可以上傳經(jīng)CICFlowMeter處理過的csv文件，生成相應(yīng)的可視化圖表。

2.2 后臺管理部分

該系統(tǒng)將采用React構(gòu)建后臺管理部分的用戶界面，使用Koa作為后臺管理系統(tǒng)的Web框架，并選擇MySQL 8作為數(shù)據(jù)庫支持。監(jiān)控方面將使用PM2，同時通過Nginx進(jìn)行反向代理。系統(tǒng)還嵌入了tcpdump、CICFlowMeter等工具，以實現(xiàn)網(wǎng)絡(luò)攻擊模擬、網(wǎng)絡(luò)流量數(shù)據(jù)整理和數(shù)據(jù)預(yù)處理等功能的整合。

后臺管理部分的主要功能流程如下：用戶首先進(jìn)行注冊或登錄，然后進(jìn)入后臺管理平臺。系統(tǒng)展示各項功能，其中重要的功能包括素材管理、文件下載和檢測操作。在各功能模塊中，用戶可以根據(jù)需要自行更改系統(tǒng)所需的素材，或查看并下載PC端數(shù)據(jù)可視化子系統(tǒng)生成的文件。tcpdump在系統(tǒng)中的嵌入涉及文件下載系統(tǒng)的實現(xiàn)。目前，系統(tǒng)主要利用tcpdump實現(xiàn)數(shù)據(jù)包的自動捕獲，并將數(shù)據(jù)包保存到pcap文件中，然后使用CICFlowMeter獲取csv文件。流程包括在服務(wù)器端運行shell腳本啟動tcpdump自動捕獲程序，自動捕捉數(shù)據(jù)包并保存到指定位置以供系統(tǒng)調(diào)用，在實驗中可停止捕獲。

本平臺的后臺管理系統(tǒng)采用了React-Antd-Admin框架，該框架適用于構(gòu)建簡單通用的后臺管理系統(tǒng)，可在開源基礎(chǔ)上引入更多的框架更新和功能擴展優(yōu)化。主要功能包括用戶注冊登錄、系統(tǒng)首頁、用戶管理以及文件下載。用戶注冊登錄是系統(tǒng)的基礎(chǔ)功能，分為管理員和普通用戶，管理員可在后臺進(jìn)行設(shè)置。目前，為了系統(tǒng)通用性，所有用戶都可以看到所有功能設(shè)置，但未來將加強系統(tǒng)的安全性、可維護(hù)性，并添加隱私機制。系統(tǒng)首頁設(shè)有側(cè)邊導(dǎo)航欄，顯示具體功能，并在右上角設(shè)置了用戶中心，用于管理用戶信息。用戶管理功能用于管理使用本系統(tǒng)的用戶。文件下載功能用于與PC端數(shù)據(jù)可視化子系統(tǒng)交互，可下載適用于PC端數(shù)據(jù)可視化系統(tǒng)操作的數(shù)據(jù)，包括csv文件和pcap文件，這些文件由tcpdump在項目所部署的服務(wù)器上捕獲的流量數(shù)據(jù)文件。

3. 系統(tǒng)測試

本文實驗過程中使用CIC-IDS-2017數(shù)據(jù)集進(jìn)行測試。CIC-IDS-2017數(shù)據(jù)集全面覆蓋了11種常見攻擊的必要標(biāo)準(zhǔn)，包括DoS、DDoS、Brute Force、XSS、SQL注入、過濾、端口掃描和Botnet等。該數(shù)據(jù)集經(jīng)過完全標(biāo)記，通過使用CICFlowMeter軟件提取和計算了所有良性和入侵性流量的80多個網(wǎng)絡(luò)流量特征。該軟件已在加拿大網(wǎng)絡(luò)安全研究所的網(wǎng)站上公開提供[9]。

CIC-IDS-2017數(shù)據(jù)集捕獲期為五天，分別為星期一至星期五。星期一為正常流量，其余四天分別實施多種攻擊，如FTP Patator、SSH Patator、DoS、Heartbleed等。使用CICFlowMeter提取了80個流量特征。在線模式可實時監(jiān)控并生成特征，監(jiān)聽結(jié)束后可保存結(jié)果或通過離線模式提交pcap文件，并獲取包含特征的csv文件，如表1所示。

為確定每種攻擊的最佳特征集，使用了Scikit-Learn的隨機森林回歸模型類。首先，對整個數(shù)據(jù)集中的每個特征進(jìn)行重要性評估。接下來，在每個類別上，將每個特征的拆分平均標(biāo)準(zhǔn)化值與相應(yīng)特征重要性的乘積計算得出。這一過程最終產(chǎn)生了綜合結(jié)果，通過將平均標(biāo)準(zhǔn)化值與特征重要性相乘，有效地捕捉了每個類別內(nèi)各個特征的貢獻(xiàn)，從而提供了綜合而有針對性的評估。數(shù)據(jù)集攻擊數(shù)據(jù)樣本統(tǒng)計表展示效果如表2所示。

結(jié)語

數(shù)據(jù)可視化技術(shù)是幫助人們挖掘大規(guī)模數(shù)據(jù)中潛在特征的重要手段，在多個領(lǐng)域得到廣泛應(yīng)用，包括物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)分析。物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)可視化有助于提升網(wǎng)絡(luò)安全人員和分析人員對通信模式及異常情況的識別和定位效率。作為網(wǎng)絡(luò)數(shù)據(jù)的重要組成部分，物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)對于網(wǎng)絡(luò)研究和監(jiān)管人員偵測網(wǎng)絡(luò)異常、了解網(wǎng)絡(luò)流量特征和趨勢等具有重要意義。物聯(lián)網(wǎng)網(wǎng)絡(luò)安全可視化的實現(xiàn)離不開網(wǎng)絡(luò)數(shù)據(jù)，因為網(wǎng)絡(luò)數(shù)據(jù)源在可視化流程中至關(guān)重要。各類網(wǎng)絡(luò)數(shù)據(jù)中蘊含著多樣的網(wǎng)絡(luò)信息，為網(wǎng)絡(luò)安全可視化在不同領(lǐng)域的應(yīng)用奠定了基礎(chǔ)。本文以物聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)為研究對象，通過分析不同系統(tǒng)，探討了先前的網(wǎng)絡(luò)安全可視化工作，構(gòu)建了基于Web的網(wǎng)絡(luò)流量可視化系統(tǒng)，提出了線上網(wǎng)站與安全數(shù)據(jù)監(jiān)測分析相結(jié)合的方案，并進(jìn)行了線上部署和實驗驗證。在未來研究中，將專注于深入研究實時數(shù)據(jù)交互和分析，以提供實用的數(shù)據(jù)可視化方案，同時力求擺脫特定數(shù)據(jù)集的限制，進(jìn)行更廣泛通用的可視化技術(shù)研究。

參考文獻(xiàn)：

[1]穆逸誠，柯珊珊.網(wǎng)絡(luò)安全的可視化分析[J].科技創(chuàng)業(yè)月刊，2017，30（3）：20-22.

[2]Becker R A，Eick S G，Wilks A R.Visualizing Network Data[J].IEEE Transactions on visualization and computer graphics，1995，1（1）：16-28.

[3]Keim D A，Mansmann F，Schneidewind J，et al..Monitoring Network Traffic with Radial Traffic Analyzer[C].IEEE Symposium.Visual Analytics Science and Technology，2006：123-128.

[4]Lakkaraju K，Yurcik W，Lee AJ.NVisionIP：Netflow Visualizations of System State for Security Situational Awareness[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：65-72.

[5]Cappers B C M，Wijk J J V.SNAPS：Semantic Network traffic Analysis through Projection and Selection[C].IEEE Workshop Visualization for Computer Security，2015：1-8.

[6]Ball R，F(xiàn)ink G A，North C.Home-Centric Visualization of Network Traffic for Security Administration[C].ACM Workshop Visualization and Data Mining for Computer Security，2004：55-64.

[7]Xiao L，Gerth J，Hanrahan P.Enhancing Visual Analysis of Network Traffic Using a Knowledge Representation[C].IEEE Symp.Visual Analytics Science and Technology，2006：107-114.

[8]Mansmann F，Keim D，North S，et al.Visual analysis of network traffic for resource planning，interactive monitoring，and interpretation of security threats[J].IEEE transactions on visualization and computer graphics，2007，13（6）：1105-1112.

[9]Sharafaldin I，Lashkari A H，Ghorbani A A.Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization[C].The 4th International Conference on Information Systems Security and Privacy，2018：108-116.

作者簡介：張軒，博士研究生，工程師，研究方向：物聯(lián)網(wǎng)。