大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)異常流量檢測(cè)方法分析

【摘要】 云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)出現(xiàn)異常負(fù)載易導(dǎo)致網(wǎng)絡(luò)中斷，建立提取云計(jì)算光纖網(wǎng)絡(luò)大數(shù)據(jù)異常負(fù)載的檢測(cè)模型，采用高階統(tǒng)計(jì)量分析法進(jìn)行特征重構(gòu)，結(jié)合極限學(xué)習(xí)法進(jìn)行異常負(fù)載檢測(cè)自適應(yīng)修整，根據(jù)高階統(tǒng)計(jì)異常譜分布實(shí)現(xiàn)大數(shù)據(jù)異常負(fù)載檢測(cè)。

【關(guān)鍵詞】 云計(jì)算技術(shù);大數(shù)據(jù);網(wǎng)絡(luò)異常流量檢測(cè)

【DOI編碼】 10.3969/j.issn.1674-4977.2021.06.017

Analysis of Network Abnormal Traffic Detection Methods in

Big Data Environment

A Si-han

（College of Youth Politics，Inner Mongolia Normal University，Hohhot 021000，China）

Abstract： The abnormal load of big data in cloud computing optical fiber network is easy to cause network interruption. The paper proposes to extract the abnormal load detection model of cloud computing optical fiber network big data，adopts the high-order statistical analysis method for feature reconstruction，and combines the limit learning method for the adaptive dressing of abnormal load detection. The abnormal load detection of big data is realized according to the high-order statistical anomaly spectrum distribution.

Key words： cloud computing technology;big data;abnormal network traffic detection

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)技術(shù)廣泛應(yīng)用于生活中，許多公共場(chǎng)所布設(shè)移動(dòng)WiFi接入點(diǎn)，為人們獲取信息提供便捷條件。人們應(yīng)用網(wǎng)絡(luò)服務(wù)時(shí)將個(gè)人信息、銀行賬戶等敏感數(shù)據(jù)存儲(chǔ)到網(wǎng)絡(luò)中，重要數(shù)據(jù)傳遞帶來(lái)安全隱患造成網(wǎng)絡(luò)安全問題突出。本文利用云計(jì)算技術(shù)對(duì)大數(shù)據(jù)下網(wǎng)絡(luò)異常流量進(jìn)行檢測(cè)，并測(cè)試檢測(cè)效果。

1 大數(shù)據(jù)下網(wǎng)絡(luò)異常流量檢測(cè)方法研究

光纖網(wǎng)絡(luò)利用光在玻璃纖維實(shí)現(xiàn)光波通信，大數(shù)據(jù)集成調(diào)度，然后通過交換機(jī)分配IP。光纖通信傳輸距離遠(yuǎn)，云計(jì)算環(huán)境通過波分復(fù)用技術(shù)使光強(qiáng)度變化，通信中受到干擾導(dǎo)致通信信道配置失衡，需要對(duì)云計(jì)算光纖網(wǎng)絡(luò)大數(shù)據(jù)異常負(fù)載優(yōu)化檢測(cè)，提高網(wǎng)絡(luò)通信的輸出保真性[1]。云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè)模型研究需要提取大數(shù)據(jù)負(fù)載異常特征，實(shí)現(xiàn)異常負(fù)載檢測(cè)。

2 網(wǎng)絡(luò)異常數(shù)據(jù)檢測(cè)大數(shù)據(jù)分析平臺(tái)

網(wǎng)絡(luò)異常流量分為DDoS、Network Scan等類型，異常流量類型可從目的IP地址、源IP地址、字節(jié)數(shù)等特征區(qū)分[2]。DDos異常流量可通過特征二四五七檢測(cè);Network Scan異常流量可采用多個(gè)網(wǎng)絡(luò)地址對(duì)主機(jī)端口掃描動(dòng)作;Flash Crowd異常流量由異常用戶對(duì)訪問資源申請(qǐng)動(dòng)作。本文以影響網(wǎng)絡(luò)安全異常流量檢測(cè)為研究?jī)?nèi)容，運(yùn)用現(xiàn)有數(shù)據(jù)樣本對(duì)建立檢測(cè)模型訓(xùn)練，對(duì)訓(xùn)練后識(shí)別分析模型檢驗(yàn)[3]。

研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等，需要對(duì)數(shù)據(jù)特征提取分析，對(duì)入侵事件進(jìn)行分類[4]。應(yīng)用多種入侵事件特征數(shù)據(jù)，包括離散不間斷協(xié)議、離散常規(guī)行為、離散接點(diǎn)狀態(tài)、不間斷數(shù)據(jù)源到目標(biāo)數(shù)據(jù)比特?cái)?shù)、持續(xù)創(chuàng)建新文件個(gè)數(shù)等。為避免兩種衡量標(biāo)準(zhǔn)相互干擾，需對(duì)離散數(shù)據(jù)采用連續(xù)化操作。云計(jì)算平臺(tái)迅速占領(lǐng)市場(chǎng)，目前應(yīng)用廣泛的是Apache開源分布式平臺(tái)Hadoop，Hadoop云計(jì)算平臺(tái)由文件系統(tǒng)、分布式并行計(jì)算等部分組成[5]。Map Reduce將傳統(tǒng)數(shù)據(jù)處理任務(wù)分為多個(gè)任務(wù)，提高計(jì)算效率（見圖1）。Map Reduce編程核心內(nèi)容是對(duì)Map函數(shù)進(jìn)行特定動(dòng)作定義，Map核心任務(wù)是對(duì)數(shù)據(jù)值讀取，Input Format類將輸入樣本轉(zhuǎn)換為key/value對(duì)。發(fā)現(xiàn)tasktracker模塊處于空閑狀態(tài)，平臺(tái)把相應(yīng)數(shù)據(jù)Split分配到Map動(dòng)作中，采用create Record Reader法讀取數(shù)據(jù)信息，tasktracker處于工作狀態(tài)程序進(jìn)入等待。

3 大數(shù)據(jù)分析模型

隨著待處理數(shù)據(jù)規(guī)模劇增，單臺(tái)計(jì)算機(jī)處理數(shù)據(jù)速度過于緩慢，云計(jì)算系統(tǒng)以Hadoop為平臺(tái)基礎(chǔ)，提高計(jì)算效率?；贖adoop平臺(tái)對(duì)網(wǎng)絡(luò)異常流量操作，向平臺(tái)提交網(wǎng)絡(luò)流量檢測(cè)請(qǐng)求，工程JAR包運(yùn)行，通過Job Client指令把作業(yè)發(fā)送到Job Tracker中，從HDFS中獲取作業(yè)分類情況。Job Tracker模塊執(zhí)行任務(wù)初始化操作，運(yùn)用作業(yè)調(diào)度器可實(shí)現(xiàn)對(duì)任務(wù)調(diào)度動(dòng)作。

任務(wù)分配后進(jìn)入Map階段，所需數(shù)據(jù)在本地磁盤中進(jìn)行存儲(chǔ)，依靠計(jì)算機(jī)Java虛擬機(jī)執(zhí)行實(shí)現(xiàn)JAR文件加載，Task Tracker對(duì)作業(yè)任務(wù)處理，需要對(duì)文件庫(kù)網(wǎng)絡(luò)流量特征測(cè)試，Map動(dòng)作結(jié)果在本地計(jì)算機(jī)磁盤中存儲(chǔ)。系統(tǒng)獲得Map動(dòng)作階段計(jì)算結(jié)果后對(duì)網(wǎng)絡(luò)流量分類，中間結(jié)果鍵值相同會(huì)與對(duì)應(yīng)網(wǎng)絡(luò)流量特征向量整合，Reduce Task模塊對(duì)Map Task輸出結(jié)果排序。Reduce動(dòng)作完成后，操作者通過JobTracker模塊獲取任務(wù)運(yùn)行結(jié)果參數(shù)，刪除Map動(dòng)作產(chǎn)生相應(yīng)中間數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)用于建立網(wǎng)絡(luò)流量檢測(cè)模型，MapReduce平臺(tái)具有高效計(jì)算優(yōu)勢(shì)，最優(yōu)參數(shù)結(jié)果獲得需多次反復(fù)計(jì)算優(yōu)化，MapReduce平臺(tái)單詞不能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算任務(wù)，采用BP神經(jīng)網(wǎng)絡(luò)算法建立網(wǎng)絡(luò)流量檢測(cè)模型會(huì)加長(zhǎng)計(jì)算時(shí)間。

本文采用支持向量機(jī)算法建立網(wǎng)絡(luò)流量檢測(cè)模型。支持向量機(jī)以統(tǒng)計(jì)學(xué)理論為基礎(chǔ)，達(dá)到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小目的，算法可實(shí)現(xiàn)從少數(shù)樣本中獲得最優(yōu)統(tǒng)計(jì)規(guī)律。設(shè)定使用向量機(jī)泛化能力訓(xùn)練樣本為（x[i]，y[i]），i=1，2，…，I，最優(yōu)分類平面為wx+b=0，簡(jiǎn)化為s.t.[yi]（w[?]x[i]+b）-1≥0，求解問題最優(yōu)決策函數(shù)[f（x）=sgn[i=1lyiai（x?xi）+b]]，支持向量SVM把樣本x轉(zhuǎn)化到特定高維空間H，對(duì)應(yīng)最優(yōu)決策函數(shù)處理為[f（x）=sgn[i=1lyiaiK（x?xi）+b]]。云計(jì)算Hadoop平臺(tái)為建立網(wǎng)絡(luò)異常流量檢測(cè)模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs，通過Reduce操作對(duì)SVs收集，測(cè)試操作流量先運(yùn)用Map操作對(duì)測(cè)試數(shù)據(jù)子集計(jì)算，運(yùn)用Reduce操作對(duì)分量結(jié)果Rs統(tǒng)計(jì)。

4 仿真實(shí)驗(yàn)分析

為測(cè)試實(shí)現(xiàn)云計(jì)算光纖網(wǎng)絡(luò)大數(shù)據(jù)異常負(fù)載檢測(cè)應(yīng)用性能，采用MATLAB7進(jìn)行負(fù)載檢測(cè)算法設(shè)計(jì)進(jìn)行云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè)，數(shù)據(jù)樣本長(zhǎng)度為1024，網(wǎng)絡(luò)傳輸信道均衡器階數(shù)為24，迭代步長(zhǎng)為0.01。采用時(shí)頻分析法提取異常負(fù)載統(tǒng)計(jì)特征量進(jìn)行大數(shù)據(jù)異常負(fù)載檢測(cè)，重疊干擾得到有效抑制。采用不同方法進(jìn)行負(fù)載異常檢測(cè)，隨著干擾信噪比增大，檢測(cè)的準(zhǔn)確性提高。所以設(shè)計(jì)的方法可以有效檢測(cè)大數(shù)據(jù)中異常負(fù)載，并且輸出誤碼率比傳統(tǒng)方法降低。

單機(jī)網(wǎng)絡(luò)異常流量檢測(cè)平臺(tái)使用相同配置計(jì)算機(jī)，調(diào)取實(shí)測(cè)數(shù)據(jù)為檢驗(yàn)訓(xùn)練源數(shù)據(jù)，選取典型異常流量200條數(shù)據(jù)樣本用于測(cè)試訓(xùn)練。采用反饋率參量衡量方法好壞，表達(dá)式為precision=TP/FP+FN×100%，其中，F(xiàn)N為未識(shí)別動(dòng)作A特征樣本數(shù)量;TP為準(zhǔn)確識(shí)別動(dòng)作A特征樣本數(shù)量;FP為錯(cuò)誤識(shí)別動(dòng)作A特征樣本數(shù)量。提出檢測(cè)方法平均準(zhǔn)確率提高17.08%，具有較好檢測(cè)性能。對(duì)提出網(wǎng)絡(luò)異常流量檢測(cè)方法進(jìn)行檢測(cè)耗時(shí)對(duì)比，使用提出網(wǎng)絡(luò)異常流量檢測(cè)方法耗時(shí)為常規(guī)方法的8.81%，由于使用檢測(cè)方法建立在大數(shù)據(jù)云計(jì)算平臺(tái)，將檢測(cè)任務(wù)分配給多個(gè)子任務(wù)計(jì)算平臺(tái)。

使用KDD CUP99集中的數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)異常流量檢測(cè)分析，選取R2L攻擊，Probing攻擊異常流量數(shù)據(jù)用于檢測(cè)分析，采用準(zhǔn)確率參數(shù)衡量檢測(cè)方法宏觀評(píng)價(jià)網(wǎng)絡(luò)流量檢測(cè)識(shí)別方法：r=TP/FP+FN×100%。使用單機(jī)平臺(tái)下SVM算法建立網(wǎng)絡(luò)異常檢測(cè)模型對(duì)比分析，本文研究檢測(cè)模型平均識(shí)別率為68.5%，研究網(wǎng)絡(luò)異常流量檢測(cè)模型檢測(cè)準(zhǔn)確率提高28.3%。多次試驗(yàn)對(duì)比檢測(cè)耗時(shí)，使用本文提出網(wǎng)絡(luò)異常流量檢測(cè)耗時(shí)較短。

【參考文獻(xiàn)】

[1] 林昕，呂峰，姜亞光，等.網(wǎng)絡(luò)異常流量智能感知模型構(gòu)建[J].工業(yè)技術(shù)創(chuàng)新，2021（3）：7-14.

[2] 武海龍，武海艷.云計(jì)算光纖網(wǎng)絡(luò)中大數(shù)據(jù)異常負(fù)載檢測(cè)模型[J].激光雜志，2019（6）：207-211.

[3] 農(nóng)婷.大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測(cè)研究[J].科技風(fēng)，2019（17）：84.

[4] 馬曉亮.基于Hadoop的網(wǎng)絡(luò)異常流量分布式檢測(cè)研究[D].重慶：西南大學(xué)，2019.

[5] 李寧.基于大數(shù)據(jù)的互聯(lián)網(wǎng)異常流量檢測(cè)研究[J].成都工業(yè)學(xué)院學(xué)報(bào)，2018（4）：34-38.

【參考文獻(xiàn)】

阿思汗，男，2000年出生，內(nèi)蒙古師范大學(xué)青年政治學(xué)院信息工程在讀。