計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘

鄭湘輝,張雪冰

(合肥財經(jīng)職業(yè)學院 人工智能學院,安徽 合肥 230601)

互聯(lián)網(wǎng)以及計算機技術(shù)的迅猛發(fā)展,使得計算機與互聯(lián)網(wǎng)被廣泛應用于人們的生活以及工作中,這不僅使計算機網(wǎng)絡中存在的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)不斷增加,也使計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)呈現(xiàn)出多樣化的特征,逐步形成計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流[1-3]。與此同時,計算機網(wǎng)絡環(huán)境的日益復雜化無疑給各種網(wǎng)絡攻擊行為提供了可乘之機,各種攻擊類異常數(shù)據(jù)的存在,嚴重危害計算機網(wǎng)絡安全,若不及時對其實施有效挖掘,有效防范其可能帶來的計算機網(wǎng)絡安全風險,長此以往,勢必會對人們的生活以及工作帶來非常不利的影響[4-5]。

針對上述問題,康耀龍等人研究基于樸素貝葉斯的計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘方法[6]、仇媛等人研究的基于長短期記憶網(wǎng)絡和滑動窗口的計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘方法[7]。前者通過重構(gòu)假象空間,計算網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)向量之間的歐式距離,有效獲取度量策略;通過網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)偏差比計算以及網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)節(jié)點概率化瞬態(tài)計算等操作實現(xiàn)計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘;后者使用LSTM網(wǎng)絡對計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)實施有效預測,并合理求解其與實際計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)之間存在的差值,之后為各計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)挑選恰當?shù)幕瑒哟翱?對存在于滑動窗口某一區(qū)間內(nèi)的全部差值執(zhí)行有效分布建模操作,再依據(jù)各差值的概率分布密度,判別數(shù)據(jù)異常狀況。二者均可實現(xiàn)計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘,但是當待挖掘的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)規(guī)模龐大時,異常數(shù)據(jù)挖掘效果并不理想。

加權(quán)離群分數(shù)算法在計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘工作中優(yōu)勢顯著,可較為理想地從計算機網(wǎng)絡大規(guī)模高維度數(shù)據(jù)流數(shù)據(jù)中分離出計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)。為此,本文提出基于加權(quán)離群分數(shù)的計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘方法,更好滿足實際工作需要。

1 計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘方法

1.1 Python網(wǎng)絡爬蟲計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)采集

能夠從計算機網(wǎng)絡中采集到有效的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)是能夠完成計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘工作的關(guān)鍵[8-9]。鑒于爬蟲技術(shù)在計算機網(wǎng)絡數(shù)據(jù)采集工作方面的優(yōu)勢,本文使用基于Python網(wǎng)絡爬蟲的數(shù)據(jù)采集技術(shù)采集計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù),具體的采集技術(shù)架構(gòu)如圖1所示。

圖1 采集技術(shù)架構(gòu)

在該采集技術(shù)架構(gòu)中,總調(diào)度模塊相當于整個數(shù)據(jù)采集工作的總指揮,它作為爬蟲程序的有效總?cè)肟?其主要職責是對各個模塊實施合理調(diào)度;URL管理器承擔的主要職責是負責管理全部的URL;頁面下載器的主要職責是在URL管理器中獲得相應的URL以后,利用其所擁有的優(yōu)越下載性能獲取不同格式的URL頁面數(shù)據(jù);頁面解析器承擔的主要職責是對從頁面下載器取獲的網(wǎng)絡數(shù)據(jù)執(zhí)行有效的數(shù)據(jù)處理操作,去除其中的噪聲元素,獲得較為理想的目標網(wǎng)絡數(shù)據(jù);數(shù)據(jù)存儲模塊的主要職責是對在接收到由頁面解析器發(fā)送過來的相關(guān)網(wǎng)絡數(shù)據(jù)后,對所獲數(shù)據(jù)實施分類存儲,將結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)分別發(fā)送給相應的數(shù)據(jù)庫以及本地硬盤存儲,并實施合理的索引構(gòu)建操作;線程管理模塊的應用,主要是能夠使客戶按實際需求設置爬取作業(yè)需要的線程數(shù)量,從而顯著提升數(shù)據(jù)采集工作的效率;robots管理器承擔的主要職責是對爬取網(wǎng)站當中應用的robots協(xié)議執(zhí)行有效的下載與更新操作,并按robots協(xié)議相關(guān)描述對爬取地址目錄執(zhí)行合理調(diào)用操作;異常處理模塊是技術(shù)架構(gòu)中所有模塊均接入的模塊,一旦數(shù)據(jù)采集過程發(fā)生異常,便可觸發(fā)異常處理模塊實施相應處理,并將其記錄到相應的日志信息庫中,供實際工作參考。

在實際的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)采集工作中,采集架構(gòu)中的各模塊由總調(diào)度模塊采用合理的總調(diào)度程序,實施合理調(diào)度完成相應數(shù)據(jù)采集工作[10-11],用戶在確定好將要爬取的計算機網(wǎng)絡數(shù)據(jù)主題后,構(gòu)建相應的數(shù)據(jù)庫,在完成總調(diào)度模塊參數(shù)初始化設置工作后,總調(diào)度模塊會在URL管理器中調(diào)用出一個URL,并啟動robots管理器,合理檢驗URL目錄結(jié)構(gòu)是否符合相關(guān)規(guī)定,若不符合,需要重新在URL管理器中調(diào)用出一個URL,若符合,啟動頁面下載器,并執(zhí)行數(shù)據(jù)下載工作。若下載過程中出現(xiàn)異常,觸動異常處理模塊實施相應處理,若未出現(xiàn)異常,下載工作完畢后,啟動頁面解析器實施有效的數(shù)據(jù)解析操作,辨別所獲數(shù)據(jù)為URL數(shù)據(jù)還是目標主題網(wǎng)絡數(shù)據(jù),若為URL數(shù)據(jù)將其發(fā)送至URL數(shù)據(jù)庫實施存儲,若是目標主題網(wǎng)絡數(shù)據(jù),啟動數(shù)據(jù)存儲模塊向相應的數(shù)據(jù)庫發(fā)送數(shù)據(jù),存儲完畢后,繼續(xù)執(zhí)行數(shù)據(jù)爬取操作,若處理過程出現(xiàn)異常,同樣觸動異常處理模塊實施相應處理。

1.2 計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流數(shù)據(jù)清洗

通常采集到的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)的規(guī)模會比較龐大,數(shù)據(jù)的維度也會比較高[12-13],加之受采集環(huán)境以及各種其他因素影響,獲取到的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)中,可能會包含一些不相關(guān)的,缺失以及錯誤的數(shù)據(jù),這無疑會影響計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘工作的準確性以及效率。在本文中為收獲較為理想的計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘效果,在采集完計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)后,使用基于軟件總線模型的數(shù)據(jù)清洗技術(shù)對其執(zhí)行必要的數(shù)據(jù)清洗操作,具體的數(shù)據(jù)清洗技術(shù)架構(gòu)如圖2所示。

圖2 數(shù)據(jù)清洗技術(shù)架構(gòu)

使用數(shù)據(jù)源包裝器對來自各計算機網(wǎng)絡數(shù)據(jù)源的計算機網(wǎng)路數(shù)據(jù)流數(shù)據(jù)執(zhí)行有效的數(shù)據(jù)封裝操作,將其轉(zhuǎn)換成符合數(shù)據(jù)清洗總線要求格式的有效數(shù)據(jù),并發(fā)送給數(shù)據(jù)清洗總線,數(shù)據(jù)清洗總線按計算機網(wǎng)絡數(shù)據(jù)中包含的信息調(diào)用數(shù)據(jù)清洗組件庫中的相應組件,對計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)實施合理清洗[14-15],清洗完畢后將其重新發(fā)送給數(shù)據(jù)清洗總線,并將其放入清洗結(jié)果集,等待相關(guān)專家明確數(shù)據(jù)無誤后,再放入到相應的計算機網(wǎng)絡數(shù)據(jù)庫中實施相應存儲。

1.3 基于加權(quán)離群分數(shù)的異常數(shù)據(jù)挖掘

以往在利用傳統(tǒng)加權(quán)離群分數(shù)算法進行計算機網(wǎng)絡大規(guī)模數(shù)據(jù)流異常數(shù)據(jù)挖掘時,若待挖掘的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)存在明顯的樞紐現(xiàn)象時,很難以較快的速度準確實現(xiàn)計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘,針對上述問題,本文使用基于樞紐現(xiàn)象與加權(quán)離群分數(shù)的離群數(shù)據(jù)挖掘算法完成計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘工作。具體的異常數(shù)據(jù)挖掘流程如下:

(1)對計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)集中的各個計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象執(zhí)行K近鄰查詢操作,獲取各計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i在其他計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象K近鄰列表內(nèi)出現(xiàn)的準確次數(shù),將該次數(shù)標記為Gk(i),并通過對Gk(i)執(zhí)行合理的歸一化操作,求解各計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的離群分數(shù)。具體的求解過程用公式(1)可描述。

ai=1÷(1+Gk(i))

(1)

式(1)中,計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的離群分數(shù)用ai標記。即使是在計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i在其余計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象K近鄰列表內(nèi)出現(xiàn)的準確次數(shù)為0條件下,式(1)也依然成立。

(2)求解計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的K近鄰數(shù)據(jù)對象離群分數(shù)和。具體的求解過程可用公式(2)描述。

aggi=∑j∈GG(k,i)aj

(2)

式(2)中,計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的K近鄰網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象離群分數(shù)和用aggi標記;j標記的是計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的K近鄰;GG(k,i)標記的是i的K近鄰列表。

(3)對aggi執(zhí)行有效的加權(quán)操作,獲得加權(quán)后的aggi。通常擁有較大ai的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象,會擁有較小的Gk(i)值,也就是說此時計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i出現(xiàn)在其K近鄰數(shù)據(jù)列表中的概率為0或者極低。因ai從本質(zhì)上具有一定的離散性能,故對離群的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)以及正常的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)區(qū)分性能并不佳,為顯著提升離群的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)以及正常計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)之間的區(qū)分度,引入K近鄰權(quán)值,對aggi執(zhí)行有效的加權(quán)操作,引入的K近鄰權(quán)值實質(zhì)上是一種距離信息,該權(quán)值實際上標記的是給定計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象所具有的K近鄰距離與計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)集具有的K近鄰距離平均值之間相除,獲得的有效比值,在本文中用ωi標記,其求解過程用公式(3)描述。

ωi=averDisk(i)÷averDisk

(3)

式(3)中,計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的K近鄰距離以及計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)集的K近鄰距離平均值分別用averDisk(i)、averDisk標記。

在通過式(3)獲取到ωi后,可將具體的aggi加權(quán)過程用公式(4)描述。

Waggi=aggi×ωi

(4)

式(4)中,Wggi標記的是執(zhí)行加權(quán)操作后的aggi;ωi標記的是K近鄰權(quán)值。

(4)執(zhí)行區(qū)分度閾值隨機生成操作,并以所獲閾值為可靠依據(jù)對區(qū)分度比例滿意值實施有效判別,在本文中將區(qū)分度比例滿意值標記為α′,以獲取的α′為數(shù)據(jù)支撐,求解計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象的離群度,各個計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)離群度求解工作完成后,離群度最高的某些計算機網(wǎng)路數(shù)據(jù)流數(shù)據(jù)便為離群數(shù)據(jù),即計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)。在明確α′后,計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象的離群度可通過式(5)實現(xiàn)求解。

cti=(-α′+1)×ai+α′×Waggi

(5)

式(5)中,計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)對象i的離群度用cti標記。

1.4 計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)類型識別

根據(jù)上一小節(jié)所闡述的加權(quán)離群算法,能夠有效判別輸入的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)是正常數(shù)據(jù)還是異常數(shù)據(jù),但是卻無法識別出計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)的異常數(shù)據(jù)類型,卷積神經(jīng)網(wǎng)絡雖具有良好的數(shù)據(jù)分類性能,但不適合大規(guī)模高維數(shù)據(jù)挖掘,但卻可以在高維數(shù)據(jù)規(guī)模較小時,用于完成異常數(shù)據(jù)類型識別工作。為此,在本文中使用卷積神經(jīng)網(wǎng)絡對經(jīng)加權(quán)離群算法挖掘出的計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)實施異常數(shù)據(jù)類型識別,具體的識別過程如下。

(1)使用基于非負Tucker3分解的高維數(shù)據(jù)特征提取算法提取計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)特征,獲取計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常特征數(shù)據(jù)。

(2)計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常特征數(shù)據(jù)歸一化。對計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常特征數(shù)據(jù)實施歸一化的實質(zhì)就是將具有不同維度的計算機網(wǎng)絡數(shù)據(jù)流異常特征值向同區(qū)間實施合理映射,使各計算機網(wǎng)絡數(shù)據(jù)流異常特征數(shù)據(jù)擁有相同的數(shù)量級[16-17]。以往工作中,通常將計算機網(wǎng)絡數(shù)據(jù)流異常特征數(shù)據(jù)映射到[-1,1]區(qū)間內(nèi),本文為方便后續(xù)計算,將其映射到區(qū)間[0,1],具體的歸一化過程用公式(6)描述。

(6)

式(6)中,歸一化前的計算機網(wǎng)絡數(shù)據(jù)流異常特征數(shù)據(jù)值用φ標記;歸一化后的計算機網(wǎng)絡數(shù)據(jù)流異常特征數(shù)據(jù)值用φ?標記;max、min標記的是φ的最高以及最低值。

(3)卷積神經(jīng)網(wǎng)絡計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)類型識別模型構(gòu)建。構(gòu)建的計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)類型識別模型如圖3所示。

圖3 計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)類型識別模型

在將有效的計算機網(wǎng)絡數(shù)據(jù)流異常特征數(shù)據(jù)輸入到該模型后,經(jīng)過有效的模型訓練,便可輸出較為理想的計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)類型。

2 實驗與分析

本文實驗以地處我國H省B市某科技大學的校園計算機網(wǎng)絡環(huán)境為實驗對象。實驗中所使用的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)主要來自該校用于向?qū)W生以及教職工提供各種服務的校園網(wǎng)絡,具體包含V01、V03、V05、V07、V09以及V11六個服務網(wǎng)絡,應用本文方法對該科技大學校園計算機網(wǎng)絡中存在的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)實施有效采集,用于實驗研究。選擇該科技大學校園計算機網(wǎng)絡環(huán)境為實驗對象的原因是其網(wǎng)絡環(huán)境相對比較簡單、安全,很少發(fā)生網(wǎng)絡攻擊行為,網(wǎng)絡中幾乎無異常數(shù)據(jù)存在,即使有也是很難被檢測出來的,完全可以忽略不計,因而在某一時段向其加入若干攻擊數(shù)據(jù)后,應用本文方法對其實施合理挖掘,可很好驗證本文方法有效性。

本文在V01、V03、V05、V07、V09以及V11六個校園服務網(wǎng)絡的部分主機上執(zhí)行攻擊模擬操作,向各校園服務網(wǎng)絡中加入不同攻擊類型異常數(shù)據(jù),計算機網(wǎng)絡異常數(shù)據(jù)加入情況如表1所示。

表1 計算機網(wǎng)絡異常數(shù)據(jù)加入情況 單位:個

應用本文方法對加入不同類型攻擊異常數(shù)據(jù)后的校園計算機網(wǎng)絡,實施有效異常數(shù)據(jù)挖掘,獲得計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘結(jié)果如表2所示。

表2 計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)挖掘結(jié)果

由表2可以看出,應用本文方法可以實現(xiàn)計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘,根據(jù)挖掘結(jié)果積極采取措施對計算機網(wǎng)絡環(huán)境實施相關(guān)保護,可有效保障計算機網(wǎng)絡安全穩(wěn)定運行。

應用本文方法對該高校計算機網(wǎng)絡實施計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)異常挖掘,獲得的計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)異常狀況挖掘效果如表3所示。在2022年3月29日6:00到12:00,應用本文方法對該高校計算機網(wǎng)絡實施計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)異常挖掘獲得的異常數(shù)據(jù)類型挖掘效果如圖4所示。

表3 計算機網(wǎng)絡數(shù)據(jù)流數(shù)據(jù)異常狀況挖掘效果 單位:個

由表3與圖4可知,本文方法在計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘工作方面具有較高的挖掘準確性,將其應用于實際工作,能夠更好保障計算機網(wǎng)絡安全。

3 結(jié)論

應用本文方法可以實現(xiàn)計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘,并且數(shù)據(jù)挖掘效果較好。其在計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘工作方面的有效性主要體現(xiàn)在:應用本文方法可以實現(xiàn)計算機網(wǎng)絡大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)挖掘,并且可將計算機網(wǎng)絡中存在的大規(guī)模高維數(shù)據(jù)流異常數(shù)據(jù)全部挖掘出來,挖掘出的計算機網(wǎng)絡數(shù)據(jù)流異常數(shù)據(jù)類型與實際異常數(shù)據(jù)類型完全一致,將其應用于實際工作,可收獲較為理想的工作效果。