基于數(shù)據(jù)挖掘的智化校園建設中異常流量檢測探索與實踐

黃 磊

西南民族大學，四川 成都 610041

1 數(shù)據(jù)挖掘概述

1.1 數(shù)據(jù)挖掘的定義及其分類

隨著計算機技術的日益發(fā)達和完善，網(wǎng)絡信息中的信息成倍增加。針對數(shù)量日益龐大的數(shù)據(jù)庫信息，必須找到一個合理的信息搜索與數(shù)據(jù)分析方法，從數(shù)以萬計的數(shù)據(jù)庫信息當中實現(xiàn)有效數(shù)據(jù)的獲取，同時也可以在所獲取的數(shù)據(jù)當中預測對應的結果及發(fā)展趨勢。這時，就用到了數(shù)據(jù)挖掘技術。數(shù)據(jù)挖掘技術起源于20世紀80年代初期，在興起之初雖幾經(jīng)曲折，但由于現(xiàn)代計算機技術的迅速發(fā)展以及專家學者的深入研究探索，數(shù)據(jù)挖掘技術目前已比較完善，被應用在人類生產(chǎn)活動的各個方面。以數(shù)據(jù)挖掘技術中所對應的信息分類規(guī)律為基本依據(jù)，可以將其分為總結規(guī)律、時序規(guī)則、趨勢分析、關聯(lián)規(guī)則、分析規(guī)律和聚類規(guī)律等；以其技術的不同為基本依據(jù)，可以將其分為規(guī)律總結、決策樹、可視化方法、人工神經(jīng)網(wǎng)絡等；而以其不同的信息形式為基本依據(jù)，又可以將其分為高層次挖掘、原始階段挖掘、更深層次挖掘等。

1.2 數(shù)據(jù)挖掘的流程

數(shù)據(jù)挖掘的流程是在巨量、龐雜的數(shù)據(jù)庫系統(tǒng)中完成過濾與信息識別。數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)豐富而復雜，直接實施數(shù)據(jù)挖掘分析時往往難以達到預期效果。在數(shù)據(jù)挖掘的實踐運用流程中，人們常常要求通過下列步驟逐步實施，以獲得最佳效益。

一是做好適當?shù)哪繕藬?shù)據(jù)選擇。根據(jù)企業(yè)在具體業(yè)務當中的各種需要，做出適當?shù)哪繕藬?shù)據(jù)集群選取，以減少篩選范圍。對數(shù)據(jù)進行過濾和處理，并根據(jù)企業(yè)實際需要采取相應措施減少無效數(shù)據(jù)，以此降低企業(yè)的目標數(shù)據(jù)資源所出現(xiàn)的冗余。同時，對數(shù)據(jù)信息做出正確的推理與估計，以確保數(shù)據(jù)的完整度。對信息做出相應的轉換與壓縮，并根據(jù)具體的信息處理目標，將數(shù)據(jù)信息進行嚴格分類，同時實現(xiàn)離散和數(shù)據(jù)與信息間的互相轉化，對信息進行適當?shù)臐饪s。二是關于數(shù)據(jù)挖掘的技術和算法。選擇的主要準則是技術和算法能夠與數(shù)據(jù)相互配合，并盡量讓結果最優(yōu)化。三是對數(shù)據(jù)挖掘的內(nèi)容識別、判斷的表述。當利用數(shù)據(jù)挖掘技術對豐富的數(shù)據(jù)資料進行識別和篩選之后，數(shù)據(jù)結論應當可以采用直觀明確的可視化圖表形式加以表述。

2 數(shù)據(jù)挖掘技術在構建智化校園中的應用

隨著經(jīng)濟社會的進一步發(fā)展，智化校園建設也需要提升，數(shù)據(jù)挖掘技術的有效利用更能達到智化校園構建的效果[1]，這既適應新形勢下經(jīng)濟社會發(fā)展需要，又能改善學校管理水平。數(shù)據(jù)挖掘技術的運用，主要表現(xiàn)在以下方面。

2.1 教學環(huán)境

智化校園的特點包括自動化與便捷化。創(chuàng)建智能教學環(huán)境時，將資源挖掘信息技術合理應用于構建平臺，可實現(xiàn)教師動態(tài)監(jiān)控教學情況、課程體驗等多種需求，也可實現(xiàn)學校細化課程特點和針對課程選用相應教學風格的需求。因而數(shù)據(jù)挖掘技術可以增強學生用戶的主體地位，充分調(diào)動教師教和學生學的激情，進而營造濃厚的課堂氣氛，減輕教師的焦慮心情。此外，數(shù)據(jù)挖掘技術可以客觀分析教師階段性教學方法，針對不足以教師容易接受的方法提出改善建議，對智化校園建設價值體現(xiàn)具有正面影響。

2.2 教學模式

數(shù)據(jù)挖掘技術具有海量信息存儲的優(yōu)勢，可以支持教育教學參與者獲得教學資源，并利用大數(shù)據(jù)為學校教育教學工作助力。同時，學校教師也可通過這一技術手段制定可行性教育教學方案，從而使得班級學生的學習需求得以滿足，從而達到知識傳承、優(yōu)秀人才教育等目的。尤為重要的是，數(shù)據(jù)挖掘技術的開放式特征，意味著終端用戶可以進行碎片化教學，可極大提升學生的學習效率與質(zhì)量。另外，教師的教學壓力也可減輕，并且教學方法向多樣化趨勢發(fā)展，這也對課堂教育改革起到積極的作用[2]。

2.3 學習模式

數(shù)據(jù)挖掘技術可以進一步優(yōu)化學生的學習模式。首先，可以面向?qū)W習者個性化定制設計系統(tǒng)建模，并利用建模數(shù)據(jù)分析掌握個人學習狀況，有依據(jù)地指導學生調(diào)整學習方法，從而提高其學習效率。其次，可以根據(jù)學習評估結果檢驗學校教學成果，間接了解學校教學環(huán)節(jié)的不足之處，并通過完善教學管理細節(jié)、調(diào)整教學內(nèi)容來激活學生學習的主觀能動性[3]。最后，還可以提供多樣化的學習模式，如自主學習模式、組間合作模式、團隊教學模式等，以全面培養(yǎng)學生的自主性與協(xié)同意識，對于學生的全面發(fā)展具有重要促進意義?？偠灾腔@在數(shù)據(jù)挖掘技術的輔助下，能夠充分調(diào)動學生的學習潛能，促進學生形成較好的學習習慣，這對于優(yōu)秀人才培育、智化校園作用發(fā)揮都有促進作用。

3 深化異常流量檢測，不斷探索實踐新途徑

在校園規(guī)模日益擴大、網(wǎng)絡使用范圍日益廣泛的發(fā)展過程中，校園網(wǎng)的用戶數(shù)據(jù)流量越來越大。與此同時，隨著各類異常網(wǎng)絡狀況的出現(xiàn)，各類數(shù)據(jù)流量的異常情況也時有發(fā)生。在大量數(shù)據(jù)流量信息中，需要采用一定的大數(shù)據(jù)分析技術手段，對異常的大數(shù)據(jù)流動狀況加以識別，并通過研究分析其異常流量數(shù)量狀況，得出異常大數(shù)據(jù)流動中的隱藏特點，從而根據(jù)特點采取相應的保護措施。在此過程中，數(shù)據(jù)挖掘技術的運用非常關鍵，利用數(shù)據(jù)挖掘技術可以對異常數(shù)據(jù)流量進行檢測，同時也可以分析甄別出其中的抽象規(guī)律[4]。數(shù)據(jù)挖掘技術為異常數(shù)據(jù)流量的分析帶來方便，有助于網(wǎng)絡管理員從數(shù)量龐大的數(shù)據(jù)分析中迅速發(fā)現(xiàn)其不同特點并進行有效利用。

3.1 網(wǎng)絡流量異常情況分類及檢測方法

網(wǎng)絡流量異常是指對互聯(lián)網(wǎng)正常應用產(chǎn)生惡劣干擾的網(wǎng)絡流量模式，目前常見的網(wǎng)絡流量異常情況有以下幾種。

一是網(wǎng)絡掃描。網(wǎng)絡掃描是一種典型的局域網(wǎng)異常流量，主要特征為在單元時段內(nèi)，同一源IP同時接入了截然不同的目標IP或者同一個對象IP的多個客戶端，而對象IP也往往是連續(xù)的。

二是DDoS攻擊。拒絕服務攻擊一般以消耗服務器端數(shù)據(jù)，使得服務質(zhì)量停止響應為前提，通常具體表現(xiàn)為用大批截然不同的來源IP，對同一個目標IP傳輸數(shù)據(jù)包，在單位時限內(nèi)數(shù)據(jù)流的容量大，持續(xù)時間長，浪費了巨大的寬帶資源。

三是網(wǎng)絡蠕蟲病毒。網(wǎng)絡蠕蟲病毒運行系統(tǒng)的漏洞主動傳播擴散，同時能夠在局域網(wǎng)和廣域網(wǎng)內(nèi)以各種方式相互傳播。網(wǎng)絡蠕蟲病毒的進攻模式，除了產(chǎn)生巨大的網(wǎng)絡流量之外，還將耗費大量的網(wǎng)絡系統(tǒng)資源。而這類異常利用局部線路上的流動測量方法很難檢出，通常需要對全網(wǎng)的流動特性加以研究分析并通過全網(wǎng)的流動統(tǒng)計分析方法加以檢驗。

四是由于網(wǎng)絡故障和性能等運行問題引起的異常。常見的網(wǎng)絡性能反常是文件服務器故障、網(wǎng)絡內(nèi)存分頁錯誤、廣播風暴和瞬間擁塞等因素引起的網(wǎng)絡流量表現(xiàn)異常。此外，非法下載、對互聯(lián)網(wǎng)的不合理利用等也會引起流量異常，從而引起網(wǎng)絡帶寬耗費。

3.2 基于流數(shù)據(jù)挖掘的網(wǎng)絡異常檢測研究進展

目前，基于流數(shù)據(jù)挖掘的網(wǎng)絡異常檢測的研究工作主要在如下領域中進行：流量信息概要架構設計、流量信息變化數(shù)據(jù)挖掘、流量信息聚類數(shù)據(jù)挖掘、頻繁項數(shù)據(jù)挖掘以及對多維流和多流的數(shù)據(jù)挖掘等[5]。

一是流數(shù)據(jù)處理概要架構設計的基礎研究。流數(shù)據(jù)處理的特點，決定了流數(shù)據(jù)處理研究的基礎就是設計有效的單遍數(shù)掃描計算，而因為流數(shù)據(jù)量遠大于可用內(nèi)存，所以用戶就不能從存儲器中保留掃描的所有信息，因此流數(shù)據(jù)處理概要架構設計就成為大規(guī)模流數(shù)據(jù)挖掘的基礎和首要任務。在網(wǎng)絡流量的異常檢測研究中，人們通過抽樣、小波變換、哈希函數(shù)等對概要架構設計進行深入研究。

二是流數(shù)據(jù)突發(fā)性檢測技術。流數(shù)據(jù)變化檢測與變異發(fā)現(xiàn)是流量挖掘技術應用領域中的一個主要分支。流數(shù)據(jù)突發(fā)性檢測技術是一類結構獨特的流量數(shù)據(jù)異常變化檢測技術，是指發(fā)現(xiàn)流量數(shù)據(jù)中的異常信息聚集。在連接管理中，流數(shù)據(jù)突發(fā)性檢測技術可廣泛應用于對短時間內(nèi)丟包數(shù)量的檢測，通過對流量分布的不同變化確定網(wǎng)絡異常。另外，它還提供了多路空間技術（multiway subspace method），可從不同流量數(shù)據(jù)中獲取異常變化；也給出了通過利用流量分布異常在網(wǎng)絡數(shù)據(jù)流中找到關鍵差異的方法，其思路是從網(wǎng)絡數(shù)據(jù)流中找到最關鍵的網(wǎng)絡三角肌群，通過網(wǎng)絡三角肌群的確定找到網(wǎng)絡數(shù)據(jù)包的端口之間和路由器之間在一段時間內(nèi)的關鍵差異。

三是基于流數(shù)據(jù)聚類挖掘的方法?；诰垲惙治龅漠惓z測在互聯(lián)網(wǎng)異常檢測方面，已有廣泛的探索研究。按數(shù)據(jù)流中的資源屬性特點對數(shù)據(jù)流進行分類整合，發(fā)現(xiàn)存在一定的異常或流動類型（信息使用特征）的集合流，從而檢測及確認網(wǎng)絡流量的異常行為；發(fā)現(xiàn)在特定時間間隔，在某一給定鏈路上的統(tǒng)治集合流，即大流量流（ heavy hitter，HH）或出現(xiàn)頻次較多的數(shù)據(jù)流。假設異常的大流量發(fā)送到了某一指定IP位置，則這個現(xiàn)象常為Flash擁擠或DDoS入侵。提供多維流量聚類模型，既可以從不同角度（源地址、目的地址、協(xié)議、源端口、目的終端等）對流速加以解析，又可以通過對實際流量的解析，定義出在特定時間的統(tǒng)治流、不正常流，降低歷史數(shù)據(jù)對檢測結果的影響，大大提高侵入檢測準確度，以聚類離群點技術，判斷實時數(shù)據(jù)和正常數(shù)據(jù)之間的偏差情況。

4 結語

網(wǎng)絡信息技術時代背景下，智化校園建設工作已勢在必行，通過數(shù)據(jù)挖掘技術的合理利用，可以在總體上提升學校管理水平，給教師提供更優(yōu)秀的教學服務，也有利于加強學校教育教學改革。但隨著網(wǎng)絡的高速發(fā)展和廣泛應用，越來越多的教育信息可以利用互聯(lián)網(wǎng)技術來傳遞和保存，安全問題愈顯關鍵，網(wǎng)絡流量的異常檢測以及研究也是互聯(lián)網(wǎng)信息與安全管理領域的重點研究內(nèi)容。通過利用大數(shù)據(jù)處理環(huán)境下數(shù)據(jù)挖掘技術的新特性，可以有效發(fā)現(xiàn)和檢測互聯(lián)網(wǎng)非正常流量，以維護互聯(lián)網(wǎng)的生態(tài)環(huán)境。