基于大數(shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)

王巖

摘要：網(wǎng)絡(luò)入侵事件頻頻發(fā)生，造成了極其嚴(yán)重的影響?；诖耍岢龌诖髷?shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)，對感應(yīng)器、包嗅探器、異常分析器、報(bào)警器進(jìn)行設(shè)計(jì);系統(tǒng)軟件設(shè)計(jì)包括數(shù)據(jù)采集模塊、實(shí)時(shí)異常檢測模塊。實(shí)驗(yàn)證明，基于大數(shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)對異常數(shù)據(jù)檢測的速度比傳統(tǒng)系統(tǒng)，速度快、網(wǎng)絡(luò)數(shù)據(jù)的安全性更高、具有極強(qiáng)的高效性。

關(guān)鍵詞：大數(shù)據(jù);網(wǎng)絡(luò)入侵;數(shù)據(jù)監(jiān)測系統(tǒng);數(shù)據(jù)挖掘

中圖分類號：TP393? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）19-0056-03

據(jù)全國數(shù)據(jù)統(tǒng)計(jì)調(diào)查，世界范圍內(nèi)大約每20秒就會發(fā)生一次計(jì)算機(jī)入侵事件，Internet網(wǎng)絡(luò)上自帶的防火墻大約有將近四分之一被人惡意攻破，大約百分之七十以上的網(wǎng)絡(luò)信息主管人員向上層報(bào)告由于秘密信息泄露公司遭到了大規(guī)模經(jīng)濟(jì)損失[1]。而在2008年一次大規(guī)模的黑客攻擊行動中，雅虎（Yahoo）網(wǎng)站的網(wǎng)絡(luò)曾一度停止運(yùn)行達(dá)到5個(gè)小時(shí)，這令它損失了成千上百萬美金的交易。在這場黑客惡意行動中，美國金融體系一共損失了二十多億美金。因?yàn)榇舜问鹿试斐蓸I(yè)界人心惶惶，亞馬遜（Amazon.com）、 雅虎（Yahoo）、納斯達(dá)克（NASDAQ）、AOL、eBay的股價(jià)都急告下降，其中以科技股為主的納斯達(dá)克（NASDAQ）就曾打破過去連續(xù)七天創(chuàng)下新高的趨勢，下降了將近七十八點(diǎn)，亞馬遜（Amazon.com）平均指數(shù)周五收市的時(shí)候也下跌了二百六十九點(diǎn)。當(dāng)前，網(wǎng)絡(luò)使用中依然存在許一系列的不安全因素，其具體表現(xiàn)為信息泄漏、惡意篡改、非法使用網(wǎng)絡(luò)資源、非法滲透等。

普遍存在計(jì)算機(jī)網(wǎng)絡(luò)安全隱患比較多，預(yù)防“黑客”的能力比較弱。政府、企業(yè)的計(jì)算機(jī)網(wǎng)絡(luò)遭到黑客“惡意攻擊”的事件也經(jīng)常發(fā)生，為國家和企業(yè)造成了巨大的經(jīng)濟(jì)損失。所以，對于網(wǎng)絡(luò)信息的安全和防范就顯得越發(fā)重要[2]。

1 系統(tǒng)硬件設(shè)計(jì)

由于計(jì)算機(jī)技術(shù)的信息化與全球化，人們在日常生活中的諸多生產(chǎn)、學(xué)習(xí)、工作等活動也正在逐漸轉(zhuǎn)移到計(jì)算機(jī)網(wǎng)絡(luò)上來。這其中最主要的原因就是因?yàn)榫W(wǎng)絡(luò)交易的即時(shí)性、便利性、快捷性和經(jīng)濟(jì)性[3]。目前，我國正在實(shí)行“卓越工程師教育培養(yǎng)計(jì)劃”，此計(jì)劃的目的是為了徹底貫徹落實(shí)黨的十七大有關(guān)“走中國特色社會主義工業(yè)化道路”、建設(shè)創(chuàng)新型國家、建設(shè)人才強(qiáng)國等戰(zhàn)略計(jì)劃而提出的高等教育重大改革，旨在培養(yǎng)出一大批具備較強(qiáng)的創(chuàng)新能力、可以適應(yīng)中國社會經(jīng)濟(jì)快速發(fā)展需要的高質(zhì)量技術(shù)型人才。而博士層次的卓越工程師在一定程度上可以創(chuàng)造性地從事復(fù)雜工程或大型建設(shè)項(xiàng)目的研發(fā)以及工程科學(xué)的研究，具有創(chuàng)造出具備國際一流競爭實(shí)力的專利技術(shù)、創(chuàng)新技術(shù)、尖端產(chǎn)品或者技術(shù)含量的工程實(shí)驗(yàn)的能力，成為優(yōu)秀的研究型工程師。而這方面人才的出現(xiàn)也為大數(shù)據(jù)的應(yīng)用以及網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)的誕生發(fā)揮了重要作用。

1.1 感應(yīng)器

考慮到網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)監(jiān)測系統(tǒng)在監(jiān)控范圍、延展性、使用性等諸多方面存在的優(yōu)勢，構(gòu)建的入侵?jǐn)?shù)據(jù)檢測系統(tǒng)硬件設(shè)備主要是以網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測感應(yīng)器為主，而感應(yīng)器本身除了實(shí)現(xiàn)對數(shù)據(jù)包的捕捉、數(shù)據(jù)流的協(xié)議解析等功能以外，還需要負(fù)責(zé)加強(qiáng)對數(shù)據(jù)的預(yù)備處理與具有一些初步的入侵?jǐn)?shù)據(jù)檢測功能，這些輔助性的功能不管是對于網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)的感應(yīng)器還是對主機(jī)感應(yīng)據(jù)器來說，其功能發(fā)與具體的實(shí)現(xiàn)幾乎都是以此為基礎(chǔ)的[4]。感應(yīng)器作為網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)監(jiān)測系統(tǒng)中的基層檢測單元，需要具備以下幾個(gè)功能：首先，感應(yīng)器捕捉網(wǎng)絡(luò)數(shù)據(jù)，做出提前準(zhǔn)備好的預(yù)處理，之后一方面?zhèn)鹘o檢測模塊進(jìn)行入侵檢查，一方面拷貝數(shù)據(jù)副本將其輸入數(shù)據(jù)庫中，用于挖掘新的未知入侵規(guī)則，以便更新入侵規(guī)則庫。其次，經(jīng)過協(xié)議解析后的數(shù)據(jù)包仍然需要系統(tǒng)進(jìn)行進(jìn)一步的處理才可以進(jìn)行下一步的分析，比方說對PI分片的重組，數(shù)據(jù)包大小的檢查以及結(jié)構(gòu)化數(shù)據(jù)的特征篩選等。最后，入侵檢測功能利用感應(yīng)器入侵檢測系統(tǒng)底層的特點(diǎn)[5]，使其承擔(dān)一些特別的、分析器方便進(jìn)行下一步處理的入侵檢測功能，比方說Portscan、Teardrorp攻擊、SYSFIooding攻擊等。根據(jù)以上對感應(yīng)器基本功能需求的分析，將感應(yīng)器模塊分成三個(gè)子模塊，具體見下圖所示。

1.2 包嗅探器

包嗅探器主是為了要對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行收集，它只是一個(gè)簡單的捕捉信息的接口，其所在的具體位置決定了網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)的局部處理能力[6]。

1.3 異常分析器

異常分析器主要是負(fù)責(zé)檢查網(wǎng)絡(luò)數(shù)據(jù)規(guī)則庫中的規(guī)則集，利用異常檢測手段將那些異常數(shù)據(jù)送往規(guī)則生成器，從而形成差別。

1.4 報(bào)警器

當(dāng)分析器向系統(tǒng)報(bào)告出現(xiàn)數(shù)據(jù)入侵的異常行為時(shí)，它通過人機(jī)界面向工作人員發(fā)出通知，其形式可以是簡單的E-mail郵件，控制臺報(bào)警、日志信息、可視化工具等。檢測系統(tǒng)對于網(wǎng)絡(luò)中采集到的數(shù)據(jù)包進(jìn)行預(yù)備處理，形成數(shù)據(jù)挖掘手段所需的網(wǎng)絡(luò)格式[7]。已知的入侵方式直接匹配成功，其余的則傳輸?shù)疆惓７治銎鲀?nèi)進(jìn)行數(shù)據(jù)檢測，根據(jù)一定的規(guī)則進(jìn)行推論，以確定是否發(fā)生網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)的發(fā)生，并將異常事件上傳至規(guī)則生成器，利用特征提取形成新的規(guī)則。

2 系統(tǒng)的軟件設(shè)計(jì)

2.1 數(shù)據(jù)采集模塊

數(shù)據(jù)采集模塊主要負(fù)責(zé)對數(shù)據(jù)源的采集，它作為整個(gè)檢測系統(tǒng)中最基礎(chǔ)的部分，可以說是系統(tǒng)科學(xué)、有效進(jìn)行工作的基礎(chǔ)[8]。數(shù)據(jù)采集來源分為兩部分，一是，各項(xiàng)樣本數(shù)據(jù)集內(nèi)的數(shù)據(jù)，本系統(tǒng)數(shù)據(jù)采用KDD109數(shù)據(jù)集數(shù)據(jù);二是，利用捕捉網(wǎng)絡(luò)數(shù)據(jù)包去獲取數(shù)據(jù)。數(shù)據(jù)庫系統(tǒng)使用Microsoft PQL Server 2010，對于KDD109數(shù)據(jù)集的一系列文件，每一條記錄只占據(jù)一行，屬性之間可以用逗號相隔，可使用PQL Server 2010自帶的數(shù)據(jù)導(dǎo)入/出向?qū)О褦?shù)據(jù)輸入數(shù)據(jù)庫之中。對于網(wǎng)絡(luò)數(shù)據(jù)包，在LinuPx系統(tǒng)下能夠應(yīng)用Libpcape數(shù)據(jù)庫內(nèi)的函數(shù)接口捕捉網(wǎng)絡(luò)數(shù)據(jù)包，它在本質(zhì)上屬于一個(gè)獨(dú)立的APU函數(shù)接口，用于用戶等級的數(shù)據(jù)包截取工作。在Windows最新系統(tǒng)中能夠使用Winpcape數(shù)據(jù)捕捉網(wǎng)絡(luò)數(shù)據(jù)包。Winpcape作為一套免費(fèi)的數(shù)據(jù)包，基于Windows10的網(wǎng)絡(luò)接口APU，將網(wǎng)卡設(shè)定為“混合”模式，之后循環(huán)處理網(wǎng)絡(luò)捕捉數(shù)據(jù)包。

2.2 實(shí)時(shí)異常檢測模塊

實(shí)時(shí)數(shù)據(jù)異常檢測模塊采取Spark streaming模式，Spark Streaming是建立在計(jì)算機(jī)網(wǎng)絡(luò)Spark上的實(shí)時(shí)性計(jì)算架構(gòu)，通過它為系統(tǒng)提供的大量的APU、基于內(nèi)存處理器的高速執(zhí)行引擎，用戶可以結(jié)合直式、流式處理以及交互式查詢功能技術(shù)進(jìn)行實(shí)時(shí)事故的相關(guān)處理，數(shù)據(jù)采集和預(yù)備處理模塊都是把已經(jīng)處理過的數(shù)據(jù)上傳至kafka（是一種具備高蘊(yùn)藏、高吞吐量的分布式發(fā)布查閱消息系統(tǒng)）中，kafka 檢測系統(tǒng)內(nèi)部上傳消息總線，具體承擔(dān)每一個(gè)模塊之間的數(shù)據(jù)轉(zhuǎn)換，實(shí)時(shí)監(jiān)測模塊利用消息查閱讀取、處理后的實(shí)時(shí)數(shù)據(jù)，并根據(jù)檢測規(guī)則對數(shù)據(jù)內(nèi)容進(jìn)行嚴(yán)格檢測。

3 實(shí)驗(yàn)與效果分析

為了更加清楚、具體的看出此系統(tǒng)對異常數(shù)據(jù)檢測的效果，特與傳統(tǒng)網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)進(jìn)行對比，對其數(shù)據(jù)異常入侵的檢測能力進(jìn)行比較。

3.1 實(shí)驗(yàn)準(zhǔn)備

為保證試驗(yàn)的準(zhǔn)確性，將兩種網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)置于相同的試驗(yàn)參數(shù)之中，進(jìn)行數(shù)據(jù)惡意入侵檢測能力試驗(yàn)。試驗(yàn)參數(shù)見下表。

3.2 實(shí)驗(yàn)結(jié)果分析

試驗(yàn)過程中，通過兩種不同的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)同時(shí)在相同環(huán)境中進(jìn)行工作，分析其數(shù)據(jù)異常入侵的檢測能力的變化。效果對比圖1所示。

通過實(shí)驗(yàn)結(jié)果，我們可以看出，在出現(xiàn)相同集合數(shù)的異常數(shù)據(jù)時(shí)，本文設(shè)計(jì)的基于大數(shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)相較于異常數(shù)據(jù)檢測的速度較傳統(tǒng)設(shè)計(jì)而言，要擁有比較大的優(yōu)勢，速度極快，有效提高了網(wǎng)絡(luò)數(shù)據(jù)的安全性。實(shí)驗(yàn)證明，本文設(shè)計(jì)的基于大數(shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)具有極強(qiáng)的高效性。

4 結(jié)束語

本文對基于大數(shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)進(jìn)行分析，依托大數(shù)據(jù)分析的基本原理需求，根據(jù)網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測的相關(guān)反饋與分析數(shù)據(jù)，實(shí)現(xiàn)本文設(shè)計(jì)。實(shí)驗(yàn)論證表明，本文設(shè)計(jì)的方法具備極高的有效性。希望本文的研究能夠?yàn)榛诖髷?shù)據(jù)分析的網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)檢測系統(tǒng)設(shè)計(jì)的方法提供理論依據(jù)。

參考文獻(xiàn)：

[1] 馬親民， 王曉春， 戴光智. 無線傳感器網(wǎng)絡(luò)面臨的攻擊與對策[J]. 傳感器與微系統(tǒng)， 2018，31（3） ： 8-10， 14.

[2] 陽時(shí)來， 楊雅輝， 沈晴霓等. 一種基于半監(jiān)督GHSOM 的入侵檢測方法[J].計(jì)算機(jī)研究與發(fā)展， 2018， 50（11）： 2375-2382.

[3] 陳玉明， 謝斐星， 吳克壽等. 基于鄰域關(guān)系的網(wǎng)絡(luò)入侵檢測特征選擇[J]. 常州大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2018， 26（3）： 1-5.

[4] 宋文超， 王燁， 黃勇等. 大數(shù)據(jù)環(huán)境下的云計(jì)算網(wǎng)絡(luò)安全入侵檢測模型仿真[J]. 中國西部科技， 2018（8）： 86-88.

[5] 王登貴. 基于MCU 的水果貯藏室溫濕度監(jiān)測及報(bào)警系統(tǒng)設(shè)計(jì)[J]. 電子設(shè)計(jì)工程， 2018（19）： 14-17.

[6] 曹紅， 郭峰， 藺振波. 基于大數(shù)據(jù)分析技術(shù)的通信網(wǎng)絡(luò)監(jiān)控體系構(gòu)建研究[J]. 信息與電腦（理論版）， 2017（14）： 130-131.

[7] 任華， 張玲， 葉煜. 數(shù)字化校園中用戶網(wǎng)絡(luò)行為大數(shù)據(jù)的分析與監(jiān)控[J]. 計(jì)算機(jī)與數(shù)字工程， 2017， 45（9）： 1814-1818.

[8] 郝曉培， 單杏花， 楊立鵬等. 基于大數(shù)據(jù)技術(shù)的鐵路互聯(lián)網(wǎng)售票異常用戶行為分析研究與實(shí)現(xiàn)[J]. 鐵路計(jì)算機(jī)應(yīng)用， 2017， 26（5）： 1-4.

【通聯(lián)編輯：張薇】