基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)信息過濾系統(tǒng)設(shè)計(jì)

劉玉娥

摘 要： 對(duì)網(wǎng)絡(luò)信息進(jìn)行過濾，在提高網(wǎng)絡(luò)安全性能方面具有重要意義。傳統(tǒng)網(wǎng)絡(luò)信息過濾系統(tǒng)一直存在信息過濾不完整、效率差的問題，故提出并設(shè)計(jì)基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)信息過濾系統(tǒng)。網(wǎng)絡(luò)信息過濾系統(tǒng)硬件主要由數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)分析模塊、控制界面模塊和過濾及反饋模塊組成，在過濾及反饋模塊引入數(shù)據(jù)挖掘技術(shù)，對(duì)各個(gè)重要數(shù)據(jù)進(jìn)行分析，并給出部分軟件代碼，實(shí)現(xiàn)網(wǎng)絡(luò)信息過濾系統(tǒng)的優(yōu)化。實(shí)驗(yàn)結(jié)果表明，以調(diào)和平均值為指標(biāo)，對(duì)改進(jìn)設(shè)計(jì)系統(tǒng)進(jìn)行驗(yàn)證，其查全率及查準(zhǔn)率的調(diào)和平均值較高，具有一定的優(yōu)勢(shì)。

關(guān)鍵詞： 網(wǎng)絡(luò)信息過濾； 數(shù)據(jù)挖掘； 網(wǎng)絡(luò)安全； 數(shù)據(jù)采集； 調(diào)和平均值； 查準(zhǔn)率

中圖分類號(hào)： TN711?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）16?0051?04

Abstract： Network information filtering is of great significance in improving network security performance. As the traditional network information filtering system has the long?existing problem of incomplete and inefficient information filtering， a network information filtering system based on the data mining technology is proposed and designed. The hardware of the network information filtering system is mainly composed of the data acquisition module， data processing module， block data analysis module， control interface module， and filtering and feedback module. In the filtering and feedback module， the data mining technology is introduced to analyze various important data and present part of software codes， so as to realize the optimization of the network information filtering system. The experimental results show that， with the harmonic mean value as the index， the improved design system is verified to have a relatively high harmonic mean value of the recall ratio and precision ratio， which has a certain advantages.

Keywords： network information filtering； data mining； network security； data acquisition； harmonic mean value； precision ratio

0 引 言

近年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)和Internet的迅速發(fā)展，網(wǎng)絡(luò)信息的增加，人們急需借助一些工具，對(duì)網(wǎng)絡(luò)信息進(jìn)行篩選。由于網(wǎng)絡(luò)自身的兩面性，用戶能夠從網(wǎng)絡(luò)上得到豐富的、最新的知識(shí)，在學(xué)習(xí)和休息進(jìn)程里充實(shí)自己、提高自己的知識(shí)含量；同時(shí)，有些不法分子利用網(wǎng)絡(luò)的復(fù)制性、傳播和查閱一些有明顯意識(shí)形態(tài)傾向的信息，這些信息的存在嚴(yán)重影響人們工作及學(xué)習(xí)的現(xiàn)象，也對(duì)社會(huì)造成了極大的危害。怎樣過濾掉與自己所需內(nèi)容無關(guān)的信息，高效精確地得到所需的信息并遭受非法信息的干擾，變成了此領(lǐng)域急需解決的重點(diǎn)問題。可以依據(jù)用戶信息需求，采用信息過濾技術(shù)從大規(guī)模動(dòng)態(tài)網(wǎng)絡(luò)信息流里自動(dòng)選擇出滿足用戶需求的信息、去除無用的網(wǎng)絡(luò)信息，達(dá)到對(duì)網(wǎng)絡(luò)信息有效過濾的目的。對(duì)此，提出并設(shè)計(jì)了基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)信息過濾系統(tǒng)。

1 網(wǎng)絡(luò)信息過濾系統(tǒng)整體模塊設(shè)計(jì)

1.1 網(wǎng)絡(luò)信息過濾整體模塊分析

為了達(dá)到準(zhǔn)確過濾網(wǎng)絡(luò)信息的目的，各過濾系統(tǒng)均有自己的實(shí)現(xiàn)方法，但他們均有相同的分析模塊，而本文設(shè)計(jì)的過濾系統(tǒng)重點(diǎn)由5個(gè)基礎(chǔ)模塊構(gòu)成：

1） 數(shù)據(jù)收集模塊。重點(diǎn)是收集網(wǎng)絡(luò)信息數(shù)據(jù)和協(xié)議還原的處理。用戶在啟動(dòng)過濾系統(tǒng)以后，系統(tǒng)會(huì)將計(jì)算機(jī)的數(shù)據(jù)包攔截下去，然后以協(xié)議為依據(jù)對(duì)其進(jìn)行還原，并儲(chǔ)存到運(yùn)用層中，最后將其上交給數(shù)據(jù)解析模塊。

2） 數(shù)據(jù)解析模塊。重點(diǎn)是對(duì)關(guān)鍵詞進(jìn)行過濾，對(duì)圖像進(jìn)行分類。將數(shù)據(jù)采集模塊傳輸過來的網(wǎng)絡(luò)信息數(shù)據(jù)，以關(guān)鍵詞為主旨進(jìn)行過濾，對(duì)圖像進(jìn)行分類，確認(rèn)是否滿足網(wǎng)絡(luò)信息安全傳輸?shù)牟呗?，并將解析結(jié)果進(jìn)行返回；采用網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)，從網(wǎng)絡(luò)中得到信息，并將其傳輸?shù)綌?shù)據(jù)處理模塊進(jìn)行處理，形成有關(guān)網(wǎng)絡(luò)信息特征的描述。

3） 數(shù)據(jù)處理模塊。該模塊以數(shù)據(jù)解析模塊為依據(jù)，解析網(wǎng)絡(luò)信息數(shù)據(jù)的結(jié)果，分析已有數(shù)據(jù)然后以已經(jīng)預(yù)定的安全傳輸策略為依據(jù)，做出相應(yīng)的響應(yīng)動(dòng)作。

4） 控制界面模塊。主要為過濾系統(tǒng)以及用戶的交互工作服務(wù)。為用戶提供使用控制軟件的界面，在控制界面中，用戶能夠?qū)^濾系統(tǒng)進(jìn)行控制，選取是否過濾，然后設(shè)置系統(tǒng)的配置，從中獲取歷史記錄，編輯并對(duì)控制列表進(jìn)行訪問，設(shè)置關(guān)鍵詞以及訓(xùn)練圖像分類系統(tǒng)等功能。

5） 過濾和反饋模塊。把經(jīng)過網(wǎng)絡(luò)信息解析處理形成的數(shù)據(jù)及生成的用戶模板文件相似性進(jìn)行對(duì)比，以確認(rèn)能不能把處理結(jié)果傳輸給用戶；依據(jù)用戶興趣的轉(zhuǎn)變及結(jié)果的評(píng)估，對(duì)用戶模板文件實(shí)時(shí)更新，過濾無用信息，并將過濾進(jìn)程形成的具備顯著區(qū)別的文檔增加到訓(xùn)練庫，適時(shí)更新模板文件，使其一直處于過濾掉無用信息的狀態(tài)。

網(wǎng)絡(luò)信息過濾系統(tǒng)如圖1所示。

在網(wǎng)絡(luò)信息的過濾中，當(dāng)網(wǎng)絡(luò)信息數(shù)據(jù)包進(jìn)入計(jì)算機(jī)后，到達(dá)應(yīng)用程序前過濾系統(tǒng)能夠攔截?zé)o用的信息，并且能夠采集其中的數(shù)據(jù)。采集數(shù)據(jù)以后，根據(jù)協(xié)議能夠還原到應(yīng)用層中，將數(shù)據(jù)提交給數(shù)據(jù)解析模塊進(jìn)行解析，然后將解析結(jié)果傳輸給數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊能夠從解析的結(jié)果中來對(duì)數(shù)據(jù)包是否進(jìn)行過濾做出判斷，并能夠根據(jù)設(shè)置的參數(shù)來判斷該數(shù)據(jù)包是否需要記錄和報(bào)警。最后，界面控制模塊能夠控制整個(gè)網(wǎng)絡(luò)信息過濾系統(tǒng)，編輯、訪問、控制其配置、歷史查看記錄，關(guān)鍵詞以及訓(xùn)練圖像的分類。由上述描述可知，網(wǎng)絡(luò)信息過濾需要解決獲取和表示信息、計(jì)算信息相似度、構(gòu)建用戶模板等問題，因此，本文采用數(shù)據(jù)挖掘方法，對(duì)網(wǎng)絡(luò)信息進(jìn)行采集和獲取。

1.2 數(shù)據(jù)挖掘分析

在設(shè)計(jì)網(wǎng)絡(luò)信息過濾系統(tǒng)時(shí)，采用數(shù)據(jù)挖掘方法對(duì)網(wǎng)絡(luò)信息數(shù)據(jù)進(jìn)行采集、解析、預(yù)處理和挖掘。

網(wǎng)絡(luò)信息數(shù)據(jù)采集是通過搜索網(wǎng)絡(luò)信息的各關(guān)鍵數(shù)據(jù)，監(jiān)測(cè)網(wǎng)絡(luò)信息數(shù)據(jù)流，選取混雜模式的網(wǎng)卡工作模式，接收目標(biāo)地址信息，能直接對(duì)網(wǎng)絡(luò)底層進(jìn)行訪問，路過系統(tǒng)的正常工作處理機(jī)制，采集流經(jīng)網(wǎng)絡(luò)信息節(jié)點(diǎn)的全部數(shù)據(jù)包。

數(shù)據(jù)解析：對(duì)采集到的原始網(wǎng)絡(luò)數(shù)據(jù)協(xié)議進(jìn)行解析，從數(shù)據(jù)包中得到所需信息。

數(shù)據(jù)預(yù)處理：從網(wǎng)絡(luò)中采集的網(wǎng)絡(luò)信息數(shù)據(jù)包依據(jù)采集時(shí)間順序進(jìn)行排列，在同一時(shí)間內(nèi)，構(gòu)建多個(gè)連接方式，根據(jù)時(shí)間排列順序，不同連接的數(shù)據(jù)包就會(huì)相互影響，所以把各個(gè)連接的全部數(shù)據(jù)包整理為一條連接信息，對(duì)連接信息進(jìn)行解析。經(jīng)解析后，數(shù)據(jù)特征屬性存在差別，會(huì)對(duì)網(wǎng)絡(luò)信息的過濾結(jié)果形成干擾，將全部數(shù)據(jù)特征統(tǒng)一映射到空間向量中，對(duì)數(shù)據(jù)設(shè)定特征進(jìn)行預(yù)處理，實(shí)現(xiàn)數(shù)據(jù)挖掘。

數(shù)據(jù)挖掘過程如圖2所示。

2 軟件設(shè)計(jì)

網(wǎng)絡(luò)信息過濾系統(tǒng)中過濾模塊主要對(duì)網(wǎng)絡(luò)信息進(jìn)行三級(jí)過濾，即對(duì)于地址、關(guān)鍵字和內(nèi)容三部分的過濾。在過濾過程中采用基于段落的匹配方式，其流程如圖3所示。

部分源代碼如下所示：

#include"cap.h"

#include //globle data

ADAPT_INFO AdaptInfo[16]；

int AdapterNum；

Function L=apriori（data，minsup）

[m，n]=size（data）；

A=eye（n，n）

B=（sum（data））；

Publio statio double distance（double[] P1，double[] P2）

{

double dotprcduct=0，0；

double lengthSquaredp1=0，0；

double lengthSquaredp2=0，0；

for （int 1=0；i

{

lengthSquaredp1 +=p1[1]*p1[1]；

lengthSquaredp2 +=p2[1]*p2[1]；

Dotprcduct+=p1[1]*p2[1]；

{

Double denoninator = Math.sqrt（lengthSquaredp1）*Math.sqrt（lengthSquaredp2）；

If （denominator

{

Debominator = dotProduct

}

If （denominator == 0 && dotProduat == 0）

{

Return 0；

}

Return 1.0 = dotProduet / denominator；

}

CapStopCapture（）；

CapUninitialize（）；

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

根據(jù)前面所設(shè)計(jì)的基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)信息過濾系統(tǒng)。軟件環(huán)境為：操作系統(tǒng)Windows 2010；代碼語言為C++；編譯系統(tǒng)為VC 6.0；數(shù)據(jù)庫為SQLevrer 2010。硬件平臺(tái)：主機(jī)服務(wù)器1臺(tái)PC計(jì)算機(jī)，內(nèi)存2 GB，硬盤容量500 GB，處理器i4 2.4 GHz；PC計(jì)算機(jī)，控制臺(tái)主機(jī)服務(wù)器1臺(tái)，處理器i4 2.4 GHz，內(nèi)存2 GB，硬盤容量500 GB；網(wǎng)絡(luò)交換器及局域網(wǎng)絡(luò)，Ethemet 100M/1 000M交換機(jī)；交換機(jī)將控制臺(tái)主機(jī)服務(wù)器和主機(jī)服務(wù)器互聯(lián)組成100M內(nèi)部局域網(wǎng)絡(luò)。

3.2 實(shí)驗(yàn)結(jié)果分析

在實(shí)際應(yīng)用中，用戶往往只對(duì)其中部分內(nèi)容感興趣，對(duì)此，實(shí)驗(yàn)中將用戶喜歡的設(shè)置為準(zhǔn)確分類信息，把不喜歡的設(shè)置為誤分信息，并根據(jù)其分類情況進(jìn)行混合評(píng)估，計(jì)算公式為：

實(shí)驗(yàn)收集5 000份關(guān)于網(wǎng)絡(luò)的信息，構(gòu)成樣本庫，其中3 500份為合法信息，1 500份為非法信息。在測(cè)試過程中，可隨時(shí)加入訓(xùn)練樣本數(shù)量，并定期由管理員對(duì)檢測(cè)結(jié)果進(jìn)行分析。將1 500份非法信息平均分成5份，每份300個(gè)，把合法信息3 500份隨機(jī)抽出1 500份，平均分為5份，將這10份網(wǎng)絡(luò)信息按照非法信息和合法信息交叉融合的方式合起來，另外再加上為開放測(cè)試所用的一份網(wǎng)絡(luò)信息300個(gè)合法和300個(gè)非法信息組成的網(wǎng)絡(luò)信息，這樣的規(guī)則組合就有6份，每次從中抽出2份進(jìn)行樣本訓(xùn)練，邊測(cè)試邊記錄結(jié)果，得到結(jié)果如表1所示。

4 結(jié) 論

針對(duì)傳統(tǒng)網(wǎng)絡(luò)信息過濾系統(tǒng)一直存在信息過濾不完整、效率差的問題，提出并設(shè)計(jì)了基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)信息過濾系統(tǒng)。網(wǎng)絡(luò)信息過濾系統(tǒng)硬件主要由數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)分析模塊、控制界面模塊及過濾和反饋模塊組成。在過濾和反饋模塊中引入數(shù)據(jù)挖掘技術(shù)，對(duì)各個(gè)重要數(shù)據(jù)進(jìn)行分析，并給出部分軟件代碼，實(shí)現(xiàn)網(wǎng)絡(luò)信息過濾系統(tǒng)的優(yōu)化。實(shí)驗(yàn)結(jié)果表明，以調(diào)和平均值為指標(biāo)，對(duì)改進(jìn)設(shè)計(jì)系統(tǒng)進(jìn)行驗(yàn)證，其查全率及查準(zhǔn)率的調(diào)和平均值較高，具有一定的優(yōu)勢(shì)。

參考文獻(xiàn)

[1] 張沛朋，魏楠.基于數(shù)據(jù)挖掘技術(shù)的個(gè)性化移動(dòng)推薦系統(tǒng)設(shè)計(jì)研究[J].西安文理學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，20（2）：41?45.ZHANG Peiming， WEI Nan. Research on design of personalized mobile recommendation system based on data mining technology [J]. Journal of Xian University （Natural science edition）， 2017， 20（2）： 41?45.

[2] 于麗.基于數(shù)據(jù)挖掘技術(shù)的計(jì)算機(jī)網(wǎng)絡(luò)病毒防御技術(shù)探索[J].現(xiàn)代電子技術(shù)，2016，39（21）：120?122.

YU Li. Exploration of data mining technology based virus defense technology for computer network [J]. Modern electronics technique， 2016， 39（21）： 120?122.

[3] 郭蘭杰，梁吉業(yè)，趙興旺.融合社交網(wǎng)絡(luò)信息的協(xié)同過濾推薦算法[J].模式識(shí)別與人工智能，2016，29（3）：281?288.

GUO Lanjie， LIANG Jiye， ZHAO Xingwang. Collaborative filtering recommendation algorithm incorporating social network information [J]. Pattern recognition and artificial intelligence， 2016， 29（3）： 281?288.

[4] 洪萬帆，蘇淑靖.基于無線傳感器網(wǎng)絡(luò)的數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J].電子器件，2016，39（1）：180?185.

HONG Wanfan， SU Shujing. Design of data acquisition system based on wireless sensor network [J]. Chinese journal of electron devices， 2016， 39（1）： 180?185.

[5] 伍華麗，任心怡.基于模糊約束的數(shù)據(jù)庫特定數(shù)據(jù)挖掘算法[J].計(jì)算機(jī)仿真，2016，33（10）：240?243.

WU Huali， REN Xinyi. Specific data mining algorithm based on fuzzy constraint database [J]. Computer simulation， 2016， 33（10）： 240?243.

[6] 薛朋強(qiáng)，努爾布力，吾守爾·斯拉木.基于網(wǎng)絡(luò)文本信息的敏感信息過濾算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（9）：2447?2452.

XUE Pengqiang， NURBOL， ISLAM Wuxur. Sensitive information filtering algorithm based on text information network [J]. Computer engineering and design， 2016， 37（9）： 2447?2452.

[7] 周立軍，張杰，呂海燕.基于數(shù)據(jù)挖掘技術(shù)的網(wǎng)絡(luò)入侵檢測(cè)技術(shù)研究[J].現(xiàn)代電子技術(shù)，2016，39（6）：10?13.

ZHOU Lijun， ZHANG Jie， L? Haiyan. Research on network intrusion detection technology based on data mining technology [J]. Modern electronics technique， 2016， 39（6）： 10?13.

[8] 劉其成，馮利光.一種基于MapReduce的微博信息推薦并行算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2017，38（7）：1518?1522.

LIU Qicheng， FENG Liguang. Parallel microblog information recommendation algorithm based on MapReduce [J]. Journal of Chinese computer systems， 2017， 38（7）： 1518?1522.

[9] 李云瑋，馬蕾.基于SVM的物聯(lián)網(wǎng)大數(shù)據(jù)有效信息過濾挖掘[J].控制工程，2016，23（10）：1533?1537.

LI Yunwei， MA Lei. Big data effective information filtering mining of Internet of Things based on SVM [J]. Control engineering of China， 2016， 23（10）： 1533?1537.

[10] 王靖，王興偉，趙悅.基于變精度粗糙集決策樹垃圾郵件過濾[J].系統(tǒng)仿真學(xué)報(bào)，2016，28（3）：705?710.

WANG Jing， WANG Xingwei， ZHAO Yue. Spam filtering based on variable precision rough set decision tree [J]. Journal of system simulation， 2016， 28（3）： 705?710.

[11] 袁國(guó)鑫，于洪.一種基于郵件頭信息的三支決策郵件過濾方法[J].計(jì)算機(jī)科學(xué)，2017，44（9）：74?77.

YUAN Guoxin， YU Hong. Method of three?way decision spam filtering based on head information of e?mail [J]. Computer science， 2017， 44（9）： 74?77.