基于粗糙集理論的冗余規(guī)則處理方法

陳 超，陳性元，汪永偉，代向東

（1.信息工程大學(xué)，河南 鄭州450004；2.河南省信息安全重點(diǎn)實(shí)驗(yàn)室，河南 鄭州450004）

0 引 言

當(dāng)前，網(wǎng)絡(luò)安全設(shè)備在一定程度上保護(hù)了網(wǎng)絡(luò)系統(tǒng)的安全，但是依然存在一些問題。第一，各類安全設(shè)備由于誤報、語義弱等問題產(chǎn)生了海量的不確定安全數(shù)據(jù)，這些海量的信息難以通過人工的方式進(jìn)行管理與分析；第二，各類安全設(shè)備收集了與網(wǎng)絡(luò)安全相關(guān)的數(shù)據(jù)，其中存在大量冗余信息，增大了數(shù)據(jù)處理難度；第三，各類安全設(shè)備大都局限于對網(wǎng)絡(luò)存在的漏洞進(jìn)行探測與分析，缺乏對安全數(shù)據(jù)的深層挖掘，難以形成對網(wǎng)絡(luò)安全狀況的整體認(rèn)識。因此，迫切需要對包含不確定和冗余信息的海量數(shù)據(jù)進(jìn)行有效處理。

目前，針對上述問題的處理方法主要有概率論[1]、可信性理論[2]、證據(jù)理論[3]和粗糙集理論[4]等。其中，粗糙集理論借助其能夠客觀處理海量數(shù)據(jù)和利用屬性約簡剔除冗余數(shù)據(jù)等優(yōu)勢成為當(dāng)前的研究熱點(diǎn)。但是，粗糙集理論在處理海量數(shù)據(jù)時形成的知識庫很龐大且知識庫中含有較多的冗余和錯誤知識。如何剔除知識庫中存在的冗余和錯誤知識、自動提取出用戶感興趣的、新穎的知識是基于粗糙集的數(shù)據(jù)處理中迫切需要解決且實(shí)際存在的一個問題。

規(guī)則是粗糙集中知識的表現(xiàn)形式，借助規(guī)則評價[5]可以有效剔除冗余規(guī)則。目前，規(guī)則評價方法中使用比較廣泛的是統(tǒng)計學(xué)和信息理論領(lǐng)域的規(guī)則興趣度量和規(guī)則質(zhì)量度量[6－8]，但是這兩種方法的通用性不好；規(guī)則－屬性約簡[9]借鑒粗糙集中屬性約簡的概念，把規(guī)則作為新決策表中的條件屬性進(jìn)行約簡找出約簡屬性集，從而剔除大量規(guī)則，但是，這種方法僅僅以原始數(shù)據(jù)集為出發(fā)點(diǎn)，不包含任何領(lǐng)域知識，可能剔除用戶感興趣的規(guī)則。文獻(xiàn)[10]提出了綜合主觀領(lǐng)域知識和客觀度量的規(guī)則重要性評價方法，對規(guī)則進(jìn)行重要性排序，但是沒有剔除冗余規(guī)則，且會產(chǎn)生與事實(shí)不符的規(guī)則。文獻(xiàn)[11]提出了將客觀評價標(biāo)準(zhǔn)和主觀評價標(biāo)準(zhǔn)結(jié)合在一起的思想，產(chǎn)生一個包含主客觀的度量標(biāo)準(zhǔn)，但是存在評價指標(biāo)權(quán)重難以確定的問題；文獻(xiàn)[12]將所有的主客觀度量方法融合在一起進(jìn)行計算，能夠有效的進(jìn)行規(guī)則評價，但是主觀綜合評價和客觀綜合評價的權(quán)重存在比較大的隨意性。

綜上所述，當(dāng)前客觀規(guī)則評價方法可以剔除大量冗余規(guī)則，同時也會剔除大量有用規(guī)則；主客觀相結(jié)合的規(guī)則評價方法中評價指標(biāo)的權(quán)重難以確定，而且這些方法沒有建立一個好的架構(gòu)將評價結(jié)果與實(shí)際情況進(jìn)行對比。

1 系統(tǒng)結(jié)構(gòu)

本文設(shè)計的冗余規(guī)則處理系統(tǒng)如圖1所示，整個系統(tǒng)由數(shù)據(jù)預(yù)處理模塊、規(guī)則獲取模塊、規(guī)則評價模塊和權(quán)重度量模塊組成。

圖1 基于粗糙集的冗余規(guī)則處理過程

本文的數(shù)據(jù)集來源于各安全設(shè)備所產(chǎn)生的歷史數(shù)據(jù)，包括入侵日志、流量信息、漏洞信息等。

數(shù)據(jù)預(yù)處理模塊主要是將數(shù)據(jù)集組織成粗糙集中決策表的形式，并對決策表進(jìn)行數(shù)據(jù)離散化和屬性約簡。離散化是數(shù)據(jù)預(yù)處理模塊的核心。由于粗糙集理論只能處理離散數(shù)據(jù)，因此為了便于分析，在盡可能少地丟失有用信息的基礎(chǔ)上，利用離散化方法將決策表中的連續(xù)數(shù)據(jù)轉(zhuǎn)化為離散數(shù)據(jù)。對于不同的數(shù)據(jù)類型，根據(jù)簡單實(shí)用的原則采用不同的方法。

規(guī)則獲取模塊使用規(guī)則生成算法對預(yù)處理之后的決策表進(jìn)行規(guī)則產(chǎn)生，從而形成規(guī)則庫。

規(guī)則評價模塊通過定義包含規(guī)則的形式并將其從規(guī)則庫中剔除，在此基礎(chǔ)上利用規(guī)則約簡剔除冗余規(guī)則。

權(quán)重度量模塊通過規(guī)則重要性標(biāo)準(zhǔn)對剩余的規(guī)則進(jìn)行重要性排序，形成知識庫，并引入專家對知識庫中的規(guī)則進(jìn)行評判，當(dāng)沒有達(dá)到預(yù)定效果時，通過反饋來調(diào)整規(guī)則獲取模塊中的各項(xiàng)參數(shù)，使得知識庫中的規(guī)則都是用戶感興趣的規(guī)則。下面給出規(guī)則評價模塊和權(quán)重度量模塊的詳細(xì)設(shè)計。

2 基于規(guī)則評價的冗余規(guī)則剔除

針對冗余規(guī)則的剔除，當(dāng)前已提出了很多方法，例如，利用規(guī)則的支持度、信度等為標(biāo)準(zhǔn)剔除由噪音產(chǎn)生的冗余規(guī)則，利用屬性重要性的概念剔除包含屬性重要性為零的規(guī)則等。針對網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用背景，本文選擇粗糙集理論剔除冗余規(guī)則，這是因?yàn)?，第一，粗糙集理論不需要先?yàn)概率，而各安全設(shè)備產(chǎn)生的數(shù)據(jù)具有一定的不確定性，導(dǎo)致規(guī)則的先驗(yàn)知識難以獲??；第二，粗糙集理論中的屬性約簡能夠正確剔除數(shù)據(jù)集中的冗余數(shù)據(jù)，為冗余規(guī)則的剔除提供了新思路。

2.1 粗糙集理論

粗糙集理論是波蘭數(shù)學(xué)家Z.Pwalak于1982年提出的一種用來刻畫不確定性和不完整性的數(shù)學(xué)工具[13]，它建立在分類機(jī)制的基礎(chǔ)上，將知識理解為對特定空間的劃分。下面簡要介紹粗糙集理論中幾個比較重要的概念。

定義1 決策表是一個四元組IS＝（U，A，V，f），其中，U 是論域 （對象構(gòu)成的集合，U＝｛x1，x2，x3，。。。，xm｝）。A是屬性的非空有限集合，A＝C∪D且C∩D＝，C為條件屬性集，D為決策屬性集，一般D只含有一個屬性。V是屬性值的集合。信息函數(shù)f指定U中每一個對象x的屬性值。

定義2 等價關(guān)系是用來表達(dá)由于缺乏一定的知識而不能區(qū)別已知決策表中的某些對象。設(shè)決策表IS＝（U，A，V，f），則BA所對應(yīng)的等價關(guān)系數(shù)學(xué)表達(dá)式如下

定義3 屬性重要性是指條件屬性對決策屬性的重要程度，任意一個條件屬性ai的屬性重要性表達(dá)式如下

式中:——對象個數(shù)。

定義4 屬性約簡就是在保持?jǐn)?shù)據(jù)庫分類能力不變的前提下，刪除其中不相關(guān)或不重要的數(shù)據(jù)。

屬性約簡就是刪除屬性重要性為零的條件屬性，約簡結(jié)果包含能夠代表整個數(shù)據(jù)集的重要屬性，且決策表中可能存在多個約簡。屬性約簡是決策表的本質(zhì)部分。

定義5 屬性核是決策表的屬性全集中所有必要屬性構(gòu)成的集合，記為core（A），它是所有約簡的交集。

定義6 決策規(guī)則是知識的表現(xiàn)形式，其表示方法為A－＞B，其中A為規(guī)則前件，表示條件屬性集C中屬性描述符的合取，B為規(guī)則后件，是對決策屬性d的描述。

2.2 包含規(guī)則

由于規(guī)則獲取模塊會產(chǎn)生大量的規(guī)則，而這些規(guī)則中有些規(guī)則會被其它規(guī)則所包含，這些規(guī)則不僅不能夠帶來有用信息，而且會增大規(guī)則規(guī)模，增加規(guī)則的存儲空間。因此，在規(guī)則評價過程中必須剔除包含規(guī)則。

假設(shè)規(guī)則集中存在多個規(guī)則，其形式分別為:

R1:＜條件屬性1，條件屬性2＞－＞＜決策屬性值＞

R2:＜條件屬性1，條件屬性2，條件屬性3＞－＞

＜決策屬性值＞

R3:＜條件屬性1，條件屬性2，條件屬性5＞－＞

＜決策屬性值＞

則稱規(guī)則R1包含規(guī)則R2和R3，R2和R3是R1的包含規(guī)則。

從包含規(guī)則的形式可以看出，被包含規(guī)則R2和R3不僅具有規(guī)則R1相同的兩個條件屬性和決策屬性值，還具有其它的條件屬性。

2.3 規(guī)則約簡

大數(shù)據(jù)集中存在冗余數(shù)據(jù)的現(xiàn)象，所以約簡就是非常必要的。粗糙集理論中的屬性約簡通過刪除屬性重要性為零的數(shù)據(jù)以剔除冗余數(shù)據(jù)。一個約簡是原始數(shù)據(jù)集中條件屬性的子集，它具有和條件屬性全集相同的分類能力，因此，約簡含有數(shù)據(jù)集中最具代表性的數(shù)據(jù)?；谏鲜龇治?，把數(shù)據(jù)集中產(chǎn)生的單個規(guī)則作為條件屬性建立新的決策表，對新的決策表進(jìn)行屬性約簡可以剔除冗余屬性，從而提取重要屬性，其對應(yīng)的規(guī)則也是重要規(guī)則，即約簡規(guī)則。因此，一個約簡中的規(guī)則是非常重要的，而不是約簡中的規(guī)則就是冗余規(guī)則。由于屬性約簡是基于約簡算法自動產(chǎn)生的，所以通過這種方法可以自動剔除冗余規(guī)則。

2.3.1 新決策表的建立

由規(guī)則約簡的思想可知，它建立在以規(guī)則為條件屬性的決策表的基礎(chǔ)上。為了保證新決策表與原始決策表保持一致，同時對新決策表進(jìn)行屬性約簡所產(chǎn)生的規(guī)則與原有規(guī)則保持一致，在建立新決策表的過程中必須遵循以下原則:

（1）新決策表的對象個數(shù)和決策屬性值必須和原始決策表一致。

（2）新決策表的表中元素值必須是原有規(guī)則和原始決策表對象間的一種映射關(guān)系。

設(shè)原 始 決 策 表IS＝（U，A，V，f），U＝｛x1，x2，x3，…，xm｝是對象集，c＝｛c1，c2，…，cn｝ 是條件屬性集，D是決策屬性集且只包含一個屬性。對原始決策表進(jìn)行規(guī)則獲取產(chǎn)生的規(guī)則集為R＝｛R1，R2，…，Rk｝ 。建立新的決策表的過程如下。

設(shè)新的決策表為pm＊（k＋1），其中m代表決策表中擁有的對象個數(shù)，｛R1，R2，…，Rk｝ 是決策表中的列，即條件屬性集，D＝d作為決策表的決策屬性。如果一個規(guī)則的條件屬性值和決策屬性值與原始決策表中某一個對象的條件屬性值和決策屬性值相同，我們稱之為這個規(guī)則與原始決策表中的這個對象相匹配。如果規(guī)則Ri與原始決策表中的對象xj相匹配，則賦予新決策表中第j行第i列的值p[j，i]為1，否則為0。新決策表中的決策屬性值和原始決策表中的決策屬性值保持一致。確定新決策表中各個條件屬性值的公式如下所示

2.3.2 約簡規(guī)則和核規(guī)則

定義7 對新決策表進(jìn)行屬性約簡得到約簡屬性，其對應(yīng)本文的約簡規(guī)則。

由于屬性約簡是通過剔除冗余數(shù)據(jù)來提取重要數(shù)據(jù)，因此約簡規(guī)則中不包含冗余規(guī)則。

定義8 新決策表中所有約簡規(guī)則的交集為核規(guī)則。

由于核規(guī)則存在于每一個約簡規(guī)則中，而約簡規(guī)則是最具代表性的規(guī)則，因此核規(guī)則是所有規(guī)則中最重要的規(guī)則。

3 基于權(quán)重度量的規(guī)則重要性排序

利用規(guī)則評價模塊對規(guī)則庫進(jìn)行冗余規(guī)則的剔除之后，其規(guī)模依然很龐大，人們無法從這些規(guī)則中找出對決策起關(guān)鍵作用的規(guī)則。因此，剩下的規(guī)則中每一個規(guī)則是否同等重要，如果不是，那么規(guī)則的重要程度如何評價。只有解決了上述兩個問題，才能夠真正的幫助人們做出正確的決策。

權(quán)重度量:由粗糙集理論的基本概念可知，對決策表進(jìn)行屬性約簡可能存在多個結(jié)果，而每一個約簡結(jié)果都能夠完全描述決策表，即屬性約簡中的條件屬性集能夠?qū)Q策屬性進(jìn)行正確分類。假設(shè)使用某種約簡算法尋找約簡屬性集時，如果只產(chǎn)生一個屬性約簡，那么這種約簡算法會造成信息的丟失，因?yàn)榭赡艽嬖谄渌臈l件屬性集能夠?qū)Q策屬性進(jìn)行正確分類。如果某種約簡算法能夠產(chǎn)生更多的屬性約簡，那么這種算法所產(chǎn)生的多個屬性約簡將帶來更多的信息。由于尋找決策表的所有屬性約簡是N－P問題[10]，所以只能尋找某種約簡算法產(chǎn)生盡量多的屬性約簡，使得更多的屬性約簡帶來更加豐富的信息。

約簡屬性是非常重要且最具代表性的屬性，核屬性是所有約簡的交集，它存在于所有的屬性約簡中，是最重要的屬性。借鑒上述概念，我們認(rèn)為如果規(guī)則約簡中的非核規(guī)則在所有約簡中出現(xiàn)的頻度越高，那么其重要程度也越高。因此，規(guī)則的重要程度可以通過規(guī)則的出現(xiàn)頻率來度量，其判斷公式如下所示

式中:L——規(guī)則約簡個數(shù)，αL（Ci）——規(guī)則Ci在L個屬性約簡中的出現(xiàn)次數(shù)。

4 示 例

設(shè)原始數(shù)據(jù)集為一決策表，其數(shù)據(jù)見表1。

表1 原始數(shù)據(jù)集

假設(shè)基于表1產(chǎn)生了6個規(guī)則R1、R2、R3、R4、R5和R6，其表達(dá)式如下:

規(guī)則R1:如果不發(fā)生網(wǎng)絡(luò)蠕蟲攻擊，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為安全。

規(guī)則R2:如果發(fā)生木馬攻擊，且?guī)捓寐收?，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為安全。

規(guī)則R3:如果發(fā)生木馬攻擊，且?guī)捓寐什徽?，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為不安全。

規(guī)則R4:如果不發(fā)生木馬攻擊，且?guī)捓寐收?，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為安全。

規(guī)則R5:如果發(fā)生網(wǎng)絡(luò)蠕蟲攻擊，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為不安全。

規(guī)則R6:如果不發(fā)生木馬攻擊，且?guī)捓寐什徽?，則當(dāng)前網(wǎng)絡(luò)狀態(tài)為不安全。

在這個例子中，m＝4表示在原始決策中共有4個數(shù)據(jù)對象，k＝6表示在規(guī)則集中共有6個規(guī)則。用來確定重要規(guī)則的新決策表可表示為p[4，7]，新決策表中的條件屬性為規(guī)則R1、R2、R3、R4、R5和R6，決策屬性保持不變，依然為d。在新的決策表中，由于規(guī)則R1與原始數(shù)據(jù)集中的第一行不匹配，所以p[1，1]＝0，由于規(guī)則R2與原始數(shù)據(jù)集中的第二行相匹配，所以p[2，2]＝1。同理可得到?jīng)Q策表中其它元素的值，其結(jié)果見表2。

表2 新決策表

假設(shè)基于表2產(chǎn)生了兩個屬性約簡，分別為｛R2，R6｝和｛R3，R4｝，非約簡中的規(guī)則R1和R5是冗余規(guī)則，依照式 （4）對約簡中的4個規(guī)則進(jìn)行重要性排序。μR2＝1／4＝25%，μR3＝1／4＝25%，μR4＝1／4＝25%，μR6＝1／4＝25%，得到的規(guī)則重要性排序見表3。

表3 規(guī)則重要性排序

5 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文所提方法的有效性，本文以版本號為V1.4.41、基于Rough集理論框架的表格邏輯數(shù)據(jù)分析工具包ROSETTA為開發(fā)工具對上述方法加以實(shí)現(xiàn)，并與文獻(xiàn)[9，10]的實(shí)驗(yàn)結(jié)果進(jìn)行對比。

5.1 數(shù)據(jù)源處理

為了能夠與實(shí)際情況進(jìn)行對比，本次實(shí)驗(yàn)選取的是關(guān)于汽車的數(shù)據(jù)集[14]，它是用來確定汽車的英里數(shù)，數(shù)據(jù)集中共包含14個數(shù)據(jù)對象和8個條件屬性，其中條件屬性（make＿model，cyl，door，displace，compress，power，trans，weight）分別用 （A，B，C，D，E，F(xiàn)，G，H）表示，決策屬性英里數(shù)Mileage用d表示，數(shù)據(jù)集中Med表示Medium。

在汽車數(shù)據(jù)集中不存在不一致數(shù)據(jù)和不完整數(shù)據(jù)，利用ROSETTA中的遺傳算法[15]產(chǎn)生兩個約簡，其結(jié)果見表4。在兩個約簡的基礎(chǔ)上共產(chǎn)生14條規(guī)則。

表4 得到的多個屬性約簡

5.2 規(guī)則處理

通過ROSETTA得到原始數(shù)據(jù)集的兩個約簡和14條規(guī)則，利用規(guī)則約簡建立新的決策表，在新的決策表基礎(chǔ)上使用ROSETTA的遺傳算法得到20個屬性約簡，通過權(quán)重度量對規(guī)則進(jìn)行重要性排序。采用本文方法及文獻(xiàn)[8，9]所示方法得到的結(jié)果見表5、表6和表7。表5的規(guī)則中前五項(xiàng)為條件屬性，mileage為決策屬性，空白處表示規(guī)則中沒有此條件屬性，例如序號5表示的規(guī)則為:make＿model（USA）＾compress （High）＾trans （Auto）＝＞mileage（Medium）。

表5 規(guī)則評價方法的實(shí)驗(yàn)結(jié)果

表6 屬性約簡的實(shí)驗(yàn)結(jié)果

表7 重要性度量的實(shí)驗(yàn)結(jié)果

5.3 對比分析

文獻(xiàn)[9]指出，如果在原始數(shù)據(jù)集中沒有進(jìn)行屬性約簡或引入規(guī)則模板將會產(chǎn)生6327條規(guī)則，從表5、表6和表7可以看出3種方法都非常有效的減少了規(guī)則規(guī)模且在大部分規(guī)則都包含重要屬性?；趯傩约s簡的規(guī)則評價方法在規(guī)則規(guī)模削減方面效率最高，但是只產(chǎn)生兩個規(guī)則，丟棄了大量含有重要屬性的規(guī)則，且沒有對規(guī)則進(jìn)行重要性排序；基于規(guī)則重要性度量的規(guī)則評價方法產(chǎn)生了13個規(guī)則，且對規(guī)則進(jìn)行了重要性排序，但是存在多個不包含重要屬性的規(guī)則，如規(guī)則 “Door（4）＝＞mileage（Medium）”，這個規(guī)則與我們對汽車的經(jīng)驗(yàn)認(rèn)識不相符，汽車擁有2個門或4個門對汽車行駛的英里數(shù)影響不大，因此，這個方法產(chǎn)生了與事實(shí)不符的規(guī)則，會誤導(dǎo)決策者。和表5進(jìn)行對比可知，表5中的14個規(guī)則都包含重要屬性，且在規(guī)則重要性排序中，兩個規(guī)則的重要性程度最高，如規(guī)則R1的重要性為57.89%，其內(nèi)容為make＿model（Japan）＾displace（Small）＾trans（Manual）＾weight（Medium）＝＞mileage（High），這與我們對汽車的經(jīng)驗(yàn)相符。自動檔的汽車比手動檔的汽車更加省油，日本車以消耗更少的汽油和運(yùn)行更長的英里數(shù)而著稱，通過本文所示方法可以保證人們根據(jù)規(guī)則非常迅速的做出正確的決策。

6 結(jié)束語

為了剔除基于粗糙集理論的數(shù)據(jù)處理中的冗余規(guī)則，并對剩余的重要規(guī)則進(jìn)行排序，提出了冗余規(guī)則處理架構(gòu)。該架構(gòu)中的規(guī)則約簡用一種新的視角看待屬性約簡的概念，把原始數(shù)據(jù)集中產(chǎn)生的規(guī)則作為新決策表中的條件屬性。因此，新決策表中的約簡結(jié)果剔除了冗余規(guī)則，并利用粗糙集理論中核屬性的概念作為剩余規(guī)則的權(quán)重度量標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效的剔除冗余規(guī)則。在實(shí)際環(huán)境中，大數(shù)據(jù)集產(chǎn)生的規(guī)則規(guī)模一般都非常龐大，因此本文方法具有很大的實(shí)際應(yīng)用價值。為了提高本文方法的有效性，必須產(chǎn)生足夠多的屬性約簡，這也是該方法以后的改進(jìn)方向。

[1]Toshiyuki Nakajima.Probability in biology:Over view of a comprehensive theory of probability in living systems[J].Progress in Biophysics and Molecular Biology，2013，113 （1）:67－79.

[2]SUN Hongxiang.A preliminary study of credibility theory and its security library[D].Beijing:Beijing University of Posts and Telecommunications，2008 （in Chinese）.[孫洪祥.可信性理論及其在安全庫方面的初步研究[D].北京:北京郵電大學(xué)碩士學(xué)位論文，2008.]

[3]JIANG Liming，HE Jialang，ZHANG Hong.A new conflict evidence fusion method in D－S evidence theory[J].Computer Science，2011，38 （4）:236－238 （in Chinese）.[蔣黎明，何加浪，張宏.D－S證據(jù)理論中一種新的沖突證據(jù)融合方法[J].計算機(jī)科學(xué)，2011，38 （4）:236－238.]

[4]Yao Y，Yao B.Covering based rough set approximations[J].Information Sciences，2012，200:91－107.

[5]CHEN Peng，TAN Li，YU Chongchong.Evaluation and application of domain－oriented association rules[J].Computer Engineering and Design，2011，32 （7）:2385－2390 （in Chinese）.[陳鵬，譚勵，于重重.面向領(lǐng)域的關(guān)聯(lián)規(guī)則評價及其應(yīng)用[J].計算機(jī)工程與設(shè)計，2011，32 （7）:2385－2390.]

[6]Nicholls G D O，Powers C R，Gardner K C，et al.Method and apparatus for distributed rule evaluation in a near real－time business intelligence system:U.S.Patent 8，001，185[P].2011－08－16.

[7]Fürnkranz J，Gamberger D，Lavra cˇN.Rule evaluation measures[M].Foundations of Rule Learning.Springer Berlin Heidelberg，2012:135－169.

[8]Zeichner N，Berant J，Dagan I.Crowdsourcing inference－rule evaluation[C]／／Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics:Short Papers－Volume 2.Association for Computational Linguistics，2012:156－160.

[9]Jiye Li，Nick Cercone.A method of discovering important rules using rules as attributes[J].International Journal of Intelligent Systems－Granular Computing:Models and Applications，2010，25 （2）:180－206.

[10]Jiye Li，Nick Cercone.Introducing a rule importance measure[G].Lecture Notes in Computer Science 4100:Transactions on Rough Sets V，2006:167－189.

[11]Marketsmueller S.Methods and apparatus for fill rule evaluation over a tessellation:U.S.Patent 8，237，710[P].2012－08－07.

[12]Abe H，Tsumoto S，Ohsaki M，et al.Improving a rule evaluation support method based on objective indices[J].International Journal of Advanced Intelligence Paradigms，2010，2（2）:180－197.

[13]WANG Guoyin，YAO Yiyu，YU Hong.Rough set theory and research on the application[J].Journal of computer，2009，32 （7）:1229－1246 （in Chinese）.[王國胤，姚一豫，于洪.粗糙集理論與應(yīng)用研究綜述[J].計算機(jī)學(xué)報，2009，32 （7）:1229－1246.]

[14]Hu Xiaohua.Knowledge discovery in databae:An attribute－oriented rough set approach[D].University of RegIna，1995.

[15]Witold Pedrycz，Mingli Song.A genetic reduction of feature space in the design of fuzzy models[J].Applied Soft Computing，2012，12 （9）:2801－2816.