區(qū)間二型模糊子空間0階TSK系統(tǒng)*

陳俊勇，鄧趙紅，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122

區(qū)間二型模糊子空間0階TSK系統(tǒng)*

陳俊勇+，鄧趙紅，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122

Abstract:People tend to adopt a few representative features to describe a rule,ignoring very minor,redundant information.The classical interval type-2 TSK(Takagi-Sugeno-Kang)fuzzy system adopts full data feature space at the antecedent and consequent of each rule.For high-dimensional data,it is easy to increase the complexity and reduce the interpretability.This paper proposes the interval type-2 fuzzy subspace zero-order TSK system for this problem.It uses fuzzy subspace clustering and grid partition to generate sparse and structured rule centers at the antecedent,and simplifies the consequent to be zero-order.So an interval type-2 fuzzy system using semantic more concise rules can be built.The experimental results on synthetic datasets and real datasets show that the proposed method owns good classification performance with better interpretability.

Key words:interval type-2 fuzzy system;TSK system;subspace;classification;interpretability

人們傾向于使用少量的有代表性的特征來(lái)描述一條規(guī)則，而忽略極為次要的冗余的信息。經(jīng)典的區(qū)間二型TSK（Takagi-Sugeno-Kang）模糊系統(tǒng)，在規(guī)則前件和后件部分會(huì)使用完整的數(shù)據(jù)特征空間，對(duì)于高維數(shù)據(jù)而言，易導(dǎo)致系統(tǒng)的復(fù)雜度增加和可解釋性的損失。針對(duì)于此，提出了區(qū)間二型模糊子空間0階TSK系統(tǒng)。在規(guī)則前件部分，使用模糊子空間聚類(lèi)和網(wǎng)格劃分相結(jié)合的方法生成稀疏的規(guī)整的規(guī)則中心，在規(guī)則后件部分，使用簡(jiǎn)化的0階形式，從而得到規(guī)則語(yǔ)義更為簡(jiǎn)潔的區(qū)間二型模糊系統(tǒng)。在模擬和真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明該方法分類(lèi)效果良好，可解釋性更好。

區(qū)間二型模糊系統(tǒng)；TSK系統(tǒng)；子空間；分類(lèi)；可解釋性

1 引言

模糊推理系統(tǒng)（fuzzy inference system，F(xiàn)IS）是以模糊集合理論和模糊推理方法為基礎(chǔ)的，具有處理模糊信息能力的系統(tǒng)[1]。傳統(tǒng)的一型模糊系統(tǒng)得到了很多的研究，現(xiàn)已被成功用于智能控制等諸多領(lǐng)域[2-3]。近些年，二型模糊系統(tǒng)吸引了更多研究者的注意[4-8]。這是因?yàn)槎湍：到y(tǒng)采用了二型模糊集，增強(qiáng)了其對(duì)不確定性問(wèn)題的處理能力。其中，區(qū)間二型TSK模糊系統(tǒng)是易于設(shè)計(jì)和實(shí)現(xiàn)的，同時(shí)它的IF-THEN規(guī)則是語(yǔ)義化的，易于理解和解釋[5-8]。文獻(xiàn)[5-8]基于KM（Karnik-Mendel）算法[9-11]，結(jié)合使用梯度下降[5,8]、支持向量回歸（support vector regression，SVR）[6]、極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）[7]等方法，給出了不同的區(qū)間二型TSK模糊系統(tǒng)或區(qū)間二型徑向基函數(shù)（radial basis function，RBF）神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法。

在實(shí)際應(yīng)用中，由于缺少專(zhuān)家知識(shí)，人們可能制定出冗長(zhǎng)的多余的規(guī)則，導(dǎo)致模糊系統(tǒng)在可解釋性上有所損失。常用的規(guī)則生成方法中[12]，網(wǎng)格劃分法得到的規(guī)則易于表述，但可能產(chǎn)生無(wú)用的規(guī)則；聚類(lèi)法控制了生成規(guī)則的數(shù)目，但可能不易描述。又在每一條模糊規(guī)則中，一般都要使用所有的輸入特征，但事實(shí)上，某些特征在某條規(guī)則中的作用極其微小。選擇性地排除規(guī)則中的次要信息，有助于得到稀疏后的語(yǔ)義簡(jiǎn)單的規(guī)則。文獻(xiàn)[13]提出的F-ELM，實(shí)則是在一型TS系統(tǒng)中使用網(wǎng)格劃分和隨機(jī)法得到前件較為稀疏的規(guī)則。由于存在隨機(jī)成分，F(xiàn)-ELM生成規(guī)則的方式具有一定的盲目性。文獻(xiàn)[14]采用了模糊子空間聚類(lèi)方法[15-16]，為規(guī)則前件的稀疏化提供可信的依據(jù)。

針對(duì)上述問(wèn)題，為了得到語(yǔ)義簡(jiǎn)單的規(guī)則庫(kù)，提高模糊系統(tǒng)整體的可解釋性，本文提出了區(qū)間二型模糊子空間TSK（Takagi-Sugeno-Dang）系統(tǒng)，主要在規(guī)則前件IF部分采用了模糊子空間聚類(lèi)同網(wǎng)格劃分相結(jié)合的方法來(lái)生成規(guī)則，并簡(jiǎn)化規(guī)則后件THEN部分為0階形式，基于KM算法，結(jié)合使用嶺回歸（ridge regression，RR）[17]方法來(lái)學(xué)習(xí)后件參數(shù)。

本文組織結(jié)構(gòu)如下：第2章簡(jiǎn)單介紹了區(qū)間二型TSK模糊系統(tǒng)和模糊子空間聚類(lèi)；第3章提出了區(qū)間二型模糊子空間TSK系統(tǒng)，詳細(xì)說(shuō)明了規(guī)則前件的構(gòu)造和規(guī)則后件的學(xué)習(xí)；第4章為實(shí)驗(yàn)部分，在模擬數(shù)據(jù)集和真實(shí)的醫(yī)學(xué)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，分析了實(shí)驗(yàn)結(jié)果；最后給出一般性結(jié)論。

2 相關(guān)工作

2.1 區(qū)間二型TSK模糊系統(tǒng)

首先，一型TSK模糊邏輯系統(tǒng)（TSK fuzzy logic system，TSKFLS）[2]作為模糊系統(tǒng)中一種經(jīng)典的推理模型，因其簡(jiǎn)潔有效而被廣泛應(yīng)用。一型TSKFLS的模糊推理規(guī)則定義如下。

一型TSK模糊規(guī)則RULEk：

其中，IF部分為規(guī)則前件，THEN部分為規(guī)則后件；K為模糊規(guī)則條數(shù)，∧表示模糊連接符；規(guī)則前件的表示輸入向量x=[x1,x2,…,xd]T的第i維特征xi所對(duì)應(yīng)的第k條模糊規(guī)則的模糊子集；為規(guī)則后件參數(shù)，有時(shí)為簡(jiǎn)化規(guī)則后件，常令=0,1≤i≤d,從而得到0階TSK模糊系統(tǒng)。TSKFLS的模型輸出表達(dá)式如下：

其中，fk(x)表示模糊規(guī)則IF部分輸出的啟動(dòng)強(qiáng)度（firing strength），可取乘法算子作為模糊連接符，按式（3）計(jì)算得到：

常取高斯關(guān)系函數(shù)：

其中,和為對(duì)應(yīng)高斯關(guān)系函數(shù)的中心和標(biāo)準(zhǔn)差。

二型模糊系統(tǒng)使用了二型模糊集，增強(qiáng)集合的模糊性和處理不確定性問(wèn)題的能力[4]。在各類(lèi)型的二型模糊系統(tǒng)中，區(qū)間二型TSK模糊邏輯系統(tǒng)是易于設(shè)計(jì)和實(shí)現(xiàn)的，其常用的推理規(guī)則定義如下。

區(qū)間二型TSK模糊規(guī)則RULEk：

區(qū)別于一型TSK模糊規(guī)則，這里IF前件中使用了區(qū)間二型的模糊子集?，并可取區(qū)間高斯關(guān)系函數(shù)：

于是，模糊規(guī)則IF部分輸出的啟動(dòng)強(qiáng)度可表示為區(qū)間形式，下界和上界分別為：

Fig.1 Interval type-2 membership functions圖1 區(qū)間二型關(guān)系函數(shù)

模糊規(guī)則后件THEN部分一般采用IT1型集合，而非精確值，即：

于是后件輸出也是區(qū)間形式，可用左右界表示：

最后區(qū)間二型TSK模糊系統(tǒng)的輸出為：

式（5）為一般的A2-C1形式，即前件A為二型，后件C為一型。有時(shí)也可取A2-C0或A1-C1，A2-C0采用精確值為后件參數(shù)，A1-C1則在前件中采用一型模糊集合。

2.2 KM算法

沒(méi)有相關(guān)的理論可以直接求解式（11），通常要用KM算法迭代地求解出式（11）的近似結(jié)果[6-11]。KM算法存在一個(gè)規(guī)則重排的過(guò)程，重排前：

重排后的后件參數(shù)為：

Ql和Qr為K×K的矩陣，它們的每一行只有一個(gè)1，每一列只有一個(gè)1，其余元素為0，若Qr的第行的第k個(gè)元素為1，則表示將重排至位置。相應(yīng)地，有。由此，區(qū)間二型TSK模糊系統(tǒng)的輸出可以近似地表示為：

式（15a）和式（15b）中L和R是由KM算法找到的可使yl和yr接近實(shí)際值的切換點(diǎn)。

2.3 模糊子空間聚類(lèi)

傳統(tǒng)的K均值聚類(lèi)[18]和模糊C均值（fuzzy C-means，F(xiàn)CM）聚類(lèi)[19]默認(rèn)數(shù)據(jù)的各維特征是同等重要，但這在實(shí)際應(yīng)用可能并不成立。模糊子空間聚類(lèi)（fuzzy subspace clustering，F(xiàn)SC）則充分考慮了各維特征對(duì)類(lèi)簇的不同貢獻(xiàn)程度，從而發(fā)現(xiàn)高維數(shù)據(jù)可能存在的特征子空間[15-16]。FSC的優(yōu)化目標(biāo)函數(shù)定義如下：

其中，U={ukj}K×N是硬劃分矩陣，ukj表示第j個(gè)樣本xj是否屬于第k類(lèi)簇；V={vki}K×d為K個(gè)聚類(lèi)中心向量的集合；W={wki}K×d為模糊維度權(quán)重矩陣，wki表示第i維特征對(duì)第k類(lèi)簇的貢獻(xiàn)程度。

與K均值聚類(lèi)方法類(lèi)似，在迭代求解過(guò)程中，依據(jù)“距離”遠(yuǎn)近將不同的數(shù)據(jù)點(diǎn)劃分到不同的類(lèi)簇中（更新U），再重新計(jì)算類(lèi)簇的中心（更新V）。不同的是，F(xiàn)SC使用了加權(quán)距離每次迭代還要計(jì)算新的權(quán)重矩陣（更新W），即：

式（16）和式（17）中，指數(shù)α＞1，通?？闪瞀?2，ε是一個(gè)極小的正則項(xiàng)常數(shù)。

理論上，若類(lèi)簇在某一維度的分布更為緊湊，則對(duì)應(yīng)的權(quán)重分量大。刪除極其次要的維度后，留下來(lái)的維度就可視為子空間。

3 區(qū)間二型模糊子空間0階TSK系統(tǒng)

對(duì)于分類(lèi)問(wèn)題來(lái)說(shuō)，在一些場(chǎng)景下，依據(jù)某幾維特征即可判定輸入數(shù)據(jù)屬于某一類(lèi)，也即某類(lèi)數(shù)據(jù)具有明顯的子空間特征。如圖2所示，對(duì)于分布在第四象限的點(diǎn)，只需依據(jù)它們的縱坐標(biāo)就可將它們同其他兩類(lèi)分割開(kāi)來(lái)；又如香蕉獨(dú)特的形狀有別于蘋(píng)果、梨等水果，顏色、含糖量等特征對(duì)于從中挑出香蕉這一任務(wù)則沒(méi)有太大作用。這種情況在其他場(chǎng)景的很多應(yīng)用中也是很有可能出現(xiàn)的。為了規(guī)則語(yǔ)義的明確，定義如下稀疏化的區(qū)間二型TSK模糊規(guī)則。

區(qū)間二型0階TSK模糊子空間規(guī)則RULEk：

相比經(jīng)典的區(qū)間二型TSK模糊規(guī)則，這里存在兩點(diǎn)不同之處。其一，為了規(guī)則的簡(jiǎn)潔，后件部分已簡(jiǎn)化為C0型0階的形式，即每條規(guī)則后件只有一個(gè)精確參數(shù)；其二，定義矩陣S=[s1,s2,…,sK]T∈RK×d,其中sk=[s(k,1),s(k,2),…,s(k,d)]∈Rd,s(k,i)∈{0,1}表示第k條規(guī)則所關(guān)心的特征子空間。s(k,i)=0時(shí)，,即表示第k條規(guī)則不關(guān)心第i個(gè)輸入特征；反之，表示第k條規(guī)則使用第i個(gè)輸入特征。特別的，當(dāng)向量sk中的元素全為1時(shí)，前件部分就與經(jīng)典的區(qū)間二型TSK模糊規(guī)則無(wú)異。

基于這樣一個(gè)新的規(guī)則定義，本文提出了區(qū)間二型模糊子空間TSK系統(tǒng)（IT2-FS-0-TSK system），并參考文獻(xiàn)[6-7]的方法，給了3段式構(gòu)建方法，具體步驟見(jiàn)下文。

3.1 規(guī)則前件的構(gòu)造

在缺少專(zhuān)家知識(shí)的情況下，通?？捎镁W(wǎng)格劃分或聚類(lèi)的方法產(chǎn)生模糊規(guī)則前件。網(wǎng)格劃分的可解釋性更好，但對(duì)于高維數(shù)據(jù)，網(wǎng)格劃分會(huì)生成數(shù)量龐大的規(guī)則，其中一些可能是無(wú)用的。減法聚類(lèi)[12,20]、FCM等方法則可生成有限的規(guī)則，即可將聚類(lèi)中心作為高斯關(guān)系函數(shù)的中心，但是所得到的規(guī)則的語(yǔ)義可能會(huì)有所損失。如圖2（a），對(duì)于二維坐標(biāo)系中的3類(lèi)數(shù)據(jù)點(diǎn)，它們分別分布在第一、二、四象限，若采用網(wǎng)格劃分法，則在第三象限對(duì)應(yīng)生成了一些無(wú)意義的規(guī)則中心（圖2中網(wǎng)格線(xiàn)的交點(diǎn)），若采用聚類(lèi)方法，則規(guī)則中心（圖2（a）中的圓點(diǎn)）不落在更具意義的點(diǎn)上。為保證規(guī)則的語(yǔ)義明確和數(shù)量有限，可以結(jié)合這兩種常規(guī)方法，即通過(guò)微調(diào)將聚類(lèi)所得規(guī)則中心移至最近的網(wǎng)格劃分點(diǎn)，如圖2（b）。

Fig.2 Grid partition and cluster centers圖2 網(wǎng)格劃分與聚類(lèi)中心

同時(shí)，還要尋找模糊規(guī)則的特征子空間。文獻(xiàn)[13]在網(wǎng)格劃分的基礎(chǔ)上，對(duì)規(guī)則前件做了隨機(jī)的稀疏處理，使得模糊規(guī)則更為簡(jiǎn)潔。但是，由于含有隨機(jī)成分，就需要多次實(shí)驗(yàn)來(lái)找到一組較好的稀疏化的規(guī)則前件，存在一定的盲目性。綜合考量，本文采用模糊子空間聚類(lèi)的方法來(lái)尋找規(guī)則中心V={vki}K×d,并按網(wǎng)格劃分求vki的鄰近點(diǎn)。例如，網(wǎng)格劃分為[0,0.25,0.50,0.75,1.00]，若vki為 0.27，則取均值=0.25。給定超參數(shù)h和r：

根據(jù)FSC算法得到的權(quán)重矩陣W={wki}K×d來(lái)適當(dāng)?shù)爻槿∽涌臻g特征，以此達(dá)到對(duì)規(guī)則前件進(jìn)行稀疏的目的。可按式（20）選取權(quán)重大的特征：

式（20）中，0≤η＜1為超參數(shù)。

于是，按照公式定義的模糊規(guī)則，IF部分輸出的啟動(dòng)強(qiáng)度可表示為區(qū)間形式，下界和上界分別為：

3.2 規(guī)則后件的初始化

在生成規(guī)則前件之后，先初始化規(guī)則后件。系統(tǒng)的輸出左界和右界分別為：

最終輸出結(jié)果為左右界的中間值：

可令前件參數(shù)為：

以及后件參數(shù)為：

式（23）即可寫(xiě)為線(xiàn)性形式：

對(duì)于給定的訓(xùn)練數(shù)據(jù)集D={xj,yj}，可以得到變換后的數(shù)據(jù)集={?1(xj),yj}，可令：

按式（27）得到：

這里運(yùn)用嶺回歸的理論[17]，待優(yōu)化的目標(biāo)函數(shù)為：

式（30）中λ是正則項(xiàng)超參數(shù)。取式（30）關(guān)于ω的導(dǎo)數(shù)并令其等于0，得到后件參數(shù)的最優(yōu)解：

3.3 規(guī)則后件的再學(xué)習(xí)

在得到初始化的模糊規(guī)則后件參數(shù)后，即可用KM迭代算法來(lái)計(jì)算區(qū)間二型TSK模糊系統(tǒng)的輸出結(jié)果。根據(jù)KM算法，增序排列得到重排后的后件參數(shù)，并找到切換點(diǎn)L和R：

其中，IM表示M×M的單位矩陣；0M表示M×M的全零矩陣。同理：

式（35）中：

對(duì)于給定的訓(xùn)練數(shù)據(jù)集D={xj,yj},可以得到變換后的數(shù)據(jù)集，可令：

按式（37）得到：

這里運(yùn)用嶺回歸的理論，待優(yōu)化的目標(biāo)函數(shù)為：

式（41）中λ是正則項(xiàng)超參數(shù)。取式（41）關(guān)于ω的導(dǎo)數(shù)并令其等于0，得到后件參數(shù)的最優(yōu)解：

4 實(shí)驗(yàn)研究

4.1 實(shí)驗(yàn)設(shè)置

本文以Matlab 8.1為實(shí)驗(yàn)平臺(tái)，所用計(jì)算機(jī)主頻3.40 GHz，內(nèi)存4.00 GB，64位操作系統(tǒng)。用到的對(duì)比算法為核嶺回歸（kernel ridge regression，KRR）[21]、支持向量機(jī)（support vector machine，SVM）[22]、極限學(xué)習(xí)機(jī)（ELM）[23-24]、模糊推理系統(tǒng)（FIS）、基于模糊子間聚類(lèi)的0階嶺回歸TSK模糊系統(tǒng)（FSC-0-RR-TSKFS）[14]和二型模糊極限學(xué)習(xí)算法（T2FELA）[7]。其中SVM來(lái)自著名的LIBSVM[25]，F(xiàn)IS來(lái)自Matlab自帶的工具箱，其他算法依據(jù)相關(guān)文獻(xiàn)編程實(shí)現(xiàn)。

本文分別在模擬和真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并采用了網(wǎng)格參數(shù)尋優(yōu)和5折交叉驗(yàn)證的策略。各算法參數(shù)設(shè)置及搜索網(wǎng)格如表1所示。最終以“均值±標(biāo)準(zhǔn)差”的形式給出分類(lèi)測(cè)試精度。

Table 1 Parameter settings and search grids of different methods表1 各算法參數(shù)設(shè)置及搜索網(wǎng)格

4.2 模擬數(shù)據(jù)集實(shí)驗(yàn)

為了充分體現(xiàn)本文方法的意義，現(xiàn)構(gòu)造3類(lèi)、共300例的模擬數(shù)據(jù)集，每一類(lèi)100例。每例數(shù)據(jù)具有12維特征，記為F1～F12。特征分布如圖3所示，可見(jiàn)各類(lèi)數(shù)據(jù)具有明顯的特征子空間。A類(lèi)數(shù)據(jù)在F4～F7上集中分布在[0,0.4]的范圍，其余特征分布散亂；B類(lèi)數(shù)據(jù)在F2～F5上集中分布在[0.35,0.65]的范圍，其余特征分布散亂；C類(lèi)數(shù)據(jù)在F7～F10上集中分布在[0.6,1.0]的范圍，其余特征分布散亂；而F1、F11和F12完全都屬于噪聲。

Fig.3 Feature distribution of 3-class synthetic dataset圖3 3類(lèi)模擬數(shù)據(jù)的特征分布

在這樣特殊的數(shù)據(jù)集上，本文方法和FSC-0-RRTSK-FS都將規(guī)則數(shù)目設(shè)為3（不依照表1對(duì)此尋優(yōu)），期望的輸出為[1,0,0]、[0,1,0]和[0,0,1]這3類(lèi)，實(shí)驗(yàn)結(jié)果如表2所示。在去除噪聲維時(shí)，KRR、SVM、ELM和本文方法都獲得了0.97以上的分類(lèi)精度，而在含有噪聲時(shí)，各對(duì)比算法的分類(lèi)精度受到明顯影響。在η=0時(shí)，即本文方法不使用特征子空間時(shí)，其表現(xiàn)與ELM等算法相近；而當(dāng)η＞0時(shí)，即本文方法使用特征子空間，生成稀疏規(guī)則時(shí)，其表現(xiàn)優(yōu)于各對(duì)比算法。這說(shuō)明，當(dāng)分類(lèi)數(shù)據(jù)具有特征子空間時(shí)，本文方法可有效排除噪聲和次要特征。

表3顯示了5折交叉實(shí)驗(yàn)中最后一折時(shí)訓(xùn)練所得模型參數(shù)，即產(chǎn)生了3條模糊規(guī)則，每條規(guī)則正好對(duì)應(yīng)一類(lèi)數(shù)據(jù)。例如，規(guī)則R1對(duì)應(yīng)于B類(lèi)，只使用了F2～F5，而忽略了其他次要特征（包括噪聲）的影響，可解釋為當(dāng)F2～F5處于中等左右的水平時(shí)，數(shù)據(jù)屬于B類(lèi)的可能性為1.26。規(guī)則R3與期望的有所出入，這是因?yàn)镕SC是無(wú)監(jiān)督聚類(lèi)，初始化時(shí)含有隨機(jī)因素。FSC-0-RR-TSK-FS得到了與表3相似的稀疏規(guī)則?？傮w而言，對(duì)于模糊系統(tǒng)而言，本文方法可得到語(yǔ)義更為簡(jiǎn)潔的規(guī)則，可解釋性更好。實(shí)際應(yīng)用中，情況會(huì)復(fù)雜得多，通常需要更多的規(guī)則來(lái)構(gòu)建區(qū)間二型模糊子空間0階TSK系統(tǒng)。

Table 2 Classification accuracies of different methods on synthetic dataset表2 模擬數(shù)據(jù)集上各算法的分類(lèi)精度

Table 3 Rules generated by the proposed method on synthetic dataset表3 本文方法在模擬數(shù)據(jù)集上生成的規(guī)則

4.3 真實(shí)數(shù)據(jù)集實(shí)驗(yàn)

本文用到了9個(gè)醫(yī)學(xué)相關(guān)的真實(shí)數(shù)據(jù)集，涉及乳癌、心臟病、肝炎等，全部來(lái)自UCI機(jī)器學(xué)習(xí)庫(kù)（http://archive.ics.uci.edu/ml/datasets.html），如表4所示。實(shí)驗(yàn)中，除了類(lèi)標(biāo)簽外，所有特征都被歸一化到區(qū)間[0,1]。其中一些數(shù)據(jù)集的全部特征都是連續(xù)量，而另一些則包含或全部為離散型特征。例如，年齡是連續(xù)量特征，而性別是離散型特征。

對(duì)于離散型特征，本文方法在生成模糊規(guī)則時(shí)，將FSC得到的規(guī)則中心微調(diào)至相近的特征值上；而對(duì)于連續(xù)量特征，本文方法先設(shè)該特征有[0,0.25,0.50,0.75,1.00]這5個(gè)等級(jí)，生成模糊規(guī)則時(shí)，將FSC得到的規(guī)則中心微調(diào)至相近的等級(jí)上。這樣做的目的就是為了保證規(guī)則語(yǔ)義的清晰。例如，對(duì)于人的年齡，可將[0,0.25,0.50,0.75,1.00]解釋為少年、青年、中年、中老年和老年。

實(shí)驗(yàn)結(jié)果如表4所示，由于真實(shí)數(shù)據(jù)集的復(fù)雜性，本文方法只在部分?jǐn)?shù)據(jù)集上獲得了略好于對(duì)比算法的分類(lèi)精度。且當(dāng)本文方法在Hepatitis等數(shù)據(jù)集上體現(xiàn)一定優(yōu)勢(shì)時(shí)，同樣考慮子空間的FSC-0-RRTSK-FS也取得了相近的結(jié)果。在缺少專(zhuān)家知識(shí)的情況下，由此可佐證模糊子空間在構(gòu)造規(guī)則前件時(shí)所能發(fā)揮的作用。

但是，特征子空間的利用不能完全保證取得更高的分類(lèi)精度，相反，對(duì)于各項(xiàng)特征都一般重要的數(shù)據(jù)集，不恰當(dāng)?shù)嘏懦恍┎皇执我奶卣?，可能?dǎo)致信息完整性的缺失。不過(guò)，對(duì)于本文方法，子空間是可選的，η=0時(shí)，即能保證不丟失信息（可能含噪聲），分類(lèi)精度亦能與其他算法匹敵。而就模糊系統(tǒng)而言，需要強(qiáng)調(diào)的是，當(dāng)采用特征子空間時(shí)，結(jié)合網(wǎng)格劃分法，本文方法的規(guī)則語(yǔ)義更簡(jiǎn)潔，可解釋性更好。

一般而言，模糊規(guī)則數(shù)K會(huì)小于訓(xùn)練樣本數(shù)N，于是本文方法的時(shí)間復(fù)雜度為O(KNt+K2N)，其中t為FSC算法的迭代次數(shù)，KM算法最壞時(shí)間復(fù)雜度和嶺回歸的時(shí)間復(fù)雜度都是O(K2N)。KRR的時(shí)間復(fù)雜度和SVM最壞時(shí)間復(fù)雜度為O(N3)。訓(xùn)練過(guò)程中，本文方法分為3段，包含多個(gè)超參數(shù)，F(xiàn)SC需要迭代，KM算法涉及排序過(guò)程，因而實(shí)際用時(shí)相比部分算法不具有優(yōu)勢(shì)。

5 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)的區(qū)間二型TSK模糊系統(tǒng)存在的不足，本文使用模糊子空間聚類(lèi)和網(wǎng)格劃分相結(jié)合的方法生成稀疏的規(guī)整的規(guī)則中心，并簡(jiǎn)化規(guī)則后件為0階形式，從而得到規(guī)則語(yǔ)義更為簡(jiǎn)潔，可解釋性更好的區(qū)間二型模糊子空間0階TSK系統(tǒng)。對(duì)于特征子空間較為明顯的數(shù)據(jù)，本文方法可發(fā)揮去噪、易于解釋等優(yōu)勢(shì)；對(duì)于特征子空間不夠明顯的數(shù)據(jù)，本文方法可取η=0，使用完整的特征空間，保證不丟失信息的完整性。未來(lái)工作中，需要研究如何自動(dòng)識(shí)別數(shù)據(jù)有無(wú)特征子空間，以使算法更加智能化。

Table 4 Classification accuracies of different methods on real datasets表4 真實(shí)數(shù)據(jù)集上各算法的分類(lèi)精度

[1]Güner H AA,Yumuk H A.Application of a fuzzy inference system for the prediction of longshore sediment transport[J].Applied Ocean Research,2014,48(48):162-175.

[2]Takagi T,Sugeno M.Fuzzy identification of systems and its applications to modeling and control[J].IEEE Transactions on Systems,Man,and Cybernetics,1985,15(1):116-132.

[3]Jang J S R.ANFIS:Adaptive-network-based fuzzy inference systems[J].IEEE Transactions on Systems,Man,and Cybernetics,1993,23(3):665-685.

[4]Castillo O,Melin P.Type-2 fuzzy logic:theory and applications[M]//Studies in Fuzziness and Soft Computing.Berlin,Heidelberg:Springer,2007.

[5]Juang C F,Tsao Y W.A self-evolving interval type-2 fuzzy neural network with online structure and parameter learning[J].IEEE Transactions on Fuzzy Systems,2008,16(6):1411-1424.

[6]Juang C F,Huang Renbo,Cheng Weiyuan.An interval type-2 fuzzy-neural network with support-vector regression for noisy regression problems[J].IEEE Transactions on Fuzzy Systems,2010,18(4):686-699.

[7]Deng Zhaohong,Choi K S,Cao Longbing,et al.T2FELA:type-2 fuzzy extreme learning algorithm for fast training of interval type-2 TSK fuzzy logic system[J].IEEE Transactions on Neural Networks&Learning Systems,2014,25(4):664-676.

[8]Rubio-Solis A,Panoutsos G.Interval type-2 radial basis function neural network:a modeling framework[J].IEEE Transactions on Fuzzy Systems,2015,23(2):457-473.

[9]Karnik N N,Mendel J M.Centroid of a type-2 fuzzy set[J].Information Sciences,2001,132(1/4):195-220.

[10]Mendel J M.Computing derivatives in interval type-2 fuzzylogic systems[J].IEEE Transactions on Fuzzy Systems,2004,12(1):84-98.

[11]Wu Dongrui,Mendel J M.Enhanced Karnik-Mendel algorithms[J].IEEE Transactions on Fuzzy Systems,2009,17(4):923-934.

[12]Kisi O,Zounemat-Kermani M.Comparison of two different adaptive neuro-fuzzy inference systems in modelling daily reference evapotranspiration[J].Water Resources Management,2014,28(9):2655-2675.

[13]Wong S Y,Yap K S,Yap H J,et al.On equivalence of FIS and ELM for interpretable rule-based knowledge representation[J].IEEE Transactions on Neural Networks&Learning Systems,2015,26(7):1417-1430.

[14]Deng Zhaohong,Zhang Jiangbin,Jiang Yizhang,et al.Fuzzy subspace clustering based 0-order ridge regression TSK fuzzy system[J].Control and Decision,2016,31(5):882-888.

[15]Gan Guojun,Wu Jianhong,Yang Zijiang.A fuzzy subspace algorithm for clustering high dimensional Data[C]//LNCS 4093:Proceedings of the 2nd International Conference on Advanced Data Mining and Applications,Xi'an,China,Aug 14-16,2006.Berlin,Heidelberg:Springer,2006:271-278.

[16]Gan G,Wu J.A convergence theorem for the fuzzy subspace clustering(FSC)algorithm[J].Pattern Recognition,2008,41(6):1939-1947.

[17]Hoerl A E,Kennard R W.Ridge regression:biased estimation for nonorthogonal problems[J].Technometrics,1970,12(1):55-67.

[18]Hartigan J A,Wong M A.Algorithm AS 136:ak-means clustering algorithm[J].Journal of the Royal Statistical Society:Series CApplied Statistics,1979,28(1):100-108.

[19]Bezdek J C,Ehrlich R,Full W.FCM:The fuzzy C-means clustering algorithm[J].Computers&Geosciences,1984,10(84):191-203.

[20]Priyono A,Ridwan M,Alias A J,et al.Generation of fuzzy rules with subtractive clustering[J].Jurnal Teknologi,2012,43(1):143-153.

[21]An Senjian,Liu Wanquan,Venkatesh S.Fast cross-validation algorithms for least squares support vector machine and kernel ridge regression[J].Pattern Recognition,2007,40(8):2154-2162.

[22]Shawe-Taylor J,Cristianini N.An introduction to support vector machines and other kernel-based learning methods[M].New York:Cambridge University Press,2000:93-112.

[23]Huang Guangbin,Zhu Qinyu,Siew C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006,70(1/3):489-501.

[24]Huang Guangbin,Zhou Hongming,Ding Xiaojian,et al.Extreme learning machine for regression and multiclass classification[J].IEEE Transactions on Systems,Man,and Cybernetics:Part B Cybernetics,2012,42(2):513-529.

[25]Chang C C,Lin C J.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):27.

附中文參考文獻(xiàn)：

[14]鄧趙紅,張江濱,蔣亦樟,等.基于模糊子空間聚類(lèi)的0階嶺回歸TSK模糊系統(tǒng)[J].控制與決策,2016,31(5):882-888.

Interval Type-2 Fuzzy Subspace Zero-Order TSK System*

CHEN Junyong+,DENG Zhaohong,WANG Shitong
School of Digital Media,Jiangnan University,Wuxi,Jiangsu 214122,China

A

TP181

+Corresponding author:E-mail:enjolras1024@163.com

CHEN Junyong,DENG Zhaohong,WANG Shitong.Interval type-2 fuzzy subspace zero-order TSK system.Journal of Frontiers of Computer Science and Technology,2017,11(10)：1652-1661.

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2017/11(10)-1652-10

10.3778/j.issn.1673-9418.1608023

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

*The National Natural Science Foundation of China under Grant No.61170122(國(guó)家自然科學(xué)基金);the Outstanding Youth Fund of Jiangsu Province under Grant No.BK20140001(江蘇省杰出青年基金).

Received 2016-08,Accepted 2016-10.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-10-18,http://www.cnki.net/kcms/detail/11.5602.TP.20161018.1622.014.html

CHEN Junyong was born in 1990.He is an M.S.candidate at Jiangnan University.His research interests include artificial intelligence and neural fuzzy computation.

陳俊勇（1990—），男，安徽池州人，江南大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，神?jīng)模糊計(jì)算。

DENG Zhaohong was born in 1981.He received the Ph.D.degree in light industry information technology and engineering from Jiangnan University in 2008.Now he is a professor and M.S.supervisor at Jiangnan University.His research interests include artificial intelligence and neural fuzzy computation.

鄧趙紅（1981—），男，安徽蒙城人，2008年于江南大學(xué)輕工信息與技術(shù)專(zhuān)業(yè)獲得博士學(xué)位，現(xiàn)為江南大學(xué)教授、碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，神?jīng)模糊計(jì)算。

WANG Shitong was born in 1964.He received the M.S.degree in computer science from Nanjing University of Aeronautics and Astronautics in 1987.Now he is a professor and Ph.D.supervisor at Jiangnan University.His research interests include artificial intelligence and pattern recognition.

王士同（1964—），男，江蘇揚(yáng)州人，1987年于南京航空航天大學(xué)獲得碩士學(xué)位，現(xiàn)為江南大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄埽Ｊ阶R(shí)別。