Takagi-Sugeno模糊系統(tǒng)雙正則聯(lián)合稀疏建模新方法*

林得富，王 駿+，張嘉旭，應文豪，王士同

1.江南大學 數(shù)字媒體學院，江蘇 無錫 214122

2.常熟理工學院 計算機科學與工程學院，江蘇 常熟 215500

1 引言

在各種模糊系統(tǒng)模型中，T-S（Takagi-Sugeno）模糊系統(tǒng)模型具有簡單的可解釋結(jié)構，能夠?qū)⒕€性系統(tǒng)理論與模糊理論相結(jié)合來描述復雜的非線性系統(tǒng)模型，即將整個非線性系統(tǒng)模型看作多個局部線性系統(tǒng)模型的模糊逼近，在系統(tǒng)建模領域占據(jù)著重要的地位[1-5]。

T-S模糊系統(tǒng)是由多條以“If-Then”形式顯示表示的模糊規(guī)則構成的，每條模糊規(guī)則又是由規(guī)則前件和規(guī)則后件組成的。T-S模糊系統(tǒng)建模過程主要包括兩個步驟：一是提取規(guī)則前件；二是求解規(guī)則后件。規(guī)則前件的提取需要對原始輸入空間進行劃分，廣泛使用的有固定劃分和基于網(wǎng)格的劃分方法[6]；基于聚類的劃分方法，如k-means聚類[7]、減法聚類[8]、向量量化聚類[9]、模糊C均值聚類（fuzzy C-means，F(xiàn)CM）[10]等。其中模糊C均值聚類算法是將輸入空間劃分為若干局部模糊域的一種理想方法，模糊聚類數(shù)目直接與規(guī)則相關，具有一一對應的關系。對于后件參數(shù)的求解有多種方法，一些傳統(tǒng)方法如：最小二乘（least squares,LS）[11]及其擴展方法加權遞歸最小二乘（weighted recursive least squares,WRLS）[12]、正交最小二乘（orthogonal least squares，OLS）[13]等方法。然而采用這些傳統(tǒng)方法建立起來的T-S模糊系統(tǒng)模型存在著指數(shù)復雜性的問題。

近年來，一些研究人員將稀疏學習引入到模糊系統(tǒng)后件學習中，以緩解因后件參數(shù)過多而導致的模型可解釋性變差以及過擬合等一系列問題。例如，Lughofer等人提出的SparseFIS（sparse fuzzy inference systems）[3]方法，在后件學習中通過約束后件參數(shù)的稀疏程度來約減模糊規(guī)則數(shù)目；Luo等人提出的塊結(jié)構化稀疏方法H-SparseFIS（hierarchical sparse fuzzy inference systems）[14]，將前件的塊結(jié)構化學習與后件的稀疏學習相結(jié)合，在一定程度上去除了冗余規(guī)則，約減了模糊規(guī)則的數(shù)目。但是這些方法對于后件參數(shù)的學習沒有考慮到模糊規(guī)則間公共特征的重要程度，將輸入樣本的全部特征無區(qū)分地用來構建模糊規(guī)則，導致最終的模型中不可避免地包含冗余特征，一方面會導致過擬合問題而影響模型的泛化性能，另一方面會降低模型的可解釋性。

以此為出發(fā)點，為了在提高模糊系統(tǒng)模型泛化性能的同時增強模型的可解釋性，本文提出了一種基于雙正則聯(lián)合學習的T-S模糊系統(tǒng)建模新方法。該方法充分考慮存在于T-S模糊系統(tǒng)后件中的塊結(jié)構信息，將規(guī)則間稀疏學習方法引入模糊建模過程中，通過利用不同模糊規(guī)則間的相關性來選取規(guī)則間重要的公共特征，在此基礎上進行模糊規(guī)則的構建；與此同時，為避免過擬合對模型泛化性能的影響，引入過擬合處理機制來權衡模型的泛化性能和復雜程度。這樣建立起來的模糊系統(tǒng)模型能夠在兼顧模型泛化性能的同時提高模型的可解釋性。

本文組織如下：第2章介紹T-S模糊系統(tǒng)的一些基本概念和符號定義；第3章重點講解T-S模糊系統(tǒng)聯(lián)合建模新方法；第4章主要給出實驗結(jié)果并與一些經(jīng)典的建模算法進行了對比和分析；第5章是結(jié)束語。

2 T-S模糊系統(tǒng)基本概念

本章對T-S模糊系統(tǒng)進行了基本的介紹。下面引入模糊系統(tǒng)中的一些基本概念和符號表示，最后討論了模糊系統(tǒng)建模與線性回歸問題的關系。對于一個D維輸入向量x=(x1,x2,…,xD)T∈RD，第m條模糊規(guī)則Rm可以表示為：

由此，T-S模糊系統(tǒng)的輸出可表示為如下形式：

式中，φm(x)表示輸入向量x對于第m條模糊規(guī)則的觸發(fā)強度，具體的表達式如下：

式中，Φ=(Φ1,Φ2,…,ΦM)，由Φm∈RN×(D+1)構成，通過下式求解：

其中，Xe=(1,XT)，X=(x1,x2,…,xN)。

同時，定義式（7）中的后件參數(shù)向量w=((w1)T,(w2)T,…,(wM)T)T∈RM(D+1)。本文將Φ∈RN×M(D+1)稱作T-S模糊系統(tǒng)的字典，很明顯，T-S模糊系統(tǒng)的字典是由M個塊結(jié)構組成的，Φm∈RN×(D+1)是相應的子字典，與每一個wm相對應。模糊系統(tǒng)的輸出y?可用模糊規(guī)則子字典的一個線性組合表示。因此，T-S模糊系統(tǒng)建?？梢赞D(zhuǎn)化為線性回歸問題來解決。

3 基于雙正則的T-S模糊系統(tǒng)聯(lián)合建模方法

本章主要介紹T-S模糊系統(tǒng)聯(lián)合建模新方法，主要可分為兩個步驟：確定規(guī)則前件和學習規(guī)則后件。下面將分為三部分進行具體介紹，分別是提取規(guī)則前件、規(guī)則后件的結(jié)構化聯(lián)合稀疏學習和雙正則聯(lián)合優(yōu)化問題的求解。

3.1 提取規(guī)則前件

3.2 規(guī)則后件的結(jié)構化聯(lián)合稀疏學習

傳統(tǒng)意義上，有兩種學習規(guī)則后件參數(shù)向量wm的方法[16]，一種是通過求解關于w的最小二乘（LS）問題的全局學習，另一種方法是通過求解關于wm(m=1,2,…,M)的M個獨立的加權LS問題的局部學習。然而這兩種方式都存在著一定的弊端：全局學習在后件學習的優(yōu)化過程中單獨處理后件參數(shù)，但是這種方法忽略了存在于模糊系統(tǒng)后件中的塊結(jié)構化信息；而局部學習對每一條模糊規(guī)則分別估計其后件參數(shù)，其本質(zhì)上是一種結(jié)構化學習，但是在未經(jīng)選擇的情況下就將所有后件參數(shù)考慮在內(nèi)，這樣就會導致有些無效的模糊規(guī)則和冗余的特征也會引入到最終的模型中。

Fig.1 Visualization of consequent parametersW圖1 后件參數(shù)矩陣W的可視化

于是，目標函數(shù)表達式可以表示為：

其中，γ是一個正則化參數(shù)，用于權衡模型擬合程度和模型復雜度。

圖1對模型的后件參數(shù)矩陣進行了可視化描述。其中區(qū)域顏色深淺代表后件參數(shù)值的大小，顏色越深表示后件參數(shù)值越大。||W||2,1為各條規(guī)則間后件參數(shù)的稀疏約束，用于剔除冗余的特征，選取規(guī)則間重要的公共特征。

最終，模型的求解可轉(zhuǎn)化為對下面雙正則優(yōu)化問題進行求解：其中加入該正則化項||W||2,1是為了對多條模糊規(guī)則的后件參數(shù)進行共同學習，選擇出規(guī)則間重要的公共特征，剔除冗余特征。根據(jù)L2,1正則的特點，對應組變量具有組稀疏的特性，對于變量值全部接近于0的組，可以剔除；反之，對應組將被選擇，示意圖見圖1的可視化矩陣。剔除冗余變量可以減小噪聲特征的影響和簡化模型的復雜度，在一定程度上可以提高模型的可解釋性。同時，引入L2正則避免模型的過擬合，可以提高模型在測試數(shù)據(jù)上的泛化性能。

3.3 雙正則聯(lián)合優(yōu)化問題求解

本文中采用交替方向乘子法（alternating direction method of multipliers，ADMM）來解上述優(yōu)化問題。ADMM算法可以看成是在增廣拉格朗日算法基礎上發(fā)展起來的一種新算法，相對于增廣拉格朗日算法，ADMM算法最大的優(yōu)越性在于充分利用了目標函數(shù)的可分離性和乘法器的優(yōu)良收斂性，將原問題分解為若干個更容易獲得全局解的最小化子問題來進行分析和求解，在統(tǒng)計學習和分布式凸優(yōu)化領域都有重要的應用[17-18]。

為了采用ADMM來求解本文方法的最優(yōu)解，通過重寫式（10），式（10）所定義的優(yōu)化問題可轉(zhuǎn)化為以下形式：

進一步，優(yōu)化問題可以表示為：

使用增廣拉格朗日算子結(jié)合f(W)和g(V)，可得：

其中，ρ＞0，是一個懲罰參數(shù)，U是一個與約束W=V相關的縮放對偶變量。該優(yōu)化問題的解可以通過交替最小化W和V上的增廣拉格朗日函數(shù)來迭代求解，迭代過程如下：

第一步，固定Vk和Uk來最小化W上的增廣拉格朗日函數(shù)；第二步，固定Wk和Uk來求解V；第三步，更新對偶變量Uk+1。這個算法交替迭代運行，直到初始殘差和對偶殘差小于終止條件||Wk+1-Vk+1||F＜ε為止。

求解式（18）關于wm的導數(shù)，并令其等于0，可得：

令Qm=γΛ+(ρ/2)I，Sm=(Φm)T，rm=(Φm)Ty-(ρ/2)(umvm)，式（19）可表示為：

對于所有的wm聯(lián)合學習，可以得到以下公式：

其中，Q和S是分塊矩陣，具體形式如下：

vec(W)為W的向量形式。

式（16）的解可以通過計算下式得到：

T-S模糊系統(tǒng)聯(lián)合建模方法描述如下：

L2-CFS-FIS算法：

2.學習規(guī)則后件：求解式（10）定義的基于雙正則的聯(lián)合優(yōu)化問題，得到相應的后件參數(shù)。

初始化W0=0，U0=0，V0=0;

Fork=0:max_iter

使用式（21）更新Wk+1;

使用式（23）更新Vk+1;

使用式（17）更新Uk+1;

5.學校教育過程存在問題。部分學校的酒店專業(yè)課程安排不合理，過于注重學生的專業(yè)技能培養(yǎng)，忽視了學生的職業(yè)道德和心理適應能力的培養(yǎng)，導致頂崗實習期間，實習生無法順利處理工作中的問題，為酒店帶來損失的同時又打擊了學生的積極性，不利于學生的就業(yè)。

If||Wk+1-Wk||＜ε，break;

End

ReturnWk+1;

3.生成模糊規(guī)則：基于上述步驟得到的前件和后件結(jié)果，生成M條“If-Then”形式的模糊規(guī)則。

輸出：模糊推理系統(tǒng)L2-CFS-FIS。

L2-CFS-FIS算法主要包括前件的求解和引入雙正則機制學習規(guī)則后件兩部分，它們的時間復雜度分別是O(MKN)、O(TKNM2)和O(NK2)，其中M為樣本個數(shù)，N為特征維數(shù)，K為模糊規(guī)則條數(shù)，T為算法迭代次數(shù)。因此，L2-CFS-FIS算法總的時間復雜度為O(MKN+TKNM2+NK2)。可以看出，該方法的運算復雜度與數(shù)據(jù)維數(shù)N成線性關系，隨著數(shù)據(jù)維數(shù)N的增加，模型本身的運算時間呈線性增長。但是運算復雜度與模糊規(guī)則條數(shù)K成平方關系，而且隨著數(shù)據(jù)維數(shù)的增多，模型所需的模糊規(guī)則條數(shù)往往也會隨之增加，因此當數(shù)據(jù)維數(shù)過高時，計算量會大大增加，模型的運算性能會降低。

4 實驗

為了驗證本文所提方法的有效性，本章中，將提出的算法L2-CFS-FIS與其他經(jīng)典模糊系統(tǒng)建模方法在不同的數(shù)據(jù)集上進行了對比和分析。本文使用的對比算法有 H-Sparse FIS[14]、L2-norm penalty-based εinsensitive T-S fuzzy systems（L2-TSFS）[20]、基于SVR的TS-fuzzy-system-based support vector regression（TS-SVR）[21]、Genfis2[22-23]以及Genfis3[22-23]。算法中各參數(shù)的設置采用5折交叉驗證[24]來進行尋優(yōu)，參數(shù)的詳細設置如表1所示。

本文所提模型L2-CFS-FIS主要涉及3個參數(shù)，h為模糊隸屬度函數(shù)中調(diào)節(jié)方差的尺度參數(shù)，可參考經(jīng)典的模糊系統(tǒng)建模論文如文獻[5]，這里本文設置h∈{10-3,10-2,…,103}，從較大的范圍內(nèi)進行粗粒度尋優(yōu)，兼顧了隸屬度函數(shù)方差調(diào)節(jié)的合理性和算法的效率。關于正則化參數(shù)γ和θ，從機器學習模型加入正則化項的作用角度上來分析可知，正則化項系數(shù)越大，懲罰力度越大，模型正則項的作用越大，一般將上限設置為103或104；反之，懲罰力度越小，側(cè)重于模型本身的擬合效果，下限通常設置為10-3，可參考文獻[25]，因此本文設置參數(shù)尋優(yōu)范圍為γ∈{10-3,10-2,…,104}，θ∈{10-3,10-2,…,104}。

本文采用如下指標來評估算法的泛化性能：

Table1 Detailed settings of all algorithms'parameters表1 實驗中各算法參數(shù)的詳細設置

4.1 泛化性能實驗

本節(jié)進行模型的泛化性能比較實驗，選用Housing、Baseball、Mortgage、Wine、Concrete、Abalone、ENB等真實數(shù)據(jù)集進行實驗。本文所提算法與經(jīng)典模糊系統(tǒng)建模算法在各個數(shù)據(jù)集上的泛化性能統(tǒng)計如表2所示。

實驗中用到的Housing數(shù)據(jù)集來源于Carnegie Mellon University的StatLib數(shù)據(jù)庫，可從UCI Machine Learning Repository獲取。該數(shù)據(jù)集共有CRIM、ZN、INDUS等13維特征，用于預測房價的中值。Baseball數(shù)據(jù)集、Mortgage數(shù)據(jù)集、Wine數(shù)據(jù)集和Concrete數(shù)據(jù)集可從KEEL Dataset Repository中獲得。Abalone數(shù)據(jù)集用于預測鮑魚的年齡，鮑魚的年齡通常取決于使用錐切割殼并通過顯微鏡計數(shù)環(huán)的數(shù)量，但切殼后環(huán)數(shù)的獲得較為繁瑣，一般采用其他幾個更容易獲得的測量（性別、長度、高度、總重量、去殼重量等8個特征）來進行預測。該數(shù)據(jù)集從KEEL Dataset Repository庫中獲得。ENB數(shù)據(jù)集用來模擬12種不同的建筑形狀進行能量分析，包含有8個特征，分別是表面積、墻面積、總高度等測量指標，預測目標是加熱負載和冷卻負載，可從UCI Machine Learning Repository中獲取。

從表2中可以看出，本文所提算法L2-CFS-FIS雖然在Mortgage數(shù)據(jù)集上的泛化性能比H-SpaseFIS算法略差，但是在其他6個數(shù)據(jù)集上，模型的泛化性能均有所提升；相較于L2-TSFS、TS-SVR等傳統(tǒng)建模方法，L2-CFS-FIS在這些數(shù)據(jù)集上的泛化性能具有顯著優(yōu)勢。歸結(jié)原因在于，本文所提算法在進行后件參數(shù)的學習時，能夠充分利用后件中的塊結(jié)構信息，并將模糊系統(tǒng)子字典中對應特征的重要性考慮在內(nèi)，通過引入L2,1組稀疏正則化技術來挖掘規(guī)則間重要公共特征之間的聯(lián)系；同時，引入過擬合處理機制來防止模型的過擬合。綜合以上兩點，保證了模型在大多數(shù)數(shù)據(jù)集上的泛化性能是最優(yōu)的，在上述數(shù)據(jù)集上的實驗結(jié)果說明了本文所提算法在提高模型泛化性能方面的優(yōu)越性。

4.2 L2-CFS-FIS模糊系統(tǒng)模型

本節(jié)，基于Abalone數(shù)據(jù)集對模型產(chǎn)生的模糊規(guī)則前件進行了可視化。為了方便對模型產(chǎn)生的模糊規(guī)則進行語義化表示，定義每個前件隸屬度函數(shù)對應一個模糊語義變量，這里根據(jù)聚類中心的值依次采 用 VLOW、LOW2、LOW1、MEDIUM、HIGH1、HIGH2、VHIGH來表示不同的語義變量。7條模糊規(guī)則對應每個變量的前件隸屬度函數(shù)及語義表示見圖2。由此，模糊規(guī)則If部分的語義表示及Then部分的線性函數(shù)就可以構成一條完整的模糊規(guī)則，受篇幅所限，本文只給出兩條模糊規(guī)則的語義化表示，如表3所示。

對于T-S模糊系統(tǒng)來說，模型的可解釋性不僅與模糊規(guī)則數(shù)目有關，還與模糊規(guī)則在輸入空間劃分清晰度有關。從圖2中各規(guī)則的前件語義表示可以看出L2-CFS-FIS所構建模型的模糊規(guī)則在輸入空間劃分清晰，具有較高的可解釋性。而且在建模過程中，本文所提算法通過規(guī)則間共享公共特征方法將特征的重要程度考慮在內(nèi)，選擇出不同模糊規(guī)則間的重要公共特征（重要的特征對應的后件參數(shù)值較大，反之較?。?/p>

Table2 Comparison of generalization performance of all algorithms on datasets表2 各算法在不同數(shù)據(jù)集上的泛化性能比較

Fig.2 Membership functions and potential linguistic explanation in antecedent part of L2-CFS-FIS model圖2 L2-CFS-FIS模型前件隸屬度函數(shù)及其語義表示

Table3 Fuzzy rules example表3 模糊規(guī)則實例

為了說明本文算法具有挖掘規(guī)則間重要公共特征的作用，將模型在Abalone數(shù)據(jù)集上7條模糊規(guī)則產(chǎn)生的后件參數(shù)進行可視化。此外，為了對比更加明顯，設置γ=0去除模型的規(guī)則間公共特征選擇機制，同樣對后件參數(shù)進行可視化。圖3和圖4分別展現(xiàn)了這兩種模型的規(guī)則后件參數(shù)與特征之間的關系。從圖3中可以看出，對于模型生成的7條模糊規(guī)則，第8維特征對應的后件參數(shù)值均較大，而第2維和第3維特征對應的后件參數(shù)值均較小，可以得出結(jié)論：殼的重量這一特征對于預測鮑魚的年齡具有重要的鑒別意義，而長度和直徑特征（對應第2維和第3維特征）對于年齡預測作用較弱，在建模時可以有選擇地剔除，以降低模型的復雜度，提高模型的可解釋性。相對而言，圖4中所有后件參數(shù)的取值均處于一個較小的變化范圍內(nèi)，說明了γ=0時的模型無區(qū)分地對待所有特征，沒有規(guī)則間公共特征選擇的作用。

Fig.3 Relationship between consequent parameters and attributes of L2-CFS-FIS圖3 L2-CFS-FIS模型規(guī)則后件參數(shù)與特征的關系

Fig.4 Relationship between consequent parameters and attributes of L2-CFS-FIS(γ=0)圖4 L2-CFS-FIS模型（γ=0）規(guī)則后件參數(shù)與特征的關系

4.3 參數(shù)敏感性分析

本節(jié)進行模型參數(shù)的敏感性分析，實驗所用數(shù)據(jù)集為ENB1。圖5展示了初始模糊規(guī)則數(shù)目M對本文所提算法泛化性能的影響。

Fig.5 Sensitivity experiment of parameterM圖5 參數(shù)M的敏感性實驗

圖5顯示，在ENB1數(shù)據(jù)集上，在固定其他參數(shù)的前提下，隨著模糊規(guī)則條數(shù)的增加，RRSE的值變化很平緩，初始模糊規(guī)則的數(shù)目M的改變對于本文所提方法的泛化性能影響不大。說明L2-CFS-FIS方法對于初始模糊規(guī)則數(shù)目M的取值不敏感，體現(xiàn)了本文方法還具有較好的魯棒性這一優(yōu)勢。

5 結(jié)束語

本文所提出的模糊系統(tǒng)聯(lián)合稀疏建模方法L2-CFS-FIS充分考慮存在于T-S模糊系統(tǒng)后件中的塊結(jié)構化信息，將模糊規(guī)則間公共特征選擇技術和過擬合處理機制同時引入規(guī)則后件參數(shù)的學習中，并采用ADMM算法來分步快速求解聯(lián)合優(yōu)化問題。在一系列真實數(shù)據(jù)集上的實驗結(jié)果表明，L2-CFS-FIS模糊系統(tǒng)通過選取模糊規(guī)則間重要的公共特征進行建模以及過擬合的有效處理，在保證模型較好泛化性能的前提下，能夠降低模型的復雜度，有效解決了傳統(tǒng)模糊系統(tǒng)模型因使用樣本的全部特征來構造模糊規(guī)則而造成的規(guī)則繁雜問題。但是，本文算法仍存在一些不足之處，對高維數(shù)據(jù)進行建模面臨計算量增大的挑戰(zhàn)，如何針對高維數(shù)據(jù)快速建模是下階段研究的重點。