帶結構風險最小化的最優(yōu)區(qū)間回歸模型辨識

劉小雍,方華京,陳孝玉

(1.遵義師范學院工學院,貴州遵義 563006;2.華中科技大學自動化學院,湖北武漢 430074)

1 引言

工業(yè)過程中的大多數(shù)控制系統(tǒng)結構主要是基于傳統(tǒng)控制理論方法進行設計的,其適用范圍受到了一定的限制,包括假定該過程為線性變化且整個過程的數(shù)學模型為準確已知[1].然而,大多數(shù)物理系統(tǒng)包含復雜的非線性及耦合關系等因素,導致很難建立準確的數(shù)學模型;此外,對來自控制系統(tǒng)中的過程參數(shù)變化、外部干擾或傳感器失效也對控制系統(tǒng)的設計增加了諸多不確定性[2].這些現(xiàn)象的存在更需要探索一種更有效的建模方法,能夠實現(xiàn)復雜的輸入–輸出映射及非線性函數(shù)逼近.因此,出現(xiàn)了基于數(shù)據(jù)或數(shù)據(jù)驅動的建模方法[3–4],即通過傳感器或其他數(shù)據(jù)獲取設備獲取被控系統(tǒng)的輸入–輸出數(shù)據(jù),采用神經網(wǎng)絡[5]、Takagi-Sugeno(T–S)模糊模型[6]、支持向量機[7]等方法建立復雜系統(tǒng)的數(shù)學模型,這些方法的共同特點是建立的數(shù)學模型一般是確定的,不受系統(tǒng)參數(shù)變化、測量噪聲或其他不確定性等因素的影響,具有一定的局限性:1)確定的數(shù)學模型不能自適應系統(tǒng)的變化;2)基于訓練數(shù)據(jù)建立的數(shù)學模型結構較復雜、泛化性能差等.

然而,在眾多的實際應用中,獲取的信息往往呈現(xiàn)出不確定、不準確以及不完整等特征[8],對于這一類特征的信息描述,若仍采用傳統(tǒng)的確定性數(shù)學模型建模,顯然不能更好的去捕捉這一類不確定性復雜系統(tǒng)的特征變化[4].因此,針對不確定性復雜系統(tǒng)建模的研究,開始了從確定性數(shù)學模型到不確定性數(shù)學模型的擴展,包括模糊理論結合其他參數(shù)求解方法[9–10]、概率統(tǒng)計中的分位方法[11]、神經網(wǎng)絡的上下界建模方法[12–13]等.文獻[10]最早將possibility 與necessity回歸模型相結合,采用模糊輸出對區(qū)間回歸進行分析,并應用二次規(guī)劃對possibility與necessity回歸模型進行參數(shù)求解.基于文獻[10]的探索,又出現(xiàn)了模糊數(shù)據(jù)的另一種重要建模方法,即基于概率α分位和神經網(wǎng)絡(neural network,NN)的區(qū)間回歸分析方法.針對含噪聲工業(yè)時間序列數(shù)據(jù),文獻[14]再次將NN與概率分位數(shù)方法相結合,提出了工業(yè)數(shù)據(jù)的區(qū)間模型預測方法.對于前一種方法[11],首先從已知的不確定性數(shù)據(jù)中建立數(shù)據(jù)的主要變化趨勢,再引入α分位分別獲取區(qū)間模型的上、下界模型.后一種的區(qū)間模型分別用上界g?(x)和下界g?(x)模型來描述,求解過程仍然采用傳統(tǒng)的反向傳播(back propagation,BP)方法.眾所周知,NN在模型結構選擇上存在主觀性較大、復雜,以及參數(shù)求解主要是基于最小二乘的目標優(yōu)化,導致較差的模型泛化性能.近年來,基于結構風險最小化的支持向量機(support vector machine,SVM)成了重點關注,在模式識別和函數(shù)逼近問題上得到了成功的應用,文獻[4,15–16]提出了基于支持向量學習方法的模糊回歸分析,該方法較傳統(tǒng)神經網(wǎng)絡方法做了較好的改進.

進一步,考慮到基于SVM的回歸模型求解存在兩個問題:1)從SVM中非線性映射的大規(guī)模數(shù)據(jù)中求解有一定的困難;2)不同樣本數(shù)據(jù)集間的大小不平衡,往往出現(xiàn)一個類的樣本集比另一樣本集大,引起分割間隔的偏移.因此,針對上述問題,文獻[17]提出了簡化SVM的區(qū)間回歸分析方法來減小支持向量(support vector,SV)的個數(shù),然而在提出的方法中是通過將L1范數(shù)的結構風險與逼近誤差的L∞范數(shù)相結合來實現(xiàn).此外,文獻[18]從應用的角度出發(fā),通過將獲取到的確定性測量數(shù)據(jù)(單值)轉換為區(qū)間描述,建立了基于非參數(shù)加性模型的區(qū)間回歸分析方法,正確實現(xiàn)區(qū)間測量數(shù)據(jù)可能的非線性模式識別.針對區(qū)間數(shù)據(jù)現(xiàn)有的回歸分析使用確定的數(shù)據(jù)參考點再加上半徑范圍來建立區(qū)間的上、下界方法存在一定的限制,例如不同的數(shù)據(jù)集應該考慮采用不同的數(shù)據(jù)參考點描述區(qū)間,文獻[19]提出了如何更好地從回歸變量中提取最佳參考點的參數(shù)化方法.此外,從區(qū)間數(shù)據(jù)的另一個角度出發(fā),當區(qū)間數(shù)據(jù)出現(xiàn)異常值的情況時,文獻[20]對區(qū)間值變量的的指數(shù)核魯棒回歸模型進行了研究,通過指數(shù)型核函數(shù)的使用,對區(qū)間值觀測值中的異常值引入權值進行懲罰,進而保證了參數(shù)估計算法的收斂速度以及較低的計算成本.從提高模型建模精度出發(fā),文獻[21]將概率分位與群體智能化方法相結合對參數(shù)進行估計,并論證了方法的有效性與優(yōu)越性.

在本文中,建立了一種新的區(qū)間回歸模型辨識方法:1)基于文獻[22]提出了最小化最大逼近誤差的L∞范數(shù)引理,作為分別建立區(qū)間模型的上、下邊回歸模型優(yōu)化問題的基礎;2)提出了基于L1范數(shù)框架下的結構風險最小化的代價函數(shù),在保證辨識區(qū)間回歸模型精度的同時,盡可能對模型結構復雜性進行有效控制,進而提高模型的泛化性能;3)基于引理1,提出了獨立求解上、下邊回歸模型的兩個定理,并應用簡單線性規(guī)劃對其求解.

2 凸二次規(guī)劃到線性規(guī)劃的支持向量回歸

2.1 凸二次規(guī)劃的支持向量回歸

由Vapnik及其團隊所建立的SVM[23–24]很好的克服了傳統(tǒng)過擬合的分類問題.因此,在SVM中引入不敏感損失函數(shù)可發(fā)展為非線性的回歸問題,即支持向量回歸(support vector regression,SVR),已在最優(yōu)控制[25]、時間序列預測[26]、區(qū)間回歸分析[27]等方面得到了廣泛應用.假設通過傳感器或其他數(shù)據(jù)獲取設備獲取到一組帶有噪聲的測量數(shù)據(jù){(x1,y1),(x2,y2),···,(xN,yN)},SVR方法是對這組數(shù)據(jù)所對應的未知數(shù)學模型進行逼近,其中xk=(x1k,x2k,···,xdk)表示d維的輸入模式.假設一組線性無關的基函數(shù){ωs(x),s=1,···,m},可用基函數(shù)的線性展開描述任意的非線性系統(tǒng).因此,函數(shù)的逼近問題可轉化為尋求如下基函數(shù)線性展開的最優(yōu)參數(shù)求解[24]:

其中:θ=(θ1,θ2,···,θm)為需要被尋優(yōu)的參數(shù)向量;b是一個常量.進一步,該問題的參數(shù)尋優(yōu)即為尋找滿足如下優(yōu)化問題的非線性函數(shù)f:

R(f)為結構風險;γ表示規(guī)則化常量,體現(xiàn)對模型結構與建模精度重視程度的權衡;的引入在于控制模型的復雜度;Lε(·)為描述ε不敏感損失函數(shù),定義為

從上述ε域定義可知,如果|yk ?f(xk)|的值在該ε區(qū)域內,損失為0;否則為|yk ?f(xk)|與ε的差值.

通過應用拉格朗日乘子方法,對式(2)的最小化可轉化為它的對偶優(yōu)化問題[28]:

核函數(shù)確定了解的平滑特性,選取時應該更好的反映數(shù)據(jù)的先驗知識.式(4)的優(yōu)化問題可重寫為

其中常量b的計算為

σ為高斯核參數(shù).

2.2 SVR的優(yōu)化問題轉化

眾所周知,SVR是將基于二范數(shù)的結構風險最小化作為優(yōu)化目標,實現(xiàn)對回歸模型結構復雜性的控制,從而提高模型的泛化性能;然而,在文獻[29]中指出,SVR中的優(yōu)化目標求解采用的是二次規(guī)劃,會產生模型的冗余描述以及昂貴的計算成本;同時,二范數(shù)的優(yōu)化問題不能直接用于本文提出的最優(yōu)區(qū)間回歸模型辨識的優(yōu)化問題,需要進行二范數(shù)到一范數(shù)的轉化.對于二次規(guī)劃(quadratic programming–SVR,QP–SVR)[30],基于式(2)的優(yōu)化問題如下:

其中:ψ(·)表示從輸入空間到高維空間的非線性特征映射,即ψ:Rn ?→Rm(m>n);ξk,為松弛變量,分別對應超出正、負方向偏差值時的大小;常量γ大于0,反應非線性f與偏差大于ε時兩者之間的平衡.對于式(9),令βk=α+k ?α?k,則有

β=(β1β2··· βN)T.考慮到式(2)的優(yōu)化問題,范數(shù)的引入是為了控制模型的復雜度,根據(jù)范數(shù)的等價性可知,在結構風險中引入其他范數(shù)也可以同樣對模型復雜性進行控制[31].接下來,將QP–SVR的優(yōu)化問題(10)變成

其中:f(xk)以式(9)形式描述;∥β∥1表示系數(shù)空間的1–范數(shù).因此,新的約束優(yōu)化問題為[32]

為了轉化上述優(yōu)化問題為線性規(guī)劃問題,將βk和|βk|進行如下分解[32]:

基于式(15),優(yōu)化問題(14)進一步變成

現(xiàn)定義向量

和向量β的L1范數(shù)

以向量形式將優(yōu)化問題(16)構造為線性規(guī)劃問題

其中:ξ=(ξ1ξ2··· ξN)T;I為N ×N單位矩陣;

線性規(guī)劃問題(19)可通過單純型算法或內點算法進行求解[33].對于QP–SVR,在ε域之外的所有數(shù)據(jù)點將被選擇為支持向量(SV);而對于LP–SVR,即便ε域選擇為0時,由于軟約束在優(yōu)化問題中的使用,LP–SVR仍然能夠獲取稀疏解.通常情況下,稀疏解往往通過設定非零的ε域來獲取.

3 基于逼近誤差的L∞范數(shù)的回歸模型辨識

回歸模型的辨識離不開參數(shù)的求解,為了能夠將控制模型結構復雜性控制的優(yōu)化問題應用到回歸模型辨識,下面將討論將基于逼近誤差的L∞范數(shù)作為評判標準,建立回歸模型辨識的優(yōu)化問題.假設通過傳感器或數(shù)據(jù)獲取設備獲取一組測量數(shù)據(jù){(x1,y1),(x2,y2),···,(xN,yN)},其中{x1,x2,···,xN}描述輸入測量數(shù)據(jù),對應的輸出定義為{y1,y2,···,yN}.設測量滿足如下非線性系統(tǒng)模型:

根據(jù)統(tǒng)計學理論可知[34],存在以式(11)描述的非線性回歸模型f對測量模型g的任意逼近,當逼近精度越小時,需要的支持向量越少;反之,逼近精度越高,則支持向量越多.因此,對任意給定的實連續(xù)函數(shù)g及η >0,存在如下回歸模型f滿足:

值得指出的是,較小的η值,對應式(11)較多的支持向量.現(xiàn)討論回歸模型,式(11)的另一種參數(shù)求解方法.在非線性系統(tǒng)模型的逼近情況下,定義實際輸出與由式(11)定義的SVR模型輸出之間的偏差ek:

為了估計SVR模型的最優(yōu)參數(shù),考慮如下最大建模誤差的最小化:

Z表示整個輸入數(shù)據(jù)集.顯然,這是一個最小–最大(min-max)優(yōu)化問題.在式(11)描述的回歸模型情況下,式(23)的最小化可通過如下兩個階段完成:1)核函數(shù)中的核寬度σ的參數(shù)尋優(yōu),通常采用經典的k階交叉驗證或其他優(yōu)化方法來實現(xiàn);2)式(11)的參數(shù)確定可通過min-max優(yōu)化問題求解,即

基于文獻[22],優(yōu)化問題(24)可通過如下引理1求解,該引理也是本文提出方法用于辨識最優(yōu)區(qū)間回歸模型的基礎.

引理1min-max優(yōu)化問題中的參數(shù)可通過最小化λ,且滿足如下不等式約束的線性規(guī)劃求解,即

其中:β=(β1β2··· βN)T和b為被求解參數(shù),λ表示最大逼近誤差.

證定義λ如下:

可直接得出如下不等式成立:

根據(jù)去絕對值運算,可知式(1)的約束條件成立.

證畢.

4 基于L∞范數(shù)區(qū)間回歸模型辨識

有了基于L∞范數(shù)的回歸模型辨識的基礎之后,接下來將討論區(qū)間回歸模型的辨識的一種新方法,為了能給出辨識方法的清晰思路,整個辨識過程如圖1所示.

假設不確定非線性函數(shù)或非線性系統(tǒng)屬于某函數(shù)簇Γ,由名義函數(shù)g和不確定性?g(x)兩部分組成,即

gnom為標稱函數(shù),不確定性?g(x)滿足

現(xiàn)考慮來自函數(shù)簇Γ的成員函數(shù)g,x ∈Rd,對應輸入x上的測量輸出Y={y1,y2,···,yN},即yk=g(xk),g ∈Γ,xk ∈S,k=1,2,···,N.最優(yōu)區(qū)間回歸模型辨識的思想是,在滿足如下約束條件(30)的情況下,辨識下邊回歸模型fL(xk)和上邊回歸模型fU(xk):

在上式約束的意義下,來自函數(shù)簇的任一成員函數(shù)總能在區(qū)間帶[fL(xk),fU(xk)]中找到.這樣的區(qū)間帶有無窮多個,本文的目的就是根據(jù)提出的約束,確定盡可能窄的區(qū)間帶.該問題的研究,文獻[35]采用了連續(xù)分段線性函數(shù)的逼近方法來實現(xiàn).在本文,是通過最小化最大逼近誤差來給出回歸模型更好的逼近,或尋找一個更緊湊的逼近帶.基于式(11),可給出上、下邊回歸模型的表達式如下:

基于引理1,式(32)和式(31)所對應的上、下邊回歸模型fU(x),fL(x)可通過線性規(guī)劃對如下優(yōu)化問題進行求解.

因此,進一步可得如下定理.

定理1對于下邊回歸模型fL(x)的參數(shù)βL,bL的求解,對應min-max優(yōu)化問題(34)可通過最小化λ1,且滿足如下不等式約束的線性規(guī)劃求解,即

λ1表示對應下邊模型fL最大逼近誤差.

圖1 一種新的區(qū)間回歸模型辨識方法流程圖Fig.1 Flow chart of identifying interval regression model using proposed method

定理2對于上邊回歸模型fU(x)的參數(shù)βU,bU的求解,對應min-max優(yōu)化問題(34)可通過最小化λ2,且滿足如下不等式約束的線性規(guī)劃求解,即λ2表示對應上邊模型fU最大逼近誤差.

證上述定理1和定理2可直接通過引理1推出.

證畢.

從上述區(qū)間回歸模型辨識的思想來看,僅考慮如何讓上、下邊模型輸出與實際輸出之間的逼近誤差最小,而對回歸模型本身的結構復雜性控制卻沒有被考慮,這樣一來,通過上述優(yōu)化問題獲取的參數(shù)解有可能出現(xiàn)不全為零的情況,不具有稀疏性,對應N個樣本數(shù)據(jù)可能對區(qū)間模型的建立都在起作用,從而導致較復雜的模型結構.為了解決模型稀疏解的問題,在求解區(qū)間回歸模型的優(yōu)化問題中,有必要將結構風險最小化的思想融合其中,在保證回歸模型逼近精度的同時,盡可能讓模型結構復雜性得到有效控制.基于此,將區(qū)間回歸模型所對應的上、下邊回歸模型優(yōu)化問題(35)和(36),融合到基于結構風險最小化的優(yōu)化問題(16).因此,基于式(15),對應下邊回歸模型新的優(yōu)化問題為

其中λ1表示最大逼近誤差,參數(shù)與第2節(jié)的定義一樣.

對于上邊回歸模型fU(x)的優(yōu)化問題,有

相似地,λ2表示最大逼近誤差,參數(shù),bU,ε,ξk與第2節(jié)的定義一樣.從優(yōu)化問題(37)和(38)可知,為典型的線性規(guī)劃問題,可用向量及矩陣形式表述如下:

以及

其中:I為N×N單位矩陣,Z表示N階零矩陣,E和0是元素分別為1和0的列向量,

核矩陣K的元素定義為

σ為可調核參數(shù).顯然,應用內點法或單純性方法可以求解優(yōu)化問題(40)和(39),進而得到區(qū)間回歸模型所對應的上、下邊回歸模型fU(x)和fL(x):

從提出的優(yōu)化問題中來建立fU(x)和fL(x)的整個過程來看,優(yōu)化問題既包括了對模型結構復雜性控制的目標函數(shù),又包括了如何獲取較好的模型精度所對應的逼近誤差作為目標函數(shù),而且模型結構復雜性和模型精度之間的權衡可以通過超參數(shù)(包括核寬度、規(guī)則化參數(shù)以及不敏感域)進行調整.如果超參數(shù)選取不當,會極大影響所建立區(qū)間模型的泛化性能.當前,關于超參數(shù)尋優(yōu)的方法包括元啟發(fā)式算法[36]、k–階交叉驗證法[37]、正弦–余弦算法(sine cosine algorithm SCA)[38]、遺傳算法(genetic algorithms)[39]、粒子蠕優(yōu)化算法(partical swarm optimization,PSO)[40]等.然而,在眾多參數(shù)尋優(yōu)方法中,k–階交叉驗證法可以較好的避免模型過擬合問題[37],在理論研究和實際應用中得到了廣泛應用.總而言之,提出方法在保證獲取區(qū)間模型盡可能窄的區(qū)間帶的同時,而且還對模型結構復雜性進行有效控制,從而提高區(qū)間回歸模型的泛化性能[41].因此,k–階交叉驗證法將用于本文的參數(shù)尋優(yōu),其原理為:1)首先將整個訓練集劃分為k個互斥且大小相同的子集,其中一個作為測試集,剩下的k ?1個作為訓練集;2)將被尋優(yōu)的參數(shù)對(核寬度σ、規(guī)則化參數(shù)γ)以遞增方式設定,例如σ=2?15,2?13,···,23,γ=2?5,2?3,···,215;3)再用提出的方法以及參數(shù)對分別建立上、下邊回歸模型fU(x)和fL(x).這樣一來,訓練集中的每個樣本都將被用于模型的一次預測得到相應的預測值,并與真實值比較形成交叉驗證精度;4)將最好的交叉驗證精度所對應的參數(shù)對作為區(qū)間模型的最優(yōu)參數(shù)選擇.

所建立的區(qū)間回歸模型可以用于系統(tǒng)的故障檢測,例如當系統(tǒng)運行在健康狀態(tài)時,獲取所對應的無故障數(shù)據(jù),應用提出的方法對無故障數(shù)據(jù)進行建模,得到相應的區(qū)間回歸模型,從而獲取系統(tǒng)健康狀態(tài)下的區(qū)間帶.在系統(tǒng)運行期間,檢測某個測量參數(shù)輸出是否包含于區(qū)間帶,若實際輸出在對應的區(qū)間帶內,則判斷系統(tǒng)運行正常,否則故障發(fā)生;此外提出的區(qū)間回歸模型也可用于魯棒控制設計、信息壓縮等方面.

5 實驗研究

這部分內容將通過如下實驗分析,論證所提出方法的最優(yōu)性與稀疏性;同時為了更直觀的去評判提出的方法,將考慮如下兩個性能指標,即均方根誤差(root mean square error,RMSE)和支持向量占整個樣本數(shù)據(jù)的百分比SVs%.對于RMSE 指標定義如下:

N表示測試數(shù)據(jù)的總數(shù),yk為實際輸出,?yk是模型的被估輸出.RMSE反映了用提出方法所建立區(qū)間回歸模型在滿足各自約束條件下,即fU(x)?y≥0以及fL(x)?y≤0,模型輸出與實際測量數(shù)據(jù)之間的逼近程度;RMSE越小,逼近程度越好,反之越差.此外,對應優(yōu)化問題(39)–(40)的求解,若有或,則對應第k個樣本數(shù)據(jù)為支持向量,假設通過該條件判斷獲取Nk個支持向量,則支持向量(SV)占整個樣本數(shù)據(jù)的百分比SVs%可定義如下:

顯然,在保證模型精度的同時,指標SVs%越小越好,越小則表示求解的區(qū)間模型有稀疏解,模型結構簡單,具有較好的泛化性能.

下面將對提出的方法從區(qū)間模型的辨識精度以及稀疏特性展開實驗分析,論證其合理性與優(yōu)越性,包括不受噪聲干擾、受噪聲干擾的不確定性測量數(shù)據(jù)以及參數(shù)的不確定性.其中是支持向量回歸理論[30]產生以來,以及用于論證其他方法[42]最常采用的仿真.

首先考慮sinc(x)無噪聲情況下的分析,在區(qū)間[?10,10]上獲取100個等間隔無噪聲樣本.采用5–階交叉驗證法[37]獲取參數(shù)集(?,γ,σ)為(0.0001,1000,2.8),再通過提出的方法建立最優(yōu)區(qū)間回歸模型如圖2所示,圖3 給出了URMfU(x)和LRMfL(x)的逼近誤差.從圖2可知,區(qū)間模型與無噪聲的實際輸出基本上重合,fU(x)與fL(x)無限逼近實際輸出.與其他方法相比較,提出的方法分別需要12 個支持向量(SV)建立區(qū)間模型的fU(x)和fL(x),模型預測輸出與實際輸出之間的最大誤差為0.0057 和0.0108;文獻[34]用了39個SV,最大誤差0.01;文獻[42]用了9個SV,最大誤差為0.0087.因此,無論從模型稀疏特性還是建模精度來看,提出的方法具有一定的優(yōu)越性.此外,當被建模對象無噪聲干擾時,提出的最優(yōu)區(qū)間回歸模型變成了傳統(tǒng)的確定性建模.

圖2 提出方法的區(qū)間輸出Fig.2 The output of IRM

圖3 URM和LRM的逼近誤差Fig.3 Approximation error with noise-free for URM and LRM

接下來,考慮sinc(x)受噪聲干擾的情況.類似地,在區(qū)間[?10,10]上獲取100 個帶均勻分布噪聲為[?0.2,0.2]的等間隔噪聲樣本.應用5–階交叉驗證法[37]獲取設超參數(shù)集(?,γ,σ)為(0.01,100,2.5),則sinc(x)的區(qū)間輸出逼近如圖4所示,URM和LRM分別從100個數(shù)據(jù)中,僅僅用了其中的10 和9個數(shù)據(jù)建立回歸模型,這些數(shù)據(jù)被稱SV,對應的SVs%則為10%和9%,反映了提出方法所建立區(qū)間模型的稀疏特性;RMSE為0.1291和0.1238反映了建立區(qū)間模型的精度.

圖4 提出方法對100個噪聲樣本建立的區(qū)間輸出Fig.4 The output of IRM corresponding to 100 noise samples using the proposed method

從建模精度指標RMSE的數(shù)值來看,盡管所反映的區(qū)間帶變寬,緊湊性變差,但模型具有較好的稀疏特性.因此,建模精度與模型稀疏特性是一對矛盾體,根據(jù)建模的需要,從兩者之間取其平衡.繼續(xù)對sinc(x)在相同噪聲作用下,產生1000個樣本建立區(qū)間模型,仍然采用超參數(shù)集(?,γ,σ)為(0.01,100,2.5),圖5給出了提出方法的區(qū)間輸出,在保證模型精度條件下,稀疏特性也進一步得到保證,例如URM和LRM分別從1000個數(shù)據(jù)中,僅用了13和12個數(shù)據(jù),對應的SVs%為1.3%和1.2%,RMSE為0.2264 和0.2301.圖6給出了IRM 的逼近誤差,其中fU(xk)?yk≥0 以及fL(xk)?yk≤0.

圖5 提出方法對1000個噪聲樣本建立的區(qū)間輸出Fig.5 The output of IRM corresponding to 1000 noise samples using the proposed method

圖6 區(qū)間模型的逼近誤差Fig.6 Approximation error with noise-free for URM and LRM

為了進一步論證提出方法的稀疏特性,在實驗仿真過程中,事先設定大于0的較小值η=1.0×108,判斷回歸模型的展開項中系數(shù),k=1,2,···,N是否成立,如果滿足該條件,說明展開項中的第k項對回歸模型起作用,對應第k個樣本xk為支持向量,如圖7–8所示,分別對應URM和LRM中.

圖7 對應LRM展開項系數(shù)Fig.7 The coefficient of expansion term for LRM corresponding to(where δ is selected as 1.0E–08 in computational simulation)

圖8 對應URM展開項系數(shù)Fig.8 The coefficient of expansion term for URM corresponding to(where δ is selected as 1.0E–08 in computational simulation)

繼上述來自測量數(shù)據(jù)的不確定性實驗分析后,下面考慮來自模型參數(shù)不確定性的最優(yōu)區(qū)間模型辨識.假設帶有不確定性參數(shù)的非線性函數(shù)類Γ,其成員函數(shù)為f(x),由名義函數(shù)fnom(x)和不確定性?f(x)構成,即

設該函數(shù)類的定義域為?1 ≤x≤1,為獲取建立模型所需要的樣本數(shù)據(jù),不妨取xk=0.021k,k=?47,?46,···,46,47,圖9給出了由不確定性參數(shù)τ引起的不確定性輸出.接下來用提出的區(qū)間回歸模型包絡由不確定性參數(shù)τ值所引起的測量輸出.應用5–階交叉驗證獲取超參數(shù)集(ε,γ,σ)為(0.001,100,3.5),由上邊、下邊模型構成的區(qū)間回歸模型如圖10所示,區(qū)間模型的曲線平坦度變化相對較大,分別對應URM與LRM的SVs%都為45.26%,RMSE為0.0037和0.0036,辨識精度進一步提高,但區(qū)間模型趨于復雜,其中點線屬于Γ;若選取(ε,γ,σ)為(0.001,100,4.5),如圖11 所示,fU(x)和fL(x)的RMSE 分別為0.0073和0.0074,反映了提出方法的辨識精度較圖10模型結構相對簡單,此時URM與LRM從96個數(shù)據(jù)中,僅用了21個數(shù)據(jù)(支持向量)建立區(qū)間模型的上、下邊界(對應SVs%都為22.11%),稀疏特性較好,曲線較平坦,實線分別對應上邊回歸模型逼近fU(x)以及下邊回歸模型逼近fL(x).換言之,圖11所對應區(qū)間模型的稀疏特性比圖10好,但辨識精度卻比圖10差.此外,圖12 和圖13 給出了在滿足各自約束條件的fU(x)和fL(x)的逼近誤差曲線.為了更清晰的論證提出方法在辨識精度和稀疏特性之間的平衡,表1和圖14在不同核參數(shù)情況下的兩個指標RMSE和SVs%的變化,分別反映了模型辨識精度及模型的稀疏特性.

圖9 由參數(shù)不確定性引起的非線性函數(shù)簇輸出Fig.9 Actual of the family of nonlinear function caused by the uncertain parameter τ

圖10 當核寬度選擇為3.5時所對應的的區(qū)間輸出Fig.10 The output of IRM when the kernel width is selected as 3.5

圖11 當核寬度選擇為4.5時所對應的的區(qū)間輸出Fig.11 The output of IRM when the kernel width is selected as 4.5

圖12 區(qū)間模型的逼近誤差Fig.12 Approximation error for URM and LRM

圖13 區(qū)間模型的逼近誤差Fig.13 Approximation error for URM and LRM

圖14 RMSE與SVs%在不同核寬度下的比較結果Fig.14 Comparison results both RMSE and SVs%with the different σ is shown for URM(left)and LRM(right)

進一步,將提出的方法與文獻[15]從兩個指標RMSE,SVs%進行分析比較.根據(jù)文獻[15]定義如下回歸估計量:

則有回歸估計的均方根誤差為

N表示測試數(shù)據(jù)的總數(shù),f(x)為實際輸出,是模型的被估輸出.值得注意的是,該式的定義與式(43)是不一樣的,式(43)描述的是fU(x)和fL(x)與不確定性數(shù)據(jù)之間的RMSE,而式(48)描述的是回歸估計量的RMSE.在文獻[15]中,下面的非線性系統(tǒng)仿真被考慮:

其中noise表示在區(qū)間[?1,1]上隨機產生的實數(shù).從式(48)分別獲取訓練數(shù)據(jù)和測試數(shù)據(jù),當應用5–階交叉驗證獲取超參數(shù)(ε,γ,σ)為(0.001,10,0.5)時,應用提出的方法所建立的區(qū)間模型以及對應的上、下邊回歸模型的逼近誤差分別如圖15–16所示,上、下邊回歸模型從51個數(shù)據(jù)中都用了4個SV.對于fU(x)(上邊回歸模型),對應的第k個SV以及值如表2所示,其表達式為

圖15 當核寬度選擇為0.5時所對應的區(qū)間輸出Fig.15 The output of IRM when the kernel width is selected as 0.5

圖16 當核寬度選擇為0.5時所對應的區(qū)間輸出逼近誤差Fig.16 The approximation error of IRM when the kernel width is selected as 0.5

表2 fU(x)所對應的第k個SV以及值Table 2 The kth SV with

表2 fU(x)所對應的第k個SV以及值Table 2 The kth SV with

同理,對于fL(x)(下邊回歸模型),對應的第k個SV以及值如表3所示,其表達式為

表3 fL(x)所對應的第k個SV以及值Table 3 The kth SV with

表3 fL(x)所對應的第k個SV以及值Table 3 The kth SV with

當超參數(shù)(ε,γ,σ)的選取與文獻[15]一樣時,即(100,0.03,0.18),所對應的RMSE 和SVs%如表4 所示,無論是從訓練還是測試RMSE,提出方法的建模精度較文獻[15]的好,而且模型結構也較稀疏,對應SVs%為15.68%.

表4 本文提出方法與文獻[15]的比較Table 4 Comparison results of the proposed method and[15]

因此,通過上述實驗對提出的兩個指標,即SVs%以及RMSE進行分析可知,提出的方法可以:1)很好的建立來自不確定性測量數(shù)據(jù)或系統(tǒng)模型參數(shù)不確定性的區(qū)間模型,采用區(qū)間輸出代替?zhèn)鹘y(tǒng)的點輸出建模方法,更易于實際問題的研究;2)很好的解決了模型結構復雜性與辨識精度之間的平衡,在提高模型泛化性能的同時,模型辨識精度也能得到保證.

6 結論

當獲取一組由測量或參數(shù)不確定性等因素導致的測量數(shù)據(jù)集時,提出了一種新的區(qū)間回歸模型辨識方法.該方法將結構風險最小化理論與逼近誤差的L∞范數(shù)最優(yōu)化思想相結合,給出了在保證被辨識模型精度條件下,對模型結構復雜性進行有效控制的目標優(yōu)化問題,同時將復雜的凸二次規(guī)劃求解轉化為較簡單的線性規(guī)劃問題求解.克服了傳統(tǒng)方法在辨識非線性系統(tǒng)過程中,目標優(yōu)化問題僅考慮模型輸出與實際輸出之間的偏差達到最小,致使模型結構復雜.提出的區(qū)間回歸模型由包含所有測量數(shù)據(jù)的上、下邊回歸模型構成,可應用于被觀測系統(tǒng)的參數(shù)在某個區(qū)間變化時的函數(shù)簇建模、也可用于數(shù)據(jù)挖掘中的信息壓縮、魯棒控制系統(tǒng)辨識以及故障檢測.