保精度-稀疏特性的最優(yōu)上邊界回歸模型辨識(shí)

劉小雍，張南慶，李 青，閻昌國(guó)

（遵義師范學(xué)院 工學(xué)院，貴州 遵義 563006）

近年來(lái)，眾多復(fù)雜過(guò)程自動(dòng)化概念的應(yīng)用，如基于模型和數(shù)據(jù)的模型預(yù)測(cè)控制及故障診斷等，都需要實(shí)際被控系統(tǒng)或過(guò)程的靜態(tài)以及動(dòng)態(tài)行為的精確數(shù)學(xué)模型［1-2］。然而，大多數(shù)物理系統(tǒng)包含復(fù)雜的非線性及耦合關(guān)系等因素，導(dǎo)致很難建立準(zhǔn)確的數(shù)學(xué)模型。此外，對(duì)來(lái)自控制系統(tǒng)中的過(guò)程參數(shù)變化、外部干擾或傳感器失效也對(duì)控制系統(tǒng)的設(shè)計(jì)增加了諸多不確定性［3-4］。這些現(xiàn)象的存在更需要探索一種更有效的建模方法，能實(shí)現(xiàn)復(fù)雜的輸入-輸出映射及非線性函數(shù)逼近。因此，出現(xiàn)了基于數(shù)據(jù)或數(shù)據(jù)驅(qū)動(dòng)的建模方法［5-6］，即通過(guò)傳感器或其他數(shù)據(jù)設(shè)備獲取被控系統(tǒng)的輸入-輸出數(shù)據(jù)，采用神經(jīng)網(wǎng)絡(luò)（NN）［7-8］、T-S模糊模型［9］、支持向量機(jī)［10］以及相關(guān)向量機(jī)（RVM）［11］等方法建立復(fù)雜系統(tǒng)的數(shù)學(xué)模型。這些方法的共同特點(diǎn)是建立的數(shù)學(xué)模型一般從擬合精度角度出發(fā)來(lái)考慮，不受系統(tǒng)參數(shù)、測(cè)量噪聲或其他不確定性等因素的影響，具有一定的局限性：①基于訓(xùn)練數(shù)據(jù)建立的數(shù)學(xué)模型結(jié)構(gòu)復(fù)雜、泛化性能差；②確定的數(shù)學(xué)模型不能自適應(yīng)系統(tǒng)的變化。

基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的數(shù)據(jù)建模方法得到了廣泛研究。例如在NN、TS模糊模型的參數(shù)辨識(shí)過(guò)程中，主要考慮如何最小化模型的預(yù)測(cè)輸出與實(shí)際輸出之間的偏差，其中L2-范數(shù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則［12-14］以及基于卡爾曼濾波的參數(shù)的估計(jì)方法［15-16］用得較多。然而僅從建模精度來(lái)看，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則確實(shí)可以以任意的精度逼近任意的非線性系統(tǒng)，但容易陷入局部最優(yōu)，導(dǎo)致模型結(jié)構(gòu)復(fù)雜［17］。因此，有必要引入對(duì)模型結(jié)構(gòu)復(fù)雜性的控制。文獻(xiàn)［18］從模型稀疏角度出發(fā)，在前饋NN中引入稀疏描述概念，對(duì)模型的初始結(jié)構(gòu)進(jìn)行優(yōu)化，用于正確選取最小化輸出殘差的重要隱神經(jīng)元，權(quán)值及偏差項(xiàng)的調(diào)整仍然采用最小二乘標(biāo)準(zhǔn)。為了解決模型精度以及泛化性能之間的平衡，文獻(xiàn)［19］引入了結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則作為目標(biāo)優(yōu)化，極大提高了模型的泛化性能。

結(jié)構(gòu)風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)和控制模型結(jié)構(gòu)的Vapnik-Chervonenkis（VC）維組成，其中VC維對(duì)模型結(jié)構(gòu)起著至關(guān)重要的影響。隨著不敏感域損失函數(shù)的引入，支持向量機(jī)（SVM）被擴(kuò)展到回歸問(wèn)題，即支持向量回歸（SVR）［19］，已成功應(yīng)用于最優(yōu)控制、TS模型的初始結(jié)構(gòu)選取、時(shí)間序列預(yù)測(cè)以及非線性系統(tǒng)建模等。鑒于SVR中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理在各種應(yīng)用中的優(yōu)越性，文獻(xiàn)［13］將Hammerstein系統(tǒng)的動(dòng)態(tài)線性部分與靜態(tài)非線性部分辨識(shí)構(gòu)造為最小二乘-SVR（LSSVR）架構(gòu)，并對(duì)動(dòng)態(tài)部分采用LSSVR辨識(shí)。在TS模型的后件參數(shù)辨識(shí)中，為了克服傳統(tǒng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化所帶來(lái)的缺陷，文獻(xiàn)［20］基于LSSVR分解建立了一種新的代價(jià)函數(shù)求解后件參數(shù)。從上述基于數(shù)據(jù)的建模方法來(lái)看，主要集中在確定性建模方法的研究，即獲取到的數(shù)學(xué)模型是確定的點(diǎn)輸出，其模型結(jié)構(gòu)保持不變，同時(shí)也不受系統(tǒng)參數(shù)變化、測(cè)量噪聲以及其他不確定性因素的影響。然而，在眾多的實(shí)際應(yīng)用中，獲取的信息往往呈現(xiàn)出不確定、不準(zhǔn)確以及不完整等特征，若仍采用傳統(tǒng)的確定性數(shù)學(xué)模型建模，顯然不能更好地去捕捉這一類(lèi)不確定性復(fù)雜系統(tǒng)的特征變化。因此，本文將基于SVR的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理與逼近誤差的L1范數(shù)相結(jié)合，建立了保模型精度-稀疏特性的最優(yōu)上邊界回歸模型建模方法。首先，建立滿足上邊界回歸模型的約束條件。其次，將結(jié)構(gòu)風(fēng)險(xiǎn)的L2范數(shù)轉(zhuǎn)化為簡(jiǎn)單的L1范數(shù)優(yōu)化問(wèn)題，并將回歸模型與實(shí)際測(cè)量數(shù)據(jù)之間的逼近誤差的L∞范數(shù)融合到結(jié)構(gòu)風(fēng)險(xiǎn)的L1范數(shù)優(yōu)化問(wèn)題，再應(yīng)用較簡(jiǎn)單的線性規(guī)劃對(duì)雙范數(shù)的優(yōu)化問(wèn)題進(jìn)行求解并獲取模型參數(shù)。所提出方法的最優(yōu)性體現(xiàn)在：①上邊界模型的建模精度通過(guò)逼近誤差的L1范數(shù)得到保證；②模型結(jié)構(gòu)復(fù)雜性在結(jié)構(gòu)風(fēng)險(xiǎn)的L1范數(shù)優(yōu)化條件下得到有效控制，進(jìn)而提高其泛化性能。

1 支持向量回歸的L1范數(shù)優(yōu)化問(wèn)題轉(zhuǎn)化

支持向量回歸［17，21］（support vector regression，SVR）是將基于二范數(shù)的結(jié)構(gòu)風(fēng)險(xiǎn)最小化作為優(yōu)化目標(biāo)，實(shí)現(xiàn)對(duì)回歸模型結(jié)構(gòu)復(fù)雜性的控制，從而提高模型的泛化性能；然而，在文獻(xiàn)［22］中指出，SVR中的優(yōu)化目標(biāo)求解采用的是二次規(guī)劃，會(huì)產(chǎn)生模型的冗余描述以及昂貴的計(jì)算成本；同時(shí)，L2范數(shù)的優(yōu)化問(wèn)題不能直接用于本文提出的最優(yōu)下邊界回歸模型辨識(shí)的優(yōu)化問(wèn)題，需要進(jìn)行L2范數(shù)到L1范數(shù)的轉(zhuǎn)化。對(duì)于二次規(guī)劃-SVR（QPSVR）的優(yōu)化問(wèn)題，

其中：φ（·）表示從輸入空間到高維空間的非線性特征映射，即為松弛變量，分別對(duì)應(yīng)超出正、負(fù)方向偏差值時(shí)的大??；常量γ大于0，反應(yīng)非線性f與偏差大于ε時(shí)兩者之間的平衡。對(duì)于式SVR模型f有，

其中β＝（β1，β2，…，βN）T。對(duì)于式（2）的優(yōu)化問(wèn)題，范數(shù)的引入是為了控制模型的復(fù)雜度，根據(jù)范數(shù)的等價(jià)性可知［23］，在結(jié)構(gòu)風(fēng)險(xiǎn)中引入其他范數(shù)也可以同樣對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行控制。因此，可考慮將QP-SVR的優(yōu)化問(wèn)題（1）變成

其中f（x）以式（2）形式描述，表示系數(shù)空間的L1-范數(shù)。因此，新的約束優(yōu)化問(wèn)題為［24］

從幾何的角度來(lái)看，ξk和之間的關(guān)系在SVR中滿足因此，在優(yōu)化問(wèn)題（5）中僅引入松弛變量ξk即可［22］，即

為了轉(zhuǎn)化上述優(yōu)化問(wèn)題為線性規(guī)劃問(wèn)題，將βk和｜βk｜進(jìn)行如下分解［25］，

其中α＋k，α-k≥0?？紤]到α＋k和α-k不能同時(shí)大于0，對(duì)應(yīng)3種不同情況的解，即（α＋k，0）、（0，α-k）、（0，0），因此式（7）的分解是唯一的。下面對(duì)線性規(guī)劃問(wèn)題（6）在式（7）的分解下，α＋k和α-k不能同時(shí)大于0進(jìn)行簡(jiǎn)單證明。采用反證法，假設(shè)在優(yōu)化問(wèn)題（6）的最優(yōu)解中存在某一個(gè)k，使得α＋k和α-k同時(shí)大于零，現(xiàn)取τ＝min（α＋k，α-k），將α＋k和α-k分別換成α＋k-τ和α-k-τ，仍然滿足α＋k-τ＞0和α-k-τ＞0，但是目標(biāo)函數(shù)中的α＋k＋α-k將減少α＋k＋α-k-2τ，這顯然與最優(yōu)解的假設(shè)相矛盾。因此，α＋k和α-k不能同時(shí)大于0，即α＋k·α-k＝0。

基于式（7），優(yōu)化問(wèn)題（6）進(jìn)一步為

現(xiàn)定義向量

向量β的L1-范數(shù)表示為

α＋＝（α＋1，α＋2，…，α＋N）T，α-＝（α-1，α-2，…，α-N）T。以向量形式將優(yōu)化問(wèn)題（8）構(gòu)造為標(biāo)準(zhǔn)的線性規(guī)劃問(wèn)題如下：

其中：ξ＝（ξ1，ξ2，…，ξN）T；I為N×N的單位矩陣，y＝（y1，y2，…，yN）T

線性規(guī)劃問(wèn)題（9）可通過(guò)單純型算法或原-對(duì)偶內(nèi)點(diǎn)算法進(jìn)行求解［26］。對(duì)于QP-SVR，在ε域之外的所有數(shù)據(jù)點(diǎn)將被選擇為支持向量（SVs）；而對(duì)于LP-SVR，即便ε域選擇為0時(shí)，由于軟約束在優(yōu)化問(wèn)題中的使用，LP-SVR仍然能夠獲取稀疏解。通常情況下，稀疏解往往通過(guò)設(shè)定非零的ε域來(lái)獲取。

2 基于L1-L∞范數(shù)的最優(yōu)上邊界回歸模型辨識(shí)

在完成SVR的優(yōu)化問(wèn)題從L2范數(shù)到L1范數(shù)轉(zhuǎn)化之后，接下來(lái)將從保精度以及保稀疏特性的角度出發(fā)建立最優(yōu)UBRM。如圖1所示，提出的方法將從2個(gè)重要指標(biāo)來(lái)辨識(shí)最優(yōu)UBRM，其中保模型辨識(shí)精度通過(guò)引入最小化所有模型輸出與實(shí)際輸出之間的逼近誤差最大值來(lái)實(shí)現(xiàn)，即逼近誤差的L∞范數(shù)優(yōu)化問(wèn)題。另一方面，辨識(shí)精度太高會(huì)導(dǎo)致模型結(jié)構(gòu)復(fù)雜，出現(xiàn)模型過(guò)擬合問(wèn)題，因此引入結(jié)構(gòu)風(fēng)險(xiǎn)最小化對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行控制，即保模型的稀疏特性。接下來(lái)，先從保模型辨識(shí)精度討論逼近誤差的L∞范數(shù)回歸模型辨識(shí)問(wèn)題。

圖1 最優(yōu)上邊界回歸模型辨識(shí)方法流程

2.1 逼近誤差的L∞范數(shù)回歸模型辨識(shí)

假設(shè)通過(guò)傳感器或數(shù)據(jù)獲取設(shè)備獲取一組測(cè)量數(shù)據(jù)｛（x1，y1），（x2，y2），…，（xN，yN）｝，其中｛x1，x2，…，xN｝描述輸入測(cè)量數(shù)據(jù)，對(duì)應(yīng)的輸出定義為｛y1，y2，…，yN｝。設(shè)測(cè)量滿足如下非線性系統(tǒng)模型

根據(jù)統(tǒng)計(jì)學(xué)理論可知［27］，存在以式（2）描述的非線性回歸模型f對(duì)測(cè)量模型g的任意逼近，當(dāng)逼近精度越小時(shí)，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對(duì)任意給定的實(shí)連續(xù)函數(shù)g及較小的正實(shí)數(shù)η＞0，存在如下回歸模型f滿足

由于下邊界回歸模型是基于獲取到的輸入-輸出數(shù)據(jù)來(lái)辨識(shí)的，其中集合S是指被建模對(duì)象的數(shù)據(jù)輸入集。值得指出的是，較小的η值，對(duì)應(yīng)式（2）較多的支持向量。現(xiàn)討論回歸模型中式（2）的另一種參數(shù)求解方法。在非線性系統(tǒng)模型的逼近情況下，定義實(shí)際輸出與由式（2）定義的SVR模型輸出之間的偏差ek，

為了估計(jì)SVR模型的最優(yōu)參數(shù)，考慮如下最大建模誤差的最小化：

Z表示整個(gè)輸入數(shù)據(jù)集。顯然，這是一個(gè)最小-最大（min-max）優(yōu)化問(wèn)題。在式（2）描述的回歸模型情況下，式（13）的最小化可通過(guò)2個(gè)階段完成：①核函數(shù)中的核寬度σ的參數(shù)尋優(yōu)，通常采用經(jīng)典的交叉驗(yàn)證或其他方法來(lái)實(shí)現(xiàn)，其詳細(xì)過(guò)程在本文中不再討論；②式（2）的參數(shù)確定可通過(guò)min-max優(yōu)化問(wèn)題求解，即

定理1min-max優(yōu)化問(wèn)題中的參數(shù)可通過(guò)最小化λ，且滿足如下不等式約束的線性規(guī)劃求解，即

其中：β＝（β1，β2，…，βN）T和b為被求解參數(shù)；λ表示最大逼近誤差。

證明定義λ如下，

可直接得出如下不等式，

根據(jù)去絕對(duì)值運(yùn)算，可知式（15）的約束條件成立。

2.2 基于L1-L∞范數(shù)的最優(yōu)上邊界回歸模型辨識(shí)

假定不確定非線性函數(shù)或非線性系統(tǒng)屬于函數(shù)簇Γ由名義函數(shù)gnom（x）和不確定性Δg（x）兩部分組成，

其中不確定性Δg（x）滿足R＋?，F(xiàn)考慮來(lái)自函數(shù)簇Γ的成員函數(shù)g，x∈Rd，對(duì)應(yīng)輸入x上的測(cè)量輸出Y＝｛y1，y1，…，yN｝，即yk＝g（xk），g∈Γ，xk∈S，k＝1，2，…，N。UBRM建模的思想是，在滿足約束（11）的條件下，建模下界回歸模型f（xk），

在式（19）約束的意義下，來(lái)自函數(shù)簇的任一成員函數(shù)總能在UBRM上方中找到。顯然，這樣的UBRM有無(wú)窮多個(gè)，提出方法的目的就是根據(jù)提出的約束（11），確定盡可能逼近成員函數(shù)的上界。本文是通過(guò)將L∞范數(shù)、結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論以及線性規(guī)劃相結(jié)合，給出UBRM 更好的逼近。由式（3）給出UBRM的表達(dá)式，

UBRMf（x）可通過(guò)線性規(guī)劃對(duì)如下優(yōu)化問(wèn)題進(jìn)行求解：

定理2對(duì)于UBRMf（x）的參數(shù)β，b的求解，對(duì)應(yīng)min-max優(yōu)化問(wèn)題（2.12）可通過(guò)最小化λ，且滿足如下不等式約束的線性規(guī)劃求解，即

其中λ表示最大逼近誤差。

證明定理2可直接通過(guò)定理1推出。

從上述回歸模型辨識(shí)的思想來(lái)看，僅考慮上邊模型輸出與實(shí)際輸出之間的逼近誤差，而回歸模型本身的結(jié)構(gòu)復(fù)雜性卻沒(méi)有被考慮，這樣一來(lái)，通過(guò)上述優(yōu)化問(wèn)題獲取的參數(shù)解有可能出現(xiàn)不全為零的情況，不具有稀疏特性，對(duì)應(yīng)N個(gè)樣本數(shù)據(jù)可能都是支持向量，導(dǎo)致模型結(jié)構(gòu)復(fù)雜。為了解決模型稀疏解的問(wèn)題，在求解上邊界回歸模型的優(yōu)化問(wèn)題中，有必要將結(jié)構(gòu)風(fēng)險(xiǎn)最小化的思想融合其中，在保證回歸模型逼近精度的同時(shí)，盡可能讓模型結(jié)構(gòu)復(fù)雜性得到有效控制?；诖?，將上邊界回歸模型優(yōu)化問(wèn)題（14）融合到基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的優(yōu)化問(wèn)題（3）。因此，對(duì)于帶有稀疏特性的下界回歸模型f（x）的優(yōu)化問(wèn)題，有

其中：λ表示最大逼近誤差；參數(shù)α＋k、α-k、b、ε、ξk與第二節(jié)的定義一樣。

從優(yōu)化問(wèn)題（23）可知，作為典型的線性規(guī)劃問(wèn)題，可用向量及矩陣形式表述如下：

其中：

I為N×N的單位矩陣；E＝1N×1；核矩陣K的元素定義為

σ為可調(diào)核參數(shù)。

顯然，應(yīng)用內(nèi)點(diǎn)法或單純性方法可以求解優(yōu)化問(wèn)題，進(jìn)而得到下界回歸模型f（x）。

從應(yīng)用提出方法來(lái)建立OLRMf（x）的整個(gè)過(guò)程來(lái)看，優(yōu)化問(wèn)題既包括了對(duì)模型結(jié)構(gòu)復(fù)雜性控制的目標(biāo)函數(shù)，又包括了如何獲取較好的模型精度所對(duì)應(yīng)的逼近誤差作為目標(biāo)函數(shù)，而且模型結(jié)構(gòu)復(fù)雜性控制和模型精度之間的權(quán)衡可以通過(guò)規(guī)則化參數(shù)進(jìn)行調(diào)整?？偠灾岢龇椒ㄔ诒ＷC獲取下界模型建模精度的同時(shí)，而且還對(duì)模型結(jié)構(gòu)復(fù)雜性進(jìn)行有效控制，從而提高下界回歸模型的泛化性能。

3 實(shí)驗(yàn)分析

為了論證提出方法的合理性與優(yōu)越性，將從保精度和保模型稀疏特性兩方面展開(kāi)提出方法的實(shí)驗(yàn)論證，其中保精度是通過(guò)均方根誤差（root mean squares error，RMSE）指標(biāo)進(jìn)行評(píng)估，定義如下：

其中：N表示所獲取測(cè)量數(shù)據(jù)的總數(shù)；y（k）為第k個(gè)實(shí)際測(cè)量數(shù)據(jù)；f（xk）對(duì)應(yīng)提出方法的上界模型預(yù)測(cè)輸出，如式（25）定義。從提出的方法來(lái)看，對(duì)于UBRM，必滿足f（xk）-y（k）≥0，但滿足該條件的f（xk）有無(wú)窮多個(gè)。因此，在保證f（xk）-y（k）≥0恒成立的條件下，f（xk）與y（k）之間的偏差越小越好，即通過(guò)RMSE指標(biāo)進(jìn)行評(píng)估，若RMSE越小，UBRM建模精度越高，反之較低。

顯然，較高的建模精度，通常情況下會(huì)引起UBRM的結(jié)構(gòu)更復(fù)雜，喪失模型結(jié)構(gòu)的稀疏特性，泛化性能變差。為了對(duì)模型結(jié)構(gòu)的稀疏特性進(jìn)行有效評(píng)估，將采用在所有N個(gè)測(cè)量數(shù)據(jù)中，對(duì)模型結(jié)構(gòu)本質(zhì)上起貢獻(xiàn)作用的測(cè)量數(shù)據(jù)，即支持向量（support vector，SV）所占百分比，即SVs%，用于評(píng)估UBRM的稀疏特性，其定義如下：

其中Nk表示SV的個(gè)數(shù)，對(duì)應(yīng)優(yōu)化問(wèn)題（24）的求解中，當(dāng)被求解參數(shù)滿足條件α＋k-α-k≥δ時(shí)，則對(duì)應(yīng)的k個(gè)輸入數(shù)據(jù)xk為SV，δ為較小的正數(shù)，在實(shí)驗(yàn)仿真中，取δ＝10-8。當(dāng)SVs%越小時(shí)，用于建立UBRM的SV個(gè)數(shù)就越少，對(duì)應(yīng)模型較好的稀疏特性，但模型的辨識(shí)精度會(huì)降低。因此，根據(jù)不同建模需要，應(yīng)從既能保模型精度，又能保模型稀疏特性之間取其平衡。

下面將從來(lái)自模型參數(shù)不確定性和測(cè)量數(shù)據(jù)不確定性兩個(gè)方面，應(yīng)用提出的方法建立由不確定性所引起的UBRM。雖然基于數(shù)據(jù)的建模方法很多，包括T-S模糊模型、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等，但這些方法主要是從模型逼近和擬合的角度進(jìn)行建模，而本文提出的方法是建模所有不確定性參數(shù)以及不確定性測(cè)量數(shù)據(jù)的上邊界模型f（x），且滿足條件f（x）≥y（k），同時(shí)對(duì)UBRM的建模精度以及模型結(jié)構(gòu)稀疏特性進(jìn)行有效控制。先考慮來(lái)自參數(shù)不確定性的UBRM 辨識(shí)的試驗(yàn)分析。

其中被建模對(duì)象g（x）由名義函數(shù)fnorm（x）以及不確定性參數(shù)τ引起的不確定性兩部分構(gòu)成，設(shè)τ的取值范圍［0，1］，x的定義域［-1，1］。為了建立UBRM，基于式（28）～（30）獲取樣本數(shù)據(jù)，不妨取xk＝0.021k，k＝-47，…，47。圖2給出了由不確定性參數(shù)τ引起的不確定性輸出，對(duì)應(yīng)τ＝｛0，0.2，0.4，0.6，0.8｝。應(yīng)用提出的方法建立不確定性輸出的UBRM如圖3所示，其中超參數(shù)集（ε，γ，σ）選擇為（0.004，100，40），建立的UBRM在滿足f（xk）-y（k）≥0條件下，僅用了4個(gè)支持向量（SVs），即從95個(gè)測(cè)量數(shù)據(jù)中，真正對(duì)UBRM起決定性作用的只有4個(gè)數(shù)據(jù)，SVs%為4.21%，同時(shí)表明UBRM具有較好的稀疏特性，對(duì)應(yīng)模型結(jié)構(gòu)簡(jiǎn)單；然而UBRM 的建模精度變差，即RMSE為0.137 2，其建模誤差如圖4所示，紅色實(shí)線表示零水平線，所有的逼近誤差都在其上方，意味著f（xk）-y（k）≥0。當(dāng)核參數(shù)σ為8.0時(shí)，如圖5所示，紅色實(shí)線表示提出方法建立的UBRM。

圖2 由不確定性參數(shù)τ引起的輸出

圖3 所建立的UBRM，其中紅色實(shí)心圓表示4個(gè)支持向量（SVs）

圖4 核參數(shù)σ為40時(shí)的逼近誤差

圖5 所建立的UBRM，其中紅色實(shí)心圓表示15個(gè)支持向量（SVs）

圖5的紅色實(shí)心圓描述的SV相比于圖3建模精度有較大改進(jìn)，對(duì)應(yīng)的RMSE為0.008 8；從稀疏特性角度來(lái)看，對(duì)應(yīng)SVs%為16.84%，從95個(gè)測(cè)量數(shù)據(jù)中用于建立UBRM只用了15個(gè)數(shù)據(jù)。因此，無(wú)論是建模精度還是模型稀疏特性，UBRM均得到保證，建模誤差如圖6所示。為獲取UBRM保精度以及保稀疏特性之間的平衡，如圖7給出了SVs%和RMSE在不同核參數(shù)下的變化曲線，顯然，隨核參數(shù)的增大，SVs%在減小，表明稀疏特性越好；但RMSE隨核參數(shù)的增大而增大，σ越小，RMSE越小，表明建模精度越高，需要較大的SVs%來(lái)保證。因此，SVs%和RMSE之間互為矛盾體，可通過(guò)提出的方法可以對(duì)模型保精度-保稀疏特性之間取其平衡。

圖6 核參數(shù)σ為8.0時(shí)的逼近誤差

圖7 RMSE與SVs%在不同核寬度下的比較結(jié)果

繼上述來(lái)自參數(shù)不確定性所引起的不確定性輸出的UBRM分析之后，接下來(lái)考慮如下的非線性動(dòng)態(tài)系統(tǒng)，

其中noise是均值為0，方差為0.25的高斯噪聲。為了建立UBRM，從受噪聲影響后的式（31）獲取201個(gè)測(cè)量數(shù)據(jù)。當(dāng)核參數(shù)超參數(shù)σ選擇較大時(shí)，即σ＝25，對(duì)應(yīng)超參數(shù)集（ε，γ，σ）為（2.0，1 000，25），建立的UBRM 如圖8所示，在滿足f（xk）-y（k）≥0條件下，對(duì)應(yīng)逼近誤差如圖9所示，描述建模精度的RMSE為0.950 5，稀疏特性指標(biāo)SVs%為0.034 8，表明從201個(gè)測(cè)量數(shù)據(jù)僅用了6個(gè)數(shù)據(jù)建立UBRM，這6個(gè)數(shù)據(jù)也就是SV，對(duì)應(yīng)201個(gè)測(cè)量數(shù)據(jù)的第k個(gè)數(shù)據(jù)的αk＋-αk-≥10-8。

圖8 所建立的UBRM，其中紅色實(shí)心圓表示6個(gè)支持向量（SVs）

圖9 核參數(shù)σ為25.0時(shí)的逼近誤差

如圖10所示，對(duì)UBRM起貢獻(xiàn)作用的第k個(gè)數(shù)據(jù)以藍(lán)色實(shí)心圓表示，其他的數(shù)據(jù)對(duì)應(yīng)｛α＋k-α-k｝≤10-8，對(duì)建立UBRM 的貢獻(xiàn)可忽略不計(jì)，UBRM表達(dá)式如下：

既要提高建模精度，又要保證模型的稀疏特性，不妨取核參數(shù)σ＝7.0，可得UBRM，如圖11所示，建模精度相比于圖7有較大改進(jìn)，對(duì)應(yīng)的RMSE為0.484 5；描述稀疏特性指標(biāo)的SVs%為11.44%，從保精度-保稀疏特性來(lái)看，有著較好的輸出結(jié)果。進(jìn)一步，當(dāng)核參數(shù)σ為0.6時(shí)，RMSE為1.360 4×10-4，具有較高的建模精度，然而描述模型結(jié)構(gòu)復(fù)雜的稀疏特性指標(biāo)SVs%達(dá)到了100%，說(shuō)明在滿足約束f（xk）-y（k）≥0條件下，建立UBRM的所有數(shù)據(jù)都在做貢獻(xiàn)，如圖12所示，完全喪失了模型的稀疏特性，出現(xiàn)了過(guò)擬合問(wèn)題，逼近誤差如圖13所示。

圖10 對(duì)應(yīng)UBRM的第k個(gè)展開(kāi)項(xiàng)系數(shù)≥10-8

圖11 所建立的UBRM，其中紅色實(shí)心圓表示23個(gè)支持向量（SVs）

圖12 所建立的UBRM，其中紅色實(shí)心圓表示所有數(shù)據(jù)均為支持向量（SVs）

圖13 核參數(shù)σ為0.6時(shí)的過(guò)擬合逼近誤差

表1給出了在不同核寬度σ下的SVs%和RMSE，從中可以發(fā)現(xiàn)，UBRM隨核寬度σ的增加，SVs%在逐漸減小，表明建立UBRM所用到的SVs個(gè)數(shù)減小，模型結(jié)構(gòu)簡(jiǎn)單，對(duì)應(yīng)較好的稀疏特性；相反，用于反映UBRM辨識(shí)精度的RMSE在增加，表明模型的辨識(shí)精度降低。因此，反映稀疏特性的SVs%和反映模型辨識(shí)精度的RMSE之間是一對(duì)矛盾體，在核寬度σ的選取上，應(yīng)從建模的需要從兩者之間取其平衡，不能一味地追求某個(gè)指標(biāo)。事實(shí)上，稀疏特性反映的是UBRM的結(jié)構(gòu)復(fù)雜性，模型對(duì)應(yīng)的SVs%越小，構(gòu)造UBRM所需要的參數(shù)越少，模型結(jié)構(gòu)相對(duì)簡(jiǎn)單。因此，在保證模型精度的條件下，越稀疏的UBRM，則泛化性能越好。

表1 不同核寬度σ情況下的SVs%和RMSE（ε＝0.000 1，γ＝1 000）

接下來(lái)考慮用提出的方法對(duì)如下傳遞函數(shù)在前向通道恒增益參數(shù)發(fā)生異常時(shí)的故障檢測(cè)：

首先通過(guò)對(duì)系統(tǒng)的傳遞函數(shù)離散化，采樣時(shí)間為0.01 s，仿真總次數(shù)為200，離散后的模型如下

其中：a（1）、a（2）、b（1）、b（2）為離散化后的已知常數(shù)；u（k）為已知隨機(jī)輸入信號(hào)?；谑剑?3）構(gòu)造UBRM的輸入向量為

對(duì)應(yīng)輸出為y（k）。在系統(tǒng)無(wú)故障情況下，獲取對(duì)應(yīng)的輸入／輸出數(shù)據(jù)，選擇參數(shù)集（ε，γ，σ）為（0.8，100，5.0），用于描述無(wú)故障上邊模型（φ（k-1））的稀疏特性SVs%都為1.52%，意味著從輸入輸出數(shù)據(jù)建立（φ（k-1））僅用了3個(gè)數(shù)據(jù)（SV，支持向量），表現(xiàn)很好的稀疏特性；此外，從辨識(shí)精度來(lái)看，（φ（k-1））的RMSE為0.049 9，顯然精度滿足要求，可用于傳遞函數(shù)在前向通道恒增益參數(shù)下的故障檢測(cè)。假設(shè)傳遞函數(shù)（33）沒(méi)有發(fā)生故障，則對(duì)應(yīng)的實(shí)際輸出不會(huì)越過(guò)UBRM輸出，或通過(guò)條件（φ（k-1））-y（k）≥0來(lái)判斷。當(dāng)系統(tǒng)（33）發(fā)生前向通道的恒增益參數(shù)在1.4～1.6 s范圍發(fā)生異常，對(duì)應(yīng)離散時(shí)間k為140≤k≤160，如圖14所示，k＝140時(shí)發(fā)生故障，k＝141時(shí)檢測(cè)到故障，對(duì)應(yīng)實(shí)際輸出越過(guò)UBRM輸出，實(shí)際上也可以通過(guò)y（k）-（φ（k-1））≥0來(lái)判斷故障是否發(fā)生，如圖15所示。

圖14 在k＝140時(shí)發(fā)生故障，k＝141時(shí)檢測(cè)到故障，對(duì)應(yīng)實(shí)際輸出越過(guò)無(wú)故障的區(qū)間模型輸出

圖15 通過(guò)條件f（φ（k-1））-y（k）≤0的故障檢測(cè)

當(dāng)前向通道恒增益參數(shù)無(wú)故障時(shí)，則UBRM如圖16所示，實(shí)際輸出在UBRM的下方，對(duì)應(yīng)的逼近誤差如圖17所示，滿足條件（φ（k-1））-y（k）≥0。

圖16 系統(tǒng)正常運(yùn)行時(shí)的故障檢測(cè)，對(duì)應(yīng)實(shí)際輸出沒(méi)有越過(guò)無(wú)故障的UBRM輸出

圖17 UBRM無(wú)故障的逼近誤差，其中（φ（k-1））-y（k）≥0

4 結(jié)束語(yǔ)

針對(duì)來(lái)自模型結(jié)構(gòu)參數(shù)以及傳感器測(cè)量數(shù)據(jù)的不確定性等因素，建立由這些因素導(dǎo)致的上邊界回歸模型尤為重要。從保模型辨識(shí)精度以及稀疏特性出發(fā)，通過(guò)將結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論與逼近誤差最小化思想相結(jié)合，提出了L1-L∞雙范數(shù)的最優(yōu)UBRM辨識(shí)方法，其中雙范數(shù)中的L1范數(shù)是在結(jié)構(gòu)風(fēng)險(xiǎn)最小化框架下對(duì)模型稀疏特性的控制。L∞范數(shù)的引入是基于模型逼近誤差對(duì)模型辨識(shí)精度的控制，將兩者融合到一個(gè)優(yōu)化問(wèn)題，可實(shí)現(xiàn)UBRM的保精度-保稀疏特性之間的平衡。最后，通過(guò)來(lái)自兩個(gè)不確定性的實(shí)驗(yàn)分析，即測(cè)量數(shù)據(jù)的不確定性和模型參數(shù)的不確定性，從保精度-保稀疏特性兩個(gè)指標(biāo)論證了提出的方法。