一類混雜系統(tǒng)的模型辨識

趙丹丹，謝春利，王培昌

(大連民族學(xué)院a.計算機科學(xué)與工程學(xué)院;b.機電信息工程學(xué)院;c.信息與通信工程學(xué)院，遼寧大連116605)

混雜系統(tǒng)是指在同一系統(tǒng)中同時包含連續(xù)動態(tài)部分與離散(邏輯)動態(tài)部分，以及它們之間相互影響，相互作用的一類系統(tǒng)。切換系統(tǒng)是混雜系統(tǒng)中極其重要的一種類型。該系統(tǒng)的連續(xù)動態(tài)由若干個子系統(tǒng)來描述，而離散動態(tài)決定某時刻系統(tǒng)的連續(xù)動態(tài)由哪個子系統(tǒng)來刻畫，即子系統(tǒng)間是如何切換的。因此，離散動態(tài)通常稱為切換律。輸電系統(tǒng)、多控制器系統(tǒng)、服務(wù)器切換系統(tǒng)以及繼電器系統(tǒng)等都是典型的切換系統(tǒng)，說明了切換系統(tǒng)具有廣泛的實際工程背景。目前，國際控制界關(guān)于混雜系統(tǒng)的研究內(nèi)容主要包括混雜系統(tǒng)的模型描述、性能分析、控制與優(yōu)化和應(yīng)用等。其中，關(guān)于混雜系統(tǒng)的建模方法受到了廣泛的關(guān)注，并取得了大量的研究成果。主要的建模方法有代數(shù)幾何方法［1］、混合整數(shù)規(guī)劃方法［2］，有界誤差方法［3］、基于貝葉斯學(xué)習(xí)方法［4］以及基于聚類的方法［5］。盡管如此，切換系統(tǒng)的建模過程中，仍然面臨許多問題，如降低計算的復(fù)雜度、對建模方法的優(yōu)化和收斂性分析等。

考慮到切換系統(tǒng)與多模型系統(tǒng)具有相似性［6-7］，因此，對樣本數(shù)據(jù)聚類，采用多模型建模方法是解決這一問題的有效途徑。文獻［8］提出了基于條件正定核函數(shù)的核模糊C均值聚類算法，文獻［9］提出了基于減法聚類的多模型辨識方法，文獻［10］提出了基于粒子群優(yōu)化的聚類算法。但這些聚類算法普遍存在聚類數(shù)據(jù)須事先給定，精度依賴數(shù)據(jù)分布和收斂速度慢等問題。多模型建模中常用的神經(jīng)網(wǎng)絡(luò)方法也存在過學(xué)習(xí)、局部極小等缺點，影響了模型的泛化能力。針對上述不足，本文提出一種基于仿射傳播(AP)聚類的切換系統(tǒng)建模方法。利用AP聚類將樣本數(shù)據(jù)聚類，對聚類后得到的子類進行最小二乘支持向量機建模，將各子模型組合形成最終切換系統(tǒng)模型。通過對一個切換系統(tǒng)的仿真研究，驗證了所提出方法的有效性和可行性。

1 問題描述

本文考慮一類采用ARX形式描述的切換動態(tài)系統(tǒng)其中，xt為回歸向量，即:xt=［ut-l-1…ut-l-nb，yt-1…yt-na，yt-1…yt-na］，xt∈Rn，n=na+nbnu。nb，na為模型階次;l為系統(tǒng)時延;，yt∈R，ut∈Rnu和 et∈R分別為系統(tǒng)的輸出、輸入和白噪聲;λt∈{1，…，m}為離散的狀態(tài)，即切換律;fλt為未知的線性或非線性光滑函數(shù)。

在假定切換系統(tǒng)模型結(jié)構(gòu)已知的條件下(即:nb和na已知)，則切換系統(tǒng)的模型辨識即為對fλt和λt的估計。

2 基于仿射傳播聚類的切換系統(tǒng)建模

基于仿射傳播聚類的切換系統(tǒng)建模算法如圖1所示。首先采用仿射傳播聚類對系統(tǒng)樣本數(shù)據(jù)進行聚類，得到切換系統(tǒng)各連續(xù)子模型的數(shù)據(jù)樣本，然后用最小二乘支持向量機對各連續(xù)子模型分別訓(xùn)練建模，得到各子模型。

2.1 仿射傳播聚類算法

仿射傳播聚類是一種新型的聚類算法［11］，該算法無需預(yù)先給定聚類數(shù)目，聚類結(jié)果不會受初始聚類中心選擇失當(dāng)?shù)挠绊懀煽焖儆行У貙Υ笈繑?shù)據(jù)聚類。

AP聚類通過吸引度r(i，k)和歸屬度a(i，k)的計算，不斷地從數(shù)據(jù)中選出合適的聚類中心。其中，r(i，k)表示數(shù)據(jù)點xk作為數(shù)據(jù)點xi聚類中心的適合度，a(i，k)表示數(shù)據(jù)點xi選擇數(shù)據(jù)點xk作為聚類中心的適合度，r(i，k)和 a(i，k)越大，點xk成為最終聚類中心的可能性越大。s(i，k)表示任意樣本點xi和xk之間的相似度。

依據(jù)文獻［11］計算吸引度r和歸屬度a，有

其中p偏向參數(shù)表示數(shù)據(jù)點xk被選作聚類中心的傾向性［12］。每一次循環(huán)迭代中，ri(i，k)和 ai(i，k)與前一迭代過程 ri-1(i，k)和 ai-1(i，k)加權(quán)更新，即

其中λ為阻尼因子。

對于數(shù)據(jù)點 xi使得{a(i，k)+r(i，k)}最大的數(shù)據(jù)點xk即為一個聚類中心。算法的收斂條件為聚類中心10次迭代不發(fā)生變化，或達到規(guī)定的最大迭代次數(shù)。迭代過程結(jié)束后，輸出m個聚類中心及聚類。

2.2 最小二乘支持向量機

Suykens［13］提出的LS-SVM是通過將最小二乘線性系統(tǒng)引入支持向量機，代替?zhèn)鹘y(tǒng)的支持向量采用二次規(guī)劃方法解決分類和函數(shù)估計問題。用于函數(shù)估計的LS-SVM算法推導(dǎo)如下:

設(shè)樣本為n維向量，則N個樣本組成的樣本集表示為 D={(Xk，Yk)|k=1，2，…，N}，X∈Rn，Yk∈R。其中:Xk為輸入數(shù)據(jù)，Yk為輸出數(shù)據(jù)。在權(quán)w空間中的函數(shù)估計問題描述如下:

其中，φ(·):Rn→Rnh為核空間映射函數(shù)，w∈Rnh為權(quán)矢量，ek∈R為不敏感損失函數(shù)的松弛因子，b∈R為偏移量，γ∈R為正則化參數(shù)。根據(jù)式(7)，可定義拉格朗日函數(shù)

其中拉格朗日乘子αk∈R.通過L對w，b，ek和αk求偏導(dǎo)等于零，對式(8)進行優(yōu)化，消除變量w和e，可得優(yōu)化問題的解析解為

LS-SVM的函數(shù)估計為

其中α和b由式(9)求解。

選擇不同形式的核函數(shù)可以構(gòu)建不同的支持向量機，較為常見的核函數(shù)有以下幾種:

(1)線性核函數(shù)

K(Xi·X)=Xi·X

(2)多項式核函數(shù)

K(Xi·X)=(Xi·X+1)d

(3)高斯核函數(shù)

2.3 建模步驟

在n維空間定義兩點之間的歐氏距離

則本文提出的基于仿射傳播聚類和LS-SVM切換系統(tǒng)建模方法的具體步驟為:

步驟1 采用AP聚類算法將訓(xùn)練樣本聚類。初始化AP聚類算法的p和λ，λ的值可以根據(jù)對象大小在0.5～0.9之間設(shè)置，偏向參數(shù)p取相似度矩陣的中值。

步驟2 根據(jù)各樣本點和聚類中心的歐式距離確定各子模型的數(shù)據(jù)樣本。

步驟3 各子模型采用LS-SVM訓(xùn)練建模并確定其模型參數(shù)。

3 仿真驗證

考慮文獻［14］中所描述的單輸入單輸出的切換系統(tǒng)

其中，e為均值0、標(biāo)準(zhǔn)差0.5的高斯噪聲。離散狀態(tài)λt與輸入變量x無關(guān)，其值決定了系統(tǒng)的輸出模型。令x在［-5，1］區(qū)間取值，對系統(tǒng)輸出y1和y2分別采樣30個數(shù)據(jù)。除了采樣的這60對數(shù)據(jù)之外，只知道系統(tǒng)有一個模型是線性的，另一個模型是非線性的。仿真研究的目標(biāo)就是能正確的對兩個模型的數(shù)據(jù)進行分類，同時，對每個子模型進行建模。

用仿射傳播聚類的方法訓(xùn)練樣本聚類，采用歐式距離作為樣本點之間的相似度測度，偏向參數(shù)p取為相似度矩陣中元素的中值，阻尼因子λ取0.5，通過聚類得到兩子類數(shù)據(jù)。對兩子類數(shù)據(jù)分別采用線性核函數(shù)和高斯核函數(shù)的最小二乘支持向量機建模，仿真結(jié)果曲線如圖2。其中，線性核函數(shù)參數(shù)γ=200，高斯核函數(shù)參數(shù)γ=1 000，σ=3。線性子模型的參數(shù)估計為=2.0 098=-0.9 804，整個建模數(shù)據(jù)的均方誤差為MSE=(其中為最小二乘支持向量機的估計值)。

圖2 切換系統(tǒng)建模曲線

4 結(jié)語

針對具有切換結(jié)構(gòu)的混雜系統(tǒng)，本文提出一種基于仿射傳播聚類和最小二乘支持向量機的辨識方法。該方法將切換系統(tǒng)看作是多模型的非線性系統(tǒng)，通過仿射傳播聚類對系統(tǒng)的輸出樣本數(shù)據(jù)進行聚類，得到切換系統(tǒng)的各連續(xù)子模型的數(shù)據(jù)聚類中心，利用歐氏距離確定每個子模型的樣本數(shù)據(jù)?；谧钚《酥С窒蛄繖C對子模型進行建模。最后通過文獻中的典型切換系統(tǒng)模型驗證本算法的有效性。

［1］ MA Y，VIDAL R.Identification of deterministic switched ARX systems via identification of algebraic varieties.In:Morari［J］.M，2005，3414:449-465.

［2］ ROLL J，BEMPORAD A，LJUNG L.Identification of piecewise affine systems via mixed-integer programming［J］.Automatica，2004，40:37-50.

［3］ BEMPORAD A，GARULLI A，PAOLETTI S，et al.A bounded-error approach to piecewise affine system identification［J］.IEEE Trans.On Automatic Control，2005，50(10):1567-1580.

［4］ JULOSKI A L，WEILAND S，HEEMELS W.A bayesian approach to identification of hybrid systems［J］.IEEE Trans.on Automatic Control，2005，50(10):1520-1533.

［5］ FERRARI-TRECATE G，MUSELLI M，LIBERARI D，et al.A clustering technique for the identification of piecewise affine systems［J］.Automatica 2003，39:205-217.

［6］ PETRIDIS V，KEHAGIAS A.Identification of switched dynamical systems using multiple models［C］∥Proceedings of the 37th IEEE Conference on Decision＆Control Tampa，1998:199-204.

［7］ VERRIEST E I，MOOR B D.Multi-mode system identification［Z］.New York:In Proceedings of the European Control Conference(ECC＇99)，1999.

［8］ 李衛(wèi)，楊煜普，王娜.基于核模糊聚類的多模型LSSVM 回歸建模［J］.控制與決策，2008，23(5):560-562，566.

［9］ 潘天紅，薛振框，李少遠.基于減法聚類的多模型在線辨［J］.自動化學(xué)報，2009，35(2):220-224.

［10］徐海霞，劉國海，周大為，等.基于改進核模糊聚類算法的軟測量建模研究［J］.儀器儀表學(xué)報，2009，30(10):2226-2231.

［11］FREY B J，DUECK D.Clustering by passing message between data points［J］.Science，2007，315(5814):972-976.

［12］王開軍，張軍英，李丹，等.自適應(yīng)仿射傳播聚類［J］.自動化學(xué)報，2007，33(12):1242-1246.

［13］SUYKENS J K，VANDEWALLE J.Least squares support vector machine classifiers［J］.Neural Network Letters，1999，9(3):293-300.

［14］FABIEN L，GéRARD B.Switched and piecewise nonlinear hybrid system identification［C］∥HSCC＇08 Proceedings of the 11th international workshop on Hybrid Systems:Computation and Control，2008:330-343.