一種基于非線性系統(tǒng)的直接加權(quán)優(yōu)化辨識(shí)算法

姚杰，朱永紅

（景德鎮(zhèn)陶瓷學(xué)院 機(jī)械電子工程學(xué)院，江西 景德鎮(zhèn)333403）

系統(tǒng)辨識(shí)只是利用數(shù)學(xué)的方法，從輸入、輸出觀測(cè)數(shù)據(jù)序列中提煉出對(duì)象的數(shù)學(xué)模型，為控制器的設(shè)計(jì)作充分的模型準(zhǔn)備基礎(chǔ).根據(jù)系統(tǒng)對(duì)象模型的類(lèi)別，可將系統(tǒng)辨識(shí)的理論研究分為線性系統(tǒng)辨識(shí)和非線性系統(tǒng)辨識(shí).線性系統(tǒng)辨識(shí)的研究較為成熟，已有現(xiàn)成的理論分析基礎(chǔ)和系統(tǒng)辨識(shí)仿真軟件可直接調(diào)用［1-10］；而非線性系統(tǒng)的辨識(shí)研究也正日益開(kāi)展.文獻(xiàn)［7］對(duì)多種特殊的非線性系統(tǒng)展開(kāi)研究，如Wiener系統(tǒng)、Hammerstein系統(tǒng)和二者之間的任意組合形式，提出了諸如最小概率法、互方差輔助變量法、盲極大似然法等多種辨識(shí)方法.文獻(xiàn)［10］分析了正交基函數(shù)的構(gòu)造方法，即當(dāng)采用所構(gòu)造的正交基函數(shù)形式來(lái)表示原非線性系統(tǒng)時(shí)，有限脈沖響應(yīng)模型、Laruerre模型和雙參數(shù)Kautz模型都可以作為該正交基函數(shù)模型結(jié)構(gòu)的特例.文獻(xiàn)［3］中提出了一種新的非線性系統(tǒng)辨識(shí)方法——直接加權(quán)優(yōu)化法.文獻(xiàn)［4］將直接加權(quán)優(yōu)化辨識(shí)方法的基本思想應(yīng)用于對(duì)分段仿射系統(tǒng)中各個(gè)權(quán)重值的辨識(shí) .文獻(xiàn)［5］分析了直接加權(quán)優(yōu)化辨識(shí)法對(duì)某參數(shù)的攝動(dòng)所帶來(lái)的影響 .本文在文獻(xiàn)［3］的思想基礎(chǔ)之上，進(jìn)行直接加權(quán)優(yōu)化辨識(shí)方法的研究.

1 問(wèn)題描述

給定觀測(cè)數(shù)據(jù)｛φ（t），y（t），其非線性系統(tǒng)可描述為

式（1）中：f0（φ（t））稱(chēng)為未知待辨識(shí)估計(jì)的非線性系統(tǒng)函數(shù)，φ（t）為回歸矢量 .通常情況下，φ（t）有兩種形式分別對(duì)應(yīng)于非線性有限脈沖響應(yīng)形式和外部輸入下的非線性自回歸形式，即

其中：e（t）為零均值的獨(dú)立同分布的隨機(jī)白噪聲，對(duì)應(yīng)的方差值記為σ2e.

設(shè)非線性系統(tǒng)f0（φ（t））的一個(gè)逼近線性仿射函數(shù)形式為

將式（2）與文獻(xiàn)［3］中對(duì)應(yīng)的式子相對(duì)比，可知式（2）增加了N個(gè)關(guān)于輸入觀測(cè)數(shù)據(jù)序列｛u（t）的線性項(xiàng)，從而增加了N個(gè)待求解的未知權(quán)重值.由此可見(jiàn)，文獻(xiàn)［3］中的線性仿射函數(shù)形式是本文中的特例，其中特殊之處在于本文中所有的全取為零值.

因此，文中以下內(nèi)容的目的就在于如何確定出由這2N+1個(gè)未知權(quán)重值構(gòu)成的參數(shù)矢量θ.即

2 直接加權(quán)優(yōu)化辨識(shí)

為了能夠在任意指定點(diǎn)φ＊（t）處都得到良好的逼近程度，用（φ＊（t））來(lái)近似地逼近原非線性系統(tǒng)f0（φ（t）），逼近的準(zhǔn)確度依賴(lài)于權(quán)重值和的選取 .則建立衡量逼近性能的目標(biāo)函數(shù)為

將式（2）代入到式（4）中，可得

將式（1）代入式（5）中，可得展開(kāi)后的目標(biāo)函數(shù)為

式（6）中的數(shù)學(xué)期望運(yùn)算過(guò)程利用了噪聲e（t）為獨(dú)立同分布的白噪聲假設(shè)條件，并且白噪聲e（t）與輸入、輸出觀測(cè)數(shù)據(jù)序列｛u（t），y（t）均為不相關(guān).引入符號(hào)表示（t）＝φ（t）-φ＊（t）后，在式（6）中進(jìn)行增加和減去相同的兩項(xiàng)，等式不變，可得

式（7）中得到的平方項(xiàng)即為通常的平方偏差，后一項(xiàng)為由未建模引起的方差誤差項(xiàng).從式（7）可看出：偏差項(xiàng)將會(huì)變得任意大，除非增加關(guān)于權(quán)重值的兩個(gè)約束條件在上述兩個(gè)施加的約束條件下，式（7）的目標(biāo)函數(shù)可以簡(jiǎn)化為

利用泰勒級(jí)數(shù)公式，將非線性系統(tǒng)f0（φ（t））在f0（φ＊）處展開(kāi)得

假設(shè)非線性函數(shù)f0滿(mǎn)足Lipschitz條件，即

式（10）中：L為一常數(shù) .聯(lián)合以上三式可得到式（10）均方誤差期望的一個(gè)上界值為

直接加權(quán)優(yōu)化辨識(shí)算法中的最小化均方誤差期望值W（φ＊，f0，wN），可轉(zhuǎn)化為最小化式（11）右邊的上界值，即得到的最優(yōu)化問(wèn)題為

3 最優(yōu)Karush-Kuhn-Tucker充要條件

為了從式（12）所示的帶有約束條件的最優(yōu)化問(wèn)題中求解出未知權(quán)重值組成的未知參數(shù)矢量θ，引入松弛變量st，wt，使得｜bt｜≤st，t＝1，2，…，N；｜at｜≤wt，t＝0，1，…，N.將引入的兩松弛變量st，wt應(yīng)用于最優(yōu)化問(wèn)題式（12）中，可得最優(yōu)化問(wèn)題為

要想得到最優(yōu)化問(wèn)題式（13）的最優(yōu)解（a0，a1，…，aN；b1，…，bN；st｜N1，wt｜），根據(jù)最優(yōu) Karush-Kuhn-Tucker充要條件可知，對(duì)應(yīng)的拉格朗日函數(shù)為

利用Karush-Kuhn-Tucker最優(yōu)性充要條件，可得在最優(yōu)處存在成立的等式，即

在最優(yōu)解除包含有隱含的最優(yōu)等式，｜bt｜＝st，t＝1，2，…，N；｜at｜＝wt，t＝0，1，…，N，故由第1個(gè)子式可知＝.在第9個(gè)子式中，若at＞0，則wt+at＝｜at｜+at＝2at＞0，要使第9個(gè)子式成立必須有，從而由第1個(gè)子式有，＝＝0.在第2個(gè)子式中，若at＜0，則wt-at＝｜at｜-at＝-2at＞0.同理要使得第8個(gè)子式成立，需要使得＝0.從而由第1個(gè)子式有＝＝0.當(dāng)at＝0時(shí)即所有的輸入觀測(cè)數(shù)據(jù)序列前的未知權(quán)重值都為0，在線性仿射函數(shù)形式中僅剩下輸出觀測(cè)數(shù)據(jù)序列項(xiàng)，從而簡(jiǎn)化為文獻(xiàn)［3］中的特殊形式.

式（16）中：第4個(gè)和第5個(gè)子式所代表的等式關(guān)系已全部隱含在所構(gòu)造的拉格朗日函數(shù)之中 .將第3個(gè)子式代入第2個(gè)子式中可得

當(dāng)bt＞0時(shí)，由式（16）的第7個(gè)子式可得｜bt｜+bt＝2bt＞0.從而要使第7個(gè)子式成立，需要有γ-t＝0.將＝0代入到式（16）的第1個(gè)子式，可得

再代入到式（17）即有

同理考慮當(dāng)bt＜0時(shí)，有

將式（18）代入式（16）的第3個(gè)子式，可得

若在實(shí)數(shù)域中，必然有等式

成立 .由此可解得

但這并不是此處所期望得到的結(jié)果.為此擴(kuò)展到復(fù)數(shù)域中，考慮到

的｜u（t）｜表示的是輸入激勵(lì)信號(hào)的振幅值，當(dāng)選擇恒定振幅值的輸入激勵(lì)信號(hào)時(shí)，有｜u（t）｜＝k（k為一正常數(shù)）.因此，式（19）可改寫(xiě)為

滿(mǎn)足以上等式的未知權(quán)重值的選取方法有無(wú)窮多種，如

4 未知權(quán)重值的迭代求解

設(shè)上式左邊4N×4N維的矩陣記為A，右邊0表示4N×1維的零矢量，則不等式約束條件可簡(jiǎn)記為Aη≥0.同理，可將兩等式約束條件簡(jiǎn)記為矩陣乘積的形式

設(shè)上式左邊2×4N維矩陣記為B，右邊0表示2×1的零矢量，則等式約束條件可記為Bη＝0.

下面對(duì)目標(biāo)函數(shù)進(jìn)行整理 .很明顯目標(biāo)函數(shù)的第2項(xiàng)可改寫(xiě)為

而目標(biāo)函數(shù)中第1項(xiàng)括號(hào)內(nèi)的式子可改寫(xiě)成

將式（24）平方后可得

由此可構(gòu)成最優(yōu)化問(wèn)題為

很明顯，式（26）所表示的最優(yōu)化問(wèn)題中的目標(biāo)函數(shù)為關(guān)于優(yōu)化變量η的二次函數(shù)，不等式約束和等式約束均為關(guān)于優(yōu)化變量η的線性函數(shù).即式（26）為一個(gè)二次規(guī)劃問(wèn)題，可采用內(nèi)點(diǎn)法迭代地求解.定義式（26）的拉格朗日函數(shù)為

對(duì)式（27）關(guān)于η求偏導(dǎo)，可得

為了消去Aη≥0不等式約束中的不等號(hào)，引入一個(gè)松弛變量z≥0，對(duì)以上各式進(jìn)行改寫(xiě)為

設(shè)由式（29）構(gòu)成的矩陣記為

其中：Z＝diag（z1，…，z4N）；Λ＝diag（m1，…，m4N）；ε∈［0，1］；e＝［1，1，…，1］T.

約束最小化可通過(guò)迭代地更新矢量η來(lái)獲得，該最小化包含在于尋找拉格朗日函數(shù)的平穩(wěn)點(diǎn).在最小化過(guò)程中，新的迭代值η是通過(guò)在此時(shí)估計(jì)值的基礎(chǔ)之上增加一項(xiàng)Δη.利用約束高斯-牛頓法時(shí)，Δη應(yīng)為等式

的解 .則第k+1次迭代更新值可取為

其中：搜索方向的步長(zhǎng)應(yīng)滿(mǎn)足不等式（zk+1，mk+1）＞0成立，搜索方向由式（31）來(lái)求取.

5 結(jié)論

對(duì)于非線性系統(tǒng)的直接加權(quán)優(yōu)化辨識(shí)算法，通過(guò)在原線性仿射函數(shù)形式中，增加若干項(xiàng)關(guān)于輸入觀測(cè)數(shù)據(jù)序列的線性項(xiàng)來(lái)增強(qiáng)逼近非線性，減少逼近的時(shí)間.對(duì)于增加若干線性項(xiàng)后展開(kāi)式中的未知權(quán)重值的選取，分別從理論和實(shí)用上推導(dǎo)出這些未知權(quán)重值的選取過(guò)程.

理論上的推導(dǎo)分析，可明確增加的未知權(quán)重值在整個(gè)逼近非線性系統(tǒng)的目的中起著輔助作用；實(shí)用上的推導(dǎo)分析，則展示了如何將某些復(fù)雜的最優(yōu)化問(wèn)題經(jīng)過(guò)整理變換成常見(jiàn)的最優(yōu)化問(wèn)題，從而可利用最為基礎(chǔ)的優(yōu)化方法來(lái)求解.

由于文中利用輸入觀測(cè)數(shù)據(jù)序列，而此輸入觀測(cè)數(shù)據(jù)需要人為事先選定以滿(mǎn)足持續(xù)激勵(lì)非線性系統(tǒng)，故對(duì)該非線性系統(tǒng)的選擇持續(xù)激勵(lì)的輸入信號(hào)是目前需要深入研究的內(nèi)容.

［1］ LJUNG L.System identification：Theory for the user［M］.New Jersey：Prentice Hall，1999.

［2］ BOYD S，VANDENBERGHE L.Convex optimization［M］.Cambridge：Cambridge University Press，2008.

［3］ ROLL J，NAZINY A，LIUNG L.Non-linear system identification via direct weight optimization［J］.Automatica，2005，41（3）：475-490.

［4］ ROLL J，BEMPORAD A，LIUNG L.Identification of piecewise affine systems via direct mixed integer programming［J］.Automatica，2004，40（1）：37-50.

［5］ ROLL J.Piecewise linear solution paths with application to direct weight optimization［J］.Automatica，2008，44（11）：2745-2753.

［6］ PAOLETTI S，ROLL J，GARULLI A，et al.On the input-output representation of piecewise affine state space models［J］.IEEE Transactions of Automatic Control，2010，55（1）：60-73.

［7］ BAI E W.Recursive direct weight optimization in nonlinear system identification：A minimal probability approach［J］.IEEE Transactions of Automatic Control，2007，52（7）：1218-1231.

［8］ PINTELON R，SCHOUKENS J.System identification：A frequency domain approach［M］.New York：IEEE Press，2001.

［9］ NOCEDAL J，WRIGHT S.Numerical optimization［M］.Berlin：Springer-Verlag，2002.

［10］ ZEILINGE M N，JONES CN，MORARI M.Real-time suboptimal model predictive control using a combination of explicit MPC and online optimization［J］.IEEE Transactions of Automatic Control，2011，56（7）：1524-1534.