二次最小化問題的有限時間遞歸神經網絡求解*

張永勝，肖 林

(吉首大學信息科學與工程學院，湖南 吉首 416000)

二次最小化問題是未加約束條件的二次規(guī)劃問題，是一類重要的非線性最優(yōu)化問題.快速求解二次最小化問題，在科學研究和工程應用領域中具有重大意義[1-3].對于求解非線性最優(yōu)化問題，傳統(tǒng)數值方法有梯度法、迭代法、極值點排序法、擬牛頓法、罰函數法和SQP等[4]，但這些方法在求解時存在速度慢、復雜度高等缺點.

考慮到人工神經網絡具備大規(guī)模并行處理、全局穩(wěn)定和快速收斂等優(yōu)點[5-9]，有學者利用它來求解二次規(guī)劃問題和非線性方程組，并在理論上對求解的穩(wěn)定性和有效性進行了詳細分析[10-11].盡管張神經網絡[12-13]可以用來準確地求解靜態(tài)或者動態(tài)的數值計算問題，但在進行大規(guī)模處理和計算時，可能會出現(xiàn)運行時間長等問題，難以滿足實時計算的要求.為了進一步提高神經網絡求解數值問題的性能，又有學者研究了有限時間收斂的遞歸神經網絡模型[14-18].筆者擬引入一個特殊的非線性激勵函數來設計有限時間收斂的遞歸神經網絡模型，以達到快速求解二次最小化問題的目的.

1 有限時間收斂的遞歸神經網絡模型

1.1 有限時間收斂的遞歸神經網絡模型的設計與推導

給出一個二次最小化問題：

(1)

Ax+b=0.

(2)

于是，求解問題(1)等價于求解線性方程組(2).

根據神經網絡的設計方法[11]，可通過定義誤差函數

e(t)=Ax(t)+b

(3)

來求解線性方程組(2).由遞歸神經網絡的連續(xù)學習法則可得遞歸神經網絡的設計公式

(4)

其中λ(>0)是一個自定義的參數，用來調節(jié)遞歸神經網絡的收斂速率.將(3)式代入(4)式，即得傳統(tǒng)的遞歸神經網絡模型

(5)

值得注意的是，利用遞歸神經網絡模型(5)求解問題(1)時，盡管其狀態(tài)解能收斂到理論解，但是收斂速度有限，只能達到全局指數收斂水平.在進行大規(guī)模實時處理和計算時，模型(5)難以達到實時求解的要求.因此，為了加快收斂速度，筆者在模型(5)的基礎上引入非線性單調遞增的奇激勵函數Φ(·)，從而得到改進模型

(6)

考慮到引入符號函數可以使治系統(tǒng)在有限時間內達到穩(wěn)定，因此在激勵函數中引入符號函數

顯然，直接引用符號函數并不符合激勵函數加速神經網絡的要求，于是使用改進的激勵函數，即雙符號冪激勵函數，其表達式為

(7)

其中：r∈(0,1)；

雙符號冪激勵函數(7)是單調遞增的奇激勵函數.將(7)式代入(6)式，得到有時間限收斂的遞歸神經網絡模型

(8)

1.2 有限時間收斂的遞歸神經網絡模型的討論

證明定義e(t)=Ax(t)+b∈Rn，對其求時間導數，得到

(9)

將模型(8)代入(9)式，得到

于是

定義一個Lyapunov函數，L=|e+(t)|2，求其時間導數，得到

綜上所述，初始向量x(0)隨機給定，利用模型(8)求解線性方程組(1)時，模型(8)的狀態(tài)向量x(t)能夠在有限時間tc之內收斂到線性方程組(1)的理論解，且理論上誤差界限等于0.

證畢.

2 仿真驗證

在同等條件下，采用MATLAB軟件對模型(5)和模型(8)求解問題(1)的過程分別進行仿真.對于問題(1)，不失一般性，其系數可設置為

通過數學方法進行求解，可解得其理論解A*=(-1 1)T.

取λ=1，初始狀態(tài)x(0)∈R2隨機給定.分別利用模型(5)和模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數e(t)的收斂狀況如圖1—4所示.

圖1 λ=1時模型(5)的狀態(tài)解Fig. 1 State Solution of Model (5) with λ=1

圖2 λ=1時模型(5)的誤差函數Fig. 2 Error Function of Model (5) with λ=1

圖3 λ=1時模型(8)的狀態(tài)解Fig. 3 State Solution of Model (8) with λ=1

圖4 λ=1時模型(8)的誤差函數Fig. 4 Error Function of Model (8) with λ=1

由圖1和圖2可以看出，利用模型(5)求解問題(1)，隨著時間的推移，狀態(tài)解x(t)緩慢地收斂到理論解A*，誤差函數e(t)在6 s左右緩慢地接近0，屬于無限時間收斂；由圖3和圖4可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)迅速地收斂到理論解A*，誤差函數在2.6 s左右就迅速地接近0，屬于有限時間收斂.由此可知，相比于模型(5)，利用模型(8)來求解問題(1)的速度更快.

增大λ，取λ=10，此時分別利用模型(5)和模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數e(t)的收斂狀況如圖5—8所示.

圖5 λ=10時模型(5)的狀態(tài)解Fig. 5 State Solution of Model (5) with λ=10

圖6 λ=10時模型(5)的誤差函數Fig. 6 Error Function of Model (5) with λ=10

圖7 λ=10時模型(8)的狀態(tài)解Fig. 7 State Solution of Model (8) with λ=10

圖8 λ=10時模型(8)的誤差函數Fig. 8 Error Function of Model (8) with λ=10

由圖5和圖6可以看出，利用模型(5)求解問題(1)，狀態(tài)解x(t)在0.6 s左右收斂到理論解A*，誤差函數在0.6 s左右接近0；由圖7和圖8可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)在0.26 s左右收斂到理論解A*，誤差函數在0.26 s左右接近0.對比圖1—8可知，當λ的取值增大至原來的10倍時，利用模型(5)和模型(8)求解問題(1)所需的時間對應縮短約為原來的1/10.

繼續(xù)增大λ，取λ=100，分別利用模型(5)模型(8)求解問題(1)，其狀態(tài)解x(t)和誤差函數e(t)的收斂狀況如圖9—12所示.

圖9 λ=100時模型(5)的狀態(tài)解Fig. 9 State Solution of Model (5) with λ=100

圖10 λ=100時模型(5)的誤差函數Fig. 10 Error Function of Model (5) with λ=100

圖11 λ=100時模型(8)的狀態(tài)解Fig. 11 State Solution of Model (8) with λ=100

圖12 λ=120時模型(8)的誤差函數Fig. 12 Error Function of Model (8) with λ=100

由圖9和圖10可以看出，利用模型(5)求解問題(1)，狀態(tài)解x(t)在0.06 s左右收斂到理論解A*，誤差函數在0.06 s左右接近0；由圖11和圖12可以看出，利用模型(8)求解問題(1)，狀態(tài)解x(t)在0.026 s左右收斂到理論解A*，誤差函數在0.026 s左右接近0.

從仿真結果來看，利用模型(5)和模型(8)都能有效地求解問題(1)，但是相比于模型(5)，在同樣條件下利用模型(8)求解問題(1)的速度更快.此外，當設計參數λ成倍增大，利用模型(5)和模型(8)求解問題(1)的時間都會以相同倍數縮短.理論上，若設計參數無限大，則收斂時間可以無限小，但限于實際應用中λ表示電容、電感等電子元器件的取值，因此不可能無限大.

3 結語

在傳統(tǒng)遞歸神經網絡模型的基礎上引入雙符號冪激勵函數，得到有限時間收斂的遞歸神經網絡模型.用該模型來求解二次最小化問題，可以加快求解速度.理論分析結果驗證了有限時間收斂的遞歸神經網絡模型的有限時間收斂性，且收斂時間的上界可以通過推導得出.但由于本研究求解過程均在理想的、無干擾的狀態(tài)下進行，沒有考慮噪聲擾動，不具備容噪性能，因此在下一步工作中，筆者將考慮噪聲干擾環(huán)境下遞歸神經網絡模型的快速求解.