一種非線性凸優(yōu)化的神經(jīng)網(wǎng)絡(luò)算法

吳炎翰

摘 要： 在日常生活、工程應(yīng)用和研宄數(shù)學(xué)中，優(yōu)化問(wèn)題普遍存在。對(duì)于優(yōu)化問(wèn)題的高效求解一直為學(xué)者探究，自1986年Hopfield 和Tank 提出優(yōu)化問(wèn)題可以利用神經(jīng)網(wǎng)絡(luò)求解之后，人們廣泛關(guān)注并不斷研究這樣一種高效的優(yōu)化求解方法[1][4]。

本文在凸優(yōu)化理論，Lyapunov 穩(wěn)定性理論的背景前提下，利用Karush-Kuhn-Tucker（KKT）條件轉(zhuǎn)換并構(gòu)造了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)模型，研究了如何利用神經(jīng)網(wǎng)絡(luò)求解含等式與不等式約束條件的凸優(yōu)化問(wèn)題。

關(guān)鍵詞： 遞歸神經(jīng)網(wǎng)絡(luò)；非線性凸優(yōu)化；KKT條件

1 論述 凸優(yōu)化問(wèn)題和Karush-Kuhn-Tucker（KKT）條件

1.1 凸優(yōu)化，由于其已經(jīng)證明的性質(zhì)——局部最優(yōu)解即為全局最優(yōu)解——以及拉格朗日對(duì)偶性[2]被廣泛用于線性回歸、插值擬合等問(wèn)題。將無(wú)法求解或難以求解的優(yōu)化問(wèn)題（如Linear-Fractional規(guī)劃，整數(shù)規(guī)劃）轉(zhuǎn)化為凸優(yōu)化問(wèn)題是近年來(lái)學(xué)者和業(yè)界工程師廣泛研究并使用的解決手段。

接下來(lái)，我們看如下帶有等式和不等式（非線性）約束條件的凸優(yōu)化問(wèn)題：

其中，f（x）是可微凸函數(shù)， G（x）≤0 ， Hx=0分別是凸優(yōu)化問(wèn)題的等式約束條件和不等式約束條件，不失一般性地，令H是一個(gè)行滿(mǎn)秩矩陣（ rank（H）=m

1.2 Karush-Kuhn-Tucker（KKT）條件，是非線性?xún)?yōu)化問(wèn)題下對(duì)Lagrange乘數(shù)法的推廣?？梢詫⒑仁郊s束優(yōu)化問(wèn)題擴(kuò)展至含有不等式約束條件的問(wèn)題。

那么，對(duì)于上述凸優(yōu)化問(wèn)題，其KKT條件為：定義拉格朗日函數(shù)L（x）=f（x）+g（x）Ta+h（x）Tb，若x是該優(yōu)化問(wèn)題的一個(gè)最優(yōu)解，那么存在a∈Rm， b∈Rl， 使得下面的式子成立：

1）aTg（x）=0

2）L（a，b，x）對(duì)x求導(dǎo)為零

3）h（x）=0

2 針對(duì)上述凸優(yōu)化，欲通過(guò)神經(jīng)網(wǎng)絡(luò)求解，我們需要將其轉(zhuǎn)換為一個(gè)動(dòng)力系統(tǒng)，通過(guò)對(duì)KKT條件的推導(dǎo)，我們構(gòu)造了遞歸神經(jīng)網(wǎng)絡(luò)模型：

其中y=[y+g（x）]+

易證該神經(jīng)網(wǎng)絡(luò)動(dòng)力系統(tǒng)是李雅普諾夫（Lyapunov）穩(wěn)定的，且可以從任意初始點(diǎn)收斂于上述凸優(yōu)化的最優(yōu)解。

3. 我們使用以下的凸優(yōu)化例子作為算法效用的驗(yàn)證[3]：

通過(guò)基于matlab R2018a平臺(tái)的測(cè)試 ，發(fā)現(xiàn)在初始點(diǎn)隨機(jī)的情況下，該遞歸神經(jīng)網(wǎng)絡(luò)模型收斂于最優(yōu)解（0.982，1.672，0，0），并有相對(duì)較好的收斂效率。

4. 結(jié)束語(yǔ)

使用神經(jīng)網(wǎng)絡(luò)來(lái)提效改善非線性凸優(yōu)化問(wèn)題的求解是本文的目標(biāo)。本文利用了KKT條件，凸優(yōu)化的優(yōu)良性質(zhì)，針對(duì)該類(lèi)問(wèn)題構(gòu)造了遞歸神經(jīng)網(wǎng)絡(luò)模型，并利用該神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性確保了凸優(yōu)化求解的收斂性。最后，通過(guò)數(shù)值模擬舉例證明了該優(yōu)化求解算法的實(shí)用性。

參考文獻(xiàn)

[1]Simple 'neural' optimization networks： An A/D converter， signal decision circuit， and a linear programming circuit. IEEE Transactions On Circuits And Systems， Circuits And Systems， IEEE Transactions On， IEEE Trans. Circuits Syst [serial online]. 1986；（5）：533. Available from： IEEE Xplore Digital Library， Ipswich， MA. Accessed August 27， 2018.

[2]Boyd S， Vandenberghe L. Convex Optimization [e-book]. Cambridge ； New York ： Cambridge University Press， 2004.

[3]A dynamic system model for solving convex nonlinear optimization problems. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION. 17， 4， 1696-1705， ISSN： 10075704.

[4]Xia Y， Feng G. A new neural network for solving nonlinear projection equations. Neural Networks [serial online]. July 2007；20（5）：577-589. Available from： Academic Search Complete， Ipswich， MA.

[5]Hosseini A， Wang J， Hosseini S. A recurrent neural network for solving a class of generalized convex optimization problems. Neural Networks [serial online]. August 1， 2013；44：78-86. Available from： ScienceDirect， Ipswich， MA.