梯度神經(jīng)網(wǎng)絡(luò)在p次方根求解中的應(yīng)用

肖　林,皮賽男,孟凡斌

(吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

?

梯度神經(jīng)網(wǎng)絡(luò)在p次方根求解中的應(yīng)用

肖林,皮賽男,孟凡斌

(吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

摘要：設(shè)計(jì)了一個(gè)針對(duì)一般問題求解的梯度神經(jīng)網(wǎng)絡(luò)模型.為了求解p次方根,定義一個(gè)基于平方的標(biāo)量取值的能量函數(shù)，再根據(jù)梯度下降法,進(jìn)一步推導(dǎo)出求解p次方根的梯度神經(jīng)網(wǎng)絡(luò)模型.使用Matlab仿真軟件進(jìn)行建模、仿真和驗(yàn)證，計(jì)算機(jī)仿真結(jié)果證實(shí)了梯度神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)求解p次方根的有效性.

關(guān)鍵詞：梯度神經(jīng)網(wǎng)絡(luò)；p次方根；Matlab仿真

梯度神經(jīng)網(wǎng)絡(luò)是由若干個(gè)非線性神經(jīng)元構(gòu)成的全連接型的人工神經(jīng)網(wǎng)絡(luò)，其中任何一個(gè)神經(jīng)元既接收來(lái)自于其他神經(jīng)元的輸入，同時(shí)也對(duì)其他神經(jīng)元輸出信號(hào)[1].遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成的是具有反饋的系統(tǒng)，輸出可以返回來(lái)調(diào)節(jié)輸入，從而建立動(dòng)態(tài)關(guān)系.因此，也可將遞歸神經(jīng)網(wǎng)絡(luò)看作是以權(quán)值和外部輸入為參數(shù)的、關(guān)于內(nèi)部狀態(tài)的一個(gè)動(dòng)力學(xué)系統(tǒng)[2].當(dāng)前，梯度神經(jīng)網(wǎng)絡(luò)因具有平行分布特性、自適應(yīng)和自學(xué)習(xí)等能力，已成為許多學(xué)科十分活躍的研究話題，并在聯(lián)想記憶、優(yōu)化計(jì)算、魯棒控制、模式識(shí)別、機(jī)械臂運(yùn)動(dòng)控制、故障診斷等領(lǐng)域得到廣泛應(yīng)用[3-4].

求解p次方根是求解等式問題中的一個(gè)重要情況[5]，應(yīng)用在各種科學(xué)與工程領(lǐng)域中.通過求解p次方根，一幅圖可以在Torelli群中被描述出來(lái)，再如Harris圖像可以從其原圖像的p次方根中提煉得到[5].因此，很多的數(shù)值算法被提出來(lái)求解這樣一類p次方根問題.在對(duì)神經(jīng)網(wǎng)絡(luò)深入研究的基礎(chǔ)上，許多基于神經(jīng)動(dòng)力學(xué)的模擬求解器也被廣泛提出來(lái).考慮到潛在的大規(guī)模電路實(shí)現(xiàn)和高性能并行處理能力，神經(jīng)動(dòng)力學(xué)方法已經(jīng)被認(rèn)為是一種強(qiáng)有力的實(shí)時(shí)問題求解方法.

1梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

作為進(jìn)一步討論的基礎(chǔ)，將針對(duì)標(biāo)量取值的一般等式問題，設(shè)計(jì)一個(gè)可以普遍應(yīng)用的梯度神經(jīng)網(wǎng)絡(luò).

1.1 問題描述

考慮如下標(biāo)量取值的一般等式問題：

f(x)=0，

(1)

其中f(·)代表一個(gè)映射函數(shù)，它既可以為線性函數(shù)，也可以為非線性函數(shù).接下來(lái)，就等式問題(1),設(shè)計(jì)一個(gè)梯度神經(jīng)網(wǎng)絡(luò)，該梯度神經(jīng)網(wǎng)絡(luò)可以實(shí)時(shí)求解一個(gè)x(t)∈R,它能滿足一般方程(1)的要求.

1.2 梯度神經(jīng)網(wǎng)絡(luò)模型

在這一節(jié),將根據(jù)梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法，開發(fā)一般的梯度神經(jīng)網(wǎng)絡(luò)模型來(lái)實(shí)時(shí)求解一般等式問題(1).

首先,為了監(jiān)控等式(1)的求解過程,利用梯度設(shè)計(jì)方法,可以定義一個(gè)基于平方的標(biāo)準(zhǔn)取值的能量函數(shù):

(2)

顯然,當(dāng)該能量函數(shù)等于0時(shí),所對(duì)應(yīng)的解x可以滿足一般等式問題(1)的要求.

其次,為了使該能量函數(shù)(2)能夠收斂到0,可以使該能量函數(shù)沿著它的負(fù)梯度方向下降,所以能量函數(shù)(2)的負(fù)梯度可以求得如下:

最后,基于一個(gè)典型的負(fù)梯度信息的連續(xù)時(shí)間自適應(yīng)法則，可以推導(dǎo)出如下普遍適應(yīng)的梯度神經(jīng)網(wǎng)絡(luò)模型:

(3)

其中神經(jīng)狀態(tài)x(t)從隨機(jī)產(chǎn)生的初始值x(0)出發(fā).對(duì)應(yīng)于一般等式方程(1)的解,設(shè)計(jì)參數(shù)λ>0用來(lái)調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(3)的收斂速度.

2梯度神經(jīng)網(wǎng)絡(luò)在p次方根求解中的應(yīng)用

如上文所提到的,求解p次方根是求解等式問題中的一個(gè)重要情況，如通過求解p次方根，一幅圖可以在Torelli群中被描述出來(lái)，再如Harris圖像可以從其原圖像的p次方根中提煉得到.所以,根據(jù)上一節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程，現(xiàn)將該設(shè)計(jì)方法具體應(yīng)用到p次方根求解.

首先,考慮如下標(biāo)量取值的p次方根問題:

xp(t)-a=0t∈[0,+∞)，

(4)

其中a∈R表示一個(gè)標(biāo)量取值的實(shí)數(shù).現(xiàn)主要工作就是設(shè)計(jì)一個(gè)梯度神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)時(shí)求解一個(gè)x(t)∈R,它能滿足以上p次方根方程(4)的要求.為了表示方便，令x*(t)∈R表示a∈R的p次方根的理論解.

根據(jù)以上一般梯度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程，為了監(jiān)控靜態(tài)p次方根的求解過程，先定義如下的一個(gè)基于平方的標(biāo)準(zhǔn)取值的能量函數(shù):

(5)

(6)

其中神經(jīng)狀態(tài)x(t)從隨機(jī)產(chǎn)生的初始值x(0)出發(fā).對(duì)應(yīng)于p次方根方程(4)的解,設(shè)計(jì)參數(shù)λ>0用來(lái)調(diào)節(jié)一般梯度神經(jīng)網(wǎng)絡(luò)模型(6)的收斂速度.

3計(jì)算機(jī)仿真驗(yàn)證

為了驗(yàn)證梯度神經(jīng)網(wǎng)絡(luò)模型(6)的有效性,將挑選幾個(gè)富有代表性的p次方根進(jìn)行求解.

例1首先考慮如下的p次方根求解(具體來(lái)說(shuō)p=4):

x4-16=0.

(7)

很顯然,在實(shí)數(shù)域里面,方程(7)有2個(gè)理論解:一個(gè)是x*=2,另一個(gè)是x*=-2.下面將運(yùn)用梯度神經(jīng)網(wǎng)絡(luò)模型(6)去實(shí)時(shí)求解p次方根方程(7).不失一般性,令設(shè)計(jì)參數(shù)λ=1,初始狀態(tài)x(0)在[-5,5]區(qū)域內(nèi)隨機(jī)產(chǎn)生,仿真結(jié)果如圖1，2所示.由圖1可以看出,從[-5,5]區(qū)域內(nèi)隨機(jī)產(chǎn)生的初始狀態(tài)出發(fā),神經(jīng)狀態(tài)解在0.02 s內(nèi)都收斂到p次方根的理論解x*=2或者x*=-2.這充分說(shuō)明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.神經(jīng)狀態(tài)解對(duì)應(yīng)的誤差函數(shù)收斂情況具體如圖2所示.從圖2可以得知，隨著時(shí)間的推移,神經(jīng)狀態(tài)解對(duì)應(yīng)的誤差函數(shù)也在0.02 s內(nèi)收斂到0,這更加直觀地證明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.

圖1　梯度神經(jīng)網(wǎng)絡(luò)的狀態(tài)解　　　　　　　　　　　　圖2　對(duì)應(yīng)的誤差函數(shù)收斂情況

此外,為了說(shuō)明設(shè)計(jì)參數(shù)λ的重要性,在其他條件不變的情況下,將設(shè)計(jì)參數(shù)λ調(diào)大為10.因神經(jīng)狀態(tài)的變化情況與圖1類似,便不再展示,現(xiàn)只給出λ=10所對(duì)應(yīng)的誤差函數(shù)收斂情況.從圖3可以看出,當(dāng)λ=10,誤差函數(shù)在2ms內(nèi)就能收斂到0.如果再繼續(xù)將λ調(diào)大為1 000,如圖4所示,誤差函數(shù)的收斂時(shí)間就只需要不到20μs.這仿真結(jié)果說(shuō)明，設(shè)計(jì)參數(shù)λ對(duì)梯度神經(jīng)網(wǎng)絡(luò)的收斂速度有至關(guān)重要的作用.因此,在實(shí)際的應(yīng)用中,應(yīng)根據(jù)具體需求,選擇一個(gè)合適的設(shè)計(jì)參數(shù)去設(shè)計(jì)梯度神經(jīng)網(wǎng)絡(luò).

圖3　λ=10時(shí)誤差函數(shù)的收斂情況　　　　　　　　　　圖4　λ=1 000時(shí)誤差函數(shù)的收斂情況

在例1中,p次方根的理論解比較容易計(jì)算,但是有些p次方根的理論解是較難以計(jì)算出來(lái)的,所以為了再次驗(yàn)證梯度神經(jīng)網(wǎng)絡(luò)的有效性,下面來(lái)考慮一個(gè)更加復(fù)雜的p次方根.

例2考慮如下的p次方根求解：

x6+sin(5)-13=0.

(8)

顯然,現(xiàn)無(wú)法手工計(jì)算該p次方根的理論解,因此將依據(jù)誤差函數(shù)是否收斂到0來(lái)判斷梯度神經(jīng)網(wǎng)絡(luò)是否收斂到p次方根方程(8)的理論解.在與例1相同的情況下,運(yùn)用梯度神經(jīng)網(wǎng)絡(luò)來(lái)求解p次方根方程(8).圖5顯示了梯度神經(jīng)網(wǎng)絡(luò)求解該p次方根的誤差函數(shù)收斂情況.從圖5看到,誤差函數(shù)在0.01s內(nèi)就能收斂到0,這說(shuō)明了梯度神經(jīng)網(wǎng)絡(luò)的有效性.圖6給出了該誤差函數(shù)所對(duì)應(yīng)的狀態(tài)解,在[-5,5]區(qū)域內(nèi)的神經(jīng)狀態(tài)解都收斂到某一特定值.經(jīng)Matlab軟件核對(duì),神經(jīng)狀態(tài)解都收斂到該p次方根方程(8)的理論解x*=1.55或者x*=-1.55.這一仿真實(shí)例再次證實(shí)了梯度神經(jīng)網(wǎng)絡(luò)的有效性.

圖5　梯度神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)收斂情況　　　　　　　　　　　圖6　對(duì)應(yīng)的狀態(tài)解

4結(jié)語(yǔ)

提出一類求解p次方根的梯度神經(jīng)網(wǎng)絡(luò),該神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是基于一個(gè)標(biāo)量取值的正能量函數(shù).利用這個(gè)梯度神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算機(jī)仿真,2個(gè)仿真實(shí)例都證實(shí)了梯度神經(jīng)網(wǎng)絡(luò)求解p次方根問題的有效性.通過選取不同的設(shè)計(jì)參數(shù)λ值,可以進(jìn)一步加快梯度神經(jīng)網(wǎng)絡(luò)的收斂速度.

參考文獻(xiàn)：

[1] 張雨濃,張禹珩,陳軻,等.線性矩陣方程的梯度法神經(jīng)網(wǎng)絡(luò)求解及其仿真驗(yàn)證[J].中山大學(xué)學(xué)報(bào)：自然科學(xué)版，2008,47(3):4 028-4 031.

[2] 馬桂雨,王雪丹,萬(wàn)丹.基于遺傳小波神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷[J].吉首大學(xué)學(xué)報(bào)：自然科學(xué)版，2013,34(1):51-56.

[3] 湯京永,時(shí)貞軍.一類全局收斂的記憶梯度法及其線性收斂性[J].數(shù)學(xué)進(jìn)展，2007,36(1):67-75.

[4] 趙鳳遙,馬震岳.基于遞歸小波神經(jīng)網(wǎng)絡(luò)的非線性動(dòng)態(tài)系統(tǒng)仿真[J].系統(tǒng)仿真學(xué)報(bào)，2007,19(7):1 453-1 455.

[5]ZHANGYunong,XIAOLin,RUANGongqin,etal.ContinuousandDiscreteTimeZhangDynamicsforTime￣Varying4thRootFinding[J].NumericalAlgorithms,2011,57(1):35-51.

(責(zé)任編輯向陽(yáng)潔)

Application of Gradient Neural Network to pth Root

XIAO Lin,PI Sainan,MENG Fanbin

(College of Information Science and Engineering,Jishou University,Jishou 416000,Hunan China)

Abstract:In this paper,a general gradient neural network is designed for solving the common problem.In order to find the pth root,a scalar￣valued square￣based energy function is defined.Then,according to the gradient descent method,a gradient￣neural￣network model is further derived for finding the pth root.Finally,the Matlab software is used for modeling,simulation,and verification.Computer￣simulation examples and their simulative results substantiate the effectiveness of the gradient neural network for finding the pth root.

Key words:gradient neural network;pth root;Matlab simulation

作者簡(jiǎn)介：肖林(1986—)，男，湖南邵陽(yáng)人，吉首大學(xué)信息科學(xué)與工程學(xué)院講師，博士，主要從事神經(jīng)網(wǎng)絡(luò)和機(jī)器人研究；孟凡斌(1964—)，男，湖南永順人，吉首大學(xué)信息科學(xué)與工程學(xué)院副教授，主要從事電子電路和神經(jīng)網(wǎng)絡(luò)研究.

收稿日期：2014-12-01

中圖分類號(hào)：TP183；O151.2

文獻(xiàn)標(biāo)志碼：A

DOI:10.3969/j.issn.1007-2985.2015.03.004

文章編號(hào)：1007-2985(2015)03-0015-04