時(shí)標(biāo)上多重循環(huán)神經(jīng)網(wǎng)絡(luò)基于凸包型脈沖的同步

蔡慶瑞，黃振坤

(集美大學(xué)理學(xué)院，福建 廈門 361021)

神經(jīng)網(wǎng)絡(luò)模型是模仿神經(jīng)元之間信息傳遞過(guò)程所構(gòu)建的數(shù)學(xué)模型，其在自然界中無(wú)處不在.大部分社會(huì)網(wǎng)絡(luò)、生態(tài)網(wǎng)絡(luò)、科技網(wǎng)絡(luò)可以用神經(jīng)網(wǎng)絡(luò)模型加以分析[1].利用這一模型在信號(hào)處理、機(jī)器學(xué)習(xí)、最優(yōu)化理論、聯(lián)想記憶等應(yīng)用方面的研究產(chǎn)生了具有重大意義的結(jié)果，相關(guān)的動(dòng)力學(xué)行為研究也受到廣泛關(guān)注[2].同步現(xiàn)象作為重要的動(dòng)力學(xué)行為，有許多重要的應(yīng)用，例如傳感器網(wǎng)絡(luò)[3]、社交網(wǎng)絡(luò)[4]、移動(dòng)機(jī)器人[5]及加密通信[6]等.同步也是神經(jīng)網(wǎng)絡(luò)的一種典型的集體行為[7].在過(guò)去20年間，相關(guān)的同步問(wèn)題受到了越來(lái)越多的關(guān)注[8].多重循環(huán)神經(jīng)網(wǎng)絡(luò)(multiple recurrent neural networks,MRNNs)系統(tǒng)的同步指每個(gè)子系統(tǒng)在耦合作用下可以達(dá)到一致的狀態(tài)，它意味著每個(gè)帶有不同初值神經(jīng)網(wǎng)絡(luò)的狀態(tài)軌跡收斂到同一軌跡.在一個(gè)耦合系統(tǒng)里，耦合策略連接每個(gè)子系統(tǒng)并在確保同步上起著關(guān)鍵作用.因此像線性擴(kuò)散耦合策略[9]、混合線性耦合策略[10]、非線性耦合策略[11]、具有固定或可變拓?fù)涞鸟詈系炔煌鸟詈喜呗訹10-11]被提出并深入研究.

大部分耦合策略在子系統(tǒng)之間的信息傳遞和交流是不間斷的，然而這些耦合策略實(shí)現(xiàn)具有成本高、效率低等缺點(diǎn).因此脈沖耦合同步策略被提出，它確保了子系統(tǒng)之間的信息傳遞交流僅在離散時(shí)刻產(chǎn)生，可以有效降低通信帶寬等的應(yīng)用成本[12].當(dāng)前不少工作聚焦在脈沖耦合同步的研究上[7-8,13]，大部分工作通過(guò)帶有連通拓?fù)浠蚬潭ㄍ負(fù)涞拿}沖控制策略研究同步問(wèn)題.Yang等[8]研究了帶有時(shí)滯的MRNNs系統(tǒng)的全局同步問(wèn)題，然而在現(xiàn)有文獻(xiàn)中，關(guān)于其更一般的離散時(shí)域上和混合時(shí)域上的研究未被考慮.時(shí)標(biāo)上MRNNs模型統(tǒng)一并發(fā)展了連續(xù)情形上和離散情形上的MRNNs模型.利用時(shí)標(biāo)理論來(lái)進(jìn)行研究可避免分別研究離散和連續(xù)情形產(chǎn)生的重復(fù)性工作[14].

本文主要研究時(shí)標(biāo)上通過(guò)凸包型脈沖控制帶有時(shí)滯的MRNNs系統(tǒng)的全局同步問(wèn)題，利用序列連通的概念、時(shí)標(biāo)理論和凸包型脈沖控制策略得到了確保MRNNs系統(tǒng)的全局同步問(wèn)題.所得結(jié)論不僅在完全連續(xù)和完全離散的時(shí)域中適用，在混合時(shí)域中也適用.

1 預(yù)備知識(shí)和模型

1.1 基本概念

時(shí)標(biāo)T指的是實(shí)數(shù)集的任意非空閉子集.對(duì)于t∈T，當(dāng)tt}；當(dāng)t>infT，后跳算子ρ:T→T定義為ρ(t)=sup{s∈T:st，則t被稱為右擴(kuò)散點(diǎn)；若σ(t)=t，則t被稱為右稠密點(diǎn)；若ρ(t)

定義1[15]設(shè)函數(shù)f:T→R.對(duì)于任意ε>0，存在ζ>0以及t(t∈T)的鄰域P(P=(t-ζ,t+ζ)∩T)使得|[f(σ(t))-f(s)]-fΔ(t)[σ(t)-s]|≤ε|σ(t)-s|,?s∈P，稱fΔ(t)是f在t的Δ-導(dǎo)數(shù).

定義2[15]如果函數(shù)f:T→R在T上的右稠密點(diǎn)連續(xù)且左稠密點(diǎn)左極限存在，則稱其右稠密連續(xù).右稠密函數(shù)f:T→R的集合記為Crd.

定義3[15]定義Cauchy積分

稱函數(shù)F:T→R為函數(shù)f:T→R的不定積分，若

FΔ(t)=f(t),?t∈Tκ.

定義4[15]對(duì)于任意t∈Tκ，函數(shù)p:T→R滿足1+μ(t)p(t)>0，稱其為正回歸函數(shù).定義所有正回歸函數(shù)并上所有右稠密連續(xù)函數(shù)f:T→R的集合為R+.

定義5[15]若p∈R+，定義指數(shù)函數(shù)

給定一個(gè)集合D?Rn，D的凸包定義為

D的直徑定義為

對(duì)于兩個(gè)集合D1,D2∈Rn，定義

D1+D2={x+y:x∈D1,y∈D2}.

顯然 diam(D1+D2)≤diam(D1)+diam(D2).

1.2 序列連通

1.3 模型和基本引理

考慮下列MRNNs模型

q∈Q={1,2,…,n},

其中v={1,2,…,N}，上式可寫為如下形式：

Ui(t).

給定脈沖序列{t1,t2,t3,…}?T滿足tk

τ))，i∈v,t≠tk,

(1)

(2)

其中若第i個(gè)神經(jīng)網(wǎng)絡(luò)在脈沖時(shí)刻tk被第j個(gè)神經(jīng)網(wǎng)絡(luò)影響(i≠j)，則gij(tk)>0，否則gij(tk)=0.

在下文里，用Gk表示耦合拓?fù)渚仃?gk為在時(shí)刻tk對(duì)應(yīng)矩陣Gk的圖.gk可能包含自環(huán)，因此gii(tk)可以大于0.

注1文獻(xiàn)[16-17]報(bào)道了脈沖同步的研究工作.前者所得結(jié)論建立在離散時(shí)域上，而后者在實(shí)數(shù)集上進(jìn)行研究.系統(tǒng)(1)比兩者更具一般性.

注2式(2)描述了神經(jīng)網(wǎng)絡(luò)之間的凸包型相互作用，多次產(chǎn)生脈沖xi(φ(tk))均在凸包H({xi(tk),i∈v})內(nèi)，與現(xiàn)有文獻(xiàn)[18-19]不同.在文獻(xiàn)[18]中采用了牽制控制使動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)達(dá)到漸進(jìn)同步，而在文獻(xiàn)[19]中通過(guò)周期間歇控制達(dá)到復(fù)雜網(wǎng)絡(luò)指數(shù)同步.上述兩篇文獻(xiàn)中網(wǎng)絡(luò)之間的相互作用在整個(gè)時(shí)間域上存在，而式(2)表示的脈沖相互作用僅在脈沖時(shí)刻產(chǎn)生網(wǎng)絡(luò)間的信息傳遞，其他時(shí)刻里各網(wǎng)絡(luò)系統(tǒng)保持獨(dú)立.

定義6神經(jīng)網(wǎng)絡(luò)(1)在凸包型脈沖作用(2)下能達(dá)到時(shí)標(biāo)上全局同步，當(dāng)且僅當(dāng)

其中‖·‖1為1-范數(shù).

本文給出基本假設(shè)：

|fi(x)-fi(y)|≤λi|x-y|,i∈Q,

和

其中x，y∈R，λi>0，γi>0.令Λ=diag{λ1,λ2,…,λn}，Γ=diag{γ1,γ2,…,γn}.

(ii) 對(duì)任意t∈T，1-μ(t)ci>0且有

-cmin+‖AΛ‖1+‖B?！?∈R+，

其中cmin為矩陣C中非零最小元素.

引理1(Gronwall不等式)[15]設(shè)y，f∈Crd，p∈R+，p≥0.若

則

?t∈T.

引理2[15]若p∈R+且a，b，c∈T，則

2 主要結(jié)果

命題1對(duì)于任意i，j∈v，t∈(tk,tk+1]T，k∈Z+，若基本假設(shè)(i)和(ii)成立，則有

‖sij(t)‖1≤er(t,tk)(‖sij(φ(tk))‖1+

證明情形1 若σ(t)=t，根據(jù)式(1)，當(dāng)t∈(tk,tk+1]T時(shí)，

A[f(xi(t))-f(xj(t))]+B[fτ(xi(t-τ))-

fτ(xj(t-τ))],

那么

-sign(sij(t))TCsij(t)+

sign(sij(t))TA[f(xi(t))-

f(xj(t))]+sign(sij(t))TB[fτ(xi(t-τ))-

fτ(xj(t-τ))]≤(-cmin+

‖AΛ‖1)‖sij(t)‖1+‖B?！?‖sij(t-τ)‖1.

情形2 若σ(t)>t，當(dāng)t∈(tk,tk+1]T時(shí)，

sij(σ(t))=[I-μ(t)C]sij(t)+μ(t)A[f(xi(t))-

f(xj(t))]+μ(t)B[fτ(xi(t-τ))-

fτ(xj(t-τ))]，

其中I為單位矩陣，

當(dāng)1-μ(t)ci>0時(shí)，就有

‖B?！?‖sij(t-τ)‖1.

(3)

結(jié)論與情形1相同.將式(3)從φ(tk)到t進(jìn)行積分可以得到

‖B?！?)‖sij(η)‖1Δη+

‖sij(φ(tk))‖1≤(‖sij(φ(tk))‖1+

應(yīng)用引理1和引理2，就有

‖sij(t)‖1≤(‖sij(φ(tk))‖1+

證畢.

定理1若定義6中基本假設(shè)(i)和(ii)成立，且0≤τ

(ii) 對(duì)任意m∈Z+存在實(shí)數(shù)∈(0,1)使得

0

對(duì)于任意i∈vk+1，由式(2)知

(4)

(5)

令ωi(tk)=1-βi(tk)>0且

(6)

根據(jù)(i)，βi(tk)≥α.結(jié)合式(4)～(6)，可得

記

令

Hk(t)=H((xi(t))i∈vk),H(t)=H((xi(t))i∈v)

和

則有

xi(φ(tk))∈αHk(tk)+(1-α)H(tk).

因此

(7)

更進(jìn)一步，令

Ωk=diam(Hk(tk)),

Ω(tk)=diam(H(tk)),

則由式(7)可得

(8)

根據(jù)命題1以及凸包的性質(zhì)，可得下列時(shí)標(biāo)類型的估計(jì)式：

(9)

(10)

(11)

Ω(φ(tk))≤Ω(tk).

(12)

er(tK+1,t1)[αKΩ1+(1-αK)Ω(t1)+

由于v1為單點(diǎn)集，Ω1=0.因此

經(jīng)過(guò)反復(fù)迭代就有

此結(jié)果包含了文獻(xiàn)[8-9]的結(jié)果.

注3通過(guò)定理1的證明可以知道，有兩個(gè)因素影響MRNNs系統(tǒng)(1)的同步.一方面，直徑Ω(t)在任意兩個(gè)脈沖時(shí)刻之間持續(xù)增加.另一方面在每個(gè)脈沖時(shí)刻的作用使得直徑減少.減少速率的估計(jì)可參考文獻(xiàn)[20].(ii)保證了減少速率大于增加速率從而達(dá)到同步.所得結(jié)論也包括T=Z時(shí)的情形，下述推論說(shuō)明了這一問(wèn)題.

使T=Z，0≤τ

xi(n+1)=(I-C)xi(n)+Bfτ(xi(n-τ))+

Af(xi(n))i∈v,n≠nk.

(13)

(14)

其中n∈Z且{nk}?T為脈沖序列，則可以得到：

推論1基本假設(shè)(i)和(ii)成立.離散MRNNs系統(tǒng)(13)～(14)可以達(dá)成全局漸進(jìn)同步，當(dāng)且僅當(dāng)下列條件滿足.

0<(1+r)eηm((1+bτ)K-αK)≤，

其中ηm=n(m+1)K+1-nmK+1且m≥0.

3 數(shù)值仿真

例1考慮下列N=5的MRNNs系統(tǒng)：

(15)

fj(xj)=(1/2)(|xj+1|-|xj-1|),j=1,2,

C=diag{0.1,0.1}.

則a=-0.25，b=0.15.考慮圖1所示的通信拓?fù)洌?令點(diǎn)集序列v1={1}，v2={2,5}，v3={1,2,3,4,5}，可得K=2且{g2m+1,g2(m+1)}序列連通.與拓?fù)鋵?duì)應(yīng)矩陣可表達(dá)如下:

圖1 5個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)間的通信拓?fù)?m≥0)Fig.1 Communication topology among five MRNNs(m≥0)

脈沖序列由下式給出:

{0.9,1.6,2.7,3.4,4.5,5.2,6.3,7,8.1,

8.8,…}.

對(duì)于任意m≥0，取下式的最小值t2m+3-t2m+1=1.8(m=0,1,2,…)，可驗(yàn)證r∈R+且通過(guò)計(jì)算可得

er(t(m+1)K+1,tmK+1)[(1+bτ)K-αK]=

0.998<1.

因此定理1中(ii)滿足.

圖2 T上MRNNs(15)的狀態(tài)軌跡Fig.2 State trajectories of MRNNs (15) on T

圖3 T上MRNNs(15)的兩個(gè)狀態(tài)軌跡Fig.3 Two state trajectories of MRNNs (15) on T

根據(jù)定理1，式(15)中的5個(gè)神經(jīng)網(wǎng)絡(luò)可通過(guò)在通信拓?fù)湎碌耐拱兔}沖控制達(dá)到時(shí)標(biāo)T上的全局同步.數(shù)值模擬中初值為x11(s)=-0.2,x12(s)=0.1,x21(s)=-0.4,x22(s)=0.2,x31(s)=-0.6,x32(s)=0.3,x41(s)=-0.8,x42(s)=0.4,x51(s)=-1,x52(s)=0.5,s∈[-0.6,-0.2]∪{0}.所有的神經(jīng)網(wǎng)絡(luò)狀態(tài)軌跡在圖2中給出，最終在T上達(dá)到同步.圖3給出了T上MRNNs兩個(gè)分量狀態(tài)軌跡的3D圖.另外，5個(gè)神經(jīng)網(wǎng)絡(luò)中最大的狀態(tài)差量定義為

那么當(dāng)t→+∞時(shí)Δ(t)→0，如圖4 所示.

圖4 T上Δ(t)的變化Fig.4 Variation of Δ(t) on T

圖5 MRNNs(15)在脈沖時(shí)刻的凸包Fig.5 Convex hull impulse instants of MRNNs (15)

在圖5中MRNNs系統(tǒng)(15)在每個(gè)脈沖時(shí)刻的凸包都比前一個(gè)脈沖時(shí)刻更小，并且最后收縮到一點(diǎn)保證了網(wǎng)絡(luò)的同步.

圖6 例子中無(wú)脈沖時(shí)的MRNNsFig.6 MRNNs in example without impulse

例子中不施加脈沖控制的情況如圖6所示，可以看到網(wǎng)絡(luò)系統(tǒng)不同步，這意味著本文提出的脈沖切換控制策略可以有效地使MRNNs同步.

4 結(jié) 論

利用時(shí)標(biāo)理論和序列連通，本文提出凸包型脈沖控制策略解決了混合時(shí)域上時(shí)滯MRNNs系統(tǒng)的全局同步問(wèn)題.本文主要貢獻(xiàn)為得到了既適用于完全連續(xù)時(shí)域和完全離散時(shí)域的結(jié)論，同時(shí)所得結(jié)果也可應(yīng)用于離散和連續(xù)交替出現(xiàn)的混合時(shí)域.進(jìn)而通過(guò)數(shù)值模擬的例子得到了驗(yàn)證.應(yīng)用時(shí)標(biāo)理論對(duì)神經(jīng)網(wǎng)絡(luò)相關(guān)問(wèn)題進(jìn)行研究可得到許多更廣泛的結(jié)果，將在后續(xù)工作中繼續(xù)推進(jìn).