具有ReLU函數(shù)的動力神經(jīng)場方程穩(wěn)定解的存在性

秦子雁，陳芃合，金德泉

(廣西大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院， 廣西 南寧 530004)

0 引言

“動力神經(jīng)場是皮層神經(jīng)元群活動動態(tài)的平均描述” 這一觀點(diǎn)在20世紀(jì)70年代被提出[1]。基于這一思想，涌現(xiàn)了很多關(guān)于動力神經(jīng)場的方法和模型，并在優(yōu)化、數(shù)據(jù)估計(jì)等方面得到了越來越廣泛的應(yīng)用[2-3]。在這些模型中，Amari的動力神經(jīng)場方程是一個(gè)重要模型，因?yàn)樗诓恍枰^多數(shù)學(xué)技巧的情況下就可以對其動態(tài)特性進(jìn)行分析處理。因此，該模型被廣泛應(yīng)用于機(jī)器學(xué)習(xí)、關(guān)聯(lián)記憶等諸多領(lǐng)域[4-5]。

由于動力神經(jīng)場的相關(guān)研究主要依賴于其穩(wěn)定性，因此研究穩(wěn)態(tài)解的存在條件和動力學(xué)性質(zhì)具有十分重要的意義。在一般研究的動力神經(jīng)場研究中,閾值函數(shù)θ應(yīng)該是單調(diào)且有界的，因此，Amari動力神經(jīng)場的閾值函數(shù)多為傳統(tǒng)的階躍函數(shù)或Sigmoid型函數(shù)[6-7]。然而，當(dāng)多個(gè)神經(jīng)場相互耦合時(shí)，階躍函數(shù)和sigmoid型函數(shù)的梯度可能會消失，這意味著當(dāng)輸入達(dá)到一定強(qiáng)度時(shí)，無論輸入如何變化，都會出現(xiàn)相同的激活區(qū)域。由于ReLU激活函數(shù)具有較高的收斂速度和良好的逼近性[8]，可以很容易地解決深度學(xué)習(xí)中高層結(jié)構(gòu)的梯度消失問題，因此，ReLU函數(shù)在神經(jīng)網(wǎng)絡(luò)研究中越來越受歡迎[9-10]。而在動力神經(jīng)場中，經(jīng)常用DoG(differential of Gaussian)函數(shù)作為相互作用核，但是DoG函數(shù)的參數(shù)較多，使得相應(yīng)的動力學(xué)性質(zhì)難以解釋，而高斯函數(shù)在參數(shù)相對少的情況下具有相似的性質(zhì)。

筆者主要討論在一維空間中，以ReLU函數(shù)作為閾值函數(shù)，高斯函數(shù)作為相互作用核的Amari動力神經(jīng)場方程中的穩(wěn)定解的存在條件和相關(guān)結(jié)論。

1 預(yù)備知識

一維的Amari動力神經(jīng)場方程[11]為

(1)

τ為大于0的時(shí)間常數(shù)，v(x,t)表示在感知場中，當(dāng)時(shí)間為t時(shí)，位于x的神經(jīng)元活性，Ω為感知區(qū)域，s(x,t)是輸入信息的分布函數(shù)，h為動力神經(jīng)場的靜息水平，也稱靜息電位。θ(v)是單調(diào)遞增閾值函數(shù)，用來描述神經(jīng)元在神經(jīng)場內(nèi)的興奮情況。令{x∈Ω:v(x,t)>0}為興奮域，假設(shè)動力神經(jīng)場無外部輸入，即s(x,t)=0，且有初始狀態(tài)v(x,0)=v0(x)，則一維的Amari動力神經(jīng)場方程可以改寫為

(2)

閾值函數(shù)θ(v)取ReLU函數(shù)。

(3)

與傳統(tǒng)的階躍函數(shù)或Sigmoid型函數(shù)不同，ReLU函數(shù)是單調(diào)遞增但是無上界的。它打破了當(dāng)θ(v)是一個(gè)階躍函數(shù)，只有激活神經(jīng)元才產(chǎn)生相互反饋的力量，且相互作用力度是完全由相互作用核定義的這一規(guī)律，使得在靜息狀態(tài)下被激活的神經(jīng)元也可能對其他神經(jīng)元產(chǎn)生反饋，且反饋力度與閾下刺激程度相關(guān)。

w(x,x′)為動力神經(jīng)場的相互作用核，由于相互作用核通常是各項(xiàng)同性的，所以也可以寫成w(x-x′)。相互作用核通常具有“墨西哥帽”形[12]。取w(x)為高斯函數(shù)，即

(4)

其中相互作用尺度σ>0，且滿足

(5)

定義若v*(x)為神經(jīng)場方程的穩(wěn)定解[1,13]，即

(6)

則有

(7)

① 若?x∈R，v*(x)≤0，則稱v*(x)為Amari動力神經(jīng)場的φ解;

② 若?x∈R，v*(x)>0，則稱v*(x)為Amari動力神經(jīng)場的∞解;

③ 若有a1,a2∈R，當(dāng)x∈(a1,a2)時(shí)，v*(x)>0；當(dāng)x?(a1,a2)時(shí)，v*(x)≤0，則v*(x)為Amari動力神經(jīng)場的a解。

若動力神經(jīng)場只存在φ解，表示動力神經(jīng)場不存在興奮域，若只存在∞解則表示動力神經(jīng)場在感知區(qū)域Ω內(nèi)全局興奮，若只存在a解則表示存在感知區(qū)域Ω內(nèi)存在局部興奮域。

2 主要結(jié)果

令相互作用核w(x,x′)滿足式(5)，則有：

命題1①若h<0，則有v*(x)=h為動力神經(jīng)場式(2)的唯一φ解。

② 若動力神經(jīng)場存在一個(gè)φ解，則h≤0。

證明?x∈R，有v*(x)=h，且h<0，則有θ(v)=0。故式(2)右邊項(xiàng)可以寫成

(8)

故v*(x)=h為式(2)的φ解。

下證穩(wěn)定解唯一，若?x∈R，假設(shè)有另一φ解v*(x)=h1≠h，則h1<0,θ(v)=0。故式(2)右邊項(xiàng)可以寫成

(9)

即h1=h，與假設(shè)矛盾,φ解唯一得證。

若動力神經(jīng)場存在一個(gè)φ解v*(x)，則有v*(x)≤0,θ(v*)=0。故有

(10)

由v*(x)≤0,v*(x)=h,故h≤0,證畢。

由上可得，h<0 是φ解存在的充分條件及必要條件，同時(shí)，動力神經(jīng)場內(nèi)有且只有一個(gè)φ解。這表明在給定動力神經(jīng)場方程為式(2)，無外部輸入時(shí)，只有當(dāng)靜息水平為負(fù)，動力神經(jīng)場的穩(wěn)態(tài)解中才不會使得感知區(qū)域中出現(xiàn)興奮域。此時(shí)感知區(qū)域內(nèi)的所有神經(jīng)元均不能被激活。全局抑制性質(zhì)對動力神經(jīng)場應(yīng)用在機(jī)器學(xué)習(xí)及工程上具有重要意義，它從理論上保證了動力神經(jīng)場不存在全局興奮區(qū)域。這意味著，只要保持h<0，便可以適當(dāng)?shù)卣{(diào)整參數(shù)，使得動力神經(jīng)場感知區(qū)域從無興奮域變成局部興奮但不會出現(xiàn)全局興奮，可以更自由地應(yīng)用在機(jī)器學(xué)習(xí)和工程中。

命題2①當(dāng)h>0時(shí)，動力神經(jīng)場方程(2)的所有穩(wěn)定解均為∞解。

② 若動力神經(jīng)場存在一個(gè)∞解v*(x)∈[0,1]，則有W∞+h>0。

證明當(dāng)h>0時(shí)，有穩(wěn)定解v*(x), 由閾值函數(shù)公式，θ(v*(x))≥0，則

(11)

由v*(x)≥h,h>0得v*(x)>0。 故動力神經(jīng)場所有穩(wěn)態(tài)解均為∞解得證。

有穩(wěn)定解v*(x)∈[0,1], 由閾值函數(shù)公式，θ(v*(x))∈[0,1], 則有

(12)

由v*(x)>0,v*(x)≤W∞+h得W∞+h>0,證畢。

命題2得出了∞解存在的相關(guān)條件。通常來說，在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和工程應(yīng)用中應(yīng)該規(guī)避∞解，因?yàn)椤藿獯砀兄獏^(qū)域內(nèi)全局興奮。在給定動力神經(jīng)場方程為式(2)的情況下，當(dāng)h>0時(shí)，動力神經(jīng)場所有的穩(wěn)定解均有感知區(qū)域全局興奮，這可以推斷出，在有外部輸入的情況下，當(dāng)h>0時(shí)，任何正向的外部刺激對于動力神經(jīng)場均無差別。此時(shí)，動力神經(jīng)場無法從外部輸入刺激中學(xué)習(xí)和提取刺激相關(guān)的特征和信息。

若有∞解v*(x)上界為b(b>0),則有θ(v*(x))≤b。

(13)

因此，命題2給出了在無外部輸入的情況下，規(guī)避動力神經(jīng)場∞解的靜息水平指標(biāo)，即在動力神經(jīng)場的方程為(2)式的情況下，靜息水平應(yīng)有h≤0；在無外部輸入且有上界為b(b>0)的情況下, 規(guī)避動力神經(jīng)場(2)式∞解的靜息水平指標(biāo)應(yīng)為bW∞+h≤0。

命題3若存在一個(gè)a解，當(dāng)x∈(a1,a2)有 0≤v*(x)0 及h≤0。

證明若?x?(a1,a2)，v*(x)≤0 則有閾值函數(shù)θ(v)=0，由式(7)，則

(14)

所以，由v*(x)≤0,v*(x)≥h, 得h≤0。

若?x∈(a1,a2)，0≤v*(x)

(15)

所以，由v*(x)>0,v*(x)0,證畢。

由上可知，bW∞+h>0及h≤0是上界為b的動力神經(jīng)場a解存在的充分條件，這是表明在符合以上條件且沒有外界刺激的情況下，動態(tài)神經(jīng)場可以保持(a1,a2)為興奮域作為短期記憶。當(dāng)閾下刺激增大時(shí)，局部興奮的區(qū)域也增大，當(dāng)不同神經(jīng)場相互耦合時(shí)，興奮域可以相互疊加，可以用來模擬同一區(qū)域?qū)τ诓煌碳さ呐d奮反應(yīng)。WANG等[14]利用局部興奮和全局抑制，即全局無興奮域，在震蕩神經(jīng)網(wǎng)絡(luò)中模擬人的感知突現(xiàn)，隨后與深度學(xué)習(xí)結(jié)合用來解決“雞尾酒會問題”，進(jìn)行語音的分離和降噪。陳薇薇等[15]在利用全局抑制核局部興奮機(jī)制的神經(jīng)元震蕩網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合最小叉熵原理提出了參數(shù)自適應(yīng)的新型圖像分割方法，并運(yùn)用在醫(yī)學(xué)圖像分割中。

3 結(jié)論

本文討論了一維Amari動力神經(jīng)場方程穩(wěn)定解的一些性質(zhì)。與經(jīng)典的Amari動力神經(jīng)場不同的是，利用單調(diào)遞增但是無界的ReLU函數(shù)作為閾值函數(shù)，高斯函數(shù)作為相互作用核，得到了Amari動力神經(jīng)場的三種典型穩(wěn)定解存在的相關(guān)條件與結(jié)論。當(dāng)不考慮外部輸入時(shí)，閾值函數(shù)無界時(shí)，穩(wěn)定解的存在性與穩(wěn)定解的界和靜息水平的取值高度相關(guān)。本文對三種穩(wěn)定解在認(rèn)知、感知科學(xué)及機(jī)器學(xué)習(xí)中的應(yīng)用的現(xiàn)實(shí)意義也進(jìn)行了闡述。首先，可以實(shí)現(xiàn)全局抑制的φ解與局部興奮相結(jié)合，有重大的現(xiàn)實(shí)意義，可以更加自由地運(yùn)用在機(jī)器學(xué)習(xí)中；其次，提出了在無負(fù)向外部輸入情況下規(guī)避∞解的靜息水平指標(biāo)；最后對a解和全局抑制在機(jī)器學(xué)習(xí)方面的應(yīng)用進(jìn)行了簡要的說明。以上研究成果較為新穎，具有較高的理論價(jià)值，可以為動力神經(jīng)場的理論研究和動力神經(jīng)場在認(rèn)知科學(xué)及機(jī)器學(xué)習(xí)的應(yīng)用方面提供相應(yīng)理論依據(jù)。