帶遞歸單元的模糊感知器的δ-規(guī)則的有限收斂性

劉 燕, 閻 慧 臻, 劉 超, 姜 行 健, 楊 開 兵

( 1.大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034; 2.大連理工大學(xué) 機(jī)械工程與材料能源學(xué)部, 遼寧 大連 16024 )

0 引 言

遞歸神經(jīng)網(wǎng)絡(luò)是指具有遞歸結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),它們主要用來實(shí)現(xiàn)時(shí)間序列樣本的分析及應(yīng)用。網(wǎng)絡(luò)結(jié)構(gòu)分為全局遞歸連接和局部遞歸連接。全局遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,難于訓(xùn)練和分析,在應(yīng)用時(shí)需要將其結(jié)構(gòu)簡化。一種簡單而自然的方法是對感知器引入反饋連接,其學(xué)習(xí)和訓(xùn)練依舊以前傳為主,同時(shí)又包含反饋連接。這種網(wǎng)絡(luò)的反饋使其輸出不僅依賴當(dāng)前的輸入,還和上一時(shí)刻的輸出有關(guān),從而使網(wǎng)絡(luò)具有動態(tài)記憶能力。

文獻(xiàn)[1-3]對最簡單的模糊神經(jīng)網(wǎng)絡(luò)即模糊感知器提出一種學(xué)習(xí)算法,并證明在一定條件下,該算法的有限收斂性。本文將對帶遞歸單元的模糊感知器的學(xué)習(xí)算法收斂性問題進(jìn)行研究。

1 帶遞歸單元的模糊感知器網(wǎng)絡(luò)結(jié)構(gòu)及算法

1.1 帶遞歸單元的模糊感知器結(jié)構(gòu)

ζ(ξk)=g(max(W°ξk,λ∧ζk-1))=

(1)

式(1)中,∨、∧分別為取大、取小運(yùn)算,°為合成算子,W=(w1,…,wn)T為權(quán)重向量,wj為連接第j個(gè)輸入神經(jīng)元和輸出神經(jīng)元的權(quán)值,連接遞歸神經(jīng)元和輸出神經(jīng)元的權(quán)值為λ∈[0,1]。

圖1 具有n-1-1結(jié)構(gòu)的遞歸模糊感知器

1.2 完全隨機(jī)輸入的帶遞歸的模糊δ-規(guī)則

(2)

λk+1=f(λk+Δλk)=f(λk+η(Ok-ζk))

(3)

其中,l=1,…,n,k=0,1,…,且

2 樣本模糊可分及樣本集性質(zhì)

為說明方便,記理想輸出為O(s)=0和1的樣本分別為Xm和Yp,m=1,…,M；p=1,…,P；1≤M,P

先定義兩個(gè)集合:DM={1,…,M},DP={1,…,P}。

定義1若存在一個(gè)模糊向量A={a1,…,an},使得

(4)

成立,則稱該訓(xùn)練樣本模糊可分。

記模糊向量A中分量元素≥0.5的下標(biāo)集合為E,分量元素<0.5的下標(biāo)集合記為F,顯然有E∪F={1,…,n}。

由假設(shè)1易得性質(zhì)1～3[1]:

性質(zhì)1E≠Φ且F≠Φ。

3 有限收斂定理及證明

模糊感知器常用來解決分類問題,若理想輸出等于實(shí)際輸出則有限收斂,定義如下：

(5)

成立,則稱該學(xué)習(xí)算法有限收斂。

若σ2=0,任取η,則基于隨機(jī)輸入的帶遞歸的模糊δ-規(guī)則有限收斂。

證明首先對學(xué)習(xí)算法作3點(diǎn)說明。

則max(Wk°Yp,λk∧ζk-1)≥Wk°Yp≥0.5

ζk=g(max(Wk°Yp,λk∧ζk-1))=1=Ok

由算法(2)知

l=1,…,n

λk+1=f(λk+η(Ok-ζk))=

f(λk+η(1-1))=λk

由算法(2),當(dāng)權(quán)值第k+1次被真正更新,則

λk+1=f(λk+η(Ok-ζk))=f(λk-η)

(3)同說明(2)的推導(dǎo),可得當(dāng)λk∧ζk-1≥0.5,樣本Xm,Φm=φ,m∈DM令權(quán)值嚴(yán)格減小;當(dāng)λk∧ζk-1<0.5,對權(quán)值更新不起作用。

下面證明,權(quán)值有限次更新后達(dá)到收斂,并給出學(xué)習(xí)率η的選取范圍。

對Xm,Φm=φ,m∈DM,易證ζ(Xm)=O(Xm)。綜上,該學(xué)習(xí)算法收斂。

[1] YANG Jie, WU Wei, SHAO Zhi-qiong. A new training algorithm for a fuzzy perceptron and its convergence[J]. Lecture Notes in Computer Science, 2005, 3496:89-118.

[2] 劉燕,楊潔. 帶閾值的模糊感知器的收斂性[J]. 高等學(xué)校計(jì)算數(shù)學(xué)學(xué)校, 2005, 27(專輯):320-323.

[3] 劉燕,閻慧臻,劉超. 利用模糊感知器解決模糊可分樣本的分類問題[J]. 大連工業(yè)大學(xué)學(xué)報(bào), 2009, 28(1):66-69.

(LIU Yan, YAN Hui-zhen, LIU Chao. Classification of fuzzily separable training patterns based on fuzzy perceptron[J]. Journal of Dalian Polytechnic University, 2009, 28(1):66-69.)

[4] WU Wei, SHAO Zhi-qiong. Convergence of online gradient methods for continuous perceptrons with linearly separable training patterns[J]. Applied Mathematics Letters, 2003, 16(7):999-1002.