基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化

夏躍偉

【摘 要】 針對RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無論哪種算法，對于求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進算法，使隱節(jié)點的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。

【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)

1 RBF網(wǎng)絡(luò)算法分析

設(shè)有一組數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差

（式1）

（式2）

（式3）

最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來進行說明：

具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①從輸入向量集中選擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計算RBF函數(shù)的擴展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機值。④按式2計算機神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。

2 RBF網(wǎng)絡(luò)應(yīng)用局限性

RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)是個困難的問題；徑向?qū)ΨQ函數(shù)有多種，對于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒有徹底解決。

RBF網(wǎng)絡(luò)在實際應(yīng)用中，雖具有唯一最佳逼近的特性以及無局部極小的優(yōu)點，但隱節(jié)點的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對RBF網(wǎng)絡(luò)局限性我們提出一些改進的學(xué)習(xí)算法。

3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化

免疫系統(tǒng)是指具有免疫功能的組織機構(gòu)。所謂免疫功能是機體對自身或者外來的抗原性物質(zhì)（細(xì)菌、病毒）進行識別，通過產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機體內(nèi)環(huán)境相對穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計算效率高而且無需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強度用它們的親和力來表示，設(shè)第個輸入數(shù)據(jù)與第個數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。

①對每一個輸入數(shù)據(jù)以一個確定的數(shù)量進行隨機初始化C數(shù)據(jù)集。

②計算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個，產(chǎn)生一個RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對個相同的數(shù)據(jù)中心進行變異處理，形成變異集，為變異率。這一過程實際上是在有最大親和力的數(shù)據(jù)中心附近進行搜尋以得到更有親和力的數(shù)據(jù)中心，即：

③重新計算中個經(jīng)過變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個經(jīng)過壓縮的數(shù)據(jù)中心記憶集。

④計算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。

⑤計算中各個數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。

4 結(jié)語

通過對RBF網(wǎng)絡(luò)進行免疫算法的優(yōu)化，增強了抗原-抗體，抗體-抗體的親和力，經(jīng)過免疫算法的改進優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。

參考文獻(xiàn)

[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.

[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.

[3]張輝，柴毅.《一種改進的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計算機工程與應(yīng)用，2011，10.endprint

【摘 要】 針對RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無論哪種算法，對于求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進算法，使隱節(jié)點的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。

【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)

1 RBF網(wǎng)絡(luò)算法分析

設(shè)有一組數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差

（式1）

（式2）

（式3）

最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來進行說明：

具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①從輸入向量集中選擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計算RBF函數(shù)的擴展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機值。④按式2計算機神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。

2 RBF網(wǎng)絡(luò)應(yīng)用局限性

RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)是個困難的問題；徑向?qū)ΨQ函數(shù)有多種，對于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒有徹底解決。

RBF網(wǎng)絡(luò)在實際應(yīng)用中，雖具有唯一最佳逼近的特性以及無局部極小的優(yōu)點，但隱節(jié)點的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對RBF網(wǎng)絡(luò)局限性我們提出一些改進的學(xué)習(xí)算法。

3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化

免疫系統(tǒng)是指具有免疫功能的組織機構(gòu)。所謂免疫功能是機體對自身或者外來的抗原性物質(zhì)（細(xì)菌、病毒）進行識別，通過產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機體內(nèi)環(huán)境相對穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計算效率高而且無需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強度用它們的親和力來表示，設(shè)第個輸入數(shù)據(jù)與第個數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。

①對每一個輸入數(shù)據(jù)以一個確定的數(shù)量進行隨機初始化C數(shù)據(jù)集。

②計算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個，產(chǎn)生一個RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對個相同的數(shù)據(jù)中心進行變異處理，形成變異集，為變異率。這一過程實際上是在有最大親和力的數(shù)據(jù)中心附近進行搜尋以得到更有親和力的數(shù)據(jù)中心，即：

③重新計算中個經(jīng)過變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個經(jīng)過壓縮的數(shù)據(jù)中心記憶集。

④計算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。

⑤計算中各個數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。

4 結(jié)語

通過對RBF網(wǎng)絡(luò)進行免疫算法的優(yōu)化，增強了抗原-抗體，抗體-抗體的親和力，經(jīng)過免疫算法的改進優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。

參考文獻(xiàn)

[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.

[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.

[3]張輝，柴毅.《一種改進的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計算機工程與應(yīng)用，2011，10.endprint

【摘 要】 針對RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無論哪種算法，對于求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進算法，使隱節(jié)點的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。

【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)

1 RBF網(wǎng)絡(luò)算法分析

設(shè)有一組數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差

（式1）

（式2）

（式3）

最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來進行說明：

具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①從輸入向量集中選擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計算RBF函數(shù)的擴展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機值。④按式2計算機神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。

2 RBF網(wǎng)絡(luò)應(yīng)用局限性

RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點的中心和標(biāo)準(zhǔn)參數(shù)是個困難的問題；徑向?qū)ΨQ函數(shù)有多種，對于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒有徹底解決。

RBF網(wǎng)絡(luò)在實際應(yīng)用中，雖具有唯一最佳逼近的特性以及無局部極小的優(yōu)點，但隱節(jié)點的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對RBF網(wǎng)絡(luò)局限性我們提出一些改進的學(xué)習(xí)算法。

3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化

免疫系統(tǒng)是指具有免疫功能的組織機構(gòu)。所謂免疫功能是機體對自身或者外來的抗原性物質(zhì)（細(xì)菌、病毒）進行識別，通過產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機體內(nèi)環(huán)境相對穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計算效率高而且無需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強度用它們的親和力來表示，設(shè)第個輸入數(shù)據(jù)與第個數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。

①對每一個輸入數(shù)據(jù)以一個確定的數(shù)量進行隨機初始化C數(shù)據(jù)集。

②計算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個，產(chǎn)生一個RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對個相同的數(shù)據(jù)中心進行變異處理，形成變異集，為變異率。這一過程實際上是在有最大親和力的數(shù)據(jù)中心附近進行搜尋以得到更有親和力的數(shù)據(jù)中心，即：

③重新計算中個經(jīng)過變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個經(jīng)過壓縮的數(shù)據(jù)中心記憶集。

④計算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。

⑤計算中各個數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。

4 結(jié)語

通過對RBF網(wǎng)絡(luò)進行免疫算法的優(yōu)化，增強了抗原-抗體，抗體-抗體的親和力，經(jīng)過免疫算法的改進優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。

參考文獻(xiàn)

[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.

[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.

[3]張輝，柴毅.《一種改進的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計算機工程與應(yīng)用，2011，10.endprint