基于單形進化的多項式神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法

魏巍 王慧

摘 要： 在多項式神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中，當(dāng)采用智能優(yōu)化算法進行學(xué)習(xí)優(yōu)化時，智能優(yōu)化算法的控制參數(shù)對學(xué)習(xí)效果有很大影響，針對這一問題，本文提出了一種多項式神經(jīng)網(wǎng)絡(luò)的智能優(yōu)化方法，其的控制參數(shù)是通過對單形領(lǐng)域的完全隨機搜索來使用的，且粒子的多樣性是通過種群的多特征狀態(tài)來維持的，以避免算法陷入局部最優(yōu)解，試驗結(jié)果表明，該算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)不僅能有效提高識別率，而且能減小控制參數(shù)對學(xué)習(xí)性能的影響，提高算法的整體魯棒性。

關(guān)鍵詞：多項式神經(jīng)網(wǎng)絡(luò);識別率;進化策略;分類

Abstract： In the polynomial neural network training algorithm， when the intelligent optimization algorithm is used for learning optimization， the control parameters of the intelligent optimization algorithm have a great impact on the learning effect. In order to solve this problem， this paper proposes an intelligent optimization method of polynomial neural network， whose control parameters are used by completely random search in the simplex field， The experimental results show that the neural network trained by the algorithm can not only effectively improve the recognition rate， but also reduce the influence of control parameters on the learning performance， and improve the overall robustness of the algorithm.

Key words： polynomial neural network; Recognition rate; Evolutionary strategy; classification

1 引言

隨著信息技術(shù)的不斷發(fā)展，人工智能也在不斷發(fā)展。在20世紀(jì)40年代，一個跨學(xué)科的人工神經(jīng)網(wǎng)絡(luò)被開發(fā)出來。它是一個簡化的人工智能系統(tǒng)，模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)、過程和功能[1]，作為人類智能研究的重要組成部分，生物神經(jīng)系統(tǒng)的處理和功能可以應(yīng)用于許多學(xué)科，因此，它已成為許多學(xué)科關(guān)注的焦點[2]。由于人工神經(jīng)網(wǎng)絡(luò)是一種最接近人類實現(xiàn)的機器學(xué)習(xí)算法，目前已有近40種神經(jīng)網(wǎng)絡(luò)模型[3-7]。雖然人類學(xué)習(xí)如何區(qū)分事物很容易，但生物學(xué)的過程非常簡單。另外，參數(shù)對神經(jīng)網(wǎng)絡(luò)有很大的影響。

多項式神經(jīng)網(wǎng)絡(luò)（PNN）是根據(jù)用戶的需要自動生成網(wǎng)絡(luò)層和節(jié)點的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，具有很強的自適應(yīng)能力。在高度非線性系統(tǒng)仍然存在一些缺陷，網(wǎng)絡(luò)變得非常復(fù)雜[8]。

目前，大多數(shù)學(xué)者對全局優(yōu)化問題感到困惑，提出了許多不同的全局優(yōu)化算法，但該算法仍存在一些不足。例如，為了避免在搜索過程中陷入局部最優(yōu)，大多數(shù)算法都是通過設(shè)置多個控制參數(shù)來實現(xiàn)的。同時，大多數(shù)改進算法都是通過增加算法的復(fù)雜度或引入更多的控制參數(shù)來實現(xiàn)的。這必然導(dǎo)致計算速度的降低和計算時間的延長。

在此基礎(chǔ)上，本文將單形進化智能優(yōu)化算法引入到多項式神經(jīng)網(wǎng)絡(luò)中進行學(xué)習(xí)。

2 多項式核函數(shù)神經(jīng)網(wǎng)絡(luò)

考慮到實際應(yīng)用數(shù)據(jù)的相關(guān)性，本文選取具有全局性的多項式核函數(shù)[9]，設(shè)d為正整數(shù)，則d階齊次多項式函數(shù)為：

3 基于單形進化的多項式神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法

3.1 一種新的智能優(yōu)化算法

本文提出了一種新的智能優(yōu)化算法，對新的智能優(yōu)化算法的具體性能和原理、算法的理解在文獻[10]中有較好的認識。該新的優(yōu)化算法的目的是提高智能優(yōu)化算法的收斂性和穩(wěn)定性。新的智能優(yōu)化算法訓(xùn)練多項式神經(jīng)網(wǎng)絡(luò)的基本步驟如下[17-18]：

（1）根據(jù)搜索空間的均勻分布，將X個粒子進行初始化和隨機定位;

4 仿真實驗

4.1 數(shù)據(jù)集概述

為了保證實驗結(jié)果的可靠性和準(zhǔn)確性，本文在UCI數(shù)據(jù)庫中選取了兩組數(shù)據(jù)集，對特征進行測試。

（1）乳房組織數(shù)據(jù)集[11]

測量了64名婦女106個乳腺樣本的電阻抗特性[12]。測量了所有乳腺標(biāo)本在7個頻率下的電阻抗特性，提取了9個特征。根據(jù)樣本數(shù)量和阻抗特性，將其分為六類，如表所示。

（2）葡萄酒數(shù)據(jù)集[13]

對同一地區(qū)種植的3種不同葡萄品種的13種成分進行了化學(xué)分析。這13個分量的個數(shù)作為特征向量。葡萄酒品種分為三大類，分別用數(shù)字1、2和3表示。其中，第一類樣本59個，第二類樣本71個，第三類樣本48個。

4.2 實驗結(jié)果

（1）乳房組織數(shù)據(jù)集

表2顯示實驗訓(xùn)練測試的樣本總數(shù)為9個，每個類的樣本數(shù)為14個，與現(xiàn)有一些方法的識別率進行了比較。

（2）葡萄酒數(shù)據(jù)集

表3顯示了這些數(shù)據(jù)的不同識別率，結(jié)果1nn（Z變換數(shù)據(jù)）的識別率來源于對葡萄酒識別數(shù)據(jù)集的描述。

通過以上數(shù)據(jù)的比較，得出以下分析結(jié)果：

1）從表2和表3可以看出，新算法的識別率高于大多數(shù)現(xiàn)有算法，但略低于一些已成熟的算法。