一種新的Kohonen神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法

付 琦

（山東農(nóng)業(yè)工程學(xué)院，濟(jì)南 250100）

0 引言

Kohonen網(wǎng)絡(luò)是T. Kohonen教授于1981年首次提出的，是一種由具有自調(diào)整功能的神經(jīng)元組成的人工神經(jīng)網(wǎng)絡(luò)[1]。Kohonen采用自動分類算法，又稱自組織特征映射神經(jīng)網(wǎng)絡(luò)，是自組織映射（Self-Organising Maps，SOM）思想的起源[2]。網(wǎng)絡(luò)的各個神經(jīng)元之間通過相互的側(cè)向交互作用進(jìn)行競爭，以近鄰者相互激勵、遠(yuǎn)鄰者相互抑制的規(guī)則自適應(yīng)地組織而形成針對特殊信息的一個組織結(jié)構(gòu)[3,4]。這種單層無監(jiān)督學(xué)習(xí)算法可看成是模式識別和自動分類算法的一種拓展，訓(xùn)練階段對SOM算法的性能具有重大影響，所以Kohonen網(wǎng)絡(luò)架構(gòu)的選擇是神經(jīng)網(wǎng)絡(luò)研究的一個重要方面[5]。近年來，學(xué)術(shù)界對人工神經(jīng)網(wǎng)絡(luò)架構(gòu)的優(yōu)化問題，尤其是Kohonen網(wǎng)絡(luò)架構(gòu)的優(yōu)化問題，開始進(jìn)行研究[6～8]。

本文從混合整數(shù)角度對非線性約束條件下的Kohonen網(wǎng)絡(luò)架構(gòu)優(yōu)化問題進(jìn)行建模。本文模型的成本函數(shù)包括兩項：第1項控制幾何誤差并構(gòu)建拓?fù)漤樞?；?項控制拓?fù)溆成涞囊?guī)模。本文模型可對Kohonne網(wǎng)絡(luò)架構(gòu)進(jìn)行優(yōu)化，以該模型為基礎(chǔ)，通過在最小化階段定義一種學(xué)習(xí)規(guī)則，提出了一種新的學(xué)習(xí)分類方法。由于連續(xù)Hopfield網(wǎng)絡(luò)（Continuous Hopfield Network，以下簡稱CHN網(wǎng)絡(luò)）可有效解決優(yōu)化問題，所以在分配階段采用了CHN網(wǎng)絡(luò)[8]。

1 連續(xù)Hopfield網(wǎng)絡(luò)建模

1.1 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)簡介

CHN網(wǎng)絡(luò)由Hopfield和Tank提出，是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)，用于解決組合優(yōu)化問題[9,10]。近年來，CHN網(wǎng)絡(luò)在圖像處理、模式識別、生產(chǎn)調(diào)度優(yōu)化以及機(jī)器人路徑規(guī)劃領(lǐng)域獲得廣泛應(yīng)用[11～13]。CHN由帶有平滑s形激活函數(shù)的互連神經(jīng)元構(gòu)成，描述CHN網(wǎng)絡(luò)動態(tài)特性的微分方程如下：

其中y、v和Ib分別表示神經(jīng)元狀態(tài)、輸出和偏差向量。輸出函數(shù)vi=g(yi)為雙曲正切函數(shù)，下界為0、上界為1。實數(shù)值Ti,j和Iib分別表示從神經(jīng)元i到j(luò)的突觸連接的權(quán)重及神經(jīng)元i的偏置。除此之外，Hopfield還引入了[0,1]n上的能量函數(shù)E，定義如下：

如果能量函數(shù)E存在，則平衡點也存在[9]。為基于CHN網(wǎng)絡(luò)求解組合優(yōu)化問題，這里將能量函數(shù)E(v)進(jìn)行簡化，如式(3)所示。

1.2 優(yōu)化模型

為了考慮成本函數(shù)、分配約束和傳輸約束等條件，定義式(4)，既可對使用的神經(jīng)元數(shù)量進(jìn)行優(yōu)化，又可保持觀測集上定義的領(lǐng)域概念。

2 優(yōu)化訓(xùn)練方法

因為優(yōu)化問題(P)是帶有多項式目標(biāo)函數(shù)的混合整數(shù)問題，所以我們分兩步求解該問題：

分配階段：我們固定權(quán)重向量然后求解如下問題：整數(shù)變量下的多項式分配問題。

最小化階段：我們固定分配向量然后求解如下問題：連續(xù)變量條件下的非線性優(yōu)化問題。

在迭代之前，我們固定第t-1次迭代時獲得的權(quán)重向量，并利用CHN網(wǎng)絡(luò)求解如下整數(shù)變量條件下的優(yōu)化問題：

為了利用CHN網(wǎng)絡(luò)求解(Pt)問題，需要構(gòu)建合適的能量函數(shù)，如式(6)所示：

考慮到u是CHN網(wǎng)絡(luò)的神經(jīng)元輸出，I是網(wǎng)絡(luò)偏差，T是能量函數(shù)為時網(wǎng)絡(luò)中鏈路的權(quán)重函數(shù)，則第(n+1)N個神經(jīng)元間鏈路的權(quán)重為：

式(8)是約束條件 成立的充分條件：

式中的參數(shù)約束條件為：

其中：

利用式(9)可以將約束條件簡化，如下式所示：

已知描述空間和Kohonen拓?fù)溆成涞某叽绾?，我們通過求解確定最終的參數(shù)。在最小化階段，需要固定變量向量u，以此求解連續(xù)變量條件下的優(yōu)化問題，只需要保證在每次迭代時只使用一種簡單的梯度方法即可：

其中，wj(t)表示第t次迭代過成中j的重心。以文獻(xiàn)[14]中的算法為基礎(chǔ)，結(jié)合式(7)、式(9)、式(10)、式(11)，提出優(yōu)化訓(xùn)練算法如圖1所示，其中初始化過程包括定義輸入變量，以及輸出變量。計算參數(shù)值過程包括：根據(jù)方程(7)計算T和I，根據(jù)方程(9)計算M1和M2，根據(jù)方程(10)計算

圖1 優(yōu)化算法流程圖

3 仿真試驗

為了闡述Kohonen優(yōu)化架構(gòu)的優(yōu)點，我們對得到廣泛應(yīng)用的Iris虹膜分類數(shù)據(jù)集運(yùn)行本文算法，共包括3種目標(biāo)類型：Setosa（Se），Virginica（Vi）和Versicolor（Ve）。每種類別包括50個數(shù)據(jù)樣本。在訓(xùn)練前，利用如下規(guī)則對數(shù)據(jù)進(jìn)行正規(guī)化：

一半數(shù)據(jù)（75個，每種25個）樣本用于訓(xùn)練，另外一半用于測試。為了對Iris數(shù)據(jù)進(jìn)行聚類，隨機(jī)選擇映射的初始尺寸，該尺寸由本文模型目標(biāo)函數(shù)的項控制。表1給出了映射尺寸和迭代次數(shù)不同時剩余神經(jīng)元的均值。通過表1可以看出，對Iris數(shù)據(jù)進(jìn)行聚類時神經(jīng)元數(shù)量基本收斂于11。

表1 最佳神經(jīng)元數(shù)量選擇表

本文方法使Kohonen學(xué)習(xí)算法更加完整，實際上，本文方法同時提出兩個任務(wù)：學(xué)習(xí)任務(wù)以及使映射尺寸最小的優(yōu)化任務(wù)。通過3個步驟實現(xiàn)這些目標(biāo)：分配步驟，決策步驟及最小化步驟。通過這種方法，我們在收斂時只獲得有用神經(jīng)元，簡化了標(biāo)識任務(wù)。

表2給出了訓(xùn)練數(shù)據(jù)的聚類結(jié)果，可以看出，本文方法的結(jié)果較優(yōu)，僅有2個數(shù)據(jù)沒有被成功分類，其他數(shù)據(jù)均被正確分類。錯誤分類的數(shù)據(jù)來自Versicolor類別。

表2 測試數(shù)據(jù)分類的數(shù)值仿真結(jié)果

圖2和圖3分別從不同角度將本文提出的算法與傳統(tǒng)的EPB、RBF以及SVM等算法進(jìn)行對比，圖2為不同算法在計算耗時（單位為s）以及迭代次數(shù)方面的對比情況，圖3給出了不同算法分類結(jié)果的成功率情況。

圖2 不同算法的對比（耗時與迭代次數(shù)）

圖3 不同算法對比（成功率）

通過圖2可以看出，四種算法當(dāng)中，表現(xiàn)較差的是EBP算法，該算法的迭代次數(shù)和計算耗時均比較高，RBF和SVM算法分別在迭代次數(shù)和計算耗時單方面表現(xiàn)突出，而本文提出的算法同時具有較短的計算耗時（9.5s）和較少的迭代次數(shù)（150次），因此，相比而言，本文優(yōu)化后的算法結(jié)果表現(xiàn)更優(yōu)。除此之外，通過圖3的分類準(zhǔn)確率也可以表明，本文提出的方法具有較高的準(zhǔn)確率。

4 結(jié)論

本文從非線性約束條件下的混合整數(shù)優(yōu)化問題角度，對Kohonen架構(gòu)的選擇問題進(jìn)行建模。提出了一種新的模型，以該模型為基礎(chǔ)，通過給出最小化階段的學(xué)習(xí)規(guī)則，提出一種學(xué)習(xí)分類算法，從而優(yōu)化Kohonen網(wǎng)絡(luò)架構(gòu)。與Kohonen經(jīng)典學(xué)習(xí)算法相比，本文提出的方法可避免映射中的非無用神經(jīng)元。為了進(jìn)一步闡述本文方法的優(yōu)點，我們對Iris常用分類數(shù)據(jù)集運(yùn)行本文方法。實驗結(jié)果證明了本文方法的優(yōu)點，尤其是本文方法在分類質(zhì)量和架構(gòu)映射優(yōu)化方面的優(yōu)勢非常明顯。與EBP、RBF和SVM等方法相比，本文方法可在較短時間內(nèi)給出高質(zhì)量分類結(jié)果。下一步，我們將把本文方法用于圖像壓縮和語音處理領(lǐng)域。

[1] Kohonen T.Self-organized formation of topologically correct feature maps[J].Biological Cybernetics.1982,43(1)：59-69.

[2] Chung-Chian H, Shu-Han L.Visualized Analysis of Mixed Numeric and Categorical Data Via Extended Self-Organizing Map[J].Neural Networks and Learning Systems, IEEE Transactions on.2012,23(1)：72-86.

[3] 方浩,王艷紅.改進(jìn)的Kohonen神經(jīng)網(wǎng)絡(luò)航跡關(guān)聯(lián)算法[J].計算機(jī)應(yīng)用.2013,(05)：1476-1480.

[4] 麻書欽.基于Kohonen神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)入侵聚類算法的測試研究[J].中國測試.2013,(04)：113-116.

[5] 李厚強(qiáng),劉政凱,林峰.基于分形理論和Kohonen神經(jīng)網(wǎng)絡(luò)的紋理圖像分割方法[J].計算機(jī)工程與應(yīng)用.2001,(07)：44-46.

[6] Chung-Chian H.Generalizing self-organizing map for categorical data[J].Neural Networks, IEEE Transactions on.2006,17(2)：294-304.

[7] Talaván P M, Yá?ez J.The generalized quadratic knapsack problem.A neuronal network approach[J].Neural Networks.2006,19(4)：416-428.

[8] Ettaouil M, Elmoutaouakil K, Ghanou Y.The continuous hopfield networks(CHN) for the placement of the electronic circuits problem[J].W.Trans. on Comp.2009,8(12)：1865-1874.

[9] Ghosh A, Pal N R, Pal S K.OBJECT BACKGROUND CLASSIFICATION USING HOPFIELD TYPE NEURAL NETWORK.

[10] J. J. Hopfield P O T N.Neurons with graded response have collective computational properties like those of two-states neurons[C].Proceedings of the National Academy of Sciences,USA,1984.

[11] 張志新,張明廉.基于并行混沌和單純形法的混合全局優(yōu)化算法[J].系統(tǒng)仿真學(xué)報.2004,(01)：35-37.

[12] 修春波,劉向東,張宇河.雙混沌機(jī)制優(yōu)化方法及其應(yīng)用[J].控制與決策.2003,(06)：724-726.

[13] Steck J E, Balakrishnan S N.Use of Hopfield neural networks in optimal guidance[J].Aerospace and Electronic Systems,IEEE Transactions on.1994,30(1)：287-293.

[14] Talaván P M,Yà?ez J.A continuous Hpfield network equilibrium points algorithm[J].Computers and operations research.2005,(32)：2179-2196.