隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀與展望

喬俊飛，李凡軍，楊翠麗

(1.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124； 2.濟(jì)南大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山東 濟(jì)南 250022； 3.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124)

隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀與展望

喬俊飛1，3，李凡軍2，楊翠麗1，3

(1.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124； 2.濟(jì)南大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山東 濟(jì)南 250022； 3.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124)

神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)克服了傳統(tǒng)梯度類算法所固有的收斂速度慢及局部極小問題，最近已成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究熱點(diǎn)之一?；陔S機(jī)學(xué)習(xí)的思想，人們?cè)O(shè)計(jì)了不同結(jié)構(gòu)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型。本文旨在回顧總結(jié)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀基礎(chǔ)上，給出其發(fā)展趨勢(shì)。首先,提出隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化模型，并基于簡(jiǎn)化模型給出神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)算法；其次，回顧總結(jié)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀，基于簡(jiǎn)化模型分析不同結(jié)構(gòu)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的性能及隨機(jī)權(quán)初始化方法；最后,給出隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)今后的發(fā)展趨勢(shì)。

隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)；前饋神經(jīng)網(wǎng)絡(luò)；遞歸神經(jīng)網(wǎng)絡(luò)；級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)；隨機(jī)學(xué)習(xí)算法

人工神經(jīng)網(wǎng)絡(luò)是通過模仿大腦神經(jīng)系統(tǒng)的組織結(jié)構(gòu)及活動(dòng)機(jī)理進(jìn)行信息處理的新型網(wǎng)絡(luò)系統(tǒng)，具有從環(huán)境中學(xué)習(xí)的能力，并引起諸多領(lǐng)域的廣泛關(guān)注，比如信號(hào)處理、智能控制、模式識(shí)別、圖像處理、非線性系統(tǒng)建模與優(yōu)化、大數(shù)據(jù)處理、知識(shí)處理等領(lǐng)域[1-6]。迄今為止，應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法是梯度類算法。然而，傳統(tǒng)的梯度類算法本身存在一些難以解決的瓶頸問題，如收斂速度慢、易陷入局部極小點(diǎn)、對(duì)初始參數(shù)的設(shè)定依賴性較強(qiáng)等[7]。特別是對(duì)于深層神經(jīng)網(wǎng)絡(luò)及遞歸神經(jīng)網(wǎng)絡(luò)，梯度類算法存在梯度消失及梯度爆炸等問題，難以充分發(fā)揮神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力[8]。

另一方面，人們通過對(duì)大腦的解剖重構(gòu)發(fā)現(xiàn)，隨機(jī)連接存在于部分腦區(qū)域，并在神經(jīng)表征過程中具有重要作用[9-10]?；诖松飳W(xué)基礎(chǔ)，部分學(xué)者提出了神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)算法，通過求解簡(jiǎn)單線性回歸問題計(jì)算與輸出層節(jié)點(diǎn)連接的網(wǎng)絡(luò)權(quán)值，而其他網(wǎng)絡(luò)權(quán)值及閾值則根據(jù)給定概率分布，在特定的區(qū)間上隨機(jī)生成，且不再進(jìn)行調(diào)整[11]。該類算法無需性能函數(shù)的梯度信息，無需反復(fù)迭代，在一定程度上克服了傳統(tǒng)梯度類算法遇到的瓶頸問題[12]。

近年來，眾多學(xué)者將隨機(jī)學(xué)習(xí)思想應(yīng)用于訓(xùn)練不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，并提出了多種類型的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型，如單隱含層前饋神經(jīng)網(wǎng)絡(luò)[13-15]，多隱含層前饋神經(jīng)網(wǎng)絡(luò)[16-18]，級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)[19-20]，遞歸神經(jīng)網(wǎng)絡(luò)[21-23]。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)在保證相當(dāng)?shù)谋平头夯芰Φ幕A(chǔ)上，擁有極快的學(xué)習(xí)速度，降低了陷入局部極小點(diǎn)的概率，代碼執(zhí)行簡(jiǎn)單，易于理解與實(shí)現(xiàn)，無需性能函數(shù)的導(dǎo)數(shù)信息，適用范圍更加廣泛。因此隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)一經(jīng)提出便成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究熱點(diǎn)，并已成功應(yīng)用于模式識(shí)別、信號(hào)處理、時(shí)間序列預(yù)測(cè)等領(lǐng)域[24-26]。然而，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究才剛剛起步，在理論、技術(shù)及應(yīng)用層面上還有很大的提升空間。

1 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化模型

圖1 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化模型Fig.1 Simplified model of NNs with random weights

如圖1所示，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的計(jì)算模型可概括為

(1)

式中：βj為隨機(jī)層第j個(gè)節(jié)點(diǎn)與輸出層之間的連接權(quán)值向量，θj為隨機(jī)層第j個(gè)節(jié)點(diǎn)的隨機(jī)權(quán)向量，gj為隨機(jī)層第j個(gè)節(jié)點(diǎn)的映射函數(shù)。假設(shè)模型預(yù)測(cè)誤差為ε，則式(1)可以等價(jià)地表示為

(2)

式中：H為隨機(jī)層輸出矩陣，β為隨機(jī)層與輸出層間的連接矩陣，T為目標(biāo)輸出矩陣，分別表示為

(3)

在隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型(1)中，隨機(jī)層節(jié)點(diǎn)的參數(shù)θj按照采用某種隨機(jī)的方法進(jìn)行初始化，并在隨后的學(xué)習(xí)過程中保持不變，而權(quán)值βj則可以通過最小二乘求解式(2)獲得，即

(4)

或通過嶺回歸算法，得

(5)

式中λ為正則化系數(shù)。

神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)算法步驟可概括如下：

1)隨機(jī)初始化隨機(jī)層第j個(gè)隱節(jié)點(diǎn)的參數(shù)向量θj，j=1， 2， …，L；

2)由式(1)和式(3)計(jì)算網(wǎng)絡(luò)隨機(jī)層的輸出矩陣H；

3)由式(4)或式(5)計(jì)算網(wǎng)絡(luò)的輸出層權(quán)值矩陣；

4)對(duì)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試。

根據(jù)隨機(jī)層節(jié)點(diǎn)的連接方式，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)可分為隨機(jī)權(quán)單隱含層前饋神經(jīng)網(wǎng)絡(luò)、隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)、隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)及隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)，不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)不同的映射函數(shù)及網(wǎng)絡(luò)性能，下面對(duì)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、映射函數(shù)以及網(wǎng)絡(luò)性能進(jìn)行具體分析。

2 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及性能分析

2.1 隨機(jī)權(quán)單隱含層前饋神經(jīng)網(wǎng)絡(luò)

前饋單隱含層神經(jīng)網(wǎng)絡(luò)(single hidden layer feedforward neural network， SLFN)是目前研究及應(yīng)用最為廣泛的前饋神經(jīng)網(wǎng)絡(luò)。在文獻(xiàn)[27]中，作者將隨機(jī)學(xué)習(xí)的思想應(yīng)用于訓(xùn)練SLFN，分別研究網(wǎng)絡(luò)的輸入權(quán)值與輸出權(quán)值對(duì)于網(wǎng)絡(luò)性能的影響。仿真結(jié)果表明，輸出權(quán)值對(duì)網(wǎng)絡(luò)性能影響更加明顯，而輸入權(quán)值恰當(dāng)初始化后可不必進(jìn)行優(yōu)化調(diào)節(jié)。但該文獻(xiàn)并沒有將隨機(jī)學(xué)習(xí)算法作為一種可供選擇的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行推廣。Pao及Huang等分別對(duì)神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)算法進(jìn)行了深入地研究，各自提出了相應(yīng)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型[28-29]。Rahimi等也提出了類似結(jié)構(gòu)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型，并對(duì)網(wǎng)絡(luò)的分類能力及測(cè)試誤差邊界給出了相應(yīng)的理論分析[15]。

Huang等將隨機(jī)學(xué)習(xí)算法應(yīng)用于SLFN訓(xùn)練，提出了標(biāo)準(zhǔn)的隨機(jī)權(quán)單隱含層神經(jīng)網(wǎng)絡(luò)模型(Extreme learning machine，ELM)[30]，如圖2所示，其中隨機(jī)層節(jié)點(diǎn)由輸入層節(jié)點(diǎn)及隱含層節(jié)點(diǎn)復(fù)合而成。ELM網(wǎng)絡(luò)隨機(jī)層節(jié)點(diǎn)的映射函數(shù)為

(6)

式中：wj=(wj1,wj2,…,wjn)，bj分別為第j個(gè)隱含層節(jié)點(diǎn)的輸入權(quán)值及閾值，θj=(wj1,wj2,…,wjn,bj)為網(wǎng)絡(luò)的隨機(jī)權(quán)向量，取值于任意實(shí)數(shù)區(qū)間，xi(i=1,2,…,N)為網(wǎng)絡(luò)輸入。在文獻(xiàn)[31]中，Huang等證明了該類網(wǎng)絡(luò)以概率1任意精度逼近連續(xù)函數(shù)。Liu等從理論上嚴(yán)格證明，在選擇恰當(dāng)?shù)募せ詈瘮?shù)的條件下，該類隨機(jī)權(quán)單隱含層前饋神經(jīng)網(wǎng)絡(luò)可以獲得與權(quán)值可調(diào)神經(jīng)網(wǎng)絡(luò)相當(dāng)?shù)姆夯阅躘32]。

圖2 隨機(jī)權(quán)單隱含層前饋神經(jīng)網(wǎng)絡(luò)Fig.2 SLFN with random weights

功能連接網(wǎng)絡(luò)(functional-linkneuralnetwork，F(xiàn)LNN)是一類特殊的SLFN[33]，包括輸入層、增強(qiáng)層(隱含層)及輸出層，如圖3所示。與標(biāo)準(zhǔn)的SLFN不同，F(xiàn)LNN的輸入節(jié)點(diǎn)同時(shí)連接隱含層節(jié)點(diǎn)及輸出層節(jié)點(diǎn)。Pao等將神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)算法用于FLNN網(wǎng)絡(luò)訓(xùn)練，提出了隨機(jī)權(quán)功能連接網(wǎng)絡(luò)(randomvectorfunctional-linkneuralnetwork，RVFL)[13，28]，其隨機(jī)層輸出包括輸入節(jié)點(diǎn)輸出以及輸入節(jié)點(diǎn)與隱節(jié)點(diǎn)的復(fù)合節(jié)點(diǎn)輸出。RVFL網(wǎng)絡(luò)的隨機(jī)層節(jié)點(diǎn)映射函數(shù)為

(7)

圖3 隨機(jī)權(quán)功能連接網(wǎng)絡(luò)Fig.3 FLNN with random weights

近年來，隨機(jī)權(quán)單隱含層神經(jīng)網(wǎng)絡(luò)研究取得了許多優(yōu)秀的成果，比如在線算法[35]、分布式算法[36]、集成算法[37]、結(jié)構(gòu)設(shè)計(jì)算法[38-42]、正則化算法[43-44]、聚類算法[45-46]等。但隨機(jī)權(quán)單隱含層神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)及知識(shí)處理方面的研究還需要進(jìn)一步加強(qiáng)。

2.2 隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)

與SLFN相比，多隱含層前饋神經(jīng)網(wǎng)絡(luò)(multiple hidden layer feedforward neural network， MLFN)在處理某些問題時(shí)展現(xiàn)出了更好的信息處理能力[47]。然而，由于縱深的網(wǎng)絡(luò)結(jié)構(gòu)，梯度類算法在訓(xùn)練MLFN時(shí)存在梯度消失及梯度爆炸問題，不能有效發(fā)揮MLFN的全部性能。深度學(xué)習(xí)方法能夠有效地訓(xùn)練MLFN網(wǎng)絡(luò)，并在模式識(shí)別等問題上取得很好的效果，但其整個(gè)訓(xùn)練過程是冗長(zhǎng)的[48]。而基于隨機(jī)學(xué)習(xí)算法的多隱含層前饋神經(jīng)網(wǎng)絡(luò)，稱為隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)，僅網(wǎng)絡(luò)的輸出權(quán)值進(jìn)行訓(xùn)練，而隱含層節(jié)點(diǎn)的網(wǎng)絡(luò)權(quán)值隨機(jī)設(shè)置且固定不變，從而極大地提高了網(wǎng)絡(luò)的訓(xùn)練效率[49]。

隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)中，隨機(jī)層節(jié)點(diǎn)由輸入節(jié)點(diǎn)及隱含層節(jié)點(diǎn)逐層復(fù)合而成，如圖4所示，其映射函數(shù)為

(8)

圖4 隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)Fig.4 MLNN with random weights

基于隨機(jī)學(xué)習(xí)的思想，文獻(xiàn)[16]提出了無傳播(no-propagation)算法用于訓(xùn)練MLFN網(wǎng)絡(luò)。該算法利用LMS(leastmeansquare)方法訓(xùn)練網(wǎng)絡(luò)的輸出權(quán)值，其他權(quán)值隨機(jī)生成且固定不變。實(shí)驗(yàn)證明該算法構(gòu)造的神經(jīng)網(wǎng)絡(luò)可以得到與權(quán)值可調(diào)網(wǎng)絡(luò)相當(dāng)?shù)姆夯芰ΑＴ谖墨I(xiàn)[50]中，作者提出了雙隱含層隨機(jī)權(quán)前饋神經(jīng)網(wǎng)絡(luò)模型，該模型第一隱含層的輸入權(quán)值隨機(jī)生成，而第二隱含層的輸入權(quán)值分析獲取。在文獻(xiàn)[51]中，作者將神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)與深度信念網(wǎng)結(jié)合，設(shè)計(jì)了增量式隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)模型。在文獻(xiàn)[17]中，Kasun等基于逐層隨機(jī)初始化方法設(shè)計(jì)了隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器。其將網(wǎng)絡(luò)輸入信號(hào)分解為多個(gè)隱含層，上一層的輸出作為當(dāng)前隱含層的目標(biāo)輸出。然而，該模型僅是簡(jiǎn)單的分層堆積，其最后一個(gè)隱含層的編碼輸出直接輸送給了輸出層，中間沒有經(jīng)過隨機(jī)映射，不能保證模型的任意逼近特性[18]。因此，為了保證該自動(dòng)編碼器的任意逼近特性，Tang等在編碼器最后一個(gè)隱含層與輸出層之間增加了一個(gè)隨機(jī)映射層，將MLFN的訓(xùn)練分為兩個(gè)層次，即無監(jiān)督的分層特征表示及有監(jiān)督的特征分類[18]。

目前隨機(jī)權(quán)多隱含層前饋神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于人臉識(shí)別、圖像處理及多分類學(xué)習(xí)[52-53]等領(lǐng)域，但對(duì)其研究才剛剛起步，理論研究不足，應(yīng)用領(lǐng)域有待進(jìn)一步擴(kuò)大。

2.3 隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)

近期研究成果表明，與多層感知結(jié)構(gòu)相比較，級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)(cascade neural network，CNN)結(jié)構(gòu)具有更強(qiáng)的信息處理能力，因?yàn)槠渚哂胸S富的跨層鏈接及縱深的網(wǎng)絡(luò)結(jié)構(gòu)[54]。比如，Wilamowski 等研究證明級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)用8個(gè)隱含層節(jié)點(diǎn)就可以解決255位的奇偶校驗(yàn)問題，而三層感知網(wǎng)絡(luò)用8個(gè)隱含層節(jié)點(diǎn)只能解決7位的奇偶校驗(yàn)問題[55]。但是級(jí)聯(lián)網(wǎng)絡(luò)每一個(gè)隱含層節(jié)點(diǎn)就是一層，隨著網(wǎng)絡(luò)節(jié)點(diǎn)增加，網(wǎng)絡(luò)深度不斷增加，傳統(tǒng)梯度類算法難以實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)值的優(yōu)化。Wilamowski等提出的NBN(neuron by neuron)算法，可以沿著網(wǎng)絡(luò)節(jié)點(diǎn)的連接次序逐一優(yōu)化節(jié)點(diǎn)權(quán)值，雖然適用于CNN網(wǎng)絡(luò)的權(quán)值優(yōu)化，但對(duì)于較大規(guī)模(權(quán)值數(shù)大于500)的網(wǎng)絡(luò)訓(xùn)練耗時(shí)太長(zhǎng)[56]。而隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)，只有與輸出節(jié)點(diǎn)連接的權(quán)值需要進(jìn)行訓(xùn)練，其他權(quán)值隨機(jī)設(shè)置且固定不變，從而極大地減少了級(jí)聯(lián)網(wǎng)絡(luò)的訓(xùn)練時(shí)間。

隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的隨機(jī)層節(jié)點(diǎn)由兩部分組成，一部分為輸入節(jié)點(diǎn)，另一部分由輸入節(jié)點(diǎn)及隱含層節(jié)點(diǎn)逐層復(fù)合而成，如圖5所示。

圖5 隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)Fig.5 CNN with random weights

其中隨機(jī)層節(jié)點(diǎn)的映射函數(shù)為

(9)

(10)

在文獻(xiàn)[19]中，作者基于隨機(jī)學(xué)習(xí)的思想設(shè)計(jì)了隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)，并給出了網(wǎng)絡(luò)的收斂性證明。在文獻(xiàn)[20]中，作者基于正交最小二乘算法設(shè)計(jì)了類似的隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)。在文獻(xiàn)[57]中，作者結(jié)合CNN網(wǎng)絡(luò)及ELM算法，提出了具有級(jí)聯(lián)結(jié)構(gòu)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)，能夠以較少的隱含層節(jié)點(diǎn)得到與ELM網(wǎng)絡(luò)相當(dāng)?shù)男畔⑻幚砟芰?。而在文獻(xiàn)[58]中，作者證明了隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的逼近特性。然而，與隨機(jī)權(quán)單隱含層前饋神經(jīng)網(wǎng)絡(luò)相比，在具有相同數(shù)量網(wǎng)絡(luò)權(quán)值的條件下，隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)并沒有表現(xiàn)出更好的信息處理能力[57]。因此，進(jìn)一步提高隨機(jī)權(quán)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的信息處理能力是當(dāng)前該領(lǐng)域研究的重點(diǎn)之一。

2.4 隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)

與前饋神經(jīng)網(wǎng)絡(luò)相比，遞歸神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork，RNN)含有豐富的動(dòng)力學(xué)特性，理論上能夠解決具有時(shí)序特性的機(jī)器學(xué)習(xí)問題。然而在實(shí)際應(yīng)用過程中，往往難以達(dá)到預(yù)期的目的，其原因在于傳統(tǒng)的梯度類算法存在梯度消失及梯度爆炸等問題，難以快速有效地訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)[8]。隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)僅僅訓(xùn)練網(wǎng)絡(luò)的輸出權(quán)值，而其他權(quán)值和閾值按照特定的規(guī)則隨機(jī)設(shè)置且固定不變，極大地提高了遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率。

隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)隨機(jī)層比較復(fù)雜，其節(jié)點(diǎn)包括兩個(gè)組成部分：一部分為網(wǎng)絡(luò)的輸入節(jié)點(diǎn)，另一部分由輸入節(jié)點(diǎn)及隱含層節(jié)點(diǎn)按時(shí)間順序多重復(fù)合而成，如圖6。

圖6 隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)Fig.6 RNN with random weights

其隨機(jī)層節(jié)點(diǎn)的映射函數(shù)為

(11)

(12)

目前，典型的隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)稱為“儲(chǔ)備池計(jì)算(reservoircomputing)”模型，主要包括回聲狀態(tài)網(wǎng)絡(luò)(echostatenetwork，ESN)[22]、液體狀態(tài)機(jī)(liquidstatemachine，LSM)[23]及BPDCBackpropagationdecorrelation)學(xué)習(xí)規(guī)則[21]等。

ESN網(wǎng)絡(luò)的隨機(jī)層由大規(guī)模稀疏連接的遞歸模擬神經(jīng)元構(gòu)成，稱為“動(dòng)態(tài)儲(chǔ)備池(dynamicalreservoir)”。當(dāng)動(dòng)態(tài)儲(chǔ)備池權(quán)值矩陣的最大奇異值小于1時(shí)，ESN網(wǎng)絡(luò)動(dòng)態(tài)儲(chǔ)備池的輸出狀態(tài)由歷史輸入唯一確定，稱為回聲狀態(tài)特性(ehostateproperty，ESP)。H.Jaeger指出通過設(shè)置動(dòng)態(tài)儲(chǔ)備池權(quán)值矩陣的譜半徑接近且小于1，使動(dòng)態(tài)儲(chǔ)備池可處于穩(wěn)定邊界，進(jìn)而使ESN網(wǎng)絡(luò)能夠獲得較好的信息處理能力[22]。與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)相比，ESN網(wǎng)絡(luò)處理時(shí)間序列預(yù)測(cè)問題的能力得到大幅提高[59]，并成功應(yīng)用于語音識(shí)別及非線性信號(hào)處理等領(lǐng)域[6-61]。然而針對(duì)具體問題，隨機(jī)動(dòng)態(tài)儲(chǔ)備池并不是最優(yōu)選擇[62-63]。因此，ESN動(dòng)態(tài)儲(chǔ)備池結(jié)構(gòu)和儲(chǔ)備池權(quán)值矩陣設(shè)計(jì)仍然是該領(lǐng)域的開放課題，并出現(xiàn)了一些有意義的成果[64-70]。

LSM是一種在線網(wǎng)絡(luò)模型，提出的動(dòng)機(jī)是用于解決時(shí)序信號(hào)的實(shí)時(shí)計(jì)算問題，常用抽象的皮質(zhì)微柱模型進(jìn)行描述[71]。LSM的工作原理與ESN相近，但其隨機(jī)層由LIF(leaky-integrate-and-fire)神經(jīng)元構(gòu)成，能夠?qū)崟r(shí)處理脈沖數(shù)據(jù)流，更具有生物相似性[72]。研究表明，當(dāng)LSM的隨機(jī)層的動(dòng)態(tài)特性達(dá)到混沌邊界時(shí)，模型可處于最佳狀態(tài)[73]。目前，LSM模型已成功應(yīng)用于時(shí)間序列預(yù)測(cè)及模式識(shí)別等領(lǐng)域[74-75]。

盡管各種儲(chǔ)備池計(jì)算模型提出的動(dòng)機(jī)及表現(xiàn)形式不同，但都選用大規(guī)模、隨機(jī)連接的遞歸神經(jīng)元，其映射函數(shù)如式(11)所示，是典型的隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)。目前，對(duì)于隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)隨機(jī)層的動(dòng)力學(xué)特性理解不夠全面，其參數(shù)設(shè)置缺乏足夠的理論指導(dǎo)，仍舊處于湊試階段，在實(shí)際應(yīng)用過程中設(shè)計(jì)更加困難，因此研究隨機(jī)層的動(dòng)力學(xué)特性，完善隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)及穩(wěn)定性理論，使其能夠有更廣泛的實(shí)際應(yīng)用是該領(lǐng)域的熱點(diǎn)問題之一。

3 隨機(jī)權(quán)初始化方法

隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的核心思想是隨機(jī)層神經(jīng)元權(quán)值隨機(jī)初始化且在后續(xù)學(xué)習(xí)過程中保持不變，所以隨機(jī)權(quán)的初始化對(duì)于網(wǎng)絡(luò)的性能具有重要的影響。而隨機(jī)權(quán)前饋神經(jīng)網(wǎng)絡(luò)與隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)在隨機(jī)權(quán)初始化方法上差別較大，本部分將分別進(jìn)行分析總結(jié)。

3.1 前饋神經(jīng)網(wǎng)絡(luò)隨機(jī)權(quán)初始化方法

在文獻(xiàn)[31]中，Huang等證明在任意區(qū)間上任意設(shè)置隨機(jī)層權(quán)值，ELM網(wǎng)絡(luò)以概率1任意精度逼近緊集上的連續(xù)函數(shù)。文獻(xiàn)[28]中，Pao等研究指出，在特定區(qū)間[-Ω，Ω]上隨機(jī)生成隨機(jī)權(quán)，可使RVFL具有萬能逼近特性，但沒有給出Ω的具體確定辦法。Zhang等研究發(fā)現(xiàn)，隨機(jī)權(quán)的選取區(qū)間[-Ω，Ω]對(duì)網(wǎng)絡(luò)的性能有較大影響，Ω過大或過小都將降低網(wǎng)絡(luò)的性能[34]。目前，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的隨機(jī)權(quán)初始化方法主要是在區(qū)間[-1，1]上按照均勻分布或高斯分布隨機(jī)設(shè)置。文獻(xiàn)[14-16]皆應(yīng)用完全隨機(jī)的方法初始化相應(yīng)網(wǎng)絡(luò)的隨機(jī)權(quán)。文獻(xiàn)[39]基于隨機(jī)初始化方法及激活函數(shù)的導(dǎo)函數(shù)構(gòu)造了4層隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)，提高了ELM網(wǎng)絡(luò)的學(xué)習(xí)和泛化能力。如此完全隨機(jī)地設(shè)置隨機(jī)權(quán)簡(jiǎn)單易行，但易于產(chǎn)生冗余或不良節(jié)點(diǎn)，致使隨機(jī)層輸出共線性，降低網(wǎng)絡(luò)的泛化能力[76]。

為克服不良節(jié)點(diǎn)問題，選擇性添加或刪除隨機(jī)節(jié)點(diǎn)是隨機(jī)權(quán)初始化的重要方法。如文獻(xiàn)[19]及[76]利用候選節(jié)點(diǎn)池初始化相應(yīng)網(wǎng)絡(luò)的隨機(jī)權(quán)，首先生成多個(gè)隨機(jī)節(jié)點(diǎn)構(gòu)成候選節(jié)點(diǎn)池，然后根據(jù)給定的評(píng)價(jià)標(biāo)準(zhǔn)由池中選擇最優(yōu)節(jié)點(diǎn)添加至網(wǎng)絡(luò)中。而文獻(xiàn)[40]及[42]則首先生成規(guī)模較大的隨機(jī)層，根據(jù)節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)性能的貢獻(xiàn)度，刪除貢獻(xiàn)小的隨機(jī)節(jié)點(diǎn)，以實(shí)現(xiàn)隨機(jī)權(quán)的初始化。該類方法可以有效減少不良節(jié)點(diǎn)，降低網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜度，從而提高網(wǎng)絡(luò)的泛化性能。然而該方法也難以解決隨機(jī)層輸出共線性問題。Wang等基于矩陣的對(duì)角占優(yōu)理論對(duì)隨機(jī)權(quán)進(jìn)行初始化，解決了一類ELM網(wǎng)絡(luò)隨機(jī)層輸出共線性問題，但該方法對(duì)激活函數(shù)有特殊要求，不適用于sigmoid函數(shù)[77]。

3.2 遞歸神經(jīng)網(wǎng)絡(luò)隨機(jī)權(quán)初始化方法

遞歸神經(jīng)網(wǎng)絡(luò)具有復(fù)雜的動(dòng)力學(xué)特性，網(wǎng)絡(luò)權(quán)值的設(shè)定勢(shì)必影響網(wǎng)絡(luò)的穩(wěn)定性及記憶能力，因此其隨機(jī)權(quán)初始化更加重要。ESN網(wǎng)絡(luò)是隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的典型代表，因此本文僅以ESN網(wǎng)絡(luò)為例分析隨機(jī)權(quán)的初始化，即動(dòng)態(tài)儲(chǔ)備池結(jié)構(gòu)設(shè)計(jì)。目前，主要?jiǎng)討B(tài)儲(chǔ)備池設(shè)計(jì)方法可分為無監(jiān)督設(shè)計(jì)和有監(jiān)督設(shè)計(jì)。

無監(jiān)督設(shè)計(jì)可以分為兩種情況：基于動(dòng)態(tài)儲(chǔ)備池本質(zhì)特性隨機(jī)生成或基于動(dòng)態(tài)儲(chǔ)備池激活狀態(tài)優(yōu)化設(shè)計(jì)。H.Jaeger以特定概率為儲(chǔ)備池權(quán)值賦以幾個(gè)簡(jiǎn)單的數(shù)值，然后通過比例因子對(duì)權(quán)值矩陣進(jìn)行放縮，使動(dòng)態(tài)儲(chǔ)備池具有ESP特性[22]。文獻(xiàn)[66]利用儲(chǔ)備池權(quán)值矩陣的代數(shù)特性，基于奇異值分解設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池，使其具有特定的動(dòng)態(tài)特性。文獻(xiàn)[78]基于復(fù)雜網(wǎng)絡(luò)理論，模仿生物神經(jīng)網(wǎng)絡(luò)中的小世界及無標(biāo)度特性設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池，在保持ESN網(wǎng)絡(luò)記憶能力的同時(shí)提高了網(wǎng)絡(luò)的預(yù)測(cè)能力。文獻(xiàn)[67]基于分塊矩陣及側(cè)抑制連接，設(shè)計(jì)模塊化儲(chǔ)備池結(jié)構(gòu)，實(shí)現(xiàn)了動(dòng)態(tài)儲(chǔ)備池內(nèi)部神經(jīng)元的局部解耦。基于動(dòng)態(tài)儲(chǔ)備池本質(zhì)特性隨機(jī)生成權(quán)值的方法簡(jiǎn)單通用，但對(duì)于解決實(shí)際問題顯然不是最優(yōu)選則[63]。

文獻(xiàn)[79]基于信息論與動(dòng)態(tài)儲(chǔ)備池激活狀態(tài)，構(gòu)建平均狀態(tài)熵(averagestateentropy，ASE)，評(píng)價(jià)動(dòng)態(tài)儲(chǔ)備池輸出的多樣性，然后通過最大化ASE設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池，增強(qiáng)了ESN網(wǎng)絡(luò)的表征特性。文獻(xiàn)[80]基于正交鴿子啟發(fā)優(yōu)化(orthogonalpigeon-inspiredoptimization，OPIO)方法設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池的隨機(jī)權(quán)，并成功應(yīng)用于圖像處理，提高了圖像的復(fù)原效果。文獻(xiàn)[81]基于自組織算法及側(cè)向互作用思想，提出動(dòng)態(tài)儲(chǔ)備池?zé)o監(jiān)督優(yōu)化設(shè)計(jì)方法，提高了ESN網(wǎng)絡(luò)對(duì)關(guān)聯(lián)信息過程的處理能力。基于動(dòng)態(tài)儲(chǔ)備池激活狀態(tài)設(shè)計(jì)評(píng)價(jià)函數(shù)，通過優(yōu)化評(píng)價(jià)函數(shù)設(shè)計(jì)儲(chǔ)備池的方法，有效地利用了樣本的輸入信息，提高了ESN網(wǎng)絡(luò)處理實(shí)際問題的能力，但該類方法沒有考慮樣本的輸出信息，仍難以獲得最優(yōu)實(shí)用效果。

文獻(xiàn)[82]通過平衡網(wǎng)絡(luò)輸出反饋與儲(chǔ)備池內(nèi)部反饋對(duì)儲(chǔ)備池動(dòng)態(tài)特性的影響設(shè)計(jì)了儲(chǔ)備池權(quán)值矩陣，很好地解決了多個(gè)正弦波疊加的MSO(multiplesuperimposedoscillators)問題。文獻(xiàn)[83]通過最大化儲(chǔ)備池激活狀態(tài)與樣本期望輸出間的平均互信息，優(yōu)化環(huán)形儲(chǔ)備池，提高了環(huán)形儲(chǔ)備池ESN的信息處理能力。文獻(xiàn)[84]基于先驗(yàn)數(shù)據(jù)及聚類算法設(shè)計(jì)具有小世界特性的動(dòng)態(tài)儲(chǔ)備池，提高了ESN網(wǎng)絡(luò)的計(jì)算及預(yù)測(cè)能力。文獻(xiàn)[85]基于梯度下降及ESN網(wǎng)絡(luò)的線性輸出層優(yōu)化儲(chǔ)備池，提高了網(wǎng)絡(luò)信息處理能力。利用樣本輸入輸出信息，有監(jiān)督設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池的方法，可根據(jù)給定問題有針對(duì)性地優(yōu)化設(shè)計(jì)動(dòng)態(tài)儲(chǔ)備池，提高了ESN網(wǎng)絡(luò)的實(shí)用效率，但有監(jiān)督設(shè)計(jì)難以實(shí)現(xiàn)知識(shí)的在線學(xué)習(xí)與推理。

4 結(jié)論及展望

在隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)中，僅網(wǎng)絡(luò)的輸出權(quán)值需要訓(xùn)練，其他權(quán)值隨機(jī)設(shè)置，整個(gè)訓(xùn)練過程無需網(wǎng)絡(luò)的梯度信息，無需迭代，克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)收斂速度慢及局部極小問題。本文在給定隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化模型的基礎(chǔ)上，分析了多個(gè)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)、映射函數(shù)、隨機(jī)權(quán)設(shè)置方法及網(wǎng)絡(luò)性能，回顧總結(jié)了隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究的現(xiàn)狀。

盡管隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究取得了豐碩的成果，但從發(fā)展的角度看還有很長(zhǎng)的路要走。結(jié)合研究現(xiàn)狀，對(duì)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的研究提出以下展望。

1)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)龐大，湊試法及單個(gè)神經(jīng)元的增長(zhǎng)修剪算法難以實(shí)現(xiàn)結(jié)構(gòu)的快速有效設(shè)計(jì)，因此研究隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)在線結(jié)構(gòu)設(shè)計(jì)方法將是一個(gè)重要的研究方向。

2)神經(jīng)網(wǎng)絡(luò)隨機(jī)學(xué)習(xí)理論研究及生物學(xué)解釋。人腦研究表明，大腦中存在大量隨機(jī)現(xiàn)象，借鑒大腦的研究成果可進(jìn)一步模擬大腦的隨機(jī)特性，設(shè)計(jì)新的隨機(jī)學(xué)習(xí)算法，實(shí)現(xiàn)大腦的部分功能；借用統(tǒng)計(jì)學(xué)及信息論的相關(guān)知識(shí)，研究隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)學(xué)特性，可完善神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理論。

3)研究隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)隨機(jī)層參數(shù)設(shè)置及網(wǎng)絡(luò)的穩(wěn)定性問題。隨機(jī)權(quán)遞歸神經(jīng)網(wǎng)絡(luò)是一個(gè)動(dòng)態(tài)系統(tǒng)，其網(wǎng)絡(luò)性能及穩(wěn)定性依賴于隨機(jī)層參數(shù)的選擇，如隨機(jī)層權(quán)值矩陣的譜半徑、奇異值及稀疏性等。如何選擇恰當(dāng)?shù)碾S機(jī)層參數(shù)使網(wǎng)絡(luò)同時(shí)具有穩(wěn)定性及高效的信息處理能仍然是該領(lǐng)域的開放課題。并出現(xiàn)了一些有意義的成果[63-67]。

4)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)在復(fù)雜流程工業(yè)過程中的應(yīng)用研究，比如污水處理、水泥加工及石化生產(chǎn)行業(yè)。目前，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于模式分類問題，并取得較好的效果，而在流程工業(yè)過程中的應(yīng)用研究較少。針對(duì)流程工業(yè)過程的時(shí)變、時(shí)滯、非線性、強(qiáng)耦合及不確定性等特點(diǎn)，設(shè)計(jì)恰當(dāng)?shù)碾S機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)流程工業(yè)過程的智能建模與控制，是隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)未來的應(yīng)用研究方向之一。

[1]QIMin,ZHANGGP.Trendtimeseriesmodelingandforecastingwithneuralnetworks[J].IEEEtransactionsonneuralnetworks, 2008, 19(5): 808-816.

[2]趙洪偉, 謝永芳, 蔣朝輝, 等. 基于泡沫圖像特征的浮選槽液位智能優(yōu)化設(shè)定方法[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(6): 1086-1097.ZHAOHongwei,XIEYongfang,JIANGChaohui,etal.Anintelligentoptimalsettingapproachbasedonfrothfeaturesforlevelofflotationcells[J].Actaautomaticasinica, 2014, 40(6): 1086-1097.

[3]喬俊飛, 薄迎春, 韓廣. 基于ESN的多指標(biāo)DHP控制策略在污水處理過程中的應(yīng)用[J]. 自動(dòng)化學(xué)報(bào), 2013, 39(7): 1146-1151.QIAOJunfei,BOYingchun,HANGuang.Applicationofesn-basedmultiindicesdualheuristicdynamicprogrammingonwastewatertreatmentprocess[J].Actaautomaticasinica, 2013, 39(7): 1146-1151.

[4]CHENGMH,HWANGKS,JENGJH,etal.Classification-basedvideosuper-resolutionusingartificialneuralnetworks[J].Signalprocessing, 2013, 93(9): 2612-2625.

[5]SCARDAPANES,WANGDianhui,PANELLAM.Adecentralizedtrainingalgorithmforechostatenetworksindistributedbigdataapplications[J].Neuralnetworks, 2015, 78: 65-74.

[6]TENGTH,TANAH,ZURADAJM.Self-organizingneuralnetworksintegratingdomainknowledgeandreinforcementlearning[J].IEEEtransactionsonneuralnetworks&learningsystems, 2015, 26(5): 889-902.

[7]ALHAMDOOSHM,WANGDianhui.Fastdecorrelatedneuralnetworkensembleswithrandomweights[J].Informationsciences, 2014, 264: 104-117.

[8]GUSTAVSSONA,MAGNUSONA,BLOMBERGB,etal.Onthedifficultyoftrainingrecurrentneuralnetworks[J].Computerscience, 2013, 52(3): 337-345.

[9]RIGOTTIM,BARAKO,WARDENMR,etal.Theimportanceofmixedselectivityincomplexcognitivetasks[J].Nature, 2013, 497(7451): 585-590.

[10]BARAKO,RIGOTTIM,FUSIS.Thesparsenessofmixedselectivityneuronscontrolsthegeneralization-discriminationtrade-off[J].Thejournalofneuroscience, 2013, 33(9): 3844-3856.

[11]HUANGGao,HUANGGuangbin,SONGShiji,etal.Trendsinextremelearningmachines:areview[J].Neuralnetworks, 2015, 61: 32-48.

[12]DENGChenwei,HUANGGuangbin,XUJia,etal.Extremelearningmachines:newtrendsandapplications[J].ScienceChinainformationsciences, 2015, 58(2): 1-16.

[13]PAOYH,TAKEFUJIY.Functional-linknetcomputing:theory,systemarchitecture,andfunctionalities[J].Computer, 1992, 25(5): 76-79.

[14]HUANGGuangbin,ZHUQinyu,SIEWCK.Extremelearningmachine:theoryandapplications[J].Neurocomputing, 2006, 70(1/2/3): 489-501.

[15]RAHIMIA,RECHTB.Weightedsumsofrandomkitchensinks:replacingminimizationwithrandomizationinlearning[C] //Proceedingsofthe21stInternationalConferenceonNeuralInformationProcessingSystems.Vancouver,BritishColumbia,Canada:CurranAssociatesInc., 2008: 1313-1320.

[16]WIDROWB,GREENBLATTA,KIMY,etal.TheNo-Propalgorithm:Anewlearningalgorithmformultilayerneuralnetworks[J].Neuralnetworks, 2013, 37: 182-188.

[17]KASUNLLC,ZHOUHongming,HUANGGuangbin,etal.RepresentationallearningwithELMsforbigdata[J].IEEEintelligentsystems, 2013, 28(6): 31-34.

[18]TANGJiexiong,DENGChenwei,HUANGGuangbin.Extremelearningmachineformultilayerperceptron[J].IEEEtransactionsonneuralnetworksandlearningsystems, 2016, 27(4): 809-821.

[19]QIAOJunfei,LIFanjun,HANHonggui,etal.Constructivealgorithmforfullyconnectedcascadefeedforwardneuralnetworks[J].Neurocomputing, 2016, 182: 154-164.

[20]WANYihe,SONGShiji,HUANGGao.Incrementalextremelearningmachinebasedoncascadeneuralnetworks[C] //IEEEInternationalConferenceonSystems,Man,andCybernetics.Kowloon:IEEE, 2015: 1889-1894.

[21]STEILJJ.Memoryinbackpropagation-decorrelationO(N)efficientonlinerecurrentlearning[C]//Proceedingsofthe15thInternationalConferenceonArtificialNeuralNetworks:FormalModelsandTheirApplications.BerlinHeidelberg:Springer, 2005: 750-750.

[22]HERBERTJ.The“echostate”approachtoanalyzingandtrainingrecurrentneuralnetworkswithanerratumnote[R].Bonn,Germany:GermanNationalResearchCenterforInformationTechnology, 2001.

[23]MAASSW.Liquidstatemachines:motivation,theory,andapplications[J].Computabilityincontext, 2010: 275-296.DOI: 10.1142/9781848162778_0008.

[24]LIANGNanying,SARATCHANDRANP,HUANGGuangbin,etal.ClassificationofmentaltasksfromEEGsignalsusingextremelearningmachine[J].Internationaljournalofneuralsystems, 2006, 16(1): 29-38.

[25]SKOWRONSKIMD,HARRISJG.Automaticspeechrecognitionusingapredictiveechostatenetworkclassifier[J].Neuralnetworks, 2007, 20(3): 414-423.

[26]LIDecai,HANMin,WANGJun.Chaotictimeseriespredictionbasedonanovelrobustechostatenetwork[J].IEEEtransactionsonneuralnetworksandlearningsystems, 2012, 23(5): 787-799.

[27]SCHMIDTWF,KRAAIJVELDMA,DUINRPW.Feedforwardneuralnetworkswithrandomweights[C] //Proceedingsof11thInternationalConferenceonPatternRecognitionMethodologyandSystems.Hague,Holland:IEEE, 1992: 1-4.

[28]IGELNIKB,PAOYH.StochasticchoiceofbasisfunctionsinadaptivefunctionapproximationandtheFunctional-linkneuralnet[J].IEEEtransactionsonneuralnetworks, 1995, 6(6): 1320-1329.

[29]HUANGGuangbin.Aninsightintoextremelearningmachines:randomneurons,randomfeaturesandkernels[J].Cognitivecomputation, 2014, 6(3): 376-390.

[30]HUANGGuangbin,ZHUQinyu,SIEWCK.Extremelearningmachine:theoryandapplications[J].Neurocomputing, 2006, 70(1/2/3): 489-501.

[31]HUANGGB,CHENL,SIEWCK.Universalapproximationusingincrementalconstructivefeedforwardnetworkswithrandomhiddennodes[J].IEEEtransactionsonneuralnetworks, 2006, 17(4): 879-92.

[32]LIUXia,LINShaobo,FANGJian,etal.Isextremelearningmachinefeasible?atheoreticalassessment(PartI)[J].IEEEtransactionsonneuralnetworksandlearningsystems, 2014, 26(1): 7-20.

[33]DEHURIS,CHOSB.AcomprehensivesurveyonfunctionallinkneuralnetworksandanadaptivePSO-BPlearningforCFLNN[J].Neuralcomputingandapplications, 2010, 19(2): 187-205.

[34]ZHANGLe,SUGANTHANPN.Acomprehensiveevaluationofrandomvectorfunctionallinknetworks[J].Informationsciences, 2015, 367/368: 1094-1105.

[35]LIANGNanying,HUANGGuangbin,SARATCHANDRANP,etal.Afastandaccurateonlinesequentiallearningalgorithmforfeedforwardnetworks[J].IEEEtransactionsonneuralnetworks, 2006, 17(6): 1411-1423.

[36]SCARDAPANES,WANGDianhui,PANELLAM,etal.Distributedlearningforrandomvectorfunctional-linknetworks[J].Informationsciences, 2015, 301: 271-284.

[37]ALHAMDOOSHM,WANGDianhui.Fastdecorrelatedneuralnetworkensembleswithrandomweights[J].Informationsciences, 2014, 264: 104-117.

[38]LIYing.Orthogonalincrementalextremelearningmachineforregressionandmulticlassclassification[J].Neuralcomputingandapplications, 2014, 27(1): 111-120.

[39]李凡軍, 喬俊飛, 韓紅桂. 網(wǎng)絡(luò)結(jié)構(gòu)增長(zhǎng)的極端學(xué)習(xí)機(jī)算法[J]. 控制理論與應(yīng)用, 2014, 31(5): 638-643.LIFanjun,QIAOJunfei,HANHonghui.Incrementalconstructiveextremelearningmachine[J].Controltheory&applications, 2014, 31(5): 638-643.

[40]李凡軍, 韓紅桂, 喬俊飛. 基于靈敏度分析法的ELM剪枝算法[J]. 控制與決策, 2014, 29(6): 1003-1008.LIFanjun,HANHonghui,QIAOJunfei.Pruningalgorithmforextremelearningmachinebasedonsensitivityanalysis[J].ControlandDecision, 2014, 29(6): 1003-1008.

[41]FENGGuorui,HUANGGuangbin,LINQingping,etal.Errorminimizedextremelearningmachinewithgrowthofhiddennodesandincrementallearning[J].IEEEtransactionsonneuralnetworks, 2009, 20(8): 1352-1357.

[42]MICHEY,SORJAMAAA,BASP,etal.OP-ELM:optimallyprunedextremelearningmachine[J].IEEEtransactionsonneuralnetworks, 2010, 21(1): 158-162.

[43]韓敏, 李德才. 基于替代函數(shù)及貝葉斯框架的1范數(shù)ELM算法[J]. 自動(dòng)化學(xué)報(bào), 2011, 37(11): 1344-1350.HANMin,LIDecai.Annorm1regularizationtermelmalgorithmbasedonsurrogatefunctionandbayesianframework[J].Actaautomaticasinica, 2011, 37(11): 1344-1350.

[44]MICHEY,VANHEESWIJKM,BASP,etal.TROP-ELM:adouble-regularizedELMusingLARSandTikhonovregularization[J].Neurocomputing, 2011, 74(16): 2413-2421.

[45]MICHEY,AKUSOKA,VEGANZONESD,etal.SOM-ELM-Self-organizedclusteringusingELM[J].Neurocomputing, 2015, 165: 238-254.

[46]HUANGGao,LIUTianchi,YANGYan,etal.Discriminativeclusteringviaextremelearningmachine[J].Neuralnetworks, 2015, 70: 1-8.

[47]ISLAMMM,SATTARMA,AMINMF,etal.Anewconstructivealgorithmforarchitecturalandfunctionaladaptationofartificialneuralnetworks[J].IEEEtransactionsonsystems,man,andcybernetics,partB(cybernetics), 2009, 39(6): 1590-1605.

[48]SCHMIDHUBERJ.Deeplearninginneuralnetworks:anoverview[J].Neuralnetworks, 2014, 61: 85-117.

[49]HANHonggui,WANGLidan,QIAOJunfei.Hierarchicalextremelearningmachineforfeedforwardneuralnetwork[J].Neurocomputing, 2014, 128: 128-135.

[50]QUBY,LANGBF,LIANGJJ,etal.Two-hidden-layerextremelearningmachineforregressionandclassification[J].Neurocomputing, 2016, 175: 826-834.

[51]ZHANGJian,DINGShifei,ZHANGNan,etal.Incrementalextremelearningmachinebasedondeepfeatureembedded[J].Internationaljournalofmachinelearningandcybernetics, 2016, 7(1): 111-120.

[52]QUBY,LANGBF,LIANGJJ,etal.Two-hidden-layerextremelearningmachineforregressionandclassification[J].Neurocomputing, 2016, 175: 826-834.

[53]ZHANGNan,DINGShifei,ZHANGJian.MultilayerELM-RBFformulti-labellearning[J].Appliedsoftcomputing, 2016, 43: 535-545.

[54]HUNTERD,YUHao,PUKISHMS,etal.Selectionofproperneuralnetworksizesandarchitectures-acomparativestudy[J].IEEEtransactionsonindustrialinformatics, 2012, 8(2): 228-240.

[55]WILAMOWSKIBM.Challengesinapplicationsofcomputationalintelligenceinindustrialelectronics[C]//Proceedingsof2010IEEEInternationalSymposiumonIndustrialElectronics.Bari:IEEE, 2010: 15-22.

[56]WILAMOWSKIBM,COTTONNJ,KAYNAKO,etal.Computinggradientvectorandjacobianmatrixinarbitrarilyconnectedneuralnetworks[J].IEEEtransactionsonindustrialelectronics, 2008, 55(10): 3784-3790.

[57]OAKDENA.Cascadenetworksandextremelearningmachines[D].Canberra:AustralianNationalUniversity, 2014.

[58]LIFanjun,QIAOJunfei,HANHonggui,etal.Aself-organizingcascadeneuralnetworkwithrandomweightsfornonlinearsystemmodeling[J].Appliedsoftcomputing, 2016, 42: 184-193.

[59]JAEGERH,HAASH.Harnessingnonlinearity:predictingchaoticsystemsandsavingenergyinwirelesscommunication[J].Science, 2004, 304(5667): 78-80.

[60]SKOWRONSKIMD,HARRISJG.Automaticspeechrecognitionusingapredictiveechostatenetworkclassifier[J].Neuralnetworks, 2007, 20(3): 414-423.

[61]XIAYili,JELFSB,VANHULLEMM,etal.Anaugmentedechostatenetworkfornonlinearadaptivefilteringofcomplexnoncircularsignals[J].IEEEtransactionsonneuralnetworks, 2011, 22(1): 74-83.

[62]LUKOSEVICIUSM,JAEGERH.Reservoircomputingapproachestorecurrentneuralnetworktraining[J].Computersciencereview, 2009, 3(3): 127-149.

[63]彭宇, 王建民, 彭喜元. 儲(chǔ)備池計(jì)算概述[J]. 電子學(xué)報(bào), 2011, 39(10): 2387-2396.PENGYu,WANGJianmin,PENGXiyuan.Surveyonreservoircomputing[J].Actaelectronicasinica, 2011, 39(10): 2387-2396.

[64]QIAOJunfei,LIFanjun,HANHonggui,etal.Growingecho-statenetworkwithmultiplesubreservoirs[J].IEEEtransactionsonneuralnetworksandlearningsystems, 2016, 99: 1-14.

[65]DENGZhidong,ZHANGYi.Collectivebehaviorofasmall-worldrecurrentneuralsystemwithscale-freedistribution[J].IEEEtransactionsonneuralnetworks, 2007, 18(5): 1364-1375.

[66]STRAUSST,WUSTLICHW,LABAHNR.Designstrategiesforweightmatricesofechostatenetworks[J].Neuralcomputation, 2012, 24(12): 3246-3276.

[67]XUEYanbo,YANGLe,HAYKINS.Decoupledechostatenetworkswithlateralinhibition[J].Neuralnetworks, 2007, 20(3): 365-376.

[68]NAJIBIE,ROSTAMIH.SCESN,SPESN,SWESN:threerecurrentneuralechostatenetworkswithclusteredreservoirsforpredictionofnonlinearandchaotictimeseries[J].Appliedintelligence, 2015, 43(2): 460-472.

[69]薄迎春, 喬俊飛, 張昭昭. 一種具有smallworld特性的ESN結(jié)構(gòu)分析與設(shè)計(jì)[J]. 控制與決策, 2012, 27(3): 383-388.BOYingchun,QIAOJunfei,ZHANGZhaozhao.AnalysisanddesignonstructureofsmallworldpropertyESN[J].Controlanddecision, 2012, 27(3): 383-388.

[70]李凡軍, 喬俊飛. 一種增量式模塊化回聲狀態(tài)網(wǎng)絡(luò)[J]. 控制與決策, 2016, 31(8): 1481-1486.LIFanjun,QIAOJunfei.Anincrementalmodularechostatenetwork[J].Controlanddecision, 2016, 31(8): 1481-1486.

[71]SCHRAUWENB,VERSTRAETEND,VANCAMPENHOUTJM.Anoverviewofreservoircomputing:Theory,applicationsandimplementations[C]//Proceedingsofthe15thEuropeanSymposiumonArtificialNeuralNetworks.Bruges,Belgium, 2007: 471-482.

[72]MAASSW,NATSCHLGERT,MARKRAMH.Real-timecomputingwithoutstablestates:anewframeworkforneuralcomputationbasedonperturbations[J].Neuralcomputation, 2002, 14(11): 2531-2560.

[73]LEGENSTEINR,MAASSW.Edgeofchaosandpredictionofcomputationalperformanceforneuralcircuitmodels. [J].Neuralnetworks, 2007, 20(3): 323-334.

[74]BURGSTEINERH,KR?LLM,LEOPOLDA,etal.Movementpredictionfromreal-worldimagesusingaliquidstatemachine[J].Appliedintelligence, 2007, 26(2): 99-109.

[75]張冠元, 王斌. 一種基于液體狀態(tài)機(jī)的音樂和弦序列識(shí)別方法[J]. 模式識(shí)別與人工智能, 2013, 26(7): 643-647.ZHANGGuanyuan,WANGBin.Liquidstatemachinebasedmusicchordsequencerecognitionalgorithm[J].Patternrecognitionandartificialintelligence, 2013, 26(7): 643-647.

[76]HUANGGuangbin,CHENLei.Enhancedrandomsearchbasedincrementalextremelearningmachine[J].Neurocomputing, 2008, 71(16/17/18): 3460-3468.

[77]WANGYuguang,CAOFeilong,YUANYubo.Astudyoneffectivenessofextremelearningmachine[J].Neurocomputing, 2011, 74(16): 2483-2490.

[78]CUIH,LIUX,LIL.Thearchitectureofdynamicreservoirintheechostatenetwork[J].Chaos, 2012, 22(3): 033127.

[79]OZTURKMC,XUDongming.Analysisanddesignofechostatenetworks[J].Neuralcomputation, 2007, 19(1): 111-138.

[80]DUANHaibin,WANGXiaohua.Echostatenetworkswithorthogonalpigeon-inspiredoptimizationforimagerestoration[J].IEEEtransactionsonneuralnetworksandlearningsystems, 2015, 27(11): 2413-2425.

[81]BOCCATOL,ATTUXR,VONZUBENFJ.Self-organizationandlateralinteractioninechostatenetworkreservoirs[J].Neurocomputing, 2014, 138: 297-309.

[82]KORYAKIND,LOHMANNJ,BUTZMV.Balancedechostatenetworks[J].Neuralnetworkstheofficialjournaloftheinternationalneuralnetwork, 2012, 36: 35-45.

[83]YUENYONGS,NISHIHARAA.Evolutionarypre-trainingforCRJ-typereservoirofechostatenetworks[J].Neurocomputing, 2015, 149: 1324-1329.

[84]LIXiumin,ZHONGLing,XUEFangzheng,etal.Aprioridata-drivenmulti-clusteredreservoirgenerationalgorithmforechostatenetwork[J].PLoSone, 2015, 10(4):e0120750.

[85]PALANGIH,DENGLi,WARDRK.Learninginputandrecurrentweightmatricesinechostatenetworks[C]//AdvancesinNeuralInformationProcessingSystems22:ConferenceonNeuralInformationProcessingSystems.Vancouver,BritishColumbia,Canada, 2009.

喬俊飛，男，1968年生，教授，博士生導(dǎo)師，國(guó)家杰出青年基金獲得者，教育部長(zhǎng)江學(xué)者特聘教授，教育部新世紀(jì)優(yōu)秀人才，中國(guó)人工智能學(xué)會(huì)科普工作委員會(huì)主任，主要研究方向?yàn)橹悄苄畔⑻幚怼⒅悄芸刂评碚撆c應(yīng)用。獲教育部科技進(jìn)步獎(jiǎng)一等獎(jiǎng)和北京市科學(xué)技術(shù)獎(jiǎng)三等獎(jiǎng)各1項(xiàng)。發(fā)表學(xué)術(shù)論文100余篇，其中被SCI收錄20余篇，EI收錄60余篇，獲得發(fā)明專利20余項(xiàng)。

李凡軍，男，1977年生，副教授，主要研究方向?yàn)橹悄芟到y(tǒng)與智能信息處理。發(fā)表學(xué)術(shù)論文10余篇，其中被SCI檢索3篇，EI檢索6篇。

楊翠麗，女，1986年生，講師，，主要研究方向?yàn)檫M(jìn)化算法和智能信息處理。發(fā)表學(xué)術(shù)論文10余篇，其中被SCI檢索7篇，EI檢索12篇。

Review and prospect on neural networks with random weights

QIAO Junfei1，3， LI Fanjun2， YANG Cuili1，3

(1.Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China； 2.School of Mathematical Science， University of Jinan， Jinan 250022， China； 3.Beijing Key Laboratory of Computational Intelligence and Intelligent System， Beijing 100124， China)

A randomized learning algorithm in a neural network, which can overcome the difficulty of slow convergence and local minimum inherently in the traditional gradient-based learning algorithms, has recently become a hot topic in the field of neural networks. Some neural networks with random weights using randomized learning algorithms have been proposed. The aim of this paper summarizes the current research on neural networks with random weights and provides some views about its development trends. First, a simplified model of a neural network with random weights was proposed, and the randomized learning algorithm was summarized, based on the simplified model. Then, a review on neural networks with random weights was given, and the performance of several different neural networks with random weights was analyzed, based on the simplified model. Finally, several views on neural networks with random weights are presented.

neural network with random weights; feedforward neural network; recurrent neural network; cascade neural network; randomized learning algorithm

10.11992/tis.201612015

http://www.cnki.net/kcms/detail/23.1538.TP.20170111.1705.028.html

2016-12-12.

國(guó)家自然科學(xué)基金項(xiàng)目(61533002，61603012)；北京市自然科學(xué)基金項(xiàng)目(Z141100001414005)；北京市教委基金項(xiàng)目(km201410005001，KZ201410005002).

喬俊飛. E-mail：junfeiq@bjut.edu.cn.

TP183

A

1673-4785(2016)06-0758-10

喬俊飛，李凡軍，楊翠麗. 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀與展望[J]. 智能系統(tǒng)學(xué)報(bào)， 2016, 11(6): 758-767.

英文引用格式：QIAO Junfei， LI Fanjun， YANG Cuili. Review and prospect on neural networks with random weights[J]. CAAI Transactions on Intelligent Systems, 2016, 11(6): 758-767.