一種動態(tài)構(gòu)建深度信念網(wǎng)絡(luò)模型方法

吳　強(qiáng)，楊小兵

(中國計量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

人工神經(jīng)網(wǎng)絡(luò)[1](Artifical Neural Network, ANN)是20世紀(jì)80年代人工智能領(lǐng)域興起的研究熱點，它是由腦科學(xué)、神經(jīng)學(xué)和計算機(jī)科學(xué)等學(xué)科交叉所形成的.通過模擬人腦處理信息的方式，建立某種簡單的連接模型，使得模型能夠像人腦一樣有著學(xué)習(xí)和記憶能力，并以此來處理未知事物.近年來，隨著人工神經(jīng)網(wǎng)絡(luò)研究工作的不斷深入，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于各個領(lǐng)域，如：模式識別[2]，人臉識別[3]，預(yù)測估計[4]等，并取得了不錯的成果.20世紀(jì)90年代，各種機(jī)器學(xué)習(xí)[5](Machine Learning, ML)算法層出不窮，如：支持向量機(jī)[6](Support Vector Machine, SVM)，邏輯回歸[7](Logistic Regression, LR)等，而人工神經(jīng)網(wǎng)絡(luò)卻發(fā)展緩慢.其主要原因是淺層人工神經(jīng)擬合復(fù)雜函數(shù)能力較差，而深層次人神經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難.直到2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Geoffrey Hinton和他的學(xué)生Ruslan Salakhutdinov提出了一種高效的訓(xùn)練深層次人工神經(jīng)網(wǎng)絡(luò)的方法，使得人工神經(jīng)網(wǎng)絡(luò)又再次活躍起來并延伸到一個嶄新的領(lǐng)域——深度學(xué)習(xí)[8](Deep Learning, DL).深度學(xué)習(xí)作為一種學(xué)習(xí)復(fù)雜層次概率模型的方法，自提出以來就受到學(xué)者們的廣泛關(guān)注，其最主要的模型之一深度信念網(wǎng)絡(luò)更是應(yīng)用廣泛，已經(jīng)成功應(yīng)用于許多機(jī)器學(xué)習(xí)的任務(wù)中.

盡管深度信念網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于各個領(lǐng)域，但仍存在一些問題需要解決.目前深度信念網(wǎng)絡(luò)模型缺乏有效的方法來確定網(wǎng)絡(luò)層數(shù)及隱層神經(jīng)元數(shù)目，大多依靠學(xué)者的經(jīng)驗來人工確定.不當(dāng)?shù)木W(wǎng)絡(luò)深度及隱層神經(jīng)元數(shù)目，不僅使得模型訓(xùn)練困難，而且泛化能力差，不能充分發(fā)揮深度信念網(wǎng)絡(luò)模型的優(yōu)勢.文獻(xiàn)[9]提出根據(jù)重構(gòu)誤差來確定網(wǎng)絡(luò)模型深度，但依據(jù)重構(gòu)誤差確定網(wǎng)絡(luò)深度時傾向于選擇網(wǎng)絡(luò)深度較大的模型，且構(gòu)建模型時隱層神經(jīng)元數(shù)目仍是根據(jù)經(jīng)驗確定，模型預(yù)測精度無法達(dá)到最優(yōu).本文受貪心算法思想啟發(fā)，在構(gòu)建深度信念網(wǎng)絡(luò)模型時，并非一開始就確定了網(wǎng)絡(luò)模型深度和隱層神經(jīng)元數(shù)目，而是逐層增加網(wǎng)絡(luò)層數(shù)，并在增加過程中動態(tài)調(diào)整當(dāng)前層神經(jīng)元數(shù)目，在當(dāng)前層模型達(dá)到最優(yōu)后，再去構(gòu)建下一層，如此循環(huán)，直到模型構(gòu)建完成.

1　深度信念網(wǎng)絡(luò)

隨著深度學(xué)習(xí)的不斷發(fā)展，出現(xiàn)了越來越多的深層次神經(jīng)網(wǎng)絡(luò)模型，其中深度信念網(wǎng)絡(luò)模型的提出是深度學(xué)習(xí)領(lǐng)域發(fā)展過程中一個里程碑式的突破.在2006年之前，訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的算法多為反向傳播算法[10](Back Propagation, BP)，其訓(xùn)練效率低且容易陷入局部最小，這就大大限制了深層次神經(jīng)網(wǎng)絡(luò)模型的發(fā)展.直到2006年，Hinton提出了以逐層無監(jiān)督貪婪學(xué)習(xí)算法為核心的深度信念網(wǎng)絡(luò)[11]模型，通過組合多個完成預(yù)訓(xùn)練的簡單模型，大大減少了優(yōu)化復(fù)雜網(wǎng)絡(luò)權(quán)值的時間復(fù)雜度，使得模型易于訓(xùn)練，從而有效提高模型預(yù)測或分類的準(zhǔn)確率.

1.1　受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)[12](Restricted Boltzmann Machine, RBM)是一種包含兩層節(jié)點的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型.層間全連接，層內(nèi)無連接,其結(jié)構(gòu)如圖1.

圖1　受限玻爾茲曼機(jī)Figure 1　Resteicted Boltzmann Machine

RBM是一種基于能量的模型，它的能量函數(shù)為

(1)

其中θ={w,a,b}為未知參數(shù)，vihj分別表示第i個可見單元的值和第j個隱藏單元的值，aibj分別表示第i個可見單元和第j個隱藏單元的偏置，wij為神經(jīng)元i和j之間的連接權(quán)值.為了方便討論，假設(shè)所有可見單元和隱藏單元的取值均為0或1.根據(jù)(1)式的能量函數(shù)，可以得到(v,h)的聯(lián)合概率分布為：

(2)

(3)

其中Z(θ)為歸一化因子.

由于RBM同一層節(jié)點間無連接，故同一層中的節(jié)點相互獨立.在已知v或h時，hj或vi的值為1的條件概率分別為：

(4)

(5)

其中sigm為激活函數(shù)，其函數(shù)表達(dá)式為

(6)

根據(jù)公式(4)和(5)，在已知v的條件下，可以求出h的概率分布；反之，也能通過h的概率分布來對v進(jìn)行重構(gòu).

1.2　RBM訓(xùn)練過程

上一節(jié)給出了RBM的聯(lián)合概率分布，其中含有未知參數(shù)θ，RBM的訓(xùn)練過程，實際上就是求出一個能最大化擬合訓(xùn)練樣本的概率分布.RBM是一種概率生成模型，可以通過極大似然估計法來尋找參數(shù)θ，使得樣本在該分布下概率最大.

通過最大化訓(xùn)練樣本的似然函數(shù)來得到RBM的未知參數(shù)，這要求對所有的訓(xùn)練樣本進(jìn)行遍歷，當(dāng)樣本數(shù)據(jù)量較大時，計算復(fù)雜度非常高，難以實現(xiàn).故實際計算時大多采用Gibbs[13]采樣方法來擬合數(shù)據(jù)輸入，簡化的Gibbs采樣方法即Hinton在2002年提出的名為對比散度[14](Contrastive Divergence,，CD)的算法，它只需要很少的采樣步驟就能得到良好的近似，CD算法現(xiàn)已成為訓(xùn)練RBM的標(biāo)準(zhǔn)算法.

1.3　深度信念網(wǎng)絡(luò)模型

深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)是由若干個受限波爾茲曼機(jī)依次堆疊所形成的深度學(xué)習(xí)模型，其結(jié)構(gòu)如圖2.

圖2　深度信念網(wǎng)絡(luò)模型Figure 2　Deep belief network model

深度信念網(wǎng)絡(luò)有強(qiáng)大的特征學(xué)習(xí)能力.學(xué)習(xí)時每兩層節(jié)點構(gòu)成一個RBM，先用CD算法訓(xùn)練第一層RBM，得到第一層RBM的參數(shù)；然后固定該參數(shù)，將此RBM的輸出作為下一個RBM的輸入，繼續(xù)訓(xùn)練下一層RBM，如此循環(huán)，直到整個網(wǎng)絡(luò)訓(xùn)練完成.最后，再使用有標(biāo)簽的數(shù)據(jù)來反向微調(diào)整個網(wǎng)絡(luò)的參數(shù).利用無監(jiān)督貪婪算法對網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，使得網(wǎng)絡(luò)的初始參數(shù)處于一個較優(yōu)的狀態(tài)，避免了網(wǎng)絡(luò)因隨機(jī)初始化參數(shù)而陷入局部最小的問題，且深層次的網(wǎng)絡(luò)結(jié)構(gòu)保證了模型能夠?qū)W習(xí)到底層特征并形成抽象的高層表示，使得模型在預(yù)測或分類方面的結(jié)果更加準(zhǔn)確.

2　模型構(gòu)建方法

2.1　驗證集錯誤分類率

驗證集錯誤分類率(Error Classification Rate of the Verification Set, ECR)，即模型預(yù)訓(xùn)練完成后，在進(jìn)行反向微調(diào)前，將模型用于驗證集進(jìn)行分類，錯誤分類的個數(shù)所占的比例，即

(7)

其中I為指示函數(shù)：

(8)

yi表示模型預(yù)測值，ci為樣本標(biāo)簽值，N為驗證集樣本數(shù)量.

對相同的數(shù)據(jù)集，當(dāng)網(wǎng)絡(luò)模型的結(jié)構(gòu)較優(yōu)時，即網(wǎng)絡(luò)模型深度和神經(jīng)元數(shù)目較優(yōu)時，其分類準(zhǔn)確率較高；反之，其分類準(zhǔn)確率較低.驗證集錯誤分類率在一定程度上能夠反映模型對訓(xùn)練數(shù)據(jù)的擬合程度，驗證集錯誤分類率越小，模型對數(shù)據(jù)的擬合度就越高，其泛化能力就越強(qiáng).因此，可以根據(jù)驗證集錯誤分類率來確定網(wǎng)絡(luò)層數(shù)和神經(jīng)元數(shù)目.

2.2　模型構(gòu)建過程

前面提到，深度信念網(wǎng)絡(luò)模型的訓(xùn)練算法為無監(jiān)督貪心算法，它對不同的網(wǎng)絡(luò)模型深度及隱層神經(jīng)元數(shù)目，網(wǎng)絡(luò)的訓(xùn)練誤差是不同的，其泛化能力也有很大區(qū)別.因此，在解決實際問題時，如何選擇合適的網(wǎng)絡(luò)層數(shù)以及神經(jīng)元數(shù)目是需要解決的第一個問題.本文在此引入兩條引理[9]作為理論依據(jù)：

引理1DBN的訓(xùn)練精度隨著網(wǎng)絡(luò)深度的增加提高

引理2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差隨著神經(jīng)元數(shù)目增加呈減小趨勢

根據(jù)上述引理，隨著網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目的增加，網(wǎng)絡(luò)訓(xùn)練誤差會降低，其驗證集錯誤分類率會提高，達(dá)到最優(yōu)值后，模型過擬合，其驗證集錯誤分類率會迅速降低.因此，可以從單隱層開始，根據(jù)驗證集錯誤分類率逐層增加網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目.

為了構(gòu)建準(zhǔn)確的模型，這里需要引入兩個預(yù)設(shè)閾值參數(shù)：

1)模型最大分類錯誤率ε：即對給定數(shù)據(jù)集，模型錯誤分類率最大為ε，ε用來控制模型的精確度.根據(jù)不同的實驗要求，可以預(yù)設(shè)不同的ε來使模型達(dá)到精度要求;

2)驗證集錯誤率最大差值α：即當(dāng)前模型的驗證集錯誤分類率減去上一次模型的驗證集錯誤分類率差值最大為α.前面提到，當(dāng)模型過擬合時，驗證集錯誤分類率會迅速增大.因此，可以通過設(shè)定合適的α值防止模型過擬合.

模型詳細(xì)構(gòu)建步驟如下：

1)初始化當(dāng)前隱層神經(jīng)元數(shù)目，計算當(dāng)前驗證集錯誤分類率，設(shè)置閾值ε和α;

2)神經(jīng)元個數(shù)增加n,計算當(dāng)前驗證集錯誤分類率，若小于ε，模型構(gòu)建完成.否則，轉(zhuǎn)入下一步;

3)計算當(dāng)前驗證集錯誤分類率與上一次驗證集錯誤分類率的差值，若小于α，返回步驟2，否則網(wǎng)絡(luò)深度增加一層，返回步驟1.

首先設(shè)置網(wǎng)絡(luò)隱層數(shù)為1，初始化隱層神經(jīng)元數(shù)目，計算驗證集錯誤分類率.增加神經(jīng)元個數(shù)，計算當(dāng)前驗證集錯誤分類率，若當(dāng)前驗證集錯誤率與上一次驗證集錯誤率之差小于給定閾值α，則繼續(xù)增加神經(jīng)元個數(shù).否則，將網(wǎng)絡(luò)深度加一層，再用此方法確定下一層神經(jīng)元數(shù)目.依此類推，直到驗證集錯誤分類率小于ε時，停止增加網(wǎng)絡(luò)深度和神經(jīng)元數(shù)目.模型構(gòu)建過程如圖3.

圖3　模型構(gòu)建流程圖Figure 3　Model construction process

2.3　模型調(diào)整

在上一節(jié)給出了模型的構(gòu)建方法，網(wǎng)絡(luò)深度及隱層神經(jīng)元數(shù)目都已經(jīng)確定，網(wǎng)絡(luò)模型結(jié)構(gòu)已接近最優(yōu).但在根據(jù)驗證集錯誤分類率調(diào)整神經(jīng)元數(shù)目時，神經(jīng)元數(shù)目每次增加的數(shù)量均為n，模型的最優(yōu)神經(jīng)元數(shù)目可能在確定的數(shù)值附近，因此，需要對神經(jīng)元數(shù)目進(jìn)行微調(diào).

重構(gòu)誤差(Reconstruction Error, RE)是訓(xùn)練數(shù)據(jù)經(jīng)過RBM的分布進(jìn)行一次Gibbs轉(zhuǎn)移以后得到的值與實際值之間的差異，即：

(9)

重構(gòu)誤差反映了模型特征提取的能力.當(dāng)網(wǎng)絡(luò)模型神經(jīng)元數(shù)目較優(yōu)時，其特征提取能力較強(qiáng)，相應(yīng)地重構(gòu)誤差值較?。环粗?，重構(gòu)誤差值較大.因此，可以根據(jù)重構(gòu)誤差來微調(diào)各層神經(jīng)元數(shù)目.

假設(shè)確定的網(wǎng)絡(luò)模型隱層結(jié)構(gòu)為[h1,h2…,hm]，其中h1,h2…,hm表示各隱層神經(jīng)元數(shù)目，m表示隱藏層數(shù)量.對每一個隱層，固定其它層神經(jīng)元數(shù)目，將當(dāng)前層神經(jīng)元數(shù)目hi從hi-n變化到hi+n，計算重構(gòu)誤差值，將最小重構(gòu)誤差值對應(yīng)的神經(jīng)元的值設(shè)為當(dāng)前層神經(jīng)元數(shù)目.至此，模型調(diào)整完成.

由于每次模型的構(gòu)建都是建立在當(dāng)前層最優(yōu)的基礎(chǔ)上，故模型結(jié)構(gòu)優(yōu)于按照經(jīng)驗構(gòu)建的模型，模型經(jīng)過微調(diào)后，已接近最優(yōu)狀態(tài).

3　實驗分析

3.1　MNIST手寫字體實驗

為了驗證模型構(gòu)建方法的可行性，利用MNIST手寫字體數(shù)據(jù)集設(shè)計了一個模型構(gòu)建實驗.MNIST數(shù)據(jù)集來源于美國國家標(biāo)準(zhǔn)與技術(shù)研究所，訓(xùn)練集包含60 000多個樣本，測試集包含10 000多個樣本，每個樣本由28×28的像素點構(gòu)成.選取10 000個樣本作為訓(xùn)練集，2 000個樣本作為測試集，2 000個樣本作為驗證集用來構(gòu)建深度信念網(wǎng)絡(luò)模型.

首先初始化網(wǎng)絡(luò)隱藏層數(shù)為1，隱層神經(jīng)元數(shù)目為50個；要求模型分類正確率要達(dá)到90%以上，即ε的值設(shè)為0.1；通過多次實驗，當(dāng)α的值大于0.03時，即當(dāng)前驗證集錯誤分類率減去上一次錯誤分類率之差大于0.03時，模型過擬合，其準(zhǔn)確率迅速降低，因此α的值設(shè)為0.03，神經(jīng)元數(shù)目每次增加10個，第一層驗證集錯誤分類率隨著神經(jīng)元數(shù)目的變化如圖4.

圖4　第一隱層驗證集錯誤分類率Figure 4　Verification set error classificationrate on the first hidden layer

為了方便敘述，設(shè)當(dāng)前模型驗證集錯誤分類率減去上一次模型驗證集錯誤分類率的值為BER.

從圖4可以看出，隨著神經(jīng)元數(shù)目的增加，驗證集分類錯誤率呈震蕩減小的趨勢.當(dāng)神經(jīng)元數(shù)目為小于180時，所有BER的值均小于0.03，再次增加神經(jīng)元數(shù)目，驗證集錯誤分類率反而增加，而此時BER值大于0.03.因此，停止增加神經(jīng)元個數(shù)，確定第一層神經(jīng)元個數(shù)為180個，而此時驗證集分類錯誤率為0.142 0，大于預(yù)設(shè)值0.1，因此，固定第一層網(wǎng)絡(luò)參數(shù)，將網(wǎng)絡(luò)模型深度加1，繼續(xù)構(gòu)建網(wǎng)絡(luò)模型.

同樣的，仍初始化第二層網(wǎng)絡(luò)神經(jīng)元個數(shù)為50個，每次增加10個，其驗證集分類誤差如圖5.

圖5　第二隱層驗證集錯誤分類率Figure 5　Verification set error classificationrate on the second hidden layer

觀察圖5可知，驗證集錯誤分類率在神經(jīng)元數(shù)目達(dá)到160個時最小，再次增加神經(jīng)元個數(shù)，驗證集錯誤分類率的差大于預(yù)設(shè)值0.03，而此時驗證集錯誤分類率為0.119 6仍大于0.1，不滿足預(yù)設(shè)條件.因此，固定第一層和第二層神經(jīng)元數(shù)目，再繼續(xù)將模型深度加1層.

同理，第三層驗證集錯誤分類如圖6.

圖6　第三隱層驗證集錯誤分類率Figure 6　Verification set error classificationrate on the third hidden layer

當(dāng)?shù)谌龑由窠?jīng)元數(shù)目為180時，此時驗證集錯誤分類率為0.089 5<0.1，此時模型滿足精度要求，停止網(wǎng)絡(luò)層數(shù)和神經(jīng)元個數(shù)的增加，至此，模型構(gòu)建完成，其隱藏層數(shù)為3，網(wǎng)絡(luò)隱層結(jié)構(gòu)為[180,160,180].

接下來再根據(jù)重構(gòu)誤差對隱層神經(jīng)元數(shù)目進(jìn)行調(diào)整，調(diào)整后模型結(jié)構(gòu)變?yōu)闃?gòu)為[178,155,183].

依據(jù)文獻(xiàn)[9]提出的理論，跟據(jù)重構(gòu)誤差構(gòu)建了一個深度信念模型，模型網(wǎng)絡(luò)深度為4，網(wǎng)絡(luò)深度確定以后，根據(jù)文獻(xiàn)[9]的方法，通過實驗的方法選出了一組使得模型分類誤差小的神經(jīng)元數(shù)目組合，根據(jù)實驗得到的模型結(jié)構(gòu)為[150, 160, 150, 180].為了便于描述，將按照本文提出方法構(gòu)建的模型稱為驗證集模型，將按照文獻(xiàn)[9]方法構(gòu)建的模型稱為重構(gòu)誤差模型.將兩個模型用于測試集進(jìn)行實驗，其分類準(zhǔn)確率如表1.

表1　不同模型分類準(zhǔn)確率

分析表1可知，依據(jù)本文提出的方法所構(gòu)建的模型比依據(jù)重構(gòu)誤差構(gòu)建的模型其分類準(zhǔn)確率提高了1.35%.

3.2　CIFAR-10數(shù)據(jù)集實驗

CIFAR-10數(shù)據(jù)集是機(jī)器學(xué)習(xí)中的一個通用的用于圖像識別的基礎(chǔ)數(shù)據(jù)集，包含了60 000張圖像，共10個類，圖像大小為32×32，其中50 000張為訓(xùn)練集，10 000張為測試集.同樣選取10 000張作為訓(xùn)練集，2 000個樣本作為驗證集，2 000個作為測試集來構(gòu)建模型.

在構(gòu)建模型的過程中，初始化神經(jīng)元數(shù)目為100個，要求模型精度達(dá)到80%以上，即ε的值為0.2，通過實驗發(fā)現(xiàn)當(dāng)前驗證集錯誤分類率減去上一次錯誤分類率之差大于0.1時，模型過擬合，即α的值設(shè)為0.1.構(gòu)建模型過程中驗證集錯誤分類率隨著各層神經(jīng)元數(shù)目變化如圖7.

圖7　驗證集錯誤分類率變化圖Figure 7　Verification set error classification rate

觀察圖7可知：第一隱層在神經(jīng)元數(shù)目超過220時，其α值大于0.1，但ε不滿足要求，故網(wǎng)絡(luò)深度需要增加一層；同樣，第二隱層在神經(jīng)元數(shù)目超過200時α不滿足要求，此時ε仍大于0.2，繼續(xù)增加網(wǎng)絡(luò)深度；當(dāng)?shù)谌[層神經(jīng)元數(shù)目為190，ε滿足要求，停止繼續(xù)增加深度和神經(jīng)元數(shù)目.因此模型結(jié)構(gòu)為[220,200,190].同樣地，根據(jù)重構(gòu)誤差對模型神經(jīng)元數(shù)目進(jìn)行微調(diào)，最后，網(wǎng)絡(luò)模型結(jié)構(gòu)為[224,198,195](驗證集模型).

與上一個實驗類似，根據(jù)文獻(xiàn)[9]提出的理論構(gòu)建了一個深度信念模型，其網(wǎng)絡(luò)結(jié)構(gòu)為[200,220,180,200](重構(gòu)誤差模型)，將兩個模型用于測試集進(jìn)行測試，其準(zhǔn)確率如表2.

表2　不同模型分類準(zhǔn)確率

觀察表2可知，用此方法構(gòu)建的模型比按照重構(gòu)誤差構(gòu)建的模型分類準(zhǔn)確率要高.

4　結(jié)　語

本文詳細(xì)介紹了深度信念網(wǎng)絡(luò)的結(jié)構(gòu)及其訓(xùn)練算法，針對網(wǎng)絡(luò)隱層數(shù)及神經(jīng)元數(shù)目難以確定問題，在貪心算法思想的基礎(chǔ)上，根據(jù)驗證集錯誤分類率來動態(tài)調(diào)整網(wǎng)絡(luò)隱層數(shù)及神經(jīng)元數(shù)目，當(dāng)模型當(dāng)前層達(dá)到最優(yōu)時再去調(diào)整下一層，使得模型構(gòu)建完成后接近最優(yōu).這種構(gòu)建深度信念網(wǎng)絡(luò)模型的方法能有效提高運算效率，降低運算成本，提高預(yù)測或分類的準(zhǔn)確率.

【參考文獻(xiàn)】

[1]CHAE Y T, HORESH R, HWANG Y, et al. Artificial neural network model for forecasting sub-hourly electricity usage in commercial buildings[J].Energy&Buildings, 2016,111:184-194.

[2]MURTY M N, DEVI V S. Introduction to pattern recognition and machine learning[J].JournalofCellularPhysiology, 2015,200(1):71-81.

[3]SUN T H, TIEN F C. Using backpropagation neural network for face recognition with 2D+3D hybrid information[J].ExpertSystemswithApplications, 2008,35(1,2):361-372.

[4]ZAJI A H, BONAKDARI H. Efficient methods for prediction of velocity fields in open channel junctions based on the artifical neural network[J].EngineeringApplicationsofComputationalFluidMechanics, 2015,9(1):220-232.

[5]ROBERT C. Machine learning, a probabilistic perspective[J].MathematicsEducationLibrary, 2012,58(8):27-71.

[6]FUREY T S, CRISTIANINI N, DUFFY N, et al. Support vector machine classification and validation of cancer tissue samples using microarray expression data[J].Bioinformatics, 2000,16(10):906-914.

[7]CUCCHIARA A. Applied logistic regression[J].Technometrics,1992,34(1):358-359.

[8]LECUN Y, BENGIO Y, HINTON G. Deep learning[J].Nature, 2015,521(3):436-444.

[9]潘廣源,柴偉,喬俊飛.DBN網(wǎng)絡(luò)的深度確定方法[J].控制與決策,2015(2):256-260.

PAN G Y, CHAI W, QIAO J F. Calculation for depth of deep belief network[J].ControlandDecision, 2015(2):256-260.

[10]溫林強(qiáng),夏鳳毅,沈洲.BP神經(jīng)網(wǎng)絡(luò)多波長法的COD預(yù)測[J].中國計量大學(xué)學(xué)報,2016,27(3):306-312.

WEN L Q, XIA F Y, SHEN Z. COD prediction based on BP neural networks with multi-wavelength methon[J].JournalofChinaUniversityofMetrology, 2006,27(3):306-312.

[11]HINTON G E. Deep belief networks[J].Scholarpedia, 2009,4(6):5947.

[12]HINTON G E. A practical guide to training restricted boltzmann machines[J].Momentum, 2012,9(1):599-619.

[13]CASELLA G, GEORGE E I. Explaining the Gibbs sampler[J].AmericanStatistician, 1992,46(3):167-174.

[14]SHERI A M, RAFIQUE A, PERDYCZ W, et al. Contrastive divergence for memristor-based restricted Boltzmann machine[J].EngineeringApplicationsofArtificialIntelligence, 2015,37:336-342.