基于稀疏降噪自編碼器的深度置信網(wǎng)絡(luò)

曾 安，張藝楠，潘 丹，Xiao-Wei Song

(1.廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006； 2.廣東建設(shè)職業(yè)技術(shù)學(xué)院 現(xiàn)代教育技術(shù)中心，廣州 510440；3.西蒙弗雷澤大學(xué) 影像技術(shù)實(shí)驗(yàn)室，加拿大 溫哥華 V6B 5K3)(*通信作者電子郵箱2656351065@qq.com)

基于稀疏降噪自編碼器的深度置信網(wǎng)絡(luò)

曾 安1，張藝楠1，潘 丹2*，Xiao-Wei Song3

(1.廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006； 2.廣東建設(shè)職業(yè)技術(shù)學(xué)院 現(xiàn)代教育技術(shù)中心，廣州 510440；3.西蒙弗雷澤大學(xué) 影像技術(shù)實(shí)驗(yàn)室，加拿大 溫哥華 V6B 5K3)(*通信作者電子郵箱2656351065@qq.com)

傳統(tǒng)的深度置信網(wǎng)絡(luò)(DBN)采用隨機(jī)初始化受限玻爾茲曼機(jī)(RBM)的權(quán)值和偏置的方法初始化網(wǎng)絡(luò)。雖然這在一定程度上克服了由BP算法帶來的易陷入局部最優(yōu)和訓(xùn)練時(shí)間長(zhǎng)的問題，但隨機(jī)初始化仍然會(huì)導(dǎo)致網(wǎng)絡(luò)重構(gòu)和原始輸入的較大差別，這使得網(wǎng)絡(luò)無論在準(zhǔn)確率還是學(xué)習(xí)效率上都無法得到進(jìn)一步提升。針對(duì)以上問題，提出一種基于稀疏降噪自編碼器(SDAE)的深度網(wǎng)絡(luò)模型，其核心是稀疏降噪自編碼器對(duì)數(shù)據(jù)的特征提取。首先，訓(xùn)練稀疏降噪自編碼；然后，用訓(xùn)練后得到的權(quán)值和偏置來初始化深度置信網(wǎng)絡(luò)；最后，訓(xùn)練深度置信網(wǎng)絡(luò)。在Poker Hand 紙牌游戲數(shù)據(jù)集和MNIST、USPS手寫數(shù)據(jù)集上測(cè)試模型性能，在Poker Hand數(shù)據(jù)集下，方法的誤差率比傳統(tǒng)的深度置信網(wǎng)絡(luò)降低46.4%，準(zhǔn)確率和召回率依次提升15.56%和14.12%。實(shí)驗(yàn)結(jié)果表明，所提方法能有效地改善模型性能。

深度置信網(wǎng)絡(luò)；受限玻爾茲曼機(jī)；稀疏降噪自編碼器；深度學(xué)習(xí)

0 引言

深度置信網(wǎng)絡(luò)(Deep Belief Network, DBN)是深度學(xué)習(xí)中一種代表性的模型，通過貪婪策略將網(wǎng)絡(luò)分成若干個(gè)受限玻爾茲曼機(jī)(Restricted Boltzmann Machine, RBM)網(wǎng)絡(luò)，有效地降低了網(wǎng)絡(luò)復(fù)雜度[1]。網(wǎng)絡(luò)訓(xùn)練采用無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的方法，其中無監(jiān)督逐層預(yù)訓(xùn)練RBM的方法解決了大量有標(biāo)簽數(shù)據(jù)收集費(fèi)時(shí)費(fèi)力的困難[2]；且在一定程度上避免了有監(jiān)督BP算法的局部最優(yōu)弊端等，從而被廣泛應(yīng)用于語音識(shí)別[3]、手寫數(shù)字識(shí)別[4]、圖像識(shí)別[5]和自然語言處理[6]等領(lǐng)域。

然而，目前DBN模型也存在一些問題，如：DBN往往采用重構(gòu)誤差作為網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)，雖然這樣可以反映網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的似然度，但它并不可靠[7]；RBM的目標(biāo)函數(shù)不能直接最大化，從而無法知道訓(xùn)練是何時(shí)結(jié)束的，這在控制計(jì)算成本上是個(gè)巨大的挑戰(zhàn)[8]；學(xué)習(xí)率、動(dòng)量等參數(shù)尋優(yōu)對(duì)先驗(yàn)經(jīng)驗(yàn)依賴性較強(qiáng)[7]，隱含層層數(shù)也難以選擇[9]。并且，DBN采用無監(jiān)督逐層學(xué)習(xí)RBM以獲得網(wǎng)絡(luò)參數(shù)并初始化網(wǎng)絡(luò)的方法，雖然這在一定程度上能提高訓(xùn)練精度和節(jié)省訓(xùn)練時(shí)間，但網(wǎng)絡(luò)中RBM隨機(jī)設(shè)定的初始化網(wǎng)絡(luò)權(quán)值和偏置會(huì)導(dǎo)致重構(gòu)后的數(shù)據(jù)和原始輸入數(shù)據(jù)有較大的差別，從而影響精度的進(jìn)一步提高。這是一個(gè)亟待解決的問題。于是，如何快速地找到較好的預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，使其在一定程度上能更好地?cái)M合訓(xùn)練數(shù)據(jù)，這對(duì)提高有監(jiān)督學(xué)習(xí)時(shí)的迭代收斂速度[7]和提高分類準(zhǔn)確率[2]都有重要的研究意義。這也正是本文的研究重點(diǎn)。

目前，權(quán)值和偏置的參數(shù)尋優(yōu)方法主要集中在淺層學(xué)習(xí)上，比較流行的有：隨機(jī)初始化取值方法、基于樣本特征提取初始化法、遺傳和免疫取值法、均勻設(shè)計(jì)取值法、記憶式取值法和感受野型取值法等算法，而較少文獻(xiàn)研究DBN的參數(shù)尋優(yōu)問題。Srivastava 等[10]提出一種dropout參數(shù)加入DBN網(wǎng)絡(luò)的反向微調(diào)中，每次訓(xùn)練時(shí)讓特征檢測(cè)器以概率p停止工作以提高網(wǎng)絡(luò)的泛化能力，該方法現(xiàn)已成功應(yīng)用到DBN模型中；Ranzato等[11]提出在RBM的模型中加入稀疏懲罰項(xiàng)，即在無監(jiān)督預(yù)訓(xùn)練RBM時(shí)加入稀疏限制參數(shù)，更好地重構(gòu)數(shù)據(jù)并提高模型的分類精度；胡振等[12]提出了一種基于降噪自編碼器的五層混合神經(jīng)網(wǎng)絡(luò)，前兩層是降噪自編碼器，中間兩層是RBM，最后用Logistic層進(jìn)行分類，網(wǎng)絡(luò)模型旨在提高DBN無監(jiān)督預(yù)訓(xùn)練的特征提取能力以獲得更好的初始權(quán)重，該模型已成功運(yùn)用在作曲家分類的問題上。

研究表明，RBM權(quán)值的設(shè)定可以影響隱含單元的狀態(tài)，使其不會(huì)一直處于被激活或者抑制狀態(tài)，從而提高網(wǎng)絡(luò)的運(yùn)行效率[13]。同時(shí)合理的RBM初始化權(quán)值和偏置可以減小網(wǎng)絡(luò)重構(gòu)與輸入數(shù)據(jù)的差距，從而提高分類精度。稀疏降噪自編碼器具有更好的特征提取能力[14]和較高的模型分辨率，于是，本文嘗試用稀疏降噪自編碼器對(duì)無標(biāo)簽數(shù)據(jù)訓(xùn)練，并將得到的網(wǎng)絡(luò)參數(shù)作為深度置信網(wǎng)絡(luò)的初始權(quán)值和閾值,以期克服網(wǎng)絡(luò)易陷入局部最優(yōu)和訓(xùn)練時(shí)間長(zhǎng)的弊端，從而提高模型的分類精度和運(yùn)行效率。

1 模型簡(jiǎn)介

1.1 深度置信網(wǎng)

DBN是一個(gè)概率生成模型，如圖1所示，由多個(gè)RBM串聯(lián)堆疊而成。DBN的學(xué)習(xí)可分為兩個(gè)過程：無監(jiān)督逐層預(yù)訓(xùn)練RBM和有監(jiān)督BP算法微調(diào)。

圖1 DBN網(wǎng)絡(luò)結(jié)構(gòu)

RBM是一種基于隨機(jī)神經(jīng)網(wǎng)絡(luò)的概率圖模型[15]，也是一個(gè)能量模型，可視層v為數(shù)據(jù)輸入層，隱藏層h為特征提取層，層內(nèi)節(jié)點(diǎn)無連接，層間節(jié)點(diǎn)全連接。學(xué)習(xí)過程是將上一層的輸出作為下一層的輸入，以獲取有效特征。對(duì)于一組給定的狀態(tài)向量，可見狀態(tài)向量v和隱藏狀態(tài)向量h的聯(lián)合概率分布為：

(1)

其中，Z(θ)是歸一化因子。

由于RBM層內(nèi)無連接，層間全連接[16]，由已知的其中一層節(jié)點(diǎn)可得到另一層節(jié)點(diǎn)的值，即:

(2)

(3)

RBM的學(xué)習(xí)是為了求出參數(shù)的θ值，采用梯度下降的方法最大化式(1)的聯(lián)合分布。由于歸一化函數(shù)Z(θ)很難獲取，本文采用對(duì)比散度(Contrastive Divergence, CD)算法[8]對(duì)RBM網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)以提高計(jì)算速度和精度，并采用重構(gòu)誤差(Reconstruction Error)作為其評(píng)價(jià)指標(biāo)。

經(jīng)過大量無標(biāo)簽數(shù)據(jù)逐層對(duì)RBM無監(jiān)督訓(xùn)練初始化網(wǎng)絡(luò)后，利用有標(biāo)簽數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，即BP算法反向微調(diào)整個(gè)網(wǎng)絡(luò)。

1.2 稀疏降噪自編碼器

稀疏降噪自編碼器(Sparse Denoising AutoEncoder, SDAE)是一種特殊的自編碼器(AutoEncoder, AE)，可視為一個(gè)三層神經(jīng)網(wǎng)絡(luò)：輸入層-隱藏層-輸出層，其中，輸入層和輸出層具有相同的結(jié)構(gòu)，當(dāng)輸入等于輸出時(shí)，隱藏層即為輸入的一種特征表達(dá)。而SDAE即在AE網(wǎng)絡(luò)中加入隨機(jī)性和在損失函數(shù)中加入稀疏性限制，相比AE具有更好的魯棒性和高效性，模型如圖2。

圖2 SDAE網(wǎng)絡(luò)結(jié)構(gòu)

自編碼網(wǎng)絡(luò)中加入隨機(jī)性是指在輸入數(shù)據(jù)中加入一定概率分布的噪聲(通常是將輸入矩陣每個(gè)值都隨機(jī)置0)，讓網(wǎng)絡(luò)學(xué)習(xí)去除這種噪聲的能力，使其學(xué)習(xí)到的特征更具魯棒性，提升模型對(duì)輸入數(shù)據(jù)的泛化能力[17]。稀疏性限制是指神經(jīng)元大部分時(shí)間都被抑制的限制，如果當(dāng)神經(jīng)元輸出為1時(shí)，認(rèn)為其被激活，那么當(dāng)輸入為0時(shí)則被抑制，因此，稀疏性限制就是神經(jīng)元輸出矩陣只有個(gè)別非零元素或者有很少的幾個(gè)遠(yuǎn)大于零的元素，加入稀疏性限制的網(wǎng)絡(luò)使用較少的激活單元表示特征，使模型更具高效性。

SDAE的代價(jià)函數(shù)為：

(4)

其中函數(shù)的第一項(xiàng)為均方誤差重構(gòu)項(xiàng)，第二項(xiàng)為稀疏懲罰項(xiàng)，為保證稀疏性限制，要求:

(5)

2 基于稀疏降噪自編碼器的深度置信網(wǎng)

深度學(xué)習(xí)采用無監(jiān)督學(xué)習(xí)策略獲得網(wǎng)絡(luò)參數(shù)并初始化網(wǎng)絡(luò)的方法，在一定程度上解決了BP算法反向微調(diào)易陷入局部最優(yōu)的問題，因?yàn)轭A(yù)訓(xùn)練后的網(wǎng)絡(luò)的權(quán)值能更好地表達(dá)輸入數(shù)據(jù)結(jié)構(gòu)，提高網(wǎng)絡(luò)的特征表達(dá)能力和泛化性能，這也正是無監(jiān)督學(xué)習(xí)在深度置信網(wǎng)中起關(guān)鍵作用的原因。本文基于這一點(diǎn)提出基于稀疏降噪自編碼器的深度置信網(wǎng)絡(luò)。

深度置信網(wǎng)絡(luò)的實(shí)質(zhì)是通過受限玻爾茲曼機(jī)的堆疊混合得到，應(yīng)證了深層神經(jīng)網(wǎng)絡(luò)在構(gòu)建中強(qiáng)調(diào)模型的混合這一理論[20]，因此，結(jié)合稀疏降噪自編碼器和深度置信網(wǎng)絡(luò)構(gòu)建深層神經(jīng)網(wǎng)絡(luò)也是可行的。由自編碼器的原理可知，編碼過程和解碼過程實(shí)現(xiàn)將原始數(shù)據(jù)與高維特征空間的相互投影，具有保持原始數(shù)據(jù)的可恢復(fù)性的作用[12]，而投影過程中的可恢復(fù)性作用可以保證投影結(jié)果的相對(duì)穩(wěn)定并增加數(shù)據(jù)的可分性。因稀疏降噪自編碼器中降噪的表達(dá)能起到降維的作用，并很好地發(fā)現(xiàn)隱含在輸入數(shù)據(jù)內(nèi)部的結(jié)構(gòu)與模式；稀疏的表達(dá)則是網(wǎng)絡(luò)的特征選擇，從大量維度中篩選出對(duì)系統(tǒng)有用的若干維,有較好的特征提取能力，能很好地特征表達(dá)輸入數(shù)據(jù)，因此，相比于深度置信網(wǎng)絡(luò)，稀疏降噪自編碼器在數(shù)據(jù)的特征提取、分析、降維和表達(dá)方面有更好的效果。

而深度置信網(wǎng)絡(luò)，RBM的初始化是指隨機(jī)設(shè)定且范圍在(0,1)間的網(wǎng)絡(luò)權(quán)值和偏置，會(huì)導(dǎo)致重構(gòu)后的數(shù)據(jù)和原始輸入數(shù)據(jù)有較大的差別，從而使網(wǎng)絡(luò)無論在準(zhǔn)確率還是效率上都無法達(dá)到最優(yōu)。不僅如此，初始值的選擇會(huì)影響局部極小值的性能，較好的預(yù)訓(xùn)練初始值可以在一定程度上提高局部極小值的性能，提高網(wǎng)絡(luò)的特征表達(dá)能力和泛化性能，并使模型更加穩(wěn)定(加快收斂)。

綜合以上兩點(diǎn)，本文采用稀疏降噪自編碼器初始化RBM：提出用單隱層稀疏降噪自編碼器對(duì)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，將模型所產(chǎn)生的權(quán)值和偏置直接賦值給首層RBM，然后進(jìn)行DBN的無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督反向微調(diào)，在一定程度上優(yōu)化網(wǎng)絡(luò)參數(shù)，以進(jìn)一步改善局部最優(yōu)問題并提高模型的分類精度和訓(xùn)練效率。

胡振等[12]提出一種基于降噪自編碼器的五層混合神經(jīng)網(wǎng)絡(luò)(前兩層是降噪自編碼器，后兩層是RBM)，該模型中降噪自編碼器的輸出即為深度置信網(wǎng)絡(luò)的輸入，由此證明了在深度置信網(wǎng)絡(luò)和降噪自編碼器這兩個(gè)模型間參數(shù)傳遞是可行并有效的。而本文采用的稀疏降噪自編碼器在降噪自編碼器的基礎(chǔ)上加入稀疏因子，并沒有改變降噪自編碼器的本質(zhì)，于是，參數(shù)傳遞依然可行。因此，本文用參數(shù)傳遞的方法實(shí)現(xiàn)兩個(gè)模型的對(duì)接，以達(dá)到用稀疏降噪自編碼器對(duì)模型參數(shù)進(jìn)行預(yù)訓(xùn)練的目的。當(dāng)稀疏降噪自編碼器訓(xùn)練后得到的權(quán)值和偏置賦值給深度置信網(wǎng)絡(luò)后，通過BP算法對(duì)整個(gè)深度置信網(wǎng)絡(luò)(兩層隱藏層)微調(diào)并在數(shù)字手寫數(shù)據(jù)集和紙牌游戲數(shù)據(jù)集上驗(yàn)證，實(shí)驗(yàn)證明，用SDAE進(jìn)行預(yù)訓(xùn)練能取得很好的結(jié)果。

基于稀疏降噪自編碼器的深度置信網(wǎng)的流程如圖3所示。

步驟1 建立并訓(xùn)練單隱層的稀疏降噪自編碼器，得到權(quán)值W和偏置b。

步驟2 將第一步訓(xùn)練得到的權(quán)值W和偏置b賦值給DBN的第一層RBM，初始化RBM。由第一步的結(jié)果得知，稀疏降噪自編碼器將會(huì)產(chǎn)生兩個(gè)權(quán)值矩陣：編碼過程生成W矩陣和解碼過程生成W′矩陣，因W就能很好地學(xué)習(xí)輸入中的特征[20]，W′可被約束為權(quán)值矩陣W的轉(zhuǎn)置，在模型參數(shù)傳遞中并沒有明顯的作用，因此本文直接將W矩陣賦值給RBM。

步驟3 建立并訓(xùn)練雙隱層DBN并輸出結(jié)果。

步驟4 輸出錯(cuò)誤率并解釋分析數(shù)據(jù)。

以上四步形成了本文提出的模型：先建立并訓(xùn)練單隱層的稀疏降噪自編碼器，隨后將訓(xùn)練得到的權(quán)值和偏置賦值給第一層RBM，初始化RBM，之后建立并訓(xùn)練雙隱層DBN并輸出結(jié)果，最后通過模型輸出的數(shù)據(jù)進(jìn)行對(duì)比分析。

圖3 基于稀疏降噪自編碼器的深度置信網(wǎng)流程

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文所采用的實(shí)驗(yàn)數(shù)據(jù)集為MNIST和USPS標(biāo)準(zhǔn)手寫體庫和Poker Hand撲克牌游戲數(shù)據(jù)集，MNIST和USPS標(biāo)準(zhǔn)手寫體庫各包含0～9共10個(gè)手寫阿拉伯?dāng)?shù)字樣本，實(shí)驗(yàn)中樣本被歸一化、中心化統(tǒng)一大小，數(shù)據(jù)集MNIST為28×28 的標(biāo)準(zhǔn)灰度圖像，數(shù)據(jù)集USPS是16×16 的標(biāo)準(zhǔn)灰度圖像。Poker Hand數(shù)據(jù)集是一種以撲克牌游戲的手牌牌型作為數(shù)據(jù)來源，數(shù)據(jù)包含10個(gè)隨機(jī)屬性。為保證實(shí)驗(yàn)的高效性(加快運(yùn)行速度)和準(zhǔn)確性，實(shí)驗(yàn)過程采用小批量數(shù)據(jù)模式，因此選取MNIST數(shù)據(jù)60 000 個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試數(shù)據(jù)，批量大小為100；USPS數(shù)據(jù)選取7 290個(gè)訓(xùn)練樣本和2 000 個(gè)測(cè)試樣本，批量大小為10。Poker Hand數(shù)據(jù)選取25 010個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本，批量大小為10。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

為了與本文提出的方法作一個(gè)詳實(shí)的比較，本文一共實(shí)現(xiàn)了6個(gè)模型，分別是：

1)本文提出的基于稀疏降噪自編碼器的深度置信網(wǎng)絡(luò)(簡(jiǎn)稱為DBNS)。先構(gòu)建只含一個(gè)隱藏層的稀疏降噪自編碼器網(wǎng)絡(luò)，所得權(quán)值和偏置設(shè)置為RBM模型的初始化權(quán)值和閾值，然后利用有標(biāo)簽數(shù)據(jù)反向微調(diào)DBN網(wǎng)絡(luò)。其中，DBN網(wǎng)絡(luò)含有兩個(gè)隱藏層，其節(jié)點(diǎn)數(shù)均為100，其輸出層為L(zhǎng)ogistic分類層。

2)潘廣源等[9]提出的DBN深度確定方法(簡(jiǎn)稱為DBNN)。首先建立一個(gè)隱藏層并計(jì)算重構(gòu)誤差，通過判斷重構(gòu)誤差是否小于預(yù)設(shè)值來增加模型的隱藏層數(shù)，最后反向微調(diào)整個(gè)網(wǎng)絡(luò)以提高模型的精度。其中，本文設(shè)定重構(gòu)誤差正確率為99%以上，隱藏層節(jié)點(diǎn)個(gè)數(shù)均為100(包括增加的隱藏層)。

3)胡振等[12]提出的基于深度置信網(wǎng)絡(luò)和級(jí)聯(lián)去噪自編碼器的混合模型(簡(jiǎn)稱為SDA2_DBN2)，SDA2_DBN2是一個(gè)五層的神經(jīng)網(wǎng)絡(luò)，包括兩層降噪自編碼、兩層RBM和一層Logistic分類層。首先建立并初始化網(wǎng)絡(luò)，隨后無監(jiān)督逐層預(yù)訓(xùn)練，最后，反向微調(diào)整個(gè)網(wǎng)絡(luò)。

4)胡振等[12]提出的基于深度置信網(wǎng)絡(luò)和級(jí)聯(lián)去噪自編碼器的混合模型的修改(簡(jiǎn)稱為SDA_DBN2)，由于文獻(xiàn)[12]提出的模型深度較大導(dǎo)致訓(xùn)練時(shí)間較長(zhǎng)，于是本實(shí)驗(yàn)在SDA2_DBN2的基礎(chǔ)上減少一層降噪自編碼，該模型包含四層。

5)傳統(tǒng)的深度置信網(wǎng)絡(luò)(DBN)[19]，本文采用含有兩個(gè)隱含層的深度神經(jīng)網(wǎng)絡(luò)(確保模型規(guī)模相同，方便對(duì)比)。

6)傳統(tǒng)的稀疏降噪自編碼器(SDAE)[20]，本文采用含有兩個(gè)隱含層的深度神經(jīng)網(wǎng)絡(luò)確保模型規(guī)模相同，方便對(duì)比。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中，稀疏降噪子編碼器的網(wǎng)絡(luò)結(jié)構(gòu)為：784-100(可視層-隱藏層)，DBN的網(wǎng)絡(luò)結(jié)構(gòu)為：784-100-100(可視層-隱藏層-隱藏層)，不同模型的實(shí)現(xiàn)結(jié)果比較如圖4所示。圖4表示的是隨著迭代次數(shù)的增加，各模型分類誤差的變化情況。其中圖4(a)是在MNIST數(shù)據(jù)集上迭代50次的結(jié)果，圖4(b)是在USPS數(shù)據(jù)集上迭代150次的結(jié)果(確保實(shí)驗(yàn)結(jié)果收斂)，圖4(c)是在Poker Hand數(shù)據(jù)集上迭代50次的結(jié)果。為保證實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)確率，數(shù)據(jù)均為5次實(shí)驗(yàn)求平均值的結(jié)果。

由圖4可知，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)的分類誤差在不斷地減小，直到趨于穩(wěn)定。 基于數(shù)據(jù)集MNIST、USPS和Poker Hand，本文提出的模型分類誤差率最低，在相同隱藏層層數(shù)的模型中收斂速度最快。

不同模型在不同數(shù)據(jù)集的分類誤差率及訓(xùn)練時(shí)間見表1。

表1 不同數(shù)據(jù)集訓(xùn)練結(jié)果

由表1 MNIST數(shù)據(jù)集結(jié)果可知，在MNIST數(shù)據(jù)集上，本文方法(DBNS)誤差率(2.02%)相比DBN降低了10.62%，時(shí)間縮短了2.02%；相比DBN深度確定方法(DBNN)(2.16%)降低了6.48%，訓(xùn)練時(shí)間卻增加了，這是因?yàn)镈BN深度確定方法建立的模型只含有一個(gè)隱藏層，訓(xùn)練時(shí)間較少；相比兩個(gè)混合模型(即SDA2_DBN2和SDA_DBN2)，誤差率分別降低了6.05%和7.76%，訓(xùn)練時(shí)間分別縮短了31.26%和16.69%；相比SDAE，雖然訓(xùn)練時(shí)間幾乎相同，但在誤差率上有明顯降低(8.60%)。不僅如此，本文方法在準(zhǔn)確率和召回率相比其他5個(gè)模型均有提高。

由表1的USPS數(shù)據(jù)集結(jié)果可知，在USPS數(shù)據(jù)集上，本文方法的誤差率(5.8%)比DBN深度確定方法(DBNN)誤差率降低了30.54%，時(shí)間縮短了3.35%；比SDA2_DBN2和DBN誤差率降低了21.09%，時(shí)間縮短了17.77%和3.86%；比SDA_DBN2誤差率降低了16.55%，時(shí)間縮短了8.55%；比SDAE誤差率降低了18.3%，時(shí)間縮短了2.96%。在準(zhǔn)確率和召回率上，DBNS相比其余模型均有不同程度的提升。

由表1結(jié)果可知，在Poker Hand數(shù)據(jù)集上，本文方法的訓(xùn)練時(shí)間和DBN深度確定方法、DBN和SDAE相近，但是誤差率(18.04%)比DBN誤差率明顯降低了46.4%，準(zhǔn)確率和召回率顯著提高(15.56%和14.13%)；相比DBN深度確定方法誤差率降低了41.8%，準(zhǔn)確率和召回率提高了8.2%和4.78%；相比SDAE誤差率降低了26.72%，準(zhǔn)確率提高了7.95%；相比SDA_DBN2和SDA2_DBN2在訓(xùn)練效率上有顯著提高(訓(xùn)練時(shí)間分別縮短28.09%和35.31%)，誤差率分別降低了32.61%和16.25%，準(zhǔn)確率提升了9.82%和4%，召回率提升了9.88%和3.83%。

從上述的實(shí)驗(yàn)數(shù)據(jù)，可以看出本文提出的方法不僅在分類誤差上低于其他模型，而且訓(xùn)練效率(包含SDAE訓(xùn)練效率)、準(zhǔn)確率和召回率也相應(yīng)得到提升。實(shí)驗(yàn)數(shù)據(jù)表明，用稀疏降噪自編碼器初始化深度置信網(wǎng)絡(luò)的方法是可行的，并且相比其他較為流行的模型，在分類精度和訓(xùn)練效率上都取得了較好的效果。

4 結(jié)語

由于稀疏降噪自編碼器對(duì)輸入數(shù)據(jù)具有較好的特征提取能力，本文提出了一種基于稀疏降噪自編碼器的深度置信網(wǎng)絡(luò)，將訓(xùn)練好的稀疏降噪自編碼器的權(quán)值和偏置賦值給深度置信網(wǎng)絡(luò)。在MNIST、USPS手寫數(shù)據(jù)集和Poker Hand數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，SDAE的有效訓(xùn)練使深度置信網(wǎng)絡(luò)模型在一定程度上克服了易于陷入局部最優(yōu)的弊端，有效降低了分類誤差率并提高了訓(xùn)練效率和準(zhǔn)確率。如何使網(wǎng)絡(luò)在保證精度和效率的基礎(chǔ)上更智能化，自動(dòng)尋優(yōu)參數(shù)以減少對(duì)先驗(yàn)經(jīng)驗(yàn)的依賴，將是接下來研究的重點(diǎn)。

References)

[1] LECUN Y, BENGIO Y, HINTON G. Deep learning [J]. Nature, 2015, 521(7553): 436-444.

[2] ERHAN D, BENGIO Y, COURVILLE A, et al. Why does unsupervised pre-training help deep learning? [J]. Journal of Machine Learning Research, 2010, 11(3): 625-660.

[3] MOHAMED A R, DAHL G E, HINTON G. Acoustic modeling using deep belief networks [J]. IEEE Transactions on Audio Speech & Language Processing, 2012, 20(1): 14-22.

[4] WALID R, LASFAR A. Handwritten digit recognition using sparse deep architectures [C]// Proceedings of the 2014 9th International Conference on Intelligent Systems: Theories and Applications. Piscataway, NJ: IEEE, 2014: 1-6.

[5] BU S, LIU Z, HAN J, et al. Learning high-level feature by deep belief networks for 3-D model retrieval and recognition [J]. IEEE Transactions on Multimedia, 2014, 16(8): 2154-2167.

[6] SARIKAYA R, HINTON G E, DEORAS A. Application of deep belief networks for natural language understanding [J]. IEEE/ ACM Transactions on Audio Speech & Language Processing, 2014, 22(4): 778-784.

[7] HINTON G. A practical guide to training restricted Boltzmann machines [EB/OL]. [2016- 12- 12]. http://www.csri.utoronto.ca/～hinton/absps/guideTR.pdf.

[8] HINTON G E. Training products of experts by minimizing contrastive divergence [J]. Neural Computation, 2002, 14(8): 1771-1800.

[9] 潘廣源，柴偉，喬俊飛.DBN網(wǎng)絡(luò)的深度確定方法[J].控制與決策,2015,30(2)：256-260.(PAN G Y, CHAI W, QIAO J F. Calculation for depth of deep belief network [J]. Control and Decision, 2015, 30(2): 256-260.)

[10] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[11] RANZATO M, BOUREAU Y L, LECUN Y. Sparse feature learning for deep belief networks [J]. Advances in Neural Information Processing Systems, 2007, 20: 1185-1192.

[12] 胡振，傅昆，張長(zhǎng)水.基于深度學(xué)習(xí)的作曲家分類問題[J].計(jì)算機(jī)研究與發(fā)展,2014,51(9):1945-1954.(HU Z, FU K, ZHANG C S. Audio classical composer identification by deep neural network [J]. Journal of Computer Research and Development, 2014, 51(9): 1945-1954.)

[13] BENGIO Y, LAMBLIN P, POPOVICI D, et al. Greedy layer-wise training of deep networks [C]// Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2006: 153-160.

[14] VINCENT P, LAROCHELLE H, BENGIO Y, et al. Extracting and composing robust features with denoising autoencoders [C]// Proceedings of the 25th International Conference on Machine Learning. New York: ACM, 2008: 1096-1103.

[15] SALAKHUTDINOV R, HINTON G. Deep Boltzmann machines [J]. Journal of Machine Learning Research, 2009, 5(2): 1967 -2006.

[16] BENGIO Y, COURVILLE A C, VINCENT P. Unsupervised feature learning and deep learning: a review and new perspectives [EB/OL]. [2016- 12- 22]. http://docs.huihoo.com/deep-learning/Representation-Learning-A-Review-and-New-Perspectives-v1.pdf.

[17] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion [J]. Journal of Machine Learning Research, 2010, 11: 3371-3408.

[18] LIU Y, ZHOU S, CHEN Q. Discriminative deep belief networks for visual data classification [J]. Pattern Recognition, 2011, 44(10/11): 2287-2296.

[19] XIE J, XU L, CHEN E. Image denoising and inpainting with deep neural networks [EB/OL]. [2016- 11- 27]. http://staff.ustc.edu.cn/～linlixu/papers/nips12.pdf.

[20] DENG L. A tutorial survey of architectures, algorithms, and applications for deep learning [EB/OL]. [2017- 01- 10]. https://www.cambridge.org/core/services/aop-cambridge-core/content/view/S2048770314000043.

[21] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507.

Deepbeliefnetworksbasedonsparsedenoisingautoencoders

ZENG An1, ZHANG Yinan1, PAN Dan2*, Xiao-wei SONG3

(1.FacultyofComputerScience,GuangdongUniversityofTechnology,GuangzhouGuangdong510006,China;2.ModernEducationTechnicalCenter,GuangdongConstructionPolytechnic,GuangzhouGuangdong510440,China;3.ImageTechLab,SimonFraserUniversity,VancouverV6B5K3,Canada)

The conventional Deep Belief Network (DBN) often utilizes the method of randomly initializing the weights and bias of Restricted Boltzmann Machine(RBM) to initialize the network. Although it could overcome the problems of local optimality and long training time to some extent, it is still difficult to further achieve higher accuracy and better learning efficiency owing to the huge difference between reconstruction and original input resulting from random initialization. In view of the above-mentioned problem, a kind of DBN model based on Sparse Denoising AutoEncoder (SDAE) was proposed. The advantage of the advocated model was the feature extraction by SDAE. Firstly, SDAE was trained, and then, the obtained weights and bias were utilized to initialize DBN. Finally, DBN was trained. Experiments were performed on card game data set of Poker hand and handwriting data sets of MNIST and USPS to verify the performance of the proposed model. In Poker hand data set, compared with the conventional DBN, the error rate of the proposed model is lowered by 46.4%, the accuracy rate and the recall rate are improved by 15.56% and 14.12% respectively. The results exhibit that the proposed method is superior to other existing methods in recognition performance.

Deep Belief Network (DBN); Restricted Boltzmann Machine (RBM); Sparse Denoising AutoEncoder (SDAE); deep learning

2017- 03- 28;

2017- 06- 07。

國家自然科學(xué)基金資助項(xiàng)目(61300107)；廣東省自然科學(xué)基金資助項(xiàng)目(S2012010010212)；廣州市科技計(jì)劃資助項(xiàng)目(201504301341059, 201505031501397)。

曾安(1978—)，女，湖南新化人，教授，博士，CCF會(huì)員，主要研究方向：人工智能、數(shù)據(jù)挖掘； 張藝楠(1993—)，女，廣東興寧人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘； 潘丹(1975—)，男，廣東興寧人，高級(jí)工程師，博士，主要研究方向：人工智能、數(shù)據(jù)挖掘、大數(shù)據(jù)；Xiao-Wei Song(1962—)，女，北京人，研究員，博士，主要研究方向：腦科學(xué)、神經(jīng)影像。

1001- 9081(2017)09- 2585- 05

10.11772/j.issn.1001- 9081.2017.09.2585

TP183

A

This work is partially supported by the National Natural Science Foundation of China (61300107), the Natural Science Foundation of Guangdong, China (S2012010010212), the Science and Technology Program of Guangzhou (201504301341059,201505031501397).

ZENGAn, born in 1978, Ph. D., professor. Her research interests include artificial intelligence, data mining.

ZHANGYinan, born in 1993, M. S. candidate. Her research interests include data mining.

PANDan, born in 1975, Ph. D., senior engineer. His research interests include artificial intelligence, data mining, big data.

Xiao-WeiSONG, born in 1962, Ph. D., researcher. Her research interests include brain science, neuroimaging.