淺析深度信念網(wǎng)絡(luò)模型

◆任楚嵐 曾召俠

淺析深度信念網(wǎng)絡(luò)模型

◆任楚嵐 曾召俠

（沈陽(yáng)化工大學(xué)（沈陽(yáng)）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110000）

深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）是深度學(xué)習(xí)模型之一，是實(shí)現(xiàn)人工智能的重要模型。它是由多個(gè)受限玻爾茲曼機(jī)（RBM）堆加而成。一般在模型的最后一層加入分類器模型進(jìn)行分類。目前已在生物特征識(shí)別、語(yǔ)音識(shí)別、機(jī)器故障診斷、疾病診斷等諸多領(lǐng)域得到廣泛應(yīng)用。鑒于深度信念網(wǎng)絡(luò)模型的優(yōu)點(diǎn)及其強(qiáng)大的自主學(xué)習(xí)能力，主要做了四個(gè)方面的工作：第一，闡述了深度學(xué)習(xí)的背景以及深度信念網(wǎng)絡(luò)的來源，第二，詳細(xì)介紹了深度信念網(wǎng)絡(luò)的基本原理和模型框架，第三，對(duì)受限玻爾茲曼機(jī)的學(xué)習(xí)過程等進(jìn)行了介紹，第四，總結(jié)了深度信念網(wǎng)絡(luò)在疾病預(yù)測(cè)領(lǐng)域的研究與應(yīng)用。

深度學(xué)習(xí)；深度信念網(wǎng)絡(luò)；受限玻爾茲曼機(jī)；對(duì)比散度

2006年，Hinton[1]和他的學(xué)生在《科學(xué)》上發(fā)表了一篇文章，深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）模型首次被提出，當(dāng)時(shí)，推動(dòng)了深度學(xué)習(xí)的發(fā)展[2]。在深度信念網(wǎng)絡(luò)模型的學(xué)習(xí)過程中，采用逐層訓(xùn)練（layer-Wise Training）的貪婪式無監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，從而解決了梯度消失問題，在模型的最后使用分類器對(duì)模型結(jié)果進(jìn)行分類?？梢哉f，深度信念網(wǎng)絡(luò)是結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)的多層概率機(jī)器學(xué)習(xí)模型。

深度信念網(wǎng)絡(luò)[2-3]是深度學(xué)習(xí)中重要的學(xué)習(xí)模型，通過組合低層特征形成更加抽象的高層特征或?qū)傩灶悇e。在各界得到廣泛關(guān)注，從此掀起了深度學(xué)習(xí)研究的浪潮。近年來，深度信念網(wǎng)絡(luò)被廣泛應(yīng)用于與人們生活息息相關(guān)的課程領(lǐng)域，可以實(shí)現(xiàn)機(jī)器翻譯，人臉識(shí)別[4]，語(yǔ)音識(shí)別、信號(hào)恢復(fù)、商業(yè)推薦、金融分析，醫(yī)療輔助和智能交通等。

基于深度信念網(wǎng)絡(luò)的優(yōu)勢(shì)和特征學(xué)習(xí)能力，本文主要圍繞深度信念網(wǎng)絡(luò)概括為以下內(nèi)容：（1）深度信念網(wǎng)絡(luò)的基本原理；（2）受限玻爾茲曼機(jī)的算法執(zhí)行過程；（3）深度信念網(wǎng)絡(luò)在疾病預(yù)測(cè)中的研究進(jìn)展；

1 深度信念網(wǎng)絡(luò)原理

深度信念網(wǎng)絡(luò)由若干個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）的堆疊和一層有監(jiān)督的反向傳播網(wǎng)絡(luò)組成，訓(xùn)練時(shí)可通過由低到高逐層訓(xùn)練這些RBM來實(shí)現(xiàn)。整個(gè)訓(xùn)練的過程可以概括為兩個(gè)部分：一個(gè)是預(yù)訓(xùn)練（pre-Training），采用無監(jiān)督逐層學(xué)習(xí)的方式對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進(jìn)行初始化，另一個(gè)是精調(diào)（Fine-Tuning）在模型的最后使用反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行全局微調(diào)。即使整個(gè)網(wǎng)絡(luò)積累了多層，依舊可以合理地優(yōu)化參數(shù)，這種學(xué)習(xí)方法解決了梯度消失問題，使得深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)更加高效。

1.1 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)（RBM）最早起源于玻爾茲曼機(jī)（Boltzmann Machine，BM），BM不僅有著強(qiáng)大的無監(jiān)督學(xué)習(xí)能力，而且還能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則[4]，但是，這種訓(xùn)練相對(duì)比較復(fù)雜，且訓(xùn)練時(shí)間較長(zhǎng)，為了克服這一問題，Smolensky引入了一種限制的玻爾茲曼機(jī)，則為受限玻爾茲曼機(jī)[5]，其結(jié)構(gòu)如圖（1）所示。

圖1 RBM結(jié)構(gòu)圖

RBM是由一層可見層（visible）和一層隱含層（hidden）組成，且層內(nèi)無連接。h1到hn是n個(gè)實(shí)數(shù)，v1到vm是m個(gè)實(shí)數(shù)，這些實(shí)數(shù)都是0到1之間的數(shù)字，它們各自組成了一個(gè)h向量和一個(gè)v向量。每個(gè)顯層和隱層之間都存在一個(gè)權(quán)重w，一共有n·m權(quán)重，c和b分別是隱藏和顯層的偏置向量。

RBM它是基于能量的模型，那么，對(duì)于一組給定的狀態(tài)（v，h），其能量公式定義為：

其中，是參數(shù)、和，等式右側(cè)表示的能量有三個(gè)部分，一個(gè)是由于權(quán)重連接兩側(cè)的節(jié)點(diǎn)和產(chǎn)生的，必須三個(gè)都為1才算有能量的輸出；另外兩個(gè)是節(jié)點(diǎn)上的偏置和節(jié)點(diǎn)輸入的向量維度值相乘，同樣三個(gè)必須為1才算有能量的輸出。

每一個(gè)能量對(duì)應(yīng)著一種狀態(tài)，能量越小，表示模型越穩(wěn)定。當(dāng)參數(shù)確定時(shí)，由能量公式可得顯層和隱層神經(jīng)元的聯(lián)合概率分布為：

其中，（）是歸一化因子，

由此，當(dāng)確定輸入層的狀態(tài)時(shí)，各隱含層節(jié)點(diǎn)之間的激活狀態(tài)是相互獨(dú)立的。因此，第個(gè)隱含層節(jié)點(diǎn)的激活概率為：

鑒于受限玻爾茲曼機(jī)的結(jié)構(gòu)是對(duì)稱的，當(dāng)確定隱藏層節(jié)點(diǎn)的狀態(tài)時(shí)，各輸入層節(jié)點(diǎn)的激活狀態(tài)之間也是條件獨(dú)立的，因此同理，第個(gè)可見單元的激活概率可以表示為：

目前，受限玻爾茲曼機(jī)被用于處理機(jī)器學(xué)習(xí)不同的問題，如分類、回歸、降維、高維時(shí)間序列建模、特征提取、協(xié)同過濾等。

1.2 對(duì)比散度快速學(xué)習(xí)算法

其中，是學(xué)習(xí)率（learning rate），〈〉data是訓(xùn)練數(shù)據(jù)集所定義的數(shù)學(xué)期望，〈〉recon表示一步重構(gòu)后模型定義的期望。

1.3 深度信念網(wǎng)絡(luò)的基本結(jié)構(gòu)

深度信念網(wǎng)絡(luò)是由多個(gè)受限玻爾茲曼機(jī)和一層有監(jiān)督的分類器堆疊而成，如圖（2）所示。DBN在整個(gè)學(xué)習(xí)過程中總共可以總結(jié)為兩個(gè)階段：第一階段是：無監(jiān)督學(xué)習(xí)，第二階段是：有監(jiān)督的微調(diào)。

(1)第一階段是對(duì)多層RBM進(jìn)行貪婪式訓(xùn)練，即逐層訓(xùn)練，對(duì)模型自底向上逐層訓(xùn)練。將前一個(gè)RBM的輸出值作為下一層RBM的輸入值，從而實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的初始化。

(2)第二階段是對(duì)模型進(jìn)行微調(diào)。為了使得整個(gè)模型結(jié)構(gòu)的目標(biāo)函數(shù)達(dá)到最優(yōu)，可以采用BP神經(jīng)網(wǎng)絡(luò)算法或者支持向量機(jī)對(duì)參數(shù)進(jìn)行微調(diào)從而達(dá)到全局最優(yōu)，將微調(diào)之后的網(wǎng)絡(luò)參數(shù)作為整個(gè)網(wǎng)絡(luò)的初始參數(shù)。相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，DBN有著較高的準(zhǔn)確率，同時(shí)解決了易陷入局部最優(yōu)問題。

圖2 DBN結(jié)構(gòu)圖

2 深度信念網(wǎng)絡(luò)在疾病預(yù)測(cè)中的研究

鑒于深度信念網(wǎng)絡(luò)有較好的特征學(xué)習(xí)能力，許多研究者通過搭建深度信念網(wǎng)絡(luò)模型來對(duì)各種疾病進(jìn)行預(yù)測(cè)預(yù)后，并努力提高對(duì)疾病的預(yù)測(cè)準(zhǔn)確率，促使深度信念網(wǎng)絡(luò)已經(jīng)成為智慧醫(yī)療的一個(gè)重要的實(shí)現(xiàn)途徑。

張婷等人采用多隱層深度信念網(wǎng)絡(luò)模型提取肺結(jié)節(jié)圖像的深層特征，從而對(duì)肺結(jié)節(jié)良惡性進(jìn)行分類，最終達(dá)到了95%的準(zhǔn)確率，驗(yàn)證了該方法優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）[7]；逯鵬等人利用重構(gòu)誤差進(jìn)行自主確定網(wǎng)絡(luò)深度搭建DBN模型，實(shí)驗(yàn)表明采用這樣的方法得到了較高的準(zhǔn)確率[8]；Brosch等人將不同的 DBN 模型相結(jié)合，建立了大腦形態(tài)模型，通過自動(dòng)捕捉腦部病變發(fā)生前可能出現(xiàn)的病理信息，進(jìn)行分析并實(shí)現(xiàn)對(duì)腦部疾病的早期診斷[9]；陳德華等人提出一種基于深度信念網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)良惡性鑒別方法，實(shí)驗(yàn)結(jié)果表明基于深度信念網(wǎng)絡(luò)的預(yù)測(cè)方法具有較高的準(zhǔn)確率，在非稀疏數(shù)據(jù)和稀疏數(shù)據(jù)集上分別達(dá)到94%和88.84%[10]。Kamada提出了自適應(yīng)結(jié)構(gòu)的DBN模型，并將其應(yīng)用在綜合醫(yī)學(xué)檢查數(shù)據(jù)的癌癥預(yù)測(cè)中，該方法在探索輸入數(shù)據(jù)的最佳隱層神經(jīng)元數(shù)，并通過對(duì)算法的擴(kuò)展，在DBN中生成新的隱層，其提出的方法相對(duì)于傳統(tǒng)的DBN分類精度較高。深度信念網(wǎng)絡(luò)用于疾病預(yù)測(cè)，使得智慧醫(yī)療更近一步實(shí)現(xiàn)，為醫(yī)療機(jī)構(gòu)提供了便利[11]。

3 總結(jié)

深度學(xué)習(xí)的發(fā)展使得越來越多的人工智能得以實(shí)現(xiàn)，促使深度學(xué)習(xí)成為人工智能的一個(gè)新的研究領(lǐng)域，本文主要從深度學(xué)習(xí)的來源和深度信念網(wǎng)絡(luò)的原理，以及受限玻爾茲曼機(jī)的學(xué)習(xí)過程進(jìn)行介紹，在最后整理了深度信念網(wǎng)絡(luò)在疾病預(yù)測(cè)領(lǐng)域的研究。在深度信念網(wǎng)絡(luò)的發(fā)展過程中也存在一些不足，例如對(duì)于神經(jīng)網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)的確定，沒有統(tǒng)一的規(guī)定，這些都需要在以后的研究工作中加以完善。

[1]Hinton G，Osindero S，Teh Y.A fast learning algorithm for deep belief nets[J].Neural Compution，2006，18（7）：1527-1554.

[2]Rizk Y，Hajj N，Mitri N，et al.Deep belief networks and cortical algorithms：a comparative study for supervised classification[J].Applied Computing and Informatics，2019，15：81-93.

[3]Wang Gongming，Jia Qingshan，Qiao Junfei，et al.A sparse deep belief network with efficient fuzzy learning frame-work[J].Neural Networks，2020，121：430-440.

[4]張春霞，姬楠楠，王冠偉.受限玻爾茲曼機(jī)[J].工程數(shù)學(xué)學(xué)報(bào)，2015（04）：15.

[5]Lin M，F(xiàn)an X.Low resolution face recognition with pose variations using deep belief networks[C]//International Congress on Image and Signal Processing，2011：1522-1526

[6]Hinton G E. Training products of experts by minimizing contrastive divergence [J].Neural Computation，2002，14（8）：1771-1800.

[7]張婷，趙文婷，趙涓涓，強(qiáng)彥.改進(jìn)是深度信念網(wǎng)絡(luò)肺結(jié)節(jié)良惡性分類[D].太原：太原理工大學(xué)，2018.

[8]逯鵬，王玉辰，李奇航.基于改進(jìn)深度信念網(wǎng)絡(luò)的心血管疾病預(yù)測(cè)研究[J/OL].2018，35（12）.

[9]Brosch T，Yoo Y，Li D K B，et al.Modeling the Variability in Brain Morpholopy and Lesion Distribution in Multiple Sclerosis by Deep Learning[C]// Internation Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing.2014：462-469。

[10]陳德華，周東陽(yáng)，樂嘉錦.基于深度學(xué)習(xí)的甲狀腺結(jié)節(jié)良惡性預(yù)測(cè)方法研究[J].微型機(jī)與應(yīng)用，2017，36（12）：13-15.

[11]Kamada S，Ichimura T，Harada T，Adaptive structural learning of deep belief network for medical examination data and its knowledge extraction by using C4.5[C]// 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering（AIKE），Laguna Hills，CA，2018：33-40.