受限玻爾茲曼機(jī)及其變體研究綜述

摘" 要：

受限玻爾茲曼機(jī)作為學(xué)習(xí)數(shù)據(jù)分布和提取內(nèi)在特征的典型概率圖模型，是深度學(xué)習(xí)領(lǐng)域重要的基礎(chǔ)模型。近年來(lái)，通過(guò)改進(jìn)受限玻爾茲曼機(jī)的模型結(jié)構(gòu)和能量函數(shù)得到眾多新興模型，即受限玻爾茲曼機(jī)變體，可以進(jìn)一步提升模型的特征提取性能。研究受限玻爾茲曼機(jī)及其變體能夠顯著促進(jìn)深度學(xué)習(xí)領(lǐng)域的發(fā)展，實(shí)現(xiàn)大數(shù)據(jù)時(shí)代海量信息的快速提取?；诖耍瑢?duì)近年來(lái)受限玻爾茲曼機(jī)及其變體的相關(guān)研究進(jìn)行系統(tǒng)回顧，并創(chuàng)新性地從訓(xùn)練算法改進(jìn)、模型結(jié)構(gòu)改進(jìn)、模型深層融合研究和模型相關(guān)最新應(yīng)用4個(gè)方面進(jìn)行全面綜述。其中，重點(diǎn)梳理受限玻爾茲曼機(jī)訓(xùn)練算法和變體模型的發(fā)展史。最后，討論受限玻爾茲曼機(jī)及其變體領(lǐng)域的現(xiàn)存難點(diǎn)與挑戰(zhàn)，對(duì)主要研究工作進(jìn)行總結(jié)與展望。

關(guān)鍵詞：

受限玻爾茲曼機(jī); 深度學(xué)習(xí); 受限玻爾茲曼機(jī)變體; 概率無(wú)向圖; 特征提取

中圖分類號(hào)：

TP 183

文獻(xiàn)標(biāo)志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.07.16

Review of research on restricted Boltzmann machine and its variants

WANG Qianglong1， GAO Xiaoguang1， WU Bicong2， HU Zijian1， WAN Kaifang1，*

（1. School of Electronic Information， Northwestern Polytechnical University， Xi’an 710129， China;

2. Stratégie et économie d’Entreprise， Paris 1 Panthéon Sorbonne， Paris 75005， France）

Abstract：

As a typical probabilistic graphical model for learning data distribution and extracting intrinsic features， the restricted Boltzmann machine （RBM） is an important fundamental model in the field of deep learning. In recent years， numerous emerging models， i.e.， RBM variants， have been obtained by improving the model structure and energy function of RBM， which can further enhance the feature extraction performance of the model. The study of RBM and its variants can significantly contribute to the development of the deep learning field and realize the rapid extraction of massive information in the era of big data. Based on this， the relevant research on RBM and its variants are systematically reviewed in recent years， and the improvement of training algorithm， model structure， deep model fusion research and the latest application are creatively reviewed. In particular， the focus is on sorting out the develop history of training algorithms and variants for RBM. Finally， the existing difficulties and challenges in the field of RBM and its variants are discussed， and the main research work is summarized and prospected.

Keywords：

restricted Boltzmann machine （RBM）; deep learning; restricted Boltzmann machine variants; probabilistic undirected graph; feature extraction

0" 引" 言

深度學(xué)習(xí)（deep learning， DL）是一種學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，通過(guò)提取特征和學(xué)習(xí)數(shù)據(jù)分布，分析文字、聲音、圖像等數(shù)據(jù)的機(jī)器學(xué)習(xí)方法［1］。自2006年《Science》雜志刊登了圖靈獎(jiǎng)得主Hinton等學(xué)者發(fā)表的能夠被有效訓(xùn)練的深度置信網(wǎng)絡(luò)（deep belief network，DBN）開(kāi)始，學(xué)術(shù)界掀起了對(duì)深層神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）的研究熱潮［2］。DNN具有強(qiáng)大的特征提取能力和優(yōu)越的模型判別性能，在圖像識(shí)別、文本識(shí)別、自然語(yǔ)言處理（natural language processing，NLP）、物體識(shí)別等諸多領(lǐng)域表現(xiàn)顯著。然而，伴隨著神經(jīng)網(wǎng)絡(luò)層數(shù)加深，神經(jīng)元個(gè)數(shù)、模型參數(shù)、硬件需求以及計(jì)算消耗的時(shí)間會(huì)隨之大幅度提升，導(dǎo)致DNN在實(shí)際問(wèn)題中難以有效訓(xùn)練和部署。受限玻爾茲曼機(jī)（restricted Boltzmann machine， RBM），作為淺層神經(jīng)網(wǎng)絡(luò)的典型代表和構(gòu)建DNN的基石，是神經(jīng)網(wǎng)絡(luò)領(lǐng)域最重要的基礎(chǔ)模型和工具［3］。RBM可以有效避免上述問(wèn)題，同時(shí)具備優(yōu)異的模型擬合和特征表示能力。搭建并訓(xùn)練更好的RBM模型，不僅可以提升淺層神經(jīng)網(wǎng)絡(luò)性能，還可以啟發(fā)對(duì)DNN的設(shè)計(jì)和改進(jìn)，進(jìn)而對(duì)整個(gè)DL領(lǐng)域有著極為重要的推動(dòng)作用。

RBM是一個(gè)具有兩層對(duì)稱全連接且無(wú)自反饋的隨機(jī)網(wǎng)絡(luò)模型，作為DL基本框架，具有較高的研究?jī)r(jià)值。

首先，RBM作為生成模型，可以用于從學(xué)習(xí)分布中抽取樣本，并且對(duì)于圖像類的訓(xùn)練數(shù)據(jù)，RBM可以從圖像中提取特征紋理，并重構(gòu)圖片。其次，RBM作為特征提取器，可以通過(guò)隱藏層捕獲可見(jiàn)層神經(jīng)元之間的依賴關(guān)系，提取到的特征可被進(jìn)一步處理，如輸入到分類器中進(jìn)行分類。再次，RBM作為判別模型，可以采用監(jiān)督學(xué)習(xí)的訓(xùn)練方式，通過(guò)學(xué)習(xí)輸入和數(shù)據(jù)標(biāo)簽的聯(lián)合分布，高效地采樣并判別缺失標(biāo)簽的樣本。最后，RBM是DNN的基石，不僅可以通過(guò)堆棧方式搭建DBN和深度玻爾茲曼機(jī)（deep Boltzmann machine， DBM）［45］，還可以通過(guò)逐層貪婪方法預(yù)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，大幅度提升DNN的學(xué)習(xí)效率［6］。

得益于DNN的深入研究和神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，學(xué)習(xí)

數(shù)據(jù)特征并擬合數(shù)據(jù)分布的RBM成為了研究熱點(diǎn)。RBM訓(xùn)練算法的優(yōu)化使得淺層神經(jīng)網(wǎng)絡(luò)性能進(jìn)一步增強(qiáng)。同時(shí)，針對(duì)RBM結(jié)構(gòu)的相關(guān)改進(jìn)使得RBM適配能力大幅度

提升，應(yīng)用范圍進(jìn)一步拓展。RBM與深層網(wǎng)絡(luò)的融合，可以更深入地提高神經(jīng)網(wǎng)絡(luò)的生成性能和判別性能，進(jìn)而解決更多模式識(shí)別和實(shí)際場(chǎng)景限制難題，然而目前國(guó)內(nèi)外文獻(xiàn)缺乏對(duì)RBM改進(jìn)尤其是RBM變體的細(xì)致研究和梳理總結(jié)?；谝陨蟿?dòng)機(jī)，本文針對(duì)RBM的改進(jìn)和國(guó)內(nèi)外現(xiàn)狀，進(jìn)行全面分析和匯總。同時(shí)，對(duì)RBM的改進(jìn)方向完成細(xì)致分類和討論。旨在為研究DL及RBM的學(xué)者梳理出一條全面且清晰的研究脈絡(luò)。進(jìn)而為基于RBM的訓(xùn)練算法和模型優(yōu)化，提供豐富的理論基礎(chǔ)和研究支撐。最后，分析RBM及其變體領(lǐng)域的研究難點(diǎn)和挑戰(zhàn)，展望該領(lǐng)域未來(lái)的研究方向。

1" 背景知識(shí)

圖1展示了近15年來(lái)關(guān)于RBM研究的SCI和EI論文數(shù)量，點(diǎn)虛線是線性擬合出的論文發(fā)表走勢(shì)，可以看出RBM相關(guān)研究呈現(xiàn)出明顯上升趨勢(shì)。

1.1" RBM概述

本文將RBM及其變體的概述研究分為以下4個(gè)方面：算法研究、變體研究、融合研究以及應(yīng)用研究，如圖2所示。

本文具體分類方式如下。

第1類，RBM算法研究，是在維持RBM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不變的前提下，改進(jìn)訓(xùn)練算法，提升RBM性能的研究。從不同角度出發(fā)，具體主要包括Gibbs采樣系列算法、基于梯度優(yōu)化的改進(jìn)算法、基于重構(gòu)誤差的改進(jìn)算法以及其他改進(jìn)算法。

第2類，RBM變體研究，指的是針對(duì)不同DL任務(wù)，給出適配的模型結(jié)構(gòu)或相關(guān)函數(shù)的改進(jìn)。近幾年，研究RBM變體的熱度已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)RBM本身。RBM變體的訓(xùn)練算法會(huì)因?yàn)榻Y(jié)構(gòu)和模型的變化更加復(fù)雜，但是RBM變體相對(duì)于傳統(tǒng)RBM的應(yīng)用領(lǐng)域會(huì)更廣，模型性能也會(huì)顯著提升。RBM變體的研究主要包括基于模型結(jié)構(gòu)改進(jìn)的變體、基于概率分布改進(jìn)的變體、基于激活函數(shù)改進(jìn)的變體以及基于目標(biāo)函數(shù)改進(jìn)的變體。

區(qū)分傳統(tǒng)RBM和RBM變體有一個(gè)非常簡(jiǎn)單但行之有效的分類方法，傳統(tǒng)RBM的研究側(cè)重于訓(xùn)練算法改進(jìn)，其研究縮寫(xiě)仍是RBM;而RBM變體的研究則側(cè)重于模型機(jī)構(gòu)和模型函數(shù)改進(jìn)，因此RBM變體的縮寫(xiě)一般為X-RBM，其中X為具體研究方向。

第3類，RBM融合研究，是RBM及其變體與一系列典型的神經(jīng)網(wǎng)絡(luò)模型融合的深層模型研究。RBM自身是生成模型，通過(guò)加深層數(shù)，可以得到對(duì)應(yīng)的深層生成網(wǎng)絡(luò)模型。同時(shí)，RBM也可以作為預(yù)訓(xùn)練的有效工具，為深層判別模型或者混合模型訓(xùn)練節(jié)約大量時(shí)間成本。最后RBM變體有判別模型變體，可以加深RBM判別變體的網(wǎng)絡(luò)深度，得到一系列混合深度模型。因此，RBM融合研究包括：深層RBM模型改進(jìn)、RBM融合生成模型、RBM融合判別模型以及RBM融合混合模型這4個(gè)研究方向。

第4類，RBM應(yīng)用研究，是RBM、RBM變體以及RBM融合模型最新的相關(guān)應(yīng)用匯總，主要包含工業(yè)應(yīng)用、醫(yī)學(xué)應(yīng)用以及其他應(yīng)用等。

文章具體框架如下：第1節(jié)簡(jiǎn)要介紹RBM背景知識(shí);第2節(jié)和第3節(jié)分別詳細(xì)綜述RBM算法研究和RBM變體研究;第4節(jié)對(duì)RBM及其變體的融合模型進(jìn)行了分析與整合;第5節(jié)是RBM及其變體的應(yīng)用研究;第6節(jié)詳細(xì)分析了RBM及其變體的現(xiàn)存挑戰(zhàn)與未來(lái)展望;最后是全文總結(jié)。

1.2" RBM模型介紹

玻爾茲曼機(jī)（Boltzmann machine，BM）是經(jīng)典無(wú)向圖能量模型，概念來(lái)源于統(tǒng)計(jì)物理學(xué)，用于學(xué)習(xí)二值向量上的任意分布［7］。同時(shí)，BM的各層神經(jīng)元與層間所有神經(jīng)元均為全連接，可以描述神經(jīng)元變量之間的高階交互影響。BM的訓(xùn)練相當(dāng)復(fù)雜，其流行程度遠(yuǎn)不及現(xiàn)在的RBM，但是其模型有完備的物理解釋和嚴(yán)苛的數(shù)理統(tǒng)計(jì)理論支撐。

RBM的拓?fù)錂C(jī)構(gòu)相對(duì)于BM是受限制的，因?yàn)镽BM層內(nèi)各神經(jīng)元無(wú)連接，其模型結(jié)構(gòu)如圖3所示。RBM在提出初期，被命名為樂(lè)器簧風(fēng)琴，正是因?yàn)槠涞碾p層全連接網(wǎng)絡(luò)結(jié)構(gòu)與之類似。在圖3中，X代表可見(jiàn)層，對(duì)應(yīng)數(shù)據(jù)輸入;H代表隱藏層，對(duì)應(yīng)從輸入數(shù)據(jù)中獲取到的特征，即隱藏層單元可以捕獲可見(jiàn)層變量之間的依賴關(guān)系;W代表權(quán)重連接;bj和ci分別代表可見(jiàn)層和隱藏層的神經(jīng)元偏置，wij對(duì)應(yīng)可見(jiàn)層和隱藏層的權(quán)重連接。顯而易見(jiàn)，RBM也是典型的淺層神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

1.3" RBM算法簡(jiǎn)介

在二值化RBM中，其隨機(jī)變量（x，h）的取值為（x，h）∈（0，1）n+m。RBM模型的能量函數(shù)為

E（x，h）=－∑nj=1xjbj－∑mi=1cihi－∑mi=1∑nj=1wijhixj（1）

其中，針對(duì)j∈{1，2，…，n}和i∈{1，2，…，m}，wij是與第i個(gè)隱藏單元和第j個(gè)可見(jiàn)單元相連接的權(quán)重;bj和ci分別是對(duì)應(yīng)于第j個(gè)可見(jiàn)單元和第i個(gè)隱藏單元的偏差項(xiàng)。RBM的聯(lián)合概率分布為

P（x，h）=e－E（x，h）Z（θ）=e－E（x，h）∑x，he－E（x，h）（2）

式中：Z（θ）為歸一化因子，又被稱作配分函數(shù);θ=［bj，ci，wij］。因?yàn)榭梢?jiàn)層單元和隱藏層單元仍然是二元的，能量模型RBM的自由能函數(shù)可以很容易地推導(dǎo)，即

F（x，θ）=-∑nj=1xjbj-∑mi=1ln1+eci+∑nj=1wijxj（3）

RBM的概率分布如下：

P（x，θ）=e－F（x，θ）∑xe－F（x，θ）（4）

RBM的一個(gè)重要特征是可見(jiàn)層和隱藏層之間無(wú)連接。因此，可見(jiàn)層和隱藏層的采樣是條件獨(dú)立的。而且其節(jié)點(diǎn)都是（0，1）分布，很容易得到RBM可見(jiàn)層和隱藏層對(duì)稱的采樣公式：

P（x∣h）=∏nj=1P（xj=1∣h）

P（h∣x）=∏mi=1P（hi=1∣x）

（5）

基于最大似然估計(jì)算法是RBM最常用的訓(xùn)練算法。在給定一組訓(xùn)練集S={x1，x2，…，xl}，其似然梯度可以寫(xiě)作：

ln L（θ∣x）=ln ∑he-E（x，h）-ln ∑x，he-E（x，h）（6）

值得注意的是，當(dāng)計(jì)算對(duì)數(shù)似然梯度的第2項(xiàng)時(shí)，計(jì)算涉及2m或2n個(gè)狀態(tài)，指數(shù)級(jí)運(yùn)算復(fù)雜度使其難以計(jì)算。因此，需要借助采樣算法等近似結(jié)果。具體的訓(xùn)練算法會(huì)在文后中詳細(xì)介紹，此處直接給出似然函數(shù)針對(duì)模型權(quán)重的梯度推導(dǎo)公式：

ln L（θ∣x）wij=p（hi=1∣x）xj－

∑jp（x）p（hi=1∣x）xj（7）

與式（7）相類似，可以得到RBM關(guān)于可見(jiàn)層和隱藏層偏置的更新規(guī)則，即

ln L（θ∣x）bj=xj－∑xp（x）xj（8）

ln L（θ∣x）ci=p（hi=1∣x）－

∑xp（x）p（hi=1∣x）（9）

RBM模型搭建和訓(xùn)練的嚴(yán)格推導(dǎo)過(guò)程詳見(jiàn)參考文獻(xiàn)［8］。

2" RBM算法研究

RBM的訓(xùn)練是以最大化似然函數(shù)作為目標(biāo)函數(shù)，以重構(gòu)誤差為訓(xùn)練重要指標(biāo)，使用采樣算法等方法近似模型分布，最后使用隨機(jī)梯度下降等算法更新整個(gè)神經(jīng)網(wǎng)絡(luò)模型參數(shù)。在基于最大化目標(biāo)函數(shù)的求解過(guò)程中，需要計(jì)算模型期望，而模型期望的計(jì)算又由配分函數(shù)產(chǎn)生，其求解難度涉及模型所有神經(jīng)元節(jié)點(diǎn)和的指數(shù)次冪，復(fù)雜度極高且計(jì)算困難。因此，需要近似求解模型期望。RBM近似訓(xùn)練算法在本文中歸納為以下兩個(gè)部分：近似采樣算法和變分推斷算法。其中，近似采樣算法又被細(xì)分為Gibbs采樣系列算法、基于梯度優(yōu)化算法和基于重構(gòu)誤差算法3大類。變分推斷算法在后文中進(jìn)行簡(jiǎn)介。

2.1" Gibbs采樣系列算法

Gibbs采樣系列算法的核心是獲取近似分布。在RBM訓(xùn)練過(guò)程中，是通過(guò)數(shù)據(jù)分布和模型分布的差值來(lái)更新整個(gè)網(wǎng)絡(luò)的模型參數(shù)，而模型分布難以獲得。因此，可以通過(guò)采樣的方式， 近似模型分布，然后用數(shù)據(jù)分布和近似分布的差值更新整個(gè)神經(jīng)網(wǎng)絡(luò)。訓(xùn)練RBM的Gibbs采樣系列算法主要包括以下內(nèi)容。

圖靈獎(jiǎng)得主，DL先驅(qū)Hinton提出RBM最經(jīng)典的Gibbs采樣算法，對(duì)比散度（contrastive divergence， CD）［9］，該算法克服傳統(tǒng)采樣鏈算法必須通過(guò)最夠多的采樣步驟達(dá)到細(xì)致平衡狀態(tài)的局限，而是通過(guò)一條Gibbs采樣鏈近似模型梯度。CD算法從實(shí)驗(yàn)數(shù)據(jù)中采樣，并重構(gòu)出實(shí)驗(yàn)數(shù)據(jù)，然后由重構(gòu)數(shù)據(jù)進(jìn)一步采樣，重復(fù)k步得到近似分布，如圖4所示。

實(shí)驗(yàn)結(jié)果證明，Gibbs采樣鏈只需要一步采樣就可以獲得令人滿意的實(shí)驗(yàn)結(jié)果。針對(duì)參數(shù)的更新，核心公式如下所示：

CDk（θ，x（0））=－∑hp（h∣x（0））E（x（0），h）θ+

∑hp（h∣x（k））E（x（k），h）θ（10）

式中：x（0）代表初始數(shù)據(jù);x（k）代表采樣k步后的采樣數(shù)據(jù)。對(duì)比RBM參數(shù)更新式（6），可以發(fā)現(xiàn)CD算法不需要計(jì)算復(fù)雜的配分函數(shù)，而是通過(guò)初始樣本和采樣樣本的差值更新網(wǎng)絡(luò)參數(shù)。

然而，CD算法簡(jiǎn)單有效，但是作為有偏估計(jì)，其偏差過(guò)大。持續(xù)CD（persistent CD，PCD）算法可以有效提升Gibbs采樣效率，減小與模型期望的偏差［10］。在訓(xùn)練過(guò)程中，PCD算法不重新開(kāi)啟采樣鏈，而是以上次采樣鏈結(jié)果作為下次采樣鏈的初值進(jìn)行持續(xù)采樣，整個(gè)采樣過(guò)程隨著模型訓(xùn)練不間斷更新，因此更容易獲取模型分布的所有峰值。PCD算法的核心是一條持續(xù)的采樣鏈，較CD算法加快了Gibbs采樣鏈的采樣效率。

進(jìn)一步地，PCD算法因?yàn)槭浅掷m(xù)采樣鏈，導(dǎo)致計(jì)算量較大，耗時(shí)較長(zhǎng)。為加快PCD算法的運(yùn)算速度，加速PCD（fast PCD，F(xiàn)PCD）算法被提出［11］。FPCD算法引入一組全新的加速權(quán)重，在更新參數(shù)時(shí)通過(guò)原有參數(shù)和加速參數(shù)的和進(jìn)行更新，從而加快整個(gè)Gibbs采樣過(guò)程，如下所示：

P（x∣h）=sig（（bj+bfj）+∑mihi（wij+wfij））

P（h∣x）=sig（（ci+cfi）+∑njxj（wij+wfij））（11）

式中：加速參數(shù)θf(wàn)={wfij，bfj，cfi}，sig（x）=1/（1+e-x）。加速權(quán)重和原有權(quán)重的更新方式一致，不過(guò)加速權(quán)重?fù)碛休^大的學(xué)習(xí)率。FPCD通過(guò)加速權(quán)重使得持續(xù)采樣鏈?zhǔn)諗扛?，并提升采樣混合速率?/p>

不同地，單條Gibbs采樣鏈的采樣算法無(wú)法有效擬合多模分布的復(fù)雜數(shù)據(jù)。平行回火（parallel tempering， PT）算法在不同溫度下并行采樣多條Gibbs鏈，其聯(lián)合概率分布如下：

P（x，h）=e－E（x，h）/TZ（θ）（12）

溫度T≥1，且T越高Gibbs分布的概率密度越接近。同時(shí)，各條溫度鏈也會(huì)以一定的概率進(jìn)行交換［1214］。與CD等算法相比，PT算法引入額外的采樣鏈，增大了計(jì)算開(kāi)銷，但卻產(chǎn)生一個(gè)更快速更平穩(wěn)的混合采樣鏈。因此，RBM模型的對(duì)數(shù)似然梯度近似的偏差更小，使得模型可以更好地訓(xùn)練，尤其是在處理多模態(tài)的復(fù)雜分布上。

針對(duì)單條采樣鏈多步Gibbs采樣過(guò)程中出現(xiàn)訓(xùn)練速度過(guò)慢和采樣發(fā)散的問(wèn)題，李飛等人提出動(dòng)態(tài)Gibbs采樣（dynamic Gibbs sampling， DGS）算法［15］。DGS算法能從馬爾可夫采樣的方向?qū)Χ嗖紾ibbs采樣收斂特性進(jìn)行提升，從而高效地克服多步采樣發(fā)散問(wèn)題，并且能夠以損失較少運(yùn)行時(shí)間為代價(jià)實(shí)現(xiàn)更高的學(xué)習(xí)精度。然而，DGS只給出Gibbs采樣步數(shù)的經(jīng)驗(yàn)區(qū)間，具體訓(xùn)練迭代次數(shù)、采樣步數(shù)以及模型訓(xùn)練精度的數(shù)學(xué)關(guān)系并未給出，在實(shí)際應(yīng)用過(guò)程中仍需要調(diào)參。與此類似，動(dòng)態(tài)回火鏈（dynamic tempering chains，DTC）算法可以有效解決多條采樣鏈的采樣速度過(guò)慢問(wèn)題［16］。DTC在訓(xùn)練過(guò)程中動(dòng)態(tài)改變溫度鏈數(shù)量，并使用一步重建誤差來(lái)度量收斂性，減少動(dòng)態(tài)訓(xùn)練策略對(duì)重建誤差的影響。DTC被證明在學(xué)習(xí)高維和復(fù)雜數(shù)據(jù)時(shí)更具有優(yōu)勢(shì)，然而其計(jì)算復(fù)雜度高于PT算法，這使得DTC訓(xùn)練耗時(shí)增加。

傳統(tǒng)Gibbs采樣算法采樣速度較慢。針對(duì)該問(wèn)題，快速Gibbs采樣（fast Gibbs sampling，F(xiàn)GS）算法被提出［17］。FGS算法基于Gibbs采樣收斂定理，在采樣過(guò)程中添加全新的加速參數(shù)和調(diào)整系數(shù)。加速參數(shù)可以在訓(xùn)練前期有效加速采樣，同時(shí)在訓(xùn)練后期迅速衰減，有效提升RBM訓(xùn)練性能; 調(diào)整系數(shù)可以高效防止網(wǎng)絡(luò)訓(xùn)練產(chǎn)生震蕩。FGS算法性能明顯優(yōu)于CD算法，但是其單鏈采樣的設(shè)定導(dǎo)致FGS算法的最終分類性能不如多鏈采樣算法。

RBM訓(xùn)練目標(biāo)是最大化似然函數(shù)，而CD是有偏估計(jì)的近似算法，因此CD算法計(jì)算的梯度和對(duì)數(shù)似然梯度存在較大偏差。平均CD（average CD，ACD）算法［18］通過(guò)優(yōu)化參數(shù)更新梯度，有效地縮小與實(shí)際對(duì)數(shù)似然梯度的差異，如下所示：

ACDk，l（θ，x（0））=－∑hp（h∣x（0））E（x（0），h）θ+

1l∑li=1∑hp（x（k），h（k））E（x（k），h（k））θ（13）

式中：l表示樣本數(shù);h（k）表示第k步Gibbs采樣生成的隱藏層變量取值。對(duì)比CD算法，ACD算法從理論上證明了通過(guò)k步吉布斯分布的l個(gè)樣本的平均值，比CD算法更接近對(duì)數(shù)似然梯度。ACD缺點(diǎn)也非常顯著，其算法性能隨著訓(xùn)練時(shí)間的延長(zhǎng)而提升，因此需要比CD算法更長(zhǎng)的學(xué)習(xí)時(shí)長(zhǎng)。

所有單鏈Gibbs采樣算法在訓(xùn)練RBM時(shí)都是有偏估計(jì)，為節(jié)省計(jì)算時(shí)間，采樣鏈只運(yùn)行少量迭代，這會(huì)導(dǎo)致偏差估計(jì)問(wèn)題加重。受啟發(fā)于種群蒙特卡羅（population Monte Carlo， PMC）理論，Krause等人提出種群CD（population CD， PopCD）算法［19］。與CD相比，計(jì)算開(kāi)銷可以忽略不計(jì)。該算法證明增加采樣鏈的數(shù)量或采樣步數(shù)不是縮小有偏估計(jì)的唯一方向，重要性采樣也可以有效地減少偏差。但是，PopCD算法在處理隱藏層多神經(jīng)元的模型時(shí)，需要大量樣本才能實(shí)現(xiàn)比CD算法更小的偏差。并且，PopCD梯度估計(jì)時(shí)需要較小的學(xué)習(xí)率，容易陷入局部最優(yōu)。

在使用CD算法訓(xùn)練基于能量的模型時(shí)，存在許多不穩(wěn)定性，如參數(shù)調(diào)整、采樣鏈的提前停止、自注意力機(jī)制等。Du等學(xué)者提出基于數(shù)據(jù)增強(qiáng)和多尺度處理來(lái)提高模型魯棒性和生成質(zhì)量的改良對(duì)比散度（improved CD，ICD）算法［20］。在過(guò)去的實(shí)踐中，CD算法只使用近似梯度LCD，而ICD使用了其忽略的梯度項(xiàng)，并使用KL（Kullback-Leibler）距離進(jìn)行有效計(jì)算這一梯度LKL，避免先前模型中的很多訓(xùn)練不穩(wěn)定性，ICD的梯度LFull如下所示：

LFull=LCD+LKL（14）

ICD算法框架能夠生成高分辨率圖像。

與此不同，精益CD（lean CD，LCD）算法可以保持原始CD算法的訓(xùn)練性能，同時(shí)加速RBM的學(xué)習(xí)過(guò)程［21］。LCD從兩個(gè)方面有效地識(shí)別和消除冗余計(jì)算：一方面?zhèn)戎赜诓蓸舆^(guò)程，給出所有采樣神經(jīng)元可能條件概率的上限和下限，節(jié)省了Gibbs采樣過(guò)程中的點(diǎn)積計(jì)算;另一方面優(yōu)化條件概率的計(jì)算，重復(fù)使用歷史結(jié)果以加快計(jì)算速度。

當(dāng)CD算法采樣鏈的運(yùn)行步數(shù)k很小或者隱藏層的神經(jīng)元節(jié)點(diǎn)較少時(shí)，模型的訓(xùn)練結(jié)果會(huì)大打折扣。為克服這一問(wèn)題，Romero等人提出加權(quán)CD（weighted CD，WCD）算法［22］。WCD核心是對(duì)CD算法負(fù)向梯度不同狀態(tài)進(jìn)行不同的加權(quán)，其更新加權(quán)如下：

P-（x（k））=P（x（k））∑lj=1P（x（k））（15）

即通過(guò)計(jì)算批次中元素的相對(duì)概率，可以為概率較大元素分配較大權(quán)重，使得整個(gè)梯度更接近于真實(shí)梯度。WCD的代價(jià)是帶來(lái)了額外計(jì)算成本。

Ruiz等人提出的變分CD（variational CD，VCD）是一種結(jié)合馬爾可夫蒙特卡羅和變分推理的復(fù)合算法［23］。VCD改變了傳統(tǒng)CD算法計(jì)算散度的方式，使用漸近收斂于變分分布和利益后驗(yàn)之間的對(duì)稱KL散度，取代了標(biāo)準(zhǔn)KL散度。同時(shí)，通過(guò)隨機(jī)優(yōu)化，VCD目標(biāo)函數(shù)可以有效地針對(duì)變分參數(shù)進(jìn)行優(yōu)化。

傳統(tǒng)CD算法分為兩個(gè)階段，正向更新和反向重構(gòu)。其中，只有正向階段是數(shù)據(jù)驅(qū)動(dòng)，這禁止RBM與連續(xù)時(shí)間數(shù)據(jù)流結(jié)合。因此，Pedroni等人提出流水并行CD（pipelined parallel CD，PPCD）算法［24］。PPCD通過(guò)空間交換時(shí)間，并在網(wǎng)絡(luò)中傳輸信息，能夠同時(shí)處理CD算法的兩個(gè)階段，使得模型可以連續(xù)處理和學(xué)習(xí)數(shù)據(jù)。

RBM在Gibbs采樣的估計(jì)下，可以有效地近似模型分布。然而，在實(shí)際訓(xùn)練時(shí)，并不會(huì)無(wú)限執(zhí)行采樣步驟，而是通過(guò)切割采樣鏈的方式，在小批次中進(jìn)行重復(fù)訓(xùn)練。這樣雖然節(jié)省了計(jì)算時(shí)間卻也導(dǎo)致模型非常依賴于數(shù)據(jù)量和批次的細(xì)化。Sanjaya等人［25］提出噪聲持續(xù)CD（noisy persistent CD，NPCD）算法。NPCD通過(guò)添加高斯噪聲，加快采樣鏈的收斂，并且可以幫助RBM取得更好的近似，因?yàn)轭~外的噪聲擾動(dòng)會(huì)略微改變訓(xùn)練數(shù)據(jù)的分布，從而達(dá)到數(shù)據(jù)增強(qiáng)效果。然而，NPCD在噪音的選擇上太過(guò)簡(jiǎn)單，并無(wú)測(cè)試如斑點(diǎn)噪音，泊松噪音等復(fù)雜噪音的增強(qiáng)效果。

表1總結(jié)了訓(xùn)練RBM模型的Gibbs采樣系列算法。可以得出以下結(jié)論：首先，基于Gibbs采樣的改進(jìn)算法眾多，是訓(xùn)練RBM模型的主流算法;其次，單鏈改進(jìn)算法要明顯多于多鏈改進(jìn)算法，一方面是因?yàn)閱捂溗惴ǖ挠?xùn)練時(shí)長(zhǎng)要明顯優(yōu)于多鏈，另一方面是單鏈算法的改進(jìn)幾乎都可以有效地運(yùn)用在多鏈算法內(nèi)部的單條采樣鏈上;最后，基于Gibbs采樣的系列改進(jìn)算法大多是以加速采樣鏈?zhǔn)諗克俣群突旌下蕿橹?，因此歸根結(jié)底的優(yōu)勢(shì)都是進(jìn)一步縮小采樣分布與模型分布之后的差距。

2.2" 基于梯度優(yōu)化算法

RBM可以使用隨機(jī)梯度下降算法來(lái)最大化似然函數(shù)，方向正確且合理的梯度是模型參數(shù)更新的保證?；诖耍芏郣BM改進(jìn)算法在梯度更新的方向上做出改進(jìn)。

Cho等人［26］發(fā)現(xiàn)RBM在訓(xùn)練時(shí)非常依賴于初始權(quán)重以及學(xué)習(xí)率的大小，提出一種增強(qiáng)梯度改良訓(xùn)練算法。增強(qiáng)梯度的定義是2的指數(shù)次冪的加權(quán)和，上標(biāo)為RBM可見(jiàn)層和隱藏層節(jié)點(diǎn)單元的總數(shù)。增強(qiáng)梯度被證明更傾向于稀疏數(shù)據(jù)的學(xué)習(xí)，并且具有對(duì)位翻轉(zhuǎn)變換不變性。

李飛等人［27］發(fā)現(xiàn)現(xiàn)有動(dòng)量算法的加速效果是以犧牲網(wǎng)絡(luò)權(quán)重為代價(jià)的，因此提出基于權(quán)重動(dòng)量的RBM加速算法。該方法對(duì)網(wǎng)絡(luò)權(quán)重中包含的大量真實(shí)梯度方向信息進(jìn)行利用，縮小了訓(xùn)練梯度與真實(shí)梯度差距，從而具有很好加速效果。

同年，李飛等人［28］指出在進(jìn)行梯度計(jì)算過(guò)程中，采樣梯度作為近似梯度與正式梯度偏差較大，提出梯度修正并行回火算法。分析表明，由于Gibbs在采樣過(guò)程中都是進(jìn)行有限次數(shù)的迭代，近似梯度與真實(shí)梯度之間存在數(shù)值偏差和方向偏差。修正梯度是在原有采樣梯度的基礎(chǔ)上增加代價(jià)梯度，基于反向傳播（back propagtion，BP）算法精確求解代價(jià)梯度，并給出代價(jià)梯度求解網(wǎng)絡(luò)目標(biāo)函數(shù)時(shí)數(shù)值下降最快的方向，作為梯度修正的方向。實(shí)驗(yàn)結(jié)果表明，修正梯度可以更精確地獲取真實(shí)目標(biāo)梯度，提升算法性能。然而，由于代價(jià)梯度的計(jì)算，梯度修正算法的效率還是偏低。

動(dòng)量是優(yōu)化RBM梯度更新的重要正則化手段。RBM經(jīng)典動(dòng)量算法的梯度更新公式為

θt=θt－1+m*Δθt－1－η L（θ）θi（16）

式中：θt為時(shí)刻t的梯度;θt－1為時(shí)刻t－1的梯度;m*為動(dòng)量參數(shù);η為學(xué)習(xí)率。

沈卉卉等人［29］繼續(xù)在經(jīng)典動(dòng)量算法上進(jìn)行改進(jìn)，在訓(xùn)練RBM時(shí)使用梯度上升算法，因此此時(shí)使用上一次參數(shù)值的修改方向作為本次梯度的正方向，則梯度更新的方向上步長(zhǎng)最大，速度最快。故有全新動(dòng)量更新公式：

θt=θt－1+m*Δθt－1+η L（θ）θi（17）

進(jìn)一步地，Shen等人［30］提出一種全新的梯度近似算法，加快RBM網(wǎng)絡(luò)收斂效果和分類表現(xiàn)。具體的，在RBM預(yù)訓(xùn)練和微調(diào)階段使用不同的權(quán)重衰減動(dòng)量進(jìn)行訓(xùn)練，如下所示：

θt=θt－1+m*Δθt－1+η L（θ）θi－λ1θt－1（18）

式中：λ1是重量衰減項(xiàng)。權(quán)重衰減動(dòng)量方法采用先前梯度值和當(dāng)前梯度的正方向的組合，這些梯度將在梯度方向上不斷加速，直到達(dá)到最佳點(diǎn)，從而提高學(xué)習(xí)效率。該方法使用之前時(shí)刻梯度的方向進(jìn)行優(yōu)化，讓梯度的方向和數(shù)值都取得了修正，這使得網(wǎng)絡(luò)在相同時(shí)間條件下取得更好性能。

相較于Gibbs系列采樣算法，基于梯度優(yōu)化的改進(jìn)算法主要貢獻(xiàn)是通過(guò)優(yōu)化梯度，進(jìn)而優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的參數(shù)更新方式，如圖5所示。

圖5只是一個(gè)示意圖，其中梯度的含義和具體量綱是隨著模型參數(shù)具體變化的，梯度表示的是損失函數(shù)關(guān)于模型參數(shù)的變化率，因此每個(gè)參數(shù)都有一個(gè)對(duì)應(yīng)的梯度，反映了在該參數(shù)方向上的損失函數(shù)的變化率；坐標(biāo)軸代表模型的一個(gè)參數(shù)對(duì)應(yīng)的分量，可以是權(quán)重或偏重；梯度的量綱與損失函數(shù)和模型參數(shù)的量綱有關(guān)。例如，如果損失函數(shù)是平方誤差，而權(quán)重參數(shù)的量綱是某個(gè)物理量的單位，那么梯度的量綱將是損失函數(shù)單位除以權(quán)重參數(shù)單位。梯度方向表示目標(biāo)函數(shù)值增大最快的方向，Δθ為真實(shí)梯度，Δζ和Δδ均為近似梯度。Δζ的方向仍是函數(shù)值上升的方向，但不是上升最快的方向，導(dǎo)致網(wǎng)絡(luò)的收斂速度非常緩慢。

Δδ的數(shù)值大小可能與真實(shí)梯度一致，但是方向相反，如果按照這個(gè)梯度訓(xùn)練會(huì)導(dǎo)致網(wǎng)絡(luò)發(fā)散。本質(zhì)上，此類改進(jìn)方法也是有偏估計(jì)的近似訓(xùn)練算法，但是，因?yàn)槠鋬?yōu)化模型梯度更新的方向和數(shù)值，使得RBM模型的學(xué)習(xí)效果進(jìn)一步提升。然而，這類算法的本質(zhì)可以看作是參數(shù)的一種正則化手段，對(duì)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練優(yōu)化是有局限性。

2.3" 基于重構(gòu)誤差算法

重構(gòu)是指從變體數(shù)據(jù)中重新構(gòu)造出原始數(shù)據(jù)，變體數(shù)據(jù)主要包括缺失數(shù)據(jù)、污染數(shù)據(jù)、采樣數(shù)據(jù)等等，DL的絕大多數(shù)算法都用到了重構(gòu)思想。重構(gòu)誤差是重構(gòu)性能的重要評(píng)價(jià)指標(biāo)，RBM的訓(xùn)練中也同樣可以使用這一指標(biāo)。上文介紹過(guò)，RBM可以通過(guò)采樣從輸入數(shù)據(jù)采樣出數(shù)據(jù)特征，然后同樣通過(guò)采樣的方式，使用隱藏層的提取特征重構(gòu)出原始的輸入樣本。重構(gòu)誤差在RBM中的定義就是原始數(shù)據(jù)與重構(gòu)數(shù)據(jù)之間的差值。因此，很多RBM改進(jìn)算法致力于減小模型重構(gòu)誤差，以提升神經(jīng)網(wǎng)絡(luò)的性能表現(xiàn)。

Wang等人［31］結(jié)合課程學(xué)習(xí)思想，通過(guò)分段式Gibbs采樣（phased Gibbs sample， PGS）算法有效地降低模型的重構(gòu)誤差。同時(shí)，RBM模型的訓(xùn)練一般使用固定學(xué)習(xí)率，效果較差。PGS算法使用基于重構(gòu)誤差的改良動(dòng)態(tài)學(xué)習(xí)率算法進(jìn)行輔助訓(xùn)練，使得模型學(xué)習(xí)率的動(dòng)態(tài)變化是基于模型訓(xùn)練階段的重構(gòu)效果，并且通過(guò)防震蕩系數(shù)的添加，增加算法的魯棒性。實(shí)驗(yàn)結(jié)果證明，PGS系列算法可以大大降低Gibbs采樣算法的重構(gòu)誤差，在各項(xiàng)RBM實(shí)驗(yàn)中展現(xiàn)其算法收斂的穩(wěn)定和高效。

Yin等人［32］嘗試在RBM的目標(biāo)函數(shù)中加入重構(gòu)誤差，進(jìn)而優(yōu)化模型訓(xùn)練。RBM訓(xùn)練的目標(biāo)是不停地更新模型參數(shù)，使得模型分布和原始輸入分布盡可能一致，然而兩個(gè)分布之間的差異始終存在。因此，改進(jìn)算法在最大化似然函數(shù)的過(guò)程中加入訓(xùn)練時(shí)各組的重構(gòu)誤差，極大地優(yōu)化參數(shù)的更新，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)模型的重構(gòu)效果和分類性能。然而，RBM模型訓(xùn)練后期重構(gòu)誤差非常小時(shí)，可能會(huì)導(dǎo)致算法失效。

隨后，Yin等人［33］將基于重構(gòu)誤差的訓(xùn)練思想使用在判別性RBM的訓(xùn)練上。具體的操作分為兩個(gè)階段，第一階段使用所有帶標(biāo)簽的樣本訓(xùn)練判別性RBM，如果所有樣本訓(xùn)練的重構(gòu)誤差一直減小則無(wú)變化;否則進(jìn)入第二階段，使用隨機(jī)梯度下降算法通過(guò)監(jiān)督學(xué)習(xí)更新網(wǎng)絡(luò)參數(shù)，更新調(diào)整的幅度與重構(gòu)誤差的值正相關(guān)。實(shí)驗(yàn)展示了該算法在文本數(shù)據(jù)集識(shí)別上的顯著優(yōu)勢(shì)。

受神經(jīng)網(wǎng)絡(luò)裁剪理論的啟發(fā)，Golubeva等人［34］提出修剪RBM權(quán)重總數(shù)的方法。實(shí)際上伴隨著模型權(quán)重的裁剪，重構(gòu)誤差會(huì)大幅度下降，并且實(shí)驗(yàn)證明了即使裁剪的閾值設(shè)定為全部權(quán)重的50%，網(wǎng)絡(luò)的性能并無(wú)明顯下降，但是RBM訓(xùn)練的時(shí)間會(huì)大幅度下降。

不同于上述算法，Dixit等人［35］從減少計(jì)算成本高昂的采樣步驟出發(fā)，在訓(xùn)練時(shí)估計(jì)對(duì)數(shù)似然目標(biāo)函數(shù)的精確梯度。在這項(xiàng)工作中，使用D-Wave 2000Q量子退火器來(lái)訓(xùn)練RBM，并有效使用量子退火提取的樣本，進(jìn)行對(duì)數(shù)似然梯度的計(jì)算與參數(shù)更新。事實(shí)證明，使用特定的硬件如量子處理器，可以大幅度提升RBM圖像重構(gòu)效果。但在大型數(shù)據(jù)集上計(jì)算D-Wave機(jī)器的有效溫度的更好方法仍然是一個(gè)開(kāi)放的問(wèn)題。

Roder等人［36］考慮使用粒子群算法優(yōu)化訓(xùn)練基于溫度RBM的超參數(shù)選擇?；诨鼗痤惖腉ibbs采樣算法也同樣涉及到溫度的變化，從而完成各條溫度鏈的狀態(tài)交互。實(shí)驗(yàn)證明，人工蜂群、蝙蝠算法和例子群算法可以有效降低神經(jīng)網(wǎng)絡(luò)模型的重構(gòu)誤差。

Takamune等人［37］則提出一種新的基于輔助函數(shù)方法的RBM訓(xùn)練算法，該算法使用觀測(cè)值的重建概率作為優(yōu)化準(zhǔn)則。首先，給出最大化目標(biāo)函數(shù)的輔助函數(shù)，據(jù)此可以將參數(shù)分離成單獨(dú)的項(xiàng)進(jìn)行計(jì)算。之后，通過(guò)輔助函數(shù)和重構(gòu)誤差搭建出目標(biāo)函數(shù)的下界條件，通過(guò)計(jì)算下界條件來(lái)加速RBM網(wǎng)絡(luò)的收斂。

相較于傳統(tǒng)的固定學(xué)習(xí)率，Luo等人［38］提出基于重構(gòu)誤差的動(dòng)態(tài)學(xué)習(xí)率算法。通過(guò)比較各次迭代前后模型的重構(gòu)誤差，智能地減半學(xué)習(xí)率。訓(xùn)練結(jié)果表明基于重構(gòu)誤差的動(dòng)態(tài)學(xué)習(xí)率算法可以有效提升RBM模型的性能，尤其可以大幅度降低網(wǎng)絡(luò)的重構(gòu)誤差。

表2給出了上述基于重構(gòu)誤差系列算法的改進(jìn)方式對(duì)比。可以發(fā)現(xiàn)，目前大多數(shù)研究主要是通過(guò)算法優(yōu)化對(duì)重構(gòu)誤差進(jìn)行優(yōu)化。算法優(yōu)化可以使得RBM的重構(gòu)誤差指標(biāo)在訓(xùn)練過(guò)程中持續(xù)下降，提升神經(jīng)網(wǎng)絡(luò)的擬合精度，是當(dāng)前的主流方法。此外，通過(guò)硬件架構(gòu)的優(yōu)化，降低重構(gòu)誤差去提升RBM表現(xiàn)是一種全新的方向。如D-Wave 2000Q量子退火器是一種基于超導(dǎo)量子比特的量子計(jì)算機(jī)，使用量子退火算法來(lái)解決優(yōu)化問(wèn)題。具體工作原理是通過(guò)將問(wèn)題轉(zhuǎn)化為能量函數(shù)，然后將其編碼到量子比特中，最后通過(guò)量子退火算法來(lái)尋找能量函數(shù)的全局最小值。從硬件架構(gòu)的角度去優(yōu)化模型的重構(gòu)誤差，為此領(lǐng)域的研究提供了新的指導(dǎo)思路。

2.4" 其他RBM改進(jìn)算法

不同于第2.1～第2.3節(jié)通過(guò)構(gòu)建Gibbs采樣鏈近似模型分布的方法，本節(jié)介紹其他類型的RBM訓(xùn)練算法。這類方法主要受變分推斷理論的啟發(fā)，以似然函數(shù)梯度的角度出發(fā)，搭建并計(jì)算變分邊界，同時(shí)利用邊界的逼近后驗(yàn)分布去近似RBM網(wǎng)絡(luò)的聯(lián)合概率分布。此外，還可以使用變分推斷理論近似難以獲得的RBM配分函數(shù)。依據(jù)這兩種思想，RBM的其他訓(xùn)練算法主要包括基于平均場(chǎng)的近似方法和基于配分函數(shù)的近似方法。

（1） 基于平均場(chǎng)的近似方法。首先，通過(guò)選擇琴生不等式，逼近模型的似然函數(shù)，得到對(duì)數(shù)似然函數(shù)的下界。之后，基于平均場(chǎng)的RBM模型中，最大化對(duì)數(shù)似然函數(shù)的過(guò)程與最小化模型與數(shù)據(jù)分布的KL散度是一致的。這樣就可以通過(guò)最小化KL散度的方法對(duì)模型分布進(jìn)行快速近似。然而，因?yàn)槟繕?biāo)期望常常是多模態(tài)分布，而平均場(chǎng)算法的基本假設(shè)都是單模態(tài)，所以基于平均場(chǎng)的近似方法很難處理復(fù)雜數(shù)據(jù)的模型近似問(wèn)題［39］。

（2） 基于配分函數(shù)的近似方法。由于RBM模型的配分函數(shù)是難以獲得的，只能通過(guò)其他方法近似模型分布，從而利用模型分布與數(shù)據(jù)分布的差值更新網(wǎng)絡(luò)參數(shù)。而基于配分函數(shù)的近似方法中，配分函數(shù)可以表示為

Z=∫xp～

（x）dx=∫xp～（x）q（x）q（x）dx（19）

式中：p～（x）是指數(shù)形式的能量函數(shù)。通過(guò)式（14），偽概率p～（x）可以通過(guò)計(jì)算參數(shù)化的分布q近似，之后繼續(xù)通過(guò)q（x）對(duì)配分函數(shù)進(jìn)行持續(xù)追蹤，這個(gè)方法又被稱為配分函數(shù)追蹤法。該方法相對(duì)于基于平均場(chǎng)的近似方法可以更好地近似多模分布，處理復(fù)雜問(wèn)題的建模，然而由于要對(duì)模型基于能量的配分函數(shù)進(jìn)行持續(xù)追蹤，所以計(jì)算復(fù)雜度很高，時(shí)間消耗長(zhǎng)［40］。

基于平均場(chǎng)和基于配分函數(shù)的近似方法最大的優(yōu)勢(shì)是計(jì)算速度快，其在使用的過(guò)程中只需要近似求解對(duì)數(shù)似然函數(shù)下界和配分函數(shù)，省去了大量多步采樣至平衡條件的計(jì)算時(shí)間。但是，在擬合模型期望時(shí)，基于平均場(chǎng)的近似算法的性能并不優(yōu)良，因?yàn)槠浠A(chǔ)假設(shè)分布是單模態(tài)的，很難處理多模態(tài)逼近問(wèn)題。同時(shí)，基于配分函數(shù)的近似方法在最小化KL距離的過(guò)程中，其訓(xùn)練分布相對(duì)于真實(shí)分布過(guò)于平滑。因此，使用持續(xù)馬爾可夫鏈去逼近多模分布以及改進(jìn)RBM訓(xùn)練的KL散度表達(dá)式，這兩種改進(jìn)策略是可能提升RBM近似訓(xùn)練算法的未來(lái)研究方向。

3" RBM變體研究

RBM變體指的是為了提升RBM性能或擴(kuò)大RBM應(yīng)用范圍，通過(guò)模型結(jié)構(gòu)變化和模型函數(shù)改進(jìn)的新型RBM。其研究主要可以分為以下兩大類和具體4個(gè)方向，第一類是基于模型結(jié)構(gòu)改進(jìn)的RBM變體研究;第二類是基于模型函數(shù)變換的RBM變體研究，具體包含基于概率分布、激活函數(shù)、目標(biāo)函數(shù)的3個(gè)主要不同改進(jìn)方向。RBM變體相較于傳統(tǒng)RBM對(duì)應(yīng)的訓(xùn)練算法會(huì)因?yàn)榻Y(jié)構(gòu)和模型函數(shù)的變化而對(duì)應(yīng)深入變化，因此RBM變體的研究更加復(fù)雜。但是RBM變體的性能有很大提升，應(yīng)用領(lǐng)域較傳統(tǒng)RBM更廣，因此近幾年對(duì)變體的研究要遠(yuǎn)多于對(duì)傳統(tǒng)的研究。

3.1" 基于模型結(jié)構(gòu)改進(jìn)的RBM變體

RBM作為典型的淺層神經(jīng)網(wǎng)絡(luò)，在處理眾多的計(jì)算機(jī)視覺(jué)和實(shí)際問(wèn)題中，必須要進(jìn)行適當(dāng)?shù)慕Y(jié)構(gòu)變換，才能更好適應(yīng)場(chǎng)景和需求。同時(shí)，這些在RBM模型上的提升為DNN的搭建改進(jìn)提供了理論支撐。下面總結(jié)近些年基于模型結(jié)構(gòu)改進(jìn)的典型RBM變體，同時(shí)為方便理解，本文整理出所有模型的結(jié)構(gòu)簡(jiǎn)圖，可視化地提供神經(jīng)網(wǎng)絡(luò)表現(xiàn)優(yōu)異的創(chuàng)新途經(jīng)。

判別性RBM。傳統(tǒng)的RBM是典型的生成性神經(jīng)網(wǎng)絡(luò)，需要借助額外的分類器如Softmax等才能進(jìn)行分類任務(wù)。通過(guò)將數(shù)據(jù)的標(biāo)簽信息和數(shù)據(jù)一同輸入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，隱藏層可以學(xué)習(xí)來(lái)自其聯(lián)合分布的特征信息，訓(xùn)練好的網(wǎng)絡(luò)可以對(duì)全新輸入的無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行分類，這樣的RBM變體被稱作判別性RBM（discriminative RBM，DRBM）［41］，又被稱為分類RBM。DRBM的結(jié)構(gòu)如圖6所示，與傳統(tǒng)RBM對(duì)比可知，DRBM的Y代表數(shù)據(jù)的標(biāo)簽信息輸入，U代表標(biāo)簽層和隱藏層的權(quán)重連接。DRBM擴(kuò)展了RBM的神經(jīng)網(wǎng)絡(luò)模型，并且可以獨(dú)立進(jìn)行分類任務(wù)，使其應(yīng)用范圍巨大提升。DRBM既可以使用無(wú)監(jiān)督學(xué)習(xí)方法學(xué)習(xí)，也可以使用監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練，并且其在大型數(shù)據(jù)集上的在線學(xué)習(xí)性能表現(xiàn)優(yōu)異。

DRBM的能量函數(shù)為

FD（x，y）=-∑nj=1bjxj-∑Kk=1dkyk-

∑mi=1ln1+eci+∑nj=1wijxj+∑Kk=1uikyk（20）

式中：y={y1，y2，…，yk}表示額外添加的標(biāo)簽輸入層;dk是標(biāo)簽層的神經(jīng)元偏置;uik為標(biāo)簽層和隱藏層的權(quán)重連接，k={1，2，…，K}表示標(biāo)簽數(shù)量。

隨機(jī)刪點(diǎn)/刪邊RBM。類似所有的神經(jīng)網(wǎng)絡(luò)模型，RBM在使用梯度下降等算法更新參數(shù)時(shí)， 會(huì)出現(xiàn)過(guò)擬合的問(wèn)題。為解決該問(wèn)題，隨機(jī)刪除節(jié)點(diǎn)RBM（dropout RBM， DrRBM）被提出［42］。其核心思想是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中隨機(jī)刪除節(jié)點(diǎn)，隨后在權(quán)重更新中再重新采樣被刪除的節(jié)點(diǎn)，如圖7左所示。進(jìn)一步地，可以將隨機(jī)刪除的思想用在神經(jīng)元間的權(quán)重連接上，得到隨機(jī)刪邊RBM（drop connect RBM， DcRBM）［43］，如圖7右所示。在實(shí)際操作時(shí)，DrRBM的可見(jiàn)層和隱藏層節(jié)點(diǎn)，與DcRBM的權(quán)重連接受一組隨機(jī)的［0，1］矩陣控制，0代表未激活，1代表激活，實(shí)現(xiàn)起來(lái)非常簡(jiǎn)單有效。

時(shí)序RBM（temporal RBM， TRBM）。TRBM是一系列RBM，如圖8所示，其排列方式使得在任何給定的時(shí)間步長(zhǎng)中，RBM的偏差僅取決于前一時(shí)間步長(zhǎng)中RBM的狀態(tài)［44］。TRBM可以看作是RBM的橫向擴(kuò)展，能夠有效處理時(shí)序信息。比如，用于人體運(yùn)動(dòng)數(shù)據(jù)的非線性生成模型，該模型使用具有二進(jìn)制隱藏變量和表示關(guān)節(jié)角度的實(shí)值可見(jiàn)變量。任意一個(gè)時(shí)間步的隱藏變量和可見(jiàn)變量從最后幾個(gè)時(shí)間步的可見(jiàn)變量接收定向連接。這樣的架構(gòu)使在線推理變得高效。訓(xùn)練后，該模型找到一組同時(shí)捕捉幾種不同運(yùn)動(dòng)的參數(shù)，進(jìn)而通過(guò)合成各種運(yùn)動(dòng)序列并在線填充運(yùn)動(dòng)捕捉過(guò)程中丟失的數(shù)據(jù)。

TRBM的概率分布：

P（vT1，hT1）=∏Tt=2P（vt，ht∣ht－1）P0（v1，h1）（21）

式中：t={1，2，…，T}代表不同的時(shí)序時(shí)刻。

循環(huán)TRBM（recurrent TRBM， RTRBM）時(shí)序RBM。TRBM雖然可以很好的處理時(shí)序信息數(shù)據(jù)，但是也存在兩個(gè)主要問(wèn)題： 一是先前RBM的狀態(tài)決定后續(xù)RBM的偏差，這些偏差會(huì)累積甚至?xí)?dǎo)致嚴(yán)重錯(cuò)誤; 二是TRBM獲取精確推斷是非常困難的，因?yàn)榧词褂?jì)算一個(gè)后驗(yàn)變量的吉布斯更新也需要指數(shù)級(jí)計(jì)算的代價(jià)。針對(duì)這兩個(gè)問(wèn)題，Sutskever等人提出RTRBM［45］。RTRBM的訓(xùn)練示意圖如圖9所示。

對(duì)比TRBM，多出一條由先前RBM采樣得到的H′，差別在于當(dāng)使用CD算法時(shí)，TRBM是由輸入數(shù)據(jù)持續(xù)采樣做差更新，而RTRBM在做差時(shí)使用先前的采樣結(jié)果，這樣可以加速采樣。RTRBM大幅度改進(jìn)TRBM的圖像捕捉能力和系列運(yùn)動(dòng)捕捉能力。RTRBM的概率分布如下：

P（vT1，hT1）=∏Tt=2P（vt∣ht－1）P（ht∣vt，ht－1）·

P0（v1）·P0（h1∣v1）（22）

無(wú)限RBM（infinite RBM，IRBM）。RBM作為淺層神經(jīng)網(wǎng)絡(luò)，調(diào)參也一直是提升網(wǎng)絡(luò)性能的重要內(nèi)容。RBM的可見(jiàn)層單元由輸入的數(shù)據(jù)決定，而隱藏層的神經(jīng)元節(jié)點(diǎn)數(shù)量一直是非常關(guān)鍵的超參數(shù)。過(guò)多的節(jié)點(diǎn)會(huì)導(dǎo)致計(jì)算復(fù)雜，然而過(guò)少的節(jié)點(diǎn)又會(huì)導(dǎo)致提取的特征質(zhì)量較差，因此Cote等人提出IRBM［46］。IRBM通過(guò)在能量函數(shù)中添加對(duì)各個(gè)隱層節(jié)點(diǎn)的能量懲罰項(xiàng)，如下所示：

E（x，h）=－∑nj=1xjbj－∑mi=1cihi－∑mi=1∑nj=1wijhixj－βi（23）

式中：βi代表隱層神經(jīng)元的能量懲罰項(xiàng)。隨著訓(xùn)練進(jìn)行，隱層單元數(shù)量能夠自適應(yīng)增加，如圖10所示。IRBM在實(shí)驗(yàn)中取得了比RBM更好的結(jié)果，并且省略隱藏層超參數(shù)的調(diào)節(jié)難度。

判別性IRBM（discriminative IRBM， DIRBM）。IRBM因?yàn)橹荒茏鳛樯尚阅Ｐ停鋺?yīng)用仍是受限的，因此Wang等人［47］提出DIRBM。DIRBM通過(guò)添加額外標(biāo)簽信息的聯(lián)合輸入，使得模型可以自分類。同時(shí)，改變隱層神經(jīng)元節(jié)點(diǎn)的確定方式，由數(shù)據(jù)輸入和標(biāo)簽共同決定，如圖11所示。

DIRBM可以在不設(shè)定隱層超參數(shù)的情況下，使用監(jiān)督學(xué)習(xí)的方法完成分類和生成任務(wù)。DIRBM的自由能量函數(shù)可以表示為

FDI（x，y，z）=-∑nj=1bjxj-∑Kk=1dkyk-βi-∑zi=1ln1+eci+∑nj=1wijxj+∑Kk=1uikyk（24）

式中：dk是標(biāo)簽層的神經(jīng)元偏置;uik為標(biāo)簽層和隱藏層的權(quán)重連接，k={1，2，…，K}表示標(biāo)簽數(shù)量;z代表DIRBM中無(wú)限隱藏層節(jié)點(diǎn)的當(dāng)前個(gè)數(shù)。

去除冗余RBM（removing redundancy RBM，3RBM）

。RBM在處理大型數(shù)據(jù)時(shí)，為了提高特征提取的質(zhì)量，需要提升隱藏層節(jié)點(diǎn)的數(shù)量。但是，模型的冗余和復(fù)雜度也將隨之提升。Yun等人［48］基于此提出3RBM。該模型通過(guò)計(jì)算隱藏層節(jié)點(diǎn)間相似的概率值，去除相似度超過(guò)95%的隱藏層神經(jīng)元節(jié)點(diǎn)，3RBM結(jié)構(gòu)如圖12所示。

具體操作為，對(duì)于輸入的任何一組數(shù)據(jù)，兩個(gè)隱藏節(jié)點(diǎn)的狀態(tài)總是保持同步變化，這表明從這兩個(gè)隱藏節(jié)點(diǎn)中提取的特征是重復(fù)的。該定義可以等效于以下公式：

{hrp=hrq∣1≤r≤l，xr∈S，h∈{0，1}}（25）

式中：hp和hq分別表示隱層的第p個(gè)和第q個(gè)節(jié)點(diǎn)的狀態(tài)；hrp和hrq分別表示第r個(gè)樣本數(shù)據(jù)輸入之后對(duì)應(yīng)的p和q節(jié)點(diǎn)的隱藏層狀態(tài)。

類似的，Lu等人［49］進(jìn)一步改進(jìn)了3RBM，將模型參數(shù)由固定常數(shù)改進(jìn)成具有不確定性的模糊參數(shù)，并提出模糊3RBM（fuzzy 3RBM，F(xiàn)3RBM）。F3RBM進(jìn)一步提升3RBM的特征提取能力，同時(shí)基于去除冗余機(jī)制的RBM變體可以大幅度減少隱藏層節(jié)點(diǎn)，提升神經(jīng)網(wǎng)絡(luò)性能。

圖感應(yīng)RBM（graph induced RBM，giRBM）。不同于上面的變體研究，Nguyen等人［50］將RBM應(yīng)用到數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的核心領(lǐng)域之一文檔建模，即從非結(jié)構(gòu)化文本中發(fā)現(xiàn)知識(shí)。然而，傳統(tǒng)的RBM是基于單詞袋的輸入，忽略了單詞之間固有的潛在關(guān)系結(jié)構(gòu)，導(dǎo)致單詞主題分組不連貫。因此，在引入基于圖的正則化方案后，giRBM被提出，如圖13所示，虛線顯示單詞感應(yīng)所引起的連接。giRBM可以通過(guò)先驗(yàn)詞圖將特定領(lǐng)域的知識(shí)編碼入模型中，圖編碼主要包括了3種數(shù)據(jù)關(guān)系即成對(duì)相關(guān)、成對(duì)平滑以及成組平滑。實(shí)驗(yàn)結(jié)果表明，giRBM可以提高一致性輸入概率，提供內(nèi)在維度的估計(jì)方法，減少過(guò)度擬合，在文檔建模領(lǐng)域獲取了更好的分類精度。

后驗(yàn)一致性RBM（RBM with posterior consistency，PCRBM）。多視圖數(shù)據(jù)在現(xiàn)實(shí)生活中較為常見(jiàn)，接下來(lái)介紹3種可以進(jìn)行多視圖學(xué)習(xí)的RBM變體。首先，對(duì)于圖像和視頻，顏色信息和紋理信息是兩種不同的特征，其特性都很重要，可以被視為兩個(gè)視圖數(shù)據(jù)。然而，僅進(jìn)行單視圖學(xué)習(xí)的模型很難全面描述示例的信息，因此Zhang等人［51］提出PCRBM。具體的，PCRBM針對(duì)各個(gè)視圖搭建RBM模型，并在訓(xùn)練時(shí)確保隱藏層特征的一致性，如圖14所示。PCRBM中可見(jiàn)單元或隱藏單元的條件概率與一般RBM相似。PCRBM利用隨機(jī)逼近方法通過(guò)最大化每個(gè)視角上的對(duì)數(shù)似然函數(shù)以及隱藏表示之間的一致性來(lái)更新網(wǎng)絡(luò)權(quán)重，具體可以通過(guò)負(fù)歐幾里得距離來(lái)描述兩個(gè)分布之間的一致性。

后驗(yàn)一致性和領(lǐng)域適應(yīng)（RBM with posterior consistency and domain adaptive， PDRBM）。PCRBM雖然可以處理多視圖學(xué)習(xí)問(wèn)題，但是由于各個(gè)RBM只使用了視圖間的一致性信息，這導(dǎo)致各個(gè)視圖獨(dú)特性信息的缺失，進(jìn)而影響分類效果。Zhang等人［52］隨之提出可以學(xué)習(xí)多視圖獨(dú)立信息的PDRBM。與PCRBM不同的是，PDRBM將各個(gè)視圖的RBM隱藏層分為兩個(gè)部分，如圖15所示，額外包括了視圖的唯一信息。因此，其訓(xùn)練目標(biāo)包括3個(gè)部分，除和PCRBM一樣的最大化模型似然函數(shù)和不同視圖隱藏層特征間的一致性，還要最小化各個(gè)視圖內(nèi)兩組隱藏層的特征一致性。與PCRBM一樣，PDRBM也可以處理多視圖數(shù)據(jù)，并且實(shí)驗(yàn)證明，PDRBM的特征提取和分類性能優(yōu)異。

多視圖RBM（multiview graph RBM， mgRBM）。PCRBM和PDRBM在計(jì)算模型隱藏層狀態(tài)時(shí)，需要交替采樣整個(gè)訓(xùn)練數(shù)據(jù)，這將導(dǎo)致計(jì)算復(fù)雜度較高。為克服這一問(wèn)題，Zhang等人［53］提出mgRBM，其相對(duì)于PDRBM多了一層輸入代表數(shù)據(jù)的臨域信息，如圖16所示。并且，mgRBM將臨域信息視為固定值，將小批量學(xué)習(xí)的時(shí)間復(fù)雜度降低，不需要重復(fù)迭代，因此mgRBM可以較PCRBM和PDRBM處理更大規(guī)模的數(shù)據(jù)。實(shí)際計(jì)算時(shí)，在訓(xùn)練開(kāi)始時(shí)mgRBM其臨域信息矩陣是由測(cè)試實(shí)例計(jì)算得出的，訓(xùn)練數(shù)據(jù)與鄰域信息一同輸入模型，目標(biāo)函數(shù)與PDRBM一致。結(jié)果展示出mgRBM可以保留多視圖分類的數(shù)據(jù)流形結(jié)構(gòu)并且同時(shí)執(zhí)行視圖一致表示學(xué)習(xí)和視圖特定表示學(xué)習(xí)，優(yōu)于其他多視圖分類模型。

基于能量刪點(diǎn)RBM（energy-based dropout RBM， E-RBM）。傳統(tǒng)的DrRBM和DcRBM使用隨機(jī)刪除節(jié)點(diǎn)和邊的方法預(yù)防了RBM訓(xùn)練的過(guò)擬合問(wèn)題，然而這種正則化方法僅依靠概率值進(jìn)行隨機(jī)丟棄，需要謹(jǐn)慎的選擇概率值，同時(shí)因?yàn)殛P(guān)閉神經(jīng)元節(jié)點(diǎn)的可能性很高會(huì)對(duì)學(xué)習(xí)產(chǎn)生負(fù)面影響，因此Roder等人［54］提出E-RBM，如圖17所示。E-RBM設(shè)計(jì)了一套基于模型能量計(jì)算隱藏層神經(jīng)元重要性級(jí)別的公式，以模型本身寶貴的能量信息刪除神經(jīng)元節(jié)點(diǎn)的選擇。

序列分類RBM（sequence classification RBM， SCRBM）。TRBM和RTRBM不能很好地處理序列數(shù)據(jù)的分類。針對(duì)此，Tran等人［55］提出SCRBM。SCRBM是通過(guò)隨時(shí)間滾動(dòng)帶有類標(biāo)簽的RBM來(lái)構(gòu)建的，該模型定義了一個(gè)概率分布：

P（y1：T，x1：T，h1：T）=∏Tt=1p（yt，xt，ht∣ht－1）（26）

式中：x1：T和h1：T分別是可見(jiàn)和隱藏狀態(tài)的時(shí)間序列;y1：T是時(shí)間序列數(shù)據(jù)的標(biāo)簽。

SCRBM在執(zhí)行序列分類時(shí)優(yōu)化的是條件概率分布，而不是聯(lián)合概率分布，解決了RTRBM的梯度計(jì)算復(fù)雜度高問(wèn)題，其結(jié)構(gòu)如圖18所示。值得注意的是，RTRBM的結(jié)構(gòu)可以看作是RBM的時(shí)序版本疊加。類似的，SCRBM可以看作是分類RBM的時(shí)序版本疊加。同時(shí)，通過(guò)信息處理門(mén)技術(shù)的添加，SCRBM的性能進(jìn)一步提升，并且擁有相對(duì)其他具有內(nèi)存門(mén)的遞歸網(wǎng)絡(luò)更少的參數(shù)。

復(fù)值RBM（complex value RBM， CVRBM）。Nakashika等人［56］提出一種復(fù)值CVRBM，CVRBM的能量函數(shù)可以寫(xiě)作：

E（x，h;θ）=12x

x-HΦ－1x

x-－

b

bHΦ－1x

x-－

2ch－

x

x-HΦ－1W

W-h（27）

式中：（·）-和（·）H分別表示復(fù)共軛和埃爾米特轉(zhuǎn)置;Φ代表擴(kuò)展協(xié)方差矩陣;c表示隱藏層的偏置參數(shù)。CVRBM與傳統(tǒng)的RBM區(qū)別在于其由實(shí)數(shù)部和虛數(shù)部?jī)刹糠纸M成，同時(shí)可見(jiàn)層單元的實(shí)部和虛部之間具有鏈接。CVRBM可以直接編碼語(yǔ)音信號(hào)的復(fù)譜，而無(wú)需從復(fù)值數(shù)據(jù)中解耦虛數(shù)或相位。

在現(xiàn)實(shí)生活中，會(huì)經(jīng)常使用復(fù)數(shù)值數(shù)據(jù)，例如語(yǔ)音的復(fù)數(shù)頻譜、無(wú)線信號(hào)和聲學(xué)強(qiáng)度等，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)無(wú)法處理此類數(shù)據(jù)。CVRBM則可以很好地分析此類數(shù)據(jù)，其結(jié)構(gòu)如圖19所示。

如表3所示，基于模型結(jié)構(gòu)改進(jìn)的RBM大致可以分為3大方向，增節(jié)點(diǎn)、減節(jié)點(diǎn)和結(jié)構(gòu)擴(kuò)展。擴(kuò)展類的RBM變體

可以更好地適應(yīng)不同實(shí)際問(wèn)題所帶來(lái)的數(shù)據(jù)挑戰(zhàn)。此

外，絕大多數(shù)增加節(jié)點(diǎn)的RBM變體都是聯(lián)合標(biāo)簽信息的學(xué)習(xí)，使得神經(jīng)網(wǎng)絡(luò)從生成模型轉(zhuǎn)變成可以進(jìn)行監(jiān)督學(xué)習(xí)的判別模型。為優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，防止過(guò)擬合等問(wèn)題，各類刪減節(jié)點(diǎn)類的RBM變體成為了研究熱點(diǎn)。

對(duì)于RBM變體的研究促進(jìn)了對(duì)DNN的研究，例如DRBM促進(jìn)判別性神經(jīng)網(wǎng)絡(luò)的發(fā)展;TRBM和RTRBM的提出和改進(jìn)為后續(xù)遞歸神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的提出和改進(jìn)，都有著深遠(yuǎn)的指導(dǎo)意義。再次驗(yàn)證針對(duì)淺層神經(jīng)網(wǎng)絡(luò)的研究，可以更深層次的影響對(duì)DNN的開(kāi)發(fā)和深入。變體RBM針對(duì)時(shí)序數(shù)據(jù)、多視圖數(shù)據(jù)、文本數(shù)據(jù)、復(fù)值數(shù)據(jù)等的深入?yún)⑴c，也為各個(gè)領(lǐng)域關(guān)鍵問(wèn)題的解決，注入了新的解決思想。隨著理論研究的深入，RBM變體模型的開(kāi)發(fā)必將成為DL領(lǐng)域的主流研究。

3.2" 基于模型函數(shù)改進(jìn)的RBM變體

本節(jié)研究的RBM變體在結(jié)構(gòu)上仍然維持雙層全連接網(wǎng)絡(luò)結(jié)構(gòu)，但由于RBM模型函數(shù)發(fā)生了改變，而導(dǎo)致其性能發(fā)生改變。本節(jié)從3個(gè)方面介紹基于模型函數(shù)的RBM變體研究現(xiàn)狀，第一方面是可見(jiàn)層單元概率分布，第二方面是RBM激活函數(shù)，最后一方面是RBM目標(biāo)函數(shù)。

3.2.1" 基于概率分布改進(jìn)的RBM變體

傳統(tǒng)的RBM又稱作伯努利RBM，這是因?yàn)榭梢?jiàn)層和隱藏層的神經(jīng)單元全部是伯努利分布，即0-1分布，這樣的RBM雖然計(jì)算簡(jiǎn)單、運(yùn)算迅速，但是只能處理離散數(shù)據(jù)。以圖片輸入為例，傳統(tǒng)RBM在學(xué)習(xí)時(shí)需要提前將圖片進(jìn)行預(yù)處理，按照像素點(diǎn)進(jìn)行歸一化到0-1范圍，然后才能有效處理，這樣的做法著實(shí)增加了數(shù)據(jù)處理的復(fù)雜度。所以很多學(xué)者提出改進(jìn)建議，即通過(guò)改變RBM可見(jiàn)層的概率分布來(lái)擴(kuò)大RBM變體的使用范圍。

高斯RBM（Gaussian RBM， GRBM）。為建模實(shí)值輸入數(shù)據(jù)，Cho等人［57］提出用具有高斯分布的實(shí)值單元替代二值單元的GRBM。GRBM中可見(jiàn)層單元是具有對(duì)角協(xié)方差的高斯變量，因此其模型能量函數(shù)為

E（x，h）=∑nj=1（xj－bj）22σ2－∑mi=1cihi－∑mi=1∑nj=1wijσhixj（28）

式中：σ是高斯單元方差。在實(shí)際操作中，RBM權(quán)重矩陣用隨機(jī)值初始化，輸入隨機(jī)值取自平均值為零、標(biāo)準(zhǔn)偏差為0.01的高斯分布。GRBM改變了傳統(tǒng)RBM處理實(shí)值數(shù)據(jù)必須要對(duì)數(shù)據(jù)進(jìn)行歸一化處理的問(wèn)題，具有里程碑式意義。

協(xié)方差RBM（covariance RBM， CRBM）。進(jìn)一步的，GRBM不能很好地提取圖像的邊緣特征，因此Ranzato等人［58］提出CRBM。具體的，CRBM可以通過(guò)引入額外因子，將實(shí)值圖像映射到表示圖像正態(tài)協(xié)方差結(jié)構(gòu)局部分解的因子輸出，同時(shí)學(xué)習(xí)這些因素輸出。同時(shí)CRBM采樣以近似對(duì)數(shù)分配函數(shù)的導(dǎo)數(shù)，可以精確地整合隱藏變量并使用混合蒙特卡羅（hybrid Monte Carlo，HMC）法自由取樣。CRBM的能量函數(shù)可表示為

Ec（x，hc）=－12∑nj=1∑mi=1wijhcj（∑Dd=1Cdixi）2－∑mj=1bcjhcj（29）

式中：（·）c表示有別于RBM參數(shù)的協(xié)方差參數(shù);Cdi表示針對(duì)輸入層的額外因子。

均值CRBM（mean CRBM，MCRBM）。2010年，MCRBM被提出［59］，MCRBM較CRBM多了一種類型的隱藏層，CRBM只有一個(gè)用于處理參數(shù)高斯化分布協(xié)方差的隱藏層，MCRBM在此基礎(chǔ)上多了一個(gè)可以用于處理參數(shù)高斯化分布均值的隱藏層。MCRBM是在CRBM的能量函數(shù)的基礎(chǔ)上添加均值能量：

Em（x，hm）=－∑nj=1∑mi=1Wijhmjvi－∑nj=1bmjhmj（30）

式中：（·）m表示有別于RBM參數(shù)的均值參數(shù)。

尖峰平板RBM（spike-and-slab RBM， SSRBM）。2011年，Courville等人［6061］提出著名的SSRBM，SSRBM相對(duì)于MCRBM是具有實(shí)值向量slab和二進(jìn)制變量spike兩種變量。同時(shí)，其與隱藏層中的各個(gè)單元相關(guān)聯(lián)，并且SSRBM可以使用區(qū)塊化的Gibbs采樣算法，因此其相對(duì)MCRBM在對(duì)圖像識(shí)別任務(wù)中更具競(jìng)爭(zhēng)力。

基于點(diǎn)間親和性的GRBM（interpoint-affinity-based GRBM， abGRBM）。為了進(jìn)一步優(yōu)化GRBM，Zhang等人［62］提出abGRBM。不同于前面改進(jìn)，abGRBM通過(guò)原始數(shù)據(jù)的點(diǎn)間親和度信息指導(dǎo)GRBM的訓(xùn)練，同時(shí)使用高斯熱核距離計(jì)算親和度，并由此改進(jìn)能量函數(shù)的正則化項(xiàng)。實(shí)驗(yàn)結(jié)果表明，abGRBM不僅可以利用GRBM對(duì)實(shí)值數(shù)據(jù)的強(qiáng)大潛在表示學(xué)習(xí)能力，還可以將原始數(shù)據(jù)轉(zhuǎn)換為另一個(gè)具有改進(jìn)的可分性的空間。

模糊RBM（fuzzy RBM， FRBM）

。對(duì)于常規(guī)RBM，可見(jiàn)層單元和隱藏單元之間的關(guān)系被限制為常數(shù)，大幅降低模型的代表能力。為了避免這一缺陷并增強(qiáng)DL能力，Chen等人［63］提出FRBM，其控制模型的參數(shù)由具有三角隸屬度的模糊數(shù)代替，F(xiàn)RBM在學(xué)習(xí)數(shù)據(jù)有噪音干擾情況下仍能取得很好的分類結(jié)果，其能量函數(shù)如下所示：

E（x～，h～）=－∑nj=1xjb～j－∑mi=1c～ihi－∑mi=1∑nj=1w～ijhixj（31）

式中：θ～={w～ij，b～j，c～i}代表具有三角隸屬度函數(shù)的模糊參數(shù)。

Hosseini-Pozveh等人［64］在此基礎(chǔ)上提出間隔類型2FRBM（interval type 2 FRBM， IT2FRBM），將間隔2類模糊隸屬度函數(shù)加入到FRBM的訓(xùn)練中，進(jìn)一步提升模型的魯棒性。

連續(xù)RBM（continuous RBM， CRBM）。Harrison等人［65］提出可以直接使用浮點(diǎn)數(shù)進(jìn)行訓(xùn)練連續(xù)CRBM。具體地，在傳統(tǒng)的離散RBM中，自旋指的是二元變量，通常取值為+1或-1，表示不同的狀態(tài)。而在CRBM中，將自旋概念進(jìn)行了擴(kuò)展，允許自旋可以取更廣泛的連續(xù)值，代表系統(tǒng)的狀態(tài)或特征。在連續(xù)RBM中使用連續(xù)值的自旋，可以更靈活地建模數(shù)據(jù)分布，并且更適用于處理連續(xù)值型的數(shù)據(jù)。

校正線性單元改進(jìn)RBM（rectified linear units improve RBM， ReLURBM）。為了增強(qiáng)RBM的隱層表達(dá)能力，Nair等人［66］提出ReLURBM。ReLURBM是將無(wú)限多個(gè)二進(jìn)制單元的權(quán)重和偏差聯(lián)系起來(lái)，然后用帶噪校正線性單元近似這些階梯形單位。實(shí)驗(yàn)表明，它們實(shí)現(xiàn)無(wú)向線性模型的混合，能比二進(jìn)制單位更自然地處理特征檢測(cè)。

上述的這些研究在本質(zhì)上都是通過(guò)改變RBM模型可見(jiàn)層輸入或者隱藏層特征的概率分布，進(jìn)而在一定程度上擴(kuò)大RBM變體的使用范疇。基于概率分布改進(jìn)的RBM變體可以有效的避免數(shù)據(jù)預(yù)處理的難題，但是隨之帶來(lái)的是所選概率分布的特殊性，會(huì)導(dǎo)致其處理不同分布問(wèn)題時(shí)會(huì)受限，這種問(wèn)題在基于可見(jiàn)層的概率分布改變的RBM變體中尤為常見(jiàn)。不可否認(rèn)的是，改變神經(jīng)網(wǎng)絡(luò)的概率分布確實(shí)可以提升模型的性能，并且這種改進(jìn)可以聯(lián)合使用在其他RBM結(jié)構(gòu)變體中，從而進(jìn)一步擴(kuò)寬RBM的應(yīng)用范圍。

3.2.2" 基于激活函數(shù)改進(jìn)的RBM變體

指數(shù)簇RBM（exponential RBM， Exp-RBM）。RBM自身就是典型概率無(wú)向圖模型，又因?yàn)槠涮厥獾娜B接結(jié)構(gòu)，隱藏層節(jié)點(diǎn)的激活狀態(tài)對(duì)于隱藏層其他節(jié)點(diǎn)是條件獨(dú)立的，可見(jiàn)層節(jié)點(diǎn)同樣具備這一特性。因此，不同的激活函數(shù)會(huì)使RBM產(chǎn)生不同的概率分布，Exp-RBM［6768］被提出。此時(shí)，二值化的RBM可以看作是Exp-RBM的激活函數(shù)特例。對(duì)于不同的激活函數(shù)，可以設(shè)計(jì)不同的模型用于神經(jīng)網(wǎng)絡(luò)中訓(xùn)練［69］。表4匯總了Exp-RBM中的不同激活函數(shù)及其對(duì)應(yīng)的高斯近似和條件概率，其中Li2（·）為多重對(duì)數(shù)函數(shù)。

值得注意的是，對(duì)數(shù)底數(shù)的選擇不影響比例關(guān)系，故在概率模型中對(duì)數(shù)運(yùn)算的底數(shù)通常被忽略。

除了表4中的常見(jiàn)激活函數(shù)外，組合型激活函數(shù)可以在RBM中發(fā)揮作用，通過(guò)組合不同的基本激活函數(shù)，可以使RBM具有更豐富的非線性表達(dá)能力。常見(jiàn)的組合型激活函數(shù)有以下幾種類型：混合型激活函數(shù)、分段線性激活函數(shù)、門(mén)控型激活函數(shù)以及自適應(yīng)型激活函數(shù)。

此外，小波族激活函數(shù)也可以使用在RBM模型中。由于其具有多尺度分析和重構(gòu)特性，可以幫助RBM更好地捕獲數(shù)據(jù)的局部特征和全局特征。在處理一些具有時(shí)頻局部特征的信號(hào)類數(shù)據(jù)時(shí)，小波族激活函數(shù)可以提供更好的表征能力，有助于提高RBM對(duì)這類數(shù)據(jù)的建模能力。小波函數(shù)、小波包函數(shù)以及復(fù)小波函數(shù)等均是常見(jiàn)的小波族激活函數(shù)。

值得注意的是，在Exp-RBM中，層內(nèi)無(wú)連接，所以給定與任一節(jié)點(diǎn)連接的所有節(jié)點(diǎn)時(shí)，該節(jié)點(diǎn)與層內(nèi)的其他所有節(jié)點(diǎn)都是條件獨(dú)立的。因此在本質(zhì)上，Exp-RBM是利用不同的激活函數(shù)，得到對(duì)應(yīng)不同的條件高斯分布，可看作是基于概率分布的RBM變體的擴(kuò)展。

不同的是，雖然激活函數(shù)對(duì)應(yīng)的條件高斯分布是可以處理實(shí)值數(shù)據(jù)的，但是其可見(jiàn)層單元的激活是條件獨(dú)立的，因此Exp-RBM也存在無(wú)法表達(dá)可見(jiàn)層節(jié)點(diǎn)之間相關(guān)性的問(wèn)題。而基于概率分布的RBM變體可以解決這類問(wèn)題，并且這些相關(guān)性在實(shí)際場(chǎng)景的解決中非常關(guān)鍵。

3.2.3" 基于目標(biāo)函數(shù)改進(jìn)的RBM變體

傳統(tǒng)RBM的訓(xùn)練目標(biāo)是縮小數(shù)據(jù)分布與模型分布之間的KL散度，然而KL距離作為概率分布之間的距離測(cè)度，存在著一個(gè)顯著的問(wèn)題：散度的不對(duì)稱性。即當(dāng)RBM模型為高密度數(shù)據(jù)區(qū)域賦值低概率密度時(shí)，最小化散度不足以產(chǎn)生足夠的梯度來(lái)修正這個(gè)錯(cuò)誤。為了解決該問(wèn)題，一系列基于目標(biāo)函數(shù)改進(jìn)的RBM變體被提出。

噪聲RBM（noisy RBM， NRBM）。Lu等人［70］發(fā)現(xiàn)傳統(tǒng)的BM和RBM在有噪音擾動(dòng)的情況下會(huì)存在KL發(fā)散損失，因此提出NRBM用以抑制KL發(fā)散。具體的，NRBM利用基于零均值高斯分布時(shí)變?cè)胍魧?duì)RBM的影響，推導(dǎo)出輸入噪音的影響等價(jià)于增加模型的溫度影響。隨后給出補(bǔ)償噪聲修正KL散度的目標(biāo)函數(shù)，并且實(shí)驗(yàn)證明該方法對(duì)于處理非高斯噪聲也是有效的。

玻爾茲曼編碼對(duì)抗機(jī)（Boltzmann encoded adversarial machine， BEAM）。一般的，數(shù)據(jù)分布和模型分布之間的KL距離被定義為正向KL距離。為了生成更加精確的圖像特征和邊緣表示，需要分布差異間形成足夠的梯度。因此，F(xiàn)isher等人［71］把模型分布和數(shù)據(jù)分布間的距離定義成逆向KL散度，提出BEAM。BEAM通過(guò)最小化正向和逆向的KL散度，提升RBM的圖像生成和特征提取能力。

瓦瑟斯坦RBM（wasserstein RBM，WRBM）。BEAM在最小化逆向KL散度時(shí)，會(huì)導(dǎo)致模態(tài)塌陷等問(wèn)題，即模型分布容易陷入數(shù)據(jù)分布的固定模態(tài)中，不能遍歷數(shù)據(jù)分布的所有模態(tài)。針對(duì)該問(wèn)題，Montavon等人［72］提出WRBM。WRBM將瓦瑟斯坦距離引入神經(jīng)網(wǎng)絡(luò)，同時(shí)構(gòu)造基于該距離測(cè)度的目標(biāo)函數(shù)。該模型通過(guò)最小化數(shù)據(jù)和模型分布間的瓦瑟斯坦距離完成WRBM的參數(shù)更新。

自動(dòng)微分變分推理RBM（automatic differentiation variational inference RBM， ADVI-RBM）。變分推理是馬爾可夫模型無(wú)法有效計(jì)算情況下的一種替代方法?；谀繕?biāo)函數(shù)的改進(jìn)，Demertizs等人［73］提出ADVI-RBM。具體地，ADVI-RBM需要縮小的是變分密度和數(shù)據(jù)分布之間的KL距離，然而直接計(jì)算KL偏差是很困難的，所以需要通過(guò)自動(dòng)微分推理最大化計(jì)算證據(jù)下限。實(shí)驗(yàn)結(jié)果表明，ADVI-RBM使用變分分布作為多個(gè)變量的正態(tài)分布，可以以承受的計(jì)算成本關(guān)聯(lián)參數(shù)以解決動(dòng)態(tài)問(wèn)題，對(duì)于工業(yè)基礎(chǔ)設(shè)施的實(shí)時(shí)異常檢測(cè)非常有效。

總體上，基于目標(biāo)函數(shù)改進(jìn)的RBM變體為廣大學(xué)者提供了一種全新的變體研究角度。但是目前這類變體存在兩個(gè)主要問(wèn)題，一是改進(jìn)目標(biāo)函數(shù)的策略往往會(huì)帶來(lái)較高的模型復(fù)雜度看，隨之帶來(lái)較高的計(jì)算復(fù)雜度和更長(zhǎng)的訓(xùn)練時(shí)長(zhǎng);二是一些針對(duì)RBM目標(biāo)函數(shù)的改進(jìn)在合理性方面有待進(jìn)一步完善和提高。

4nbsp; RBM融合研究

RBM的融合研究分為兩大部分以及4個(gè)具體方向，第一部分是RBM及其部分變體作為典型的淺層神經(jīng)網(wǎng)絡(luò)，可以通過(guò)網(wǎng)絡(luò)層數(shù)的加深獲得表現(xiàn)優(yōu)異的DNN模型，是第一個(gè)改進(jìn)方向。第二部分是RBM及其變體可以融合其他深度模型組建深層網(wǎng)絡(luò)，這里具體可以細(xì)分為3個(gè)方向，分別可以與生成模型、判別模型以及混合模型的融合。本節(jié)重點(diǎn)綜述基于RBM的深度模型和混合模型，為進(jìn)一步研究RBM網(wǎng)絡(luò)的擴(kuò)展和融合厘清了研究脈絡(luò)。

4.1" 深層RBM改進(jìn)

RBM作為一個(gè)典型的生成型神經(jīng)網(wǎng)絡(luò)，可以作為基石堆棧出深度的神經(jīng)網(wǎng)絡(luò)如DBN［2］和DBM［4］。雖然兩者的基本單元都是RBM，DBN是一種深度的有向概率圖模型，而DBM則是徹底的概率無(wú)向圖模型，如圖20所示。相同的是，兩個(gè)深度模型在訓(xùn)練時(shí)都可以使用逐層貪婪的方式進(jìn)行預(yù)訓(xùn)練，并給出權(quán)重和偏置參數(shù)的合理初值［74］。不同的是，DBN是有向概率圖模型，參數(shù)更新與正向或反向息息相關(guān)。DBM是無(wú)向圖，其隱藏層的更新不像DBN只有上層決定，而是有隱藏層所連接的上下兩層決定［7576］。這兩種模型都具備強(qiáng)大的生成能力，尤其是圖像重構(gòu)能力。同時(shí)，這兩種模型都可以實(shí)現(xiàn)分類判別任務(wù)。

DBN和DBM等DNN表現(xiàn)出比RBM更好的網(wǎng)絡(luò)性能和模型擬合能力。因此，越來(lái)越多基于RBM的深層改進(jìn)模型被提出，主要可以歸納為兩個(gè)方向，第一個(gè)方向是改進(jìn)深層網(wǎng)絡(luò)的訓(xùn)練算法，使網(wǎng)絡(luò)模型能夠更好地學(xué)習(xí)海量無(wú)標(biāo)簽數(shù)據(jù)，產(chǎn)生更好的生成模型。第二個(gè)方向是，通過(guò)改變網(wǎng)絡(luò)結(jié)構(gòu)或模型函數(shù)，優(yōu)化能量函數(shù)以適應(yīng)不同的實(shí)際場(chǎng)景。

Goodfellow等人［77］提出一種可以用于多重預(yù)測(cè)的DBM（multi-prediction DBM， MP-DBM）?，F(xiàn)有DBM的訓(xùn)練方法需要一個(gè)初始學(xué)習(xí)過(guò)程，或需要逐層的貪婪學(xué)習(xí)，而MP-DBM可以克服這一問(wèn)題。MP-DBM首先作為一個(gè)單一的概率模型，通過(guò)訓(xùn)練為最大化廣義偽似然的變分近似完成模型訓(xùn)練。同時(shí)，MP-DBM利用共享參數(shù)并解決不同推理近似問(wèn)題，完成多重預(yù)測(cè)，模型平均預(yù)測(cè)準(zhǔn)確率遠(yuǎn)優(yōu)于傳統(tǒng)DBM。

傳統(tǒng)DBN其控制模型的參數(shù)均為常數(shù)，這很大程度限制DBN的性能。模糊理論已經(jīng)在DL領(lǐng)域被廣泛應(yīng)用且被實(shí)驗(yàn)證明是高效的，F(xiàn)RBM通過(guò)將傳統(tǒng)的RBM的參數(shù)模糊化，取得比RBM更好的表現(xiàn)。Shuang等人［78］利用這個(gè)思想，使用具有模糊隸屬度的模糊參數(shù)代替DBN中的常數(shù)參數(shù)，提出模糊DBN（fuzzy DBN， FDBN）。FDBN顯示出比具有雙倍數(shù)量隱藏層單元的DBN更小的平均重構(gòu)誤差，以及優(yōu)異的重構(gòu)圖像能力。

DBN在使用反向傳播算法進(jìn)行微調(diào)時(shí)，常陷入局部最優(yōu)導(dǎo)致性能較差。Wang等人［79］提出以自適應(yīng)學(xué)習(xí)步長(zhǎng)以加速RBM訓(xùn)練過(guò)程，并在該過(guò)程中引入兩個(gè)正則化項(xiàng)以實(shí)現(xiàn)稀疏表示;同時(shí)，還提出從輸出層到輸入層的逐層偏最小二乘化建模，進(jìn)一步優(yōu)化從自適應(yīng)稀疏RBM導(dǎo)出的初始權(quán)重。新模型在時(shí)間序列預(yù)測(cè)、二維函數(shù)逼近和未知系統(tǒng)識(shí)別領(lǐng)域都取得比DBN更高的學(xué)習(xí)精度和更快的學(xué)習(xí)速度。

Vera等人［80］則重點(diǎn)分析DBN中輸入輸出的互信息與模型中常使用的正則化的關(guān)系，證明使用經(jīng)典正則化手段會(huì)導(dǎo)致DBN層中的互信息減少。以DBN中的權(quán)重衰減和隨機(jī)刪除這兩種方法為例，這些方法會(huì)減少泛化差距但是限制矩陣范數(shù)和模型層中互信息。Vera通過(guò)指導(dǎo)理想正則化方法，為進(jìn)一步訓(xùn)練DBN提供理論分析和互信息評(píng)價(jià)指標(biāo)。

理論上，在神經(jīng)網(wǎng)絡(luò)領(lǐng)域，深層網(wǎng)絡(luò)的特征提取和模型擬合能力一定比淺層網(wǎng)絡(luò)強(qiáng)。因此，針對(duì)RBM的深層網(wǎng)絡(luò)研究和改進(jìn)一定是當(dāng)今的重要研究方向。同時(shí)，由于深層網(wǎng)絡(luò)的訓(xùn)練難度高、訓(xùn)練耗時(shí)長(zhǎng)等問(wèn)題，如何高效地利用逐層貪婪訓(xùn)練RBM的方式進(jìn)一步優(yōu)化深層網(wǎng)絡(luò)的訓(xùn)練也將受到更多學(xué)者的關(guān)注。進(jìn)一步地，因?yàn)镽BM變體數(shù)量的不斷增加，RBM的應(yīng)用范圍進(jìn)一步拓寬，RBM變體的深層化研究一定值得關(guān)注和深入。

4.2" 融合RBM改進(jìn)

4.2.1" RBM融合生成模型

RBM作為典型的生成模型，可以通過(guò)學(xué)習(xí)數(shù)據(jù)分布產(chǎn)生重構(gòu)數(shù)據(jù)。以輸入圖像為例，通過(guò)學(xué)習(xí)已有圖像特征，即使在測(cè)試集中存在圖像受損或缺失等情況，也可以通過(guò)重新生成圖像補(bǔ)齊缺失的像素點(diǎn)。從能量模型的角度出發(fā)，RBM是概率無(wú)向圖模型，從能量函數(shù)的角度定義了一系列概率函數(shù)。當(dāng)網(wǎng)絡(luò)產(chǎn)生的分布和數(shù)據(jù)分布相近時(shí)，對(duì)應(yīng)的RBM模型具有較低的能量，反之則較高。因此，RBM模型的訓(xùn)練本質(zhì)上是最大程度模擬數(shù)據(jù)流，使自身的能量較低。因?yàn)镽BM及其變體優(yōu)異的生成特性，常常與其他生成模型融合，以求生成的圖像更加自然、清晰和準(zhǔn)確。

Agliari等人［81］提出將RBM與霍普菲爾德網(wǎng)絡(luò)（Hopefield network， HN）結(jié)合，組成全新的用于檢索任務(wù)的深度網(wǎng)絡(luò)霍普菲爾德RBM（Hopefield RBM， HBM）。在傳統(tǒng)RBM的基礎(chǔ)上額外插入一層二元神經(jīng)元組成的輸出層，滿足Hopefield網(wǎng)絡(luò)模型更新規(guī)則，豐富RBM的架構(gòu)。HBM的優(yōu)點(diǎn)在于所有神經(jīng)元都可以自由進(jìn)化，并且在輸入神經(jīng)元受到鉗制的情況下，HBM等價(jià)于同神經(jīng)元數(shù)量的HN。Leonelli等人［82］也提出類似的融合模型，旨在將HN可用的統(tǒng)計(jì)力學(xué)背景轉(zhuǎn)化為RBM的學(xué)習(xí)和檢索性能。

Feng等人［83］提出將FRBM與DBN結(jié)合，組建FDBN。FDBN的訓(xùn)練分為兩個(gè)階段，第一階段是逐層貪婪的訓(xùn)練FRBM。與傳統(tǒng)DBN不同的是，F(xiàn)DBN的參數(shù)是具有模糊隸屬度的模糊參數(shù)，所以第一層FRBM訓(xùn)練結(jié)束后，會(huì)選取隱藏層單元產(chǎn)生的左右概率的均值作為后續(xù)貪婪訓(xùn)練的初值。第二階段是通過(guò)隨機(jī)梯度下降算法對(duì)FDBN進(jìn)行微調(diào)。逐層貪婪頂層FRBM的生成性或判別性訓(xùn)練決定了FDBN的模型屬性。FDBN具備處理高維原始圖像的優(yōu)勢(shì)，并且在噪聲干擾情況下表現(xiàn)出比DBN更好的魯棒性。

現(xiàn)代DL的研究均為真實(shí)數(shù)據(jù)全面驅(qū)動(dòng)的，然而很多時(shí)候數(shù)據(jù)并不豐富，在很多領(lǐng)域數(shù)據(jù)稀少且收集成本高昂，如癌癥研究等。針對(duì)這一問(wèn)題，Kang等人［84］提出將條件RBM與DNN結(jié)合，搭建條件DNN（conditional RBM with DNN， CRBM-DNN）。CRBM-DNN的核心是利用相關(guān)領(lǐng)域積累的歷史知識(shí)和專家經(jīng)驗(yàn)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合，解釋該領(lǐng)域的復(fù)雜動(dòng)力學(xué)現(xiàn)象。CRBM中的交互特征編碼可以用領(lǐng)域知識(shí)作為先驗(yàn)知識(shí)，而DNN可以驅(qū)動(dòng)學(xué)習(xí)稀疏高維特征。具體地，CRBM-DNN從領(lǐng)域中積累的知識(shí)提取特征關(guān)系，并將其轉(zhuǎn)化為具有先驗(yàn)的CRBM。同時(shí)，CRBM學(xué)習(xí)產(chǎn)生優(yōu)于領(lǐng)域知識(shí)的特征，通常是非常稀疏且高質(zhì)量的，之后再進(jìn)行DNN的深層網(wǎng)絡(luò)學(xué)習(xí)，可以有效的解決具有挑戰(zhàn)性的稀缺真實(shí)世界數(shù)據(jù)集。

Li等人［85］提出將RBM與典型的遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）相結(jié)合，組成新的遞歸神經(jīng)深度網(wǎng)絡(luò)。具體來(lái)說(shuō)，利用分布式嵌入對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行預(yù)處理，使其更適合于DNN模型。隨后，使用RBM模型來(lái)提取網(wǎng)絡(luò)分組的特征向量，并且使用RNN模型來(lái)提取流特征向量。最后，將流向量發(fā)送到Softmax分類層以獲得檢測(cè)結(jié)果。

Lu等人［86］提出將RBM與極限學(xué)習(xí)機(jī)（extreme learning machine， ELM）結(jié)合，搭建出新的受限玻爾茲曼極限學(xué)習(xí)機(jī)（restricted Boltzmann ELM， RB-ELM）。ELM是一種特殊的隨機(jī)向量函數(shù)鏈接網(wǎng)絡(luò)，具有計(jì)算量小、拓?fù)浣Y(jié)構(gòu)簡(jiǎn)單和單隱藏層結(jié)構(gòu)等優(yōu)點(diǎn)。然而，ELM的性能對(duì)輸入權(quán)重，偏差都很敏感，RB-ELM利用RBM的特征提取優(yōu)勢(shì)，構(gòu)造了一個(gè)特征映射，并遞歸地調(diào)整各神經(jīng)元的權(quán)重傳遞給ELM。RB-ELM具有比ELM在故障檢測(cè)領(lǐng)域更高的準(zhǔn)確性和穩(wěn)定度。

與以往研究不同，針對(duì)傳統(tǒng)電磁層析成像圖像重構(gòu)質(zhì)量低的問(wèn)題，Wu等人［87］提出一種基于RBM的自動(dòng)編碼器神經(jīng)網(wǎng)絡(luò)（autoencoder neural network， ANN）。在該模型中，RBM用于逐層預(yù)訓(xùn)練，以獲得初始權(quán)重和偏移，并通過(guò)反向傳播算法調(diào)整全局權(quán)重和偏移。在經(jīng)過(guò)訓(xùn)練的自動(dòng)編碼器神經(jīng)網(wǎng)絡(luò)中生成的參數(shù)文件用于構(gòu)造解碼器。最后，將電磁層析系統(tǒng)輸出的檢測(cè)電壓值輸入到解碼器網(wǎng)絡(luò)中，以獲得重建圖像。實(shí)驗(yàn)結(jié)果表明，基于RBM的改進(jìn)ANN網(wǎng)絡(luò)生成性和魯棒性優(yōu)異，并且有效解決了專業(yè)領(lǐng)域圖像重構(gòu)問(wèn)題。

如表5所示，RBM融合生成模型組成的混合模型，絕大多數(shù)還是利用RBM優(yōu)異的圖像重構(gòu)性能，因此改進(jìn)后的模型都具備良好的生成性能。同時(shí)，部分網(wǎng)絡(luò)利用監(jiān)督學(xué)習(xí)的方法訓(xùn)練RBM，最終的融合模型也具備之前不具有的判別特性。總的來(lái)說(shuō)，基于RBM融合的生成模型，各項(xiàng)性能都得到了提升，RBM的訓(xùn)練好壞會(huì)直接影響到這些融合模型。

4.2.2" RBM融合判別模型

RBM具備良好的特征提取性能?；赗BM搭建的DBM和DBN得益于網(wǎng)絡(luò)層數(shù)的加深，具有更加強(qiáng)大的數(shù)據(jù)擬合和特征學(xué)習(xí)能力。因此，RBM及變體可以通過(guò)有效地學(xué)習(xí)數(shù)據(jù)特征從而被用于判別任務(wù)，與深度判別模型的融合會(huì)進(jìn)一步提升深度模型的分類性能。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）已經(jīng)成為解決圖像處理難題的標(biāo)準(zhǔn)方法之一，但是大多數(shù)CNN的網(wǎng)絡(luò)層數(shù)較深并且連接復(fù)雜度高。針對(duì)這一問(wèn)題，Sobczak等人［88］提出一種混合RBM新型CNN（hybrid RBM-CNN， HRBM-CNN）。首先，通過(guò)RBM搭建一個(gè)相對(duì)簡(jiǎn)單的預(yù)處理層，該層由兩部分組成。第一部分用于將RGB（red， green， blue）數(shù)據(jù)轉(zhuǎn)化為二進(jìn)制表示。第二部分是將二進(jìn)制數(shù)據(jù)轉(zhuǎn)化為多通道實(shí)值矩陣的神經(jīng)網(wǎng)絡(luò)，并發(fā)揮RBM的優(yōu)勢(shì)完全以無(wú)監(jiān)督的學(xué)習(xí)方式進(jìn)行訓(xùn)練。與最先進(jìn)的CNN模型比較，基于RBM的CNN混合模型可以有效提升網(wǎng)絡(luò)的準(zhǔn)確性，并降低數(shù)據(jù)的處理難度。

同樣的，Han等人［89］提出一種具有新型不規(guī)則模型結(jié)構(gòu)網(wǎng)格卷積RBM（mesh convolutional RBM， MCRBM），并由多個(gè)MCRBM堆疊產(chǎn)生深層的網(wǎng)格卷積DBN（mesh convolutional DBN， MCDBN）。具體的，MCDBN使用了一種新局部結(jié)構(gòu)保持卷積策略，同時(shí)將下層網(wǎng)絡(luò)學(xué)習(xí)得到的幾何結(jié)構(gòu)和局部結(jié)構(gòu)卷積到上層網(wǎng)絡(luò)，能夠高效處理三維形狀分析問(wèn)題。

此外，Karithik等人［90］歸納了NLP中情緒分析研究中的關(guān)鍵問(wèn)題，引入一種以卷積為中心的RBM（centered convolutional RBM， CCRBM），并以此搭建其深度模型。為了克服批量大小設(shè)置和衰變率等問(wèn)題，CCRBM的逐層訓(xùn)練還使用混合原子優(yōu)化搜索算法。實(shí)驗(yàn)證明，CCRBM深度架構(gòu)捕獲了NLP領(lǐng)域中存在的關(guān)鍵特征和復(fù)雜的非線性特征，并隨著計(jì)算時(shí)間的推移提高檢測(cè)精度。然而，基于卷積的計(jì)算框架計(jì)算復(fù)雜度都較高，這無(wú)疑會(huì)給DNN模型的計(jì)算效率帶來(lái)考驗(yàn)。

不同的是，RBM的判別性變體DRBM也可以直接進(jìn)行判別任務(wù)。通過(guò)給DRBM加深層數(shù)也可以得到DNN的判別模型，而無(wú)需結(jié)合CNN等分類網(wǎng)絡(luò)?；诖耍琄anno等人［91］提出基于概率未訓(xùn)練層的多層判別性RBM（multi-layer discriminative RBM，MDRBM）。在MDRBM中的前3層網(wǎng)絡(luò)中，借鑒ELM的思想，組成一個(gè)3層的概率神經(jīng)網(wǎng)絡(luò)，并在最后一層將DRBM推疊在ELM之上，該方案使得DRBM的判別性能大大提升，同時(shí)抑制了由輸入噪音引起的信號(hào)方差的加深。

總結(jié)來(lái)說(shuō)，目前多數(shù)研究都是基于卷積操作的分類模型。此外，融合RBM混合判別模型大多具備良好生成性能。而MDRBM是為數(shù)不多幾個(gè)不借助卷積操作，通過(guò)自身變體加深層數(shù)的融合判別模型，為此領(lǐng)域進(jìn)一步研究提供了方向。然而，由于池化和卷積操作的不可逆性，RBM跟卷積網(wǎng)絡(luò)的融合還存在不足，針對(duì)RBM卷積和多尺度變換有待進(jìn)一步完善和提升。

4.2.3" RBM融合混合模型

除上述的通過(guò)RBM與生成模型和判別模型融合的深層模型外，一些研究者希望從RBM變體本身出發(fā)，而不引入其他模型的方法來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的生成性和判別性。這類混合模型大多基于RBM本身的生成特性，輔助以數(shù)據(jù)標(biāo)簽的聯(lián)合分布，從而使模型在監(jiān)督學(xué)習(xí)的基礎(chǔ)上完成標(biāo)簽分類。

上文介紹的DRBM［41］和DIRBM［47］是典型的混合模型。與此類似，Tulder等人［92］提出基于生成性和判別性的卷積分類RBM（convolutional classification RBM， CCRBM），既充分利用RBM海量無(wú)標(biāo)簽數(shù)據(jù)特征提取的優(yōu)勢(shì)，又利用CRBM優(yōu)異的分類性能。CCRBM被證實(shí)在CT圖像中肺部紋理和氣道檢測(cè)的特征學(xué)習(xí)中非常有效。

同樣的，為了克服傳統(tǒng)判別模型參數(shù)是常數(shù)的限制，Chen等人［93］提出判別性FRBM（discriminative FRBM， DFRBM）。DFRBM的本質(zhì)是在FRBM的輸入單元添加額外的標(biāo)簽神經(jīng)來(lái)實(shí)現(xiàn)生成和判別功能。在圖像識(shí)別和文本識(shí)別的實(shí)驗(yàn)中，DFRBM分類性能優(yōu)異，并且從有噪音干擾的情況下，也能重構(gòu)出原始圖像，保持著良好的生成性。

不同的是，Luo等人［94］提出一種全新的混合RBM（hybrid RBM， HDRBM）。HDRBM是以一種介于生成目標(biāo)和判別目標(biāo)之間的替代方法訓(xùn)練模型，訓(xùn)練前期以最大化生成目標(biāo)來(lái)更新參數(shù)，之后以最大化判別目標(biāo)去修正參數(shù)，并設(shè)置專屬的停止標(biāo)準(zhǔn)。這樣既克服使用生成目標(biāo)函數(shù)預(yù)測(cè)精度不高的問(wèn)題，又能解決使用判別目標(biāo)函數(shù)訓(xùn)練過(guò)程的耗時(shí)難題。

總體來(lái)看，基于RBM混合模型的判別性均為通過(guò)額外添加神經(jīng)元信息，通過(guò)監(jiān)督學(xué)習(xí)的方式實(shí)現(xiàn)。但各個(gè)混合模型的生成性是由RBM及其變體自身決定的，進(jìn)而混合模型的優(yōu)勢(shì)很大程度也是由模型間的生成性差異決定。針對(duì)不同的現(xiàn)實(shí)問(wèn)題，選擇合適的RBM變體，從而在保證模型生成性的基礎(chǔ)上，提升模型對(duì)特定問(wèn)題的判別性能，依然是RBM混合模型的主要研究目標(biāo)。

5" RBM應(yīng)用研究

本節(jié)主要介紹RBM、RBM變體及其深層模型的相關(guān)應(yīng)用，主要包含了工業(yè)應(yīng)用，醫(yī)學(xué)應(yīng)用與其他應(yīng)用。其中，日常生活、目標(biāo)跟蹤、缺陷檢測(cè)、量化投資等領(lǐng)域研究均在其他應(yīng)用中簡(jiǎn)要介紹。

5.1" 工業(yè)應(yīng)用

RBM及其變體有著優(yōu)異的判別能力，在工業(yè)界領(lǐng)域應(yīng)用廣泛，常見(jiàn)于模型預(yù)測(cè)、硬件優(yōu)化、故障檢測(cè)等任務(wù)。以電網(wǎng)為例，電力網(wǎng)絡(luò)理想運(yùn)行和發(fā)展的關(guān)鍵問(wèn)題是預(yù)測(cè)未來(lái)幾年的負(fù)荷增長(zhǎng)和電力需求。文獻(xiàn)［95］使用RBM進(jìn)行建模和能耗預(yù)測(cè)，提高需求分析的準(zhǔn)度。相同的，文獻(xiàn)［96］則首次將DBN用于光伏電力系統(tǒng)的預(yù)測(cè)。與此類似，文獻(xiàn)［97］則使用改進(jìn)的DRBM用于電網(wǎng)的投資預(yù)測(cè)，提升電網(wǎng)企業(yè)投資預(yù)測(cè)計(jì)算的效率。

此外，在硬件優(yōu)化方面，文獻(xiàn)［98］介紹如何用全硅集成的RBM組建晶體管和神經(jīng)元電子產(chǎn)品，實(shí)現(xiàn)了全新的互補(bǔ)金屬氧化物半導(dǎo)體技術(shù)。類似的，文獻(xiàn)［99］利用基于現(xiàn)場(chǎng)可編程門(mén)列陣的RBM，完成硬件的高速推理和加速。為了克服藍(lán)牙在室內(nèi)定位的高耗能問(wèn)題，文獻(xiàn)［100］介紹了一種提取波動(dòng)聲音的GRBM，能夠低成本且高效的實(shí)現(xiàn)室內(nèi)定位。RBM同時(shí)還在硬件技術(shù)優(yōu)化［101］、交通事故預(yù)測(cè)［102］以及情緒檢測(cè)［103］中頻頻被使用和改進(jìn)，因此基于RBM的改進(jìn)算法和模型對(duì)工業(yè)領(lǐng)域的現(xiàn)實(shí)落地至關(guān)重要。

5.2" 醫(yī)學(xué)應(yīng)用

RBM長(zhǎng)期以來(lái)在醫(yī)療領(lǐng)域中被廣泛使用。以疾病檢測(cè)為例，文獻(xiàn)［104］使用深層RBM進(jìn)行細(xì)胞肺癌的預(yù)測(cè)，文獻(xiàn)［105］則提出增強(qiáng)RBM用于肺炎檢測(cè)，文獻(xiàn)［106］首次使用RBM對(duì)藥物的副作用進(jìn)行預(yù)測(cè)。同時(shí)，RBM在醫(yī)學(xué)圖像處理［107109］，面部表情識(shí)別［110］等方向也深有建樹(shù)。更深層次的，RBM被使用在人類基因的相關(guān)研究中，如基于DRBM的蛋白質(zhì)缺失基因的注釋和預(yù)測(cè)［111］，使用RBM對(duì)影響結(jié)直腸癌的基因的相互作用分析［112］等。總之，RBM在醫(yī)學(xué)領(lǐng)域有著大量應(yīng)用，并且這些改進(jìn)與生活密切相關(guān)，搭建更好的RBM深層模型對(duì)醫(yī)療診斷都有著非常深遠(yuǎn)的意義。

5.3" 其他應(yīng)用

RBM除了在工業(yè)界和醫(yī)學(xué)界的廣泛應(yīng)用外，其變體和深度模型在日常生活中也有不斷擴(kuò)展和衍生。文獻(xiàn)［113］和文獻(xiàn)［114］研究RBM在提升推薦系統(tǒng)效能中的作用。在自動(dòng)駕駛領(lǐng)域，改進(jìn)的RBM能提高事故預(yù)測(cè)的準(zhǔn)確率［115］。文獻(xiàn)［116］介紹了全新的RBM進(jìn)一步用于虛假信息的自動(dòng)檢測(cè)。在腦機(jī)接口和腦神經(jīng)領(lǐng)域，基于時(shí)空數(shù)據(jù)的新型DRBM可以有效地分析大腦皮層分布和信號(hào)變化［117］。

在目標(biāo)跟蹤領(lǐng)域，RBM及其變體可以通過(guò)學(xué)習(xí)目標(biāo)的特征和運(yùn)動(dòng)模式，幫助識(shí)別視頻序列中的目標(biāo)，并進(jìn)行跟蹤。通過(guò)提取目標(biāo)的特征，RBM能夠幫助系統(tǒng)更好地理解目標(biāo)的運(yùn)動(dòng)軌跡，從而實(shí)現(xiàn)精準(zhǔn)的目標(biāo)跟蹤［118119］。

在缺陷檢測(cè)領(lǐng)域，RBM及其變體可以用于圖像處理和模式識(shí)別，幫助檢測(cè)產(chǎn)品表面或生產(chǎn)過(guò)程中的缺陷［120］。通過(guò)學(xué)習(xí)正常產(chǎn)品的特征分布，RBM能夠發(fā)現(xiàn)異常模式，從而識(shí)別出潛在的缺陷，有助于提高產(chǎn)品質(zhì)量和生產(chǎn)效率［121122］。

在量化投資領(lǐng)域，RBM及其變體可以用于學(xué)習(xí)金融時(shí)間序列數(shù)據(jù)中的特征，并發(fā)現(xiàn)隱藏的數(shù)據(jù)模式和規(guī)律［123］。通過(guò)對(duì)市場(chǎng)數(shù)據(jù)的學(xué)習(xí)和分析，RBM可以幫助量化交易系統(tǒng)進(jìn)行預(yù)測(cè)、決策和風(fēng)險(xiǎn)管理，提高投資組合的收益和穩(wěn)定性［124］。

因此，RBM及其變體不僅適用于圖像識(shí)別等機(jī)器學(xué)習(xí)任務(wù)，同時(shí)還可以使用在日常生活中的方方面面，為這些領(lǐng)域的研究提供了新的解決方案。

6" 現(xiàn)存挑戰(zhàn)與未來(lái)展望

6.1" 現(xiàn)存挑戰(zhàn)

RBM及其變體作為目前重要的數(shù)據(jù)重構(gòu)和分析工具，有著極其廣泛的應(yīng)用。本文圍繞RBM算法、RBM變體、RBM融合和RBM應(yīng)用4個(gè)角度進(jìn)行了全方位的梳理和總結(jié)。雖然RBM及其變體模型有著巨大的潛力，但是也存在著一些問(wèn)題和挑戰(zhàn)。

（1） RBM算法的效率。RBM模型的精確計(jì)算涉及到的計(jì)算復(fù)雜度是層間神經(jīng)元之和的指數(shù)次冪級(jí)，因此需要近似算法進(jìn)行求解。然而，在配分函數(shù)的處理方面，使用變分法、退火法等去近似對(duì)應(yīng)梯度，效果非常有限。使用采樣的方式進(jìn)行近似，需要足夠的采樣步數(shù)和耗時(shí)才能保證是無(wú)偏估計(jì)。因此，限制RBM訓(xùn)練算法的關(guān)鍵，是訓(xùn)練精度和訓(xùn)練時(shí)長(zhǎng)的權(quán)衡比較，RBM訓(xùn)練算法的效率一直面臨著挑戰(zhàn)。

（2） RBM變體的泛化性。針對(duì)不同的實(shí)際問(wèn)題，RBM變體進(jìn)行不同的模型結(jié)構(gòu)和函數(shù)改進(jìn)以適應(yīng)不同的需求。然而，這些改進(jìn)通常會(huì)削弱網(wǎng)絡(luò)的泛化能力，使得RBM變體逐漸成為解決某類特定問(wèn)題的“過(guò)擬合”產(chǎn)物，即在解決其他問(wèn)題時(shí)往往表現(xiàn)很差。一個(gè)好的DL模型應(yīng)該具備較好的泛化能力，而不是僅能解決一類問(wèn)題。因此，作為RBM研究的重要組成部分，RBM變體面臨著泛化性能差的窘境。

（3） RBM融合的不確定性。RBM作為能量模型，其構(gòu)造過(guò)程有著嚴(yán)格的理論支撐和數(shù)學(xué)推導(dǎo)。然而，由于實(shí)際計(jì)算的復(fù)雜度，常使用近似算法進(jìn)行簡(jiǎn)化和擬合，這很大程度造成了模型的偏差，并且這些偏差隨著RBM與其他模型的融合以及網(wǎng)絡(luò)層數(shù)的加深，愈加增大并難以分析，嚴(yán)重限制模型的進(jìn)一步發(fā)展。所以，如何刻畫(huà)簡(jiǎn)化算法與融合模型性能的關(guān)系是影響深度RBM模型的重要挑戰(zhàn)。

（4） RBM應(yīng)用的智能性。RBM作為生成模型性能優(yōu)異，在圖像重構(gòu)、圖像修復(fù)、圖像生成等眾多領(lǐng)域表現(xiàn)突出。然而，生成模型的應(yīng)用范疇相對(duì)較小，RBM的相關(guān)前沿應(yīng)用也相對(duì)集中在工業(yè)和醫(yī)學(xué)等DL常用領(lǐng)域。如何將RBM與生活的相關(guān)領(lǐng)域緊密結(jié)合和快速融入，是當(dāng)前發(fā)展RBM模型應(yīng)用的關(guān)鍵，如智慧城市、智能飲食、智能家居等。因此，RBM的相關(guān)應(yīng)用領(lǐng)域拓展始終面臨著嚴(yán)峻的考驗(yàn)。

6.2" 未來(lái)展望

針對(duì)第6.1節(jié)中相關(guān)挑戰(zhàn)，本文仍從RBM算法、RBM變體、RBM融合和RBM應(yīng)用4個(gè)方向給出可能的突破口，旨在為研究DL及RBM方向的學(xué)者提供一些研究思想。同時(shí)，展望了該領(lǐng)域未來(lái)的研究方向。

（1） RBM算法的深化。RBM的顯式目標(biāo)函數(shù)和能量函數(shù)可以給模型帶來(lái)直觀的推理過(guò)程，但是從顯式函數(shù)中計(jì)算目標(biāo)梯度，需要推導(dǎo)求解對(duì)應(yīng)顯示概率，過(guò)程相當(dāng)繁瑣。而RBM的隱式目標(biāo)函數(shù)不存在這樣的問(wèn)題，需要解決的是如何從隱式函數(shù)中獲取模型分布。因此，如何拓展RBM的能量函數(shù)并實(shí)現(xiàn)有效采樣是今后研究的重點(diǎn)。

（2） RBM變體的搭建。隨著DL任務(wù)難度的提升，RBM變體的規(guī)模也在不斷擴(kuò)大。近些年，研究RBM變體的成果已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)其算法研究。對(duì)于DL的新興研究方向，相關(guān)RBM變體研究較少。因此，設(shè)計(jì)更有普適性能且計(jì)算簡(jiǎn)潔的RBM變體仍是現(xiàn)階段的研究熱點(diǎn)。除此之外，RBM變體的優(yōu)勢(shì)不盡相同，如何正確地融合兩種不同類型的RBM變體有待深入研究。

（3） RBM融合的擴(kuò)展。目前，處于熱點(diǎn)的生成模型有變分自編碼器（variational autoencoder， VAE）和對(duì)抗生成網(wǎng)絡(luò)（generative adversarial network， GAN），雖然RBM可以和VAE和GAN融合，但是RBM自身在擴(kuò)展深度的過(guò)程中訓(xùn)練效率低，復(fù)雜度高。同時(shí)，RBM與判別模型CNN結(jié)合時(shí)也能取得不錯(cuò)的效果。但是隨著層數(shù)的加深，作為預(yù)訓(xùn)練工具的RBM非常耗時(shí)且不能保證預(yù)訓(xùn)練的特征提取是有利于模型分類任務(wù)的。因此，如何改進(jìn)RBM網(wǎng)絡(luò)，搭建更加有效的深度生成和判別模型一直是研究熱點(diǎn)。

（4） RBM應(yīng)用的發(fā)散。RBM模型的應(yīng)用一般聚焦于單標(biāo)簽單視圖數(shù)據(jù)的分類和預(yù)測(cè)，然而基于能量的模型是可以處理多模態(tài)的數(shù)據(jù)分布，即RBM的應(yīng)用可以擴(kuò)展到多標(biāo)簽數(shù)據(jù)分類的應(yīng)用領(lǐng)域。此外，真實(shí)世界的數(shù)據(jù)往往具有多個(gè)特征視圖，如物體除形狀特征外，還有顏色特征等，RBM也可以在多視圖領(lǐng)域展現(xiàn)作用。同時(shí)，遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、課程學(xué)習(xí)等眾多前沿領(lǐng)域都可以考慮RBM的融合擴(kuò)展，從而使模型有更廣闊的應(yīng)用空間。

7" 結(jié)束語(yǔ)

RBM作為一種結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練方便的概率無(wú)向圖模型，在眾多領(lǐng)域都取得了重大成就，并引領(lǐng)第3次DL浪潮。同時(shí)，RBM作為神經(jīng)網(wǎng)絡(luò)的重要組成部分，其算法和結(jié)構(gòu)的改進(jìn)，對(duì)DNN的搭建和研發(fā)有著巨大意義。因此，本文從RBM的訓(xùn)練算法改進(jìn)、模型結(jié)構(gòu)改進(jìn)、模型深層融合研究和模型相關(guān)最新應(yīng)用等4個(gè)方面進(jìn)行了全面綜述，重點(diǎn)介紹RBM變體模型，彌補(bǔ)了國(guó)內(nèi)外相關(guān)領(lǐng)域的空缺。通過(guò)本文的分類、梳理和總結(jié)，可以發(fā)現(xiàn)RBM的算法和種類非常豐富且發(fā)展迅猛，盡管模型存在一些限制和問(wèn)題，但是隨著神經(jīng)元理論的深入研究和相關(guān)應(yīng)用的進(jìn)一步拓展，RBM及其變體模型必然是未來(lái)DL發(fā)展的重要組成部分。

參考文獻(xiàn)

［1］ GOODFELLOW I， BENGIO Y， COURVILLE A. Deep learning［M］. Massachusetts： Massachusetts Institute of Technology， 2017.

［2］ HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006， 313（5786）： 504507.

［3］ HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets［J］. Neural Computation， 2006， 18（7）： 15271554.

［4］ REICHERT D P， SERIES P， STORKEY A J. Hallucinations in charles bonnet syndrome induced by homeostasis： a deep Boltzmann machine model［C］∥Proc.of the Neural Information Processing Systems Conference， 2010.

［5］ CHO K H， RAIKO T， ILIN A. Gaussian Bernoulli deep Boltzmann machine［C］∥Proc.of the International Joint Conference on Neural Networks， 2013.

［6］ SCHOLKOPF B， PLATT J， HOFMANN T. Greedy layer-wise training of deep networks［C］∥Proc.of the Neural Information Processing Systems Conference， 2007， 19： 153160.

［7］ 胡銘菲， 左信， 劉建偉. 深度生成模型綜述［J］. 自動(dòng)化學(xué)報(bào)， 2022， 48（1）： 4074.

HU M F， ZUO X， LIU J W. Survey on deep generative model［J］. Acta Automatica Sinica， 2022， 48（1）： 4074.

［8］ FISCHER A. Training restricted Boltzmann machines［J］. Kunstliche Intelligenz， 2015， 29（4）： 441444.

［9］ HINTON G E. Training products of experts by minimizing contrastive divergence［J］. Neural Computation， 2002， 14（8）： 17711800.

［10］ TIELEMAN T. Training restricted Boltzmann machines using approximations to the likelihood gradient［C］∥Proc.of the International Conference on Machine Learning， 2008.

［11］ TIELEMAN T， HINTON G E. Using fast weights to improve persistent contrastive divergence［C］∥Proc.of the 26th International Conference on Machine Learning， 2009.

［12］ CHO K H， RAIKO T， ILIN A. Parallel tempering is efficient for learning restricted Boltzmann machines［C］∥Proc.of the International Joint Conference on Neural Networks， 2012.

［13］ DESJARDINS G， COURVILLE A C， BENGIO Y， et al. Tempered Markov chain Monte Carlo for training of restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［14］ DESJARDINS G， COURVILLE A， BENGIO Y， et al. Parallel tempering for training of restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［15］ 李飛， 高曉光， 萬(wàn)開(kāi)方. 基于動(dòng)態(tài)Gibbs采樣的RBM訓(xùn)練算法研究［J］. 自動(dòng)化學(xué)報(bào)， 2016， 42（6）： 931942.

LI F， GAO X G， WAN K F. Research on RBM training algorithm with dynamic Gibbs sampling［J］. Acta Automatica Sinica， 2016， 42（6）： 931942.

［16］ LI X Y， GAO X G， WANG C F. A novel restricted Boltzmann machine training algorithm with dynamic tempering chains［J］." IEEE Access， 2021， 9： 52193921950.

［17］ WANG Q L， GAO X G， WAN K F， et al. A novel restricted Boltzmann machine training algorithm with fast Gibbs sampling policy［J］." Mathematical Problems in Engineering， 2020： 4206457.

［18］ MA X S， WANG X J. Average contrastive divergence for training restricted Boltzmann machines［J］. Entropy， 2016， 18（1）： 1832.

［19］ KRAUSE O， FISCHER A， IGEL C. Population-contrastive-divergence： does consistency help with RBM training？［J］. Pattern Recognition Letters， 2018， 102： 17.

［20］ DU Y L， LI S， TENENBAUM J， et al. Improved contrastive divergence training of energy-based models［C］∥Proc.of the International Conference on Machine Learning， 2021.

［21］ NING L， PITTMAN R， SHEN X P. LCD： a fast contrastive divergence based algorithm for restricted Boltzmann machine［J］. Neural Networks， 2018， 108： 399410.

［22］ ROMERO E， MAZZANTI F， DELGADO J， et al. Weighted contrastive divergence［J］. Neural Networks， 2019， 114： 147156.

［23］ RUIZ F J R， TITSIAS M K. A contrastive divergence for combining variational inference and MCMC［C］∥Proc.of the International Conference on Machine Learning， 2019.

［24］ PEDRONI B U， SHEIK S， CAUWENBERGHS G. Pipelined parallel contrastive divergence for continuous generative model learning［C］∥Proc.of the IEEE International Symposium on Circuits and Systems， 2017： 212215.

［25］ SANJAYA P， KANG D K. Optimizing restricted Boltzmann machine learning by injecting Gaussian noise to likelihood gradient approximation［J］. Applied Intelligence， 2019， 49（7）： 27232734.

［26］ CHO K， RAIKO T， ILIN A. Enhanced gradient for training restricted Boltzmann machines［J］. Neural Computation， 2013， 25（3）： 805831.

［27］ 李飛， 高曉光， 萬(wàn)開(kāi)方. 基于權(quán)值動(dòng)量的RBM加速學(xué)習(xí)算法研究［J］. 自動(dòng)化學(xué)報(bào)， 2017， 43（7）： 11421159.

LI F， GAO X G， WAN K F. Research on RBM accelerating learning algorithm with weight momentum［J］. Acta Automatica Sinica， 2017， 43（7）： 11421159.

［28］ 李飛， 高曉光， 萬(wàn)開(kāi)方. 基于改進(jìn)并行回火算法的RBM網(wǎng)絡(luò)訓(xùn)練研究［J］. 自動(dòng)化學(xué)報(bào)， 2017， 43（5）： 753764.

LI F， GAO X G， WAN K F. Research on RBM networks training based on improved parallel tempering algorithm［J］. Acta Automatica Sinica， 2017， 43（5）： 753764.

［29］ 沈卉卉， 李宏偉. 基于動(dòng)量方法的受限玻爾茲曼機(jī)的一種有效算法［J］. 電子學(xué)報(bào)， 2019， 47（1）： 176182.

SHEN H H， LI H W. An efficient algorithm on restricted Boltzmann machines based on momentum method［J］. Acta Electronica Sinica， 2019， 47（1）： 176182.

［30］ SHEN H H， LI H W. A gradient approximation algorithm based weight momentum for restricted Boltzmann machine［J］. Neurocomputing， 2019， 361： 4049.

［31］ WANG Q L， GAO X G， LI X Y， et al. A precise method for RBMs training using phased curricula［J］. Multimedia Tools and Applications， 2022， 82（6）： 80138047.

［32］ YIN J， MAO Q Y， LIU D Y H， et al. Method to improve the performance of restricted Boltzmann machines［C］∥Proc.of the International Symposium on Neural Networks， 2018： 115123.

［33］ YIN J， LV J C， SANG Y S， et al. Classification model of restricted Boltzmann machine based on reconstruction error［J］. Neural Computing amp; Applications， 2018， 29（11）： 11711186.

［34］ GOLUBEVA A， MELKO R G. Pruning a restricted Boltzmann machine for quantum state reconstruction［J］. Physical Review B， 2022， 105（12）： 125124.

［35］ DIXIT V， SELVARAJAN R， ALAM M A， et al. Training restricted Boltzmann machines with a D-wave quantum annealer［J］. Frontiers in Physics， 2021， 9： 589626.

［36］ RODER M， DE ROSA G H， PAPA J P， et al. Fine-tuning temperatures in restricted Boltzmann machines using meta-heuristic optimization［C］∥Proc.of the IEEE World Congress on Computational Intelligence， 2020.

［37］ TAKAMUNE N， KAMEOKA H. Maximum reconstruction probability training of restricted Boltzmann machines with auxiliary function approach［C］∥Proc.of the IEEE International Workshop on Machine Learning for Signal Processing， 2014.

［38］ LUO L K， WANG Y D， PENG H， et al. Training restricted Boltzmann machine with dynamic learning rate［C］∥Proc.of the International Conference on Computer Science amp; Education， 2016： 103107.

［39］ WELLING M. A new learning algorithm for mean field Boltzmann machines［C］∥Proc.of the International Conference on Artifical Neural Networks， 2002.

［40］ 張健. 基于RBM的深度神經(jīng)網(wǎng)絡(luò)算法研究［D］. 北京： 中國(guó)礦業(yè)大學(xué)， 2020.

ZHANG J. Research on deep neural networks based on RBM［D］. Beijing： China Mining University， 2020.

［41］ LAROCHELLE H， MANDEL M， PASCANU R， et al. Learning algorithms for the classification restricted Boltzmann machine［J］. Journal of Machine Learning Research， 2012， 13（1）： 643669.

［42］ SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. Journal of Machine Learning Research， 2014， 15（1）： 19291958.

［43］ LI W， ZEILER M， ZHANG S， et al. Regularization of neural networks using dropconnect［C］∥Proc.of the International Conference on Machine Learning， 2013： 20952103.

［44］ TAYLOR G W， HINTON G E， ROWEIS S T. Modeling human motion using binary latent variables［C］∥Proc.of the Advances in Neural Information Processing Systems （NIPS）， 2007.

［45］ SUTSKEVER I， HINTON G E， TAYLOR G W. The recurrent temporal restricted Boltzmann machine［C］∥Proc.of the Neural Information Processing Systems Conference， 2008.

［46］ COTE M A， LAROCHELLE H. An infinite restricted Boltzmann machine［J］. Neural Computation， 2016， 28（7）： 12651288.

［47］ WANG Q L， GAO X G， WAN K F， et al. Generative and discriminative infinite restricted Boltzmann machine training［J］. International Journal of Intelligent Systems， 2022， 37（10）： 78577887.

［48］ YUN J， XIAO J Z， XI L， et al. A removing redundancy restricted Boltzmann machine［C］∥Proc.of the 10th International Conference on Advanced Computational Intelligence， 2018.

［49］ LU X Q， MENG L Z， CHEN C， et al. Fuzzy removing redundancy restricted Boltzmann machine： improving learning speed and classification accuracy［J］. IEEE Trans.on Fuzzy Systems， 2020， 28（10）： 24952509.

［50］ NGUYEN T D， TRAN T， PHUNG D， et al. Graph-induced restricted Boltzmann machines for document modeling［J］. Information Sciences， 2016， 328： 6075.

［51］ ZHANG N， DING S F， LIAO H M， et al. Multimodal correlation deep belief networks for multi-view classification［J］. Appllied Intelligence， 2019， 49： 19251936.

［52］ ZHANG N， DING S F， SUN T F， et al. Multi-view RBM with posterior consistency and domain adaptation［J］. Information Sciences： an International Journal， 2019， 516（5786）： 142157.

［53］ ZHANG N， SUN S L. Multiview graph restricted Boltzmann machines［J］. IEEE Trans.on Cybernetics， 2022， 52（11）： 1241412428.

［54］ RODER M， DE-ROSA G H， ALBUQUERQUE V H C， et al. Energy-based dropout in restricted Boltzmann machines： why not go random［J］. IEEE Trans.on Emerging Topics in Computational Intelligence， 2022， 6（2）： 276286.

［55］ TRAN S N， GARCEZ A D， WEYDE T， et al. Sequence classification restricted Boltzmann machines with gated units［J］. IEEE Trans.on Neural Networks and Learning Systems， 2020， 31（11）： 48064815.

［56］ NAKASHIKA T， TAKAKI S， YAMAGISHI J. Complex-valued restricted Boltzmann machine for direct learning of frequency spectra［C］∥Proc.of the 18th Annual Conference of the International Speech Communication Association， 2017.

［57］ CHO K H， ILIN A， RAIKO T. Improved learning of Gaussian-Bernoulli restricted Boltzmann machines［C］∥Proc.of the International Conference on Artificial Neural Networks， 2011： 1017.

［58］ RANZATO M， KRIZHEVSKY A， HINTON G E. Factored 3-way restricted Boltzmann machines for modeling natural images［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2010.

［59］ RANZATO M， HINTON G E. Modeling pixel means and covariances using factorized third-order Boltzmann machines［C］∥Proc.of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2010.

［60］ COURVILLE A， BERGSTRA J， BENGIO Y. A spike and slab restricted Boltzmann machine［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2011.

［61］ COURVILLE A， BERGSTRA J， BENGIO Y. Unsupervised models of images by spike-and-slab RBMs［C］∥Proc.of the International Conference on International Conference on Machine Learning， 2011.

［62］ ZHANG J， WANG H J， CHU J L， et al. Improved Gaussian-Bernoulli restricted Boltzmann machine for learning discriminative representations［J］. Knowledge-Based System， 2019， 185： 104911.

［63］ CHEN C L P， ZHANG C Y， CHEN L， et al. Fuzzy restricted Boltzmann machine for the enhancement of deep learning［J］. IEEE Trans.on Fuzzy Systems， 2015， 23（6）： 21632173.

［64］ HOSSEINI-POZVEH M S， SAFAYANI M， MIRZAEI A. Interval type-2 fuzzy restricted Boltzmann machine［J］. IEEE Trans.on Fuzzy Systems， 2021， 29（5）： 11331144.

［65］ HARRISON R W. Continuous restricted Boltzmann machines［J］. Wireless Networks， 2022， 28（3）： 12631267.

［66］ NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines［C］∥Proc.of the International Conference on International Conference on Machine Learning， 2010.

［67］ RAVANBAKHSH S， POCZOS B， SCHNEIDER J， et al. Stochastic neural networks with monotonic activation functions［EB/OL］. ［20230720］. https：∥arxiv.org/pdf/1601.00034.pdf.

［68］ LI Y F， ZHU X D. Exponential family restricted Boltzmann machines and annealed importance sampling［C］∥Proc.of the International Joint Conference on Neural Networks， 2018： 3948.

［69］ ZHANG J， DING S F， ZHANG N. An overview on probability undirected graphs and their applications in image processing［J］. Neurocomputing， 2018， 321： 156168.

［70］ LU W H， LEUNG C S， SUM J. Analysis on noisy Boltzmann machines and noisy restricted Boltzmann machines［J］. IEEE Access， 2021， 9： 112955112965.

［71］ FISHER C K， SMITH A M， WALSH J R. Boltzmann encoded adversarial machines［EB/OL］. ［20230720］. https：∥arxiv.org/abs/1804.08682.

［72］ MONTAVON G， MUELLER K， CUTURI M. Wasserstein training of restricted Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2016.

［73］ DEMERTZIS K， ILIADIS L， PIMENIDIS E， et al. Variational restricted Boltzmann machines to automated anomaly detection［J］. Neural Computing amp; Applications， 2022. 34（18）： 1520715220.

［74］ SALAKHUTDINOV R， HINTON G. A better way to pretrain deep Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2012.

［75］ SALAKHUTDINOV R， HINTON G E. Deep Boltzmann machines［C］∥Proc.of the International Conference on Artificial Intelligence and Statistics， 2009.

［76］ SALAKHUTDINOV R， HINTON G. An efficient learning procedure for deep Boltzmann machines［J］. Neural Computation， 2012， 24（8）： 19672006.

［77］ GOODFELLOW I J， MIRZA M， COURVILLE A， et al. Multi-prediction deep Boltzmann machines［C］∥Proc.of the Neural Information Processing Systems Conference， 2013.

［78］ SHUANG F， CHEN C L P. Fuzzy restricted Boltzmann machine and deep belief network： a comparison on image reconstruction［C］∥Proc.of the IEEE International Conference on Systems， Man， and Cybernetics， 2017： 18281833.

［79］ WANG G M， QIAO J F， BI J， et al. An adaptive deep belief network with sparse restricted Boltzmann machines［J］. IEEE Trans.on Neural Networks and Learning Systems， 2020， 31（10）： 42174228.

［80］ VERA M， VEGA L R， PIANTANIDA P. Information flow in deep restricted Boltzmann machines： an analysis of mutual information between inputs and outputs［J］. Neurocomputing， 2022， 507： 235246.

［81］ AGLIARI E， SEBASTIANI G. Learning and retrieval operational modes for three-layer restricted Boltzmann machines［J］. Journal of Statistical Physics， 2021， 185（2）： 10.

［82］ LEONELLI F E， AGLIARI E， ALBANESE L， et al. On the effective initialisation for restricted Boltzmann machines via duality with hopfield model［J］. Neural Networks， 2021， 143： 314326.

［83］ FENG S， CHEN C L P， ZHANG C Y. A fuzzy deep model based on fuzzy restricted Boltzmann machines for high-dimensional data classification［J］. IEEE Trans.on Fuzzy Systems， 2020， 28（7）： 13441355.

［84］ KANG T Y， CHEN P， QUACKENBUSH J， et al. A novel deep learning model by stacking conditional restricted Boltzmann machine and deep neural network［C］∥Proc.of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， 2017： 18281833.

［85］ LI C P， WANG J L， YE X Z. Using a recurrent neural network and restricted Boltzmann machines for malicious traffic detection［J］. Neuroquantology， 2018， 16（5）： 823831.

［86］ LU F， WU J D， HUANG J Q， et al. Restricted-Boltzmann-based extreme learning machine for gas path fault diagnosis of turbofan engine［J］. IEEE Trans.on Industrial Informatics， 2020， 16（2）： 959968.

［87］ WU X J， XU M D， LI C D， et al. Research on image reconstruction algorithms based on autoencoder neural network of restricted Boltzmann machine （RBM）［J］. Flow Measurement and Instrumentation， 2021， 80： 102009.

［88］ SOBCZAK S， KAPELA R. Hybrid restricted Boltzmann machine-convolutional neural network model for image recognition［J］. IEEE Access， 2022， 10： 2498524994.

［89］ HAN Z Z， LIU Z B， HAN J W， et al. Mesh convolutional restricted Boltzmann machines for unsupervised learning of features with structure preservation on 3-D meshes［J］. IEEE Trans.on Neural Networks and Learning Systems， 2017， 28（10）： 22682281.

［90］ KARTHIK E， SETHUKARASI T. A centered convolutional restricted Boltzmann machine optimized by hybrid atom search arithmetic optimization algorithm for sentimental analysis［J］. Neural Processing Letters， 2022， 54（5）： 41234151.

［91］ KANNO Y， YASUDA M. Multi-layered discriminative restricted Boltzmann machine with untrained probabilistic layer［C］∥Proc.of the International Conference on Pattern Recognition， 2021： 76557660.

［92］ VAN-TULDER G， DE-BRUIJNE M. Combining generative and discriminative representation learning for lung CT analysis with convolutional restricted Boltzmann machines［J］. IEEE Trans.on Medical Imaging， 2016， 35（5）： 12621272.

［93］ CHEN C L P， FENG S. Generative and discriminative fuzzy restricted Boltzmann machine learning for text and image classification［J］. IEEE Trans.on Cybernetics， 2020， 50（5）： 2237

2248.

［94］ LUO L K， ZHANG S F， WANG Y D， et al. An alternate method between generative objective and discriminative objective in training classification restricted Boltzmann machine［J］. Knowledge Based Systems， 2018， 144： 144152.

［95］ XU A Q， TIAN M W， FIROUZI B， et al. A new deep learning restricted Boltzmann machine for energy consumption forecasting［J］. Sustainability-Basel， 2022， 14（16）： 10081.

［96］ JUSTIN S， SALEH W， AL GHAMDI T， et al. Hyper parameter optimization based deep belief network for clean buses using solar energy model［J］. Intelligent Automation and Soft Computing， 2023， 37（1）： 10911109.

［97］ WANG Q， YANG X L， PU D， et al. Sustainable investment forecasting of power grids based on the deep restricted Boltzmann machine optimized by the lion algorithm［J］. Computer Modeling in Engineering and Sciences， 2022， 130（1）： 269286.

［98］ SHIN U， ISHII M， OKAZAKI A， et al. Pattern training， inference， and regeneration demonstration using on-chip trainable neuromorphic chips for spiking restricted Boltzmann machine［J］. Advance Intelligent Systems， 2022， 4（8）： 2200034.

［99］ PATEL S， CANOZA P， SALAHUDDIN S. Logically synthesized and hardware accelerated restricted Boltzmann machines for combinatorial optimization and integer factorization［J］. Nature Electronics， 2022， 5（2）： 92101.

［100］ YANG X F， WU Z， ZHANG Q M. Bluetooth indoor localization with Gaussian-Bernoulli restricted Boltzmann machine plus liquid state machine［J］. IEEE Trans.on Instrumentation and Measurement， 2022， 71： 1000208.

［101］ YUAN X H， WANG C， LI M Q， et al. Lapping quality prediction of ceramic fiber brush based on Gaussian-restricted Boltzmann machine［J］. Materials， 2022， 15（21）： 7805.

［102］ TRENTIN V， ARTUNEDO A， GODOY J， et al. Multi-modal interaction-aware motion prediction at unsignalized intersections［J］. IEEE Trans.on Intelligent Vehicles， 2023， 8（5）： 33493365.

［103］ ELANGOVAN D， SUBEDHA V. Adaptive particle grey wolf optimizer with deep learning-based sentiment analysis on online product reviews［J］. Engineering Technology amp; Applied Science Research， 2023， 13（3）： 1098910993.

［104］ SUN C X， WANG L H， WANG W， et al. Non-small cell lung cancer staging using deep restricted Boltzmann machine［C］∥Proc.of the IEEE International Conference on Signal Processing， 2018： 11751178.

［105］ WAHID F， AZHAR S， ALI S， et al. Pneumonia detection in chest X-ray images using enhanced restricted Boltzmann machine［J］. Journal of Healthcare Engineering， 2022： 1678000.

［106］ QIAN Y Q， DING Y J， ZOU Q， et al. Identification of drug-side effect association via restricted Boltzmann machines with penalized term［J］. Brief Bioinform， 2022， 23（6）： 458.

［107］ NARAMALA V R， KUMAR B A， RAO V S， et al. Enhancing diabetic retinopathy detection through machine learning with restricted Boltzmann machines［J］. International Journal of Advanced Computer Science and Applications， 2023， 14（9）： 573585.

［108］ ALQAHTANI N， ALAM S， AQEEL I， et al. Deep belief networks （DBN） with IoT-based Alzheimer's disease detection and classification［J］. Applied Sciences-Basel， 2023， 13（3）： 7833.

［109］ LI J J， XU F M， GAO N， et al. Sparse non-convex regularization based explainable DBN in the analysis of brain abnormalities in schizophrenia［J］. Computers in Biology and Medicine， 2023， 155： 106664.

［110］ NAVEEN P. Occlusion-aware facial expression recognition： a deep learning approach［J］. Multimedia Tools and Applications， 2023. DOI： 10. 1007/s11042-023-17013-1

［111］ ZOU X C， WANG G J， YU G X. Protein function prediction using deep restricted Boltzmann machines［J］. Biomed Research International， 2017： 1729301.

［112］ SAHA S， BANDOPADHYAY S， GHOSH A. Identifying the degree of genetic interactions using restricted Boltzmann machine： a study on colorectal cancer［J］. IET Systems Biology， 2021， 15（1）： 2639.

［113］ KUMAR R R S R， APPARAO G， ANURADHA S. Deep scalable and distributed restricted Boltzmann machine for recommendations［J］. International Journal of System Assurance Engineering and Management， 2022. DOI： 10. 1007/s13198-022-01684-4

［114］ JHA G K， GAUR M， RANJAN P， et al. A trustworthy model of recommender system using hyper-tuned restricted Boltzmann machine［J］. Multimedia Tools and Applications， 2022， 82（6）： 82618285.

［115］ ROOHULLAH， WAHID F， ALI S， et al. Accident detection in autonomous vehicles using modified restricted Boltzmann machine［J］. Security and Communication Networks， 2022：

6424835.

［116］ LAKSHMI V M， RADHIKA R， KALPANA G. Radial restricted Boltzmann machines with functional neural network for classification of the fake and real news analysis［J］. International Journal of Uncertainty， Fuzziness and Knowledge-Based Systems， 2022， 30（1）： 3143.

［117］ LI J C， YU Z L， GU Z H， et al. Spatial-temporal discriminative restricted Boltzmann machine for event-related potential detection and analysis［J］. IEEE Trans.on Neural Systems and Rehabilitation Engineering， 2019， 27（2）： 139151.

［118］ TANG Y， XIAO X， YANG X， et al. Research on a small sample feature transfer method for fault diagnosis of reciprocating compressors［J］. Journal of Loss Prevention in the Process Industries， 2023， 85： 105163.

［119］ LI B Q， WU J Y， LI L S， et al. Adaptive assessment of power system transient stability based on active transfer learning［J］. Automation of Electric Power Systems， 2023， 47（4）： 121132.

［120］ LI Y， PENG L H， LI J Q， et al. Fabric defect detection based on deep-belief network［J］. Journal of Textile Research， 2023， 44（2）： 143150.

［121］ WANG D Y， ZHOU L J， YANG Z X， et al. Defects detection of onboard cable termination in EMUs using partial discharge measurement and SDP-DL framework［J］. IEEE Trans.on Transportation Electrification， 2023， 9（2）： 31273136.

［122］ ASLAN N， DOGAN S， KOCA G. Automated classification of brain diseases using the restricted Boltzmann machine and the generative adversarial network［J］. Engineering Applications of Artificial Intelligence， 2023， 126（Part A）： 106794.

［123］ GUO H F. The evaluation of university management performance using the CS-RBM algorithm［J］. PEERJ Computer Science， 2023， 9： e1575.

［124］ ZHANG Y Y. Analysis of benefits and security of China’s foreign investment with artificial intelligence under the belt and road［J］. Applied Artificial Intelligence， 2023， 37（1）： 2219562.

作者簡(jiǎn)介

汪強(qiáng)龍（1995—），男，博士研究生，主要研究方向?yàn)樯疃葘W(xué)習(xí)、受限玻爾茲曼機(jī)。

高曉光（1957—），女，教授，博士，主要研究方向?yàn)樨惾~斯網(wǎng)絡(luò)學(xué)習(xí)、航空火力控制與作戰(zhàn)效能分析。

吳必聰（1995—），女，博士研究生，主要研究方向?yàn)楣ど坦芾?、?shù)字生態(tài)經(jīng)濟(jì)。

胡子劍（1996—），男，博士研究生，主要研究方向?yàn)樯疃葟?qiáng)化學(xué)習(xí)。

萬(wàn)開(kāi)方（1987—），男，副研究員，博士，主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)、航空作戰(zhàn)效能分析。