MD-RBM神經(jīng)網(wǎng)絡(luò)模型及其在材料微結(jié)構(gòu)中聚類研究

儲(chǔ)節(jié)磊 張永盛 杜金樹 馬普歡 呂俊營(yíng) 錢泳霖

1(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院 四川 成都 611756)2(西南交通大學(xué)力學(xué)與工程學(xué)院 四川 成都 611756)

0 引 言

材料的內(nèi)部結(jié)構(gòu)稱之為微結(jié)構(gòu)，材料微結(jié)構(gòu)的特征隱藏著材料的所有物理和化學(xué)性質(zhì)，通常情況下是通過專家人工分類識(shí)別材料微結(jié)構(gòu)，這樣會(huì)增加主觀上的不確定性，因此，用機(jī)器學(xué)習(xí)的方法研究材料微結(jié)構(gòu)識(shí)別具有很高的理論價(jià)值和實(shí)際意義。Azimi等[1]提出了一種全新的全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)，利用深度學(xué)習(xí)的方法解決了高級(jí)鋼微結(jié)構(gòu)的分類問題；Gola等[2]利用支持向量機(jī)(SVM)研究了高級(jí)鋼微結(jié)構(gòu)的分類識(shí)別，這些機(jī)器學(xué)習(xí)方法在微結(jié)構(gòu)識(shí)別中都達(dá)到了比較高的識(shí)別精度。

受限玻爾茲曼機(jī)(RBM)神經(jīng)網(wǎng)絡(luò)及其變體結(jié)構(gòu)具有強(qiáng)大的特性學(xué)習(xí)能力，在Hinton提出了RBM快速算[3]法以后，基于標(biāo)準(zhǔn)RBM模型的研究在理論和實(shí)際應(yīng)用中出現(xiàn)了豐富的成果，例如：自然語言理解[4]、實(shí)時(shí)關(guān)鍵點(diǎn)識(shí)別[5]、特征學(xué)習(xí)[6]、計(jì)算機(jī)視覺[7]、人臉識(shí)別[8]、分類[9-11]、時(shí)間數(shù)列預(yù)測(cè)[12-13]、語音轉(zhuǎn)換[14]、降維[15]等。但是傳統(tǒng)的RBM在編碼的過程中缺乏一定的監(jiān)督信息指導(dǎo)，編碼過程缺少方向性。

為此本文作者前期的研究中針對(duì)圖像聚類問題，提出了一種pcGRBM神經(jīng)網(wǎng)絡(luò)模型[16]，該模型在編碼過程中引入了成對(duì)約束信息[17](Must-link和Cannot-link)監(jiān)督編碼過程，但是采用的是歐式距離，計(jì)算距離的時(shí)候缺乏穩(wěn)定性。因此，本文提出了一種全新的MD-RBM變體模型用于超高碳鋼材料微結(jié)構(gòu)的聚類研究，在其編碼的過程中同樣采用了少量成對(duì)約束信息引導(dǎo)編碼過程，使得在Must-link(ML)集合中成對(duì)數(shù)據(jù)的隱藏層編碼更加聚集到一起，同時(shí)使得在Cannot-link(CL)集合中成對(duì)數(shù)據(jù)的隱藏層編碼距離變得更遠(yuǎn)；在計(jì)算成對(duì)約束數(shù)據(jù)之間的距離時(shí)，本文采用了乘積距離(MD)[18]，有效緩解高維數(shù)據(jù)距離的不穩(wěn)定性問題，使得MD-RBM學(xué)習(xí)到的隱藏層特征更加適合于后續(xù)的聚類任務(wù)；本文在MD-RBM模型的基礎(chǔ)上，設(shè)計(jì)了兩個(gè)基于該模型的半監(jiān)督聚類方法(AP+MD-RBM，SC+MD-RBM)用于評(píng)價(jià)MD-RBM模型特征學(xué)習(xí)的有效性。

1 傳統(tǒng)RBM模型

RBM(Restricted Boltzmann Machine )神經(jīng)網(wǎng)絡(luò)模型是一個(gè)兩層網(wǎng)絡(luò)結(jié)構(gòu)，第一層是由二進(jìn)制可視單元構(gòu)成，第二層由二進(jìn)制隱藏層單元構(gòu)成，兩層之間通過連接權(quán)矩陣連接，同層單元之間沒有任何連接，其結(jié)構(gòu)圖如圖1所示。

圖1 傳統(tǒng)RBM模型

RBM模型參數(shù)為θ=(W,a,b)，其中Wn×m是連接權(quán)矩陣，可視層單元為V=(v1,v2,…,vn)，隱藏層單元為H=(h1,h2,…,hm)，可視層的偏差參數(shù)為a=(a1,a2,…,an)，隱藏層的偏差參數(shù)為b=(b1,b2,…,bm)。

傳統(tǒng)RBM模型的能量函數(shù)為：

(1)

對(duì)于隨機(jī)給定的可視層數(shù)據(jù)v，隱藏層二進(jìn)制單元等于1的概率為：

(2)

式中：σ是S型函數(shù)。

在hinton提出快速算法之前，RBM神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效率比較低，難以實(shí)際應(yīng)用。2005年，hinton提出了CD(contrastive divergence)快速算法，大大提高了RBM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，基于CD1算法的模型W、a、b的更新規(guī)則如下：

(3)

(4)

(5)

有了上面的快速算法，使得RBM在很多實(shí)際應(yīng)用中取得了成功。

2 MD距離

在高維數(shù)據(jù)空間中，常用的歐式距離會(huì)變得不穩(wěn)定，在這樣的背景下由Jafar Mansouri提出了乘積距離(MD)[18]，用于緩解高維數(shù)據(jù)的距離不穩(wěn)定性。

定義1假設(shè)X=(x1,x2,…,xm)，Q=(q1,q2,…,qm)是兩個(gè)隨機(jī)向量(k=1,2,…,m)，令zk=1+|xk-qk|，則兩個(gè)向量X和Q之間的MD距離定義為如下形式：

(6)

3 MD-RBM模型

3.1 模型參數(shù)更新規(guī)則

對(duì)于可視層輸入數(shù)據(jù)集V，隱藏層特征數(shù)據(jù)集H,假設(shè)在MD-RBM隱藏層H特征集合中存在任意一對(duì)向量(Hs,Ht)∈ML,其中Hs=(hs1,hs2,…，hsm)，Ht=(ht1,ht2,…，htm)。另外存在任意一對(duì)向量(Hp,Hq)∈CL，其中Hp=(hp1,hp2,…，hpm)，Hq=(hq1,hq2,…，hqm)，那么向量Hs和Ht之間的MD距離表達(dá)式為如下形式：

(7)

同理可以得到向量Hp和Hq之間的MD距離表達(dá)式為：

(8)

令JM=MD(Hs,Ht)+1，JC=MD(Hp,Hq)+1，則有：

那么MD-RBM的目標(biāo)函數(shù)F(θ)定義為如下形式：

(11)

式中：λ∈(0,1)是約束調(diào)節(jié)參數(shù)，負(fù)責(zé)調(diào)節(jié)約束信息在整個(gè)模型中權(quán)重，N和M分別是ML和CL集合中的大小值。下面采用隨機(jī)梯度下降法求解模型參數(shù)，其中l(wèi)ogp(v,θ)優(yōu)化采用hinton提出的CD1快速算法，那么接下來的主要難點(diǎn)在于求解logJM和logJC的梯度，下面將分別求解這兩部分關(guān)于MD-RBM模型參數(shù)θ=(W,a,b)的偏導(dǎo)數(shù)，首先對(duì)連接矩陣W求解有：

(12)

顯然只有當(dāng)k=j時(shí)，hsk和htk才和wij相關(guān)，所以有：

(13)

由于：

(14)

同理可以得到：

(15)

所以：

(16)

采用同樣的求解方法，同樣也可以得到：

(17)

接下來求解參數(shù)b，同樣只有當(dāng)k=j時(shí)，hsk和htk才和bj相關(guān)，所以有：

(18)

(19)

對(duì)于模型參數(shù)a，logJM和logJC都與之無關(guān)，所以有：

(20)

綜上求解結(jié)果，可以得到MD-RBM模型參數(shù)θ=(W,a,b)的更新規(guī)則如下：

wijτ+1=wijτ+λε(data-recon)+

(21)

(22)

(23)

3.2 MD-RBM學(xué)習(xí)算法

根據(jù)以上求解得到的MD-RBM模型的參數(shù)更新規(guī)則，MD-RBM模型學(xué)習(xí)算法如下：

第一步：初始化模型參數(shù)W、a、b；

第二步：對(duì)可視層數(shù)據(jù)集，獲得隱藏層特征采樣；

第三步：對(duì)所有隱藏層特征，計(jì)算第一次重構(gòu)數(shù)據(jù)采樣；

第四步：按照式(16)-式(19)

第五步：分別按照式(21)-式(23)獲得模型參數(shù)的更新規(guī)則；

第六步：如果迭代沒有結(jié)束，返回第二步繼續(xù)迭代，否則結(jié)束迭代過程；

第七步：返回模型參數(shù)。

3.3 基于MD-RBM模型的聚類算法

本文把MD-RBM模型提取到的特征分別作為AP，SC算法的輸入，就可以得到基于MD-RBM模型的兩種對(duì)比聚類算法： AP+MD-RBM和SC+MD-RBM，如圖2所示。

圖2 AP+MD-RBM和SC+MD-RBM 算法流程

4 實(shí) 驗(yàn)

4.1 數(shù)據(jù)集

本文實(shí)驗(yàn)選擇的數(shù)據(jù)集來源于美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究所(https://materialsdata.nist.gov)提供的超高碳鋼微結(jié)構(gòu)數(shù)據(jù)集。該數(shù)據(jù)集由超高碳鋼(UHCS)顯微照片組成，實(shí)驗(yàn)前對(duì)1 732張圖片進(jìn)行了標(biāo)注，分為六類微結(jié)構(gòu)，第一類是珠光體，第二類是先共析滲碳體網(wǎng)狀微觀結(jié)構(gòu)，第三類是球狀滲碳體，第四類是包含球狀滲碳體的珠光體，第五類是魏氏滲碳體，第六類是馬氏體或貝氏體。調(diào)整后的圖片維度為685?484維度，原始圖片實(shí)例如圖3所示。

圖3 六類超高碳鋼微結(jié)構(gòu)

4.2 對(duì)比實(shí)驗(yàn)及參數(shù)

為了驗(yàn)證本文提出的MD-RBM神經(jīng)網(wǎng)絡(luò)模型的特征學(xué)習(xí)能力及其在材料微結(jié)構(gòu)識(shí)別性能，把MD-RBM模型的隱藏層特征分別作為AP[19]和SC[20]兩種聚類算法的輸入，設(shè)計(jì)兩種新的算法，分別命名為AP+MD-RBM和SC+MD-RBM。為了測(cè)試算法的性能，實(shí)驗(yàn)中選擇了三類對(duì)比實(shí)驗(yàn)，具體如下：

第一類對(duì)比實(shí)驗(yàn)： AP+MD-RBM和SC+MD-RBM算法分別與傳統(tǒng)算法AP和SC之間的對(duì)比；

第二類對(duì)比實(shí)驗(yàn)： AP+MD-RBM和SC+MD-RBM算法分別與傳統(tǒng)半監(jiān)督算法Semi-AP[21]和Semi-SC[22]之間的對(duì)比；

第三類對(duì)比實(shí)驗(yàn)：傳統(tǒng)的RBM模型同樣具有很強(qiáng)的特征學(xué)習(xí)能力，為了對(duì)比本文提出的MD-RBM模型和傳統(tǒng)的RBM模型的特征學(xué)習(xí)能力，讓RBM模型的隱藏層特征分別作為AP和SC兩種聚類算法的輸入，設(shè)計(jì)了兩種算法，分別命名為： AP+RBM和SC+RBM，然后分別與AP+MD-RBM和SC+MD-RBM算法進(jìn)行對(duì)比實(shí)驗(yàn)。

對(duì)比實(shí)驗(yàn)中選擇了三類聚類外部指標(biāo)作為算法性能評(píng)判標(biāo)準(zhǔn)，第一類指標(biāo)是正確率[23](Accuracy)；第二類指標(biāo)是Purity[24]；第三類指標(biāo)是Rand Index指數(shù)[25]。

正確率(Accuracy)指標(biāo)定義如下：

(24)

式中：n是實(shí)例個(gè)數(shù)，如果x=y，那么δ(x,y)=1，其他情況下δ(x,y)=0，map(ri)是標(biāo)簽映射函數(shù)。

purity指標(biāo)定義如下：

(25)

給定一個(gè)集合U={u1,u2,…,un}，O={o1,o2,…,or}是U的r個(gè)子集劃分，p={p1,p2,…,ps}是U的s個(gè)子集劃分，那么Rand Index指標(biāo)定義如下：

(26)

式中：Nss表示元素同時(shí)在O和P的相同子集中的個(gè)數(shù)，Nsd表示元素在O中同一子集和在P的不同子集中的個(gè)數(shù)，Nds表示元素在O中不同子集和在P的同一子集中的個(gè)數(shù)，Ndd表示元素在O和P中都不同子集中的個(gè)數(shù)。

實(shí)驗(yàn)中使用的軟件平臺(tái)是Windows 7，MATLAB 2013R，服務(wù)器主要硬件配置為：48核CPU，128 GB內(nèi)存，2 TB硬盤。

MD-RBM模型中約束權(quán)重調(diào)節(jié)參數(shù)λ=0.2，迭代次數(shù)設(shè)置為6次。實(shí)驗(yàn)中重復(fù)了十次實(shí)驗(yàn)，后續(xù)的實(shí)驗(yàn)結(jié)果采用取平均值得方法得到最終的評(píng)價(jià)指標(biāo)。

4.3 實(shí)驗(yàn)結(jié)果

從表1中可以看出，兩個(gè)傳統(tǒng)算法AP和SC的正確率分別是：39.16%和35.53%；purity指標(biāo)分別是： 0.622 7和0.618 9；RandIndex指標(biāo)分別是：0.513 4和0.508 8。但是表2、表3中基于MD-RBM模型的聚類算法AP+MD-RBM和SC+MD-RBM的平均正確率分別提高到了：85.461 0%和82.096 0%，大幅度提升了聚類性能；表4顯示平均purity分別提高到了0.854 4和0.844 0；而表5顯示出它們的平均Rand Index指標(biāo)分別提高到了0.822 5和0.802 7。綜合上述三個(gè)平均指標(biāo)的實(shí)驗(yàn)結(jié)果可以看到MD-RBM模型具有很強(qiáng)的特征學(xué)習(xí)能力，而且提取到的特征用于聚類識(shí)別分別比傳統(tǒng)的聚類算法更好。

表1 傳統(tǒng)AP，SC與基于RBM模型的AP+RBM和SC+RBM算法性能對(duì)比(正確率、Purity和Rand Index)

從表2、表3中可以看出，兩個(gè)半監(jiān)督聚類算法Semi-AP和Semi-SC的平均正確率分別為63.818 0%，和62.172 0%，基于MD-RBM模型的算法平均正確率分別提高到了85.461 0%和82.096 0%。從表4中可以得到兩個(gè)半監(jiān)督聚類算法Semi-AP和Semi-SC的評(píng)均purity指標(biāo)分別為0.777 1和0.767 2，低于基于MD-RBM模型的對(duì)比算法。從表5中同樣可以得到兩個(gè)半監(jiān)督聚類算法Semi-AP和Semi-SC的平均RandIndex指標(biāo)分別為0.673 5和0.664 0，低于基于MD-RBM模型的對(duì)比算法。

表2 Semi-AP半監(jiān)督算法與AP+MD-RBM算法正確率指標(biāo)性能比較(約束數(shù)量從15逐步增加到60) %

表3 Semi-SC半監(jiān)督算法與SC+MD-RBM算法正確率指標(biāo)性能比較(約束數(shù)量從15逐步增加到60) %

表4 Semi-AP、 Semi-SC半監(jiān)督算法與AP+MD-RBM、SC+MD-RBM算法Purity指標(biāo)性能比較(約束數(shù)量從15逐步增加到60)

表5 Semi-AP、 Semi-SC半監(jiān)督算法與AP+MD-RBM、SC+MD-RBM算法Rand Index指標(biāo)性能比較(約束數(shù)量從15逐步增加到60)

為了更加直觀地對(duì)比實(shí)驗(yàn)結(jié)果，圖4-圖6分別描繪出了基于MD-RBM算法與傳統(tǒng)半監(jiān)督算法正確率、purity和Rand Index三個(gè)評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果。很顯然，三個(gè)評(píng)價(jià)指標(biāo)都隨著成對(duì)約束數(shù)量(從15到60)增加而不斷提升。

圖4 基于MD-RBM算法與傳統(tǒng)半監(jiān)督算法正確率對(duì)比

圖5 基于MD-RBM算法與傳統(tǒng)半監(jiān)督算法Purity對(duì)比

圖6 基于MD-RBM算法與傳統(tǒng)半監(jiān)督算法Rand Index對(duì)比

傳統(tǒng)的RBM神經(jīng)網(wǎng)絡(luò)模型和本文提出的MD-RBM模型都具有很強(qiáng)的特征學(xué)習(xí)能力，因此，有必要通過實(shí)驗(yàn)來對(duì)比兩種模型特性學(xué)習(xí)能力的性能。從表1-表5可以看出，對(duì)于三種評(píng)價(jià)指標(biāo)(正確率，purity和Rand Index)，基于MD-RBM模型的兩個(gè)算法都優(yōu)于基于傳統(tǒng)的RBM模型的算法，正確率分別提升了42.96%和42.08%；purity分別增加了0.206 5和0.204 7；Rand Index指數(shù)分別增加了0.288 4和0.273 5。

另外，為了使得對(duì)比結(jié)果更加直觀，圖7-圖9包含了MD-RBM模型和傳統(tǒng)RBM模型性能對(duì)比。結(jié)果顯示，本文提出的MD-RBM模型在超高碳鋼微結(jié)構(gòu)高維圖像的聚類識(shí)別任務(wù)中比傳統(tǒng)的RBM模型表現(xiàn)的更加優(yōu)異。

圖7 基于MD-RBM模型算法與傳統(tǒng)無監(jiān)督算法、半監(jiān)督算法以及基于RBM模型算法平均正確率(Accuracy)對(duì)比

5 結(jié) 語

本文在傳統(tǒng)的RBM神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上提出了一個(gè)新的MD-RBM模型，在編碼過程中采用成對(duì)約束信息引導(dǎo)，使得一部分微結(jié)構(gòu)圖像數(shù)據(jù)隱藏層編碼聚集到一起，一部分微結(jié)構(gòu)圖像數(shù)據(jù)隱藏層編碼更加分散，在計(jì)算數(shù)據(jù)對(duì)之間的距離時(shí)采用了乘積距離(MD)代替歐式距離，使得高維數(shù)據(jù)的距離更加穩(wěn)定。在超高碳鋼微結(jié)構(gòu)(UHCS)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文的MD-RBM模型學(xué)習(xí)到的特征用于聚類識(shí)別效果優(yōu)于傳統(tǒng)的AP和SC算法，同時(shí)也優(yōu)于傳統(tǒng)的半監(jiān)督聚類算法Semi-AP和Semi-SC。因此，在超高碳鋼微結(jié)構(gòu)(UHCS)聚類識(shí)別任務(wù)上，MD-RBM模型比傳統(tǒng)的RBM模型表現(xiàn)出更好的性能。

DOI:10.1109/TCYB.2018.286360.