深度信念網(wǎng)絡(luò)的近紅外光譜分析建模方法

張 萌，趙忠蓋

江南大學(xué)自動(dòng)化研究所輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122

引 言

近紅外光的本質(zhì)是一種電磁波，一般定義780～2 526 nm區(qū)間內(nèi)的波段為近紅外光譜區(qū)，近紅外光譜主要是由有機(jī)物質(zhì)吸收光后分子振動(dòng)從基態(tài)向高能級(jí)躍遷時(shí)產(chǎn)生的，反映了含氫集團(tuán)X—H(X主要為C，N和O等)基頻振動(dòng)的倍頻和合頻信息[1]。而應(yīng)用近紅外光譜分析技術(shù)的關(guān)鍵就在于如何建立準(zhǔn)確有效的模型[2]。

在近紅外光譜分析中，目前常用的模型建立方法有多元線性回歸法[3](multiple linear regression，MLR)、 主成分回歸[4](principle component regression，PCA)、 偏最小二乘法(partial least squares，PLS)[5]、 人工神經(jīng)網(wǎng)絡(luò)[6](artificial neural networks, ANN)和支持向量機(jī)法(support vector machine，SVM)[7]。PLS是目前近紅外光譜分析中應(yīng)用最廣泛的建模方法之一，它從自變量矩陣和因變量矩陣中提取主成分，有效降維，并消除自變量間可能存在的復(fù)共線性關(guān)系[5]。但PLS無(wú)法準(zhǔn)確擬合非線性關(guān)系。人工神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用廣泛的非線性建模方法，其中反向傳播(BP)算法是目前使用最多的神經(jīng)網(wǎng)絡(luò)算法之一[6]，但BP網(wǎng)絡(luò)算法易陷入局部最優(yōu)，收斂速度慢。支持向量機(jī)是一種基于統(tǒng)計(jì)學(xué)理論的機(jī)器學(xué)習(xí)方法，它有較好的泛化能力并且能避免模型陷入局部最優(yōu)[7]，現(xiàn)在也越來(lái)越多的應(yīng)用在近紅外光譜分析建模。但SVM沒(méi)有準(zhǔn)確的選用標(biāo)準(zhǔn)，而且無(wú)法從給定的輸入空間中選擇有效特征用于建模。

深度信念網(wǎng)絡(luò)是一種具有多個(gè)隱藏層的多層感知器，它可以學(xué)習(xí)深層結(jié)構(gòu)實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，從大量輸入數(shù)據(jù)中學(xué)習(xí)有效的特征表示[8]。應(yīng)用深度信念網(wǎng)絡(luò)(deep belief network，DBN)建模的優(yōu)點(diǎn)是：(1)深度網(wǎng)絡(luò)具有復(fù)雜的多層結(jié)構(gòu)，具有很好的表示能量，對(duì)于大數(shù)據(jù)的處理尤其有效；(2)DBN通過(guò)逐層預(yù)訓(xùn)練初始優(yōu)化網(wǎng)絡(luò)參數(shù)，可以避免由于隨機(jī)初始化參數(shù)而導(dǎo)致模型陷入局部最優(yōu)；(3)DBN可以從輸入空間中自動(dòng)學(xué)習(xí)有效的特征表示。Shang等[9]在2014年就應(yīng)用DBN網(wǎng)絡(luò)對(duì)原油蒸餾裝置建立軟測(cè)量傳感器模型；王宇紅等[10]將DBN與極限學(xué)習(xí)機(jī)(ELM)結(jié)合建立軟測(cè)量模型；Wang等[11]應(yīng)用DBN對(duì)拉薩地區(qū)的太陽(yáng)輻射進(jìn)行估算。

考慮到近紅外光譜內(nèi)部波長(zhǎng)之間的相關(guān)性，以及其與目標(biāo)值之間的非線性關(guān)系，提出利用深度信念網(wǎng)絡(luò)對(duì)近紅外光譜建模。該方法不需要關(guān)于光譜數(shù)據(jù)的先驗(yàn)知識(shí)就可以實(shí)現(xiàn)對(duì)光譜自身的特征提取，且只要設(shè)置頂層隱層節(jié)點(diǎn)數(shù)小于輸入光譜的維度，在實(shí)現(xiàn)光譜數(shù)據(jù)特征提取的同時(shí)也實(shí)現(xiàn)了降維。將其應(yīng)用在近紅外光譜數(shù)據(jù)中，通過(guò)驗(yàn)證相關(guān)系數(shù)R2、 均方誤差MSE指標(biāo)，對(duì)比說(shuō)明DBN模型和DBN-PLS模型預(yù)測(cè)的結(jié)果優(yōu)于BP方法建模。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)與處理

選用兩個(gè)數(shù)據(jù)集驗(yàn)證本方法。第一個(gè)數(shù)據(jù)集為從Tecator Infratec食品和飼料分析儀上收集的豬碎肉近紅外透射光譜。波長(zhǎng)范圍為850～1 050 nm，分辨率為2 cm-1。共包含172個(gè)校驗(yàn)集光譜，43個(gè)驗(yàn)證集光譜。第二個(gè)數(shù)據(jù)集為布魯克MATRIX-F型傅里葉近紅外光譜儀(OPUS分析軟件包，德國(guó)Bruker公司)采集的檸檬酸發(fā)酵液近紅外光譜，分辨率為16 cm-1，波長(zhǎng)范圍為3 996～11 988 nm。采用Kennard-Stone法對(duì)260個(gè)樣品按2∶1劃分校驗(yàn)集和驗(yàn)證集，得到174個(gè)校驗(yàn)集光譜和86個(gè)驗(yàn)證集光譜。Kennard-Stone法的原理是根據(jù)變量之間的歐式距離，在樣品光譜的特征空間里選擇距離最大的樣品作為校驗(yàn)集樣品[17]。

為去除來(lái)自高頻隨機(jī)噪聲、 基線漂移、 光散射等影響，需對(duì)光譜進(jìn)行預(yù)處理。平滑是光譜信號(hào)處理中改善信噪比最常用的方法[6]。采用了Savitzky-Golay卷積平滑法對(duì)光譜預(yù)處理，經(jīng)過(guò)預(yù)處理的近紅外光譜如圖1。

圖1 預(yù)處理后的光譜圖(a)：豬肉；(b)：檸檬酸發(fā)酵液Fig.1 Preprocessed near infrared spectra(a)：Pork; (b)：Citric acid fermentation liquid

1.2 方法

1.2.1 基于深度信念網(wǎng)絡(luò)的建模

DBN是深度學(xué)習(xí)的生成模型之一，由多層受限玻爾茲曼機(jī)(restricted Boltzmenn machines，RBM)堆疊而成[12]，結(jié)構(gòu)如圖2所示?；贒BN的近紅外光譜建模首先輸入光譜數(shù)據(jù)，對(duì)RBM進(jìn)行逐層預(yù)訓(xùn)練，完成對(duì)光譜數(shù)據(jù)進(jìn)行特征提取和降維，得到RBM的初始權(quán)值；然后，利用目標(biāo)理化值對(duì)初始權(quán)值進(jìn)行反向微調(diào)，得到最終優(yōu)化權(quán)值；最后，添加回歸層，即可完成近紅外光譜的預(yù)測(cè)建模。該算法的流程圖如圖3。

圖2 (a)RBM結(jié)構(gòu)圖；(b)DBN結(jié)構(gòu)圖Fig.2 (a) Diagram of RBM structure; (b) diagram of DBN structure

圖3 DBN預(yù)測(cè)模型算法流程圖Fig.3 Flow chart of DBN prediction model algorithm

光譜吸光度X與目標(biāo)理化值Y的配對(duì)組合表示為{(X1，Y1)，(X2，Y2)，…，(Xn，Yn)}。將光譜吸光度X作為第一層RBM的輸入層。根據(jù)圖2(a)所示，RBM結(jié)構(gòu)包含一個(gè)可視層(v)和一個(gè)隱含層(h)[13]，可視層用于表示輸入光譜數(shù)據(jù)信息，隱含層表示對(duì)輸入光譜的學(xué)習(xí)能力。對(duì)于給定的狀態(tài)(v，h)，RBM作為一個(gè)系統(tǒng)所具備的能量定義為

(1)

式(1)中，θ為模型參數(shù)。

可視層和隱含層的聯(lián)合概率為

(2)

P(v，h)對(duì)v的邊緣分布為

(3)

可以計(jì)算出第j個(gè)隱層單元和第i個(gè)可視層單元的條件概率分布分別為

(4)

(5)

訓(xùn)練一個(gè)RBM即調(diào)整參數(shù)θ，使其更好地?cái)M合給定的訓(xùn)練樣本[13]。最大化以下似然函數(shù)

(6)

(7)

其中，ε表示學(xué)習(xí)率。

(8)

1.2.2 改進(jìn)的深度信念網(wǎng)絡(luò)建模

在深度學(xué)習(xí)的過(guò)程中，無(wú)監(jiān)督過(guò)程可以提取輸入樣本的隱變量，監(jiān)督過(guò)程通過(guò)BP算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)。然而基于梯度的優(yōu)化算法也會(huì)陷入局部最優(yōu)，將DBN與PLS結(jié)合可以避免由于梯度下降算法帶來(lái)的問(wèn)題。DBN最后一層隱含層是對(duì)原始輸入樣本的若干次學(xué)習(xí)后得到的深層特征，這一特征之間不存在相關(guān)性，符合PLS模型對(duì)自變量的要求。因此，考慮將PLS運(yùn)用到DBN的訓(xùn)練過(guò)程中，對(duì)DBN進(jìn)行改進(jìn)，提高模型的預(yù)測(cè)效果。

DBN-PLS模型結(jié)構(gòu)圖如圖4。運(yùn)用DBN-PLS對(duì)近紅外光譜建模的具體步驟如下：

圖4 DBN-PLS模型結(jié)構(gòu)圖Fig.4 Diagram of DBN-PLS model

(1)對(duì)近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理；

(2)構(gòu)建近紅外光譜的DBN模型，完成近紅外光譜的特征提取和降維；

(3)將提取的有效特征輸入PLS模型, 建立DBN-PLS預(yù)測(cè)模型；

(4)將驗(yàn)證集數(shù)據(jù)輸入到DBN-PLS模型中，進(jìn)行驗(yàn)證。

1.3 模型評(píng)價(jià)

為驗(yàn)證模型預(yù)測(cè)的準(zhǔn)確性，本文選用決定系數(shù)(R2)和均方誤差(MSE)兩個(gè)評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)。R2表示真實(shí)值和預(yù)測(cè)值的相關(guān)程度。MSE可以評(píng)價(jià)數(shù)據(jù)的變化程度，MSE的值越小說(shuō)明預(yù)測(cè)模型有越好的精確度[16]。

(9)

(10)

2 結(jié)果與討論

2.1 參數(shù)選擇

模型參數(shù)選擇是影響DBN模型特征提取能力以及模型預(yù)測(cè)精度的重要因素。本文影響結(jié)果的參數(shù)主要有RBM層數(shù)、 迭代次數(shù)(iteration)和學(xué)習(xí)率(learining rate)。隨著模型層數(shù)的增加，層間連接權(quán)值增加，訓(xùn)練難度也會(huì)增加，設(shè)置了2層RBM結(jié)構(gòu)。圖5為不同迭代次數(shù)下整個(gè)網(wǎng)絡(luò)的訓(xùn)練損失，迭代次數(shù)過(guò)小模型易欠擬合，迭代次數(shù)過(guò)大模型易過(guò)擬合。圖6給出了在不同學(xué)習(xí)率和不同迭代次數(shù)下的R2大小。由圖5和圖6可以看出，兩個(gè)數(shù)據(jù)集在迭代次數(shù)大約為200時(shí)，模型的訓(xùn)練損失趨于0，數(shù)據(jù)集1在學(xué)習(xí)率ε=0.001時(shí)，模型的精度最高，R2為0.990 7，MSE為0.910 0；數(shù)據(jù)集2在學(xué)習(xí)率ε=0.000 1時(shí)，模型精度最高。表1例舉了iteration為200的時(shí)候，豬肉含水量的近紅外光譜預(yù)測(cè)模型在不同學(xué)習(xí)率下的R2和MSE大小。

圖5 迭代次數(shù)對(duì)模型的影響Fig.5 The impact of iteration number on the model

圖6 不同學(xué)習(xí)率下迭代次數(shù)對(duì)模型的影響(a)：豬肉；(b)：檸檬酸發(fā)酵液Fig.6 The influence of iteration times on the model under different learning rates(a)：Pork near infrared spectrum;(b)：Citric acid fermentation liquid near infrared spectrum

表1 學(xué)習(xí)率選擇表Table 1 Learning rate selection table

2.2 結(jié)果比較

對(duì)于豬碎肉近紅外光譜數(shù)據(jù)集，我們對(duì)比了三種預(yù)測(cè)模型，結(jié)果如表2?？梢钥闯?，用BP方法對(duì)近紅外光譜建模的R2為0.902 6，而用DBN模型和DBN-PLS模型建模后的R2分別為0.990 7和0.964 4，預(yù)測(cè)精度都優(yōu)于BP模型。圖7分別給出了豬肉含水量的BP模型、 DBN模型和DBN-PLS模型。圖7(a)為BP模型預(yù)測(cè)值與實(shí)際值的對(duì)比，圖7(b)為用DBN模型建模的預(yù)測(cè)值和實(shí)際值對(duì)比，圖7(c)為用DBN-PLS模型建模的對(duì)比圖?？梢钥闯?，DBN模型和DBN-PLS模型的預(yù)測(cè)效果都優(yōu)于BP模型。

表2 豬肉近紅外光譜預(yù)測(cè)模型評(píng)價(jià)指標(biāo)Table 2 Evaluation index of model for pork near infrared spectrum

圖7 豬肉近紅外光譜模型對(duì)比結(jié)果(a)：BP模型；(b)：DBN模型；(c)：DBN-PLS模型Fig.7 Comparison results of model for pork near infrared spectrum(a)：BP model; (b)：DBN model; (c)：DBN-PLS model

對(duì)于第二個(gè)檸檬酸發(fā)酵液近紅外光譜數(shù)據(jù)集，我們分別應(yīng)用了PLS模型和DBN-PLS模型對(duì)其建立校正模型，并計(jì)算了其評(píng)價(jià)指標(biāo)，結(jié)果如表3所示，并在圖8給出了其模型預(yù)測(cè)值和實(shí)際值的對(duì)比圖。圖8(a)為PLS模型建模效果，圖8(b)為利用DBN對(duì)光譜數(shù)據(jù)進(jìn)行特征提取和降維后的建模效果?？梢悦黠@看出，利用DBN-PLS對(duì)檸檬酸發(fā)酵液近紅外光譜數(shù)據(jù)集的建模效果明顯優(yōu)于PLS模型的建模效果。

表3 檸檬酸發(fā)酵液近紅外光譜模型評(píng)價(jià)指標(biāo)Table 3 Evaluation index of model for citric acid fermentation broth near infrared spectrum

圖8 檸檬酸發(fā)酵液近紅外光譜建模對(duì)比(a)：PLS模型; (b)：DBN-PLS模型Fig.8 Comparison of PLS and DBN-PLS models for near infrared spectra of citric acid fermentation broth(a)：PLS model; (b)：DBN-PLS model

3 結(jié) 論

DBN網(wǎng)絡(luò)可以實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，且由于其結(jié)構(gòu)特性，可以自動(dòng)實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的特征提取，得到輸入數(shù)據(jù)中更深刻的特征信息，運(yùn)用DBN模型分析預(yù)測(cè)可以解決其他建模方法初始參數(shù)難確定的問(wèn)題。利用近紅外光譜數(shù)據(jù)和DBN網(wǎng)絡(luò)建立了DBN和DBN-PLS近紅外光譜預(yù)測(cè)模型，通過(guò)將其與BP預(yù)測(cè)模型對(duì)比，驗(yàn)證了DBN模型和DBN-PLS模型的可行性，并且DBN模型和DBN-PLS模型預(yù)測(cè)精度優(yōu)于BP模型。