基于深度學(xué)習(xí)的近紅外光譜定性分析研究

丁躍武，陳方方，楊 友，李四海

（甘肅中醫(yī)藥大學(xué)信息工程學(xué)院，蘭州 730000）

0 引言

近紅外光譜分析技術(shù)（near infrared spectros?copy，NIRs）具有儀器成本低、測(cè)試便捷、效率高等特點(diǎn)，一般與機(jī)器學(xué)習(xí)方法結(jié)合建立NIRs檢測(cè)的定性分析模型。但是近紅外光譜數(shù)據(jù)與采集環(huán)境、所用儀器等密切相關(guān)，不同批次樣本的采集具有明顯差異且較難取得大量的定標(biāo)樣本，導(dǎo)致傳統(tǒng)的淺層網(wǎng)絡(luò)方法往往存在特征學(xué)習(xí)能力不足、訓(xùn)練難等問題，其預(yù)測(cè)結(jié)果不佳?；瘜W(xué)計(jì)量學(xué)方法是近紅外光譜分析中常用的關(guān)鍵方法，其主要應(yīng)用在以下六個(gè)方面：①異常樣品的剔除。②樣品集的劃分。③光譜預(yù)處理方法。④光譜譜區(qū)選擇方法。⑤分析模型的建立方法。⑥模型的傳遞與共享。這六個(gè)方面對(duì)于近紅外光譜分析技術(shù)的成功最重要的一步是建立魯棒性好的定性分析模型。目前常見的定性分析模型有主成分分析（PCA）、偏最小二乘?線性判別分析（PLS?LDA）、支持向量機(jī)（SVM）等淺層學(xué)習(xí)模型。然而，隨著大數(shù)據(jù)時(shí)代的來臨，光譜數(shù)據(jù)愈發(fā)復(fù)雜，淺層學(xué)習(xí)也許能夠有效地處理簡(jiǎn)單的問題，但在解決復(fù)雜問題時(shí)，往往會(huì)因函數(shù)表達(dá)能力不足等問題而效果不佳。如今，如何將深度學(xué)習(xí)與光譜分析結(jié)合起來，越來越受到近紅外光譜技術(shù)研究人員的關(guān)注。

深度學(xué)習(xí)（deep learning）的概念來自于2006年Hinton 教授和他的學(xué)生Ruslan 一起發(fā)表在Science 雜志上的一篇文章，是在淺層學(xué)習(xí)結(jié)構(gòu)基礎(chǔ)上發(fā)展而來的機(jī)器學(xué)習(xí)模型，開拓了機(jī)器學(xué)習(xí)的研究新領(lǐng)域，極大地推動(dòng)了人工智能行業(yè)的發(fā)展。近些年，深度學(xué)習(xí)作為人工智能領(lǐng)域一個(gè)新的研究方向，在語音識(shí)別、文本鑒別、計(jì)算機(jī)視覺等多方面有了廣泛應(yīng)用。深度學(xué)習(xí)是一種對(duì)數(shù)據(jù)進(jìn)行抽象表達(dá)的算法，它能夠使用眾多基本單元構(gòu)成復(fù)雜的多層網(wǎng)絡(luò)，在網(wǎng)絡(luò)中，低層單元的輸出作為高層單元的輸入，即為自下而上的學(xué)習(xí)過程，并且在輸入與輸出之間存在一定的映射關(guān)系，依據(jù)這一關(guān)系來對(duì)多層特征進(jìn)行表達(dá)，最終實(shí)現(xiàn)樣品的預(yù)測(cè)或分類識(shí)別［1］。

目前有大量實(shí)驗(yàn)和研究表明，深度學(xué)習(xí)的方法在定性分析中的準(zhǔn)確性優(yōu)于傳統(tǒng)的化學(xué)計(jì)量學(xué)方法和傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)。如Ni 等［2］發(fā)現(xiàn)傳統(tǒng)的算法常能夠很好地分析近似線性的近紅外光譜數(shù)據(jù)，但深度卷積神經(jīng)網(wǎng)絡(luò)在處理非線性模式的數(shù)據(jù)時(shí)效果則相比傳統(tǒng)算法更好。一些研究還表明，相比傳統(tǒng)的特征選擇算法如連續(xù)投影算法（SPA），卷積神經(jīng)網(wǎng)絡(luò)和深度自編碼網(wǎng)絡(luò)（DAE）能夠從光譜數(shù)據(jù)中提取出更有代表性的特征［3］。大量文獻(xiàn)和實(shí)驗(yàn)已足以說明深度學(xué)習(xí)在近紅外光譜技術(shù)領(lǐng)域發(fā)揮了不可比擬的作用，其中最值得一提的有深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）、深度信念網(wǎng)絡(luò)（deep belief network, DBN）和深度自編碼器（deep autoencoder,DAE），這三種算法將會(huì)成為定性分析領(lǐng)域構(gòu)建模型的重要基石，其中研究最多的是CNN，而后是AE。本文也將圍繞這三個(gè)算法介紹近些年深度學(xué)習(xí)在近紅外光譜定性分析領(lǐng)域的研究進(jìn)展。

1 深度學(xué)習(xí)在NIRS定性分析中的應(yīng)用

1.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）在NIRS定性分析中的應(yīng)用

與傳統(tǒng)的機(jī)器學(xué)習(xí)方法有所不同，卷積神經(jīng)網(wǎng)絡(luò)屬于一種深層次的前饋神經(jīng)網(wǎng)絡(luò)模型。對(duì)于輸入數(shù)據(jù)的特征信息，由于CNN的局部連接方式以及權(quán)重共享特性，其可以較好地提取關(guān)鍵信息。因此，在文本分類、圖像分割領(lǐng)域都發(fā)揮著重要的作用?；诰矸e神經(jīng)網(wǎng)絡(luò)的優(yōu)化變體有很多，如殘差網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)以及Inception［4］。局部連接這種方式可以對(duì)數(shù)據(jù)中的局部信息做出較強(qiáng)的響應(yīng)，通過稀疏連接的方式從數(shù)據(jù)中抽取關(guān)鍵特征信息，最大程度減少了卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練的參數(shù)。權(quán)重共享的核心在于模型所有的輸入數(shù)據(jù)均使用相同的卷積核進(jìn)行計(jì)算，卷積層也因此具有了平移不變性，模型的計(jì)算復(fù)雜度也相應(yīng)得到了降低。圖1為卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典算法LeNet?5的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 卷積神經(jīng)網(wǎng)絡(luò)LeNet?5網(wǎng)絡(luò)結(jié)構(gòu)

近年來，由于CNN 在高維數(shù)據(jù)中具有優(yōu)異的特征提取能力，在圖像分類［5］、目標(biāo)檢測(cè)［6］等圖像任務(wù)中取得了巨大成功。在近紅外光譜領(lǐng)域，CNN 也參與其中。例如，針對(duì)馬兜鈴酸及其類似物的近紅外光譜鑒別，Chen 等［7］提出了1D?CNN，并取得了較高的性能。魯夢(mèng)瑤等［8］提出了一種基于CNN 和近紅外光譜技術(shù)的煙葉產(chǎn)地分類方法。實(shí)驗(yàn)結(jié)果表明，在不使用特征提取算法的情況下，該CNN 模型具有較好的準(zhǔn)確率。然而，這些網(wǎng)絡(luò)使用了過多的卷積核來提高性能，增加了網(wǎng)絡(luò)的參數(shù)和計(jì)算量。為了提高CNN 的訓(xùn)練效率和實(shí)用性，Szegedy 等［9］提出了一種名為Inception 的CNN 結(jié)構(gòu)來近似局部最優(yōu)稀疏度。由于近紅外光譜數(shù)據(jù)是一維序列，傳統(tǒng)的初始結(jié)構(gòu)是為高維數(shù)據(jù)設(shè)計(jì)的，不能直接用于一維序列的輸入數(shù)據(jù)。因此，需要對(duì)Inception 結(jié)構(gòu)進(jìn)行改進(jìn)。Chai 等［10］對(duì)刺梨及其仿制品的近紅外光譜數(shù)據(jù)進(jìn)行了測(cè)定。然后，設(shè)計(jì)了一種改進(jìn)的基于初始結(jié)構(gòu)的一維卷積神經(jīng)網(wǎng)絡(luò)（modified 1D?Inception?CNN），用于處理近紅外光譜數(shù)據(jù)，識(shí)別刺梨及其仿制品。改進(jìn)的1D?Inception?CNN 具有參數(shù)少、計(jì)算效率高的特點(diǎn)，使識(shí)別模型更加實(shí)用。Zhang等［11］在將一維近紅外光譜數(shù)據(jù)轉(zhuǎn)換為二維數(shù)據(jù)的基礎(chǔ)上結(jié)合二維卷積神經(jīng)網(wǎng)絡(luò)（2?DCNN）提出一種鑒別煙草產(chǎn)地的方法。實(shí)驗(yàn)結(jié)果表明，提出的新方法分類準(zhǔn)確率為93.05%，可以快速鑒別煙草的產(chǎn)地。Yan 等［12］提出并實(shí)現(xiàn)了通過卷積神經(jīng)網(wǎng)絡(luò)結(jié)合NIRs 數(shù)據(jù)對(duì)植物藥產(chǎn)品商業(yè)化生產(chǎn)過程的在線實(shí)時(shí)監(jiān)控。孟詩語等［13］提出了一種CNN 模型結(jié)合NIRs 數(shù)據(jù)判別木材等級(jí)的方法，經(jīng)過多種數(shù)據(jù)處理方法的對(duì)比，利用已構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型，選取樣本識(shí)別準(zhǔn)確率和模型構(gòu)建過程中的損失值為判定指標(biāo)，得到最佳的預(yù)處理和數(shù)據(jù)壓縮方法。實(shí)驗(yàn)結(jié)果證明構(gòu)建的分析模型可以有效地處理光譜數(shù)據(jù)和識(shí)別區(qū)分不同等級(jí)木材的關(guān)鍵特征，從而為廣闊的木材市場(chǎng)提供一定的技術(shù)支持。劉曉瑜［14］創(chuàng)新性地將卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)合近紅外光譜分析應(yīng)用在對(duì)冷鮮豬肉的判別上，其實(shí)驗(yàn)表明基于CNN 的判別模型相比傳統(tǒng)模型可以獲得更好的預(yù)測(cè)結(jié)果，證明基于CNN的冷鮮豬肉判別模型可行且有效；其次，通過對(duì)比不同預(yù)處理方法、不同訓(xùn)練集數(shù)量，探究其對(duì)模型預(yù)測(cè)結(jié)果的影響，從多個(gè)角度分析了卷積神經(jīng)網(wǎng)絡(luò)算法的優(yōu)勢(shì)。Liu 等［15］利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建分類模型，在幾種常見紡織品的NIRs 數(shù)據(jù)上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明能夠?qū)崿F(xiàn)對(duì)幾種常見紡織品的分類。Zheng等［16］提出了一種基于CNN 的近紅外光譜數(shù)據(jù)分析方法，現(xiàn)場(chǎng)對(duì)9 個(gè)品牌的4 種藥物進(jìn)行分類實(shí)驗(yàn)，準(zhǔn)確率達(dá)97.3%，結(jié)果表明該方法具有較佳的識(shí)別能力。

1.2 深度自編碼器（DAE）在NIRS定性分析中的應(yīng)用

深度自編碼器由多倫多大學(xué)教授Geoffrey Hinton 和他的學(xué)生Ruslan 在2006 年首次在Sci?ence 上提出［17］，自那之后便作為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，引起了學(xué)術(shù)界廣泛的關(guān)注。DAE是一種典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型,不僅廣泛應(yīng)用于海量數(shù)據(jù)建模，相比傳統(tǒng)的淺層學(xué)習(xí)模型，它具有更優(yōu)秀的模型表達(dá)能力，同時(shí)從少量樣本集中也能夠?qū)W習(xí)到數(shù)據(jù)的本質(zhì)特征。通過使用貪婪算法，將各層網(wǎng)絡(luò)的重構(gòu)誤差降至最小，同時(shí)對(duì)每一層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以完成對(duì)整個(gè)網(wǎng)絡(luò)的訓(xùn)練。對(duì)數(shù)據(jù)采取白化處理和預(yù)處理的同時(shí)利用無監(jiān)督算法對(duì)輸入的數(shù)據(jù)在各層進(jìn)行重構(gòu)，使網(wǎng)絡(luò)對(duì)數(shù)據(jù)內(nèi)部結(jié)構(gòu)特征的學(xué)習(xí)更加高效。最后再通過對(duì)帶標(biāo)簽數(shù)據(jù)使用監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)絡(luò)的調(diào)優(yōu)。圖2為深度自編碼器的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 經(jīng)典深度自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

楊輝華等［18］先為了消除光譜數(shù)據(jù)內(nèi)部特征間的相關(guān)性，對(duì)琥乙紅霉素真假藥樣本的NIRs光譜數(shù)據(jù)集進(jìn)行預(yù)處理及白化處理，之后結(jié)合稀疏降噪自編碼網(wǎng)絡(luò)（SDAE）建立定性分析模型。實(shí)驗(yàn)結(jié)果表明，相較于BP 神經(jīng)網(wǎng)絡(luò)以及SVM 算法，稀疏降噪自編碼網(wǎng)絡(luò)在準(zhǔn)確性和魯棒性方面均更優(yōu)。路皓翔［19］提出能夠有效鑒別柑橘黃龍病的堆棧降噪自編碼結(jié)合隨機(jī)森林（SDAE?RF）方法和壓縮自編碼結(jié)合極限學(xué)習(xí)機(jī)（CAE?ELM）方法。為了提高SDAE 網(wǎng)絡(luò)分析模型準(zhǔn)確率和縮短運(yùn)行時(shí)間，將隨機(jī)森林與SDAE結(jié)合代替其頂層的Softmax 分類和反向微調(diào)階段；利用引入雅克比矩陣的CAE 網(wǎng)絡(luò)對(duì)樣品光譜進(jìn)行特征提取，通過采用極限學(xué)習(xí)機(jī)代替CAE 網(wǎng)絡(luò)的Softmax 分類和反向微調(diào)階段，降低CAE 網(wǎng)絡(luò)時(shí)間復(fù)雜度的同時(shí)提高了預(yù)測(cè)準(zhǔn)確率。甘博瑞等［20］提出一種以堆棧壓縮自編碼網(wǎng)絡(luò)（SCAE）為基礎(chǔ)建立的光譜定性分析方法，可以取代傳統(tǒng)的特征提取方法更好地學(xué)習(xí)內(nèi)部結(jié)構(gòu)特征。將此方法應(yīng)用于多類別藥品的光譜分析，可以有效地鑒別不同廠家生產(chǎn)的同種藥品。Zhou 等［21］提出了一種在稀疏降噪自編碼器（SDAE）基礎(chǔ)上構(gòu)建定性分析模型的方法，結(jié)合近紅外光譜數(shù)據(jù)能夠有效識(shí)別藥物。Le［22］通過基于堆疊稀疏自編碼器和ELM 相結(jié)合的方法構(gòu)建分析模型，實(shí)驗(yàn)結(jié)果表明該模型在公開的玉米和水稻的近紅外光譜數(shù)據(jù)集上能夠得到優(yōu)于其他經(jīng)典NIRS 數(shù)據(jù)分析方法的準(zhǔn)確率。Liang等［23］提出了一種基于稀疏自編碼器（SAE）與遺傳算法（GA）的MSC?SAE?GA 模型。并在小麥籽粒和面粉的NIRs 數(shù)據(jù)集上進(jìn)行了研究，實(shí)驗(yàn)結(jié)果表明提出的NIRs 定性分析模型的分類準(zhǔn)確率可達(dá)100%。

1.3 深度信念網(wǎng)絡(luò)（DBN）在NIRS定性分析中的應(yīng)用

深度信念網(wǎng)絡(luò)是Geoffrey Hinton 教授在2006年于Science 雜志上提出，屬于人工智能深度學(xué)習(xí)領(lǐng)域，具有非線性激活功能［24］，與傳統(tǒng)的淺層學(xué)習(xí)方法相比，DBN 擁有更復(fù)雜的非線性和高層次特征提取能力，對(duì)非線性函數(shù)的表達(dá)能力更強(qiáng)，可以抽取更加有效的特征信息，提高分類和預(yù)測(cè)的準(zhǔn)確率。圖3為深度信念網(wǎng)絡(luò)的經(jīng)典結(jié)構(gòu)。

圖3 經(jīng)典深度信念網(wǎng)絡(luò)結(jié)構(gòu)

為快速判別蓮子粉的真?zhèn)?，胡仁偉等?5］提出一種基于近紅外光譜技術(shù)和深度信念網(wǎng)絡(luò)（deep belief network，DBN）方法的蓮子粉摻雜數(shù)據(jù)鑒別模型。通過支持向量機(jī)（SVM）方法獲得蓮子粉數(shù)據(jù)分類的帶標(biāo)簽結(jié)果，之后使用構(gòu)建的分析模型對(duì)未知樣品類別的數(shù)據(jù)進(jìn)行判別。實(shí)驗(yàn)表明采用DBN 算法可以使模型有效避免局部最優(yōu)問題和應(yīng)對(duì)無大量標(biāo)簽樣本的情況。對(duì)于近紅外光譜樣本數(shù)據(jù)量大、維度高等問題，以及近紅外光譜內(nèi)部波長間的相關(guān)性和與目標(biāo)值之間的非線性關(guān)系，張萌等［26］提出利用深度信念網(wǎng)絡(luò)算法對(duì)近紅外光譜數(shù)據(jù)建模，該算法無需關(guān)于光譜數(shù)據(jù)的先驗(yàn)知識(shí)就可以對(duì)光譜自身的特征進(jìn)行提取，只要設(shè)置的頂層隱層節(jié)點(diǎn)數(shù)低于輸入光譜的維度，就可以在對(duì)光譜數(shù)據(jù)特征提取的同時(shí)也能夠?qū)?shù)據(jù)降維，實(shí)驗(yàn)通過決策系數(shù)、均方根誤差等模型指標(biāo)表明了所構(gòu)建模型的可行性。

王靜等［27］提出一種基于DBN 和SVM 相結(jié)合的方法構(gòu)建NIRs 數(shù)據(jù)的多分類模型。實(shí)驗(yàn)證明通過DBN?SVM 算法構(gòu)建的模型可以有效地學(xué)習(xí)NIRs 的特征內(nèi)部結(jié)構(gòu)并得到很好的分類結(jié)果，同時(shí)在魯棒性等各項(xiàng)模型指標(biāo)上也更優(yōu)。針對(duì)近紅外光譜數(shù)據(jù)特征往往復(fù)雜的現(xiàn)象，伏為峰［28］通過深度學(xué)習(xí)在特征提取階段展現(xiàn)出的優(yōu)勢(shì)與傳統(tǒng)分類器良好的分類能力構(gòu)建分析模型，結(jié)合深度信念網(wǎng)絡(luò)（DBN）與隨機(jī)森林（RFS）提出了一種新的藥品鑒別方法。實(shí)驗(yàn)表明，DBN?RFS具有良好的藥品鑒別能力，同時(shí)隨著數(shù)據(jù)特征維數(shù)的增加，DBN?RFS 越發(fā)體現(xiàn)DBN 在復(fù)雜特征下進(jìn)行特征提取的優(yōu)越性。Yang 等［29］將Dropout機(jī)制與DBN 結(jié)合對(duì)近紅外光譜進(jìn)行建模，實(shí)驗(yàn)表明Dropout?DBN 方法可以有效避免小樣本數(shù)據(jù)的過擬合問題，鑒別小樣本藥物的效果相比SVM 等經(jīng)典商業(yè)算法的性能更佳。Wu等［30］結(jié)合深度信念網(wǎng)絡(luò)和NIRs 分析技術(shù)提出了一種古陶瓷年代分類方法，實(shí)驗(yàn)結(jié)果表明相比一些傳統(tǒng)的分類方法，提出的方法準(zhǔn)確率更高，可達(dá)93.5%，證明了DBN方法的優(yōu)越性。

2 結(jié)語

本文分別對(duì)深度學(xué)習(xí)相關(guān)的理論思想作出了介紹，并說明了深度學(xué)習(xí)相較傳統(tǒng)學(xué)習(xí)方法的優(yōu)勢(shì)，著重介紹了卷積神經(jīng)網(wǎng)絡(luò)、深度自編碼器、深度信念網(wǎng)絡(luò)三個(gè)模型在NIRs 定性分析領(lǐng)域的應(yīng)用，為后續(xù)深度學(xué)習(xí)在NIRs 定性分析領(lǐng)域的應(yīng)用提供了參考。但深度學(xué)習(xí)可解釋性和可重復(fù)性不強(qiáng)限制了其在光譜分析領(lǐng)域的推廣，因此如何克服這些困難將深度學(xué)習(xí)與光譜分析更好地結(jié)合起來，急需廣大近紅外光譜分析領(lǐng)域的研究人員解決。