基于LASSO算法的光譜變量選擇方法研究

王愷怡，楊 盛，郭彩云，卞?；?，3*

（1.天津工業(yè)大學(xué) 省部共建分離膜與膜過(guò)程國(guó)家重點(diǎn)實(shí)驗(yàn)室，化學(xué)工程與技術(shù)學(xué)院，天津 300387；2.紹興市柯橋區(qū)污染物總量控制中心，浙江 紹興 312030；3.宜賓學(xué)院 過(guò)程分析與控制四川省高校重點(diǎn)實(shí)驗(yàn)室，四川 宜賓 644000）

由于具有快速、無(wú)損、綠色等優(yōu)點(diǎn)，光譜分析技術(shù)已廣泛應(yīng)用于食品、石油化工、醫(yī)療和農(nóng)業(yè)等領(lǐng)域的復(fù)雜樣品分析［1］。其中建立一個(gè)準(zhǔn)確、穩(wěn)定的多元校正模型是光譜分析技術(shù)直接分析復(fù)雜樣品的關(guān)鍵。由于光譜中變量數(shù)通常大于樣本數(shù)，并且有些變量與預(yù)測(cè)組分無(wú)關(guān)，這可能降低模型的預(yù)測(cè)能力［2］。因此，在建模前需采用變量選擇去除無(wú)關(guān)變量的影響以提高模型的預(yù)測(cè)性能［3－7］。

最小絕對(duì)收縮與選擇算子（LASSO）是Tibshirani［8］提出的一種收縮估計(jì)方法。該方法在回歸系數(shù)絕對(duì)值之和小于一個(gè)常數(shù)的情況下，使殘差平方和（RSS）最小化，這意味著某些回歸系數(shù)會(huì)被縮小為零，從而達(dá)到變量選擇的目的。LASSO變量選擇在生物信息學(xué)和化學(xué)計(jì)量學(xué)領(lǐng)域得到了越來(lái)越多的關(guān)注［9－13］。基于LASSO的優(yōu)點(diǎn)，本文將其引入到復(fù)雜樣品的光譜定量分析中。首先利用LASSO對(duì)兩組復(fù)雜樣品的光譜進(jìn)行變量選擇，然后采用偏最小二乘（PLS）［14］和多元線性回歸（MLR）建立模型，并與無(wú)信息變量消除－PLS（UVE－PLS）［15］、蒙特卡羅結(jié)合無(wú)信息變量消除－PLS（MCUVE－PLS）［16］和隨機(jī)檢驗(yàn)－PLS（RT－PLS）［17］進(jìn)行比較。結(jié)果表明，基于LASSO的變量選擇方法計(jì)算時(shí)間短，選擇變量少且保持了較好的預(yù)測(cè)性能。

1 實(shí)驗(yàn)部分

1.1 算法原理

LASSO在普通最小二乘（OLS）函數(shù)的基礎(chǔ)上引入一范數(shù)正則化（L1）懲罰項(xiàng)來(lái)約束RSS，即在回歸系數(shù)的絕對(duì)值小于某個(gè)常數(shù)的條件下使RSS最小化。假設(shè)X=[x1，x2，…，x m]T∈Rm×p，y=[y1，y2，…，y m]T∈Rm×1和β=[β1，β2，…，βp]T∈R p×1，其中T表示矩陣的轉(zhuǎn)置，X、y和β分別是光譜、目標(biāo)值和回歸系數(shù)，m和p分別表示樣本數(shù)和變量數(shù)。已知X和y，求β，構(gòu)成線性回歸問(wèn)題：y=X×β+ε。它通常由OLS求解，優(yōu)化目標(biāo)函數(shù)如下：

-1表示矩陣的逆。在光譜分析中，變量個(gè)數(shù)通常遠(yuǎn)遠(yuǎn)大于樣品個(gè)數(shù)，即p?m，這將使(XTX)-1不可求。定義LASSO的公式為：

其中t為調(diào)優(yōu)參數(shù)。公式（2）等價(jià)于公式（3）：

假設(shè)XTX+λΩ-為非奇異矩陣，方程的解為：

參數(shù)λ需預(yù)先確定，它控制著回歸系數(shù)中零的數(shù)量。但在實(shí)際中很難確定λ的最佳值。Efron等［18－19］提出了用于快速求解LASSO的最小角回歸（LARS）算法。該算法通過(guò)前向梯度（Forward stagewise）策略尋找最佳變量集合，最初設(shè)定所有回歸系數(shù)都為0，每次迭代加入或刪除一個(gè)變量。LARS中的最佳模型位置s為重要參數(shù)，s為0表明無(wú)變量被選擇，s為1表示選擇了最大的變量數(shù)。通過(guò)采用交叉驗(yàn)證尋找模型的最佳位置s。LARS算法不僅解決了尋找最佳λ值的困難且提高了計(jì)算效率。因此，本研究采用LARS算法實(shí)現(xiàn)LASSO變量選擇。采用10折交叉驗(yàn)證和Sp準(zhǔn)則［18］確定最佳模型位置s以及回歸系數(shù)。

1.2 實(shí)驗(yàn)數(shù)據(jù)

本文選擇了兩組復(fù)雜樣品的光譜數(shù)據(jù)集驗(yàn)證LASSO方法的有效性。數(shù)據(jù)集1是50個(gè)三元調(diào)和油樣品的近紅外光譜數(shù)據(jù)。光譜使用近紅外（NIR）分光光度計(jì)（TJ270－60，天津市拓普儀器有限公司）采集，波長(zhǎng)范圍為800～2 500 nm，采樣間隔為1 nm，共1 701個(gè)波長(zhǎng)點(diǎn)。分析組分為香油、大豆油和稻米油。以香油的含量為目標(biāo)組分，采用Kennard－Stone（KS）方法對(duì)50個(gè)樣品數(shù)據(jù)進(jìn)行劃分，訓(xùn)練集樣品33個(gè)，預(yù)測(cè)集樣品17個(gè)。訓(xùn)練集的近紅外光譜如圖1A所示。

圖1 三元調(diào)和油的近紅外光譜圖（A）及生物樣品的拉曼光譜圖（B）Fig.1 NIR spectra of ternary blend oil samples（A）and Raman spectra of bio-fluid samples（B）

數(shù)據(jù)集2是文獻(xiàn)中90個(gè)生物樣品的拉曼光譜數(shù)據(jù)［20］。采用RP－1 Raman Identification System（美國(guó)印第安納州，西拉法葉，普渡研究園區(qū)Spectra code Inc.公司）拉曼光譜儀測(cè)定。拉曼光譜的采集曝光時(shí)間為25 s，波數(shù)范圍為2 636.3～473.6 cm－1，采樣間隔約為5 cm－1，共有422個(gè)波長(zhǎng)點(diǎn)。分析組分是人體尿液中含有的8種重要代謝物。本文以肌氨酸含量為研究對(duì)象。采用KS分組方法對(duì)90個(gè)樣品數(shù)據(jù)進(jìn)行劃分，訓(xùn)練集樣品60個(gè)，預(yù)測(cè)集樣品30個(gè)。訓(xùn)練集的拉曼光譜如圖1B所示。

2 結(jié)果與討論

2.1 最佳模型位置s的確定

通過(guò)LARS實(shí)現(xiàn)LASSO的變量選擇，第一步確定最佳模型位置s。首先設(shè)置s取值范圍為0～1，將其劃分1 000段，間隔0.001，采用10折交叉驗(yàn)證計(jì)算每個(gè)s下的RSS，即每個(gè)s得到10個(gè)RSS，取10個(gè)RSS的平均值得到最終的RSS。共計(jì)算了1 000個(gè)s下RSS的平均值，并采用Sp準(zhǔn)則，確定最佳模型s的位置。圖2A、B分別顯示兩個(gè)數(shù)據(jù)集的1 000個(gè)s下RSS的平均值以及標(biāo)準(zhǔn)差隨s的變化圖。

圖2 數(shù)據(jù)集1（A）和數(shù)據(jù)集2（B）的RSS隨著1 000個(gè)s值的變化圖Fig.2 Variation of RSS with 1 000 s values for dataset 1（A）and dataset 2（B）the solid line represents the average value of 10 RSS obtained by 10-fold cross-validation for each s value，the asterisk and short vertical line indicate the average values and standard deviations of RSS at each 50 s values（實(shí)線表示每個(gè)s值進(jìn)行10折交叉驗(yàn)證得到的10個(gè)RSS的平均值，星號(hào)和短豎線表示每隔50個(gè)s值處RSS的平均值以及標(biāo)準(zhǔn)差）

從圖2A、B可看出，當(dāng)s值為0時(shí)，RSS的均值最大。隨著s的增大，RSS的均值逐漸下降，后趨于平緩。10折交叉驗(yàn)證的標(biāo)準(zhǔn)差也隨s值的增大逐漸變小。數(shù)據(jù)集1的標(biāo)準(zhǔn)差大于相同s值對(duì)應(yīng)的數(shù)據(jù)集2的標(biāo)準(zhǔn)差。通過(guò)S p準(zhǔn)則選擇最佳模型對(duì)應(yīng)的s值，如圖中虛線所示，數(shù)據(jù)集1和數(shù)據(jù)集2的最佳s值分別為0.405和0.383。

2.2 LASSO的β系數(shù)分布

通過(guò)10折交叉驗(yàn)證和S p準(zhǔn)則得到最佳模型位置，選擇最佳位置進(jìn)行LASSO變量選擇得到β系數(shù)。圖3A、B分別顯示數(shù)據(jù)集1和2進(jìn)行LASSO選擇變量后的β系數(shù)分布。從圖3A可看出，對(duì)于數(shù)據(jù)集1，大多數(shù)的β系數(shù)均為0，說(shuō)明LASSO方法具有很好的數(shù)據(jù)稀疏性。β值不為零的系數(shù)值雖大小不一，但這些非零的變量均將被選擇，與數(shù)值大小無(wú)關(guān)。對(duì)于數(shù)據(jù)集2，從圖3B中可得到相似結(jié)論，該數(shù)據(jù)集選擇的變量主要集中在1 300～500 cm－1范圍內(nèi)。

圖3 數(shù)據(jù)集1（A）和數(shù)據(jù)集2（B）的LASSO的β系數(shù)分布Fig.3 Distribution ofβcoefficients in LASSO for dataset 1（A）and dataset 2（B）

2.3 不同變量選擇方法保留變量的分布

為了更好地考察LASSO變量選擇方法保留變量的分布情況，數(shù)據(jù)集1和2的訓(xùn)練集平均光譜和保留的變量分別顯示在圖4A、B中。作為對(duì)比，UVE、MCUVE和RT 3種變量選擇方法保留的變量也顯示在圖中。

圖4 數(shù)據(jù)集1（A）和數(shù)據(jù)集2（B）4種變量選擇方法保留變量的分布圖Fig.4 Distribution of retained variables by the four variable selectionmethods for dataset 1（A）and 2（B）

從圖4A可以看出，對(duì)于數(shù)據(jù)集1，UVE保留的變量最多；MCUVE保留的變量數(shù)目和UVE相比有所減少，但在UVE的變量范圍內(nèi)；RT保留的變量在UVE和MCUVE保留變量的范圍內(nèi)進(jìn)一步減少；LASSO則在RT保留的變量范圍內(nèi)進(jìn)一步減少變量。從圖4B可以看出，對(duì)于數(shù)據(jù)集2，UVE、MCUVE和RT保留的變量數(shù)相差不大且位置相似。LASSO保留的變量最少，變量所在的位置與其他3種變量選擇方法有部分重疊。結(jié)果表明LASSO保留變量的位置與其它變量選擇方法基本一致，且保留的變量更少。

2.4 不同方法的結(jié)果比較

為了驗(yàn)證LASSO的變量選擇方法效果，在LASSO變量選擇后分別建立了MLR和PLS模型，并與PLS、UVE－PLS、MCUVE－PLS、RT－PLS進(jìn)行比較。6種方法的保留變量數(shù)、RMSEP、R和運(yùn)行時(shí)間列于表1。其中保留變量數(shù)表明模型的簡(jiǎn)單程度，RMSEP和R值用于衡量模型的預(yù)測(cè)準(zhǔn)確度，運(yùn)行時(shí)間衡量模型的運(yùn)算效率。

表1 兩個(gè)數(shù)據(jù)集的不同建模方法的結(jié)果比較Table 1 Result comparison of different modeling methods for the two datasets

從表1可以看出，對(duì)于數(shù)據(jù)集1，UVE、MCUVE、RT和LASSO 4種變量選擇方法保留的變量數(shù)依次減少。其中LASSO保留的變量數(shù)最少，僅15個(gè)，少于數(shù)據(jù)集1訓(xùn)練集的33個(gè)樣品數(shù)。因此LASSO變量選擇后可建立MLR模型。與全波長(zhǎng)的PLS相比，進(jìn)行UVE、RT和LASSO變量選擇后建立的PLS得到的RMSEP小于PLS，且R值大于PLS，說(shuō)明這3種變量選擇方法均可提高PLS模型的預(yù)測(cè)準(zhǔn)確度，其中以LASSO－PLS的預(yù)測(cè)準(zhǔn)確度最高。而LASSO變量選擇后建立MLR模型的預(yù)測(cè)準(zhǔn)確度比LASSO－PLS差，PLS由于無(wú)變量選擇的步驟，因此其計(jì)算效率最高。LASSO－PLS、LASSO－MLR的計(jì)算效率比UVE、MCUVE、RT快1個(gè)數(shù)量級(jí)。因此，對(duì)于數(shù)據(jù)集1，綜合保留變量數(shù)、預(yù)測(cè)準(zhǔn)確度及運(yùn)算效率，LASSO－PLS的性能最佳。

對(duì)于數(shù)據(jù)集2，UVE、MCUVE和RT 3種變量選擇方法保留的變量均較少，預(yù)測(cè)準(zhǔn)確度明顯優(yōu)于PLS，且計(jì)算時(shí)間不超過(guò)5 s，說(shuō)明這3種變量選擇方法的效果良好。LASSO－MLR和LASSO－PLS能進(jìn)一步減少保留的變量，提高計(jì)算效率及PLS的預(yù)測(cè)準(zhǔn)確度，其中以LASSO－MLR的預(yù)測(cè)準(zhǔn)確度最高。兩個(gè)數(shù)據(jù)集的結(jié)果均表明，基于LASSO的變量選擇方法保留的變量數(shù)更少，計(jì)算效率高且能提高PLS模型的預(yù)測(cè)性能。

3 結(jié)論

本文利用兩個(gè)復(fù)雜樣品的近紅外和拉曼光譜數(shù)據(jù)集探究了基于LASSO的變量選擇方法在光譜變量選擇中的性能，并與PLS、UVE－PLS、MCUVE－PLS和RT－PLS方法在保留變量數(shù)、預(yù)測(cè)性能和運(yùn)算效率上進(jìn)行比較。結(jié)果表明，與其他3種變量選擇方法相比，基于LASSO的變量選擇方法不僅計(jì)算時(shí)間短，使用變量數(shù)少，還可以得到更高或者相當(dāng)?shù)念A(yù)測(cè)準(zhǔn)確度。因此，LASSO算法有望廣泛應(yīng)用于光譜的變量選擇。