基于部分線性回歸的紅外光譜多元校正方法

郭露，彭江濤，付輝敬

(湖北大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院, 湖北 武漢 430062)

基于部分線性回歸的紅外光譜多元校正方法

郭露，彭江濤，付輝敬

(湖北大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院, 湖北 武漢 430062)

對(duì)于紅外光譜數(shù)據(jù)而言，光譜-濃度關(guān)系常表現(xiàn)為一種復(fù)雜的混合線性關(guān)系. 本文中提出一種部分線性回歸算法，將復(fù)雜的光譜-濃度目標(biāo)回歸函數(shù)分解為線性和非線性決策函數(shù)之和. 具體地，采用一序列的線性和非線性核函數(shù)來構(gòu)建回歸模型，分別用于逼近目標(biāo)函數(shù)中的線性和非線性成分. 本文中所提出的的方法與偏最小二乘回歸算法和正則化最小二乘回歸算法在3個(gè)實(shí)例數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比.實(shí)驗(yàn)結(jié)果表明，本文中提出的算法具有更高的預(yù)測(cè)精度.

部分線性回歸; 紅外光譜; 多元校正

多元校正是化學(xué)計(jì)量學(xué)中的一個(gè)非常有力的工具.多元校正能夠在光譜和對(duì)應(yīng)的濃度之間建立一個(gè)回歸模型，揭示物質(zhì)成分之間的定量關(guān)系.傳統(tǒng)的多元校正通常假定回歸模型是呈線性關(guān)系的，例如多元線性回歸(MLR)、 主成分回歸(PCR)以及偏最小二乘回歸(PLS)[1-3].在這些方法中，PLS在化學(xué)計(jì)量學(xué)中的應(yīng)用最為廣泛.

PLS將高維預(yù)測(cè)變量投射到低維的、不相關(guān)的潛在變量集合中，并要求潛在變量與響應(yīng)之間有最大的協(xié)方差.當(dāng)變量數(shù)量遠(yuǎn)超過樣本數(shù)量或者數(shù)據(jù)中存在共線性預(yù)測(cè)變量時(shí)，PLS是非常有效的方法[1-3]. 然而，當(dāng)數(shù)據(jù)表現(xiàn)出很強(qiáng)的非線性特征時(shí)，傳統(tǒng)的線性PLS方法不能完全描述光譜與相應(yīng)的濃度之間的關(guān)系，因而會(huì)產(chǎn)生較大的誤差.

為了更好地描述光譜和濃度之間的非線性關(guān)系，正則化最小二乘回歸算法(RLS)[4]用核函數(shù)來表示決策函數(shù). 由于核函數(shù)可完全由訓(xùn)練集中的輸入樣本決定，選擇一個(gè)合適的非線性核(例如高斯徑向基核)，RLS就能很好地實(shí)現(xiàn)非線性回歸.但是，單核RLS的能力是非常有限的，對(duì)于復(fù)雜的非線性光譜數(shù)據(jù)，單核RLS并不適用.如果回歸函數(shù)由多種不同成分組成，例如，既包含線性成分又含有非線性成分，既包含平坦成分又包含陡變成分，此時(shí)RLS會(huì)造成過擬合或者欠擬合現(xiàn)象.因此，采用多種不同類型的核函數(shù)組會(huì)比單核更加有效，線性核和非線性核分別能夠處理目標(biāo)函數(shù)中的線性部分和非線性部分.

在本文中，我們提出一種部分線性回歸算法(PLR)，用于多元校正.在PLR 中，目標(biāo)回歸函數(shù)表示為線性和非線性核決策函數(shù)的和，每個(gè)核函數(shù)能夠逼近目標(biāo)函數(shù)中的不同成分.

1 算法

學(xué)習(xí)理論中回歸問題的目的是從樣本中學(xué)習(xí)到回歸函數(shù)或者得到其好的逼近.在最小二乘回歸問題中，尋找回歸函數(shù)的最小二乘正則化算法是與Mercer核K相聯(lián)系的. 設(shè)K:X×X→R是一連續(xù)、對(duì)稱且正定的函數(shù)，稱為Mercer核[5].由核K生成的再生核希爾伯特空間HK定義為由函數(shù)集{Kx:=K(x,·):x∈X}所張成的閉包，其中內(nèi)積〈·,·〉HK=〈·,·〉K定義為〈Kx,Kx′〉K=K(x,x′)，再生性表現(xiàn)為

〈Kx,Kx′〉K=K(x,x′)

(1)

與Mercer核K相聯(lián)系的回歸問題的最小二乘正則化算法定義為：根據(jù)一個(gè)訓(xùn)練樣本集z={(x1,y1),(x2,y2),…,(xn,yn)}，尋找與z相關(guān)聯(lián)的最小二乘優(yōu)化問題的最小化函數(shù)：

(2)

其中，λ≥0是正則項(xiàng)參數(shù).根據(jù)表示理論[6]，問題(2)的解可表示為：

(3)

同時(shí)，α=(α1,…,αn)T也是適定線性問題(4)的唯一解.

(nλI+K[x])α=y

(4)

在(4)式中，K[x]是n×n的矩陣，第(i,j)個(gè)元素為K(xi,xj)，以及y=(y1,y2,…,yn)T. 問題(2)的正則項(xiàng)滿足

(5)

(6)

(7)

(8)

在(8)式中，Kt[x]是n×n的矩陣，第(i,j) 個(gè)元素為Kt(xi,xj)，以及y=(y1,y2,…,yn)T.

(24)

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集 選取3個(gè)公共數(shù)據(jù)集來進(jìn)行測(cè)試分析.

對(duì)于不同算法，均采用均方誤差根(RMSEP)來衡量其預(yù)測(cè)性能.RMSEP衡量測(cè)試集樣本的預(yù)測(cè)值與實(shí)際值之間的差異程度，定義為：

(25)

3 結(jié)果分析

3.1Corn數(shù)據(jù)集Corn數(shù)據(jù)集包含水分、油脂、蛋白質(zhì)和淀粉這4種成分的校正問題.對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化，采取交叉驗(yàn)證的方法對(duì)各個(gè)算法尋找最優(yōu)參數(shù)，得到的最優(yōu)參數(shù)結(jié)果見表(1)中的第一行.利用最優(yōu)參數(shù)建立回歸模型，代入測(cè)試數(shù)據(jù)得到預(yù)測(cè)結(jié)果見表(2).結(jié)果顯示，對(duì)于Corn數(shù)據(jù)集4種成分，PLR方法預(yù)測(cè)結(jié)果的均方誤差RESEP均低于PLS和RLS. 總體而言，PLR算法的預(yù)測(cè)能力更強(qiáng).

表1 不同算法的最優(yōu)參數(shù)——不同數(shù)據(jù)集

表2 不同算法的預(yù)測(cè)結(jié)果——Corn

圖1 真實(shí)值與預(yù)測(cè)值的對(duì)比圖

3.2 Tablet 2002數(shù)據(jù)集 對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化，采取交叉驗(yàn)證的方法對(duì)各個(gè)算法尋找最優(yōu)參數(shù)，得到的最優(yōu)參數(shù)結(jié)果見表(1)中的第二行.利用最優(yōu)參數(shù)建立回歸模型，代入測(cè)試數(shù)據(jù)得到預(yù)測(cè)結(jié)果.3種方法預(yù)測(cè)結(jié)果的均方誤差分別為4.693 7、4.581 3和4.126 5. 可以看出，本文中算法可使預(yù)測(cè)精度得到提高，性能優(yōu)于PLS 和RLS算法. 為了更好地看出各個(gè)算法的擬合效果，圖1中顯示各算法的預(yù)測(cè)

表3 不同算法的預(yù)測(cè)結(jié)果——Meat

值與真實(shí)濃度值之間的擬合效果圖.從圖中可以看出， PLR算法具有更好的擬合精度.

3.3 Meat數(shù)據(jù)集 同樣地，Meat數(shù)據(jù)集的最優(yōu)參數(shù)結(jié)果見表1中的最后一行.利用最優(yōu)參數(shù)建立回歸模型，針對(duì)測(cè)試數(shù)據(jù)得到預(yù)測(cè)結(jié)果見表3.從結(jié)果可以看出，對(duì)于水分、脂肪、和蛋白質(zhì)這3 種成分，PLR方法的預(yù)測(cè)結(jié)果均優(yōu)于PLS和RLS.

4 結(jié)論

針對(duì)復(fù)雜光譜數(shù)據(jù)的多元校正問題，本文中提出一種部分線性回歸算法(PLR)，其決策函數(shù)被表示為多核組合形式. 由于多核(多類型核、多尺度核)決策函數(shù)具有更強(qiáng)的預(yù)測(cè)能力，能夠逼近光譜回歸函數(shù)中的不同成分， 本文中所提出的PLR算法在3個(gè)公共數(shù)據(jù)集上都展現(xiàn)出了比傳統(tǒng)算法(如偏最小二乘回歸和正則化最小二乘回歸)更優(yōu)的預(yù)測(cè)性能.

[1] Wold B S, Ruhe A, Wold H, et al. III, The collinearity problem in linear regression: The partial least squares approach to generalized inverses[J]. Siam Journal on Scientific & Statistical Computing, 2013, 5(3):735-743.

[2] Wold H.Soft modelling by latent variables: the nonlinear iterative partial least squares approach[M].Perspectives in Probability and Statistics, London:Academic Press:1975, 520-540.

[3] Haaland D M, Thomas E V, Chem A. Partial Least-Sqares Methods for Spectral Analyses.1. Relation to Other Quantitative Calibration Methods and the Extraction of Quantitative Information[J]. Analytical Chemistry, 1988, 60(11):1193-1202.

[4] Xu Y L, Chen D R, Li H X, et al. Least square regularized regression in sum space.[J]. IEEE Transactions on Neural Networks & Learning Systems, 2013, 24(4):635-646.

[5] Aronszajn A. Theory of reproducing kernels. Trans Am Math Soc[J]. Transactions of the American Mathematical Society, 1950, 68(3):337-404.

[6] Cucker F, Smale S. On the mathematical foundations of learning[J]. Bulletin of the American Mathematical Society, 2001, 39(1):332.

(責(zé)任編輯 趙燕)

Partially linear regression for multivariate calibration of spectroscopic data

GUO Lu, PENG Jiangtao, FU Huijing

(Faculty of Mathematics and Statistics, Hubei University, Wuhan 430062, China)

Spectra-concentrate relation is usually a very complex and mixed linear relation.In this paper,a partially linear regression (PLR) algorithm is proposed for multivariate calibration of spectroscopic data.In PLR,the target regression function is represented as the sum of several linear and nonlinear kernel decision functions, where each single kernel function with specific type and scale can approximate certain component of the target function. The proposed method is compared, in terms of RMSEP, with partial least squares regression (PLS) and regularized least-squares regression (RLS) method on three real spectroscopic data sets.Experimental results demonstrate that the proposed PLR method shows superiority over PLS and the single kernel RLS.

partially linear regression; infrared spectroscopy; multivariate calibration

2017-06-01

湖北省教育廳中青年人才項(xiàng)目(Q20161003)資助

郭露(1992-)，女，碩士生；付輝敬，通信作者，講師，E-mail: fxy0204@126.com

1000-2375(2017)05-0546-04

X36

A

10.3969/j.issn.1000-2375.2017.05.020