函數(shù)性線性回歸模型分析方法及其應(yīng)用

劉 鋒，譚祥勇，何 卓

(重慶理工大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，重慶 400054)

函數(shù)性線性回歸模型分析方法及其應(yīng)用

劉 鋒，譚祥勇，何 卓

(重慶理工大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，重慶 400054)

研究了自變量為函數(shù)性數(shù)據(jù)、響應(yīng)變量為標(biāo)量的函數(shù)性線性模型在Tecator Data數(shù)據(jù)集上的應(yīng)用。分別利用低階基函數(shù)的線性組合、帶粗糙懲罰的高階基函數(shù)的線性組合以及函數(shù)性主成分分析法得到函數(shù)性線性模型中回歸函數(shù)的估計(jì)。結(jié)果表明:這3種方法都能較好地估計(jì)出回歸函數(shù)，而其中函數(shù)性主成分分析法表現(xiàn)最優(yōu)。

函數(shù)性數(shù)據(jù)分析;函數(shù)性線性模型;函數(shù)性主成分分析

在傳統(tǒng)的數(shù)據(jù)分析中，通常所遇到的數(shù)據(jù)要么是截面數(shù)據(jù)，要么是時(shí)間序列數(shù)據(jù)。這些數(shù)據(jù)離散且具有有限的特征，并且有諸多的不足之處。例如，縱向數(shù)據(jù)過分依賴于條件假設(shè)，并且樣本所觀測到的數(shù)據(jù)都處于同一時(shí)間點(diǎn)。對于那些在不同時(shí)間上所觀測的數(shù)據(jù)，傳統(tǒng)的方法就不能很好地進(jìn)行統(tǒng)計(jì)推斷。隨著科學(xué)的進(jìn)步，我們所收集的數(shù)據(jù)不但包括一般的離散型數(shù)據(jù)，還包括具有函數(shù)形式的過程所產(chǎn)生的數(shù)據(jù)，例如數(shù)據(jù)自動收集系統(tǒng)收集的數(shù)據(jù)等，一般稱這種數(shù)據(jù)為函數(shù)性數(shù)據(jù)。函數(shù)性數(shù)據(jù)分析(functional data analysis)的概念最早由加拿大學(xué)者 Ramsay和 Dalzell于1991年提出，并且在文獻(xiàn)［1］中使用函數(shù)性主成分分析和線性模型對加拿大的溫度和降雨量進(jìn)行了實(shí)證分析。雖然函數(shù)性數(shù)據(jù)來源形式多樣，但其本質(zhì)都是由函數(shù)構(gòu)成。因此，在對函數(shù)性數(shù)據(jù)進(jìn)行分析時(shí)，可將觀測到的數(shù)據(jù)看作一個(gè)整體，而不是一串?dāng)?shù)字，這是函數(shù)性數(shù)據(jù)分析與傳統(tǒng)的統(tǒng)計(jì)分析的主要區(qū)別。近年來，對函數(shù)性數(shù)據(jù)分析方法的研究己有不少的成果，比如線性回歸分析［2-5］、函數(shù)性方差分析、函數(shù)性主成分分析、函數(shù)性典型相關(guān)分析、聚類分析［6］等。另外，利用擬合的光滑函數(shù)的導(dǎo)數(shù)對數(shù)據(jù)分析也取得了不少成果。張瑩等［7］介紹了主微分分析方法的原理。剡亮亮［8］介紹了主微分分析方法在函數(shù)性數(shù)據(jù)中的應(yīng)用。

本文運(yùn)用3種不同的方法來研究自變量是函數(shù)、因變量為標(biāo)量的函數(shù)性線性模型在 Tecator Data數(shù)據(jù)集上的應(yīng)用，通過實(shí)證分析來展現(xiàn)函數(shù)性數(shù)據(jù)的一些優(yōu)勢和特征。

1 函數(shù)性線性回歸模型與估計(jì)方法

函數(shù)性線性模型可分為協(xié)變量為函數(shù)性數(shù)據(jù)、響應(yīng)變量為標(biāo)量，協(xié)變量為標(biāo)量、響應(yīng)變量為函數(shù)性數(shù)據(jù)和協(xié)變量、響應(yīng)變量均為函數(shù)性數(shù)據(jù)這3種情況。對于第1種情況，其模型為

其中β(·)為未知的回歸函數(shù)。為得到其估計(jì)，設(shè)一組基函數(shù)為φk(t)，k=1，2，…，K，然后用低階的基函數(shù)的線性組合、帶粗糙懲罰的高階基函數(shù)線性組合以及函數(shù)性主成分分析法得到回歸函數(shù)的估計(jì)。本文主要利用這3種方法來進(jìn)行建模。

2 建立函數(shù)性線性模型

2.1 數(shù)據(jù)來源

本文數(shù)據(jù)來源于R軟件中的fda.usc程序包中的tecator data的數(shù)據(jù)。該數(shù)據(jù)集包含了240個(gè)樣本，每個(gè)樣本由100道吸收譜以及水分、脂肪、蛋白質(zhì)各占的比例所組成，其中前172個(gè)樣本為訓(xùn)練集，后68為測試集。為此，本文主要研究光譜的吸收率與水分的比例關(guān)系，且只取前172個(gè)樣本。

2.2 函數(shù)性線性模型建模

本文以光譜吸收率作為自變量x，以每個(gè)樣本所含水分的比例作為響應(yīng)變量Y，則所建立的函數(shù)性線性模型為(1．1)。由于得到的自變量是離散的，因此首先要將離散的數(shù)據(jù)轉(zhuǎn)化為函數(shù)形式，即利用所觀測的原始數(shù)據(jù)定義一個(gè)函數(shù)x(t)。如果獲得的離散值沒有觀測誤差，就稱這個(gè)過程為插值;如果獲得的數(shù)據(jù)含有觀測誤差，那么在將離散數(shù)據(jù)轉(zhuǎn)化為函數(shù)時(shí)，就需要對數(shù)據(jù)進(jìn)行修勻。解決這個(gè)問題的方法就是先選定一組基函數(shù)，然后利用基函數(shù)的線性組合來給出x(t)的估計(jì)。一般情況下，選擇B-樣條基和傅里葉基。前者適用于非周期性函數(shù)性數(shù)據(jù)，后者適用于周期性函數(shù)性數(shù)據(jù)。本文選取B-樣條基來擬合樣本。圖1為172個(gè)樣本的修勻曲線。

圖1 172個(gè)樣本的修勻曲線

以下將分別利用本文提到的3種方法來估計(jì)回歸函數(shù)。

1)采用低階基函數(shù)的線性組合估計(jì)回歸函數(shù)，即

在此方法中，設(shè)K=21。通過R軟件的計(jì)算，得到了截距α的估計(jì)為0．007 2，回歸參數(shù)函數(shù)β(t)的擬合曲線如圖2所示，其中虛線是置信度為95%的置信區(qū)間。通過計(jì)算，可以得到R2= 0.963 2，F(xiàn)=177．347 7，其中:R2為判定系數(shù)，反映模型的擬合優(yōu)度;F值反映方程的顯著性。圖3顯示了真實(shí)值與預(yù)測值，其中○表示真實(shí)值，△表示預(yù)測值。從圖3可以看出:函數(shù)性線性模型具有較好的預(yù)測功能。

圖2 利用低階基函數(shù)的線性組合估計(jì)的回歸函數(shù)擬合

圖3 真實(shí)值與預(yù)測值

2)利用帶粗糙懲罰的高階基函數(shù)的線性組合來估計(jì)回歸函數(shù)。

為了得到β(t)的估計(jì)，由文獻(xiàn)［9］可以極小化式(2)。

從式(2)可以看出:懲罰系數(shù)λ決定著β(t)的光滑程度，為此采用交叉核實(shí)方法來選擇光滑系數(shù)。由圖4可見:建議選擇光滑系數(shù)λ=10-5。

圖4 光滑參數(shù)估計(jì)效果

在此方法中，設(shè)K=63。通過R軟件的計(jì)算，得到了截距α的估計(jì)為0．007 2，回歸參數(shù)函數(shù)β(t)的擬合曲線如圖5所示，其中虛線是置信度為95%的置信區(qū)間。通過計(jì)算，可以得到R2= 0.970 6，F(xiàn)=165．449 2。圖6展示了其殘差的QQ圖，說明用高階基的線性組合，并加上粗糙懲罰所估計(jì)的方程和回歸函數(shù)都是有效的。

圖5 帶粗糙懲罰的回歸參數(shù)擬合

圖6 殘差的QQ圖

3)利用函數(shù)性主成分分析方法來估計(jì)回歸函數(shù)。

在離散型數(shù)據(jù)分析中，為了處理高維數(shù)據(jù)，往往會利用主成分分析來進(jìn)行降維。同樣，在函數(shù)性數(shù)據(jù)分析中，也可以利用函數(shù)性主成分分析法來提取樣本的主要成分。

為此先進(jìn)行主成分分析。本文選取了前4個(gè)主成分。圖7展示了前4個(gè)主成分偏離均值的效果。

圖7 前4個(gè)主成分偏離均值的效果

通過計(jì)算，β0的估計(jì)為0．632 2。圖8給出了β(t)的估計(jì)和其估計(jì)的逐點(diǎn)置信區(qū)間，其中虛線是置信度為95%的置信區(qū)間。從圖8和圖9可以看出:主成分分析方法同樣有較好的效果。

圖8 利用函數(shù)性主成分分析方法所估計(jì)的回歸參數(shù)擬合

圖9 殘差的QQ圖

3 結(jié)束語

本文通過低階基函數(shù)的線性組合、帶粗糙懲罰的高階基函數(shù)線性組合和函數(shù)性主成分分析法來估計(jì)函數(shù)性線性模型的回歸函數(shù)。結(jié)果表明:這3種方法對數(shù)據(jù)都有較好的解釋能力。另外，從回歸函數(shù)的置信區(qū)間上看，利用主成分分析方法得到的估計(jì)比其他2種方法好。這與普通的線性模型所表現(xiàn)的結(jié)果相同。與傳統(tǒng)的多元數(shù)據(jù)分析相比，函數(shù)性數(shù)據(jù)分析具有較多的優(yōu)越性。比如:函數(shù)性數(shù)據(jù)分析只依賴較少的假設(shè)條件和較弱的收斂結(jié)構(gòu)等;函數(shù)性線性模型可以處理高維的數(shù)據(jù)，而傳統(tǒng)的線性模型遇到高維的數(shù)據(jù)就顯得無能為力。

［1］Ramsay J O，Dalzell C J.Some tools for functional data analysis［J］.Journal of the Royal Statistical Society，1991，Series B:539-572.

［2］Cardot H，F(xiàn)erraty F，Sarda P.Functional linear model［J］.Statistic&Probability Letters，1999，45(1):11-22.

［3］Cardot H，F(xiàn)erraty F，Sarda P.Spline estimators for the functional linear model［J］.Statistica Sinica，2003，13 (3):571-592.

［4］He G，Müller H G，Wang J，et al.Function all inear regression via canonical analysis［J］.Bernoulli，2010，16 (13):705-729.

［5］Yao F，Müller H G，Wang J L.Functional linear regression analysis for longitudinal data［J］.The Annals of Statistics，2005，33(6):2873-2903.

［6］曾玉鈺，翁金鐘.函數(shù)數(shù)據(jù)聚類分析方法探析［J］.統(tǒng)計(jì)與信息論壇，2007，22(5):10-14.

［7］剡亮量.基于函數(shù)性視角的經(jīng)濟(jì)數(shù)據(jù)分析—以主微分分析為例［J］.統(tǒng)計(jì)與信息論壇，2013，28(1):40-46.

［8］張瑩，葉振軍.主微分分析方法在金融工程研究中的應(yīng)用［J］.統(tǒng)計(jì)與決策，2009(9):41-31.

［9］James O R，Hooker G，Graves S.Functional Data Analysis with R and MATLAB［M］.［S.l.］:Springer，2009.

(責(zé)任編輯劉 舸)

Methods of Functional Linear Regression Model and Its Applications

LIU Feng，TAN Xiang-yong，HE Zhuo
(College of Mathematics and Statistics，Chongqing University of Technology，Chongqing 400054，China)

We investigated the application of functional linear model in Tecator Data set with a scalar response and functional covariates.Then，we used the low-dimensional basis，combination of a highdimensional basis with a roughness penalty and low-dimensional approximation using principal component analysis method to estimate the regression function.The result show that these three methods perform can perform well in estimating regression function，especially the last method.

functional data analysis;functional linear model;functional principal analysis

O21

A

1674-8425(2015)11-0135-04

10.3969/j.issn.1674-8425(z).2015.11.023

2015-07-21

國家自然科學(xué)基金資助項(xiàng)目(11471060)

劉鋒(1973—)，男，湖北新化人，博士，副教授，主要從事非參數(shù)統(tǒng)計(jì)研究。

劉鋒，譚祥勇，何卓.函數(shù)性線性回歸模型分析方法及其應(yīng)用［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2015 (11):135-138.

format:LIU Feng，TAN Xiang-yong，HE Zhuo.Methods of Functional Linear Regression Model and Its Applications［J］.Journal of Chongqing University of Technology:Natural Science，2015(11):135-138.