非參數(shù)回歸模型的貝葉斯局部線性估計

龍杏芬,張德生,武新乾

非參數(shù)回歸模型的貝葉斯局部線性估計

龍杏芬1,張德生1,武新乾2

(1.西安理工大學理學院,陜西西安710054;2.河南科技大學理學院,河南洛陽471003)

對于非參數(shù)回歸模型^y=m(x)+ε,在局部線性估計中窗寬h的先驗分布為Gamma分布的條件下,用未知光滑函數(shù)m(x)的后驗均值構造了它的貝葉斯估計,并給出了參數(shù)的后驗分布和抽樣方法.模擬算例證明了貝葉斯局部線性估計方法的可行性.

窗寬;局部線性估計;貝葉斯方法;Gibbs抽樣方法

考慮非參數(shù)回歸模型

其中x∈R為固定設計變量,m(x)是未知光滑函數(shù),ε為隨機誤差,它反映了除解釋變量外其他影響被解釋變量的可觀察或不可觀察的因素對被解釋變量的影響以及模型的設定誤差等.

對m(x)的估計已有豐富的研究成果,如:柴根象和洪圣巖[1]、Fan和Yao[2].其中,局部線性估計是一種重要的、常用的估計方法,但是,使用該方法的一個關鍵問題是窗寬h的選擇.對于固定窗寬,當h太大時,會得到過度光滑的曲線,產(chǎn)生一個很大的模型偏差;當h太小時,會造成過度擬合數(shù)據(jù),即除了數(shù)據(jù)點外其他點的函數(shù)值均為零[3].對于變窗寬,需掌握解釋變量的分布信息以改進估計的效率[4].近年來,一些學者提出了窗寬選擇的貝葉斯方法.如:歐祖軍[3]基于貝葉斯方法研究了m(x)的局部多項式估計,但他考慮的是小區(qū)間個數(shù)和結點位置為隨機變量的情形.其他估計方法還有盧一強和茆詩松[5]等.Crainiceanu C等[6]給出了罰樣條回歸的Bayes統(tǒng)計分析.

本文將窗寬h看作隨機變量,基于貝葉斯方法構造了m(x)的局部線性估計,給出了有關參數(shù)的后驗分布和抽樣方法.

1 貝葉斯局部線性估計

局部線性估計為最小化

其中,Kh(u)=h-1K(h-1u)為概率密度函數(shù).m(x)的局部線性估計等價于落在[x-h,x+h]上的xi和與其對應的yi的模型

即

的最小二乘估計.m(x)的局部線性估計的矩陣表示為

其中 e1=(1,0)T,Xx=(Xx,1,…,Xx,n)T,Xx,i=(1,(xi-x))T,

對于模型(4),假定εi為獨立同分布誤差,服從N(0,σ2),觀察數(shù)據(jù)D=(xi,yi)ni=1.記β=(m(x),m′(x))T,(β,σ2)為給定h之后的參數(shù)向量,選擇h的先驗分布為P(h),參數(shù)(β,σ2)的先驗分布為P(β,σ2|h),用β的后驗均值構造它的貝葉斯估計.由隨機變量的貝葉斯公式[7],參數(shù)向量(β,σ2)的聯(lián)合后驗分布與下式成比例,即

本文的主要結果如下.

定理1 給定h,K(·)是概率密度函數(shù),如果取(β,σ2)的先驗分布為無信息的先驗分布P(β,σ2|h)∝,則(β,σ2)的后驗分布為正態(tài)倒伽馬分布

證明 由假設εi～N(0,σ2)且獨立同分布,有

所以,似然函數(shù)為

由式(6),(β,σ2)的聯(lián)合后驗分布與下式成比例

其中 ^β=(XTWxX)-1XTxWxY,S=Wx-WTxXx(XTxWxXx)-1XTxWx.

給定h,參數(shù)β,σ2的聯(lián)合后驗分布與上式成正比.所以,β,σ2的后驗分布分別為:

證畢.

推論1 在定理1的條件下,取h的先驗分布為P(h),根據(jù)隨機變量的貝葉斯公式[7],h的后驗分布如下式:

證明 同定理1,此處從略.

注1 從形式上看,參數(shù)β的貝葉斯估計與其最小二乘估計量完全相同,但二者有著根本不同的含義[8]:此處β是隨機變量,其后驗均值^β是一個具體的數(shù);而在經(jīng)典統(tǒng)計推斷理論體系中,β只是未知參數(shù),不具有隨機性,其最小二乘估計^β是隨機變量.

注2 由定理1可知:給定h,參數(shù)β,σ2的后驗分布是簡單的,但h的后驗分布是比較復雜的,不存在解析表達式.在式(9)中,令,應用如下的篩選技術[9]:雖然h的后驗分布表達式比較復雜,但可以找到G (h)的一個上界,即存在一個常數(shù)c,使得G(h)≤c,此時,P(h|Y,β,σ2)≤ecP(h)對一切h均成立.然后,再根據(jù)P(h)抽樣,若滿足一定條件就作為來自滿條件后驗分布的樣本.

特別的,類似于定理1和推論1的證明可得:

定理2 取定h,若K(·)是[-1,1]上的均勻分布的概率密度函數(shù)K0(·),取(β,σ2)的先驗分布為無信息的先驗分布P(β,σ2|h)∝.則(β,σ2)的后驗分布為正態(tài)倒伽馬分布:

推論2 在定理2的條件下,取h的先驗分布為P(h),根據(jù)隨機變量的貝葉斯公式[7],h的后驗分布如下式:

2 計算方法

為了方便計算,記θ=(β,σ2,h),θ的更新過程是一個Gibbs抽樣[5]過程.下面給出算法:

(1)確定β,σ2,h的初值,即θ0=(β0,σ2(0),h0);

(2)根據(jù)P(β|Y,hk,σ2(k))抽取βk+1;

(3)根據(jù)P(σ2|Y,βk+1,hk)抽取σ2(k+1);

(4)根據(jù)P(h|Y,βk+1,σ2(k+1))抽取hk+1;

(5)生成θk+1=(βk+1,σ2(k+1),hk+1),

這樣,就得到了一個收斂于(β,σ2,h)的后驗分布式的序列.舍去前有限項,用留下的項作為樣本計算樣本均值來估計β.

3 數(shù)值模擬

例 解釋變量為確定性變量,隨機誤差項{ui}獨立同分布.模擬的模型為Yi=sin(2exp(Xi+1))+ui,讓Xi在[0,1]上取值,Xi=,i=1,…,120,ui～N(0,0.25),i=1,…,120.取h的先驗分布為p(h)=G (8,100),P(β,σ2)∝,σ2(0)=0.25,h(0)=0.08,k=1 000,核函數(shù)選用拋物線核K(u)=0.75(1-u2)+.得到樣本后,舍去前700項,用后300項,每隔10個取一個用于數(shù)據(jù)分析,得到30個后驗樣本.計算后驗均值得到m(x)的估計如下圖1,圖2為不變窗寬局部線性估計(h=0.08).

圖1 m(x)的貝葉斯估計Fig.1 Bayesian estimator ofm(x)

圖2 m(x)的局部線形估計Fig.2 Local linear estimator ofm(x)

表1 貝葉斯估計和局部線性估計的MS E和R2Table 1 MSEandR2of Bayesian estimator and Local linear estimator

由表1可以看出貝葉斯估計同局部線性估計相比較,殘差平方和及均方差較小,而擬合優(yōu)度有所提高.從本例可以看出:當不易選擇窗寬h時,使用貝葉斯方法也能得到m(x)的較好的估計.

4 結論

本文基于非參數(shù)回歸模型的局部線性估計方法和貝葉斯理論,構造了一元非參數(shù)回歸模型的貝葉斯估計,用m(x)的后驗均值構造了它的貝葉斯估計,同時給出了參數(shù)的后驗分布和抽樣方法.模擬算例證明了貝葉斯估計的可行性.

[1] 柴根象,洪圣巖.半?yún)?shù)回歸模型[M].合肥:安徽教育出版社,1995.

[2] FAN J,YAO Q.Nonlinear Time Series:Nonparametric and Parametric Methods[M].New York:Springer-Verlag.

[3] 歐祖軍.基于Bayes方法的非參數(shù)估計[D].南京:東南大學,2005.1.

[4] 葉阿忠.非參數(shù)計量經(jīng)濟學[M].天津:南開大學出版社,2003.

[5] 盧一強,茆詩松.非參數(shù)Bayes樣條回歸[J].華東師范大學學報(自然科學版),2004,12(4):33-39.

[6] CRAINICEANU C,RUPPERT D,WANG M P.Bayesian Analysis for Penalized Spline Regression Using WinBUGS.[J]. Journal of Statistical Sof tware,2005,31(3):1-24.

[7] 茆詩松,王靜龍,濮曉龍.高等數(shù)理統(tǒng)計[M].北京:高等教育出版社,2006.

[8] 朱慧明,韓玉啟,等.貝葉斯多元統(tǒng)計推斷理論[M].北京:科學出版社,2006.

[9] 髙惠璇.統(tǒng)計計算[M].北京:北京大學出版社,1995.

[10] 田亞愛,田 錚,武新乾,等.具有非參數(shù)AR(1)誤差的回歸模型的局部線性估計[J].工程數(shù)學學報,2008,4(2):253-259.

[11] 王 琳.非參數(shù)局部線性估計方法及對中國股市杠桿效應的實證分析[J].大眾科技,2008,5(5):185-187.

Bayesian Local Linear Estimation for Nonparametric Regression Model

LONG Xing-fen1,ZHANG De-sheng1,WU Xin-qian2
(1.School of Science,Xi’an University ofTechnology,Xi’an710054,China; 2.School of Science,Henan University of Science and Technology,L uoyang471003,China)

The nonparametric regression model^y=m(x)+εis considered,wherem(x)is a smooth function.Bayesian local linear estimator of nonparametric functionm(x)is constructed by the average of samples from posterior distribution under the prior distribution of bandwidthhfollows Gamma distribution. Posterior distribution of parameters and a sampling method are also given.An example is simulated to show the feasibility of the method.

bandwidth;local linear estimation;Bayesian method;Gibbs sampling

O212.8

A

0253-2395(2010)03-0371-04

2009-09-21;

2009-10-28

國家自然科學基金(50779055)

龍杏芬(1984-),女,山西長治人,碩士研究生,研究領域為應用概率統(tǒng)計.E-mail:duijiaojuzhen@163.com