高維單變點(diǎn)分位回歸的貝葉斯分析

慕娟

摘要：隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，越來越多的高維數(shù)據(jù)產(chǎn)生，且在許多應(yīng)用中，所調(diào)查的數(shù)據(jù)集顯示的是異方差的狀態(tài)。另一方面，模型中存在異常值可能會導(dǎo)致最小二乘估計(jì)量產(chǎn)生較大誤差，特別是當(dāng)誤差不是高斯分布且分布尾部足夠大時(shí)，不清楚變點(diǎn)前后兩個(gè)時(shí)刻誤差發(fā)生的變化，這時(shí)更適合考慮分位數(shù)回歸。因此嘗試?yán)秘惾~斯方法建立貝葉斯單變點(diǎn)分層分位回歸模型。利用shrinkage 和 diffusion先驗(yàn)，我們對變點(diǎn)進(jìn)行了充分的后驗(yàn)推斷，通過高效的Gibbs取樣，同時(shí)得到了每段變量選擇的后驗(yàn)概率。使用該方法，在計(jì)算上更加便捷有效。

Abstract： With the continuous development of computer technology， a large amount of high-dimensional data is generated. And in many applications， the data set has heteroscedastic characteristics. On the other hand， if the assumptions on the first two moments of the model error are not satisfied， then the LS framework breaks down. The quantile regression is robust and allows relaxation of the two first moment conditions of the model error， especially when the error is not a Gaussian distribution and the tail of the distribution is large enough. So we try to use Bayesian method to establish Bayesian single-change point hierarchical quantile regression model. Using shrinkage and diffusion priors， we have performed sufficient posterior inference on the change points， and obtained the posterior probability of each segment variable selection at the same time through efficient Gibbs sampling. This method is more convenient and effective in calculation.

關(guān)鍵詞：高維數(shù)據(jù);分位回歸;貝葉斯方法

Key words： high-dimensional data;quantile regression;Bayesian method

中圖分類號：O212.8? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2020）10-0268-03

0? 引言

復(fù)雜數(shù)據(jù)集的出現(xiàn)使得現(xiàn)代統(tǒng)計(jì)建模和推理不斷地發(fā)展與更新。其中，數(shù)據(jù)集中的觀測數(shù)據(jù)的維數(shù)超過了數(shù)據(jù)集的大小時(shí)則稱為高維數(shù)據(jù)集。由于科技的發(fā)展，使得數(shù)據(jù)的獲取來源更廣且更容易，這種高維數(shù)據(jù)集現(xiàn)在普遍存在于各種不同的領(lǐng)域，包括生物學(xué)、天文學(xué)、經(jīng)濟(jì)和社會科學(xué)，因此我們也不能使用傳統(tǒng)統(tǒng)計(jì)工具研究這些數(shù)據(jù)集。

在許多應(yīng)用中，獲得的數(shù)據(jù)集顯示的是異方差的狀態(tài)，這時(shí)使用變點(diǎn)線性模型將更為便捷和準(zhǔn)確，變點(diǎn)線性回歸模型是一個(gè)變點(diǎn)問題的子類，其中將響應(yīng)與預(yù)測變量相關(guān)的線性模型表示為不同的數(shù)據(jù)段上發(fā)生變化。另一方面，模型中存在異常值可能會導(dǎo)致最小二乘估計(jì)量產(chǎn)生較大誤差，特別是當(dāng)誤差不是高斯分布且分布尾部足夠大時(shí)，不清楚變點(diǎn)前后兩個(gè)時(shí)刻誤差發(fā)生的變化，這時(shí)更適合考慮分位數(shù)回歸。數(shù)據(jù)集的分割通?；陂撝底兞康奈粗凕c(diǎn)，如時(shí)間或年齡，或者數(shù)據(jù)中觀察到的其他相關(guān)變量的綜合影響。經(jīng)濟(jì)數(shù)據(jù)集是變點(diǎn)線性模型應(yīng)用的主要領(lǐng)域。許多經(jīng)濟(jì)時(shí)間序列數(shù)據(jù)集可以在不同的政治和金融體制下收集，可以通過變點(diǎn)的判斷分析政策效應(yīng)。在低維背景下，Carlin等人[1]（1992）使用Gibbs抽樣利用貝葉斯推斷變點(diǎn)線性模型中每段的變點(diǎn)位置和回歸系數(shù)。盡管有關(guān)高維回歸和變化點(diǎn)模型的貝葉斯文獻(xiàn)很多，但關(guān)于高維變點(diǎn)模型的貝葉斯方法很少。

目前對于低維情況下的變點(diǎn)線性回歸已經(jīng)做了大量的工作，但是高維變化點(diǎn)回歸嚴(yán)重不足。懲罰最小二乘方法，如Lasso（Tibshiani [2]1994）、SCAD（FAN和Li[3]2001），彈性網(wǎng)（Zou和Hastie[4]2005）、自適應(yīng)Lasso（Zou[5]2006）等被廣泛應(yīng)用于高維回歸分析。貝葉斯方法通常通過對回歸系數(shù)使用分層先驗(yàn)來進(jìn)行變量選擇。貝葉斯變量選擇方法包括隨機(jī)搜索變量選擇（George和McCulloch[6]1993），spike and slab先驗(yàn)（Ishwaran和Rao[7]2005），Bayes Lasso（Park和Casella[8]2008），shrinkage and diffusion先驗(yàn)（Narisetty和He[9]2014年）。貝葉斯對于變點(diǎn)問題的研究我們參考了龍振環(huán)，張飛鵬，周小英[10]（2017），他們先通過Lasso和廣義貝葉斯信息準(zhǔn)則確定變點(diǎn)個(gè)數(shù)，再通過線性化技巧來估計(jì)變點(diǎn)的位置與回歸系數(shù)，且周小英[11]（2018）探索單變點(diǎn)和多變點(diǎn)的逐段連續(xù)線性分位回歸模型，研究模型中變點(diǎn)的存在性、變點(diǎn)的個(gè)數(shù)以及參數(shù)的估計(jì)與統(tǒng)計(jì)推斷問題。

本文在貝葉斯的框架下來擬合高維變點(diǎn)的分位回歸模型，利用分段shrinkage and diffusion先驗(yàn)，我們對變點(diǎn)進(jìn)行了充分的后驗(yàn)推斷，通過高效的Gibbs取樣，同時(shí)得到了變點(diǎn)參數(shù)及每段變量選擇的后驗(yàn)概率。

1? 貝葉斯分位數(shù)回歸模型Gibbs抽樣方法

普通回歸模型表示為： ，在經(jīng)典分位回歸模型文獻(xiàn)中，誤差密度fp（·）往往是不確定的。因此，參數(shù)βp的分位數(shù)回歸估計(jì)是通過最小化下式得到

式中ρp（·）是損失函數(shù)，且定義為：ρp（u）=u{p-1（u<0）}。并假定εi具有密度不對稱拉普拉斯分布

由上述分布性質(zhì)我們可以得到誤差分布的均值和方差為并將誤差項(xiàng)進(jìn)行改寫

其中？準(zhǔn)（x）表示標(biāo)準(zhǔn)正態(tài)分布的密度。我們觀察到，βk，Zkj和σ2的全條件服從共軛分布，很容易通過Gibbs抽樣更新。只有p（τ|·）不符合任何標(biāo)準(zhǔn)可能性，我們在Gibbs“采樣器”內(nèi)使用隨機(jī)行走M(jìn)etropolis-Hastings步驟來更新。

3? 總結(jié)

本文首次將貝葉斯推斷方法引入到高維變點(diǎn)分位回歸中，利用shrinking 和 diffusio先驗(yàn)進(jìn)行降維判斷不同階段變點(diǎn)的存在，利用貝葉斯分位分層模型其特有的性質(zhì)，更加簡便快速的估計(jì)出變點(diǎn)參數(shù)及分位系數(shù)。

參考文獻(xiàn)：

[1]Narisetty N N ， He X . Bayesian variable selection with shrinking and diffusing priors[J]. The Annals of Statistics， 2014， 42（2）：789-817.

[2]Carlin B P， Smith G A F M. Hierarchical Bayesian Analysis of Changepoint Problems[J]. Journal of the Royal Statistical Society. Series C （Applied Statistics）， 1992， 41（2）：389-405.

[3]Tibshirani R . Regression Shrinkage and Selection Via the Lasso[J]. Journal of the Royal Statistical Society Series B （Methodological）， 1996， 58（1）：267-288.

[4]Fan J， Li R. Variable Selection via Nonconcave Penalized Likelihood and its Oracle Properties[J]. Publications of the American Statistical Association， 2001， 96（456）：1348-1360.

[5]George， E. I. and McCulloch， R. E. Variable Selection via Gibbs Sampling[J]. Journal of the American Statistical Association， 1993， 88， 881-889.

[6]Ishwaran H， Rao J S. Spike and slab variable selection： Frequentist and Bayesian strategies[J]. The Annals of Statistics， 2005， 33（2）：730-773.

[7]Park， T. and Casella， G. The Bayesian Lasso[J]. Journal of the American Statistical Association， 2008， 103， 681-686.

[8]Narisetty， N. N. and He， X. Bayesian Variable Selection with Shrinking and Diffusing Priors[J]. The Annals of Statistics， 2014， 42， 789-817.

[9]龍振環(huán)，張飛鵬，周小英.帶多個(gè)變點(diǎn)的逐段連續(xù)線性分位數(shù)回歸模型及應(yīng)用[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究，2017（08）：151-162.

[10]周小英.逐段連續(xù)線性分位數(shù)回歸模型的統(tǒng)計(jì)推斷及其應(yīng)用[D].湖南大學(xué)，2018.