線性回歸模型變點位置估計的收斂速度

楊兆新，魏岳嵩，賈偉亞①

（淮北師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，安徽 淮北235000）

0 引言

在線性回歸模型中進行變點檢測和估計是統(tǒng)計學(xué)中的一個常見的研究內(nèi)容. 文獻［1］考慮線性回歸模型中變點數(shù)目問題，但在檢測變點位置時需要2個階段. 文獻［2］考慮用分位數(shù)LASSO（Least absolute shrinkage and selection operator）方法對變點的數(shù)目和位置進行后驗檢測，但使用的方法相對笨拙. 文獻［3-5］考慮LASSO估計框架內(nèi)分段常數(shù)模型中的一個簡單位置變點問題. 文獻［6］考慮將分段常數(shù)變點問題推廣為分段線性模型，并在［7-10］中給出一個更一般的線性場景. 本文利用分位數(shù)LASSO 方法研究線性回歸模型變點位置估計問題，主要給出當(dāng)估計的變點數(shù)和變點的真實數(shù)目一致時，變點位置估計的收斂速度.

1 模型與假設(shè)

考慮如下線性回歸模型：

假設(shè)1 均值μ?k∈R，其中k=1,2,…,K?+1.

假設(shè)2 隨機誤差項有概率密度f(x)，且 |f′(x)|＜∞.

假設(shè)3其中{δn} 是遞減序列，且δn→0(n→∞).

假設(shè)4 記且n→∞時，λn δn→0.

假設(shè)5 變點的數(shù)目Κ?∈Ν 固定不變.

2 主要結(jié)論與證明

變點位置βn的分位數(shù)LASSO估計量為

證明根據(jù)文獻［11］中引理3，引理得證.

引理2 設(shè)A 和B 是2個隨機變量，x是任意正實數(shù)，，則對于任意常數(shù)v ＞1，有

證明由于 ||A+B ≥ ||A-||B ，故由題設(shè)知

因此

引理得證.

引理3 令是兩個正的序列，滿足且滿足假設(shè)2. 則有

其中F是εi的分布函數(shù).

證明首先，由概率的性質(zhì)有

通過Dvoretzky-Kiefer-Wolfowitz's不等式［12］對于獨立的伯努利隨機變量I{}

εi≤t，當(dāng)ε ＞0，

引理得證.

定理1 當(dāng)，且滿足假設(shè)1到假設(shè)5，有

證明根據(jù)引理1，當(dāng)，當(dāng)l=k時

根據(jù)引理2，當(dāng)x=2nλn，不變量令隨機變量A 和B 為

根據(jù)假設(shè)2假設(shè)4和假設(shè)5，通過引用文獻［13］中的定理2，可以得到以下等式成立：

這意味著存在一個不變量c1＞0，

根據(jù)文獻［14］和式（3），可以得到

通過假設(shè)2對于所有x∈R，，存在一個不變量C ＞0，使

當(dāng)n趨向于無窮大時概率收斂到1. 由假設(shè)4，可得

p2的證明過程與p1相似，最終可以得到

而

根據(jù)式（3）可知

且概率收斂到1，因此得

由引理3可得

定理2 當(dāng)，且滿足假設(shè)1到假設(shè)5，有

證明其中，使用文獻［11］中的符號

所以

因此

對于任意的i=k+1,k+2,…,K?，

定理3 當(dāng)，且滿足假設(shè)1到假設(shè)5，有

證明由假設(shè)5和文獻［15］，對于任意的k=1,2,…,K?，定理可以變換為根據(jù)定理1和定理2的證明結(jié)果，定理得證.