異常值對非參數(shù)bootstrap法估計的影響分析

劉 薇，常振海

(天水師范學(xué)院 數(shù)學(xué)與統(tǒng)計學(xué)院，甘肅 天水 741001)

0 引言

若記 X=(X1，X2，…，Xn)為來自總體 F的樣本,要估計的統(tǒng)計泛函為Tn=g(X),那么非參數(shù)bootstrap法[1]的思想可以描述為

因為bootstrap方法給每個樣本點以同樣的概率(均為1/n),因此,在樣本中混入異常值時,其估計的效果如何并未見在文獻中專門討論過,本文討論了這個問題。

1 方法步驟

為了能較好地進行分析,我們設(shè)計了如下的方法步驟,因為主要在小樣本下進行探討,所以文中固定樣本容量n=20,總體分布為N(1.4，12)。

(1)產(chǎn)生容量為20的服從N(1.4，12)的樣本,其一個樣本的均值為=1.5161,標(biāo)準(zhǔn)差為σ=0.8774,這個均值將作為非參數(shù)bootstrap法的總體。

(2)生成含有單側(cè)異常值的樣本。

方法是產(chǎn)生容量為50的服從N(-5，12)的樣本,去掉前后各20個值,保留中間的10個值,作為異常小值,用于逐個替換步驟(1)中的樣本,得到5%、10%、20%、40%、50%等比例下的含有單側(cè)異常小值情形的樣本。

下面解釋下為什么N(-5，12)的樣本可以作為異常值。在正態(tài)分布中,由3σ 原則知,落于| x-μ |≤3σ 之外的x可能性僅有0.27%,我們產(chǎn)生一次樣本,由實際推斷原理,出現(xiàn)這樣的x一般不可能,將被看做異常值。假設(shè)方差不變,從圖1中能直觀看出,這里產(chǎn)生的異常值是合理的。

從圖1能看出,在方差相同(σ=1)情形下,μ1≤μ-6σ=1.4-6×1=-4.6 時,以分布 N(μ1，12)產(chǎn)生的點對分布N(1.4，12)的樣本點來說是異常小值,所以本文中以N(-5，12)來產(chǎn)生異常小值是合理的。同理,以N(8，12)產(chǎn)生的點對分布N(1.4，12)的樣本點來說是異常大值也是合理的。

(3)生成含有雙側(cè)異常值的樣本。

方法是同時將步驟(2)中產(chǎn)生的異常小值和異常大值替換步驟(1)中的樣本點,則得到10%、20%、40%、50%下的含有雙側(cè)異常值的樣本。因為極小極大異常值各最少一個,故這種情形下含異常值比例最小為2/20=10%。

(4)在單側(cè)和雙側(cè)異常值兩種情形下,分別計算總體均值的非參數(shù)bootstrap法點估計、分布形態(tài)、區(qū)間估計等。

(5)在相應(yīng)的評判標(biāo)準(zhǔn)下,進行比較分析。

2 模擬分析

序列中混入異常值一般有三種情形：混入異常小值、混入異常大值和同時混入異常小值和異常大值。鑒于單側(cè)異常小值和單側(cè)異常大值的類似性,下面僅從混入異常小值，同時混入異常小值和異常大值兩個方面進行討論。

賽事組織者與傳播者之間的博弈與第一個博弈的結(jié)果密切相關(guān)：賽事組織者希望通過集中行使體育賽事轉(zhuǎn)播權(quán)以提高自己的議價權(quán)，而傳播者則希望存在多個議價對象，以便降低自己的傳播成本。這一博弈主要引發(fā)了前文所提到的壟斷問題：由賽事組織者統(tǒng)一行使體育賽事轉(zhuǎn)播權(quán)是否構(gòu)成壟斷；將體育賽事轉(zhuǎn)播權(quán)授予一個傳播者專有又是否構(gòu)成壟斷。

2.1 單側(cè)異常值對bootstrap法估計的影響分析

主要考察異常小值的影響，異常大值的類似，不再重復(fù)討論。

(1)對點估計的影響。

表1 異常小值對樣本均值非參數(shù)bootstrap法估計的影響

從表1能看出,在沒有加入異常小值時,樣本均值的非參數(shù)bootstrap法估計為1.5159,與樣本均值1.5161幾乎相等,但加入異常值后,bootstrap法估計就與樣本均值相差較大,且隨著異常值比例的增高,它們相差也越來越大,這點從絕對誤差和相對誤差數(shù)值上能很好的反映出來,這兩者的值均逐漸增大,說明點估計距離真值漸遠。從穩(wěn)定性(標(biāo)準(zhǔn)差和CV)方面看,隨著異常小值比例的提高,bootstrap法估計的穩(wěn)定性逐漸變差,不過在異常小值的比例為50%時,波動穩(wěn)定性又有點提高。

(2)對點估計分布形態(tài)的影響。

對B=3000個bootstrap法估計,繪制其直方圖,同時考察反映分布形態(tài)的參數(shù)偏度和峰度,結(jié)果見圖2。

圖2 異常小值各比例下bootstrap法估計的直方圖

從圖2能看出,在沒有異常小值的情形下,均值的bootstrap法估計很接近于正態(tài)分布,但在5%比例的異常小值影響下,分布的偏度和峰度都發(fā)生較大的變化,隨著異常小值比例的增加,分布又回復(fù)到接近正態(tài)分布。說明異常小值的比例越低,對分布形態(tài)的影響越大。

(3)對區(qū)間估計的影響。

從圖2中看到,盡管在異常小值比例較高的情形下,bootstrap法估計的分布形態(tài)接近于正態(tài)分布,但因其點估計與總體真值相差較大,故其區(qū)間估計不一定好。采用性質(zhì)較好的BCa區(qū)間[8],bootstrap法估計結(jié)果見圖3,每個比例下的區(qū)間均進行100次估計,為了能較清楚地顯示,這里僅顯示了前20個區(qū)間估計。

圖3 異常小值各比例下bootstrap法區(qū)間估計

從圖3能看出,沒有異常值的bootstrap法區(qū)間估計幾乎對稱,但加入了5%比例的異常小值后,區(qū)間估計的上下限均不同程度地變小了,在10%比例情形下,變小的趨勢進一步加劇,區(qū)間估計幾乎覆蓋不住真值了,而到了20%比例時,區(qū)間估計竟沒一個能覆蓋真值的,說明隨著異常小值比例的增加,區(qū)間估計變得越來越不好。各個比例下100區(qū)間估計的上下限及區(qū)間長度平均值見表2。

表2 異常小值對樣本均值bootstrap法區(qū)間估計的影響

從表2能看出,不僅在圖3中反映的上下限隨異常小值比例的增加逐漸減小的現(xiàn)象,并且區(qū)間的長度也越來越長,這都說明異常小值對區(qū)間估計的影響是非常不好的。

2.2 雙側(cè)異常值對bootstrap法估計的影響分析

(1)對點估計的影響。

在樣本容量為20時,同時存在異常小值和異常大值,最少需要兩個異常值,故考慮的最小異常值比例為2/20=10%,結(jié)果見表3。

表3 雙側(cè)異常值對樣本均值bootstrap法估計的影響

從表3能看出,和沒有異常值相比,樣本中混入了異常值后其估計的絕對誤差和相對誤差均明顯偏大,并且相對誤差均為負值,說明同時存在異常小值和異常大值的情形下,異常小值的影響更大些。從標(biāo)準(zhǔn)差和CV值上能看出,樣本中加入了異常值后,穩(wěn)定性逐漸變差。

如果將表3和表1相比,從相對誤差的角度看,雙側(cè)異常值對bootstrap法點估計的影響比單側(cè)的影響要小。

(2)對點估計分布形態(tài)的影響。

類似于單側(cè)異常值情形,仍然計算B=3000個bootstrap法估計,繪制其直方圖,同時考察反映分布形態(tài)的參數(shù)偏度和峰度,結(jié)果見圖4。

圖4 異常小值各比例下bootstrap法估計的直方圖

從圖4能看出,這些估計的分布均近似于正態(tài)分布,這一點和單側(cè)異常值情形不是很類似。分布形態(tài)的近似對稱性將對區(qū)間估計的覆蓋率很有好處,下面討論這個問題。

(3)對區(qū)間估計的影響。

對各個異常值比例下的情形均計算了100個BCa區(qū)間,圖5顯示了前20個。

圖5 雙側(cè)異常值各比例下bootstrap法區(qū)間估計

從圖5能看出,各個比例情形下的區(qū)間估計覆蓋率均為1,說明覆蓋率比單側(cè)異常值情形下好。100個區(qū)間估計的上下限及長度的平均值見表4。

表4 雙側(cè)異常值對樣本均值bootstrap法區(qū)間估計的影響

從表4能看出,隨著異常值比例的增加,區(qū)間的長度逐漸變長,甚至比單側(cè)情形下的還要長,說明好的覆蓋率是以犧牲區(qū)間長度為代價的,應(yīng)該說區(qū)間估計并不好。

3 結(jié)論

綜合上面單側(cè)和雙側(cè)情形下模擬分析,我們可以得到下面的結(jié)論。

(1)在點估計方面,比較表1和表3,同樣的異常值比例下,顯然單側(cè)異常值要比雙側(cè)異常值影響大;不同的異常值比例下,隨著比例的增加,點估計逐漸變差,距離真值越來越遠。

(2)在點估計的分布形態(tài)上,比較圖2和圖3,在同樣的異常值比例下,單側(cè)異常值的直方圖比雙側(cè)異常值的左偏多一些,峰度則相差不是很大。不同的異常值比例下,隨著比例的增加,分布均接近于正態(tài)分布,說明異常值的比例越低,對分布形態(tài)的影響越大。

(3)在區(qū)間估計上,雙側(cè)異常值情形下均能覆蓋真值,但區(qū)間長度較長;單側(cè)異常值情形下,在異常值比例較低時能覆蓋真值,但比例增高時,區(qū)間估計就不能再覆蓋真值,不過相比于雙側(cè)情形,區(qū)間估計長度短。

[1]Efron B,Tibshirani R J.An Introduction to The Bootstrap[M].New York:Chapman&Hall Ltd,1993.

[2]Hall P,Horowitz J.A Simple Bootstrap Method for Constructing Nonparametric Confidence Bands for Functions[J].The Annals of Statistics,2013,41(4).

[3]Fay M P,Brittain E H,Proschan M A.Pointwise Confidence Intervals for A Survival Distribution With Small Samples or Heavy Censoring Biostat[J].Biostatistics,2013,14(4).

[4]Thai1 H T,Mentré1 F,Holford N H G.A Comparison of Bootstrap Approaches forEstimating Uncertainty ofParametersIn Linear Mixed-effects Models[J].Pharmaceutical Statistics,2013,12(3).

[5]黎光明，張敏強.概化理論方差分量置信區(qū)間估計方法的比較[J].統(tǒng)計與決策,2013,(9).

[6]Romano J P,Shaikh A M.On The Uniform Asymptotic Validity of Subsampling and The Bootstrap[J].The Annals of Statistics,2012,40(6).

[7]DiCiccio J,Efron B.Bootstrap Confidence Intervals[J].Statistical Science,1996,11(3).