關(guān)于大數(shù)定律的簡單注解

陳傲星,武 靖

(華中師范大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,武漢 430079)

1 引言

拋一枚質(zhì)地均勻且無損壞的硬幣，正面朝上的概率是多少？50%，這是毫無爭議的，也稱為之先驗(yàn)概率①。如果拋這枚硬幣兩次，所得結(jié)果一定是一正一反嗎？顯然不是，兩次為正或者兩次為反的結(jié)果在生活中屢見不鮮。增加拋擲次數(shù)是否一定能得到一半正面一半反面的結(jié)果？歷史上多位數(shù)學(xué)家通過試驗(yàn)給出答案。

表1 數(shù)學(xué)家的試驗(yàn)結(jié)果

從結(jié)果看，雖然每一次試驗(yàn)中正面(反面)朝上的頻數(shù)和拋硬幣次數(shù)的一半不等，但是相差不大，并且隨著拋擲次數(shù)的增加，前者在數(shù)值上穩(wěn)定于后者。因此，投擲次數(shù)越多越有利于隨機(jī)事件A統(tǒng)計(jì)規(guī)律的穩(wěn)定表達(dá)。一般地，如果在n次相同的試驗(yàn)中，事件A發(fā)生的次數(shù)為k，當(dāng)n很大，則k/n將接近于事件A的真實(shí)概率p。確定概率要比確定頻率的難度大得多，因?yàn)楦怕士梢钥闯呻S機(jī)事件的屬性，頻率是這一屬性的表達(dá)結(jié)果；且絕大多數(shù)情況下，事件發(fā)生的概率難以通過邏輯分析或者歷史經(jīng)驗(yàn)獲取，從而拿所掌握的頻率信息推測概率不失為良策。頻率是否等于概率？本質(zhì)上不，但是大數(shù)定律告訴我們，當(dāng)試驗(yàn)次數(shù)無限，即n趨近于無窮時(shí)，頻率和概率是無限接近的。特別地，伯努利大數(shù)定律提供了用頻率來確定概率的理論依據(jù)，由此我們可以用重復(fù)試驗(yàn)中某事件A出現(xiàn)的頻率作為P的估計(jì)值。

2 伯努利弱大數(shù)定律

當(dāng)人們發(fā)現(xiàn)拋硬幣次數(shù)越多，“正面朝上”的頻率越穩(wěn)定的時(shí)候，某種規(guī)律呼之欲出。歷史上第一個(gè)證明這個(gè)規(guī)律的人是伯努利。他在《推測術(shù)》中以“缶中抽球”②的例子來證明的。當(dāng)然，拋硬幣與缶中抽球本質(zhì)上是一致的，為了不再引入新案例，我們?nèi)赃x擇引言中的事例。

若換上式為

就是現(xiàn)今常見的弱大數(shù)定律的表達(dá)形式了。

當(dāng)然伯努利證明大數(shù)定律的年代還沒有方差這一概念，他在證明此定律的時(shí)候，先將犯錯(cuò)誤大小ε限定為(a+b)-1，④必要時(shí)才按倍數(shù)縮小，此外他所使用的缶子模型也只能使得被估計(jì)的p值為有理數(shù)，但這并不影響定理的普遍性，可以推得對任意的ε、p都成立。伯努利大數(shù)定律的詳細(xì)推到過程，有興趣的可以參見文獻(xiàn)[2]。當(dāng)時(shí)，一個(gè)更直截了當(dāng)?shù)挠^點(diǎn)是：

3 強(qiáng)大數(shù)定律

波萊爾是法國數(shù)學(xué)家，他引進(jìn)近代實(shí)變函數(shù)理論、測度論等，他所取得的成果，如波萊爾覆蓋定理、波萊爾測度等，對現(xiàn)代數(shù)學(xué)的許多分支都產(chǎn)生了極其深遠(yuǎn)的影響。20世紀(jì)初，當(dāng)波萊爾完成了對伯努利時(shí)代遺留下來的看似為真理的結(jié)論的證明時(shí)，強(qiáng)大數(shù)定律漸漸浮出水面⑤。而這些又要從兩個(gè)有意思的引理說起。

波萊爾-坎泰利(Borel-Cantelli)第一引理：

設(shè)為某個(gè)概率空間的一個(gè)事件序列，若所有的事件發(fā)生的概率和是有限的，

那么它們之中有無限多個(gè)事件同時(shí)發(fā)生的概率為零，

波萊爾-坎泰利(Borel-Cantelli)第二引理：

設(shè)為某個(gè)概率空間中相互獨(dú)立的一個(gè)事件序列，若所有的事件發(fā)生的概率和是無限的，

那么它們之中有無限多個(gè)事件同時(shí)發(fā)生的概率為1，

該引理的證明很簡單，結(jié)合上極限的定義和集合論的知識即可⑥。直觀上，若所有事件發(fā)生概率之和小于無窮，其同時(shí)發(fā)生的概率為零；當(dāng)事件為獨(dú)立事件時(shí)，反之亦正確。

4 強(qiáng)大數(shù)定律與弱大數(shù)定律的區(qū)別與聯(lián)系

相信我們已經(jīng)對伯努利弱大數(shù)定律和波萊爾強(qiáng)大數(shù)定律有了一個(gè)初步認(rèn)識，拋開特定條件的大數(shù)定律，普遍意義上的強(qiáng)大數(shù)定律和弱大數(shù)定律有什么關(guān)系呢？

首先更一般地，大數(shù)定律分析的是一定條件下某隨機(jī)變量序列的算數(shù)平均值收斂于某常數(shù)或常數(shù)列。為敘述上的方便，設(shè)ξ1,ξ2,…,ξn為一隨機(jī)變量序列，ξ為常數(shù)或常數(shù)列。

從上文不難推測，強(qiáng)大數(shù)定律在相同的條件下較弱大數(shù)定律得出了更強(qiáng)的結(jié)論。直觀上講，前者認(rèn)為這種不收斂現(xiàn)象只能偶爾出現(xiàn)，即有限的；后者允許無限次不收斂。

強(qiáng)大數(shù)定律和弱大數(shù)定律的區(qū)別從測度上講，前者是“幾乎確定收斂(almost surely convergence)”或者“以概率1收斂”、“幾乎處處收斂”，后者是“依概率收斂(convergence in probability)”。若把不收斂于概率值的“壞點(diǎn)”放在一個(gè)集合D中，前者只允許D為零測集⑧，后者可以接受D的測度極小。一般地，兩者前提條件相同，得出的結(jié)論不同。顧名思義，前者的結(jié)論更強(qiáng)。

為了更進(jìn)一步探究，我們引入如下概念。

定義1. 以概率1收斂

設(shè)ξ和{ξn}為定義在概率空間(Ω，F(xiàn)，P)上的隨機(jī)變量序列。若存在Ω0?F,P(Ω0)=0,且對任意w∈ΩΩ0，有

ξn(w)→ξ(w),n→∞

則稱ξn以概率1收斂于ξ，記作ξn→ξ(a.s.)

定義2. 依概率收斂

設(shè)ξ和(ξn)為定義在概率空間(Ω，F(xiàn)，P)上的隨機(jī)變量序列。若對任意的ε>0，有

定義3. 強(qiáng)大數(shù)定律

設(shè)ξ和{ξn}為定義在概率空間(Ω,F,P)上的隨機(jī)變量序列，且Eξn存在，若?ε>0，有

則稱ξn服從強(qiáng)大數(shù)定律。

定義4. 弱大數(shù)定律

設(shè)ξ和{ξn}為定義在概率空間(Ω，F(xiàn)，P)上的隨機(jī)變量序列，且Eξn存在。若?ε>0，有

則稱{ξn}服從弱大數(shù)定律。

由定義出發(fā)，結(jié)合測度論的知識，不難發(fā)現(xiàn)以概率1收斂等價(jià)于幾乎處處收斂，依概率收斂等價(jià)于依測度收斂，而幾乎處處收斂蘊(yùn)含依測度收斂，依測度收斂一般情況下不包含幾乎處處收斂，因此依測度收斂是較弱收斂(見文獻(xiàn)[2])，從而得出：基于依概率收斂的弱大數(shù)定律較弱于依托于以概率1收斂的強(qiáng)大數(shù)定律。事實(shí)上，若隨機(jī)變量序列服從強(qiáng)大數(shù)定律，則其一定也服從弱大數(shù)定律，反之不成立。

5 經(jīng)驗(yàn)分布函數(shù)與強(qiáng)大數(shù)定律

通過上述部分的介紹，大數(shù)定律從理論上肯定了“用頻率估計(jì)概率”的合理性，同時(shí)也是“矩估計(jì)”的基礎(chǔ)。事實(shí)上，它證明了隨機(jī)變量的算術(shù)平均值以概率1收斂于數(shù)學(xué)期望，奠定了參數(shù)估計(jì)的一個(gè)重要法則。

但是大數(shù)定律的適用性是廣泛的。這里再舉一個(gè)漂亮的例子——經(jīng)驗(yàn)分布函數(shù)的合理性。

經(jīng)驗(yàn)分布函數(shù)是連接實(shí)際數(shù)據(jù)與理論分布函數(shù)的橋梁，是在n個(gè)數(shù)據(jù)點(diǎn)中的每一個(gè)上都跳躍1/n的階梯函數(shù)。當(dāng)樣本量足夠大的時(shí)候，其以概率1收斂于總體分布函數(shù)⑨。

定義5：設(shè)X1,X2,…,Xn為來自于總體X的容量為n的簡單隨機(jī)樣本，X(1),X(2),…,X(n)為其順序統(tǒng)計(jì)量，x1,x2,…,xn為其樣本取值，樣本取值確定時(shí)，樣本順序統(tǒng)計(jì)量隨之確定。對任意實(shí)數(shù)x，

后來，格列紋科在此基礎(chǔ)上又給出了更強(qiáng)的結(jié)論，他證明了經(jīng)驗(yàn)分布函數(shù)與理論分布函數(shù)偏移量的最大值以概率1收斂于0，進(jìn)一步肯定了經(jīng)驗(yàn)分布函數(shù)的合理性，同時(shí)也說明還存在比強(qiáng)大數(shù)定律結(jié)論強(qiáng)度更大的規(guī)律。大數(shù)定律支撐下的經(jīng)驗(yàn)分布函數(shù)應(yīng)用廣泛，比如最大熵模型中用作約束條件、金融資產(chǎn)對數(shù)價(jià)格中潛在現(xiàn)貨方差的分布形式等，更有研究者以此提出了確定樣本量的新方法(見文獻(xiàn)[6])。

6 結(jié)論

大數(shù)定律從理論上賦予了頻率更大的意義，使其不僅僅是某一次試驗(yàn)屬性的象征，更是概率的良好估計(jì)。條件相同，結(jié)論也可能不同。強(qiáng)大數(shù)定律和弱大數(shù)定律正是基于結(jié)論性質(zhì)的強(qiáng)度劃分，前者是以概率1收斂，后者是依概率(測度)收斂。強(qiáng)大數(shù)定律和弱大數(shù)定律下有許多不同的提法，比如強(qiáng)大數(shù)定律下的波萊爾大數(shù)定律、柯爾莫哥洛夫大數(shù)定律；弱大數(shù)定律下的伯努利大數(shù)定律、切比雪夫大數(shù)定律、馬爾科夫大數(shù)定律、辛欽大數(shù)定律……這些定理的條件有差別，結(jié)論各異，共同構(gòu)成了大數(shù)據(jù)時(shí)代絢爛的光彩。

注釋:

①先驗(yàn)概率，是指根據(jù)以往經(jīng)驗(yàn)和分析得到的概率。文中拋硬幣一次，其正面朝上的概率為1/2是通過分析計(jì)算而來.

②缶中抽球，即缶子模型：缶中有a白球，b黑球，有放回地從缶中抽球N次，記錄抽白球的次數(shù)為X.

③伯努利引進(jìn)了“道德確定性”的概念，若某事件有極大的可能性以至幾乎不會(huì)不發(fā)生，則存在道德確定性。這一概念現(xiàn)在也叫“事實(shí)上的確定性”(practical certainty).

④伯努利的證明基于缶子模型，a,b是既定量，詳見注2.

⑤強(qiáng)大數(shù)定律和弱大數(shù)定律是后來人們?yōu)榱藚^(qū)分不同結(jié)論的大數(shù)定律根據(jù)其結(jié)論的強(qiáng)弱程度劃分的，本文為了方便起見直接引用現(xiàn)在的名字.

⑦當(dāng)n趨于無窮時(shí)，可視S1,S2,…為一個(gè)無窮的伯努利試驗(yàn)序列，其中每一事件只依賴于有限次試驗(yàn)。又由于拋擲行為是獨(dú)立的，滿足第二引理中要求的獨(dú)立性.

⑧這里的零測集，根據(jù)實(shí)際意義更可以排除其為零測集中無限集的情況，或根據(jù)波萊爾-坎泰利第一引理證明其為零測集中的有限集.

⑨總體分布函數(shù)，即理論分布函數(shù):F(x)=P{X≤x}，是隨機(jī)變量X小于某常數(shù)x的概率.