關(guān)于時(shí)齊馬爾可夫鏈的一個(gè)極限定理的討論

周茂俊，蔡曉薇，鄭林，袁宏俊

（安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院，安徽蚌埠233030）

關(guān)于時(shí)齊馬爾可夫鏈的一個(gè)極限定理的討論

周茂俊，蔡曉薇，鄭林，袁宏俊

（安徽財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院，安徽蚌埠233030）

針對(duì)同一作者主編的兩本隨機(jī)過(guò)程教材中不一致的結(jié)論展開(kāi)討論，通過(guò)分類舉例論證，得出時(shí)齊馬爾可夫鏈的條件下，狀態(tài)j為正常返時(shí)的結(jié)論應(yīng)為，而不是。并在fij=d的特殊情況下，借助Stolz極限定理給出簡(jiǎn)捷的證明。

隨機(jī)過(guò)程；馬爾可夫鏈；Stolz定理；轉(zhuǎn)移概率

近幾十年來(lái)，隨機(jī)過(guò)程無(wú)論是在理論上還是在應(yīng)用上都有著蓬勃的發(fā)展，它的基本知識(shí)和方法廣泛應(yīng)用于工程技術(shù)、生物信息及經(jīng)濟(jì)領(lǐng)域等。馬爾可夫過(guò)程是一類非常重要的隨機(jī)過(guò)程，為了研究系統(tǒng)的長(zhǎng)期趨勢(shì)及穩(wěn)定性，討論馬爾可夫鏈的極限情況就顯得尤為必要。目前，關(guān)于時(shí)齊馬爾可夫鏈的極限的相關(guān)理論已經(jīng)相當(dāng)成熟，多數(shù)學(xué)者轉(zhuǎn)而研究非時(shí)齊的，且多側(cè)重于中心極限定理的研究，如劉文，楊衛(wèi)國(guó)[1]，王學(xué)武[2]，郭明樂(lè)[3]，李應(yīng)求，王蘇明，胡楊利[4]等。筆者基于教學(xué)過(guò)程中發(fā)現(xiàn)的研究時(shí)齊馬爾可夫鏈的背景下同樣的極限問(wèn)題不同教材給出了不同結(jié)論為出發(fā)點(diǎn)展開(kāi)討論，搞清楚基本結(jié)論的對(duì)錯(cuò)，并在此基礎(chǔ)上借用Stolz極限定理來(lái)加以證明。

1 問(wèn)題的提出

1.1 馬爾可夫鏈簡(jiǎn)介

馬爾可夫過(guò)程是一類具有“無(wú)后效性”的隨機(jī)過(guò)程，即知道過(guò)程現(xiàn)在的條件，其將來(lái)的條件分布不依賴于過(guò)去。該文只考慮離散時(shí)間離散狀態(tài)的馬爾可夫鏈，下面給出相應(yīng)的定義及極限定理。文中的定義定理及有關(guān)記號(hào)均與教材[5-7]一致。

定義1當(dāng)馬爾可夫鏈的轉(zhuǎn)移概率pij=P{Xn+1=j|Xn=i}只與狀態(tài)i，j有關(guān)，而與n無(wú)關(guān)時(shí)，稱之為時(shí)齊馬爾可夫鏈；否則稱之為非時(shí)齊的。

定義2稱條件概率pij（n）=P{Xm+n=j|Xm=i}，i，j∈S；m≥0；n≥1為馬爾可夫鏈的n步轉(zhuǎn)移概率。

定義3以fij（n）=P{Xn=j，Xk≠j，k=1，2，…，n-1|X0=i}，n≥1記從i出發(fā)經(jīng)n步后首次到達(dá)j的概率，令，若fii=1，則稱狀態(tài)i為常返狀態(tài)；若fii＜1，稱狀態(tài)i為非常返狀態(tài)。對(duì)于常返狀態(tài)i，定義為平均回轉(zhuǎn)步數(shù)。若ui＜+∞，則稱i為正常返狀態(tài)；若ui=+∞，則稱i為零常返狀態(tài)。

定義4若集合{n：n≥1，pii（n）＞0}非空，則稱它的最大公約數(shù)d為狀態(tài)i的周期。若d＞1，稱i是周期的。若d=1，稱i是非周期的。

定理1（1）若j為非常返或零常返狀態(tài)，則對(duì)?i∈S，有；

（2）若j為正常返狀態(tài)且周期為d，則，?i?j，i∈S有。

1.2 提出問(wèn)題

在文獻(xiàn)[5]中，有一個(gè)極限定理如下：

定理2對(duì)于任意狀態(tài)i，j∈S，有

在文獻(xiàn)[6－7]中，作者對(duì)上述定理2的內(nèi)容以推論形式給出：

推論1對(duì)于任意狀態(tài)i，j∈S，有

教材中沒(méi)有給出詳細(xì)的證明過(guò)程，只提示說(shuō)可直接由上文的定理1直接推得。

對(duì)比以上兩本教材中定理2和推論1的結(jié)論，顯然在狀態(tài)j為正常返時(shí)結(jié)論不一樣，從時(shí)間上比較，推論1出版得更晚些，到底哪個(gè)結(jié)論更準(zhǔn)確呢?

2 問(wèn)題的研究

針對(duì)以上提出的對(duì)同樣的表達(dá)式求極限，同樣的條件下極限值卻不一樣，下面分三種情形展開(kāi)討論。

情形1如果狀態(tài)j是非周期的，即周期d＝1，且狀態(tài)i與j互通，即i?j，這種情況下兩個(gè)結(jié)論相同。可以證明此時(shí)fij＝d＝1，因?yàn)闋顟B(tài)j為正常返的，對(duì)于i?j，則fij＝1，證明可用反證法，可參見(jiàn)文獻(xiàn)[6]。并且此時(shí)定理2和推論1的結(jié)論可直接由定理1證得，但教材中并沒(méi)有給出證明過(guò)程。筆者提供一種非常簡(jiǎn)捷的證明方法，就是利用Stolz定理來(lái)證明。

Stolz定理（Stolz公式）設(shè)數(shù)列{an}，{bn}，其中{bn}嚴(yán)格單調(diào)遞增，且，若，則（其中l(wèi)為有限，+∞或-∞）[8]。

情形2如果狀態(tài)j的周期d≠1，但狀態(tài)i與j互通，則兩個(gè)結(jié)論中必有一個(gè)不正確。以下通過(guò)具體的馬爾可夫鏈說(shuō)明推論1的結(jié)論不正確。設(shè)馬爾可夫鏈的狀態(tài)空間S={1，2}，一步轉(zhuǎn)移矩陣為，顯然兩狀態(tài)互通，即1?2，且周期均為d＝2。因不可約的有限馬爾可夫鏈都是正常返的，因此，狀態(tài)1與2都是正常返的。以狀態(tài)1為例，先計(jì)算首達(dá)概率，f11（1）＝0，f11（2）＝1，f11（n）＝0（n≥3），因此，f11＝1，u1=2。而轉(zhuǎn)移概率p11（1）＝0， p11（2）＝1，p11（3）＝0，p11（4）＝1，…以此類推。顯然。因此，推論1的結(jié)論是不正確的。

情形3如果狀態(tài)j的周期是1，但狀態(tài)i與j不互通。當(dāng)i不可達(dá)j時(shí)，fij＝0，pij（n）＝0，此時(shí)，比如上例中轉(zhuǎn)移概率矩陣為；當(dāng)i可達(dá)j，但j不可達(dá)i時(shí)，fij＝ 1，狀態(tài)j的周期可以等于1也可以不等于1，但定理2的結(jié)論仍然成立，這樣的馬爾可夫鏈很多，不再舉例。

關(guān)于定理2的嚴(yán)謹(jǐn)?shù)淖C明可參見(jiàn)文獻(xiàn)[5]，此處從略。

3 結(jié)語(yǔ)

通過(guò)具體的馬爾可夫鏈舉例說(shuō)明了教材中的推論1的結(jié)論是不正確的，并且在狀態(tài)為正常返非周期的條件下借助于Stolz定理簡(jiǎn)單明了的進(jìn)行了證明，在周期大于1的條件下分析了不滿足Stolz定理的原因。同時(shí)通過(guò)上述討論也可以看出，定理1中狀態(tài)j為正常返的結(jié)論中也包括極限值為零的情況，即i不可達(dá)j時(shí)。

[1]劉文，楊衛(wèi)國(guó).可列非齊次馬氏鏈的若干極限定理[J].應(yīng)用數(shù)學(xué)學(xué)報(bào)，1992，15（4）：479-489.

[2]王學(xué)武.有限非齊次馬爾可夫鏈的強(qiáng)極限定理[J].南陽(yáng)師范學(xué)院學(xué)報(bào)，2007，6（3）：14-17.

[3]郭明樂(lè).馬氏環(huán)境中馬氏鏈的中心極限定理[J].應(yīng)用概率統(tǒng)計(jì)，2007，23（1）：11-17.

[4]李應(yīng)求，王蘇明，胡楊利.馬氏環(huán)境中馬氏鏈的一類強(qiáng)極限定理[J].數(shù)學(xué)進(jìn)展，2008，37（5）：539－549.

[5]張波，張景肖.應(yīng)用隨機(jī)過(guò)程[M].北京：清華大學(xué)出版社，2004：98-99.

[6]張波，商豪.應(yīng)用隨機(jī)過(guò)程[M].2版.北京：中國(guó)人民大學(xué)出版社，2009：103.

[7]張波，商豪.應(yīng)用隨機(jī)過(guò)程[M].3版.北京：中國(guó)人民大學(xué)出版社，2014：91.

[8]馮文嫻，付艷芳.Stolz定理在求極限中的應(yīng)用[J].價(jià)值工程，2013，26：279.

[9]方兆本，繆柏其.隨機(jī)過(guò)程[M].2版.北京：科技出版社，2011：39－43.

Discussion on a limit theorem for homogeneous Markov chains

ZHOU Maojun，CAI Xiaowei，ZHENG Lin，YUAN Hongjun
（School of Statistics and Applied Mathematics，Anhui University of Finance&Economics，Bengbu 233030，China）

This paper discusses the conflicting results in two textbooks of stochastic process compiled by the same author.By means of classification,illustration and demonstration,it is found that under the circumstance of homogeneous Markov chains and on the condition that state j is positive recurrence,the result is.Under the special condition of fij=d，the consequence is shown with the help of Stolz limit theorem.

stochastic process；Markov chain；Stolz theorem；transition probability

O211.62MR（2000）Subject Classification：60G99

A

1672-0687（2015）02-0030-03

責(zé)任編輯：謝金春

2014-12-26

安徽省高校省級(jí)自然科學(xué)基金重點(diǎn)項(xiàng)目（KJ2014A003）

周茂俊（1979-），女，安徽明光人，講師，碩士，研究方向：應(yīng)用統(tǒng)計(jì)。