Markov鏈轉(zhuǎn)移概率極限情況的一般推廣刁天博李滿

胡雙年

摘要：在Markov鏈和轉(zhuǎn)移矩陣等定義的基礎(chǔ)上，利用代數(shù)學(xué)知識(shí)，對(duì)轉(zhuǎn)移概率極限情況進(jìn)行研究，給出了Markov鏈轉(zhuǎn)移概率極限情況一般性的推廣處理方法。

關(guān)鍵詞：Markov鏈；轉(zhuǎn)移矩陣；對(duì)角矩陣

定義1：隨機(jī)過程{Xn，n=0，1，2，…}稱為Markov鏈，若它只取有限或可列個(gè)值，并且對(duì)任意的n≥0及任意狀態(tài)i，j，i0，i1，…，in-1，有

P{Xn+1=jXn=i，Xn-1=in-1，…X1=i1，X0=i0}=P{Xn+1=jXn=i}（1）

其中Xn=i表示過程在時(shí)刻n處于狀態(tài)i，稱{0，1，2，…}為該過程的狀態(tài)空間，記為S。

定義2：稱式（1）中的條件概率P{Xn+1=jXn=i}為Markov鏈的一步轉(zhuǎn)移概率，簡(jiǎn)稱轉(zhuǎn)移概率，記為pij，它代表處于狀態(tài)i的過程下一步轉(zhuǎn)移到狀態(tài)j的概率。一般情況下，轉(zhuǎn)移概率與狀態(tài)i，j和時(shí)刻n有關(guān)。當(dāng)Markov鏈的轉(zhuǎn)移概率pij=P{Xn+1=jXn=i}只與狀態(tài)i，j有關(guān)，而與n無關(guān)時(shí)，稱為時(shí)齊Markov鏈；否則，就稱為非時(shí)齊Markov鏈。本文中涉及的Markov鏈均為時(shí)齊的。

定義3：稱矩陣P=（pij）=p00p01p02…p10p11p12…pi0pi1pi2…為Markov鏈的轉(zhuǎn)移概率矩陣，一般簡(jiǎn)稱為轉(zhuǎn)移矩陣。由于概率是非負(fù)的，且過程必須轉(zhuǎn)移到某種狀態(tài)，故pij有如下性質(zhì)：①pij≥0，（i，j∈S），②∑j∈Spij=1，i∈S。

定義4：稱條件概率

pij（n）=P＼{Xm+n=jXm=i＼}，（i，j∈S，m≥0，n≥1）（2）

為Markov鏈的n步轉(zhuǎn)移概率，相應(yīng)地稱P（n）=（pij（n））為n步轉(zhuǎn)移概率矩陣。顯然，n步轉(zhuǎn)移概率pij（n）指的就是系統(tǒng)從狀態(tài)i經(jīng)過n步后轉(zhuǎn)移到狀態(tài)j的概率，它對(duì)中間的n-1步轉(zhuǎn)移經(jīng)過的狀態(tài)無要求。

接下來，我們將對(duì)Markov鏈轉(zhuǎn)移概率極限情況給出一般性的推廣處理方法。

設(shè)Markov鏈的轉(zhuǎn)移矩陣為P，現(xiàn)在考慮n步轉(zhuǎn)移概率矩陣P（n）當(dāng)n→∞的情況。由Chapman-Kolmogorov方程，可知P（n）=P·P（n-1）=

P·P·P（n-2）=…=Pn，故只需計(jì)算轉(zhuǎn)移矩陣P的n重乘積的極限。利用代數(shù)學(xué)的知識(shí)，若轉(zhuǎn)移矩陣P能夠表示為P=QDQ-1，其中D為對(duì)角矩陣，則Pn=（QDQ-1）n=QDnQ-1，而Dn是主對(duì)角元素的n次方，Q和Q-1又是容易求出的。故Markov鏈轉(zhuǎn)移概率極限情況轉(zhuǎn)化為判斷一個(gè)矩陣是否與一個(gè)對(duì)角矩陣相似的問題，也就是矩陣特征值和特征向量的計(jì)算問題。

最后，我們通過一個(gè)例子對(duì)上述過程做詳細(xì)說明。

例：設(shè)Markov鏈的轉(zhuǎn)移矩陣為P=1-ppq1-q，0

令Q=1-p1q，D=1001-p-q，計(jì)算出Q-1=qp+qpp+q-1p+q1p+q，則

P=QDQ-1，Pn=（QDQ-1）n=QDnQ-1=q+p（1-p-q）np+qp-p（1-p-q）np+qq-q（1-p-q）np+qp+q（1-p-q）np+q，

由于1-p-q<1，故limn→∞Pn=qp+qpp+qqp+qpp+q，可見此Markov鏈的n步轉(zhuǎn)移概率有一個(gè)穩(wěn)定的極限。

綜上所述，結(jié)合代數(shù)學(xué)的知識(shí)，我們得到了Markov鏈轉(zhuǎn)移概率極限情況的一般處理方法。此方法思路明確，計(jì)算較為簡(jiǎn)潔，也可以由專門的數(shù)學(xué)軟件去完成。（作者單位：南陽理工學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院）

2015年南陽理工學(xué)院青年基金項(xiàng)目《Markov模型在無線傳感器網(wǎng)絡(luò)可靠性分析中的研究》，項(xiàng)目批準(zhǔn)編號(hào)：ngky-2015-005；2015年南陽理工學(xué)院青年基金項(xiàng)目《非線性復(fù)雜網(wǎng)絡(luò)的群同步研究》，項(xiàng)目批準(zhǔn)編號(hào)：ngky-2015-006

參考文獻(xiàn)：

[1]江志紅，常奮華，丁裕國.基于馬爾科夫鏈轉(zhuǎn)移概率極限分布的降水過程持續(xù)性研究[J].氣象學(xué)報(bào)，2013，71（2）：286-294.

[2]張波，商豪.應(yīng)用隨機(jī)過程[M].北京：中國人民大學(xué)出版社，2014.

[3]康繼田.長江水質(zhì)評(píng)價(jià)及預(yù)測(cè)的Markov鏈模型[J].湖北工業(yè)大學(xué)學(xué)報(bào)，2006，21（6）：101-104.

[4]鄭培，黎建強(qiáng).基于模糊評(píng)估和馬爾可夫預(yù)測(cè)的供應(yīng)鏈動(dòng)態(tài)平衡記分卡[J].系統(tǒng)工程理論與實(shí)踐，2008，4：57-64.