基于馬爾可夫鏈的歷史和現(xiàn)狀的研究

李自玲

[摘 要] 馬爾可夫鏈?zhǔn)侨祟悮v史上第一個(gè)從理論上被提出并加以研究的隨機(jī)過程模型。自1906年由馬爾科夫提出這一概念，多位學(xué)者將其與其他理論結(jié)合不斷發(fā)展。現(xiàn)代隨機(jī)過程大致分為馬爾可夫過程、平穩(wěn)過程、布朗運(yùn)動(dòng)、離散鞅、無窮粒子馬爾可夫過程和超過程。上世紀(jì)50年代前，學(xué)者們主要運(yùn)用微分方程半群理論研究馬爾科夫鏈，目前鞅論方法與隨機(jī)微分方程相結(jié)合成為處理多維擴(kuò)散過程的重要工具。中國學(xué)者許寶騄、王梓坤、嚴(yán)士健、陳木法、張紹義等人也在這一領(lǐng)域取得累累碩果。馬爾科夫鏈的研究深入到經(jīng)濟(jì)、生物、物理、化學(xué)等眾多領(lǐng)域，其理論發(fā)展方興未艾。

[關(guān)鍵詞] 馬爾可夫鏈；隨機(jī)過程模型；穩(wěn)定性；收斂速度

[中圖分類號] O211.62 [文獻(xiàn)標(biāo)識碼] B

[文章編號] 1009-6043（2017）03-0132-02

一、馬爾可夫鏈的創(chuàng)立

在當(dāng)代科學(xué)與社會(huì)領(lǐng)域，有一種數(shù)學(xué)模型叫隨機(jī)過程，從銀河系的亮度起伏到星系空間物質(zhì)的分布、從小分子的布朗運(yùn)動(dòng)到原子的蛻變過程，從化學(xué)反應(yīng)的動(dòng)力學(xué)原理到電話通訊理論，從謠言的傳播過程到傳染病在人群中的擴(kuò)散、從預(yù)測市場到破譯密碼，基于隨機(jī)過程方面的理論和應(yīng)用隨處可見。

在人類發(fā)展的歷史上，馬爾可夫鏈?zhǔn)堑谝粋€(gè)從理論上被提出并加以研究的隨機(jī)過程模型。為了擴(kuò)大概率論極限定理的應(yīng)用范圍，1906年，馬爾可夫在論文《大數(shù)定律關(guān)于相依變量的擴(kuò)展》中第一次提到這種如同鎖鏈般環(huán)環(huán)相扣的隨機(jī)變量序列，其特點(diǎn)是：當(dāng)一些隨機(jī)變量依次被觀測時(shí)，隨機(jī)變量的分布僅僅依賴于前一個(gè)被觀測的隨機(jī)變量，而不依賴于更前面的隨機(jī)變量，這就是被后人稱作馬爾可夫鏈的著名概率模型。齊次馬爾可夫鏈的漸進(jìn)正態(tài)性、非齊次馬爾可夫鏈的中心極限定理和模型的各態(tài)歷經(jīng)性都被馬爾可夫證明了。他還給出了統(tǒng)計(jì)物理中遍歷理論的第一個(gè)嚴(yán)格證明結(jié)果。馬爾可夫鏈的研究一方面是對荷蘭數(shù)學(xué)家克里斯蒂安·惠更斯提出的無后效原理的概率推廣，另一方面也是對法國數(shù)學(xué)家拉普拉斯機(jī)械決定論的否定。

二、馬爾可夫鏈的發(fā)展

馬爾可夫鏈概念后來被擴(kuò)充到連續(xù)時(shí)間和任意相位時(shí)間，按照辛欽的建議稱之為馬爾可夫過程?？聽柲曷宸虬迅道锶~的傳熱理論、愛因斯坦與斯莫洛霍夫斯基的布朗運(yùn)動(dòng)理論、馬爾可夫等關(guān)于隨機(jī)徘徊的描述與首次構(gòu)造隨機(jī)過程例子、巴夏里埃與維納的思想結(jié)合在一起，抽象出馬爾可夫過程的一般模型。他和辛欽發(fā)展了馬爾可夫過程和平穩(wěn)過程理論。萊維自1938年開始就研究軌道性質(zhì)的概率論方法。1948年他出版了《隨機(jī)過程和布朗運(yùn)動(dòng)》一書，在書中他提出了獨(dú)立增量過程的一般理論，這極大推進(jìn)了布朗運(yùn)動(dòng)的研究。伊藤清于1944年引進(jìn)了隨機(jī)積分與隨機(jī)微分方法。1951年，他在萊維和伯恩斯坦的研究基礎(chǔ)上建立了布朗運(yùn)動(dòng)的隨機(jī)微分方程方面的理論，為馬爾可夫鏈的研究開辟了新的道路。1975年他推出伊藤清積分和Stratonovich積分之間的關(guān)系，以及無窮維隨機(jī)變元情形的推廣。美國概率論學(xué)派的代表人物杜布于1950年開始研究鞅，使它衍生為一門獨(dú)立的概率論分支。1953年，他出版的《隨機(jī)過程論》一書，系統(tǒng)又全面地?cái)⑹隽穗S機(jī)過程的基本理論。1954年，費(fèi)勒將泛函分析中的半群方法運(yùn)用到馬爾可夫鏈的研究中，登金、麥基恩和伊藤清等人賦予它概率意義（如特征算子等）。上世紀(jì)50年代初，角谷靜夫和杜布發(fā)現(xiàn)了偏微分方程中狄利克雷問題與布朗運(yùn)動(dòng)的關(guān)系，后來亨特又研究了位勢與一般馬爾可夫過程（亨特過程）的關(guān)系。上世紀(jì)60年代，法國布爾巴基學(xué)派發(fā)展了隨機(jī)過程的一般理論?，F(xiàn)代隨機(jī)過程大致可分為馬爾可夫過程、平穩(wěn)過程、布朗運(yùn)動(dòng)、離散鞅、無窮粒子馬爾可夫過程和超過程。

三、馬爾可夫鏈的研究工具

1936年左右學(xué)者們開始探討馬爾可夫過程的軌道性質(zhì)，直到將軌道性質(zhì)的概率方法與微分方程及半群理論的分析方法結(jié)合起來應(yīng)用，才使他們的研究工作進(jìn)一步深化，形成了對軌道分析的強(qiáng)馬爾可夫性概念。伊藤清于1942年創(chuàng)立的隨機(jī)分析理論用于研究一類特殊的馬爾可夫過程——擴(kuò)散過程，他開辟了研究馬爾可夫鏈的新路徑。在上世紀(jì)50年代之前，學(xué)者們研究馬爾可夫鏈主要是運(yùn)用微分方程和半群理論。近年來，學(xué)者們將鞅論方法運(yùn)用到了馬爾可夫鏈的研究當(dāng)中。目前，鞅論方法與隨機(jī)微分方程相結(jié)合已成為處理多維擴(kuò)散過程的重要工具。另外，分析學(xué)中的位勢理論和馬爾可夫鏈有著緊密聯(lián)系。學(xué)者們對馬爾可夫鏈的研究，促進(jìn)了位勢理論的發(fā)展，它為偏微分方程的研究提供了概率論方法。在國外Richard Tweedie， Sean P. Meyn， E. Numnelin等人主要用Lyapunor drift條件和分裂技術(shù)研究馬爾可夫過程的穩(wěn)定性和收斂速度。在國內(nèi)陳木法、王鳳雨、張紹義等用耦合方法研究馬爾可夫過程的穩(wěn)定性。

四、中國當(dāng)代學(xué)者的研究動(dòng)態(tài)

許寶騄是中國最早從事概率論與數(shù)理統(tǒng)計(jì)研究并達(dá)到世界先進(jìn)水平的優(yōu)秀數(shù)學(xué)家。他加強(qiáng)了強(qiáng)大數(shù)定理，研究了中心極限定理中誤差大小的精確性，發(fā)展了矩陣變換技巧，得到了高斯-馬爾可夫模型中方差的最優(yōu)估計(jì)。

中國著名數(shù)學(xué)家、中國科學(xué)院院士、中國概率論研究的先驅(qū)和主要領(lǐng)導(dǎo)者之一——王梓坤對馬爾可夫過程的理論研究和應(yīng)用都作出了很大貢獻(xiàn)：將差分方法和遞推公式應(yīng)用于生滅過程的泛函和首達(dá)時(shí)分布的研究，得到一系列深刻結(jié)果，并將此理論應(yīng)用于排隊(duì)論、傳染病學(xué)等研究領(lǐng)域；在中國他最早著手研究隨機(jī)泛函分析，導(dǎo)出了廣義函數(shù)空間中隨機(jī)元的極限定理；他研究了位勢理論與布朗運(yùn)動(dòng)之間的關(guān)系，得出了高維布朗運(yùn)動(dòng)和對稱穩(wěn)定過程未離球面的時(shí)間分布、位置分布及極大游程分布；推導(dǎo)了馬爾可夫鏈的零一律和常返性成立的條件；他在國際上最先引進(jìn)多參數(shù)有限維恩斯坦-烏倫貝克過程的嚴(yán)格數(shù)學(xué)定義，并取得對三點(diǎn)轉(zhuǎn)移、預(yù)測問題、多參數(shù)與單參數(shù)關(guān)系等系列研究成果；創(chuàng)造了多種統(tǒng)計(jì)預(yù)報(bào)方法及供導(dǎo)航的數(shù)學(xué)方法。20世紀(jì)90年代至今，王梓坤所領(lǐng)導(dǎo)的研究集體致力于對測度值馬爾可夫過程（超過程）的研究，其研究成果已達(dá)到國際先進(jìn)水平。

北京師范大學(xué)教授嚴(yán)士健及中國科學(xué)院院士陳木法領(lǐng)導(dǎo)的無窮粒子系統(tǒng)研究集體，將算子譜和泛函不等式半群性質(zhì)作為研究對象，綜合應(yīng)用微分幾何、泛函分析及概率論等知識，取得了很多研究成果。上世紀(jì)60年代，嚴(yán)士健、王雋驤及劉秀芳在平穩(wěn)過程研究方面取得了一些成果。上世紀(jì)70年代末期，嚴(yán)士健與陳木法在國際上首次引入了非平衡粒子系統(tǒng)的典型模型——反應(yīng)擴(kuò)散過程，且創(chuàng)立了相關(guān)理論體系。從1988年開始，陳木法選定“馬爾可夫過程的遍歷速度與譜理論”為研究方向，他和王鳳雨合作在國際上首創(chuàng)運(yùn)用概率方法估計(jì)第一特征值。他最早研究馬爾可夫耦合，更新了耦合理論；完善了一般或可逆跳過程的唯一性準(zhǔn)則，且推導(dǎo)出了唯一性的充分條件；徹底攻破了“轉(zhuǎn)移概率函數(shù)的可微性”等難題，還創(chuàng)立了跳過程的系統(tǒng)理論。湖北大學(xué)張紹義教授的兩項(xiàng)重要工作：最優(yōu)馬氏耦合存在定理和跳過程ρ最優(yōu)保序耦合算子的存在定理受到陳木法院士的高度肯定。陳木法在他的兩本英文專著From Markov Chains to Non-EquilIbrium Particle System和Ergodic Convergence Rates of Markov Processes-eigenvalues， Inequalities and Ergodic Theory中給出了這些工作的詳細(xì)介紹，并稱之為張定理。

中國科學(xué)院院士嚴(yán)加安在鞅論、隨機(jī)分析和白噪聲分析等方面取得了顯著成果：他證明的局部鞅分解引理被外國專家稱為“嚴(yán)引理”；他創(chuàng)立的半鞅隨機(jī)積分“初等”定義為學(xué)者研究隨機(jī)積分的性質(zhì)提供了捷徑；他對無窮維分析中很有名的Gross定理及Minlos定理作了推廣；他還與法國通訊院士Meyer合作提出了白噪聲分析數(shù)學(xué)框架，其被稱作“Meyer-Yan空間”，被國際《數(shù)學(xué)百科全書》引述。

中國科學(xué)院院士馬志明研究狄氏型與馬爾可夫鏈的對應(yīng)關(guān)系取得了重要成果，創(chuàng)建了右連續(xù)馬爾可夫過程與擬正則狄氏型一一對應(yīng)的新框架。在Malliavin算法研究上，他與合作者證實(shí)了維納空間的容度與選取的可測范數(shù)無關(guān)。在無窮維分析方面，他與合作者推導(dǎo)出了緊Riemann流形的環(huán)空間上帶位勢項(xiàng)的對數(shù)索伯列夫不等式，這是當(dāng)前國際上該研究領(lǐng)域的最佳成果。

1974年，中南大學(xué)侯振廷教授在《中國科學(xué)》第二期發(fā)表論文“Q過程唯一性準(zhǔn)則”，成功地解決了Q過程的唯一性問題。這項(xiàng)成果被概率學(xué)界稱為“侯氏定理”。近年來，他又研究了馬爾可夫決策過程，推導(dǎo)出了馬爾可夫骨架過程新理論，并將這一理論運(yùn)用到排隊(duì)論的研究中，成功地解決了GI/G/N排隊(duì)系統(tǒng)和排隊(duì)網(wǎng)絡(luò)的隊(duì)長瞬時(shí)分布等問題。

五、馬爾可夫鏈的應(yīng)用

隨著馬爾可夫鏈的逐步深入研究，它在經(jīng)濟(jì)學(xué)、生物學(xué)、物理學(xué)、化學(xué)、軍事學(xué)、天文學(xué)等領(lǐng)域都引起了連鎖反應(yīng)，衍生出一系列新課題、新理論和新學(xué)科。馬爾可夫鏈具有豐富的數(shù)學(xué)理論，與其他數(shù)學(xué)學(xué)科相互滲透；而它又與自然科學(xué)、技術(shù)科學(xué)、管理科學(xué)、經(jīng)濟(jì)科學(xué)以至人文科學(xué)有廣泛的交叉應(yīng)用。很多問題都可建立馬爾可夫過程概率模型，運(yùn)用概率論及隨機(jī)過程的理論及方法進(jìn)行研究，而它們又不斷地衍生出新的研究課題。這種交互作用促進(jìn)了當(dāng)代概率論的飛速發(fā)展。而當(dāng)前馬爾可夫鏈的理論研究，正方興未艾。

六、馬爾可夫鏈的研究方向

目前，馬爾可夫過程、馬爾可夫隨機(jī)場、無窮粒子馬爾可夫過程、測度值分支過程（超過程）、流形上的馬爾可夫過程等都是正在深入研究或有待研究的領(lǐng)域。

[參 考 文 獻(xiàn)]

[1]DA Levin，Y Peres，EL Wilmer.Markov chains and mixing times[M].New York：American Mathematical Society，2009

[2]Ren Zihui，Wang Jian，Gao Yuelin.The global convergence analysis of particle swarm optimization algorithm based on Markov chain[J].控制理論與應(yīng)用，2011， 28（4）：462-466

[3]XS Yang，S Deb，Cuckoo.Search：recent advances and applications[J].Neural Computing and Applications， 2014， 24（1）：169-174

[4]MF Chen.Eigenvalues，Inequalities and Ergodic Theory[M].Beijing：Science Bulletin，2000（9）

[5]龔光魯，錢敏平.應(yīng)用隨機(jī)過程教程及在算法和智能計(jì)算中的隨機(jī)模型[M].北京：清華大學(xué)出版社，2004（3）

[6]徐傳勝.從博弈問題到方法論學(xué)科：概率論發(fā)展史研究[M].北京：科學(xué)出版社，2010（7）

[7]徐傳勝.彼得堡數(shù)學(xué)學(xué)派的概率思想研究[D].西安：西北大學(xué)博士論文，2007

[責(zé)任編輯：史樸]