概率圖模型的表示理論綜述

劉建偉，黎海恩，周佳佳，羅雄麟

(1.中國(guó)石油大學(xué)(北京)自動(dòng)化系，北京 102249; 2.新華醫(yī)藥化工設(shè)計(jì)有限公司,山東淄博 255086)

?

概率圖模型的表示理論綜述

劉建偉1，黎海恩2，周佳佳1，羅雄麟1

(1.中國(guó)石油大學(xué)(北京)自動(dòng)化系，北京 102249; 2.新華醫(yī)藥化工設(shè)計(jì)有限公司,山東淄博 255086)

概率圖模型結(jié)合概率論與圖論的知識(shí)，利用圖結(jié)構(gòu)表示變量的聯(lián)合概率分布，近年已成為不確定性推理的研究熱點(diǎn).隨著概率圖模型在實(shí)際領(lǐng)域中的應(yīng)用日益增加，不同的任務(wù)和應(yīng)用環(huán)境對(duì)概率圖模型的表示理論提出了不同的新要求.本文總結(jié)出近年來(lái)提出的多種概率圖模型的表示理論.最后指出概率圖模型的進(jìn)一步研究方向.

概率圖模型；連續(xù)化；非齊次化；貝葉斯邏輯；馬爾可夫邏輯；非參數(shù)化；矩陣正態(tài)圖模型；Copula函數(shù)；混合圖模型

1　引言

近年來(lái)，概率圖模型(Probabilistic Graphical Models，PGM)已受到眾多領(lǐng)域的科學(xué)家們的關(guān)注.PGM的表示理論結(jié)合了概率論與圖論的知識(shí)，通過(guò)圖來(lái)表示隨機(jī)變量間的依賴關(guān)系，為多變量統(tǒng)計(jì)建模提供了有力的表示框架.自Pearl建立起貝葉斯網(wǎng)的框架[1]后，眾多學(xué)者對(duì)此進(jìn)行研究，不斷豐富概率圖模型的體系.文獻(xiàn)[2,3]詳細(xì)介紹了概率圖模型的表示、推理和學(xué)習(xí)的相關(guān)理論.在PGM經(jīng)典表示理論的基礎(chǔ)上，本文主要?dú)w納了近幾年來(lái)PGM的新表示理論.

PGM的分類可分兩種情況:(1)根據(jù)邊有無(wú)方向性分類;(2)根據(jù)表示的抽象級(jí)別不同分類，如圖1所示.根據(jù)邊有無(wú)方向性，PGM可以分為三類：(1)有向圖模型[2]，也稱為貝葉斯網(wǎng)(Bayesian Network，BN)，其網(wǎng)絡(luò)結(jié)構(gòu)使用有向無(wú)環(huán)圖;(2)無(wú)向圖模型[2]，也稱為馬爾可夫網(wǎng)(Markov Network，MN)，其網(wǎng)絡(luò)結(jié)構(gòu)為無(wú)向圖;(3)局部有向模型，即同時(shí)存在有向邊和無(wú)向邊的模型，包括條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)[4]和鏈圖(Chain Graph)[5].

根據(jù)表示的抽象級(jí)別不同，PGM可分兩類：(1)基于隨機(jī)變量的概率圖模型，如貝葉斯網(wǎng)、馬爾可夫網(wǎng)、條件隨機(jī)場(chǎng)和鏈圖等;(2)基于模板的概率圖模型.這類模型根據(jù)應(yīng)用場(chǎng)景不同又可分為兩種：(a)為暫態(tài)模型，包括動(dòng)態(tài)貝葉斯網(wǎng)(Dynamic Bayesian Network,DBN)[6]和狀態(tài)觀測(cè)模型，其中狀態(tài)觀測(cè)模型又包括線性動(dòng)態(tài)系統(tǒng)(Linear Dynamic System,LDS)和隱馬爾可夫模型 (Hidden Markov Model,HMM)；(b)為對(duì)象關(guān)系領(lǐng)域的概率圖模型[7]，包括盤(pán)模型(Plate Model,PM)、概率關(guān)系模型(Probabilistic Relational Model，PRM)和關(guān)系馬爾可夫網(wǎng)(Relational Markov Network，RMN).

所有概率圖模型均可使用獨(dú)立等價(jià)手段簡(jiǎn)化概率圖模型，利用概率圖節(jié)點(diǎn)的兩兩獨(dú)立、局部獨(dú)立和全局獨(dú)立關(guān)系可以簡(jiǎn)化聯(lián)合概率分布的表示，利用網(wǎng)絡(luò)結(jié)構(gòu)與概率分布間獨(dú)立等價(jià)關(guān)系如獨(dú)立映射、最小I-映射和完美映射，可以實(shí)現(xiàn)不同的概率圖同一聯(lián)合概率分布，從而需要找到最適合學(xué)習(xí)推理的概率圖表示形式.BN、鏈圖、DBN、LDS、HMM、PM 和PRM屬于有向圖模型，MN、 CRF和 RMN屬于無(wú)向圖模型.有向圖模型的聯(lián)合概率分布，可利用參數(shù)和非參數(shù)概率模型對(duì)圖中節(jié)點(diǎn)、邊、團(tuán)、跡等圖結(jié)構(gòu)單元參數(shù)化得到，聯(lián)合概率分布可直接分解為每個(gè)節(jié)點(diǎn)所對(duì)應(yīng)的概率分布的乘積，有利于大規(guī)模學(xué)習(xí)和推理.有向圖模型主要應(yīng)用于具有因果關(guān)系的場(chǎng)景中，如醫(yī)療診斷、故障診斷、統(tǒng)計(jì)決策和專家系統(tǒng)等方面.無(wú)向圖模型的聯(lián)合概率分布，可利用參數(shù)和非參數(shù)概率模型對(duì)圖中的團(tuán)參數(shù)化得到，聯(lián)合概率分布由圖中包含的團(tuán)勢(shì)乘積經(jīng)過(guò)歸一化得到，給學(xué)習(xí)和推理帶來(lái)很大的困難，通常只能通過(guò)局部獨(dú)立假設(shè)，通過(guò)消息傳播，求解到近似聯(lián)合概率分布.無(wú)向圖模型不能表示變量間的因果關(guān)系，無(wú)向圖模型不能對(duì)有因果關(guān)系的問(wèn)題進(jìn)行學(xué)習(xí)推理，無(wú)向圖模型主要應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、信息解碼和語(yǔ)言識(shí)別等領(lǐng)域.

2　概率圖模型的表示理論

隨著PGM在實(shí)際領(lǐng)域中的應(yīng)用日益增加，不同的任務(wù)和應(yīng)用環(huán)境對(duì)PGM的表示理論提出了不同的新要求.為了更好地適應(yīng)新應(yīng)用場(chǎng)景以及得到能更加準(zhǔn)確地反映真實(shí)系統(tǒng)的模型，研究人員對(duì)PGM的表示理論作出了巨大的努力，推動(dòng)了PGM的快速發(fā)展.

2.1概率圖模型在暫態(tài)場(chǎng)景中的發(fā)展

在暫態(tài)模型中，為了簡(jiǎn)化表示問(wèn)題使模型易于處理，模型需要滿足三個(gè)假設(shè)，包括離散假設(shè)、馬爾可夫假設(shè)和平穩(wěn)假設(shè).但是，這些假設(shè)條件過(guò)于苛刻，通常不能滿足實(shí)際場(chǎng)景的情況，這限制了暫態(tài)模型的廣泛應(yīng)用.研究學(xué)者對(duì)這些假設(shè)條件進(jìn)行放松，推動(dòng)了暫態(tài)模型的進(jìn)一步發(fā)展，特別是動(dòng)態(tài)貝葉斯網(wǎng)表示理論的發(fā)展.

2.1.1連續(xù)化

離散假設(shè)以固定時(shí)間間隔把時(shí)間軸離散化，動(dòng)態(tài)系統(tǒng)的模型只能在這些固定的時(shí)間點(diǎn)上轉(zhuǎn)移，從上一時(shí)間點(diǎn)轉(zhuǎn)移到下一時(shí)間點(diǎn)，其推理過(guò)程也只能查詢這些時(shí)間點(diǎn)上的系統(tǒng)狀態(tài).但很多實(shí)際場(chǎng)景中不能離散化時(shí)間軸，需要在連續(xù)的時(shí)間軸上建模，如某些變量會(huì)隨著時(shí)間快速變化的系統(tǒng).為了解決該問(wèn)題，Nodelman等人定義了連續(xù)時(shí)間貝葉斯網(wǎng)(Continuous Time Bayesian Network，CTBN)[8]，把馬爾可夫過(guò)程推廣到分解域中.CTBN編碼了一個(gè)指數(shù)狀態(tài)空間上的齊次連續(xù)馬爾可夫過(guò)程.由于CTBN狀態(tài)空間的復(fù)雜性，使得其推理和學(xué)習(xí)過(guò)程難以處理，很多學(xué)者致力于研究CTBN的有效推理和學(xué)習(xí)算法.文獻(xiàn)[9]提出了CTBN的期望傳播推理算法.文獻(xiàn)[10]結(jié)合期望最大化和結(jié)構(gòu)期望最大化算法，提出一種CTBN的結(jié)構(gòu)和參數(shù)學(xué)習(xí)的算法，有效地實(shí)現(xiàn)從局部觀測(cè)數(shù)據(jù)中學(xué)習(xí)CTBN.文獻(xiàn)[11]提出CTBN的平均場(chǎng)變分近似推理算法，把CTBN的后驗(yàn)概率分布近似為獨(dú)立單元的乘積，每個(gè)單元都是一個(gè)非齊次連續(xù)馬爾可夫過(guò)程.

在動(dòng)態(tài)建模過(guò)程中，除了把有向圖模型BN進(jìn)行連續(xù)化作為建模工具外，El-Hay等人還提出連續(xù)時(shí)間馬爾可夫網(wǎng)(Continuous Time Markov Network，CTMN)[12].CTMN同樣能為連續(xù)時(shí)間動(dòng)態(tài)系統(tǒng)建模，其暫態(tài)過(guò)程的平穩(wěn)分布具有更加簡(jiǎn)潔的圖模型表示.

2.1.2非齊次化

平穩(wěn)假設(shè)也稱為齊次假設(shè)，假設(shè)了不同時(shí)間點(diǎn)上的數(shù)據(jù)來(lái)自于同一個(gè)齊次馬爾可夫過(guò)程.但實(shí)際上，系統(tǒng)變量之間的依賴關(guān)系或者其參數(shù)模型可能會(huì)隨著時(shí)間的變化而改變，使得數(shù)據(jù)不再是來(lái)自于同一個(gè)過(guò)程.為了使DBN適用于這類暫態(tài)系統(tǒng)的建模，研究人員對(duì)平穩(wěn)假設(shè)進(jìn)行放松，提出非齊次DBN.

Robinson和Hartemink提出離散非齊次DBN[13]，不同時(shí)間點(diǎn)上的模型具有不同的結(jié)構(gòu)，并且?guī)в袑?duì)結(jié)構(gòu)差異性進(jìn)行懲罰的正則化項(xiàng).Grzegorczyk和Husmeier提出連續(xù)非齊次DBN[14]，其參數(shù)允許隨著時(shí)間變化，并給出一個(gè)共享網(wǎng)絡(luò)來(lái)提供不同時(shí)間點(diǎn)上所共享的信息.Lèbre[15]提出另一種連續(xù)非齊次DBN，允許網(wǎng)絡(luò)結(jié)構(gòu)在不同時(shí)間點(diǎn)上變化.而文獻(xiàn)[16]和文獻(xiàn)[17]提出的模型雖然基于非貝葉斯方法，但也十分類似于非齊次DBN，只是其推理基于參數(shù)的稀疏L1范數(shù)正則化回歸.而Grzegorczyk和Husmeier提出適用于連續(xù)數(shù)據(jù)的非齊次DBN[18].為了解決基因調(diào)控網(wǎng)絡(luò)結(jié)構(gòu)隨時(shí)間變化的問(wèn)題，Dondelinger等人提出一種帶有貝葉斯正則化項(xiàng)的非齊次DBN[19]，可適用于連續(xù)型數(shù)據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)能夠隨時(shí)間變化，并給出了四種不同的正則化策略.Grzegorczyk和Husmeier還提出正則化非齊次DBN[20]，使不同分隔時(shí)間段上的信息能夠共享，其耦合機(jī)制使得不同分隔時(shí)間段的參數(shù)共享類似的先驗(yàn)概率分布模型.

2.2概率圖模型與邏輯語(yǔ)言的結(jié)合

概率圖模型可以有效處理不確定性，而邏輯語(yǔ)言可以簡(jiǎn)潔地表示領(lǐng)域中的大量知識(shí).因此，結(jié)合PGM與邏輯語(yǔ)言各自的優(yōu)點(diǎn)一直是人工智能領(lǐng)域的目標(biāo)，也是多數(shù)實(shí)際應(yīng)用的迫切需要.目前，研究人員已開(kāi)發(fā)出多種概率邏輯語(yǔ)言.PRM結(jié)合了有向圖模型BN與關(guān)系邏輯語(yǔ)言的優(yōu)點(diǎn)，而RMN則是基于無(wú)向圖模型MN與關(guān)系邏輯語(yǔ)言的表示框架.除了對(duì)象關(guān)系域模型之外，PGM與邏輯語(yǔ)言還有多種結(jié)合方式.

2.2.1貝葉斯邏輯

Kristian和Luc利用BN和有限子句邏輯的優(yōu)點(diǎn)，提出貝葉斯邏輯程序(Bayesian Logic Program，BLP)，建立起底層網(wǎng)絡(luò)與隨機(jī)變量之間的一一映射[21，22].Kristian和Luc還把BLP擴(kuò)展到連續(xù)變量空間中[23]，并給出了BLP的學(xué)習(xí)方法.Sindhu和Raymond提出貝葉斯溯因邏輯程序(Bayesian Abductive Logic Program，BALP)[24]，把BLP與溯因邏輯聯(lián)合起來(lái)用于溯因推理.BLP使用邏輯演繹法來(lái)構(gòu)造貝葉斯網(wǎng)，而B(niǎo)ALP使用邏輯溯因法，更適用于規(guī)劃識(shí)別和行為識(shí)別等問(wèn)題.Laskey還提出多實(shí)體貝葉斯網(wǎng)(Multi-Entity Bayesian Networks，MEBN)[25]，MEBN也是一種一階貝葉斯知識(shí)庫(kù)語(yǔ)言，能表示多種類型的概率分布，并可在多種應(yīng)用場(chǎng)景中用于領(lǐng)域知識(shí)的表示.

2.2.2馬爾可夫邏輯

馬爾可夫邏輯網(wǎng)(Markov Logic Network，MLN) 由Richardson和Domingos提出[26]，是無(wú)向圖模型與一階邏輯結(jié)合最典型的情況.MLN可以簡(jiǎn)潔地描述巨大的馬爾可夫網(wǎng)，并能夠靈活地表示豐富的領(lǐng)域知識(shí).由于MLN定義在有限域中，不能充分發(fā)揮一階邏輯的優(yōu)點(diǎn)，因此Singla和Domingos通過(guò)吉布斯測(cè)度理論把MLN擴(kuò)展到無(wú)限域中，并給出了與MLN勢(shì)函數(shù)相一致的測(cè)度的存在性與唯一性的充分條件[27].Kok和Domingos還把MLN擴(kuò)展到二階邏輯語(yǔ)言[28].Jain等人提出帶有動(dòng)態(tài)參數(shù)的自適應(yīng)MLN[29]，通過(guò)對(duì)參數(shù)的動(dòng)態(tài)調(diào)整，能有效表示變量間的隨機(jī)作用關(guān)系.

溯因法是求解觀察現(xiàn)象最優(yōu)解釋的方法，在自然語(yǔ)言處理中十分重要.Blythe等人在馬爾可夫邏輯中實(shí)現(xiàn)加權(quán)溯因，使用加權(quán)一階規(guī)則來(lái)表示概率知識(shí)[30].而Singla和Mooney利用MLN進(jìn)行溯因推理，并提出隱原因模型和溯因模型使得MLN規(guī)則在規(guī)劃識(shí)別應(yīng)用中比其它方法更優(yōu)越[31].

一階邏輯概率語(yǔ)言在推理和學(xué)習(xí)過(guò)程中都存在很大的困難，文獻(xiàn)[32]提出上升概率推理使MLN的推理能有效實(shí)現(xiàn)，而文獻(xiàn)[33]提出可處理馬爾可夫邏輯(Tractable Markov Logic，TML)，當(dāng)圖模型具有高樹(shù)寬時(shí)TML仍能有效推理.

2.3高斯圖模型的非參數(shù)化

經(jīng)典概率圖模型BN和MN只能處理離散型數(shù)據(jù)，因此連續(xù)型數(shù)據(jù)情況下需要對(duì)BN和MN的參數(shù)模型進(jìn)行約束，使參數(shù)模型服從高斯分布.但這種高斯圖模型的參數(shù)假設(shè)在實(shí)際應(yīng)用中過(guò)于苛刻，不能真實(shí)地反應(yīng)實(shí)際場(chǎng)景.一種常用的解決方法是把高斯圖模型進(jìn)行非參數(shù)化，如使用核密度估計(jì).如何有效構(gòu)造這種非參數(shù)化高斯圖模型，成為研究人員關(guān)注的熱點(diǎn).

Meinshausen和Buhlmann提出了一種有效估計(jì)高斯圖模型的方法，使用套索(Lasso)技術(shù)保證變量選擇過(guò)程的正確性[34].Liu等人提出一種非參數(shù)算法來(lái)估計(jì)高斯圖模型的結(jié)構(gòu)[35]，該算法稱為基于圖優(yōu)化的分類和回歸樹(shù)算法(Graph-Optimized Classification and Regression Trees，Go-CART).為了得到真實(shí)概率分布的一個(gè)更好的近似，Lafferty等人提出兩種方法來(lái)構(gòu)建更加靈活的非參數(shù)高斯圖模型[36]，其中一種方法所構(gòu)建的圖模型可使用任意的網(wǎng)絡(luò)結(jié)構(gòu)，但參數(shù)模型是高斯模型的非參數(shù)擴(kuò)展，而另一種方法使用核密度估計(jì)參數(shù)模型，并限制網(wǎng)絡(luò)結(jié)構(gòu)為樹(shù)狀或森林狀.

2.4定性概率圖模型

在某些實(shí)際應(yīng)用中，由于數(shù)據(jù)的缺失可能會(huì)導(dǎo)致變量間的關(guān)系存在不確定性，此時(shí)BN中嚴(yán)格的數(shù)值量化表示形式并不適用，并可能因?yàn)橹焕糜邢薜念I(lǐng)域知識(shí)而導(dǎo)致模型過(guò)擬合.因此，研究人員提出多種定性建模與定性推理的方法，試圖根據(jù)不同的應(yīng)用場(chǎng)景來(lái)定性描述變量間的關(guān)系.Wellman提出的定性概率網(wǎng)(Qualitative Probabilistic Nerwotk，QPN)是BN的一種定性概念形式[37]，QPN的表達(dá)能力低于BN，但是卻簡(jiǎn)化了表示模型以及加速推理過(guò)程，在應(yīng)用上具有更高的效率.

為了解決由BN導(dǎo)出QPN的過(guò)程中很有可能由于知識(shí)的不確定性而產(chǎn)生有向邊的不確定性關(guān)系，Bolt等人在QPN的框架中融入情景符號(hào)(situational signs)的概念[38]，基于情景符號(hào)獲取網(wǎng)絡(luò)當(dāng)前狀態(tài)的影響信息.而Renooij等人基于上下文的信息確定定性影響的符號(hào)，在推理時(shí)預(yù)先排除產(chǎn)生歧義的結(jié)果[39].

由于QPN缺乏對(duì)定性符號(hào)權(quán)重的描述，使得不能以量化機(jī)制來(lái)解決推理過(guò)程中發(fā)生的不一致沖突問(wèn)題，為此Liu和Wellman提出增量式方法，從所對(duì)應(yīng)的BN中獲取數(shù)值信息消除沖突[40].Renooij等人通過(guò)辨識(shí)影響的強(qiáng)弱程度對(duì)QPN進(jìn)行擴(kuò)展，基于“強(qiáng)影響對(duì)結(jié)果的作用大于弱影響”的思想來(lái)消除推理沖突問(wèn)題[41].他們還提出半定性概率網(wǎng)(Semi-QPN，SQPN)的概念[42]，每個(gè)定性影響的強(qiáng)度使用一個(gè)概率區(qū)間值描述，從而對(duì)定性影響進(jìn)行量化.文獻(xiàn)[43]則基于粗糙集理論，把變量間的依賴度作為QPN每一條有向邊的定性影響的權(quán)重，并使用權(quán)重傳播的推理方法構(gòu)造模型.

2.5高斯圖模型與矩陣型數(shù)據(jù)的結(jié)合

隨著信息技術(shù)的飛速發(fā)展，實(shí)際應(yīng)用中所面臨的數(shù)據(jù)大多數(shù)是高維數(shù)據(jù).矩陣型變量是處理這些帶有重要結(jié)構(gòu)信息的高維數(shù)據(jù)的一個(gè)重要工具，而高斯圖模型能有效地為隨機(jī)變量集之間的條件獨(dú)立關(guān)系建模.因此，高斯圖模型與矩陣變量數(shù)據(jù)的結(jié)合有力地推進(jìn)了高維結(jié)構(gòu)化數(shù)據(jù)處理的發(fā)展，這兩者的結(jié)合產(chǎn)生的模型稱為矩陣正態(tài)圖模型(Matrix Normal Graphical Model，MNGM).

但是目前MNGM的模型選擇和估計(jì)方法還不成熟，特別是在高維情況中.Wang和West給出了MNGM的貝葉斯分析，提出利用MCMC抽樣方法來(lái)進(jìn)行推理，并把MNGM模型擴(kuò)展到矩陣時(shí)間序列上[44].Allen和Tibshirani提出懲罰似然方法來(lái)進(jìn)行MNGM的模型估計(jì)，在協(xié)方差矩陣逆目標(biāo)函數(shù)中引入L1范數(shù)和L2范數(shù)罰函數(shù)[45].Yin和Li提出了L1范數(shù)罰似然方法和坐標(biāo)下降方法來(lái)選擇和估計(jì)MNGM的模型[46].除了使用矩陣范數(shù)之外，研究人員還提出使用數(shù)組范數(shù)來(lái)處理高維數(shù)據(jù)[47].Allen針對(duì)數(shù)組范數(shù)分布提出L1罰估計(jì)方法構(gòu)造MNGM[48].

2.6概率圖模型與Copula函數(shù)的結(jié)合

PGM主要應(yīng)用于多變量場(chǎng)景中，但是在其學(xué)習(xí)和推理過(guò)程中多變量分布函數(shù)的估計(jì)是極具挑戰(zhàn)性的任務(wù).Copula函數(shù)描述的是變量間的相關(guān)性，通過(guò)利用邊緣分布函數(shù)之間的copula函數(shù)C，可以把一個(gè)多變量分布函數(shù)分解為單變量或二變量邊緣分布函數(shù)的組合.PGM與Copula函數(shù)的結(jié)合既能利用圖結(jié)構(gòu)的獨(dú)立性簡(jiǎn)化高維Copula函數(shù)的表示，又能通過(guò)Copula函數(shù)構(gòu)造多變量分布函數(shù)簡(jiǎn)化PGM的學(xué)習(xí)和推理過(guò)程.因此，近年來(lái)，PGM與Copula函數(shù)的結(jié)合得到了研究人員的關(guān)注.

文獻(xiàn)[49]和文獻(xiàn)[50]最早提出Copula函數(shù)與圖結(jié)構(gòu)獨(dú)立性結(jié)合的思想，但是他們只局限于使用Pair-Copula構(gòu)造(Pair-Copula Contruction，PCC)概率圖模型.Bauer等人則使用PCC來(lái)構(gòu)造DAG的非高斯概率分布[51].Dobra和Lenkoski提出Copula高斯圖模型，只對(duì)與觀測(cè)變量有一一對(duì)應(yīng)關(guān)系的隱變量作高斯正態(tài)分布假設(shè)，其圖模型選擇由半?yún)?shù)高斯Copula函數(shù)實(shí)現(xiàn)[52].Elidan提出Copula貝葉斯網(wǎng)(Copula Bayesian Network，CBN)[53]，對(duì)節(jié)點(diǎn)的條件概率分布進(jìn)行基于Copula的參數(shù)化，并與隱含獨(dú)立性關(guān)系的圖結(jié)構(gòu)結(jié)合，實(shí)現(xiàn)了高維概率分布建模的靈活性，同時(shí)又保留了Copula對(duì)單變量邊緣分布的控制.隨后，他還針對(duì)非線性CBN提出一種快速結(jié)構(gòu)學(xué)習(xí)方法[54]，并且指出CBN在數(shù)據(jù)缺失的情況下依然具有顯著的計(jì)算優(yōu)勢(shì)[55].Elidan還給出Copula網(wǎng)絡(luò)分類器(Copula Network Classifier)用以解決連續(xù)解釋變量領(lǐng)域的復(fù)雜分類問(wèn)題[56].

2.7混合圖模型與圖模型的混合

混合圖模型(Mixed Graphical Model)指模型中同時(shí)包含離散變量和連續(xù)變量.在只有連續(xù)變量的情況中，通常假設(shè)數(shù)據(jù)服從高斯分布.而在只有離散變量的情況中，經(jīng)典的BN和兩兩關(guān)系MN都可適用.模型同時(shí)存在離散和連續(xù)變量則為建模問(wèn)題帶來(lái)了挑戰(zhàn)性.Lauritzen首先提出使用條件高斯分布為混合數(shù)據(jù)建模[57]，這一理論成為了混合圖模型研究的奠基石.但是，使用條件高斯分布建模時(shí)，模型參數(shù)的個(gè)數(shù)隨著變量個(gè)數(shù)的增加而指數(shù)增長(zhǎng).文獻(xiàn)[58]利用隨機(jī)森林與穩(wěn)定性選擇理論的結(jié)合，解決了混合圖模型在高維情況中的估計(jì)問(wèn)題.Lee和Hastie提出一種新兩兩關(guān)系模型(Pairwise Model)，針對(duì)離散和連續(xù)變量的條件概率分布分別使用多類邏輯斯蒂回歸和高斯線性回歸，并給出有效的結(jié)構(gòu)學(xué)習(xí)算法[59].Cheng等人對(duì)條件高斯分布進(jìn)行簡(jiǎn)化，顯著減少模型參數(shù)的個(gè)數(shù)，并對(duì)底層網(wǎng)絡(luò)結(jié)構(gòu)作出稀疏性假設(shè)用以處理高維情況的建模[60].

圖模型的混合(Mixture of Graphical Models)指圖模型中考慮隱變量對(duì)觀測(cè)變量的影響，使得圖模型融合了特定上下文依賴性(Context-Specific Dependencies)，觀測(cè)變量之間的結(jié)構(gòu)關(guān)系可隨著隱變量的變化而改變.目前，圖模型混合的研究主要針對(duì)樹(shù)混合，Kumar和Koller考慮使用基于期望最大化的方法進(jìn)行樹(shù)混合的學(xué)習(xí)[61]，而Thiesson等人對(duì)該方法進(jìn)行擴(kuò)展討論了DAG圖模型的混合[62].Mossel和Roch提出隱樹(shù)混合，該模型可認(rèn)為是乘積分布的分層混合[63].Anandkumar等人提出離散圖模型混合的無(wú)監(jiān)督估計(jì)算法，可適用于高維情況[64].

2.8不同數(shù)據(jù)類型下的概率圖模型

在實(shí)際應(yīng)用領(lǐng)域中常常出現(xiàn)各種不同類型的數(shù)據(jù)，最簡(jiǎn)單的有離散數(shù)據(jù)和連續(xù)數(shù)據(jù).數(shù)據(jù)類型的不同也影響著PGM表示理論的發(fā)展.

分類數(shù)據(jù)是反映事物類別的統(tǒng)計(jì)數(shù)據(jù)，高維相關(guān)多變量分類數(shù)據(jù)的分析是機(jī)器學(xué)習(xí)領(lǐng)域的重要問(wèn)題.Khan等人利用隱高斯圖模型分析分類數(shù)據(jù)，并給出一種新的Stick-Breaking似然函數(shù)，能有效發(fā)現(xiàn)數(shù)據(jù)間的相關(guān)性[65].

多媒體數(shù)據(jù)同時(shí)融合了文本、圖像、圖形和聲音等信息，通常希望使用低維的隱式表達(dá)方式來(lái)概括這些高維數(shù)據(jù)的特征.為了處理多媒體數(shù)據(jù)，Xing等人提出了基于雙層無(wú)向圖模型的Muti-wing Harmonium模型，該模型是有向Latent Dirichlet Allocation模型的一種無(wú)向化對(duì)應(yīng)實(shí)現(xiàn)，但在多媒體數(shù)據(jù)推理和學(xué)習(xí)任務(wù)中卻更加有效[66].

文檔、互聯(lián)網(wǎng)、電子表格和數(shù)據(jù)庫(kù)中經(jīng)常以表格的形式編碼大量信息，這些信息的綜合或者搜索，對(duì)理解信息的含義并顯式表示這些數(shù)據(jù)非常重要.Mulwad等人提出一種新方法可在不同領(lǐng)域中解釋表格數(shù)據(jù)的含義并把含義表示為關(guān)聯(lián)數(shù)據(jù)(Linked Data)，該方法的核心為圖模型和概率推理技術(shù)[67].

3　概率圖模型的研究方向

(1)概率圖模型的表示應(yīng)該更加準(zhǔn)確地反映變量集上真實(shí)的概率分布和變量間結(jié)構(gòu)關(guān)系，而同時(shí)概率圖模型表示又要具有能模塊化表示的概率分布和簡(jiǎn)單易懂的網(wǎng)絡(luò)結(jié)構(gòu)圖，并且能進(jìn)行有效的推理和學(xué)習(xí)過(guò)程.下一步開(kāi)發(fā)新PGM時(shí)應(yīng)盡量滿足上述條件，或者在構(gòu)造現(xiàn)有PGM時(shí)選擇滿足上述條件的模型.但是，構(gòu)造過(guò)程的候選模型結(jié)構(gòu)和模型參數(shù)個(gè)數(shù)通常很多，最優(yōu)模型的選擇十分重要，而且模型結(jié)構(gòu)和模型參數(shù)是相互依賴的，借助各種模型選擇理論實(shí)現(xiàn)同時(shí)最優(yōu)選擇模型結(jié)構(gòu)和模型參數(shù)是十分重要的研究課題[68].

(2)BN和MN的分類主要是為了研究和學(xué)習(xí)的便利.而實(shí)際應(yīng)用中所使用的模型有可能是BN和MN的某種形式的結(jié)合.如何結(jié)合兩種模型的表示能力構(gòu)造混合概率圖模型，如何判斷BN和MN的結(jié)合模型的有效性，制定出適當(dāng)?shù)慕M合原則和評(píng)判標(biāo)準(zhǔn)，是一個(gè)值得探討的問(wèn)題，這種混合概率圖模型同時(shí)也給模型的推理和學(xué)習(xí)帶來(lái)新的挑戰(zhàn).

(3)雖然概率圖模型與邏輯語(yǔ)言已成功結(jié)合，并在某些領(lǐng)域得到應(yīng)用，但概率邏輯語(yǔ)言仍有待進(jìn)一步研究.需要開(kāi)發(fā)更豐富的概率邏輯語(yǔ)言，考慮概率模型與不同的邏輯語(yǔ)言的結(jié)合，如時(shí)態(tài)邏輯[69]和模態(tài)邏輯[70]語(yǔ)言的結(jié)合等；深入研究當(dāng)前概率邏輯模型的有效推理與學(xué)習(xí)算法，使推理與學(xué)習(xí)任務(wù)進(jìn)一步簡(jiǎn)化并保證準(zhǔn)確性；提高概率邏輯模型的可擴(kuò)展性，從而應(yīng)用在更多的概率圖模型推理學(xué)習(xí)場(chǎng)景中.

(4)概率圖模型的非參數(shù)化具有很強(qiáng)的實(shí)際意義，放松了模型對(duì)參數(shù)假設(shè)的約束，在某些情況下能更好地反映實(shí)際場(chǎng)景.除了前面介紹過(guò)的核密度估計(jì)非參數(shù)化方法外，還可考慮通過(guò)無(wú)限混合模型[71]或者狄氏過(guò)程[72]來(lái)進(jìn)行概率圖模型的非參數(shù)化.

(5)目前的概率圖模型只集中于局部表示(Local Representation)和局部稀疏表示的研究，而對(duì)分布表示(Distributed Representation)[73,74]和稀疏分布表示(Sparse Distributed Representation)[75～77]這兩種重要的表示形式上的概率圖模型的研究還很少，這方面的研究可借鑒深度學(xué)習(xí)理論.

(6)概率圖模型智能表示隨機(jī)型的不確定性，不能表示模糊型的不確定性，因此應(yīng)用范圍仍受到較大的限制，特別是在人工智能領(lǐng)域，如何使概率圖模型能夠處理模糊信息問(wèn)題是一個(gè)值得關(guān)注的方向.

4　結(jié)論

本文系統(tǒng)綜述了PGM的其它表示理論，包括暫態(tài)建模的新發(fā)展、PGM與邏輯語(yǔ)言的結(jié)合、PGM非參數(shù)化理論、定性概率圖模型、矩陣型變量上的概率圖模型、與Copula函數(shù)的結(jié)合、混合圖模型以及不同數(shù)據(jù)類型下的概率圖模型.最后指出了PGM的未來(lái)研究方向.

概率圖模型是不確定性推理的一種強(qiáng)有力工具，在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域勢(shì)必日益重要.雖然概率圖模型已經(jīng)取得了很好的應(yīng)用效果，但概率圖模型表示理論還應(yīng)時(shí)刻結(jié)合人工智能和機(jī)器學(xué)習(xí)領(lǐng)域出現(xiàn)的新理論和新技術(shù)，不斷完善自身體系，以便更好地在實(shí)際領(lǐng)域中應(yīng)用.

[1]Pearl J.Probabilistic Reasoning in Intelligent Systems:Networks of Plausible Inference[M].San Mateo,California:Morgan Kaufmann Publishers,1988.

[2]Koller D,Firedman N.Probabilistic Graphical Models:Principles and Techniques[M].MIT Press,Cambridge,2009.

[3]Edwards D.Introduction to Graphical Modeling[M].Springer,New york,USA,2000.

[4]Christopher J P,Jerod J W,Lam C T,Daniel S.On learning conditional random fields for stereo:exploring model structures and approximate inference[J].International Journal of Computer Vision,2012,99(3):319-337.

[5]Golumbic M C,Maffray F,Morel G.A characterization of chain probe graphs[J].Annals of Operation Research,2011,188(1):175-183.

[6]Murphy K P.Dynamic bayesian networks:Representation,inference and learning[D].Berkeley:University of California,Computer Science Division,2002.

[7]Getoor L,Taskar B.Introduction to Statistical Relational Learning[M].MIT Press,Cambridge,USA,2007.

[8]Nodelman U,Shelton C R,Koller D.Continuous time Bayesian networks[A].Proceedings of the 18th Conference on Uncertainty in Artificial Intelligence[C].Edmonton,Alberta,Canada:UAI,2002.378-387.

[9]Nodelman U,Koller D,Shelton C R.Expectation propagation for continuous time bayesian networks[A].Proceedings of the 21st Conference on Uncertainty in Artificial Intelligence[C].Edinburgh,Scotland,UK:UAI,2005.431-440.

[10]Nodelman U,Koller D,Shelton C R.Expectation maximization and complex duration distributions for continuous time bayesian networks[A].Proceedings of the 21st Conference on Uncertainty in Artificial Intelligence[C].Edinburgh,Scotland,UK:UAI,2005.421-430.

[11]Cohn I,El-Hay Tal,Friedman N,Kupferman R.Mean field variational approximation for continuous-time bayesian networks[J].Journal of Machine Learning Research,2010,11(10):2745-2783.

[12]El-Hay Tal,Friedman N,Koller D,Kupferman R.Continuous time markov networks[A].Proceedings of the 22nd Conference on Uncertainty in Artificial Intelligence[C].Canbridge,MA,USA:UAI,2006.155-164.

[13]Robinson J W,Hartemink A J.Non-stationary dynamic Bayesian networks[A].Proceedings of the 21Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2008.21:1369-1376.

[14]Grzegorczyk M,Husmeier D.Non-stationary continuous dynamic Bayesian networks[A].Proceedings of the Neural Information Processing Systems 22:23rd Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2009.22:682-690.

[15]Lèbre S.Stochastic process analysis for genomics and dynamic Bayesian networks inference[R].Ph.D.thesis,Université d'Evry-Val d'Essonne,France,2007.

[16]Ahmed A,Xing E P.Recovering time-varying networks of dependencies in social and biological studies[J].PANS,2009,106(29):11878-11883.

[17]Kolar M,Song L,Xing E.Sparsistent learning of varying-coefficient models with structural changes[A].Proceedings of the Neural Information Processing Systems 22:23rd Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2009.22:1006-1014.

[18]Grzegorczyk M,Husmeier D.Non-homogeneous dynamic Bayesian networks for continuous data[J].Machine Learning,2011,83(3):355-419.

[19]Dondelinger F,Lèbre S,Husmeier D.Non-homogeneous dynamic Bayesian networks with Bayesian regularization for inferring gene regulatory networks with gradually time-varying structure[J].Machine Learning,2013,90(2):191-230.

[20]Grzegorczyk M,Husmeier D.Regularization of non-homogeneous dynamic Bayesian networks with global information-coupling based on hierarchical Bayesian models[J].Machine Learning,2013,91(1):105-154.

[21]Kersting K,De Raedt L.Bayesian logic programs[R].Technical Report 151,University of Freiburg,Institute for Computer Science,April 2001.

[22]Kersting K,De Raedt L.Bayesian Logic Programming:Theory and Tool[M].MIT Press,Cambridge,USA,2005.

[23]Kersting K,De Raedt L.Adaptive bayesian logic programs[A].Proceedings of the 11th International Conference Inductive Logic Programming[C].Strasbourg,France:ILP,2001.104-117.

[24]Raghavan S,Mooney R.Bayesian abductive logic programs[A].Proceedings of the Statistical Relational Artificial Intelligence[C].Atlanta,Georgia,USA:AAAI workshop,2010.629-644.

[25]Laskey K B.MEBN:A language for first-order Bayesian knowledge bases[J].Artificial Intelligence,2008,172(2-3):140-178.

[26]Richardson M,Domingos P.Markov logic networks[J].Machine Learning,2006,62(1-2):107-136.

[27]Singla P,Domingos P.Markov Logic in Infinite Domains[A]. Proceedings of the 23rd Conference on Uncertainty in Artificial Intelligence[C].Vancouver,BC,Canada:UAI Press,2007.368-375.

[28]Kok S,Domingos P.Statistical predicate invention[A].Proceedings of the 24th International Conference[C].Corvalis,Oregon,USA:ICML,2007.433-440.

[29]Jain D,Barthels A,Beetz M.Adaptive markov logic networks:Learning statistical relational models with dynamic parameters[A].Proceedings of the 9th European Conference on Artificial Intelligence[C].Lisbon,Portugal:ECAI,2010.937-942.

[30]Blyth J,Hobbs J R,Domingos P,et al.Implementing weighted abduction in markov logic[A].Proceedings of the 9th International Conference on Computational Semantics[C].Stroudsburg,PA,USA:Association for computational linguistics,2011.55-64.

[31]Singla P,Mooney R J.Abductive markov logic for plan recognition[A].Proceedings of the 25th AAAI Conference on Artificial Intelligence[C].San Francisco,California USA:AAAI,2011.1069-1075.

[32]Gogate V,Domingos P.Probabilistic theorem proving[A].Proceedings of the 27th Conference on Uncertainty in Artificial Intelligence[C].Barcelona,Spain:UAI,2011.256-265.

[33]Domingos P,Webb W A.A tractable first-order probabilistic logic[A].Proceedings of the 26th AAAI Conference on Artificial Intelligence[C].Toronto,Ontario,Canada:AAAI,2012.1902-1909.

[34]Meinshausen N,Buhlmann P.High-dimensional graphs and variable selection with the lasso[J].Annals of Statistics,2006,34(3):1436-1462.

[35]Liu H,Chen X,Lafferty J,Wasserman L.Graph-valued regression[A].Proceedings of the 24th Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2010.1423-1431.

[36]Lafferty J,Liu H,Wasserman L.Sparse nonparametric graphical models[J].Institute of Mathematical Statistics in Statistical Science,2012,27(4):519-537.

[37]Wellman M P.Fundamental concepts of qualitative probabilistic networks[J].Artificial Intelligence,1990,44(3):257-303.

[38]Bolt JH,Van der Gaag LC,Renooij S.Introducing situational signs in qualitative probabilistic networks[J].International Journal of Approximate Reasoning,2005,38(3):333-354.

[39]Renooij S,Van der Gaag LC,Parsons S.Context-specific sign-propagation in qualitative probabilistic networks[J].Artificial Intelligence,2002,144(1):207-230.

[40]Liu C L,Wellman M P.Incremental tradeoff resolution in qualitative probabilistic networks[A].Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence[C].Madison,Wisconsin,USA:UAI,1998.338-345.

[41]Renooij S,Van der Gaag LC.Enhanced qualitative probabilistic networks for resolving trade-offs[J].Artificial Intelligence,2008,172(12-13):1470-1494.

[42]Renooij S,van der Gaag L C.From qualitative to quantitative probabilistic networks[A].Proceedings of the 18th Conference in Uncertainty in Artificial Intelligence[C].Edmonton,Alberta,Canada:UAI,2002.422-429.

[43]Yue K,Liu W Y.Qualitative probabilistic networks with rough-set-based weights[A].IEEE International Conference on Machine Learning and Cybernetics[C].Kunming,China:IEEE,2008.3:1768-1774.

[44]Wang H,West M.Bayesian analysis of matrix normal graphical models[J].Biometrika,2009,96(4):821-834.

[45]Allen G,Tibshirani R.Transposable regularized covariance models with an application to missing data imputation[J].The Annals of Applied Statistics,2010,4(2):764-790.

[46]Yin J,Li H.Model selection and estimation in the matrix normal graphical model[J].Journal of Multivariate Analysis,2012,107(5):119-140.

[47]Hoff P.Separable covariance arrays via the Tucker product,with applications to multivariate relational data[J].Bayesian Analysis,2011,6(2):179-196.

[48]Allen G.Comment on article by Hoff[J].Bayesian Analysis,2011,6(2):197-202.

[49]Hanea A M,Kurowicka D,Cooke R M.Hybrid method for quantifying and analyzing bayesian belief nets[J].Quality and Reliability Engineering,2006,22(6):709-729.

[50]Kurowicka D,Cooke R.Uncertainty Analysis with High Dimensional Dependence Modelling[M].John Wiley & Sons,Chichester,2006.

[51]Bauer A,Czado C,Klein T.Pair-copula constructions for non-Gaussian DAG models[J].Canadian Journal of Statistics,2012,40(1):86-109.

[52]Dobra A,Lenkoski A.Copula Gaussian graphical models and their application to modeling functional disability data[J].The Annals of Applied Statistics,2011,5(2A):969-993.

[53]Elidan G.Copula bayesian networks[A].Processing of the 23:24rd Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2010.559-567.

[54]Elidan G.Lightning-speed structure learning of nonlinear continuous networks[A].Proceedings of the 5th International Conference on Artificial Intelligence and Statistics[C].La Palma,Canary Islands:AISTATS,2012.355-363.

[55]Elidan G.Inference-less density estimation using Copula Bayesian Networks[A].Proceedings of the 26th Conference on Uncertainty in Artificial Intelligence[C].Catalina Island,CA,USA:UAI,2010.151-159.

[56]Elidan G.Copula network classifiers (CNCs)[A].Proceedings of the 5th International Conference on Artificial Intelligence and Statistics[C].La Palma,Canary Islands:AISTATS,2012.346-354.

[57]Lauritzen S.Graphical Models[M].Oxford UK:Oxford University Press.1996.

[58]Fellinghauer B,Bühlmann P,Ryffel M,et al.Stable graphical model estimation with Random Forests for discrete,continuous,and mixed variables[J].Computational Statistics & Data Analysis,2013,64(8):132-152.

[59]Lee J D,Hastie T J.Structure learning of mixed graphical models[A].Proceedings of the 6th International Conference on Artificial Intelligence and Statistics[C].Scottsdale,AZ,USA:AISTATS,2013:388-396.

[60]Edwards D,Gabriel C.G.de Abreu.Labouriau R.Selecting high-dimensional mixed graphical models using minimal AIC or BIC forests[J].BMC Bioinformatics 2010,11(1):11-18.

[61]Kumar M P,Koller D.Learning a small mixture of trees[A].Proceedings of the Neural Information Processing Systems 22:23rd Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2009.22:1051-1059.

[62]Thiesson B,Meek C,Chickering D,Heckerman D.Computationally efficient methods for selecting among mixtures of graphical models[J].Bayesian Statistics,1999,6(1):569-576.

[63]Mossel E,Roch S.Phylogenetic mixtures:concentration of measure in the large-tree limit[J].The Annals of Applied Probability,2012,22(6):2429-2459.

[64]Anandkumar A,Hsu D,Huang F,et al.Learning mixtures of tree graphical models[A].Processing of the 25th Annual Conference on Neural Information Processing Systems[C].Lake Tahoe,Nevada,USA:NIPS,2012.1061-1069.

[65]Khan M E,Mohamed S,Marlin B M,et al.A stick-breaking likelihood for categorical data analysis with latent Gaussian models[A].Proceedings of the 5th International Conference on Artificial Intelligence and Statistics[C].La Palma,Canary Islands:AISTATS,2012.610-618.

[66]Xing E P,Yan R,Hauptmann A G.Mining associated text and images with dual-wing harmoniums[A].Proceedings of the 21st Conference on Uncertainty in Artificial Intelligence[C].Edinburgh,Scotland,UK:UAI,2005.633-641.

[67]Mulwad V,Finin T,Joshi A.Search Computing[M].Springer Berlin Heidelberg,2012,7538:16-33.

[68]P M Lukacs,K P Burnham,D R Anderson.Model selection bias and Freedman’s paradox[J].Annals of the Institute of Statistical Mathematics,2010,62(1):117-125.

[69]M Reynolds.The complexity of temporal logic over the reals[J].Annals of Pure and Applied Logic,2010,161(8):1063-1096.

[70]Ditmarscha H V,van der Hoek.W,Kooi B.Local properties in modal logic[J].Artificial Intelligence,2012,187-188(8):133-155.

[71]Gershmana S J,Blei D M.A tutorial on Bayesian nonparametric models[J].Journal of Mathematical Psychology,2012,56(1):1-12.

[72]Tayal,Poupart P,Li Y.Hierarchical double dirichlet process mixture of gaussian processes[A].Proceedings of the 26th AAAI Conference on Artificial Intelligence[C].Toronto,Ontario,Canada:AAAI,2012.1126-1133.

[73]Bengio Y,Ducharme R,Vincent P.A neural probabilistic language model[A].Processing of the 14th Annual Conference on Neural Information Processing Systems[C].Denver,Co,USA:NIPS,2001.933-938.

[74]Hinton G E.Learning distributed representations of concepts using linear relational embedding[J].IEEE Trans.Knowl.Data Eng,2001,13(2):232-244.

[75]Bagnell J A,Bradley D M.Differentiable sparse coding[A].Proceedings of the Neural Information Processing Systems 22:23rd Annual Conference on Neural Information Processing Systems[C].Vancouver,British Columbia,Canada:NIPS,2008.113-120.

[76]Coates A,NG A Y.The importance of encoding versus training with sparse coding and vector quantization[A].Proceedings of the 24:25th Annual Conference on Neural Information Processing Systems[C].Bellevue,Washington,USA:ICML,2011.921-928.

[77]Goodfellow I J,Courville A C,Bengio Y.Large-scale feature learning with spike-and-slab sparse coding[A].Proceedings of the 29th International Conference on Machine Learning[C].Edinburgh,Scotland,UK:ICML,2012.6407-6423.

劉建偉男，1966年出生.博士，中國(guó)石油大學(xué)(北京)副研究員，主要研究方向包括智能信息處理，機(jī)器學(xué)習(xí)，算法分析與設(shè)計(jì)等.

E-mail:liujw@cup.edu.cn

黎海恩女，1988年出生.碩士，2014年畢業(yè)于中國(guó)石油大學(xué)(北京)自動(dòng)化系.現(xiàn)在任職山東新華醫(yī)藥化工設(shè)計(jì)有限公司.

E-mail:lihaien1988@163.com

A Survey on the Representation Theory of Probabilistic Graphical Models

LIU Jian-wei1,LI Hai-en2,ZHOU Jia-jia1,LUO Xiong-lin1

(1.DepartmentofAutomation,ChinaUniversityofPetroleum,Beijing102249,China； 2.XinhuaPharmaceuticalandChemicalDesigningCompanyLimited,Zibo,Shandong255086，China)

Probabilistic Graphical models bring together graph theory and probability theory in a single formalism,so the joint probabilistic distribution of variables can be represented using graph.In recent years,probabilistic graphical models have become the focus of the research in uncertainty inference,because of its bright prospect for the application.In this paper,we conclude the representation of probabilistic graphical models in recent years.Finally,a discussion of the future trend of probabilistic graphical models is given.

probabilistic graphical models;continuous;inhomogeneous;Bayesian logic；Markov logic;non-parametric;matrix normal graphical model;Coupula function;mixed graphical model

2014-11-15;

2015-04-30;責(zé)任編輯:馬蘭英

TP181

A

0372-2112 (2016)05-1219-08

電子學(xué)報(bào)URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.030