基于貝葉斯網(wǎng)絡(luò)的概率圖模型變分近似推理研究

何林海

（湘潭醫(yī)衛(wèi)職業(yè)技術(shù)學(xué)院 湖南 湘潭 411102）

1.概率圖模型介紹

概率圖模型是綜合運用概率論和圖論的結(jié)合，描述統(tǒng)計關(guān)系的應(yīng)用模型。在實踐操作中概率圖模型能夠?qū)⒓宵c表示為變量，通過空間標(biāo)記明確連續(xù)的離散特征。其離散狀態(tài)的空間概率模型標(biāo)識研究其取值范疇，或者近似值的推理模式。較為常見的概率圖模型主要為貝葉斯網(wǎng)絡(luò)可以將貝葉斯網(wǎng)絡(luò)理解為一種概率網(wǎng)絡(luò)的圖型結(jié)構(gòu)，葉斯網(wǎng)絡(luò)也是最為常見的概率推理圖形化網(wǎng)絡(luò)模式。貝葉斯公式便是在概率網(wǎng)絡(luò)的基礎(chǔ)之上進(jìn)行構(gòu)建的解析過程。其數(shù)學(xué)模型描述了概率推理的變量關(guān)系，以及概率信息的來源和獲取路徑。而基于概率推理而設(shè)計的貝葉斯網(wǎng)絡(luò)也是為了進(jìn)一步解決推理過程中的不完整性或不定性。雖然其解決路徑相對復(fù)雜，但是仍然可以描述其中的不確定因素，或者關(guān)聯(lián)性較強的故障類型，因此在諸多實踐操作中應(yīng)用葉斯網(wǎng)絡(luò)進(jìn)行概率推導(dǎo)的優(yōu)勢仍然存在，也是眾多領(lǐng)域應(yīng)用其網(wǎng)絡(luò)結(jié)構(gòu)的主要因素。利用變量關(guān)系表述其概率函數(shù)的模型，可以利用葉斯網(wǎng)絡(luò)的聯(lián)合概率分布作為函數(shù)表達(dá)模型，其表達(dá)式為在此公式中，xs 代表父代結(jié)點的集合，其局部函數(shù)乘積可以描述關(guān)聯(lián)干了的表達(dá)式從理論上任何有向圖模型都能夠轉(zhuǎn)化為無向圖模型，等價轉(zhuǎn)化的方式可以保持聯(lián)合概率之間的變量和分布規(guī)律不變，進(jìn)而在獨立條件下支持概率推理的進(jìn)一步優(yōu)化，直至無限接近于近似目標(biāo)的取值范疇。

2.概率推理的主要問題

應(yīng)用貝葉斯公式構(gòu)建概率圖模型，實質(zhì)上是為了解決概率推理中極為重要的三項問題，分別為：結(jié)構(gòu)學(xué)習(xí)、參數(shù)學(xué)習(xí)、概率推導(dǎo)。首先，結(jié)構(gòu)學(xué)習(xí)的問題主要集中于在已知的參數(shù)樣本信息中，預(yù)測或估計盡量符合依賴關(guān)系的數(shù)據(jù)類型。其次，參數(shù)學(xué)習(xí)是在已知的概率圖模型中，借助樣本數(shù)據(jù)預(yù)測多各個參考變量之間依存關(guān)系。諸如，條件概率的分布趨勢等。最后，概率推理是最終求取所有變量或者部分變量的邊緣概率問題，也可以界定為最大概率狀態(tài)下的推理路徑。概率推理問題可以借助概率圖模型深入分析和探討，在應(yīng)用過程中逐步解析概率近似值。由于概率圖模型能夠最終求得推理結(jié)果，而概率推理的關(guān)聯(lián)問題也可以得到解析。因此，貝葉斯網(wǎng)絡(luò)的推理流程可以借助概率圖模型推導(dǎo)，并求得近似推理結(jié)果。此外，在諸多結(jié)構(gòu)學(xué)習(xí)或者參數(shù)學(xué)習(xí)的基礎(chǔ)算法中，可以利用概率推理算法的中間步驟，明確概率推理問題所包涵的邊緣概率范疇，從而在求解最大概率狀態(tài)時逐步優(yōu)化解析路徑，并在邊緣化概率的統(tǒng)籌范圍內(nèi)明確計算部分的變量關(guān)系。例如MAP 最大概率的運算模型為：X*=arg max p(x)。其計算邊緣化的求解問題為在類似問題描述中，計算最大概率的過程中相當(dāng)于不完全問題類型，計算步驟趨向于邊緣概率的解析內(nèi)容。由于多數(shù)情況下求解問題的精確度并不能充分保障，需要借助近似值取值范疇來描述類似情況。因此，從變分角度考量邊緣概率的解析路徑，也是盡量簡化運算流程的方式，能夠在很大程度上優(yōu)化最大概率的解析流程。

3.概率圖模型變分近似推理發(fā)展歷程

3.1 信度傳播

信度傳播算法是概率圖模型變分近似推理的早期發(fā)展階段，上世紀(jì)九十年代由Pearl 等提出樹狀貝葉斯網(wǎng)的運算結(jié)構(gòu)。而該模型也可以應(yīng)用于非樹結(jié)構(gòu)的概率圖模型中，因此其近似推理結(jié)果適用范圍更廣。在此階段近似推理方法更加傾向于精確推理的方向，其本質(zhì)思想是利用部分變量的獨立性，設(shè)定已知參考變量，并結(jié)合精確推理流程得到不同假設(shè)狀態(tài)下的近似值。其中應(yīng)用較為廣泛的近似推理模型包括：定界條件法、剪枝算法等。但是由于精確推理方法并無法解決計算復(fù)雜度過高的指數(shù)級運算內(nèi)容，因此其應(yīng)用范疇仍然具有一定的局限性。而且類似方法含有啟發(fā)式成分，所得近似值并無法確保其真實性。

3.2 自由能優(yōu)化

自由能優(yōu)化的近似值推理方法最早由Yedidia 等在本世紀(jì)初期提出，該方法是通過變分法角度詮釋信度傳播算法的運算模式，能夠在很大程度上證明樹狀圖模型或環(huán)圖模型所涵蓋的信度傳播具有最小化自由能。在此之后諸多學(xué)術(shù)研究依據(jù)自由能優(yōu)化的原理構(gòu)建了多種形式的信度傳播算法。在求解近似值的概率推導(dǎo)中優(yōu)化了運算步驟和流程，也相對增強了所得結(jié)果的理論參考價值。

3.3 對偶分解

對偶優(yōu)化是概率圖模型變分近似推理發(fā)展的第三階段，其基本理念是將復(fù)雜問題設(shè)定為一個包含了諸多簡單問題的集合，并針對子集問題進(jìn)行逐步求解。最后將子集問題匯總并得到近似解的過程。Wainwright 等提出了重參數(shù)化和基于樹分解推理方法，此后該方法被Kolmogorov 等運用和推廣形成了對偶分解的近似值概率推理框架。

4.基于貝葉斯網(wǎng)絡(luò)的概率圖模型變分近似推理算法

基于貝葉斯網(wǎng)絡(luò)的概率圖模型變分近似推理算法，是針對邊緣概率問題求解過程中引用的近似值求解思路。在不同參量的條件限制下，其變分近似推理算法更加契合運算條件的基本規(guī)律，從邊緣概率問題中提取其近似算法的優(yōu)先考量范疇之后，也可以在最大限度上優(yōu)化解決方案。

由于不同參考變量α 和P 在優(yōu)化問題中可以得到差異化的推理路徑。從α 趨向于0 的解集中能夠發(fā)現(xiàn)α 本身也具備了離散特征。而利用自由能算法進(jìn)行解析能夠得到Dα→0（P||q）=KL(P||q)的解集方案。而在α→0 的情況下，P 相對固定，可以利用拉格朗日乘子算法求解類似問題。并得到信度傳播算法。邊緣管理的迭代信息也可以借助該算法進(jìn)行描述，從而得到近似值的參考范疇。而其中利用樸素平均場算法時，能夠分析聯(lián)合概率的近似值，從而得到PST=0 或者PST=1 的結(jié)論。其更加接近于迭代原理的算法機(jī)制，有助于針對樹狀平均場的近似值進(jìn)行約束。也是利用修正方法得到線性規(guī)律的普遍模式，能夠從平均場的基礎(chǔ)上得到信度傳播算法的精準(zhǔn)近似取值范疇。因此在利用了信度傳播算法之后，自由能分解所得到的近似值P（x）滿足了權(quán)樹分解的函數(shù)解析條件。對于分?jǐn)?shù)信度的傳播機(jī)制加以描述，能夠明確線性響應(yīng)理論的可行性。進(jìn)而在優(yōu)化了PST取值范圍后，進(jìn)一步凸顯近似值的內(nèi)在聯(lián)系，為后續(xù)選擇參量提供基礎(chǔ)條件，支持信度傳播算法的收斂性。

在 α→1 的情況下，α 離散度為 KL(P||q)，此時∑xP(x)log q(x)作為自由能的實質(zhì)參量，能夠在期望值的界定中明確近似推理方法的可行性。在α→0 的情況下，α 的離散度可以被定義為對數(shù)形式，從而依據(jù)相對簡化的表述形式支持運算流程的便捷性。在α 的取值范疇內(nèi)定義簡化條件，能夠借助α 的繁瑣性解決取值過程中的邊緣概率形式，因此其近似方法也得到了有效性的驗證。變分近似推理算法所得近似值，與自由能所提供的收斂性和凸性產(chǎn)生了密切的關(guān)聯(lián)度，相關(guān)研究構(gòu)造凸的自由能函數(shù)也是為了進(jìn)一步優(yōu)化近似效果的訴求。Heskes等提出了針對線性約束條件的自由能解析框架，而Pakzad 等提出了等價轉(zhuǎn)化的運算條件，Meshi 等提出了自由能解析模式在利用參數(shù)變量之后，能夠優(yōu)化該參數(shù)距離最小自由能取值空間，進(jìn)而優(yōu)化了求解步驟和問題解析路徑。變分近似推理算法所具備的收斂性，是優(yōu)化迭代算法的重要條件。在迭代算法中所具備的收斂性也將進(jìn)一步優(yōu)化解題條件。在Tatikonda 等提出了計算樹采樣算法中所具備的收斂性之后，LBP 算法的收斂性也被進(jìn)一步證明，能夠依據(jù)LBP 所具備的收斂特征補充算法條件，進(jìn)而為優(yōu)化信度傳播算法，并降低運算誤差率提供基礎(chǔ)條件和優(yōu)化方向。多種算法在求解近似值的過程中，均采用了概率圖模型，并結(jié)合了參數(shù)關(guān)系的運算原則，對于優(yōu)化自由能的參考價值，依據(jù)突出收斂性均起到了重要作用，是求解近似推理概率結(jié)論的主要發(fā)展趨勢。

5.結(jié)語

綜上所述，概率推理中涵蓋了邊緣概率、最大概率等近似值的運算問題。利用概率圖模型進(jìn)行解析，可以借助貝葉斯網(wǎng)絡(luò)的諸多特征加以描述，在求解近似推理方法的過程中運用信度傳播、自由能優(yōu)化、對偶分解等多種運算模式，能夠優(yōu)化解決路徑，并在最終的求解思路明確后得到近似值，是綜合運用貝葉斯網(wǎng)絡(luò)求解概率圖模型變分近似推理的主要發(fā)展方向。