判別類條件貝葉斯網(wǎng)絡(luò)分類器的量子粒子群優(yōu)化參數(shù)學(xué)習(xí)

吳慧玲1 ，丁曉彬，賀廣生1，劉久富

(1.河南牧業(yè)經(jīng)濟(jì)學(xué)院 智能制造與自動化學(xué)院，河南 鄭州450046；2.南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京210016)

貝葉斯網(wǎng)絡(luò)[1](Bayesian networks,BN)是一種利用概率統(tǒng)計方法，對不確定性問題進(jìn)行分析和推理的工具。貝葉斯網(wǎng)絡(luò)被認(rèn)為是不確定性知識表達(dá)和推理的最有效理論模型之一。一方面，貝葉斯網(wǎng)絡(luò)能夠通過圖論清晰地解釋問題的結(jié)構(gòu)；另一方面，貝葉斯網(wǎng)絡(luò)能夠利用明確的問題結(jié)構(gòu)簡化概率推理的復(fù)雜性。而貝葉斯網(wǎng)絡(luò)分類器(Bayesian network classifiers,BNC)是一種基于統(tǒng)計的典型分類模型，不僅具有貝葉斯網(wǎng)絡(luò)的優(yōu)點，而且適用于處理分類問題。目前，貝葉斯網(wǎng)絡(luò)分類器的高效訓(xùn)練是研究的熱門話題。其中，生成學(xué)習(xí)和判別學(xué)習(xí)方法是主要的參數(shù)學(xué)習(xí)方法。生成學(xué)習(xí)方法解決聯(lián)合分布的參數(shù)估計問題；而判別學(xué)習(xí)方法解決后驗分布的參數(shù)估計問題，直接計算P(y|x)，對分類問題更加高效。

貝葉斯網(wǎng)絡(luò)及其分類器被廣泛應(yīng)用于各大領(lǐng)域中。在圖像處理方面，文獻(xiàn)[2]將非靜態(tài)貝葉斯網(wǎng)絡(luò)用于處理視頻檢測問題；在故障診斷方面，文獻(xiàn)[3]基于貝葉斯網(wǎng)絡(luò)，提出一種高效聯(lián)合樹推理算法；在醫(yī)療診斷方面，文獻(xiàn)[4]從不完全統(tǒng)計中構(gòu)建出貝葉斯醫(yī)學(xué)診斷網(wǎng)絡(luò)。在處理液體火箭發(fā)動機(jī)的故障診斷與分類方面，文獻(xiàn)[5]采用動態(tài)云BP網(wǎng)絡(luò)進(jìn)行故障診斷，但神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)，這對于故障數(shù)據(jù)獲取困難的液體火箭發(fā)動機(jī)來說，無疑是一個難題。

提出的貝葉斯網(wǎng)絡(luò)分類器的判別類條件網(wǎng)絡(luò)模型，是由類條件貝葉斯網(wǎng)絡(luò)模型經(jīng)過對數(shù)形式重新參數(shù)化得到的。通過量子粒子群算法對其優(yōu)化求解，得到各節(jié)點的概率，完成分類任務(wù)。改進(jìn)后的分類器用于液體火箭發(fā)動機(jī)的故障診斷與分類中，能夠高效完成分類任務(wù)，與樸素貝葉斯分類器和TAN分類器相比，分類準(zhǔn)確率和訓(xùn)練效率顯著提高。

1 貝葉斯網(wǎng)絡(luò)分類器的參數(shù)學(xué)習(xí)

1.1 貝葉斯網(wǎng)絡(luò)分類器

貝葉斯網(wǎng)絡(luò)B=〈G,Θ〉由結(jié)構(gòu)G(一個有向無環(huán)圖，其中每個節(jié)點表示一個變量Zi)和一組參數(shù)Θ組成，其中，Θ是與貝葉斯網(wǎng)絡(luò)相關(guān)的參數(shù)集，這些參數(shù)可以量化結(jié)構(gòu)內(nèi)的依賴關(guān)系。變量Y=Z0表示類別，變量X1=Z1,X2=Z2,…,Xn=Zn，稱為屬性，其中n表示屬性的數(shù)量。參數(shù)Θ由結(jié)構(gòu)G中的每個節(jié)點的一組表示局部條件概率分布的參數(shù)θΣn|Πn(x)和θzi|y,∏i(x)組成，其中1≤i≤n，Πi(.)是一個函數(shù)，其功能是給定數(shù)據(jù)實例x=〈x1,x2,…,xn〉作為輸入，返回結(jié)構(gòu)G中節(jié)點i的父節(jié)點值，其中xi∈Xi，表示屬性Xi的第i個屬性值。為了標(biāo)記簡單，將θZ0=z0|Π0(x)和θZi=zi|y,Πi(x)記為θz0|Π0(x)和θzi|y,Πi(x)。其中，θZi=zi|Πi(z)表示給定父節(jié)點時，變量Zi取值為zi的概率；Π0(.)表示類的父節(jié)點。

若給定某一數(shù)據(jù)實例x=〈x1,x2,…,xn〉，則貝葉斯網(wǎng)絡(luò)的聯(lián)合概率分布為：

(1)

式中，y∈Y，表示類變量的取值，與z0相同。

根據(jù)貝葉斯定理，相應(yīng)的條件概率分布PB(y|x)為：

(2)

在本文的分類問題中，類變量是所有屬性變量的父節(jié)點，將θy|∏0(x)記為θy，即θy|∏0(x)=θy。

給定一組數(shù)據(jù)D={x(0),…,x(N)}，其中N表示數(shù)據(jù)點的數(shù)量，那么貝葉斯網(wǎng)絡(luò)的對數(shù)似然函數(shù)(Log-Likelihood，LL)為：

(3)

約束條件為：

(4)

在公式(4)的約束條件下，通過使公式(3)取最大值的方法優(yōu)化參數(shù)θ即為參數(shù)的最大似然估計。

1.2 類條件貝葉斯網(wǎng)絡(luò)模型

使用貝葉斯網(wǎng)絡(luò)分類器進(jìn)行分類，通常按照兩個步驟，其中步驟1涉及最大化聯(lián)合概率P(y,x)，步驟2則是根據(jù)貝葉斯定理獲得條件概率P(y|x)。而本文直接通過最大化條件對數(shù)似然函數(shù)(Conditional Log-Likelihood，CLL)來優(yōu)化P(y|x),由于直接優(yōu)化了從樣本特征到類標(biāo)簽的映射，因此對于分類問題更加高效。

根據(jù)貝葉斯定理，條件對數(shù)似然函數(shù)定義為：

(5)

如果貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)是正確的，最大化對數(shù)似然函數(shù)和條件對數(shù)似然函數(shù)應(yīng)該具有相同的結(jié)果[9]。因為θ沒有閉形解，使得條件對數(shù)似然函數(shù)取最大值；因此，必須在參數(shù)空間上求助于數(shù)值優(yōu)化方法。

與任何貝葉斯網(wǎng)絡(luò)模型一樣，類條件貝葉斯網(wǎng)絡(luò)模型由圖形結(jié)構(gòu)和量化屬性間依賴關(guān)系的參數(shù)θ組成。對于貝葉斯網(wǎng)絡(luò)B，相應(yīng)的類條件貝葉斯網(wǎng)絡(luò)模型基于網(wǎng)絡(luò)B*(其中B*是基于貝葉斯網(wǎng)絡(luò)B的類條件貝葉斯網(wǎng)絡(luò))，通過將條件對數(shù)似然函數(shù)最大化求得其參數(shù)。將Ross等[10]提出的定義稍作修改：

定義1對具有嚴(yán)格正參數(shù)集θB*的網(wǎng)絡(luò)B*，若從屬性集(X1,X2,…,Xn)到類變量Y上的分布的所有函數(shù)集合采用等式(2)的形式，則稱這類基于網(wǎng)絡(luò)B*的條件分布集合為類條件貝葉斯網(wǎng)絡(luò)模型，記為MB*。

本文類變量的父節(jié)點為空集合，則表示類變量的參數(shù)記為θv(j)。

1.3 判別類條件貝葉斯網(wǎng)絡(luò)模型

樸素貝葉斯結(jié)構(gòu)是生成模型，通過優(yōu)化公式(3)獲得模型參數(shù)。邏輯回歸(logistic regression，LR)與樸素貝葉斯結(jié)構(gòu)存在一定的聯(lián)系，但LR是一種通過優(yōu)化公式(2)獲得相關(guān)參數(shù)的類條件貝葉斯網(wǎng)絡(luò)模型。通常，邏輯回歸學(xué)習(xí)每個屬性變量(每個類)的權(quán)重。然而，可以通過考慮合理的二次、三次或更高階特征的全部子集或部分子集來擴(kuò)展邏輯回歸。根據(jù)Roosetal[9]，將判別類條件貝葉斯網(wǎng)絡(luò)定義為：

重新定義公式(5)中的P(y|x)：

(6)

根據(jù)定義2，重新定義公式6中與每個參數(shù)θ相關(guān)聯(lián)的參數(shù)β：

logθy=βy，logθxi|y,Πi(x)=βy,xi,Πi

現(xiàn)在公式(6)變?yōu)椋?/p>

(7)

(8)

由于上式?jīng)]有閉形解，本文將采用量子行為粒子群的優(yōu)化算法對模型進(jìn)行優(yōu)化求解。

2 量子行為粒子群算法

2.1 算法的主要思想

傳統(tǒng)的PSO(particle swarm optimization,粒子群優(yōu)化)算法的主要缺點是容易陷入局部最優(yōu)解。針對這一問題，孫俊等[10]提出一種量子行為粒子群算法(quantum behaved PSO,QPSO)，使粒子擁有跳出局部最優(yōu)解的機(jī)制。在QPSO算法中，粒子的運(yùn)動與傳統(tǒng)的PSO算法完全不同。在量子領(lǐng)域里，速度和位置的更新不能同時確定，因此牛頓定理在量子領(lǐng)域是不成立的。粒子的新狀態(tài)由波函數(shù)ψ(x,t)確定。另外，文獻(xiàn)[11]指出，粒子位置的概率密度函數(shù)由|ψ|2表示。文獻(xiàn)[12]的軌跡分析表明，如果種群中的每個粒子收斂到定義的局部吸引子，則PSO算法收斂。其中，局部吸引子的定義為：

(9)

(10)

其中，i=1,2,3,…,N且j=1,2,3,…,D。N為種群中粒子的數(shù)量，D為粒子的維數(shù)。r1和r2服從均勻分布，c1和c2是PSO算法部分的固定值。粒子群的新位置由以下公式確定：

(11)

其中，xi,j表示第i個粒子的第j維位置；β是收縮-擴(kuò)展系數(shù)[11]，通過調(diào)整β可以加速算法的收斂。u和rnd是0到1之間服從均勻分布的隨機(jī)數(shù)；pi,j是式(10)中定義的局部吸引子；Mbest是種群中粒子Pbest位置的均值。則Mbest可由下式計算：

(12)

另外，在種群中具有最佳適應(yīng)度值的被稱為全局最優(yōu)，記作Gbest，是這一代粒子的最佳解決方案。

2.2 算法的實現(xiàn)步驟

設(shè)置的終止條件為迭代次數(shù)大于200次。

綜合上文所述算法的主要思想，量子行為粒子群優(yōu)化(QPSO)算法的具體實現(xiàn)步驟為：

1)初始化種群中的粒子位置為隨機(jī)位置；

2)計算每個粒子的適應(yīng)度值；

3)根據(jù)式(12)計算Mbest向量；

4)將每個粒子的適應(yīng)度值與Pbest進(jìn)行比較，如果當(dāng)前適應(yīng)度值優(yōu)于Pbest，則將當(dāng)前適應(yīng)度值設(shè)置為新的Pbest值，并在D維空間中更新；

5)將Pbest與Gbest進(jìn)行比較，如果Pbest優(yōu)于Gbest，則用當(dāng)前Pbest替換Gbest；

6)根據(jù)式(11)更新粒子的位置；

7)重復(fù)步驟2)到6)，直至滿足算法的終止條件。

3 實例分析與驗證

Weka系統(tǒng)是由新西蘭Waikato大學(xué)開發(fā)的一個開放源碼的機(jī)器學(xué)習(xí)及數(shù)據(jù)挖掘系統(tǒng)。本研究采用的驗證工具基于Weka系統(tǒng)，并對其在功能上進(jìn)行補(bǔ)充和修改，使之成為適用于液體火箭發(fā)動機(jī)故障診斷的數(shù)據(jù)挖掘平臺。

3.1 數(shù)據(jù)的預(yù)處理

采用的數(shù)據(jù)樣本是某大型氫氧發(fā)動機(jī)36次仿真試車的數(shù)據(jù)，通過建立大型氫氧液體火箭發(fā)動機(jī)的數(shù)學(xué)模型，對該型號的液體火箭發(fā)動機(jī)可能發(fā)生的各類故障進(jìn)行多次仿真得到測試數(shù)據(jù)。其中30次為正常數(shù)據(jù)，6次為故障數(shù)據(jù)，共7 500個樣本。6組故障數(shù)據(jù)分別是：發(fā)生器氫副控閥泄露、氫渦輪出口燃?xì)庑孤?、氧穩(wěn)壓閥出口泄露、發(fā)生器氧副控閥泄露、氧渦輪入口燃?xì)庑孤都把醣煤笮孤?。原始樣本?shù)據(jù)量非常龐大，而且測量的參數(shù)種類繁多，如果不進(jìn)行數(shù)據(jù)預(yù)處理，將會在很大程度上影響分類的精度與優(yōu)化速度。

首先選取原始仿真數(shù)據(jù)中共同存在的70多個參數(shù)數(shù)據(jù)，從其中選擇數(shù)值相對穩(wěn)定的數(shù)據(jù)40多個。再進(jìn)一步從中選擇易發(fā)故障部分組件的相應(yīng)參數(shù)22個，作為最終參與分類的屬性參數(shù)。同時，由于實際數(shù)據(jù)變化較大，數(shù)據(jù)的數(shù)量級有可能差別很大，為了提高分類及優(yōu)化效率，采用如下公式對數(shù)據(jù)進(jìn)行歸一化處理：

(13)

式中，Xij為第i個樣本中第j個屬性的值，Xj為數(shù)據(jù)樣本中第j個屬性的均值。

3.2 改進(jìn)分類器與各分類器的對比

3.2.1 改進(jìn)分類器的構(gòu)建

樹擴(kuò)展樸素貝葉斯網(wǎng)絡(luò)(tree-augmented naive Bayesian network，TAN)利用貝葉斯網(wǎng)絡(luò)中的依賴關(guān)系，對樸素貝葉斯結(jié)構(gòu)進(jìn)行擴(kuò)展，放寬了樸素貝葉斯網(wǎng)絡(luò)中的獨立性假設(shè)條件，是對樸素貝葉斯網(wǎng)絡(luò)的改進(jìn)。TAN分類器能夠接納屬性之間的依賴關(guān)系，使其更加符合實際情況。

將判別類條件貝葉斯網(wǎng)絡(luò)模型與TAN分類器相結(jié)合，通過最大化條件對數(shù)似然函數(shù)，獲得各節(jié)點的參數(shù)。將新的分類器記為TANd分類器。TANd分類器在數(shù)據(jù)量較小時分類優(yōu)勢不夠明顯，但是當(dāng)數(shù)據(jù)量的規(guī)模增加，各參數(shù)的屬性之間的獨立性假設(shè)條件不再被滿足時，普通的貝葉斯網(wǎng)絡(luò)分類器的分類精度會大幅下降，而TANd分類器的分類效果依然能夠保持很高的分類精度。利用TANd分類器對液體火箭發(fā)動機(jī)進(jìn)行故障診斷的具體步驟如下：

步驟1將預(yù)處理后的故障數(shù)據(jù)和常規(guī)數(shù)據(jù)組合構(gòu)成訓(xùn)練集，根據(jù)訓(xùn)練集生成TANd分類器模型；

步驟2利用生成的TANd分類器模型對液體火箭發(fā)動機(jī)進(jìn)行故障診斷。

由于液體火箭發(fā)動機(jī)的各參數(shù)之間并非完全相互獨立，因此，采用TANd分類器時，各屬性參數(shù)之間存在一定的聯(lián)系。TANd分類器通過計算不同屬性之間的條件互信息函數(shù)，在屬性間添加弧，建立一個有向無環(huán)圖。

根據(jù)樣本集訓(xùn)練生成的TANd分類器模型如圖1所示。除類節(jié)點外，每個節(jié)點至多只有一個屬性節(jié)點作為其父節(jié)點。例如，PK為燃燒室壓力。除類節(jié)點外，POR(代表氫泵入口壓力)也是其父節(jié)點。圖中各節(jié)點的依賴關(guān)系也反映出實際情況中屬性之間的依賴關(guān)系。

圖1 基于仿真數(shù)據(jù)集的TANd網(wǎng)絡(luò)模型Fig.1 TANd model based on simulation data

3.2.2 改進(jìn)分類器與各分類器的診斷結(jié)果對比

為了驗證提出方法的有效性，將其與樸素貝葉斯分類器和TAN分類器進(jìn)行比較。其中，樸素貝葉斯分類器和TAN分類器采用WEKA平臺提供的算法，分別記為NBC和TNC。實驗采用10重交叉驗證，采用最小描述長度離散化方法對連續(xù)型數(shù)值進(jìn)行離散化。采用的訓(xùn)練集為完整數(shù)據(jù)訓(xùn)練集，不含缺失值，其中包含液體火箭發(fā)動機(jī)的正常運(yùn)行數(shù)據(jù)及6種故障數(shù)據(jù)，共計7個類變量，得到集合{發(fā)生器氫副控閥泄露、氫渦輪出口燃?xì)庑孤?、氧穩(wěn)壓閥出口泄露、發(fā)生器氧副控閥泄露、氧渦輪入口燃?xì)庑孤都把醣煤笮孤?，正常}，記為{Fault1，F(xiàn)ault2，F(xiàn)ault3，F(xiàn)autl4，F(xiàn)ault5，F(xiàn)ault6，Normal}。

使用三種貝葉斯分類器對仿真數(shù)據(jù)集進(jìn)行故障診斷與分類，實驗結(jié)果如表1～2所示。

表1 三種分類器的實驗結(jié)果對比Tab.1 Comparison of experimental results of three classifiers

表2 三種分類器對故障類型的具體分類結(jié)果對比Tab.2 Comparison of specific classification results of various types of fault types by three classifiers

表1～2中TP Rate表示被模型預(yù)測為正的正樣本率，F(xiàn)P Rate表示被模型預(yù)測為正的負(fù)樣本率，Precision為查準(zhǔn)率，Recall為召回率，F(xiàn)-Measure為Precision和Recall的加權(quán)調(diào)和平均，其值越接近1，表明診斷方法越有效。從表1中可以看出，在分類準(zhǔn)確率、召回率這兩項指標(biāo)上，本研究的改進(jìn)分類器要優(yōu)于TAN分類器，且上述兩個分類器都明顯優(yōu)于樸素貝葉斯分類器。從F-measure指標(biāo)中可以看出，本研究的改進(jìn)分類器的評價結(jié)果最接近于1。

從表2中的三種分類器的詳細(xì)分類結(jié)果可以看出，本方法對于每種故障分類的準(zhǔn)確率均能達(dá)到95%左右，明顯優(yōu)于樸素貝葉斯分類器，同時也略優(yōu)于TAN分類器。

表3 三種分類器的均方根誤差對比Tab.3 Comparison of root mean square error of three classifiers

由表3可知，本方法對分類結(jié)果的均方根誤差小于樸素貝葉斯分類器和TAN分類器，同樣表明了本方法的分類效果好，分類結(jié)果穩(wěn)定，驗證了本方法的有效性。

3.3 收斂性分析

針對PSO算法容易陷入局部極值，隨機(jī)性和智能性不足的缺點，本研究采用的QPSO優(yōu)化算法不依賴于粒子的速度、粒子的位置及概率密度由波函數(shù)產(chǎn)生。在粒子位置有界的情況下，算法滿足全局收斂性條件，能夠依概率收斂至全局最優(yōu)解。

設(shè)置算法的參數(shù)，令c1=c2=2，設(shè)置種群規(guī)模N=20。當(dāng)算法迭代次數(shù)大于200次時，算法終止。

圖2所示為量子粒子群算法優(yōu)化TANd分類器的演化曲線。可以看出，算法在進(jìn)化開始時，收斂速度很快，能夠快速逼近問題的最優(yōu)解。此外，算法根據(jù)粒子位置的有界性，能夠依概率收斂至全局最優(yōu)解，在大約80次迭代之后，就會限制粒子的搜索范圍，圍繞最優(yōu)解進(jìn)行搜索，且沒有陷入局部極值，算法具有良好的穩(wěn)定性。

與神經(jīng)網(wǎng)絡(luò)等智能算法相比，所驗證的分類器不需要大量的數(shù)據(jù)集，且分類器的訓(xùn)練用時很短，分類的準(zhǔn)確率較高，在對算法進(jìn)行優(yōu)化時，迭代次數(shù)少，且能夠快速逼近最優(yōu)解，這對于數(shù)據(jù)樣本收集困難的故障分類工作具有重要的意義。

圖2 分類器在仿真數(shù)據(jù)集上的演化曲線Fig.2 The evolutionary curve of simulation data

4 結(jié)論

1)針對液體火箭發(fā)動機(jī)的故障診斷問題，基于類條件貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)，將判別貝葉斯網(wǎng)絡(luò)模型與TAN分類器結(jié)合，構(gòu)建TANd分類器，并根據(jù)貝葉斯定理和最大后驗概率原則對訓(xùn)練集進(jìn)行分類，判斷是否屬于故障數(shù)據(jù)，或者是故障中的哪一類。

2)改進(jìn)的分類器在分類精度上優(yōu)于樸素貝葉斯分類器和TAN分類器，同時分類的誤差較小，分類器的穩(wěn)定性較好，能夠有效處理分類問題。

3)采用的量子行為粒子群優(yōu)化算法能夠有效對TANd模型進(jìn)行優(yōu)化，迭代次數(shù)少，優(yōu)化效率高。

下一步將針對模型的優(yōu)化問題，將貝葉斯網(wǎng)絡(luò)的生成和判別參數(shù)方法結(jié)合起來，構(gòu)建基于參數(shù)權(quán)重的判別網(wǎng)絡(luò)模型，進(jìn)一步提高模型的優(yōu)化效率。