小數(shù)據(jù)集BN建模方法及其在威脅評(píng)估中的應(yīng)用

邸若海,高曉光,郭志高

(西北工業(yè)大學(xué)電子信息學(xué)院,陜西西安 710129)

?

小數(shù)據(jù)集BN建模方法及其在威脅評(píng)估中的應(yīng)用

邸若海,高曉光,郭志高

(西北工業(yè)大學(xué)電子信息學(xué)院,陜西西安 710129)

貝葉斯網(wǎng)絡(luò)是數(shù)據(jù)挖掘領(lǐng)域的主要工具之一.在某些特定場(chǎng)合,如重大裝備的故障診斷、地質(zhì)災(zāi)害預(yù)測(cè)及作戰(zhàn)決策等,希望用少量數(shù)據(jù)得到較好的結(jié)果.因此,本文針對(duì)小數(shù)據(jù)集條件下的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題展開(kāi)研究.首先,建立基于連接概率分布的結(jié)構(gòu)約束模型,提出I-BD-BPSO(Improved-Bayesian Dirichlet-Binary Particle Swarm Optimization)結(jié)構(gòu)學(xué)習(xí)算法;其次,建立單調(diào)性參數(shù)約束模型,提出MCE(Monotonicity Constraint Estimation)參數(shù)學(xué)習(xí)算法;最后,應(yīng)用所提算法構(gòu)建威脅評(píng)估模型并應(yīng)用變量消元法進(jìn)行推理計(jì)算.實(shí)驗(yàn)結(jié)果表明,在小數(shù)據(jù)集條件下,本文的結(jié)構(gòu)學(xué)習(xí)算法優(yōu)于經(jīng)典的二值粒子群優(yōu)化算法,參數(shù)學(xué)習(xí)算法優(yōu)于最大似然估計(jì)、保序回歸及凸優(yōu)化算法,并能夠構(gòu)建有效的威脅評(píng)估模型.

貝葉斯網(wǎng)絡(luò);小數(shù)據(jù)集;二值粒子群優(yōu)化;威脅評(píng)估

1　引言

針對(duì)小數(shù)據(jù)集條件下的貝葉斯網(wǎng)絡(luò)(Bayesian Network,BN)結(jié)構(gòu)學(xué)習(xí),主要有兩類方法:基于擴(kuò)展數(shù)據(jù)的方法和基于先驗(yàn)約束的方法,本文屬于后者.基于先驗(yàn)約束的方法有兩種思路,一種是將先驗(yàn)約束轉(zhuǎn)化為狄利克雷分布中的等價(jià)樣本量[1]來(lái)約束評(píng)分函數(shù),另一種則是通過(guò)定性知識(shí)限制貝葉斯網(wǎng)絡(luò)的搜索過(guò)程.基于等價(jià)樣本量方法的優(yōu)點(diǎn)在于計(jì)算簡(jiǎn)單,而缺點(diǎn)在于無(wú)法靈活的融入各種形式的專家知識(shí),因?yàn)閷?duì)于領(lǐng)域?qū)＜襾?lái)說(shuō),往往更傾向于給出定性知識(shí)而非精確的數(shù)值.進(jìn)而,一些定性的結(jié)構(gòu)約束模型被提出,如節(jié)點(diǎn)序[2,3]、因果關(guān)系[4]、邊的存在[5,6]等各種形式.但上述約束并未考慮約束的不確定性,雖然吳紅等人[7]用邊的存在概率描述約束的不確定性,并將其以權(quán)重的形式加入到最小描述長(zhǎng)度(Minimum Description Length,MDL)評(píng)分之中,進(jìn)而采用模擬退火算法進(jìn)行搜索.但其提出的約束模型只是考慮到節(jié)點(diǎn)之間存在邊的概率,并未考慮到不存在邊和存在反向邊的概率,并且其修改MDL評(píng)分的方法是一種近似方法,缺少一定的理論支撐.針對(duì)此問(wèn)題,本文提出一種新的結(jié)構(gòu)約束,并將約束以先驗(yàn)概率的形式融入到評(píng)分函數(shù)中,進(jìn)而結(jié)合二值粒子群優(yōu)化算法學(xué)習(xí)BN結(jié)構(gòu).

針對(duì)小數(shù)據(jù)集條件下的BN參數(shù)學(xué)習(xí),現(xiàn)有的方法基本可分為兩類.第一類是利用約束將參數(shù)學(xué)習(xí)問(wèn)題轉(zhuǎn)化為似然函數(shù)或者熵函數(shù)的約束優(yōu)化問(wèn)題[8～11],進(jìn)而應(yīng)用凸優(yōu)化[8,10]或梯度法[9,11]進(jìn)行求解.此類方法優(yōu)點(diǎn)是為參數(shù)學(xué)習(xí)提供了一個(gè)統(tǒng)一的框架,但缺點(diǎn)在于算法復(fù)雜度較高,且學(xué)習(xí)精度一般.第二類是將約束通過(guò)虛擬樣本的形式轉(zhuǎn)化為參數(shù)的先驗(yàn)信息[13～15],進(jìn)而結(jié)合貝葉斯估計(jì)進(jìn)行求解.此類方法的缺點(diǎn)是針對(duì)不同的約束必須有不同的處理方法,但其優(yōu)點(diǎn)在于針對(duì)某些特定約束其計(jì)算簡(jiǎn)單且精度往往較高,本文屬于此類方法.此外,文獻(xiàn)[12]將定性影響約束轉(zhuǎn)化為序約束并應(yīng)用保序回歸算法調(diào)整參數(shù)大小,使得參數(shù)滿足序約束.雖然其計(jì)算簡(jiǎn)單,但精度難以保證.通過(guò)分析現(xiàn)有的文獻(xiàn),我們發(fā)現(xiàn)所有的參數(shù)約束都是描述子節(jié)點(diǎn)相同父節(jié)點(diǎn)不同的這一類參數(shù)之間的大小關(guān)系.而對(duì)父節(jié)點(diǎn)相同而子節(jié)點(diǎn)不同這一類參數(shù)之間的關(guān)系并未提及.因此,本文提出一種單調(diào)性約束模型來(lái)描述此類約束,并給出基于此模型的參數(shù)學(xué)習(xí)方法.

2　基于連接概率分布的BN結(jié)構(gòu)學(xué)習(xí)

2.1連接概率分布的結(jié)構(gòu)約束模型

貝葉斯網(wǎng)絡(luò)是描述各個(gè)變量之間連接關(guān)系的有向無(wú)環(huán)圖,先驗(yàn)概率指在這些變量集所組成的網(wǎng)絡(luò)空間中,某一具體網(wǎng)絡(luò)的存在概率.一方面,專家很難有這樣的經(jīng)驗(yàn),另一方面,當(dāng)變量數(shù)大于3時(shí),專家很難在這么大的一個(gè)空間里給出某一具體網(wǎng)絡(luò)的概率.專家一般只能對(duì)網(wǎng)絡(luò)中的某些變量之間的連接概率給出一些經(jīng)驗(yàn).設(shè)a和b為貝葉斯網(wǎng)絡(luò)中的兩個(gè)變量,同時(shí),引入連接變量r,在本文中r的取值為a指向b(a→b)、b指向a(b→a)、a和b之間無(wú)連接(a…b),本文中專家經(jīng)驗(yàn)表示為連接變量的概率分布,由概率分布的定義可得以下結(jié)論,如式(1)所示.

P(a→b)+P(b→a)+P(a…b)=1

(1)

假設(shè)在一個(gè)貝葉斯網(wǎng)絡(luò)中,專家給出P(a→b)=0.8,那么,我們即認(rèn)為連接變量r剩下的取值服從均勻分布,如式(2)所示.

(2)

依據(jù)式(1)和(2)可得到貝葉斯網(wǎng)絡(luò)中所有連接變量的概率分布,在得到概率分布之后,進(jìn)而根據(jù)此概率分布求出每個(gè)網(wǎng)絡(luò)的先驗(yàn)概率.而在實(shí)際的問(wèn)題中,專家不可能對(duì)所有的變量都給出約束,往往只是對(duì)其中部分變量給出約束,所以如何利用部分約束獲得每個(gè)網(wǎng)絡(luò)的先驗(yàn)概率是首先要解決的問(wèn)題.

2.2基于改進(jìn)先驗(yàn)分布的評(píng)分函數(shù)

設(shè)整個(gè)網(wǎng)絡(luò)有m個(gè)變量,G為其對(duì)應(yīng)的有向無(wú)環(huán)圖,D為樣本數(shù)據(jù),r1,r2,…,rn為專家約束所對(duì)應(yīng)的連接變量,令J=P(r1,r2,…,rn),R=(r1,r2,…,rn),如果C為連接變量聯(lián)合分布的某一取值,則JC=P(R=C),在m個(gè)變量所對(duì)應(yīng)的解空間中,每一個(gè)解都唯一決定C的取值.本文要求取的評(píng)分函數(shù)為P(G|D,J)如式(3)所示.

(3)

第一個(gè)等號(hào)由貝葉斯定理可以得到,第二個(gè)等號(hào)成立是因?yàn)楫?dāng)G給定時(shí),J與數(shù)據(jù)D是條件獨(dú)立的,所以P(D|G,J)=P(D|G).當(dāng)專家約束和網(wǎng)絡(luò)數(shù)據(jù)給定時(shí),P(D|J)就是一個(gè)常數(shù),所以,要使得整個(gè)網(wǎng)絡(luò)的評(píng)分最高,只需使得分子P(D|G).P(G|J)取最大即可.

P(G|J)=P(G,CG|J)=P(G|J,CG)·P(CG|J)

=P(G|CG)·P(CG|J)

=P(G|CG)·JC

(4)

其中CG為網(wǎng)絡(luò)空間中某一網(wǎng)絡(luò)所對(duì)應(yīng)的約束連接變量,CG的取值由網(wǎng)絡(luò)結(jié)構(gòu)G唯一確定,其分布由專家經(jīng)驗(yàn)確定.由于CG的取值由G唯一確定,所以第一個(gè)等號(hào)成立.根據(jù)貝葉斯定理和鏈?zhǔn)揭?guī)則可得到第二個(gè)等號(hào)成立.當(dāng)約束所對(duì)應(yīng)的連接變量取值已知時(shí),網(wǎng)絡(luò)結(jié)構(gòu)G和連接變量的分布條件獨(dú)立,則第三個(gè)等號(hào)成立.當(dāng)CG已知條件下,某一網(wǎng)絡(luò)結(jié)構(gòu)G的存在概率實(shí)際上就是包含這一特定網(wǎng)絡(luò)子結(jié)構(gòu)的概率,如果能夠得到在整個(gè)網(wǎng)絡(luò)空間中含有這一特定子結(jié)構(gòu)的網(wǎng)絡(luò)個(gè)數(shù)NC,那么可以得到:

(5)

為了表述方便,這里令P(CG|J)=JC,進(jìn)而完整的評(píng)分函數(shù)則表示為:

(6)

由于P(D|J)為一常量,進(jìn)而將評(píng)分化簡(jiǎn)為:

logP(G|D,J)=logP(D|G)+logP(G|J)

(7)

上面的評(píng)分屬于貝葉斯統(tǒng)計(jì)評(píng)分這一大類,與現(xiàn)有的評(píng)分函數(shù)(BD評(píng)分)的區(qū)別在于結(jié)構(gòu)先驗(yàn)分布不同,BD評(píng)分一般認(rèn)為結(jié)構(gòu)的先驗(yàn)分布服從均勻分布,而本文提及的評(píng)分函數(shù)中,貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)先驗(yàn)分布不一定服從均勻分布.其中,某一具體網(wǎng)絡(luò)結(jié)構(gòu)的先驗(yàn)概率而是由專家經(jīng)驗(yàn)決定的.為了方便描述,本文中將此評(píng)分函數(shù)命名為評(píng)分I-BD.具體表達(dá)式如(8)所示.

ScoreI-BD

(8)

其中,mijk是數(shù)據(jù)中滿足Xi=k,其父節(jié)點(diǎn)π(Xi)=j的樣本個(gè)數(shù),αijk為參數(shù)先驗(yàn)分布中的超參數(shù).

Jc為專家經(jīng)驗(yàn)所對(duì)應(yīng)連接變量的聯(lián)合概率分布,假設(shè)專家給出3個(gè)變量a、b、c之間的約束模型如表1所示,依據(jù)表1中每個(gè)連接變量的分布,進(jìn)而求得連接變量的聯(lián)合分布如表2所示.

表1　專家經(jīng)驗(yàn)對(duì)應(yīng)的約束模型

表2　專家經(jīng)驗(yàn)對(duì)應(yīng)的JC

由表1和2可以看出JC是通過(guò)將3個(gè)節(jié)點(diǎn)所組成的有向無(wú)環(huán)圖進(jìn)行列舉,并且分別計(jì)算每個(gè)有向無(wú)環(huán)圖存在的概率.

n個(gè)變量組成有向無(wú)環(huán)圖的個(gè)數(shù)由Robinson給出了解析表達(dá)式,經(jīng)過(guò)查找文獻(xiàn),并未發(fā)現(xiàn)對(duì)含有特定結(jié)構(gòu)約束的有向無(wú)環(huán)圖個(gè)數(shù)求解的解析表達(dá)式,即本文的NC.當(dāng)網(wǎng)絡(luò)的變量較少時(shí)(一般小于4),我們可以通過(guò)枚舉法將所有的有向無(wú)環(huán)圖都列舉出來(lái),找出其中符合要求的網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)而得到NC.但往往枚舉是行不通的,隨著變量數(shù)的增加有向無(wú)環(huán)圖的個(gè)數(shù)呈指數(shù)倍數(shù)增加.在這種情況下,精確的計(jì)算NC是很困難的,所以,本文給出一種基于抽樣的近似方法.

(9)

(10)

其中,N為n個(gè)變量的有向無(wú)環(huán)圖的個(gè)數(shù),可由式(10)計(jì)算得到,S為對(duì)n個(gè)變量所組成的網(wǎng)絡(luò)結(jié)構(gòu)空間的采樣個(gè)數(shù),SC為符合特定結(jié)構(gòu)約束的樣本個(gè)數(shù).

2.3I-BD-BPSO算法實(shí)現(xiàn)

2.1節(jié)將專家經(jīng)驗(yàn)表示為連接概率分布,2.2節(jié)利用連接概率分布對(duì)BD評(píng)分進(jìn)行改進(jìn),進(jìn)而得到I-BD評(píng)分,在此基礎(chǔ)上,本節(jié)結(jié)合BPSO算法學(xué)習(xí)BN結(jié)構(gòu).算法中涉及到的粒子表示、更新及無(wú)效結(jié)構(gòu)處理的方法可參考文獻(xiàn)[16].具體流程如算法1.

算法1I-BD-BPSO

Input:數(shù)據(jù)D,專家經(jīng)驗(yàn)E,BPSO算法相關(guān)參數(shù)

1:初始化m個(gè)粒子組成的初始種群Q(t),進(jìn)化代數(shù)t=0;

2:對(duì)粒子進(jìn)行無(wú)效結(jié)構(gòu)處理;

3:根據(jù)專家經(jīng)驗(yàn)E,利用式(9)和(10)計(jì)算Jc和Nc;

4:whilet<設(shè)定進(jìn)化代數(shù) do

5:計(jì)算每個(gè)粒子的I-BD評(píng)分;

6:更新局部最優(yōu)和全局最優(yōu);

7:根據(jù)局部最優(yōu)和全局最優(yōu)計(jì)算粒子速度;

8:通過(guò)粒子速度來(lái)更新粒子的位置,進(jìn)而得到新的粒子;

9:對(duì)粒子進(jìn)行無(wú)效結(jié)構(gòu)處理,進(jìn)而獲得新的種群;

10:t=t+1;

11:end while;

Output:獲得新種群的全局最優(yōu)值

3　基于單調(diào)性約束的貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)算法

3.1單調(diào)性約束模型

一個(gè)由n個(gè)變量X={X1,X2,…,Xn}組成的貝葉斯網(wǎng)B,不失一般性,設(shè)其中的節(jié)點(diǎn)Xi共有ri個(gè)取值,其父節(jié)點(diǎn)π(Xi)的取值共有qi個(gè)組合.對(duì)一固定的j(即父節(jié)點(diǎn)的取值給定時(shí))有:

k1>k2?P(X=k1|π(X)=j)>P(X=k2|π(X)=j)

(11)

假設(shè)貝葉斯網(wǎng)B的參數(shù)符合單調(diào)性約束,為了推導(dǎo)方便,這里令P(X=k1|π(X)=j)=z1,那么P(X=kn|π(X)=j)=zn,于是由參數(shù)的規(guī)范性和單調(diào)性可得:

(12)

3.2先驗(yàn)分布中超參數(shù)的確定

考慮θ的貝葉斯估計(jì),一般情況下,在計(jì)算P(D|θ)時(shí)需要對(duì)先驗(yàn)概率P(θ)做一些假設(shè):

假設(shè)1：關(guān)于不同變量Xi的參數(shù)相互獨(dú)立.

假設(shè)2：給定一個(gè)變量Xi對(duì)應(yīng)于π(Xi)的不同取值的參數(shù)相互獨(dú)立.

假設(shè)3：P(θij*)是狄利克雷分布,其中θij*由θij1θij2,…，θijr所組成.所以,一般假設(shè)先驗(yàn)分布P(θ)是狄利克雷分布D(α1,α2,…，αr),即

(13)注意狄利克雷分布D(α1,α2,…,αr)的邊緣分布是B(α1,α2),即對(duì)于每個(gè)參數(shù)θij1或θijr服從B(α1,α2).假設(shè)P(θ)為狄利克雷分布D(α1,α2,…,αr)就等于假設(shè)關(guān)于θ的先驗(yàn)知識(shí)相當(dāng)于α個(gè)虛擬數(shù)據(jù)樣本,其中滿足X=xi的樣本數(shù)為αi.由貝葉斯估計(jì)可得:

(14)

式(12)給出了參數(shù)的取值范圍,一般可認(rèn)為參數(shù)在區(qū)間內(nèi)服從均勻分布,設(shè)參數(shù)θ服從U(θ1,θ2),問(wèn)題轉(zhuǎn)化為用B(α1,α2)去等效U(θ1,θ2),即:

(15)

為了解決上述問(wèn)題,采用二階矩法進(jìn)行擬合:

(16)

(17)

(18)

通過(guò)式(15)到(18)可以求得參數(shù)α1和α2,并將其帶入到式(14)中,從而獲得θ的貝葉斯估計(jì).

3.3MCE算法實(shí)現(xiàn)

假設(shè)貝葉斯網(wǎng)B的參數(shù)θijk符合單調(diào)性約束,θijk中k有n種取值,應(yīng)用3.1節(jié)的單調(diào)性約束模型,結(jié)合3.2節(jié)的先驗(yàn)分布超參數(shù)確定方法,以貝葉斯估計(jì)為算法基本框架,進(jìn)而給出MCE算法流程.如算法2.

算法2MCE

Input:數(shù)據(jù)D,專家經(jīng)驗(yàn)E

1:根據(jù)專家經(jīng)驗(yàn)E構(gòu)建單調(diào)性約束模型,令k=1;

2:whilek

3:由式(12)得到參數(shù)的θijk的約束區(qū)間;

4:利用式(15～18)獲取θijk先驗(yàn)分布的超參數(shù);

5:利用式(14)計(jì)算θijk的貝葉斯估計(jì);

6:k=k+1;

7:end while;

Output:符合單調(diào)性約束的所有參數(shù)

4　仿真實(shí)驗(yàn)

本文中結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)過(guò)程是分開(kāi)進(jìn)行的.首先,利用第2節(jié)提到的結(jié)構(gòu)學(xué)習(xí)算法學(xué)習(xí)結(jié)構(gòu),其次,在結(jié)構(gòu)已知的條件下,利用第3節(jié)的參數(shù)學(xué)習(xí)算法學(xué)習(xí)參數(shù).仿真實(shí)驗(yàn)部分由3部分組成:4.1節(jié)驗(yàn)證結(jié)構(gòu)算法仿真比較、4.2節(jié)驗(yàn)證參數(shù)學(xué)習(xí)算法仿真比較、4.3節(jié)利用結(jié)構(gòu)和參數(shù)學(xué)習(xí)算法構(gòu)建UAV威脅評(píng)估模型.

4.1結(jié)構(gòu)學(xué)習(xí)算法仿真

圖1給出結(jié)構(gòu)學(xué)習(xí)部分的仿真模型及專家約束模型:

為了證明在小數(shù)據(jù)集條件下,利用I-BD評(píng)分能夠?qū)＜医?jīng)驗(yàn)引入到貝葉斯結(jié)構(gòu)學(xué)習(xí)中,進(jìn)而得到更為準(zhǔn)確的網(wǎng)絡(luò)結(jié)構(gòu),本文引入漢明距離和標(biāo)準(zhǔn)的BD評(píng)分進(jìn)行仿真分析.

漢明距離=丟失的邊+反轉(zhuǎn)的邊+多余的邊

(9)

ScoreBD

(20)

為了說(shuō)明算法的有效性,在樣本數(shù)為50的條件下,與經(jīng)典的BPSO算法進(jìn)行比較,分別利用BD評(píng)分和漢明距離對(duì)兩種算法進(jìn)行評(píng)估,仿真結(jié)果如下:

通過(guò)對(duì)圖2的仿真結(jié)果進(jìn)行分析可知,在小數(shù)據(jù)集條件下,利用I-BD評(píng)分學(xué)習(xí)得到的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的漢明距離較小,BD評(píng)分較高,說(shuō)明網(wǎng)絡(luò)更符合真實(shí)網(wǎng)絡(luò),進(jìn)而證明I-BD-BPSO算法的有效性.

4.2參數(shù)學(xué)習(xí)算法仿真

使用BN學(xué)習(xí)中經(jīng)典的草坪濕潤(rùn)網(wǎng)絡(luò)模型進(jìn)行算法驗(yàn)證實(shí)驗(yàn),我們通過(guò)專家經(jīng)驗(yàn)給出網(wǎng)絡(luò)中參數(shù)所服從的單調(diào)性約束,如式(21)所示.

(21)

將MCE算法與最大似然估計(jì)(Maximum Likelihood Estimation,MLE)、保序回歸(Isotonic Regression Estimation,IRE)和凸優(yōu)化(Convex Optimization Estimation,COE)進(jìn)行對(duì)比,采用KL(Kullback-Leibler) 距離反映參數(shù)學(xué)習(xí)精度.

(22)

本文分別對(duì)4種算法所得參數(shù)分布的KL距離進(jìn)行對(duì)比仿真,分別將每種算法運(yùn)行10次,求取其平均值,仿真結(jié)果如圖3所示,圖3(b)是局部放大圖.從圖上可以看出,本文的MCE方法能夠得到最小的KL距離,獲得參數(shù)的準(zhǔn)確性最高,保序回歸算法和凸優(yōu)化算法稍差一些,但都要優(yōu)于MLE算法.在樣本數(shù)據(jù)量小于20時(shí),本文算法的優(yōu)勢(shì)尤為明顯,而隨著樣本數(shù)的增加,保序回歸算法和凸優(yōu)化與本文算法的差距逐漸減小.

4.3UAV威脅評(píng)估建模仿真

4.3.1任務(wù)想定

紅方:有人作戰(zhàn)飛機(jī)和無(wú)人機(jī)協(xié)同執(zhí)行對(duì)藍(lán)方的防空壓制.

藍(lán)方:由指揮站和若干防空導(dǎo)彈車組成防空系統(tǒng).

作戰(zhàn)描述:為提高作戰(zhàn)效率,降低作戰(zhàn)成本,紅方采用有人作戰(zhàn)飛機(jī)指揮控制無(wú)人機(jī)的作戰(zhàn)模式對(duì)藍(lán)方防空力量進(jìn)行壓制,當(dāng)無(wú)人作戰(zhàn)飛機(jī)進(jìn)入藍(lán)方防空區(qū)域一段時(shí)間后,受到藍(lán)方強(qiáng)電磁干擾,為確保紅方有人作戰(zhàn)飛機(jī)的安全,有人作戰(zhàn)飛機(jī)必須撤離,由無(wú)人機(jī)單獨(dú)完成對(duì)敵防空壓制任務(wù),在執(zhí)行防空壓制任務(wù)時(shí)需要對(duì)藍(lán)方目標(biāo)進(jìn)行威脅評(píng)估,進(jìn)而為攻擊決策提供支持.

想定中考慮與威脅(T)相關(guān)的因素為目標(biāo)的速度(V)、距離(D)和目標(biāo)與無(wú)人機(jī)進(jìn)入角之和(A),下面對(duì)這幾個(gè)威脅因素的取值進(jìn)行解釋.

(1)目標(biāo)的速度(V):速度特指速度的大小.令無(wú)人機(jī)速度為Vu,目標(biāo)的速度的取值為式(23)所示.

(23)

(2)目標(biāo)的距離(D):目標(biāo)與無(wú)人機(jī)之間的距離.距離的取值為式(24)所示.

(24)

(3)目標(biāo)和無(wú)人機(jī)的進(jìn)入角之和(A):目標(biāo)的速度方向與目標(biāo)線的夾角和無(wú)人機(jī)的速度方向與目標(biāo)線的夾角之和.進(jìn)入角之和的取值為式(25)所示.

(25)

(4)目標(biāo)的威脅(T):威脅值大小是對(duì)以上3個(gè)因素的綜合,目標(biāo)的威脅取值由式(26)～(30)給出.

T=0.5d+0.3a+0.2v

(26)

(27)

(28)

(29)

(30)

4.3.2仿真過(guò)程

在4.3.1節(jié)的任務(wù)想定下,利用本文提出I-BD-BPSO算法與MCE算法,實(shí)現(xiàn)UAV在與有人機(jī)通信中斷后的小數(shù)據(jù)集條件下的威脅評(píng)估模型構(gòu)建,并通過(guò)剩余的樣本數(shù)據(jù)進(jìn)行推理分析,進(jìn)一步說(shuō)明本文提出的小數(shù)據(jù)集下的BN學(xué)習(xí)算法的有效性以及可行性.下面給出具體的仿真條件和仿真方法:

(1)本文仿真工作使用Matlab版本為R2010a,Vc++版本為6.0,運(yùn)行環(huán)境為操作系統(tǒng)Window XP.

(2)在通信中斷前,有人機(jī)實(shí)時(shí)接收UAV傳來(lái)的目標(biāo)信息,進(jìn)而進(jìn)行威脅評(píng)估和攻擊決策.實(shí)驗(yàn)中首先對(duì)想定過(guò)程進(jìn)行仿真,進(jìn)而采集相關(guān)的實(shí)驗(yàn)數(shù)據(jù),利用式(23)～(30)對(duì)相關(guān)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行離散化,實(shí)驗(yàn)中共獲得仿真數(shù)據(jù)1200組,用其中50組作為小數(shù)據(jù)集構(gòu)建BN模型.

(3)得到威脅評(píng)估模型之后應(yīng)用變量消元法并結(jié)合剩余的仿真數(shù)據(jù)進(jìn)行推理,進(jìn)而說(shuō)明小數(shù)據(jù)集條件下本文算法在UAV威脅評(píng)估中的可行性.

4.3.3仿真結(jié)果

首先,在仿真之前給出專家經(jīng)驗(yàn)所對(duì)應(yīng)的結(jié)構(gòu)約束如圖4(a),然后,在樣本數(shù)據(jù)為50的條件下構(gòu)建威脅評(píng)估網(wǎng)絡(luò),結(jié)果如圖4(b)所示.實(shí)驗(yàn)中令目標(biāo)威脅節(jié)點(diǎn)為1號(hào)節(jié)點(diǎn),目標(biāo)距離、目標(biāo)與無(wú)人機(jī)的進(jìn)入角之和、目標(biāo)速度節(jié)點(diǎn)分別為2、3、4號(hào)節(jié)點(diǎn).

當(dāng)獲得威脅評(píng)估網(wǎng)絡(luò)的結(jié)構(gòu)之后,需要確定網(wǎng)絡(luò)的參數(shù),下面給出參數(shù)約束:

(31)

(32)

(33)

式(31)～(33)中D={1,2,3}表示D={遠(yuǎn),中,近},V={1,2,3}表示V={慢,中,快},A={1,2}表示A={大,小},T={1,2,3}表示T={低,中,高}.進(jìn)而得到參數(shù)學(xué)習(xí)結(jié)果如表3所示.

表3　樣本數(shù)量為50時(shí)本文算法所得網(wǎng)絡(luò)參數(shù)

為了進(jìn)一步證明算法的有效性和可行性,將所得模型用于威脅評(píng)估,通過(guò)剩余的1150條樣本數(shù)據(jù)來(lái)檢驗(yàn)BN威脅評(píng)估模型的推理準(zhǔn)確度,推理算法選擇變量消元法,推理的準(zhǔn)確度具體計(jì)算過(guò)程如下:

(34)

(35)

(36)

其中T表示威脅變量,n為用于檢驗(yàn)的樣本個(gè)數(shù),取值為1150,DataT(j)表示第j條數(shù)據(jù)中的威脅變量的取值,T(j)表示推理算法得到的威脅變量取值.利用式(34)～(36)得η=0.7035.由此可見(jiàn),小數(shù)據(jù)條件下的BN威脅評(píng)估模型能夠很好的對(duì)威脅數(shù)據(jù)進(jìn)行建模.

5　總結(jié)

本文提出了一種小數(shù)據(jù)集條件下的BN建模方法,并構(gòu)建威脅評(píng)估模型.仿真結(jié)果表明,在小數(shù)據(jù)集條件下,本文提出的建模方法通過(guò)結(jié)合正確的專家經(jīng)驗(yàn),能夠得到較好的結(jié)構(gòu)和參數(shù),進(jìn)而保證模型的推理精度,為小數(shù)據(jù)集條件下的建模問(wèn)題提供了一種有效的方法.由于專家經(jīng)驗(yàn)的正確與否會(huì)直接影響到模型的構(gòu)建,下一步的主要研究當(dāng)專家提供的約束不完全正確時(shí),如何在約束和數(shù)據(jù)之間取得一個(gè)折中,使得算法具有一定的自適應(yīng)性.

[1]SILANDER T,KONTKANEN P,MYLLYMAKI P.On sensitivity of the map Bayesian network structure to the equivalent sample size parameter[A].David H.Proceedings of the 23rd International Conference on Uncertainly in Artifical Intelligence[C].Vancouer:Springer,2008.360-367.

[2]朱明敏,劉三陽(yáng),汪春峰.基于先驗(yàn)節(jié)點(diǎn)序?qū)W習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法[J].自動(dòng)化學(xué)報(bào),2011,37(12):1514-1519.

ZHU Ming-min,LIU San-yang,WANG Chun-feng.An optimization approach for structural learning Bayesian networks based on prior node ordering[J].Acta Automatica Sinica,2011,37(12):1154-1519.(in Chinese)

[3]COOPER G F,HERSKOVITS E.A Bayesian method for the induction of probabilistic networks from data[J].Machine Learning,1992,9(4):309-347.

[4]BORBOUDAKIS G,TSAMARDINOS I.Incorporating causal prior knowledge as path-constraints in Bayesian networks and maximal ancestral graphs[A].Andrew M.Proceedings of the 29th International Conference on Maching Learning [C].Edinburgh:ACM,2012.28-36.

[5]COMPOSC P,ZENG Z,JI Q.Structure learning of Bayesian networks using constraints[A].Dan R.Proceedings of the 26th International Conference on Maching Learning [C].Montreal:ACM,2009.280-287.

[6]CAMPOSC P,JI Q.Efficient structure learning of Bayesian networks using constraints[J].Journal of Machine Learning Research,2011,12(3):663-689.

[7]吳紅,王維平,楊峰.融合先驗(yàn)信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法[J].系統(tǒng)工程與電子技術(shù),2012,34(12):2585-2591.

WU Hong,WANG Wei-ping,YANG Feng.Structure learning method of Bayesian network with prior information[J].Systems Engineering and Electronics,2012,34(12):2585-2591.(in Chinese)

[8]ALTENDORF E,RESTICAR A.Learning from sparse data by exploiting monotonicity constraints[A].Max C.Proceedings of the 21st International Conference on Uncertainly in Artifical Intelligence [C].Edinburgh:Springer,2005.18-26.

[9]CAMPOS C P,JI Q.Improving Bayesian network parameter learning using constraints[A].Ejiri M.Proceedings of the 19th International Conference on Pattern Recognition[C].Florida:IEEE,2008.1-4.

[10]NICULESCU R S,MITCHELL T M.Bayesian network learning with parameter constraints[J].Journal of Machine Learning Research,2006,7(1):1357-1383.

[11]LIAO W H,QIANG J.Learning Bayesian network parameters under incomplete data with domain knowledge[J].Pattern Recognition,2009,42(11):3046-3056.

[12]FEELDER A D,VANDERGAGA L.Learning Bayesian networks parameters under order constraints[J].Journal of Approximate Reasoning,2006,42(1):37-53.

[13]任佳,高曉光,茹偉.數(shù)據(jù)缺失的小樣本條件下BN參數(shù)學(xué)習(xí)[J].系統(tǒng)工程理論與實(shí)踐,2011,31(1):172-177.

REN Jia,GAO Xiao-guang,RU Wei.Parameters learning of BN in small sample on data missing[J].Systems Engineering—Theory & Practice,2011,31(1):172-177.(in Chinese)

[14]RUI C,SHOEMAKER R,WANG W.Anovel knowledge-driven systems biology approach for phenotype prediction upon genetic intervention[J].IEEE Transactions on Computational Biology and Bioinformatics,2011,1(8):1170-1181.

[15]YUN Z,FENTON N,NEIL M.Bayesian network approach to multinomial parameter learning using data and expert judgments[J].Journal of Approximate Reasoning,2014,55(2):1252-1268.

[16]高曉光,邸若海,郭志高.基于改進(jìn)粒子群優(yōu)化算法的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)[J].西北工業(yè)大學(xué)學(xué)報(bào),2014,32(5):749-754.

GAO Xiao-guang,DI Ruo-hai,GUO Zhi-gao.Structure learning of BN based on improved particle swarm optimaziton[J].Journal of Northwest Polytechnical University,2014,32(5):749-754.(in Chinese)

邸若海男,1986年出生于陜西西安.現(xiàn)為西北工業(yè)大學(xué)博士研究生.主要研究方向?yàn)閺?fù)雜系統(tǒng)建模和貝葉斯網(wǎng)絡(luò)學(xué)習(xí).

E-mail:xfwtdrh@163.com

高曉光(通信作者)女,1957年出生于遼寧沈陽(yáng).現(xiàn)為西北工業(yè)大學(xué)教授,博士生導(dǎo)師.主要研究方向?yàn)閺?fù)雜系統(tǒng)建模及效能評(píng)估.

E-mail:cxg2012@nwpu.edu.cn

The Modeling Method with Bayesian Networks and Its Application in the Threat Assessment Under Small Data Sets

DI Ruo-hai,GAO Xiao-guang,GUO Zhi-gao

(SchoolofElectronicandInformation,NorthwesternPolytechnicalUniversity,Xi’an,Shaanxi710129,China)

Bayesian network is one of the main tools for data mining.In such cases as large equipment fault diagnosis,geological disaster forecast,operational decision,etc,good results are expected to achieve based on small data sets.Therefore,this article focuses on the problem of learning Bayesian network from small data sets.Firstly,the structure constraint model based on the probability distribution of the connection was built.Then,the improved-Bayesian Dirichlet-binary particle swarm optimization algorithm was proposed.Secondly,the monotonicity parameter constraint model was defined and the monotonicity constraint estimation algorithm was proposed.Finally,the proposed algorithm was applied to construct the threat assessment model.Then,the model was used for reasoning with the variable elimination method.Experimental results reveal that the structure learning algorithm outperforms classical binary particle swarm optimization algorithm and the parameter learning method surpasses maximum likelihood estimation,isotonic regression and convex optimization method for small data sets.The threat assessment model is also proved to be effective.

Bayesian network;small data sets;binary particle swarm optimization;threat assessment

2014-10-21;修回日期:2015-05-10;責(zé)任編輯:覃懷銀

國(guó)家自然科學(xué)基金(No.60774064,No.61305133);全國(guó)高校博士點(diǎn)基金(No.20116102110026);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金(No.3102015KY0902,No.3102015BJ(Ⅱ)GH01)

TP18

A

0372-2112 (2016)06-1504-08