基于預(yù)聚類主動半監(jiān)督的作戰(zhàn)體系效能評估

馬 駿, 楊鏡宇, 吳 曦

(1. 國防大學(xué)研究生院, 北京 100091; 2. 國防大學(xué)聯(lián)合作戰(zhàn)學(xué)院, 北京 100091)

0 引 言

作戰(zhàn)體系,是“由各種作戰(zhàn)系統(tǒng)按照一定的指揮關(guān)系、組織關(guān)系和運(yùn)行機(jī)制構(gòu)成的有機(jī)整體”。作戰(zhàn)體系的效能指標(biāo),是衡量作戰(zhàn)體系在作戰(zhàn)環(huán)境中完成任務(wù)的能力,是對作戰(zhàn)體系達(dá)到軍事行動目標(biāo)程度的評價標(biāo)準(zhǔn)。對作戰(zhàn)體系效能指標(biāo)的度量和計算,是評估作戰(zhàn)體系效能的基礎(chǔ)。

作戰(zhàn)仿真實(shí)驗(yàn),是研究作戰(zhàn)體系的有效手段。目前,基于作戰(zhàn)實(shí)驗(yàn)結(jié)果對作戰(zhàn)體系效能評估通常采用定性定量相結(jié)合的方法。為了達(dá)到對作戰(zhàn)體系分析的目的,通常需要作戰(zhàn)仿真實(shí)驗(yàn)產(chǎn)生大量仿真實(shí)驗(yàn)數(shù)據(jù),而后依靠專家在實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上結(jié)合自身認(rèn)知做出評估。但是,單純依靠專家對作戰(zhàn)體系效能進(jìn)行評估需要耗費(fèi)巨大的人力和物力,通過計算機(jī)輔助是高效度量作戰(zhàn)體系效能指標(biāo)、評估體系效能的重要途徑。

半監(jiān)督學(xué)習(xí)(semi-supervised learning, SSL)是給定未知分布的樣本集=∪,其中包括有標(biāo)簽樣本集={(,),(,),…,(,)}和無標(biāo)簽樣本集={+1,+2,…,+},求解:→,以到達(dá)通過預(yù)測標(biāo)簽的目的。其中,∈是維向量,∈是的標(biāo)簽,為樣本集包含的樣本數(shù),為樣本集包含的樣本數(shù)。在求解算法模型的過程中,充分利用有標(biāo)簽樣本和無標(biāo)簽樣本,使得該算法模型比僅使用有標(biāo)簽樣本獲得更好的性能。

主動學(xué)習(xí)(active learning, AL)是一種構(gòu)造訓(xùn)練數(shù)據(jù)集的方法,其基本思想是,由學(xué)習(xí)算法主動選擇包含信息量較高、對學(xué)習(xí)任務(wù)貢獻(xiàn)度較大的未標(biāo)記樣本提供給專家進(jìn)行標(biāo)注,將標(biāo)注后的樣本加入訓(xùn)練樣本集,并進(jìn)行下一輪迭代運(yùn)算,從而大幅減少訓(xùn)練樣本規(guī)模并提高模型性能。

SSL和AL所要解決的問題具有相似性,都是在少量有標(biāo)記樣本基礎(chǔ)上,通過利用大量無標(biāo)記樣本提高學(xué)習(xí)器的準(zhǔn)確率,減少專家標(biāo)記樣本的工作量。SSL和AL結(jié)合形成主動SSL,是提高學(xué)習(xí)器泛化性能、減少人工標(biāo)記成本的有效方法。

應(yīng)用AL和SSL的方法解決作戰(zhàn)體系效能指標(biāo)評估問題主要存在以下問題:一是評估作戰(zhàn)體系效能指標(biāo)的初始訓(xùn)練階段,通常沒有有效的訓(xùn)練樣本,使用AL構(gòu)建數(shù)據(jù)集時,一般采用隨機(jī)的方式選取部分未標(biāo)記樣本進(jìn)行標(biāo)記,選取的數(shù)據(jù)缺乏代表性,難以完整反映所有數(shù)據(jù)樣本的特征,影響訓(xùn)練效率;二是目前關(guān)于主動SSL的研究,都是在流程方面對兩種機(jī)器學(xué)習(xí)方法進(jìn)行結(jié)合,但訓(xùn)練數(shù)據(jù)時仍單獨(dú)訓(xùn)練各自的學(xué)習(xí)器,增加了訓(xùn)練開銷。本文針對上述問題,提出一種基于預(yù)聚類主動SSL的作戰(zhàn)體系效能指標(biāo)評估方法,并將其應(yīng)用于作戰(zhàn)體系效能指標(biāo)評估。

1 相關(guān)概念

1.1 SSL

SSL依賴以下假設(shè):① 平滑假設(shè),兩個位于稠密數(shù)據(jù)區(qū)域且距離很近的樣本具有相似的標(biāo)簽;② 聚類假設(shè),兩個位于同一聚類簇的樣本很大概率具有相同的標(biāo)簽;③ 流行假設(shè),將高維數(shù)據(jù)嵌入到低維流形中,當(dāng)兩個樣本位于低維流形中的一個局部鄰域內(nèi)時具有相似的標(biāo)簽。當(dāng)模型假設(shè)正確時,無標(biāo)簽樣本能夠促進(jìn)學(xué)習(xí)性能。

SSL按照應(yīng)用場景可以分為:半監(jiān)督分類、半監(jiān)督回歸、半監(jiān)督聚類、半監(jiān)督降維?；谧鲬?zhàn)仿真實(shí)驗(yàn)的體系效能評估結(jié)果,是軍事專家根據(jù)實(shí)驗(yàn)數(shù)據(jù)并結(jié)合自身認(rèn)知做出的量化判斷,本文第2部分提出了自頂向下的體系效能評估模式和二值化的評估標(biāo)準(zhǔn),因此本文主要涉及SSL的分類方法。

半監(jiān)督分類主要有基于分歧的方法、生成式方法、判別式方法和基于圖的方法等。由于性能優(yōu)越,基于分歧的半監(jiān)督分類方法得到了廣泛的應(yīng)用,并出現(xiàn)了大量變形。文獻(xiàn)[7]在協(xié)同訓(xùn)練的基礎(chǔ)上,提出了Tri-training方法,該方法同時訓(xùn)練3個學(xué)習(xí)器,以投票的方式獲得標(biāo)簽的置信度(如果兩個學(xué)習(xí)器對同一個無標(biāo)簽樣本的預(yù)測結(jié)果相同,則認(rèn)為該標(biāo)簽有較高的置信度,并將該數(shù)據(jù)及標(biāo)簽加入第3個學(xué)習(xí)器的訓(xùn)練樣本中),在一定程度上放寬了協(xié)同訓(xùn)練方法要求的視圖充分冗余假設(shè)和條件獨(dú)立假設(shè),并證明了該方法能夠有效利用無類標(biāo)簽樣本提高學(xué)習(xí)器的性能。

1.2 AL

AL的算法模型可表示為

AL=(,,,,)

(1)

式中:表示學(xué)習(xí)器;為有標(biāo)簽樣本;為無標(biāo)簽樣本;為查詢策略,用于在無標(biāo)簽樣本中查找信息量大的樣本;為督導(dǎo)者,能夠?qū)o標(biāo)簽樣本進(jìn)行標(biāo)記。

如圖1所示，AL的過程可以分為兩個階段:第一階段是初始化階段,首先利用有標(biāo)簽樣本訓(xùn)練一個或多個學(xué)習(xí)器;第二階段為循環(huán)查詢階段,使用查詢策略從無標(biāo)簽樣本中選擇一批樣本交由督導(dǎo)者進(jìn)行標(biāo)記,標(biāo)記后加入樣本中,并利用新的更新學(xué)習(xí)器,依照此步驟不斷迭代更新,直至到達(dá)停止條件。

圖1 AL的一般過程

查詢策略是AL的核心,由于查詢策略的不同,演變出多種AL算法。用于分類問題的AL算法包括:基于委員會的查詢(query by committee, QBC)方法、基于邊緣的查詢方法、基于后驗(yàn)概率的查詢方法等。其中,基于QBC是一種有效的AL方法,并成功應(yīng)用于多種分類問題,該方法通過訓(xùn)練一組學(xué)習(xí)器組成委員會,利用委員會中每個成員對未標(biāo)記樣本進(jìn)行預(yù)測,選取預(yù)測結(jié)果中最具差異性的樣本交由專家標(biāo)記。

1.3 主動SSL方法

SSL和AL所要解決的問題具有相似性,都是在盡量減少樣本的情況下提高學(xué)習(xí)器的準(zhǔn)確率,但兩者存在著一定差別:一是對無標(biāo)記樣本選擇的標(biāo)準(zhǔn)不同,SSL選擇置信度最高的無標(biāo)簽樣本進(jìn)行標(biāo)記,AL則選擇差異最大的樣本進(jìn)行標(biāo)記;二是對無標(biāo)記樣本的標(biāo)記方法不同,SSL對未標(biāo)記樣本進(jìn)行自動標(biāo)記,AL則需要人工標(biāo)記。

SSL和AL結(jié)合形成主動SSL方法,是提高學(xué)習(xí)器泛化性能、減少人工標(biāo)記成本的有效方法,并在各領(lǐng)域得到了廣泛應(yīng)用。文獻(xiàn)[11-13]等在SSL的迭代過程中引入AL,通過人工標(biāo)記增加SSL樣本;文獻(xiàn)[14-16]等在SSL中引入AL的思想,用以指導(dǎo)SSL過程中新增樣本的選擇過程,這類方法不需要對主動選取的樣本進(jìn)行人工標(biāo)記而是對其進(jìn)行自動標(biāo)記。

2 作戰(zhàn)體系效能的評估思路

2.1 基本評估流程

對作戰(zhàn)體系效能的評估通常是在仿真實(shí)驗(yàn)產(chǎn)生的大量結(jié)果數(shù)據(jù)基礎(chǔ)上,通過專家的定性定量分析,針對每次仿真實(shí)驗(yàn)的方案和結(jié)果做出評估,如圖2上半部分所示,其過程單純依靠專家進(jìn)行,代價較大。

本文提出的基于預(yù)聚類主動SSL的作戰(zhàn)體系效能評估方法,專家僅需在大量仿真實(shí)驗(yàn)結(jié)果中評估少量樣本,通過這些樣本訓(xùn)練評估方法,在評估方法達(dá)到預(yù)期的評估準(zhǔn)確率等指標(biāo)后,使用訓(xùn)練好的評估方法對剩余大量樣本進(jìn)行評估,極大地減少了專家的工作量,使用該方法進(jìn)行作戰(zhàn)體系效能評估的過程如圖2下半部分所示。

圖2 作戰(zhàn)體系效能評估流程圖

2.2 自頂向下的體系效能評估模式

對作戰(zhàn)體系效能的評估是一種總體的、綜合的評估,是運(yùn)用系統(tǒng)的、定量的研究方法搜集證據(jù)、分析資料,依據(jù)實(shí)驗(yàn)結(jié)果判斷預(yù)期軍事目的完成的程度。該過程表示為

=(,,…,,…,)

(2)

式中:是通過作戰(zhàn)仿真實(shí)驗(yàn)獲取的各類實(shí)驗(yàn)結(jié)果數(shù)據(jù);是對作戰(zhàn)體系效能的評估結(jié)果;過程(·)是通過實(shí)驗(yàn)結(jié)果數(shù)據(jù)得到體系效能評估結(jié)果的具體方法。從(·)產(chǎn)生評估結(jié)論的思維模式看,可將其分為自底向上的評估模式和自頂向下的評估模式。

(1) 自底向上的評估模式。該模式是一種由部分到整體的評價思維。首先,需要根據(jù)實(shí)驗(yàn)?zāi)康暮脱芯恐攸c(diǎn),建立評價的指標(biāo)體系;而后,根據(jù)仿真實(shí)驗(yàn)數(shù)據(jù),計算得到對這些指標(biāo)的度量;最后,通過各種聚合方式將這些指標(biāo)綜合形成總體評估結(jié)果。

(2) 自頂向下的評價模式。該模式是一種由整體到部分的評價思維。專家根據(jù)實(shí)驗(yàn)結(jié)果并結(jié)合自身的感性認(rèn)知首先形成整體“印象”,即評價結(jié)論,在此基礎(chǔ)上分析造成這一結(jié)果的具體原因以支撐后續(xù)實(shí)驗(yàn)。

自底向上的評估模式是基于統(tǒng)計學(xué)知識的評價模式,通過專家知識建立評估指標(biāo)體系和各類指標(biāo)的綜合方法,這種模式下,(·)是顯性的,得到體系評估結(jié)論的主要工作在于合理的構(gòu)建指標(biāo)體系和指標(biāo)綜合方法。

自頂向下的評估模式是基于人類認(rèn)知規(guī)律和思維習(xí)慣的評價模式,通過該模式獲得的評估結(jié)論中“隱含”信息更為豐富,它不僅包含了實(shí)驗(yàn)方案中打擊情況、毀傷情況等各類“硬”指標(biāo),也包含了專家通過作戰(zhàn)態(tài)勢形成的宏觀認(rèn)知等信息。這種模式下(·)是隱性的,得到評估結(jié)論的主要工作在于建立合理的(·)。本文提出的基于預(yù)聚類主動的作戰(zhàn)體系效能評估方法,即在該模式下根據(jù)實(shí)驗(yàn)數(shù)據(jù)和少量專家評估結(jié)果,通過機(jī)器學(xué)習(xí)的方法構(gòu)建(·)的過程。

2.3 二值化的評估標(biāo)準(zhǔn)

采取自頂向下評估模式產(chǎn)生的整體評估結(jié)論是定性的,例如,實(shí)驗(yàn)方案的“好”“不好”“一般”等,這種定性的結(jié)論難以用于定量的計算。評價系統(tǒng)是將評價結(jié)論從定性轉(zhuǎn)化為定量的有效方式。隨著互聯(lián)網(wǎng)商業(yè)的發(fā)展,評價系統(tǒng)已經(jīng)得到了廣泛的應(yīng)用,評價系統(tǒng)中,用戶將自己的感受以分值的形式進(jìn)行量化。

評價的量化有連續(xù)和離散兩種方式:連續(xù)的方式是將用戶感受對應(yīng)到某一數(shù)值區(qū)間中的任意可行值,如,將最佳狀態(tài)定義為10分,最差狀態(tài)定義為0分,用戶可以根據(jù)自身感受給出[0,10]區(qū)間內(nèi)任意分值。離散的方式是將用戶的感受對應(yīng)到若干評價等級,常用的是“星級評分”的方法和“點(diǎn)贊”的方法。

相比于其他方法,點(diǎn)贊的方法有以下優(yōu)勢:一是去除了評價的模糊區(qū),使機(jī)器學(xué)習(xí)算法更有效。例如“3顆星”之類的中庸評價使機(jī)器學(xué)習(xí)的效率很低,而“非黑即白”的評價標(biāo)準(zhǔn)可以有效消除評價中的模糊地帶。二是有效降低了用戶評價的成本。2選1的方式相對于5顆星的方式或0～10分的打分模式更容易做出判斷。

本文在對作戰(zhàn)仿真實(shí)驗(yàn)結(jié)果進(jìn)行評估時,采取二值化的評估標(biāo)準(zhǔn),專家將其滿意的仿真實(shí)驗(yàn)結(jié)果評價為“1”,將不滿意的評價為“0”,以減輕專家評價難度并提升機(jī)器學(xué)習(xí)效率。

3 預(yù)聚類主動SSL方法

3.1 算法思路

本文將Tri-training SSL方法與QBC AL方法結(jié)合起來,并根據(jù)作戰(zhàn)仿真實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn),提出一種基于預(yù)聚類的主動SSL的實(shí)驗(yàn)結(jié)果評價方法,主要解決了以下問題:

(1) 主動SSL算法在作戰(zhàn)仿真實(shí)驗(yàn)應(yīng)用中的“冷啟動”問題。主動SSL需要一定數(shù)量的有標(biāo)簽樣本L作為初始條件,而作戰(zhàn)仿真實(shí)驗(yàn)數(shù)據(jù)在專家評定前都是無標(biāo)簽數(shù)據(jù),對于使用主動半監(jiān)督方法來說是“冷啟動”問題。通常基于QBC的方法通過首輪隨機(jī)取樣的方式,從無標(biāo)簽樣本中選擇若干交由專家標(biāo)記,但是在隨機(jī)挑選數(shù)量有限的情況下,往往難以挑選出能夠完整反映數(shù)據(jù)所有類別屬性的樣本。例如,在組作戰(zhàn)仿真實(shí)驗(yàn)結(jié)果中挑選組樣本(?)由專家評定,若專家對這組樣本都不滿意,給出相同的標(biāo)簽,那么初始樣本集就無法反映出專家滿意情況下的樣本數(shù)據(jù)特征。本文采取聚類的方法,首先對實(shí)驗(yàn)結(jié)果數(shù)據(jù)進(jìn)行聚類處理,在每類中選取一定數(shù)量的樣本作為初始訓(xùn)練樣本交專家評定,在一定程度上解決了由于隨機(jī)取樣造成的首輪詢問樣本特征不完整的情況,提高了學(xué)習(xí)器初始訓(xùn)練的性能。

(2) 主動SSL算法的改進(jìn)。文獻(xiàn)[14]通過對樣本密度計算,改進(jìn)基于投票熵(vote entropy,VE)的QBC算法,并與SSL相結(jié)合;文獻(xiàn)[16]基于Tri-training和熵優(yōu)先采樣提出了一種主動SSL算法。從研究情況看,都是在算法流程上將AL與SSL進(jìn)行了結(jié)合,而對兩種學(xué)習(xí)算法中的學(xué)習(xí)器都是進(jìn)行單獨(dú)訓(xùn)練。本文將Tri-training算法和QBC算法的學(xué)習(xí)器同時進(jìn)行訓(xùn)練,優(yōu)化學(xué)習(xí)流程、提高訓(xùn)練效率。

基于預(yù)聚類的主動SSL算法基本流程如圖3所示。主要步驟可分為3部分:第1部分是基于聚類的數(shù)據(jù)初始化;第2部分是基于VE的QBC AL,得到基于AL的新標(biāo)記樣本;第3部分是基于Tri-training的SSL得到基于SSL的新樣本。

圖3 預(yù)聚類的主動SSL算法流程圖

3.2 基于聚類的數(shù)據(jù)初始化

基于聚類的數(shù)據(jù)初始化是為了高效挑選初始化樣本集進(jìn)行專家標(biāo)注,并利用已標(biāo)注樣本訓(xùn)練SSL和AL算法的公用學(xué)習(xí)器,其過程描述如算法1所示。

算法 1 基于聚類的數(shù)據(jù)初始化算法輸入 初始未標(biāo)記數(shù)據(jù)集U={x1,x2,…,xu},聚類數(shù)目k,每類中選取的樣本個數(shù)m,專家對km個樣本的標(biāo)注y。輸出 初始化后的學(xué)習(xí)器H,有標(biāo)簽樣本集L。步驟 1 聚類運(yùn)算。將數(shù)據(jù)集U分別對應(yīng)到k個聚類Ck中。步驟 2 計算聚類簇Ci的簇中心Ri(i=1,2,…,k)。步驟 3 計算各聚類中,樣本到聚類中心Ri的距離:r(x)=distance(x,Ri)其中,distance(·)代表樣本間的歐氏距離。步驟 4 在每種聚類中,選取距離簇中心Ri最近的m個樣本,組成初始待標(biāo)記樣本集:U'={xC11,xC12,…,xC1m,xC21,xC22,…,xC2m,…,xCk1,xCk2,…,xCkm}步驟 5 專家對U'進(jìn)行標(biāo)注,形成初始標(biāo)記樣本集L':L'={(xC11,yC11),(xC12,yC12),…,(xC1m,yC1m),(xC21,yC21),(xC22,yC22),…,(xC2m,yC2m),…,(xCk1,yCk1),(xCk2,yCk2),…,(xCkm,yCkm)}步驟 6 將L'加入有標(biāo)簽樣本集L。步驟 7 使用L'訓(xùn)練學(xué)習(xí)器H。

3.3 基于VE的QBC AL算法

基于VE的QBC AL算法,首先利用有標(biāo)簽樣本訓(xùn)練兩個或多個學(xué)習(xí)器組成委員會,而后利用委員會對未標(biāo)記樣本進(jìn)行預(yù)測,計算委員會各成員對未標(biāo)記樣本的預(yù)測結(jié)果的VE,對某一樣本投票的不一致性越大,則VE越大,說明該樣本具有更豐富的信息量。因此,選取VE最大的樣本交由專家標(biāo)注,并將專家標(biāo)注后的樣本加入有標(biāo)簽的訓(xùn)練樣本集,對委員會進(jìn)行更新訓(xùn)練。

VE的計算公式為

()=

(3)

式中:()為委員會對樣本的VE;(,)為樣本屬于類別的投票數(shù);為學(xué)習(xí)器的個數(shù)(委員會成員個數(shù));||為樣本的類別個數(shù)。1logmin (,||)為歸一化系數(shù),使()的值在[0,1]之間。當(dāng)||=1時,即所有學(xué)習(xí)器對樣本投票一致,此時()=0。

3.4 基于Tri-training的SSL算法

(4)

(5)

可通過式(5)推出:

(6)

(7)

式中：-1需要滿足下式,即保證仍大于|-1|：

(8)

3.5 算法步驟

為了使基于VE的QBC算法與Tri-training算法公用學(xué)習(xí)器,將QBC算法中委員會個數(shù)設(shè)置為3個,即=3。在使用該算法之前,根據(jù)應(yīng)用的需要設(shè)置合理的終止條件,比如,算法的分類精度達(dá)到某一閾值、詢問專家的次數(shù)或詢問樣本數(shù)達(dá)到一定限制、對未標(biāo)記樣本已完全標(biāo)記等,在此基礎(chǔ)上進(jìn)行迭代計算。算法的整體步驟描述如算法2所示。

算法 2 基于預(yù)聚類主動SSL的實(shí)驗(yàn)結(jié)果評價算法輸入 未標(biāo)記數(shù)據(jù)集U,每輪詢問專家的樣本數(shù)量batch_size_AL,每輪由SSL標(biāo)記的樣本數(shù)batch_size_SSL,專家對詢問數(shù)據(jù)進(jìn)行的標(biāo)記,算法終止條件。輸出 學(xué)習(xí)器H,有標(biāo)簽樣本集L。步驟 1 執(zhí)行聚類初始化程序。得到初始化之后有標(biāo)簽樣本集L={(x1,y1),(x2,y2),…,(xl,yl)},無標(biāo)簽樣本集U={xl+1,xl+2,…,xl+u},以及初始訓(xùn)練后3個學(xué)習(xí)器H1、H2、H3。步驟 2 執(zhí)行AL算法。

步驟 2.1 用3個學(xué)習(xí)器分別預(yù)測未標(biāo)記數(shù)據(jù)集U的標(biāo)簽。步驟 2.2 用式(3)計算U中各樣本的VE E={Exl+1,Exl+2,…,Exl+u}。步驟 2.3 選出E中VE最大的batch_size_AL個樣本XAL(XAL∈U)交由專家標(biāo)注,形成專家標(biāo)注樣本集LAL。同時選出VE最小的batch_size_SSL個樣本XSSL(XSSL∈U,XSSL∩XAL=?)交由SSL標(biāo)記。步驟 2.4 更新L和U,使L=L∪LAL,U=U-XAL。步驟 3 執(zhí)行Tri-training算法。步驟 3.1 初始化,分別對3個學(xué)習(xí)器采取如下操作:步驟 3.1.1 按照Bootstrap對L進(jìn)行采樣,得到樣本Si。步驟 3.1.2 用Si訓(xùn)練學(xué)習(xí)器Hi。步驟 3.1.3 將Hi的初始分類錯誤上限e'i賦值0.5,l'i賦值0。步驟 3.2 執(zhí)行如下操作,直至3個學(xué)習(xí)器都不再變化:步驟 3.2.1 判斷每個學(xué)習(xí)器Hi(i∈{1,2,3})是否需要更新。① 用Hj和Hk的預(yù)測結(jié)果計算分類錯誤率ei,其中j,k≠i。② 如果eieie'i-ei是否成立,如果成立,則由式(7)知,在Li中取e'il'iei-1 個樣本,將其賦給Li,并將Hi的更新標(biāo)志位設(shè)為True。步驟 3.3 對每個學(xué)習(xí)器Hi(i∈{1,2,3})進(jìn)行更新。① 判斷Hi的更新標(biāo)志位,如果為True執(zhí)行后續(xù)操作,否則返回步驟3.3。② 用L∪Li訓(xùn)練Hi。③ 并將ei賦給e'i,|Li|賦給l'i。步驟 4 判斷是否達(dá)到終止條件,未達(dá)到終止條件則返回步驟2。

通過上述過程,使實(shí)驗(yàn)結(jié)果數(shù)據(jù)與專家的評價信息形成了有效映射,將專家對實(shí)驗(yàn)結(jié)果的評價知識融入到了訓(xùn)練后的學(xué)習(xí)器中。在針對同一案例或相似案例的后續(xù)應(yīng)用中,可以使用已訓(xùn)練好的學(xué)習(xí)器,對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行快速評定,為大規(guī)模仿真實(shí)驗(yàn)提供方案評價的基礎(chǔ)。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)獲取

411 想定背景

以紅方某區(qū)域防空預(yù)警能力的分析任務(wù)為背景,評估紅方防空預(yù)警體系在不同防御方案下對藍(lán)方多種入侵策略的整體效果。實(shí)驗(yàn)依托“體系仿真試驗(yàn)床系統(tǒng)”進(jìn)行,紅方部署任務(wù)區(qū)域相關(guān)的作戰(zhàn)力量,主要包括相關(guān)預(yù)警裝備、攔截裝備,并建立完善的指揮控制體系;藍(lán)方主要包括各型空中入侵裝備。

412 想定方案

紅方在現(xiàn)有預(yù)警體系基礎(chǔ)上,共設(shè)計3種防御方案;藍(lán)方為達(dá)成入侵目的,共設(shè)計4種入侵策略,如表1所示。為分析紅方預(yù)警體系在各防御方向上的整體情況,藍(lán)方每種入侵策略共選擇100個入侵參數(shù)。共形成1 200組想定方案。

表1 實(shí)驗(yàn)方案描述

在通過仿真系統(tǒng)獲取每組想定方案的仿真結(jié)果數(shù)據(jù)后,使用本文提出的方法,在專家標(biāo)注部分樣本的基礎(chǔ)上對所有方案的實(shí)驗(yàn)結(jié)果進(jìn)行標(biāo)注。

4.1.3 數(shù)據(jù)描述

仿真實(shí)驗(yàn)結(jié)果數(shù)據(jù)主要選取評價防空預(yù)警體系能力相關(guān)的以下數(shù)據(jù)(總計18項(xiàng)),包括:對目標(biāo)首次探測數(shù)據(jù)(共5項(xiàng),包括探測到目標(biāo)的經(jīng)度、維度、高度等3項(xiàng)位置信息,和速度、方向等2項(xiàng)運(yùn)動信息)、對目標(biāo)的首次識別數(shù)據(jù)(共7項(xiàng),包括識別目標(biāo)的位置信息、運(yùn)動信息,以及目標(biāo)的敵我、識別型號等信息)、對目標(biāo)的首次攔截數(shù)據(jù)(共6項(xiàng),包括目標(biāo)被打擊時位置信息、運(yùn)動信息,以及目標(biāo)的毀傷情況)。

評估數(shù)據(jù)共1項(xiàng),專家借助態(tài)勢回放、數(shù)據(jù)監(jiān)控等手段,根據(jù)對仿真實(shí)驗(yàn)結(jié)果的滿意程度給出“滿意”或“不滿意”兩類標(biāo)簽。本次實(shí)驗(yàn)共選擇6名在校軍事學(xué)研究生、2名專業(yè)領(lǐng)域教員組成專家組,并在標(biāo)注開始前對評價標(biāo)準(zhǔn)進(jìn)行了統(tǒng)一。每名專家對50個實(shí)驗(yàn)結(jié)果進(jìn)行標(biāo)注,共形成有標(biāo)簽數(shù)據(jù)400個。按照75%的訓(xùn)練集與測試集的劃分比例,選擇其中300個樣本作為訓(xùn)練集,其余100個作為測試集。

4.2 實(shí)驗(yàn)設(shè)計

4.2.1 評價標(biāo)準(zhǔn)

對算法在作戰(zhàn)體系效能評估中的效率指標(biāo)和準(zhǔn)確率指標(biāo)進(jìn)行分析。效率指標(biāo)一是比較各算法在本實(shí)驗(yàn)數(shù)據(jù)中的詢問次數(shù);二是分析標(biāo)注速度,計算標(biāo)注每個樣本的平均使用時間,比較機(jī)器與專家的標(biāo)注效率。準(zhǔn)確率指標(biāo)以標(biāo)注結(jié)果的認(rèn)可度進(jìn)行分析,認(rèn)可度是專家對機(jī)器標(biāo)注樣本的認(rèn)可程度,通過挑選部分機(jī)器標(biāo)注樣本由專家評判,計算專家認(rèn)可的樣本數(shù)占樣本總數(shù)的比例。

4.2.2 實(shí)驗(yàn)方案

分別對比AL、基于AL的Tri-training算法(AL-Tri-training, ALTT)以及基于預(yù)聚類的主動SSL算法(pre-clustering ALTT, PCALTT),在相同初始化條件和相同AL模式下的效率指標(biāo),以及PCALTT算法的準(zhǔn)確率指標(biāo)。

4.2.3 預(yù)聚類算法選擇

聚類算法有較多類型,其中-means由于簡單、運(yùn)算速度快等優(yōu)點(diǎn)得到廣泛應(yīng)用,但-means需要在聚類前指定將樣本分為幾類,即值。在作戰(zhàn)仿真實(shí)驗(yàn)的應(yīng)用中,可知評估數(shù)據(jù)有2種類型,可以明確將仿真實(shí)驗(yàn)數(shù)據(jù)分為2類。因此,采用-means算法對數(shù)據(jù)做預(yù)聚類。

4.2.4 分類器選擇

原始Tri-training算法通過在初始化時采用Bootstrap可重復(fù)采樣,使3個相同的分類器產(chǎn)生差異,文獻(xiàn)[18]通過實(shí)驗(yàn)證明了使用分類效果接近且分類算法不同的分類器組合能獲得較高的分類準(zhǔn)確率。本文使用2個決策樹分類器和一個由決策樹集成的隨機(jī)森林分類器的組合驗(yàn)證算法的有效性,各分類器算法基于Scikit-Learn實(shí)現(xiàn)。

4.3 實(shí)驗(yàn)分析

4.3.1 效率分析

(1) 各算法詢問次數(shù)對比分析

比較AL、ALTT、PCALTT 3種算法在本實(shí)驗(yàn)數(shù)據(jù)集中的詢問次數(shù)差別。初始化時,以數(shù)據(jù)類別數(shù)作為聚類的簇中心個數(shù),每個聚類簇選擇與數(shù)據(jù)屬性數(shù)等量的距離簇中心最近的樣本點(diǎn)進(jìn)行標(biāo)注,即算法1中=數(shù)據(jù)類別數(shù)×數(shù)據(jù)屬性數(shù),選擇2×18=36個樣本進(jìn)行訓(xùn)練。每輪迭代中詢問專家的樣本數(shù)、以及SSL標(biāo)記的樣本數(shù)均等于數(shù)據(jù)的類別數(shù)2,即基于算法2中,batch_size_AL=batch_size_SSL=2。設(shè)置預(yù)期分類精度為90%。對數(shù)據(jù)集進(jìn)行100次重復(fù)實(shí)驗(yàn),統(tǒng)計數(shù)據(jù)如表2所示。

表2 詢問次數(shù)實(shí)驗(yàn)結(jié)果

從表2中可知,在某區(qū)域防空預(yù)警能力的分析任務(wù)中,達(dá)到相同預(yù)設(shè)精度的條件下,本文提出的PCALTT算法與AL算法和ALTT算法相比可以有效減少AL的詢問次數(shù),詢問次數(shù)減少率超過30%。從其詢問次數(shù)的分布來看(見圖4),在多次重復(fù)實(shí)驗(yàn)中,PCALTT詢問次數(shù)的方差也較其他算法有一定改善。

圖4 詢問次數(shù)分布

(2) 標(biāo)注速度對比分析

用計算機(jī)統(tǒng)計專家對單個任務(wù)評價所用的時間(從選取某實(shí)驗(yàn)結(jié)果開始計時至給出評價結(jié)論為止),各位專家評價時間統(tǒng)計情況如圖5所示,可見各位專家在評價前7～10個左右任務(wù)后,評價效率趨于穩(wěn)定并隨著評價任務(wù)的增多逐漸提高,最終每個任務(wù)平均用時在36 s左右。

圖5 專家標(biāo)注時間統(tǒng)計

在已訓(xùn)練好的模型基礎(chǔ)上,利用PC機(jī)(配置CPU:Intel i7-8700,內(nèi)存:16 G,顯卡:NVIDIA GeForce GTX 1050 Ti)對剩余800個未標(biāo)記樣本進(jìn)行自動標(biāo)記,用時均小于1 s,效率遠(yuǎn)遠(yuǎn)高于人工標(biāo)注。

通過上述實(shí)驗(yàn)說明基于預(yù)聚類主動SSL方法能夠在保證標(biāo)注精確度達(dá)到90%以上的前提下,極大提高標(biāo)注效率。

4.3.2 準(zhǔn)確率分析

用基于實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練好的PCALTT模型對剩余的800個未標(biāo)記實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)測,隨機(jī)選擇其中400個數(shù)據(jù),將數(shù)據(jù)按照50個為一組分給8位專家進(jìn)行判斷,各位專家對數(shù)據(jù)的認(rèn)可度如表3所示。各位專家對算法預(yù)測結(jié)果的平均認(rèn)可度為92.3%,與訓(xùn)練模型時設(shè)置的準(zhǔn)確率門限相似并高于訓(xùn)練準(zhǔn)確率。證明了該方法在作戰(zhàn)仿真實(shí)驗(yàn)結(jié)果評估應(yīng)用中的有效性。

表3 對實(shí)驗(yàn)結(jié)果認(rèn)可度

5 結(jié) 論

評估作戰(zhàn)體系效能是作戰(zhàn)實(shí)驗(yàn)的重要環(huán)節(jié),是對作戰(zhàn)行動、作戰(zhàn)方案等進(jìn)行實(shí)驗(yàn)分析和優(yōu)化的基礎(chǔ),有著十分重要的意義。通常,對作戰(zhàn)體系的效能評估依靠專家建立指標(biāo)體系、并根據(jù)專家認(rèn)知對指標(biāo)進(jìn)行綜合計算,這種方法難以適用于大規(guī)模的探索性仿真實(shí)驗(yàn)。本文提出一種基于預(yù)聚類主動SSL的作戰(zhàn)體系效能評估方法,通過機(jī)器學(xué)習(xí)的方法建立仿真實(shí)驗(yàn)數(shù)據(jù)與專家評估結(jié)果之間的關(guān)系,在機(jī)器與專家交互迭代的過程中獲取專家知識,使計算機(jī)通過學(xué)習(xí)少量有標(biāo)注樣本完成對大量仿真實(shí)驗(yàn)數(shù)據(jù)的自動標(biāo)注,解決依靠專家評估代價昂貴的問題。通過防空預(yù)警能力分析任務(wù)的仿真實(shí)驗(yàn)數(shù)據(jù),驗(yàn)證了本文提出的方法在作戰(zhàn)仿真實(shí)驗(yàn)數(shù)據(jù)中的有效性,具有一定實(shí)用價值。