基于機(jī)器學(xué)習(xí)的導(dǎo)彈干擾試驗(yàn)效果評(píng)估實(shí)證研究

閆曉偉，曲豫賓

（1.海軍裝備部裝備保障大隊(duì)，北京100036；2.桂林電子科技大學(xué)，廣西桂林541004）

目前，海戰(zhàn)電子對(duì)抗愈加激烈，艦船面對(duì)導(dǎo)彈襲擊始終處于較為被動(dòng)的局面。反艦導(dǎo)彈的干擾研究是海軍艦艇海上防御中必不可少的一環(huán)。導(dǎo)彈具有快速突防、破壞力較強(qiáng)的特點(diǎn)，構(gòu)建復(fù)雜的電磁干擾環(huán)境是應(yīng)對(duì)反艦導(dǎo)彈威脅極為有效的手段。然而，針對(duì)反艦導(dǎo)彈的干擾評(píng)估卻存在著諸多影響因素，難以有效量化評(píng)估。自20世紀(jì)60年代以來(lái)，信息準(zhǔn)則、功率準(zhǔn)則、效率準(zhǔn)則是用于評(píng)估干擾效果的三大準(zhǔn)則。同時(shí)，以此三大準(zhǔn)則為基礎(chǔ)衍生了多種應(yīng)用方法[1-2]。然而這些方法都是從定性的角度對(duì)導(dǎo)彈干擾評(píng)估角度進(jìn)行分析[3]。在復(fù)雜電磁環(huán)境下，影響導(dǎo)彈作戰(zhàn)效能有如下因素：導(dǎo)彈干擾的時(shí)機(jī)；干擾武器與被干擾導(dǎo)彈末端雷達(dá)的對(duì)準(zhǔn)角度；參與干擾設(shè)備的功率大??；采用的干擾樣式；氣象地理環(huán)境等客觀因素；被干擾導(dǎo)彈的抗干擾措施等[3]。葉厚良等人從簡(jiǎn)化模型抓住重點(diǎn)特征評(píng)估導(dǎo)彈干擾評(píng)估角度出發(fā)，選擇了干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式等影響因素，評(píng)估導(dǎo)彈實(shí)驗(yàn)干擾效果[4]；白爽等人從綜合分析雷達(dá)導(dǎo)引頭與紅外成像導(dǎo)引頭的基本干擾原理出發(fā)，對(duì)導(dǎo)彈干擾試驗(yàn)效果進(jìn)行評(píng)估[5]；牛得清等人從紅外對(duì)抗角度使用改進(jìn)后的拉丁超立方采樣方法獲取評(píng)估數(shù)據(jù)[6]；李慎波等從導(dǎo)彈的進(jìn)入角度等技術(shù)參數(shù)出發(fā)，研究面源紅外誘餌干擾效能的影響情況[7]。在以上分析導(dǎo)彈干擾效能的仿真實(shí)驗(yàn)中，基于機(jī)器學(xué)習(xí)的模型被廣泛使用，多層感知機(jī)[4]、隨機(jī)森林[6]等模型被用于分析仿真實(shí)驗(yàn)中的數(shù)據(jù)集。

然而，基于機(jī)器學(xué)習(xí)對(duì)導(dǎo)彈干擾數(shù)據(jù)進(jìn)行分析的過(guò)程中，卻存在典型的樣本數(shù)量不足與類(lèi)不平衡問(wèn)題。試驗(yàn)與評(píng)估為武器裝備定型的一個(gè)非常重要的環(huán)節(jié)，用于全面考核武器的各項(xiàng)技術(shù)指標(biāo)。武器系統(tǒng)研制周期較長(zhǎng)，試驗(yàn)費(fèi)用較高，一般傾向于把試驗(yàn)與評(píng)估放在一起綜合評(píng)定。在試驗(yàn)與評(píng)估過(guò)程中，由于受靶場(chǎng)條件、安全性和時(shí)間、經(jīng)費(fèi)等方面的限制，只能獲取小樣本的武器測(cè)試數(shù)據(jù)[8]。這些現(xiàn)場(chǎng)試驗(yàn)數(shù)據(jù)是用于進(jìn)行武器性能評(píng)估的珍貴數(shù)據(jù)。目前，美軍提出的“一體化試驗(yàn)鑒定”概念也是為了解決試驗(yàn)成本高昂等問(wèn)題，通過(guò)數(shù)據(jù)共享方式來(lái)解決數(shù)量過(guò)少的問(wèn)題[9]。樣本數(shù)量不足的問(wèn)題極大地影響了武器裝備的試驗(yàn)評(píng)估。繼而，武器試驗(yàn)過(guò)程中的數(shù)據(jù)在武器性能未達(dá)到指標(biāo)的演化過(guò)程中，必然存在有效試驗(yàn)與無(wú)效試驗(yàn)呈現(xiàn)出不平衡的類(lèi)分布情況。如導(dǎo)彈干擾試驗(yàn)過(guò)程中，在干擾功率未能達(dá)到有效值情況下，預(yù)計(jì)會(huì)出現(xiàn)導(dǎo)彈干擾失敗次數(shù)遠(yuǎn)遠(yuǎn)大于導(dǎo)彈干擾成功次數(shù)的情況。因此，如果不對(duì)這些存在類(lèi)不平衡的數(shù)據(jù)集進(jìn)行預(yù)處理，必然影響機(jī)器學(xué)習(xí)模型的學(xué)習(xí)與建立。傳統(tǒng)的基于機(jī)器學(xué)習(xí)的對(duì)類(lèi)不平衡數(shù)據(jù)集的處理方法包括對(duì)數(shù)據(jù)集中多數(shù)類(lèi)欠采樣、對(duì)數(shù)據(jù)集中少數(shù)類(lèi)進(jìn)行過(guò)采樣和基于代價(jià)敏感的分類(lèi)方法等[10]。對(duì)于導(dǎo)彈干擾試驗(yàn)來(lái)說(shuō)，由于本身數(shù)據(jù)量有限，對(duì)多數(shù)類(lèi)欠采樣的方式不適合該類(lèi)試驗(yàn)?；诖鷥r(jià)敏感的分類(lèi)方法等在處理數(shù)據(jù)量較多的情況下具有優(yōu)勢(shì)，如果在真實(shí)武器試驗(yàn)數(shù)據(jù)量較少的情況下，最好采用對(duì)數(shù)據(jù)集進(jìn)行過(guò)采樣的方式。過(guò)采樣的方式中，基于SMOTE等算法雖然可以根據(jù)歐式距離等來(lái)創(chuàng)建少數(shù)類(lèi)數(shù)據(jù)集，但這些數(shù)據(jù)集如果在數(shù)據(jù)量較少的情況下，其有效性仍待商榷。因此，隨機(jī)過(guò)采樣算法被用于導(dǎo)入干擾試驗(yàn)原始數(shù)據(jù)預(yù)處理過(guò)程。

基于此，本文提出將隨機(jī)過(guò)采樣用于機(jī)器學(xué)習(xí)的分類(lèi)模型訓(xùn)練過(guò)程中，設(shè)計(jì)了基于隨機(jī)森林的2 階段的數(shù)據(jù)分析框架。首先，采集并對(duì)導(dǎo)彈干擾數(shù)據(jù)進(jìn)行隨機(jī)過(guò)采樣預(yù)處理，然后，使用隨機(jī)森林建立分類(lèi)模型。使用常見(jiàn)的AUC（Area Under Curve，AUC）指標(biāo)作為分類(lèi)性能的評(píng)價(jià)指標(biāo)。在開(kāi)源的導(dǎo)彈干擾試驗(yàn)數(shù)據(jù)集上進(jìn)行多次重復(fù)試驗(yàn)，對(duì)試驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析，證明基于2 階段的隨機(jī)森林分類(lèi)方法能夠有效提升導(dǎo)彈干擾評(píng)估模型的性能。

1 基于機(jī)器學(xué)習(xí)的導(dǎo)彈干擾試驗(yàn)效果評(píng)估

1.1 基于機(jī)器學(xué)習(xí)的2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架

武器裝備是嚴(yán)格區(qū)分于普通民用產(chǎn)品的高科技產(chǎn)品，具有質(zhì)量要求極高等特點(diǎn)。在武器裝備的生命周期中，需要通過(guò)一系列的試驗(yàn)來(lái)檢驗(yàn)方案是否合理，戰(zhàn)術(shù)指標(biāo)是否能夠達(dá)到要求[8]。其試驗(yàn)流程如圖1所示。

圖1 導(dǎo)彈干擾武器裝備試驗(yàn)流程Fig.1 Test process of missile jamming weapon equipment

在試驗(yàn)評(píng)估過(guò)程中，收集導(dǎo)彈干擾設(shè)備的原始數(shù)據(jù)。試驗(yàn)由于受靶場(chǎng)試驗(yàn)條件、經(jīng)費(fèi)等因素的制約，試驗(yàn)次數(shù)較少，產(chǎn)生的真實(shí)數(shù)據(jù)也較少。然而這些試驗(yàn)數(shù)據(jù)卻是無(wú)可爭(zhēng)辯的真實(shí)可靠數(shù)據(jù)，是進(jìn)行武器系統(tǒng)定型的最終檢驗(yàn)考核手段。如何能夠深入挖掘有限的數(shù)據(jù)集，從數(shù)據(jù)集中建模，以便后續(xù)對(duì)設(shè)備定型進(jìn)行輔助驗(yàn)證，這是武器裝備評(píng)估中至關(guān)重要的問(wèn)題。

以試驗(yàn)評(píng)估數(shù)據(jù)集為基礎(chǔ)，提出基于機(jī)器學(xué)習(xí)的2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架。該框架首先通過(guò)隨機(jī)過(guò)采樣對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，然后，采用隨機(jī)森林分類(lèi)方法進(jìn)行建模分析。該2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架的整體流程如圖2所示。

圖2 2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架Fig.2 Evaluation framework of two-stage missile jamming test effect

該框架分為原始數(shù)據(jù)集預(yù)處理階段與隨機(jī)森林模型訓(xùn)練階段。訓(xùn)練完成的模型可以用于對(duì)測(cè)試數(shù)據(jù)集進(jìn)行預(yù)測(cè)。

在原始數(shù)據(jù)集預(yù)處理階段，如圖2所示，導(dǎo)彈干擾有效樣例與導(dǎo)彈干擾無(wú)效樣例之間存在著明顯的差異。導(dǎo)彈干擾有效樣例數(shù)目明顯多于導(dǎo)彈干擾無(wú)效樣例，這個(gè)原始數(shù)據(jù)集中存在著明顯的類(lèi)不平衡現(xiàn)象。如前所述，采用隨機(jī)過(guò)采樣方式更加有效可靠。通過(guò)引入隨機(jī)過(guò)采樣策略，導(dǎo)彈干擾無(wú)效樣例子數(shù)據(jù)集的容量達(dá)到與導(dǎo)彈干擾有效樣例子數(shù)據(jù)集匹配的數(shù)量。將預(yù)處理完成的數(shù)據(jù)集作為第2個(gè)階段隨機(jī)森林模型的輸入數(shù)據(jù)集。在隨機(jī)森林模型的訓(xùn)練階段，通過(guò)建立多棵決策樹(shù)的方式來(lái)完成對(duì)導(dǎo)彈干擾評(píng)估模型的構(gòu)建。最終，可以將該模型用于測(cè)試數(shù)據(jù)集，完成模型的檢驗(yàn)。

1.2 基于小數(shù)據(jù)樣本的隨機(jī)過(guò)采樣策略

武器裝備經(jīng)過(guò)試驗(yàn)評(píng)估階段產(chǎn)生的原始數(shù)據(jù)集為小數(shù)據(jù)樣本數(shù)據(jù)集，定義：

設(shè)Smax與Smin數(shù)據(jù)集間達(dá)到的平衡比值為1.0。面向?qū)椄蓴_試驗(yàn)評(píng)估的隨機(jī)過(guò)采樣策略具體步驟如下[11]：

1）隨機(jī)從Smin中抽取一些少數(shù)類(lèi)樣本；

2）復(fù)制隨機(jī)抽取的樣本，記為集合Srandom；

3）將新的數(shù)據(jù)集合Srandom添加到少數(shù)類(lèi)數(shù)據(jù)集Smin中，擴(kuò)大數(shù)據(jù)集得到新的少數(shù)類(lèi)集合Smin-new；

4）重復(fù)步驟1）～3），直到Smax與Smin數(shù)據(jù)集之間達(dá)到的平衡比值為1.0時(shí)，則終止該算法。

經(jīng)過(guò)隨機(jī)過(guò)采樣以后，形成的輸出數(shù)據(jù)集為Smax與Smin-new。這2 個(gè)數(shù)據(jù)集之間達(dá)到平衡，可以作為隨機(jī)森林模型的輸入數(shù)據(jù)集。

1.3 面向?qū)椄蓴_試驗(yàn)的隨機(jī)森林模型

以輸入的Smax與Smin-new數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，即可以開(kāi)始訓(xùn)練隨機(jī)森林模型。針對(duì)面向?qū)椄蓴_試驗(yàn)評(píng)估問(wèn)題，欲得到泛化能力較強(qiáng)的分類(lèi)器，則可以通過(guò)創(chuàng)建多個(gè)獨(dú)立的具有弱分類(lèi)效果的決策樹(shù)來(lái)共同決策。定義集合D，D=Smax∪Smin-new，采用自助采樣法[12]，每次從集合D 中采集一個(gè)樣本，將其拷貝到集合D′，以該集合D′作為訓(xùn)練數(shù)據(jù)集構(gòu)建一棵決策樹(shù)。樣本在m 次采樣過(guò)程中始終不被采到的概率是1 -m[13]，取極限得到：

原始數(shù)據(jù)集D 中約有36.8%的樣本未能出現(xiàn)在采樣數(shù)據(jù)集D′中，不同的采樣數(shù)據(jù)集D′保證了不同決策樹(shù)的獨(dú)立性。隨機(jī)森林是集成學(xué)習(xí)的一種常用擴(kuò)展變體[14]。在隨機(jī)森林中，對(duì)基決策樹(shù)的每個(gè)節(jié)點(diǎn)，從該節(jié)點(diǎn)的屬性集合中隨機(jī)選擇一個(gè)包含k 個(gè)屬性的子集，基于該子集選擇最優(yōu)的屬性劃分。一般推薦k 取值為log2d。假設(shè)當(dāng)前樣本集合D′中第n 類(lèi)樣本所占的比例為pn（n=1,2），分別表示導(dǎo)彈干擾無(wú)效與導(dǎo)彈干擾有效。則D′的信息熵定義為：

數(shù)據(jù)集中，離散屬性有5個(gè)可能的取值，分別為干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式。如采用干擾頻率來(lái)對(duì)樣本集D′進(jìn)行劃分，每個(gè)分支的取值定義為{a1，a2，a3，a4} ，則會(huì)產(chǎn)生4 個(gè)節(jié)點(diǎn)。以不同節(jié)點(diǎn)所占的比重不同計(jì)算信息增益的公式為：

信息增益越大，意味著以該屬性進(jìn)行劃分提升的純度越高，則可以作為分類(lèi)屬性。多個(gè)不同的決策樹(shù)使用投票機(jī)制對(duì)樣例進(jìn)行分類(lèi)。

分類(lèi)模型沒(méi)有采用在圖像識(shí)別領(lǐng)域比較流行的卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法，這與數(shù)據(jù)集數(shù)量較少有關(guān)[15]。隨機(jī)梯度算法需要大量的樣例才能夠?qū)δ繕?biāo)函數(shù)進(jìn)行優(yōu)化[16]。同樣，也沒(méi)有考慮在自然語(yǔ)言處理領(lǐng)域應(yīng)用較多的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[17]，對(duì)詞嵌入的訓(xùn)練也需要大量的標(biāo)注數(shù)據(jù)集，而目前可用訓(xùn)練數(shù)據(jù)集較少[18]。

2 試驗(yàn)設(shè)計(jì)

本節(jié)將簡(jiǎn)要描述試驗(yàn)過(guò)程，包括試驗(yàn)數(shù)據(jù)集、性能評(píng)價(jià)指標(biāo)以及試驗(yàn)中用以進(jìn)行比較的損失函數(shù)等。所有試驗(yàn)基于至強(qiáng)E5-2670的CPU與16G內(nèi)存的工作站完成。試驗(yàn)使用sklearn 作為實(shí)現(xiàn)機(jī)器學(xué)習(xí)分類(lèi)方法的實(shí)驗(yàn)平臺(tái)，各種模型參數(shù)均采用默認(rèn)值。設(shè)計(jì)如下研究問(wèn)題來(lái)指導(dǎo)試驗(yàn)設(shè)計(jì)：基于2 階段的隨機(jī)森林分類(lèi)模型與其他基準(zhǔn)方法是否存在評(píng)估性能差異。

2.1 評(píng)測(cè)對(duì)象

該試驗(yàn)采用的數(shù)據(jù)來(lái)源于根據(jù)相關(guān)先驗(yàn)數(shù)據(jù)建立的學(xué)習(xí)樣本集[4]，數(shù)據(jù)集描述見(jiàn)表1。

在評(píng)估導(dǎo)彈試驗(yàn)干擾效果的過(guò)程中，導(dǎo)彈的距離方位等基本可以確定，因而采用干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式5種因素作為評(píng)估的重要特征。在專(zhuān)家標(biāo)注的過(guò)程中，針對(duì)數(shù)據(jù)集的具體處理過(guò)程如下：若通過(guò)5 個(gè)干擾因素隸屬度計(jì)算出的干擾效果數(shù)值，經(jīng)歸一化后在[0.67，1]內(nèi)，則干擾效果評(píng)估為“優(yōu)”；若在[0.33，0.67）內(nèi)，則干擾效果評(píng)估為“中”；若在[0，0.33）內(nèi)，則干擾效果評(píng)估為“差”。原始的數(shù)據(jù)集并未提供導(dǎo)彈干擾是否有效的標(biāo)注位，數(shù)據(jù)的加權(quán)處理過(guò)程為：將數(shù)據(jù)樣本中干擾效果評(píng)估為“優(yōu)”和“中”的數(shù)據(jù)樣本統(tǒng)一標(biāo)注為“導(dǎo)彈干擾有效”，標(biāo)志位記為“1”；其他數(shù)據(jù)樣本標(biāo)注為“導(dǎo)彈干擾無(wú)效”，標(biāo)志位記為“0”。通過(guò)數(shù)據(jù)集可以看出，該數(shù)據(jù)集為典型的類(lèi)不平衡數(shù)據(jù)集，且樣本容量較小。

表1 數(shù)據(jù)集描述Tab.1 Dataset Description

2.2 試驗(yàn)流程和方法參數(shù)設(shè)置

為了減少數(shù)據(jù)的隨機(jī)性對(duì)試驗(yàn)結(jié)果的影響，整個(gè)試驗(yàn)重復(fù)執(zhí)行多次。試驗(yàn)重復(fù)3 遍，每遍重復(fù)的次數(shù)分別為20 次、30 次、50 次。在試驗(yàn)過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行了分層抽樣處理，保證訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的分布一致性，當(dāng)前試驗(yàn)過(guò)程中測(cè)試數(shù)據(jù)集的比例設(shè)定為30%。重復(fù)過(guò)采樣過(guò)程中，少數(shù)類(lèi)與多數(shù)類(lèi)數(shù)量最終達(dá)到的比值為1.0。

2.3 評(píng)測(cè)指標(biāo)

針對(duì)類(lèi)不平衡數(shù)據(jù)集的常見(jiàn)評(píng)價(jià)指標(biāo)包括召回率（recall）、F1-measure、AUC 等。在本試驗(yàn)中采用的AUC指標(biāo)，常作為二元分類(lèi)問(wèn)題中分析類(lèi)不平衡的數(shù)據(jù)集的分類(lèi)指標(biāo)。針對(duì)二元分類(lèi)問(wèn)題的相應(yīng)的混淆矩陣如表2所示。

表2 混淆矩陣Tab.2 Confusion Matrix

在所有真實(shí)值為陰性的樣本中，偽陽(yáng)性率被定義為錯(cuò)誤地判斷為陽(yáng)性之比率：

在所有真實(shí)值為陽(yáng)性的樣本中，真陽(yáng)性率被定義為被正確地判斷為陽(yáng)性之比率：

以不同的閾值對(duì)所有樣本計(jì)算相應(yīng)的坐標(biāo)點(diǎn)（TPR，F(xiàn)PR），得到的相應(yīng)曲線下的面積值即為AUC值。AUC 值越高，表示模型分類(lèi)性能越好，其取值區(qū)間為（0，1）。

2.4 基準(zhǔn)方法

為了比較不同的分類(lèi)模型對(duì)導(dǎo)彈試驗(yàn)干擾評(píng)估數(shù)據(jù)集的影響，實(shí)現(xiàn)了多個(gè)常見(jiàn)的分類(lèi)模型，在同等條件下進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)中用到的5個(gè)分類(lèi)模型如下：

1）多層感知機(jī)模型，該模型是葉厚良等在分析數(shù)據(jù)集中使用到的模型[3]，未考慮類(lèi)不平衡問(wèn)題，在試驗(yàn)中作為baseline，記為mlp；

2）隨機(jī)森林模型，未考慮類(lèi)不平衡問(wèn)題，記為rf；

3）支持向量機(jī)，未考慮類(lèi)不平衡問(wèn)題，記為svm；

4）樸素貝葉斯模型，未考慮類(lèi)不平衡問(wèn)題，記為nb；

5）基于2 階段的隨機(jī)森林模型，通過(guò)隨機(jī)過(guò)采樣方式解決類(lèi)不平衡問(wèn)題，以隨機(jī)森林作為分類(lèi)模型，記為rf_imb。

3 結(jié)果分析

試驗(yàn)中，前4 個(gè)分類(lèi)模型都是針對(duì)存在類(lèi)不平衡問(wèn)題的數(shù)據(jù)集進(jìn)行處理的，提出的2 階段的隨機(jī)森林分類(lèi)模型處理的是經(jīng)過(guò)隨機(jī)過(guò)采樣的數(shù)據(jù)集。圖3展示的是重復(fù)運(yùn)行次數(shù)為50次情況下，不同分類(lèi)模型的AUC盒圖。從圖3可以看出，在中位數(shù)上，rf_imb分類(lèi)器獲得了最佳的分類(lèi)性能，而且其中位數(shù)比基方法有近60%的提升。同時(shí)，前4個(gè)分類(lèi)模型都表現(xiàn)出了較大的一致性，一方面是中位數(shù)值均在0.5左右，另外一方面是分類(lèi)性能都出現(xiàn)了明顯的較大波動(dòng)。這個(gè)分類(lèi)性能的表現(xiàn)充分說(shuō)明類(lèi)不平衡對(duì)導(dǎo)彈試驗(yàn)干擾評(píng)估數(shù)據(jù)集有明顯的副作用。rf分類(lèi)器和rf_imb分類(lèi)器相比，rf_imb分類(lèi)器考慮了類(lèi)不平衡問(wèn)題，而大量的中位數(shù)在0.5左右也說(shuō)明rf分類(lèi)器并沒(méi)有表現(xiàn)出實(shí)用的分類(lèi)性能。因此，建議在后續(xù)的試驗(yàn)中，不采用未做類(lèi)不平衡處理的分類(lèi)器。

圖3 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖（重復(fù)次數(shù)50次）Fig.3 Box plots of different models on the AUC indicator（repeat 50 times）

由圖4 與圖5 的AUC 盒圖結(jié)果可以看出，在不同試驗(yàn)不同重復(fù)次數(shù)的情況下，在中位數(shù)上，rf_imb分類(lèi)器都獲得了最佳的分類(lèi)性能。而且其他未進(jìn)行類(lèi)不平衡處理的分類(lèi)器同樣都表現(xiàn)較差，其中位數(shù)都在0.5左右，這說(shuō)明這些分類(lèi)器缺乏實(shí)用的可操作性。因此，可以認(rèn)為rf_imb分類(lèi)器具有較好的泛化性能與分類(lèi)性能。

圖4 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖（重復(fù)次數(shù)30次）Fig.4 Box plots of different models on the AUC indicator（repeat 30 times）

圖5 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖（重復(fù)次數(shù)20次）Fig.5 Box plots of different models on the AUC indicator（repeat 20 times）

4 總結(jié)與展望

隨著反艦/反潛武器更新?lián)Q代和性能的多樣化，艦船面臨著越來(lái)越大的毀傷威脅，如何在艦船設(shè)計(jì)階段考慮艦艇武器裝備針對(duì)來(lái)襲導(dǎo)彈的干擾效果就顯得十分重要。針對(duì)復(fù)雜電磁環(huán)境下導(dǎo)彈干擾試驗(yàn)影響因素眾多且難以量化、試驗(yàn)數(shù)據(jù)采集困難以及試驗(yàn)數(shù)據(jù)中普遍存在類(lèi)不平衡等問(wèn)題，基于機(jī)器學(xué)習(xí)創(chuàng)建導(dǎo)彈試驗(yàn)干擾效果評(píng)估模型，采用隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、多層感知機(jī)等常見(jiàn)模型對(duì)導(dǎo)彈試驗(yàn)干擾效果進(jìn)行評(píng)估。特別針對(duì)小數(shù)據(jù)樣本中的類(lèi)不平衡問(wèn)題提出2 階段分類(lèi)模型，采用過(guò)采樣方式解決類(lèi)不平衡問(wèn)題并采用隨機(jī)森林進(jìn)行分類(lèi)?；陂_(kāi)源的導(dǎo)彈干擾效果評(píng)估數(shù)據(jù)，通過(guò)實(shí)證研究說(shuō)明，基于過(guò)采樣的隨機(jī)森林模型在干擾效果評(píng)估問(wèn)題中具有較強(qiáng)的泛化能力和魯棒性，在AUC 指標(biāo)上，該模型比多層感知機(jī)模型在中位數(shù)上最多提高60%，建議在后續(xù)的試驗(yàn)中采用該模型進(jìn)行導(dǎo)彈干擾效果評(píng)估。從試驗(yàn)中可以看出，類(lèi)不平衡問(wèn)題對(duì)分類(lèi)器性能有著較大的影響，在后續(xù)的試驗(yàn)過(guò)程中，須處理類(lèi)不平衡問(wèn)題。