• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于機(jī)器學(xué)習(xí)的導(dǎo)彈干擾試驗(yàn)效果評(píng)估實(shí)證研究

    2020-04-14 09:46:26閆曉偉曲豫賓
    關(guān)鍵詞:分類(lèi)器導(dǎo)彈森林

    閆曉偉,曲豫賓

    (1.海軍裝備部裝備保障大隊(duì),北京100036;2.桂林電子科技大學(xué),廣西桂林541004)

    目前,海戰(zhàn)電子對(duì)抗愈加激烈,艦船面對(duì)導(dǎo)彈襲擊始終處于較為被動(dòng)的局面。反艦導(dǎo)彈的干擾研究是海軍艦艇海上防御中必不可少的一環(huán)。導(dǎo)彈具有快速突防、破壞力較強(qiáng)的特點(diǎn),構(gòu)建復(fù)雜的電磁干擾環(huán)境是應(yīng)對(duì)反艦導(dǎo)彈威脅極為有效的手段。然而,針對(duì)反艦導(dǎo)彈的干擾評(píng)估卻存在著諸多影響因素,難以有效量化評(píng)估。自20世紀(jì)60年代以來(lái),信息準(zhǔn)則、功率準(zhǔn)則、效率準(zhǔn)則是用于評(píng)估干擾效果的三大準(zhǔn)則。同時(shí),以此三大準(zhǔn)則為基礎(chǔ)衍生了多種應(yīng)用方法[1-2]。然而這些方法都是從定性的角度對(duì)導(dǎo)彈干擾評(píng)估角度進(jìn)行分析[3]。在復(fù)雜電磁環(huán)境下,影響導(dǎo)彈作戰(zhàn)效能有如下因素:導(dǎo)彈干擾的時(shí)機(jī);干擾武器與被干擾導(dǎo)彈末端雷達(dá)的對(duì)準(zhǔn)角度;參與干擾設(shè)備的功率大??;采用的干擾樣式;氣象地理環(huán)境等客觀因素;被干擾導(dǎo)彈的抗干擾措施等[3]。葉厚良等人從簡(jiǎn)化模型抓住重點(diǎn)特征評(píng)估導(dǎo)彈干擾評(píng)估角度出發(fā),選擇了干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式等影響因素,評(píng)估導(dǎo)彈實(shí)驗(yàn)干擾效果[4];白爽等人從綜合分析雷達(dá)導(dǎo)引頭與紅外成像導(dǎo)引頭的基本干擾原理出發(fā),對(duì)導(dǎo)彈干擾試驗(yàn)效果進(jìn)行評(píng)估[5];牛得清等人從紅外對(duì)抗角度使用改進(jìn)后的拉丁超立方采樣方法獲取評(píng)估數(shù)據(jù)[6];李慎波等從導(dǎo)彈的進(jìn)入角度等技術(shù)參數(shù)出發(fā),研究面源紅外誘餌干擾效能的影響情況[7]。在以上分析導(dǎo)彈干擾效能的仿真實(shí)驗(yàn)中,基于機(jī)器學(xué)習(xí)的模型被廣泛使用,多層感知機(jī)[4]、隨機(jī)森林[6]等模型被用于分析仿真實(shí)驗(yàn)中的數(shù)據(jù)集。

    然而,基于機(jī)器學(xué)習(xí)對(duì)導(dǎo)彈干擾數(shù)據(jù)進(jìn)行分析的過(guò)程中,卻存在典型的樣本數(shù)量不足與類(lèi)不平衡問(wèn)題。試驗(yàn)與評(píng)估為武器裝備定型的一個(gè)非常重要的環(huán)節(jié),用于全面考核武器的各項(xiàng)技術(shù)指標(biāo)。武器系統(tǒng)研制周期較長(zhǎng),試驗(yàn)費(fèi)用較高,一般傾向于把試驗(yàn)與評(píng)估放在一起綜合評(píng)定。在試驗(yàn)與評(píng)估過(guò)程中,由于受靶場(chǎng)條件、安全性和時(shí)間、經(jīng)費(fèi)等方面的限制,只能獲取小樣本的武器測(cè)試數(shù)據(jù)[8]。這些現(xiàn)場(chǎng)試驗(yàn)數(shù)據(jù)是用于進(jìn)行武器性能評(píng)估的珍貴數(shù)據(jù)。目前,美軍提出的“一體化試驗(yàn)鑒定”概念也是為了解決試驗(yàn)成本高昂等問(wèn)題,通過(guò)數(shù)據(jù)共享方式來(lái)解決數(shù)量過(guò)少的問(wèn)題[9]。樣本數(shù)量不足的問(wèn)題極大地影響了武器裝備的試驗(yàn)評(píng)估。繼而,武器試驗(yàn)過(guò)程中的數(shù)據(jù)在武器性能未達(dá)到指標(biāo)的演化過(guò)程中,必然存在有效試驗(yàn)與無(wú)效試驗(yàn)呈現(xiàn)出不平衡的類(lèi)分布情況。如導(dǎo)彈干擾試驗(yàn)過(guò)程中,在干擾功率未能達(dá)到有效值情況下,預(yù)計(jì)會(huì)出現(xiàn)導(dǎo)彈干擾失敗次數(shù)遠(yuǎn)遠(yuǎn)大于導(dǎo)彈干擾成功次數(shù)的情況。因此,如果不對(duì)這些存在類(lèi)不平衡的數(shù)據(jù)集進(jìn)行預(yù)處理,必然影響機(jī)器學(xué)習(xí)模型的學(xué)習(xí)與建立。傳統(tǒng)的基于機(jī)器學(xué)習(xí)的對(duì)類(lèi)不平衡數(shù)據(jù)集的處理方法包括對(duì)數(shù)據(jù)集中多數(shù)類(lèi)欠采樣、對(duì)數(shù)據(jù)集中少數(shù)類(lèi)進(jìn)行過(guò)采樣和基于代價(jià)敏感的分類(lèi)方法等[10]。對(duì)于導(dǎo)彈干擾試驗(yàn)來(lái)說(shuō),由于本身數(shù)據(jù)量有限,對(duì)多數(shù)類(lèi)欠采樣的方式不適合該類(lèi)試驗(yàn)?;诖鷥r(jià)敏感的分類(lèi)方法等在處理數(shù)據(jù)量較多的情況下具有優(yōu)勢(shì),如果在真實(shí)武器試驗(yàn)數(shù)據(jù)量較少的情況下,最好采用對(duì)數(shù)據(jù)集進(jìn)行過(guò)采樣的方式。過(guò)采樣的方式中,基于SMOTE等算法雖然可以根據(jù)歐式距離等來(lái)創(chuàng)建少數(shù)類(lèi)數(shù)據(jù)集,但這些數(shù)據(jù)集如果在數(shù)據(jù)量較少的情況下,其有效性仍待商榷。因此,隨機(jī)過(guò)采樣算法被用于導(dǎo)入干擾試驗(yàn)原始數(shù)據(jù)預(yù)處理過(guò)程。

    基于此,本文提出將隨機(jī)過(guò)采樣用于機(jī)器學(xué)習(xí)的分類(lèi)模型訓(xùn)練過(guò)程中,設(shè)計(jì)了基于隨機(jī)森林的2 階段的數(shù)據(jù)分析框架。首先,采集并對(duì)導(dǎo)彈干擾數(shù)據(jù)進(jìn)行隨機(jī)過(guò)采樣預(yù)處理,然后,使用隨機(jī)森林建立分類(lèi)模型。使用常見(jiàn)的AUC(Area Under Curve,AUC)指標(biāo)作為分類(lèi)性能的評(píng)價(jià)指標(biāo)。在開(kāi)源的導(dǎo)彈干擾試驗(yàn)數(shù)據(jù)集上進(jìn)行多次重復(fù)試驗(yàn),對(duì)試驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析,證明基于2 階段的隨機(jī)森林分類(lèi)方法能夠有效提升導(dǎo)彈干擾評(píng)估模型的性能。

    1 基于機(jī)器學(xué)習(xí)的導(dǎo)彈干擾試驗(yàn)效果評(píng)估

    1.1 基于機(jī)器學(xué)習(xí)的2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架

    武器裝備是嚴(yán)格區(qū)分于普通民用產(chǎn)品的高科技產(chǎn)品,具有質(zhì)量要求極高等特點(diǎn)。在武器裝備的生命周期中,需要通過(guò)一系列的試驗(yàn)來(lái)檢驗(yàn)方案是否合理,戰(zhàn)術(shù)指標(biāo)是否能夠達(dá)到要求[8]。其試驗(yàn)流程如圖1所示。

    圖1 導(dǎo)彈干擾武器裝備試驗(yàn)流程Fig.1 Test process of missile jamming weapon equipment

    在試驗(yàn)評(píng)估過(guò)程中,收集導(dǎo)彈干擾設(shè)備的原始數(shù)據(jù)。試驗(yàn)由于受靶場(chǎng)試驗(yàn)條件、經(jīng)費(fèi)等因素的制約,試驗(yàn)次數(shù)較少,產(chǎn)生的真實(shí)數(shù)據(jù)也較少。然而這些試驗(yàn)數(shù)據(jù)卻是無(wú)可爭(zhēng)辯的真實(shí)可靠數(shù)據(jù),是進(jìn)行武器系統(tǒng)定型的最終檢驗(yàn)考核手段。如何能夠深入挖掘有限的數(shù)據(jù)集,從數(shù)據(jù)集中建模,以便后續(xù)對(duì)設(shè)備定型進(jìn)行輔助驗(yàn)證,這是武器裝備評(píng)估中至關(guān)重要的問(wèn)題。

    以試驗(yàn)評(píng)估數(shù)據(jù)集為基礎(chǔ),提出基于機(jī)器學(xué)習(xí)的2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架。該框架首先通過(guò)隨機(jī)過(guò)采樣對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,然后,采用隨機(jī)森林分類(lèi)方法進(jìn)行建模分析。該2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架的整體流程如圖2所示。

    圖2 2階段導(dǎo)彈干擾試驗(yàn)效果評(píng)估框架Fig.2 Evaluation framework of two-stage missile jamming test effect

    該框架分為原始數(shù)據(jù)集預(yù)處理階段與隨機(jī)森林模型訓(xùn)練階段。訓(xùn)練完成的模型可以用于對(duì)測(cè)試數(shù)據(jù)集進(jìn)行預(yù)測(cè)。

    在原始數(shù)據(jù)集預(yù)處理階段,如圖2所示,導(dǎo)彈干擾有效樣例與導(dǎo)彈干擾無(wú)效樣例之間存在著明顯的差異。導(dǎo)彈干擾有效樣例數(shù)目明顯多于導(dǎo)彈干擾無(wú)效樣例,這個(gè)原始數(shù)據(jù)集中存在著明顯的類(lèi)不平衡現(xiàn)象。如前所述,采用隨機(jī)過(guò)采樣方式更加有效可靠。通過(guò)引入隨機(jī)過(guò)采樣策略,導(dǎo)彈干擾無(wú)效樣例子數(shù)據(jù)集的容量達(dá)到與導(dǎo)彈干擾有效樣例子數(shù)據(jù)集匹配的數(shù)量。將預(yù)處理完成的數(shù)據(jù)集作為第2個(gè)階段隨機(jī)森林模型的輸入數(shù)據(jù)集。在隨機(jī)森林模型的訓(xùn)練階段,通過(guò)建立多棵決策樹(shù)的方式來(lái)完成對(duì)導(dǎo)彈干擾評(píng)估模型的構(gòu)建。最終,可以將該模型用于測(cè)試數(shù)據(jù)集,完成模型的檢驗(yàn)。

    1.2 基于小數(shù)據(jù)樣本的隨機(jī)過(guò)采樣策略

    武器裝備經(jīng)過(guò)試驗(yàn)評(píng)估階段產(chǎn)生的原始數(shù)據(jù)集為小數(shù)據(jù)樣本數(shù)據(jù)集,定義:

    設(shè)Smax與Smin數(shù)據(jù)集間達(dá)到的平衡比值為1.0。面向?qū)椄蓴_試驗(yàn)評(píng)估的隨機(jī)過(guò)采樣策略具體步驟如下[11]:

    1)隨機(jī)從Smin中抽取一些少數(shù)類(lèi)樣本;

    2)復(fù)制隨機(jī)抽取的樣本,記為集合Srandom;

    3)將新的數(shù)據(jù)集合Srandom添加到少數(shù)類(lèi)數(shù)據(jù)集Smin中,擴(kuò)大數(shù)據(jù)集得到新的少數(shù)類(lèi)集合Smin-new;

    4)重復(fù)步驟1)~3),直到Smax與Smin數(shù)據(jù)集之間達(dá)到的平衡比值為1.0時(shí),則終止該算法。

    經(jīng)過(guò)隨機(jī)過(guò)采樣以后,形成的輸出數(shù)據(jù)集為Smax與Smin-new。這2 個(gè)數(shù)據(jù)集之間達(dá)到平衡,可以作為隨機(jī)森林模型的輸入數(shù)據(jù)集。

    1.3 面向?qū)椄蓴_試驗(yàn)的隨機(jī)森林模型

    以輸入的Smax與Smin-new數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集,即可以開(kāi)始訓(xùn)練隨機(jī)森林模型。針對(duì)面向?qū)椄蓴_試驗(yàn)評(píng)估問(wèn)題,欲得到泛化能力較強(qiáng)的分類(lèi)器,則可以通過(guò)創(chuàng)建多個(gè)獨(dú)立的具有弱分類(lèi)效果的決策樹(shù)來(lái)共同決策。定義集合D,D=Smax∪Smin-new,采用自助采樣法[12],每次從集合D 中采集一個(gè)樣本,將其拷貝到集合D′,以該集合D′作為訓(xùn)練數(shù)據(jù)集構(gòu)建一棵決策樹(shù)。樣本在m 次采樣過(guò)程中始終不被采到的概率是1 -m[13],取極限得到:

    原始數(shù)據(jù)集D 中約有36.8%的樣本未能出現(xiàn)在采樣數(shù)據(jù)集D′中,不同的采樣數(shù)據(jù)集D′保證了不同決策樹(shù)的獨(dú)立性。隨機(jī)森林是集成學(xué)習(xí)的一種常用擴(kuò)展變體[14]。在隨機(jī)森林中,對(duì)基決策樹(shù)的每個(gè)節(jié)點(diǎn),從該節(jié)點(diǎn)的屬性集合中隨機(jī)選擇一個(gè)包含k 個(gè)屬性的子集,基于該子集選擇最優(yōu)的屬性劃分。一般推薦k 取值為log2d。假設(shè)當(dāng)前樣本集合D′中第n 類(lèi)樣本所占的比例為pn(n=1,2),分別表示導(dǎo)彈干擾無(wú)效與導(dǎo)彈干擾有效。則D′的信息熵定義為:

    數(shù)據(jù)集中,離散屬性有5個(gè)可能的取值,分別為干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式。如采用干擾頻率來(lái)對(duì)樣本集D′進(jìn)行劃分,每個(gè)分支的取值定義為{a1,a2,a3,a4} ,則會(huì)產(chǎn)生4 個(gè)節(jié)點(diǎn)。以不同節(jié)點(diǎn)所占的比重不同計(jì)算信息增益的公式為:

    信息增益越大,意味著以該屬性進(jìn)行劃分提升的純度越高,則可以作為分類(lèi)屬性。多個(gè)不同的決策樹(shù)使用投票機(jī)制對(duì)樣例進(jìn)行分類(lèi)。

    分類(lèi)模型沒(méi)有采用在圖像識(shí)別領(lǐng)域比較流行的卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法,這與數(shù)據(jù)集數(shù)量較少有關(guān)[15]。隨機(jī)梯度算法需要大量的樣例才能夠?qū)δ繕?biāo)函數(shù)進(jìn)行優(yōu)化[16]。同樣,也沒(méi)有考慮在自然語(yǔ)言處理領(lǐng)域應(yīng)用較多的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[17],對(duì)詞嵌入的訓(xùn)練也需要大量的標(biāo)注數(shù)據(jù)集,而目前可用訓(xùn)練數(shù)據(jù)集較少[18]。

    2 試驗(yàn)設(shè)計(jì)

    本節(jié)將簡(jiǎn)要描述試驗(yàn)過(guò)程,包括試驗(yàn)數(shù)據(jù)集、性能評(píng)價(jià)指標(biāo)以及試驗(yàn)中用以進(jìn)行比較的損失函數(shù)等。所有試驗(yàn)基于至強(qiáng)E5-2670的CPU與16G內(nèi)存的工作站完成。試驗(yàn)使用sklearn 作為實(shí)現(xiàn)機(jī)器學(xué)習(xí)分類(lèi)方法的實(shí)驗(yàn)平臺(tái),各種模型參數(shù)均采用默認(rèn)值。設(shè)計(jì)如下研究問(wèn)題來(lái)指導(dǎo)試驗(yàn)設(shè)計(jì):基于2 階段的隨機(jī)森林分類(lèi)模型與其他基準(zhǔn)方法是否存在評(píng)估性能差異。

    2.1 評(píng)測(cè)對(duì)象

    該試驗(yàn)采用的數(shù)據(jù)來(lái)源于根據(jù)相關(guān)先驗(yàn)數(shù)據(jù)建立的學(xué)習(xí)樣本集[4],數(shù)據(jù)集描述見(jiàn)表1。

    在評(píng)估導(dǎo)彈試驗(yàn)干擾效果的過(guò)程中,導(dǎo)彈的距離方位等基本可以確定,因而采用干擾頻率、干擾功率、干擾時(shí)機(jī)、電磁環(huán)境、干擾樣式5種因素作為評(píng)估的重要特征。在專(zhuān)家標(biāo)注的過(guò)程中,針對(duì)數(shù)據(jù)集的具體處理過(guò)程如下:若通過(guò)5 個(gè)干擾因素隸屬度計(jì)算出的干擾效果數(shù)值,經(jīng)歸一化后在[0.67,1]內(nèi),則干擾效果評(píng)估為“優(yōu)”;若在[0.33,0.67)內(nèi),則干擾效果評(píng)估為“中”;若在[0,0.33)內(nèi),則干擾效果評(píng)估為“差”。原始的數(shù)據(jù)集并未提供導(dǎo)彈干擾是否有效的標(biāo)注位,數(shù)據(jù)的加權(quán)處理過(guò)程為:將數(shù)據(jù)樣本中干擾效果評(píng)估為“優(yōu)”和“中”的數(shù)據(jù)樣本統(tǒng)一標(biāo)注為“導(dǎo)彈干擾有效”,標(biāo)志位記為“1”;其他數(shù)據(jù)樣本標(biāo)注為“導(dǎo)彈干擾無(wú)效”,標(biāo)志位記為“0”。通過(guò)數(shù)據(jù)集可以看出,該數(shù)據(jù)集為典型的類(lèi)不平衡數(shù)據(jù)集,且樣本容量較小。

    表1 數(shù)據(jù)集描述Tab.1 Dataset Description

    2.2 試驗(yàn)流程和方法參數(shù)設(shè)置

    為了減少數(shù)據(jù)的隨機(jī)性對(duì)試驗(yàn)結(jié)果的影響,整個(gè)試驗(yàn)重復(fù)執(zhí)行多次。試驗(yàn)重復(fù)3 遍,每遍重復(fù)的次數(shù)分別為20 次、30 次、50 次。在試驗(yàn)過(guò)程中,對(duì)數(shù)據(jù)進(jìn)行了分層抽樣處理,保證訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的分布一致性,當(dāng)前試驗(yàn)過(guò)程中測(cè)試數(shù)據(jù)集的比例設(shè)定為30%。重復(fù)過(guò)采樣過(guò)程中,少數(shù)類(lèi)與多數(shù)類(lèi)數(shù)量最終達(dá)到的比值為1.0。

    2.3 評(píng)測(cè)指標(biāo)

    針對(duì)類(lèi)不平衡數(shù)據(jù)集的常見(jiàn)評(píng)價(jià)指標(biāo)包括召回率(recall)、F1-measure、AUC 等。在本試驗(yàn)中采用的AUC指標(biāo),常作為二元分類(lèi)問(wèn)題中分析類(lèi)不平衡的數(shù)據(jù)集的分類(lèi)指標(biāo)。針對(duì)二元分類(lèi)問(wèn)題的相應(yīng)的混淆矩陣如表2所示。

    表2 混淆矩陣Tab.2 Confusion Matrix

    在所有真實(shí)值為陰性的樣本中,偽陽(yáng)性率被定義為錯(cuò)誤地判斷為陽(yáng)性之比率:

    在所有真實(shí)值為陽(yáng)性的樣本中,真陽(yáng)性率被定義為被正確地判斷為陽(yáng)性之比率:

    以不同的閾值對(duì)所有樣本計(jì)算相應(yīng)的坐標(biāo)點(diǎn)(TPR,F(xiàn)PR),得到的相應(yīng)曲線下的面積值即為AUC值。AUC 值越高,表示模型分類(lèi)性能越好,其取值區(qū)間為(0,1)。

    2.4 基準(zhǔn)方法

    為了比較不同的分類(lèi)模型對(duì)導(dǎo)彈試驗(yàn)干擾評(píng)估數(shù)據(jù)集的影響,實(shí)現(xiàn)了多個(gè)常見(jiàn)的分類(lèi)模型,在同等條件下進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)中用到的5個(gè)分類(lèi)模型如下:

    1)多層感知機(jī)模型,該模型是葉厚良等在分析數(shù)據(jù)集中使用到的模型[3],未考慮類(lèi)不平衡問(wèn)題,在試驗(yàn)中作為baseline,記為mlp;

    2)隨機(jī)森林模型,未考慮類(lèi)不平衡問(wèn)題,記為rf;

    3)支持向量機(jī),未考慮類(lèi)不平衡問(wèn)題,記為svm;

    4)樸素貝葉斯模型,未考慮類(lèi)不平衡問(wèn)題,記為nb;

    5)基于2 階段的隨機(jī)森林模型,通過(guò)隨機(jī)過(guò)采樣方式解決類(lèi)不平衡問(wèn)題,以隨機(jī)森林作為分類(lèi)模型,記為rf_imb。

    3 結(jié)果分析

    試驗(yàn)中,前4 個(gè)分類(lèi)模型都是針對(duì)存在類(lèi)不平衡問(wèn)題的數(shù)據(jù)集進(jìn)行處理的,提出的2 階段的隨機(jī)森林分類(lèi)模型處理的是經(jīng)過(guò)隨機(jī)過(guò)采樣的數(shù)據(jù)集。圖3展示的是重復(fù)運(yùn)行次數(shù)為50次情況下,不同分類(lèi)模型的AUC盒圖。從圖3可以看出,在中位數(shù)上,rf_imb分類(lèi)器獲得了最佳的分類(lèi)性能,而且其中位數(shù)比基方法有近60%的提升。同時(shí),前4個(gè)分類(lèi)模型都表現(xiàn)出了較大的一致性,一方面是中位數(shù)值均在0.5左右,另外一方面是分類(lèi)性能都出現(xiàn)了明顯的較大波動(dòng)。這個(gè)分類(lèi)性能的表現(xiàn)充分說(shuō)明類(lèi)不平衡對(duì)導(dǎo)彈試驗(yàn)干擾評(píng)估數(shù)據(jù)集有明顯的副作用。rf分類(lèi)器和rf_imb分類(lèi)器相比,rf_imb分類(lèi)器考慮了類(lèi)不平衡問(wèn)題,而大量的中位數(shù)在0.5左右也說(shuō)明rf分類(lèi)器并沒(méi)有表現(xiàn)出實(shí)用的分類(lèi)性能。因此,建議在后續(xù)的試驗(yàn)中,不采用未做類(lèi)不平衡處理的分類(lèi)器。

    圖3 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖(重復(fù)次數(shù)50次)Fig.3 Box plots of different models on the AUC indicator(repeat 50 times)

    由圖4 與圖5 的AUC 盒圖結(jié)果可以看出,在不同試驗(yàn)不同重復(fù)次數(shù)的情況下,在中位數(shù)上,rf_imb分類(lèi)器都獲得了最佳的分類(lèi)性能。而且其他未進(jìn)行類(lèi)不平衡處理的分類(lèi)器同樣都表現(xiàn)較差,其中位數(shù)都在0.5左右,這說(shuō)明這些分類(lèi)器缺乏實(shí)用的可操作性。因此,可以認(rèn)為rf_imb分類(lèi)器具有較好的泛化性能與分類(lèi)性能。

    圖4 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖(重復(fù)次數(shù)30次)Fig.4 Box plots of different models on the AUC indicator(repeat 30 times)

    圖5 采用不同分類(lèi)模型使用AUC指標(biāo)對(duì)比的盒圖(重復(fù)次數(shù)20次)Fig.5 Box plots of different models on the AUC indicator(repeat 20 times)

    4 總結(jié)與展望

    隨著反艦/反潛武器更新?lián)Q代和性能的多樣化,艦船面臨著越來(lái)越大的毀傷威脅,如何在艦船設(shè)計(jì)階段考慮艦艇武器裝備針對(duì)來(lái)襲導(dǎo)彈的干擾效果就顯得十分重要。針對(duì)復(fù)雜電磁環(huán)境下導(dǎo)彈干擾試驗(yàn)影響因素眾多且難以量化、試驗(yàn)數(shù)據(jù)采集困難以及試驗(yàn)數(shù)據(jù)中普遍存在類(lèi)不平衡等問(wèn)題,基于機(jī)器學(xué)習(xí)創(chuàng)建導(dǎo)彈試驗(yàn)干擾效果評(píng)估模型,采用隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、多層感知機(jī)等常見(jiàn)模型對(duì)導(dǎo)彈試驗(yàn)干擾效果進(jìn)行評(píng)估。特別針對(duì)小數(shù)據(jù)樣本中的類(lèi)不平衡問(wèn)題提出2 階段分類(lèi)模型,采用過(guò)采樣方式解決類(lèi)不平衡問(wèn)題并采用隨機(jī)森林進(jìn)行分類(lèi)?;陂_(kāi)源的導(dǎo)彈干擾效果評(píng)估數(shù)據(jù),通過(guò)實(shí)證研究說(shuō)明,基于過(guò)采樣的隨機(jī)森林模型在干擾效果評(píng)估問(wèn)題中具有較強(qiáng)的泛化能力和魯棒性,在AUC 指標(biāo)上,該模型比多層感知機(jī)模型在中位數(shù)上最多提高60%,建議在后續(xù)的試驗(yàn)中采用該模型進(jìn)行導(dǎo)彈干擾效果評(píng)估。從試驗(yàn)中可以看出,類(lèi)不平衡問(wèn)題對(duì)分類(lèi)器性能有著較大的影響,在后續(xù)的試驗(yàn)過(guò)程中,須處理類(lèi)不平衡問(wèn)題。

    猜你喜歡
    分類(lèi)器導(dǎo)彈森林
    導(dǎo)彈燃料知多少
    軍事文摘(2020年14期)2020-12-17 06:27:16
    正在發(fā)射的岸艦導(dǎo)彈
    攔截那枚導(dǎo)彈
    BP-GA光照分類(lèi)器在車(chē)道線識(shí)別中的應(yīng)用
    導(dǎo)彈轉(zhuǎn)運(yùn)
    哈Q森林
    加權(quán)空-譜與最近鄰分類(lèi)器相結(jié)合的高光譜圖像分類(lèi)
    結(jié)合模糊(C+P)均值聚類(lèi)和SP-V-支持向量機(jī)的TSK分類(lèi)器
    哈Q森林
    哈Q森林
    午夜两性在线视频| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 亚洲无线观看免费| 亚洲精品一卡2卡三卡4卡5卡| 午夜影院日韩av| 综合色av麻豆| 能在线免费观看的黄片| 小蜜桃在线观看免费完整版高清| 精品人妻偷拍中文字幕| 国产欧美日韩一区二区三| 免费大片18禁| 成年免费大片在线观看| 91在线观看av| 婷婷精品国产亚洲av在线| 亚洲内射少妇av| 亚洲成av人片免费观看| 欧美高清性xxxxhd video| 一个人看视频在线观看www免费| 国产午夜福利久久久久久| 亚洲国产精品999在线| 精品久久国产蜜桃| 很黄的视频免费| 丁香六月欧美| 久久欧美精品欧美久久欧美| a级毛片免费高清观看在线播放| 最近在线观看免费完整版| av在线老鸭窝| 三级男女做爰猛烈吃奶摸视频| 国产一区二区在线观看日韩| 国产伦人伦偷精品视频| 午夜福利成人在线免费观看| 伦理电影大哥的女人| 一级a爱片免费观看的视频| 欧美性猛交╳xxx乱大交人| 亚洲人与动物交配视频| 啦啦啦韩国在线观看视频| 动漫黄色视频在线观看| 国产国拍精品亚洲av在线观看| 国模一区二区三区四区视频| 欧美国产日韩亚洲一区| 黄色日韩在线| 久久精品国产亚洲av香蕉五月| 51午夜福利影视在线观看| 久久99热6这里只有精品| 午夜免费男女啪啪视频观看 | 亚洲经典国产精华液单 | 国产又黄又爽又无遮挡在线| 欧美三级亚洲精品| 精品久久国产蜜桃| 18禁黄网站禁片午夜丰满| 日日夜夜操网爽| 国产免费一级a男人的天堂| 国产成年人精品一区二区| 中亚洲国语对白在线视频| 亚洲久久久久久中文字幕| 亚洲国产精品合色在线| 国产主播在线观看一区二区| 嫁个100分男人电影在线观看| 精品人妻一区二区三区麻豆 | 亚洲美女搞黄在线观看 | 成熟少妇高潮喷水视频| 内射极品少妇av片p| 亚洲美女黄片视频| 69人妻影院| 国产v大片淫在线免费观看| 伊人久久精品亚洲午夜| www日本黄色视频网| а√天堂www在线а√下载| 免费看日本二区| 欧美激情国产日韩精品一区| 一a级毛片在线观看| 日韩av在线大香蕉| 精品人妻一区二区三区麻豆 | 国产aⅴ精品一区二区三区波| 成年版毛片免费区| 精品久久久久久久久亚洲 | 亚洲avbb在线观看| 熟女电影av网| 99热只有精品国产| 久久久国产成人免费| 99热精品在线国产| 成人国产一区最新在线观看| 亚洲av第一区精品v没综合| 如何舔出高潮| 久久香蕉精品热| 国产精品,欧美在线| 午夜福利视频1000在线观看| 精品久久久久久久人妻蜜臀av| 亚洲 国产 在线| 国产精品自产拍在线观看55亚洲| 色综合欧美亚洲国产小说| 欧美日韩瑟瑟在线播放| 亚州av有码| 最近在线观看免费完整版| a级一级毛片免费在线观看| 91字幕亚洲| 久久久精品欧美日韩精品| 中文字幕精品亚洲无线码一区| 成人欧美大片| 亚洲精品日韩av片在线观看| 婷婷亚洲欧美| 色吧在线观看| 少妇人妻精品综合一区二区 | 精品午夜福利在线看| av女优亚洲男人天堂| 亚洲av中文字字幕乱码综合| 亚洲国产精品sss在线观看| 91在线精品国自产拍蜜月| 国产精品久久电影中文字幕| 国产一级毛片七仙女欲春2| 一边摸一边抽搐一进一小说| 久久久久九九精品影院| 精品国内亚洲2022精品成人| 国产真实伦视频高清在线观看 | 色综合欧美亚洲国产小说| av福利片在线观看| 五月玫瑰六月丁香| 成人鲁丝片一二三区免费| 国产伦在线观看视频一区| 91av网一区二区| 天天躁日日操中文字幕| 人妻丰满熟妇av一区二区三区| ponron亚洲| 亚洲av电影在线进入| 51国产日韩欧美| 搡老熟女国产l中国老女人| 97人妻精品一区二区三区麻豆| 毛片一级片免费看久久久久 | 高潮久久久久久久久久久不卡| 国产乱人视频| 91在线精品国自产拍蜜月| 精品人妻一区二区三区麻豆 | 中文字幕久久专区| 神马国产精品三级电影在线观看| 亚洲av电影在线进入| 婷婷丁香在线五月| 全区人妻精品视频| 变态另类丝袜制服| 亚洲人成网站在线播| 亚洲无线观看免费| 国产精品久久久久久久电影| 亚洲精品在线观看二区| 成人三级黄色视频| 国产一区二区在线av高清观看| 毛片一级片免费看久久久久 | 国产精品久久久久久人妻精品电影| 久久久国产成人免费| 国产色爽女视频免费观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产乱人视频| 丰满人妻一区二区三区视频av| 狠狠狠狠99中文字幕| 18禁黄网站禁片午夜丰满| 日本一本二区三区精品| 人妻制服诱惑在线中文字幕| 成年女人看的毛片在线观看| 精品乱码久久久久久99久播| 中国美女看黄片| 成年女人毛片免费观看观看9| 日日夜夜操网爽| 成人国产综合亚洲| 免费看a级黄色片| 日本黄大片高清| 免费av毛片视频| 天天躁日日操中文字幕| 如何舔出高潮| 国产探花极品一区二区| 精品人妻偷拍中文字幕| 嫩草影院精品99| 桃色一区二区三区在线观看| 窝窝影院91人妻| 激情在线观看视频在线高清| 久久精品国产自在天天线| 日本免费a在线| 日韩亚洲欧美综合| 老女人水多毛片| 欧美精品啪啪一区二区三区| 两个人的视频大全免费| 免费av毛片视频| 免费看美女性在线毛片视频| 麻豆成人午夜福利视频| 国产综合懂色| 亚洲经典国产精华液单 | 国产成人aa在线观看| 成人美女网站在线观看视频| av天堂中文字幕网| 一a级毛片在线观看| 一个人免费在线观看电影| 亚洲欧美激情综合另类| 99热精品在线国产| 欧美一区二区精品小视频在线| 久久久久久久久大av| 嫩草影院入口| 中出人妻视频一区二区| 午夜福利高清视频| 一区二区三区免费毛片| 久久久久久久久久成人| 久久精品综合一区二区三区| 级片在线观看| 一级a爱片免费观看的视频| 欧美乱妇无乱码| 一个人看视频在线观看www免费| 精品乱码久久久久久99久播| 欧美另类亚洲清纯唯美| 免费在线观看影片大全网站| 国产黄色小视频在线观看| 十八禁国产超污无遮挡网站| 日韩中字成人| 在线免费观看不下载黄p国产 | 久久99热这里只有精品18| 可以在线观看的亚洲视频| 黄色配什么色好看| 麻豆国产97在线/欧美| 精品日产1卡2卡| 国产精品一区二区性色av| 亚洲七黄色美女视频| 啦啦啦观看免费观看视频高清| 亚洲欧美日韩无卡精品| 欧美日韩福利视频一区二区| 国产视频一区二区在线看| av在线天堂中文字幕| 国产大屁股一区二区在线视频| 久久欧美精品欧美久久欧美| 真人一进一出gif抽搐免费| 黄色配什么色好看| 偷拍熟女少妇极品色| 亚洲人成网站高清观看| 九九久久精品国产亚洲av麻豆| 午夜激情福利司机影院| 精品一区二区三区视频在线观看免费| 啪啪无遮挡十八禁网站| 特级一级黄色大片| 琪琪午夜伦伦电影理论片6080| 精品久久久久久成人av| 日韩欧美精品v在线| 男人和女人高潮做爰伦理| 99国产精品一区二区三区| 欧美精品国产亚洲| 最近最新中文字幕大全电影3| 亚洲欧美日韩无卡精品| 亚洲人成电影免费在线| 国产老妇女一区| 在线观看美女被高潮喷水网站 | 黄色女人牲交| 成熟少妇高潮喷水视频| 国产乱人视频| 亚洲国产色片| 动漫黄色视频在线观看| 在线观看午夜福利视频| 搡老熟女国产l中国老女人| 精品午夜福利在线看| 亚洲人成网站在线播| 此物有八面人人有两片| 欧美日韩福利视频一区二区| 亚洲中文字幕一区二区三区有码在线看| 嫩草影院新地址| 日日夜夜操网爽| 丰满的人妻完整版| 欧美日韩亚洲国产一区二区在线观看| 精品人妻视频免费看| 久久久国产成人免费| 在线观看66精品国产| 18禁在线播放成人免费| 久久婷婷人人爽人人干人人爱| 午夜福利视频1000在线观看| 日本成人三级电影网站| 69av精品久久久久久| 在线国产一区二区在线| 女生性感内裤真人,穿戴方法视频| 黄色丝袜av网址大全| 国产午夜精品久久久久久一区二区三区 | 91麻豆av在线| 国产精品影院久久| 欧美成狂野欧美在线观看| 亚洲av五月六月丁香网| 淫秽高清视频在线观看| 人妻丰满熟妇av一区二区三区| 男人舔女人下体高潮全视频| 91麻豆av在线| 搡老岳熟女国产| 热99re8久久精品国产| 日本黄色视频三级网站网址| 欧美xxxx黑人xx丫x性爽| 成人永久免费在线观看视频| 九色成人免费人妻av| 国内精品久久久久久久电影| 免费av观看视频| 精品人妻1区二区| 超碰av人人做人人爽久久| 国产69精品久久久久777片| 看黄色毛片网站| 自拍偷自拍亚洲精品老妇| 91在线精品国自产拍蜜月| 99久国产av精品| 小蜜桃在线观看免费完整版高清| 村上凉子中文字幕在线| 精品久久久久久久久av| 国产麻豆成人av免费视频| 99久久99久久久精品蜜桃| 国产一区二区在线观看日韩| 国产亚洲av嫩草精品影院| 国产大屁股一区二区在线视频| 日韩欧美 国产精品| 欧美性猛交╳xxx乱大交人| 欧洲精品卡2卡3卡4卡5卡区| 国产精品亚洲一级av第二区| 亚洲自偷自拍三级| 99精品久久久久人妻精品| 成人一区二区视频在线观看| 国产真实伦视频高清在线观看 | 午夜亚洲福利在线播放| 日韩 亚洲 欧美在线| 老司机深夜福利视频在线观看| 成人三级黄色视频| 国模一区二区三区四区视频| 亚洲人成网站高清观看| 12—13女人毛片做爰片一| 免费高清视频大片| 欧美丝袜亚洲另类 | 男女那种视频在线观看| 日本熟妇午夜| 九九在线视频观看精品| 亚洲自偷自拍三级| 97超级碰碰碰精品色视频在线观看| 日韩精品中文字幕看吧| 亚州av有码| 国产亚洲欧美98| 一个人看视频在线观看www免费| 亚洲激情在线av| 一级黄片播放器| 又紧又爽又黄一区二区| 国产一区二区亚洲精品在线观看| 久久国产精品人妻蜜桃| 国产精品免费一区二区三区在线| 国产在视频线在精品| 久久亚洲精品不卡| 欧美高清性xxxxhd video| 一级a爱片免费观看的视频| 日本黄色片子视频| 丁香欧美五月| 国产精品亚洲av一区麻豆| 91午夜精品亚洲一区二区三区 | 看免费av毛片| 亚洲国产欧美人成| 成人精品一区二区免费| 久久久精品欧美日韩精品| 午夜视频国产福利| 久久久精品欧美日韩精品| 中文字幕高清在线视频| 久久久久久大精品| 在线播放无遮挡| or卡值多少钱| 亚洲,欧美,日韩| 99国产综合亚洲精品| 91在线观看av| 国产黄色小视频在线观看| 亚洲,欧美,日韩| 亚洲av一区综合| 欧美日韩国产亚洲二区| 国产伦人伦偷精品视频| 黄色一级大片看看| 天天躁日日操中文字幕| 99视频精品全部免费 在线| 久久久久国内视频| 国产一级毛片七仙女欲春2| 禁无遮挡网站| 色哟哟哟哟哟哟| 欧美成狂野欧美在线观看| 亚洲 欧美 日韩 在线 免费| 精品一区二区三区视频在线| 精品人妻偷拍中文字幕| 99久久精品国产亚洲精品| 婷婷精品国产亚洲av在线| 亚洲欧美激情综合另类| 美女大奶头视频| 成年女人毛片免费观看观看9| 成人三级黄色视频| 欧美成人免费av一区二区三区| 免费看a级黄色片| 国产69精品久久久久777片| 一进一出抽搐gif免费好疼| 午夜亚洲福利在线播放| 老女人水多毛片| av天堂在线播放| 真人一进一出gif抽搐免费| 免费看光身美女| 成年女人永久免费观看视频| 成人亚洲精品av一区二区| 欧美日韩黄片免| 日本免费a在线| 国产在线精品亚洲第一网站| 日韩欧美精品v在线| 精品一区二区三区视频在线| 日韩精品中文字幕看吧| 国产亚洲欧美在线一区二区| 欧美国产日韩亚洲一区| 国产av在哪里看| 成年人黄色毛片网站| 亚洲欧美日韩东京热| 国产亚洲欧美在线一区二区| 国内久久婷婷六月综合欲色啪| 婷婷精品国产亚洲av在线| 国产精华一区二区三区| 欧美日韩瑟瑟在线播放| 琪琪午夜伦伦电影理论片6080| 丰满人妻熟妇乱又伦精品不卡| 日本与韩国留学比较| 桃色一区二区三区在线观看| 欧美bdsm另类| 国产高清三级在线| 成年女人永久免费观看视频| 欧美+日韩+精品| 国产高清有码在线观看视频| 精品不卡国产一区二区三区| 亚洲欧美日韩高清专用| 亚洲精品在线观看二区| 老司机福利观看| 国产蜜桃级精品一区二区三区| 日日摸夜夜添夜夜添小说| 成人三级黄色视频| 日本在线视频免费播放| 亚洲熟妇中文字幕五十中出| 日韩欧美在线乱码| 日本a在线网址| 国产精品98久久久久久宅男小说| 欧美成狂野欧美在线观看| ponron亚洲| 国产视频内射| 久久亚洲精品不卡| 亚洲欧美日韩高清在线视频| 国产一区二区三区在线臀色熟女| 亚洲最大成人中文| 十八禁人妻一区二区| 国产免费一级a男人的天堂| 中文字幕精品亚洲无线码一区| 亚洲美女黄片视频| 直男gayav资源| 久久中文看片网| 亚洲欧美日韩高清在线视频| 亚洲性夜色夜夜综合| 人妻制服诱惑在线中文字幕| 一本久久中文字幕| 国内精品美女久久久久久| 国产精品美女特级片免费视频播放器| 亚洲欧美日韩无卡精品| 99久久成人亚洲精品观看| 亚洲熟妇中文字幕五十中出| 亚洲国产日韩欧美精品在线观看| 不卡一级毛片| 精品熟女少妇八av免费久了| 亚洲精品在线观看二区| 精品久久久久久成人av| 天堂动漫精品| 中文资源天堂在线| 色播亚洲综合网| 亚洲第一区二区三区不卡| 亚洲人与动物交配视频| 3wmmmm亚洲av在线观看| 国产aⅴ精品一区二区三区波| 国产成人福利小说| 国产免费男女视频| 俺也久久电影网| 午夜福利高清视频| 99久国产av精品| 我的女老师完整版在线观看| 赤兔流量卡办理| 日本a在线网址| 国产精品亚洲一级av第二区| 国产麻豆成人av免费视频| 亚洲国产精品sss在线观看| 国产精品永久免费网站| 亚洲内射少妇av| 特级一级黄色大片| 午夜免费激情av| ponron亚洲| 免费看日本二区| 国产91精品成人一区二区三区| 成人欧美大片| av视频在线观看入口| 国产精品久久久久久久电影| 免费在线观看亚洲国产| 草草在线视频免费看| 怎么达到女性高潮| 国产伦人伦偷精品视频| 99视频精品全部免费 在线| 国产美女午夜福利| 男人舔女人下体高潮全视频| 免费观看精品视频网站| 精品免费久久久久久久清纯| 亚洲 欧美 日韩 在线 免费| 99热这里只有是精品在线观看 | 亚洲人成网站高清观看| 国内毛片毛片毛片毛片毛片| 久久香蕉精品热| 中文字幕精品亚洲无线码一区| 少妇丰满av| 亚洲在线自拍视频| 在线观看美女被高潮喷水网站 | av视频在线观看入口| 欧美三级亚洲精品| 欧美丝袜亚洲另类 | 一边摸一边抽搐一进一小说| 午夜福利高清视频| 精品99又大又爽又粗少妇毛片 | 国产人妻一区二区三区在| 久久国产乱子免费精品| 亚洲在线自拍视频| 我要搜黄色片| 日韩中文字幕欧美一区二区| 国产亚洲欧美98| 亚洲激情在线av| 日韩欧美在线乱码| 欧美xxxx黑人xx丫x性爽| 久久精品人妻少妇| 欧美高清性xxxxhd video| 精品久久久久久久久av| 伦理电影大哥的女人| 99精品久久久久人妻精品| 成人三级黄色视频| 国内精品久久久久精免费| 国产伦人伦偷精品视频| 国内精品美女久久久久久| 久久精品国产99精品国产亚洲性色| 香蕉av资源在线| 色综合婷婷激情| 亚洲五月天丁香| 成人国产一区最新在线观看| 久久精品国产亚洲av天美| 色综合站精品国产| 免费无遮挡裸体视频| 国产精品美女特级片免费视频播放器| 国产主播在线观看一区二区| 看片在线看免费视频| 一个人免费在线观看电影| 亚洲中文字幕一区二区三区有码在线看| 首页视频小说图片口味搜索| 国产精品免费一区二区三区在线| 一本综合久久免费| 国产亚洲av嫩草精品影院| 国产真实伦视频高清在线观看 | 三级国产精品欧美在线观看| 亚洲精品456在线播放app | 一级作爱视频免费观看| 男人舔女人下体高潮全视频| 真人做人爱边吃奶动态| 免费人成视频x8x8入口观看| 久久精品人妻少妇| 级片在线观看| 日韩欧美免费精品| 国产一区二区三区视频了| 国产v大片淫在线免费观看| АⅤ资源中文在线天堂| 日韩精品中文字幕看吧| 可以在线观看的亚洲视频| 国产精品av视频在线免费观看| av专区在线播放| 久久亚洲真实| 亚洲精品在线观看二区| 真实男女啪啪啪动态图| 嫩草影院新地址| 一进一出抽搐gif免费好疼| 欧洲精品卡2卡3卡4卡5卡区| 亚洲av电影在线进入| 亚洲中文字幕日韩| 国产精品久久久久久久久免 | 国产aⅴ精品一区二区三区波| 免费大片18禁| 两个人的视频大全免费| 亚洲不卡免费看| 亚洲av电影在线进入| 国产精品久久久久久久电影| 中出人妻视频一区二区| 女生性感内裤真人,穿戴方法视频| h日本视频在线播放| 精品人妻熟女av久视频| 一进一出好大好爽视频| 特级一级黄色大片| 国产人妻一区二区三区在| 久久久成人免费电影| 欧美日韩国产亚洲二区| 麻豆国产av国片精品| 久久这里只有精品中国| 日韩欧美在线乱码| 毛片女人毛片| 一区福利在线观看| 国产精品人妻久久久久久| 久久九九热精品免费| 男人舔女人下体高潮全视频| 色综合婷婷激情| 青草久久国产| 亚洲国产精品sss在线观看| 国产欧美日韩精品一区二区| 国产精品久久视频播放| 久久人人精品亚洲av| 欧美最黄视频在线播放免费| 午夜福利在线观看吧| 日韩欧美精品v在线| 丁香六月欧美| 高清毛片免费观看视频网站| 97人妻精品一区二区三区麻豆| 看片在线看免费视频| 亚洲欧美清纯卡通| 国产不卡一卡二| 国产精品人妻久久久久久| 成年人黄色毛片网站| 搡女人真爽免费视频火全软件 | 国产精品亚洲av一区麻豆| 国产黄a三级三级三级人| 国产老妇女一区| 精品日产1卡2卡| 舔av片在线| 日韩欧美 国产精品| 亚洲天堂国产精品一区在线| 嫩草影院新地址| 日韩欧美国产一区二区入口|