采用雙層強(qiáng)化學(xué)習(xí)的干擾決策算法

顓孫少帥,楊俊安,劉輝,黃科舉

(1.國防科技大學(xué)電子對抗學(xué)院,230037,合肥;2.安徽省電子制約技術(shù)重點(diǎn)實(shí)驗(yàn)室,230037,合肥)

隨著信息作戰(zhàn)在現(xiàn)代化戰(zhàn)爭中的地位愈加鞏固,確保己方奪取戰(zhàn)場制信息權(quán)對取得局部戰(zhàn)爭乃至整場戰(zhàn)役的勝利都是必不可少的。對于干擾敵方信息傳遞通道以實(shí)現(xiàn)通信拒止技術(shù),其難度隨著敵方在通信過程中使用認(rèn)知無線電等技術(shù)而變得愈加困難。值得慶幸的是,無線通信的開放性使得對其干擾仍存在較大的可行性,而選擇合適的干擾方式對實(shí)現(xiàn)成功干擾至關(guān)重要[1-3]。許多參數(shù)優(yōu)化理論算法如博弈論、粒子群算法、遺傳算法等相繼被用于搜索最優(yōu)干擾策略。Wang等人提出了一種通過觀察可用頻譜、信道質(zhì)量、信道狀態(tài)而采取的隨機(jī)對策方法實(shí)現(xiàn)抗干擾通信[4];Wu等人分析了通信方在具備環(huán)境完全知識和部分知識的前提下,通過推導(dǎo)納什均衡解來盡可能地降低干擾的影響[5];Jin等人構(gòu)造了一種規(guī)則縮減遺傳算法,通過對通信參數(shù)逐步優(yōu)化的方式獲得抗干擾策略[6]。然而,上述理論算法成功實(shí)施的前提條件是需要具備通信方、環(huán)境的部分先驗(yàn)信息,無法適用于缺乏先驗(yàn)信息的場景。強(qiáng)化學(xué)習(xí)作為一種在線的、與外界環(huán)境實(shí)時(shí)交互的機(jī)器學(xué)習(xí)理論,具有噪聲魯棒性強(qiáng)、實(shí)時(shí)交互、無需先驗(yàn)信息的特點(diǎn),普遍用于游戲[7]、機(jī)器人控制[8]等領(lǐng)域。將強(qiáng)化學(xué)習(xí)相關(guān)算法用于策略的學(xué)習(xí)之中,能夠充分利用算法無需先驗(yàn)信息的優(yōu)勢,并且通過持續(xù)交互獲得的學(xué)習(xí)結(jié)果接近外界真實(shí)環(huán)境狀態(tài)。Gwon等人提出利用Q學(xué)習(xí)的方法求取最優(yōu)信道接入策略[9];Slimeni針對認(rèn)知無線網(wǎng)絡(luò)中的干擾問題,以改進(jìn)的Q學(xué)習(xí)方法對抗固定的干擾策略,得出一種多信道功率分配方案[10];Amuru等人深入研究了利用強(qiáng)化學(xué)習(xí)算法從物理層、介質(zhì)訪問控制(media access control,MAC)層搜索最優(yōu)干擾策略[11-12];黃科舉等人對IEEE 802.11MAC層認(rèn)知干擾技術(shù)進(jìn)行了研究,對干擾參數(shù)和干擾策略進(jìn)行在線優(yōu)化[13]。但是,上述強(qiáng)化學(xué)習(xí)算法面臨收斂速度慢的困境,在學(xué)習(xí)過程中需要同環(huán)境進(jìn)行大量交互。雖然有一些相關(guān)算法[8,14]專注于解決此類問題,但是尚沒有具體算法研究強(qiáng)化學(xué)習(xí)在干擾決策過程中利用先驗(yàn)信息。

為了解決上述問題,本文提出了一種采用雙層強(qiáng)化學(xué)習(xí)的干擾決策(jamming decision using dual reinforcement learning,DRLJD)算法。該算法在對干擾問題建模后,利用環(huán)境反饋信息學(xué)習(xí)等效通信參數(shù),然后利用等效通信參數(shù)學(xué)習(xí)干擾參數(shù),通過兩者交互學(xué)習(xí)的方式加快收斂速度。通過仿真結(jié)果可知,雙層強(qiáng)化學(xué)習(xí)算法能夠降低尋優(yōu)過程中的交互次數(shù),且先驗(yàn)信息的加入進(jìn)一步加快了算法的收斂速度,提出的新的獎(jiǎng)賞標(biāo)準(zhǔn)能夠在未知通信協(xié)議的情況下以犧牲交互時(shí)間為代價(jià)學(xué)習(xí)到最佳干擾策略。

1 干擾模型

(a)不同干擾樣式下的干擾參數(shù)組合

(b)不同同相分量下的干擾參數(shù)組合圖1 不同干擾參數(shù)離散組合策略

尋找最佳干擾參數(shù)問題往往被建模成多臂老虎機(jī)(multi-armed bandit,MAB)問題[11]。以使用盡可能小的干擾功率實(shí)現(xiàn)期望符號錯(cuò)誤率(symbol error rate,SER)ζE為例,干擾信號與通信信號頻率對準(zhǔn)后,首先對干擾功率、信號調(diào)制樣式、干擾持續(xù)比等干擾參數(shù)進(jìn)行離散化處理,其次對各種可能的組合逐一嘗試便可確定最佳組合,即最佳干擾策略,圖1給出了不同干擾參數(shù)離散組合策略。圖1a中以干擾樣式、干擾功率、干擾持續(xù)比3種變量的組合構(gòu)造干擾策略,其中干擾樣式包括二進(jìn)制相移鍵控(binary phase shift keying,BPSK)、加性高斯白噪聲(additive white Gaussian noise,AWGN)、脈沖幅度調(diào)制(pulse amplitude modulation,PAM)、正交相移鍵控(quadrature phase shift keying,QPSK)等,干擾功率被劃分成N個(gè)不同的功率等級,干擾持續(xù)比ρ為干擾時(shí)間與通信時(shí)間的比值,同樣按設(shè)定值M對其進(jìn)行均勻劃分。圖1b從同相分量、干擾功率、干擾持續(xù)比的角度構(gòu)造不同的干擾策略。

直接估計(jì)干擾信號在接收端的等效功率是比較困難的,但可以由干擾方學(xué)習(xí)等效通信參數(shù)組合,并根據(jù)學(xué)習(xí)的通信參數(shù)組合來指導(dǎo)干擾參數(shù)組合的選擇。對于該等效通信參數(shù),有一個(gè)基本條件需要滿足:即等效通信參數(shù)的取值是恒定或唯一的,不會(huì)因干擾功率的變化而變化。

(1)

(2)

(3)

符號錯(cuò)誤率ζJ可以表示如下

(4)

(5)

(6)

2 雙層強(qiáng)化學(xué)習(xí)算法

2.1 雙層強(qiáng)化學(xué)習(xí)模型

雙層強(qiáng)化學(xué)習(xí)的核心思想是在傳統(tǒng)強(qiáng)化學(xué)習(xí)系統(tǒng)中增加一個(gè)學(xué)習(xí)模塊,即不僅對等效通信參數(shù)進(jìn)行學(xué)習(xí),同時(shí)還對干擾參數(shù)進(jìn)行學(xué)習(xí)。雙層強(qiáng)化學(xué)習(xí)模型如圖2所示,主要包括2個(gè)學(xué)習(xí)模塊和一個(gè)策略選擇模塊。相對于傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法,該模型不僅能夠根據(jù)強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)過程實(shí)現(xiàn)干擾參數(shù)模塊和等效通信參數(shù)模塊的雙層學(xué)習(xí),還能夠?qū)σ酝母蓴_經(jīng)驗(yàn)加以利用,加快學(xué)習(xí)模塊的收斂。

圖2 雙層強(qiáng)化學(xué)習(xí)模型

2.2 獎(jiǎng)賞標(biāo)準(zhǔn)

本文對通信信號施加干擾時(shí),以接收方獲取信息的SER作為獎(jiǎng)賞依據(jù),該信息可通過對環(huán)境的偵察獲得,例如美軍戰(zhàn)術(shù)互聯(lián)網(wǎng)以TCP/IP協(xié)議作為電臺間的通信協(xié)議,該協(xié)議要求接收方在順利接收數(shù)據(jù)包后發(fā)送確認(rèn)幀/非確認(rèn)幀(acknowledge/not acknowledge,ACK/NACK)信息,統(tǒng)計(jì)該信息后可用于計(jì)算包錯(cuò)誤率(packet error rate,PER)RPE,而RPE與ζE是等效的,可利用公式ζE=1-(1-RPE)1/H計(jì)算獲得,其中H表示校驗(yàn)幀比特?cái)?shù)。

在不具備有關(guān)通信信號相關(guān)先驗(yàn)信息時(shí),可通過分析通信信號的行為評估干擾效果,本節(jié)提出一種新的獎(jiǎng)賞標(biāo)準(zhǔn)——忍受時(shí)間。忍受時(shí)間定義為:通信方從受到干擾的時(shí)間為起始,到改變通信參數(shù)進(jìn)行通信的時(shí)間為終止。顯然,如果干擾參數(shù)性能優(yōu)異,必然在短暫時(shí)間內(nèi)迫使通信方改變通信參數(shù),而性能較劣的參數(shù)帶來的包錯(cuò)誤率相對較低,通信方能夠忍受更長時(shí)間的干擾。將忍受時(shí)間作為獎(jiǎng)賞標(biāo)準(zhǔn),忍受的時(shí)間越久,獎(jiǎng)賞值越低。此外,將其作為獎(jiǎng)賞標(biāo)準(zhǔn)的好處是,無論通信方增大信號功率還是改變信號調(diào)制樣式,其受干擾時(shí)忍受時(shí)間是確定的,該時(shí)間能夠衡量干擾參數(shù)性能的優(yōu)劣。

2.3 不同程度的先驗(yàn)信息

先驗(yàn)信息的加入有利于縮短學(xué)習(xí)過程所需的交互次數(shù),為算法走向?qū)嵱眯蕴峁┍ＷC。本文采用以下4種不同的先驗(yàn)信息:①精準(zhǔn)的先驗(yàn)信息,干擾方能夠在較低的干擾功率下達(dá)到期望的干擾效果,但該先驗(yàn)信息并非最優(yōu)干擾策略;②含糊的先驗(yàn)信息,該信息唯一能夠確定的是其滿足干擾需求;③多份先驗(yàn)信息,以往的諸多干擾經(jīng)驗(yàn)可作為多份先驗(yàn)信息;④錯(cuò)誤的或無先驗(yàn)信息,該信息屬于以往的成功干擾策略,但滿足不了當(dāng)前的干擾任務(wù),達(dá)不到預(yù)期的干擾效果,可將該情況同樣視為不存在先驗(yàn)信息。

2.4 采用雙層強(qiáng)化學(xué)習(xí)的干擾決策算法

(7)

(8)

(9)

步驟1 對干擾信號、等效通信參數(shù)進(jìn)行離散化處理,確定參數(shù)及變量的取值范圍,給定初始化階段以及主循環(huán)階段的干擾次數(shù)T1和T,明確先驗(yàn)信息。

步驟2 fort=1:T1執(zhí)行以下(1)～(2)步:

(1)從干擾參數(shù)組合中隨機(jī)選擇一組策略,構(gòu)造干擾信號并對通信信號施加干擾,如果存在先驗(yàn)信息,則直接對其加以利用;

(2)根據(jù)反饋信息對等效通信參數(shù)模塊內(nèi)的組合進(jìn)行剔除操作,刪除不合理組合。

步驟3 fort=T1+1:T執(zhí)行以下(1)～(3)步:

(1)根據(jù)等效通信參數(shù)模塊中的可能解,從干擾參數(shù)模塊中選擇合適的干擾參數(shù)組合;

(2)根據(jù)反饋信息對等效通信參數(shù)模塊內(nèi)的組合進(jìn)行剔除操作,刪除不合理組合;

(3)根據(jù)等效通信參數(shù)模塊中的可能解和反饋信息,對干擾參數(shù)模塊內(nèi)的組合進(jìn)行剔除操作,刪除不合理組合。

2.5 算法性能指標(biāo)

本文確定的干擾目標(biāo)是,如何在滿足期望ζE的情況下使得干擾功率盡可能低,且學(xué)習(xí)最優(yōu)干擾參數(shù)所需的交互次數(shù)盡可能少。為有效衡量DRLJD算法的性能,本文主要從算法學(xué)習(xí)到最優(yōu)(次優(yōu))干擾參數(shù)的概率、收斂所需干擾次數(shù)以及新的獎(jiǎng)賞標(biāo)準(zhǔn)的可行性3個(gè)方面進(jìn)行評估。

3 實(shí)驗(yàn)仿真

3.1 學(xué)習(xí)結(jié)果

圖3 先驗(yàn)信息及初始化交互次數(shù)對學(xué)習(xí)結(jié)果的影響

從圖3中可以看出,MAB算法至少需要600次交互,算法才能以概率1學(xué)習(xí)到最優(yōu)和次優(yōu)干擾策略。對比不同先驗(yàn)信息下的學(xué)習(xí)結(jié)果可以發(fā)現(xiàn),精準(zhǔn)的先驗(yàn)信息和多份先驗(yàn)信息擁有相似的學(xué)習(xí)結(jié)果,且概率較含糊的先驗(yàn)信息和錯(cuò)誤的先驗(yàn)信息要大,表明先驗(yàn)信息越精確,學(xué)習(xí)結(jié)果越優(yōu)異,同時(shí)也說明學(xué)習(xí)結(jié)果與先驗(yàn)信息的個(gè)數(shù)無關(guān),僅與其準(zhǔn)確程度息息相關(guān)。隨著初始化階段交互次數(shù)的增加,4類先驗(yàn)信息學(xué)習(xí)到最優(yōu)和次優(yōu)結(jié)果的概率趨于1。

3.2 收斂速度

DRLJD算法的收斂速度主要從主循環(huán)階段進(jìn)行分析,表1給出了不同程度的先驗(yàn)信息及初始化交互次數(shù)對算法收斂次數(shù)的影響,實(shí)驗(yàn)條件與3.1節(jié)相同,收斂結(jié)果的準(zhǔn)確性與圖3相對應(yīng)。

表1 先驗(yàn)信息及初始化交互次數(shù) 對本文算法收斂次數(shù)的影響

從表1中橫向比較可以看出,無論干擾方具備何種程度的先驗(yàn)信息,在相同的初始化交互次數(shù)時(shí),算法的收斂次數(shù)近乎是相等的。這是因?yàn)榻?jīng)過了初始化階段的預(yù)學(xué)習(xí),等效通信模塊和干擾模塊內(nèi)的可行解已經(jīng)被限定在固定的范圍內(nèi),所以在主循環(huán)階段,算法僅需要額外的幾次交互便收斂到固定解。從縱向比較來看,在初始化階段結(jié)束后,本文算法平均需要額外的3～6次交互便收斂到穩(wěn)定解,反映出算法的主循環(huán)階段學(xué)習(xí)能力不足,僅能夠剔除少量不合理解,尚不具備進(jìn)一步學(xué)習(xí)的能力。

結(jié)合圖3與表1中的學(xué)習(xí)結(jié)果,可以得出以下結(jié)論:DRLJD算法學(xué)習(xí)到最優(yōu)或次優(yōu)干擾策略時(shí)所需的交互次數(shù)遠(yuǎn)遠(yuǎn)小于MAB算法所需的次數(shù),若想要進(jìn)一步縮短交互次數(shù),便只能以犧牲學(xué)習(xí)結(jié)果的準(zhǔn)確性為代價(jià)換取交互次數(shù)的進(jìn)一步降低。在執(zhí)行干擾任務(wù)時(shí),干擾方需要具備對敵方通信信號進(jìn)行快速、準(zhǔn)確干擾的能力。由于通信方在受到一定時(shí)間的干擾后,會(huì)改變信號調(diào)制樣式等操作來對抗干擾行為,此時(shí)干擾方將面臨新的學(xué)習(xí)任務(wù),需要重新開始學(xué)習(xí),因此干擾方需要在盡可能短的時(shí)間內(nèi),實(shí)現(xiàn)對目標(biāo)信號的順利干擾,即使存在干擾性能更加優(yōu)異的策略,同迫在眉睫的干擾任務(wù)相比,可以適當(dāng)犧牲學(xué)習(xí)結(jié)果的準(zhǔn)確性。學(xué)習(xí)到次優(yōu)的干擾策略僅僅意味著使用的干擾功率值較大,主動(dòng)權(quán)在干擾方,屬于可控因素,但長時(shí)間的交互意味著需要通信狀態(tài)保持不變,主動(dòng)權(quán)在通信方,對干擾方而言屬于不可控因素。因此,從實(shí)際情況出發(fā),犧牲學(xué)習(xí)結(jié)果的準(zhǔn)確性換取交互次數(shù)的減少是值得的,有利于盡可能早的對通信信號進(jìn)行壓制以實(shí)現(xiàn)通信拒止。

3.3 新的獎(jiǎng)賞標(biāo)準(zhǔn)——忍受時(shí)間

本節(jié)實(shí)驗(yàn)條件同3.1節(jié)相一致,但僅對等效通信功率進(jìn)行學(xué)習(xí),并假定功率在I路和Q路上平均分配,獎(jiǎng)賞標(biāo)準(zhǔn)以忍受時(shí)間替代符號錯(cuò)誤率,持續(xù)干擾時(shí)間為100個(gè)數(shù)據(jù)包長度。等效通信信號功率取值范圍介于[100 W,300 W]。

圖4給出了離散化處理對算法學(xué)習(xí)性能的影響。由圖4a可見,當(dāng)離散值較小時(shí),如小于10,無法保證算法以概率1學(xué)習(xí)到最優(yōu)或次優(yōu)干擾策略,原因在于離散化處理過于粗糙,致使學(xué)習(xí)到的等效通信功率值不具有參考價(jià)值;圖4b給出了離散化處理對算法收斂次數(shù)的影響,可以看出,劃分越詳細(xì),所需要的收斂次數(shù)就越多,即學(xué)習(xí)時(shí)間越長;圖4c給出了離散化處理對交互次數(shù)的影響,可以看出,交互次數(shù)等于離散后等效通信功率的個(gè)數(shù)。根據(jù)實(shí)驗(yàn)結(jié)果可以得出:忍受時(shí)間能夠作為干擾策略學(xué)習(xí)過程中的獎(jiǎng)賞標(biāo)準(zhǔn),不足之處在于延長了算法的學(xué)習(xí)時(shí)間。

(a)概率

(b)收斂次數(shù)

(c)交互次數(shù)圖4 離散化處理對算法學(xué)習(xí)性能的影響

3.4 算法比較

為增加本文算法性能說服力,將本文所提DRLJD算法與MAB算法、Greedy算法作比較,并從算法收斂所需交互次數(shù)、干擾性能兩個(gè)方面對實(shí)驗(yàn)結(jié)果進(jìn)行評價(jià),圖5給出了不同算法的收斂曲線。

(a)DRLJD算法 (b)MAB算法

(c)Greedy(I)算法 (d)Greedy(II)算法圖5 不同算法的收斂曲線

從圖5中可以看出,DRLJD算法將初始化階段設(shè)置為200次交互,在主循環(huán)階段,經(jīng)過少量交互便收斂到ζR=0.382 5,接近任務(wù)期望值ζE=0.38。MAB算法需要將54 621種可能的干擾策略逐一嘗試,才能確定最佳干擾策略,為便于比較,在實(shí)驗(yàn)過程中該算法首先進(jìn)行300次交互,并從中選擇效果最好的動(dòng)作作為學(xué)習(xí)結(jié)果,在該條件下,算法收斂到ζR=0.391 2。Greedy(I)算法和Greedy(II)算法將待學(xué)習(xí)的干擾參數(shù)分別劃分成3個(gè)等級和7個(gè)等級,相應(yīng)得到27個(gè)和343個(gè)干擾動(dòng)作,需要逐一嘗試后才能挑選出最佳動(dòng)作,盡管劃分不同,但兩者均收斂至ζR=0.425 4,說明參數(shù)劃分分辨率依然太低。因此,在干擾任務(wù)中,DRLJD算法能夠?qū)W習(xí)到比MAB算法、Greedy算法更優(yōu)的干擾策略,且需要更少的交互次數(shù)。

4 結(jié) 語

本文提出了一種采用雙層強(qiáng)化學(xué)習(xí)的干擾決策算法,該算法在構(gòu)造的雙層強(qiáng)化學(xué)習(xí)模型基礎(chǔ)上,同時(shí)對等效通信參數(shù)和干擾參數(shù)進(jìn)行學(xué)習(xí),通過預(yù)測的方式選擇干擾策略,以降低學(xué)習(xí)效果為代價(jià)加快算法學(xué)習(xí)速度。提出的新的獎(jiǎng)賞標(biāo)準(zhǔn)盡管在學(xué)習(xí)能力方面弱于原有標(biāo)準(zhǔn),但因無需獲悉網(wǎng)絡(luò)協(xié)議使得算法適用領(lǐng)域更加廣泛。此外,算法具有很強(qiáng)的擴(kuò)展性,能夠?qū)σ阎闰?yàn)信息加以利用,進(jìn)一步縮短算法所需的交互次數(shù)。

[1] 張春磊, 楊小牛. 認(rèn)知電子戰(zhàn)與認(rèn)知電子戰(zhàn)系統(tǒng)研究 [J]. 中國電子科學(xué)研究院學(xué)報(bào), 2014, 9(6): 551-555. ZHANG Chunlei, YANG Xiaoniu. Research on the cognitive electronic warfare and cognitive electronic warfare system [J]. Journal of CAEIT, 2014, 9(6): 551-555.

[2] 賈鑫, 朱衛(wèi)綱, 曲衛(wèi), 等. 認(rèn)知電子戰(zhàn)概念及關(guān)鍵技術(shù) [J]. 裝備學(xué)院學(xué)報(bào), 2015, 26(4): 96-100. JIA Xin, ZHU Weigang, QU Wei, et al. Concept of cognitive electronic warfare and it’s key technology [J]. Journal of Equipment Academy, 2015, 26(4): 96-100.

[3] YANG D, XUE G, ZHANG J, et al. Coping with a smart jammer in wireless networks: a Stackelberg game approach [J]. IEEE Transactions on Wireless Communications, 2013, 12(8): 4038-4047.

[4] WANG Beibei, WU Yongle, LIU K J R. An anti-jamming stochastic game in cognitive radio networks [J]. IEEE Journal on Selected Areas in Communications, 2011, 29(4): 877-889.

[5] WU Yongle, WANG Beibei, LIU K J R, et al. Anti-jamming games in multi-channel cognitive radio networks [J]. IEEE Journal on Selected Areas in Communications, 2012, 30(1): 4-15.

[6] JIN H, SONG X Q, WANG M, et al. A fast anti-jamming decision method based on the rule reduced genetic algorithm [J]. KSII Transactions on Internet and Information Systems, 2016, 10(9): 4549-4567.

[7] WANG H, HUANG T, LIAO X, et al. Reinforcement learning in energy trading game among smart micro-grids [J]. IEEE Transactions on Industrial Electronics, 2016, 63(8): 5109-5119.

[8] XIA Wei, LI Huiyun, LI Baopu. A control strategy of autonomous vehicles based on deep reinforcement learning [C]∥Proceedings of 2016 9th International Symposium on Computational Intelligence and Design. Piscataway, NJ, USA: IEEE, 2016: 16637586.

[9] GWON Y L, DASTANGOO S, FOSSA C E, et al. Competing mobile network game: embracing antijamming and jamming strategies with reinforcement learning [C]∥2013 IEEE Conference on Communications and Networks Security. Piscataway, NJ, USA: IEEE, 2013: 28-36.

[10]SLIMENI F, SCHEERS B, NIR V L, et al. Learning multi channel power allocation against smart jammer in cognitive radio networks [C]∥2016 International Conference on Military Communications and Information Systems. Piscataway, NJ, USA: IEEE, 2016: 7496544.

[11]AMURU S, TEKIN C, SCHAAR M, et al. Jamming bandits: a novel learning method for optimal jamming [J]. IEEE Transactions on Wireless Communications, 2016, 15(4): 2792-2808.

[12]AMURU S, BUEHRER R M. Optimal jamming using delayed learning [C]∥Proceedings of 33rd Annual IEEE Military Communications Conference. Piscataway, NJ, USA: IEEE, 2014: 1528-1533.

[13]黃科舉, 楊俊安, 周繼航, 等. 基于多臂賭博機(jī)模型的IEEE 802.11 MAC協(xié)議認(rèn)知干擾技術(shù) [J]. 通信對抗, 2017, 36(2): 30-35. HUANG Keju, YANG Junan, ZHOU Jihang, et al. Cognitive jamming in IEEE 802.11 MAC based on multi-armed bandits [J]. Communication Countermeasures, 2017, 36(2): 30-35.

[14]CHU C Y, ITO S, HARADA T, et al. Position-based reinforcement learning biased MCTS for general video game playing [C]∥IEEE Conference on Computational Intelligence and Games. Piscataway, NJ, USA: IEEE, 2017: 7860449.

[本刊相關(guān)文獻(xiàn)鏈接]

李清偉,郭黎利.DS-CDMA系統(tǒng)多波形優(yōu)化的多址干擾抑制方法.2017,51(10):94-99.[doi:10.7652/xjtuxb201710 016]

劉立,張衡陽,毛玉泉,等.變換域通信系統(tǒng)抗干擾編碼幅度譜成型算法.2017,51(2):91-96.[doi:10.7652/xjtuxb201702 015]

徐張寶,馬大為,姚建勇,等.采用干擾估計(jì)的液壓系統(tǒng)自適應(yīng)魯棒控制.2016,50(8):123-129.[doi:10.7652/xjtuxb2016 08020]

趙凱,王闖,李尊朝,等.結(jié)合平衡和濾波技術(shù)抑制GaN電源轉(zhuǎn)換器的電磁干擾.2016,50(2):38-42.[doi:10.7652/xjtuxb201602007]

孫黎,徐洪斌.協(xié)作式終端直通系統(tǒng)中星座旋轉(zhuǎn)輔助的干擾避免策略.2015,49(12):6-11.[doi:10.7652/xjtuxb201512 002]

郭一鳴,彭華,張冬玲,等.聯(lián)合串行干擾抵消與因子圖的單通道混合信號盲分離算法.2015,49(10):130-135.[doi:10.7652/xjtuxb201510021]