基于機(jī)器學(xué)習(xí)的認(rèn)知無線網(wǎng)絡(luò)優(yōu)化策略

農(nóng)漢琦，孫蘊(yùn)琪，黃 潔，楊澤宇，吳雪雯，楊 科，歐陽鍵

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

認(rèn)知無線網(wǎng)絡(luò)，就是在無線網(wǎng)絡(luò)的基礎(chǔ)上，加上了“認(rèn)知”的功能，通信系統(tǒng)可以利用這種學(xué)習(xí)和認(rèn)知能力，伺機(jī)尋找和使用空閑頻譜資源，提高頻譜資源的使用效率，緩解頻譜資源帶來的通信壓力。

無線通信的發(fā)展帶來了數(shù)據(jù)傳輸速率的逐步提升，與此同時，帶寬的需求也在成倍增長。以移動通信為例，傳輸速率從最早的不足10 kbps提高到即將迎來的第五代移動通信技術(shù)，可以提供10 Gbps的數(shù)據(jù)傳輸速率，可達(dá)到如今4G通信的十倍到百倍[1]。然而，即便調(diào)制編碼技術(shù)在不斷更新和改進(jìn)，頻譜資源緊張問題仍然存在。由于國內(nèi)的頻譜資源統(tǒng)一授權(quán)使用，某一個通信系統(tǒng)獨(dú)立使用一個頻段，這種方法雖然有效地避免了系統(tǒng)間的干擾，但仍然會出現(xiàn)通信冗余的情況，即頻譜上會出現(xiàn)未被利用的冗余頻譜資源，稱為“頻譜空穴”(即暫未被授權(quán)用戶使用的頻譜資源)[2]。因此，如何更有效地利用頻譜資源成為了行業(yè)關(guān)注的焦點(diǎn)。為了解決上述問題，認(rèn)知無線網(wǎng)絡(luò)應(yīng)運(yùn)而生。

認(rèn)知無線網(wǎng)絡(luò)除了具有感知能力和自適應(yīng)能力，更具有機(jī)器學(xué)習(xí)的能力。其應(yīng)用遍及人工智能的各個領(lǐng)域[3]。如今認(rèn)知無線網(wǎng)絡(luò)在軍事和民用領(lǐng)域都得到了應(yīng)用。例如在軍事方面[4]，由于戰(zhàn)場形式瞬息萬變，固定分配帶寬容易貽誤戰(zhàn)機(jī)，借助CR能夠?qū)崿F(xiàn)快速地分配頻譜資源，避免了系統(tǒng)內(nèi)部或友軍間的電磁干擾；在民用領(lǐng)域，也具有巨大的發(fā)展?jié)摿颓熬啊?017年6月初，工信部確定了5G部署的初始頻段：3 300 MHz～3 600 MHz和4 800 MHz～5 000 MHz，共500 MHz帶寬[1]，而有限的頻譜資源必定會使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統(tǒng)中，采用認(rèn)知無線網(wǎng)絡(luò)對頻譜資源的管理將是有效緩解頻譜資源供需矛盾的重要手段。

而機(jī)器學(xué)習(xí)的應(yīng)用范圍廣泛,文獻(xiàn)[5]提出了一種基于遺傳算法的定位服務(wù)時延估計(jì)方案，可降低非直達(dá)徑環(huán)境帶來的不利影響，以提高定位服務(wù)響應(yīng)速度以及定位精度。在大數(shù)據(jù)等新技術(shù)產(chǎn)業(yè)和無線通信興起的大背景下，數(shù)以億計(jì)的接入點(diǎn)產(chǎn)生的大量數(shù)據(jù)信息給網(wǎng)絡(luò)空間帶來了巨大困難，機(jī)器學(xué)習(xí)算法為安全領(lǐng)域提供了一系列有效的分析決策工具，而在近年來迅速發(fā)展的智慧城市更是通過機(jī)器學(xué)習(xí)算法解決城市中諸多難題。除此之外，機(jī)器學(xué)習(xí)算法的蓬勃發(fā)展也使認(rèn)知無線電的智能化成為了現(xiàn)實(shí)[6]。

1 認(rèn)知無線網(wǎng)絡(luò)的國內(nèi)外研究現(xiàn)狀

目前，認(rèn)知無線網(wǎng)絡(luò)在國內(nèi)外的通信領(lǐng)域都得到了廣泛的應(yīng)用，但主要的研究還是集中在地面無線通信系統(tǒng)中。認(rèn)知無線網(wǎng)絡(luò)的核心技術(shù)有頻譜檢測以及認(rèn)知路由技術(shù)。國內(nèi)外的學(xué)者提出了許多頻譜檢測的可行方案，例如能量檢測、匹配濾波檢測等，這些技術(shù)大多都用在了地面通信系統(tǒng)當(dāng)中。

文獻(xiàn)[7]確定了構(gòu)成醫(yī)療保健無線通信的條件，提出了一種應(yīng)用于醫(yī)院場合的CR系統(tǒng)，從而避免電子醫(yī)療設(shè)備產(chǎn)生的電磁干擾，保證用戶的無線通信質(zhì)量。文獻(xiàn)[8]表明了應(yīng)用于公共安全網(wǎng)的認(rèn)知無線網(wǎng)絡(luò)能夠很好地解決在城市公共安全網(wǎng)頻段擁擠，不同應(yīng)急部門設(shè)備不兼容等問題，為公共安全網(wǎng)提供了可靠的網(wǎng)絡(luò)服務(wù)。如今隨著5G技術(shù)的發(fā)展與日漸成熟，也可見認(rèn)知無線網(wǎng)絡(luò)的重要性。在2017年6月初，工信部確定了5G部署的初始頻段共500 MHz帶寬[1]，而有限的頻譜資源使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統(tǒng)中，采用了認(rèn)知無線網(wǎng)絡(luò)來進(jìn)行頻譜管理，提升了頻譜的利用率，有效緩解了頻譜資源緊張的壓力。除了在民用領(lǐng)域，同樣在軍事領(lǐng)域，認(rèn)知無線網(wǎng)絡(luò)的應(yīng)用也帶來了較大的影響。文獻(xiàn)[9]研究指出，在軍事方面，由于戰(zhàn)場形式瞬息萬變，固定分配帶寬容易貽誤戰(zhàn)機(jī)，借助CR能夠?qū)崿F(xiàn)快速地分配頻譜資源，避免了系統(tǒng)內(nèi)部或友軍間的電磁干擾。

認(rèn)知無線網(wǎng)絡(luò)在地面通信的應(yīng)用成果較為豐富，而對于衛(wèi)星通信而言，仍屬于起步階段。衛(wèi)星通信是典型的資源受限網(wǎng)絡(luò)，并且目前其智能化程度較低。認(rèn)知無線網(wǎng)絡(luò)的應(yīng)用，在提高其智能化程度的同時，還可以解決其突增的業(yè)務(wù)量與有限的頻譜資源的矛盾，從而提高其頻譜利用率。文獻(xiàn)[10]提出了一種基于非正交多址接入技術(shù)的衛(wèi)星地面綜合網(wǎng)絡(luò)聯(lián)合優(yōu)化設(shè)計(jì)方法，從而最大化系統(tǒng)的和速率。文獻(xiàn)[11-12]研究了一種基于軟件定義體系結(jié)構(gòu)的認(rèn)知衛(wèi)星地面網(wǎng)的安全通信以及功率傳輸問題，其中網(wǎng)關(guān)作為控制中心為無線系統(tǒng)提供資源分配。文獻(xiàn)[13]研究了5G蜂窩系統(tǒng)與衛(wèi)星網(wǎng)絡(luò)共存于毫米波頻段下的波束形成問題的魯棒性和安全性。文獻(xiàn)[14]研究了與蜂窩網(wǎng)絡(luò)共享下行頻譜資源的衛(wèi)星網(wǎng)絡(luò)的物理層安全問題。

認(rèn)知無線網(wǎng)絡(luò)具有廣闊的應(yīng)用前景，無論是在地面無線通信網(wǎng)絡(luò)中，亦或是衛(wèi)星無線通信領(lǐng)域。它可以應(yīng)用于智能電網(wǎng)，寬帶蜂窩網(wǎng)，空閑的廣播電視頻段都能為這些新興的業(yè)務(wù)提供頻段。由于認(rèn)知無線網(wǎng)絡(luò)在衛(wèi)星通信中的應(yīng)用研究的起步比較晚，還具有很大的發(fā)展空間。衛(wèi)星通信是軍事通信的重要手段，在一些發(fā)達(dá)國家，百分之八十的軍事信息傳遞交互通過衛(wèi)星通信來完成?；诂F(xiàn)有衛(wèi)星通信對環(huán)境掌控能力缺乏,智能化程度普及相對低的特點(diǎn)，認(rèn)知無線網(wǎng)絡(luò)的應(yīng)用為未來的衛(wèi)星通信發(fā)展勢必會起到很好的鋪墊作用。

2 認(rèn)知無線網(wǎng)絡(luò)中的機(jī)器學(xué)習(xí)算法

首先，具體來說，認(rèn)知無線網(wǎng)絡(luò)利用人工智能技術(shù)，使通信系統(tǒng)具有一定的學(xué)習(xí)能力，在不影響授權(quán)頻段正常通信的基礎(chǔ)上，通過有目的地實(shí)時改變某些操作參數(shù)使其內(nèi)部狀態(tài)適應(yīng)接收到的無線信號的統(tǒng)計(jì)變化，從而接入到授權(quán)的頻段內(nèi)，動態(tài)地利用其頻譜。動態(tài)頻譜接入是指次級用戶(secondary user)動態(tài)的搜索“頻譜空穴”(spectrum holes)進(jìn)行通信。這些次級用戶也具有認(rèn)知功能，因此，次級用戶要在不對經(jīng)授權(quán)使用頻譜的主用戶(primary user)造成干擾的情況下，利用其認(rèn)知能力，對當(dāng)前空閑的頻譜進(jìn)行感知，再“伺機(jī)”接入頻譜。與此同時，還必須保證主用戶仍具有最高的優(yōu)先級使用其授權(quán)頻譜。由此，當(dāng)前頻譜低下的效率得到了極大的改善，而在這一過程中，機(jī)器學(xué)習(xí)起著關(guān)鍵的作用。

強(qiáng)化學(xué)習(xí)算法、遺傳算法以及隱馬爾科夫模型在認(rèn)知無線網(wǎng)絡(luò)中得到了很大的應(yīng)用，它們的應(yīng)用分別使得認(rèn)知無線網(wǎng)絡(luò)更好地完成了頻譜資源分配、提高頻譜的管理效率以及頻譜預(yù)測的工作。

在前人的工作中，文獻(xiàn)[15]指出認(rèn)知無線網(wǎng)絡(luò)通過加入了學(xué)習(xí)引擎及知識庫等完成認(rèn)知的功能，學(xué)習(xí)引擎可以通過對其經(jīng)驗(yàn)學(xué)習(xí)進(jìn)行知識庫積累，存入到知識庫中的知識，可以在需要的時候不斷使用。由于機(jī)器學(xué)習(xí)算法應(yīng)用廣泛，它們也被用作于認(rèn)知無線網(wǎng)絡(luò)的學(xué)習(xí)引擎。由于傳統(tǒng)的能量檢測方法在陰影等情況下得到的結(jié)果并不可靠，因此文獻(xiàn)[16]提出了一種基于機(jī)器學(xué)習(xí)的模塊化頻譜感知系統(tǒng)，利用非線性門限來解決單節(jié)點(diǎn)單天線的頻譜感知問題。由于次級用戶的到達(dá)和離開使得信道存在著動態(tài)特性，不同于穩(wěn)定的信道，因此，為了更好地適應(yīng)信道變化這一特點(diǎn)來進(jìn)行頻譜的分配，文獻(xiàn)[17]提出了一種基于強(qiáng)化學(xué)習(xí)自動化式的信道和功率分配算法，在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上通過次用戶業(yè)務(wù)的到達(dá)與離開來學(xué)習(xí)最佳策略。目前,強(qiáng)化學(xué)習(xí)在國際上是十分活躍的研究領(lǐng)域，強(qiáng)化學(xué)習(xí)的應(yīng)用使得即使在復(fù)雜的控制系統(tǒng)中，學(xué)習(xí)控制仍為一種強(qiáng)有力的控制手段[18]，可以幫助認(rèn)知無線電實(shí)現(xiàn)性能優(yōu)化。文獻(xiàn)[19]提到強(qiáng)化學(xué)習(xí)的主要特點(diǎn)是能夠準(zhǔn)確、快速學(xué)習(xí)到最優(yōu)策略，模擬真實(shí)環(huán)境，自適應(yīng)性強(qiáng)，提高頻譜感知以及分配效率，從而最大化系統(tǒng)吞吐量，這些優(yōu)勢充分證明了強(qiáng)化學(xué)習(xí)將是認(rèn)知領(lǐng)域里一種很有前景的技術(shù)。由于要提高頻譜的利用率，次級用戶需要通過“機(jī)會方式”接入頻譜，并且保證不對主用戶造成干擾，所以，空閑頻譜感知問題成為關(guān)鍵。由此，文獻(xiàn)[20]開發(fā)了一個基于部分感知馬爾可夫決策過程的機(jī)會式頻譜接入分析架構(gòu)，它可以很容易消除頻譜感知錯誤并降低與主用戶沖突的可能性。當(dāng)檢測到空閑頻譜，如何高效公平地分配頻譜資源變得至關(guān)重要。文獻(xiàn)[21]以在遺傳過程中的控制干擾為目標(biāo)，提出認(rèn)知無線網(wǎng)絡(luò)頻譜分配算法，設(shè)計(jì)出染色體中的基因表達(dá)規(guī)則。依據(jù)基因表達(dá)規(guī)則標(biāo)記顯性基因與隱性基因,在下一代染色體中表達(dá)顯性基因,抑制隱性基因,從而保證染色體的健康,提高算法效率。文獻(xiàn)[22]指出遺傳算法是模擬自然選擇和遺傳學(xué)機(jī)理的計(jì)算模型，借鑒了自然界的優(yōu)勝劣汰的進(jìn)化規(guī)律，產(chǎn)生的最優(yōu)解像自然中更適應(yīng)環(huán)境的后代種群一樣，它的特點(diǎn)在于能夠自適應(yīng)地調(diào)整搜索的方向，具有很強(qiáng)的全局優(yōu)化能力，可以作為解決最優(yōu)化的搜索啟發(fā)式算法。

無線認(rèn)知網(wǎng)絡(luò)的研究工作主要集中在：頻譜的感知、共享、決策、遷移。頻譜感知是所有工作的基礎(chǔ)。當(dāng)前的頻譜感知方法有：能量檢測、匹配濾波器檢測，以及多分辨率頻譜感知，但在一些特定的情況下，因?yàn)槭菃喂?jié)點(diǎn)檢測方法，結(jié)果并不可靠。另外，在信道分配上，傳統(tǒng)的無線網(wǎng)絡(luò)分配及功率效率低。加入了機(jī)器學(xué)習(xí)算法的認(rèn)知無線網(wǎng)絡(luò)在實(shí)現(xiàn)了高效率的頻譜管理的同時，完成了動態(tài)的頻譜以及功率分配，減少了有限頻譜的資源浪費(fèi)。

通過對國內(nèi)外涉及認(rèn)知無線網(wǎng)絡(luò)文獻(xiàn)的學(xué)習(xí)、標(biāo)引，文中梳理了認(rèn)知無線網(wǎng)絡(luò)中機(jī)器學(xué)習(xí)的應(yīng)用。下面對一些主要的學(xué)習(xí)算法進(jìn)行介紹：Q學(xué)習(xí)算法、遺傳算法和隱馬爾可夫模型。

2.1 Q學(xué)習(xí)算法

Q學(xué)習(xí)適用于解決動態(tài)環(huán)境中的決策問題，通過學(xué)習(xí)的強(qiáng)化訓(xùn)練尋找到達(dá)目標(biāo)的最優(yōu)動作。

在基本的Q學(xué)習(xí)算法中，環(huán)境由有限狀態(tài)的離散時間隨機(jī)系統(tǒng)組成。設(shè)全部的狀態(tài)為S={s1,s2,…,sn}，可能的行動為A={a1,a2,…,am}。進(jìn)入環(huán)境之后，Agent處于某一狀態(tài)s∈S，并在此狀態(tài)下的可選動作中按某種策略(如貪心策略)選擇一個動作a∈A執(zhí)行。進(jìn)入下一狀態(tài)后，Agent將得到一個反饋信號r(s,a)，可視為在狀態(tài)s下執(zhí)行動作a的即時獎勵值，用來更新Q(s,a)、策略π。定義Q(s,a)為：Agent在狀態(tài)s下執(zhí)行動作a的總體收益，包括即時獎勵和預(yù)期未來收益。Agent按照以上步驟不斷地學(xué)習(xí)探索，直到滿足一定的收斂條件，就停止更新Q(s,a)，結(jié)束學(xué)習(xí)。在做決策時，只需要跟蹤在當(dāng)前狀態(tài)s下，到達(dá)目標(biāo)狀態(tài)過程中執(zhí)行每個操作的Q值，來指導(dǎo)Agent移動。Q值已經(jīng)包含了未來收益，故無需再考慮狀態(tài)s的后續(xù)狀態(tài)?？傊?，Q學(xué)習(xí)的核心是采取能最大限度地提高總體收益的行動a，并不斷更新Q值組成的Q矩陣形成最優(yōu)決策。Q(s,a)值定義如下:

Q(s,a)=(1-α)Q(s,a)+α[r+γQ(s',a')]

(1)

其中，r為當(dāng)前狀態(tài)s下執(zhí)行a動作的即時獎勵值;γ(0<γ<1)為折扣因子，決定未來獎勵對當(dāng)前Q值的影響;α為學(xué)習(xí)率；Q(s')為s的下一狀態(tài)下的最大Q值。

在Agent選擇動作時，會遇到“探索-利用”困境：“利用”是指選擇Q值最大的動作以盡快增加收益，而“探索”是指隨機(jī)選擇一個動作探索其總體收益。文中采用ε-貪心策略，達(dá)到平衡“探索”和“利用”的目的。設(shè)學(xué)習(xí)起步階段的探索概率為ε，則以1-ε的概率選擇Q值最大的動作，以ε的概率隨機(jī)選擇其余動作中的一個動作，探索非最優(yōu)動作帶來的收益。ε-貪心策略在初始學(xué)習(xí)時，主動探索非最優(yōu)動作，能一定程度地避免“局部最優(yōu)”。隨著不斷的學(xué)習(xí)探索，Agent對環(huán)境的認(rèn)知逐漸清晰準(zhǔn)確，可以逐步減少不必要的探索，即減小ε值，以提高學(xué)習(xí)效率，從而加快Q值收斂。

使用Q學(xué)習(xí)算法管理CR的頻譜：認(rèn)知無線網(wǎng)絡(luò)的特點(diǎn)在于實(shí)時變化：隨時有用戶到達(dá)和離開環(huán)境，業(yè)務(wù)處于動態(tài)變化中。系統(tǒng)需要自適應(yīng)地調(diào)整傳輸參數(shù)(包括發(fā)送功率、傳輸信道等)，以適應(yīng)環(huán)境中的通信條件和要求。新到達(dá)的用戶稱為次級用戶，其功率發(fā)射由基站控制，與基站的通信頻段選用無需授權(quán)的公共頻段，例如ISM頻段。Q學(xué)習(xí)算法適用于此類動態(tài)變化的環(huán)境，能幫助系統(tǒng)實(shí)現(xiàn)信道和功率的實(shí)時自適應(yīng)分配問題。

文中提出的Q學(xué)習(xí)算法實(shí)現(xiàn)動態(tài)頻譜接入的處理步驟如下：

Q函數(shù)的主要參數(shù)：學(xué)習(xí)者所處的狀態(tài)集合S，可選動作的集合A，動作的即時獎勵值r，以及動作選擇策略π:S→A。

(1)狀態(tài)：假設(shè)信道不隨時間變化，環(huán)境中的業(yè)務(wù)是動態(tài)變化的，用戶是時間離散的。新用戶到達(dá)會增加業(yè)務(wù)，觸發(fā)Agent選擇信道或分配功率，而用戶業(yè)務(wù)的離去不會產(chǎn)生新業(yè)務(wù)，即不觸發(fā)動作選擇。因此，狀態(tài)s由下式給出：

s=(新用戶的序號，當(dāng)前接入的用戶序號，基站接收的各信道功率總和)

(2)

(2)動作：當(dāng)新用戶到達(dá)時，基站需執(zhí)行兩個操作：分配合適的信道；分配適合的功率。這兩個動作由下式給定：

A=(P1,P2,…,PM)

(3)

其中，M是總信道數(shù)，Pm∈{p1,p2,…,pM}，m=1,2,…,M。由于新用戶接入時最多只需占用一個信道，因此向量A至多有一個非零元素。

(3)回報r：Agent的決策取決于學(xué)習(xí)過程中回報的累積值，即總體收益?；貓蟮亩x方式很多，此算法認(rèn)為動作所實(shí)現(xiàn)的總體吞吐量越高，相應(yīng)的回報值越高，故定義回報值為當(dāng)前業(yè)務(wù)用戶的服務(wù)速率之和，可通過下式計(jì)算：

r(s,a)=

(4)

其中，f(n),pn分別表示用戶n所占用的信道以及發(fā)射功率。若用戶j不發(fā)送信號，則pj為零。φ(n,j)由下式?jīng)Q定：

(5)

從式(5)可以看出，該算法考慮了新來用戶的發(fā)射功率對正在進(jìn)行業(yè)務(wù)的用戶的干擾。

每當(dāng)新來一個用戶，Agent(認(rèn)知基站)就會發(fā)起一輪迭代(如圖1所示)，過程如下：

圖1 Q學(xué)習(xí)算法流程

(1)初始化：初始化折扣因子γ、學(xué)習(xí)率α以及探索概率ε，Q矩陣為全零。

(2)構(gòu)建狀態(tài)空間：新用戶到達(dá)后，基站需確認(rèn)新用戶的序號和當(dāng)前接入的用戶序號以及基站接收的各信道功率之和。新用戶序號由新用戶發(fā)給基站；其他信息可由基站自身獲取。構(gòu)建的狀態(tài)空間如式(2)所示。

(3)生成Q值：系統(tǒng)計(jì)算當(dāng)前狀態(tài)下所有動作對應(yīng)的Q值，并存入Q矩陣：Qi(s)=(Q(s,a1),Q(s,a2),···,Q(s,am))，此即完成了一次Q值更新。更新須保存，以待下一輪迭代中繼續(xù)更新Q值。

(4)選擇和執(zhí)行動作：基站選擇動作時采用ε-貪心策略，然后基站通過公共控制信道告知用戶所選動作對應(yīng)的信道選擇和功率分配策略。用戶根據(jù)基站的要求，發(fā)射指定的功率。

(5)計(jì)算回報值：基站根據(jù)式(4)計(jì)算執(zhí)行動作后的即時回報并存儲其數(shù)值。

(6)更新相關(guān)參數(shù)：每輪迭代結(jié)束后，需要更新α,ε以加快Q值收斂。這里設(shè)定α,ε按負(fù)指數(shù)減小。算法收斂的標(biāo)志為α,ε減為零或者迭代次數(shù)達(dá)到了預(yù)設(shè)的門限值。

2.2 遺傳算法

遺傳算法是一種模擬自然選擇過程的搜索算法，通常用于解決優(yōu)化和搜索問題。遺傳算法流程如圖2所示。

圖2 遺傳算法流程

算法從一組初始解開始，定義適應(yīng)度函數(shù)來評估初始解，根據(jù)某種選擇規(guī)則選擇某些解進(jìn)行交叉、變異產(chǎn)生新解。若未得到最優(yōu)解就返回到第一步，將新生成的解作為新的初始解，一直循環(huán)迭代，直到獲得最優(yōu)解。使用不同的適應(yīng)度函數(shù)所得到的結(jié)果會有差別。

使用遺傳算法進(jìn)行CR的頻譜管理：基于傳感器信息或次級用戶輸入的信息，系統(tǒng)可預(yù)定義次級用戶的服務(wù)質(zhì)量(quality of service，QoS)需求，選擇次級用戶參數(shù)，包括調(diào)制方案、帶寬、數(shù)據(jù)速率、功率利用率等。通過學(xué)習(xí)和優(yōu)化這些參數(shù)，次級用戶可以在不干擾主用戶的前提下訪問主用戶的頻譜空穴，從而提高頻譜利用率。文中以頻率、功率、帶寬和調(diào)制方案四個參數(shù)為例進(jìn)行頻譜管理。每個參數(shù)稱為一個“基因”，四個參數(shù)的組合形成了“染色體”。

遺傳算法解決頻譜管理問題的步驟如下：

(1)基因組合。

(a)頻率基因：假設(shè)系統(tǒng)帶寬為800 MHz，頻帶范圍為50 MHz～850 MHz，信道帶寬為8 MHz，，即步長為8 MHz，共100個頻率基因，如表1所示。

表1 頻率基因

(b)功率基因：假設(shè)功率值范圍從-95 dBm到-46 dBm，步長為1 dBm，共50個功率基因，如表2所示。

表2 功率基因

(c)誤碼率基因：假設(shè)誤碼率(Bit Error Rate，BER)的變化范圍為10-1～10-8，步長為10-1,共8個誤碼率基因，如表3所示。

表3 誤碼率基因

(d)調(diào)制基因：文中只考慮針對特定頻譜管理應(yīng)用的四種調(diào)制方式，如表4所示。

表4 調(diào)制基因

(2)染色體。

四個基因結(jié)合形成一個染色體，或稱種群中的單一個體。染色體的結(jié)構(gòu)如表5所示。

表5 染色體結(jié)構(gòu)特征

初始化：隨機(jī)生成一個初始種群，包含50個初始個體，如表6所示。

表6 初始染色體結(jié)構(gòu)

(3)個體適應(yīng)度評估。

用加權(quán)和方法來計(jì)算種群中每個個體的適應(yīng)度值，從而評估個體適應(yīng)度。為了簡單起見，假設(shè)染色體上的每種基因的權(quán)重相同。設(shè)參數(shù)x1、x2、x3、x4分別為頻率基因、功率基因、誤碼率基因和調(diào)制基因。每個參數(shù)的適應(yīng)度函數(shù)fi由式(6)給出。

(6)

染色體的適應(yīng)度函數(shù)通過式(7)給出。

(7)

適應(yīng)度越低，遺傳算法的優(yōu)勢越明顯。若某個染色體的適應(yīng)度值滿足次級用戶的QoS要求，則將其作為可行解，若不滿足，則從初始群體中選擇適應(yīng)度值較低的染色體，利用變異、交叉[23]等遺傳算子生成下一個群體。重復(fù)進(jìn)行這個過程，直到種群滿足某個特定條件(例如種群數(shù)量最大化或優(yōu)于當(dāng)前最佳方案)為止。當(dāng)終止條件滿足時，選擇適應(yīng)度值最高的個體，該個體包含了頻譜利用的最優(yōu)參數(shù)。

2.3 隱馬爾可夫模型

隱馬爾可夫模型(hidden Markov model，HMM)是一種有向圖模型，用于探究一個隱含有未知參數(shù)的馬爾可夫過程，描述一個馬爾可夫過程和背后隱藏狀態(tài)的關(guān)系[24]。模型如圖3所示。

圖3 隱馬爾可夫模型

在該模型中，系統(tǒng)被假定為未觀察(隱)狀態(tài)的馬爾可夫過程。模型有兩個變量序列，隱藏狀態(tài)序列S=[S1,S2,…,Sn]和觀察到的變量序列O=[O1,O2,…,On]。對于每個狀態(tài)，初始的概率πi可被定義為：

πi=P(Si=si)

(8)

其中Si是隱藏狀態(tài)集中的任意值。

模型的目標(biāo)是給定一個觀測序列O，獲取可能的最佳狀態(tài)序列S，即最大化P(S|O)。

S*=argmaxs(P(S|O))

(9)

因此一個完全隱馬爾可夫模型可以表示為：

λ=(A,B,π)

(10)

其中，A是狀態(tài)轉(zhuǎn)移概率，即模型在各個狀態(tài)間轉(zhuǎn)換的概率；B是觀察狀態(tài)轉(zhuǎn)移概率，即模型根據(jù)當(dāng)前狀態(tài)獲得各個觀測值的概率；π是初始狀態(tài)概率，即模型在初始時刻各個狀態(tài)出現(xiàn)的概率。

基于HMM的頻率信道預(yù)分配：

為了高效地利用頻譜，很多CR系統(tǒng)使用了靜默周期(靜默周期是指為了精確地感知頻譜，CR網(wǎng)絡(luò)停止所有的信道傳輸?shù)臓顟B(tài))，但即便如此，干擾仍可能產(chǎn)生。為了減少干擾，CR系統(tǒng)采用了頻率期望算法，但會降低CR系統(tǒng)吞吐量，因此對于每個期望周期，采用基于HMM的頻率信道預(yù)分配策略，從而既可以減少干擾時間，也能提高系統(tǒng)吞吐量[25]。

HMM頻率信道預(yù)分配步驟如下：

通道狀態(tài)(忙或閑)是觀察到的狀態(tài)，可以表示為O=[0,1]，其中0表示通道空閑，1表示通道忙碌，而隱藏狀態(tài)為分配給通道的一組頻率，表示為S=[F1,F2,…,FM]。

假設(shè)一個觀察序列[10101001…11]對應(yīng)的隱藏狀態(tài)序列為[S1,S2,…,Si,…,SN]，其中Si∈S。

所以,對于給定的觀測序列(O),轉(zhuǎn)移概率(A),發(fā)射概率(B)和初始概率(π)，基于信道狀態(tài)或觀測序列(O)可以得到最佳可能狀態(tài)序列或分配頻率S*，如式(11)所示，其中使用了馬爾可夫假設(shè)，即隱藏狀態(tài)只依賴于前一個狀態(tài)，與時間無關(guān)。

P(S|O)=P(S1|O)P(S2|S1,O)…

P(SN|SN-1,O)

(11)

利用貝葉斯定理計(jì)算方程(8)中的條件概率：

(12)

其中，P(O)可以忽略，因?yàn)樗cS無關(guān)，且被視為常數(shù)。根據(jù)方程(9)，可以用馬爾可夫假設(shè)計(jì)算P(S)和P(O|S)，并假設(shè)當(dāng)前觀測狀態(tài)只取決于當(dāng)前隱藏狀態(tài)。即：

P(S)=P(S1)P(S1|S2)…P(SN|SN-1)

(13)

P(O|S)=P(O1|S1)P(O2|S2)…P(OM|SM)

(14)

根據(jù)式(12)、式(13)和式(14)，可以得到最終的輸出值S*，從而分配頻率設(shè)置對應(yīng)觀察組的通道狀態(tài)。

3 結(jié)束語

認(rèn)知無線網(wǎng)絡(luò)的核心思想是人工智能技術(shù)，而機(jī)器學(xué)習(xí)是人工智能技術(shù)的核心，是動態(tài)管理頻譜資源的關(guān)鍵。Q學(xué)習(xí)利用認(rèn)知無線網(wǎng)絡(luò)的動態(tài)特性實(shí)現(xiàn)了信道和功率分配的自主性；遺傳算法通過模擬自然選擇過程，在生成解中搜索最優(yōu)解，高效地管理頻譜資源；隱馬爾可夫模型能通過訓(xùn)練數(shù)據(jù)解決認(rèn)知無線網(wǎng)絡(luò)中頻率信道的預(yù)測和預(yù)分配問題。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展和完善，認(rèn)知無線網(wǎng)絡(luò)將更好地利用頻譜資源，在通信、數(shù)據(jù)交互等領(lǐng)域有更加廣泛的應(yīng)用。