無監(jiān)督領(lǐng)域自適應(yīng)調(diào)制識別方法

毛紅霞

(成都錦城學(xué)院計算機與軟件學(xué)院， 四川 成都 611731)

0 引言

自動調(diào)制識別技術(shù)能夠識別出特定通信信號的調(diào)制方式，在民用與軍用領(lǐng)域有著較大的應(yīng)用前景。目前主流的調(diào)制識別方法有兩種：基于傳統(tǒng)特征量的方法和基于深度學(xué)習(xí)的方法[1]。其中，基于傳統(tǒng)特征量的方法通常首先提取接收信號的特征量，再通過一定的分類器進行分類。這些特征量主要包含瞬時特征統(tǒng)計量[2]、高階統(tǒng)計量[3]、循環(huán)累積量、相關(guān)譜特征[4]等。該類方法中，所采用的分類器包含基礎(chǔ)的門限分類器、決策樹(decision tree)、支撐向量機(support vector machine)等機器學(xué)習(xí)通用分類器[5-6]。這些方法中，人為定義的特征往往受到不同信噪比、不同信道模型、不同參數(shù)估計精度(如載頻、符號速率等)等因素的較大影響，因此其識別率在實際的應(yīng)用中受到較大的影響?；谏疃葘W(xué)習(xí)的調(diào)制識別方法中，文獻[7]通過設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)(convolutional nerual network, CNN)對11種調(diào)制數(shù)據(jù)進行分類，綜合識別率達到了84%；文獻[8]利用了開源的數(shù)據(jù)，利用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)進行了調(diào)制識別；文獻[9]綜合研究了不同的深度神經(jīng)網(wǎng)絡(luò)對調(diào)制識別正確率的影響，這些網(wǎng)絡(luò)結(jié)構(gòu)除了CNN、RNN，還包含殘差網(wǎng)絡(luò)(ResNet)[10]、inception網(wǎng)絡(luò)、卷積長短時網(wǎng)絡(luò)(convolutional long-short deep neural network, CLDNN)等，發(fā)現(xiàn)了采用CLDNN網(wǎng)絡(luò)在網(wǎng)絡(luò)復(fù)雜度和訓(xùn)練時間有所提升的情況下，其識別率最佳；文獻[11]研究了基于分離通道聯(lián)合卷積網(wǎng)絡(luò)的調(diào)制識別方法，并且證明了其相比于CNN網(wǎng)絡(luò)和傳統(tǒng)特征提取方法識別率有較明顯的提高；文獻[12]研究了基于VGG-19網(wǎng)絡(luò)的調(diào)制識別方法，其利用試解調(diào)后的星座圖作為輸入，實現(xiàn)了對不同階數(shù)的QAM信號的識別。

現(xiàn)有的方法在實際情況中，遇到變化的信道環(huán)境或變化的參數(shù)估計精度，可使調(diào)制識別的識別率下降。針對上述問題，本文提出無監(jiān)督領(lǐng)域自適應(yīng)(domain adaptation, DA)的調(diào)制識別方法。

1 信號模型與網(wǎng)絡(luò)模型基礎(chǔ)

1.1 調(diào)制識別信號模型

典型的已調(diào)信號(已經(jīng)變換到基帶)的離散信號模型可以表示為：

(1)

式(1)中，r(n)表示第三方接收的離散信號，fbias表示下變頻時由于載頻估計不準帶來的頻率偏移，T表示信號的碼元周期，N表示符號序列的長度，h(n)表示信道的沖擊響應(yīng)函數(shù)，ε表示符號采樣時間的偏移，w(n)表示加性高斯白噪聲。接收信號的隨機性主要體現(xiàn)在如下幾個方面：

1) 由于載頻估計的不準確帶來的頻偏；

2) 由于符號采樣點的不準確帶來的偏差；

3) 由于信道的變化帶來的隨機性；

4) 由于加性白噪聲帶來的隨機性。

因此，本文在通過仿真產(chǎn)生數(shù)據(jù)集時，充分考慮了上面幾種因素帶來的不準確性，產(chǎn)生了不同信噪比下的不同調(diào)制識別方式的數(shù)據(jù)，并且為了驗證遷移學(xué)習(xí)的有效性，產(chǎn)生了不同頻偏和不同信道模型的數(shù)據(jù)，產(chǎn)生信號模型結(jié)構(gòu)如圖1所示。

圖1 調(diào)制識別信號樣本產(chǎn)生模型Fig.1 The model of the simulated signal for modulation recognition

1.2 調(diào)制識別經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于篇幅有限，此處僅對調(diào)制識別中經(jīng)典的CNN網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)進行介紹。CNN網(wǎng)絡(luò)中最重要的是卷積網(wǎng)絡(luò)層，具有權(quán)值共享的特性，大大降低了神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，并且使網(wǎng)絡(luò)可以并行運算。文獻[13]中利用CNN網(wǎng)絡(luò)對基帶的調(diào)制信號進行識別，其結(jié)構(gòu)如圖2所示，包含2層卷積層，2層全連接層。

圖2 調(diào)制識別經(jīng)典CNN網(wǎng)絡(luò)模型Fig.2 The classical CNN model for modulation recognition

ResNet網(wǎng)絡(luò)的提出可以緩解由于CNN網(wǎng)絡(luò)深度增加帶來梯度爆炸或消失等問題，通過引入額外的網(wǎng)絡(luò)通路，使得神經(jīng)網(wǎng)絡(luò)更容易被訓(xùn)練，同時也具有深層網(wǎng)絡(luò)的豐富的表示特性[14-15]。文獻[9]提出了利用ResNet網(wǎng)絡(luò)進行調(diào)制識別的方法，其結(jié)構(gòu)可以表示為圖3。

圖3 調(diào)制識別經(jīng)典ResNet網(wǎng)絡(luò)模型Fig.3 The classical ResNet model for modulation recognition

2 無監(jiān)督領(lǐng)域自適應(yīng)調(diào)制識別方法

本文提出的無監(jiān)督領(lǐng)域自適應(yīng)方法中，對源域與目標(biāo)域分別進行了定義，如圖4所示。源域表示已知調(diào)制方式(標(biāo)簽)的訓(xùn)練數(shù)據(jù)，它們在相同的信道模型中得到；目標(biāo)域表示在不同的未知信道下獲得的樣本數(shù)據(jù)，并且無法得知樣本數(shù)據(jù)的調(diào)制方式(即標(biāo)簽)。本文提出的方法能夠充分利用源域中帶標(biāo)簽的數(shù)據(jù)和目標(biāo)域中不帶標(biāo)簽的數(shù)據(jù)進行訓(xùn)練，使得神經(jīng)網(wǎng)絡(luò)對樣本的來源(源域或目標(biāo)域)不敏感，從而達到領(lǐng)域自適應(yīng)的目的。

圖4 目標(biāo)域與源域在本文調(diào)制識別背景下的定義Fig.4 The definition of source and target domain for modulation recognition

領(lǐng)域自適應(yīng)的遷移學(xué)習(xí)調(diào)制識別方法的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。為了能夠進行遷移學(xué)習(xí)，對傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行了改進，改進后的網(wǎng)絡(luò)呈現(xiàn)三個子網(wǎng)絡(luò)：特征提取子網(wǎng)絡(luò)、調(diào)制種類預(yù)測網(wǎng)絡(luò)和域分類網(wǎng)絡(luò)。其中特征提取子網(wǎng)絡(luò)的主要功能是提取調(diào)制信號中的特征。這些特征既能夠?qū)Σ煌恼{(diào)制方式敏感，從而能夠有效地進行調(diào)制方式的識別；同時也能夠?qū)Σ煌挠蜉斎氩幻舾?，使得網(wǎng)絡(luò)無法區(qū)分調(diào)制信號是否自適應(yīng)于相同的信道或相同的頻偏，也就是說使得提取的特征在不同域上的分布盡量相同，從而達到領(lǐng)域自適應(yīng)的目的。調(diào)制種類預(yù)測網(wǎng)絡(luò)一般為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)最后的全連接層和Softmax層，可以利用前面層級提取出的特征進行分類，生成樣本屬于不同種類的概率。在實際應(yīng)用中，特征提取子網(wǎng)絡(luò)與調(diào)制種類預(yù)測網(wǎng)絡(luò)可以組成傳統(tǒng)的調(diào)制識別神經(jīng)網(wǎng)絡(luò)，因此在后續(xù)的實際應(yīng)用中，可以直接利用已有的調(diào)制識別網(wǎng)絡(luò)構(gòu)成特征提取子網(wǎng)絡(luò)和調(diào)制種類預(yù)測網(wǎng)絡(luò)。對于域分類網(wǎng)絡(luò)，其主要目的是能夠?qū)颖緛碜杂谠从蚧蚰繕?biāo)域進行判別，并且產(chǎn)生反向的梯度，使得特征識別網(wǎng)絡(luò)無法區(qū)分源域或目標(biāo)域。

圖5 本文領(lǐng)域自適應(yīng)的調(diào)制識別網(wǎng)絡(luò)節(jié)結(jié)構(gòu)Fig.5 The domain adaptation based network for modulation recognition

圖5中，特征提取子網(wǎng)絡(luò)用Hf(·)表示，其參數(shù)用θf表示；調(diào)制種類預(yù)測子網(wǎng)絡(luò)用Hy(·)表示，其參數(shù)用θy表示，其預(yù)測分類與真實類別帶來的代價函數(shù)用Ly()表示；域分類子網(wǎng)絡(luò)用Hd(·)表示，其參數(shù)用θd表示；域分類的代價函數(shù)用Ld()表示。該網(wǎng)絡(luò)整體的訓(xùn)練代價函數(shù)可以表示為：

(2)

式(2)中的求和符號表示對所有訓(xùn)練樣本求和,xi表示輸入的信號樣本。在訓(xùn)練的過程中，按照Lall最小化的目標(biāo)進行優(yōu)化，也就是使得調(diào)制種類預(yù)測的損失函數(shù)最小(從而達到更好的識別效果)，并且使域分類損失函數(shù)最大(從而使網(wǎng)絡(luò)無法區(qū)分源域或目標(biāo)域)，達到領(lǐng)域自適應(yīng)的目的。參數(shù)η表示對兩種損失函數(shù)的加權(quán)系數(shù)，作為一個超參數(shù)將在后續(xù)的實驗部分進行研究。根據(jù)整體的損失函數(shù)，在訓(xùn)練時，可以對不同的子網(wǎng)絡(luò)參數(shù)進行更新：

(3)

式(3)中，參數(shù)λ表示參數(shù)更新的速率。在應(yīng)用中，為了不改變常見的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型中的梯度下降算法，根據(jù)損失函數(shù)，對域分類子網(wǎng)絡(luò)進行改進，重新設(shè)計了反向梯度層，該層嵌入到原始的域分類網(wǎng)絡(luò)與特征提取子網(wǎng)絡(luò)之間，反向梯度層Greverse(·)可以表示為：

其特點是，在正向傳播時，完全對輸入進行復(fù)制，在反向進行梯度計算時，將原始的梯度乘以負的參數(shù)-η，從而達到最大化域分類損失的目的。

3 仿真實驗及分析

3.1 數(shù)據(jù)集產(chǎn)生

本文利用開源的軟件無線電軟件GUN Radio進行數(shù)據(jù)集產(chǎn)生。由于該軟件完全開源，能夠以模塊的方式實現(xiàn)通信系統(tǒng)中的組件，這些組件的核心信號處理功能通過C語言實現(xiàn)，具有速度快的優(yōu)點，并且組件可以通過Python語言進行調(diào)用，具有易用的優(yōu)點，因此本文選擇GUN Radio軟件產(chǎn)生仿真的數(shù)據(jù)集。在利用GUN Radio軟件產(chǎn)生數(shù)據(jù)的過程中，參考了文獻[16]所用的方法。如1.1節(jié)所示，考慮了由于載頻估計的不準確帶來的頻偏，由于符號采樣點的不準確帶來的偏差，由于信道的變化帶來的隨機性，由于加性白噪聲帶來的隨機性。產(chǎn)生的數(shù)據(jù)集包含了0～20 dB，以5 dB為間隔，5種不同的信噪比。調(diào)制方式包含模擬調(diào)制方式和數(shù)字調(diào)制方式，分別為AM、FM、GFSK、BPSK、QPSK、8PSK、OQPSK、8QAM、16QAM，9種常見的不同調(diào)制方式。圖6顯示了9種不同調(diào)制方式下20 dB的基帶IQ路時域采樣信號。如圖6所示，單個信號樣本中，包含IQ兩路分別128個時域采樣點。該數(shù)據(jù)集中，源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的不同主要體現(xiàn)在兩個方面，如表1所示：第一方面，源域的數(shù)據(jù)無頻偏，目標(biāo)域的數(shù)據(jù)存在由下變頻帶來的剩余頻偏；另一方面，目標(biāo)域相比于源域，多加入了瑞利信道后產(chǎn)生的樣本。在本文的實驗中，利用上述兩個方面的目標(biāo)域和源域進行兩次獨立訓(xùn)練，從而探討本文遷移學(xué)習(xí)的優(yōu)點。

在實際訓(xùn)練過程中，選取256個樣本數(shù)據(jù)為一個批次(batch)，該批次中，包含源域的帶標(biāo)簽的樣本128個與目標(biāo)域的不帶標(biāo)簽的樣本128個，進行訓(xùn)練。

圖6 20 dB下不同調(diào)制方式的IQ路時域信號Fig.6 The IQ signal samples under 20 dB

表1 源域與目標(biāo)域

3.2 超參數(shù)設(shè)置

在訓(xùn)練過程中，根據(jù)文獻[17—18]中的描述對超參數(shù)η進行設(shè)置：

(4)

式(4)中，ηp的取值范圍在0到1之間，ε為待確定的超參數(shù)，p表示訓(xùn)練過程中的識別率。用該方式設(shè)置超參數(shù)η的優(yōu)點是；在前期識別率較低，η趨近于0，使得訓(xùn)練網(wǎng)絡(luò)趨向于單純的調(diào)制識別網(wǎng)絡(luò)，而不考慮遷移的問題；當(dāng)p增加時，η也隨之而增加，表示訓(xùn)練隨著特征提取與調(diào)制種類識別子網(wǎng)絡(luò)的收斂，應(yīng)當(dāng)更多地考慮遷移學(xué)習(xí)的代價。其中ε表征了網(wǎng)絡(luò)在訓(xùn)練過程中僅考慮識別率和域分類正確性(具有更強的域遷移能力)的轉(zhuǎn)換速度。按照不同的參數(shù)ε，對本文方法中的神經(jīng)網(wǎng)絡(luò)進行了訓(xùn)練，其網(wǎng)絡(luò)收斂時間和網(wǎng)絡(luò)的識別率隨著參數(shù)ε的變化如圖7所示。圖7中，左邊的縱坐標(biāo)表示識別率，右邊的縱坐標(biāo)表示訓(xùn)練時間?？梢钥闯?，隨著參數(shù)ε的變化，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間在ε=15的時候達到最小值，識別率在ε=20時達到最大值。本文中，選取ε=20作為超參數(shù)ε的取值。

圖7 訓(xùn)練所需時間與識別率隨超參數(shù)ε變化曲線(CNN網(wǎng)絡(luò)得到)Fig.7 The curves of the training times and the recognition rate due to different ε(with CNN network)

3.3 方法對比

為了充分說明本文提出方法的有效性，在實驗中按照傳統(tǒng)的CNN網(wǎng)絡(luò)和ResNet網(wǎng)絡(luò)進行了改造，按照上文所述方法加入了域分類子網(wǎng)絡(luò)的內(nèi)容，并且利用帶標(biāo)簽的源域樣本和不帶標(biāo)簽的目標(biāo)域樣本進行訓(xùn)練。在改造后的網(wǎng)絡(luò)基礎(chǔ)上，分別對無遷移學(xué)習(xí)方法、有監(jiān)督方法，以及文獻中提出的基于精調(diào)遷移學(xué)習(xí)的調(diào)制識別方法[19]進行了對比。實驗中用到的測試集都相同，包含了源域和目標(biāo)域的樣本。實驗中對比的四種方法所用的訓(xùn)練集不同，其特點如表2所示。其中本文方法，利用帶調(diào)制種類標(biāo)簽的源域樣本和無調(diào)制種類標(biāo)簽的目標(biāo)域樣本進行訓(xùn)練；無遷移學(xué)習(xí)方法表示了僅利用帶調(diào)制種類標(biāo)簽的源域樣本進行訓(xùn)練；有監(jiān)督方法中訓(xùn)練樣本既包含了帶標(biāo)簽的源域數(shù)據(jù)也包含了帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)；參數(shù)精調(diào)遷移學(xué)習(xí)方法[19]表示首先利用帶標(biāo)簽的源域數(shù)據(jù)進行訓(xùn)練，再利用少部分帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)進行參數(shù)精調(diào)。表3為以CNN為基礎(chǔ)網(wǎng)絡(luò)的方法和以ResNet網(wǎng)絡(luò)為基礎(chǔ)的方法對比。

表2 不同方法訓(xùn)練集特點

表3 不同方法正確識別率

從表3可以看出， ResNet整體來說相比于CNN網(wǎng)絡(luò)存在更高的識別率，與前人的結(jié)論一致。在CNN為基礎(chǔ)的方法中，本文方法相比于無遷移學(xué)習(xí)方法和參數(shù)精調(diào)遷移學(xué)習(xí)方法，識別率分別提高了約41%和7%，說明本文提出的無監(jiān)督遷移學(xué)習(xí)(此處指源域數(shù)據(jù)無標(biāo)簽)方法能夠充分利用無標(biāo)簽?zāi)繕?biāo)域數(shù)據(jù)自身的分布特性，對神經(jīng)網(wǎng)絡(luò)進行調(diào)整，從而使特征提取子網(wǎng)絡(luò)能夠適應(yīng)不同分布的源域和目標(biāo)域樣本的輸入。而基于參數(shù)精調(diào)的方法由于僅僅依賴少許帶標(biāo)簽的目標(biāo)域的數(shù)據(jù)，無法充分利用所有的目標(biāo)域數(shù)據(jù)，因此其識別率低于本文方法。本文方法相比于有監(jiān)督的方法識別率僅低3%，說明本文方法幾乎達到了識別率的上限(即同時利用帶標(biāo)簽的源域和目標(biāo)域進行訓(xùn)練)。在實際應(yīng)用中，通常僅能夠大量獲取無標(biāo)簽的目標(biāo)域數(shù)據(jù)，因此本文方法相比于有監(jiān)督的方法，具有更強的實用性。在以ResNet為基礎(chǔ)的方法對比中，本文方法相比于無遷移學(xué)習(xí)的方法和參數(shù)精調(diào)遷移學(xué)習(xí)方法，識別率分別提高了約43%和9%，相比于有監(jiān)督的方法識別率僅低2%，能夠得到類似上述的結(jié)論。

4 結(jié)論

本文提出了無監(jiān)督領(lǐng)域自適應(yīng)的調(diào)制識別方法，該方法在傳統(tǒng)識別網(wǎng)絡(luò)中加入域分類子網(wǎng)絡(luò)，在訓(xùn)練的代價項中加入域分類代價，使得網(wǎng)絡(luò)能夠同時適應(yīng)目標(biāo)域和源域。通過開源的GUN Radio軟件產(chǎn)生的仿真數(shù)據(jù)集驗證，證明了該方法相比于無遷移學(xué)習(xí)和基于參數(shù)精調(diào)的方法，在CNN為基礎(chǔ)網(wǎng)絡(luò)的條件下識別率分別提高了41%和7%，在ResNet為基礎(chǔ)網(wǎng)絡(luò)的條件下識別率分別提高了43%和9%；并且，該方法接近于同時利用目標(biāo)域和源域數(shù)據(jù)進行訓(xùn)練后的調(diào)制識別率的上限，在CNN和ResNet為基礎(chǔ)網(wǎng)絡(luò)的條件下，僅分別下降了3%和2%。下一步將對更高階的MQAM信號進行調(diào)制識別，研究頻偏等因素對高階信號識別率的影響。