基于元學習的小樣本調制識別算法

龐伊瓊，許 華，蔣 磊，史蘊豪

(空軍工程大學信息與導航學院，西安，710077)

近年來，以深度學習方法為基礎的新一代通信信號調制識別技術成為了國內外的研究熱點。2016年O’Shea[1]等人利用卷積神經(jīng)網(wǎng)絡(convolution neural network，CNN)提取信號特征，證明了用深度CNN直接學習密集編碼的時序信號是可行的，2018年又進一步提出了基于VGG-Net和ResNet的信號識別模型[2]。文獻[3]通過ResNet50和Incepction V2網(wǎng)絡提取信號星座密度矩陣特征，在樣本量達到2 000以上時對低信噪比信號實現(xiàn)準確識別。文獻[4]提出一種基于長短時記憶網(wǎng)絡(long short term memory, LSTM)的去噪自編碼器，通過最小化重構損失與分類損失的和來擬合網(wǎng)絡，在RadioML數(shù)據(jù)集上取得了良好的效果。以上基于深度學習的調制識別方法實現(xiàn)了更高的識別準確率，但深度學習方法的成功都需要數(shù)千個以上的訓練樣本。然而實際應用中受各類條件制約，有時只能獲取幾個信號樣本，因此針對極少量樣本條件下調制識別方法的研究工作已逐漸被越來越多的人關注。

目前針對基于深度學習的調制識別方法所需訓練樣本量較大的問題，采用的解決方案有半監(jiān)督學習和數(shù)據(jù)增強。半監(jiān)督學習[5]將大量無標簽信號樣本引入到網(wǎng)絡的訓練過程中，有效降低了網(wǎng)絡對有標簽信號樣本的需求。數(shù)據(jù)增強[6]利用已有數(shù)據(jù)生成新數(shù)據(jù)從而擴充訓練樣本集[7]。雖然以上兩種方法在很大程度上降低了深度學習技術所需的訓練樣本量，但仍需至少幾百個信號樣本才能保證算法識別性能，對僅有幾個帶標簽信號樣本的調制識別問題，以上兩種方法均難以解決，本文的“小樣本”特指標簽樣本量僅為個位數(shù)的極端小樣本條件。元學習[8]為此提供了新的解決思路，其通過提高網(wǎng)絡模型對新任務的適應性來解決小樣本問題。元學習模型在訓練階段學習大量不同任務以積累相關經(jīng)驗，從而測試時在僅有幾個帶標簽樣本時，也能很快地適應對新任務的學習。元學習方法包括學習度量和學習初始化，其中學習度量的目標是得到一個合適的度量空間，通過比較樣本特征間的距離完成分類[9-11]；學習初始化[12]通過學習相關任務以獲取更優(yōu)的網(wǎng)絡初始化參數(shù)，面對新任務只需少量樣本微調網(wǎng)絡就可以達到與一般深度學習模型在大量訓練數(shù)據(jù)下相當?shù)男阅堋?/p>

針對待測信號僅有幾個帶標簽樣本的小樣本調制識別問題，本文采用學習度量的算法框架，提出了一種基于元學習的小樣本調制識別模型，該模型通過基于任務的策略訓練網(wǎng)絡學習一種合適的映射關系，以實現(xiàn)信號樣本在特征度量空間高效對比，在面對新類信號的識別任務時，在少量樣本條件下也能實現(xiàn)快速準確識別，從而解決訓練樣本量嚴重不足的小樣本問題。

1 識別模型

如圖1所示，調制信號識別模型分為特征提取和類原型度量兩個模塊。本文主要針對包含5種調制類別的測試識別任務，因此每次訓練迭代都會首先從訓練集中隨機采樣調制信號訓練任務，由特征提取模塊將該任務元查詢集內的待測調制信號樣本與元支持集內的少量帶標簽調制信號樣本映射至同一度量空間，通過類原型度量模塊計算各類調制信號的類原型，并比較待測信號樣本與各類原型間的距離，從而完成信號分類，根據(jù)分類結果計算識別損失來更新網(wǎng)絡參數(shù)。

圖1 識別模型原理框架

1.1 算法訓練策略

不同于以數(shù)據(jù)為基本單元的學習方法，元學習的訓練集和測試集都是以任務為基本單元的，且訓練任務和測試任務都由支持集和查詢集組成，其識別的信號類別完全不同。在訓練階段，元學習模型通過學習大量不同的訓練任務獲取一種跨任務的信號識別能力，當測試階段面對包含全新類別調制信號的識別任務時，即使只有少量帶標簽樣本也能實現(xiàn)準確識別。一般的，若任務的支持集中包含C個類別，且每個類別擁有K個樣本，則該任務稱為C-wayK-shot任務。

本文訓練集Dbase內包含N類調制信號，且每類信號都有大量帶標簽信號樣本，通過隨機采樣Dbase內的信號樣本構造多個不同的訓練任務。訓練過程中的每次迭代首先從Dbase中隨機選取C類信號，然后從每類信號的樣本集Dk中隨機抽取K個樣本組成支持集DS；從Dk的剩余樣本中隨機抽取NQ個樣本組成查詢集DQ，DS和DQ組成一個訓練任務。通過學習大量不同的訓練任務，網(wǎng)絡模型具備了跨任務的信號識別能力，即在測試階段面對新的測試任務Ttest={DS,DQ}，僅需DS內的少量帶標簽信號樣本，就能識別出DQ內待測信號的調制樣式，其中DS與DQ內信號樣本標簽空間相同且與Dbase的樣本標簽空間不相交。為區(qū)別于測試任務中的支持集DS和查詢集DQ，文中將訓練任務的支持集稱為元支持集DTS，查詢集稱為元查詢集DTQ。

訓練過程中通過不斷迭代來最小化損失從而優(yōu)化網(wǎng)絡參數(shù)，本文中每個Epoch包含100個訓練任務。

每個訓練任務的損失為：

(7)

式中：Lφ(·|·,·)表示損失函數(shù)；x為信號樣本；y為樣本標簽；φ為特征提取網(wǎng)絡參數(shù)。

1.2 特征提取模塊

如圖1所示，特征提取模塊將DTS與DTQ內的調制信號樣本通過特征提取網(wǎng)絡映射到同一特征度量空間。針對CNN所具備的空間特征提取能力和LSTM所具備的時序特征提取能力，設計了一種由CNN和2層LSTM并聯(lián)組成的混合并行神經(jīng)網(wǎng)絡HPN作為本文算法的特征提取網(wǎng)絡。將數(shù)據(jù)集內的信號樣本的同向分量I(t)和正交分量Q(t)作為網(wǎng)絡輸入，由并行的2個支路分別提取信號的空間特征和時序特征，如圖2所示，相較于單一網(wǎng)絡所提特征，HPN所提信號樣本特征更具代表性。

圖2 混合并行網(wǎng)絡結構

每個卷積層依次包含一個(3×1)卷積、批歸一化層(batch normalization，Batch Norm)、修正線性單元(rectified linear，ReLU)、(2×1)最大池化層(maxpool)，卷積核個數(shù)依次設置為16、32、64、128，將通過4個卷積塊提取到的特征向量通過Flatten層展平。LSTM網(wǎng)絡設置為2層，隱藏單元的個數(shù)設置為128。網(wǎng)絡最后設置Concatenate層用于將2個并行網(wǎng)絡所提特征拼接起來作為最終的特征向量。

1.3 類原型度量模塊

如圖1所示，針對一個包含5種調制信號的識別任務，本文算法通過比較元支持集DTS內帶標簽信號樣本與元查詢集DTQ內待測信號樣本的距離的方式實現(xiàn)分類。通過特征提取模塊將DTS內信號樣本和DTQ內待測信號樣本x映射至度量空間后，由類原型度量模塊將DTS內每類信號樣本特征向量的均值作為類原型，分別得到5種調制信號的類原型“c1～c5”，則第n類信號的類原型cn可表示為：

(1)

式中：fφ表示特征提取網(wǎng)絡；φ表示網(wǎng)絡參數(shù)；xnk表示DTS中第n類信號的第k個樣本；K表示DTS內每類信號的樣本量。

(2)

訓練過程中為使擬合好的網(wǎng)絡針對測試任務能綜合考慮信號樣本類內距離與類間距離，使得樣本在度量空間內的表示更易于分類，本文引入了一種新的聯(lián)合損失函數(shù)。該損失函數(shù)定義樣本損失為同類損失Lt與異類損失Lf的線性組合，

(3)

(4)

則模型的聯(lián)合損失為L為：

L=Lt+λLf

(5)

式中：λ為比例系數(shù)。

2 實驗仿真

2.1 數(shù)據(jù)集與仿真設置

仿真數(shù)據(jù)集選用RadioML2018.01A公開調制信號集，包含24類調制信號，每個信號樣本數(shù)據(jù)格式為[1 024，2]，即為序列長度L=1 024的I、Q兩路數(shù)據(jù)，每類信號信噪比從-20 dB到30 dB，分布間隔為2 dB。本文算法模型可識別訓練時從未出現(xiàn)的新類信號，為驗證算法性能，本文從數(shù)據(jù)集中隨機選取14類信號用于訓練網(wǎng)絡，即N=14，其余10類信號用于測試網(wǎng)絡性能，具體調制樣式如下：

訓練集的信號調制樣式為：32PSK、32QAM、GMSK、OQPSK、BPSK、AM-SSB-SC、16PSK、128QAM、AM-DSB-SC、64QAM、256QAM、OOK、16APSK、FM；測試集的信號調制樣式為：32APSK、8ASK、8PSK、4ASK、64APSK、128APSK、AM-SSB-WC、QPSK、AM-DSB-WC、16QAM

本文基于python下的pytorch神經(jīng)網(wǎng)絡架構搭建網(wǎng)絡模型，實驗在Windows 7系統(tǒng)、32 GB內存、配備NVDIA P4000顯卡的服務器上進行。

模型選用Adam優(yōu)化器訓練網(wǎng)絡參數(shù)，初始學習率設置為0.001，共設置200個Epoch完成參數(shù)訓練。由于不同的識別任務識別精度可能不同，因此在測試階段，從測試集中隨機采用1 000組不同的測試任務，通過所有測試任務識別準確率的平均值來表征算法的識別性能。

2.2 算法性能分析

2.2.1 樣本量對識別性能的影響

本節(jié)針對本文算法在小樣本條件下的識別性能進行實驗分析，首先針對5種(5-way)調制信號的識別任務，對比任務支持集內每類信號樣本量(K值)分別為1，5，10，20時的識別性能，實驗設置特征提取網(wǎng)絡為HPN網(wǎng)在“5-way 5-shot”和“5-way 1-shot”測試任務下3種算法的識別準確率隨信噪比的變化情況見圖3，訓練損失函數(shù)的比例系數(shù)設置為0，每個識別任務中每類信號選取15個樣本組成查詢集。當信噪比為20 dB，測試任務支持集內每類信號樣本只有1個時，識別準確率就可達到82.23%，這充分證明了本文算法在小樣本條件下的可行性。隨著樣本量的增加，測試任務的識別準確率進一步提高，當每類信號帶標簽樣本量為5、10、20時，測試識別準確率比20 dB時分別提高了5.11%、6.5%、7.94%。當樣本量大于5后，增加樣本量對識別準確率的提升效果趨緩。

圖3 不同樣本量下算法的識別性能

2.2.2 不同小樣本識別模型對比分析

為驗證本文算法相對于其它調制識別算法的性能優(yōu)勢，本節(jié)選取幾類方法與本文算法進行對比實驗，包括模型無關元學習(model-agnostic meta-learning, MAML)[13]、關系網(wǎng)絡(relation network，RN)[14]、遷移學習[15]，為保證對比實驗的公平性，所有方法都采用表2所列數(shù)據(jù)集。在“5-way 5-shot”和“5-way 1-shot”測試任務下幾種算法的識別準確率隨信噪比的變化情況如圖4所示。

(a)5-way 5-shot

從圖中可以看出，本文算法具有最高的識別準確率，其中采用遷移學習的識別準確率最低，主要是由于目標域信號樣本每類只有幾個，樣本量過少導致網(wǎng)絡模型在測試出現(xiàn)嚴重的過擬合問題，網(wǎng)絡模型對測試信號樣本的泛化性不足，導致識別準確率顯著下降。這進一步證明，遷移學習方法無法解決只有幾個帶標簽信號樣本的調制識別問題。

MAML與RN也屬于元學習方法，針對“5-way 5-shot”和“5-way 1-shot”測試任務，在信噪比為20 dB時本文算法相較于MAML分別提高了21.94%和26.26%，相較于RN方法分別提高了10.18%和13.44%，在相同樣本量條件下，本文算法具有更高的測試識別準確率。MAML方法面對新的小樣本任務需要對網(wǎng)絡參數(shù)進行微調，由于樣本量較小，針對參數(shù)量較大的網(wǎng)絡識別準確率較低，微調后的網(wǎng)絡性能依然不夠理想；RN方法屬于學習度量的元學習方法，但該方法通過神經(jīng)網(wǎng)絡確定樣本間的距離，這增加了網(wǎng)絡訓練的參數(shù)量，在相同樣本量條件下，與本文算法相比RN方法識別性能較差。

2.2.3 損失函數(shù)比例系數(shù)對識別性能的影響

本節(jié)分別針對“5-way 5-shot”和“5-way 1-shot”識別任務在不同λ值下的識別性能進行實驗分析，當shot=1時識別任務元查詢集/查詢集每類信號樣本數(shù)設置為NQ=10，當shot=5時設置NQ=15，所有實驗中特征提取網(wǎng)絡均采用CPN網(wǎng)絡。圖5和圖6分別為“5-way 5-shot”和“5-way 1-shot”識別任務測試中,在信號信噪比為20 dB時平均識別率隨λ值的變化情況。

如圖5和圖6所示，λ=0.15時的平均算法測試識別準確率均優(yōu)于其它λ值下的平均識別率，由此可知，本文引入的聯(lián)合損失函數(shù)在合適的比例系數(shù)下可明顯提高網(wǎng)絡的測試識別準確率。

圖5 “5-way 5-shot”識別任務在不同λ值下的識別性能

圖6 “5-way 1-shot”識別任務在不同λ值下的識別性能

本節(jié)設置λ=0時的網(wǎng)絡模型為baseline。圖7為λ=0和λ=0.15時不同識別任務下測試識別準確率隨信噪比的變化情況，可以看出λ=0.15時網(wǎng)絡模型具有明顯的優(yōu)勢，在“5-way 1-shot”和“5-way 5-shot”識別任務下，平均識別準確率最高分別達到82.53%和88.45%，與λ=0時相比，分別提高了1.42%和1.03%。當λ=0.15時，采用聯(lián)合損失函數(shù)可在測試集上實現(xiàn)更高的識別準確率。

(a)5-way 5-shot

2.2.4 特征提取網(wǎng)絡對識別性能的影響

基于上一節(jié)實驗結果，本文接下來所有實驗均設置λ值為0.15。本節(jié)通過對比采用不同特征提取網(wǎng)絡時本文算法的測試結果，驗證所設計的HPN特征提取網(wǎng)絡的性能優(yōu)勢。將CNN[1]、Resnet18[16]和Resnet34[16]分別作為模型的特征提取網(wǎng)絡，與本文HPN特征提取網(wǎng)絡進行對比實驗。5種不同特征提取網(wǎng)絡的模型在“5-way 5-shot”和“5-way 1-shot”識別任務中的測試識別準確率見圖8。表1給出了針對“5-way 5-shot”任務不同特征提取網(wǎng)絡下模型的網(wǎng)絡參數(shù)量和訓練200個Epoch所需時間。

(a)5-way 5-shot

表3 網(wǎng)絡參數(shù)量和訓練時間

如圖所示，當信噪比大于4 dB時，本文的HPN特征提取網(wǎng)絡相比其它特征提取網(wǎng)絡具有更高的識別準確率。當信噪比為20 dB時，相較于CNN、Resnet18以及Resnet34，HPN特征提取網(wǎng)絡下的模型在“5-way 5-shot”測試任務中的識別準確率分別提高了7.6%、3.92%、6.29%，在“5-way 1-shot”測試任務中的識別準確率分別提高了7.25%、2.91%、4.8%。本文HPN網(wǎng)絡通過卷積網(wǎng)絡與LSTM網(wǎng)絡同時提取信號的空間特性與時序特征，由表1可知，雖然采用HPN會在一定程度上增加網(wǎng)絡參數(shù)量以及算法的訓練時間，但比僅采用CNN作為特征提取網(wǎng)絡實現(xiàn)了更高的識別準確率識別性能。相比Resnet18和Resnet34特征提取網(wǎng)絡，HPN的訓練參數(shù)量更少、所需訓練時間更短，但測試識別效果更好，同時從圖8中可以看出，雖然Resnet34的網(wǎng)絡層數(shù)多于Resnet18，但識別準確率反而下降，這表明網(wǎng)絡過于復雜化并不適合小樣本條件下的識別任務，易出現(xiàn)過擬合的現(xiàn)象。

3 結語

本文針對帶標簽信號樣本只有幾個的調制識別問題，提出了一種基于元學習的小樣本調制識別算法。實驗結果表明，在信噪比為20 dB時，本文算法在只有5個帶標簽樣本時識別準確率可達88.10%，只有1個帶標簽樣本時識別準確率可達82.23%。同時本文還設計了一種混合并行特征提取網(wǎng)絡，并引入一種新的聯(lián)合損失函數(shù)對網(wǎng)絡參數(shù)進行優(yōu)化，實驗結果表明以上兩種改進可有效提升算法在小樣本條件下的識別性能。針對在低信噪比條件下識別準確率明顯下降的問題，須在下一步工作中重點研究。