基于改進(jìn)型Transformer 網(wǎng)絡(luò)的高階QAM調(diào)制分類研究

安 移，項(xiàng) 瀾

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引言

隨著5G，6G 等通信技術(shù)的快速發(fā)展，用戶對(duì)通信速率的要求變得越來越高[1]。高階正交振幅調(diào)制（quadrature amplitude modulation，QAM）信號(hào)可以提高單個(gè)符號(hào)所攜帶的比特量，因此可以通過增加M階QAM 信號(hào)的調(diào)制數(shù)M來提高通信速率。隨著調(diào)制數(shù)M的不斷增加，QAM 信號(hào)的調(diào)制格式變得越來越多，為了在接收端準(zhǔn)確地恢復(fù)出原始發(fā)送信號(hào)，就需要對(duì)接收到的QAM 信號(hào)進(jìn)行調(diào)制分類。

目前針對(duì)QAM 信號(hào)的調(diào)制分類的主流方式有2 種：基于特征提取的分類方法和基于深度學(xué)習(xí)的分類方法。文獻(xiàn)[2] 通過對(duì)信號(hào)進(jìn)行希爾伯特變換來獲得信號(hào)的瞬時(shí)包絡(luò)，然后提取瞬時(shí)能量分布向量作為特征向量來對(duì)QAM 信號(hào)進(jìn)行調(diào)制分類。文獻(xiàn)[3] 通過計(jì)算QAM 信號(hào)矢量圖的最小環(huán)帶方差進(jìn)行QAM 信號(hào)的調(diào)制分類。文獻(xiàn)[4] 通過聚類算法并結(jié)合模板匹配來對(duì)QAM信號(hào)進(jìn)行調(diào)制分類。文獻(xiàn)[5] 通過信號(hào)的四階累積量以及減法聚類等方法識(shí)別QAM信號(hào)的調(diào)制格式。文獻(xiàn)[6] 通過模糊C 均值與反向傳播（back propagation, BP）神經(jīng)網(wǎng)絡(luò)相結(jié)合來對(duì)QAM 信號(hào)進(jìn)行調(diào)制分類。文獻(xiàn)[7] 研究了卷積神經(jīng)網(wǎng)絡(luò)模型和特征參數(shù)結(jié)合深度神經(jīng)網(wǎng)絡(luò)模型對(duì)QAM 信號(hào)的調(diào)制分類效果。文獻(xiàn)[8] 通過密集連接網(wǎng)絡(luò)來對(duì)QAM 信號(hào)進(jìn)行調(diào)制分類。

上述國內(nèi)外研究現(xiàn)狀為調(diào)制識(shí)別提供了豐富的研究基礎(chǔ)，但最高只研究到了256 QAM 信號(hào)的調(diào)制分類，并沒有研究512 及以上的高階QAM 信號(hào)的調(diào)制分類。針對(duì)高階QAM 信號(hào)的調(diào)制分類問題，結(jié)合了QAM 信號(hào)的分解特征與Transformer 編碼器的自動(dòng)調(diào)制分類網(wǎng)絡(luò)[9]，提出了一種改進(jìn)Transformer 編碼器網(wǎng)絡(luò)的自動(dòng)調(diào)制分類網(wǎng)絡(luò)，將QAM 信號(hào)的同相分量與正交分量并行通過2 個(gè)Transformer 的編碼器，再將2 個(gè)編碼器的輸出結(jié)果拼接并進(jìn)行調(diào)制分類。研究了該網(wǎng)絡(luò)在信噪比（signal to noise ratio, SNR）從-10 dB 到30 dB（間隔為2 dB）的21 種加性高斯白噪聲（additive white Gaussian noise，AWGN）信道條件下，從4 QAM 到4 096 QAM 的10 種QAM 調(diào)制格式的分類效果。

1 信號(hào)模型與網(wǎng)絡(luò)結(jié)構(gòu)

1.1 信號(hào)模型

接收到的QAM 信號(hào)模型可表示為

式中：sk為QAM 信號(hào)的基帶碼元信號(hào)序列，序列長度為N；j 為虛數(shù)單位；ak為QAM 信號(hào)的同相分量 ；bk為QAM 信號(hào)的正交分量；g(t) 為成形濾波器的沖激響應(yīng)；Tb為碼元寬度；fc為載波頻率；φ為載波相位；w(t) 為加性高斯白噪聲。

假設(shè)已經(jīng)對(duì)接收到的QAM 信號(hào)序列r(t) 進(jìn)行了預(yù)處理操作，包括：信號(hào)的下變頻，匹配濾波，定時(shí)同步以及下采樣等操作，得到了sk。當(dāng)信噪比為20 dB 時(shí)，沒有載波頻率偏移和載波相位偏移的16 QAM 和32 QAM 星座圖分別如圖1（a）和（b）所示。

圖1 沒有載波頻率偏移和相位偏移的QAM 星座圖（SNR 為 20 dB）Fig. 1 QAM constellation diagram without carrier frequency offset and phase offset (SNR is 20 dB)

圖2 （a）和（c）分別為信噪比為20 dB 時(shí)，沒有載波頻率偏移和相位偏移的16 QAM 和32 QAM的ak時(shí)域散點(diǎn)圖；圖2（b）和（d）分別為16 QAM和32 QAM 的bk時(shí)域散點(diǎn)圖。

圖2 16 QAM 和32 QAM 的ak與 bk 時(shí)域散點(diǎn)圖（SNR 為 20 dB）Fig. 2 Time-domain scatter plots of ak and bk for 16 QAM and 32 QAM (SNR is 20 dB)

如圖2 所示，不同調(diào)制階數(shù)的QAM信號(hào)的ak與bk具有不同的分布特征。因此，可以根據(jù)ak與bk的組合來對(duì)QAM 信號(hào)進(jìn)行分類。

當(dāng)信噪比為20 dB 時(shí)，載波頻率偏移為500 Hz和載波相位偏移為 π/6 的16 QAM 信號(hào)的星座圖如圖3（a）和（b）所示，相同條件下的32 QAM 信號(hào)的星座圖如圖3（c）和（d）所示。

圖3 載波頻偏為500 Hz 或載波相偏為π/6 時(shí)16 QAM 和32 QAM 的星座圖（SNR 為 20 dB）Fig. 3 Constellation diagrams of 16 QAM and 32 QAM with carrier frequency offset of 500 Hz or carrier phase offset of π/6(SNR is 20 dB)

圖4 為在信噪比為20 dB 時(shí)，QAM 信號(hào)受載波頻率偏移500 Hz 影響下的ak和bk的時(shí)域散點(diǎn)圖。

圖4 載波頻偏為500 Hz 時(shí)16 QAM 和32 QAM 的ak與 bk 時(shí)域散點(diǎn)圖（SNR 為 20 dB）Fig. 4 Time-domain scatter plots of ak and bk for 16 QAM and 32 QAM with a carrier frequency offset of 500 Hz(SNR is 20 dB)

從圖4 中可以發(fā)現(xiàn)，當(dāng)載波頻率偏移500 Hz時(shí)，不同調(diào)制階數(shù)的QAM 信號(hào)的ak與bk具有不同的分布。因此，可以根據(jù)ak與bk的組合來對(duì)QAM 信號(hào)進(jìn)行分類。

圖5 為在信噪比為20 dB 下QAM 信號(hào)受載波相位偏移 π/6 影響下ak和bk的時(shí)域散點(diǎn)圖。

從圖5 中可以發(fā)現(xiàn)，當(dāng)載波頻率偏移500 Hz時(shí)，不同調(diào)制階數(shù)的QAM 信號(hào)的ak與bk具有不同的分布。因此，可以根據(jù)ak與bk的組合來對(duì)QAM 信號(hào)進(jìn)行分類。

綜上所述，無論是否有載波頻率偏移或相位偏移，不同QAM 信號(hào)的ak和bk具有不同的分布組合。因此，可以根據(jù)信號(hào)的ak和bk的組合來對(duì)QAM 信號(hào)進(jìn)行分類。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

Transformer 網(wǎng)絡(luò)主要由編碼器和解碼器組成[10]。編碼器可以提取輸入序列的特征，因此可以用Transformer 的編碼器結(jié)構(gòu)來提取QAM 的ak和bk的特征。

圖6 為本文提出的網(wǎng)絡(luò)結(jié)構(gòu)框架圖。其中輸入數(shù)據(jù)Data 為AWGN 干擾后的QAM 信號(hào)的基帶碼元序列sk；數(shù)據(jù)處理（data preprocessing）模塊首先將sk的實(shí)部和虛部提取出來，得到同相分量ak和正交分量bk，然后對(duì)ak和bk進(jìn)行標(biāo)準(zhǔn)化處理并乘以量化系數(shù)res 轉(zhuǎn)為序列編碼處理，最后在序列編碼的起始位添加序列標(biāo)識(shí)符CLK， CLK 會(huì)隨著編碼序列一起在網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并能夠很好地保留本組編碼序列的特征，最后根據(jù)訓(xùn)練好的CLK 對(duì)序列進(jìn)行分類；詞嵌入（embedding）模塊將輸入的一維序列編碼轉(zhuǎn)為多維序列向量，有利于在高維空間向量中捕捉一維編碼序列的特征；位置嵌入（position embedding）模塊用于添加序列編碼的位置信息；將位置嵌入模塊的位置向量與詞嵌入模塊的編碼序列向量相加，形成編碼器（encoder）層的輸入數(shù)據(jù)x。

編碼器層由殘差連接與層歸一化層（Add ＆Norm）、前向傳播網(wǎng)絡(luò)（feed forward network，F(xiàn)FN）以及多頭注意力層（mutil-head attention）構(gòu)成。

殘差連接（residual connection）的作用是用于解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失和梯度爆炸問題，同時(shí)也可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)到輸入數(shù)據(jù)的特征；層歸一化（layer normalization, LN）是一種類似于批歸一化的歸一化方法，但是它是在每個(gè)樣本的每個(gè)神經(jīng)元上進(jìn)行歸一化處理，這樣可以使得每個(gè)神經(jīng)元的輸入分布相同，從而提高網(wǎng)絡(luò)的穩(wěn)定性，加速網(wǎng)絡(luò)的訓(xùn)練，LN 層輸出的計(jì)算式為

式中：γ和 β 為可學(xué)習(xí)的縮放和偏移參數(shù)； μ 和σ為x的均值和標(biāo)準(zhǔn)差； ⊙ 表示元素乘法； ε 為一個(gè)很小的常數(shù)，防止分母為零。

全連接層是將輸出轉(zhuǎn)換為最終預(yù)測(cè)結(jié)果的關(guān)鍵組成部分，它可以降低數(shù)據(jù)維度和提取數(shù)據(jù)特征，增加網(wǎng)絡(luò)的表達(dá)能力，提高網(wǎng)絡(luò)的泛化能力。

多頭注意力機(jī)制是一種在Transformer 模型中廣泛使用的注意力機(jī)制，它可以將注意力機(jī)制應(yīng)用于多個(gè)查詢、鍵和值向量上，從而提高模型的表達(dá)能力和泛化能力。圖7 為多頭注意力機(jī)制的計(jì)算流程示意圖。首先將輸入向量x分別通過線性變換映射為查詢向量Q（query），鍵向量K（key）和值向量V（value），然后將Q，K，V3 個(gè)向量映射到h個(gè)子空間中，得到h組子向量；接著對(duì)每組子向量分別計(jì)算注意力得分向量A（如式（4）所示）；將h個(gè)子向量的注意力得分拼接在一起，得到最終的輸出向量Z（如式（5）所示）。最后，將向量Z通過線性變換映射回原始空間，得到最終的輸出向量[10]

圖7 多頭注意力機(jī)制計(jì)算流程圖Fig. 7 Computational process of multi-head attention mechanism

式中：Q，K，V為查詢向量、鍵向量和值向量；dmodel為每個(gè)編碼數(shù)字的詞向量維度；，i為第i個(gè)子空間的參數(shù)；dK=dV=dmodel/h，h為注意力頭數(shù)。

通過編碼器層的標(biāo)識(shí)符CLK 已經(jīng)保留了序列的特征信息，可以通過1 層線性層將序列的特征信息取出。最后將2 路信號(hào)的特征進(jìn)行拼接，通過線性層和Softmax 層就可以判斷QAM 信號(hào)的調(diào)制格式。

假設(shè)輸入的QAM 信號(hào)的基帶碼元序列sk的調(diào)制類型共M種，輸入網(wǎng)絡(luò)的數(shù)據(jù)大小為(Batch,N-1)，Batch為輸入的batch size 大小，表示每次輸入網(wǎng)絡(luò)的序列有多少組，N-1 為每組輸入的序列長度，以同相分量分路（Data I）為例（Data Q 路與Data I 路中間的參數(shù)大小都相同），每層網(wǎng)絡(luò)的參數(shù)輸出大小如表1 所示。

表1 每層網(wǎng)絡(luò)的參數(shù)輸出Tab. 1 Parameter output of each layer network

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

使用MATLAB 生成3 組QAM 數(shù)據(jù)集，分別是沒有載波頻率偏移和載波相位偏移的QAM數(shù)據(jù)集，載波頻率偏移500 Hz 的QAM 數(shù)據(jù)集以及載波相位偏移 π/6 的QAM 數(shù)據(jù)集。每個(gè)碼元的采樣點(diǎn)數(shù)為8 個(gè)，成型濾波器與匹配濾波器使用的都是 α = 1 的根升余弦濾波器。3 種數(shù)據(jù)集的格式都一樣，每組數(shù)據(jù)集一共有10 種調(diào)制格式的QAM（4 QAM，16 QAM，32 QAM，64 QAM，128 QAM，256 QAM，512 QAM，1 024 QAM，2 048 QAM 和4 096 QAM）信號(hào)，每一種調(diào)制格式共有2 000 組QAM 信號(hào)序列，每組QAM 信號(hào)序列共有500 個(gè)碼元。信道噪聲為AWGN，每種QAM 有21 種信噪比（從-10 dB到30 dB，間隔2 dB）。每組數(shù)據(jù)集的大小為（mod, snr, groups, length）：mod 為調(diào)制格式種類，大小為10；snr 為信噪比種類，大小為26；groups 代表每種調(diào)制格式每個(gè)信噪比下有多少組信號(hào)序列，大小為2 000；length 為每組信號(hào)序列的長度，大小為500。

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用的服務(wù)器GPU 型號(hào)為3 080 Ti，顯存12 G；CPU 型號(hào)為AMD EPYC 7 451，核心數(shù)為6 核。數(shù)據(jù)處理部分（data preprocessing）將輸入數(shù)據(jù)等比量化到0～255。提出的網(wǎng)絡(luò)總參數(shù)大小為13.9 k，網(wǎng)絡(luò)的訓(xùn)練參數(shù)batch_size設(shè)置為300，epoch 設(shè)置為500，詞嵌入的詞向量參數(shù)dmodel設(shè)置為24，多頭注意力層的頭數(shù)h設(shè)置為2，Add ＆ Norm 層的dropout 設(shè)置為0.1，優(yōu)化器使用的是Adam，損失函數(shù)使用的是交叉熵?fù)p失函數(shù)（cross entropyloss），學(xué)習(xí)率lr設(shè)置為可變學(xué)習(xí)率，初始lr設(shè)置為每個(gè)batch_size 的迭代式為

式中，y為迭代次數(shù)。

2.3 實(shí)驗(yàn)結(jié)果與分析

圖8 為沒有載波頻率偏移與載波相位偏移的10 種調(diào)制格式信號(hào)的QAM 在不同信噪比下的調(diào)制分類準(zhǔn)確率。

圖8 沒有頻率偏移與相位偏移的識(shí)別率Fig. 8 Recognition rate without frequency offset and phase offset

如圖8 所示，當(dāng)信噪比大于20 dB 時(shí)，本文提出的網(wǎng)絡(luò)可以100%識(shí)別出所有的調(diào)制格式；當(dāng)信噪比介于2～20 dB 時(shí)，隨著信噪比的提升，網(wǎng)絡(luò)可以逐漸識(shí)別出更高階的QAM 信號(hào)；當(dāng)信噪比低于2 dB 時(shí)，網(wǎng)絡(luò)無法識(shí)別QAM 信號(hào)的調(diào)制格式。由此證明當(dāng)信噪比大于20 dB時(shí)，本文提出的網(wǎng)絡(luò)可以準(zhǔn)確識(shí)別出沒有載波頻率偏移與載波相位偏移的QAM 信號(hào)的調(diào)制格式。

圖9 所示為載波頻率偏移500 Hz 的10 種調(diào)制格式的QAM 信號(hào)在不同信噪比下的調(diào)制分類準(zhǔn)確率。

圖9 頻率偏移500 Hz 的識(shí)別率Fig. 9 Recognition rate with frequency offset 500 Hz

從圖9 中可以發(fā)現(xiàn)，當(dāng)信噪比大于等于26 dB時(shí)，4 QAM 到1 024 QAM 的調(diào)制分類準(zhǔn)確率為100%, 2 048 QAM 的調(diào)制分類準(zhǔn)確率大于96%，4 096 QAM 的調(diào)制分類準(zhǔn)確率大于91%；當(dāng)信噪比介于2～26 dB 時(shí)，隨著信噪比的提升，網(wǎng)絡(luò)能夠識(shí)別更高階的QAM 信號(hào)；當(dāng)信噪比低于2 dB 時(shí)，網(wǎng)絡(luò)不能準(zhǔn)確識(shí)別出QAM 信號(hào)的調(diào)制格式。與圖8 對(duì)比發(fā)現(xiàn)，網(wǎng)絡(luò)對(duì)載波頻率偏移500 Hz 的QAM 信號(hào)序列識(shí)別難度較大。在同等識(shí)別準(zhǔn)確率條件下，載波頻率偏移500 Hz的QAM 信號(hào)序列的信噪比大約是沒有載波頻率偏移的QAM 信號(hào)序列的信噪比的1.5 倍。證明了載波的頻率偏移對(duì)本文提出的網(wǎng)絡(luò)影響較大，只有當(dāng)信噪比大于30 dB 時(shí)，網(wǎng)絡(luò)才有可能準(zhǔn)確識(shí)別出載波頻率偏移500 Hz的QAM 信號(hào)的調(diào)制格式。

圖10 所示為載波相位偏移 π/6 的10 種調(diào)制格式的QAM 信號(hào)在不同信噪比下的調(diào)制分類準(zhǔn)確率。

圖10 相位偏移π/6 的識(shí)別率Fig. 10 Recognition rate with phase shift π/6

從圖10 中可以發(fā)現(xiàn)，當(dāng)信噪比大于等于20 dB 時(shí)，本文提出的網(wǎng)絡(luò)可以100%識(shí)別出所有QAM 信號(hào)的調(diào)制格式；當(dāng)信噪比介于2～20 dB 時(shí)，隨著信噪比的增加，網(wǎng)絡(luò)可以識(shí)別更高階的QAM 信號(hào)的調(diào)制格式；當(dāng)信噪比低于2 dB 時(shí)，網(wǎng)絡(luò)無法準(zhǔn)確識(shí)別出QAM 信號(hào)的調(diào)制格式。與圖8 對(duì)比發(fā)現(xiàn)，網(wǎng)絡(luò)對(duì)載波相位偏移π/6的QAM 信號(hào)與沒有載波相位偏移的QAM信號(hào)具有幾乎相同的識(shí)別準(zhǔn)確率。證明了本文提出的網(wǎng)絡(luò)幾乎不受載波相位偏移的影響，在信噪比大于20 dB 時(shí)，網(wǎng)絡(luò)能準(zhǔn)確地識(shí)別出載波相位偏移π/6 的QAM 調(diào)制格式。

圖11 為3 個(gè)數(shù)據(jù)集在信噪比為20 dB 時(shí)，本文提出的網(wǎng)絡(luò)對(duì)QAM 信號(hào)的調(diào)制分類準(zhǔn)確率的混淆矩陣圖。

圖11 3 個(gè)數(shù)據(jù)集的混淆矩陣（SNR 為 20 dB）Fig. 11 Confusion matrix on three datasets (SNR is 20 dB)

圖12 顯示了3 個(gè)數(shù)據(jù)集在20 dB 信噪比下模型的訓(xùn)練集與測(cè)試集的調(diào)制分類準(zhǔn)確率和損失曲線。

圖12 3 個(gè)數(shù)據(jù)集的調(diào)制分類準(zhǔn)確率和損失曲線（SNR 為 20 dB）Fig. 12 Training and testing modulation classification accuracy and loss curves of three datasets (SNR is 20 dB)

2.4 與其他方法對(duì)比

表2 列出了本文提出的調(diào)制分類方法與文獻(xiàn)[5]、文獻(xiàn)[8] 的調(diào)制分類方法的對(duì)比結(jié)果，以5 種調(diào)制方式分類準(zhǔn)確率大于95%為條件，對(duì)比3 種方法所需的最小信噪比的大小，所需最小信噪比越小則說明該調(diào)制分類方法效果越好。

表2 本文網(wǎng)絡(luò)與其他方法對(duì)比Tab. 2 Comparison of the results in this article and the results obtained by the other methods

如表2 所示，本文提出的方法在滿足較高準(zhǔn)確率的同時(shí)所需信噪比最小，證明了本文提出的方法優(yōu)于其他2 篇文獻(xiàn)中的方法。

3 結(jié)論

本文提出的改進(jìn)型Transformer 網(wǎng)絡(luò)的高階QAM 自動(dòng)調(diào)制分類網(wǎng)絡(luò)具有網(wǎng)絡(luò)結(jié)構(gòu)簡單，訓(xùn)練參數(shù)少的優(yōu)點(diǎn)，且對(duì)所有從4 QAM 到4 096 QAM 調(diào)制信號(hào)具有很好的分類效果。當(dāng)信噪比大于20 dB 時(shí)，網(wǎng)絡(luò)可以準(zhǔn)確識(shí)別出沒有載波頻率偏移影響的所有QAM 信號(hào)的調(diào)制格式；當(dāng)信噪比大于30 dB 時(shí)，網(wǎng)絡(luò)可以識(shí)別出所有QAM信號(hào)的調(diào)制格式。與其他方法對(duì)比，本文提出的方法在同樣的調(diào)制分類準(zhǔn)確率條件下所需信噪比比其他方法低，而且本文研究了512 QAM 及以上的高階的QAM 信號(hào)的調(diào)制分類，這對(duì)使用高階QAM 調(diào)制通信的研究具有重要意義。