基于深度殘差網(wǎng)絡(luò)的水下通信調(diào)制信號分類

王 巖，呂婷婷，楊 華，張 浩

（1. 中國海洋大學 電子工程系，山東 青島 266100；2. 泰山學院 物理與電子工程學院，山東 泰安 271021）

0 引言

自動調(diào)制分類（Automatic modulation classification，AMC）是非合作通信系統(tǒng)的關(guān)鍵技術(shù)，在民用和軍用領(lǐng)域都有許多應(yīng)用場景。在民用領(lǐng)域，它用于軟件無線電和智能無線電系統(tǒng)[1-2]。在軍事領(lǐng)域，正確識別調(diào)制方案是截獲和干擾敵方通信的前提。近年來，用于無線通信的自動識別系統(tǒng)受到了越來越多的關(guān)注，AMC在水聲通信系統(tǒng)的應(yīng)用研究還比較少。由于水下無線通信對高頻電磁波的吸收特性，而陸地中使用的無線電磁波不能在水下長距離傳輸[2]。水下信道特性主要反映在窄頻帶、長延遲和多徑效應(yīng)中。這些水下通信環(huán)境特性與地面無線通信環(huán)境顯著不同，使得水下通信的AMC過程變得極為困難[3]。

通常為了提高通信系統(tǒng)的通信效率，比較常用的方法是采用高階調(diào)制方式，但是高階調(diào)制方法通常導(dǎo)致難以正確識別接收端的調(diào)制模式。特別是在通信環(huán)境極差的水下無線通信過程中，這種情況將更嚴重。傳統(tǒng)的機器學習方法主要包括決策樹（DT），隨機森林（RF），K-最近鄰（KNN）和支持向量機（SVM）[4]。這些方法在進行調(diào)制識別時都需要進行適當?shù)臄?shù)據(jù)集的特征提取。在識別各種數(shù)據(jù)集方面更優(yōu)勢的深度學習方法在許多領(lǐng)域已經(jīng)獲得了超過其他機器學習方法的壓倒性的優(yōu)勢[5]。在地面無線通信調(diào)制識別任務(wù)中使用的深度學習方法主要是采用通用卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法[6]，這種方法也廣泛用于 MNIST（Mixed National Institute of Standards and Technology database）手寫數(shù)據(jù)集，但這種方法并沒有廣泛用于水下通信信號的識別過程中。

典型的AMC過程有2個步驟：信號預(yù)處理和結(jié)果信號分類。信號預(yù)處理主要包括信號參數(shù)估計和噪聲去除。有2種主要的調(diào)制分類算法：基于似然準則的[7-10]和基于特征提取的基于特征的[11-13]。LB方法是最佳的，它降低了錯誤分類的概率。然而，在實際應(yīng)用中存在著非常巨大的計算復(fù)雜性；同時，它們通常需要緩沖大量的數(shù)據(jù)來找到?jīng)Q策閾值，并且需要大量的計算時間。這些方法在存在未知信道條件和其他接收機干擾（如多普勒頻移）時也不穩(wěn)定。FB方法中人工選擇專家特征是次優(yōu)的，這可能會丟失信號的深層特征。這些方法需要合適的決策閾值，但很難確定，因此，很難對頻移、多徑變化、時間衰落和不同的信號長度具有魯棒性。此外，這2種算法的計算成本都很高，不容易在實際通信系統(tǒng)中部署。作為一種機器學習方式，深度學習方法在眾多機器學習方法中脫穎而出，并且在大數(shù)據(jù)的支持下顯示出顯著的分類效果。深度學習方法通常有2個步驟：訓(xùn)練階段和驗證階段。在訓(xùn)練階段，通過輸入大量數(shù)據(jù)來訓(xùn)練深層網(wǎng)絡(luò)，這需要大量時間，并且復(fù)雜且計算密集；在驗證階段，輸入數(shù)據(jù)實例來驗證訓(xùn)練好的網(wǎng)絡(luò)的識別效果，該階段只消耗有限的計算資源在幾毫秒內(nèi)完成。在實際的通信系統(tǒng)部署中，使用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)，這相當于驗證階段。DLM 具有較低的計算復(fù)雜度和實時處理速度。隨著各種深度學習方法在各個領(lǐng)域取得顯著成果，出現(xiàn)了各種結(jié)構(gòu)形式，如LeNet[14]，這種方法在手寫識別方面取得了良好的效果，以及由LeNet演化出來的各種結(jié)構(gòu)形式，在圖像識別領(lǐng)域精度不斷提高突破，這些結(jié)構(gòu)包括AlexNet[15]，ZFNet[16]，VGGNet[17]，InceptionNet[18]等。當深度學習網(wǎng)絡(luò)的層次越來越深時，由于數(shù)據(jù)集的分布概率特征過多被深度網(wǎng)絡(luò)學習到，很容易導(dǎo)致訓(xùn)練出的模型發(fā)生過度擬合數(shù)據(jù)集的現(xiàn)象。也就是說，訓(xùn)練集上訓(xùn)練的模型難以對驗證數(shù)據(jù)集具有良好的分類效果，這也稱為模型泛化能力差。這時，無論是增加網(wǎng)絡(luò)層數(shù)，還是調(diào)整每層神經(jīng)元的數(shù)量，以及修改深度學習網(wǎng)絡(luò)的各種超參數(shù)都無法改善這一過度擬合現(xiàn)象。

從目前已知的經(jīng)驗角度來看，網(wǎng)絡(luò)的深度對于模型的性能至關(guān)重要。當網(wǎng)絡(luò)層數(shù)增加時，網(wǎng)絡(luò)可以提取更復(fù)雜的特征模式，因此當模型更深時，理論上可以獲得更好的結(jié)果。深度學習網(wǎng)絡(luò)性能下降的主要原因是在學習數(shù)據(jù)集分布概率時發(fā)生梯度消失和爆炸的問題[19]，這種情況導(dǎo)致了更深層次的深度學習網(wǎng)絡(luò)，在沒有性能改進的情況下變得更難訓(xùn)練。深度網(wǎng)絡(luò)的退化現(xiàn)象至少表明當深度網(wǎng)絡(luò)能夠?qū)W習更多數(shù)據(jù)集特征分布的同時深度網(wǎng)絡(luò)變得更加不容易訓(xùn)練?？紤]到當網(wǎng)絡(luò)較淺時，我們通常希望通過堆疊新層的方式來構(gòu)建深層網(wǎng)絡(luò)。在極端情況下，這些新添加的網(wǎng)絡(luò)層并不會學習數(shù)據(jù)集任何新特征，而僅僅只是復(fù)制淺層網(wǎng)絡(luò)的特征，即新層相當于是一種身份映射。在這種情況下考慮，深層網(wǎng)絡(luò)應(yīng)該至少與淺層網(wǎng)絡(luò)的防止過擬合的能力一樣好，而不應(yīng)該發(fā)生退化現(xiàn)象。另一種觀點是認為當前的訓(xùn)練方法存在問題，從而使得深度網(wǎng)絡(luò)難以找到好的參數(shù)來擬合數(shù)據(jù)集的概率分布。在此假設(shè)分析的基礎(chǔ)之上，提出了采用殘差網(wǎng)絡(luò)學習數(shù)據(jù)集分布概率的方法來解決模型訓(xùn)練過程中容易出現(xiàn)的退化問題[20]。

1 信號形式

海底水聲信道受時間延遲、多徑、多普勒和加性高斯白噪聲的影響。信道模型如圖1所示，接收信號可表示為

圖1 海底信道模型Fig. 1 Model of underwater channel

式中：s（t）是發(fā)射信號；n（t）是加性白噪聲；h（t，η）表示多徑信道；dm（t）是第m個多徑信號的衰減；?表示信號卷積；ηm（t）是第m個多徑延遲；M是多徑信號的數(shù)量，且所有路徑都具有相似多普勒縮放因子σ；ηm(t) =ηm-σt發(fā)射信號可以是數(shù)字信號（例如正交振幅調(diào)制QAM (Quadrature Amplitude Modulation)）或模擬信號（例如頻移鍵控FSK（Frequency-Shift keying））。

2 網(wǎng)絡(luò)結(jié)構(gòu)形式

通過對深度學習網(wǎng)絡(luò)的實驗[17-18]，可以發(fā)現(xiàn)隨著深度學習網(wǎng)絡(luò)層數(shù)的不斷提高，模型的準確性不斷提高。當網(wǎng)絡(luò)級別增加到一定數(shù)量時，訓(xùn)練準確性和測試準確性迅速降低。這表明當網(wǎng)絡(luò)變深時，深層網(wǎng)絡(luò)變得更難訓(xùn)練。

神經(jīng)網(wǎng)絡(luò)的反向傳播原理[21]，首先通過前向傳播計算結(jié)果輸出，然后將其與樣本目標進行比較以獲得誤差值

根據(jù)誤差結(jié)果，使用鏈規(guī)則來獲得偏導(dǎo)數(shù)，并且反向傳播結(jié)果誤差以獲得權(quán)重w調(diào)整的梯度。圖2顯示了輸出到隱藏層的反向傳播（從隱藏層到輸入層的反向傳播過程類似）。

根據(jù)鏈規(guī)則獲得的隱藏層的反向傳播過程為

式中：outputO1代表輸出層的第一個單位；HiddenO1代表隱藏層的第一個單元。通過連續(xù)迭代，連續(xù)調(diào)整參數(shù)矩陣，使輸出結(jié)果的誤差值更小，輸出結(jié)果更接近事實。從上述過程可以看出，神經(jīng)網(wǎng)絡(luò)在反向傳播期間連續(xù)傳播梯度。當網(wǎng)絡(luò)層的數(shù)量加深時，梯度將在傳播過程中逐漸消失，層越多，衰減越多，這使得無法有效地調(diào)整先前網(wǎng)絡(luò)層的權(quán)重。此時，有必要在加深網(wǎng)絡(luò)層數(shù)量后解決梯度消失的問題，并提高模型的準確性。

圖2 隱藏層的反向傳播過程Fig. 2 Back propagation process of hidden layer

2.1 深度殘差網(wǎng)絡(luò)的結(jié)構(gòu)形式

為了改進深度神經(jīng)網(wǎng)絡(luò)學習過程中梯度消失的問題，人們引入了深度殘差網(wǎng)絡(luò)，通常是采用一種結(jié)構(gòu)設(shè)計上簡化的方法，但只是通過簡單地深化網(wǎng)絡(luò)的結(jié)構(gòu)形式來提高分類精度。在圖像域中使用的殘差網(wǎng)絡(luò)結(jié)構(gòu)中，幾乎所有卷積層都使用的3×3的卷積內(nèi)核。并且沒有在隱藏層中設(shè)計任何完全連接的層。在訓(xùn)練過程中也不考慮使用任何Dropout機制來防止過擬合。由上述設(shè)想的結(jié)構(gòu)元素組成的典型殘差網(wǎng)絡(luò)結(jié)構(gòu)單元如圖3所示。

圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)單元Fig. 3 Structural unit of residual network

圖3中使用短路連接層，引入了非常平滑的正向傳輸過程。αi+1與其前一層αi之間的關(guān)系是純線性疊加關(guān)系，如等式所示αi+1=αi+G(αi)。如果進一步導(dǎo)出αi+1及其后續(xù)圖層的輸出，將找到擴展表達式，如下所示

αI向量的任何后續(xù)層的內(nèi)容將具有一部分，其由前面的層αi線性貢獻，如圖4所示。

上述公式中的αI層輸出的函數(shù)表達式表明反向殘差轉(zhuǎn)移也是一個非常平穩(wěn)的過程。對應(yīng)于上述公式中殘差的定義，其中相應(yīng)的殘差表示為

這里αla表示在給定當前樣本和標簽的情況下對應(yīng)于αI層的理想矢量值。然后使用反向傳播過程，這里的鏈式規(guī)則可以直接找到相應(yīng)的反向傳播

由任何層上的輸出αI產(chǎn)生的殘差可以傳遞回其前面的任何層的αi上，這種轉(zhuǎn)移的過程非常快速和直接。然后，當層數(shù)增加時，將沒有明顯的網(wǎng)絡(luò)退化問題，如圖5所示。

圖4 殘差恒等映射正向傳播過程Fig. 4 Forward propagation process of residual identity map

圖5 殘差恒等映射反向傳播過程Fig. 5 Back propagation process of residual identity map

2.2 網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)訓(xùn)練優(yōu)化器設(shè)置

輸入層采用時域的采樣信號，使用殘差網(wǎng)絡(luò)50層的結(jié)構(gòu)形式。輸入信號調(diào)制數(shù)據(jù)后，使用conv 64、內(nèi)核 2×2，stride 1，批量歸一化層（Batch Normalization Layer），ReLU激活層及最大池化層（MaxPooling Layer）進行數(shù)據(jù)預(yù)處理。改造的殘差網(wǎng)絡(luò)50層主要由4部分組成，具體參數(shù)見表1。

表1 改造殘差網(wǎng)絡(luò)50層結(jié)構(gòu)形式Table 1 50-layer structure of transformed residual network

在訓(xùn)練網(wǎng)絡(luò)中選擇梯度下降優(yōu)化參數(shù)時，應(yīng)注意所選參數(shù)與水下通信調(diào)制識別數(shù)據(jù)之間的匹配問題。在這個過程中最廣泛使用的梯度下降法是Adam（Adaptive Moment Establishment）[22]。Adam引入了二階動量，但是隨著時間窗口的變化，遇到的數(shù)據(jù)會發(fā)生巨大變化，從而可能變得或大或小，而不是一個單調(diào)變化的過程。這可能導(dǎo)致后期訓(xùn)練中的學習率震蕩，并導(dǎo)致模型無法收斂。當使用Adam訓(xùn)練深度學習模型用來識別水下通信調(diào)制方式的數(shù)據(jù)集時，就會遇到此問題。

為了解決這類問題并確保算法的收斂性，需要使用具有動量方法的隨機梯度下降方法（SGD，Stochastic Gradient Descent）[23]來解決使用Adam訓(xùn)練模型的問題。SGD在學習數(shù)據(jù)集分布時波動的優(yōu)勢在于可以更好地學習類似流域區(qū)域的數(shù)據(jù)集的分布特征。

3 實驗驗證

仿真實驗的水下通道模型使用深海模型參數(shù)[24]，如表2所示。深海信道的參數(shù)主要設(shè)置如下：水深5 000 m，信號發(fā)射換能器位于水下1 000 m，信號水聽器位于水下900 m，信號發(fā)射換能器和信號水聽之間的距離為56 km。符號速率為1 000 符號/s。在仿真實驗中，使用了文獻[25]的BPSK、QPSK、8PSK、16QAM，它們是水下通信中最常見的調(diào)制模式。

表2 深海信道參數(shù)Table 2 Deep sea channel parameters

圖6中，縱軸表示數(shù)據(jù)的真實調(diào)制模式，橫軸表示用于在水下通信之后接收識別模式的模型的判斷。當SNR =-10 dB時，可以以較高地識別率從多種調(diào)制方式中區(qū)分出BPSK。此時，QPSK的辨別度相對較低，并且不容易與幾種調(diào)制方法區(qū)分開。當 SNR上升到-2 dB時，可以很好地區(qū)分 4種調(diào)制方法，這從另一方面說明該模型在較低的信噪比下是有效的。

圖6 信噪比= -10 dB（左）和信噪比= -2 dB（右）的分類效果Fig. 6 The classification effect of SNR = -10 dB（left）and SNR = -2 dB（right）

圖 7顯示了使用深度神經(jīng)網(wǎng)絡(luò)和其不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式在分類精度上的差異。其中，ResMedol代表了本文中使用的深度殘差網(wǎng)絡(luò)架構(gòu)形式。涉及到的4種常用神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)（ANN）[26]，多層感知器（MLP）[27]，4層深度神經(jīng)網(wǎng)絡(luò)（DNN）和8層DNN（非卷積神經(jīng)元）[28]，3層 CNN卷積神經(jīng)網(wǎng)絡(luò)[29]。在較低的信噪比（-20～-13 dB）下，ResModel顯示出更好的識別效果，與其他神經(jīng)網(wǎng)絡(luò)方法相比具有明顯的優(yōu)勢，后者高出近 10%。這進一步表明，殘差網(wǎng)絡(luò)結(jié)構(gòu)的加深網(wǎng)絡(luò)層次結(jié)構(gòu)不會導(dǎo)致模型的退化，更深的網(wǎng)絡(luò)層次帶來了性能的提高。

圖7 不同神經(jīng)網(wǎng)絡(luò)的信號調(diào)制識別對比Fig. 7 Comparison of signal modulation recognitions of different neural networks

4 結(jié)束語

在深海信道模型下，利用本文設(shè)計的殘差網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)了水聲通信信號的調(diào)制識別，取得了良好的效果。結(jié)果表明，對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法，因為神經(jīng)網(wǎng)絡(luò)層數(shù)增長引起的模型退化問題可以通過殘差結(jié)構(gòu)來解決。該殘差網(wǎng)絡(luò)模型不僅提高了訓(xùn)練精度，而且顯著減輕了模型退化問題。然而，應(yīng)該注意的是，在低信噪比下，與其他神經(jīng)網(wǎng)絡(luò)方法相比，雖然殘差網(wǎng)絡(luò)結(jié)構(gòu)具有一定的優(yōu)勢，但也有待進一步改進網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置，以提高其低信噪比下識別精度。未來將考慮引入其他深度網(wǎng)絡(luò)模型結(jié)構(gòu)的形式，如在設(shè)計結(jié)構(gòu)中加入遞歸神經(jīng)網(wǎng)絡(luò)，以在較低信噪比下進一步提高調(diào)制識別效果。