基于深度殘差網(wǎng)絡(luò)的(n,1,m)卷積碼盲識(shí)別

劉 杰,朱宇軒,馬 鈺

(1.軍事科學(xué)院系統(tǒng)工程研究院,北京 100191;2.電磁空間認(rèn)知與智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100191)

0 引言

現(xiàn)代數(shù)字通信系統(tǒng)中,為保證信息穩(wěn)定可靠傳輸,往往在調(diào)制前對(duì)信息序列采用糾錯(cuò)編碼技術(shù),以實(shí)現(xiàn)接收端數(shù)據(jù)的檢錯(cuò)糾錯(cuò)。無論是民用領(lǐng)域的認(rèn)知無線電系統(tǒng),還是軍事領(lǐng)域的非合作信息截獲技術(shù),糾錯(cuò)編碼盲識(shí)別技術(shù)正日益發(fā)揮著重要作用[1-5]。

(n,1,m)卷積碼作為最早被發(fā)明的糾錯(cuò)編碼技術(shù)之一,因編譯碼技術(shù)成熟、糾錯(cuò)能力較強(qiáng),目前已被廣泛應(yīng)用于電話、衛(wèi)星和無線信道的數(shù)據(jù)傳輸中。針對(duì)(n,1,m)卷積碼的盲識(shí)別問題,目前公開發(fā)表文獻(xiàn)中所提方法主要存在兩方面的不足:一是對(duì)誤碼的容錯(cuò)性較差,比如文獻(xiàn)[6]中基于關(guān)鍵模方程得到的Gr?bner基約化算法,文獻(xiàn)[7]中基于多項(xiàng)式輾轉(zhuǎn)相除得到的歐幾里得算法,文獻(xiàn)[8-14]中根據(jù)接收序列矩陣化簡(jiǎn)后秩虧和列向量分布得到的矩陣分析法等。在實(shí)際環(huán)境,特別是非合作條件下,受噪聲、干擾和信號(hào)預(yù)處理誤差的影響,解調(diào)、解交織以后得到的二元編碼序列中往往存在很多誤碼,從而約束了上述方法的實(shí)用性。二是在假定預(yù)知很多先驗(yàn)信息的條件下,才能完成部分參數(shù)的識(shí)別。比如Gr?bner基約化算法、歐幾里得算法和文獻(xiàn)[15-17]提出的沃爾什-哈達(dá)瑪變換(Walsh-Hadamard Transform,WHT)算法均在碼長(zhǎng)、編碼約束長(zhǎng)度、碼字起點(diǎn)已知的情況下完成對(duì)生成多項(xiàng)式的識(shí)別。因此,目前僅有矩陣分析法能較完整的完成(n,1,m)卷積碼識(shí)別,其他方法或結(jié)合矩陣分析法進(jìn)行預(yù)處理,從而限制了整體識(shí)別準(zhǔn)確性,或從不同起點(diǎn)和長(zhǎng)度順序截取編碼序列,經(jīng)多次迭代完成碼長(zhǎng)等參數(shù)的驗(yàn)證,整個(gè)過程比較繁瑣。

由以上分析不難發(fā)現(xiàn),(n,1,m)卷積碼識(shí)別的關(guān)鍵在于碼長(zhǎng)n、碼字起點(diǎn)和存儲(chǔ)級(jí)數(shù)m的識(shí)別。針對(duì)傳統(tǒng)方法存在的不足,本文提出了一種基于殘差網(wǎng)絡(luò)(Residual Network,ResNet)的(n,1,m)卷積碼盲識(shí)別新方法。首先利用常用的(n,1,m)卷積碼在不同誤碼率下生成編碼數(shù)據(jù),然后直接按制定長(zhǎng)度隨機(jī)劃分,輸入ResNet完成監(jiān)督學(xué)習(xí)。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性,無需其他先驗(yàn)信息,即可完成碼長(zhǎng)、編碼約束長(zhǎng)度和碼字起點(diǎn)的識(shí)別,且容錯(cuò)性能明顯優(yōu)于傳統(tǒng)方法。

1 問題描述

對(duì)于(n,1,m)卷積碼,參數(shù)n、m分別表示碼長(zhǎng)和存儲(chǔ)級(jí)數(shù)[18-19]。令s(x)表示卷積碼信息序列,C(x)表示編碼序列,G(x)表示生成多項(xiàng)式矩陣,則編碼方程在環(huán)F2(x)上可表示為:

C(x)=s(x)·G(x),

(1)

式中:

(2)

(3)

且

(4)

gi(x)=gi,0+gi,1·x+…+gi,m·xm,i=0,1,…,n-1,

(5)

(6)

設(shè)傳輸時(shí)對(duì)應(yīng)誤碼多項(xiàng)式矩陣為:

(7)

i=0,1,…,n-1。

(8)

為便于分析,將上式轉(zhuǎn)化為二元比特流形式,則:

V=(vk-1,l,vk-1,l+1,…,vk-1,n-1,vk,0,vk,1,vk,2,…,
vk,n-1,vk+1,0,vk+1,1,…,vk+M,p,vk+M,p+1)。

(9)

可以看出,去除編碼序列V首尾兩組不完整的碼字,中間共有M組完整的碼字。卷積碼盲識(shí)別是在僅知道序列V的前提下,通過合適的方法恢復(fù)出碼長(zhǎng)n、碼字起點(diǎn)vk,0和存儲(chǔ)級(jí)數(shù)m等參數(shù),進(jìn)而計(jì)算得到生成多項(xiàng)式。

2 基于ResNet的(n,1,m)卷積碼識(shí)別

2.1 模型結(jié)構(gòu)設(shè)計(jì)

深度神經(jīng)網(wǎng)絡(luò)[20]屬于機(jī)器學(xué)習(xí)算法的一個(gè)重要分支,目前已被廣泛應(yīng)用于計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域。本文考慮到卷積編碼的數(shù)據(jù)特征,采用卷積神經(jīng)網(wǎng)絡(luò)中的ResNet模型進(jìn)行訓(xùn)練,其基本組成結(jié)構(gòu)如圖1所示,共兩種形式,圖中3×3表示卷積核大小,64表示輸出通道的維數(shù)。與普通卷積神經(jīng)網(wǎng)絡(luò)相比,ResNet模型將輸入直接傳到網(wǎng)絡(luò)輸出,使得學(xué)習(xí)目標(biāo)變成了期望輸出與輸入的差值,進(jìn)而避免了深層次卷積神經(jīng)網(wǎng)絡(luò)模型中的模型性能退化的問題,得到了更好的性能。

圖1 ResNet典型殘差單元結(jié)構(gòu)示意圖Fig.1 Architecture of ResNet model

常用的ResNet結(jié)構(gòu)網(wǎng)絡(luò)深度分別為18、34、50、101和152,主要針對(duì)多維數(shù)據(jù),而信道編碼的數(shù)據(jù)是二元序列,為一維數(shù)據(jù)。因此,本文結(jié)合問題的難度,選擇基于Pytorch 中的ResNet-18、ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整,構(gòu)造適用于信道編碼的ResNet網(wǎng)絡(luò)模型,其中,基于ResNet-50模型用于對(duì)編碼結(jié)構(gòu)的識(shí)別,ResNet-18用于對(duì)碼序列起點(diǎn)的識(shí)別。將原網(wǎng)絡(luò)中,卷積核“1×1”“3×3”“7×7”變成“1×1”“1×5”“1×7”,卷積方式由二維卷積變?yōu)橐痪S卷積,得到網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2所示。

(a) 編碼結(jié)構(gòu)識(shí)別網(wǎng)絡(luò)模型

(b) 碼序列起點(diǎn)識(shí)別網(wǎng)絡(luò)模型圖2 本文調(diào)整后的ResNet模型Fig.2 Adjusted ResNet model

2.2 網(wǎng)絡(luò)數(shù)據(jù)樣本生成

本文采用監(jiān)督學(xué)習(xí)算法,基于常用的(n,1,m)卷積碼在不同信噪比下構(gòu)造數(shù)據(jù)樣本,并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,實(shí)際識(shí)別時(shí)將待識(shí)別數(shù)據(jù)序列輸入網(wǎng)絡(luò)即可得到識(shí)別結(jié)果。根據(jù)文獻(xiàn)[15],本文選取碼長(zhǎng)分別為2、3、4,編碼存儲(chǔ)級(jí)數(shù)為1～7的共21種常用碼,用來構(gòu)造數(shù)據(jù)。由前文分析可知,經(jīng)解調(diào)等預(yù)處理后,最終影響識(shí)別效果的是誤比特率和碼字起點(diǎn),因此可以利用計(jì)算機(jī)仿真軟件非常方便地構(gòu)造數(shù)據(jù)集。對(duì)于每一組碼長(zhǎng)n和存儲(chǔ)級(jí)數(shù)m下,選取誤比特率為0(即無誤碼)、0.01～0.09共10種情況,比特序列起點(diǎn)離碼字起點(diǎn)為0～n-1共n種情況,分別在每種組合下構(gòu)造30 000個(gè)200 bit長(zhǎng)度的數(shù)據(jù),其中錯(cuò)誤比特根據(jù)編碼序列長(zhǎng)度和誤比特率隨機(jī)加入。同時(shí),考慮卷積編碼序列中前后比特的相關(guān)性,為了保證每個(gè)數(shù)據(jù)之間彼此獨(dú)立,并不從一條編碼數(shù)據(jù)中順次截取數(shù)據(jù)。而是每次隨機(jī)生成長(zhǎng)度為1 000 bit的數(shù)據(jù)序列,然后按誤比特率隨機(jī)加入誤比特,最后根據(jù)設(shè)置的數(shù)據(jù)起點(diǎn)從中截取長(zhǎng)度為200 bit的數(shù)據(jù)。

2.3 模型訓(xùn)練與識(shí)別步驟

訓(xùn)練編碼結(jié)構(gòu)識(shí)別模型時(shí),將所有數(shù)據(jù)送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,總樣本數(shù)為1.89×107;訓(xùn)練編碼序列起點(diǎn)識(shí)別模型時(shí),分別選取對(duì)應(yīng)碼長(zhǎng)、編碼存儲(chǔ)級(jí)數(shù)下n種樣本序列起點(diǎn)、10種誤比特率下n×10×30 000個(gè)樣本進(jìn)行訓(xùn)練,共需訓(xùn)練21個(gè)識(shí)別模型。兩種網(wǎng)絡(luò)訓(xùn)練均按4∶1的比例隨機(jī)劃分?jǐn)?shù)據(jù),得到訓(xùn)練集和驗(yàn)證集。

根據(jù)以上分析,總結(jié)基于ResNet的(n,1,m)卷積碼識(shí)別步驟如下:

① 針對(duì)表中所示的21種(n,1,m)卷積碼,按1～21 依次進(jìn)行編號(hào),對(duì)于每種編號(hào)下卷積碼,利用Matlab軟件按照2.2節(jié)所示生成訓(xùn)練樣本;

② 將所有樣本混合均勻后按4∶1的比例隨機(jī)劃分?jǐn)?shù)據(jù),得到編碼結(jié)構(gòu)識(shí)別訓(xùn)練集和驗(yàn)證集;分別選取對(duì)應(yīng)碼長(zhǎng)、編碼存儲(chǔ)級(jí)數(shù)下n種樣本序列起點(diǎn)、10種誤比特率下n×10×30 000個(gè)樣本,得到21個(gè)子樣本集,各自混合均勻后按4∶1的比例隨機(jī)劃分?jǐn)?shù)據(jù),得到編碼序列起點(diǎn)識(shí)別訓(xùn)練集和驗(yàn)證集;

③ 基于Pytorch框架分別構(gòu)建圖2所示的編碼結(jié)構(gòu)識(shí)別網(wǎng)絡(luò)模型和編碼序列起點(diǎn)識(shí)別網(wǎng)絡(luò)模型,將訓(xùn)練集樣本輸入各自網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并根據(jù)驗(yàn)證集情況不斷調(diào)整網(wǎng)絡(luò)參數(shù),直到在驗(yàn)證集上結(jié)果最優(yōu);

④ 對(duì)于待識(shí)別的卷積碼序列,按長(zhǎng)度200 bit劃分得到多個(gè)數(shù)據(jù)樣本,輸入到編碼結(jié)構(gòu)識(shí)別網(wǎng)絡(luò)模型,根據(jù)統(tǒng)計(jì)結(jié)果確認(rèn)待識(shí)別的編碼結(jié)構(gòu),然后將編碼序列從起點(diǎn)開始,每次間隔碼長(zhǎng)n劃分序列得到多個(gè)數(shù)據(jù)樣本,輸入所對(duì)應(yīng)編碼結(jié)構(gòu)的編碼序列起點(diǎn)識(shí)別模型,根據(jù)統(tǒng)計(jì)結(jié)果確認(rèn)待識(shí)別的編碼起點(diǎn),識(shí)別完成。

3 仿真驗(yàn)證與分析

仿真軟件基于Windows 10 64位系統(tǒng),數(shù)據(jù)產(chǎn)生基于Matlab R2020a 64位,程序設(shè)計(jì)基于Pycharm 2021.01社區(qū)版,Pytorch框架版本為1.5.1,cuDNN版本為7.6.1。硬件配置為:Intel(R) Core(TM) i9-10900X CPU @3.7 GHz,128 GB RAM,Nvidia GeForce RTX 2080Ti。

3.1 方法有效性驗(yàn)證

按2.2節(jié)生成訓(xùn)練集和驗(yàn)證集,輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,迭代30次后統(tǒng)計(jì)測(cè)試集上每種編碼類型的識(shí)別成功率,得到的混淆矩陣如圖3所示。

圖3 21種編碼樣式綜合識(shí)別準(zhǔn)確率Fig.3 Comprehensive recognition accuracy of 21 convolutional coding structure

圖中,縱軸代表樣本的實(shí)際標(biāo)簽,橫軸代表網(wǎng)絡(luò)預(yù)測(cè)的標(biāo)簽,二者對(duì)應(yīng)的紅色數(shù)值表示實(shí)際標(biāo)簽對(duì)應(yīng)樣本被識(shí)別為預(yù)測(cè)標(biāo)簽對(duì)應(yīng)編碼樣式的概率,即矩陣對(duì)角線處的數(shù)值表示21種編碼樣式在不同誤比特率下的綜合識(shí)別準(zhǔn)確率。可以看出,對(duì)于21種編碼樣式,在誤比特率為0.01～0.09時(shí),綜合識(shí)別準(zhǔn)確率至少大于77.3%。進(jìn)一步地,按2.2節(jié)相同的方法生成數(shù)據(jù)序列,從中隨機(jī)截取長(zhǎng)度為200 bit的數(shù)據(jù),每種情況下生成3 000個(gè)樣本。列出所有編碼樣式隨誤比特率的識(shí)別準(zhǔn)確率變化曲線,結(jié)果如圖4所示?？梢钥闯?在誤比特率小于0.03時(shí),對(duì)所有編碼樣式的識(shí)別準(zhǔn)確率均達(dá)到90%以上,甚至部分編碼樣式在誤比特率為0.09時(shí)識(shí)別準(zhǔn)確率達(dá)到了97%。這證實(shí)了本文所提方法的有效性。

(a) 1/2碼率卷積碼識(shí)別結(jié)果

(b) 1/3碼率卷積碼識(shí)別結(jié)果

(c) 1/4碼率卷積碼識(shí)別結(jié)果圖4 不同誤比特率下卷積碼識(shí)別準(zhǔn)確率Fig.4 Recognition accuracy of convolutional codes under different bit error rates

對(duì)于編碼序列起點(diǎn)識(shí)別,以(2,1,5)、(3,1,5)、(4,1,5)卷積碼為例,在訓(xùn)練集上完成網(wǎng)絡(luò)訓(xùn)練后,在驗(yàn)證集上的統(tǒng)計(jì)每種編碼起點(diǎn)的識(shí)別成功率,得到的混淆矩陣如圖5所示。

(a) (2,1,5)卷積碼識(shí)別結(jié)果

(b) (3,1,5)碼率卷積碼識(shí)別結(jié)果

(c) (4,1,5)碼率卷積碼識(shí)別結(jié)果圖5 編碼起點(diǎn)識(shí)別結(jié)果Fig.5 Recognition result of coding starting point

可以看出,在不同情況下,每種起點(diǎn)情況的識(shí)別準(zhǔn)確率都在96%以上。證實(shí)了本文所提方法的有效性。

3.2 與傳統(tǒng)方法的對(duì)比

對(duì)卷積碼識(shí)別,目前常用的方法主要是基于矩陣分析的方法和基于檢驗(yàn)關(guān)系遍歷驗(yàn)證的方法。下面主要從誤比特率的適應(yīng)性、計(jì)算復(fù)雜度、對(duì)數(shù)據(jù)長(zhǎng)度的需求,以及碼序列起點(diǎn)、碼長(zhǎng)和編碼記憶長(zhǎng)度對(duì)識(shí)別的影響等幾方面進(jìn)行對(duì)比,說明本文方法的優(yōu)勢(shì)之處。

3.2.1 識(shí)別性能對(duì)比

首先將本文方法對(duì)誤比特率的適應(yīng)性與文獻(xiàn)[9]中基于矩陣分析的方法、文獻(xiàn)[16]中基于最大似然檢測(cè)的方法進(jìn)行識(shí)別性能對(duì)比。選取(3,1,5)卷積碼進(jìn)行研究,由于不同方法所需的數(shù)據(jù)量并不相同,為了對(duì)比的客觀性,此處主要考慮各種方法的最佳識(shí)別性能(即各種方法均滿足識(shí)別所需的條件),得到結(jié)果如圖6所示。

圖6 不同方法識(shí)別性能對(duì)比Fig.6 Comparison of recognition performance between different methods

可以看出:

① 在理想情況下,本文的識(shí)別準(zhǔn)確率與文獻(xiàn)[16]中方法基本相當(dāng),明顯優(yōu)于文獻(xiàn)[9]中方法,能在誤碼率為0.09時(shí)達(dá)到90%以上的識(shí)別概率;

② 兩種對(duì)比方法在碼長(zhǎng)增大時(shí)識(shí)別模型更容易受到誤比特的影響,導(dǎo)致識(shí)別率下降,本文方法在碼長(zhǎng)增大時(shí)識(shí)別率反而上升,可能是因?yàn)榇a長(zhǎng)較大時(shí)編碼數(shù)據(jù)包含的特征更明顯,從而使網(wǎng)絡(luò)更容易被訓(xùn)練。

同時(shí),還應(yīng)考慮到不同方法在識(shí)別時(shí)需要的編碼參數(shù)先驗(yàn)知識(shí)并不相同。本文方法和文獻(xiàn)[9]中方法不受先驗(yàn)知識(shí)的影響,直接將接收序列輸入識(shí)別模型即可識(shí)別出對(duì)應(yīng)的碼長(zhǎng)、編碼記憶長(zhǎng)度、生成多項(xiàng)式等參數(shù),而文獻(xiàn)[16]中方法需要預(yù)知碼長(zhǎng)、校驗(yàn)多項(xiàng)式階數(shù)以及編碼起點(diǎn)等知識(shí),否則無法建立有效的方程進(jìn)行識(shí)別。在實(shí)際應(yīng)用場(chǎng)景下先驗(yàn)知識(shí)往往很難獲取,因此文獻(xiàn)[16]中方法的運(yùn)用限制更大。

3.2.2 計(jì)算復(fù)雜度對(duì)比

對(duì)于本文方法,計(jì)算量主要在于網(wǎng)絡(luò)的訓(xùn)練過程,但由于網(wǎng)絡(luò)模型可以提前訓(xùn)練,而實(shí)際識(shí)別時(shí)往往需要近實(shí)時(shí)處理,因此,與文獻(xiàn)[9,16]中的方法進(jìn)行計(jì)算量對(duì)比時(shí),主要對(duì)比識(shí)別時(shí)的計(jì)算量,對(duì)于本文方法即測(cè)試過程的計(jì)算量。

Ml=(Ml-1-Kl+2Pl)/Sl+1。

(10)

根據(jù)圖4可知,網(wǎng)絡(luò)包含卷積層數(shù)為49,卷積核長(zhǎng)度取值為1或5,P取值為1或3,S取值為1或2,根據(jù)以上參數(shù)可以計(jì)算識(shí)別所需的計(jì)算復(fù)雜度。文獻(xiàn)[9]中方法計(jì)算復(fù)雜度為Ο(25·L3/14),其中L取值為49;文獻(xiàn)[16]中方法計(jì)算復(fù)雜度為Ο(N·n·(K+1)·2n(K+1)),其中n為碼長(zhǎng),N為建立的方程組系數(shù)矩陣的行數(shù),K為校驗(yàn)多項(xiàng)式的最高階數(shù)。計(jì)算文中21種卷積碼的計(jì)算復(fù)雜度如圖7所示。

圖7 不同方法計(jì)算復(fù)雜度對(duì)比Fig.7 Comparison of calculation complexity between different methods

可以看出,本文方法的計(jì)算復(fù)雜度保持恒定,在編碼參數(shù)較小時(shí)大于兩種傳統(tǒng)方法,但隨著編碼參數(shù)的增大,基于最大似然檢測(cè)的方法計(jì)算復(fù)雜度逐漸超過本文方法。

3.2.3 對(duì)數(shù)據(jù)長(zhǎng)度的需求

本文識(shí)別方法網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)可以用通過計(jì)算機(jī)仿真生成,識(shí)別時(shí)所需的數(shù)據(jù)量與網(wǎng)絡(luò)訓(xùn)練時(shí)選擇的樣本長(zhǎng)度相同,恒定為200,而文獻(xiàn)[9,16]中的方法往往與編碼參數(shù)有關(guān)。文獻(xiàn)[9]建立分析矩陣的列數(shù)要大于編碼約束長(zhǎng)度n·(m+1),在本文選擇的21種編碼方式下,取列數(shù)為30,行數(shù)為35,每行的起點(diǎn)間隔取12,則建立分析矩陣的過程所需數(shù)據(jù)量至少為438。文獻(xiàn)[16]方法與誤比特率、方程解的重量(即解向量中1的個(gè)數(shù))有關(guān),誤比特率越高、方程解的重量越大,所需數(shù)據(jù)量越多。本文取校驗(yàn)多項(xiàng)式階數(shù)為K=「(m+1)/2?,方程解的重量為ω=「n(「(m+1)/2?+1)/2?,誤比特率取0.09,則所需數(shù)據(jù)量為:

(11)

計(jì)算21種編碼方式所需的數(shù)據(jù)長(zhǎng)度,結(jié)果如圖8所示?？梢钥闯?本文識(shí)別方法所需數(shù)據(jù)長(zhǎng)度小于兩種對(duì)比方法,特別是文獻(xiàn)[16]中的方法,在碼長(zhǎng)、編碼記憶長(zhǎng)度較大情況下差距能達(dá)到數(shù)百倍。

圖8 不同方法識(shí)別對(duì)數(shù)據(jù)長(zhǎng)度的需求對(duì)比Fig.8 Comparison of sequence length needed for recognition between different methods

4 結(jié)束語

本文提出了一種基于ResNet的(n,1,m)卷積碼盲識(shí)別新方法,將圖像識(shí)別領(lǐng)域常用的神經(jīng)網(wǎng)絡(luò)模型經(jīng)改造應(yīng)用于信道編碼識(shí)別領(lǐng)域,由網(wǎng)絡(luò)提取不同編碼參數(shù)下的差異特征,改變了傳統(tǒng)人工提取特征進(jìn)行卷積碼參數(shù)識(shí)別的思路,可有效提升高誤比特率下的識(shí)別準(zhǔn)確率,且識(shí)別所需數(shù)據(jù)量有效降低,更適用于非合作條件下的信道編碼盲識(shí)別。

下一步將重點(diǎn)關(guān)注刪余卷積碼、線性分組碼、Turbo碼等編碼類型和參數(shù)的識(shí)別,將基于深度學(xué)習(xí)的識(shí)別模型擴(kuò)展至其他編碼類型,進(jìn)一步提升實(shí)際工程應(yīng)用價(jià)值。