分組馬爾可夫疊加傳輸?shù)纳窠?jīng)網(wǎng)絡(luò)譯碼

王千帆，畢勝，陳曾喆，陳立，馬嘯

（1.中山大學(xué)電子與通信工程學(xué)院，廣東 廣州 510006；2.中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院，廣東 廣州 510006；3.中山大學(xué)廣東省信息安全重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510006；4.中山大學(xué)電子與信息工程學(xué)院，廣東 廣州 5 100063）

1 引言

通信領(lǐng)域是一個(gè)相對(duì)復(fù)雜且成熟的領(lǐng)域，傳統(tǒng)的性能優(yōu)化方法的效果正在逐步減弱，這種現(xiàn)象在物理層尤為明顯[1]。為滿足用戶對(duì)新一代通信的需求，通信技術(shù)和人工智能技術(shù)相結(jié)合成為一種新的研究方向。機(jī)器學(xué)習(xí)被認(rèn)為是人工智能領(lǐng)域中最能體現(xiàn)“智能”的分支之一，其在處理難以用數(shù)學(xué)公式描述的問(wèn)題上具有一定優(yōu)勢(shì)，并成功地應(yīng)用在圖像處理、文本處理等領(lǐng)域。

受機(jī)器學(xué)習(xí)在圖像去噪和超清分辨等方面研究的啟發(fā)，基于機(jī)器學(xué)習(xí)來(lái)實(shí)現(xiàn)或優(yōu)化旨在去除噪聲恢復(fù)數(shù)據(jù)的信道譯碼引起了越來(lái)越多的關(guān)注。神經(jīng)網(wǎng)絡(luò)（NN,neural network）是機(jī)器學(xué)習(xí)中的重要分支之一，將NN運(yùn)用到信道譯碼研究的優(yōu)勢(shì)在于NN是不依賴于模型的，即不需要對(duì)信道噪聲的統(tǒng)計(jì)信息做任何假設(shè)，便能在訓(xùn)練過(guò)程中學(xué)習(xí)信道的映射關(guān)系或提取信道統(tǒng)計(jì)信息[2]。此外，NN在并行性上也具有一定的優(yōu)勢(shì)，利用NN可以最大限度地并行化譯碼過(guò)程，從而提高譯碼器的吞吐量[3]。目前，基于NN的譯碼研究已經(jīng)取得了初步的成 果[4-5]。一般來(lái)說(shuō)，使用NN進(jìn)行譯碼可以看作一個(gè)分類問(wèn)題。然而類別的數(shù)量隨著信息位長(zhǎng)度的增長(zhǎng)呈指數(shù)增長(zhǎng)，存在維度詛咒現(xiàn)象[6]。當(dāng)信息位長(zhǎng)度較大時(shí)，使用NN直接譯碼一般難以獲得較好的譯碼性能，因此不具備實(shí)用價(jià)值，這也是目前基于NN的譯碼主要針對(duì)中短碼的原因。然而即使在中短碼的情況下，目前的方案一般也難以達(dá)到傳統(tǒng)方案最優(yōu)的譯碼性能。文獻(xiàn)[4]使用NN對(duì)碼長(zhǎng)16的極化碼進(jìn)行譯碼，性能接近最大似然（ML,maximum likelihood）譯碼，但仍有一定差距。文獻(xiàn)[5]基于NN改進(jìn)了中短碼長(zhǎng)的BCH（Bose-Ray-Hocquengthem）碼在置信傳播譯碼下的性能，但與傳統(tǒng)譯碼性能相比仍有部分差距。文獻(xiàn)[7]提出了一種針對(duì)低密度奇偶校驗(yàn)（LDPC,low density parity check）碼、極化碼的NN聯(lián)合譯碼方案，該譯碼方案可以達(dá)到與置信傳播譯碼相近的性能，但所使用的碼長(zhǎng)仍然是較短的。文獻(xiàn)[8]使用NN代替極化碼連續(xù)消除譯碼器中的部分子塊，但所使用的碼長(zhǎng)仍然是較短的。通過(guò)以上的研究可以發(fā)現(xiàn)，基于NN的譯碼研究主要面臨兩方面的問(wèn)題：一方面是短碼情況下如何達(dá)到傳統(tǒng)方案的最優(yōu)譯碼性能，另一方面是如何將NN運(yùn)用到長(zhǎng)碼的譯碼中。

分組馬爾可夫疊加傳輸（BMST,block Markov superposition transmission）是近年來(lái)提出的一種新的編碼傳輸方案[9-10]，其編碼過(guò)程如下。信息序列先由基本碼進(jìn)行編碼，然后將編碼后的序列進(jìn)行交織，最后將交織后的序列進(jìn)行疊加傳輸，從而達(dá)到既能重復(fù)傳輸多次又能保證傳輸效率的目的。研究者在多個(gè)場(chǎng)景下對(duì)BMST進(jìn)行了研究。文獻(xiàn)[11]提出了適用于光纖通信場(chǎng)景的BMST-BCH碼設(shè)計(jì)，保證了高碼率傳輸下的高可靠性。文獻(xiàn)[12]提出了一種基于BMST通過(guò)部分疊加來(lái)構(gòu)造空間耦合LDPC碼的一般方法。此外，BMST在加性高斯白噪聲（AWGN,additive white Gaussian noise）信道[9]、湍流信道[13]和非高斯脈沖信道[14]上均有逼近香農(nóng)限的性能，同時(shí)研究者也給出了相應(yīng)的用于預(yù)測(cè)誤碼性能的簡(jiǎn)單下界。BMST具有諸多優(yōu)點(diǎn)，其由短碼出發(fā)，構(gòu)造性能優(yōu)異的長(zhǎng)碼為NN運(yùn)用到長(zhǎng)碼提供了一種可能，即可以設(shè)計(jì)針對(duì)短碼的NN譯碼器，并將此譯碼器嵌入長(zhǎng)碼譯碼的迭代機(jī)制中，從而替代其中部分模塊。

文獻(xiàn)[15]初步提出了基于NN的BMST譯碼方案，以漢明（Hamming）碼為基本碼，利用NN實(shí)現(xiàn)了僅比ML譯碼器差0.5 dB的基本碼譯碼器，并將其嵌入了BMST的迭代譯碼機(jī)制中。本文在文獻(xiàn)[15]的基礎(chǔ)上改進(jìn)了基于NN的BMST譯碼方法，分析了不同網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)表征形式對(duì)譯碼性能的影響，通過(guò)引入獨(dú)熱向量，使基于NN的基本碼譯碼器可以達(dá)到ML譯碼的性能。針對(duì)使用獨(dú)熱向量可以達(dá)到ML譯碼性能的原因，本文也給出了相應(yīng)解釋。由于使用獨(dú)熱向量時(shí)輸出層神經(jīng)元個(gè)數(shù)隨信息位長(zhǎng)度的增長(zhǎng)呈指數(shù)增長(zhǎng)，而輸出層神經(jīng)元個(gè)數(shù)過(guò)多是不利于學(xué)習(xí)的。針對(duì)該問(wèn)題，本文提出了雙熱向量，從而極大地減少輸出層神經(jīng)元個(gè)數(shù)，降低學(xué)習(xí)復(fù)雜度，同時(shí)可以達(dá)到接近ML譯碼的性能。最后，本文將所實(shí)現(xiàn)的NN基本碼譯碼器嵌入迭代譯碼機(jī)制中，設(shè)計(jì)了基于NN的分組馬爾可夫疊加傳輸?shù)幕白g碼算法，并分析了其對(duì)應(yīng)的性能下界。仿真結(jié)果顯示：1)所提NN基本碼譯碼器在使用獨(dú)熱向量表征下可以達(dá)到ML譯碼的性能，在使用降低學(xué)習(xí)復(fù)雜度的雙熱向量表征下可以達(dá)到接近ML譯碼的性能；2)所提基于NN的分組馬爾可夫疊加傳輸?shù)幕白g碼算法的性能在中高信噪比區(qū)域貼合其對(duì)應(yīng)的精靈輔助（GA,genie-aided）下界，并與BMST的傳統(tǒng)性能下界貼近，獲得了額外的編碼增益。

2 預(yù)備知識(shí)

2.1 神經(jīng)網(wǎng)絡(luò)

受到人腦結(jié)構(gòu)的啟發(fā)，研究者提出了NN的概念[16]。類似于大腦，NN具有學(xué)習(xí)、存儲(chǔ)和使用經(jīng)驗(yàn)知識(shí)的特性。整個(gè)NN由輸入層、隱含層和輸出層構(gòu)成，如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖2展示了神經(jīng)元的運(yùn)算過(guò)程。假設(shè)前一層有n個(gè)神經(jīng)元與本層第k個(gè)神經(jīng)元相連，則本層第k個(gè)神經(jīng)元的輸出y(k)如式(1)所示。

其中，x(i)表示此神經(jīng)元的第i個(gè)輸入，w(i)表示第i個(gè)輸入對(duì)應(yīng)的權(quán)重，b(k)表示此神經(jīng)元對(duì)應(yīng)的偏置，?表示激活函數(shù)。這里權(quán)重和偏置用來(lái)描述線性關(guān)系，激活函數(shù)用來(lái)描述非線性關(guān)系。

圖2 神經(jīng)元的運(yùn)算過(guò)程

2.2 分組馬爾可夫疊加傳輸

記憶長(zhǎng)度為m的BMST系統(tǒng)的編碼過(guò)程如圖3所示。該系統(tǒng)是由一個(gè)基本碼編碼器、m個(gè)交織器和m個(gè)寄存器組成。這里考慮基本碼是一個(gè)碼長(zhǎng)為n、信息位長(zhǎng)度為k的二元線性碼C[n,k]。

圖3 BMST系統(tǒng)編碼過(guò)程

BMST方案的碼字c(t)經(jīng)過(guò)調(diào)制后發(fā)送到噪聲信道，接收端獲得信號(hào)的含噪信號(hào)y(t)。本文的調(diào)制方式為二進(jìn)制相移鍵控（BPSK,binary phase shift keying），噪聲信道為AWGN信道。

BMST的譯碼過(guò)程采用基于正規(guī)圖（normal graph）[17]的滑窗譯碼算法，具體譯碼過(guò)程見(jiàn)文獻(xiàn)[10]。

3 神經(jīng)網(wǎng)絡(luò)譯碼

3.1 基于神經(jīng)網(wǎng)絡(luò)的基本碼譯碼

本節(jié)將介紹利用NN實(shí)現(xiàn)的不同方案的基本碼譯碼器，其中，基本碼采用[7,4]漢明碼，隱含層的激活函數(shù)使用ReLU函數(shù)[18]，輸出層的激活函數(shù)使用sigmoid函數(shù)，具體如式(2)和式(3)所示。

NN輸入數(shù)據(jù)為有噪信號(hào)，因此，針對(duì)NN結(jié)構(gòu)和監(jiān)督數(shù)據(jù)的表征形式，本文給出了4種方案。

方案1使用一個(gè)輸入輸出維度均為7的NN，如圖4所示。NN訓(xùn)練所用的輸入數(shù)據(jù)為7維噪聲向量，監(jiān)督數(shù)據(jù)為軟入軟出（SISO,soft-in soft-out）ML譯碼后輸出的7維概率向量。

圖4 方案1架構(gòu)

方案2架構(gòu)如圖5所示，其基本思想是通過(guò)縮小NN的輸出維度來(lái)減少每個(gè)NN的類別數(shù)目，以此改進(jìn)性能。該方案使用2個(gè)輸入維度均為7的NN（NN-1和NN-2），其輸出維度分別為4和3。訓(xùn)練所用的輸入數(shù)據(jù)均為7維噪聲向量，NN-1所使用的監(jiān)督數(shù)據(jù)為與ML譯碼器輸出的信息位對(duì)應(yīng)的4維概率向量，NN-2所使用的監(jiān)督數(shù)據(jù)為ML譯碼器輸出的校驗(yàn)位對(duì)應(yīng)的3維概率向量。

圖5 方案2架構(gòu)

方案3如圖6所示。該方案中的NN輸入維度為7，輸出維度為16。訓(xùn)練所用的輸入數(shù)據(jù)為7維噪聲向量，監(jiān)督數(shù)據(jù)為16維獨(dú)熱向量表示的信息位。獨(dú)熱向量采用N種情況使用一個(gè)長(zhǎng)度為N的向量進(jìn)行表示，當(dāng)出現(xiàn)第i種情況時(shí)(1≤i≤N)，該向量的第i個(gè)元素值為1，其他元素值為0。本文采用的基本碼信息位長(zhǎng)度為4，因此N=24=16。采用獨(dú)熱向量需要更多的神經(jīng)元來(lái)表征不同類別，雖然這增加了輸出層神經(jīng)元數(shù)目，但是更易于區(qū)分每個(gè)類別。

圖6 方案3架構(gòu)

方案4架構(gòu)如圖7所示。該方案中的NN輸入維度為7，輸出維度為8。訓(xùn)練所使用的輸入數(shù)據(jù)為7維噪聲向量，監(jiān)督數(shù)據(jù)為使用8維雙熱向量表示的信息位。監(jiān)督數(shù)據(jù)中前4維向量是信息位前兩位對(duì)應(yīng)的獨(dú)熱向量，后4維向量是信息位后兩位對(duì)應(yīng)的獨(dú)熱向量。當(dāng)采用方案3中的獨(dú)熱向量來(lái)表示信息位時(shí)，輸出層神經(jīng)元個(gè)數(shù)隨信息位長(zhǎng)度的增長(zhǎng)呈指數(shù)增長(zhǎng)，但輸出層神經(jīng)元個(gè)數(shù)過(guò)多是不利于NN訓(xùn)練的。方案4可以使輸出層神經(jīng)元個(gè)數(shù)大幅減少。以10 bit信息位為例，采用方案3，輸出層神經(jīng)元個(gè)數(shù)為210=1 024。若采用方案4，則輸出層神經(jīng)元個(gè)數(shù)減少至25+25=64個(gè)。

圖7 方案4架構(gòu)

3.2 基于神經(jīng)網(wǎng)絡(luò)的BMST譯碼

本節(jié)基于3.1節(jié)的NN基本碼譯碼器，針對(duì)BMST系統(tǒng)提出了基于NN的滑窗譯碼算法，一般使用正規(guī)圖[17]來(lái)描述該譯碼算法的信息傳遞過(guò)程。圖8為L(zhǎng)=4、m=2的BMST基于NN的滑窗譯碼器示意。一般來(lái)說(shuō)，譯碼窗口d≥m，圖8中的矩形表示節(jié)點(diǎn)，與節(jié)點(diǎn)相連的邊需要滿足一定的信息傳遞約束。Y(t)、C(t)、V(t)和U(t)分別為y(t)、c(t)、v(t)和u(t)對(duì)應(yīng)的隨機(jī)向量，這里y(t)、c(t)、v(t)和u(t)分別表示接收序列、發(fā)送碼字、基本碼碼字和信源序列；H(·)表示隨機(jī)變量的熵。在一個(gè)譯碼層中，包含4類節(jié)點(diǎn)，具體如下。

圖8 基于NN的BMST滑窗譯碼示意

譯碼窗口為d的滑窗譯碼算法只在包含d+1層的子正規(guī)圖上進(jìn)行迭代譯碼。接收向量y(t+d)在時(shí)刻t+d輸入譯碼器中進(jìn)行迭代。迭代完成后，基于NN的滑窗譯碼算法輸出信源u(t)的估計(jì)。詳細(xì)過(guò)程如算法2所示。

算法2基于NN的BMST滑窗譯碼算法

輸入

輸出

全局初始化譯碼器根據(jù)接收向量y(t)(0≤t≤d-1)計(jì)算c(t)對(duì)應(yīng)的后驗(yàn)概率，正規(guī)圖上當(dāng)前層內(nèi)部其他邊上的消息及連接到其他層的所有邊上的消息都按照均勻分布進(jìn)行初始化。設(shè)置最大迭代次數(shù)Jmax＞0，閾值σ＞0，熵率H0(Y(t))=0。

滑窗譯碼 fort=0,1,…,L-1

1)局部初始化。當(dāng)t+d≤L+m-1時(shí)，譯碼器根據(jù)接收向量y(t+d)計(jì)算c(t+d)對(duì)應(yīng)的后驗(yàn)概率。將第t+d層內(nèi)部其他邊上的消息及連接到其他層的所有邊上的消息按照均勻分布進(jìn)行初始化。

2)迭代。forJ=1,…,Jmax

①前向遞歸。對(duì)于i=0,1,…,d，正規(guī)圖上第t+i層消息傳遞的順序?yàn)?/p>

② 后向遞歸。對(duì)于i=d,d-1,…,0，正規(guī)圖上第t+i層消息傳遞的順序?yàn)?/p>

③判決。對(duì)v(t)進(jìn)行硬判決，計(jì)算Y(t)的熵率HJ(Y(t))，若滿足|HJ(Y(t))-HJ-1(Y(t))|≤σ，則退出迭代，并輸出。

3)干擾消除。通過(guò)更新C(t+1),…,C(t+m)對(duì)應(yīng)的后驗(yàn)概率來(lái)移除所有層上v(t)的影響。

3.3 GA下界

本節(jié)分析得到基于NN的BMST系統(tǒng)的GA下界。文獻(xiàn)[9]中給出了采用BPSK調(diào)制的BMST在AWGN信道下的GA下界，如式(4)所示。

其中，λ表示，Eb表示每比特的信號(hào)能量，N0表示噪聲的功率譜密度；FBMST(·)和Fbasic(·)分別表示記憶長(zhǎng)度為m的BMST和基本碼的性能函數(shù)。在中高信噪比區(qū)域，BMST的最大額外增益為10log(m+1)dB?；贜N的BMST系統(tǒng)同樣存在著類似的GA下界，如式(5)所示。

其中，F(xiàn)BMST-NN(·)和Fbasic-NN(·)分別為記憶長(zhǎng)度為m的基于NN的BMST和基本碼的性能函數(shù)。對(duì)于記憶長(zhǎng)度為m的BMST系統(tǒng)而言，只需將基于NN的基本碼譯碼器的誤比特率曲線向左平移10log(m+1)dB，即可得到對(duì)應(yīng)的GA下界。

4 數(shù)值結(jié)果

本節(jié)通過(guò)幾個(gè)例子來(lái)分析第3節(jié)中4種不同方案的NN基本碼譯碼器和不同基本碼譯碼器嵌入BMST系統(tǒng)的性能。BMST系統(tǒng)中基本碼使用漢明碼的2 500重笛卡爾積[7,4]2500，其信息位長(zhǎng)度和碼字長(zhǎng)度分別為k=10000和n=17500。在BMST系統(tǒng)中，采用的交織器是長(zhǎng)度為17500的均勻隨機(jī)交織器[10]。對(duì)于基本碼譯碼器，本文只需要針對(duì)原始的[7,4]漢明碼訓(xùn)練即可，所產(chǎn)生訓(xùn)練數(shù)據(jù)的為6 dB，訓(xùn)練數(shù)據(jù)量為107幀，每批樣本大小為256幀。使用TensorFlow開(kāi)源框架的ADAM-Optimizer，學(xué)習(xí)率為0.1，步長(zhǎng)為0.01。文中用(N0,N1,…,N?-1)來(lái)表示包含?層隱含層的NN，其中第i層隱含層的神經(jīng)元個(gè)數(shù)為Ni。采用算法2作為BMST的譯碼算法，設(shè)置最大迭代次數(shù)Jmax=50，L=98，譯碼的熵終止閾值σ=10-5。

例1圖9展示了漢明碼在方案1中不同NN結(jié)構(gòu)對(duì)譯碼性能的影響，參數(shù)設(shè)置與文獻(xiàn)[15]相同，本文得到了相似的仿真結(jié)果。由仿真結(jié)果可知，在一定范圍內(nèi)，增加隱含層神經(jīng)元的數(shù)目可以改善性能。兩層隱含層神經(jīng)元個(gè)數(shù)分別為56、28時(shí)（圖9中表示為 (56,28)），在BER=10-4處，該方案比ML譯碼方案差1.2 dB。結(jié)果還反映再增大神經(jīng)元數(shù)目已無(wú)意義，即網(wǎng)絡(luò)結(jié)構(gòu)(56,28)已飽和。

圖9 方案1下不同NN結(jié)構(gòu)的漢明碼譯碼性能曲線

例2圖10展示了漢明碼在方案2不同NN結(jié)構(gòu)對(duì)譯碼性能的影響。方案2通過(guò)使用2個(gè)獨(dú)立的NN，縮小NN的輸出維度并改善性能。由仿真結(jié)果可知，相比于方案1，方案2的性能得到了提升。結(jié)果還反映在一定范圍內(nèi)，增加隱含層神經(jīng)元的數(shù)目可以改善性能。在BER=10-4處，NN結(jié)構(gòu)為(28,14)的方案2性能比ML譯碼方案差0.5 dB。

例3圖11展示了漢明碼在采用方案3情況下不同NN結(jié)構(gòu)對(duì)譯碼性能的影響。方案3使用一個(gè)獨(dú)熱向量來(lái)表示信息位。由仿真結(jié)果可知，所有網(wǎng)絡(luò)結(jié)構(gòu)的性能曲線均貼合ML譯碼方案的性能曲線。使用沒(méi)有隱含層的淺層NN（圖11中表示為(none)）同樣可以達(dá)到ML譯碼方案的性能。在淺層NN結(jié)構(gòu)下，乘法和加法分別需要執(zhí)行7×16=112次，比較操作需要執(zhí)行15次，激活函數(shù)執(zhí)行16次，這里激活函數(shù)可以通過(guò)查表獲得輸出值。而ML譯碼方案分為2個(gè)步驟，第一步計(jì)算16個(gè)碼字的概率，需要進(jìn)行96次乘法；第二步根據(jù)16個(gè)碼字的概率，得到譯碼選擇，需要15次比較操作。表1展示了2種譯碼器的復(fù)雜度對(duì)比。從表1中可以看出，方案3 NN (none) 譯碼器相比于ML譯碼方案只是增加了加法運(yùn)算和較少的乘法運(yùn)算。

圖10 方案2下不同NN結(jié)構(gòu)的漢明碼譯碼性能曲線

圖11 方案3下不同NN結(jié)構(gòu)的漢明碼譯碼性能曲線

表1 2種譯碼方案的計(jì)算復(fù)雜度對(duì)比

由圖11還可以看出，方案3在沒(méi)有隱含層的情況下可以達(dá)到ML譯碼方案的性能，這是由于無(wú)隱含層的方案3等效于實(shí)現(xiàn)一個(gè)ML譯碼方案。以如下給定權(quán)重、偏置的“NN”來(lái)解釋其等效性。假設(shè)接收向量對(duì)應(yīng)的對(duì)數(shù)似然比作為NN的輸入，沒(méi)有隱含層，輸出層神經(jīng)元個(gè)數(shù)為16個(gè)，且每個(gè)輸出層神經(jīng)元的偏置均為0，無(wú)激活函數(shù)。若碼表中第i個(gè)碼字的第j位為0，則輸入層第j個(gè)神經(jīng)元與輸出層第i個(gè)神經(jīng)元的權(quán)重為+1，反之則為-1。經(jīng)過(guò)前向傳播后，若該NN第b個(gè)輸出層神經(jīng)元的值最大，則碼表中第b個(gè)碼字的概率最大。上述給定權(quán)重、偏置的“NN”，即ML譯碼方案的網(wǎng)絡(luò)實(shí)現(xiàn)形式?；诖?，對(duì)于碼表已知的任意編碼方案的ML譯碼方案，均可以由NN來(lái)實(shí)現(xiàn)。但是使用獨(dú)熱向量情況下，輸出層神經(jīng)元個(gè)數(shù)會(huì)隨信息位長(zhǎng)度呈指數(shù)增長(zhǎng)，輸出層神經(jīng)元個(gè)數(shù)過(guò)多是不利于學(xué)習(xí)的。針對(duì)這個(gè)問(wèn)題，本文提出了雙熱向量，即方案4，如例4所示。

例4圖12展示了漢明碼在方案4不同NN結(jié)構(gòu)對(duì)譯碼性能的影響。方案4使用雙熱向量來(lái)表示信息位，從而減小輸出層神經(jīng)元個(gè)數(shù)，降低學(xué)習(xí)復(fù)雜度。由仿真結(jié)果可知，在BER=10-5處，網(wǎng)絡(luò)結(jié)構(gòu)為(56,28)的方案4性能比ML譯碼方案差0.2 dB，達(dá)到了近似最優(yōu)的性能，同時(shí)降低了學(xué)習(xí)復(fù)雜度，更具有實(shí)用性。

圖12 方案4下不同NN結(jié)構(gòu)的漢明碼譯碼性能曲線

例5圖13展示了不同方案的NN基本碼譯碼器嵌入BMST系統(tǒng)中的性能。所有訓(xùn)練方案的隱含層NN結(jié)構(gòu)均為(56,28)。BMST系統(tǒng)記憶長(zhǎng)度m=1，譯碼窗口d=7。由仿真結(jié)果可知，使用不同方案基本碼譯碼器的BMST系統(tǒng)均獲得了額外編碼增益。其中，使用方案3的BMST系統(tǒng)的性能在中高信噪比區(qū)域貼合其對(duì)應(yīng)的GA下界，并與BMST的傳統(tǒng)性能下界接近。同時(shí)，使用方案4的BMST系統(tǒng)也獲得了較好的性能，并在中高信噪比區(qū)域與方案3(56,28)的性能下界貼合。

圖13 不同方案的基本碼譯碼器在BMST系統(tǒng)中的性能比較

例6圖14展示了記憶長(zhǎng)度m對(duì)基于NN的BMST系統(tǒng)的性能影響。漢明碼采用方案3 NN(56,28)的譯碼器，BMST系統(tǒng)中同樣采用相同結(jié)構(gòu)的NN譯碼器。BMST系統(tǒng)記憶長(zhǎng)度和譯碼窗口設(shè)置分別為[m,d]=[1,3]和[m,d]=[2,6]。由仿真結(jié)果可知，基于NN的BMST系統(tǒng)增大記憶長(zhǎng)度m可以提高性能，同時(shí)，不同記憶長(zhǎng)度m的仿真性能在中高信噪比區(qū)域都與其對(duì)應(yīng)的下界貼合。

圖14 不同記憶長(zhǎng)度的BMST系統(tǒng)的性能比較

5 結(jié)束語(yǔ)

本文研究了基于NN的分組馬爾可夫疊加傳輸?shù)淖g碼方案，給出了不同網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)表征形式對(duì)譯碼性能的影響。針對(duì)數(shù)據(jù)表征形式，提出了縮減NN輸出維度、使用獨(dú)熱向量表示信息位和使用雙熱向量表示信息位等方案。其中，使用獨(dú)熱向量表示信息位的NN基本碼譯碼器可以達(dá)到ML譯碼的性能。針對(duì)獨(dú)熱向量下輸出層神經(jīng)元個(gè)數(shù)過(guò)多、不利于學(xué)習(xí)的問(wèn)題，提出了雙熱向量，可以極大減少輸出層神經(jīng)元個(gè)數(shù)，同時(shí)可以達(dá)到接近ML譯碼的性能。在此基礎(chǔ)上，將不同方案的基本碼譯碼器嵌入BMST迭代譯碼機(jī)制中，替換了長(zhǎng)碼譯碼中的部分模塊，均獲得了額外編碼增益。其中采用方案3的BMST系統(tǒng)的性能貼合其對(duì)應(yīng)的GA下界，并與BMST的傳統(tǒng)性能下界接近。