基于神經(jīng)網(wǎng)絡(luò)的信道譯碼算法研究綜述

王玉環(huán)，尹航，楊占昕

(中國(guó)傳媒大學(xué)廣播電視數(shù)字化教育部工程研究中心，北京 100024)

1 引言

當(dāng)今時(shí)代，神經(jīng)網(wǎng)絡(luò)技術(shù)得到了質(zhì)的飛躍，應(yīng)用范圍也涉及到了多個(gè)領(lǐng)域。神經(jīng)網(wǎng)絡(luò)處理信息的規(guī)則和人腦的信息處理機(jī)制相似，具有并行運(yùn)算、分布式存儲(chǔ)、聯(lián)想記憶、自組織自適應(yīng)和容錯(cuò)的能力。

神經(jīng)網(wǎng)絡(luò)與糾錯(cuò)碼技術(shù)有著相似的理論背景，尤其是在數(shù)學(xué)方法上有著相似的密切聯(lián)系。將神經(jīng)網(wǎng)絡(luò)應(yīng)用到糾錯(cuò)碼的譯碼中，計(jì)算復(fù)雜度得到了降低，且在一定的程度上誤碼性能也得到了提升。

低密度奇偶檢驗(yàn)碼(LDPC碼)和極化碼(Polar碼)是5G移動(dòng)通信系統(tǒng)中信道編碼的候選技術(shù)，也是衛(wèi)星通信、軍事通信等眾多通信系統(tǒng)中信道編碼的常用方法。研究基于神經(jīng)網(wǎng)絡(luò)的LDPC碼和Polar碼的譯碼方法是具有理論和實(shí)用意義的。

本文第二部分介紹了神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程；第三部分重點(diǎn)介紹基于神經(jīng)網(wǎng)絡(luò)的LDPC碼和Polar碼的譯碼方法，以及討論了各種方法的優(yōu)缺點(diǎn)；第四部分分析了對(duì)未來(lái)的研究方向。

2 神經(jīng)網(wǎng)絡(luò)發(fā)展歷程

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元構(gòu)成。神經(jīng)元模型(如圖1)是由美國(guó)心理學(xué)家McCulloch和數(shù)學(xué)家Pitts在1943年提出的，這為神經(jīng)網(wǎng)絡(luò)的理論研究開辟了嶄新的道路。

圖1 神經(jīng)元的模型

圖1中，w_i，j表示兩個(gè)神經(jīng)元i和j之間的連接權(quán)值；激活函數(shù)可限制神經(jīng)元輸出的振幅；偏置改變激活函數(shù)的網(wǎng)絡(luò)輸入。

感知機(jī)[1]是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，也是首次將神經(jīng)網(wǎng)絡(luò)和模式識(shí)別相結(jié)合的裝置。由于自身結(jié)構(gòu)和網(wǎng)絡(luò)層數(shù)的限制，使得感知機(jī)對(duì)于一些復(fù)雜的異或問(wèn)題沒(méi)有處理的能力。

Hopfield網(wǎng)絡(luò)模型是由Hopfield教授在1982年提出的[2]，同時(shí)還提出能量函數(shù)。Hopfield網(wǎng)絡(luò)的出現(xiàn)打破了感知機(jī)的應(yīng)用局限，它是一種遞歸神經(jīng)網(wǎng)絡(luò)，其模型可以實(shí)現(xiàn)聯(lián)想記憶功能和作為聯(lián)想存儲(chǔ)器。

1983年，Sejnowski和Hinton提出了“隱單元”的概念，并且設(shè)計(jì)了波爾茲曼機(jī)(Boltzmann Machine，BM)[3]。BM可以從復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)潛在的特征并進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，但是網(wǎng)絡(luò)的訓(xùn)練時(shí)間比較長(zhǎng)。為了減少訓(xùn)練時(shí)間，引入了限制波爾茲曼機(jī)(RBM)[4]，RBM可以解決分類、回歸、降維等問(wèn)題。

隨著網(wǎng)絡(luò)層數(shù)的增加，神經(jīng)網(wǎng)絡(luò)的逼近能力也在增強(qiáng)，但是網(wǎng)絡(luò)參數(shù)的訓(xùn)練是一個(gè)很繁瑣的過(guò)程，同時(shí)也是制約多層神經(jīng)網(wǎng)絡(luò)發(fā)展的關(guān)鍵因素。

1986年，Rumelhart、Hinton和Williams提出了著名的訓(xùn)練算法—反向傳播算法(BP，Back Propagation)[5]，BP算法的出現(xiàn)使得神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了嶄新的階段。BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)是在事前不知道輸入和輸出確定數(shù)學(xué)關(guān)系表達(dá)式時(shí)，可以通過(guò)學(xué)習(xí)來(lái)存儲(chǔ)輸入和輸出之間的內(nèi)在關(guān)系。

為了模擬生物神經(jīng)元的局部響應(yīng)特性，1988年，Broomhead和Lowe將徑向基函數(shù)引入到了神經(jīng)網(wǎng)絡(luò)中，形成徑向基神經(jīng)網(wǎng)絡(luò)(RBP)[6]。RBP神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)問(wèn)題的線性可分化。

由于有限的樣本和計(jì)算單元導(dǎo)致數(shù)據(jù)間復(fù)雜函數(shù)的表現(xiàn)能力有限，使得一般神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力不強(qiáng)，因此，Geoffrey Hinton和Ruslan Salakhutdinov提出了深度學(xué)習(xí)的模型[7]，并證明隱含層的個(gè)數(shù)越多，網(wǎng)絡(luò)的特征學(xué)習(xí)能力越強(qiáng)。深度學(xué)習(xí)建立了從底層簡(jiǎn)單特征到高層抽象語(yǔ)義的非線性映射關(guān)系[8]，這一研究成果推動(dòng)了深度神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)的新時(shí)代。

網(wǎng)絡(luò)參數(shù)訓(xùn)練算法的不完善制約著神經(jīng)網(wǎng)絡(luò)的發(fā)展，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練算法在深度神經(jīng)網(wǎng)絡(luò)中難以完成網(wǎng)絡(luò)的學(xué)習(xí)任務(wù)，為了解決這個(gè)問(wèn)題，提出了“逐層預(yù)訓(xùn)練”和“精調(diào)”的訓(xùn)練方法[9]，使得深度學(xué)習(xí)的應(yīng)用領(lǐng)域廣泛。

3 基于神經(jīng)網(wǎng)絡(luò)的信道譯碼算法

神經(jīng)網(wǎng)絡(luò)最早被用于重復(fù)碼和置換矩陣碼的譯碼中，是J.C.Platt教授和J.J.Hopfield教授在1986年提出的，譯碼中采用的結(jié)構(gòu)是Hopfield網(wǎng)絡(luò)[10]。

隨后，J.Bruck和M.Blaum提出了圖碼與神經(jīng)網(wǎng)絡(luò)之間存在等價(jià)的關(guān)系，并證明了線性分組碼和非線性分組碼的最大似然譯碼問(wèn)題等價(jià)于求解一個(gè)神經(jīng)網(wǎng)絡(luò)收斂于它能量函數(shù)的全局極大問(wèn)題[11]。

為了充分的利用分組碼的代數(shù)結(jié)構(gòu)，將徑向基函數(shù)引入到網(wǎng)絡(luò)中形成徑向基神經(jīng)網(wǎng)絡(luò)。利用徑向基神經(jīng)網(wǎng)絡(luò)[12，13]來(lái)進(jìn)行譯碼不需要進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，只需要將所譯碼的碼字加入到網(wǎng)絡(luò)中就完成了譯碼的過(guò)程，網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單，適用于任意長(zhǎng)度的碼字；但是此方法是以損失糾錯(cuò)能力為代價(jià)減少一些運(yùn)算量。

在糾錯(cuò)碼中，LDPC碼和Polar碼是5G移動(dòng)通信系統(tǒng)中信道編碼的候選技術(shù)，也是眾多通信系統(tǒng)中信道編碼的常用方法。基于此，重點(diǎn)介紹基于神經(jīng)網(wǎng)絡(luò)的LDPC碼和Polar碼的譯碼方法，總結(jié)了各種方法的優(yōu)缺點(diǎn)，以及未來(lái)的研究方向。

3.1 基于神經(jīng)網(wǎng)絡(luò)的LDPC碼譯碼算法

LDPC碼[14]是一種具有很強(qiáng)糾錯(cuò)能力的信道編碼，其校驗(yàn)矩陣是稀疏矩陣，即矩陣中非零元素的個(gè)數(shù)遠(yuǎn)遠(yuǎn)小于零元素的個(gè)數(shù)。

LDPC碼最常用的表示方法是Tanner圖(二分圖)[15]。例如一個(gè)(8，2，4)的LDPC碼，校驗(yàn)矩陣如下所示：

上述LDPC碼的Tanner圖如圖2所示，vi表示變量節(jié)點(diǎn)；ci表示校驗(yàn)節(jié)點(diǎn)；兩個(gè)集合的內(nèi)部不存在相連的邊。

圖2 (8，2，4)LDPC碼的Tanner圖

LDPC碼已有的譯碼算法，大部分都是基于消息置信度的迭代譯碼，所需的計(jì)算量高，同時(shí)還需要迭代譯碼計(jì)算，而且性能效果好的譯碼復(fù)雜度高，譯碼復(fù)雜度低的譯碼性能低，無(wú)法達(dá)成一個(gè)平衡點(diǎn)。將神經(jīng)網(wǎng)絡(luò)和LDPC碼的譯碼過(guò)程相結(jié)合，充分利用彼此的優(yōu)勢(shì)，形成具有收斂速度快、時(shí)延穩(wěn)定、并行度高的譯碼方法。

3.1.1 研究現(xiàn)狀

神經(jīng)網(wǎng)絡(luò)可以作為分類器，將所有的碼字存儲(chǔ)在網(wǎng)絡(luò)中，進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練結(jié)束后，將所要譯的碼字作為網(wǎng)絡(luò)的輸入，其譯碼就是將碼字進(jìn)行分類，即將輸入的碼字與存儲(chǔ)的所有碼字進(jìn)行匹配。

一般線性分組碼神經(jīng)網(wǎng)絡(luò)[16，17]可以實(shí)現(xiàn)LDPC譯碼算法(如圖3)，該網(wǎng)絡(luò)是由網(wǎng)絡(luò)輸入層和輸出緩沖層構(gòu)成。該算法的譯碼結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)；但譯碼性能不及標(biāo)準(zhǔn)的置信傳播譯碼算法。對(duì)于長(zhǎng)LDPC碼，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會(huì)變得越來(lái)越復(fù)雜，且訓(xùn)練所需時(shí)間過(guò)長(zhǎng)。

圖3 一般線性分組碼的神經(jīng)網(wǎng)絡(luò)譯碼結(jié)構(gòu)

圖3中，神經(jīng)網(wǎng)絡(luò)有n個(gè)輸入，輸入端接收從信道接收到的碼字信息；神經(jīng)網(wǎng)絡(luò)每層有N個(gè)神經(jīng)元，代表所譯碼字的個(gè)數(shù)。

利用多項(xiàng)式神經(jīng)網(wǎng)絡(luò)可以進(jìn)行LDPC碼的譯碼[18]，譯碼中將多項(xiàng)式函數(shù)作為高階感知器的判決函數(shù)，對(duì)于短碼來(lái)說(shuō)譯碼性能良好，但是對(duì)于長(zhǎng)碼而言，譯碼的復(fù)雜度、計(jì)算量和存儲(chǔ)空間都在增加。

基于多層感知器神經(jīng)網(wǎng)絡(luò)的LDPC碼譯碼方法[19，20]，將神經(jīng)網(wǎng)絡(luò)輸入和輸出的關(guān)系與LDPC碼的Tanner圖中的節(jié)點(diǎn)關(guān)系相對(duì)應(yīng)，使得神經(jīng)網(wǎng)絡(luò)的復(fù)雜性得到了降低，計(jì)算復(fù)雜度也相應(yīng)的降低。但網(wǎng)絡(luò)需要大量的訓(xùn)練，若碼長(zhǎng)較大時(shí)，訓(xùn)練網(wǎng)絡(luò)的時(shí)間就會(huì)很長(zhǎng)，且譯碼性能不及置信傳播譯碼算法。

通常訓(xùn)練神經(jīng)網(wǎng)絡(luò)采用的是反向傳播算法，需要神經(jīng)網(wǎng)絡(luò)的每個(gè)輸入序列是可見的，從而限制了譯碼算法的性能。為了解決上述的限制，提出了基于神經(jīng)網(wǎng)絡(luò)的LDPC碼非迭代譯碼方法[21](如圖4)，主要利用有效LDPC碼的基于校驗(yàn)序列的行來(lái)訓(xùn)練網(wǎng)絡(luò)，且識(shí)別獨(dú)立的子譯碼結(jié)構(gòu)，進(jìn)行非迭代的譯碼。

由于一般神經(jīng)網(wǎng)絡(luò)的復(fù)雜函數(shù)的表現(xiàn)能力有限，網(wǎng)絡(luò)本身的學(xué)習(xí)能力也不強(qiáng)。因此，提出了將平行的Hopfield神經(jīng)網(wǎng)絡(luò)和LDPC相結(jié)合的譯碼方法[22]，利用此方法進(jìn)行譯碼，減少了神經(jīng)網(wǎng)絡(luò)的個(gè)數(shù)，但是由于網(wǎng)絡(luò)是遞歸型神經(jīng)網(wǎng)絡(luò)，需要花費(fèi)時(shí)間來(lái)達(dá)到穩(wěn)定狀態(tài)，不適合用在高速LDPC碼中。

基于校驗(yàn)子生成器和LUT(Look Up Table)的LDPC譯碼方法[23]解決了上述方法存在的問(wèn)題，譯碼過(guò)程不需要進(jìn)行迭代計(jì)算，但是需要提前計(jì)算出每個(gè)校驗(yàn)子相對(duì)應(yīng)的LUT(查找表)。

3.1.2 發(fā)展趨勢(shì)

基于神經(jīng)網(wǎng)絡(luò)的LDPC碼譯碼方法目前還是處于初級(jí)發(fā)展階段，網(wǎng)絡(luò)訓(xùn)練方法大都是采用反向傳播算法，為了進(jìn)一步提高譯碼的性能，降低譯碼的復(fù)雜程度，可利用已有的訓(xùn)練方法(牛頓法、共軛梯度法等)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，或者探究新的訓(xùn)練方法。

由于淺層神經(jīng)網(wǎng)絡(luò)在應(yīng)用過(guò)程中，網(wǎng)絡(luò)訓(xùn)練的速度比較慢，隨著計(jì)算機(jī)處理速度和存儲(chǔ)能力的提升，深層神經(jīng)網(wǎng)絡(luò)得到了快速的發(fā)展，所以可將深層神經(jīng)網(wǎng)絡(luò)應(yīng)用到LDPC碼的譯碼過(guò)程中，用于提高譯碼的性能。

圖4 基于多層感知器前向神經(jīng)網(wǎng)絡(luò)LDPC譯碼器結(jié)構(gòu)

3.2 基于神經(jīng)網(wǎng)絡(luò)的Polar碼譯碼方法

Polar碼[24]是第一個(gè)被證明可以達(dá)到香農(nóng)容量限的編碼方法，且采用持續(xù)消除(SC)譯碼時(shí)復(fù)雜度僅為ONlgN，其中N為碼長(zhǎng)。Polar碼的基本原理就是信道極化[24]，信道極化(如圖5)是由信道合并和信道分裂組成的。

圖5中，W表示二進(jìn)制離散無(wú)記憶信道；W-N是N個(gè)二進(jìn)制離散無(wú)記憶信道W線性變換合并成的；W-N，i是W-N經(jīng)過(guò)分裂轉(zhuǎn)化的極化信道。

圖5 信道極化現(xiàn)象的形成過(guò)程

對(duì)于中短碼長(zhǎng)的Polar碼，SC譯碼算法的逐比特譯碼特性可能會(huì)帶來(lái)錯(cuò)誤的傳播問(wèn)題，所以在有限碼長(zhǎng)下譯碼性能不夠理想。其他類型的譯碼算法，提升了譯碼的性能，但是計(jì)算量得到了增加。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行Polar碼的譯碼，充分利用兩者的優(yōu)點(diǎn)，有效的減少譯碼的復(fù)雜度，或者提高了譯碼的性能。

3.2.1 研究現(xiàn)狀

基于一般深度神經(jīng)網(wǎng)絡(luò)的譯碼器[25]可以通過(guò)學(xué)習(xí)大量的碼字來(lái)實(shí)現(xiàn)接近最佳誤碼率的性能，但是網(wǎng)絡(luò)的訓(xùn)練時(shí)間隨著碼長(zhǎng)的增加呈現(xiàn)指數(shù)的增加，這就限制了此類譯碼器在長(zhǎng)Polar碼中的實(shí)際應(yīng)用。

為了解決上述的問(wèn)題，將上述提出的極化BP譯碼器中的某些字塊用神經(jīng)網(wǎng)絡(luò)輔助模塊來(lái)代替[26]，新譯碼方法的性能得到了很大的改善，但是譯碼的復(fù)雜性仍然很高，且硬件的高吞吐量很難實(shí)現(xiàn)。

傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在Polar碼的譯碼過(guò)程中，需要過(guò)高的網(wǎng)絡(luò)訓(xùn)練和計(jì)算復(fù)雜度。將置信傳播譯碼算法進(jìn)行改進(jìn)，得到多尺度置信傳播譯碼算法，在多尺度置信傳播算法的基礎(chǔ)上建立深度神經(jīng)網(wǎng)絡(luò)[27]，得到的譯碼模型適用于任何形式的Polar碼，訓(xùn)練網(wǎng)絡(luò)時(shí)只需要很小的零碼字集合，且計(jì)算復(fù)雜度與原始的置信傳播算法相同。

3.2.2 發(fā)展趨勢(shì)

目前Polar碼是作為5G移動(dòng)通信中eMBB應(yīng)用場(chǎng)景的控制信道的編碼方式，碼長(zhǎng)較短，重點(diǎn)研究和解決的是碼長(zhǎng)、碼率靈活性問(wèn)題以及編譯碼對(duì)信道的依賴性問(wèn)題[28]。

對(duì)于長(zhǎng)Polar碼來(lái)說(shuō)，利用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行譯碼存在一定的困難，如網(wǎng)絡(luò)結(jié)構(gòu)的選擇、硬件實(shí)施的性能。神經(jīng)網(wǎng)絡(luò)的種類很多，可以研究基于不同神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)Polar碼譯碼方法，或者運(yùn)用不同的訓(xùn)練方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得相對(duì)應(yīng)的譯碼性能得到提升，結(jié)構(gòu)復(fù)雜度得到減少，譯碼的迭代次數(shù)降低。

4 結(jié)束語(yǔ)

本文介紹了神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，以及基于神經(jīng)網(wǎng)絡(luò)的LDPC碼和Polar碼的譯碼方法，分析了每種模型方法的優(yōu)缺點(diǎn)。由于深度神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)還不完善，需進(jìn)行理論方面的探究和突破；其次，將不同類型的神經(jīng)網(wǎng)絡(luò)應(yīng)用到不同的信道編碼中，還需要進(jìn)一步的研究。