水聲通信近似L0范數(shù)約束的BP網(wǎng)絡(luò)均衡器

王 凱 吳立新 張青青

(1 中國(guó)科學(xué)院聲學(xué)研究所 聲場(chǎng)聲信息國(guó)家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

(2 中國(guó)科學(xué)院大學(xué) 北京 100049)

0 引言

水聲信道的多徑效應(yīng)會(huì)對(duì)通信信號(hào)造成嚴(yán)重的碼間干擾，影響通信系統(tǒng)性能，因此需要在接收端進(jìn)行信道均衡來(lái)消除或減少碼間干擾。遠(yuǎn)程水聲通信中，水聲信道經(jīng)常表現(xiàn)出明顯的稀疏特性，具體表現(xiàn)為信道時(shí)延擴(kuò)展長(zhǎng)，大多數(shù)信道系數(shù)能量很小或趨近于0，且能量較大的系數(shù)相隔較遠(yuǎn)。較長(zhǎng)的時(shí)延擴(kuò)展導(dǎo)致信道均衡時(shí)均衡器階數(shù)較大，均衡器收斂速度相應(yīng)變慢，運(yùn)算量較高。同時(shí)由于水聲環(huán)境的復(fù)雜多變，如存在非線(xiàn)性?xún)?nèi)波等特殊情況下水聲信道可能不完全是線(xiàn)性的。神經(jīng)網(wǎng)絡(luò)作為一種非線(xiàn)性系統(tǒng)，不僅可以處理線(xiàn)性信道下的均衡問(wèn)題，同樣可以用來(lái)處理非線(xiàn)性信道下的情況[1?3]。因此，研究適合水聲信道中應(yīng)用的神經(jīng)網(wǎng)絡(luò)均衡器是有價(jià)值的。

近年來(lái)已經(jīng)有很多基于神經(jīng)網(wǎng)絡(luò)的信道均衡算法研究。目前針對(duì)神經(jīng)網(wǎng)絡(luò)在均衡問(wèn)題中的研究主要可以分為兩個(gè)方面，一是采用不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行均衡：文獻(xiàn)[4]首次將多層感知器(Multilayer perceptron, MLP)應(yīng)用于信道均衡，該方法采用4層多層感知器結(jié)構(gòu)，證明了多層感知器均衡器可以克服信道非線(xiàn)性和加性噪聲的干擾。文獻(xiàn)[5]采用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural network, RNN)進(jìn)行信道均衡，但是其構(gòu)造代價(jià)函數(shù)時(shí)采用了四階累積量，計(jì)算復(fù)雜度較高。文獻(xiàn)[6]將卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network, CNN)與softmax 回歸模型相結(jié)合，采用分類(lèi)問(wèn)題的思想對(duì)相位調(diào)制信號(hào)進(jìn)行均衡；二是利用不同的優(yōu)化算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值初始化及權(quán)值迭代進(jìn)行優(yōu)化：文獻(xiàn)[7]采用差異進(jìn)化算法解決了神經(jīng)網(wǎng)絡(luò)權(quán)值初始化的問(wèn)題；文獻(xiàn)[8–9]分別將遺傳算法、粒子群優(yōu)化算法應(yīng)用于網(wǎng)絡(luò)權(quán)值的初始化和迭代當(dāng)中，并取得了較好的效果。

雖然目前利用神經(jīng)網(wǎng)絡(luò)進(jìn)行信道均衡的研究已經(jīng)取得了不錯(cuò)的進(jìn)展，但是神經(jīng)網(wǎng)絡(luò)依然存在收斂速度慢、需要較長(zhǎng)訓(xùn)練序列的問(wèn)題。同時(shí)面對(duì)帶寬極其有限且時(shí)延擴(kuò)展大的水聲信道，這個(gè)問(wèn)題顯得更為嚴(yán)重。已有的神經(jīng)網(wǎng)絡(luò)均衡器在設(shè)計(jì)時(shí)沒(méi)有考慮水聲信道的特性，難以滿(mǎn)足水聲通信系統(tǒng)快速收斂的應(yīng)用需求。在常規(guī)的均衡器中，人們已經(jīng)提出了許多針對(duì)水聲信道稀疏特性的自適應(yīng)均衡方法，主要可分為門(mén)限稀疏化方法[10]和基于范數(shù)約束[11]的方法。門(mén)限稀疏化方法通過(guò)一個(gè)固定門(mén)限值來(lái)決定抽頭系數(shù)是否進(jìn)行學(xué)習(xí)；基于范數(shù)約束的方法通過(guò)對(duì)代價(jià)函數(shù)中增加范數(shù)約束項(xiàng)實(shí)現(xiàn)權(quán)值的收縮調(diào)整，相較于門(mén)限法更加穩(wěn)健。因此將傳統(tǒng)均衡器中的稀疏約束方法與神經(jīng)網(wǎng)絡(luò)結(jié)合來(lái)提升均衡器收斂速度是一個(gè)值得研究的方向。

文章首先在網(wǎng)絡(luò)結(jié)構(gòu)中增加判決反饋?lái)?xiàng)，更好地消除由先前符號(hào)對(duì)當(dāng)前符號(hào)的影響，然后結(jié)合水聲信道稀疏特性，在代價(jià)函數(shù)中增加均衡器輸入層到下一層網(wǎng)絡(luò)權(quán)值的L0范數(shù)約束，并利用高斯族函數(shù)對(duì)L0范數(shù)進(jìn)行近似，通過(guò)第二層神經(jīng)元節(jié)點(diǎn)輸出權(quán)值L2范數(shù)大小來(lái)調(diào)整輸入到該節(jié)點(diǎn)神經(jīng)元的權(quán)值。仿真結(jié)果表明，在稀疏信道下，本文算法在提升均衡器的收斂速度的同時(shí)也可以獲得更低的誤碼率，提升了BP 神經(jīng)網(wǎng)絡(luò)均衡器在水聲通信中的性能。

1 判決反饋的BP網(wǎng)絡(luò)均衡器系統(tǒng)模型

在稀疏水聲信道中，信道時(shí)延擴(kuò)展較大，但是信道能量?jī)H集中在少數(shù)幾個(gè)抽頭中，其余抽頭系數(shù)均為0。這導(dǎo)致神經(jīng)網(wǎng)絡(luò)均衡器基于梯度下降法的迭代方法需要更長(zhǎng)的訓(xùn)練序列才能收斂，影響通信系統(tǒng)效率，針對(duì)這個(gè)問(wèn)題提出了近似L0范數(shù)約束的判決反饋神經(jīng)網(wǎng)絡(luò)均衡器模型。假設(shè)發(fā)射端的發(fā)射符號(hào)為s(n)，經(jīng)過(guò)水聲信道及加性噪聲干擾后，接收端接收信號(hào)的等效基帶信號(hào)可以建模為

其中，h代表長(zhǎng)度為K的信道沖激響應(yīng)，ε代表加性高斯噪聲。

均衡器結(jié)構(gòu)如圖1所示，輸入數(shù)據(jù)P分為兩部分：歸一化后的接收符號(hào)及均衡后符號(hào)的硬判決，分別提取兩部分?jǐn)?shù)據(jù)的實(shí)部與虛部作為均衡器的輸入。BP 網(wǎng)絡(luò)工作過(guò)程可以分為兩部分：數(shù)據(jù)的前向傳輸及誤差的反向傳遞。假設(shè)神經(jīng)網(wǎng)絡(luò)共有L層，Ul(l= 2,···,L)代表l層的線(xiàn)性輸出，V l(l= 1,···,L ?1)代表l層經(jīng)激活函數(shù)后的輸出，當(dāng)l=1 時(shí)有V l=P，代表系統(tǒng)輸入。

圖1 均衡器結(jié)構(gòu)Fig.1 Equalizer structure

數(shù)據(jù)的前向傳輸可以表示為

式(2)中，l=1,···,L ?1，Wl代表連接l層和l+1層的網(wǎng)絡(luò)權(quán)值，均衡器輸出Y=UL，其中Y1和Y2分別代表均衡后符號(hào)的實(shí)部和虛部，將Y轉(zhuǎn)化為復(fù)值可得最終均衡后結(jié)果Y1+Y2j。

令輸出誤差為e(n)=D(n)?Y(n)，其中D(n)= [Re(d(n))Im(d(n))]T，d(n)為期望信號(hào)，代價(jià)函數(shù)定義為

在權(quán)值調(diào)整階段，沿著網(wǎng)絡(luò)逐層反向?qū)W(wǎng)絡(luò)權(quán)值進(jìn)行調(diào)整，定義局部梯度?Ul為

則網(wǎng)絡(luò)權(quán)值梯度可以表示為

由式(5)根據(jù)梯度下降法可以對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行更新。

2 近似L0-范數(shù)約束

神經(jīng)網(wǎng)絡(luò)輸入層到隱含層是通過(guò)多個(gè)橫向?yàn)V波器對(duì)接收信息進(jìn)行處理，結(jié)構(gòu)與常規(guī)的均衡器相似。通常神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中每個(gè)權(quán)值的迭代步長(zhǎng)是相同的，導(dǎo)致了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度過(guò)慢，不能滿(mǎn)足水聲信道均衡問(wèn)題快速收斂的需求?？紤]水聲信道的稀疏特性，在代價(jià)函數(shù)中對(duì)輸入層到第二層的網(wǎng)絡(luò)權(quán)值增加近似L0范數(shù)約束，以保證權(quán)值迭代過(guò)程中，權(quán)值系數(shù)中0 的個(gè)數(shù)盡可能多，以此提升整個(gè)網(wǎng)絡(luò)的收斂速度。均衡器代價(jià)函數(shù)設(shè)置如下：

其中，‖·‖0代表L0范數(shù)約束，表示權(quán)值中非零值個(gè)數(shù)，γ是調(diào)節(jié)約束項(xiàng)占比的參數(shù)。由于L0范數(shù)屬于分段函數(shù)，存在斷點(diǎn)無(wú)法求導(dǎo)，因此通過(guò)高斯族連續(xù)函數(shù)進(jìn)行近似[12]：

式(7)中，當(dāng)δ趨近于無(wú)窮大時(shí)等式兩邊相等，式(7)對(duì)w1求導(dǎo)可得近似L0范數(shù)的梯度：

其中，N1和N2分別代表第一層和第二層的神經(jīng)元個(gè)數(shù)，zij(n)表示為

為降低計(jì)算復(fù)雜度，對(duì)exp(?δ|wjk(n)|)進(jìn)行一階泰勒近似：

式(10)中將模值小于1/δ的權(quán)值定義為模值極小值權(quán)值，1/δ閾值以下的權(quán)值進(jìn)行收縮調(diào)整。1/δ取值過(guò)大會(huì)導(dǎo)致均衡器直接將較小的多途項(xiàng)當(dāng)成噪聲項(xiàng)處理，影響均衡器的整體性能；1/δ取值過(guò)小會(huì)導(dǎo)致收縮的權(quán)值系數(shù)較少，對(duì)加速均衡器收斂速度作用不大。假設(shè)第l層神經(jīng)元個(gè)數(shù)為Nl,則神經(jīng)網(wǎng)絡(luò)均衡器輸入層到第二層的計(jì)算過(guò)程可以看作N2個(gè)橫向?yàn)V波器的計(jì)算過(guò)程，由于每個(gè)濾波器初始權(quán)值不同，因此在迭代過(guò)程中需要設(shè)置不同的模值極小值來(lái)分別對(duì)其進(jìn)行調(diào)整。

在神經(jīng)網(wǎng)絡(luò)中，可以用神經(jīng)元節(jié)點(diǎn)的輸出權(quán)值來(lái)分析節(jié)點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)的貢獻(xiàn)度。當(dāng)?shù)诙由窠?jīng)元輸出權(quán)值的L2范數(shù)較大時(shí)，表明其在網(wǎng)絡(luò)中貢獻(xiàn)度較大，考慮保留其輸入權(quán)值的更多信息，相對(duì)應(yīng)的模值極小值設(shè)置的較大；當(dāng)輸出權(quán)值的L2范數(shù)較小，則設(shè)置較小的模值極小值加速其收斂。同時(shí)L2范數(shù)與其輸入權(quán)值的大小也呈正相關(guān)，因此當(dāng)L2范數(shù)值較大時(shí)也需要設(shè)置較大的模值極小值來(lái)適應(yīng)較大的權(quán)值系數(shù)，同樣當(dāng)L2范數(shù)值較小時(shí)也需要縮小模值極小值。因此考慮采用輸出權(quán)值的L2范數(shù)調(diào)整模值極小值的參數(shù)，L2范數(shù)可以表示為

其中，N3代表第三層神經(jīng)元個(gè)數(shù)，當(dāng)網(wǎng)絡(luò)為三層結(jié)構(gòu)有N3=2，結(jié)合式(5)、式(9)、式(10)和式(11)的結(jié)果，可以得到近似L0范數(shù)約束的神經(jīng)網(wǎng)絡(luò)均衡器權(quán)值迭代公式：

其中，下標(biāo)j代表取矩陣的第j列，f(wlj(n),Φj)=[f(wl1j(n),Φj),···,f(wlN1j(n),Φj)]，f(wlij(n),Φj)由式(13)表示：

式(12)與傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)權(quán)值迭代公式相比，多了一項(xiàng)μγf(wil(n),Φi)，稱(chēng)為吸引子，可以保證模值較小的權(quán)值向0 收縮，同時(shí)模值極小值可以根據(jù)不同神經(jīng)元的貢獻(xiàn)度大小自適應(yīng)調(diào)整，最終達(dá)到加速均衡器收斂的效果。

3 仿真結(jié)果

為驗(yàn)證本文算法的有效性，采用Bellhop 對(duì)稀疏水聲信道進(jìn)行仿真，設(shè)定聲源深度200 m，接收深度300 m，收發(fā)距離100 km，聲速剖面如圖2(a)所示，得到的信道沖激響應(yīng)幅值如圖2(b)所示，可以看到信道分為兩簇，中間有較長(zhǎng)時(shí)間間隔，具有明顯的稀疏特性。發(fā)射信號(hào)采用正交相移鍵控(Quadrature phase shift keying, QPSK)調(diào)制，中心頻率1.5 kHz，帶寬100 Hz，采用圖2信道進(jìn)行仿真。

圖2 仿真信道Fig.2 Simulation channel

3.1 算法性能分析

采用單隱層BP 網(wǎng)絡(luò)進(jìn)行仿真，將本文算法與傳統(tǒng)BP 網(wǎng)絡(luò)均衡器及加了判決反饋結(jié)構(gòu)的BP 網(wǎng)絡(luò)均衡器進(jìn)行性能比較，均衡器輸入信號(hào)長(zhǎng)度均為500，其中反饋符號(hào)階數(shù)為100，隱層神經(jīng)元個(gè)數(shù)為15，激活函數(shù)采用tansig 函數(shù)。兩算法訓(xùn)練階段迭代步長(zhǎng)分別設(shè)為0.004 和0.002，收斂階段步長(zhǎng)為訓(xùn)練階段的1/10，γ設(shè)為1.3×10?3。

圖3(a)、圖3(b)分別是信噪比10 dB 時(shí)，傳統(tǒng)BP 和本文算法在訓(xùn)練結(jié)束后，第二層神經(jīng)元輸出權(quán)值輸入權(quán)值的關(guān)系圖，其中橫坐標(biāo)為輸出權(quán)值的L2范數(shù)，縱坐標(biāo)為輸入權(quán)值絕對(duì)值的最大值。由圖3(a)可以看出，輸出權(quán)值的L2范數(shù)與輸入權(quán)值的絕對(duì)值最大值接近正相關(guān)，由此可以表明本文采用輸出權(quán)值的L2范數(shù)定義模值極小值的方法是可行的。根據(jù)圖3(b)可以發(fā)現(xiàn)，橫縱坐標(biāo)基本呈正相關(guān)，與圖3(a)不同的是，當(dāng)輸出權(quán)值較小的時(shí)候，輸入權(quán)值的最大值接近0。這是因?yàn)榈^(guò)程中，輸出權(quán)值L2范數(shù)值較小的神經(jīng)元，其模值極小值會(huì)變小，導(dǎo)致更多的權(quán)值向0 收縮調(diào)整，最終使得貢獻(xiàn)度較低的神經(jīng)元在神經(jīng)網(wǎng)絡(luò)中的影響越來(lái)越小；同時(shí)對(duì)L2范數(shù)值較大的神經(jīng)元，其本身的輸入權(quán)值也較大，需要保留的權(quán)值也更多，相對(duì)應(yīng)提升了其在整個(gè)均衡器中的作用。

圖3 輸出權(quán)值L2 范數(shù)與輸入權(quán)值模值最大值關(guān)系Fig.3 Relationship between L2 norm of output weight and maximum modulus of input weight

圖4(a)為信噪比10 dB 時(shí)，3 種算法的均方誤差曲線(xiàn)，對(duì)比傳統(tǒng)BP 算法與增加判決反饋后的BP算法誤碼率曲線(xiàn)可以看出，判決反饋結(jié)構(gòu)明顯降低了收斂后的穩(wěn)態(tài)誤差；在判決反饋BP 算法的基礎(chǔ)上，增加近似L0范數(shù)約束的算法有效提升了均衡器的收斂速度，本文算法在約5000次迭代后均方誤差趨于平穩(wěn)，而傳統(tǒng)方法則需要9000 次迭代；圖4(b)為不同信噪比下的誤碼率曲線(xiàn)，可以看到本文算法的誤碼率低于傳統(tǒng)BP 方法，特別是高信噪比情況下，由于根據(jù)不同神經(jīng)元設(shè)置不同的收斂參數(shù)，對(duì)貢獻(xiàn)度高的神經(jīng)元增加其影響力，對(duì)貢獻(xiàn)度低的神經(jīng)元降低其影響力，這種放大和縮小的方法使得均衡器能夠取得更低的誤碼率。

圖4 線(xiàn)性信道仿真結(jié)果Fig.4 Algorithm simulation results in linear channel

對(duì)比所提算法與傳統(tǒng)判決反饋均衡器誤碼率曲線(xiàn)可以發(fā)現(xiàn)，當(dāng)信噪比較低時(shí)，噪聲對(duì)接收符號(hào)的影響較大，采用神經(jīng)網(wǎng)絡(luò)的均衡器性能反而較低，這是由于線(xiàn)性信道條件下，神經(jīng)網(wǎng)絡(luò)采用多層橫向?yàn)V波輸入引入了過(guò)多的噪聲導(dǎo)致性能反而下降；當(dāng)信噪比逐漸增大時(shí)，信道造成的碼間干擾對(duì)符號(hào)的影響占主導(dǎo)地位，神經(jīng)網(wǎng)絡(luò)方法采用多個(gè)橫向輸入使得均衡過(guò)程不易陷入局部極小值，因此性能得到了一定的提升。

為驗(yàn)證所提算法在非線(xiàn)性信道下的性能，采用如下信道模型進(jìn)行仿真[13]：

其中，r(n)為經(jīng)過(guò)線(xiàn)性信道后的基帶接收符號(hào)。圖5為仿真結(jié)果，其中圖5(a)為信噪比15 dB 時(shí)，3 種算法的均方誤差曲線(xiàn)，可以看到所提算法在收斂速度及收斂后的穩(wěn)態(tài)誤差均優(yōu)于傳統(tǒng)算法；圖5(b)為不同信噪比下的誤碼率曲線(xiàn)，可以看到在信道非線(xiàn)性的影響下，相同信噪比情況時(shí)算法的性能均有所下降，不同之處在于傳統(tǒng)的判決反饋均衡器性能下降較為嚴(yán)重，由圖中曲線(xiàn)可以看到，其誤碼率明顯高于所提算法，這也表明了神經(jīng)網(wǎng)絡(luò)均衡器在非線(xiàn)性信道條件下的有效性。

圖5 非線(xiàn)性信道仿真結(jié)果Fig.5 Algorithm simulation results in nolinear channel

4 結(jié)論

本文提出了一種近似L0范數(shù)約束的BP 網(wǎng)絡(luò)均衡器，在輸入端增加判決反饋?lái)?xiàng)的同時(shí)，利用高斯族函數(shù)的連續(xù)性對(duì)神經(jīng)網(wǎng)絡(luò)輸入層到第二層權(quán)值的L0范數(shù)約束進(jìn)行近似，然后根據(jù)不同神經(jīng)元輸出權(quán)值的L2范數(shù)調(diào)整近似約束的大小。仿真結(jié)果顯示，本文算法較其他算法可以更快的收斂同時(shí)有更小的均方誤差和更低的誤碼率，提升了神經(jīng)網(wǎng)絡(luò)均衡器的在水聲通信中的性能。