基于可變步長(zhǎng)的Hopfield神經(jīng)網(wǎng)絡(luò)盲檢測(cè)算法

季奎明，于舒娟，張 昀，吳光銀

(南京郵電大學(xué)電子科學(xué)與工程學(xué)院，江蘇南京210003)

近年來(lái)，在物聯(lián)網(wǎng)等技術(shù)的興起下以及4G時(shí)代的來(lái)臨，人們對(duì)通信系統(tǒng)的可靠性和時(shí)效性的要求更為嚴(yán)格。盲檢測(cè)技術(shù)就是在不借助訓(xùn)練序列的情況下，僅依靠接收端獲得的信號(hào)來(lái)檢測(cè)出發(fā)送信號(hào)。如今，利用Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行盲檢測(cè)的算法有了相當(dāng)多的研究［1-3］。針對(duì)傳統(tǒng)Hopfield神經(jīng)網(wǎng)絡(luò)盲算法收斂速度慢及容易陷入局部最優(yōu)解的問(wèn)題，一般改進(jìn)思路有:改進(jìn)神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，如文獻(xiàn)［4］提出一種新的激活函數(shù)來(lái)改善抗干擾性能;文獻(xiàn)［5］提出動(dòng)態(tài)步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)去解決數(shù)學(xué)領(lǐng)域中旅行商問(wèn)題(Traveling Salesman Problem，TSP)，從而加快算法的收斂速度。文獻(xiàn)［6］指出使用反正切函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)，相比采用Sigmoid函數(shù)作為激活函數(shù)，BP算法的收斂速度加快了3～10倍。

本文參考上述文獻(xiàn)的思路，受文獻(xiàn)［6］的思想啟發(fā)，將反正切函數(shù)作為Hopfield神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。在此基礎(chǔ)上將濾波器設(shè)計(jì)中可變步長(zhǎng)的思想運(yùn)用到Hopfield神經(jīng)網(wǎng)絡(luò)盲檢測(cè)問(wèn)題中，提出了一種基于可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)(Variable Step Hopfield Neural Network，VSHNN)算法。仿真結(jié)果表明，該算法加快了能量函數(shù)的收斂速度，且誤碼性能有了一定的提高。

1 基于可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)的盲檢測(cè)優(yōu)化問(wèn)題的建立

依據(jù)文獻(xiàn)［7-8］，不計(jì)噪聲的情況下，SIMO(Single-Input Multi-Output)數(shù)字通信系統(tǒng)中接收信號(hào)方程、盲處理方程為

式中:q是過(guò)采樣因子;M是信道階數(shù);L是均衡器階數(shù);S=［sL+M(k)，…，sL+M(k+N-1)］T=［sN(k)，…，sN(k-ML)］N×(L+M+1)是發(fā)送信號(hào)矩陣;(H)(L+1)q×(L+M+1)是 hj(j=0，1，…，M)構(gòu)成的塊 Toeplitz矩陣;［h0，…，hM］q×(M+1)是信道的沖激響應(yīng)是接收矩陣。式(2)表明，當(dāng)H是列滿秩矩陣時(shí)，一定有滿足Q sN(k-d)=0，其中d=0，…，M+L。Uc是接收信號(hào)陣XN奇異值分解中的酉矩陣，。

此時(shí)可構(gòu)造性能函數(shù)及優(yōu)化問(wèn)題［9］

可知，式(4)就是本文利用可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)解決的帶約束條件的二次型函數(shù)優(yōu)化問(wèn)題。

由于STQS與Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)第一項(xiàng)形式相似，把兩者聯(lián)系起來(lái)。為了利用VSHNN這一有力工具求解式(4)的信號(hào)盲檢測(cè)問(wèn)題，可將神經(jīng)網(wǎng)絡(luò)的連接權(quán)矩陣配置如下

當(dāng)VSHNN達(dá)到平衡時(shí)，即S(k+1)=S(k)，則能量函數(shù)的最小值點(diǎn)就是優(yōu)化問(wèn)題的解，得到的解點(diǎn)信號(hào)即為所需檢測(cè)的發(fā)送信號(hào)。

2 基于可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)的盲檢測(cè)算法及穩(wěn)定性證明

當(dāng)前，文獻(xiàn)［5，10，11］利用神經(jīng)網(wǎng)絡(luò)的方法解決眾多實(shí)際問(wèn)題，但大部分網(wǎng)絡(luò)結(jié)構(gòu)使用經(jīng)典的Sigmoid型激活函數(shù)。參照文獻(xiàn)，本文提出了基于反正切函數(shù)的新激活函數(shù)

式中:C和μ是用來(lái)控制激活函數(shù)的變化趨勢(shì)的參數(shù)。圖1展示了當(dāng)C和μ取不同值時(shí)激活函數(shù)的曲線圖。

圖1 新激活函數(shù)與傳統(tǒng)Sigmoid型激活函數(shù)的曲線

由圖1可知，新的網(wǎng)絡(luò)激活函數(shù)具備如下優(yōu)點(diǎn):

1)與經(jīng)典Sigmoid型激活函數(shù)相似，當(dāng)神經(jīng)元輸入的絕對(duì)值較大時(shí)，可以加快收斂速度;

2)新激活函數(shù)f(x)在原點(diǎn)附近對(duì)神經(jīng)元輸入值的敏感性顯著降低，對(duì)噪聲的抗干擾能力明顯增強(qiáng)。

激活函數(shù)為反正切函數(shù)的Hopfield網(wǎng)絡(luò)的動(dòng)態(tài)方程如下

式中:A為神經(jīng)元的衰減因子;W為神經(jīng)網(wǎng)絡(luò)的連接權(quán)值;θ是神經(jīng)元的偏置;x(t)為神經(jīng)網(wǎng)絡(luò)的輸出;y(t)為神經(jīng)網(wǎng)絡(luò)的輸入;f(·)為激活函數(shù)。

由式(7)描述的VSHNN結(jié)構(gòu)模型如圖2所示。

圖2 可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)模型

式(7)的微分方程可離散化為

式中:λ為計(jì)算步長(zhǎng)，一般為較小的實(shí)數(shù)。

傳統(tǒng)HNN算法中，式(9)的λ是一個(gè)取值在區(qū)間(0，1)的固定常數(shù)。如果λ取值過(guò)大，就會(huì)導(dǎo)致算法連續(xù)抖動(dòng)不能收斂。相反，如果λ取值過(guò)小，就會(huì)造成每次算法調(diào)整神經(jīng)網(wǎng)絡(luò)輸入值的幅度偏小，導(dǎo)致算法容易陷入局部極小值而無(wú)法得到全局最優(yōu)解。

本文提出的解決方案是將以往固定的步長(zhǎng)值λ用可變的步長(zhǎng)值λ(t)代換。式(9)和式(10)體現(xiàn)了傳統(tǒng)步長(zhǎng)與改進(jìn)后步長(zhǎng)的不同之處:傳統(tǒng)步長(zhǎng)λ是一個(gè)固定常數(shù)，而改進(jìn)后步長(zhǎng)λ(t)是動(dòng)態(tài)可變的。為了加快能量函數(shù)的收斂速度，先采用大步長(zhǎng)，隨著收斂過(guò)程的進(jìn)行，逐漸減小步長(zhǎng)的取值，從而使算法可以獲得精細(xì)的收斂效果。

λ(t)的取值可以依據(jù)式(11)，其中λ0是一個(gè)常數(shù)，α和β是控制步長(zhǎng)函數(shù)變化趨勢(shì)的參數(shù)，圖3展示了當(dāng)λ0，α和β是不同取值時(shí)步長(zhǎng)λ(t)的值隨著迭代次數(shù)變化的情況。

VSHNN 穩(wěn)定性分析如下［12-14］:

假設(shè)可變步長(zhǎng)Hopfield神經(jīng)網(wǎng)絡(luò)由N個(gè)神經(jīng)元構(gòu)成，權(quán)矩陣滿足W=WT，則VSHNN的能量函數(shù)可表示為

圖3 步長(zhǎng)λ(t)隨迭代次數(shù)t變化的曲線

對(duì)能量函數(shù)E(t)求導(dǎo)得到式(13)，因?yàn)槠年P(guān)系，詳細(xì)推導(dǎo)過(guò)程參照文獻(xiàn)［5］

由于所選用的激活函數(shù)f(x)在區(qū)間(-∞，+∞)上為單調(diào)遞增函數(shù)，根據(jù)反函數(shù)性質(zhì)可知f-1(x)在區(qū)間(-1，1)單調(diào)遞增的并且是連續(xù)有界的，則可以保證當(dāng)且僅當(dāng)，根據(jù) Lyapunov 穩(wěn)定性定理，說(shuō)明該網(wǎng)絡(luò)在迭代運(yùn)行的過(guò)程中能量值逐漸減少，網(wǎng)絡(luò)(7)是穩(wěn)定的。

3 仿真實(shí)驗(yàn)

仿真環(huán)境:發(fā)送信號(hào)序列為二進(jìn)制移相鍵控(Binary Phase Shift Keying，BPSK)信號(hào)，加性高斯白噪聲，經(jīng)過(guò)100次Monte Carlo實(shí)驗(yàn)得到仿真結(jié)果。將誤碼率為零的點(diǎn)設(shè)為10-5以便于畫圖。仿真實(shí)驗(yàn)參數(shù)的選取為:C=2/π，μ=1.5，λ0=0.75，α =-0.09，β =0.3。

實(shí)驗(yàn)1:采用權(quán)值和延時(shí)固定的合成信道，不含公零點(diǎn)，固定發(fā)送信號(hào)數(shù)據(jù)量M=100，在同步更新模式下將基于VSHNN的盲檢測(cè)新算法和文獻(xiàn)［11］中3種盲檢測(cè)算法的誤碼率進(jìn)行比較并記錄各算法的收斂時(shí)間如表1所示，各種盲檢測(cè)算法的誤碼性能如圖4所示。

表1 VSHNN算法與文獻(xiàn)算法收斂時(shí)間的對(duì)比

通過(guò)表1和圖4可知，本文提出的基于VSHNN盲檢測(cè)新算法的誤碼性能和收斂速度顯著優(yōu)于傳統(tǒng)的HNN和TCHNN盲檢測(cè)算法;在保證與文獻(xiàn)［11］DS-TCHNN盲檢測(cè)算法收斂速度相差無(wú)幾的情況下，基于VSHNN盲檢測(cè)新算法的誤碼性能有了一定的提高。

圖4 VSHNN盲檢測(cè)算法與3種盲檢測(cè)算法誤碼率對(duì)比圖

實(shí)驗(yàn)2:在信噪比為20 dB條件下，分別進(jìn)行不同數(shù)據(jù)量時(shí)基于VSHNN盲檢測(cè)算法、基于HNN盲檢測(cè)算法、基于TCHNN盲檢測(cè)算法、基于DS-TCHNN盲檢測(cè)算法和文獻(xiàn)［15］二階統(tǒng)計(jì)量中的子空間算法(Subspace Algorithm，SSA)盲檢測(cè)算法的Monte Carlo實(shí)驗(yàn)的誤碼率比較，如圖5所示。

圖5 VSHNN算法與其他算法不同數(shù)據(jù)量時(shí)的誤碼率比較

由圖5可知，SSA算法與文獻(xiàn)給出的要求一致，需要較大的數(shù)據(jù)量才能對(duì)信道進(jìn)行準(zhǔn)確的辨識(shí)以獲得較好的誤碼性能;本文的VSHNN盲檢測(cè)算法與其他算法相比，要求的接收數(shù)據(jù)量長(zhǎng)度更短，且誤碼率更低，從而使算法的計(jì)算復(fù)雜度大大降低，運(yùn)行速度得到提升。

實(shí)驗(yàn)3:由于二階統(tǒng)計(jì)量算法需要較長(zhǎng)數(shù)據(jù)量才能夠準(zhǔn)確地辨識(shí)信道，因此固定發(fā)送信號(hào)數(shù)據(jù)量M=400，采用2種不同的經(jīng)典信道，其中信道一(CH1)，采用權(quán)值和延時(shí)固定的合成信道，但含1個(gè)公零點(diǎn);信道二(CH2)［16］，分別比較文獻(xiàn)［11］中的3種盲檢測(cè)算法、文獻(xiàn)［15］中二階統(tǒng)計(jì)量中的SSA以及本文基于 VSHNN的盲檢測(cè)算法的誤碼性能，如圖6所示。

從圖6a和圖6b可知，二階統(tǒng)計(jì)量SSA盲檢測(cè)算法對(duì)含公零點(diǎn)的信道失效;文獻(xiàn)［11］中的盲檢測(cè)算法和本文提出的基于VSHNN的盲檢測(cè)算法均適用于兩種經(jīng)典信道，可以很好地解決信道含公零點(diǎn)的問(wèn)題，具有一定的普適性，且本文基于VSHNN的盲檢測(cè)算法的誤碼性能均優(yōu)于文獻(xiàn)［11］中的3種盲檢測(cè)算法。

圖6 兩種經(jīng)典信道下VSHNN算法與其他盲檢測(cè)算法的誤碼性能比較

4 小結(jié)

本文使用反正切函數(shù)作為Hopfield神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，并將可變步長(zhǎng)的思想運(yùn)用到Hopfield神經(jīng)網(wǎng)絡(luò)盲檢測(cè)算法中，實(shí)現(xiàn)以可變步長(zhǎng)來(lái)進(jìn)行能量函數(shù)的收斂，成功實(shí)現(xiàn)了BPSK信號(hào)盲檢測(cè)。仿真結(jié)果表明，本文提出的基于VSHNN的盲檢測(cè)新算法所需數(shù)據(jù)量短，適用于高速的通信環(huán)境中，其誤碼性能和收斂速度都明顯優(yōu)于一些傳統(tǒng)文獻(xiàn)盲檢測(cè)算法，并且該算法對(duì)兩種常見的經(jīng)典信道都是適用的，具備一定的普適性。

［1］ ZHANG Y，ZHANG Z Y.Blind multi-valued signals detection using discrete Hopfield network［C］//Proc.2010 Sixth International Conference on Natural Computation.Beijing:IEEE Press，2010:1079-1083.

［2］阮秀凱，張志涌.基于連續(xù)Hopfield型神經(jīng)網(wǎng)絡(luò)的QAM信號(hào)盲檢測(cè)［J］.電子與信息學(xué)報(bào)，2011，33(7):1600-1605.

［3］張昀，張志涌.復(fù)數(shù)離散Hopfield網(wǎng)絡(luò)盲檢測(cè)64QAM信號(hào)［J］.電子與信息學(xué)報(bào)，2011，33(2):315-320.

［4］馮迪，于舒娟，張昀.一種改進(jìn)激活函數(shù)的Hopfield盲檢測(cè)算法［J］.計(jì)算機(jī)科學(xué)與發(fā)展，2012，22(12):207-210.

［5］楊敏.Hopfield神經(jīng)網(wǎng)絡(luò)的改進(jìn)及其在無(wú)線通信優(yōu)化中的應(yīng)用［D］.濟(jì)南:山東大學(xué)，2013.

［6］倪志偉.BP網(wǎng)絡(luò)中激活函數(shù)的深入研究［J］.安徽大學(xué)學(xué)報(bào):自然科學(xué)版，1997，21(3):48-51.

［7］張志涌，BAI E W.SIMO含公零點(diǎn)信道的直接盲序列檢測(cè)［J］.電子學(xué)報(bào)，2005，33(4):671-675.

［8］張昀.基于復(fù)數(shù)Hopfield神經(jīng)網(wǎng)絡(luò)的盲信號(hào)檢測(cè)［D］.南京:南京郵電大學(xué)，2012.

［9］張昀，于大為，夏祎，等.基于自適應(yīng)交叉變異量子免疫信號(hào)盲檢測(cè)算法［J］.電視技術(shù)，2014，38(23):112-115.

［10］ SENGUPTA D，ILTISR A.Neural solution to the multitarget tracking data association problem［J］.IEEE Trans.Aerospace and Electronic Systems，1989，25(1):96-108.

［11］于舒娟，宦如松，張昀，等.基于混沌神經(jīng)網(wǎng)絡(luò)的盲檢測(cè)改進(jìn)新算法［J］.物理學(xué)報(bào)，2014，63(6):1-7.

［12］張昀，張志涌.復(fù)數(shù)多值離散Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性研究［J］.物理學(xué)報(bào)，2011，60(9):200-207.

［13］ MA RN，CHU P，ZHANGSR.Stability conditions for discrete delayed Hopfield neural networks［C］//Proc.Third International Conference on Natural Computation.Haikou，China:IEEE Press，2007:468-472.

［14］ SHEN Y，WANG J.Robustness analysis of global exponential stability of recurrent neural networks in the presence of time delays and random disturbances［J］.IEEE Trans.Neural Networks and Learning Systems，2012，23(1):87-96.

［15］ MOULINES E，DUHAMEL P，CARDOSO J F，et al.Subspace methods for the blind identification of multichannel FIR filters［J］.IEEE Trans.Signal Processing，1995，43(2):516-525.

［16］ GIANNAKIS G B，STOICA P，HUA Y B.Signal processing advances in wireless and mobile communication［M］.Upper Saddle River，NJ，USA:Prentice Hall，2001.