基于Hebbian規(guī)則的新型自適應廣義主元分析算法

高迎彬，孔祥玉，崔巧花，董海迪

（1.中國電子科技集團公司第五十四研究所，河北 石家莊 050081；2.火箭軍工程大學導彈工程學院，陜西 西安 710025；3.海軍工程大學兵器工程學院，湖北 武漢 430033）

1 引言

廣義主元是指2 個信號的自相關矩陣構成矩陣束的最大廣義特征值所對應的廣義特征向量，而廣義主元分析是指能夠對廣義主元進行估計的技術[1]。廣義主元分析已經(jīng)應用在通信和信號處理的很多領域，如盲分離[2]、波束形成器[3]、陣列天線[4]、模式識別[5]、濾波器設計[6]等。針對矩陣束廣義特征值分解（GEVD,generalized eigenvector decomposition），學者們提出了一些代數(shù)方法來計算信號的廣義主元，然而這些代數(shù)方法本質上屬于批處理類算法，不僅計算復雜度高，而且要求矩陣束是已知的。而通信和信號處理的很多領域中，天線和傳感器只能接收當前時刻信號的采樣值，自相關矩陣束是未知的，因此有必要發(fā)展自適應廣義主元分析算法。

利用神經(jīng)網(wǎng)絡對廣義主元進行自適應估計是常用的方法。Mathew 等[7]提出含有Sigmoid 激勵函數(shù)的非線性反饋型神經(jīng)網(wǎng)絡結構，然而該神經(jīng)元結構過于復雜，需要選取很多參數(shù)，不利于實際應用。Hebbian 在研究神經(jīng)網(wǎng)絡學習規(guī)律時指出：神經(jīng)網(wǎng)絡權值的更新應該與輸入和輸出的相關性成正比，進而提出了Hebbian 規(guī)則[8]。Oja[9]首次將Hebbian規(guī)則引入自適應特征值分解算法領域。相比批處理代數(shù)算法和反饋型神經(jīng)網(wǎng)絡算法，基于Hebbian 規(guī)則的算法具有以下3 個方面的優(yōu)勢：1)只利用信號當前值來估計廣義主元，不需要計算自相關矩陣，算法的實時性較好；2)適用于處理平穩(wěn)信號和非平穩(wěn)信號，應用范圍廣泛；3)計算復雜度相對較低，能夠處理高維數(shù)據(jù)[10]。因此，基于Hebbian 規(guī)則的算法已經(jīng)成為該領域的主流研究方向。

在基于Hebbian 規(guī)則的廣義主元分析算法方面，Chatterjee 等[11]構建了一個雙層線性神經(jīng)元，并基于此提出了梯度性算法，然而該算法難以選擇合適的學習步長。為了避免矩陣的求逆計算，Liu等[12]提出了RNN（recurrent neural network）算法，但該算法存在收斂速度慢的問題。為了提升算法的收斂速度，Tanaka[13]將廣義主元轉化為特征值分解問題，利用冪迭代法對廣義特征向量進行在線估計，然而該算法中存在較多的矩陣開方操作，由于矩陣開方結果的不唯一性使算法的穩(wěn)定性較差。Nguyen 等[14]則通過對神經(jīng)元權向量不斷地歸一化來提升算法的穩(wěn)定性，但是頻繁的歸一化操作又增加了算法的計算復雜度。Li 等[15]將Douglas 特征值分解算法擴展到GEVD 領域，提出了沒有權向量模值歸一化操作的GDM（generalized Douglas minor）算法。目前，廣義主元分析算法大多采用加權指數(shù)遺忘窗法對自相關矩陣進行在線估計，但該方法往往增加算法的計算復雜度，因此如何有效降低算法的計算復雜度是一個值得研究的課題。

基于Hebbian 學習規(guī)則，M?ller[16]提出了一種穩(wěn)定的特征值分解算法。本文通過對該算法進行分析改進，提出了一種新型廣義主元分析算法（簡稱“本文算法”）。本文主要工作如下：1) 采用瞬時近似法進行自相關矩陣估計，有效降低了算法的計算復雜度；2) 通過Lyapunov 穩(wěn)定性理論對本文算法的穩(wěn)定性進行分析，證明了本文算法的有效性。

2 GEVD 基礎理論

假設存在2 個n維信號向量序列{x(k)∈Rn×1}和{y(k)∈Rn×1}，其自相關矩陣分別為Rx=E[x(k)xT(k)]和Ry=E[y(k)yT(k)]。顯然，自相關矩陣Rx和Ry是2 個正定的Hermitian 矩陣。將Rx和Ry組合成矩陣束(Ry,Rx)，則GEVD 問題就是計算n維非零向量p和標量λ，使式(1)成立。

其中，p和λ分別表示矩陣束(Ry,Rx)的廣義特征向量和廣義特征值。顯然對于任意非零常數(shù)a，ap也是矩陣束(Ry,Rx)的廣義特征向量。為了方便后續(xù)使用，這里將矩陣束(Ry,Rx)中關于Rx正交、且模值為1 的廣義特征向量vi和對應的廣義特征值組成特征對(λi,vi)，其中i=1,2,… ,n。進而根據(jù)GEVD的性質，有

其中，i,j∈{1,2,…,n}，δij為Kronecker 函數(shù)。

將矩陣束(Ry,Rx)的所有廣義特征值按照從大到小的順序進行排序，即

所對應的廣義特征向量也相應調整，則廣義特征值λ1對應的廣義特征向量v1是信號的廣義主元。

3 本文算法的提出

為了自適應地估計信號的廣義主元，本文考慮式(4)所示的Hebbian 線性神經(jīng)元模型。

其中，h(k)∈Rn×1表示神經(jīng)元的輸入，w(k)∈Rn×1表示神經(jīng)元的權向量，g(k)表示神經(jīng)元的輸出。利用Hebbian 神經(jīng)元進行廣義主元估計是為了構造合適的權向量更新規(guī)則，使權向量在經(jīng)歷若干次迭代計算后能夠收斂到信號廣義主元的方向。

基于式(4)所示的神經(jīng)元模型，通過對M?ller算法[16]進行改進，本文提出了一種新型廣義主元分析算法，其數(shù)學模型如式(5)所示。

其中，z1(k)=yT(k)w(k)和z2(k)=xT(k)w(k)分別表示神經(jīng)元的輸出，η表示算法的學習因子。通過分析計算可得本文算法的計算復雜度為4n，而文獻[17]為10n2+6n，文獻[18]為15n2+8n，文獻[15]為9n2+4n。顯然，本文算法的計算復雜度最低。

對式(5)等號兩側同時取數(shù)學期望可得

對比式(5)和式(6)可得，本文算法（式(5)所示）利用自相關矩陣的瞬時估計值來代替矩陣Rx和Ry，雖然該近似操作存在一定的誤差，但是通過設計合理的更新學習規(guī)則可以保證算法最終的收斂方向[16]，通過該近似操作可以大幅提升算法的實時性，有利于算法的實際應用。此外，通過對比本文算法和現(xiàn)有算法[11-15]可以發(fā)現(xiàn)：本文算法與現(xiàn)有算法都是基于Hebbian 規(guī)則而提出的，且算法的模型基礎是相同的，主要區(qū)別在于現(xiàn)有算法采用指數(shù)加權遺忘法來對自相關矩陣Rx和Ry進行在線估計，而本文算法則采用信號當前采樣值對自相關矩陣進行瞬時估計。由于瞬時估計不需要矩陣相乘操作，節(jié)省了很大的計算量，因此本文算法具有較低的計算復雜度。

4 穩(wěn)定性分析

本節(jié)將重點研究算法的穩(wěn)定性，即分析本文算法中權向量能否準確地收斂到信號廣義主元的方向。該分析過程將通過如下2 個定理來完成。

首先基于隨機近似理論，本文算法（式(5)所示）的確定性連續(xù)時間系統(tǒng)可以表示為

根據(jù)數(shù)學分析理論，式(7)只能在平衡點處取得穩(wěn)定狀態(tài)，因此首先給出式(7)的所有平衡點。

定理1對式(7)而言，S={0,a1v1,a2v2,…,an vn}表示所有平衡點構成的集合，其中，i=1,2,…,n。

證明根據(jù)平衡點定義，在平衡點處有f(w)=0，即

其中，

顯然，式(8)是矩陣束(Ry,Rx)的廣義特征值分解方程，且是式(8)的解。此外，令wi=ai vi,(i=1,2,…,n)，并代入式(9)，有

綜上所述，本文算法的平衡點集為S={0,a1v1,a2v2,…,an vn}。證畢。

在得到算法的平衡點后，需要確定哪些平衡點是穩(wěn)定的，由此可以確定算法最終的收斂結果，相關結論由定理2 給出。

定理2在平衡點集S中，當時平衡點a11v是漸進穩(wěn)定的，而其他的平衡點都是不穩(wěn)定的。

證明定義向量函數(shù)

則g(w) 的Jacobian 矩陣為

其中，I表示單位矩陣。

根據(jù)定理1 可得算法的平衡點集為S。首先考慮平衡點w=0 的情況，即

假設J0的特征值為λ，則有

式(14)表明矩陣J0和(Ry+Rx)具有相同的特征向量。令為矩陣(Ry+Rx)的特征值，由于Ry和Rx均是對稱正定矩陣，因此矩陣(Ry+Rx)也是對稱正定矩陣，其特征值ρ＞0，即J0的特征值λ=nρ+1 ＞ 1。因此根據(jù)Lyapunov 穩(wěn)定性理論可得，平衡點w=0是不穩(wěn)定的。

接下來，分析wi=ai vi,(i=1,2,…,n}的情況，此時有

顯然，平衡點wi的穩(wěn)定性是由Ji的譜分析決定的。定義矩陣

則Ji和Mi具有相同的特征向量。Mi分別左乘VT和右乘V，有

其中，Λ′=diag{[0,…,1,… 0]}表示對角線上第i個元素為1、其他元素都為0 的對角矩陣；V表示矩陣束(Ry,Rx)所有廣義特征向量構成的矩陣。矩陣的特征值為

根據(jù)Lyapunov 穩(wěn)定性理論，系統(tǒng)漸進穩(wěn)定的充分條件是對于Ji的任意特征值α，使|α|＜ 1 成立。為便于分析，分別討論i≠1 和i=1 這2 種情況。

1)i≠1 的情況

當j≠1 時，有

當j=i時，有

當i≠ 1時，始終存在λ1＞λi使式(20)不成立，因此平衡點a2v2,a3v3,…,an vn都是不穩(wěn)定的。

2)i=1 的情況

當j≠i=1 時，有

當j=i=1 時，有

定理2 表明，本文算法只能在平衡點a11v處取得穩(wěn)定狀態(tài)，因此經(jīng)過若干次迭代運算后，算法的收斂結果必定與矩陣束(Ry,Rx)的最大廣義特征值對應的廣義特征向量方向相一致，進而證明了本文算法的穩(wěn)定性。

5 仿真和應用

本節(jié)將通過3 個實驗來對本文算法的性能進行驗證。第一個實驗是自相關矩陣束已知情況下，利用本文算法對廣義主元進行估計，并與一些現(xiàn)有算法的估計結果進行對比；第二個實驗針對自相關矩陣束未知的情況，利用本文算法直接從輸入信號中對廣義主元進行自適應估計；第三個實驗是利用本文算法解決波束形成問題。為了對估計結果進行定量評價，本文采用算法在迭代過程中的方向余弦（DC,direction cosine）作為定量評價指標，如式(24)所示。

方向余弦描述的是權向量與廣義主元v1的方向相似度，如果方向余弦值等于1，則表明權向量已經(jīng)于廣義主元v1在方向上重合。

5.1 自相關矩陣束已知情況下實驗

利用文獻[19]中的方法隨機生成式(25)和式(26)所示的正定Hermitian 矩陣。

矩陣束(Ry,Rx)的最大廣義特征值λ1=2.695 0，其對應的廣義特征向量為

分別采用本文算法（式(6)所示）、RNN 算法[12]和GDM 算法[15]來估計矩陣束(Ry,Rx)的廣義主元v1。迭代過程中初始化權向量是隨機產(chǎn)生的。圖1給出了3 種算法的方向余弦曲線，圖2 給出了本文算法在迭代過程中權向量元素的變化情況。

圖1 矩陣束已知情況下3 種算法的方向余弦曲線

圖2 矩陣束已知情況下本文算法在迭代過程中權向量元素的變化情況

從圖2 中可得本文算法的權向量收斂結果為

5.2 自適應廣義主元估計

這里通過式(29)和式(30)來產(chǎn)生輸入信號序列[20]。

其中，n1(k)和n2(k)表示均值為0、方差為0.1 的加性高斯白噪聲，θi(i=1,2,3)表示初始相位且在[0,2π]上服從均勻分布。從式(29)和式(30)中取連續(xù)8 個相互重疊的輸出作為輸入信號向量，即y(k)=[y(k),y(k+1),…,y(k+7)]T和x(k)=[x(k),x(k+1),…,x(k+7)]T。

采用本文算法（式(5)所示）、RNN 算法和GDM算法對隨機生成信號的廣義主元進行自適應估計，算法中初始化權向量是隨機產(chǎn)生的。3 種算法的方向余弦曲線如圖3 所示。從圖3 中可以看出，在信號自相關矩陣未知的情況下，本文算法通過對自相關矩陣進行瞬時估計，能快速地跟蹤并保持在信號的廣義主元方向上，而且跟蹤速度要優(yōu)于其他算法。

圖3 自相關矩陣未知情況下3 種算法的方向余弦曲線

5.3 在波束形成中的應用

波束形成，又稱空域濾波，是現(xiàn)代通信領域的重要內容。波束形成技術的基本思想是通過將天線各陣元輸出信號進行加權求和，從而將天線陣列波束導向一個特定方向，使天線在期望波束方向取得最大增益，且盡可能地壓制其他干擾信號和噪聲。文獻[21]指出：波束形成器的最優(yōu)加權向量是滿足式(31)所示的最大信號噪聲比準則的解。

其中，Rs=E{s(k)sT(k)}和Rd=E{d(k)dT(k)}分別表示期望信號s(k)和干擾信號d(k)的自相關矩陣。根據(jù)廣義Rayleigh 商的性質[22]，式(31)的最優(yōu)解剛好是矩陣束(Rs,Rd)的廣義主元。

假設空間中一線性等距天線陣列，陣子數(shù)量為12，間距為半波長。期望信號的入射角為0°，其他4 個干擾信號的入射角分別為-30°、-15°、-10°、-20°。信號中噪聲為加性高斯白噪聲，信噪比為30 dB。采用本文算法對該波束形成器的最優(yōu)加權向量進行估計，算法初始化權向量仍是隨機產(chǎn)生的。

采用本文算法和精準廣義主元算法獲得的波束模式曲線如圖4 所示。從圖4 可以看出，主波束在期望的方向上有較強的增益，而其他干擾信號則受到了較大抑制。通過對比實驗結果發(fā)現(xiàn)，本文算法的估計結果與精準的波束模式曲線效果相差不大，即本文算法能夠較好地處理波束形成問題。

圖4 波束模式

6 結束語

廣義主元分析是通信和信號處理領域內的重要分析工具。本文針對如何從輸入信號中自適應地對廣義主元進行估計這一問題，提出了一種新型廣義主元分析算法。該算法利用神經(jīng)元權向量不斷迭代更新來實現(xiàn)廣義主元估計，采用自相關矩陣瞬時估計法有效地降低了算法的計算復雜度，基于Lyapunov 穩(wěn)定性理論完成了本文算法的平衡點分析。最后通過仿真實驗和實際應用實驗對本文算法的性能進行了驗證，驗證結果表明本文算法能夠有效地提取信號的廣義主元，且速度要優(yōu)于對比算法。