新型自適應(yīng)廣義特征向量估計(jì)算法及其特性分析

徐中英 高迎彬 孔祥玉

①(火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院 西安 710025)

②(中國(guó)電子科技集團(tuán)公司第五十四研究所 石家莊 050081)

1 引言

作為一門重要分析工具，廣義特征值分解(Generalized Eigen-Decomposition， GED)已經(jīng)廣泛應(yīng)用于盲源分離[1]、腦電波分析[2]、影像分割[3]、陣列天線[4]、數(shù)據(jù)分類[5]等諸多領(lǐng)域。給定一個(gè)矩陣束(Ry，Rx)，則GED問題就是求解滿足式(1)的關(guān)系向量w和標(biāo)量λ

其中，Ry和Rx是兩個(gè)n×n維正定的Hermitian矩陣。滿足方程式(1)的向量w和標(biāo)量λ分別記為矩陣束(Ry，Rx)的廣義特征向量和廣義特征值。雖然傳統(tǒng)的奇異值分解等代數(shù)方法可以解決GED問題，但是這些方法計(jì)算復(fù)雜度較高，而且要求矩陣束(Ry，Rx)是已知的。而在實(shí)時(shí)信號(hào)處理領(lǐng)域，由于傳感器輸出的是信號(hào)當(dāng)前時(shí)刻的采樣值，需要對(duì)矩陣束進(jìn)行在線估計(jì)和更新，因此發(fā)展自適應(yīng)GED算法就很有必要。近些年來(lái)，基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)GED算法成為國(guó)內(nèi)外的研究熱點(diǎn)。相比傳統(tǒng)的代數(shù)方法，神經(jīng)網(wǎng)絡(luò)類算法具有在線運(yùn)算、計(jì)算復(fù)雜度低、能夠處理高維數(shù)據(jù)和非平穩(wěn)信號(hào)等優(yōu)點(diǎn)[6—8]，已經(jīng)成為該領(lǐng)域內(nèi)的主流研究方向。

基于神經(jīng)網(wǎng)絡(luò)的GED算法將線性神經(jīng)元的突觸權(quán)向量作為廣義特征向量的估計(jì)結(jié)果，通過構(gòu)造合適的更新規(guī)則使得權(quán)向量能夠收斂到信號(hào)自相關(guān)矩陣束的廣義特征向量?；?層前向神經(jīng)網(wǎng)絡(luò)，Yang等人[9]提出了一個(gè)遞歸最小二乘算法，然而該算法在估計(jì)自相關(guān)矩陣時(shí)需要用到所有信號(hào)數(shù)據(jù)，因此存儲(chǔ)器需求量特別大。Liu等人[7]則利用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network， RNN)技術(shù)提出了最大和最小廣義特征值同時(shí)估計(jì)的RNN算法，該算法收斂速度較慢。Attallah等人[10]采用降秩法提出了降秩廣義特征向量提取(Reduced- rank Generalized EigenVector Extraction， R-GEVE)算法，該算法通過在當(dāng)前時(shí)刻的信號(hào)采樣值與上一時(shí)刻的廣義特征向量估計(jì)值構(gòu)成的降秩空間里進(jìn)行搜索來(lái)完成廣義特征向量估計(jì)，由于該算法搜索空間小于實(shí)際的信號(hào)子空間，因此算法收斂速度較慢；通過將GED問題轉(zhuǎn)化為特征值分解問題，Tanaka等人[11]采用冪函數(shù)法算法提出了快速的算法，雖然該算法解決了收斂速度的問題，但算法容易產(chǎn)生數(shù)值不穩(wěn)定現(xiàn)象；通過對(duì)Oja-Xu算法進(jìn)行改進(jìn)，Nguyen等人[12]提出了穩(wěn)定的GED算法，該算法雖然平衡了收斂速度與穩(wěn)定性之間的關(guān)系，但是其穩(wěn)定性是靠添加模值歸一化來(lái)完成的，增加了算法的計(jì)算量。為了避免頻繁的模值歸一化操作，Li等人[13]通過對(duì)權(quán)向量添加隱性模值約束提出了自穩(wěn)定的GDM(Generalized Douglas Minor component analysis)算法，但是該算法收斂速度較慢。目前，發(fā)展快速穩(wěn)定的自適應(yīng)GED算法仍是該領(lǐng)域內(nèi)值得研究的問題。

算法的特性分析包括穩(wěn)定性分析、動(dòng)態(tài)特性分析等內(nèi)容。穩(wěn)定性分析通過李雅普諾夫函數(shù)法研究算法所有平衡點(diǎn)的漸進(jìn)穩(wěn)定性，確定出穩(wěn)定的平衡點(diǎn)并建立起穩(wěn)定的平衡點(diǎn)與所需廣義特征向量之間的關(guān)系；明確算法的最終收斂結(jié)果，是發(fā)展算法的必要環(huán)節(jié)[14]。動(dòng)態(tài)特性分析是指利用確定性離散時(shí)間(Deterministic Discrete Time， DDT)方法研究算法在迭代過程中權(quán)向量的運(yùn)動(dòng)軌線和變化規(guī)律，給出保證算法收斂的邊界條件，是研究算法特性的重要部分[15]。以往DDT方法研究對(duì)象主要是特征值分解算法[16—18]。相比傳統(tǒng)特征值分解算法，GED算法研究對(duì)象從單個(gè)矩陣變?yōu)榱藘蓚€(gè)矩陣構(gòu)成的矩陣束，算法形式的復(fù)雜導(dǎo)致動(dòng)態(tài)特性分析難度相應(yīng)增加。因此有必要研究如何利用DDT方法對(duì)GED算法進(jìn)行動(dòng)態(tài)特性分析。

為了進(jìn)一步提升算法性能并完成算法的特性分析，本文首先提出了一個(gè)單維廣義特征向量估計(jì)算法，然后分別利用李雅普諾夫函數(shù)法完成了算法的穩(wěn)定性分析和DDT方法完成了算法的動(dòng)態(tài)特性分析，最后利用膨脹技術(shù)將所提單維算法拓展為多維廣義特征向量提取算法。

2 單維算法的提出

3 單維算法的性能分析

算法的穩(wěn)定狀態(tài)是指經(jīng)過很多次迭代運(yùn)算后權(quán)向量的最終收斂結(jié)果，此時(shí)算法中權(quán)向量停止更新。根據(jù)優(yōu)化理論：算法只有可能在平衡點(diǎn)處達(dá)到穩(wěn)定狀態(tài)，因此可以通過研究算法平衡點(diǎn)的穩(wěn)定性來(lái)確定所提算法式(5)的最終收斂結(jié)果，相關(guān)結(jié)論由如下定理給出。

定理1 對(duì)所提單維算法式(5)而言，當(dāng)且僅當(dāng)w=±vn時(shí)算法是漸進(jìn)穩(wěn)定的，而其他平衡點(diǎn)是不穩(wěn)定的，其中vn是矩陣束(Ry，Rx)最小廣義特征值λn對(duì)應(yīng)的廣義特征向量。

證明 參見附錄1。

定理1表明：所提算法式(5)唯一穩(wěn)定的平衡點(diǎn)vn是吸引子，而其他平衡點(diǎn)是排斥子。因此在經(jīng)過若干次迭代運(yùn)算后，算法式(5)中權(quán)向量必然收斂到矩陣束(Ry，Rx)最小廣義特征值對(duì)應(yīng)的廣義特征向量vn。在計(jì)算得到廣義特征向量vn后，其對(duì)應(yīng)的廣義特征值可以通過λn=(vnTRyvn)/(vnTRxvn)計(jì)算得到。

4 單維算法的動(dòng)態(tài)特性分析

4.1 權(quán)向量模值的上下界

算法式(5)在迭代過程中，權(quán)向量模值的有界性證明將通過如下兩個(gè)定理來(lái)完成，其中定理2證明所提算法權(quán)向量模值存在上界，定理3則證明權(quán)向量模值存在下界。

4.2 權(quán)向量分量的動(dòng)態(tài)特性分析

本節(jié)將利用定理2和定理3的權(quán)向量模值有界性結(jié)論來(lái)分析zi(k)的動(dòng)態(tài)特性，相關(guān)結(jié)論如下。

證明 參見附錄4。

根據(jù)式(7)和引理1可以得出結(jié)論：在迭代過程中，zi(k)的正負(fù)號(hào)并不會(huì)改變。即如果初始化值z(mì)i(0)＞0，則對(duì)于所有的k ≥0，均有zi(k)＞0；反之如果zi(0)＜0，則對(duì)于所有的k ≥0，均有zi(k)＜0。不失一般性，這里只考慮zi(k)＞0的情況(zi(k)＜0情況下證明相類似)。

4.3 權(quán)向量的動(dòng)態(tài)特性分析

5 多維廣義特征向量估計(jì)算法

單維算法式(5)只能計(jì)算矩陣束最小廣義特征值對(duì)應(yīng)的廣義特征向量，為了能夠計(jì)算多維廣義特征向量，這里采用膨脹技術(shù)提出了多維廣義特征向量估計(jì)算法，其計(jì)算步驟見表1。

表1 多維廣義特征向量估計(jì)步驟

6 仿真實(shí)驗(yàn)

本節(jié)將通過3個(gè)實(shí)驗(yàn)來(lái)對(duì)所提算法進(jìn)行驗(yàn)證。第1個(gè)實(shí)驗(yàn)用所提單維算法來(lái)對(duì)廣義特征向量進(jìn)行估計(jì)并與一些算法進(jìn)行對(duì)比；第2個(gè)實(shí)驗(yàn)檢驗(yàn)所提多維算法的性能；第3個(gè)實(shí)驗(yàn)驗(yàn)證算法的動(dòng)態(tài)特性分析結(jié)論。

這里利用文獻(xiàn)[13]中方法隨機(jī)生成如式(13)和式(14)的兩個(gè)6×6維對(duì)稱正定矩陣矩陣束(Ry，Rx)的最大廣義特征值λ1=1.7880，最小廣義特征值λ6=0.1770且其對(duì)應(yīng)的廣義特征向量為

在算法迭代過程中，通過如下方向余弦來(lái)衡量權(quán)向量與目標(biāo)廣義特征向量之間的相似度

從式(16)可得：當(dāng)方向余弦DC收斂到1時(shí)，權(quán)向量w(k)與目標(biāo)廣義特征向量v是相重合的。

6.1 單維廣義特征向量估計(jì)實(shí)驗(yàn)

本實(shí)驗(yàn)利用GDM算法[13]、RNN算法[7]和所提單維算法來(lái)估計(jì)矩陣束(Ry，Rx)的廣義特征向量v6。3個(gè)算法采用相同的初始化參數(shù)：學(xué)習(xí)因子η=0.1，初始化權(quán)向量w(0)是隨機(jī)產(chǎn)生的，其模值歸一化為0.5。為了描述算法更加真實(shí)的性能，這里進(jìn)行了100次獨(dú)立仿真實(shí)驗(yàn)。圖1是最后一次迭代過程中所提算法權(quán)向量各元素的運(yùn)動(dòng)曲線，圖2分別給出了3種算法的方向余弦曲線(100次實(shí)驗(yàn)的平均值)。從圖1 可得：權(quán)向量最終收斂結(jié)果為w=[0.9222，-0.0125，-0.6809，0.1733，0.4552，0.1899]T=v6， 即權(quán)向量已經(jīng)與廣義特征向量相重合。從圖2中可以看出方向余弦曲線最終收斂值也是1，這與圖1中結(jié)果是相一致的。對(duì)比圖2中所提算法與其他兩個(gè)算法的迭代過程可以發(fā)現(xiàn)：所提單維算法的收斂速度均快于其他兩個(gè)算法。

圖1 權(quán)向量各元素的運(yùn)動(dòng)曲線

圖2 3個(gè)算法的方向余弦曲線

6.2 多維廣義特征向量估計(jì)實(shí)驗(yàn)

本實(shí)驗(yàn)利用第5節(jié)所提多維GED算法來(lái)計(jì)算由式(13)和式(14)組成的矩陣束(Ry，Rx)最小4個(gè)廣義特征值對(duì)應(yīng)的廣義特征向量(即v6，v5，v4，v3)。算法的初始化參數(shù)設(shè)置如下：學(xué)習(xí)因子η=0.02，常值σ=2＞λ1，初始化權(quán)向量是隨機(jī)產(chǎn)生的，其模值歸一化為0.5。圖3給出了利用所提多維算法估計(jì)的4個(gè)廣義特征向量的方向余弦曲線，該曲線也是100次獨(dú)立實(shí)驗(yàn)的平均值。

從圖3可以看出：4條方向余弦曲線最終均收斂到了單位1，即所提算法中權(quán)向量準(zhǔn)確地收斂到了所需的廣義特征向量的方向，該實(shí)驗(yàn)表明所提算法能夠有效地對(duì)多維廣義特征向量進(jìn)行估計(jì)。由于所提算法對(duì)廣義特征向量的計(jì)算是串行提取，因此可以根據(jù)需要增加或者減少所需要估計(jì)的廣義特征向量的個(gè)數(shù)。

圖3 4個(gè)廣義特征向量的方向余弦曲線

6.3 算法動(dòng)態(tài)特性分析實(shí)驗(yàn)

本實(shí)驗(yàn)主要是對(duì)第4節(jié)中的動(dòng)態(tài)特性分析結(jié)論進(jìn)行驗(yàn)證。這里利用式(5)對(duì)6.1節(jié)中的矩陣束(Ry，Rx)的廣義特征向量進(jìn)行估計(jì)，實(shí)驗(yàn)中學(xué)習(xí)因子設(shè)置為η=0.1，顯然此時(shí)學(xué)習(xí)因子滿足定理4中η≤0.2和ηλ1≤0.2的要求。圖4是當(dāng)w0=[-0.1878，-0.5908，-0.145，0.3064，0.2316，0.7385]T時(shí)獲得的權(quán)向量分量曲線。從圖4中可以看出，當(dāng)經(jīng)過很多次迭代計(jì)算后zi(k)(i=1，2，3，4，5)逐漸趨于0，而z6(k)最終收斂到了單位1。該動(dòng)態(tài)曲線與引理2和引理3中的結(jié)論是相一致的，進(jìn)而證明了第4節(jié)算法動(dòng)態(tài)分析的有效性。

圖4 權(quán)向量的分量曲線

7 結(jié)論

GED是信號(hào)處理領(lǐng)域內(nèi)重要的分析工具。本文首先提出了新型單維廣義特征向量估計(jì)算法；利用李雅普諾夫函數(shù)法分析了算法所有平衡點(diǎn)的穩(wěn)定性，建立了算法最終收斂結(jié)果與目標(biāo)廣義特征向量之間的聯(lián)系；通過研究權(quán)向量在廣義特征向量上的投影完成了算法的動(dòng)態(tài)特性分析，給出了保證算法收斂的充分條件；基于膨脹技術(shù)將所提單維算法擴(kuò)展為多維GED算法。仿真實(shí)驗(yàn)表明所提算法能夠有效估計(jì)矩陣束的單維或多維廣義特征向量，而且在收斂速度上具有一定的優(yōu)勢(shì)。

附錄1