自然梯度盲源分離加速收斂的衡量依據(jù)

陳國欽，陳以勤，詹仁輝

(1.福建技術(shù)師范學(xué)院電子與機械工程學(xué)院，福建 福清 350300；2.福建通信信息報社有限責(zé)任公司，福建 福州 350000；3.福建師范大學(xué)光電與信息工程學(xué)院，福建 福州 350117)

自然梯度算法作為自適應(yīng)算法中非常重要的方法，由Yang[1]理論上證明了其有效性．算法的穩(wěn)態(tài)誤差與步長成正比，收斂時間與步長成反比，因此采用固定步長時，使得收斂速度和穩(wěn)態(tài)誤差特性不能同時滿足．采用變步長是固定步長不能同時兼顧收斂速度和穩(wěn)態(tài)誤差問題的解決方向，即學(xué)習(xí)率從某一固定步長值開始按倒數(shù)遞減，但這些應(yīng)與神經(jīng)網(wǎng)絡(luò)輸出之間的分離狀態(tài)相關(guān)才具備有效性[2-4]．目前盲源分離在許多領(lǐng)域均得到應(yīng)用[5-10]，因此進一步探討盲源分離加速收斂的有效性問題具有現(xiàn)實意義．

所有信號均有既定的峭度累積量，一個混合信號完成盲源分離時，分離信號的峭度累積量將達到一個既定的累積量，因此峭度累積量是一個與分離狀態(tài)緊密相關(guān)的物理量．該物理量是構(gòu)造有效變步長自然梯度盲源分離的有效參考物理量[3]，同時也是本文探討自然梯度盲源分離穩(wěn)定加速方法有效性的觀察點．基于該觀察點，針對構(gòu)成自然梯度盲源分離變步長穩(wěn)定加速方法的有效性衡量問題，結(jié)合仿真實驗分析探討一種衡量依據(jù)．

首先，觀察固定步長自然梯度盲源分離時，在各種不同步長的穩(wěn)定分離收斂過程，分離信號的峭度累積量隨步長迭代的前后之差e(k)遵循一定的變化規(guī)律，不同步長的變化曲線相似，只是變化集中范圍隨步長大小有所不同，并存在一個開始迭代階段為0的狀態(tài)，且步長越大該開始段越??；此外，存在一個支持穩(wěn)定分離收斂的有限步長范圍0<η0≤ηmax．其次，再觀察明顯有效加速方法的變步長盲源分離時，存在以下規(guī)則：其一，要保證有穩(wěn)定分離收斂過程的特征前提是除了變步長應(yīng)該與分離信號的狀態(tài)緊密相關(guān)，而且分離信號峭度累積量的e(k)也遵循上述相似的變化規(guī)律；其二，也存在一個與固定步長自然梯度盲源分離同樣的支持穩(wěn)定分離收斂的有限步長范圍0<ηk≤ηmax．

據(jù)此得到的結(jié)論是，在混合信號的自然梯度盲源分離存在的能保證兼顧分離穩(wěn)定性和收斂的步長允許范圍內(nèi)，從分離信號的峭度累積量觀察，可衡量自然梯度盲源分離穩(wěn)定收斂提速的因素，存在于分離信號峭度累積量隨迭代(固定步長迭代或變步長迭代)變化量e(k)的相似變化特征中，即e(k)變化率為0的開始迭代階段和變化部分的集中程度兩個重要觀察指標(biāo)．因此，當(dāng)衡量構(gòu)成與自然梯度盲源分離輸出程度緊密關(guān)聯(lián)的穩(wěn)定加速方法的有效性時，該特征指標(biāo)就是一個參考依據(jù)．

1 固定步長自然梯度盲源分離算法的收斂速度分析

1.1 與分離輸出狀態(tài)相關(guān)的峭度累積量

分離信號的峭度累積量是一個與分離狀態(tài)密切相關(guān)的物理量．當(dāng)輸出變量是統(tǒng)計獨立的，輸出的互信息為0時，分離達到穩(wěn)定狀態(tài)，而這時輸出的邊緣負(fù)熵達到最大．假設(shè)概率密度函數(shù)是對稱的，則邊緣負(fù)熵近似為四階邊緣累積量．四階邊緣累積量k4(i)的歸一化計算稱作信號的峭度，用于衡量信號偏離高斯的程度．所以可以通過計算分離信號邊緣負(fù)熵總和代替互信息[3]：

(1)

在盲源分離過程，Jall(k) 是非負(fù)的，且從小到大變化，最后達到穩(wěn)定值(固有的“預(yù)設(shè)值”)．因為不同類型的信號具有不同的固有峭度值，混合信號在達到完全分離時，每個信號將達到其固有的峭度值(實際情形是達到一個很小穩(wěn)定誤差下分離時的峭度值)，則各個分離信號峭度的累積量也就達到了穩(wěn)定值[3]．

1.2 峭度累積量反映的固定步長取值范圍

自然梯度算法依賴于學(xué)習(xí)率選擇是否得當(dāng)，如果選擇不當(dāng)而出現(xiàn)穩(wěn)定性變差，將破壞分離過程的收斂[2-3]．以下的仿真實驗也驗證了這個結(jié)果，因此混合信號自然梯度盲源分離中步長存在一個合適取值范圍．

實驗條件：圖1是超高斯的5個語音信號(16 kHz采樣率/16 bit，15 000個數(shù)據(jù)點，通過電腦聲卡采集得到的數(shù)字信號，φ(yk)= tanh(y)).

圖1 實驗的超高斯信號源

實驗以隨機混合矩陣A對源信號混合.為評價盲分離算法的性能，以“串音”誤差為評價指標(biāo)[3]：

(2)

C是一個置換陣,C=WA，其中cij為C的第i、j個元素，PI表示算法的分離性能，其值越小表示分離的性能越好，當(dāng)PI=0 時表示信號完全分離.一般情況下，完成分離是達到一個理想的很小值，稱為串音誤差.

結(jié)果分析：圖2峭度變化曲線表明，語音混合信號在固定步長大于0.85時就明顯地破壞了分離過程的收斂，實際在大于0.8步長時就開始出現(xiàn)不穩(wěn)定振蕩狀態(tài)．

圖2 不同固定步長的峭度累積量變化曲線

1.3 峭度累積量反映的穩(wěn)定收斂變化

若兩次迭代之間的取固定步長值η0，則在兩次迭代之間，累積量Jall(k) 是從小于1的值不斷增大，越接近完成分離而越趨于隱藏的固有“預(yù)設(shè)值”，最后完成分離．因此，若取兩次迭代之間的峭度累積量之差值e(k)來觀察，e(k)隨迭代的變化狀態(tài)(以下簡稱e(k)曲線)將從另一個側(cè)面反映盲源分離的變化規(guī)則．變化值e(k)可以用(3)式表示：

e(k)=Jall(k)-Jall(k-1).

(3)

歷經(jīng)N次迭代的過程相當(dāng)于對e(k) 的積分過程，當(dāng)累積量等于“預(yù)設(shè)值”時，分離也達到完成：

(4)

完成分離時的累積量Jall(k)都等于相同的“預(yù)設(shè)值”．從上述語音混合信號分離過程得到的圖2的峭度累積曲線說明，固定步長在允許最大值時都達到最快的分離速度(迭代次數(shù)最少)，小于最大允許值的步長時，取值越小分離完成得越慢(迭代次數(shù)增加)．因此，根據(jù)(4)式可知e(k)在越少的迭代次數(shù)里，將有更大的變化值，即步長越大者，其e(k) 變化斜率和變化值域值越大，反之相反．為了觀察e(k) 在取不同固定步長值時的變化趨勢，進行以下的仿真實驗．

仿真實驗：在固定步長0.1、0.4和0.8時，對混合語音信號進行固定步長自然梯度盲源分離實驗．峭度累積量Jall(k)兩次迭代之間的e(k) 變化曲線分別如圖3所示，e(k) 相關(guān)變化參數(shù)如表1所示．

圖3 固定步長0.1、0.4和0.8的e(k)變化曲線

結(jié)果分析：①從圖3可見，幾種情況的曲線下面積就是(4)式的結(jié)果．以峰值為界，峰值前是峭度累積量的增量變化趨于加速的過程，峰值后階段是峭度累積量的增量變化趨于減小直至達到“預(yù)設(shè)值”的過程．步長取值0.1、0.4和0.8的e(k) 曲線是相似的，但步長值越大的e(k)曲線 ，其整個變化將在更短的時間內(nèi)完成，且e(k) 曲線的值域變化范圍和變化斜率(變化速度)也越大．②從表1也可見，步長越小時，迭代計算的分離速度也越低，e(k)曲線的變化值域就越小，尤其在開始階段，e(k) 曲線幾乎無變化率的迭代次數(shù)將越多，而此后e(k)曲線明顯變化階段的變化值域和變化斜率也越小，因此根據(jù)(4)式完成分離的迭代次數(shù)將越多．

表1 固定步長取0.1～0.8時，e(k)等變化參數(shù)

綜合上述，固定步長自然梯度盲源分離存在以下結(jié)論：在混合信號自然梯度盲源分離保證兼顧分離穩(wěn)定性和正常收斂的允許步長范圍內(nèi)，從e(k) 曲線觀察，反映了穩(wěn)定分離收斂過程，分離過程時間的長短取決于e(k) 曲線無變化率的開始段和集中變化的曲線段．它也是影響收斂速度的兩個主要特征．

2 基于峭度累積量微分變步長預(yù)測的加速收斂分析

在盲源分離算法中，峭度累積值隨分離程度提高而增大，達到完全分離時的穩(wěn)定值相當(dāng)于既定的預(yù)設(shè)值，而分離過程的峭度累積值相當(dāng)于輸出反饋．并且注意到分離信號的峭度累積量是由小到大直至穩(wěn)定的單向變化過程，而變步長的目的是穩(wěn)定地加速這個過程．

據(jù)此，由于在自動化PID(Proportion Integral Differentiation)算法中，其中利用預(yù)設(shè)值和輸出反饋值間的差值，比例項P是把調(diào)節(jié)器的輸入偏差乘以一個系數(shù)，作為調(diào)節(jié)器的輸出；加大比例值可以減少從非穩(wěn)態(tài)到穩(wěn)態(tài)的時間．微分項D是根據(jù)差值變化的速率(預(yù)測誤差的變化趨勢)，提前給出相應(yīng)的調(diào)節(jié)動作．因此，首先，若以初始步長作為比例項，以迭代前后輸出的峭度累積量之差相對于步長的變化率作為近似微分項，構(gòu)成PD(Proportion Differentiation)控制的變步長學(xué)習(xí)率，則可以在比例作用基礎(chǔ)上，給出一個提前預(yù)測調(diào)節(jié)；其次，由于該變步長算法與分離程度緊密相關(guān)，則可加快分離收斂速度的基礎(chǔ)上又兼顧了穩(wěn)定性[2-3]，圖4為基于峭度累積量的PD閉環(huán)控制．

圖4 基于峭度累積量的PD閉環(huán)控制

下面對該與分離輸出程度緊密相關(guān)的變步長算法做進一步討論，說明如何影響上述決定收斂速度的兩個特征因素．

2.1 提高微分預(yù)測作用因素

因為分離過程是分離信號峭度累積量逐步增大到固有值的過程，因此取與分離過程相關(guān)的e(k)變化值相對于步長的比值，近似作為微分預(yù)測值，提供相應(yīng)的變步長增量．利用e(k) 變化值構(gòu)造預(yù)測加速的步長增量：

(5)

顯然，隨e(k) 變化值將得到合適的步長增量．構(gòu)造PD變步長學(xué)習(xí)率：

(6)

為了進一步驗證該與分離輸出程度緊密相關(guān)的變步長盲源分離過程，如何影響上述e(k)曲線兩個影響收斂速度的兩個特征，根據(jù)(6)式采用超高斯信號進行仿真實驗．

仿真實驗：分別取初始步長為0.1～0.8，在作用系數(shù)λ取不同值時，對混合語音信號采用(6)式進行仿真實驗，對于不同初始步長取得最大作用系數(shù)值時，e(k)曲線相關(guān)變化參數(shù)如表2所示．其中取初始步長0.1的變步長分離和0.1固定步長分離的峭度累積量的e(k)曲線分別如圖5所示．

圖5 取0.1固定步長和變步長時的e(k)曲線

結(jié)果分析：由表2和圖5可以看到：分別取初始步長0.1～0.7，并且(6)式作用系數(shù)λ取得最大值(無產(chǎn)生不穩(wěn)定的振蕩)時，e(k)曲線具有與上述相似的變化特征，但e(k)曲線開始階段的變化率現(xiàn)象也保持不變，即迭代次數(shù)與表1結(jié)果是一樣的，只對e(k)曲線出現(xiàn)明顯變化率的階段進一步集中(加速)，達到提速效果．最后，當(dāng)大于0.8初始步長后，開始出現(xiàn)收斂不穩(wěn)定的狀態(tài).

表2 初始步長取0.1～0.8時，(6)式的λ1取得不同最大值時的e(k)等變化參數(shù)

綜合上述，變步長自然梯度盲源分離存在以下結(jié)論：在混合信號自然梯度盲源分離保證兼顧分離穩(wěn)定性和正常收斂的允許步長范圍內(nèi)，對直接采用(6)式的加速過程， 僅僅影響了e(k) 曲線的變化部分，使變化部分的曲線趨于更集中，由此達到加速效果．而且該實驗中微分作用系數(shù)取值也達到了可保證穩(wěn)定分離的上限，因此取各種初始步長下也已經(jīng)達到加速的上限．

由此說明，若要使整個e(k) 變化曲線往前移動，獲得與圖5較佳狀態(tài)相近的e(k)曲線，那么對e(k) 曲線開始階段的影響是進一步的改造空間．

2.2 改善分離開始階段的e(k) 變化率

因為注意到分離信號峭度累積量隨迭代步長變化的過程，迭代計算前后的e(k)變化值只要有很小的變化，那么e(k)變化值相對于迭代中的峭度累積量Jall(k)也會有較明顯變化，并且隨著施行加速的開始是個較明顯的值，隨著收斂過程趨于穩(wěn)定而趨于0．因此，可以用來改變開始階段的分離速度，構(gòu)造新的PD 變步長學(xué)習(xí)率如下：

g(k)=e(k)/Jall(k),

(7)

(8)

仿真實驗：針對混合語音信號源進行兩個實驗，其一，語音混合信號取固定步長0.1進行自然梯度盲源分離，取得g(k)和e(k)變化曲線如圖6所示．其二，語音混合信號在初始步長取0.1以上的值實現(xiàn)(8)式的變步長分離，在取合適(只是一組合適取值，非最佳)的λ1和λ2作用系數(shù)時，取得e(k)等變化參數(shù)如表3所示；其中由初始步長0.1取得e(k)變化曲線也如圖6所示．

表3 初始步長取0.1～0.8時，式(8)的λ1和λ2取不同合適值(非最佳)時的e(k)等變化參數(shù)

圖6 固定步長0.1分離的e(k)和g(k)曲線;(8)式初始步長0.1分離的e(k)曲線

結(jié)果分析：表3結(jié)果表明，在混合信號的盲源分離能保證兼顧分離穩(wěn)定性和收斂的允許步長范圍內(nèi)，采用(8)式進行變步長分離，并在λ1和λ2取合適參數(shù)時，e(k)曲線保持上述相似的變化規(guī)則．但開始段變化的變化率明顯提高了，無變化的開始迭代次數(shù)下降到2-3次，整個e(k)曲線前移了，而且e(k)曲線的峰值基本出現(xiàn)在25-33次迭代之間，完成分離的迭代次數(shù)(收斂速度)更接近一致的40次左右，均接近較佳的收斂速度．

圖6也說明，固定步長分離時，在迭代開始段g(k)一開始就隨迭代步長上升到最大的變化率，此后隨分離趨于完成逐漸下降，直至完成而降到0．恰如預(yù)期，g(k)變化特征與e(k)相反，確實有助于改善e(k) 曲線開始段的狀態(tài)．

綜合上述，(8)式同時有效地影響了e(k)曲線的幾乎無變化的開始段和集中變化的階段，因此整個e(k) 變化曲線前移了，得到更接近固定步長分離時較佳狀態(tài)的e(k)曲線．此外，當(dāng)取大于0.8初始步長后開始出現(xiàn)收斂不穩(wěn)定狀態(tài)，說明同樣存在一個保證兼顧穩(wěn)定性和正常收斂的允許步長范圍.

3 結(jié)論

無論是固定步長盲源分離還是變步長加速的自然梯度盲源分離，在不同混合信號盲源分離保證兼顧穩(wěn)定性和正常收斂的允許步長范圍內(nèi)，對于構(gòu)成與分離輸出狀態(tài)緊密相關(guān)的變步長算法時，從分離信號峭度累積量變化的角度看，衡量自然梯度盲源分離穩(wěn)定加速收斂的觀察指標(biāo)存在于分離信號峭度累積量隨步長(固定步長或變步長)迭代變化量曲線e(k)的變化特征中，即e(k)變化率為0的開始迭代階段和變化部分的集中程度是兩個重要觀察指標(biāo)．當(dāng)衡量構(gòu)成與自然梯度盲源分離輸出程度緊密關(guān)聯(lián)的穩(wěn)定加速方法的有效性時，該特征指標(biāo)就是一個參考依據(jù)．