牛頓法與最速下降法在自適應(yīng)信號(hào)處理中的應(yīng)用

操童

摘 要：在自適應(yīng)信號(hào)處理的系統(tǒng)中，我們對(duì)性能表面十分感興趣。微電子技術(shù)的飛速發(fā)展，容量大、體積小、性能可靠的信號(hào)處理器已經(jīng)出現(xiàn)，包括自適應(yīng)信號(hào)處理在內(nèi)的各種類的信號(hào)處理技術(shù)，得到越來越廣泛的應(yīng)用。牛頓法和最速下降法是我們熟知的兩種性能表面搜索法，最速下降法不同于牛頓法，沒一步權(quán)的調(diào)整都是在梯度的方向上。在工程應(yīng)用中，牛頓法很難實(shí)現(xiàn)，但其數(shù)學(xué)意義十分重要，在工程中已經(jīng)實(shí)現(xiàn)了最速下降法，且這種方法已被證實(shí)具有廣泛的實(shí)際應(yīng)用價(jià)值。該文重點(diǎn)介紹了應(yīng)用牛頓法和最速下降法在自適應(yīng)信號(hào)的性能表面尋找最小點(diǎn)，并對(duì)兩種方法的收斂性進(jìn)行比較。

關(guān)鍵詞：性能表面 牛頓法 最速下降法 收斂性

中圖分類號(hào)：G64 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2015）01（c）-0084-02

1 自適應(yīng)系統(tǒng)

自適應(yīng)系統(tǒng)是近年來一個(gè)蓬勃發(fā)展的研究領(lǐng)域，先已研究出一大類受制于某種條件的，近似有生物適應(yīng)過程和生命系統(tǒng)的自適應(yīng)自動(dòng)機(jī)?，F(xiàn)如今，由于微電子技術(shù)的飛速發(fā)展，已經(jīng)可以設(shè)計(jì)并制造出容量大、體積小、性能可靠的信號(hào)處理器，包括自適應(yīng)信號(hào)處理在內(nèi)的各種類的信號(hào)處理技術(shù)，得到越來越廣泛的應(yīng)用。

自適應(yīng)系統(tǒng)最基本、最主要的性質(zhì)是它的時(shí)變，自調(diào)整性能。自適應(yīng)系統(tǒng)必須是時(shí)變、非線性系統(tǒng)，特別是其特性與其輸入信號(hào)有關(guān)。如果輸入加在自適應(yīng)系統(tǒng)上，自適應(yīng)系統(tǒng)將適應(yīng)于這個(gè)輸入并產(chǎn)生相應(yīng)的輸出。如果再加上另一個(gè)輸入信號(hào)，系統(tǒng)又將去適應(yīng)第二個(gè)信號(hào)并再產(chǎn)生一個(gè)輸出。一般來說，這個(gè)自適應(yīng)系統(tǒng)針對(duì)兩個(gè)不同的輸入的形態(tài)或結(jié)構(gòu)的調(diào)整時(shí)不同的。如果兩個(gè)輸入的和加在自適應(yīng)系統(tǒng)上，系統(tǒng)將適應(yīng)這個(gè)新的輸入，而且產(chǎn)生一個(gè)新的輸出，這個(gè)輸出一般不同于+，輸出的和取決于輸入值和。對(duì)于線性系統(tǒng)所滿足的疊加原理一般不再成立。

自適應(yīng)系統(tǒng)在非線性系統(tǒng)中沒有明確的歸類。不過，其兩個(gè)方面的特征，可以將它與別的形式的非線性系統(tǒng)有所區(qū)分。其一，自適應(yīng)系統(tǒng)能進(jìn)行調(diào)整，且有限長度信號(hào)的時(shí)間平均特性通常與它們的調(diào)整相關(guān)，因此不是由信號(hào)或者是內(nèi)部系統(tǒng)狀態(tài)的瞬時(shí)值決定的。其二，自適應(yīng)系統(tǒng)是進(jìn)行有目的的調(diào)整的，通常是對(duì)某個(gè)確定的性能測度進(jìn)行優(yōu)化。

當(dāng)結(jié)束適應(yīng)過程，不在進(jìn)行自適應(yīng)調(diào)整時(shí)，其中有一類自適應(yīng)系統(tǒng)變成線性系統(tǒng)，被稱為“線性自適應(yīng)系統(tǒng)”。這一類的自適應(yīng)系統(tǒng)方便數(shù)學(xué)處理，也很有用，而且與其他形式的自適應(yīng)系統(tǒng)相比，其設(shè)計(jì)比較容易。

在自適應(yīng)信號(hào)處理中，性能表面的一個(gè)重要特征是，如果信號(hào)時(shí)平穩(wěn)的，并具有不變的統(tǒng)計(jì)特性，則性能表面額形狀將保持不變，并在它的坐標(biāo)系統(tǒng)只保持固定。在這種情況下，自適應(yīng)過程由下列步驟所組成：從性能表面上的某個(gè)點(diǎn)很出發(fā)，向下運(yùn)動(dòng)至最小點(diǎn)附近，最后停在那兒。

另一方面，若信號(hào)時(shí)非平穩(wěn)的并且具有緩慢變化的統(tǒng)計(jì)特性，這種情況下，我們可以認(rèn)為性能表面是“模糊”的或“起伏”的，或在其所處坐標(biāo)系統(tǒng)中移動(dòng)。這樣，自適應(yīng)進(jìn)行過程中，不但要向下運(yùn)動(dòng)到最小點(diǎn)，還要在性能表面發(fā)生移動(dòng)時(shí)，對(duì)其最小點(diǎn)進(jìn)行跟蹤。

2 牛頓法

牛頓法和最速下降法是我們熟知的兩種性能表面搜索法。這些方法都需要用梯度估值，以指明性能表面最小值所在的方向。這類方法特別適用于二次型性能表面。該章將著重介紹牛頓法。

盡管在實(shí)際應(yīng)用中很難用到牛頓法，不過其數(shù)學(xué)意義卻非常重要，它是一種梯度搜索法。該方法在搜索過程中使權(quán)向量的所有分量每一步都在改變。并且，只要是二次型的性能表面，則總是在指向性能表面最小點(diǎn)的方向上發(fā)生改變。

尋找是問題關(guān)鍵，也就是說要使均方誤差最小則需要調(diào)整權(quán)。由于對(duì)性能表面不是很清楚，所以能從任意初值出發(fā)。同時(shí)對(duì)曲線在此點(diǎn)的斜率進(jìn)行測量，選出新值，使其等于初值加上一個(gè)正比于斜率負(fù)值的增量。同樣，通過測量在的斜率再用同樣的方法導(dǎo)出下一個(gè)新值。重復(fù)此過程，直至找到最佳權(quán)。在離散間隔，，…，對(duì)性能曲線的斜率進(jìn)行測量得到的值叫“梯度估值”。

時(shí)，單變量梯度搜索過程是臨界阻尼的。（為梯度搜索算法收斂率）在這種情況下，對(duì)二次型性能函數(shù)僅一步就收斂。由于它在初等微積分學(xué)中求多項(xiàng)式根的方法有關(guān)，故稱為牛頓法?，F(xiàn)討論這種方法對(duì)單權(quán)函數(shù)的應(yīng)用。

當(dāng)性能表面為二次型，并對(duì)所有的值都已知的單變量情況，牛頓法使用起來時(shí)簡單的。

3 最速下降法

與牛頓法不同的是，最速下降法每一步權(quán)都是在梯度的方向上來調(diào)整的。對(duì)于一個(gè)想通過最少的迭代次數(shù)來實(shí)現(xiàn)性能表面搜索的數(shù)值分析者而言，收斂一步完成則是令人滿意的事情。不過，對(duì)自適應(yīng)系統(tǒng)設(shè)計(jì)者來說，這有點(diǎn)太快了。分析數(shù)值時(shí)，一般是給定了所要搜索的函數(shù)，然而許多自適應(yīng)系統(tǒng)在實(shí)際應(yīng)用時(shí)，性能表面是不可知的，必須對(duì)數(shù)據(jù)進(jìn)行隨機(jī)輸入來估計(jì)或者測量。因此，最速下降法有了廣泛的應(yīng)用。

4 結(jié)語

在工程應(yīng)用中，牛頓法很難實(shí)現(xiàn)，但其數(shù)學(xué)意義十分重要。目前，在工程中已實(shí)現(xiàn)最速下降法，而且這種方法被證實(shí)是具有廣泛實(shí)際應(yīng)用價(jià)值的。此方法權(quán)向量總是在性能表面的負(fù)梯度方向上改變。原因是，只有在權(quán)向量坐標(biāo)位于性能表面的主軸上時(shí)，梯度的負(fù)方向才指向最小點(diǎn)。

參考文獻(xiàn)

[1] Bernard Widrow，Samuel D.Stearns 著；王永德，龍憲惠 譯.自適應(yīng)信號(hào)處理[M].北京：機(jī)械工業(yè)出版社，2008.

[2] 袁亞湘，孫文瑜.最優(yōu)化理論與方法[M].北京：科學(xué)出版社，1997.

[3] 最優(yōu)化方法講義.