基于DSP的VKLMS算法及其在非線性信號處理中的應用

李浩 申偉 陳海軍

摘 ? 要：針對LMS算法訓練非線性信號模型的缺陷，將輸入數(shù)據(jù)映射到高維的特征空間，通過核函數(shù)完成內(nèi)積運算，由最小均方算法得到了經(jīng)典的核最小均方算法。分析收斂范圍，將算法的步長變換為關于誤差的非線性函數(shù)，得到了VKLMS算法。結合DSP，采用指數(shù)函數(shù)來建立非線性關系式。設計VKLMS算法的CCS工程項目文件，對比LMS算法，VKLMS在DSP上訓練非線性信號模型。測試結果表明：對于輸入輸出為高度非線性模型時，VKLMS具有傳統(tǒng)的LMS無法訓練的能力。

關鍵詞：核自適應濾波器 ?VKLMS ?DSP ?非線性信號處理

中圖分類號：TN911.7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2019）09（b）-0147-04

Abstract： Because of the flaws in the LMS algorithm training non linear signal model ，we map the input data of the LMS algorithm to the high-dimensional feature space， and perform the inner product operation using the kernel function to obtain the classical kernel least mean square algorithm . This paper analyzes the convergence， and adjusts the step size of LMS with a nonlinear function of the error. This gives the VKLMS algorithm. Combined DSP， an exponential function is used to establish a nonlinear relationship. We design the CCS project files of the VKLMS algorithm. Compared with the LMS algorithm， VKLMS trains the nonlinear signal model on the DSP. The test ?results show that VKLMS has the ability of traditional LMS to be unable to train when the input and output are highly nonlinear.

Key Words： Kernel adaptive filter; VKLMS; DSP; Nonlinear signal processing

線性自適應濾波器能力有限，很難實現(xiàn)非線性函數(shù)建模，因此提出了非線性自適應濾波器。線性濾波器的目標是通過學習樣本來學習連續(xù)的任意輸入—輸出關系的映射，即[1]。設計非線性自適應濾波器是困難的，一個簡單地實現(xiàn)非線性自適應濾波器的方法是通過線性濾波器的串聯(lián)實現(xiàn)，然而這種建模能力有限，模型無法獨立且訓練過程中存在局部最小值。Gabor嘗試使用Volterra序列繞開非線性濾波面臨的數(shù)學障礙，但Volterra序列計算復雜度隨著其建模能力的提高呈指數(shù)爆炸增長。在后期不斷發(fā)展的過程中，Weifeng Liu等人提出了基于核方法的自適應濾波器[1]，吸引了眾多學者學習和研究，其算法具有通用的逼近器、沒有局部最小值、并且計算復雜度適中等特點。核自適應算法在非線性混沌時間序列的預測、非線性信道均衡等方面具有比傳統(tǒng)的自適應算法更好的性能。

1 ?核自適應濾波器

自適應系統(tǒng)系統(tǒng)結構如圖1所示[2]，x為輸入信號，w為可調權，y為輸出信號，輸入，對應可調權，若w權值不變，則輸出是輸入分量的線性組合。

將圖1輸出可表示為輸入向量X與權向量W的線性乘積的形式：

（1）

由此引入誤差信號可表示為：

（2）

非線性自適應濾波器應用在信號預測、系統(tǒng)識別、信道均衡等[3]，其典型結構如圖2，建模任意的輸入輸出映射，表示為：

（3）

其中fi表示迭代i次后估計的映射關系，Gain為一個函數(shù)關系式，e（i）即為通常的誤差函數(shù)。

實現(xiàn)非線性關系的學習模型是很困難的，現(xiàn)有很多方法，但其有計算復雜等問題，因此引入了核方法，通過相對簡單的核函數(shù)運算，降低了高維特征空間內(nèi)積運算的復雜度。核方法的核心思想是：將初始空間的輸入數(shù)據(jù)通過非線性函數(shù)變換到高維的再生核希爾伯特空間，通過核函數(shù)對高維空間做內(nèi)積轉換到初始空間的線性運算[4-5]。

定義核函數(shù)為k，其基本形式為：

（4）

其中X、X'屬于初始空間U，是初始空間U到特征空間F的映射，表示內(nèi)積。

定義U為輸入的二維空間，即

，特征映射為：

（5）

則特征空間F的線性函數(shù)為：

（6）

由此可見，特征映射將輸入的二維空間映射到了高維的三維空間，將特征映射和內(nèi)積合成，得：

（7）

即為一個核函數(shù)。

通常使用的核有高斯核和多項式核，分別為：

（8）

（9）

根據(jù)Mercer定理[6]，任意可再生核可擴展為：

（10）

其中為非負的特征值，為特征函數(shù)。

因此，映射的構造形式為：

（11）

通過構造，特征空間F的維度由正特征值的個數(shù)決定，如果采用高斯核，則維度無限。

2 ?核最小均方算法及改進

再生希爾伯特空間（RKHS）最大的特點在于利用RKHS的線性結構實現(xiàn)成熟的線性自適應濾波算法，并可以在原始的輸入空間獲得一個非線性濾波器[7]。與神經(jīng)網(wǎng)絡相比，具有通用的逼近能力、凸優(yōu)化特性、合理的計算復雜度[8]。核最小均方算法（KLMS）是核自適應算法里面比較簡單的一種算法，通過最小均方算法直接映射到高維的RKHS，利用RKHS的再生特性和核評價函數(shù)完成計算而得到的。KLMS算法的本質是生成一個生長的徑向基函數(shù)網(wǎng)絡，學習網(wǎng)絡的拓撲結構，并且通過訓練數(shù)據(jù)來自適應調整自由參數(shù)，通過使用之前的輸入數(shù)據(jù)和預測誤差逐步構建濾波器的輸出，進行在線操作[9，11]。

將LMS算法的輸入信號X（i）變換到高維特征空間F中的，由于對于X的維度更高，因此的模型比更為強大。LMS算法的基礎上可得：

（12）

由此經(jīng)過i次迭代，權重更新方程已經(jīng)改寫為輸入變換后的數(shù)據(jù)乘以誤差函數(shù)與步長參數(shù)μ的求和的形式，由此得到了新的權重更新方程，計算新的輸入數(shù)據(jù)X'對應的輸出形式。利用核技巧，將濾波器的輸出改寫為：

（13）

從公式（13）可以看出，濾波器的輸出形式已經(jīng)沒有權向量了，權向量由核函數(shù)取代了。因此所有的輸入數(shù)據(jù)僅僅需要通過核函數(shù)進行內(nèi)積運算，大大節(jié)省了計算時間。由此可得到核最小均方算法的形式。首先初始化步長參數(shù)和選取核。由于高斯核可以生成RKHS且其具有通用的逼近能力，因此一般選擇高斯核。當每獲得一個數(shù)據(jù)對，即輸入數(shù)據(jù)向量和期望信號，可得到如下學習規(guī)則：

（14）

其中核為，a為核參數(shù)，其中步長參數(shù)的一個保守上限為：

（15）

不同的參數(shù)μ會對應不同的迭代次數(shù)和不同的最小均方誤差。當步長因子μ在穩(wěn)定范圍內(nèi)取的值越大，算法能夠經(jīng)過更少的迭代次數(shù)來達到收斂。相反，當步長因子 在穩(wěn)定范圍內(nèi)取值小，則穩(wěn)定性好，但相應的收斂速度也越慢，需要經(jīng)過更長的迭代次數(shù)達到收斂。因此迭代初期誤差函數(shù)e（i）的值比較大，經(jīng)過不斷迭代，隨著誤差函數(shù)e（i）的減小，步長也相應地減小。因此可將固定步長調整為關于誤差函數(shù)的關系式。

很多文獻針對此缺陷提出了解決辦法，在應用中，這將大大減少算法自適應時間來盡快地使算法達到收斂，結合DSP，將核最小均方算法中的u變換為關于誤差函數(shù)的非線性函數(shù)關系：

（16）

將μ（i）代入KLMS，即為VKLMS。

3 ?算法DSP實現(xiàn)流程

VKLMS算法與最小均方算法（LMS）原理相似，但在DSP上實現(xiàn)增加了一定的運算量和存儲空間。從理論上來說VKLMS比LMS在數(shù)據(jù)處理方面，性能大有提高，如果應用到DSP中，可以彌補最小均方算法的缺陷。

DSP平臺采用的是TI的C2000系列芯片，DSP開發(fā)流程如圖3所示。

VKLMS算法C語言設計可分為數(shù)據(jù)配置、核函數(shù)、VKLMS三個部分。VKLMS中核函數(shù)運算時，每給一個輸入，就會新增加一個存儲空間，因此存儲空間會隨著新的輸入數(shù)據(jù)而不斷增長。為此，采用C鏈表里面的動態(tài)內(nèi)存分配函數(shù)節(jié)約數(shù)據(jù)存儲空間。VKLMS算法C語言設計如圖 4所示。

4 ?VKLMS算法應用到DSP平臺仿真和測試

選取加入高斯噪聲的余弦信號作為訓練數(shù)據(jù)源，VKLMS算法和KLMS算法通過均方誤差收斂曲線來比較性能。VKLMS算法意在提高收斂速度，仿真結果如圖5。VKLMS算法的收斂速度明顯快于KLMS算法，KLMS算法對比LMS算法具有較小的均方誤差。表明VKLMS算法比KLMS算法和LMS算法的性能更優(yōu)。

將性能更優(yōu)的VKLMS算法在DSP上進行調試。首先以LMS作為參考，選取輸入信號為整數(shù)時間序列t（0、1、2、3、…），期望信號為，采用VKLMS與LMS訓練t→T之間的函數(shù)關系，LMS訓練仿真結果如圖 6，無法準確訓練輸出。

在DSP上，采用VKLMS算法訓練，訓練結果如圖 7所示，表明VKLMS算法可以準確的訓練高度非線性關系信號的函數(shù)模型。

5 ?VKLMS預測非線性混沌信號

搭建非線性混沌電路平臺，調試電路。產(chǎn)生混沌雙吸引子時，DSP平臺采集一組時域信號。采用LMS算法與VKLMS算法進行訓練。測試結果（如圖8和圖9）表明，VKLMS算法能夠很好的預測輸入輸出為高度非線性的映射關系，而LMS訓練此類信號具有明顯的缺陷。

6 ?結語

隨著信息技術的不斷發(fā)展，傳統(tǒng)的自適應信號處理方法缺陷日益增多。針對高度非線性信號模型，該文采用改進的核最小均方算法應用到DSP平臺，并對非線性映射關系的信號模型進行了訓練和預測。以最小均方算法為對比，DSP上試驗結果表明改進的核最小均方算法具有很好的訓練高度非線性信號模型的能力。由于VKLMS算法具有較低的計算復雜度，可以應用于非線性信號的處理。

參考文獻

[1] Liu W， Principe J C， Haykin S S. Kernel adaptive filtering[M]. New Jersey， USA： John Wiley & Sons， Inc， Publication， 2010.

[2] 西蒙·赫金. 自適應濾波器原理[M].4版.北京：電子工業(yè)出版社， 2006.

[3] Mitra R， Bhatia V. The Diffusion-KLMS Algorithm[C]. International Conference on Information Technology. IEEE Computer Society， 2014：256-259.

[4] Liu W， Principe J C， Haykin S S. Kernel adaptive filtering[M]. New Jersey， USA： John Wiley & Sons， Inc， Publication， 2010.

[5] 趙知勁， 金明明. 基于塊自適應濾波的核最小均方算法[J]. 計算機工程， 2017， 43（9）：162-166.

[6] Aronszajn A. Theory of reproducing kernels. Trans Am Math Soc [J]. Transactions of the American Mathematical Society， 1950， 68（3）： 337-404.

[7] Zhu P， Chen B， Pr?Ncipe J C. Learning Nonlinear Generative Models of Time Series With a Kalman Filter in RKHS[J]. IEEE Transactions on Signal Processing， 2013， 62（1）：141-155.

[8] Duttweiler D ， Kailath T . RKHS approach to detection and estimation problems--IV： Non-Gaussian detection[J]. IEEE Transactions on Information Theory， 1973， 19（1）：19-28.

[9] Liu W， Pokharel P P， Principe J C. The Kernel Least-Mean-Square Algorithm[J]. IEEE Transactions on Signal Processing， 2008， 56（2）：543-554.

[10]Li K ， Principe J C . Transfer Learning in Adaptive Filters： The Nearest Instance Centroid-Estimation Kernel Least-Mean-Square Algorithm[J]. IEEE Transactions on Signal Processing， 2017， 65（24）：6520-6535.

[11]伍松，周振華，李俞霖.基于一種新的S型函數(shù)快速凸組合最小均方算法[J].科學技術與工程，2017（31）：295-299.