基于壓縮感知的多尺度最小二乘支持向量機

王琴　沈遠彤

基于壓縮感知的多尺度最小二乘支持向量機

王琴1沈遠彤2

提出一種基于壓縮感知（Compressive sensing，CS）和多分辨分析（Multi-resolution analysis，MRA）的多尺度最小二乘支持向量機（Least squares support vector machine，LS-SVM）.首先將多尺度小波函數(shù)作為支持向量核，推導(dǎo)出多尺度最小二乘支持向量機模型，然后基于壓縮感知理論，利用最小二乘匹配追蹤（Least squares orthogonal matching pursuit，LS-OMP）算法對多尺度最小二乘支持向量機的支持向量進行稀疏化，最后用稀疏的支持向量實現(xiàn)函數(shù)回歸.實驗結(jié)果表明，本文方法利用不同尺度小波核逼近信號的不同細節(jié)，而且以比較少的支持向量能達到很好的泛化性能，大大降低了運算成本，相比普通最小二乘支持向量機，具有更優(yōu)越的表現(xiàn)力.

最小二乘支持向量機，壓縮感知，多尺度小波核，稀疏化，函數(shù)回歸

引用格式王琴，沈遠彤.基于壓縮感知的多尺度最小二乘支持向量機.自動化學(xué)報，2016，42（4）:631?640

支持向量機（Support vector machine，SVM）［1］是在統(tǒng)計學(xué)習(xí)理論發(fā)展起來的一種實用方法，是專門針對小樣本情況下機器學(xué)習(xí)問題而建立起來的一套新的理論體系，基于結(jié)構(gòu)風(fēng)險最小化原則，在模式識別和機器學(xué)習(xí)領(lǐng)域占有非常重要的地位.最小二乘支持向量機（Least squares support vector machine，LS-SVM）［2］采用誤差平方和作為訓(xùn)練集的經(jīng)驗損失，將SVM的二次規(guī)劃問題轉(zhuǎn)換為求解線性方程組的問題.LS-SVM不僅比標準SVM需要調(diào)整的參數(shù)少，而且計算更簡單.如今LS-SVM已經(jīng)廣泛地應(yīng)用于隧道的可靠性分析［3］、天然氣密度的確定［4］等領(lǐng)域.然而LS-SVM沒有體現(xiàn)支持向量的稀疏性，這樣會降低標準SVM的泛化能力.最近，Yang等［5］提出一種新穎的LS-SVM算法，把壓縮感知（Compressive sensing，CS）理論與LS-SVM中的線性方程結(jié)合起來，將核矩陣作為字典，在訓(xùn)練的過程中，對支持向量進行稀疏處理，取得較好的效果.

支持向量機的非線性處理能力是通過“核映射”的方法將輸入空間的數(shù)據(jù)映射到高維空間來實現(xiàn)的.核技巧是支持向量機的重要組成部分，目前已有許多核函數(shù)得到普遍使用，并且也表現(xiàn)出良好性能，例如高斯核函數(shù).2004年，Zhang等［6］研究了由Morlet母小波構(gòu)造的小波核，由于小波基具有良好的時頻局部特性，且通過平移伸縮即能生成L2（Rd）上的一組完備基，因此將小波基作為核函數(shù)可以使分類支持向量機逼近任意分類面，回歸支持向量機逼近任意的目標函數(shù).然而目前的LS-SVM僅僅在單尺度小波空間上對信號進行逼近，沒有充分利用小波多分辨的特性，而實際應(yīng)用中往往碰到的是多尺度信號，因此使用多尺度小波基作為核函數(shù)更能體現(xiàn)信號的不同細節(jié).

本文提出了一種基于 CS［7］和多分辨分析（Multi-resolution analysis，MRA）［8］的多尺度LSSVM.首先將小波分解得到的多尺度小波基作為支持向量核函數(shù)，得到多尺度LS-SVM模型，然后基于壓縮感知理論，在不降低多尺度LS-SVM表現(xiàn)能力的前提下，對輸出函數(shù)和多尺度小波核矩陣之間形成的關(guān)系方程，利用最小二乘正交匹配追蹤算法（Least squares orthogonal matching pursuit，LSOMP）對多尺度LS-SVM的支持向量進行稀疏化，最后用稀疏的支持向量對函數(shù)進行回歸.此方法的特點如下：1）將小波基作為支持向量核函數(shù)，能根據(jù)曲線不同變化部分調(diào)整核尺度參數(shù)，體現(xiàn)出小波的稀疏性和多尺度特點，可以比較好地抵御噪聲干擾，體現(xiàn)信號的不同細節(jié)；2）把小波多分辨分析引入LS-SVM，將不同尺度的小波核函數(shù)融合在一起，構(gòu)成多尺度LS-SVM，具有了很好的理論背景，方法更加靈活；3）多尺度LS-SVM僅通過一次步驟就可以將支持向量稀疏化，大大減少迭代計算成本；4）稀疏化后的多尺度LS-SVM，由于壓縮感知的作用，可以將有用信息很好地保留下來；5）在稀疏化的過程中，沒有任何參數(shù)的調(diào)整，降低了運算復(fù)雜度.

1　壓縮感知理論

CS是一種在保證信息不損失的前提下，信號采集和壓縮同時進行的方法，它將信號投影到觀測矩陣上，利用這些投影得到的遠小于采集信號數(shù)據(jù)量的觀測值重建原始信號，是一種較好的信息獲取方法.本文假設(shè)是在稀疏字典下的可壓縮信號壓縮感知使用觀測值恢復(fù)出原始信號如果矩陣滿足受限等距性（Restricted isometry property， RIP），就能從觀測值準確地恢復(fù)信號從而變成了求解如下最優(yōu)化問題：

2　多尺度小波理論

假設(shè)?（x）∈L2（R），定義如下函數(shù)：

令｛?j，m（x）|m∈Z｝是Vj的基函數(shù)，j，m分別稱為尺度因子與平移因子.由｛?j，m（x）|m∈Z｝張成的子空間Vj導(dǎo)出L2（R）空間的一個多分辨分析，即如下嵌套式子空間逼近序列｛Vj｝j∈Z：

Wj是Vj在Vj+1中的正交補子空間，可表示如下：

所以，給定J∈Z，在MRA框架下，正交小波分解關(guān)系具體表示如下：

其中，函數(shù)ψ（x）是小波母函數(shù).所以，?f（x）∈L2（R）可以分解成如下形式［11］：

3　基于壓縮感知的多尺度LS-SVM模型

3.1多尺度LS-SVM回歸模型

其中，fr∈Wr，r=1，···，L.然后用如下表達式逼近fr，r=1，···，L.

其中，αri，r=1，···，L，i=1，···，n是拉格朗日算子，kr（·，·）是子空間Wr里的小波核函數(shù).為了簡單起見，令多尺度LS-SVM的結(jié)構(gòu)模型如圖1所示.

圖1　多尺度LS-SVM模型Fig.1　Multi-scale LS-SVM model

在這個模型中，f的每個子空間fr由不同的小波核函數(shù)表示，可以通過多尺度的核函數(shù)來表現(xiàn)信號中不同細節(jié)的變化.如果僅使用固定尺度，則在逼近目標函數(shù)的某些細節(jié)的時候，其他部分可能會出現(xiàn)過擬合的風(fēng)險.一般情況下，比較小的L就能處理常見的問題，為方便起見，本文取L=2，對于更多尺度的LS-SVM模型可以用類似的方法推導(dǎo)，在兩尺度下可表示為

其中，f1和f2分別用數(shù)據(jù)和來估計，基于LS-SVM算法，上述問題轉(zhuǎn)化為求如下優(yōu)化問題：

約束條件為

為了在對偶空間上求解上述優(yōu)化問題，定義如下的Lagrange泛函：

其中，ai1，ai2為拉格朗日算子.從上式中消去，就能得到如下線性方程組：

3.2基于壓縮感知的稀疏兩尺度LS-SVM模型

其中，

從式（18）可以看出，將兩尺度LS-SVM的支持向量稀疏化相當(dāng)于使ω 中相應(yīng)的元素為0.所以，在一定精度范圍內(nèi)，尋找稀疏最小二乘模型可轉(zhuǎn)化為最小化‖ω ‖0，可通過下式計算：

可以很明顯看出，式（19）和式（1）一致，就是從觀測值重構(gòu)信號.

其中，nsv是支持向量的個數(shù)，n是訓(xùn)練樣本的個數(shù).

基于壓縮感知的稀疏兩尺度LS-SVM算法如下：

步驟4.輸出稀疏兩尺度LS-SVM模型.

4　實驗與分析

本節(jié)實驗分別采用混合函數(shù)、帶噪的一維信號、二維信號、非平穩(wěn)序列信號以及真實機械臂數(shù)據(jù).核函數(shù)為徑向基（Radial basis function，RBF）小波核.每一個實驗重復(fù)10次，最終取平均結(jié)果.在實驗中，本文采用歸一化均方誤差（Normalized mean square error，NMSE）［13］來評估訓(xùn)練誤差

其中，~y（t）為估計值，y（t）為實際值，NMSE一般為負值，而且負數(shù)絕對值越大，表明逼近效果越好.

4.1混合函數(shù)的擬合

本實驗選取混合函數(shù)［14］如下：

輸入數(shù)據(jù)xi∈［0，10］區(qū)間均勻采樣生成200個樣本，從中隨機選取一半作為訓(xùn)練樣本，并加入高斯噪聲ni～N（0，0.052），測試樣本不加噪聲.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［20，30，···，200］中選取，小波核參數(shù)從［0.2，0.5，···，5］中選取，通過5折交叉驗證方法獲得最優(yōu)參數(shù)：，圖2為兩尺度徑向基小波核LS-SVM的一次實驗結(jié)果.

圖2　兩尺度徑向基小波核LS-SVM的實驗結(jié)果Fig.2　Experimental results of two-scale RBF wavelet kernel LS-SVM

表1為RBF小波核與Morlet小波核、Mexican hat小波核的兩尺度LS-SVM比較，表2為RBF小波核函數(shù)與RBF核函數(shù)、Sinc核函數(shù)的兩尺度LS-SVM結(jié)果比較，表3為RBF小波多尺度核方法與組合RBF核、組合線性核與RBF核方法的比較.從圖2可以看出，RBF小波核根據(jù)曲線不同變化部分調(diào)整核尺度參數(shù)，體現(xiàn)出小波的稀疏性和多尺度特點，可以比較好地抵御噪聲干擾，體現(xiàn)信號的不同細節(jié)；從表2可看出，相比其他非小波核函數(shù)，具有更優(yōu)越的表現(xiàn)力；另外，把小波多分辨分析引入LS-SVM，將不同尺度的小波核函數(shù)融合在一起，構(gòu)成多尺度LS-SVM，具有了很好的理論背景，方法更加靈活，能比合成核方法［14?16］提供更完備的尺度選擇；從表3可以看出，本文方法相比其他合成核方法，具有相當(dāng)或更強的表現(xiàn)力.

表1　不同小波核函數(shù)的兩尺度LS-SVM NMSE比較Table 1　NMSE comparison of two-scale LS-SVM with different wavelet kernel functions

表2　不同核函數(shù)的兩尺度LS-SVM NMSE比較Table 2　NMSE comparison of two-scale LS-SVM with different kernel functions

表3　不同多核學(xué)習(xí)方法NMSE比較Table 3　NMSE comparison of different multi-kernel learning methods

4.2帶噪聲數(shù)據(jù)點的回歸

本實驗中，在式（23）加上高斯噪聲 ni～N（0，0.12），從中獲取400個樣本，隨機選取其中的一半作為訓(xùn)練樣本，其余作為測試樣本.圖3為四種算法的誤差比較，兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［40，60，···，700］中選取，小波核參數(shù)從［0.1，0.15，···，1.5］中選取，通過5折交叉驗證方法獲得最優(yōu)參數(shù)：γ1=460，γ2=200，，標準LS-SVM的最優(yōu)參數(shù)γ=250， σ2=0.1也由交叉驗證方法獲得.從圖3中看出兩尺度LS-SVM比標準LS-SVM對帶噪聲信號的恢復(fù)能力要強，稀疏兩尺度LS-SVM在有噪聲的情況下的回歸性能優(yōu)于稀疏標準LS-SVM的回歸性能，稀疏標準LS-SVM在稀疏度大于50%以后的回歸能力逐漸下降，而稀疏兩尺度LS-SVM在稀疏度大于85%以后回歸能力才略有下降.這表明，跟稀疏標準LS-SVM相比，稀疏兩尺度LS-SVM不僅可以更好地把信號的有用部分都保留下來，用較少的支持向量來對信號進行回歸，而且還可以對信號的不同細節(jié)進行比較完整的詮釋，特別是在稀疏的過程中，不需要對支持向量中的參數(shù)進行再次調(diào)整，這也大大降低了兩尺度LS-SVM的復(fù)雜度.

圖3　標準LS-SVM、稀疏LS-SVM、兩尺度LS-SVM、稀疏兩尺度LS-SVM四算法在不同稀疏度下NMSE比較Fig.3　NMSE comparison of standard LS-SVM，sparse LS-SVM，two-scale LS-SVM，sparse two-scale LS-SVM algorithms under different sparse degrees

為了更直觀研究兩尺度稀疏LS-SVM性能，取一次實驗的結(jié)果，將原始數(shù)據(jù)，加噪聲數(shù)據(jù)，以及標準LS-SVM和兩尺度LS-SVM的輸出數(shù)據(jù)進行詳細比較，如圖4所示.

圖4　標準LS-SVM和兩尺度LS-SVM的回歸結(jié)果比較Fig.4　Regression results comparison of standard LS-SVM and two-scale LS-SVM

從圖4可以看出，對于帶噪聲信號，稀疏兩尺度LS-SVM在僅用10%的支持向量的時候，就表現(xiàn)出非常穩(wěn)定的回歸性能，而稀疏標準LS-SVM的回歸性能與標準LS-SVM相比下降明顯，在支持向量為20%的時候，稀疏標準LS-SVM實踐效果有所回升，但是相比稀疏兩尺度LS-SVM，表現(xiàn)效果過于粗糙，這也就進一步說明，稀疏兩尺度LS-SVM具有的多尺度性能可以比較完整的恢復(fù)帶噪聲信號的原始模樣，具有較強的抗噪能力，而且需要很少的支持向量就可以達到很好的逼近效果，這樣為計算節(jié)約了很多成本，大大提高了LS-SVM的泛化性能.

4.3二維函數(shù)逼近

二元函數(shù)

其中，?10≤x1≤10，?10≤x2≤10，隨機選取324個數(shù)據(jù)點為訓(xùn)練樣本，1600個數(shù)據(jù)點作為測試樣本.圖5為測試樣本曲線圖.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［500，1000，···，70000］中選取，小波核參數(shù)從［0.2，0.4，···，8］中選取，通過5折交叉驗證方法獲得最優(yōu)參數(shù)：γ1=2000，，標準LS-SVM最優(yōu)參數(shù)γ=3200，σ2=3.05也由交叉驗證方法獲得.圖6為90%稀疏度兩尺度LS-SVM對測試樣本的逼近效果.圖7為90%稀疏度標準LS-SVM對測試樣本的逼近效果.表4給出了稀疏兩尺度LS-SVM和稀疏標準LS-SVM在不同稀疏度下NMSE比較的結(jié)果.這也說明，稀疏兩尺度LS-SVM可以用10%的支持向量就能很好地逼近原測試樣本，相比稀疏標準LS-SVM，能用更多的小波尺度，所以能表現(xiàn)出信號的不同細節(jié)，即便用較少的支持向量，也完全不降低其表現(xiàn)效果，所以具有更好的泛化性能.

圖5　測試樣本曲線圖Fig.5　Test sample curve

圖6　90%稀疏度兩尺度LS-SVM逼近效果Fig.6　Approximation result of 90%sparse degree two-scale LS-SVM

圖7　90%稀疏度標準LS-SVM逼近效果Fig.7　Approximation result of 90%sparse degree standard LS-SVM

4.4非平穩(wěn)序列數(shù)據(jù)的擬合

本實驗選取Garchdata 400個非平穩(wěn)數(shù)據(jù)點進行擬合，在訓(xùn)練之前，首先對數(shù)據(jù)進行歸一化，在不同稀疏度下比較稀疏兩尺度LS-SVM和稀疏標準LS-SVM的回歸性能，隨機選取200個作為訓(xùn)練樣本，其余作為測試樣本.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［80，110，···，890］中選取，小波核參數(shù)從［0.1，0.2，···，3］中選取，通過5折交叉驗證方法獲得最優(yōu)參數(shù)：，標準LS-SVM最優(yōu)參數(shù)γ=200， σ2=0.2也由交叉驗證方法獲得.圖8（a）和圖8（b）分別表示50%稀疏度兩尺度LS-SVM和標準LS-SVM的逼近結(jié)果.

從圖8中看出，稀疏度兩尺度LS-SVM僅用50%的支持向量可以達到很好的實驗效果，而稀疏標準LS-SVM的結(jié)果的輸出數(shù)據(jù)與原始曲線出現(xiàn)了比較大的偏離.圖9給出了兩尺度LS-SVM和標準LS-SVM在稀疏度為50%，55%，60%下的NMSE比較，兩種方法的NMSE均隨著稀疏度的升高而升高，但是在同樣的稀疏度下，兩尺度LS-SVM總是表現(xiàn)的更好一些.這是因為兩尺度LS-SVM更能抓住數(shù)據(jù)的不同細節(jié)，即使去掉一些支持向量，也絲毫不影響它的良好性能，所以稀疏兩尺度LS-SVM比稀疏標準LS-SVM具有更好的泛化性能.

4.5真實機械臂數(shù)據(jù)的估計

本實驗對柔性機械臂的逆動力進行辨識［17］，在訓(xùn)練之前，首先對所有的原始數(shù)據(jù)進行歸一化如下：

式中，xij為輸入矩陣A的第（i，j）個元素，是 xij的歸一化值和分別表示矩陣A第j列的最小值和最大值.

表4　稀疏兩尺度LS-SVM和稀疏標準LS-SVM在不同稀疏度下NMSE比較Table 4　NMSE comparison of sparse two-scale LS-SVM and sparse standard LS-SVM algorithms under different sparse degrees

圖8　標準LS-SVM和兩尺度LS-SVM在50%稀疏度下擬合結(jié)果比較Fig.8　Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50%sparse degree

圖9　標準LS-SVM和兩尺度LS-SVM在不同稀疏度下NMSE比較Fig.9　NMSE comparison of standard LS-SVM and two-scale LS-SVM under different sparse degrees

此機械臂安裝在一個電子發(fā)動機上，該系統(tǒng)的輸入u（t）為結(jié)構(gòu)的反作用扭矩，相應(yīng)地輸出d（t）為柔性臂的加速度.此數(shù)據(jù)包含1024對輸入-輸出樣本，如圖10所示.

圖10　機械臂數(shù)據(jù)Fig.10　Robot arm data

此逆模型辨識可通過x（t）=（u（t?1），···，u（t?5），d（t?1），···，d（t?4））t和xout（t）=u（t）來學(xué)習(xí).該數(shù)據(jù)集共有1019個形如（x（t），xout（t））的樣本點.從樣本點中隨機選取510個樣本點作為訓(xùn)練樣本，其余作為測試樣本.兩尺度LS-SVM的懲罰參數(shù)γ1，γ2從［202，402，···，6002］中選取，小波核參數(shù)中選取，通過5折交叉驗證方法獲得最優(yōu)參數(shù)：標準LS-SVM最優(yōu)參數(shù)γ=2500，σ2=0.3也由交叉驗證方法獲得.圖11為四種算法的誤差比較，圖12（a）和圖12（b）分別表示50%稀疏度兩尺度LS-SVM和標準LS-SVM對反作用扭矩的辨識結(jié)果.

圖11　標準LS-SVM、稀疏LS-SVM、兩尺度LS-SVM、稀疏兩尺度LS-SVM四算法在不同稀疏度下NMSE比較Fig.11　NMSE comparison of standard LS-SVM，sparse LS-SVM，two-scale LS-SVM，sparse two-scale LS-SVM algorithms under different sparse degrees

圖12　標準LS-SVM和兩尺度LS-SVM在50%稀疏度下的擬合結(jié)果比較Fig.12　Approximation results comparison of standard LS-SVM and two-scale LS-SVM under 50%sparse degree

從圖12中看出，兩尺度LS-SVM在去掉一半支持向量以后絲毫不影響它的逼近效果，而標準LS-SVM在稀疏度大于15%的時候NMSE誤差曲線就開始出現(xiàn)明顯偏離.在同樣的稀疏度下，標準LS-SVM逼近效果明顯要次于兩尺度LS-SVM.相比標準LS-SVM，兩尺度LS-SVM能用更多的小波尺度，既能抓住數(shù)據(jù)的不同細節(jié)，又能在稀疏以后以較少的支持向量達到很好的辨識效果，所以稀疏兩尺度LS-SVM比稀疏標準LS-SVM具有更好的泛化性能.

5　總結(jié)

本文提出了基于CS和MRA的多尺度LSSVM，首先根據(jù)MRA的特性，將多尺度小波基作為LS-SVM的核函數(shù)，得到多尺度LS-SVM模型，然后根據(jù)CS通過稀疏信號重構(gòu)原始信號的原理，在多尺度LS-SVM模型的基礎(chǔ)上運用LS-OMP貪婪算法，對信號的有用信息進行保留，將支持向量稀疏化，最后得到稀疏多尺度LS-SVM模型.相比普通LS-SVM，本文方法不僅可以用較少的支持向量達到很好的效果，而且可以很好地體現(xiàn)多尺度性能，更全面地提取信號的細節(jié)，計算也很簡便，更具有現(xiàn)實意義.通過實驗也能很好地說明本文方法的優(yōu)越學(xué)習(xí)性能.對于多尺度LS-SVM，尺度越多，對信號的逼近細節(jié)的能力就越強，然而會有更多參數(shù)的調(diào)整，比較費時，如何運用比較快速的參數(shù)優(yōu)化算法是繼續(xù)研究的重點.

References

1 Vapnik V N.The Nature of Statistical Learning Theory. New York:Springer-Verlag，1995.69?83

2 Suykens J A K，Vandewalle J.Least squares support vector machine classifiers.Neural Processing Letters，1999，9（3）: 293?300

3 Zhao H B，Ru Z L，Chang X，Yin S D，Li S J.Reliability analysis of tunnel using least square support vector machine. Tunnelling and Underground Space Technology，2014，41: 14?23

4 Esfahani S，Baselizadeh S，Hemmati-Sarapardeh A.On determination of natural gas density:least square support vector machine modeling approach.Journal of Natural Gas Science and Engineering，2015，22:348?358

5 Yang J，Bouzerdoum A，Phung S L.A training algorithm for sparse LS-SVM using compressive sampling.In:Proceedings of the 2010 IEEE International Conference on Acoustics Speech and Signal Processing.Dallas，TX，USA:IEEE，2010.2054?2057

6 Zhang L，Zhou W D，Jiao L C.Wavelet support vector machine.IEEE Transactions on Systems，Man，and Cybernetics—Part B:Cybernetics，2004，34（1）:34?39

7 Shen Yan-Fei，Li Jin-Tao，Zhu Zhen-Min，Zhang Yong-Dong，Dai Feng.Image reconstruction algorithm of compressed sensing based on nonlocal similarity model.Acta Automatica Sinica，2015，41（2）:261?272（沈燕飛，李錦濤，朱珍民，張勇東，代鋒.基于非局部相似模型的壓縮感知圖像恢復(fù)算法.自動化學(xué)報，2015，41（2）:261?272）

8 Mallat S G.A Wavelet Tour of Signal Processing.Sam Diego:Academic Press，1998.

9 Zhao J X，Song R F，Zhao J，Zhu W P.New conditions for uniformly recovering sparse signals via orthogonal matching pursuit.Signal Processing，2015，106:106?113

10 Elad M.Sparse and Redundant Representations:From Theory to Applications in Signal and Image Processing.New York:Springer-Verlag，2010.

11 Yang L，Han J Q，Chen D K.Identification of nonlinear systems using multi-scale wavelet support vectors machines.In: Proceedings of the 2007 IEEE International Conference on Control and Automation.Guangzhou，China:IEEE，2007. 1779?1784

12 Yang L X，Yang S Y，Zhang R，Jin H H.Sparse least square support vector machine via coupled compressive pruning. Neurocomputing，2014，131:77?86

13 Schniter P，Potter L C，Ziniel J.Fast Bayesian matching pursuit.In:Proceedings of the 2008 Information Theory and Applications Workshop.San Diego，CA，USA:IEEE，2008.326?333

14 Zhang Y P，Sun J G.Multikernel semiparametric linear programming support vector regression.Expert Systems with Applications，2011，38（3）:1611?1618

15 Zhao Yong-Ping，Sun Jian-Guo.A non-flat function robust regression algorithm using multi-kernel LS-SVM.Information and Control，2008，37（2）:160?165（趙永平，孫建國.一類非平坦函數(shù)的多核最小二乘支持向量機的魯棒回歸算法.信息與控制，2008，37（2）:160?165）

16 Cai Y N，Wang H Q，Ye X M，F(xiàn)an Q G.A multiple-kernel LSSVR method for separable nonlinear system identification.Journal of Control Theory and Applications，2013，11（4）:651?655

17 Balasundaram S，Gupta D，Kapil.Lagrangian support vector regression via unconstrained convex minimization.Neural Networks，2014，51:67?79

王 琴海南醫(yī)學(xué)院信息技術(shù)部講師.主要研究方向為小波分析，人工智能，機器學(xué)習(xí).本文通信作者.E-mail:wq-1018@163.com

（WANG QinLecturer in the Department of Information Technology，Hainan Medical University.Her research interest covers wavelet analysis， artificial intelligence，and machine learning.Corresponding author of this paper.）

沈遠彤中國地質(zhì)大學(xué)（武漢）數(shù)學(xué)與物理學(xué)院教授.主要研究方向為信號處理，數(shù)據(jù)挖掘，小波分析.E-mail:whsyt@163.com

（SHEN Yuan-TongProfessor at the School of Mathematics and Physics，China University of Geosciences.His research interest covers signal processing，data mining，and wavelet analysis.）

Multi-scale Least Squares Support Vector Machine Using Compressive Sensing

WANG Qin1SHEN Yuan-Tong2

A multi-scale least squares support vector machine（LS-SVM）based on compressive sensing（CS）and multiresolution analysis（MRA）is proposed.First，a multi-scale LS-SVM model is conducted，in which a support vector kernel with the multi-resolution wavelet function is employed；then inspired by CS theory，sparse support vectors of multi-scale LS-SVM are constructed via least squares orthogonal matching pursuit（LS-OMP）；finally，sparse support vectors are applied to function approximation.Simulation experiments demonstrate that the proposed method can estimate diverse details of signal by means of wavelet kernel with different scales.What is more，it can achieve good generalization performance with fewer support vectors，reducing the operation cost greatly，performing more superiorly compared to ordinary LS-SVM.

Least squares support vector machine（LS-SVM），compressive sensing（CS），multi-resolution wavelet kernel，sparse，function approximation

Manuscript May 15，2015；accepted December 28，2015

10.16383/j.aas.2016.c150296

Wang Qin，Shen Yuan-Tong.Multi-scale least squares support vector machine using compressive sensing. Acta Automatica Sinica，2016，42（4）:631?640

2015-05-15錄用日期2015-12-28

國家自然科學(xué)基金（11301120）資助

Supported by National Natural Science Foundation of China（11301120）

本文責(zé)任編委周志華

Recommended by Associate Editor ZHOU Zhi-Hua

1.海南醫(yī)學(xué)院信息技術(shù)部海口5711012.中國地質(zhì)大學(xué)（武漢）數(shù)學(xué)與物理學(xué)院武漢430074

1.Department of Information Technology，Hainan Medical University，Haikou 5711012.School of Mathematics and Physics，China University of Geosciences，Wuhan 430074