基于改進(jìn)的共軛梯度算法實(shí)現(xiàn)的最小二乘隱空間支持向量機(jī)

摘要：本文研究了最小二乘隱空間支持向量機(jī)的優(yōu)化問題。文中采用基于對(duì)稱超松弛預(yù)處理技術(shù)改進(jìn)共軛梯度算法，改進(jìn)的共軛梯度算法只需求解一個(gè)階數(shù)為 的線性代數(shù)方程組即可，大大節(jié)省了計(jì)算時(shí)間。最后將其應(yīng)用于最小二乘隱空間支持向量機(jī)中建立數(shù)學(xué)模型，并通過實(shí)例驗(yàn)證了該算法的優(yōu)越性。

關(guān)鍵詞：最小二乘隱空間支持向量機(jī)；改進(jìn)的共軛梯度算法；預(yù)測(cè)

中圖分類號(hào)：TP 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9599 （2012） 18-0000-02

1 引言

支持向量機(jī)（SVM，Support Vector Machine）是近些年發(fā)展很快的一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)技術(shù)系統(tǒng)[1]，在小樣本、非線性及高維模式識(shí)別等領(lǐng)域具有更好的處理性能。SVM的數(shù)學(xué)模型可以歸納為一種對(duì)二次凸規(guī)劃問題的探究，這類問題是一種求解具有線性約束條件的二次凸規(guī)劃問題，并且通過引入核方法，將樣本空間中的內(nèi)積運(yùn)算替換成核函數(shù)，從而克服了機(jī)器學(xué)習(xí)理論中的維數(shù)災(zāi)難以及局部極小等問題．SVM具有很強(qiáng)的適應(yīng)能力，近些年來支持向量機(jī)在模式識(shí)別、回歸估計(jì)、信號(hào)檢測(cè)等方面都有非常廣泛的應(yīng)用[2～5]。

無論對(duì)于二分類問題還是回歸問題，原始支持向量機(jī)都需要解一個(gè)帶不等式約束的二次規(guī)劃問題。為了簡(jiǎn)化SVM的運(yùn)算過程，節(jié)省運(yùn)算時(shí)間，提高機(jī)器學(xué)習(xí)效率以及穩(wěn)定性，文[6]中基于等式約束和最小二乘損失函數(shù)提出了解二分類問題的最小二乘支持向量機(jī)，至于解回歸問題的最小二乘支持向量機(jī)，它實(shí)際上是一種嶺回歸。文[7]在此基礎(chǔ)上針對(duì)帶噪聲的回歸問題提出了加權(quán)最小二乘支持向量機(jī)。文[8]和[9]分別提出了一種基于隱空間的最小二乘支持向量機(jī)以及針對(duì)分類問題的基于矩陣模式的最小二乘支持向量機(jī)。目前，最小二乘支持向量機(jī)在分類和回歸中得到了廣泛的應(yīng)用，取得了很好的效果[10～11]。由于共扼梯度算法迭代次數(shù)較多，收斂將很慢。為減少迭代次數(shù)，加快收斂速度，可以設(shè)法先降低系數(shù)矩陣的條件數(shù)，本文采用基于對(duì)稱超松弛預(yù)處理技術(shù)改進(jìn)共軛梯度算法，并將其應(yīng)用于最小二乘隱空間支持向量機(jī)中建立數(shù)學(xué)模型，最后，將建立的數(shù)學(xué)模型應(yīng)用于股票價(jià)格的短期預(yù)測(cè)，并得到了理想的預(yù)測(cè)效果。