• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于特征值分解的中心支持向量機算法

    2016-10-13 19:00:21陳素根吳小俊
    電子與信息學報 2016年3期
    關鍵詞:復雜度特征值方差

    陳素根 吳小俊

    ?

    基于特征值分解的中心支持向量機算法

    陳素根①②吳小俊*①

    ①(江南大學物聯網工程學院 無錫 214122)②(安慶師范學院數學與計算科學學院 安慶 246133)

    針對廣義特征值中心支持向量機(GEPSVM)訓練和決策過程不一致問題,該文提出一類改進的基于特征值分解的中心支持向量機,簡稱為IGEPSVM。首先針對二分類問題提出了基于特征值分解的中心支持向量機,然后基于“一類對余類”策略將其推廣到多類分類問題。將GEPSVM求解廣義特征值問題轉化為求解標準特征值問題,降低了計算復雜度。引入了一個新的參數,可以調節(jié)模型的性能,提高了GEPSVM的分類精度。提出了基于IGEPSVM的多類分類算法。實驗結果表明,與GEPSVM算法相比較,IGEPSVM不僅提高了分類精度,而且縮短了訓練時間。

    支持向量機;廣義特征值中心支持向量機;兩類分類;多類分類;特征值分解

    1 引言

    支持向量機(SVM)算法是經典的分類算法[1],鑒于其堅實的理論基礎和良好的泛化性能而被廣泛使用于各個領域中[2,3]。SVM在解決小樣本、非線性和高維模式問題中表現出了許多特有的優(yōu)勢,標準的SVM算法問題可歸結為求解一個受約束的二次規(guī)劃(QP)問題,對于小規(guī)模的QP問題,它表現出了非常優(yōu)秀的學習能力,但當訓練集樣本規(guī)模巨大時,就會出現訓練速度慢、算法復雜和效率低下等問題。為了解決這些問題,一方面,許多學者對SVM求解算法進行了廣泛研究,并取得了很多優(yōu)秀成果,如Chunking算法[4]、分解算法[5]、SMO算法[6]和FD- SVM[7]等;另一方面,新型的SVM算法被大量研究,其中非平行平面支持向量機算法是代表性成果之一。關于非平行平面支持向量機算法的研究開始于2006年,文獻[8]提出了廣義特征值中心支持向量機算法(GEPSVM)來處理兩類分類問題,考慮了最大化類間距離和最小化類內距離,對每一類樣本訓練一個分類超平面,開辟了新的決策思路。2007年,文獻[9]在GEPSVM算法的基礎上提出了孿生支持向量機算法(TWSVM),與GEPSVM求解兩個規(guī)模較小的廣義特征值問題有所不同,TWSVM求解兩個規(guī)模較小的QP問題,訓練速度相當于傳統(tǒng)SVM的1/4。然而,許多實際問題都可歸結為多類分類問題,傳統(tǒng)SVM的多類分類算法大致分為“分解重構法”和“整體法”兩大類,代表性研究成果有:“一類對余類”[17]、“一類對一類”[18]和C&S (Crammer and Singer)方法[19]等。近年來,非平行平面支持向量機多類分類算法也開始受到很多學者的關注,涌現了一些優(yōu)秀成果[20,21]。

    GEPSVM算法是最早被提出的非平行平面支持向量機算法,雖然它開辟了新的決策思路,但它依然有一些不足之處。首先,GEPSVM在訓練過程和決策過程中出現了不一致性,即:在訓練過程中,是通過比較每一個超平面和兩類訓練樣本之間的距離來尋求每一類的最優(yōu)超平面的;在決策過程中,是通過比較測試樣本和兩個超平面的距離來實現分類的。因此,這一種不一致性,在一定程度上可能會影響GEPSVM的性能。其次,GEPSVM算法是通過求解兩個廣義特征值問題來實現的,但求解廣義特征值問題的算法復雜度是,從而可能會影響模型的訓練速度。最后,GEPSVM算法本身是針對兩類分類問題提出的,不能直接處理多類分類問題。針對以上問題,本文首先針對兩類分類問題提出一類改進的基于特征分解的中心支持向量機算法(Improved GEPSVM, IGEPSVM);然后在IGEPSVM的基礎上進一步研究多類分類問題,提出多類分類IGEPSVM算法。與GEPSVM算法相比較,IGEPSVM有如下優(yōu)點:(1)將求解廣義特征值問題轉化為求解標準特征值問題,降低了算法的復雜度;(2)引入一個新的參數,可以更好地調節(jié)模型的性能,提高了GEPSVM算法的分類精度。最后,在標準的UCI分類數據集上驗證了本文算法的有效性。

    2 廣義特征值中心支持向量機(GEPSVM)

    對于兩類分類問題,給定訓練樣本集:

    顯然,問題式(4)的目標函數是Rayleigh商。故,優(yōu)化問題式(4)的最優(yōu)解就是廣義特征值問題:

    3 基于特征值分解的中心支持向量機(IGEPSVM)

    仔細分析GEPSVM算法,我們不難發(fā)現,GEPSVM算法在訓練過程和決策過程具有一定的不一致性,這可能會影響GEPSVM算法的性能。為此,我們提出一種改進的基于特征值分解的中心支持向量機算法。

    3.1 兩類分類IGEPSVM

    首先考慮線性情形,對于訓練樣本集式(1),我們考察優(yōu)化模型[13]:

    顯然,直接觀察式(7)是比較難以理解的。然而,式(7)有很好的幾何解釋。假設IGEPSVM尋求的兩個非平行超平面也為式(2),那么在空間中訓練樣本點到超平面的距離為

    這樣,結合式(8),我們分別定義正類和負類訓練樣本點到正類和負類兩個超平面的4個距離:

    于是,優(yōu)化模型式(7)轉化為

    通過構造Lagrange函數并結合KKT條件,求解模型式(12)可以轉化為求解標準特征值問題式(13):

    因此,優(yōu)化問題式(12)的第1部分可表示為

    由Rayleigh定理[22]可知,當且僅當是矩陣最小特征值時,優(yōu)化問題式(12)的第1部分的目標函數取得全局極小值。此時,最小特征值對應的單位特征向量是優(yōu)化問題式(12)的第1部分的最優(yōu)解。同理可證,優(yōu)化問題式(12)的第2部分的最優(yōu)解是矩陣的最小特征值所對應的單位特征向量。 證畢于是,當被求出后,對于新的測試樣本,它將根據式(16),被分類到正類或負類。即

    類似地,我們也可以分別定義正類和負類訓練樣本點到正類和負類兩個非線性超曲面的4個距離:

    于是,建立非線性情形的優(yōu)化模型為

    類似于線性情形,求解模型式(18)可以轉化為求解模型式(19):

    通過構造Lagrange函數并結合KKT條件,求解模型式(19)可以轉化為求解標準特征值問題式(20):

    類似于線性情形,關于非線性模型,我們可以得定理2。

    定理2的證明過程類似于定理1,簡單起見,此處省略。于是,當被求出后,對于新的測試樣本,它將根據式(21),被分類到正類或負類。即:

    總結上述過程,可以得到兩類分類IGEPSVM算法如下:

    算法1 兩類分類IGEPSVM算法

    步驟1 給定訓練集式(1);

    步驟3 利用模型式(12)或式(19)訓練,求解特征值問題式(13)或式(20)得到最小特征值對應的單位特征向量;

    步驟4 利用決策函數式(16)或式(21)進行分類。

    3.2 多類分類IGEPSVM

    這樣,對于線性多類分類問題,基于線性IGEPSVM就可以構造個相互不平行的超平面:

    并構造決策函數如下:

    的最小特征值對應的單位特征向量。

    對于非線性多類分類問題,基于非線性IGEPSVM可以構造個超曲面:

    并構造決策函數:

    的最小特征值對應的單位特征向量。

    總結上述過程,可以得到多類分類IGEPSVM算法如下:

    算法2 多類分類IGEPSVM算法

    (2)利用模型式(24)或式(28)訓練,求解特征值問題式(25)或式(29)得到最小特征值對應的單位特征向量;

    End

    步驟3 利用決策函數式(23)或式(27)進行分類。

    3.3 計算復雜度分析

    綜上可知,對于兩類分類問題,線性IGEPSVM僅需要求解兩個標準的特征值問題,其計算復雜度為,其中為訓練樣本點的特征維數,而線性GEPSVM則需要求解兩個廣義特征值問題,其計算復雜度為。對于非線性情形,我們的非線性IGEPSVM的計算復雜度為,其中為訓練樣本點的規(guī)模,而非線性GEPSVM的計算復雜度為。對于類多分類問題,IGEPSVM算法無論對線性還是非線性都需要求解個特征值問題,它們的計算復雜度分別為和。因此,由理論分析可知,IGEPSVM訓練速度要比GEPSVM快。

    4 實驗結果與分析

    為了驗證IGEPSVM算法的有效性,分別在8個兩類分類和6個多類分類UCI數據集上[23]進行實驗,并分別與傳統(tǒng)SVM, GEPSVM和TWSVM方法進行對比。所有實驗均以Matlab R2013a為實驗環(huán)境,以Intel P4(3.40 GHz)處理器、4 GB內存的PC為硬件平臺。在實驗過程中,使用LIBSVM工具包[24]實現傳統(tǒng)SVM,使用逐次超松弛技術(SOR)[10]來求解TWSVM中的QPP問題,使用Matlab的“eig”函數求解GEPSVM和IGEPSVM分別對應的廣義特征值問題和標準特征值問題。對于非線性情形,選擇RBF核為核函數,其中為核參數。參數選擇對于各算法性能有一定的影響,因此,對于不同的數據集,使用10-折交叉驗證方法為算法選擇最優(yōu)參數,所有算法中的參數選取范圍均為。

    針對兩類分類問題,我們選擇了8個UCI數據集來驗證本文算法的有效性,表1和表2分別給出了4種算法在線性和非線性情形下的10-折交叉驗證結果和訓練時間。針對多類分類問題,我們選擇了6個UCI數據集來驗證本文算法的有效性,表3和表4分別給出了4種算法在線性和非線性情形下的10-折交叉驗證結果和訓練時間。在表1至表4中,為了更好地體現算法的優(yōu)越性,用黑體數字代表特定數據集下獲得的最高分類精度。同時,我們在表的倒數第2行給出了所有算法的平均分類精度和訓練時間,并在表的最后一行用“W-T-L”(win-tie-loss)概括了IGEPSVM算法與其它算法的性能。

    對于兩類分類問題,從表1和表2中可以發(fā)現,從分類精度來說,IGEPSVM算法比GEPSVM和傳統(tǒng)的SVM表現出了更好的性能,同時也獲得了與TWSVM算法非常類似的性能;但從訓練時間上來說,本文算法表現出了更好的優(yōu)勢,雖然在非線性情形下SVM也有較好的結果,那可能是因為LIBSVM工具包實現SVM利用了SMO算法的原因。容易看出,本文方法IGEPSVM在絕大多數的數據集上訓練時間相對較少,尤其與GEPSVM方法相比較,訓練時間明顯減少,進一步驗證了本文方法是對GEPSVM方法的一種有效改進。

    對于多類分類問題而言,觀察表3和表4不難發(fā)現,一方面,無論在分類精度還是訓練時間,本文IGEPSVM算法比GEPSVM算法都有所提高。另一方面,本文IGEPSVM算法與SVM和TWSVM相比較,從表3和表4的最后兩行看出,本文方法在分類精度上要稍微低一點,但也取得了較好的效果;然而,本文方法在訓練時間上總體上是有一定

    表1 線性IGEPSVM與幾種算法在兩類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Australian(690×14)

    86.52±3.21, 3.8563e-04

    85.80±4.67, 5.1659e-04

    85.51±3.86, 0.0185

    86.10±4.55, 0.0381

    House votes(435×16)

    94.26±2.68, 2.6548e-04

    94.03±2.88, 4.4901e-04

    94.73±3.77, 0.0033

    95.87±3.21, 0.0063

    Heart-c(303×14)

    84.87±5.85, 2.2177e-04

    84.49±7.40, 5.4313e-04

    84.83±5.41, 0.0029

    85.13±5.07, 0.0277

    Heart-Statlog(270×13)

    84.70±4.68, 2.2044e-04

    84.59±8.20, 3.5033e-04

    84.44±4.88, 0.0023

    84.81±4.77, 0.0333

    Monk3(432×7)

    83.47±5.66, 1.3137e-04

    80.76±7.00, 2.2355e-04

    82.59±6.03, 0.0027

    85.91±3.96, 0.0464

    Sonar(208×60)

    81.98±7.96, 0.0032

    79.31±5.59, 0.0052

    81.69±6.88, 0.0035

    81.93±7.28, 0.0371

    Spect(267×44)

    80.51±5.78, 0.0016

    79.46±7.54, 0.0025

    80.45±7.46, 0.0030

    80.24±6.21, 0.0691

    Wpbc(198×34)

    80.32±2.26, 0.0010

    78.18±6.88, 0.0015

    80.14±6.90, 0.0022

    79.89±5.23, 0.0431

    平均精度/平均時間

    84.58/0.0009

    83.33/0.0014

    84.30/0.0048

    84.99/0.0376

    W-T-L(勝-平-負)

    8-0-0

    7-0-1

    4-0-4

    表2 非線性IGEPSVM與幾種算法在兩類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Australian(690×14)

    86.67±5.19, 0.7215

    86.10±2.51, 5.2741

    86.23±4.70, 0.5162

    86.96±4.27, 0.7381

    House votes(435×16)

    95.42±2.85, 0.1356

    94.12±5.05, 0.8937

    95.24±4.07, 0.1112

    96.32±2.49, 0.1641

    Heart-c(303×14)

    84.86±5.20, 0.0810

    82.52±7.49, 0.2952

    83.19±8.27, 0.0652

    85.13±2.47, 0.0834

    Heart-Statlog(270×13)

    84.07±4.64, 0.0165

    83.33±7.25, 0.2023

    83.59±7.21, 0.0140

    84.81±7.08, 0.0184

    Monk3(432×7)

    98.72±4.80, 0.2135

    95.84±3.29, 0.8769

    97.25±3.18, 0.1045

    98.26±1.32, 0.2450

    Sonar(208×60)

    87.24±6.33, 0.0153

    86.55±8.08, 0.1533

    86.10±8.51, 0.0257

    89.26±7.19, 0.0289

    Spect(267×44)

    82.71±8.96, 0.0675

    80.48±8.09, 0.3178

    82.46±8.54, 0.0549

    82.07±5.91, 0.0709

    Wpbc(198×34)

    82.76±6.33, 0.0353

    81.26±8.24, 0.1137

    82.56±5.38, 0.0534

    82.74±5.23, 0.0504

    平均精度/平均時間

    87.81/0.1608

    86.28/1.0159

    87.08/0.1181

    88.19/0.1749

    W-T-L(勝-平-負)

    8-0-0

    8-0-0

    3-0-5

    表3 線性IGEPSVM與幾種算法在多類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Iris(150×4×3)

    96.67±5.67, 0.0012

    95.33±4.66, 0.0028

    95.33±4.50, 0.0034

    96.53±5.84, 0.0209

    Wine(178×13×3)

    96.76±5.17, 0.0017

    94.71±7.92, 0.0042

    97.78±3.88, 0.0028

    98.33±2.68, 0.0669

    Seeds(210×7×3)

    93.71±1.23, 0.0015

    89.05±5.96, 0.0018

    92.86±5.14, 0.0027

    95.71±4.74, 0.0474

    Dermatology(358×34×6)

    95.03±6.79, 0.0080

    94.14±4.97, 0.0099

    95.83±3.00, 0.0121

    95.25±2.63, 0.2177

    Balance(625×4×3)

    88.48±3.77, 0.0017

    89.69±3.72, 0.0020

    87.52±3.54, 0.0031

    87.66±3.18, 0.2026

    Car(1278×6×4)

    77.78±2.85, 0.0045

    73.59±2.84, 0.0068

    84.78±4.13, 0.0329

    77.26±4.27, 2.1232

    平均精度/平均時間

    91.41/0.0031

    89.42/0.0046

    92.35/0.0095

    91.79/0.4465

    W-T-L(勝-平-負)

    5-0-1

    3-0-3

    3-0-3

    表4 非線性IGEPSVM與幾種算法在多類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Iris(150×4×3)

    97.33±3.51, 0.0100

    96.67±4.71, 0.0399

    96.67±3.51, 0.0121

    97.33±3.44, 0.0162

    Wine(178×13×3)

    97.78±2.87, 0.0444

    95.49±5.20, 0.0766

    98.30±2.74, 0.0463

    99.44±1.76, 0.1237

    Seeds(210×7×3)

    94.33±6.02, 0.0546

    92.38±7.17, 0.1377

    93.86±4.63, 0.0510

    96.67±3.21, 0.1508

    Dermatology(358×34×6)

    96.23±4.22, 0.3165

    96.39±2.64, 1.0836

    96.01±5.19, 0.2205

    96.65±4.11, 0.6842

    Balance(625×4×3)

    94.25±2.26, 0.5918

    96.65±2.74, 3.7493

    93.97±4.11, 0.3067

    99.20±1.13, 1.2449

    Car(1278×6×4)

    96.20±1.47, 3.8730

    94.04±1.07, 18.4988

    98.67±1.22, 0.8437

    98.44±0.67, 7.8442

    平均精度/平均時間

    96.02/0.8150

    95.27/3.9310

    96.25/0.2467

    97.96/1.6773

    W-T-L(勝-平-負)

    4-0-2

    4-0-2

    0-1-5

    優(yōu)勢的,只有在與非線性SVM比較時稍微差一些,主要原因可能是SVM采取了LIBSVM工具包和“一類對一類”的策略實現多類分類??偠灾?,本文IGEPSVM算法是對GEPSVM算法的一種改進,無論在分類精度還是在訓練時間上都取得了比GEPSVM較好的實驗效果。

    5 結束語

    本文針對兩類分類問題提出了一類改進的基于特征值分解的中心支持向量機算法(IGEPSVM),并將其推廣到多類分類問題。與GEPSVM算法相比較,本文的主要貢獻在于:首先,解決了GEPSVM模型訓練過程和決策過程不一致的問題;其次,將GEPSVM求解廣義特征值問題轉化為求解標準的特征值問題,降低了計算復雜度;最后,通過引入新的參數,可以方便調節(jié)IGEPSVM模型的性能,提高了分類精度。在UCI數據集上的實驗結果表明,本文算法比GEPSVM算法更優(yōu)越,但與SVM或TWSVM算法相比較,它們各有優(yōu)勢。近幾年來,非平行平面支持向量機已經逐漸成為模式識別和機器學習領域新的研究熱點之一,將已有的針對兩類分類問題所提出的非平行平面支持向量機算法推廣到多類分類問題以及在不同領域的應用是今后研究的重點。

    [1] CORTES C and VAPNIK V N. Support vector machine[J]., 1995, 20(3): 273-297.

    [2] OSUNA E, FREUND R, and GIROSI F. Training support vector machines: an application to face detection[C]. Proceedings of Computer Vision and Pattern Recognition, San Juan, 1997: 130-136.

    [3] ISA D, LEE L H, KALLIMANI V P,. Text document preprocessing with the Bayes formula for classification using the support vector machine[J]., 2008, 20(9): 1264-1272.

    [4] BOSER B, GUYON I, and VAPNIK V N. A training algorithm for optimal margin classifiers[C]. Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory, New York, 1992: 144-152.

    [5] OSUNA E, FREUND R, and GIROSI F. An improved training algorithm for support vector machines[C]. Proceedings of IEEE Workshop on Neural Networks for Signal Processing, New York, USA, 1997: 276-285.

    [6] PLATT J. Fast Training of Support Vector Machines Using Sequential Minimal Optimization[M]. Advances in Kernel Methods: Support Vector Machines, Cambridge, MA, MIT Press, 1998: 41-65.

    [7] 張戰(zhàn)成, 王士同, 鄧趙紅, 等. 支持向量機的一種快速分類算法[J]. 電子與信息學報, 2011, 33(9): 2181-2186.

    ZHANG Zhancheng, WANG Shitong, DENG Zhaohong,. Fast decision using SVM for incoming samples[J].&, 2011, 33(9): 2181-2186.

    [8] MANGASARIAN O L and WILD E W. Multisurface proximal support vector machine classification via generalized eigenvalues[J]., 2006, 28(1): 69-74.

    [9] JAYADEVA, KHEMCHANDAI R, and CHANDRA S. Twin support vector machine classification for pattern classification [J]., 2007, 29(5): 905-910.

    [10] SHAO Y H, ZHANG C H, WANGX B,. Improvements on twin support vector machines[J]., 2011, 22(6): 962-968.

    [11] PENG X J. TPMSVM: A novel twin parametric-margin support vector machine for pattern recognition[J]., 2011, 44(10): 2678-2692.

    [12] QI Z Q, TIAN Y J, and SHI Y. Robust twin support vector machine for pattern classification[J]., 2013, 46(1): 305-316.

    [13] SHAO Y H, DENG N Y, and CHEN W J. A proximal classifier with consistency[J]., 2013, 49: 171-178.

    [14] Tian Y J, Qi Z Q, Ju X C,. Nonparallel support vector machines for pattern classification[J]., 2014, 44(7): 1067-1079.

    [15] DING S F, HUA X P, and YU J Z. An overview on nonparallel hyperplane support vector machine algorithms[J]., 2014, 25(5): 975-982.

    WANG Na and LI Xia. A new dualsupport vector machine based on class-weighted[J].&, 2007, 29(4): 859-862.

    [17] BOTTOU L, CORTES C, DENKER J S,. Comparison of classifier methods: a case study in handwritten digit recognition[C]. Proceedings of IEEE International Conference on Pattern Recognition, Paris, 1994: 77-82.

    [18] KRE?EL U. Pairwise Classification and Support Vector Machines[M]. Advances in Kernel Methods-Support Vector Learning, Cambridge, MA, MIT Press, 1999: 255-268.

    [19] CRAMMER K and SINGER Y. On the learn ability and design of output codes for multi-class problems[J]., 2002, 47(2/3): 201-233.

    [20] XU Y T, GUO R, and WANG L S. A twin multi-class classification support vector machine[J]., 2013, 5(4): 580-588.

    [21] NASIRI J A, CHARKARI N M, and JALILI S. Least squares twin multi-class classification support vector machine[J]., 2015, 48(3): 984-992.

    [22] PARLETT B. The Symmetric Eigenvalue Problem[M]. Upper Saddle River, NJ, USA, SIAM Press, 1998: 61-80.

    [23] BLAKE C L and MERZ C J. UCI repository of machine learning databases[R]. Irvine, CA: Department of Information and Computers Science, University of California, 1998.

    [24] CHANG C and LIN C. LIBSVM: A library for support vector machine[J]., 2011, 2(3): 1-27.

    陳素根: 男,1982年生,副教授,博士生,研究方向為模式識別與智能系統(tǒng).

    吳小?。?男,1967年生,教授,博士生導師,研究方向為模式識別、人工智能與計算機視覺.

    Foundation Items: The National Natural Science Foundation of China (61373055, 61103128), 111 Project of Chinese Ministry of Education (B12018), Industrial Support Program of Jiangsu Province (BE2012031)


    Eigenvalue Proximal Support Vector Machine Algorithm Based on Eigenvalue Decoposition

    CHEN Sugen①②WU Xiaojun①

    ①(School of IoT Engineering, Jiangnan University, Wuxi 214122, China)②(School of Mathematics & Computational Science, Anqing Normal University, Anqing 246133, China)

    To deal with the consistency problem of training process and decision process in Generalized Eigenvalue Proximal Support Vector Machine (GEPSVM), an improved version of eigenvalue proximal support vector machine, called IGEPSVM for short is proposed. At first, IGEPSVM for binary classification problem is proposed, and then Multi-IGEPSVM is also presented for multi-class classification problem based on “one-versus-rest” strategy. The main contributions of this paper are as follows. The generalized eigenvalue decomposition problems are replaced by the standard eigenvalue decomposition problems, leading to simpler optimization problems. An extra parameter is introduced, which can adjust the performance of the model and improve the classification accuracy of GEPSVM. A corresponding multi-class classification algorithm is proposed, which is not studied in GEPSVM. Experimental results on several datasets illustrate that IGEPSVM is superior to GEPSVM in both classification accuracy and training speed.

    Support Vector Machine (SVM); Generalized Eigenvalue Proximal SVM (GEPSVM); Binary classification; Multi-class classification; Eigenvalue decoposition

    TP391

    A

    1009-5896(2016)03-0557-08

    10.11999/JEIT150693

    2015-06-08;改回日期:2015-09-17;網絡出版:2015-11-19

    吳小俊 wu_xiaojun@jiangnan.edu.cn

    國家自然科學基金(61373055, 61103128), 111引智計劃項目(B12018),江蘇省工業(yè)支持計劃項目(BE2012031)

    猜你喜歡
    復雜度特征值方差
    方差怎么算
    一類帶強制位勢的p-Laplace特征值問題
    概率與統(tǒng)計(2)——離散型隨機變量的期望與方差
    單圈圖關聯矩陣的特征值
    計算方差用哪個公式
    一種低復雜度的慣性/GNSS矢量深組合方法
    方差生活秀
    求圖上廣探樹的時間復雜度
    某雷達導51 頭中心控制軟件圈復雜度分析與改進
    基于商奇異值分解的一類二次特征值反問題
    亚洲人与动物交配视频| 色吧在线观看| 性高湖久久久久久久久免费观看| 韩国av在线不卡| 欧美日韩国产mv在线观看视频| 又粗又硬又长又爽又黄的视频| 日本与韩国留学比较| 久久久久精品人妻al黑| 国产精品麻豆人妻色哟哟久久| 欧美亚洲日本最大视频资源| 午夜福利视频精品| 大码成人一级视频| 日本av免费视频播放| 九九在线视频观看精品| 成人综合一区亚洲| 妹子高潮喷水视频| 久久午夜福利片| 大码成人一级视频| 欧美成人午夜精品| 成人国产av品久久久| 美女内射精品一级片tv| 日本wwww免费看| 日本免费在线观看一区| 精品酒店卫生间| 欧美激情 高清一区二区三区| 久久久国产欧美日韩av| 乱人伦中国视频| 亚洲精品456在线播放app| 韩国av在线不卡| 国产亚洲精品久久久com| 久久人人爽av亚洲精品天堂| 十分钟在线观看高清视频www| 如日韩欧美国产精品一区二区三区| 亚洲av电影在线进入| 欧美人与善性xxx| 精品99又大又爽又粗少妇毛片| 亚洲av免费高清在线观看| 激情五月婷婷亚洲| 哪个播放器可以免费观看大片| 在线看a的网站| 国产成人精品在线电影| 99re6热这里在线精品视频| 午夜视频国产福利| videos熟女内射| 国产69精品久久久久777片| 丰满饥渴人妻一区二区三| 91在线精品国自产拍蜜月| av免费在线看不卡| 国产成人免费观看mmmm| 国产欧美另类精品又又久久亚洲欧美| 亚洲av男天堂| 亚洲一区二区三区欧美精品| 深夜精品福利| 亚洲精品久久成人aⅴ小说| 老熟女久久久| 久热久热在线精品观看| 国产精品一二三区在线看| 日本欧美国产在线视频| 人妻人人澡人人爽人人| 亚洲精品av麻豆狂野| 久久人人爽av亚洲精品天堂| 爱豆传媒免费全集在线观看| 一本色道久久久久久精品综合| av福利片在线| 国产 一区精品| 日本色播在线视频| 2022亚洲国产成人精品| 精品熟女少妇av免费看| 看免费成人av毛片| 欧美人与善性xxx| 少妇的逼水好多| 精品一区二区三卡| 国产日韩欧美亚洲二区| 熟妇人妻不卡中文字幕| 国产69精品久久久久777片| 欧美亚洲日本最大视频资源| 精品一区二区三区视频在线| 久久韩国三级中文字幕| 制服人妻中文乱码| 亚洲精品色激情综合| 少妇人妻久久综合中文| 国产一区二区三区av在线| 母亲3免费完整高清在线观看 | av国产久精品久网站免费入址| 美女xxoo啪啪120秒动态图| 亚洲av福利一区| 国产一区二区在线观看av| 成人国产麻豆网| 成人国语在线视频| 一区二区av电影网| 免费高清在线观看视频在线观看| 精品国产露脸久久av麻豆| 国产成人精品在线电影| 久久久久久久久久人人人人人人| 国产精品一区二区在线观看99| 国产成人一区二区在线| 少妇精品久久久久久久| 建设人人有责人人尽责人人享有的| 人妻人人澡人人爽人人| 亚洲 欧美一区二区三区| 午夜福利视频精品| 国产片内射在线| www.熟女人妻精品国产 | 乱人伦中国视频| 建设人人有责人人尽责人人享有的| 99久久精品国产国产毛片| 午夜免费男女啪啪视频观看| 两个人免费观看高清视频| 日本欧美视频一区| 秋霞伦理黄片| 深夜精品福利| 亚洲中文av在线| 成年人免费黄色播放视频| 亚洲,欧美精品.| 两个人免费观看高清视频| 巨乳人妻的诱惑在线观看| 久久久国产欧美日韩av| 老女人水多毛片| 乱码一卡2卡4卡精品| 久久精品国产a三级三级三级| 国产精品蜜桃在线观看| 美女视频免费永久观看网站| 蜜桃国产av成人99| 亚洲国产成人一精品久久久| 欧美亚洲日本最大视频资源| 久久99精品国语久久久| 中文欧美无线码| 免费高清在线观看视频在线观看| 国产精品国产三级专区第一集| 91aial.com中文字幕在线观看| 中文精品一卡2卡3卡4更新| 激情五月婷婷亚洲| 久久午夜综合久久蜜桃| 中文字幕最新亚洲高清| 9色porny在线观看| 天美传媒精品一区二区| 久久青草综合色| 亚洲精品久久午夜乱码| 久久精品久久精品一区二区三区| 热re99久久国产66热| 久久韩国三级中文字幕| 亚洲国产最新在线播放| 亚洲婷婷狠狠爱综合网| 精品少妇内射三级| 在线 av 中文字幕| 熟女人妻精品中文字幕| 51国产日韩欧美| 日韩一区二区三区影片| 欧美3d第一页| 一个人免费看片子| 精品亚洲成a人片在线观看| 国产色爽女视频免费观看| 国产又爽黄色视频| 在线观看免费视频网站a站| 亚洲性久久影院| 亚洲成色77777| 国产在线视频一区二区| 午夜福利网站1000一区二区三区| 精品酒店卫生间| 天堂中文最新版在线下载| 亚洲精品日韩在线中文字幕| 日日撸夜夜添| 2018国产大陆天天弄谢| 欧美精品国产亚洲| 国产激情久久老熟女| 国产亚洲最大av| 黄片播放在线免费| 久久97久久精品| 王馨瑶露胸无遮挡在线观看| 婷婷色综合www| 老司机亚洲免费影院| 久久久久精品性色| 亚洲国产成人一精品久久久| tube8黄色片| 精品视频人人做人人爽| 人妻 亚洲 视频| 日韩,欧美,国产一区二区三区| 免费观看av网站的网址| 亚洲激情五月婷婷啪啪| 街头女战士在线观看网站| 国产一区二区在线观看av| 日韩不卡一区二区三区视频在线| 国产精品免费大片| 看免费av毛片| 亚洲av免费高清在线观看| 亚洲精品中文字幕在线视频| 亚洲三级黄色毛片| tube8黄色片| 国产av一区二区精品久久| 久久av网站| 精品酒店卫生间| 在线天堂最新版资源| 男的添女的下面高潮视频| 蜜臀久久99精品久久宅男| 国产一区二区在线观看av| 亚洲综合色网址| 国产精品久久久久久精品电影小说| 韩国av在线不卡| 内地一区二区视频在线| 成人综合一区亚洲| 国产探花极品一区二区| 90打野战视频偷拍视频| 男女啪啪激烈高潮av片| 久久久久精品久久久久真实原创| 欧美精品国产亚洲| 看免费av毛片| 一区二区三区乱码不卡18| 亚洲精品第二区| 狠狠精品人妻久久久久久综合| 成年av动漫网址| h视频一区二区三区| 成年人免费黄色播放视频| 高清黄色对白视频在线免费看| 观看av在线不卡| 青青草视频在线视频观看| 免费日韩欧美在线观看| 亚洲欧美中文字幕日韩二区| 久久精品久久久久久久性| 一级爰片在线观看| 18+在线观看网站| 久久鲁丝午夜福利片| 制服丝袜香蕉在线| 日本色播在线视频| 街头女战士在线观看网站| 久久久久精品久久久久真实原创| 国产精品国产三级国产av玫瑰| 国产国拍精品亚洲av在线观看| 青春草亚洲视频在线观看| 精品少妇内射三级| 久久久久精品性色| 中文字幕亚洲精品专区| 国产日韩欧美在线精品| 91精品三级在线观看| 日本黄大片高清| 日韩精品有码人妻一区| 在线观看国产h片| av在线播放精品| 老司机亚洲免费影院| 亚洲伊人色综图| 深夜精品福利| 22中文网久久字幕| 国产福利在线免费观看视频| 在线观看免费日韩欧美大片| 一区二区av电影网| 久久午夜综合久久蜜桃| 国产亚洲精品久久久com| 国产精品久久久久久精品古装| 新久久久久国产一级毛片| 免费在线观看完整版高清| 在线天堂最新版资源| 日韩精品有码人妻一区| 一级毛片电影观看| 午夜91福利影院| 亚洲精品中文字幕在线视频| 伦精品一区二区三区| 国产成人精品福利久久| 纵有疾风起免费观看全集完整版| 国产精品成人在线| 国产成人免费观看mmmm| 亚洲,一卡二卡三卡| 欧美精品亚洲一区二区| 精品亚洲成a人片在线观看| 波野结衣二区三区在线| 18在线观看网站| 日日撸夜夜添| 成人18禁高潮啪啪吃奶动态图| 大片免费播放器 马上看| 99热6这里只有精品| 99久久人妻综合| 考比视频在线观看| 日本-黄色视频高清免费观看| 五月伊人婷婷丁香| 桃花免费在线播放| 久久久久久久精品精品| 国产精品一区www在线观看| 内地一区二区视频在线| 午夜福利,免费看| 九九在线视频观看精品| 日韩一本色道免费dvd| 国产成人免费观看mmmm| 国产精品女同一区二区软件| 欧美人与性动交α欧美软件 | 国产高清三级在线| 久久久久国产网址| 国产永久视频网站| 日本wwww免费看| 国产精品女同一区二区软件| 国内精品宾馆在线| 亚洲国产毛片av蜜桃av| 黄色一级大片看看| 欧美亚洲 丝袜 人妻 在线| 午夜激情久久久久久久| 热re99久久国产66热| 丝袜在线中文字幕| 亚洲丝袜综合中文字幕| 欧美日韩一区二区视频在线观看视频在线| 最新中文字幕久久久久| 青青草视频在线视频观看| 国产69精品久久久久777片| 精品亚洲乱码少妇综合久久| 免费大片黄手机在线观看| 一区二区三区精品91| 男女高潮啪啪啪动态图| 9热在线视频观看99| 高清毛片免费看| 人妻一区二区av| 男女啪啪激烈高潮av片| 大片电影免费在线观看免费| 啦啦啦在线观看免费高清www| 国产1区2区3区精品| www日本在线高清视频| 免费少妇av软件| 免费在线观看完整版高清| 91午夜精品亚洲一区二区三区| 国产一区亚洲一区在线观看| 一区二区三区乱码不卡18| 男人舔女人的私密视频| 黄色一级大片看看| 美女国产视频在线观看| 亚洲精品国产av成人精品| 久久久a久久爽久久v久久| 老司机影院毛片| 国产成人91sexporn| 免费日韩欧美在线观看| 精品亚洲乱码少妇综合久久| 亚洲中文av在线| 99香蕉大伊视频| 校园人妻丝袜中文字幕| a级毛色黄片| 国产成人午夜福利电影在线观看| 最近最新中文字幕大全免费视频 | 免费人妻精品一区二区三区视频| 精品久久国产蜜桃| 亚洲欧美中文字幕日韩二区| 80岁老熟妇乱子伦牲交| 亚洲精品自拍成人| 国产亚洲最大av| 亚洲精品成人av观看孕妇| 国产免费又黄又爽又色| 99国产综合亚洲精品| 女人精品久久久久毛片| 国产成人a∨麻豆精品| 国产深夜福利视频在线观看| 看免费成人av毛片| 69精品国产乱码久久久| 亚洲色图综合在线观看| 伊人久久国产一区二区| 老司机影院毛片| 一区二区av电影网| 国产在视频线精品| 啦啦啦啦在线视频资源| 久久亚洲国产成人精品v| 男女边摸边吃奶| 国产男人的电影天堂91| 黄色怎么调成土黄色| 超碰97精品在线观看| 欧美老熟妇乱子伦牲交| 亚洲美女黄色视频免费看| 国产精品一区二区在线不卡| 国产无遮挡羞羞视频在线观看| 尾随美女入室| 久久99精品国语久久久| 国产日韩一区二区三区精品不卡| 三级国产精品片| 人妻一区二区av| 91aial.com中文字幕在线观看| 亚洲欧洲精品一区二区精品久久久 | 午夜日本视频在线| 黄色怎么调成土黄色| 成年av动漫网址| 人人妻人人澡人人爽人人夜夜| 99热网站在线观看| 精品久久久精品久久久| 国产精品久久久av美女十八| 香蕉丝袜av| 18禁裸乳无遮挡动漫免费视频| 人妻人人澡人人爽人人| 亚洲第一av免费看| 国产成人精品无人区| 一级a做视频免费观看| 最近2019中文字幕mv第一页| 国产又色又爽无遮挡免| 91午夜精品亚洲一区二区三区| 国产精品一区二区在线不卡| a级毛色黄片| 宅男免费午夜| 91aial.com中文字幕在线观看| 91在线精品国自产拍蜜月| 精品亚洲成a人片在线观看| 国产免费一级a男人的天堂| av天堂久久9| 黄色 视频免费看| 亚洲,欧美,日韩| 婷婷色综合大香蕉| 一本久久精品| 亚洲欧美色中文字幕在线| 你懂的网址亚洲精品在线观看| 我的女老师完整版在线观看| av不卡在线播放| 久久这里有精品视频免费| 亚洲精品视频女| 日本av手机在线免费观看| 久久久久久久大尺度免费视频| 成年人免费黄色播放视频| 最黄视频免费看| 99久久综合免费| 国产色婷婷99| 两性夫妻黄色片 | 亚洲精品国产av成人精品| 亚洲国产毛片av蜜桃av| 天天操日日干夜夜撸| 久久久久人妻精品一区果冻| 99热6这里只有精品| 精品一区二区三卡| 亚洲精品自拍成人| 久久精品久久精品一区二区三区| 香蕉精品网在线| 香蕉丝袜av| 91久久精品国产一区二区三区| 国产69精品久久久久777片| 亚洲中文av在线| 国产一区亚洲一区在线观看| 亚洲精品第二区| 亚洲人成网站在线观看播放| 国产精品偷伦视频观看了| 看免费av毛片| 男女午夜视频在线观看 | 国产精品女同一区二区软件| 九九爱精品视频在线观看| 免费观看av网站的网址| 国产高清国产精品国产三级| 18禁动态无遮挡网站| 免费高清在线观看日韩| 国产亚洲欧美精品永久| 人妻少妇偷人精品九色| 99re6热这里在线精品视频| 99香蕉大伊视频| 一本大道久久a久久精品| 成年动漫av网址| 午夜福利视频精品| av线在线观看网站| 永久免费av网站大全| 日韩大片免费观看网站| 日本欧美国产在线视频| 午夜视频国产福利| 亚洲熟女精品中文字幕| 亚洲精品国产av成人精品| 高清视频免费观看一区二区| 搡女人真爽免费视频火全软件| 丰满少妇做爰视频| 欧美变态另类bdsm刘玥| 午夜av观看不卡| 中文字幕精品免费在线观看视频 | 久久精品国产自在天天线| 婷婷色综合www| 日韩成人伦理影院| 日日撸夜夜添| 麻豆精品久久久久久蜜桃| 国产男女超爽视频在线观看| 亚洲精品国产色婷婷电影| 成年av动漫网址| 亚洲av欧美aⅴ国产| 中文字幕av电影在线播放| 亚洲国产看品久久| 国产精品一国产av| 国产精品久久久久成人av| 欧美变态另类bdsm刘玥| 免费播放大片免费观看视频在线观看| 国产精品熟女久久久久浪| 亚洲在久久综合| 亚洲国产欧美在线一区| 欧美3d第一页| 日本-黄色视频高清免费观看| 精品第一国产精品| 免费少妇av软件| 日本午夜av视频| 老司机影院成人| 精品酒店卫生间| 男的添女的下面高潮视频| av电影中文网址| 日韩成人伦理影院| 成人国产av品久久久| 黄色怎么调成土黄色| 久久国产精品男人的天堂亚洲 | 亚洲欧美一区二区三区国产| 久久女婷五月综合色啪小说| 亚洲精品国产色婷婷电影| 日日啪夜夜爽| 日本与韩国留学比较| 久久国内精品自在自线图片| 精品人妻熟女毛片av久久网站| 久久久国产一区二区| 99久久人妻综合| 黄片无遮挡物在线观看| 亚洲精品日本国产第一区| 岛国毛片在线播放| 欧美另类一区| 国产乱人偷精品视频| 成人手机av| 精品一区二区三区视频在线| 亚洲经典国产精华液单| 青春草亚洲视频在线观看| 午夜免费观看性视频| 精品午夜福利在线看| av线在线观看网站| 婷婷色综合大香蕉| 亚洲精品第二区| 交换朋友夫妻互换小说| 精品少妇内射三级| 亚洲久久久国产精品| 国国产精品蜜臀av免费| 老熟女久久久| 男人操女人黄网站| 麻豆精品久久久久久蜜桃| 欧美xxⅹ黑人| 大片免费播放器 马上看| 欧美激情国产日韩精品一区| 色哟哟·www| 久久久国产欧美日韩av| 日韩不卡一区二区三区视频在线| 国产日韩欧美视频二区| 亚洲欧美一区二区三区黑人 | 日本猛色少妇xxxxx猛交久久| 丁香六月天网| 免费播放大片免费观看视频在线观看| 亚洲欧美日韩另类电影网站| 国产av精品麻豆| 18禁在线无遮挡免费观看视频| 九草在线视频观看| 久久青草综合色| 亚洲精品一二三| 一级毛片电影观看| 老女人水多毛片| 亚洲av.av天堂| 国产亚洲精品第一综合不卡 | 美女视频免费永久观看网站| 两性夫妻黄色片 | 少妇精品久久久久久久| 日韩精品有码人妻一区| 如何舔出高潮| 国产精品无大码| 久久99热6这里只有精品| 亚洲精品日韩在线中文字幕| a级毛片黄视频| 最近最新中文字幕大全免费视频 | 在线 av 中文字幕| 黑丝袜美女国产一区| 啦啦啦视频在线资源免费观看| a级片在线免费高清观看视频| 亚洲国产欧美在线一区| 国产亚洲av片在线观看秒播厂| 99热国产这里只有精品6| 亚洲国产成人一精品久久久| 街头女战士在线观看网站| 国产日韩欧美视频二区| 精品人妻偷拍中文字幕| 久久久久精品性色| 成年美女黄网站色视频大全免费| av电影中文网址| 熟女电影av网| 国语对白做爰xxxⅹ性视频网站| 老司机影院毛片| 免费观看无遮挡的男女| 99re6热这里在线精品视频| 久久热在线av| 日韩欧美一区视频在线观看| 国产成人精品婷婷| av视频免费观看在线观看| av一本久久久久| 欧美人与善性xxx| 亚洲av电影在线观看一区二区三区| 精品人妻在线不人妻| 又粗又硬又长又爽又黄的视频| 久久久久久久大尺度免费视频| 国产深夜福利视频在线观看| 最新的欧美精品一区二区| 日韩 亚洲 欧美在线| 国产永久视频网站| 水蜜桃什么品种好| 伊人亚洲综合成人网| 国产 精品1| 欧美精品人与动牲交sv欧美| 亚洲欧美中文字幕日韩二区| av网站免费在线观看视频| 热99国产精品久久久久久7| 熟女电影av网| 一本大道久久a久久精品| 最近中文字幕2019免费版| 精品国产国语对白av| 老司机影院毛片| 欧美日韩国产mv在线观看视频| 黑丝袜美女国产一区| 我要看黄色一级片免费的| 国产av精品麻豆| 春色校园在线视频观看| 天堂中文最新版在线下载| 亚洲精品日本国产第一区| 亚洲一码二码三码区别大吗| 免费日韩欧美在线观看| 永久网站在线| 日本欧美国产在线视频| 成人毛片60女人毛片免费| av不卡在线播放| 精品熟女少妇av免费看| 99久国产av精品国产电影| 精品人妻偷拍中文字幕| 亚洲精品456在线播放app| 一区在线观看完整版| 黑人巨大精品欧美一区二区蜜桃 | 美女视频免费永久观看网站| 七月丁香在线播放| 日韩一区二区视频免费看| 国产精品免费大片| 欧美激情 高清一区二区三区| 久久综合国产亚洲精品|