• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于特征值分解的中心支持向量機算法

    2016-10-13 19:00:21陳素根吳小俊
    電子與信息學報 2016年3期
    關鍵詞:復雜度特征值方差

    陳素根 吳小俊

    ?

    基于特征值分解的中心支持向量機算法

    陳素根①②吳小俊*①

    ①(江南大學物聯網工程學院 無錫 214122)②(安慶師范學院數學與計算科學學院 安慶 246133)

    針對廣義特征值中心支持向量機(GEPSVM)訓練和決策過程不一致問題,該文提出一類改進的基于特征值分解的中心支持向量機,簡稱為IGEPSVM。首先針對二分類問題提出了基于特征值分解的中心支持向量機,然后基于“一類對余類”策略將其推廣到多類分類問題。將GEPSVM求解廣義特征值問題轉化為求解標準特征值問題,降低了計算復雜度。引入了一個新的參數,可以調節(jié)模型的性能,提高了GEPSVM的分類精度。提出了基于IGEPSVM的多類分類算法。實驗結果表明,與GEPSVM算法相比較,IGEPSVM不僅提高了分類精度,而且縮短了訓練時間。

    支持向量機;廣義特征值中心支持向量機;兩類分類;多類分類;特征值分解

    1 引言

    支持向量機(SVM)算法是經典的分類算法[1],鑒于其堅實的理論基礎和良好的泛化性能而被廣泛使用于各個領域中[2,3]。SVM在解決小樣本、非線性和高維模式問題中表現出了許多特有的優(yōu)勢,標準的SVM算法問題可歸結為求解一個受約束的二次規(guī)劃(QP)問題,對于小規(guī)模的QP問題,它表現出了非常優(yōu)秀的學習能力,但當訓練集樣本規(guī)模巨大時,就會出現訓練速度慢、算法復雜和效率低下等問題。為了解決這些問題,一方面,許多學者對SVM求解算法進行了廣泛研究,并取得了很多優(yōu)秀成果,如Chunking算法[4]、分解算法[5]、SMO算法[6]和FD- SVM[7]等;另一方面,新型的SVM算法被大量研究,其中非平行平面支持向量機算法是代表性成果之一。關于非平行平面支持向量機算法的研究開始于2006年,文獻[8]提出了廣義特征值中心支持向量機算法(GEPSVM)來處理兩類分類問題,考慮了最大化類間距離和最小化類內距離,對每一類樣本訓練一個分類超平面,開辟了新的決策思路。2007年,文獻[9]在GEPSVM算法的基礎上提出了孿生支持向量機算法(TWSVM),與GEPSVM求解兩個規(guī)模較小的廣義特征值問題有所不同,TWSVM求解兩個規(guī)模較小的QP問題,訓練速度相當于傳統(tǒng)SVM的1/4。然而,許多實際問題都可歸結為多類分類問題,傳統(tǒng)SVM的多類分類算法大致分為“分解重構法”和“整體法”兩大類,代表性研究成果有:“一類對余類”[17]、“一類對一類”[18]和C&S (Crammer and Singer)方法[19]等。近年來,非平行平面支持向量機多類分類算法也開始受到很多學者的關注,涌現了一些優(yōu)秀成果[20,21]。

    GEPSVM算法是最早被提出的非平行平面支持向量機算法,雖然它開辟了新的決策思路,但它依然有一些不足之處。首先,GEPSVM在訓練過程和決策過程中出現了不一致性,即:在訓練過程中,是通過比較每一個超平面和兩類訓練樣本之間的距離來尋求每一類的最優(yōu)超平面的;在決策過程中,是通過比較測試樣本和兩個超平面的距離來實現分類的。因此,這一種不一致性,在一定程度上可能會影響GEPSVM的性能。其次,GEPSVM算法是通過求解兩個廣義特征值問題來實現的,但求解廣義特征值問題的算法復雜度是,從而可能會影響模型的訓練速度。最后,GEPSVM算法本身是針對兩類分類問題提出的,不能直接處理多類分類問題。針對以上問題,本文首先針對兩類分類問題提出一類改進的基于特征分解的中心支持向量機算法(Improved GEPSVM, IGEPSVM);然后在IGEPSVM的基礎上進一步研究多類分類問題,提出多類分類IGEPSVM算法。與GEPSVM算法相比較,IGEPSVM有如下優(yōu)點:(1)將求解廣義特征值問題轉化為求解標準特征值問題,降低了算法的復雜度;(2)引入一個新的參數,可以更好地調節(jié)模型的性能,提高了GEPSVM算法的分類精度。最后,在標準的UCI分類數據集上驗證了本文算法的有效性。

    2 廣義特征值中心支持向量機(GEPSVM)

    對于兩類分類問題,給定訓練樣本集:

    顯然,問題式(4)的目標函數是Rayleigh商。故,優(yōu)化問題式(4)的最優(yōu)解就是廣義特征值問題:

    3 基于特征值分解的中心支持向量機(IGEPSVM)

    仔細分析GEPSVM算法,我們不難發(fā)現,GEPSVM算法在訓練過程和決策過程具有一定的不一致性,這可能會影響GEPSVM算法的性能。為此,我們提出一種改進的基于特征值分解的中心支持向量機算法。

    3.1 兩類分類IGEPSVM

    首先考慮線性情形,對于訓練樣本集式(1),我們考察優(yōu)化模型[13]:

    顯然,直接觀察式(7)是比較難以理解的。然而,式(7)有很好的幾何解釋。假設IGEPSVM尋求的兩個非平行超平面也為式(2),那么在空間中訓練樣本點到超平面的距離為

    這樣,結合式(8),我們分別定義正類和負類訓練樣本點到正類和負類兩個超平面的4個距離:

    于是,優(yōu)化模型式(7)轉化為

    通過構造Lagrange函數并結合KKT條件,求解模型式(12)可以轉化為求解標準特征值問題式(13):

    因此,優(yōu)化問題式(12)的第1部分可表示為

    由Rayleigh定理[22]可知,當且僅當是矩陣最小特征值時,優(yōu)化問題式(12)的第1部分的目標函數取得全局極小值。此時,最小特征值對應的單位特征向量是優(yōu)化問題式(12)的第1部分的最優(yōu)解。同理可證,優(yōu)化問題式(12)的第2部分的最優(yōu)解是矩陣的最小特征值所對應的單位特征向量。 證畢于是,當被求出后,對于新的測試樣本,它將根據式(16),被分類到正類或負類。即

    類似地,我們也可以分別定義正類和負類訓練樣本點到正類和負類兩個非線性超曲面的4個距離:

    于是,建立非線性情形的優(yōu)化模型為

    類似于線性情形,求解模型式(18)可以轉化為求解模型式(19):

    通過構造Lagrange函數并結合KKT條件,求解模型式(19)可以轉化為求解標準特征值問題式(20):

    類似于線性情形,關于非線性模型,我們可以得定理2。

    定理2的證明過程類似于定理1,簡單起見,此處省略。于是,當被求出后,對于新的測試樣本,它將根據式(21),被分類到正類或負類。即:

    總結上述過程,可以得到兩類分類IGEPSVM算法如下:

    算法1 兩類分類IGEPSVM算法

    步驟1 給定訓練集式(1);

    步驟3 利用模型式(12)或式(19)訓練,求解特征值問題式(13)或式(20)得到最小特征值對應的單位特征向量;

    步驟4 利用決策函數式(16)或式(21)進行分類。

    3.2 多類分類IGEPSVM

    這樣,對于線性多類分類問題,基于線性IGEPSVM就可以構造個相互不平行的超平面:

    并構造決策函數如下:

    的最小特征值對應的單位特征向量。

    對于非線性多類分類問題,基于非線性IGEPSVM可以構造個超曲面:

    并構造決策函數:

    的最小特征值對應的單位特征向量。

    總結上述過程,可以得到多類分類IGEPSVM算法如下:

    算法2 多類分類IGEPSVM算法

    (2)利用模型式(24)或式(28)訓練,求解特征值問題式(25)或式(29)得到最小特征值對應的單位特征向量;

    End

    步驟3 利用決策函數式(23)或式(27)進行分類。

    3.3 計算復雜度分析

    綜上可知,對于兩類分類問題,線性IGEPSVM僅需要求解兩個標準的特征值問題,其計算復雜度為,其中為訓練樣本點的特征維數,而線性GEPSVM則需要求解兩個廣義特征值問題,其計算復雜度為。對于非線性情形,我們的非線性IGEPSVM的計算復雜度為,其中為訓練樣本點的規(guī)模,而非線性GEPSVM的計算復雜度為。對于類多分類問題,IGEPSVM算法無論對線性還是非線性都需要求解個特征值問題,它們的計算復雜度分別為和。因此,由理論分析可知,IGEPSVM訓練速度要比GEPSVM快。

    4 實驗結果與分析

    為了驗證IGEPSVM算法的有效性,分別在8個兩類分類和6個多類分類UCI數據集上[23]進行實驗,并分別與傳統(tǒng)SVM, GEPSVM和TWSVM方法進行對比。所有實驗均以Matlab R2013a為實驗環(huán)境,以Intel P4(3.40 GHz)處理器、4 GB內存的PC為硬件平臺。在實驗過程中,使用LIBSVM工具包[24]實現傳統(tǒng)SVM,使用逐次超松弛技術(SOR)[10]來求解TWSVM中的QPP問題,使用Matlab的“eig”函數求解GEPSVM和IGEPSVM分別對應的廣義特征值問題和標準特征值問題。對于非線性情形,選擇RBF核為核函數,其中為核參數。參數選擇對于各算法性能有一定的影響,因此,對于不同的數據集,使用10-折交叉驗證方法為算法選擇最優(yōu)參數,所有算法中的參數選取范圍均為。

    針對兩類分類問題,我們選擇了8個UCI數據集來驗證本文算法的有效性,表1和表2分別給出了4種算法在線性和非線性情形下的10-折交叉驗證結果和訓練時間。針對多類分類問題,我們選擇了6個UCI數據集來驗證本文算法的有效性,表3和表4分別給出了4種算法在線性和非線性情形下的10-折交叉驗證結果和訓練時間。在表1至表4中,為了更好地體現算法的優(yōu)越性,用黑體數字代表特定數據集下獲得的最高分類精度。同時,我們在表的倒數第2行給出了所有算法的平均分類精度和訓練時間,并在表的最后一行用“W-T-L”(win-tie-loss)概括了IGEPSVM算法與其它算法的性能。

    對于兩類分類問題,從表1和表2中可以發(fā)現,從分類精度來說,IGEPSVM算法比GEPSVM和傳統(tǒng)的SVM表現出了更好的性能,同時也獲得了與TWSVM算法非常類似的性能;但從訓練時間上來說,本文算法表現出了更好的優(yōu)勢,雖然在非線性情形下SVM也有較好的結果,那可能是因為LIBSVM工具包實現SVM利用了SMO算法的原因。容易看出,本文方法IGEPSVM在絕大多數的數據集上訓練時間相對較少,尤其與GEPSVM方法相比較,訓練時間明顯減少,進一步驗證了本文方法是對GEPSVM方法的一種有效改進。

    對于多類分類問題而言,觀察表3和表4不難發(fā)現,一方面,無論在分類精度還是訓練時間,本文IGEPSVM算法比GEPSVM算法都有所提高。另一方面,本文IGEPSVM算法與SVM和TWSVM相比較,從表3和表4的最后兩行看出,本文方法在分類精度上要稍微低一點,但也取得了較好的效果;然而,本文方法在訓練時間上總體上是有一定

    表1 線性IGEPSVM與幾種算法在兩類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Australian(690×14)

    86.52±3.21, 3.8563e-04

    85.80±4.67, 5.1659e-04

    85.51±3.86, 0.0185

    86.10±4.55, 0.0381

    House votes(435×16)

    94.26±2.68, 2.6548e-04

    94.03±2.88, 4.4901e-04

    94.73±3.77, 0.0033

    95.87±3.21, 0.0063

    Heart-c(303×14)

    84.87±5.85, 2.2177e-04

    84.49±7.40, 5.4313e-04

    84.83±5.41, 0.0029

    85.13±5.07, 0.0277

    Heart-Statlog(270×13)

    84.70±4.68, 2.2044e-04

    84.59±8.20, 3.5033e-04

    84.44±4.88, 0.0023

    84.81±4.77, 0.0333

    Monk3(432×7)

    83.47±5.66, 1.3137e-04

    80.76±7.00, 2.2355e-04

    82.59±6.03, 0.0027

    85.91±3.96, 0.0464

    Sonar(208×60)

    81.98±7.96, 0.0032

    79.31±5.59, 0.0052

    81.69±6.88, 0.0035

    81.93±7.28, 0.0371

    Spect(267×44)

    80.51±5.78, 0.0016

    79.46±7.54, 0.0025

    80.45±7.46, 0.0030

    80.24±6.21, 0.0691

    Wpbc(198×34)

    80.32±2.26, 0.0010

    78.18±6.88, 0.0015

    80.14±6.90, 0.0022

    79.89±5.23, 0.0431

    平均精度/平均時間

    84.58/0.0009

    83.33/0.0014

    84.30/0.0048

    84.99/0.0376

    W-T-L(勝-平-負)

    8-0-0

    7-0-1

    4-0-4

    表2 非線性IGEPSVM與幾種算法在兩類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Australian(690×14)

    86.67±5.19, 0.7215

    86.10±2.51, 5.2741

    86.23±4.70, 0.5162

    86.96±4.27, 0.7381

    House votes(435×16)

    95.42±2.85, 0.1356

    94.12±5.05, 0.8937

    95.24±4.07, 0.1112

    96.32±2.49, 0.1641

    Heart-c(303×14)

    84.86±5.20, 0.0810

    82.52±7.49, 0.2952

    83.19±8.27, 0.0652

    85.13±2.47, 0.0834

    Heart-Statlog(270×13)

    84.07±4.64, 0.0165

    83.33±7.25, 0.2023

    83.59±7.21, 0.0140

    84.81±7.08, 0.0184

    Monk3(432×7)

    98.72±4.80, 0.2135

    95.84±3.29, 0.8769

    97.25±3.18, 0.1045

    98.26±1.32, 0.2450

    Sonar(208×60)

    87.24±6.33, 0.0153

    86.55±8.08, 0.1533

    86.10±8.51, 0.0257

    89.26±7.19, 0.0289

    Spect(267×44)

    82.71±8.96, 0.0675

    80.48±8.09, 0.3178

    82.46±8.54, 0.0549

    82.07±5.91, 0.0709

    Wpbc(198×34)

    82.76±6.33, 0.0353

    81.26±8.24, 0.1137

    82.56±5.38, 0.0534

    82.74±5.23, 0.0504

    平均精度/平均時間

    87.81/0.1608

    86.28/1.0159

    87.08/0.1181

    88.19/0.1749

    W-T-L(勝-平-負)

    8-0-0

    8-0-0

    3-0-5

    表3 線性IGEPSVM與幾種算法在多類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Iris(150×4×3)

    96.67±5.67, 0.0012

    95.33±4.66, 0.0028

    95.33±4.50, 0.0034

    96.53±5.84, 0.0209

    Wine(178×13×3)

    96.76±5.17, 0.0017

    94.71±7.92, 0.0042

    97.78±3.88, 0.0028

    98.33±2.68, 0.0669

    Seeds(210×7×3)

    93.71±1.23, 0.0015

    89.05±5.96, 0.0018

    92.86±5.14, 0.0027

    95.71±4.74, 0.0474

    Dermatology(358×34×6)

    95.03±6.79, 0.0080

    94.14±4.97, 0.0099

    95.83±3.00, 0.0121

    95.25±2.63, 0.2177

    Balance(625×4×3)

    88.48±3.77, 0.0017

    89.69±3.72, 0.0020

    87.52±3.54, 0.0031

    87.66±3.18, 0.2026

    Car(1278×6×4)

    77.78±2.85, 0.0045

    73.59±2.84, 0.0068

    84.78±4.13, 0.0329

    77.26±4.27, 2.1232

    平均精度/平均時間

    91.41/0.0031

    89.42/0.0046

    92.35/0.0095

    91.79/0.4465

    W-T-L(勝-平-負)

    5-0-1

    3-0-3

    3-0-3

    表4 非線性IGEPSVM與幾種算法在多類分類UCI數據集上性能比較

    數據集

    IGEPSVM

    GEPSVM

    SVM

    TWSVM

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    精度±方差(%)時間(s)

    Iris(150×4×3)

    97.33±3.51, 0.0100

    96.67±4.71, 0.0399

    96.67±3.51, 0.0121

    97.33±3.44, 0.0162

    Wine(178×13×3)

    97.78±2.87, 0.0444

    95.49±5.20, 0.0766

    98.30±2.74, 0.0463

    99.44±1.76, 0.1237

    Seeds(210×7×3)

    94.33±6.02, 0.0546

    92.38±7.17, 0.1377

    93.86±4.63, 0.0510

    96.67±3.21, 0.1508

    Dermatology(358×34×6)

    96.23±4.22, 0.3165

    96.39±2.64, 1.0836

    96.01±5.19, 0.2205

    96.65±4.11, 0.6842

    Balance(625×4×3)

    94.25±2.26, 0.5918

    96.65±2.74, 3.7493

    93.97±4.11, 0.3067

    99.20±1.13, 1.2449

    Car(1278×6×4)

    96.20±1.47, 3.8730

    94.04±1.07, 18.4988

    98.67±1.22, 0.8437

    98.44±0.67, 7.8442

    平均精度/平均時間

    96.02/0.8150

    95.27/3.9310

    96.25/0.2467

    97.96/1.6773

    W-T-L(勝-平-負)

    4-0-2

    4-0-2

    0-1-5

    優(yōu)勢的,只有在與非線性SVM比較時稍微差一些,主要原因可能是SVM采取了LIBSVM工具包和“一類對一類”的策略實現多類分類??偠灾?,本文IGEPSVM算法是對GEPSVM算法的一種改進,無論在分類精度還是在訓練時間上都取得了比GEPSVM較好的實驗效果。

    5 結束語

    本文針對兩類分類問題提出了一類改進的基于特征值分解的中心支持向量機算法(IGEPSVM),并將其推廣到多類分類問題。與GEPSVM算法相比較,本文的主要貢獻在于:首先,解決了GEPSVM模型訓練過程和決策過程不一致的問題;其次,將GEPSVM求解廣義特征值問題轉化為求解標準的特征值問題,降低了計算復雜度;最后,通過引入新的參數,可以方便調節(jié)IGEPSVM模型的性能,提高了分類精度。在UCI數據集上的實驗結果表明,本文算法比GEPSVM算法更優(yōu)越,但與SVM或TWSVM算法相比較,它們各有優(yōu)勢。近幾年來,非平行平面支持向量機已經逐漸成為模式識別和機器學習領域新的研究熱點之一,將已有的針對兩類分類問題所提出的非平行平面支持向量機算法推廣到多類分類問題以及在不同領域的應用是今后研究的重點。

    [1] CORTES C and VAPNIK V N. Support vector machine[J]., 1995, 20(3): 273-297.

    [2] OSUNA E, FREUND R, and GIROSI F. Training support vector machines: an application to face detection[C]. Proceedings of Computer Vision and Pattern Recognition, San Juan, 1997: 130-136.

    [3] ISA D, LEE L H, KALLIMANI V P,. Text document preprocessing with the Bayes formula for classification using the support vector machine[J]., 2008, 20(9): 1264-1272.

    [4] BOSER B, GUYON I, and VAPNIK V N. A training algorithm for optimal margin classifiers[C]. Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory, New York, 1992: 144-152.

    [5] OSUNA E, FREUND R, and GIROSI F. An improved training algorithm for support vector machines[C]. Proceedings of IEEE Workshop on Neural Networks for Signal Processing, New York, USA, 1997: 276-285.

    [6] PLATT J. Fast Training of Support Vector Machines Using Sequential Minimal Optimization[M]. Advances in Kernel Methods: Support Vector Machines, Cambridge, MA, MIT Press, 1998: 41-65.

    [7] 張戰(zhàn)成, 王士同, 鄧趙紅, 等. 支持向量機的一種快速分類算法[J]. 電子與信息學報, 2011, 33(9): 2181-2186.

    ZHANG Zhancheng, WANG Shitong, DENG Zhaohong,. Fast decision using SVM for incoming samples[J].&, 2011, 33(9): 2181-2186.

    [8] MANGASARIAN O L and WILD E W. Multisurface proximal support vector machine classification via generalized eigenvalues[J]., 2006, 28(1): 69-74.

    [9] JAYADEVA, KHEMCHANDAI R, and CHANDRA S. Twin support vector machine classification for pattern classification [J]., 2007, 29(5): 905-910.

    [10] SHAO Y H, ZHANG C H, WANGX B,. Improvements on twin support vector machines[J]., 2011, 22(6): 962-968.

    [11] PENG X J. TPMSVM: A novel twin parametric-margin support vector machine for pattern recognition[J]., 2011, 44(10): 2678-2692.

    [12] QI Z Q, TIAN Y J, and SHI Y. Robust twin support vector machine for pattern classification[J]., 2013, 46(1): 305-316.

    [13] SHAO Y H, DENG N Y, and CHEN W J. A proximal classifier with consistency[J]., 2013, 49: 171-178.

    [14] Tian Y J, Qi Z Q, Ju X C,. Nonparallel support vector machines for pattern classification[J]., 2014, 44(7): 1067-1079.

    [15] DING S F, HUA X P, and YU J Z. An overview on nonparallel hyperplane support vector machine algorithms[J]., 2014, 25(5): 975-982.

    WANG Na and LI Xia. A new dualsupport vector machine based on class-weighted[J].&, 2007, 29(4): 859-862.

    [17] BOTTOU L, CORTES C, DENKER J S,. Comparison of classifier methods: a case study in handwritten digit recognition[C]. Proceedings of IEEE International Conference on Pattern Recognition, Paris, 1994: 77-82.

    [18] KRE?EL U. Pairwise Classification and Support Vector Machines[M]. Advances in Kernel Methods-Support Vector Learning, Cambridge, MA, MIT Press, 1999: 255-268.

    [19] CRAMMER K and SINGER Y. On the learn ability and design of output codes for multi-class problems[J]., 2002, 47(2/3): 201-233.

    [20] XU Y T, GUO R, and WANG L S. A twin multi-class classification support vector machine[J]., 2013, 5(4): 580-588.

    [21] NASIRI J A, CHARKARI N M, and JALILI S. Least squares twin multi-class classification support vector machine[J]., 2015, 48(3): 984-992.

    [22] PARLETT B. The Symmetric Eigenvalue Problem[M]. Upper Saddle River, NJ, USA, SIAM Press, 1998: 61-80.

    [23] BLAKE C L and MERZ C J. UCI repository of machine learning databases[R]. Irvine, CA: Department of Information and Computers Science, University of California, 1998.

    [24] CHANG C and LIN C. LIBSVM: A library for support vector machine[J]., 2011, 2(3): 1-27.

    陳素根: 男,1982年生,副教授,博士生,研究方向為模式識別與智能系統(tǒng).

    吳小?。?男,1967年生,教授,博士生導師,研究方向為模式識別、人工智能與計算機視覺.

    Foundation Items: The National Natural Science Foundation of China (61373055, 61103128), 111 Project of Chinese Ministry of Education (B12018), Industrial Support Program of Jiangsu Province (BE2012031)


    Eigenvalue Proximal Support Vector Machine Algorithm Based on Eigenvalue Decoposition

    CHEN Sugen①②WU Xiaojun①

    ①(School of IoT Engineering, Jiangnan University, Wuxi 214122, China)②(School of Mathematics & Computational Science, Anqing Normal University, Anqing 246133, China)

    To deal with the consistency problem of training process and decision process in Generalized Eigenvalue Proximal Support Vector Machine (GEPSVM), an improved version of eigenvalue proximal support vector machine, called IGEPSVM for short is proposed. At first, IGEPSVM for binary classification problem is proposed, and then Multi-IGEPSVM is also presented for multi-class classification problem based on “one-versus-rest” strategy. The main contributions of this paper are as follows. The generalized eigenvalue decomposition problems are replaced by the standard eigenvalue decomposition problems, leading to simpler optimization problems. An extra parameter is introduced, which can adjust the performance of the model and improve the classification accuracy of GEPSVM. A corresponding multi-class classification algorithm is proposed, which is not studied in GEPSVM. Experimental results on several datasets illustrate that IGEPSVM is superior to GEPSVM in both classification accuracy and training speed.

    Support Vector Machine (SVM); Generalized Eigenvalue Proximal SVM (GEPSVM); Binary classification; Multi-class classification; Eigenvalue decoposition

    TP391

    A

    1009-5896(2016)03-0557-08

    10.11999/JEIT150693

    2015-06-08;改回日期:2015-09-17;網絡出版:2015-11-19

    吳小俊 wu_xiaojun@jiangnan.edu.cn

    國家自然科學基金(61373055, 61103128), 111引智計劃項目(B12018),江蘇省工業(yè)支持計劃項目(BE2012031)

    猜你喜歡
    復雜度特征值方差
    方差怎么算
    一類帶強制位勢的p-Laplace特征值問題
    概率與統(tǒng)計(2)——離散型隨機變量的期望與方差
    單圈圖關聯矩陣的特征值
    計算方差用哪個公式
    一種低復雜度的慣性/GNSS矢量深組合方法
    方差生活秀
    求圖上廣探樹的時間復雜度
    某雷達導51 頭中心控制軟件圈復雜度分析與改進
    基于商奇異值分解的一類二次特征值反問題
    国模一区二区三区四区视频| 国产精品伦人一区二区| 水蜜桃什么品种好| 99热6这里只有精品| 精品人妻熟女av久视频| 国产一区有黄有色的免费视频 | 中文字幕亚洲精品专区| 99热全是精品| 国产av在哪里看| 亚洲中文字幕一区二区三区有码在线看| 成年女人看的毛片在线观看| 寂寞人妻少妇视频99o| 国产精品国产三级专区第一集| 波多野结衣高清无吗| 亚洲第一区二区三区不卡| 欧美日韩一区二区视频在线观看视频在线 | 噜噜噜噜噜久久久久久91| 久久久久精品久久久久真实原创| 亚洲欧美日韩无卡精品| 午夜福利在线观看免费完整高清在| 插逼视频在线观看| .国产精品久久| 欧美最新免费一区二区三区| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲性久久影院| 中文资源天堂在线| 日韩成人伦理影院| 国内精品一区二区在线观看| 亚洲精华国产精华液的使用体验| 97超碰精品成人国产| 91精品一卡2卡3卡4卡| 午夜福利高清视频| 国产精品爽爽va在线观看网站| 国产精品一区www在线观看| 国产成人精品一,二区| 熟女电影av网| www.色视频.com| 岛国在线免费视频观看| 美女高潮的动态| 看黄色毛片网站| 久久久久久九九精品二区国产| 亚洲av免费在线观看| 亚洲综合精品二区| 亚洲在线观看片| 人妻制服诱惑在线中文字幕| 欧美不卡视频在线免费观看| 久久久精品大字幕| 久久这里有精品视频免费| 亚洲,欧美,日韩| 久久这里有精品视频免费| 久久久欧美国产精品| 少妇的逼水好多| 网址你懂的国产日韩在线| 亚洲欧美精品自产自拍| 男的添女的下面高潮视频| 男的添女的下面高潮视频| 欧美又色又爽又黄视频| 两个人的视频大全免费| 蜜臀久久99精品久久宅男| 热99在线观看视频| 久久精品影院6| or卡值多少钱| 日本一二三区视频观看| 能在线免费观看的黄片| 久久人人爽人人片av| 欧美成人免费av一区二区三区| 国产亚洲av片在线观看秒播厂 | 国产中年淑女户外野战色| 久久久久久久国产电影| 少妇熟女aⅴ在线视频| 欧美日韩在线观看h| 午夜亚洲福利在线播放| 国产精华一区二区三区| 99热这里只有是精品在线观看| 国产单亲对白刺激| 午夜福利成人在线免费观看| 免费黄网站久久成人精品| 成人三级黄色视频| 国产高潮美女av| 中文欧美无线码| 久久久久久久久久黄片| 嫩草影院精品99| 毛片一级片免费看久久久久| 久久久久网色| 久久精品国产99精品国产亚洲性色| 欧美成人午夜免费资源| 国产激情偷乱视频一区二区| 国产精品一区二区三区四区免费观看| 国产爱豆传媒在线观看| 婷婷色综合大香蕉| av免费在线看不卡| 少妇裸体淫交视频免费看高清| av卡一久久| 国产单亲对白刺激| 中文亚洲av片在线观看爽| 国产午夜精品久久久久久一区二区三区| 久久婷婷人人爽人人干人人爱| 日韩中字成人| 日韩欧美三级三区| 日本爱情动作片www.在线观看| 国产片特级美女逼逼视频| 成年av动漫网址| 欧美一级a爱片免费观看看| 不卡视频在线观看欧美| 老司机影院毛片| 亚洲精品乱码久久久久久按摩| 热99在线观看视频| 91久久精品国产一区二区三区| 男女视频在线观看网站免费| 亚洲国产色片| 国产精品久久久久久久久免| 国产成人a区在线观看| 亚洲在久久综合| 国产成人精品久久久久久| 国产真实伦视频高清在线观看| 日韩欧美三级三区| 亚洲av熟女| 男人和女人高潮做爰伦理| 中文字幕久久专区| 久久欧美精品欧美久久欧美| 亚洲婷婷狠狠爱综合网| 麻豆一二三区av精品| 蜜臀久久99精品久久宅男| 久久精品久久精品一区二区三区| 国产色婷婷99| 国产精品无大码| 久久韩国三级中文字幕| 国产 一区 欧美 日韩| 国产成人精品久久久久久| 久久久精品94久久精品| 内地一区二区视频在线| 夜夜看夜夜爽夜夜摸| 国产一区二区在线av高清观看| 韩国av在线不卡| 久久鲁丝午夜福利片| 日韩制服骚丝袜av| 国产精品久久久久久精品电影小说 | 亚洲激情五月婷婷啪啪| 毛片一级片免费看久久久久| 亚洲人成网站高清观看| av国产免费在线观看| 丰满少妇做爰视频| 看黄色毛片网站| 少妇人妻一区二区三区视频| 亚洲内射少妇av| 午夜福利在线观看吧| 秋霞在线观看毛片| 亚洲在线观看片| 女人久久www免费人成看片 | 视频中文字幕在线观看| 能在线免费观看的黄片| 真实男女啪啪啪动态图| 亚洲欧美日韩东京热| 亚洲真实伦在线观看| 亚洲国产欧美在线一区| 女人十人毛片免费观看3o分钟| 最近2019中文字幕mv第一页| 国产色爽女视频免费观看| 国产午夜精品论理片| 亚洲中文字幕日韩| 亚洲美女视频黄频| 国产精品女同一区二区软件| av黄色大香蕉| 亚洲真实伦在线观看| 91精品伊人久久大香线蕉| 国产日韩欧美在线精品| 黄片无遮挡物在线观看| 亚洲欧美日韩高清专用| 日本熟妇午夜| 国产男人的电影天堂91| 超碰97精品在线观看| .国产精品久久| 日本午夜av视频| 七月丁香在线播放| 久久久精品欧美日韩精品| 2021少妇久久久久久久久久久| 如何舔出高潮| 精品久久久久久久人妻蜜臀av| h日本视频在线播放| 亚洲乱码一区二区免费版| 亚洲国产精品专区欧美| 搡老妇女老女人老熟妇| 国内精品宾馆在线| 亚洲图色成人| 大香蕉久久网| 91av网一区二区| 18禁在线播放成人免费| 午夜激情欧美在线| 日本熟妇午夜| 在线观看一区二区三区| av在线天堂中文字幕| 欧美成人免费av一区二区三区| 精品国产一区二区三区久久久樱花 | 蜜桃久久精品国产亚洲av| 国产精品电影一区二区三区| 国产高清不卡午夜福利| 好男人视频免费观看在线| 在线免费观看不下载黄p国产| 日韩欧美国产在线观看| 国产毛片a区久久久久| 美女大奶头视频| 18禁在线播放成人免费| 免费在线观看成人毛片| 午夜视频国产福利| 欧美一区二区精品小视频在线| 久久久久久久久久黄片| 国产在视频线精品| 男女那种视频在线观看| 亚洲中文字幕日韩| 高清日韩中文字幕在线| 亚洲婷婷狠狠爱综合网| 免费黄网站久久成人精品| 女人久久www免费人成看片 | 99久国产av精品| 亚洲国产日韩欧美精品在线观看| 久久欧美精品欧美久久欧美| 男人和女人高潮做爰伦理| av在线亚洲专区| 日韩制服骚丝袜av| 久久久国产成人精品二区| 日本免费在线观看一区| 色播亚洲综合网| 精品久久久久久久人妻蜜臀av| 日本wwww免费看| 51国产日韩欧美| .国产精品久久| 舔av片在线| 又爽又黄a免费视频| 免费看a级黄色片| 午夜免费激情av| 欧美人与善性xxx| 五月玫瑰六月丁香| 高清在线视频一区二区三区 | 男人的好看免费观看在线视频| 久久久久久久亚洲中文字幕| 亚洲电影在线观看av| av又黄又爽大尺度在线免费看 | 亚洲精品乱码久久久久久按摩| 午夜福利在线观看吧| 尾随美女入室| 有码 亚洲区| 久久久久久久久久久丰满| av在线观看视频网站免费| 美女cb高潮喷水在线观看| 内射极品少妇av片p| 久久精品影院6| 亚洲不卡免费看| 神马国产精品三级电影在线观看| 99在线视频只有这里精品首页| 国产精品国产高清国产av| 成年女人永久免费观看视频| 尤物成人国产欧美一区二区三区| 男女下面进入的视频免费午夜| 午夜激情福利司机影院| 1000部很黄的大片| 国产亚洲精品久久久com| 亚洲在久久综合| 七月丁香在线播放| 简卡轻食公司| 国产伦一二天堂av在线观看| 欧美又色又爽又黄视频| 久久精品影院6| 国产成人aa在线观看| 少妇的逼水好多| 亚洲精品,欧美精品| 成人漫画全彩无遮挡| 秋霞在线观看毛片| 亚洲最大成人中文| 免费播放大片免费观看视频在线观看 | 久久99热这里只频精品6学生 | 久久精品91蜜桃| 亚州av有码| 久久人人爽人人片av| 国产伦一二天堂av在线观看| 亚洲精品日韩av片在线观看| 欧美性猛交╳xxx乱大交人| 三级国产精品片| 国产精品99久久久久久久久| 婷婷六月久久综合丁香| 亚洲va在线va天堂va国产| 成人午夜精彩视频在线观看| 亚洲av福利一区| 直男gayav资源| 2021天堂中文幕一二区在线观| 欧美成人a在线观看| 联通29元200g的流量卡| 亚洲精品久久久久久婷婷小说 | 热99re8久久精品国产| 亚洲性久久影院| 97人妻精品一区二区三区麻豆| 一个人观看的视频www高清免费观看| 晚上一个人看的免费电影| 在线a可以看的网站| 亚洲国产欧洲综合997久久,| 能在线免费观看的黄片| 尾随美女入室| 国内揄拍国产精品人妻在线| 久久午夜福利片| 国产探花在线观看一区二区| 国内少妇人妻偷人精品xxx网站| 中国国产av一级| 欧美极品一区二区三区四区| 日本黄色视频三级网站网址| 久久精品综合一区二区三区| 国产单亲对白刺激| 国产精品一区二区在线观看99 | 日本一二三区视频观看| 高清午夜精品一区二区三区| 一区二区三区免费毛片| 色综合色国产| 少妇猛男粗大的猛烈进出视频 | 午夜免费男女啪啪视频观看| 欧美一区二区国产精品久久精品| 国产激情偷乱视频一区二区| 国产精品日韩av在线免费观看| 亚洲国产成人一精品久久久| 精品国产露脸久久av麻豆 | 中文欧美无线码| 卡戴珊不雅视频在线播放| 国产成人精品一,二区| 91午夜精品亚洲一区二区三区| 亚洲欧美日韩卡通动漫| 一级爰片在线观看| 男女啪啪激烈高潮av片| 观看美女的网站| 精品人妻一区二区三区麻豆| 一区二区三区高清视频在线| 我要看日韩黄色一级片| 中文字幕免费在线视频6| 寂寞人妻少妇视频99o| 噜噜噜噜噜久久久久久91| 蜜桃亚洲精品一区二区三区| 亚洲成av人片在线播放无| 久久精品国产自在天天线| 国产精品嫩草影院av在线观看| 日韩在线高清观看一区二区三区| 久久久成人免费电影| 亚洲欧美一区二区三区国产| 国产淫语在线视频| 哪个播放器可以免费观看大片| 天天躁日日操中文字幕| 夜夜爽夜夜爽视频| av在线观看视频网站免费| 久久精品久久精品一区二区三区| 国产精品久久久av美女十八| 男女边摸边吃奶| 搡老乐熟女国产| 香蕉精品网在线| 老司机影院毛片| 午夜久久久在线观看| 国产精品久久久久久精品古装| 欧美日韩综合久久久久久| 一边亲一边摸免费视频| 亚洲av综合色区一区| 久久国产精品大桥未久av| 国产日韩一区二区三区精品不卡| 精品一区二区三卡| 国产国拍精品亚洲av在线观看| 丝袜喷水一区| 啦啦啦在线观看免费高清www| 免费黄频网站在线观看国产| 免费不卡的大黄色大毛片视频在线观看| av在线app专区| 国产麻豆69| 免费黄网站久久成人精品| 国产极品粉嫩免费观看在线| 高清毛片免费看| 少妇人妻 视频| 午夜精品国产一区二区电影| 少妇人妻 视频| 日韩制服丝袜自拍偷拍| www.色视频.com| 国产深夜福利视频在线观看| 亚洲av.av天堂| 亚洲伊人色综图| 草草在线视频免费看| 亚洲图色成人| 我的女老师完整版在线观看| 一个人免费看片子| 日韩av免费高清视频| 日本欧美视频一区| 欧美另类一区| av视频免费观看在线观看| 九色成人免费人妻av| 久久这里有精品视频免费| 中文精品一卡2卡3卡4更新| 一个人免费看片子| 九色成人免费人妻av| 国产又爽黄色视频| 国产男女内射视频| 国产精品人妻久久久久久| 黑人猛操日本美女一级片| 精品人妻在线不人妻| 国产片内射在线| 日韩欧美一区视频在线观看| 亚洲欧洲精品一区二区精品久久久 | 高清av免费在线| 亚洲第一av免费看| 国产精品三级大全| 亚洲性久久影院| 久久热在线av| 捣出白浆h1v1| 99九九在线精品视频| 人人妻人人澡人人爽人人夜夜| 99久久综合免费| 成人亚洲精品一区在线观看| 中文字幕av电影在线播放| 看十八女毛片水多多多| 久久国产亚洲av麻豆专区| 久久久久精品人妻al黑| 美女内射精品一级片tv| 你懂的网址亚洲精品在线观看| 国产精品熟女久久久久浪| 国产精品久久久久久久电影| 丝袜脚勾引网站| 汤姆久久久久久久影院中文字幕| 成人二区视频| 极品人妻少妇av视频| 乱码一卡2卡4卡精品| 五月玫瑰六月丁香| 国产av一区二区精品久久| 制服人妻中文乱码| 久久鲁丝午夜福利片| 18禁在线无遮挡免费观看视频| 成人亚洲欧美一区二区av| av不卡在线播放| 最近最新中文字幕大全免费视频 | av免费观看日本| 午夜精品国产一区二区电影| 美女国产视频在线观看| 亚洲国产看品久久| 男女国产视频网站| 亚洲在久久综合| 美女福利国产在线| 免费观看在线日韩| 一级黄片播放器| 如日韩欧美国产精品一区二区三区| 美女视频免费永久观看网站| 国产成人91sexporn| 国产免费又黄又爽又色| 伦理电影免费视频| 黄色一级大片看看| 国产在视频线精品| 伊人亚洲综合成人网| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲av电影在线观看一区二区三区| 伦精品一区二区三区| 亚洲精品久久午夜乱码| 美女脱内裤让男人舔精品视频| 国产精品久久久久成人av| 精品人妻偷拍中文字幕| 成人二区视频| av免费在线看不卡| 日韩一区二区视频免费看| 男女高潮啪啪啪动态图| 精品少妇黑人巨大在线播放| 午夜老司机福利剧场| 亚洲欧美精品自产自拍| 青春草国产在线视频| 哪个播放器可以免费观看大片| 国产在线一区二区三区精| 十分钟在线观看高清视频www| 成年女人在线观看亚洲视频| 国产精品女同一区二区软件| 免费高清在线观看日韩| 亚洲国产色片| 黄片无遮挡物在线观看| av在线app专区| 午夜激情久久久久久久| 久久av网站| 日日摸夜夜添夜夜爱| 精品国产一区二区三区久久久樱花| 国产精品久久久久久精品电影小说| 视频在线观看一区二区三区| 女的被弄到高潮叫床怎么办| 中国三级夫妇交换| 赤兔流量卡办理| 观看美女的网站| 日韩视频在线欧美| 成人影院久久| 免费大片黄手机在线观看| 午夜福利影视在线免费观看| 91午夜精品亚洲一区二区三区| 韩国av在线不卡| 一级,二级,三级黄色视频| 女性被躁到高潮视频| 国产成人精品久久久久久| 在线观看免费高清a一片| 尾随美女入室| 97在线视频观看| 精品亚洲成国产av| 少妇被粗大猛烈的视频| 婷婷色av中文字幕| freevideosex欧美| 丝袜脚勾引网站| 亚洲欧美一区二区三区黑人 | 好男人视频免费观看在线| 九草在线视频观看| 久久99热这里只频精品6学生| 国产毛片在线视频| 青春草亚洲视频在线观看| 精品视频人人做人人爽| 久久久国产一区二区| 国产免费又黄又爽又色| 在线观看三级黄色| 国产精品麻豆人妻色哟哟久久| 精品久久久久久电影网| 十八禁高潮呻吟视频| 国产一区二区在线观看av| 亚洲精品一区蜜桃| 国产一区二区在线观看av| 久久精品国产a三级三级三级| 亚洲国产欧美在线一区| 18禁国产床啪视频网站| 久久青草综合色| 男女免费视频国产| 亚洲成人一二三区av| 亚洲av男天堂| 国产不卡av网站在线观看| 九九在线视频观看精品| 99热这里只有是精品在线观看| 国产成人91sexporn| 国产精品国产av在线观看| 啦啦啦中文免费视频观看日本| 国产免费福利视频在线观看| 国产一级毛片在线| 亚洲精品乱久久久久久| 欧美激情国产日韩精品一区| av电影中文网址| freevideosex欧美| 丁香六月天网| 伦理电影免费视频| 精品国产一区二区三区久久久樱花| 国产黄色视频一区二区在线观看| 美女主播在线视频| 在线观看一区二区三区激情| xxxhd国产人妻xxx| 免费观看av网站的网址| 亚洲精品456在线播放app| 少妇人妻久久综合中文| 一区二区日韩欧美中文字幕 | 欧美成人精品欧美一级黄| 精品国产乱码久久久久久小说| 香蕉精品网在线| 成人手机av| 99热这里只有是精品在线观看| 一区二区三区精品91| 久久人人爽人人片av| 国产精品无大码| 中文字幕亚洲精品专区| 日韩大片免费观看网站| 精品视频人人做人人爽| 91久久精品国产一区二区三区| 十八禁网站网址无遮挡| 黄片播放在线免费| 高清视频免费观看一区二区| 97在线视频观看| 精品少妇黑人巨大在线播放| 人人澡人人妻人| 亚洲人成网站在线观看播放| 亚洲精品国产色婷婷电影| 赤兔流量卡办理| 欧美精品av麻豆av| 久久亚洲国产成人精品v| 最近中文字幕高清免费大全6| 99re6热这里在线精品视频| 青青草视频在线视频观看| 久久久久久久久久成人| 最近中文字幕高清免费大全6| 精品酒店卫生间| 日韩欧美精品免费久久| 天堂中文最新版在线下载| 曰老女人黄片| 人成视频在线观看免费观看| 九色亚洲精品在线播放| 久久99精品国语久久久| 欧美亚洲日本最大视频资源| 日本色播在线视频| 天天躁夜夜躁狠狠躁躁| 色婷婷av一区二区三区视频| 少妇精品久久久久久久| 久久人人爽人人爽人人片va| 免费人成在线观看视频色| av天堂久久9| 捣出白浆h1v1| 一区二区三区乱码不卡18| 最近最新中文字幕大全免费视频 | 少妇人妻 视频| 国产精品人妻久久久久久| 久久国内精品自在自线图片| 哪个播放器可以免费观看大片| 日韩欧美一区视频在线观看| 王馨瑶露胸无遮挡在线观看| 街头女战士在线观看网站| 日本欧美视频一区| 久久 成人 亚洲| 日产精品乱码卡一卡2卡三| 国产色爽女视频免费观看| 日日爽夜夜爽网站| 捣出白浆h1v1| 国产精品99久久99久久久不卡 | 波多野结衣一区麻豆| 人妻 亚洲 视频| 一本大道久久a久久精品| 久久精品国产自在天天线| 少妇被粗大的猛进出69影院 | 人人妻人人澡人人爽人人夜夜| 韩国高清视频一区二区三区| 国产亚洲欧美精品永久| 久久国产精品大桥未久av| 久热久热在线精品观看| 激情五月婷婷亚洲| 99视频精品全部免费 在线| 在线观看www视频免费| 99热网站在线观看|