基于SVM的小樣本數(shù)據(jù)分析

王　玚

(哈爾濱師范大學(xué)附屬中學(xué)，黑龍江 哈爾濱　150004)

?

基于SVM的小樣本數(shù)據(jù)分析

王玚

(哈爾濱師范大學(xué)附屬中學(xué)，黑龍江 哈爾濱150004)

摘要：可靠性工程中，樣本數(shù)據(jù)越多，其分析、計(jì)算結(jié)果越可靠。而對于某些樣本容量較小的小樣本數(shù)據(jù)，如何有效利用小樣本數(shù)據(jù)的潛在信息進(jìn)行分析，并保證分析結(jié)果的有效性就尤為重要。采用基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)算法——支持向量機(jī)(Support Vector Machine，簡稱SVM)，根據(jù)有限的樣本信息，在最小化樣本點(diǎn)誤差的同時(shí)，提高模型的泛化能力，從而得到可靠的小樣本數(shù)據(jù)的分析結(jié)果。

關(guān)鍵詞：小樣本數(shù)據(jù)；SVM；數(shù)據(jù)分析

1引言

可靠性工程中，樣本數(shù)據(jù)越多，其分析、計(jì)算結(jié)果越可靠。而在不同的物理背景下，由于影響因素眾多或科學(xué)量測手段有限等原因，造成采集到的數(shù)據(jù)樣本容量較少。依據(jù)統(tǒng)計(jì)理論，這種小樣本數(shù)據(jù)由于數(shù)量少，反映出的信息量不足，不能明確其分布規(guī)律，無法判斷是否存在數(shù)據(jù)異常情況，若直接按傳統(tǒng)方法進(jìn)行分析計(jì)算，其結(jié)果的可靠性難以保證，可能存在較大的統(tǒng)計(jì)誤差。

目前，對于小樣本數(shù)據(jù)的處理，一般有兩種思路。一種是提高小樣本數(shù)據(jù)的精度。常用的有Bayes方法，雖然該方法可以根據(jù)小樣本的先驗(yàn)信息得到較好的數(shù)據(jù)概率估值，但在缺少先驗(yàn)信息或數(shù)據(jù)可靠度不高等特殊情況下，其分析結(jié)果將出現(xiàn)較大的偏差。另一種是擴(kuò)大小樣本數(shù)據(jù)的容量。常用的有Bootstrap方法。但該方法由于過分依賴原始樣本，將容易產(chǎn)生參數(shù)偏移，進(jìn)而影響參數(shù)估計(jì)的穩(wěn)健性。因此，為了彌補(bǔ)上述這些不足，本文采用的是同樣屬于擴(kuò)大小樣本容量的SVM方法，這是針對小樣本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和預(yù)測的一個(gè)可行的方法。

2SVM原理

傳統(tǒng)統(tǒng)計(jì)學(xué)是樣本數(shù)目趨于無窮大時(shí)的漸近理論，而實(shí)際上這是滿足不了的，因?yàn)闃颖緮?shù)目往往是有限的。因此，現(xiàn)代智能應(yīng)用技術(shù)中出現(xiàn)了一種基于機(jī)器學(xué)習(xí)的方法，其主要研究如何從一些樣本出發(fā)得出目前不能通過原理分析得到的規(guī)律，利用這些規(guī)律去分析客觀對象，進(jìn)而對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測。

統(tǒng)計(jì)學(xué)習(xí)理論(Statistic Learning Theory：SLT)是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的基本理論和數(shù)學(xué)構(gòu)架，也是小樣本統(tǒng)計(jì)估計(jì)和預(yù)測學(xué)習(xí)的最佳理論。

SVM法就是基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)算法——支持向量機(jī)(Support Vector Machine)的簡稱。

SVM最初是在研究線性可分問題時(shí)提出的。其基本思路是：假設(shè)大小為l的訓(xùn)練樣本集{(x,y),i=1,2,…,l}由兩個(gè)類別組成。若xi屬于第一類，則記yi=1；若xi屬于第二類，則yi=-1記。如圖1所示。

圖1　線性可分示意圖

圖2　分類超平面優(yōu)劣示意圖

若存在一分類超平面(wx+b=0)， 能夠?qū)颖菊_地劃分成兩類，即相同類別的樣本落在分類超平面的同一側(cè)，則稱該樣本集是線性可分的，即滿足方程(1)。

(1)

此時(shí)，所有樣本點(diǎn)到該分類超平面的幾何間隔距離就組成了間隔距離集合，此集合中存在一個(gè)樣本點(diǎn)，其到分類超平面的幾何間隔距離最短。這個(gè)最小間隔距離，影響著樣本分類的結(jié)果。根據(jù)統(tǒng)計(jì)理論，此過程中樣本的誤分次數(shù)N與該最小間隔距離δ 之間的關(guān)系滿足方程(2)，為反比關(guān)系，即距離越大，樣本誤分次數(shù)越小。

(2)

式中：N為樣本的誤分次數(shù)；R為樣本集中向量長度最長的值，R=max││xi││，i=1，2，…，l；δ為樣本集中與分類超平面最近的樣本點(diǎn)的幾何間隔距離。

由公式(2)可知，誤分次數(shù)N的上界由δ決定。因此，在樣本分類過程中，滿足方程(1)的分類超平面是任意的，則對于同一批數(shù)據(jù)樣本，可以有無數(shù)個(gè)分類超平面，也就有無數(shù)個(gè)最小間隔距離。因此，能夠在無數(shù)個(gè)分類超平面中找到一個(gè)最優(yōu)分類面，使得此時(shí)對應(yīng)的最小間隔距離是其它情況中最大的，其誤分次數(shù)是最小的。例如，有一組數(shù)據(jù)由星形和圓形組成，其分布如圖3所示，圖中有三個(gè)分類超平面A、B、C，若選擇能更好區(qū)分兩種數(shù)據(jù)類別的超平面，則B要優(yōu)于A、C。

一般，如果一組數(shù)據(jù)中的絕大多數(shù)樣本是線性可分的，僅有少數(shù)幾個(gè)樣本(可能是異常數(shù)據(jù))可能出現(xiàn)尋找不到最優(yōu)分類平面的情況，此時(shí)，可以引入松弛變量(又稱懲罰函數(shù))來實(shí)現(xiàn)分類。

若對于非線性問題，則不能直接應(yīng)用線性可分的SVM，需要將樣本數(shù)據(jù)進(jìn)行非線性映射，通過使用非線性映射將低維輸入空間的樣本映射到高維特征空間使其變?yōu)榫€性情況(這個(gè)過程將應(yīng)用到核函數(shù))，再在高維特征空間中尋找使訓(xùn)練樣本誤差最小的最優(yōu)分類超平面。這個(gè)最優(yōu)分類面的數(shù)學(xué)函數(shù)即SVM訓(xùn)練模型。

對于小樣本數(shù)據(jù)，若進(jìn)行回歸擬合分析時(shí)，則此時(shí)SVM的基本思想不再是尋找一個(gè)最優(yōu)分類面使得兩類樣本分開，而是尋找一個(gè)最優(yōu)分類面，使得所有訓(xùn)練樣本離該最優(yōu)分類面的誤差最小。

SVM的求解問題最終將轉(zhuǎn)化為一個(gè)帶約束的二次規(guī)劃問題，這樣就得到了有限樣本情況下的全局最優(yōu)解(模型)。又由于SVM分析是基于統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，即由有限的訓(xùn)練樣本得到的小的誤差能夠保證使獨(dú)立的測試集仍保持小的誤差，這就使這個(gè)全局最優(yōu)解(模型)具有良好的泛化能力。

3SVM應(yīng)用步驟

SVM中機(jī)器學(xué)習(xí)的過程可以這樣理解：存在一個(gè)未知的系統(tǒng)S(因?yàn)樾颖緮?shù)據(jù)量小，信息不足，故小樣本內(nèi)部的規(guī)律認(rèn)為是未知的。)給定的輸入樣本空間X和這些輸入樣本通過S處理后的輸出Y。利用機(jī)器學(xué)習(xí)的方法，根據(jù)給定和(利用前述尋找最優(yōu)分類面的方法)得到一個(gè)學(xué)習(xí)機(jī)(即模型)，學(xué)習(xí)機(jī)(模型)在接受訓(xùn)練、測試樣本X以外的樣本X′后得到的輸出Y′可以被認(rèn)為是未知系統(tǒng)S針對X′輸入所得到的輸出的近似，這個(gè)過程就可以增加小樣本數(shù)據(jù)的容量。故這個(gè)學(xué)習(xí)機(jī)(模型)可以認(rèn)為是對S的內(nèi)在規(guī)律的近似，尋找這個(gè)學(xué)習(xí)機(jī)(模型)的過程就變成了從這個(gè)函數(shù)集合中找出能最佳逼近輸入樣本的函數(shù)的過程。

針對研究問題，利用SVM建立模型并對模型的性能進(jìn)行評價(jià)，大體上可以分為四個(gè)步驟，如圖3所示。

圖3　模型建立步驟

(1)產(chǎn)生訓(xùn)練集/測試集

將樣本分成兩類，一類是訓(xùn)練集，一類是測試集。在產(chǎn)生訓(xùn)練集及測試集時(shí)，要求所產(chǎn)生的樣本數(shù)不宜太小，且應(yīng)具有代表性。

(2)創(chuàng)建/訓(xùn)練SVM模型

根據(jù)訓(xùn)練集樣本進(jìn)行訓(xùn)練，得到SVM訓(xùn)練模型。創(chuàng)建模型之前，如若需要，還應(yīng)對數(shù)據(jù)進(jìn)行歸一化，并需要確定核函數(shù)類型及選擇較好的參數(shù)。

(3)仿真測試

將測試樣本輸入SVM訓(xùn)練模型，得到模型預(yù)測值及相對應(yīng)的評判參數(shù)值。一般回歸模型將得到測試集中的均方誤差和決定系數(shù)。

(4)性能評價(jià)

若模型的性能沒有達(dá)到預(yù)期，則需要通過重新選擇訓(xùn)練集、修改模型參數(shù)或核函數(shù)類型等方法重新建立模型，重復(fù)(3)、(4)步驟，直至滿足預(yù)期要求。

4結(jié)語

本文分析了小樣本數(shù)據(jù)的特點(diǎn)，揭示了目前小樣本數(shù)據(jù)常用分析方法中存在的不足，并較為詳盡的介紹了SVM的原理及分析思路，給出了基于SVM的小樣本數(shù)據(jù)分析方法的應(yīng)用步驟，為相關(guān)從業(yè)人員進(jìn)行小樣本數(shù)據(jù)的分析研究提供了一種行之有效的方法。

參考文獻(xiàn)：

[1]瓦普尼克.統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)[M].北京：清華大學(xué)出版社，2000.

[2]Vapnik VN. The Nature of Statistical Learning Theory[M]. NewYork: Springer-Verlag, 1995.

[3]鄧乃揚(yáng)，田英杰.支持向量機(jī)[M].北京：科學(xué)出版社，2009.

收稿日期：2016-02-15

作者簡介：王玚(1998-)，女，哈爾濱師范大學(xué)附屬中學(xué)學(xué)生。

中圖分類號：U415.1

文獻(xiàn)標(biāo)識(shí)碼：C

文章編號：1008-3383(2016)04-0149-02