基于支持向量機和神經(jīng)網(wǎng)絡(luò)模型的識別

秦云月

摘要 支持向量機（ SupportVector Machines，SVM）與神經(jīng)網(wǎng)絡(luò)（ Neural Network）是統(tǒng)計學(xué)習(xí)的代表方法。支持向量機（包含核方法）與神經(jīng)網(wǎng)絡(luò)都是非線性分類模型，而支持向量機則細分了線性與非線性的隔空間，神經(jīng)網(wǎng)絡(luò)主要是事前輸入系統(tǒng)識別。1986年，Rummelhart與McClelland發(fā)明了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法Back Propagation.之后，Vapink與1 992年提出了支持向量機。支持向量機利用核技巧把非線性問題轉(zhuǎn)換為線性問題，而神經(jīng)網(wǎng)絡(luò)是多層（通常為三層）的非線性模型。近年來Hinton提出了神經(jīng)網(wǎng)絡(luò)的DeepLea ring算法，極大的提高了神經(jīng)網(wǎng)絡(luò)的能力，盡管與支持向量機有所區(qū)別，但是神經(jīng)網(wǎng)絡(luò)模式的Deep Learing在RestrictedBoltzmann Machine（非監(jiān)督學(xué)習(xí)）的結(jié)構(gòu)與Back Propagation（監(jiān)督學(xué)習(xí)）網(wǎng)絡(luò)的權(quán)值具有重大意義。本文旨在探討支持向量和神經(jīng)網(wǎng)絡(luò)的概論、特點與二者的區(qū)別，為現(xiàn)代科技提供一點愚見。

【關(guān)鍵詞】支持向量機 神經(jīng)網(wǎng)絡(luò)模型 發(fā)展意義算法

早期的SVM求解方法是基于統(tǒng)計學(xué)理論的基礎(chǔ)上的，無論是支持向量機還是支持向量機回歸都依賴于線性約束凸二次規(guī)劃的求解，但是經(jīng)過Vapnik、Boser、Plantt等人基于SVM算法的研究，提出了更加簡化和快速的算法。目前，支持向量機的算法越來越趨于成熟，并且飛速的發(fā)展，在各個產(chǎn)品模塊成熟而廣泛的運用。神經(jīng)網(wǎng)絡(luò)是在傳統(tǒng)統(tǒng)計學(xué)的基礎(chǔ)上研究的，樣本內(nèi)容無窮大時的漸進理論，即樣本數(shù)據(jù)趨于無窮多時的統(tǒng)計性質(zhì)，而實際問題中樣本數(shù)據(jù)往往是有限的。

1 支持向量機和神經(jīng)網(wǎng)絡(luò)的概述

1.1 含義

支持向量機（Support Vector Machine，SVM）主要是Corinna Cortes和Vapnik等人首先提出的，其旨在解決小樣本、非線性及高維模式識別，并能夠推廣應(yīng)用到函數(shù)擬合及其他機器學(xué)習(xí)問題中，還支持矢量網(wǎng)絡(luò)和相關(guān)的學(xué)習(xí)算法的監(jiān)督學(xué)習(xí)模型，表現(xiàn)在人臉識別、信息識別、語音識別等多個智能識別領(lǐng)域，對目前的人工智能領(lǐng)域具有重大的發(fā)展意義。

人工神經(jīng)網(wǎng)絡(luò)（ Artificial NeuralNetworks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（ NNs）或稱作連接模型（ConnecrionModel），它主要是模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學(xué)模型，其實質(zhì)是模擬人腦神經(jīng)元的極易、聯(lián)想以及反射等功能抽象出來的數(shù)字模型。

1.2 特點

1.2.1 支持向量機

（1） SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射，其基本特征是空間內(nèi)最大線性，以達到學(xué)習(xí)的目的;

（2） SVM的目標是對特征空間劃分最優(yōu)平面，具有最大間隔使線性從可分到線性不可分，其核心方法是最大化分類邊際的思想;

（3） SVM的訓(xùn)練結(jié)果是支持向量，借助二次規(guī)劃來求解向量，在SVM分類決策中起決定作用。

（4） SVM是理論基礎(chǔ)的小樣本學(xué)習(xí)方法，本質(zhì)上避開了從歸納到演繹的傳統(tǒng)過程，實現(xiàn)了從訓(xùn)練到預(yù)報的樣本“轉(zhuǎn)導(dǎo)推理”。

（5）為了避免了“維數(shù)災(zāi)難”只有少數(shù)的支持向量是SVM的最終決策函數(shù)，凸化問題保證全局最優(yōu)性。

1.2.2 神經(jīng)網(wǎng)絡(luò)

（1）具有自我學(xué)習(xí)的功能。先把許多不同的圖像模板和應(yīng)識別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，通過自學(xué)習(xí)功能，網(wǎng)絡(luò)就會慢慢學(xué)會識別相類似的圖像。并且自學(xué)習(xí)功能不僅對預(yù)測有重大意義，未來的人工神經(jīng)網(wǎng)絡(luò)模型將為人類提供經(jīng)濟、市場、效益等方面的預(yù)測，其應(yīng)用前途和領(lǐng)域是很遠大的，市場前景廣闊。

（2）具有聯(lián)想和存儲功能。聯(lián)想是通過人工神經(jīng)網(wǎng)絡(luò)反饋得以實現(xiàn)的。

（3）具有高速運算解決的能力。一個復(fù)雜問題的優(yōu)化解，通常需要大計算量，而利用人工神經(jīng)網(wǎng)絡(luò)反饋型可以針對性解決問題，從而發(fā)揮出計算機的高速運算能力，快速找到優(yōu)化解。

2 支持向量機的分類

2.1 線性支持向量機

支持向量機是一種監(jiān)督的分類和回歸方法，主要二分類即為單個SVM，針對線性可分情況，它構(gòu)造的最優(yōu)分類面不僅能把兩類樣本正確分開，而且能使每一組數(shù)據(jù)與超平面距離最近的點到達與超平面距離最大。

2.2 非線性支持向量機

現(xiàn)實中針對噪音的輸入數(shù)據(jù)，幾乎所有樣本都是線性不可分的，通過非線性變化把樣本映射到高維特征空間，然后進行空間線性分類，尋找最優(yōu)超平面，即即將非線性可分問題轉(zhuǎn)化為線性可分問題。

2.3 支持向量機回歸

支持向量機回歸（SVR）將回歸中的情況，分類問題的樣本點在分類之前已經(jīng)屬于哪一類，而回歸問題事先不知道。

3 支持向量機與神經(jīng)網(wǎng)絡(luò)的異同

支持向量機與神經(jīng)網(wǎng)絡(luò)類似都是學(xué)習(xí)型機器，不同的是支持向量機是算法方法，而神經(jīng)網(wǎng)絡(luò)是優(yōu)化解決。支持向量機的基礎(chǔ)是理論和數(shù)學(xué)，與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法相比，支持向量機以下特點四個：

（1）支持向量機在保證結(jié)構(gòu)風(fēng)險最小選擇和學(xué)習(xí)機器泛化能力具有極大優(yōu)勢;

（2）終端目的旨在解決優(yōu)化了算法復(fù)雜度與輸入向量相關(guān)問題，以到達識別、運算的目的：

（3）主要是基于有限的樣本信息針對小樣本情況，而不是樣本數(shù)趨于無窮大時的最優(yōu)解，引用核函數(shù)將輸入空間中的非線性問題映射到高維特征空間中在高維空間中構(gòu)造線性函數(shù)判別。

神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標是基于經(jīng)驗的風(fēng)險最小化，采用的是傳統(tǒng)統(tǒng)計法，不能保證網(wǎng)絡(luò)的能夠像向量機一樣具有泛化能力。神經(jīng)網(wǎng)絡(luò)優(yōu)劣因設(shè)計者的優(yōu)劣水平而異，如果設(shè)計者在網(wǎng)絡(luò)設(shè)計過程中竭盡所能的利用了自己的經(jīng)驗、先驗和專業(yè)等知識，可能會得到較理想的網(wǎng)絡(luò)結(jié)構(gòu)，反之亦然。

4 結(jié)語

隨著科技發(fā)展支持向量機和神經(jīng)網(wǎng)絡(luò)模型都有各自深入的發(fā)展，內(nèi)在算法的進步直接表現(xiàn)在外在的結(jié)果上，為人類的安全又提供了深入的保障，同時促進了人工智能的發(fā)展，例如AlphaGo打敗了世界圍棋冠軍。使得人工神經(jīng)網(wǎng)絡(luò)更加向人腦趨近，更加智能。

參考文獻

[1]韓虎，任恩恩，基于粗集理論的支持向量機分類方法研究[J].計算機工程與設(shè)計.2008，28 （11）： 2640-2643.

[2]張學(xué)工，關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機[J].自動化學(xué)報，2000，126 （01）： 32-42.

[3]吉建嬌，張嬌嬌，許婕，劉丹丹.人工神經(jīng)網(wǎng)絡(luò)一控制系統(tǒng)不依賴與模型的故障診斷方法[J].科技風(fēng)，2009（13）：11-16.