基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法的研究與應(yīng)用

關(guān)鍵詞：相關(guān)向量機(jī);機(jī)器學(xué)習(xí);學(xué)習(xí)算法;算法研究;算法應(yīng)用

中圖法分類號(hào)：TP309 文獻(xiàn)標(biāo)識(shí)碼：A

1前言

近年來，社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)都快速發(fā)展，機(jī)器學(xué)習(xí)也運(yùn)用于諸多領(lǐng)域，并取得了良好的效果和作用。但與此同時(shí)，無論是時(shí)代發(fā)展還是現(xiàn)代社會(huì)大眾，對機(jī)器學(xué)習(xí)的要求都在不斷提升。因此，本文提出了一種基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法。與傳統(tǒng)的支持向量機(jī)相比，相關(guān)向量機(jī)能夠體現(xiàn)數(shù)據(jù)中最核心的特征，以此為基礎(chǔ)可以有效減少核函數(shù)的計(jì)算量。并且，相關(guān)向量機(jī)還能克服所選核函數(shù)必須滿足Mercer的缺點(diǎn)，提升了機(jī)器學(xué)習(xí)的效果。

2關(guān)于相關(guān)向量機(jī)算法的描述

傳統(tǒng)的SVM擁有諸多缺點(diǎn)：無法計(jì)算樣本輸出的后驗(yàn)概率分布;不太適用于多分類問題;超參數(shù)需要通過交叉驗(yàn)證得到，非常耗費(fèi)時(shí)間;核函數(shù)必須正定。而相關(guān)向量機(jī)算法的出現(xiàn)和運(yùn)用則有效克服了以上SVM的諸多缺點(diǎn)。另外，相關(guān)向量機(jī)算法的核函數(shù)可以進(jìn)行任意指定，這也使其最終得到的解比傳統(tǒng)的SVM更加稀疏。

RVM與SVM具有同樣的模型：

假設(shè)模型的殘差符合高斯分布，以此能夠得到數(shù)據(jù)的極大似然估計(jì)：

而且，相關(guān)向量機(jī)算法是一種貝葉斯方法———需要給予其函數(shù)先驗(yàn)分布，并且是零均值不同方差高斯先驗(yàn)分布。在這種情況下，每一個(gè)參數(shù)都可以得到相對應(yīng)的樣本。在實(shí)際的研究過程中可以發(fā)現(xiàn)，隨著參數(shù)的不斷迭代、更新，其中一部分相對應(yīng)值會(huì)逐漸趨于無窮大，對應(yīng)的權(quán)值向量w則會(huì)無限趨于零，這意味著部分相對應(yīng)的基函數(shù)會(huì)逐漸被“剔除”。因此，與傳統(tǒng)的SVM相比，相關(guān)向量機(jī)算法的解具有稀疏性，這是其獨(dú)特的優(yōu)勢之一。

3相關(guān)向量機(jī)算法的改進(jìn)優(yōu)化模型

3.1經(jīng)典的相關(guān)向量機(jī)算法

首先，經(jīng)典的相關(guān)向量機(jī)算法可以針對線性可分的情況進(jìn)行分析。而對于線性不可分的情況，經(jīng)典的相關(guān)向量機(jī)算法通過使用非線性映射算法，將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間，使其線性可分，從而使高維特征空間采用線性算法對樣本的非線性特征進(jìn)行線性分析成為可能。

其次，基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論，在特征空間建構(gòu)最優(yōu)分割超平面，可以全局最優(yōu)化學(xué)習(xí)器，并在整個(gè)樣本空間的期望風(fēng)險(xiǎn)以某種概率滿足一定上界。因此，目前支持向量機(jī)只適合處理小批量樣本的任務(wù)。

3.2改進(jìn)優(yōu)化模型

一方面，相關(guān)向量機(jī)算法具有減少核函數(shù)計(jì)算量、稀疏性明顯和學(xué)習(xí)效率比較高等特點(diǎn)，可以提升機(jī)器學(xué)習(xí)的水平;另一方面，相關(guān)向量機(jī)算法包含異常值相對敏感、噪聲數(shù)據(jù)的影響比較大等缺點(diǎn)，會(huì)影響基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法的現(xiàn)實(shí)應(yīng)用。因此，我們需要注重對相關(guān)向量機(jī)算法的改進(jìn)和優(yōu)化。

有學(xué)者和專家推出了一種用于分類和回歸的廣義相關(guān)向量機(jī)模型，其繼承了GLM統(tǒng)一模型結(jié)構(gòu)的優(yōu)勢，并且提升了相關(guān)向量機(jī)算法的適用性，可以應(yīng)對更加廣泛的學(xué)習(xí)任務(wù)。經(jīng)實(shí)際應(yīng)用后也可以發(fā)現(xiàn)，分類和回歸的廣義相關(guān)向量機(jī)模型具備相對良好的綜合性能。

另外，還有學(xué)者和專家推出一種具有噪音方差系數(shù)的相關(guān)向量機(jī)模型，其能夠解決傳統(tǒng)相關(guān)向量機(jī)算法存在的魯棒性比較差的問題。這一優(yōu)化方式的核心思想是：在每一個(gè)訓(xùn)練樣本中引入獨(dú)立的噪聲方差系數(shù)。由于在具體的訓(xùn)練過程中，異常值的噪聲方差系數(shù)會(huì)逐漸減小，從而可以實(shí)現(xiàn)對異常值的自動(dòng)監(jiān)測和剔除，相關(guān)向量機(jī)算法也就有了較好的魯棒性。

此外，還有學(xué)者和專家為了克服相關(guān)向量機(jī)算法的異常值敏感的缺點(diǎn)，提出了一種基于加權(quán)方案的相關(guān)向量機(jī)模型，其可以在訓(xùn)練的過程中進(jìn)行自動(dòng)計(jì)算。經(jīng)過綜合分析和計(jì)算之后可以發(fā)現(xiàn)，這一優(yōu)化方式的性能表現(xiàn)始終優(yōu)于傳統(tǒng)相關(guān)向量機(jī)算法。因此，在后續(xù)的發(fā)展過程中，可以高度重視基于加權(quán)方案的相關(guān)向量機(jī)模型的應(yīng)用、優(yōu)化、完善，從而解決傳統(tǒng)相關(guān)向量機(jī)算法存在的異常值敏感的問題。

4基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法的具體應(yīng)用闡述

基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法解決以上兩種問題的框架圖如圖1所示。

4.1故障檢測中的具體應(yīng)用

所謂故障檢測，顧名思義就是運(yùn)用不同的檢查和測試方法，檢查和發(fā)現(xiàn)系統(tǒng)、設(shè)備中是否存在故障情況。

其中，一種量子粒子群的啟發(fā)式相關(guān)向量機(jī)算法在實(shí)際的應(yīng)用過程中，可以針對相關(guān)向量機(jī)的參數(shù)實(shí)現(xiàn)優(yōu)化處理。目前，在滾動(dòng)軸承的故障檢測過程中運(yùn)用了這一機(jī)器學(xué)習(xí)算法——將預(yù)處理之后的軸承震動(dòng)信號(hào)作為這一模型的輸入向量，可以找到全局最優(yōu)解參數(shù)。根據(jù)實(shí)際的故障檢測結(jié)果來看，運(yùn)用這一機(jī)器學(xué)習(xí)算法可以使分類的準(zhǔn)確率達(dá)到90%左右。但是，其在故障檢測中的運(yùn)用也存在一定的不足——在學(xué)習(xí)、訓(xùn)練階段需要花費(fèi)的時(shí)間代繳比較高。而經(jīng)過專家和學(xué)者再一次針對這一機(jī)器學(xué)習(xí)算法進(jìn)行優(yōu)化，相關(guān)向量機(jī)算法的分類能力進(jìn)一步增強(qiáng)，且在更加精細(xì)化的工業(yè)領(lǐng)域得以運(yùn)用。其中，包含乙烯裂解爐工藝和乙烯加熱工藝過程等，具有較高的準(zhǔn)確率和較低的陽性率，對工業(yè)生產(chǎn)工藝水平的提升效果非常顯著。

4.2模式識(shí)別領(lǐng)域中的具體應(yīng)用

模式識(shí)別指的是：通過計(jì)算機(jī)數(shù)學(xué)技術(shù)形成研究模式的自動(dòng)處理和判讀過程。目前，一種基于相關(guān)向量機(jī)的含噪聲人臉圖像識(shí)別算法運(yùn)用了模式識(shí)別技術(shù)，它極大地拓寬了相關(guān)向量機(jī)的應(yīng)用領(lǐng)域。相關(guān)向量機(jī)在模式識(shí)別領(lǐng)域中的運(yùn)用，可以將ORL人臉庫作為具體的訓(xùn)練樣本和測試樣本，通過二維小波交換和K?L變化提取對應(yīng)的樣本特征，這能夠提高識(shí)別準(zhǔn)確率和克服對圖像噪聲不敏感的缺點(diǎn)。在此基礎(chǔ)上，為了進(jìn)一步降低特征數(shù)量，通過對ORL、AR、YaleB和戶外人臉庫四種數(shù)據(jù)集的實(shí)驗(yàn)發(fā)現(xiàn)，人臉識(shí)別準(zhǔn)確率進(jìn)一步提升、人臉識(shí)別時(shí)間進(jìn)一步減少。

4.3網(wǎng)絡(luò)安全領(lǐng)域中的具體應(yīng)用

基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用具有較強(qiáng)的代表性，形成了高水平的入侵檢測刺痛，這是一種基于軟件的監(jiān)控系統(tǒng)，可以對網(wǎng)絡(luò)中是否存在惡意活動(dòng)進(jìn)行檢測。但是，在實(shí)際的研究和分析過程中能夠發(fā)現(xiàn)，基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法在網(wǎng)絡(luò)安全領(lǐng)域的運(yùn)用還存在一定的不足。其中包含懲罰參數(shù)的設(shè)置受到人為因素的影響相對明顯等問題，在這種情況下，可以采取一種基于粒子群優(yōu)化的方式，使其形成對應(yīng)的網(wǎng)絡(luò)入侵檢測模型。實(shí)驗(yàn)表明，上述模型的檢測精確度能夠達(dá)到95%左右，與傳統(tǒng)的SVM、BPNN項(xiàng)目相比，這一模型具有較大優(yōu)勢，比較適合在網(wǎng)絡(luò)安全領(lǐng)域進(jìn)行運(yùn)用。

5結(jié)語

基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法與傳統(tǒng)算法相比具有多種優(yōu)勢，但是同樣存在一定的不足。在后續(xù)的發(fā)展過程中，需要不斷對基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法進(jìn)行優(yōu)化和完善，這樣才能滿足時(shí)代的發(fā)展和大眾的需求。

作者簡介：

羅遠(yuǎn)軍（1971—），碩士研究生，講師，研究方向：移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、網(wǎng)絡(luò)體系結(jié)構(gòu)。