負(fù)熵最小化加權(quán)最小二乘支持向量機(jī)及其應(yīng)用

楊 勃,邵泉銘

(湖南理工學(xué)院 信息與通信工程學(xué)院,湖南 岳陽(yáng) 414006)

負(fù)熵最小化加權(quán)最小二乘支持向量機(jī)及其應(yīng)用

楊 勃,邵泉銘

(湖南理工學(xué)院 信息與通信工程學(xué)院,湖南 岳陽(yáng) 414006)

提出了一種負(fù)熵最小化加權(quán)最小二乘支持向量機(jī)分類(lèi)模型,并應(yīng)用于水下底質(zhì)識(shí)別任務(wù).該模型在原始最小二乘支持向量機(jī)(Least Square Support Vector Machine,LSSVM)基礎(chǔ)上引入權(quán)重,通過(guò)權(quán)重分布的負(fù)熵最小化調(diào)節(jié)和控制權(quán)重的稀疏度,然后使用該稀疏分布權(quán)重進(jìn)一步進(jìn)行加權(quán)LSSVM再學(xué)習(xí),從而實(shí)現(xiàn)對(duì)原始LSSVM分類(lèi)邊界的調(diào)整優(yōu)化.將負(fù)熵最小化加權(quán)LSSVM應(yīng)用于水下鈷結(jié)殼底質(zhì)識(shí)別,實(shí)驗(yàn)結(jié)果表明,該負(fù)熵最小化加權(quán)LSSVM能顯著減小鈷結(jié)殼錯(cuò)判率和識(shí)別正確率,有效提高底質(zhì)識(shí)別效果.

加權(quán)最小二乘支持向量機(jī); 負(fù)熵；稀疏權(quán)重; 鈷結(jié)殼識(shí)別; 底質(zhì)識(shí)別

Abstract: A weighted least squares support vector machine based on negative entropy minimization is proposed,which is used on the task of underwater bottom material recognition.The proposed classifier model is learned on the results of original Least Squares Support Vector Machine (LSSVM).Through negative entropy minimization of distribution of weights,it controls and adjusts sparseness of sampling weights effectively.And then,by using these sparse weights,a weighted LSSVM is retrained to adjust the original classification border of LSSVM.Finally,the proposed model is used on underwater cobalt-rich crusts recognition.Experiment results show that using the proposed weighted LSSVM based on negative entropy minimization can decrease the misclassification rate and recognition correct rates significantly and improve the effectiveness of bottom material recognition.

Key words: weighted LSSVM,negative entropy,sparse weights,cobalt-rich crusts recognition,bottom material recognition

深海鈷結(jié)殼是一種重要的海洋多金屬戰(zhàn)略礦產(chǎn)資源[1].因海底環(huán)境惡劣,采用水下自治機(jī)器人自動(dòng)完成礦物開(kāi)采、收集和輸送,是目前水下鈷結(jié)殼開(kāi)采技術(shù)研究的主流方案[2].其中水下鈷結(jié)殼自動(dòng)識(shí)別則是高效開(kāi)采鈷結(jié)殼的前提.水下鈷結(jié)殼識(shí)別可歸于水下目標(biāo)探測(cè)與識(shí)別一類(lèi),目前水下目標(biāo)探測(cè)常用手段是聲學(xué)探測(cè),而主流水下目標(biāo)識(shí)別方法則主要基于統(tǒng)計(jì)模式識(shí)別技術(shù)實(shí)現(xiàn)[3～5]: 通過(guò)聲學(xué)探測(cè),獲取目標(biāo)回波,在分析和提取目標(biāo)回波統(tǒng)計(jì)特性的基礎(chǔ)上,設(shè)計(jì)合適的統(tǒng)計(jì)分類(lèi)器,最終實(shí)現(xiàn)水下目標(biāo)自動(dòng)識(shí)別.

國(guó)家海洋科考調(diào)查結(jié)果表明,鈷結(jié)殼礦區(qū)底質(zhì)類(lèi)型多樣.除鈷結(jié)殼外,還有海底沉積物和玄武巖、火山角礫巖、礁灰?guī)r、火山凝灰?guī)r、碳酸鹽巖等多種類(lèi)型基巖類(lèi)底質(zhì)[6].設(shè)計(jì)出合適的統(tǒng)計(jì)分類(lèi)器,將鈷結(jié)殼從如此眾多的底質(zhì)中識(shí)別出來(lái),具有相當(dāng)難度.此外,底質(zhì)表面不平整,導(dǎo)致回波樣本散布程度大,分類(lèi)決策邊界復(fù)雜,這也增加了鈷結(jié)殼識(shí)別難度.

LSSVM是一種分類(lèi)效果較好的分類(lèi)器[7～9].與支持向量機(jī)(support vector machine,SVM)相比,LSSVM不僅在分類(lèi)效果上與之相當(dāng),而且求解快速[7].因此,本文選擇和改進(jìn)LSSVM用于鈷結(jié)殼識(shí)別.

模式識(shí)別理論指出,在最小均方誤差意義上LSSVM最優(yōu)逼近bayes分類(lèi)器[10].然而在小樣本情況下,LSSVM易受粗差樣本影響.為提高魯棒性,消除粗差樣本的干擾,Suykens[11]提出了加權(quán)LSSVM模型.基于Suykens加權(quán)LSSVM模型,許多研究者進(jìn)行了進(jìn)一步改進(jìn)和應(yīng)用研究,提出了一些改進(jìn)加權(quán)LSSVM模型,并在化工、機(jī)電等行業(yè)取得了一定應(yīng)用成果[12～15].

本文首先介紹LSSVM模型和Suykens加權(quán)LSSVM模型.在此基礎(chǔ)上,通過(guò)人工數(shù)據(jù)實(shí)驗(yàn)分析了Suykens加權(quán)LSSVM模型應(yīng)用于分類(lèi)問(wèn)題上的不足,提出了具有魯棒性同時(shí)稀疏度可調(diào)的負(fù)熵最小化加權(quán)LSSVM分類(lèi)模型.最后,將負(fù)熵最小化加權(quán)LSSVM分類(lèi)模型應(yīng)用于水下鈷結(jié)殼識(shí)別任務(wù),實(shí)驗(yàn)結(jié)果表明,負(fù)熵最小化加權(quán)LSSVM分類(lèi)模型能夠有效改善LSSVM分類(lèi)的魯棒性,進(jìn)一步提高了水下鈷結(jié)殼識(shí)別效果.

1 LSSVM與加權(quán)LSSVM

1.1 LSSVM

LSSVM由Suykens[7]于1999年首次提出.設(shè)有訓(xùn)練數(shù)據(jù)集,所求的回歸模型為f(x)=wTx+b,LSSVM通過(guò)以下優(yōu)化模型,尋求最優(yōu)投影矢量w和偏置b:

1.2 加權(quán)LSSVM

為消除粗差樣本的不良影響,提高魯棒性,Suykens提出了加權(quán)LSSVM模型[11]:

其中qi為樣本xi的權(quán)值,且

權(quán)值qi描述了樣本xi對(duì)模型學(xué)習(xí)的重要程度,樣本xi的誤差越大,則說(shuō)明其重要程度越低,應(yīng)當(dāng)賦予小權(quán)值抑制該樣本; 反之亦然.加權(quán)函數(shù)(3)為分段線(xiàn)性函數(shù),它將樣本定性區(qū)分為重要樣本區(qū),過(guò)渡區(qū)和粗差樣本區(qū)3個(gè)區(qū)間.其中,滿(mǎn)足條件的樣本即為粗差點(diǎn),賦予其10-4的微小權(quán)值以去除粗差點(diǎn)對(duì)LSSVM模型的干擾,從而增強(qiáng)學(xué)習(xí)的魯棒性.

2 基于負(fù)熵最小化加權(quán)LSSVM分類(lèi)

然而,采用Suykens加權(quán)LSSVM實(shí)現(xiàn)分類(lèi)存在以下兩個(gè)主要缺陷(實(shí)驗(yàn)1進(jìn)行了詳細(xì)分析):

(1)權(quán)值主要計(jì)算依據(jù): 樣本xi到回歸面的誤差i不能準(zhǔn)確描述xi對(duì)分類(lèi)決策面形成的重要性;

(2)Suykens加權(quán)LSSVM模型不具稀疏性,不能有效解決不同類(lèi)別樣本分布不同導(dǎo)致的決策偏差.

Suykens也發(fā)現(xiàn)了其加權(quán)LSSVM模型不具稀疏性這一缺點(diǎn).為此,他又提出了一個(gè)加權(quán)LSSVM剪枝方案,該方案將加權(quán)學(xué)習(xí)、稀疏化剪枝分為多階段依次完成,過(guò)程相對(duì)繁瑣.為解決以上問(wèn)題,同時(shí)將稀疏化、加權(quán)學(xué)習(xí)簡(jiǎn)化成單一階段一次性完成,本文提出了負(fù)熵最小化加權(quán)LSSVM分類(lèi)模型.

2.1 負(fù)熵最小化權(quán)值優(yōu)化模型

SVM模型揭示,在樣本分布未知情況下,重點(diǎn)考慮分類(lèi)邊界處樣本能獲取較好的分類(lèi)效果[10].因此要有效解決不同類(lèi)別樣本分布不同帶來(lái)的學(xué)習(xí)偏差,一種可行方案就是仿照SVM,提高加權(quán)方法稀疏度.通過(guò)加大權(quán)值分布稀疏度,不僅可去除粗差樣本,還能有效壓制非邊界樣本對(duì)學(xué)習(xí)模型的干擾.

此外,對(duì)分類(lèi)問(wèn)題,其分類(lèi)決策面可表示為wTx+b=0.通常認(rèn)為越靠近分類(lèi)決策面的樣本,其重要性越高,應(yīng)賦予更大的權(quán)值.因此,本文采用有向距離來(lái)取代Suykens加權(quán)LSSVM中的誤差,用于描述樣本xi對(duì)分類(lèi)決策的重要性,作為權(quán)值計(jì)算的依據(jù).

進(jìn)一步,基于負(fù)熵最小化,本文提出如下權(quán)值優(yōu)化模型:

其中di為樣本xi到LSSVM決策面的有向距離,c1為正則化負(fù)熵項(xiàng)參數(shù),且c1≥0.

式(4)中,權(quán)值qi具有概率意義.主優(yōu)化項(xiàng)可解釋為在概率分布{qi}下對(duì)訓(xùn)練樣本集的距離平方d2的期望E(d2).

假設(shè)不同樣本到?jīng)Q策邊界距離平方d2各不相同.在不考慮正則化負(fù)熵項(xiàng)(即c1=0)情形下,最小化期望E(d2),將得到最稀疏的權(quán)值分布,對(duì)應(yīng)于一個(gè)確定性事件.此時(shí)離決策面最近的樣本權(quán)值為1,其余樣本權(quán)值為0,即

當(dāng)c1→+∞時(shí),權(quán)值分布則趨向于均勻分布,即,所有權(quán)值相等.此時(shí)加權(quán)LSSVM將退化為L(zhǎng)SSVM.

因此,通過(guò)調(diào)節(jié)模型(4)中參數(shù)c1可調(diào)整加權(quán)LSSVM的稀疏度,有效控制權(quán)值分布的稀疏性.

2.2 優(yōu)化模型(4)的求解

模型(4)可轉(zhuǎn)換為如下等價(jià)的Lagrange模型:

對(duì)模型(5)中的qi,求導(dǎo),求最優(yōu)解得

進(jìn)一步整理得

式(9)表明,歸一化權(quán)值qi大小不僅僅取決與自身有向距離di,還與其他樣本的有向距離有關(guān).其中,由自身有向距離di決定的量是,該函數(shù)關(guān)于是一個(gè)嚴(yán)格單調(diào)遞減的函數(shù).簡(jiǎn)單推導(dǎo)可知,權(quán)值qi也是關(guān)于的嚴(yán)格單調(diào)遞減的函數(shù).距離|di|越大,則越小,導(dǎo)致權(quán)值qi越小,此時(shí)該樣本對(duì)模型學(xué)習(xí)的作用也就越小.

事實(shí)上,式(9)表達(dá)的權(quán)值分布是一個(gè)具有熱力學(xué)意義的統(tǒng)計(jì)分布: Gibbs分布.從熱力學(xué)角度看,具有能量意義,參數(shù)c1則具有溫度意義.當(dāng)溫度c1越小,則在熱平衡下可選低能狀態(tài)就越少,大部分高能狀態(tài)不再出現(xiàn),即出現(xiàn)的概率qi為0.因此從熱力學(xué)角度看,調(diào)節(jié)溫度參數(shù)c1,可有效控制樣本權(quán)值稀疏度.

2.3 負(fù)熵最小化權(quán)值優(yōu)化修正模型

調(diào)節(jié)參數(shù)c1,可控制加權(quán)學(xué)習(xí)模型的樣本權(quán)值稀疏度.但需要指出的是,邊界區(qū)兩類(lèi)樣本稀疏程度不一,會(huì)導(dǎo)致分類(lèi)不平衡問(wèn)題突出.為此,我們單獨(dú)對(duì)每一類(lèi)樣本進(jìn)行負(fù)熵最小化最優(yōu)權(quán)值計(jì)算,進(jìn)一步修正模型(4),得到如下模型:

其中N+為正類(lèi)樣本數(shù).

仿照模型(4)求解可得: 對(duì)于正類(lèi)樣本xi,其權(quán)值為

簡(jiǎn)單推導(dǎo)可知,當(dāng)c1→+∞時(shí),正類(lèi)樣本xi權(quán)值; 負(fù)類(lèi)樣本xj權(quán)值.其中,N-為負(fù)類(lèi)樣本數(shù),NN+N-=+.此時(shí)的權(quán)值取值,正是采用LSSVM學(xué)習(xí)時(shí),處理非平衡樣本情況的常用做法.

2.4 負(fù)熵最小化加權(quán)LSSVM分類(lèi)器學(xué)習(xí)算法

與Suykens加權(quán)LSSVM算法類(lèi)似,基于負(fù)熵最小化加權(quán)LSSVM也采用二階段優(yōu)化方法,算法描述如下:

(a)預(yù)置c,求得LSSVM最優(yōu)解w0,b0;

(b)由最優(yōu)解w0,b0計(jì)算所有樣本到?jīng)Q策邊界的距離di,依據(jù)式(10)優(yōu)化求得歸一化權(quán)值qi;

(c)設(shè)置c1,將權(quán)值qi代入式(2)的加權(quán)LSSVM優(yōu)化模型中,最終求得加權(quán)LSSVM優(yōu)化解w*,b*.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 人工數(shù)據(jù)集實(shí)驗(yàn)

本實(shí)驗(yàn)人工生成二維樣本數(shù)據(jù)10個(gè).其中生成第1類(lèi)“*”樣本5個(gè): 所有樣本橫坐標(biāo)為1,縱坐標(biāo)0.1～0.9,間隔0.2；生成第2類(lèi)“+”樣本5個(gè): 所有樣本縱坐標(biāo)為0.5,橫坐標(biāo)1.2～2,間隔也為0.2.

設(shè)置參數(shù)c=106,c1=0.25,最終的學(xué)習(xí)結(jié)果如圖1所示.

圖1 人工數(shù)據(jù)集上的學(xué)習(xí)結(jié)果

圖1中有3根LSSVM對(duì)應(yīng)的黑實(shí)線(xiàn),從左至右分別為:wTx+b=-1,wTx+b=0和wTx+b=+1.由于兩類(lèi)樣本分布不同,決策線(xiàn)wTx+b=0出現(xiàn)偏差,1個(gè)“+”樣本被誤分.依式(3)計(jì)算權(quán)值得,圖中唯一誤分樣本權(quán)值為0.604,其余權(quán)值均為1.采用上述權(quán)值結(jié)果訓(xùn)練Suykens加權(quán)LSSVM,最終得圖1中的虛決策線(xiàn):w'Tx+b'=0,該決策線(xiàn)比原決策線(xiàn)表現(xiàn)更差.從權(quán)值計(jì)算結(jié)果看,Suykens加權(quán)LSSVM錯(cuò)誤地估計(jì)了對(duì)分類(lèi)決策有重要作用的誤分樣本權(quán)值,說(shuō)明回歸誤差不適宜作為分類(lèi)決策的權(quán)值計(jì)算依據(jù).

此外,我們?nèi)圆捎肧uykens加權(quán)LSSVM權(quán)值計(jì)算式(3),將δi置換成隨機(jī)有向距離變量di,再次進(jìn)行權(quán)值計(jì)算得,所有樣本權(quán)值均為1.加權(quán)LSSVM退化為L(zhǎng)SSVM,學(xué)習(xí)偏差仍不能得到改善.從權(quán)值計(jì)算結(jié)果看,這是因?yàn)镾uykens加權(quán)LSSVM不具稀疏性.

圖1中點(diǎn)劃線(xiàn)對(duì)應(yīng)的是基于模型(10)的學(xué)習(xí)結(jié)果:w*Tx+b*=0.在本例中,通過(guò)最小化負(fù)熵優(yōu)化權(quán)值,將圖1中最右邊兩個(gè)最偏離分類(lèi)決策面的樣本成功抑制,得到了正確的學(xué)習(xí)結(jié)果,這表明該方法具有稀疏性,能夠解決樣本分布不同帶來(lái)的分類(lèi)偏差問(wèn)題.

在本例中,采用模型(5)的基于負(fù)熵最小化加權(quán)LSSVM同樣得到了正確的學(xué)習(xí)結(jié)果.但是,我們重新調(diào)整參數(shù)c1=0.04時(shí),使決策邊界區(qū)變窄,此時(shí)邊界樣本過(guò)于稀疏化,其中“*”類(lèi)樣本權(quán)值過(guò)小,被全部排除在邊界之外,兩類(lèi)樣本極度不平衡,采用模型(5)出現(xiàn)了極大偏差.與之對(duì)應(yīng)的是,采用模型(10)始終沒(méi)出現(xiàn)偏差,這說(shuō)明模型(10)能夠有效解決稀疏邊界樣本兩類(lèi)樣本不平衡問(wèn)題.

3.2 水下鈷結(jié)殼識(shí)別實(shí)驗(yàn)

進(jìn)一步,我們將負(fù)熵最小化加權(quán)LSSVM應(yīng)用到基于超聲探測(cè)的水下鈷結(jié)殼識(shí)別任務(wù)中.實(shí)驗(yàn)底質(zhì)材料主要來(lái)自我國(guó)鈷結(jié)殼調(diào)查區(qū)內(nèi)的深海拖網(wǎng)樣品,除鈷結(jié)殼外,還有玄武巖、火山角礫巖、礁灰?guī)r、火山凝灰?guī)r4種基巖.此外,我們還將泥、砂、礫石依不同比例混合,制作了模擬海底沉積物.

將以上底質(zhì)材料隨機(jī)鋪設(shè)在實(shí)驗(yàn)水池底部,由500KHz窄帶超聲探測(cè)實(shí)驗(yàn)系統(tǒng)采集底質(zhì)回波(超聲探測(cè)實(shí)驗(yàn)系統(tǒng)如圖2所示).

圖2 超聲探測(cè)實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)重復(fù)4次,每次采集鈷結(jié)殼回波80個(gè),其他類(lèi)型底質(zhì)每類(lèi)80個(gè)組成非鈷結(jié)殼回波共400個(gè).對(duì)采集到的回波信號(hào),先后通過(guò)數(shù)據(jù)預(yù)處理、特征提取過(guò)程,最終得到32維回波小波模極大值特征樣本集[16].分別使用線(xiàn)性核和高斯核下的LSSVM,Suykens加權(quán)LSSVM,本文的加權(quán)LSSVM模型(10)在特征樣本集上進(jìn)行鈷結(jié)殼識(shí)別實(shí)驗(yàn).實(shí)驗(yàn)中,高斯核參數(shù)取值范圍為2-5～210,正則化參數(shù)c取值范圍為2-12～25,負(fù)熵最小化加權(quán)LSSVM參數(shù)c1取值范圍為2-7～210.

鈷結(jié)殼采集率和廢石混入率是鈷結(jié)殼高效開(kāi)采的兩個(gè)關(guān)鍵指標(biāo),分別與鈷結(jié)殼識(shí)別的正確識(shí)別率和非鈷結(jié)殼錯(cuò)判為鈷結(jié)殼的錯(cuò)判率直接相關(guān)[6].因此本實(shí)驗(yàn)采用10重交叉驗(yàn)證來(lái)估計(jì)鈷結(jié)殼正確識(shí)別率和錯(cuò)判率,實(shí)驗(yàn)結(jié)果見(jiàn)表1和表2.

表1 線(xiàn)性核下鈷結(jié)殼識(shí)別結(jié)果

表2 高斯核下鈷結(jié)殼識(shí)別結(jié)果

從表1和表2可看出,在線(xiàn)性和高斯核非線(xiàn)性分類(lèi)情形下,Sunkens加權(quán) LSSVM與LSSVM在鈷結(jié)殼正確識(shí)別率指標(biāo)上彼此差異并不明顯,在鈷結(jié)殼錯(cuò)判率指標(biāo)上Sunkens加權(quán) LSSVM表現(xiàn)甚至更差.而本文提出的負(fù)熵最小化加權(quán)LSSVM在鈷結(jié)殼錯(cuò)判率指標(biāo)上,錯(cuò)判率減少了約7%；在鈷結(jié)殼正確識(shí)別率指標(biāo)上,正確識(shí)別率提高了約2%.這表明,本文提出的負(fù)熵最小化加權(quán)LSSVM有效改善了鈷結(jié)殼識(shí)別效果.

由于非鈷結(jié)殼底質(zhì)類(lèi)型多樣,其回波樣本在特征空間中分布情況更為分散,與鈷結(jié)殼底質(zhì)回波樣本分布特性差異明顯.用LSSVM學(xué)習(xí)易受非鈷結(jié)殼樣本分布的影響,分類(lèi)決策出現(xiàn)偏差,導(dǎo)致鈷結(jié)殼錯(cuò)判率較高.Sunkens加權(quán) LSSVM則因不恰當(dāng)?shù)臋?quán)值計(jì)算依據(jù)以及稀疏性不足的問(wèn)題,導(dǎo)致其對(duì)LSSVM學(xué)習(xí)結(jié)果無(wú)明顯改善,甚至分類(lèi)決策偏差變得更大,在錯(cuò)判率上表現(xiàn)得比LSSVM還要更差.而負(fù)熵最小化加權(quán)LSSVM通過(guò)引入恰當(dāng)?shù)臋?quán)值計(jì)算依據(jù)和稀疏性,消除了非鈷結(jié)殼樣本分布對(duì)分類(lèi)決策的影響,減小了分類(lèi)決策偏差,顯著減小了鈷結(jié)殼錯(cuò)判率.

4 結(jié)束語(yǔ)

本文在Suykens加權(quán)LSSVM基礎(chǔ)上,提出了一種基于負(fù)熵最小化的加權(quán)LSSVM模型.與Suykens加權(quán)LSSVM不同,負(fù)熵最小化加權(quán)LSSVM主要適用于分類(lèi)問(wèn)題.該加權(quán)LSSVM采用樣本到LSSVM決策邊界的有向距離度量樣本對(duì)決策面形成的貢獻(xiàn)程度,并用于計(jì)算樣本權(quán)值.通過(guò)引入負(fù)熵最小化,該加權(quán)LSSVM能夠有效控制權(quán)值的稀疏度,從而有效地降低大方差類(lèi)別樣本對(duì)LSSVM學(xué)習(xí)的影響,減小分類(lèi)決策偏差.通過(guò)水下鈷結(jié)殼識(shí)別實(shí)驗(yàn),最后驗(yàn)證了該加權(quán)LSSVM分類(lèi)模型的有效性.實(shí)驗(yàn)表明,該加權(quán)LSSVM能顯著減小鈷結(jié)殼錯(cuò)判率,并在一定程度上提高了鈷結(jié)殼識(shí)別率.

[1]PeterA.Rona.Resources of the Sea Floor[J].Science,2003,299: 673～674

[2]Chung J S.Deep-ocean mining: Technologies for manganese nodules and crusts[J].International Journal of Offshore and polar Engineering,1996,6(4):244～254

[3]楊 勃,卜英勇,黃劍飛.多核信息融合模型及其應(yīng)用[J].儀器儀表學(xué)報(bào),2010,31(2): 248～252

[4]Azimi-Sadjadi M.R,De Y,Qiang H,etc.Underwater target classification using wavelet packets and neuralnetworks[J].IEEE Transaction on Neural Networks,2000,11(3): 784～794

[5]AKari E.Ellingsen.Acoustic classification of seabed habitats using the QTC VIEWsystem[J].ICES Journal of Marine Science,2002(59): 825～835

[6]周木榮.基于聲學(xué)分形特征的深海鈷結(jié)殼識(shí)別研究[D].長(zhǎng)沙: 中南大學(xué)碩士學(xué)位論文,2009:12～13,73

[7]Suykens J A K,Vandewalle J.Least square support vector machine classifier[J].Neural Processing Letters,1999,9(3): 293～300

[8]吳一全,尹丹艷,吳詩(shī)婳.基于NSCT、KFCM和多模型LS-SVM的紅外小目標(biāo)檢測(cè)[J].儀器儀表學(xué)報(bào),2011,32(8): 1704～1709

[9]陳法法,湯寶平,董紹江.基于粒子群優(yōu)化LS-WSVM的旋轉(zhuǎn)機(jī)械故障診斷[J].儀器儀表學(xué)報(bào),2011,32(12): 2747～2753

[10]Duda R O,Hart P E,Stork D G.Pattern Classification(Second Edition)[M].Newyork: Wiley-Interscience,2000: 239～245

[11]Suykens J A K,et al.Weighted least squares support vector machine:Robustness and sparse approximation[J].NeuroComputing,2002,48(1): 85～105

[12]邢永忠,吳曉蓓,徐志良.基于柯西分布加權(quán)的最小二乘支持向量機(jī)[J].控制與決策,2009,24(6): 937～940

[13]呂劍峰,戴連奎.加權(quán)最小二乘支持向量機(jī)改進(jìn)算法及其在光譜定量分析中的應(yīng)用[J].分析化學(xué),2005,35(3): 340～344

[14]范玉剛,李 平.動(dòng)態(tài)加權(quán)最小二乘支持向量機(jī)[J].控制與決策,2006,21(10): 1129～1132

[15]LIU J L,LI J,XU W X,etc.A weighted Lq adaptive least squares support vector machine classifiers-Robust and sparse approximation[J].Expert Systems with Applications,2011,38: 2253～2259

[16]張靜遠(yuǎn),張 冰,蔣興舟.基于小波變換的特征提取方法分析[J].信號(hào)處理,2000 ,16(2): 156～162

Weighted Least Squares Support Vector Machine based on Negative Entropy Minimization and Its Application

YANG Bo,SHAO Quanming
(College of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,China)

TP391.4

A

1672-5298(2017)03-0027-06

2017-07-15

湖南省教育廳科學(xué)研究重點(diǎn)資助項(xiàng)目(17A089)

楊 勃(1974? ),男,湖南岳陽(yáng)人,博士,湖南理工學(xué)院信息與通信工程學(xué)院副教授.主要研究方向: 模式識(shí)別技術(shù),水聲信號(hào)處理