基于參數(shù)優(yōu)化的支持向量機(jī)戰(zhàn)場多目標(biāo)聲識(shí)別

李京華,張聰穎,倪 寧

(西北工業(yè)大學(xué)電子信息學(xué)院,陜西西安 710072)

0 引言

戰(zhàn)場目標(biāo)聲識(shí)別是被動(dòng)聲預(yù)警系統(tǒng)的核心內(nèi)容之一。為了取得較好的識(shí)別結(jié)果并滿足聲預(yù)警系統(tǒng)的實(shí)際要求,建立的識(shí)別器必須高效、穩(wěn)定、具有較好的推廣價(jià)值[1]。在以往的研究中,人們多采用KNN分類器、神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行目標(biāo)識(shí)別,并取得了一定的研究成果。但是,基于傳統(tǒng)統(tǒng)計(jì)模式識(shí)別方法的KNN分類器依據(jù)樣本無窮大下的漸近理論,即樣本數(shù)趨于無窮大時(shí)其性能才有理論上的保證,而在戰(zhàn)場目標(biāo)識(shí)別中樣本數(shù)通常是有限的,對于神經(jīng)網(wǎng)絡(luò)分類器存在有過學(xué)習(xí)和訓(xùn)練過程中的局部極小點(diǎn)問題。近年來,國際機(jī)器學(xué)習(xí)領(lǐng)域在不斷發(fā)展統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上形成了一種可用于模式識(shí)別的算法——支持向量機(jī)(Support Vector Machine,SVM)[2]。其在解決小樣本、非線性及高維模式識(shí)別問題時(shí)表現(xiàn)出許多特有優(yōu)勢,且SVM得出的結(jié)果是有限樣本信息下的最佳結(jié)論,得到的是全局最優(yōu)點(diǎn),從而解決了神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法的過學(xué)習(xí)、訓(xùn)練過程中的局部極小點(diǎn)問題。

作為一種新興的機(jī)器學(xué)習(xí)方法,支持向量機(jī)也存在許多急需完善的地方。在支持向量機(jī)的構(gòu)造過程中,支持向量機(jī)的參數(shù)(核函數(shù)參數(shù)σ與誤差懲罰因子C)對最終分類精度有較大影響。合理的參數(shù)值可使支持向量機(jī)具有更高的精度、更好的泛化能力。針對常用的網(wǎng)格搜索[3]支持向量機(jī)參數(shù)的方法存在復(fù)雜度高、運(yùn)算量大等不足,文中提出了一種改進(jìn)的網(wǎng)格搜索SVM分類器的最佳參數(shù)選擇算法。這種改進(jìn)的網(wǎng)格搜索算法可以有效地減少運(yùn)算量,在相對較短的時(shí)間內(nèi)提高了識(shí)別率。

本文將小波能量譜作為戰(zhàn)場目標(biāo)聲信號(hào)的特征向量,設(shè)計(jì)出一種基于改進(jìn)的網(wǎng)格搜索SVM分類器用于目標(biāo)識(shí)別。

1 戰(zhàn)場目標(biāo)聲信號(hào)的特征提取

1.1 基于小波能量譜的特征提取算法

由多分辨分析[4]可知,同一尺度上的小波函數(shù)與尺度函數(shù)正交,根據(jù)小波變換的框架理論,當(dāng)小波基函數(shù)是一組正交基函數(shù)時(shí),變換具有能量守恒的性質(zhì),即滿足:

式(1)表明將信號(hào) f(t)小波分解后,其逼近近似信號(hào)系數(shù)與細(xì)節(jié)信號(hào)系數(shù)的平方和等于原始信號(hào)在時(shí)域上的能量?？梢?信號(hào)的總能量等于各尺度重構(gòu)信號(hào)能量之和。即小波變換將原始信號(hào)分解成不同頻帶的重構(gòu)信號(hào),每個(gè)重構(gòu)信號(hào)的能量反應(yīng)了原始信號(hào)在該頻帶內(nèi)的能量。所以小波變換后的能量與原始信號(hào)的能量之間存在等價(jià)關(guān)系,按能量方式表示的小波分解結(jié)果稱為小波能量譜。

對于戰(zhàn)場上的目標(biāo)來說,其被動(dòng)聲信號(hào)包含的能量分布與目標(biāo)的大小、結(jié)構(gòu)等特性密切相關(guān),因此根據(jù)小波能量譜的定義,用小波能量譜來表示原始信號(hào)中的能量分布是可靠的,可以根據(jù)信號(hào)在不同頻段上的能量分布特點(diǎn),實(shí)現(xiàn)對不同類目標(biāo)聲信號(hào)的有效識(shí)別。

本文以實(shí)測直升機(jī)、戰(zhàn)斗機(jī)、無人機(jī)、巡航導(dǎo)彈、坦克、汽車6類目標(biāo)的聲信號(hào)為研究對象,采樣率均取為5 k Hz,采用db5小波對上述6類目標(biāo)聲信號(hào)分別進(jìn)行10層小波分解,分解后取第10層低頻系數(shù)的重構(gòu)信號(hào)和各層高頻系數(shù)的重構(gòu)信號(hào),其中s10為第10層低頻系數(shù)的重構(gòu)信號(hào),s0～s9為第1層 ～第10層高頻系數(shù)的重構(gòu)信號(hào)。計(jì)算s0～s10的能量,歸一化后,以各分解層的能量為元素,按照信號(hào)s10～s0的順序?qū)⒛芰恐蹬帕行纬商卣魇噶?T=[e10,e9,e8,…,e0]。各類目標(biāo)各分解尺度上的歸一化能量分布如圖1所示。其中橫坐標(biāo)1上的能量表示尺度10上低頻重構(gòu)信號(hào)的能量,橫坐標(biāo)2～11表示尺度10～1的高頻重構(gòu)信號(hào)的能量。

圖1 各分解尺度上的歸一化能量分布直方圖Fig.1 Normalization Energy Histogram

1.2 模式特征向量的類別可分性評價(jià)

不同目標(biāo)的差異性和相同目標(biāo)的相似性,可以采用可分性測度來衡量。

在模式識(shí)別中,特征選擇和特征提取的目的在于突出同一類別模式的相似性和不同類別模式之間的差異性,希望同一類模式在空間的分布越密越好,不同類的模式分布越分散越好。因此,類內(nèi)距離和類間距離[5]可以作為可分性測度。

構(gòu)造距離可分性測度計(jì)算公式為:

式中,dij為ωi和ωj類間平均樣本距離,di為ωi的類內(nèi)距離,d j為ωj的類內(nèi)距離。該距離可分性測度反映了兩類模式均值向量之間的距離與它們各類類內(nèi)距離和的比值。

很顯然,若類間平均樣本距離d ij越大,各類類內(nèi)距離之和越小,則可分性測度J越大,模式的可分性越好。若兩類模式為同一類模式,則dij=di=dj,J=0.5。

利用公式(4)對小波能量譜法提取的目標(biāo)特征向量作分析。將6類戰(zhàn)場目標(biāo)(直升機(jī)、戰(zhàn)斗機(jī)、無人機(jī)、巡航導(dǎo)彈、坦克、汽車)的特征向量歸一化后形成分析樣本,每一類隨機(jī)抽取30個(gè)樣本,計(jì)算其可分性測度,重復(fù)進(jìn)行100次取平均,計(jì)算結(jié)果列于表1中。

從表1中可以看出,基于小波能量譜法提取的特征進(jìn)行識(shí)別時(shí),巡航導(dǎo)彈和坦克最易區(qū)分識(shí)別,其次是直升機(jī)與坦克,而巡航導(dǎo)彈和汽車最不易識(shí)別區(qū)分。在后面的識(shí)別結(jié)果分析對比中將得到更進(jìn)一步的驗(yàn)證。

表1 戰(zhàn)場目標(biāo)特征向量的可分性測度Tab.1 Class separability measurement of battlefield targets feature vector

2 基于參數(shù)優(yōu)化的SVM分類器

2.1 支持向量機(jī)基本原理

支持向量機(jī)主要解決的是一個(gè)二分類問題,該理論最初來源于數(shù)據(jù)分類問題的處理,SVM就是要尋找一個(gè)滿足要求的分割平面,使訓(xùn)練集中的點(diǎn)距離該平面盡可能地遠(yuǎn),即尋求一個(gè)分割平面使其兩側(cè)的margin盡可能大。支持向量機(jī)從線性可分情況下的最優(yōu)分類面發(fā)展起來,通過將輸入空間映射到一個(gè)高維內(nèi)積空間中,解決一個(gè)線性約束的二次規(guī)劃問題,得到全局最優(yōu)解,保證收斂速度,不存在局部極小值問題[6-7]。

給定訓(xùn)練樣本(x i,y i),i=1,2,…,N,集合{x i}∈Rn,y∈{-1,1}是類別標(biāo)號(hào),可以被一個(gè)超平面ω*x+b=0分開。使得每個(gè)樣本都滿足:

此時(shí)分類間隔為2/‖ω‖,因此使間隔最大等價(jià)于使 ‖ω‖2最小,滿足式(5)且使 ‖ω‖2最小的分類面就是最優(yōu)分類面。

利用Lagrange優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為其對偶問題,即求解如下的二次規(guī)劃(QP)問題:

滿足約束條件:

式中,K(xi,xj)為核函數(shù);αi是二次規(guī)劃問題所求的Lagrange乘子,每一個(gè)訓(xùn)練樣本對應(yīng)一個(gè)αi,根據(jù)Kuhn-Tucker條件知,只有一少部分αi不為零,所對應(yīng)的樣本就是支持向量;C為懲罰因子,它控制的是訓(xùn)練錯(cuò)誤率與模型復(fù)雜度間的折中。

式中,b*是一個(gè)閾值。f(x)為SVM對于樣本 x的輸出,其值的正負(fù)表示其歸屬哪一類,由該式可看到那些αi=0的樣本對分類沒有任何作用,只有那些αi>0的樣本對分類起作用。

針對戰(zhàn)場多目標(biāo)識(shí)別問題,需要的是多類分類器,本文采用1-a-1(One-against-one)算法,即每兩類樣本設(shè)計(jì)一個(gè)SVM分類器,這種算法簡單,訓(xùn)練時(shí)間短。

2.2 核函數(shù)參數(shù)對SVM性能的影響

本文選用徑向基函數(shù)(RBF)作為SVM分類器的核函數(shù)。對于一個(gè)基于RBF核函數(shù)的SVM,其性能是由參數(shù)(C,σ)決定的,選取不同的C和σ就會(huì)得到不同的SVM[8]。C的作用是控制對錯(cuò)分樣本的懲罰程度,C的取值小表示對錯(cuò)分樣本的懲罰程度小,分類面較簡單。這時(shí)學(xué)習(xí)機(jī)器的經(jīng)驗(yàn)誤差相對較大。如果C無窮大,則所有的約束條件都必須滿足,這就意味著所有訓(xùn)練樣本都要準(zhǔn)確地分類。這樣,將導(dǎo)致分類面復(fù)雜,算法復(fù)雜度高,所需時(shí)間較長。因此對C值的選取要結(jié)合實(shí)際應(yīng)用,在滿足分類準(zhǔn)確率的情況下取盡可能小的值來獲得比較簡單的判決函數(shù)。而核參數(shù)σ的改變實(shí)際上是隱含地改變映射函數(shù)從而改變樣本數(shù)據(jù)子空間分布的復(fù)雜程度,即線性分類面的最大VC維[9-10],也就決定了線性分類達(dá)到最小誤差。σ取值過小,所有的樣本都將成為支持向量,故而造成對新樣本的測試時(shí)間長,并且會(huì)產(chǎn)生“過度擬合”現(xiàn)象;當(dāng)σ很大時(shí),SVM的性能也會(huì)非常差,它對新樣本的正確分類能力幾乎為零,將把所有樣本都判為同一類;當(dāng)σ選取較好,支持向量的個(gè)數(shù)明顯減少,并且此時(shí)分類器對新樣本的正確判別能力有很大提高。

2.3 改進(jìn)的網(wǎng)格搜索最佳參數(shù)選擇算法

雖然用這種方法最終能找出最優(yōu)化參數(shù),但是其復(fù)雜度高,運(yùn)算量大。

為了減少運(yùn)算量,作為網(wǎng)格搜索法的一種改進(jìn),本文將最佳參數(shù)(C,σ)的選擇分三步完成:

1)采用大的變步長,使最優(yōu)參數(shù)的搜索在一個(gè)較大的范圍內(nèi)進(jìn)行,實(shí)驗(yàn)中搜索范圍取:

在這個(gè)大的粗搜索范圍內(nèi)得到識(shí)別率最高的C1opt、σ1opt值。

2)先固定C=C1opt,使σ在σ1opt附近采用較小的步長,在一個(gè)較小的范圍內(nèi)進(jìn)行更細(xì)致的搜索,取:

選出識(shí)別率最高的σ2opt;

3)再固定σ=σ2opt,使C在C1opt的附近采用較小的步長,在一個(gè)小的范圍內(nèi)進(jìn)行精細(xì)的搜索,取:

選出識(shí)別率最高的C2opt,至此(C2opt,σ2opt)即為所選的最優(yōu)參數(shù)組合。

3 分類實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)利用小波能量譜的特征提取方法對實(shí)測的6類戰(zhàn)場目標(biāo):直升機(jī)、汽車、戰(zhàn)斗機(jī)、無人機(jī)、坦克、巡航導(dǎo)彈的噪聲信號(hào)提取特征向量,分別采用3種分類器:KNN分類器、改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)分類器和SVM分類器進(jìn)行分類識(shí)別,得出分類結(jié)果,并根據(jù)實(shí)驗(yàn)結(jié)果分析比較3種分類器的分類性能。

本文所用的樣本數(shù)據(jù)為:直升機(jī)220個(gè)樣本,汽車325個(gè)樣本,戰(zhàn)斗機(jī)39個(gè)樣本,無人機(jī)477個(gè)樣本,坦克502個(gè)樣本,巡航導(dǎo)彈40個(gè)樣本。實(shí)驗(yàn)采用“交叉驗(yàn)證”(cross validation)的測試方法,這種方法能夠充分利用樣本提供的信息,彌補(bǔ)樣本數(shù)量不足的缺陷,并可以防止過擬合的問題。將所有特征向量樣本均勻分成3組(F1,F 2,F3),樣本劃分情況如表2所示。

表2 交叉驗(yàn)證測試樣本劃分情況Tab.2 Division method of the cross validation samples

并按以下步驟做3次測試:

第一次測試:訓(xùn)練集:F 1+F2,測試集:F 3;

第二次測試:訓(xùn)練集:F1+F 3,測試集:F2;

第三次測試:訓(xùn)練集:F2+F 3,測試集:F1。

每次測試的正確識(shí)別率按下面公式計(jì)算:

3種分類器的識(shí)別結(jié)果如表3所示。

表3 不同分類器的目標(biāo)識(shí)別率Tab.3 Classification accuracy of different classifiers

由分析表3的分類結(jié)果可知,基于小波能量譜法提取的特征是有效的,3種不同的分類器總的識(shí)別率都達(dá)到了84%以上。在本實(shí)驗(yàn)中,改進(jìn)BP神經(jīng)網(wǎng)絡(luò)分類器的識(shí)別效果好于KNN分類器,SVM分類器的效果最好。進(jìn)一步說明了文中提出的改進(jìn)的網(wǎng)格搜索SVM分類器最佳參數(shù)選擇算法可以有效地減少SVM分類器的運(yùn)算量,改進(jìn)學(xué)習(xí)性能并提高識(shí)別率。

4 結(jié)論

本文以實(shí)測戰(zhàn)場目標(biāo)輻射噪聲信號(hào)為研究對象,采用小波能量譜特征提取方法提取各類目標(biāo)的特征向量,設(shè)計(jì)了一種改進(jìn)的網(wǎng)格搜索SVM分類器,對比實(shí)驗(yàn)結(jié)果表明改進(jìn)后的SVM分類器從實(shí)用性和分類效果上都好于KNN分類器和改進(jìn)的BP網(wǎng)絡(luò)分類器,良好的實(shí)驗(yàn)結(jié)果說明了改進(jìn)的網(wǎng)格搜索優(yōu)選SVM參數(shù)算法的有效性。在實(shí)際應(yīng)用中,需要足夠量的模式樣本來提取目標(biāo)類的特征,若樣本數(shù)量太少,將使分類器的性能降低,并最終影響識(shí)別率,如本實(shí)驗(yàn)中戰(zhàn)斗機(jī)和巡航導(dǎo)彈的樣本量較少,識(shí)別率比其他類別目標(biāo)就低一些。

[1]陳虎虎,鐘方平.基于支持向量機(jī)的低空飛行目標(biāo)聲識(shí)別[J].系統(tǒng)工程與電子技術(shù),2005,27(1):46-48.CHEN Huhu,ZHONG Fangping.Acoustic recognition of low-altitude flight targets by SVM[J].Systems Engineering and Electronics,2005,27(1):46-48.

[2]Vapnik V N.The nature of statistical learning theory[M].New York:Springer Verlag,1995.

[3]Chapelle O,Vapnik V.Choosing multiple parameters for support vector machines[J].Machine learning,2002,46(1/2/3):131-159.

[4]Mallat S.A theory for multiresolution signal decomposition:the wavelet representation[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1989,11(7):674-693.

[5]孫繼祥.現(xiàn)代模式識(shí)別[M].長沙:國防科技大學(xué)出版社,2002.

[6]Buges,C J C.A tutorial on support vector machines for pattern recognition[J].Data mining and knowledge discovery,1998,2(2):121-167.

[7]鄧乃揚(yáng),田英杰.數(shù)據(jù)挖掘中的新方法:支持向量機(jī)[M].北京:科學(xué)出版社,2004.

[8]林升梁,劉志.基于RBF核函數(shù)的支持向量機(jī)參數(shù)選擇[J].浙江工業(yè)大學(xué)學(xué)報(bào),2007,35(2):163-167.LIN Shengliang,LIU Zhi.Parameter selection in SVM with RBF kernel function[J].Journal of Zhejiang University of Technology,2007,35(2):163-167.

[9]WU Kuoping,WANG Shengde.Choosing the kernel parameters for support vector machines by the inter-cluster distance in the feature space[J].Pattern Recognition,2009,42(5):710-717.

[10]王睿.關(guān)于支持向量機(jī)參數(shù)選擇方法分析[J].重慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,24(2):36-38.WANG Rui.Method analyse about support vector machins parameter[J].Journal of Chongqing Normal U-niversity,2007,24(2):36-38.