目標(biāo)回聲分類特征的冗余性評價

張風(fēng)珍，李桂娟，彭 圓，牟 林

(水下測控技術(shù)重點實驗室，遼寧 大連 116013)

目標(biāo)回聲分類特征的冗余性評價

張風(fēng)珍，李桂娟，彭 圓，牟 林

(水下測控技術(shù)重點實驗室，遼寧 大連 116013)

對目標(biāo)回聲分類特征的冗余性進(jìn)行評價與分析。對于2個特征維之間的冗余性，采用基于特征間線性相關(guān)系數(shù)作為冗余性度量，通過特征的相關(guān)系數(shù)矩陣分析了特征維之間的冗余度。此外，本文提出了基于特征協(xié)方差矩陣近零特征值的冗余性度量，據(jù)此可以進(jìn)一步分析特征組內(nèi)部的多維組合冗余。最后，利用以上2種冗余性度量，對5種目標(biāo)回聲分類特征各自的冗余性以及它們合并后總特征的冗余性進(jìn)行了評價與分析，明確了其中的冗余關(guān)系，為目標(biāo)回聲分類特征的優(yōu)選和組合應(yīng)用提供了重要依據(jù)。

回聲特征;特征冗余;相關(guān)系數(shù);協(xié)方差矩陣

0 引言

在水中目標(biāo)的聲吶回聲中，蘊涵著目標(biāo)類別屬性信息，可以通過一定的信號處理方法提取回聲分類特征，從而實現(xiàn)對水中目標(biāo)的分類。因為水中環(huán)境復(fù)雜，目標(biāo)類別眾多，目前掌握的特征難以完備表達(dá)水中目標(biāo)的類別屬性，所以許多研究者紛紛通過增加水下目標(biāo)的特征量以求改善識別效果。這時，各種特征如何進(jìn)行組合或搭配以提高分類效果，就成了要關(guān)心的問題。

由同一信號提取的不同回聲特征，可以看作相同信號的不同映射，因此往往存在冗余性。冗余特征不但對提高分類能力沒有作用［1］，還會增加系統(tǒng)的復(fù)雜性，因此有必要對特征冗余性進(jìn)行評價和分析并去除冗余，提高目標(biāo)回聲特征的利用效果。傳統(tǒng)的特征選擇研究主要集中在尋找相關(guān)的特征，雖然一些最近的研究指出了特征冗余的存在和影響，但是幾乎沒有直接針對特征冗余的研究工作。為此，本文從多角度評價和分析了多種回聲特征的冗余性，為特征的優(yōu)化和組合應(yīng)用提供了重要依據(jù)。

文中的特征維是指多維特征的1個維度，特征組是指幾個特征維度的組合，而某種回聲特征表示根據(jù)某種算法提取的多維分類特征。

1 特征之間的冗余性

在模式分類問題中，特征冗余通常意義上可以理解為某個特征維的加入并不能提高或改善原特征組的可分性。這其中包含2層含義:一是該特征維本身不具有可分性，也就是所謂的無關(guān)特征，它對于任何特征來說均是冗余的;二是該特征維雖然具有可分性，但與其他特征維或特征組在統(tǒng)計上具有關(guān)聯(lián)性，屬于重復(fù)統(tǒng)計量，所以具有統(tǒng)計關(guān)聯(lián)的特征之間也是冗余的。

以上對特征冗余性的描述顯然不夠嚴(yán)格。下面是1種基于馬爾可夫毯［2－3］的特征冗余性定義:

給定特征維Fi，對于特征組Mi?F(Fi?Mi)，如果Mi滿足

則稱Mi是關(guān)于Fi的1條馬爾可夫毯。

在上述定義中，Mi不僅包含了特征維Fi與類別C之間的相關(guān)信息，也包含了特征維Fi與其他所有特征維之間的相關(guān)信息。對于特征F，如果其特征子集G中存在關(guān)于特征維Fi的馬爾可夫毯，就可以將Fi從G中去除。

對于特征F中的一個特征維Fi，如果存在F的一個特征子集Mi形成關(guān)于該特征的馬爾可夫毯，則該特征是冗余的。

由于在實際目標(biāo)回聲特征分類問題中，特征的取值概率密度函數(shù)是未知的，所以上述定義中關(guān)于是否存在馬爾可夫毯的計算變得十分困難。因此，需要變換角度對特征冗余性進(jìn)行度量與評價。

在特征冗余的2種情況中，無關(guān)特征可以采用基于 Relief［4］、信息熵［5］等算法的特征選擇直接去除，而對于具有一定可分性的統(tǒng)計關(guān)聯(lián)冗余特征來說，則需要進(jìn)行專門的度量與評價，才能明確其冗余關(guān)系。所以，本文的重點是度量和評價目標(biāo)回聲特征的統(tǒng)計關(guān)聯(lián)冗余性。

2 冗余性評價度量

從特征值統(tǒng)計關(guān)聯(lián)角度來度量特征的冗余，需要從2個特征維之間的冗余性和多特征維之間的冗余性2方面來考慮。

2.1 2個特征維的冗余性度量

對于2個特征維的簡單情況，可以認(rèn)為它們的特征值統(tǒng)計關(guān)聯(lián)性越大，其冗余度越高，當(dāng)完全關(guān)聯(lián)時，2個特征維之間就是完全冗余的。因此，在特征訓(xùn)練樣本集的基礎(chǔ)上，可以采用統(tǒng)計學(xué)中的線性相關(guān)系數(shù)r作為特征維X和特征維Y之間冗余性的評價度量。線性相關(guān)系數(shù)公式為:

其中:X和Y為2個特征維;x—和y—為特征維均值;n為樣本總數(shù);SX和SY為標(biāo)準(zhǔn)差:

rXY的取值范圍為［－1，1］，rXY的絕對值越大，就表示特征維X和Y之間的線性關(guān)聯(lián)度越高，即冗余度越大。

對于特征集合，可以采用如下的相關(guān)系數(shù)絕對值矩陣來分析其中2個特征維之間的冗余性:

式中:R為對稱矩陣;rij為特征維i與特征維j的相關(guān)系數(shù)絕對值。

需要注意的是，當(dāng)不同特征維的量綱和取值相差很大時，數(shù)值大的特征維對相關(guān)系數(shù)的影響要大于其他特征維，這可能給冗余性評價帶來偏差。因此，特征取值在量級上最好是相當(dāng)?shù)摹?/p>

2.2 特征組合的冗余性度量

特征的統(tǒng)計關(guān)聯(lián)冗余性不只存在于2個特征維之間，而且還可能存在于多個特征維之間，這類似于多個向量之間的線性相關(guān)，即在域F上的線性空間V中的1組有限個向量 {α1，α2，…，αn}，如果對c1，c2，…，cn∈F，當(dāng)且僅當(dāng)c1=c2=…=cn=0時等式

成立，則稱向量組 {α1，α2，…，αn}線性無關(guān)，否則稱為線性相關(guān)。若向量組{α1，α2，…，αn}線性相關(guān)，則其中至少有1個向量αi是其余向量αi(k≠i)的1個線性組合:

如果把特征F的每個特征維Fi視作向量αi，那么對于訓(xùn)練樣本集來說，多個特征維之間可能存在如下的線性相關(guān):

這時，特征組合 (F1，F(xiàn)2，…，F(xiàn)n)內(nèi)部就存在冗余。如果此時特征組合中并不存在2個特征維統(tǒng)計相關(guān)的情況，那么就應(yīng)該有2個以上的特征維存在多維組合冗余。多維組合冗余比2個特征維之間的冗余性更復(fù)雜，可以采用如下的方法來度量:

對于n維特征F=(F1，F(xiàn)2，…，F(xiàn)n)，其協(xié)方差矩陣為:

其中，σij為特征維Fi和Fj的協(xié)方差。如果協(xié)方差矩陣Σ的最小特征值接近于0，那么就有

其中，λn為協(xié)方差矩陣的最小特征值;γn為協(xié)方差矩陣關(guān)于λn的特征向量;μ為特征的均值向量。由式(9)可得

由于上式中的特征向量 γn=(γn1，γn2，…，γnn)T是非0向量，所以(F－μ)T=(F*1，F(xiàn)*2，…，F(xiàn)*n)之間是近似線性相關(guān)的。這就意味著，中心化后的原始特征之間存在多維組合冗余。

相對于2個特征維之間的線性相關(guān)系數(shù)，通過特征樣本協(xié)方差矩陣特征值可以進(jìn)一步發(fā)現(xiàn)特征中的多維組合冗余信息。所以結(jié)合2種度量方法，可以對特征的冗余性進(jìn)行更加細(xì)致的評價與分析。

3 目標(biāo)回聲特征的冗余性評價

主動聲吶的目標(biāo)回波中包含有目標(biāo)的類別屬性信息，可以通過提取回波的特征來表征其類別。從目標(biāo)回波信號的時域、頻域、聽聞域等不同角度，使用不同的信號分析和處理算法提取得到5種目標(biāo)回聲分類特征，用來區(qū)分水中的艦艇目標(biāo)和非艦艇目標(biāo)。5種目標(biāo)回聲分類特征分別記為特征1、特征2、特征3、特征4和特征5。其中每種特征均是多維特征，每種特征的樣本數(shù)都是672個。

下面首先分別對每種特征進(jìn)行各自的冗余性評價，然后對5種特征合并后的組合特征進(jìn)行冗余性評價。

3.1 特征各自的冗余性

1)2個特征維之間的冗余性

對于每種回聲特征，首先根據(jù)訓(xùn)練樣本集計算特征的線性相關(guān)系數(shù)絕對值矩陣?？梢酝ㄟ^觀察矩陣的直方圖來初步了解其中2個特征維冗余的情況。例如，19維的特征3的線性相關(guān)系數(shù)絕對值矩陣如圖1所示。

圖1 特征3的相關(guān)系數(shù)絕對值矩陣Fig.1 Correlation coefficient modulus matrix of feature－3

在圖1中，除了主對角元素以外，其他等于1或接近1的元素就表明所對應(yīng)的特征維之間存在完全的或較強(qiáng)的冗余性。

對于每種特征，下面分別從特征線性相關(guān)系數(shù)絕對值矩陣的元素最大值rmax、最小值rmin、均值rmean以及大于某一閾值δ=0.9的元素個數(shù)Nδ＞0.9(主對角元素除外)來分析其冗余。5種特征的各自冗余情況如表1所示。δ＞0.9的特征組表示其中任2個之間線性相關(guān)系數(shù)絕對值均大于0.9的特征維的組合。

表1 各特征的相關(guān)系數(shù)統(tǒng)計信息Tab.1 Correlation coefficient statistic of each feature

表1中關(guān)于相關(guān)矩陣的統(tǒng)計信息給出了5種回聲分類特征各自的冗余情況以及相關(guān)系數(shù)絕對值在0.9以上的特征維組合?？傮w來說，特征1中沒有明顯的冗余，特征5中具有較高的冗余度，其余3種特征中存在冗余，但數(shù)量上較少。而且，特征3中的(2，13)和特征5中的(1，2)屬于完全相互冗余的特征維。

2)特征的多維組合冗余

下面使用特征協(xié)方差矩陣的特征值度量，來進(jìn)一步分析5種目標(biāo)回聲分類特征各自的冗余性。

5 種特征各自的協(xié)方差矩陣特征值如圖2所示，由于不同特征值的數(shù)值差別較大，圖中采用常用對數(shù)值進(jìn)行表示。

圖2 各特征的協(xié)方差矩陣特征值Fig.2 Eigenvalues of each feature covariance matrix

由圖2可見，特征1的協(xié)方差矩陣有1個明顯的近0特征值，而其中又不存在兩特征維冗余，所以它存在多維組合冗余;特征2不存在多維組合冗余;特征3有2個明顯的近0特征值，而其中存在兩特征維冗余的特征組(2，6，7，13，15，16)的協(xié)方差矩陣只有1個近0特征值，所以其中還存在多維組合冗余;同樣情況，特征4也存在多維組合冗余;特征5的近0特征值顯然是由兩特征維的完全冗余引起的，所以其中不存在多維組合冗余。

以上使用2種特征冗余性度量方法，比較明確地得出了目標(biāo)回聲分類特征各自的冗余性信息。

3.2 特征合并后的冗余性

將5種目標(biāo)回聲分類特征合并為71維的總特征，其線性相關(guān)系數(shù)絕對值矩陣如圖3所示。

由總特征的相關(guān)矩陣可以看出，不同特征間的特征維相關(guān)系數(shù)絕對值均在0.75以下，所以使用不同算法提取到的回聲特征之間的統(tǒng)計關(guān)聯(lián)冗余性較小?？偺卣鏖g的協(xié)方差矩陣特征值如圖4所示。

圖3 總特征的相關(guān)系數(shù)絕對值矩陣Fig.3 Correlation coefficient modulus matrix of total feature

圖4 總特征的協(xié)方差矩陣特征值Fig.4 Eigenvalues of total feature covariance matrix

由此可見，合并后的總特征存在5個協(xié)方差矩陣近0特征值，這也是5種回聲特征各自協(xié)方差矩陣近0特征值的總個數(shù)。這意味著總特征中的多維組合冗余是5種特征各自引起的，也就是說5種回聲特征之間并沒有形成新的多維組合冗余。

綜合以上分析可知，不同目標(biāo)回聲分類特征之間不存在明顯的統(tǒng)計關(guān)聯(lián)冗余。

4 結(jié)語

從統(tǒng)計關(guān)聯(lián)冗余角度，本文對目標(biāo)回聲分類特征各自的冗余性以及組合后的冗余性進(jìn)行了度量與評價。采用2種基于特征樣本集的冗余性評價度量:特征之間的線性相關(guān)系數(shù)和特征協(xié)方差矩陣特征值。結(jié)合運用這2種方法可以對特征中的兩特征維冗余和多維組合冗余進(jìn)行評價與分析。據(jù)此對5種目標(biāo)回聲分類特征進(jìn)行分析處理，結(jié)果顯示各種特征各自本身存在不同程度的冗余性，而它們之間的冗余性都是比較小的。

［1］吉小軍，李世中，李霆.相關(guān)分析在特征選擇中的應(yīng)用［J］.測試技術(shù)學(xué)報，2001，15(1):15 －18.

JI Xiao-jun，LI Shi-zhong，LI Ting.Application of the correlation analysis in feature selection［J］.Journal of Test and Measurement Technology，2001，15(1):15 －18.

［2］BLUM A L，LANGLEY P.Selection of relevant features and examples in machine learning［J］.Artificial Intelligence，1997，245 －271.

［3］ALIFERIS C F，TSAMARDINOS I， STATNIKOV A.HITON:A novel markov blanket algorithm for optimal variable selection［R］.Nashville:Technical report DSL －03 －08，Vanderbilt University，2003.

［4］KIRA K，RENDELL L A.The feature selection problem:Traditional methods and a new algorithm［C］.Proceedings of Ninth National Conference on Artificial Intelligence，1992.

［5］李楊寰，高峰，李騰，等.特征選擇中信息熵的應(yīng)用［J］.計算機(jī)工程與應(yīng)用，2009，45(15):54 －57.

LI Yang-huan，GAO Feng，LI Teng，et al.Novel method for feature selection based on entropy［J］.Computer Engineering and Applications，2009，45(15):54 －57.

Redundancy evaluation of the target echo classification feature

ZHANG Feng-zhen，LI Gui-juan，PENG Yuan，MU Lin
(Key Laboratory of Science and Technology on Underwater Test and Control，Dalian 116013，China)

The redundancy evaluation and analysis of target echo classification feature set is studied.For the redundancy between two features，the linear correlation coefficient is used as the redundancy measure.And the feature redundancy can be analyzed via its correlation matrix.Moreover，the paper puts forward another redundancy measure which is based on the near-zero eigenvalue of the features covariance matrix.By this，we can further analyze the multi-feature redundancy within the feature subset.Then，the two before-mentioned redundancy measure are used to evaluate and analyze the redundancy of each five target echo classification feature set and the total features.And the redundancy situation between them is made clear，which provides important information for the selection and combination of the target echo classification feature set.

echo feature;feature redundancy;correlation coefficient;covariance matrix

TP192.4

A

1672－7649(2011)12－0085－04

10.3404/j.issn.1672－7649.2011.12.020

2011－01－17;

2011－03－08

張風(fēng)珍(1984－)，男，碩士研究生，從事水聲信號處理與目標(biāo)識別研究。

book=1,ebook=92