基于核光譜角余弦的高光譜圖像FLS－SVM分類算法

趙春暉，趙艮平

（哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱150001）

0 引 言

隨著光學(xué)遙感技術(shù)的發(fā)展，高光譜遙感無論在軍用或民用的各個(gè)領(lǐng)域中都發(fā)揮著越來越重要的作用。高光譜圖像分類是遙感圖像處理定量化和智能化發(fā)展的主要方面，目前比較成熟的分類方法是基于光譜統(tǒng)計(jì)分析的方法，包括監(jiān)督分類和非監(jiān)督分類。近幾年出現(xiàn)了一些遙感圖像分類的新方法，如基于神經(jīng)網(wǎng)絡(luò)的分類、基于小波分析的分類、基于分形技術(shù)的分類、模糊聚類、樹分類器等，但是分類過程仍然存在著如過學(xué)習(xí)、有限樣本、維數(shù)災(zāi)難等問題。在統(tǒng)計(jì)學(xué)習(xí)理論上發(fā)展而來的支持向量機(jī)（SVM）［1］是一種能有效解決非線性、過學(xué)習(xí)、局部極值、維數(shù)災(zāi)難等一系列難題的監(jiān)督分類算法，因而在高光譜圖像分類中被廣泛研究與應(yīng)用。LSSVM算法提出了用等式約束求解線性方程組，有效地改善了標(biāo)準(zhǔn)支持向量機(jī)中不等式約束下求解二次規(guī)劃的復(fù)雜計(jì)算過程，同樣也能取得良好的分類效果。但無論是標(biāo)準(zhǔn)SVM還是LS－SVM都不可避免地受到噪聲或是孤立點(diǎn)樣本對(duì)分類性能的影響。

引入模糊理論能夠有效改善這一缺點(diǎn)，應(yīng)運(yùn)而生的模糊支持向量機(jī)最關(guān)鍵的問題是模糊隸屬度函數(shù)的確定［2］。本文引進(jìn)核光譜角余弦作為一種高光譜圖像地物的相似性測(cè)度，以一種簡(jiǎn)單的方式利用這一測(cè)度實(shí)現(xiàn)對(duì)模糊隸屬度函數(shù)的構(gòu)造，繼而在LS－SVM基礎(chǔ)上實(shí)現(xiàn)了FLS－SVM算法。實(shí)驗(yàn)仿真結(jié)果表明FLS－SVM可有效改善LS－SVM的分類性能。

1 模糊最小二乘支持向量機(jī)算法

1.1 LS－SVM模型

設(shè)給定的訓(xùn)練樣本集S＝ ｛（x1，y1），…，（xl，yl）｝∈Rn，i＝1，2，…，l，yi∈［－1，1］。在非線性情況下通過引入變換φ，將樣本從輸入空間映射到一個(gè)高維特征空間。標(biāo)準(zhǔn)SVM二分類問題最終可歸結(jié)為求解下面的二次規(guī)劃：

其中ξi為松弛變量；C為懲罰因子。

將標(biāo)準(zhǔn)SVM中二次規(guī)劃約束條件變?yōu)榈仁?，且損失函數(shù)變?yōu)槎魏瘮?shù)，即為最小二乘支持向量機(jī)的數(shù)學(xué)描述形式。引入Lagrange算子αi，得到如下方程：

根據(jù)Mercer條件，存在映射φ和核函數(shù)K（·，·），使得K （xi，xj）＝φ（xi）φ（xj）。令L對(duì)變量w，b，ξi，αi的偏導(dǎo)數(shù)等于零，并將得到的等式代入式 （2），可得下列矩陣方程：

其中y＝［y1，…，yl］，Iv＝［1，…，1］；α＝［αi，…，αl］；K的中元素為Kij＝K （xi，xj）.i，j＝1，2，…，l。

求解矩陣方程（3），最后得到最小二乘支持向量機(jī)的函數(shù)估計(jì)為：

以上便是LS－SVM的數(shù)學(xué)求解描述模型。

1.2 FLS－SVM模型

為了解決SVM（包括LS－SVM）對(duì)噪聲及孤立點(diǎn)樣本同等對(duì)待而使分類性能降低的問題，Lin等將模糊隸屬度的概念引入SVM，模糊化輸入樣本集，提出了模糊支持向量機(jī) （FSVM）的概念［3］。同樣把這種模糊理念運(yùn)用到LS－SVM中，為每一個(gè)輸入樣本賦予一個(gè)模糊隸屬度，則模糊化訓(xùn)練樣本集為S＝｛（x1，y1，u1），…，（xl，yl，ul）｝，那么模糊化后的LS－SVM求解變換方程由式（3）變?yōu)椋?/p>

式（5）即為FLS－SVM的求解模型，也就是本文采用的算法形式。

2 模糊隸屬度函數(shù)

對(duì)于FSVM，或者是FLS－SVM，關(guān)鍵部分是模糊隸屬度函數(shù)的構(gòu)造。不同的隸屬度函數(shù)會(huì)對(duì)算法的處理結(jié)果以及算法實(shí)現(xiàn)的難易程度產(chǎn)生不同的影響。模糊隸屬度函數(shù)要求能夠?qū)ふ业揭环N可以客觀、準(zhǔn)確地表征系統(tǒng)中樣本存在的不確定性測(cè)度，而此前提是必須找到一種有效衡量相似性測(cè)度的物理量。以往的方法中常常利用距離這種相似性測(cè)度來對(duì)樣本與樣本或是樣本與類中心的差異性度量，從而設(shè)計(jì)不同的處理過程從不同角度構(gòu)造實(shí)現(xiàn)這種模糊性反映的函數(shù)式，即構(gòu)造出模糊隸屬度矩陣。由于高光譜數(shù)據(jù)多譜段的特性，即地物光譜信息用光譜向量來表示，如果總光照增加或減少這個(gè)向量的長(zhǎng)度會(huì)隨之相應(yīng)變化但是角度方向保持不變［4］。在多維光譜空間里，不同地物的光譜角度是不同的，那么角度會(huì)是一種很好的衡量光譜向量相似性或者說差異性的測(cè)度。光譜角度間的差異大小可以理解為其互相歸屬程度的大小，也是一種不確定性的表述。本文引入核光譜角余弦從向量方向的角度來表征樣本間相似性大小的不確定性，并以這一物理量來實(shí)現(xiàn)隸屬度函數(shù)的構(gòu)造。

1）從數(shù)學(xué)的角度考慮有其客觀性，因?yàn)楣庾V角余弦的范圍是0～1，這符合隸屬度的數(shù)值范圍要求。

2）上面分析的引入原因，也說明對(duì)光譜向量而言，光譜角余弦是一種相對(duì)于歐氏距離表征的亮度差異更為準(zhǔn)確的差異性測(cè)度。以上兩點(diǎn)也是對(duì)上文中提到的引入模糊技術(shù)改善分類性能的前提要求，做出的一個(gè)很好解釋。

3）本文提出的新的隸屬度函數(shù)構(gòu)造過程極其簡(jiǎn)單明了，它是相對(duì)于其他文獻(xiàn)中的方法在效率上更為可選的一種做法，而且也改善了分類效果。

2.1 核光譜角余弦表示

在支持向量機(jī)理論應(yīng)用中，如前文所述我們把原始輸入空間通過一種非線性映射φ，將x映射到特征空間里的φ （x），所有的分類過程在特征空間實(shí)現(xiàn)。而且因?yàn)楹撕瘮?shù)的特點(diǎn)，可以不必弄清這種非線性映射的具體形式，我們可以利用：

只要知道K （·，·）的具體表達(dá)式就能回避φ（x）的求解，實(shí)際上只需簡(jiǎn)單進(jìn)行輸入空間里樣本點(diǎn)積運(yùn)算。在特征空間里基于核的光譜向量角余弦表達(dá)式為：

將式 （6）帶入式 （7）則得到基于核的光譜角余弦表達(dá)式為：

本文選用經(jīng)典的、常用的高斯徑向基核函數(shù)：

不光考慮到其良好的非線性映射性能，而且因?yàn)橐蜃?（xi－xj）的存在形式，該核函數(shù)也是歐式距離的一種表示，體現(xiàn)了樣本在特征空間里光譜亮度差異，其次再與角余弦所實(shí)現(xiàn)的光譜向量方向表示相結(jié)合，很好地融合這兩方面的優(yōu)點(diǎn)來提高分類精度。將式 （9）帶入式 （8）得到高斯核下化簡(jiǎn)后的光譜角余弦：

2.2 光譜余弦值構(gòu)造隸屬度函數(shù)的過程

根據(jù)余弦角在主值區(qū)間上的單調(diào)遞減特性，余弦值越小 （大）夾角越大 （?。瑢?duì)于光譜向量間則說明二者越不相似 （越相似）。在現(xiàn)有的光譜向量之中，如果能找到最小和最大的光譜向量余弦值，當(dāng)新的光譜向量輸入時(shí)只要求其與已知類別的光譜向量角余弦，當(dāng)其超過最小、最大兩范圍界限時(shí)，可以明確賦予其0表示不屬于、1表示屬于，而位于之間的數(shù)值就是一種模糊不確定性的隸屬度值。

基于以上分析，首先計(jì)算各樣本間的光譜角余弦值，實(shí)際上計(jì)算K （xi，xj）即可。然后需要找出每一類地物中各訓(xùn)練樣本間最大和最小的余弦值，二分類中則找出4個(gè)值，2個(gè)大值max1，max2，2個(gè)小值min1，min2。在2個(gè)大值里找出較小的設(shè)為zmax，在2個(gè)小值里找出較大的設(shè)為zmin，這樣做是為了放寬對(duì)相似性的要求。若是余弦值＞zmax則認(rèn)為兩光譜向量方向差異很小判別為一類，隸屬度為1；若反之，余弦值＜zmin，則認(rèn)為兩光譜向量方向差異很大判別為不同類，隸屬度為0；除此之外，余弦值介于zmin和zmax之間的則隸屬度為與該余弦值相關(guān)的一個(gè)數(shù)值表示。鑒于以上的分析，要尋找一個(gè)函數(shù)表達(dá)式u＝f（cosθ）能讓隸屬度與角余弦一一對(duì)應(yīng)，這樣的函數(shù)表達(dá)式理論上應(yīng)該滿足以下條件：①定義域?yàn)椋?～1）時(shí)，值域?qū)?yīng)為 （0～1）；②在上述定義域區(qū)間單調(diào)遞增。

嚴(yán)格來說最好滿足f（0）＝0，f（1）＝1，但是由于這個(gè)函數(shù)是分段的隸屬度函數(shù)的一部分，所以對(duì)于定義域里的0、1兩點(diǎn)一般不會(huì)出現(xiàn)在這一部分，因此這個(gè)條件可不嚴(yán)格滿足。

根據(jù)以上限制條件可以找出很多符合的函數(shù)表達(dá)式，其中比較常用的有指數(shù)函數(shù)、對(duì)數(shù)函數(shù)和一些三角函數(shù)等。而且可以在這些函數(shù)形式上加以改動(dòng)，例如，可以引入可調(diào)參數(shù)來靈活改變函數(shù)的非線性性能從而調(diào)控分類性能。無論是哪種形式對(duì)分類結(jié)果都有一定的改善作用，只不過改善程度大小以及靈活性是不同的。綜上，可以選用模糊隸屬度矩陣為以下3種形式：

隸屬度函數(shù)Ⅰ：

其中可調(diào)參數(shù)滿足0≤d≤1；

隸屬度函數(shù)Ⅲ：）

3 實(shí)驗(yàn)結(jié)果及其分析

3.1 實(shí)驗(yàn)圖像

本文采用的是AVIRIS高光譜遙感圖像。該圖像取自1992年6月拍攝的美國(guó)印第安納州西北部印第安遙感試驗(yàn)區(qū)的一部分，它包含了農(nóng)作物和森林植被的混合區(qū)，圖像數(shù)據(jù)特點(diǎn)見表1。原始AVIRIS的220波段圖像第50、27、17波段作為RGB通道的假彩色圖像見圖1。實(shí)驗(yàn)采用LS－SVM和FLS－SVM算法對(duì)該高光譜遙感圖像進(jìn)行分類比較實(shí)驗(yàn)。實(shí)驗(yàn)中支持向量機(jī)均采用高斯型徑向基核函數(shù)K（xi，xj）＝exp（－（xi－xj）2／σ2）。

3.2 LS－SVM與FLS－SVM分類比較

為了驗(yàn)證本文提出的FLS－SVM分類算法的有效性，用LS－SVM和FLS－SVM分類算法對(duì)高光譜圖像上相同的3類地物 （監(jiān)督圖像里的2，3，10 3類地物）進(jìn)行分類。

表1 實(shí)驗(yàn)圖像數(shù)據(jù)特點(diǎn)Table 1 Characteristic of experimental image

圖1 實(shí)驗(yàn)圖像的假彩色圖像Fig.1 Pseudo－color image of experimental image

3.2.1 LS－SVM分類

在最優(yōu)參數(shù)對(duì)為（c，σ）＝（1 000，0.02）下，分類結(jié)果見表2，圖2為L(zhǎng)S－SVM分類仿真結(jié)果，總體精度用正確分類百分比pcc和Kappa系數(shù)給出。

表2 3類地物的分類精度Table 2 Classification accuracy of three objects

總體分類精度：pcc＝88.75%，Kappa＝82.72%。

3.2.2 FLS－SVM分類

在上述優(yōu)化參數(shù)固定的情形下，利用前文提出的模糊隸屬度構(gòu)造法，下面給出3種不同形式隸屬度函數(shù)選擇下，基于核光譜余弦角的FLS－SVM分類結(jié)果的pcc和Kappa值比較，見表3。

由表3可見，采用式Ⅲ作為隸屬度函數(shù)靈活性更高，此時(shí)的混淆矩陣見表4，圖3為FLS－SVM分類仿真結(jié)果，其中圖3（a）、圖3（b）分別為真實(shí)地物分布和仿真分類圖像。

表3 基于核的光譜余弦角的FLS－SVM分類結(jié)果Table 3 Classification results of FLS－SVM based on kernel spectral angel cosine ／%

表4 FLS－SVM的分類結(jié)果Table 4 Classification results of FLS－SVM

表3所示的是利用文中提出的隸屬度構(gòu)造方法實(shí)現(xiàn)FLS－SVM算法的結(jié)果，最好的效果（表4給出的）與LS－SVM分類結(jié)果相比較，分類總體精度有所提高，但程度不是特別大。原因是原始圖像的精度不高，AVIRIS圖像是從高空拍攝，其分辨率僅為20m×20m，像元混合的概率很大。另外還有一些其它如時(shí)令、天氣等客觀存在的原因，使得分類仍存在一定誤差。

4 結(jié) 語

對(duì)于傳統(tǒng)支持向量機(jī)分類結(jié)果受噪聲及孤立點(diǎn)樣本影響，而且存在不可分區(qū)域的狀況，模糊技術(shù)逐漸引起人們的重視繼而被廣泛應(yīng)用到SVM產(chǎn)生FSVM。而對(duì)于模糊理論，最核心的問題是解決模糊隸屬度函數(shù)的構(gòu)造。本文主要對(duì)隸屬度函數(shù)做了深入研究，在LS－SVM基礎(chǔ)之上，通過引入核光譜角余弦構(gòu)造隸屬度函數(shù)實(shí)現(xiàn)高光譜圖像FLS－SVM分類算法。經(jīng)實(shí)驗(yàn)仿真結(jié)果驗(yàn)證，該方法融合了高光譜數(shù)據(jù)在特征空間光譜亮度和光譜方向角度兩方面的信息為一體，提高了LS－SVM的抗噪聲能力，改善了分類性能，雖然改善程度不是很高，但是在處理同樣的實(shí)際問題中，F(xiàn)LS－SVM相對(duì)于LS－SVM更適合于未能完全揭示輸入樣本特性的情況。

［1］Vapnik V.Statistical learning theory［M］.New York：Wiley Springer，1998：146－175.

［2］張 英，蘇宏業(yè)，褚 健.基于模糊最小二乘支持向量機(jī)的軟測(cè)量建模［J］.控制與決策，2005，20（6）：620－624.

［3］Lin C F，Wang S D.Fuzzy support vector machines［J］.IEEE Trans on Neural Networks，2002，13（3）：466－471.

［4］趙春暉，喬 蕾.基于改進(jìn)的最小二乘支持向量機(jī)的高光譜遙感圖像分類［J］.應(yīng)用科技，2008，35（1）：44－47.

［5］張秋余，竭 陽，李 凱.模糊支持向量機(jī)中隸屬度確定的新方法 ［J］.蘭州理工大學(xué)學(xué)報(bào)，2009，35（4）：89－93.

［6］Lei Chen，Geng yang，Ying zhou Zhang，et al.Web services clustering using SOM based on kernel Cosine similarity measure［C］／／2ndInternational Conference and Engineering，2010.

［7］Shiqing Zhang.Speech emotion recognition based on fuzzy least squares support vector machines［C］／／Proceedings of the 7th World Congress on Intelligent Control and Automation，2008，1 299－1 302.

［8］Xiaowei Yang，Guang quan Zhang，Jie Lu，et al.A kernel fuzzy c－means clustering－based fuzzy support vector machine algorithm for classification problems with outliers or noises［J］.IEE Transacations on Fuzzy Ssystems，2011，19（1）：105－115.

［9］Liang Xu，Xiao Bo Zhang.Incorporating prior knowledge in a fuzzy least squares support vector machines model［C］／／Sixth International Conference on Natural Computation，2010，344－348.