面向高光譜圖像的高斯-稀疏子空間聚類算法

龍詠紅

（廣東工業(yè)大學應用數(shù)學學院，廣東廣州510520）

高光譜圖像（HSI）的每個像素含有豐富且連續(xù)的光譜特征［1］。在圖像分類中，監(jiān)督分類是需要標記的訓練樣本，然而在高光譜圖像，訓練樣本是未知的。因此，在聚類任務中，應用更廣泛的是無監(jiān)督聚類，傳統(tǒng)的無監(jiān)督聚類方法有K-means聚類和模糊聚類、子空間聚類等。圖像分類的目的是為了更好地分割圖像中的目標事物，例如地面、樹、建筑等。面向高光譜圖像進行分類的算法層出不窮，如基于領域約束的［2］、基于新進化群的模糊聚類［3］、基于子空間聚類的［4-6］。然而，高光譜圖像是高維的數(shù)據(jù)，它包含從可見光到紅外波段的數(shù)百個相鄰的窄光譜波段。高維數(shù)據(jù)的多特征所帶來的高維詛咒會明顯降低算法的收斂速度［2］和圖像聚類的精度［7］。因此，很多研究高光譜聚類的學者提出各種改進的方法來緩解傳統(tǒng)算法應用在高維數(shù)據(jù)上的維數(shù)災難。在文獻［3］中，Ghamisi P等提出的進化模糊聚類算法，是結(jié)合分數(shù)階達爾文粒子群優(yōu)化［8］的模糊聚類，克服了高維數(shù)據(jù)問題所造成模糊均值聚類的收斂數(shù)據(jù)較慢和在具有多個局部最優(yōu)的復雜問題下，粒子群優(yōu)化算法可能會失敗的問題。然而這種進化的模糊聚類算法不包括高光譜圖像的空間和相鄰像素的上下文信息，只考慮光譜信息；在文獻［2］中，Li S提出的領域約束的聚類算法在聚類的過程中，利用領域均勻性指數(shù)度量空間信息并與光譜信息結(jié)合利用自適應距離標準進行聚類，領域約束克服了隨著領域空間的維度增加，領域的樣本數(shù)量也隨之增加，以及所涉及的計算成本也不斷增加的問題，同時這種方法再生成領域均勻性指數(shù)時需要足夠已有標簽的示例，往往在實際應用中，獲取足夠的標簽數(shù)據(jù)是困難的且耗費成本高。

在高維數(shù)據(jù)的聚類算法當中，子空間聚類是實現(xiàn)高維聚類的有效途徑。子空間聚類包含稀疏子空間聚類和低秩子空間聚類。然而，在聚類高光譜圖像時，稀疏子空間聚類算法聚類高光譜圖像時只利用到了圖像的譜信息，而忽視了圖像的空間信息，使得圖像分類的精度降低了。為了提高聚類精度，提取到更多的像素點信息，結(jié)合高光譜圖像的光譜信息與空間信息對圖像進行子空間聚類的研究方法不斷涌現(xiàn)［4-6］。

目前面臨的最大挑戰(zhàn)是如何克服高維問題和充分提取復雜的光譜信息和空間信息的聯(lián)系，實現(xiàn)高光譜圖像聚類精度的提高與聚類模型的魯棒性。面向高光譜圖像基于子空間聚類的算法聚類的關鍵是譜聚類，然而譜聚類的關鍵是構(gòu)建相似度矩陣。稀疏子空間聚類是由稀疏系數(shù)矩陣構(gòu)建相似度矩陣，只考慮到了每個像素點的光譜信息，卻忽略了它們之間的空間信息，而且稀疏子空間聚類的模型，只對像素點做了稀疏約束，忽略了它們之間的相似性，不能完全作為分組的依據(jù)。如前所述，為了充分提取更多的空間信息與光譜信息，我們在稀疏子空間聚類的基礎上，提出兩個新的構(gòu)建相似度矩陣的方法。方法的啟發(fā)來自文獻［4］，提出的一種計算稀疏系數(shù)矩陣列向量之間的余弦值與計算像素點之間的歐式距離來構(gòu)建譜聚類的相似度矩陣，利用了光譜信息與空間信息進行聚類，雖然聚類的精度相對經(jīng)典的聚類算法有所增長，但是增長幅度太低。首先，文獻［4］利用歐式距離來度量高維稀疏數(shù)據(jù)的相似性不是一個很好的選擇［9］，在計算相似度時不能完全搜索到像素間的空間上下文信息；其次，選擇的稀疏模型會被異常像素干擾。因此，我們在重新選擇子空間聚類模型的基礎上，清除了異常像素的干擾后，利用PCA提出像素點的主要特征，再由高斯核函數(shù)計算它們之間的相似性，可以搜索到高光譜圖像的空間上下文信息，最后構(gòu)造圖的相似度矩陣，利用譜聚類得到聚類結(jié)果。經(jīng)過大量實驗，本文算法較大程度地提高了高光譜圖像的分類精度。

1 相關工作

1.1 稀疏子空間聚類

稀疏子空間聚類高光譜數(shù)據(jù)是基于譜聚類完成的，它的基本思想是高維空間的像素數(shù)據(jù)可以在低維空間中進行稀疏表示，由凸優(yōu)化解得的稀疏表示構(gòu)建相似度矩陣，能更好地體現(xiàn)像素數(shù)據(jù)子空間的屬性，并且具有稀疏性，最后利用譜聚類得到聚類結(jié)果。

以下介紹稀疏子空間聚類的框架。為了減少異常像素點的干擾，我們重新選取稀疏子空間聚類的模型。文獻［10］提出了含噪聲與異常值的兩個稀疏子空間聚類模型，我們利用這兩種稀疏子空間聚類模型，獲得涵蓋大量光譜信息的稀疏系數(shù)矩陣。高光譜圖像的像素數(shù)據(jù)集IM×N×D是3維的，M、N、D分別是高光譜圖像的長、寬、波段，對像素I按波段D列化成MN×D的高光譜像素數(shù)據(jù)矩陣Y=｛y1，y2，…，yMN｝，yi∈RD。假設存在n個仿射子空間，每個仿射子空間的維數(shù)為，往往子空間的個數(shù)與維度是很難確定的，一般的，我們也是選取自身作為字典矩陣，并且取自表示的稀疏表示為零，避免自表示。實際應用的高光譜圖像，維度有100個波段以上，為了減少計算復雜度與運行時間，同時又能減少冗余的信息，在實驗前利用主成分分析（PCA）進行降維處理，把D個光譜特征提取出d（d≤D）個主成分特征，得到新的數(shù)據(jù)集矩陣 Z=（z1，z2，…，zMN），Z∈Rd×MN，由 Yan Q［4］的實驗結(jié)果可以看到，圖像中存在少量的被噪聲污染的像素，含噪聲模型可表示為

其中，C為稀疏系數(shù)矩陣，E為噪聲矩陣。

由式（1）通過凸優(yōu)化求得像素點的稀疏系數(shù)矩陣 C=［c1，c2，…，cMN］∈RMN×MN，然后標準化稀疏系數(shù)矩陣的每一列向量。

求解得到系數(shù)矩陣C后，由系數(shù)矩陣計算求得如下相似度矩陣

最后，數(shù)據(jù)的聚類結(jié)果由規(guī)范化分割算法對相似度矩陣W進行譜聚類獲得。

因此，稀疏子空間聚類是利用稀疏系數(shù)矩陣構(gòu)建譜聚類的相似度矩陣的。稀疏子空間的聚類算法步驟如下：

（1）輸入像素數(shù)據(jù)集 Y∈RMN×D，n 個子空間；

（2）根據(jù)稀疏子空間聚類模型（1），利用獲得的像素數(shù)據(jù)計算稀疏系數(shù)矩陣C；

（4）由C構(gòu)建譜聚類的相似度矩陣W=│cij│+│cji│；

（5）利用基于Normalized Cut準則的譜聚類得到聚類結(jié)果。

1.2 余弦-歐式相似度矩陣和余弦動態(tài)相似度矩陣

文獻［4］聚類高光譜圖像的主要思想是通過結(jié)合光譜信息與空間上下文信息構(gòu)造新的相似度矩陣，最后利用標準化分割聚類高光譜圖像，克服稀疏子空間聚類只考慮到了光譜信息而忽略了空間信息的問題。

面向高光譜圖像基于子空間聚類的算法關鍵步驟是光譜聚類，然而譜聚類的關鍵是構(gòu)建相似度矩陣。在SSC的基礎上，利用式（1）求得如下稀疏系數(shù)矩陣

稀疏系數(shù)矩陣 C=｛c1，c2，…，cMN｝，ci∈RMN，把 ci定義為稀疏表示向量［11］，是每個高光譜像素被其他像素線性表示系數(shù)，可以用它們的余弦值來度量HSI像素之間相似性，它攜帶了豐富的高光譜像素的光譜信息，同時求得的余弦值提取了高光譜圖像的空間結(jié)構(gòu)信息。假設ci和cj是數(shù)據(jù)zi與zj的稀疏表示向量。在理論上，若zi與zj相似，則可以認為稀疏表示向量也是相似的。獲得稀疏表示向量余弦值如下

其中，稀疏表示向量的余弦值是屬于［0，1］的。

只考慮高光譜像素的光譜信息，對于高光譜圖像聚類往往是不夠的，因此在提取像素的上下文信息上，Yan Q［4］是通過計算每個像素點的歐式距離來提取。高光譜像素間的距離公式為

并結(jié)合稀疏表示向量的余弦值構(gòu)造圖的相似度矩陣，定義為Cosine-Euclidean相似度矩陣，構(gòu)造模型為

高光譜圖像的形成受很多因素的影響，但是具體哪個因素影響嚴重我們不得而知，所以Yan Q［4］在以上想法基礎上再升華這一想法，給兩者加個動態(tài)權重，即

最后，通過譜聚類得到聚類結(jié)果。

2 PGKC算法

本文的想法源于文獻［4］，Yan Q提出稀疏表示向量的每一列代表著每個像素點被其他像素點的線性表示，可以用余弦角度來測量它們之間相似性，稀疏表示向量包含大量高光譜圖像的光譜信息，并結(jié)合像素點的歐式距離來提取每個高光譜像素點的空間信息，構(gòu)造了不同形式相似度矩陣。兩者的結(jié)合是光譜信息與空間信息的結(jié)合，最后通過譜聚類得到分類結(jié)果。實際應用中，高光譜遙感影像的每個像素點往往有著上百個光譜波段，這就意味著每個像素點有上百個特征，高維空間中數(shù)據(jù)較低維空間中數(shù)據(jù)分布要稀疏，其中數(shù)據(jù)間距離幾乎相等是普遍現(xiàn)象，因此在高維空間中無法基于距離來構(gòu)建高光譜像素的相似度，更重要的是，Yan Q選擇計算稀疏表示向量的模型受異常像素樣本的影像干擾，使得提取的光譜信息不充分，從而導致聚類精度偏低。

2.1 PGKC算法框架的構(gòu)建

本文利用以上稀疏模型，求出包含大量光譜信息的稀疏系數(shù)矩陣，在文獻［4］的基礎上構(gòu)造兩種相似度矩陣，利用高斯核函數(shù)計算經(jīng)過特征提取后的像素點的相似度，克服了在高維數(shù)據(jù)中利用歐式距離度量稀疏像素點的相似性是幾乎失效的問題，同時也簡化了計算，減少了計算的成本。在給定懲罰項條件下，結(jié)合稀疏系數(shù)矩陣的稀疏向量余弦值與像素點間的相似性構(gòu)建譜聚類的相似度矩陣。

相比一般的利用歐式距離來計算兩像素點的相似性，往往核函數(shù)用的更廣泛，我們利用高斯核函數(shù)來度量兩個像素點的相似性，能夠提取出更高的空間結(jié)構(gòu)信息。任意取兩個像素點zi和zj，它們的高斯函數(shù)的相似性度量為

顯然，Qij屬于［0，1］的范圍，是度量像素間相似度的不錯選擇，再結(jié)合像素點稀疏表示向量的余弦值，構(gòu)造的相似度矩陣可以表示為

其中，cosij是由式（4）計算得到的。為了滿足譜聚類中無向圖的相似度矩陣的對角元素為零的條件，這里取對角為零，并且。

最后將構(gòu)建的相似度矩陣應用在標準化分割的譜聚類上，可以得到圖像的聚類結(jié)果，本文將以上聚類算法命名為PGKC算法。

本文主要的特色可以分為兩點：首先利用主成分分析提取出像素點的最大的特征信息，篩選出冗余信息，再用高斯核函數(shù)計算出每個像素點的相似性，克服了在高維數(shù)據(jù)中，直接利用歐式距離度量稀疏像素點的相似性是幾乎失效的問題；更深遠的，PGKC模型計算出的相似度矩陣中攜帶了大量光譜信息與空間信息，從而提高了高光譜圖像的聚類精度。

PGKC的算法步驟如下：

輸入：HSI：I∈RM×N×D，n 類別；

（1）將 3-維的 HSI像素數(shù)據(jù)集轉(zhuǎn)換成 2-維的數(shù)據(jù)集 Y=｛y1，y2，…，yn｝∈RMN×D；

（2）利用 PCA 提取 HSI像素的最大特征信息，得到新的 HSI像素數(shù)據(jù)集為 Z=｛z1，z2，…，zd｝∈RMN×d；

（3）根據(jù)稀疏子空間聚類模型（1），利用獲得的像素數(shù)據(jù)計算稀疏系數(shù)矩陣C；

（5）由式（4）和（8）分別求出稀疏表示向量的余弦值cosij與Qij高斯核函數(shù)；

（6）利用式（9）計算像素的相似度矩陣WPGKC；

（7）最后利用基于Normalized Cut準則的譜聚類得到聚類結(jié)果。

輸出：HSI像素的聚類結(jié)果。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

我們通過大量實驗來證明本文提出的方法比其他先進的方法聚類高光譜圖像的性能更好。以K-means、稀疏子空間聚類［10］（SSC）和模糊聚類［12］（FCM）、先進算法的 CE 和 CEDW［4］這 5 種聚類算法作為本文實驗基準。

實驗部分，我們選取兩個高光譜數(shù)據(jù)集Pavia University影像和Pavia Centre影像作為實驗數(shù)據(jù)集，可以在網(wǎng)址（http://alweb.ehu.es/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes）上下載。Pavia University是610×610的像素影像，有103個光譜波段，它的地面真值有9個不同的類別。Pavia Centre是1 096×1 096的像素影像，它的地面真值有8個不同的類別。Pavia University和Pavia Centre地面真值如圖1所示，Pavia University影像和Pavia Centre影像的基本特征如表1所示。

圖1 Pavia University影像和Pavia Centre影像的地面參考圖

表1 Pavia Centre和Pavia University每個類別的樣本數(shù)量

3.2 評價指標

利用 kappa系數(shù)（KC）、總體精度（OA）、用戶精度（UA）、制圖精度（PA）、平均聚類精度（AA）［13］來評價本文方法聚類高光譜圖像的性能，并和傳統(tǒng)的聚類方法K-means、FCM［12］、SSC［10］以及最近提出的CE與CEDW［4］進行比較。SSC方法的代碼可以通過網(wǎng)址（http://vision.jhu.edu/code/）查詢。

3.3 實驗結(jié)果分析

3.3.1 Pavia Centre影像的實驗結(jié)果分析

首先，我們的算法用于Pavia Centre影像，實驗運行的結(jié)果與K-means、稀疏子空間聚類（SSC）、模糊聚類（FCM）、CE和CEDW這些算法進行比較分析。從圖2可以看到這些方法對Pavia Centre影像的聚類效果，可以清晰地看到我們的算法PGKC的可視圖要比這5種算法的聚類效果要更好、更具體，在類別 Water、Self-Blocking Bricks、Bitumen、Tiles、Shadows、Meadows上的可視圖要更接近地面真值。本文提出的算法和其他算法的聚類性能評價分析如表2所示，我們利用總體精度與平均精度、kappa系數(shù)來評價算法的聚類性能；從表2中我們可以看到本文算法應用在Pavia Centre影像上聚類精度kappa系數(shù)、總體精度與平均精度達到最大值，它的總體分類精度（OA）達到了最高為87.33%，對應的Kappa系數(shù)分別為0.846 8。相比算法CE和CEDW分別增長了38.66%和26.35%，KC分別增長了0.443 5和0.317 8。

圖2 5種算法與PGKC算法在Pavia Centre影像上實現(xiàn)的聚類結(jié)果圖

表2 Pavia Centre scene數(shù)據(jù)集的總體精度和平均精度、Kappa系數(shù)

更細節(jié)的，從表3可以看到每個類別的聚類精度分布情況，其中類別Water、Self-Blocking Bricks、Bitumen、Tiles、Shadows、Meadows應用我們算法的制圖精度較其他5種算法的在相應類別的聚類精度相對要高，有的類別達到了 100%。其中類別 Water、Self-Blocking Bricks、Bitumen、Tiles、Shadows、Meadows根據(jù)我們提出的算法PGKC獲得的制圖精度與地面參考圖是幾乎相符合的。

表3 Pavia centre數(shù)據(jù)集中每個類別的用戶精度與制圖精度

續(xù)表

我們提出的算法相對5種聚類算法的聚類精度是最高的，增加的精度也是顯著的。聚類效果比5種算法優(yōu)越的原因主要是由于我們的算法在最開始就對HSI像素數(shù)據(jù)進行了特征提取，刪除了冗余的信息，同時在接下來的實驗當中選擇的稀疏模型可以避免異常像素的干擾，使得用于后面的實驗計算中不僅可以利用稀疏表示向量的余弦值度量像素的光譜相似性，而且可以利用高斯核函數(shù)度量像素的空間相似行，所以我們的算法充分利用到了HSI像素豐富的光譜信息與空間信息。

3.3.2 Pavia University影像的實驗結(jié)果分析

緊接著，將我們的算法應用在Pavia University影像上。我們的算法PGKC與5種算法聚類的Pavia University影像的視覺效果圖可以從圖3看到。我們可以清晰地從表4看到，本文PGKC算法在Self-Blocking Bricks上的制圖精度（PA）是最高的，在Shadows的用戶精度達到100%。最后，從表5看到，我們提出的算法總的聚類精度OA和Kappa系數(shù)是最高的，分別為62.30%、0.510 6，而算法K-means、CE和SSC的OA是最低的，分別為48.60%和51.15%、51.24%。我們提出的算法是提高了在算法SSC和CE的精度，這是由于SSC算法只考慮了HSI像素的光譜信息卻沒有考慮到它們的空間信息，而CE算法雖然光譜信息與空間信息都考慮到了，但是CE算法包含的空間信息較弱。

相對的，PGKC算法較CE和CEDW算法OA增長了11.92%和11.05%，KC增長了0.193 9和0.104 8。這說明我們的算法比算法CE和CEKW要優(yōu)秀，明顯減少了算法CE和CEDW的錯誤率。我們的算法得到了最好的視覺效果圖和更高的聚類。特別的Pavia University影像中類別Self-Blocking Bricks精度相對其他方法得到大幅度提高，如表4所示。因此，KC、AA和OA值證實我們提出的算法聚類性能比其他算法要更好。

圖3 5種算法與PGKC算法在Pavia University影像上實現(xiàn)的聚類結(jié)果圖

表4 Pavia University數(shù)據(jù)集的每個類別的用戶精度與制圖精度

表5 Pavia University數(shù)據(jù)集的總體精度和平均精度、Kappa系數(shù)

4 結(jié)語

本文在文獻［4］的基礎上做了一個提升，在SSC模型和利用HSI的空間信息兩個方面做的提升之后，選擇可以避免異常像素干擾的稀疏模型求得的稀疏表示向量度量像素的光譜相似性，減少了錯誤分類率；然后利用特征提取后像素的高斯核函數(shù)度量空間相似性。在此基礎上，提出一種構(gòu)造相似度矩陣的方法，這種方法充分利用到了高光譜像素的光譜相似性和空間相似性，克服了算法CE和CEDW中異常像素干擾造成分類錯誤偏高的問題和利用空間信息的不足，增強了圖的鄰接矩陣的連通性，從而提高了分類精度。經(jīng)過大量實驗證明，相比其他先進的算法，本文提出的算法應用在Pavia Centre和Pavia University兩個影像上，實現(xiàn)了更好的性能。