一種多源遙感影像非監(jiān)督分類方法中的欠分割對象檢測與拆分算法

毛婷，唐宏

(1.北京師范大學(xué) 遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100875；2.北京師范大學(xué) 環(huán)境遙感與數(shù)字城市北京市重點(diǎn)實(shí)驗(yàn)室，北京 100875)

0 引言

隨著遙感技術(shù)的發(fā)展，當(dāng)前對地觀測平臺可以提供小至幾厘米大到幾千米的多樣化空間分辨率的遙感數(shù)據(jù)以滿足不同空間覆蓋范圍和幾何精度需求的對地觀測任務(wù)。很多遙感衛(wèi)星可以同時獲取高空間分辨率的全色影像和高光譜分辨率的多光譜影像，如Ikonos、QuickBird、WorldView-2、WorldView-3、Pleiades，以及國產(chǎn)天繪衛(wèi)星、資源三號、高分一號、高分二號等衛(wèi)星[1]。但是由于衛(wèi)星傳感器在設(shè)計(jì)時有固定的信噪比[2]，觀測目標(biāo)必須具備一定的信號級別才能被傳感器識別。提高觀測信號級別有兩種方式，一是增大收集信號的瞬時視場角，二是擴(kuò)大收集信號時的光譜范圍，前者會導(dǎo)致空間分辨率的降低，后者會導(dǎo)致光譜分辨率的降低。換言之，同一遙感衛(wèi)星獲取的全色影像和多光譜影像在地表細(xì)節(jié)刻畫能力以及地物類別識別能力之間存在互補(bǔ)：全色影像具有較高空間分辨率，對地物紋理信息、幾何結(jié)構(gòu)等有較強(qiáng)的提取能力，尤其是對幾何特征明顯的人造地物有較強(qiáng)識別能力，其缺點(diǎn)是光譜分辨率低，因此對光譜相近的地物區(qū)分能力差；而多光譜影像具有較高光譜分辨率，對地物類型區(qū)分能力較高，但較低的空間分辨率導(dǎo)致其對地物細(xì)節(jié)提取能力較差。如何綜合利用全色和多光譜影像二者優(yōu)勢進(jìn)行地表覆蓋制圖是一個廣受關(guān)注的問題。

當(dāng)前基于全色和多光譜影像進(jìn)行分類的方法主要有3種：基于數(shù)據(jù)融合技術(shù)的先銳化后分類的方法[3-4]、基于超分辨率制圖技術(shù)的先分類后銳化的方法[5]，以及基于面向?qū)ο蠓诸惣夹g(shù)的先分割后分類的方法。其中大部分方法采取“分而治之”的策略，簡單靈活且各有優(yōu)勢，其缺點(diǎn)是分類結(jié)果受銳化、解混及分割技術(shù)影響較大。Mao等[6]基于層次狄利克雷過程常見構(gòu)建方式，即中餐館連鎖模型[7]，利用2個隨機(jī)過程來理解基于全色影像的分割及利用多光譜影像的分類過程，提出廣義中餐館連鎖模型(generalized Chinese restaurant franchise，gCRF)用于全色影像和多光譜影像的非監(jiān)督分類并取得較高分類精度。其缺點(diǎn)在于：由于全色影像光譜分辨率的限制，使得廣義中餐館模型中得到的分割結(jié)果易出現(xiàn)欠分割現(xiàn)象，從而降低最終分類精度。本文對gCRF中的欠分割對象進(jìn)行檢測并對檢測出的欠分割對象進(jìn)行拆分，得到更適宜于分類的中間語義分割體來改善最終分類結(jié)果。

1 廣義中餐館連鎖模型

較傳統(tǒng)中餐館連鎖模型只能應(yīng)用于單一數(shù)據(jù)而言，gCRF將中餐館連鎖模型中的2個隨機(jī)過程推廣用于解釋全色影像和多光譜影像的概率生成過程，分別從全色影像中得到語義分割體并利用多光譜影像對該語義分割體進(jìn)行聚類，充分利用了全色影像高空間分辨率和多光譜影像高光譜分辨率的優(yōu)勢進(jìn)行分類。本章先對gCRF用于全色和多光譜影像非監(jiān)督分類的原理進(jìn)行介紹，然后分析其存在的欠分割問題。

1.1 融合全色和多光譜影像的非監(jiān)督分類

gCRF有如下隱喻：假設(shè)有多個餐館共享一個菜單，有兩批顧客分別用“白色超顧客”和“彩色超顧客”來表示。對于每個餐館，首先某個白色超顧客進(jìn)入餐館，根據(jù)正比于桌子上已有的超顧客人數(shù)的概率選擇一個桌子，或是以先驗(yàn)概率選擇一個新的桌子入座；待所有白色超顧客入座完畢后，所有白色超顧客由其對應(yīng)的彩色超顧客來替代，每個桌子上的菜由彩色超顧客來決定，選擇哪個菜正比于該道菜在所有餐館中已經(jīng)被點(diǎn)過的次數(shù)，或者也可以依據(jù)先驗(yàn)概率選擇一個新的菜。gCRF及遙感影像分類詞匯之間的對應(yīng)關(guān)系如表1所示。

表1 gCRF和遙感影像分類詞匯對照表

gCRF融合全色和多光譜影像進(jìn)行分類的示意圖如圖1所示，詳見文獻(xiàn)[6]。gCRF通過選桌子和選菜[6]2個隨機(jī)過程，分別實(shí)現(xiàn)基于全色影像獲取語義分割體及基于多光譜影像為語義分割體分配類別標(biāo)簽：

1)選桌子。選桌子階段每個白色超顧客根據(jù)公式(1)選擇桌子，其中符號表示在該集合/統(tǒng)計(jì)量中不考慮其后下標(biāo)表示的個體，如：T表示去除第i個餐館第j個白色超顧客的統(tǒng)計(jì)后桌子的集合。

(1)

(2)

式中：γ為先驗(yàn)參數(shù)。

2)選菜。在所有白色超顧客都入座后，用與之對應(yīng)著同樣地理位置的彩色超顧客對之進(jìn)行替代，換言之，每個桌子上彩色超顧客負(fù)責(zé)為該桌子點(diǎn)菜。即對于基于全色影像的超像素得到的每個語義分割體，用相同地理位置的多光譜影像的超像素值基于下式確定其聚類類別：

(3)

圖1 gCRF融合全色和多光譜影像分類示意圖[6]

1.2 存在的問題

全色影像較之于多光譜影像而言具有更高空間分辨率，可以提供更多地物的細(xì)節(jié)信息，因此在gCRF中用它來得到語義分割體。而全色影像光譜分辨率較低，相對多光譜影像而言“同譜異物”的現(xiàn)象更多，導(dǎo)致其在區(qū)分地物類別時能力較弱。在全色影像光譜值相近時gCRF桌子選擇階段得到的語義分割體會出現(xiàn)類別混淆的情況，即一個分割體內(nèi)部包含大于一種地物類別，也就是“欠分割”現(xiàn)象。由于每個分割體分類時會被賦予一個類別標(biāo)簽，因此在后續(xù)分類過程中包含多種地物類別的欠分割對象會導(dǎo)致較低的分類精度，且欠分割對象造成的分類誤差是無法被糾正的[8]。本文針對gCRF存在的欠分割問題，對其中間分割結(jié)果中的欠分割對象進(jìn)行檢測并將其拆分為包含同一地物的較小的分割體，以提高模型最終分類精度。

2 欠分割對象的檢測及拆分

針對gCRF模型在基于全色影像獲取語義分割體時候存在的欠分割問題，本文提出了分割體異質(zhì)性指標(biāo)以篩選出包含2個及以上地物類別的分割體，即欠分割對象；對于欠分割對象引入基于多光譜影像獲取的語義分割體來提供邊緣信息對其進(jìn)行拆分，得到更為準(zhǔn)確的分割圖以供后續(xù)分類。

2.1 基于異質(zhì)性指標(biāo)的欠分割檢測

全色影像的高空間分辨率一方面使得其可以提供地表覆蓋更豐富的空間細(xì)節(jié)信息，另一方面，其較低的光譜分辨率會導(dǎo)致其對地表類型的識別能力較之多光譜而言較弱，因此更容易出現(xiàn)誤將不屬于同一個地物的像素劃分至一個分割體中的“欠分割”現(xiàn)象。為找出潛在的欠分割對象，基于以下假設(shè)，本文提出分割體異質(zhì)性指標(biāo)：①合格的分割體內(nèi)部應(yīng)只包含一種地物，其內(nèi)部的超像素兩兩光譜距離較??；②欠分割對象內(nèi)部包含2種及2種以上地物，其內(nèi)部超像素兩兩光譜距離較大。本文用多光譜影像4個波段像素值的均值msj=(msj，1，msj，2，msj，3，msj，4)作為第j個超像素的特征，其中msj，b為第j個超像素中所有像素第b個多光譜波段的光譜均值。本文定義第t個分割體的異質(zhì)性指標(biāo)(heterogeneous index，HI)如下：

(4)

式中：St表示第t個分割體內(nèi)包含的所有超像素的集合；i，j為超像素編號。

由于不同類別的觀測值光譜差異較大，因此對于不同類別的分割體欠分割檢測設(shè)置不同閾值?；陬悇e的欠分割對象的檢測方式如下：首先，統(tǒng)計(jì)當(dāng)前圖像中第k個類別的異質(zhì)性指標(biāo)HI的閾值thresholdk，認(rèn)為該類別下HI大于thresholdk的語義分割體更有可能包含多種地物，將其歸于“欠分割對象”。第k個類別的閾值thresholdk定義為：

thresholdk=mean(HIk)+ratio*std(HIk)

(5)

式中：HIk表示當(dāng)前類別標(biāo)簽為k的所有語義分割體的異質(zhì)性指標(biāo)的集合，在本文2個研究區(qū)的實(shí)驗(yàn)中ratio均根據(jù)經(jīng)驗(yàn)設(shè)為1.5。對于每個語義分割體，首先根據(jù)上次迭代的分類結(jié)果判斷其大致類別k(賦予該分割體其內(nèi)部像素個數(shù)最多的類別的標(biāo)簽)，比較該語義分割體的HI是否大于該類別下的閾值thresholdk，若大于該閾值則判斷其為欠分割對象。

2.2 欠分割對象拆分

對于檢測出的欠分割對象，基于多光譜影像得到的分割體邊界作為其拆分依據(jù)并對欠分割體進(jìn)行拆分。

1)獲取欠分割對象拆分依據(jù)。由于多光譜影像空間分辨率較較低，一方面，直接利用多光譜影像得到語義分割體較之基于全色影像得到的分割體具有較少的空間細(xì)節(jié)信息，另一方面，其豐富光譜信息有助于區(qū)分不同地物。因此在gCRF利用全色影像獲取語義分割體的同時，利用相同的方式基于多光譜影像獲取分割體，并基于多光譜影像得到的分割體來提供邊緣信息對gCRF中全色影像的語義分割體中的欠分割對象進(jìn)行拆分。多光譜影像的語義分割體獲取同公式(1)、公式(2)，將其中的全色影像數(shù)據(jù)替換為相應(yīng)多光譜影像數(shù)據(jù)，即：

(6)

(7)

式中：γ′為先驗(yàn)參數(shù)。

2)欠分割對象拆分。根據(jù)公式(6)、公式(7)基于多光譜影像獲取的語義分割體可作為欠分割對象的拆分依據(jù)。對于基于HI所提取出的欠分割對象，根據(jù)其內(nèi)部多光譜影像語義分割體的邊界將其分為多個小的分割體，拆分原理如圖2所示。由于多光譜影像具有較高的光譜分辨率，可以更好地區(qū)分地物類別，根據(jù)多光譜影像所獲取的分割體可以提供較之全色影像更為準(zhǔn)確的分割體邊界，因此通過拆分獲取的小的分割體欠分割現(xiàn)象可得到有效減少，能夠有效降低欠分割引入的后續(xù)分類誤差。

圖2 欠分割對象拆分示意圖

2.3 改進(jìn)后模型算法

改進(jìn)后模型用于全色和多光譜影像分類算法流程圖如圖3所示。包括：

1)預(yù)處理。利用易康軟件基于全色影像得到超像素，并對多光譜影像進(jìn)行上采樣使之與全色影像具有相同的空間分辨率；利用同樣的劃分方式將全色和多光譜影像劃為多個子圖像，具體見文獻(xiàn)[6]。

2)模型推導(dǎo)。改進(jìn)模型在gCRF每次模型選擇桌子和選擇菜的過程中引入欠分割對象的檢測和拆分，改進(jìn)后每次模型迭代過程如下：

①獲取語義分割體(選桌子)：根據(jù)公式(1)、公式(2)獲取全色影像的語義分割體，根據(jù)公式(6)、公式(7)獲取多光譜影像的語義分割體。

②欠分割對象檢測及拆分：首先利用計(jì)算每個語義分割體的異質(zhì)性指標(biāo)HI及每類的閾值，選擇出欠分割對象，繼而對欠分割對象進(jìn)行拆分，得到更適宜于分類的分割體，具體見第2節(jié)內(nèi)容。

③獲取語義分割體的類別標(biāo)簽(選菜)：根據(jù)公式(3)，利用多光譜影像為拆分后的全色影像的語義分割體分配類別標(biāo)簽。

3)分類。采樣收斂后，利用最大后驗(yàn)概率估計(jì)得到最終分類結(jié)果。

圖3 改進(jìn)后的gCRF模型算法流程圖

3 實(shí)驗(yàn)結(jié)果和討論

3.1 數(shù)據(jù)和評價方法

本文選擇2個研究區(qū)進(jìn)行實(shí)驗(yàn)：研究區(qū)1為中國北京密云郊區(qū)天繪1號衛(wèi)星影像，全色影像大小為1 200像素×1 200像素，分辨率為2 m，多光譜影像分辨率為10 m；研究區(qū)2為中國徐州城鎮(zhèn)區(qū)域資源3號衛(wèi)星影像，全色影像大小為1 000像素×1 000像素，分辨率為2.1 m，多光譜影像分辨率為5.8 m，2個研究區(qū)影像及地表真實(shí)值見圖4。

圖4 數(shù)據(jù)及地表真實(shí)值

作為模型中間結(jié)果，分割體質(zhì)量直接影像最終分類精度。分割體評價指標(biāo)采用“區(qū)域重疊標(biāo)準(zhǔn)(overlap criteria，OC)”[8]，計(jì)算公式為：

(8)

式中：Ri表示真實(shí)標(biāo)定的區(qū)域；Sj表示分割結(jié)果中的分割區(qū)域；OC越大表征分割結(jié)果越好。此外，采用Kappa系數(shù)、總體熵分類結(jié)果進(jìn)行評價[9]。其中，Kappa系數(shù)可能取值為0～1，Kappa越大表示分類精度越高?？傮w熵(overall entropy，OE)可用來評價分割體聚類結(jié)果與地表真實(shí)分類之間的一致性，總體熵越小，分類結(jié)果越好。本文基于2個研究區(qū)，比較改進(jìn)后算法相對于改進(jìn)前性能是否提升。此外，還與gCRF原文獻(xiàn)對比方法中分類精度較高的實(shí)驗(yàn)結(jié)果[6]進(jìn)行對比，即基于SVM的監(jiān)督分類方法，包括：對全色銳化后(Gram-Schmidt)的影像采用監(jiān)督SVM進(jìn)行分類的方法(SVM_GS_PIX)、基于全色影像的分割體利用SVM進(jìn)行分類的方法(SVM_MS_SEG)，gCRF的對比方法及其結(jié)果參考文獻(xiàn)[6]。

3.2 定性評價

算法改進(jìn)前后2個研究區(qū)的分類結(jié)果分別見圖5和圖6。圖7為算法改進(jìn)前后2個研究區(qū)分割結(jié)果對比。以研究區(qū)1(郊區(qū))為例，改進(jìn)后的分類結(jié)果相對于改進(jìn)前而言既保留其細(xì)節(jié)，又通過減輕模型中間分割結(jié)果的欠分割問題而改善算法最終分類結(jié)果，分類圖中其準(zhǔn)確程度略遜于利用全色銳化后影像基于像素采用SVM的分類方法，但后者“椒鹽”效應(yīng)較為明顯；研究區(qū)1影像中改進(jìn)后算法分類結(jié)果亦優(yōu)于SVM_MS_SEG的方法，因后者的分類精度直接受輸入的分割體以及基于分割體所提取的特征影響，這里僅采用了多光譜影像光譜值的均值作為每個分割體的特征，因此分類精度較差。表2為研究區(qū)1影像中算法改進(jìn)前后分割及分類結(jié)果局部對比圖。區(qū)域1中，改進(jìn)前模型由于全色影像水和植被灰度值接近，因此中間分割結(jié)果中誤將部分水和植被分為同一個分割體，導(dǎo)致最終分類效果不佳；改進(jìn)后模型通過對欠分割對象的檢測和拆分克服了這一問題，得到的分類結(jié)果更加接近地表真實(shí)值；此外，區(qū)域2中，改進(jìn)前算法中間分割體圖中的部分道路和建筑誤分為一個分割體，此處誤分同樣在改進(jìn)后算法結(jié)果中得以避免，最終得到更接近地表真實(shí)類別的分類結(jié)果。同樣，對于城區(qū)影像而言，改進(jìn)后gCRF目視檢查來看要優(yōu)于gCRF及其他方法，見圖6。

圖5 算法改進(jìn)前后分類結(jié)果(研究區(qū)1)

圖6 算法改進(jìn)前后分類結(jié)果(研究區(qū)2)

圖7 算法改進(jìn)前后分割體圖

表2 算法改進(jìn)前后分割及分類結(jié)果局部對比(研究區(qū)1)

3.3 定量評價

針對2個研究區(qū)，算法改進(jìn)前后以及其他對比方法中間分割評價指標(biāo)區(qū)域重疊指標(biāo)(overlap criteria，OC)、分類結(jié)果定量評價指標(biāo)Kappa系數(shù)、總體熵(OE)見表3和表4。對于研究區(qū)1而言，改進(jìn)后，算法中間結(jié)果(分割結(jié)果)區(qū)域重疊指數(shù)由0.79提高到0.85，分割質(zhì)量得到改善；此外，算法改進(jìn)后，Kappa系數(shù)增大，總體熵減小，表示改進(jìn)后算法針對該研究區(qū)的最終分類質(zhì)量得以提高。對于Kappa 系數(shù)和 OE而言，定量比較結(jié)果與目視檢查結(jié)果一致，改進(jìn)后算法結(jié)果除略差于SVM_GS_pix后，優(yōu)于其他3種方法；同樣，改進(jìn)后針對資源3號衛(wèi)星城鎮(zhèn)區(qū)域的影像(研究區(qū)2)實(shí)驗(yàn)結(jié)果相對于改進(jìn)前算法在OC、Kappa系數(shù)以及OE都得到改善，且Kappa系數(shù)和OE要優(yōu)于其他對比方法(除了OE略低于SVM_GS_pix的OE)，證明改進(jìn)后算法分類性能較好且相對于改進(jìn)前算法得到有效提升且基本優(yōu)于所選基于SVM的分類方法。

表3 算法改進(jìn)前后定量評價(研究區(qū)1)

表4 算法改進(jìn)前后定量評價(研究區(qū)2)

綜上，無論從定量還是定性角度，改進(jìn)后算法相對改進(jìn)前分類算法得到有效提升，且媲美甚至優(yōu)于監(jiān)督的SVM分類方法。

4 結(jié)束語

本文針對gCRF模型中融合全色和多光譜影像的分類方法中存在的欠分割問題，提出欠分割對象的檢測和拆分方法，具體包括：提出基于多光譜影像的異質(zhì)性指標(biāo)HI，基于多光譜影像引入欠分割體拆分依據(jù)，并基于拆分依據(jù)對檢測出的欠分割對象進(jìn)行拆分。通過欠分割對象的檢測與拆分來提高gCRF模型中間結(jié)果即語義分割體精度以提高模型最終分類精度，并經(jīng)由實(shí)驗(yàn)證明改進(jìn)方法的可行性和優(yōu)越性。本文提出的對欠分割對象的檢測和拆分方法也可推廣到其他圖像分割算法，進(jìn)一步提高分割和面向?qū)ο蠓诸惤Y(jié)果的精度。此外，本文對欠分割對象進(jìn)行識別異質(zhì)性指標(biāo)定義僅基于多光譜影像光譜值，在今后研究中可以引入如紋理等其他特征進(jìn)行更精確的檢測和識別。