聯(lián)合顯著性和多方法差異影像融合的遙感影像變化檢測(cè)

王譯著，黃 亮,2，陳朋弟，李文國(guó)，余曉娜

(1.昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明 650093；2.云南省高校高原山區(qū)空間信息測(cè)繪技術(shù)應(yīng)用工程研究中心，昆明 650093；3.昆明工業(yè)職業(yè)技術(shù)學(xué)院，昆明 650302)

0 引言

多時(shí)相遙感影像變化檢測(cè)是宏觀、動(dòng)態(tài)地監(jiān)測(cè)與分析地表變化的主要技術(shù)手段之一[1],該技術(shù)通過(guò)對(duì)遙感影像多次觀測(cè)并識(shí)別地表變化特征，得到前后地物的變化信息，進(jìn)而分析出各類(lèi)地物的性質(zhì)、位置、和范圍變化[1-2]。目前變化檢測(cè)在城市擴(kuò)張、農(nóng)業(yè)調(diào)查和災(zāi)害分析等領(lǐng)域得到廣泛應(yīng)用[3-4]。

隨著衛(wèi)星遙感影像分辨率不斷提高，影像中地物更加多樣和復(fù)雜，這對(duì)變化檢測(cè)方法提出了更高的要求[4]。目前根據(jù)是否分類(lèi)，可以將變化檢測(cè)方法分為兩種：分類(lèi)后比較法和直接比較法。分類(lèi)后比較法需對(duì)不同時(shí)相遙感影像獨(dú)立分類(lèi)，多次分類(lèi)誤差累計(jì)會(huì)導(dǎo)致變化檢測(cè)精度變低[5-6]，相比之下直接比較法簡(jiǎn)單易操作而得到廣泛應(yīng)用。差異影像構(gòu)建和變化區(qū)域提取是直接比較法的兩個(gè)關(guān)鍵步驟，二者直接決定了后續(xù)變化檢測(cè)的結(jié)果精度。其中，差異影像構(gòu)建是直接比較法的基礎(chǔ)和關(guān)鍵。目前，國(guó)內(nèi)外研究人員圍繞差異影像構(gòu)建進(jìn)行大量研究，取得了一定的成果。如文獻(xiàn)[7]和文獻(xiàn)[8]通過(guò)變化矢量分析(change vector analysis，CVA)構(gòu)建差異影像，然后分別使用機(jī)器學(xué)習(xí)方法和OTSU法對(duì)差異影像進(jìn)行處理得到最終的變化區(qū)域。采用CVA構(gòu)建差異影像只考慮了光譜特征，對(duì)“同物異譜”“異物同譜”較為顯著的高空間分辨率遙感影像易造成錯(cuò)檢和漏檢，難以得到很好的檢測(cè)結(jié)果；文獻(xiàn)[9]采用CVA得到各個(gè)尺度差異影像圖，然后引入模糊融合和兩種決策級(jí)融合方法進(jìn)行多尺度融合。但是該方法對(duì)融合的尺度選取的要求較高；文獻(xiàn)[10]建立一個(gè)鏈?zhǔn)侥Ｐ蛠?lái)表示光譜斜率差異(spectral gradient difference，SGD)模型，通過(guò)該SGD模型知識(shí)庫(kù)對(duì)遙感影像進(jìn)行變化檢測(cè)。采用SGD構(gòu)建差異影像不適合分析不同生長(zhǎng)時(shí)期的植被，同時(shí)需要大量的訓(xùn)練樣本；文獻(xiàn)[11]則將CVA和SGD加權(quán)融合構(gòu)造差異影像，然后采用OTSU方法獲得最終變化區(qū)域。融合CVA和SGD的差異影像構(gòu)造方法忽略了空間信息，因此“同物異譜”和“異物同譜”問(wèn)題仍未得到很好的解決。

綜上，CVA和SGD的方法僅考慮光譜和紋理特征，忽略了空間和對(duì)比度信息，對(duì)“同物異譜”和“異物同譜”的檢測(cè)精度不高，通過(guò)CVA和SGD加權(quán)融合獲取差異影像又容易將CVA和SGD引起的誤差累積，對(duì)尺度選取的要求較高。根據(jù)上述問(wèn)題，本文引入基于聚類(lèi)的聯(lián)合顯著性檢測(cè)技術(shù)(co-saliency)[14]，該技術(shù)不僅考慮了對(duì)比度信息和空間信息，同時(shí)綜合考慮了影像間的相關(guān)性信息。因此本文提出了一種聯(lián)合顯著性和多方法差異影像融合的多時(shí)相遙感影像變化檢測(cè)方法，該方法先分別采用CVA和SGD構(gòu)建差異影像；然后將差異影像進(jìn)行基于聚類(lèi)的聯(lián)合顯著性檢測(cè)[13-14]并進(jìn)行顯著性差異影像融合得到聯(lián)合顯著性圖；最后采用OSTU法閾值分割[16-17]和閉運(yùn)算處理得到變化影像，以期獲得更優(yōu)異的變化檢測(cè)結(jié)果。

1 研究方法

本文所提出方法的具體流程圖如圖1所示。

圖1 方法流程圖Fig.1 Flow chart of the method

主要包括以下步驟：①利用CVA和SGD算法分別對(duì)兩期遙感影像進(jìn)行差異影像構(gòu)造；②利用基于聚類(lèi)的聯(lián)合顯著性檢測(cè)方法的對(duì)比度信息和空間信息，對(duì)CVA和SGD構(gòu)建的差異影像進(jìn)行聯(lián)合顯著性檢測(cè)，分別得到兩幅差異影像的共同顯著區(qū)域，檢測(cè)結(jié)果可以認(rèn)為是CVA和SGD共同的變化區(qū)域；③利用兩幅差異影像的相關(guān)性，將CVA和SGD的聯(lián)合顯著性圖進(jìn)行融合得到聯(lián)合顯著性差異影像；④通過(guò)OTSU和閉運(yùn)算步驟處理聯(lián)合顯著性差異影像，得到最終的變化區(qū)域和未變化區(qū)域；⑤對(duì)變化檢測(cè)結(jié)果進(jìn)行定量評(píng)價(jià)。

如果兩幅遙感影像地物未變化，可認(rèn)為影像的顯著性相同，該技術(shù)充分考慮了對(duì)比度信息、空間信息和相關(guān)性信息。因此，通過(guò)將兩幅差異影像進(jìn)行聯(lián)合顯著性檢測(cè)，檢測(cè)結(jié)果可以認(rèn)為是CVA和SGD共同的變化區(qū)域，結(jié)果更具有魯棒性，在復(fù)雜場(chǎng)景中也能將顯著性變化目標(biāo)檢測(cè)出來(lái)[12-15]。

1.1 結(jié)合CVA和SGD的聯(lián)合顯著性差異圖構(gòu)建

設(shè)兩個(gè)時(shí)相T1和T2的遙感影像分別為G1和G2，則某一像素Xij的灰度值G1=[Xij1(T1)，Xij2(T1)，…，Xijn(T1)]T和G2=[Xij1(T2)，Xij2(T2)，…，Xijn(T2)]T，其中，n是計(jì)算過(guò)程中相互獨(dú)立的波段數(shù)，X是所對(duì)應(yīng)像元的灰度值。分別通過(guò)CVA和SGD構(gòu)建差異影像DCVA和DSGD，然后通過(guò)co-saliency技術(shù)獲取DCVA和DSGD的聯(lián)合顯著圖SCVA和SSGD，并通過(guò)將二者融合得到最終的差異圖DFusion，具體步驟如下：

1)構(gòu)建DCVA。計(jì)算G1和G2影像的變化向量ΔG，公式為：

(1)

然后計(jì)算G1和G2兩幅影像的變化強(qiáng)度‖G‖，公式為：

(2)

式中‖G‖為影像的變化強(qiáng)度，數(shù)值越大，表明該像素發(fā)生變化的可能性大；e為波段。本文采用4個(gè)波段的遙感影像數(shù)據(jù)，即在式(2)中，當(dāng)n=4時(shí)，DCVA=‖G‖。

2)構(gòu)建DSGD。SGD方法主要是通過(guò)計(jì)算光譜斜率空間，比較兩期遙感影像光譜斜率的強(qiáng)度差異來(lái)判斷地物是否發(fā)生了變化。假設(shè)遙感數(shù)據(jù)有n個(gè)波段，波段e與e+1(e≤n-1)之間的斜率g是：

(3)

式中：Re+1和Re分別為波段e+1和e的反射率值；ΔR(e,e+1)為Re+1和Re之間的差值；λe+1和λe為波段e+1和e的波長(zhǎng);Δλ為二者的差。

光譜斜率描述了兩個(gè)相鄰波段之間的趨勢(shì)。如果g(e,e+1)>0，這表明光譜值從波段e增加到e+1;相比之下，如果g(e,e+1)<0，則表明光譜值從波段e減小到e+1;如果g(e,e+1)=0，反射率保持不變，而更大的Δg(e,e+1)則表示兩個(gè)相鄰波段之間的變化更大。

光譜曲線的形狀用光譜梯度向量(spectral gradient vector，SGV)描述，當(dāng)采用4個(gè)波段遙感數(shù)據(jù)時(shí)，SGV將光譜信息從傳統(tǒng)的光譜空間投影到梯度空間，公式為：

A=[g(1,2),g(2,3),g(3,4)]T。

(4)

假設(shè)A1和A2分別是在時(shí)間T1和T2的一個(gè)像素的SGV，那么它們之間的差值ΔA可以計(jì)算為：

ΔA=A2-A1=[g2(1,2),g2(2,3),g2(3,4)]T-[g1(1,2),g1(2,3),g1(3,4)]T。

(5)

在式(5)中，DSGD等于ΔA的絕對(duì)值。作為基于SGD的變化幅度，較大的ΔA表示變化的可能性較高。在計(jì)算光譜梯度的變化幅度圖像后，建立特定的閾值來(lái)檢測(cè)變化和未變化區(qū)域。

3)基于co-saliency技術(shù)構(gòu)建SCVA和SSGD?；诰垲?lèi)的聯(lián)合顯著性檢測(cè)方法能構(gòu)建多特征的相關(guān)性，將遙感影像的對(duì)比度信息和空間特性檢測(cè)出來(lái)，如果一個(gè)地物在多張差異圖像上表現(xiàn)出很高的相似性，那么就可以被視為一個(gè)共同顯著性物體。具體步驟如下：

①分別輸入差異影像DCVA和DSGD。

②采用K均值聚類(lèi)方法分別將DCVA和DSGD分為K個(gè)聚類(lèi)，其中k代表某一聚類(lèi)。

③計(jì)算每個(gè)聚類(lèi)的對(duì)比度線索(ωc(k))和空間線索(ωs(k))，公式分別為：

(6)

(7)

式中：‖μk-μi‖2用于計(jì)算特征空間；ni為聚類(lèi)Ci中的像素?cái)?shù)量；N為輸入圖像中的像素?cái)?shù)；μk和μi為Ck和Ci類(lèi)中心；oj為輸入圖像Ij的中心；高斯核函數(shù)Υ用于計(jì)算像素zij和圖像中心oj的歐幾里得距離；方差σ2為輸入圖像的歸一化半徑；歸一化參數(shù)nk為Ck的像素?cái)?shù)；pij為輸入圖像Ij中的像素i；Nj為圖像Ij的第j個(gè)圖像像點(diǎn)；M為輸入圖像的數(shù)量；b(pij)為聚類(lèi)指數(shù)。

④通過(guò)式(8)融合對(duì)比度線索和空間線索，ωi(k)表示顯著性線索，公式為：

p(Ck)=Πωi(k)。

(8)

⑤通過(guò)式(9)獲得最終的顯著性效果圖，x為輸入圖像中的像素，公式為：

(9)

4)融合SCVA和SSGD構(gòu)建最終的差異影像DFusion。將SCVA和SSGD融合構(gòu)造差異影像DFusion。使用該方法對(duì)CVA和SGD的差異影像聯(lián)合進(jìn)行顯著性變化檢測(cè)，不僅包含了對(duì)比度信息和空間特性，而且檢測(cè)結(jié)果可以認(rèn)為是共同顯著的。

1.2 基于OTSU的差異影像分析

OTSU算法是按灰度特性將圖像分成背景和前景兩部分，方差作為灰度分布均勻性的度量，其值越大說(shuō)明構(gòu)成圖像兩部分差別越大，即類(lèi)間方差越大。任何混淆錯(cuò)分現(xiàn)象的發(fā)生均會(huì)導(dǎo)致錯(cuò)分概率變小，可將圖像中兩部分進(jìn)行最理想分開(kāi)。

將圖像的灰度范圍平均分為L(zhǎng)級(jí)，Ni表示第i灰度級(jí)的像素點(diǎn)數(shù)，像素點(diǎn)總數(shù)及其概率密度分布分別為：

(10)

(11)

將圖像分割成兩類(lèi)，目標(biāo)類(lèi)為C0={0,1,…,T}，背景類(lèi)為C1={T+1,T+2,…,L-1}，σ2為類(lèi)間方差，則最佳閾值T′滿足類(lèi)間方差最大，公式為：

σ2(T′)=max[σ2(T)]，0≤T≤L。

(12)

2 實(shí)驗(yàn)及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與精度評(píng)價(jià)

實(shí)驗(yàn)計(jì)算機(jī)的配置為英特爾酷睿i7-8700K和英偉達(dá)GTX 1050Ti 4G，實(shí)驗(yàn)過(guò)程由MATLAB2018b實(shí)現(xiàn)。本文選擇了昆明市呈貢區(qū)部分地區(qū)的GF-1遙感影像，遙感影像包含藍(lán)、綠、紅和近紅4個(gè)波段，獲取時(shí)間為2013年12月19日和2015年12月10日，將全色與多光譜數(shù)據(jù)融合后裁剪成3組數(shù)據(jù)，空間分辨率為2 m，大小分別為：243像素×396像素，301像素×526像素和296像素×405像素。

為了驗(yàn)證本文方法的有效性和可靠性，設(shè)計(jì)了5組對(duì)比實(shí)驗(yàn)，分別為CVA與OTSU結(jié)合的方法(CVA-OTSU)、SGD與OTSU結(jié)合的方法(SGD-OTSU)、卷積小波神經(jīng)網(wǎng)絡(luò)(convolutional-wavelet neural network，CWNN)[21]方法、模糊局部C均值聚類(lèi)(fuzzy local information C-means，F(xiàn)LICM)[22]方法和主成分分析(principal component analysis，PCA)與K均值(K-means)結(jié)合方法(PCA-Kmeans)[23]。

在精度評(píng)價(jià)方面，本文采用錯(cuò)檢率(false alarm，F(xiàn)A)[18]、漏檢率(missing alarm，MA)[18]、總體精度(overall accuracy，OA)[18]、Kappa系數(shù)[19]、和F-measure系數(shù)[20]來(lái)定量分析試驗(yàn)結(jié)果，同時(shí)采用直觀比較法定性評(píng)價(jià)。

FA表示實(shí)際為未變化的樣本被檢測(cè)成為發(fā)生變化的地物的樣本比例，公式為：

(13)

式中：FP為實(shí)際正確、變化檢測(cè)結(jié)果錯(cuò)誤的樣本；TN為實(shí)際錯(cuò)誤、變化檢測(cè)結(jié)果正確的樣本。

MA表示實(shí)際為發(fā)生變化的樣本被檢測(cè)為未變化的地物的樣本比例，公式為：

(14)

式中：FN為實(shí)際錯(cuò)誤、變化檢測(cè)結(jié)果錯(cuò)誤的樣本；TP為實(shí)際正確、變化檢測(cè)結(jié)果正確的樣本。

OA是所有的分類(lèi)正確的樣本數(shù)除以總得樣本數(shù)，公式為：

(15)

Kappa系數(shù)用于一致性檢驗(yàn)，其計(jì)算公式基于混淆矩陣，結(jié)果用于衡量分類(lèi)精度，代表著分類(lèi)與完全隨機(jī)的分類(lèi)產(chǎn)生錯(cuò)誤減少的比例，公式為：

(16)

(17)

式中PRE為理論檢測(cè)結(jié)果的一致率。Kappa值越高，代表檢測(cè)結(jié)果精度越高。

F-measure系數(shù)為算數(shù)平均數(shù)除以幾何平均數(shù)，其數(shù)值越大代表變化檢測(cè)的結(jié)果越好，公式為：

(18)

2.2 第一組試驗(yàn)結(jié)果

圖2為第一組影像變化檢測(cè)結(jié)果。圖2(a)和圖2(b)分別是2013年和2015年獲取的昆明市呈貢區(qū)部分地區(qū)GF-1號(hào)衛(wèi)星遙感影像；圖2(c)是目視解譯的變化參考影像；圖2(d)—(h)分別是影像通過(guò)CVA-OTSU，SGD-OTSU，CWNN，F(xiàn)LICM和PCA-Kmeans方法得到的變化檢測(cè)結(jié)果；圖2(i)是本文所提出的變化檢測(cè)方法。

(a)T1時(shí)相影像 (b)T2時(shí)相影像 (c)參考影像

根據(jù)表1，本文方法具有較高的OA系數(shù)、Kappa系數(shù)和F-measure系數(shù)，其中，OA系數(shù)達(dá)到94.02%，Kappa系數(shù)和F-measure系數(shù)均達(dá)到60%以上，F(xiàn)A系數(shù)僅為4.09%，精度明顯高于其他傳統(tǒng)的變化檢測(cè)方法。對(duì)比第一組數(shù)據(jù)結(jié)果(圖2)的視覺(jué)效果可得出，本文方法優(yōu)于其他傳統(tǒng)檢測(cè)方法，更接近于參考基準(zhǔn)影像。與參考影像相比，本文方法對(duì)植被有一定的錯(cuò)檢，主要原因?yàn)門(mén)1和T2時(shí)相原始影像的植被處在不同生長(zhǎng)時(shí)期，光譜特征不同，所以將植被錯(cuò)檢測(cè)為變化區(qū)域。

表1 第一組影像精度評(píng)價(jià)結(jié)果Tab.1 Accuracy evaluation of the first group image (%)

2.3 第二組試驗(yàn)結(jié)果

圖3為第三組影像變化檢測(cè)結(jié)果，圖3(a)和圖3(b)分別是2013年和2015年獲取的昆明市呈貢區(qū)部分地區(qū)GF-1號(hào)衛(wèi)星遙感影像；圖3(c)是目視解譯的變化檢測(cè)參考影像；圖3(d)—(h)分別是影像通過(guò)CVA-OTSU，SGD-OTSU，CWNN，F(xiàn)LICM和PCA-Kmeans方法得到的變化檢測(cè)結(jié)果；圖3(i)是本文所提出的變化檢測(cè)方法。根據(jù)表2，本文方法具有較高的OA系數(shù)、Kappa系數(shù)和F-measure系數(shù)，其中，OA系數(shù)達(dá)到99.01%，Kappa系數(shù)和F-measure系數(shù)均達(dá)到70%以上，F(xiàn)A系數(shù)僅為0.59%。明顯優(yōu)于其他傳統(tǒng)的變化檢測(cè)方法。對(duì)比第二組數(shù)據(jù)結(jié)果(圖3)的視覺(jué)效果可看出，本文方法更接近于參考影像，但是與參考影像相比本文方法未能將中間斜體建筑物檢測(cè)出來(lái)，所以漏檢率達(dá)到22%。主要原因是原始影像中的建筑物光譜不一致，T1原始影像為灰色，T2原始影像為深藍(lán)色，均相融于背景顏色，導(dǎo)致該建筑物漏檢。

(a)T1時(shí)相影像 (b)T2時(shí)相影像 (c)參考影像

表2 第二組影像精度評(píng)價(jià)結(jié)果Tab.2 Accuracy evaluation of the second group image (%)

2.4 第三組試驗(yàn)結(jié)果

圖4為第三組影像變化檢測(cè)結(jié)果，圖4(a)和圖4(b)分別是2013年和2015年獲取的昆明市呈貢區(qū)部分地區(qū)GF-1號(hào)衛(wèi)星遙感影像；圖4(c)是目視解譯的變化檢測(cè)參考影像；圖4(d)—圖4(h)分別是影像通過(guò)CVA-OTSU，SGD-OTSU，CWNN，F(xiàn)LICM和PCA-Kmeans方法得到的變化檢測(cè)結(jié)果；圖4(i)是本文所提出的變化檢測(cè)方法結(jié)果。

(a)T1時(shí)相影像 (b)T2時(shí)相影像 (c)參考影像

根據(jù)表3，本文方法具有較高的OA系數(shù)、Kappa系數(shù)和F-measure系數(shù)，其中，OA系數(shù)達(dá)到97.80%，Kappa系數(shù)和F-measure系數(shù)在60%左右，F(xiàn)A系數(shù)僅為1.35%。對(duì)比第三組數(shù)據(jù)結(jié)果(圖4)的視覺(jué)效果可看出，本文方法更接近于參考影像，錯(cuò)檢區(qū)域遠(yuǎn)少于其他傳統(tǒng)方法。但是與參考影像相比，本文方法將一些噪點(diǎn)錯(cuò)檢為變化區(qū)域，噪點(diǎn)可以后續(xù)形態(tài)學(xué)去除。

表3 第三組影像精度評(píng)價(jià)結(jié)果Tab.3 Accuracy evaluation of the third group image (%)

2.5 實(shí)驗(yàn)分析

傳統(tǒng)方法中，CVA-OTSU和SGD-OTSU方法僅僅考慮紋理和光譜特征，沒(méi)有考慮空間和對(duì)比度信息，所以有大量錯(cuò)檢和漏檢；根據(jù)文獻(xiàn)[6]和[21]，CWNN對(duì)合成孔徑雷達(dá)影像有較好的檢測(cè)結(jié)果，但對(duì)光學(xué)圖像的效果還有待提升；FLICM和PCA-Kmeans對(duì)于光譜信息更為復(fù)雜的高分辨率遙感影像還需要進(jìn)一步研究提升檢測(cè)精度。而本文方法不僅考慮光譜和紋理特征，而且結(jié)合對(duì)比度線索、空間線索和相關(guān)性線索較好地提升了變化檢測(cè)精度，尤其是本文方法的錯(cuò)檢率不足5%，證明了本文方法的檢測(cè)精度高和可行性，是一種效果優(yōu)異的變化檢測(cè)方法。

3 結(jié)論

1)為提高變化檢測(cè)實(shí)驗(yàn)精度，本文提出了一種聯(lián)合顯著性和多方法差異影像融合的多時(shí)相遙感影像變化檢測(cè)方法。本文方法較傳統(tǒng)方法不僅考慮光譜和紋理特征，而且結(jié)合對(duì)比度線索、空間線索和相關(guān)性線索更好地提升了變化檢測(cè)精度。

2)通過(guò)3組遙感影像數(shù)據(jù)實(shí)驗(yàn)，本文方法最終變化檢測(cè)OA分別為94.02%，99.01%和97.80%；Kappa系數(shù)分別為64.59%，73.19%和60.36%；F-measure系數(shù)分別為65.00%，71.80%和59.10%。與傳統(tǒng)方法相比具有更高的精度和可行性。

3)本文方法還存在將不同物候期植被和噪點(diǎn)誤檢為變化區(qū)域的問(wèn)題，深度學(xué)習(xí)方法能自動(dòng)提取影像特征，能減少上述問(wèn)題所帶來(lái)的影響，因此未來(lái)將開(kāi)展基于深度學(xué)習(xí)的變化檢測(cè)方法研究。