基于多尺度分割的高分辨率遙感影像鑲嵌線自動提取

溫銀堂， 王鐵柱， 王書濤， 王貴川， 劉詩瑜， 崔 凱

(燕山大學電氣工程學院河北省測試計量技術(shù)及儀器重點實驗室，秦皇島 066004)

0 引言

隨著我國航天事業(yè)的蓬勃發(fā)展，高分辨遙感影像憑借覆蓋范圍廣、包含信息豐富、周期性觀測等優(yōu)勢逐步走入大眾的視線，在城市規(guī)劃、搶險救災、生態(tài)環(huán)境監(jiān)測等方面發(fā)揮了重要作用[1]。由于衛(wèi)星相機視角限制，單景的遙感影像覆蓋范圍有限，難以展現(xiàn)大范圍地區(qū)的地物特征。為了獲取更大范圍、更加完整的高質(zhì)量遙感影像數(shù)據(jù)，通常需要將多景影像進行鑲嵌處理。遙感影像的鑲嵌，就是將從傳感器中獲取的兩幅或兩幅以上的遙感影像數(shù)據(jù)根據(jù)一系列的遙感技術(shù)手段拼接在一起，形成一整幅大范圍影像的過程[2]。鑲嵌線的提取是其中非常關(guān)鍵的一步，為避免因不同影像間的灰度差異產(chǎn)生明顯的接縫線，鑲嵌線不能直接橫穿建筑物、湖泊、農(nóng)田等地物區(qū)域。在遙感影像制作過程中，選擇合適鑲嵌線是消除接縫痕跡的重要手段[3]。

目前常用的商業(yè)軟件對于鑲嵌線的提取結(jié)果并不理想，不能有效避讓建筑物等明顯的地物目標[4]，無法滿足較高要求的鑲嵌任務，常常還需要人工進行多次編輯修改，耗費大量人力物力，使用算法提取最優(yōu)鑲嵌線仍然是研究難點?，F(xiàn)階段鑲嵌線提取方法主要可以分為3種，分別是基于影像重疊區(qū)域差異的方法[5]、基于輔助數(shù)據(jù)的方法[6]和基于形態(tài)學的方法[7]。基于重疊區(qū)影像差異的方法通常對重疊區(qū)域像素對比計算差值，利用一定搜索策略選擇最優(yōu)鑲嵌線[8]，方法簡單容易實行，但計算量通常較大，重疊區(qū)域差異主要是針對單個像素或局部紋理，鑲嵌線難免穿過房屋建筑等區(qū)域?；谳o助數(shù)據(jù)的提取方法需要道路矢量、激光雷達(light detection and ranging,LiDAR)點云等數(shù)據(jù)配合，能夠精準有效避開目標地物[9]，鑲嵌線質(zhì)量較高，但輔助數(shù)據(jù)的獲取有一定的難度?；谛螒B(tài)學的方法使用影像分割手段將重疊區(qū)域劃分成不同的區(qū)域，然后利用尋優(yōu)算法選擇鑲嵌線通過區(qū)域，使接縫線沿著地物本身的邊界實現(xiàn)自然過渡，如韓天慶[10]使用標記的分水嶺算法和Dijkstra算法尋找最佳接縫線，但分割過程可能產(chǎn)生過分割現(xiàn)象; 岳桂杰等[11]使用Canny邊緣檢測和A*算法，避開邊緣圖像的邊緣信息尋找最短路徑，邊緣特征不能很好地反映地物完整性。本文使用超像素合并的方法對遙感影像進行多尺度分割，以保留影像地物紋理信息，使用A*算法在分割線上進行路徑尋優(yōu)，有效減少鑲嵌線穿過明顯地物，確保地物完整性，對鑲嵌線的提取具有重要意義。

1 研究方法

首先對影像進行正射校正等必要的預處理。校正后影像四周會出現(xiàn)無效的黑色區(qū)域，通過采樣判斷有效區(qū)域的范圍并生成每張影像的有效區(qū)域多邊形，并以多邊形交點作為鑲嵌線的起始點。利用簡單線性迭代聚類(simple linear iterative cluster，SLIC)算法對于重疊區(qū)域影像進行預分割，使顏色、亮度位置等特征相似的像素聚集成緊密的像素塊，然后通過區(qū)域連接圖對相鄰相似區(qū)域進行合并生成不同尺度的數(shù)據(jù)集，減少過分割。完成分割后對影像進行掩模，對于分割區(qū)域內(nèi)部設置為障礙，分割線作為可行區(qū)域，利用A*算法完成重疊區(qū)域從起點到終點的搜索，生成鑲嵌線，具體過程如圖1所示。

圖1 基于多尺度分割的鑲嵌線自動提取技術(shù)Fig.1 Automatic extraction of mosaic line based on multi-scale segmentation

1.1 SLIC超像素分割

使用SLIC算法對重疊區(qū)域影像進行預分割，對明顯地物區(qū)域進行聚類生成緊密的超像素。超像素是由空間位置相鄰，顏色、亮度和紋理等特征相似的像素點組成的圖像子區(qū)域。SLIC分割能有效避免椒鹽噪聲帶來的影響，可以更好地保留圖像地物的紋理信息[12]。生成具有較好邊界附著性且具有一定視覺意義的像素塊,分割結(jié)果的邊界緊湊度較高，且是當前效率最高的超像素分割算法[13]。首先要將圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間，圖像每個像素對應的(l,a,b)顏色值和所處的位置坐標(x,y)共同構(gòu)成一個5維的特征向量[14]，根據(jù)特征向量將相似的像素聚類生成為超像素塊，具體算法步驟[15]：

1)設置生成超像素的個數(shù)K，生成K個種子點。將尺寸為M×N的影像分割為K個像素塊，每個像素塊的大小就是M×N/K，鄰近的兩個種子的距離為：

(1)

2)調(diào)整生成的種子位置。為了防止初始種子點位落在影像物體的輪廓邊緣或噪聲點上，計算種子點3×3窗口鄰域所有像素的梯度值，把初始種子點位置調(diào)整到梯度值最小的像素位置，圖像梯度計算如下：

G(x,y)=‖I(x+1,y)-I(x-1,y)‖2+
‖I(x,y+1)-I(x,y-1)‖2

(2)

式中：I(x,y)為(x,y)點的Lab向量； ‖‖為求歐幾里得范數(shù)。

3)計算距離迭代聚類。為了增加算法的運算效率，SLIC只對種子2S×2S的鄰域范圍內(nèi)的像素進行搜索，計算像素點與種子點之間的距離，將與種子點距離最近的若干個像素歸于一類，距離由顏色距離和空間距離共同決定，計算公式如下：

(3)

(4)

(5)

式中： [lk,ak,bk,xk,yk]為種子點的特征向量； [li,ai,bi,xi,yi]為像素塊內(nèi)待判斷的像素點的特征向量；dlab為兩個像素點在Lab顏色空間內(nèi)歐式距離；dxy為兩個像素在空間位置上的歐式距離；D為待測像素點和種子點的總距離，可以表示兩個像素的相似度；S為種子點的間距大??；m為緊湊度因子，調(diào)整顏色信息和距離信息的相對重要程度，值越大則越強調(diào)空間的鄰近性，在這里取經(jīng)驗值10。SLIC算法種子點搜索范圍限制在2S×2S之內(nèi)，可以減少不必要的計算，有效地提高收斂速度。

所有像素歸類完畢后計算超像素里所有像素點的平均向量值，把區(qū)域內(nèi)最接近平均向量值的點調(diào)整為聚類中心點，然后重復迭代2)— 3)步驟，直到收斂或達到迭代次數(shù)停止計算。多數(shù)情況下，10次迭代對于絕大多數(shù)影像都能取得比較好的分割效果[16]。對于迭代聚類后的影像進行遍歷篩選，其中會有未聚類的孤立點和面積過小的像素點，直接加入到就近的超像素中，以增強連通性。

1.2 基于區(qū)域合并的多尺度分割

經(jīng)過SLIC分割后，圖像中生成緊密的過分割超像素塊，保留了圖像中的紋理信息，但生成過程中只考慮到圖像局部特征，對圖像分割過于破碎，因此需要對相似區(qū)域進行合并消除過分割，只保留相似度差值較大的區(qū)域。本文方法通過不斷重復提高閾值，使用層次區(qū)域合并的方法生成不同的分割尺度集，以超像素里所有像素點的平均向量值為特征，Lab空間和位置的加權(quán)和表示超像素間相異度，采用區(qū)域鄰接連接圖(region adjacency graph，RAG)記錄超像素間的鄰接關(guān)系和相似度，逐步合并相似區(qū)域。區(qū)域連接圖的定義為R=(V，E)，其中V為像素區(qū)域，E為與之相鄰的區(qū)域和相似度。生成RAG如圖2所示。

(a) 超像素鄰接關(guān)系(b) 初始區(qū)域鄰接圖(c) 合并后的鄰接圖圖2 區(qū)域鄰接示意圖Fig.2 Schematic of region adjacency graph

多尺度分割主要通過“增大閾值”和“搜索合并小于閾值鄰接區(qū)域”兩部分完成，圖2(a)是經(jīng)過SLIC分割后的超像素的分布關(guān)系圖，首先對鄰接圖進行初始化，可以由圖2(b)表示，連線表示像素間的相交關(guān)系，連線的長度表示超像素間的相似度，然后設定較小的初始閾值，采用深度優(yōu)先的搜索策略尋找小于合并閾值的相鄰超像素對，找到滿足條件的相鄰像素對(S1，S2)后初始化合并后的區(qū)域S12屬性信息和連接信息，在RAG中刪除原始區(qū)域S1，S2的信息，將S12插入到RAG中，并更新所有與S12相鄰區(qū)域的鄰接關(guān)系，S1和S2合并后的鄰接關(guān)系如圖2(c)所示，然后繼續(xù)搜索合并直至所有區(qū)域相似度大于閾值。隨著閾值的增加，像素塊根據(jù)相異性不斷被合并，當圖像由過分割進入欠分割狀態(tài)時結(jié)束，利用二元分割樹記錄合并過程，可以快速回溯合并中的任意閾值，生成多尺度分割數(shù)據(jù)集，合并過程如圖3所示，選擇合適的閾值分割結(jié)果。

圖3 尺度集層次結(jié)構(gòu)圖Fig.3 Illustration of scale-sets hierarchy

分割結(jié)果可以通過兩個相對的指標來評估： 區(qū)域內(nèi)部同質(zhì)性和區(qū)域間異質(zhì)性，最優(yōu)分割需要平衡這兩個指標。區(qū)域內(nèi)部同質(zhì)性表現(xiàn)的是一個區(qū)域內(nèi)像素的一致性，通過光譜特征的局部方差(local variance，LV)來評估，整個分割結(jié)果的整體同質(zhì)性可以通過各個區(qū)域加權(quán)計算：

(6)

式中：M和N分別為圖像的寬度和高度；n為當前閾值的區(qū)域數(shù)量；si和σi分別為區(qū)域i的面積和光譜的標準差。分割結(jié)果的整體同質(zhì)性通過區(qū)域的面積來衡量，合并后的較大區(qū)域比未合并的小區(qū)域權(quán)重大，光譜標準差σi的值越小內(nèi)部同質(zhì)性越好。

區(qū)域間異質(zhì)性是相鄰區(qū)域間的相互差異，可以通過空間自相關(guān)指標評價，這里使用莫蘭指數(shù)(Moran’s index，MI)來計算衡量區(qū)域間異質(zhì)性：

(7)

利用區(qū)域內(nèi)部同質(zhì)性和區(qū)域間異質(zhì)性來估計最優(yōu)尺度參數(shù)，隨著閾值的增加區(qū)域合并范圍變大，區(qū)域內(nèi)同質(zhì)性逐漸減小，區(qū)域間異質(zhì)性增大，為選擇圖像由過分割到欠分割的鄰接閾值，將LV和MI結(jié)合的目標函數(shù)GS的最小值作為最優(yōu)尺度，公式為：

GS(k)=MInorm(k)+LVnorm(k)

(8)

MInorm和LVnorm分別是MI和LV的歸一化后的值，即

(9)

(10)

1.3 A*算法路徑搜索

A*搜索算法是啟發(fā)式搜索算法中的一種，可以高效地求解在復雜結(jié)構(gòu)中尋找路徑的問題，在電腦游戲?qū)接嬎?、最短路徑計算、機器人路徑規(guī)劃及最佳航線規(guī)劃等領域具有廣泛的應用[17-20]。A*算法結(jié)合了Dijkstra算法和最佳優(yōu)先算法優(yōu)勢，減少了計算同時找到一條最佳的路徑。由配準影像有效區(qū)域輪廓交點作為路徑尋優(yōu)的起始點，多尺度分割的區(qū)域內(nèi)部作為障礙物，提取所帶紋路信息的分割線作為通路，A*算法在圖像分割線中搜索步驟如下：

1)將點A作為起點放入open列表中，然后檢測和A相鄰的點，如果是障礙物則忽略，如果是可走路徑則放入open列表中，同時將A點從open列表移到close列表中，并設置A為父節(jié)點。

2)計算open列表中的點的移動屬性F，根據(jù)屬性值F從列表中選擇新的擴展點，F(xiàn)可以由以下公式計算：

F=G+H

(11)

式中：G為由起點A點到指定點位移動代價；H為由指定點位不考慮障礙因素移動到終點B的估算代價，這里使用Manhattan距離，即當前點位不考慮斜角，只橫向或縱向移動到終點經(jīng)過的點位數(shù)。

3)選取F值為最小的點T作為擴展點并檢測其相鄰點位，其相鄰點位是障礙物或已經(jīng)在close列表中的直接忽略，作為通路的相鄰點沒有在open列表中則直接加入open列表中。如果已經(jīng)在open列表中則按照當前路徑重新計算G值并與原G值比較，如果當前路徑G值大于原列表G值，則原列表中點位屬性不變，如果當前路徑G值小于原列表G值，更新列表中的點位屬性，并將T作為父節(jié)點移入close列表中。

重復步驟2)直到終點B加入open列表中，完成搜索后由B回溯父節(jié)點構(gòu)成鑲嵌線。

2 實驗及分析

2.1 實驗數(shù)據(jù)

高分二號(GF-2)衛(wèi)星于2014年8月19日在太原衛(wèi)星發(fā)射中心用長征四號乙運載火箭發(fā)射成功，是目前我國分辨率最高的民用光學對地觀測衛(wèi)星，其幅寬相比于高分一號和資源三號衛(wèi)星是最小的[21]，所以更需要對影像進行拼接。高分二號衛(wèi)星參數(shù)見表1。

表1 高分二號衛(wèi)星參數(shù)Tab.1 Gaofen-2 satellite parameters

本次實驗研究影像使用3組正射校正影像，其中2組為天津市地區(qū)(圖4(a)和(d)，圖4(b)和(e))，1組為青島市地區(qū)(圖4(c)和(f))，可以看出3組數(shù)據(jù)中包含農(nóng)田、建筑、河流、道路等常見典型地物，由于拍攝時間不同，每組影像間的色調(diào)有所不同。

(a) 區(qū)域1左下(b) 區(qū)域2左上(c) 區(qū)域3左上

(d) 區(qū)域1右上(e) 區(qū)域2右下(f) 區(qū)域3右下圖4 正射校正影像數(shù)據(jù)Fig.4 Orthorectified image

2.2 實驗結(jié)果

可以看到GF-2影像經(jīng)過校正后影像四周出現(xiàn)無效區(qū)域，通過采樣可以判斷有效區(qū)域的范圍，通過生成影像有效區(qū)域多邊形并求交集，可以獲取重疊區(qū)域影像，并以多邊形的交點A和B作為鑲嵌線的起始點(圖5)。

圖5 重疊影像獲取Fig.5 Overlapping image acquisition

對重疊區(qū)域影像，SLIC生成超像素，經(jīng)過不斷地提高閾值和區(qū)域合并，得到不同閾值合并后的一系列影像，計算影像的LV和MI同時進行歸一化，圖6是經(jīng)過歸一化的LV和MI的變化趨勢圖，

圖6 不同分割尺度下LV，MI和GS的變化圖Fig.6 Variation diagram of LV, MI and GS under different segmentation scales

可以看出隨著合并閾值的增加局部方差逐漸增大，MI逐漸減小，當GS最小時即圖像由過分割狀態(tài)進入欠分割狀態(tài)，因此可以選擇尺度為25的分割結(jié)果作為鑲嵌線提取的基礎。圖7展現(xiàn)了在建筑、河流、農(nóng)田等不同地物的分割效果。分水嶺算法是一種基于拓撲理論的數(shù)學形態(tài)學的分割方法，也是一種優(yōu)秀且得到廣泛應用的分割技術(shù)，但可以從圖6(b)看出分水嶺算法對小面積的建筑區(qū)域輪廓提取時不夠精細，同時根據(jù)圖7(f)可以看出對于大區(qū)域的河流進行了過分割，不利于后續(xù)對鑲嵌線的提取。圖7中的(c)和(g)是SLIC預分割生成影像，可以看出超像素間非常緊密，內(nèi)部特性單一，雖然對圖像分割過于破碎，但對地物的輪廓非常敏感，很好地保留了地物輪廓信息。圖7中的(d)和(h)是區(qū)域合并后的影像，從結(jié)果可以看出無論對于小面積的區(qū)域的農(nóng)田，還是對于大區(qū)域的河流農(nóng)田，基于區(qū)域合并的多尺度分割均保持良好的分割效果。對多尺度分割后的遙感影像進行鑲嵌線的提取，設置分割區(qū)域內(nèi)部區(qū)域為障礙物不能通過，因此鑲嵌線只能在分割線上進行提取，鑲嵌線提取結(jié)果如圖8所示。其中紅色的線是使用ENVI軟件基于Voronoi圖的鑲嵌方案提取的鑲嵌線，基本只是對于重疊影像的面積進行平分，沒有考慮影像特征，接縫線明顯； 黃色線是基于重疊影像差異的方法使用Dijkstra算法進行尋優(yōu)提取得到的，提取的鑲嵌線為影像間灰度差異最小，但由于在差值影像上建筑、河流等區(qū)域像素是不連續(xù)的，提取過程不能考慮圖像地物信息，會導致穿越大片建筑、內(nèi)部均勻的農(nóng)田和河流等區(qū)域； 綠色為使用本文方法提取的鑲嵌線，本文方法提取的鑲嵌線盡量沿著圖像中的道路、農(nóng)田和河流等地物的邊界，鑲嵌線可以很好地隱藏在地物信息之中，通過紋路信息達到自然地過渡，避免穿過明顯地物特征。

(a) 建筑區(qū)域原圖 (b) 建筑區(qū)域分水嶺分割 (c) 建筑區(qū)SLIC分割 (d) 建筑區(qū)SLIC合并

(e) 河流區(qū)域原圖 (f) 河流區(qū)域分水嶺分割 (g) 河流區(qū)域SLIC分割 (h) 河流區(qū)域SLIC合并圖7 典型地物分割效果圖Fig.7 Typical feature segmentation effect diagram

(a) 區(qū)域1(b) 區(qū)域2(c) 區(qū)域3

圖8 鑲嵌線提取結(jié)果對比Fig.8 Mosaic line extraction contrast

如表2所示，通過對比ENVI軟件和Dijkstra模型穿越地物情況，ENVI軟件穿越地物最多，提取的鑲嵌線不能直接用于影像間的鑲嵌； Dijkstra模型基于影像重疊區(qū)域最小差異能夠一定程度降低鑲嵌痕跡，但穿越明顯地物數(shù)量仍然很多，在不能滿足高質(zhì)量鑲嵌要求； 本文方法穿過障礙物數(shù)量最少，可以大幅度減少由于地物被分割而產(chǎn)生的錯位現(xiàn)象，保留影像中真實地物特征，鑲嵌線自動提取方法獲得較好的影像拼接結(jié)果，能夠滿足大范圍數(shù)字正射影像拼接生產(chǎn)的需求。

表2 各方法穿越明顯地物數(shù)量Tab.2 The number of obvious objects traversed by each method (個)

3 結(jié)論

本文提出了一種基于多尺度分割的高分辨率遙感影像鑲嵌線自動提取方法，使用天津地區(qū)和青島地區(qū)3組GF-2數(shù)據(jù)進行測試，并與商業(yè)軟件ENVI軟件和基于重疊區(qū)域差異的Dijkstra算法對比，可以得出以下結(jié)論：

1)本文方法可以有效地處理高分辨率遙感影像鑲嵌，生成的鑲嵌線能夠較好地避免穿過建筑，河流及農(nóng)田等內(nèi)部區(qū)域處理結(jié)果優(yōu)于ENVI和基于重疊區(qū)域差異的Dijkstra算法。

2)對SLIC超像素區(qū)域合并能夠更精準地分割地物，使用尺度集模型解決調(diào)整分割尺度參數(shù)問題。與現(xiàn)有鑲嵌線提取技術(shù)相比，本文方法的優(yōu)點在于無需輔助數(shù)據(jù)，充分利用圖像地物信息，根據(jù)區(qū)域?qū)ο蟮牟町惗皇窍裨牟町愡M行鑲嵌線的提取，能夠避免鑲嵌線穿過地物內(nèi)部，提高鑲嵌質(zhì)量，可廣泛應用于高分辨率遙感影像地圖制作。