面向像素級的遙感圖像云分割算法

于志成, 賀強民, 楊秉新, 李 濤

(北京空間機電研究所, 北京 100094)

0 引 言

遙感技術(shù)在國防現(xiàn)代化和經(jīng)濟建設(shè)等各個方面發(fā)揮了越來越重要的作用,帶來巨大的軍事效益、社會效益和經(jīng)濟效益。但是由于云層遮擋的影響,使得某一幅遙感影像得不到所需要使用的地表或地物等其他信息。且由于氣候的原因,很難得到?jīng)]有云噪聲污染的遙感圖像。統(tǒng)計表明,遙感圖像中65%以上是有云或者是多云的。特別是可見光遙感衛(wèi)星采集到的遙感圖像都會被云層或多或少的污染,很少能夠采集到干凈的圖像,根據(jù)資料顯示,對Landsat-7 ETM+的2000—2002年采集到的全球遙感圖像進行年平均云量統(tǒng)計,云覆蓋率在33%以上,具體數(shù)據(jù)如表1所示[1]。

表1 Landsat 7 ETM+ 2000—2002年北美以及全球遙感圖像云量統(tǒng)計

此外,自2000—2005年,即使采用天氣預(yù)報以及自動云覆蓋評估算法ACCA改進圖像的采集效率,美國測繪局(USGS/ EROS)歸檔的Landsat-7遙感圖像中,云量在10%以上的占了全部圖像的65%以上[2];相應(yīng)的,云量在50%以上的占了全部圖像的28%以上。

除氣象衛(wèi)星外,云在遙感圖像中有害無益,妨礙了圖像的處理和分析。首先,云污染對地物的識別造成困難;其次,云圖占用星上大量寶貴的計算和存儲資源;最后,云圖數(shù)據(jù)消耗有限的傳輸帶寬[3]。這3個方面使得衛(wèi)星有效成像縮短,繼而限制了衛(wèi)星的圖像采集能力。因為云形態(tài)、亮度、紋理總是隨著時間、高度、厚度、太陽高度角以及其他一些因素變化,云檢測是遙感圖像處理中最困難的部分之一[4]。

在沒有星上云檢測之前,傳統(tǒng)做法是這樣的,遙感相機拍照之后,會將該圖像下傳至地面接收站,由地面站對圖像進行處理,交付客戶,如果客戶想看的是圖像中的地面目標(biāo),那么,圖像中的云就成了噪聲,若圖像被云覆蓋過大,則該圖像就失去了研究價值,但是大量沒有研究價值的遙感圖像下傳到地面,對數(shù)傳系統(tǒng)造成了負(fù)擔(dān)[5]。

遙感圖像中的云污染影響了遙感圖像處理和分析的整個過程,因此,云檢測是遙感圖像地面處理的首要和重要的步驟,為了準(zhǔn)確提取地物信息,需要在星上對遙感圖像中的云進行標(biāo)記,然后統(tǒng)計云覆蓋率,對于覆蓋率過大的圖像直接丟棄,降低傳輸開銷[6]。與地面處理相比,星上實時云檢測的優(yōu)勢是顯而易見的,例如節(jié)省有限的存儲資源,減少占用寶貴的傳輸帶寬,提高成像效率等。

同時,在軌圖像實時處理已然發(fā)展為一種趨勢,對于改善圖像質(zhì)量、減少圖像數(shù)量,或者探測器智能化方面,成為不可或缺的手段。對于已經(jīng)在軌的高分率衛(wèi)星,大數(shù)據(jù)量已經(jīng)嚴(yán)重限制了成像效率。例如GF-2相機,每天最多成像20 min,每軌最多成像12 min[7]。可以預(yù)見,在不久的將來,云檢測將成為可見光遙感衛(wèi)星的標(biāo)配。

國內(nèi)外針對遙感圖像的云檢測做了大量研究工作,其中主要包括閾值法、聚類、SVM等。對于星上應(yīng)用,目前主要使用的是閾值法,包括基于單個譜段和多光譜數(shù)據(jù),其中,多光譜由于含有更加豐富的地物在多光譜下的反射率信息,檢測精度也更高一些,但是在某些特定的條件下,如夜間時候下墊面為沙漠、海岸線、河流和內(nèi)陸湖泊時,由于云和下墊面的反射率相近,難以進行正確的辨別,因而有時會檢測出錯誤的云[8]。同時,衛(wèi)星云圖千變?nèi)f化,云的高度、厚度、種類以及太陽高度角等因素均會對云產(chǎn)生極大的影響,因此極大影響了閾值法的效果[9]。針對上述情況,本文提出了一種基于低秩及稀疏約束制圖的圖像分割算法。

1 低秩及稀疏表示原理

圖像分割是一種圖像處理技術(shù),是目標(biāo)特征測量的基礎(chǔ),基于分割的目標(biāo)表達、特征提取和參數(shù)測量等將原始圖像轉(zhuǎn)化為更抽象更緊湊的形式,使得更高層的圖像分析和理解成為可能。在遙感圖像處理中被廣泛應(yīng)用,如對不同云層和背景分布的分割[10],根據(jù)云區(qū)域的厚度可以將遙感圖像分割成不同區(qū)域,進而對圖像進行分析、識別,因此,分割的精度將直接影響后續(xù)處理的有效性。本文提出的圖像分割方法中,低秩表示和稀疏表示是2個重要的基礎(chǔ)理論,因此,下面對上述2項理論的原理進行簡要介紹和分析。

1.1 稀疏表示

xk=Rk(x)

(1)

式中Rk(·)是指從原始圖像中提取圖像塊xk,其中k為xk圖形塊在原始圖像中的第k個位置,k=1,2,…,n,n為圖像塊的數(shù)量。

在稀疏編碼過程中,稀疏表達方式主要是借助一組給定的基元(字典)D,使得每個圖像塊xk均存在對應(yīng)的稀疏向量αk,通過公式xk≈Dαk重建xk,且αk的大部分元素都會很小,逼近于0或者等于0,也就是通過上述方法和下面公式,可以將整幅圖像進行稀疏表達[12]。

(2)

(3)

1.2 低秩表示

魯棒主成分分析RPCA模型主要用于恢復(fù)數(shù)據(jù)的低秩結(jié)構(gòu),還可以去除圖像中的噪聲,其目標(biāo)函數(shù)如下式所示[13]:

(4)

(5)

選擇數(shù)據(jù)X本身作為組元(也就是字典),再結(jié)合不精確增廣拉格朗日乘子法(Inextract Augmented Lagrange Multilpier, IALM)對上式進行求解。

2 基于低秩稀疏約束制圖的圖像分割算法

傳統(tǒng)的遙感圖像分割技術(shù)主要是針對灰度或紋理差別較大的不同地物進行類間分割,在分割過程中容易忽略遙測圖像中同類地物的類內(nèi)差異或者紋理相似度較高的不同地物之間的差別。近年來,基于目標(biāo)的分析方法在遙感圖像處理領(lǐng)域得到廣泛應(yīng)用,特別是遙感圖像的目標(biāo)分割方面,通過對圖像目標(biāo)局部像素紋理屬性進行分析,在對應(yīng)的圖像紋理特征空間中建立結(jié)構(gòu)性關(guān)聯(lián)制圖,準(zhǔn)確采集目標(biāo)表面局部紋理信息的結(jié)構(gòu)差異分布特征,利用基于圖論的圖像分割算法實現(xiàn)對遙感圖像中云區(qū)的像素級分割,以滿足遙感圖像云檢測的精細化要求[15]。

(6)

為了更直接的求解公式(6),通過變量松弛來進行一種近似[17],如式(7):

(7)

圖1 本文提出算法流程圖Fig.1 Algorithm flow chart

本文主要采用的低秩稀疏約束制圖的圖像分割算法。像素級遙感圖像云檢測算法主要流程如圖1所示[20],通過統(tǒng)計目標(biāo)圖像中局部區(qū)域內(nèi)目標(biāo)像素的分布特性,識別圖像中局部區(qū)域的紋理特征信息分布的不同,在構(gòu)建的結(jié)構(gòu)化差異特征空間中,通過低秩分解來去除噪聲和奇異點對圖像中云像元分割的影響,避免其對分割精度造成影響。建立圖像中像素之間分布關(guān)系的關(guān)聯(lián)矩陣,能夠較好的描述遙感圖像云區(qū)域紋理的相關(guān)像素級特性,再通過矩陣分解對遙感圖像中的云像元進行分割。本文所提出的分割算法主要包括以下幾個步驟:首先根據(jù)遮擋模型的原理將圖像圖像進行量化,以減少運算量,將量化后的圖像按不同的量化值分層;在此基礎(chǔ)上,利用局部直方圖變換提取圖像紋理信息的局部直方圖統(tǒng)計特征集合,即通過濾波處理得到的局部直方圖;其次,在得到的低秩模型中引入1/2范數(shù)的正則項,使其具備稀疏特性,即對局部直方圖特征集合進行低秩稀疏化表示,構(gòu)建基于低秩稀疏特性的制圖項,來更好的表征遙感圖像中云區(qū)域目標(biāo)紋理空間分布的差異;然后,在基于制圖指導(dǎo)的非負(fù)矩陣分解模型的目標(biāo)函數(shù)中加入了低秩稀疏關(guān)聯(lián)制圖約束項,并結(jié)合制圖約束的非負(fù)矩陣分解方法實現(xiàn)目標(biāo)區(qū)域紋理分割,即利用非負(fù)矩陣分解法對將該直方圖特征進行分解,得到一個初始的各類的權(quán)重值及各類紋理的初始直方圖,然后將初始化的權(quán)重進行反卷積以得到指示函數(shù)σ,即為初步的分類結(jié)果。最后,通過反復(fù)迭代調(diào)整非負(fù)矩陣分解以及反卷積的過程,使分解后的直方圖更接近真實的直方圖,從而逐步得到最佳分類結(jié)果。

3 實驗結(jié)果及分析

在實驗數(shù)據(jù)方面,本文中使用的場景級含云遙感圖像為衛(wèi)星拍攝,每景圖像的尺寸為12 280×10 000,為了便于處理,將整景圖像切分為250×300像元的場景級圖像塊。本文所使用遙感數(shù)據(jù)的拍攝地點位于寧夏自治區(qū),地物范圍包括農(nóng)田、植被、江河等典型地物類型,拍攝時間分別為2014年3月,分辨率為2米。本文選取的實驗數(shù)據(jù)都有被云覆蓋的情況,但云覆蓋量不同,便于針對厚云覆蓋和薄云覆蓋分別進行處理,以便更全面的驗證本文提出的分割算法。仿真環(huán)境方面,本實驗使用的硬件平臺為惠普工作站;軟件方面使用MATLAB開發(fā)環(huán)境實現(xiàn)算法模型的代碼編寫和實驗仿真驗證。

本章提出的低秩稀疏約束制圖分割算法的目的是利用全色遙感圖像中云的紋理特性檢測出云的分布,為了驗證分割算法的優(yōu)越性和魯棒性,本章中利用衛(wèi)星平臺獲取的多個不同地區(qū)的含云全色遙感圖像,設(shè)計了多組對比實驗進行比較分析,通過與2種常用的分割算法進行對比,來評價本文所提出算法的精度。具體用來對比的方法主要包括閾值法、ORT法。

在數(shù)據(jù)集方面,主要針對輕度薄云覆蓋和重度厚云覆蓋的場景級含云圖像塊,圖像塊尺寸為300×250,實驗所用圖像塊及其真值圖如圖2和圖3所示。

圖2重度厚云覆蓋的場景級含云圖像塊及其真值圖
Fig.2Scene-Level Image Covered by Thick Clouds and the Truth Maps

圖3 輕度薄云覆蓋的場景級含云圖像塊及其真值圖Fig.3 Scene-Level Image Covered by Thin Clouds and the Truth Maps

本文使用ORT方法對場景級含云遙感圖像塊進行像素級分割,主要涉及到3個參數(shù),分別為聚類類別數(shù)、窗口尺寸、迭代次數(shù)和紋理類別。其中,聚類類別數(shù)主要用于降低圖像塊的灰度級別,降低運算量;窗口尺寸用于設(shè)定局部直方圖變換時的濾波窗口,對分割結(jié)果中的區(qū)域邊界進行平滑處理,使分割結(jié)果能接近于云的邊界形態(tài);迭代次數(shù)主要用于分割算法運算過程中進行的多次迭代運算,以得到最優(yōu)解;紋理類別主要用于設(shè)定將輸入圖像塊進行分割的類別數(shù),需要根據(jù)云圖像的分割需求進行設(shè)定。為了實現(xiàn)最佳的分割效果,算法中涉及的3個參數(shù)需要預(yù)先給定,具體分析如下:

對于紋理類別參數(shù),本文考慮到后續(xù)有可能需要對不同云分布情況的遙感圖像進行進一步分類處理(如薄云去除或厚云的云層厚度估計等),進一步提高遙感圖像云檢測和處理的智能化程度,因此,本文綜合考慮場景級分類的結(jié)果,將ORT分割方法的分割類別數(shù)設(shè)置為不同的數(shù)值:對于薄云覆蓋類的場景級遙感圖像塊,將分割類別數(shù)設(shè)置為2,即云像元和非云像元;對于厚云覆蓋類的場景級遙感圖像塊,為了對其內(nèi)容進行更加細致的分割,本章將這類圖像塊的分割類別數(shù)設(shè)置為3,即厚云像元、薄云像元和無云像元,以便于后續(xù)針對不同的分布比例情況采取不同的處理措施,增加遙感圖像云處理的精細度。同時,對于上述2類圖像塊,本文在制作的像素級真值圖中,也將一幅含云遙感圖像塊中的像素分為2類和3類,以便于定量化的分析本文所提出的像素級分割算法的分割精度。

對于窗口尺寸,考慮到云的漸變特性,通常不會有特別劇烈的變化,因此選擇更大的窗口,可以使分割結(jié)果更平滑,這也符合云的變化特性,能夠更好的保留云區(qū)主體的邊界,輪廓也能更清晰,更有效的檢測出厚云的主體部分,也能夠在一定程度上降低漏檢率,因此,本文將窗口尺寸設(shè)置為8。

迭代次數(shù)主要用于通過多次迭代運算尋找最優(yōu)解,在超過一定數(shù)值后,繼續(xù)增大該參數(shù)只能增加運算量,對算法的效果不會再有更大的提升,因此本文將該參數(shù)設(shè)置為20,已經(jīng)足夠找到最優(yōu)解。

聚類類別數(shù)主要利用聚類算法降低遙感圖像塊的像素灰度級,從而減小算法的計算量,本文中將該參數(shù)設(shè)置為9。

本文針對不同類別的場景級遙感圖像塊,設(shè)計了多組不同的驗證性對比實驗,以檢驗本文所提算法的魯棒性和分割精度。對于厚云覆蓋的遙感圖像塊,本文提出的分割算法實驗結(jié)果如圖4所示。

圖4 原始圖像、真值圖、閾值法、ORT、本文算法Fig.4 Original images, truth maps, threshold method, ORT, algorithm in this paper

從圖4中可以看出,用閾值法對圖像中的云進行檢測的效果很不理想,主要原因是閾值法只使用到了圖像的灰度信息,對于紋理等信息并沒有充分利用,而遙感圖像中經(jīng)常過出現(xiàn)曝光過度的情況,嚴(yán)重影響閾值法的分割精度,同時該算法還涉及到閾值選取的問題,如果閾值選取不當(dāng),則會嚴(yán)重影響云檢測的精度,此外,閾值法的自動閾值選取也比較難,因此很難使用閾值法全自動的對遙感圖像中的云進行精細化分割。標(biāo)準(zhǔn)ORT分割算法主要基于局部紋理差異化統(tǒng)計的方法,所以針對圖像中局部云塊的微小紋理差異的識別,具有較好的魯棒性,并能夠更準(zhǔn)確的區(qū)分出具有不同厚度的云塊的紋理分布,但是如上圖所示,這種方法對于全局的云紋理分布的統(tǒng)計較弱,不能夠有效區(qū)分大區(qū)域的云分布差異,且噪聲較大。本文所提出的算法在局部云紋理分布的基礎(chǔ)上,結(jié)合低秩及稀疏的關(guān)聯(lián)制圖約束項約束,能夠在紋理特征空間中,有效的捕獲不同厚度云紋理的局部及全局結(jié)構(gòu)化差異分布,為最終實現(xiàn)像素級云分割提供了可靠的指導(dǎo)條件,從而產(chǎn)生比上述2種算法更理想的分割結(jié)果,且本文提出的方法針對具有不同特點的云圖像檢測,可以有效的克服噪聲和奇異點對云分布的影響,并取得良好的實驗結(jié)果。而且在針對不同分布的云影響檢測過程中,能夠有效,另外,在云分布更復(fù)雜的影像中,能有效分辨出厚云、薄云,并為后續(xù)進一步對圖像中云的處理提供算法支撐。

對于薄云覆蓋類的含云遙感圖像塊,本文考慮到薄云與厚云不同,邊界不是特別清晰,因此將窗口尺寸減小為7;同時薄云覆蓋的場景級圖像塊中不含有厚云,只有薄云和無云2種像元,因此將分割類別數(shù)設(shè)置為2類;此外,輕度薄云覆蓋的圖像塊中灰度等級數(shù)較少,因此將預(yù)處理中的聚類數(shù)量減小為6。按照上述參數(shù)設(shè)置后,繼續(xù)采用本文所提出的算法進行實驗,實驗結(jié)果如圖5所示。

從圖5中可以看出,使用本文所提出的算法能夠?qū)D像塊中的薄云進行比較精準(zhǔn)的分割,雖然由于薄云本身的類地物特性,分割結(jié)果中會存在一些噪聲,但總體上看,噪聲不太大,對分割結(jié)果沒有顛覆性影響,可以滿足應(yīng)用需求。

圖5原始圖像、真值圖、本文算法
Fig.5Original images,truth maps,threshold method,ORT,algorithm in this paper

但在算法復(fù)雜度方面,本文提出算法的整個流程主要包括特征提取、約束制圖、紋理分割等步驟,由于在求取低秩稀疏最優(yōu)解的過程中需要多次迭代運算,同時制圖的過程也需要大量的運算,算法自身的計算量以及算法運行時對硬件資源的需求都要比常規(guī)的閾值法要高,受到衛(wèi)星星上硬件資源的限制,本文算法在硬件平臺上的可實現(xiàn)性比閾值法等常規(guī)分割算法要差一些,在軌實時應(yīng)用的可行性還有待進一步優(yōu)化和論證。

4 結(jié) 論

本文所提出的遙感圖像像素級云分割算法首先提取圖像中紋理局部直方圖的特征,對其紋理的分布差異的統(tǒng)計特性進行分析,進而提出一種低秩稀疏約束制圖構(gòu)建算法,能夠準(zhǔn)確的辨別特征空間中局部紋理差異結(jié)構(gòu)化分布,可以在一定程度上消除噪聲和奇異點對紋理特征空間中紋理信息結(jié)構(gòu)分布的影響,進而提高目標(biāo)紋理分割精度。在此基礎(chǔ)上,本文又利用基于低秩稀疏約束制圖正則化非負(fù)矩陣分解的紋理分割方法,結(jié)合制圖約束的非負(fù)矩陣分解方法和前面獲取的目標(biāo)局部結(jié)構(gòu)差異,得到針對遙感圖像中云目標(biāo)的紋理分割結(jié)果。

針對本文提出的上述算法,通過多組不同的實驗進行驗證,在實驗中,針對不同算法、不同地區(qū)、不同云覆蓋級別的場景級遙感圖像塊中的云紋理信息進行分割實驗與對比分析,實驗對比結(jié)果表明,本文所提出的算法在局部云紋理分布的基礎(chǔ)上,結(jié)合低秩及稀疏的關(guān)聯(lián)制圖約束項約束,能夠在紋理特征空間中,有效的捕獲不同厚度云紋理的局部及全局結(jié)構(gòu)化差異分布,為最終實現(xiàn)像素級云分割提供了可靠的指導(dǎo)條件,從而產(chǎn)生比上述2種算法更理想的分割結(jié)果,且本文提出的方法針對具有不同特點的云圖像檢測,可以有效的克服噪聲和奇異點對云分布的影響,并取得良好的實驗結(jié)果。而且在針對不同分布的云影響檢測過程中,能夠有效,另外,在云分布更復(fù)雜的影像中,能有效分辨出厚云、薄云,只是在針對星上在軌實時應(yīng)用方面與常規(guī)閾值法相比略有不足,但本文算法依然可以為后續(xù)進一步對圖像中云的處理提供算法支撐。