胡振龍,吳 騰,張 勇
1.中國天繪衛(wèi)星中心,北京,102102;2.武漢大學遙感信息工程學院,湖北 武漢,430079
?
基于天繪一號衛(wèi)星三線陣影像立體匹配的自動云檢測
胡振龍1,吳騰2,張勇2
1.中國天繪衛(wèi)星中心,北京,102102;2.武漢大學遙感信息工程學院,湖北 武漢,430079
有云場景對立體影像的自動地形提取帶來很大影響,檢測云區(qū)、利用無云區(qū)域的影像進行立體匹配獲得DSM(Digital Surface Model),也是DSM自動化生產(chǎn)必須考慮的一個問題。本文基于云一般與地表分離的知識,利用密集匹配的DSM數(shù)據(jù)和參考DEM數(shù)據(jù),結合高程與影像灰度信息提取出云區(qū)域,同時解決了云區(qū)域自動檢測和地形提取。通過天繪一號衛(wèi)星影像數(shù)據(jù)進行試驗,無雪情況下云提取的正確率能達到95%;自動匹配的DSM也能有效地剔除云等因素的干擾,利用已有DEM數(shù)據(jù)進行修補,提高了成果質(zhì)量。
立體影像;密集匹配;地形配準;云檢測
衛(wèi)星影像中云的存在,導致可用信息缺失,給地形信息自動提取帶來很多錯誤。從物理和圖像特性看,云是十分復雜的目標;同時含云量是衡量衛(wèi)星影像質(zhì)量的重要指標。早期云檢測主要靠人工做出判讀,費時且結果帶有很大主觀性。因此,高效云區(qū)域識別和檢測方法成為光學遙感影像研究中的熱點[1]。
云檢測面對的主要問題包括:云分布不規(guī)律、形態(tài)多樣、有厚薄之分;亮度、光譜特性與雪接近;雪域?qū)υ铺崛∮泻艽笥绊懙?。隨著遙感圖像處理技術的發(fā)展,國內(nèi)外已有大量云檢測研究成果[2-6]。從數(shù)據(jù)源來說,可分成兩大類:利用單一時相的影像數(shù)據(jù)進行判定和利用多時相的影像數(shù)據(jù)進行判定。前者檢測結果與選用閾值有很大關系,很難識別薄云,且無法排除雪域及霧霾影響,容易出現(xiàn)錯誤分類;后者則會因為時間變化造成地物變化,或不同時相影像色調(diào)引起差異而引起錯誤分類。
基于云一般脫離地表這一知識,結合已有的DEM作為參考(如全球公開SRTM,簡稱“參考DEM”),本文針對具有立體成像能力的光學衛(wèi)星影像,通過立體視覺的方法,提出了一種新的云區(qū)域檢測和識別方法:通過立體影像密集匹配得到數(shù)字表面模型M-DSM(Matching Digital Surface Model,指新匹配的DSM),與參考DEM配準,再通過高程比較,得到影像上疑似云區(qū)域的種子點,最后結合影像灰度信息對疑似區(qū)域進行分類和區(qū)域增長得到最終的云檢測結果,同時利用參考DEM填補M-DSM中因為云等影響造成的誤匹配區(qū)域。
通過衛(wèi)星立體像對的密集匹配,可自動獲得攝影地區(qū)的地形三維信息,但云遮擋區(qū)域使得匹配的M-DSM中出現(xiàn)大量錯誤。
通過與參考DEM進行地形比較提取出匹配錯誤區(qū)域,作為疑似云區(qū)域;結合影像上的灰度信息區(qū)域增長和疑似云區(qū)域進行分類,得到最終云檢測結果。算法分為地形配準與比較、云區(qū)域種子點提取和云區(qū)域自動識別三個主要步驟,如圖1所示。
圖1 云區(qū)域自動提取總體流程圖
地形配準與比較,是將立體像對密集匹配獲得的M-DSM,與參考DEM地形配準后進行高程比較,得到DEM差值圖。
云區(qū)域種子點提取,是在DEM差值圖中自動提取出地形高差較大的空間點,將其投影到遙感影像中,作為提取云區(qū)域的種子點。
云區(qū)域自動識別,是根據(jù)影像信息對疑似云區(qū)域的種子點進行區(qū)域增長和分類,去除低亮度紋理缺乏區(qū)域和雪區(qū)域,得到云區(qū)域。
M-DSM云區(qū)填補,使用參考DEM填補誤匹配空洞及錯誤區(qū)域。
2.1地形配準與比較
(1)多影像多基元匹配獲取M-DSM
首先使用遙感影像的立體像對通過密集匹配獲得攝影區(qū)域的數(shù)字表面模型,即M-DSM。本文采用的影像匹配方法是“多影像多匹配基元”(Multiple Primitive Multi-image)方法,利用多視匹配提高可靠性、多特征匹配結果增強數(shù)字表面模型反映微細地形地貌的能力[7,8]。算法采用由粗到細的多級影像匹配策略,結合多種匹配基元(特征點、格網(wǎng)點和特征線)的匹配結果。
圖2為采用天繪一號衛(wèi)星5m分辨率三線陣影像密集匹配結果,格網(wǎng)間距25m(本景影像無云)。
圖2 無云影像匹配DSM結果
(2)M-DSM與參考DEM的配準
在比較M-DSM和參考DEM之前需要對兩者進行配準。為得到可靠的匹配結果,本文引入一種基于地形特征線的匹配算法,即首先分別在參考DEM與M-DSM上提取地形特征線,然后通過投票算法實現(xiàn)兩者整體套合,再進行特征點局部最小二乘相關匹配提高匹配精度,取得良好穩(wěn)定的匹配效果。圖3為地形配準的算法流程圖。
圖3 地形配準算法流程
山脊線和山谷線是最常用的地形特征線,本文采用基于地形表面流水物理模擬分析的方法提取山脊線和山谷線,見圖4。
(a) 山谷線 (b) 山脊線圖4 地形特征線提取示例
然后采用投票算法,實現(xiàn)地形特征線的整體套合,即粗匹配,得到M-DSM與參考DEM的整體坐標偏移。將待匹配的地形數(shù)據(jù)類比為柵格圖像,即M-DSM特征線上的骨架點作為特征點,按照整體匹配獲得的初始坐標差值預測到參考DEM上,在一定搜索范圍進行相關匹配,最后使用最小二乘方法得到高精度匹配結果。
2.2疑似云區(qū)域種子點提取
M-DSM與參考DEM配準之后,通過差值比較,得到疑似云區(qū)域種子點。本文采用自適應算法,將M-DSM與校準后的參考DEM比較,根據(jù)初始高程閾值剔除誤差點,再根據(jù)其余空間點統(tǒng)計出單位權中誤差(RMSE),見(1)式。
(1)
其中,N為總點數(shù);Zi為第i點高程;Zref為第i個點在校準后的參考DEM上對應的高程;Zthreshold為輸入的初始高程閾值。新的自適應閾值按照(2)式確定。
(2)
根據(jù)此閾值,遍歷一次比較M-DSM產(chǎn)品和校準后的參考DEM,提取其中高程差大于自適應閾值的格網(wǎng)點,通過三線陣正視影像RPC參數(shù)將這些點投影到影像上,得到種子點的像面坐標。
2.3云區(qū)域自動識別
疑似云區(qū)域種子點,并不都是云區(qū)域或雪區(qū)域造成的,低亮度紋理缺乏區(qū)域(例如水和陰影)也會造成誤匹配。進一步自動識別的算法流程如圖5所示。
圖5 云區(qū)域自動識別流程
(1)低亮度紋理缺乏區(qū)域的去除
低亮度紋理缺乏區(qū)域中的種子點,可通過統(tǒng)計種子點集合的灰度直方圖予以清除。主要過程為判斷影像是否含有云,如果存在云,除去低亮度缺乏紋理區(qū)域的種子點。
圖6為典型的無云影像和有云影像中的種子點區(qū)域集合的灰度直方圖示例。
圖6 無云(左)、有云(右)種子點直方圖
上圖中,左圖種子點是低亮度缺乏紋理造成,直接予以清除;右圖灰度值集中在245到255之間的種子點,因此,可以判定有云存在、予以保留;右圖灰度值集中在50左右的種子點,是低亮度缺乏紋理造成,予以清除。
(2)種子點區(qū)域增長
清除錯誤的種子點之后,其余一般為云區(qū)域和雪區(qū)域。以種子點像素作為起點,將周圍鄰域中與其相似的像素,合并到種子像素所在的區(qū)域中,迭代操作,直到再沒有滿足條件像素可以包括進來。
分別統(tǒng)計前景(種子點區(qū)域像素集合)和背景的灰度值直方圖,得到前景和背景之間的對比度信息,進而確定區(qū)域增長中的灰度差閾值。
圖7為有云影像及其背景直方圖,圖8為有雪影像及其背景直方圖。云和雪區(qū)域都屬于高亮度區(qū)域,背景整體偏暗、灰度值在直方圖上集中于左側的低灰度值范圍。此時,云或雪邊界上有較強的對比度,為提取出完整云區(qū)域,可以用較大的閾值(如7-10)。
圖7 有云影像(左)和對應的背景直方圖(右)
圖8 局部有雪影像(左)和對應背景直方圖(右)
圖9和圖10均為大面積雪域影像,且圖10中還有薄云及薄霧。從其背景直方圖可知,背景像素灰度值大部分位于高亮度區(qū)域,使得云雪邊界對比度偏低。因此,種子點區(qū)域增長時,采用較低的灰度差閾值(如3-5)。
圖9 大面積雪域影像(左)和對應背景直方圖(右)
圖10 云雪混合影像(左)和對應背景直方圖(右)
(3)云和雪的分類
通過種子點區(qū)域增長,可得到影像中的云和雪區(qū)域。采用圖像處理的方法進行云雪分類難度很大,本文基于影像密集匹配的M-DSM與參考DEM相比較的方法,可以為云雪區(qū)分提供有效信息:云是漂浮在空中的運動目標,在前正后三視影像中的位置不同,匹配出的地形信息高于參考DEM,能得到大量種子點;雪則是覆蓋在地表的靜止區(qū)域,只得到較少的種子點;通過區(qū)域增長之后,云、雪區(qū)域最初的種子點像素數(shù)與增長后區(qū)域總像素個數(shù)的比值有差異(實驗中使用的閾值是0.1),從而區(qū)分出云和雪。
圖像中有云的部分(圖11左側)匹配的M-DSM錯誤較多(圖11右側多邊形內(nèi)),所以會有較多的種子點,增長得到的點數(shù)很少。
圖像中有雪的部分(圖12左側)匹配的M-DSM錯誤很少(圖12右側多邊形內(nèi)),所以種子點較少,但是增長得到的點數(shù)很多。
圖11 有云影像(左)和對應M-DSM圖(右)
圖12 有雪影像(左)和對應M-DSM圖(右)
基于以上自動云檢測方法,利用天繪一號衛(wèi)星5m分辨率三線陣1B級前、正、后三視影像進行了上萬景生產(chǎn)和核查檢驗。參考DEM采用的是SRTM,M-DSM為三線陣立體像對密集匹配獲得,格網(wǎng)間距為25m。
對DSM匹配的干擾主要有水域、無紋理區(qū)域、云區(qū)域等,對云區(qū)域提取的干擾主要是雪區(qū)域。將M-DSM與參考DEM進行比較,得到疑似云區(qū)域的種子點,結合影像信息,可以有效剔除水域和無紋理區(qū)域干擾。通過種子點區(qū)域增長前后的面積比較、以及影像的灰度信息,能有效區(qū)分云和雪。
圖13 厚云、薄云和霧霾分布的云檢測
圖13的影像中有厚云、薄云和霧霾分布。霧霾具有一定透光性,其區(qū)域?qū)τ跋衿ヅ洚a(chǎn)生微弱的影響,在M-DSM中體現(xiàn)不出誤匹配區(qū)域;薄云遮擋地表,在M-DSM上產(chǎn)生了大片誤匹配區(qū)域;提取的云區(qū)域中有厚云和薄云,在M-DSM下半部分出現(xiàn)大量錯誤,但在最后DSM結果能有效修正。
圖14 有雪分布時云區(qū)域的檢測
圖14影像中有云也有雪。匹配結果中,M-DSM上雪域地形基本得到保持,云區(qū)域則有誤匹配區(qū);最終提取結果中只有云區(qū)域。最后DSM結果中,修正了云區(qū)域影響。
為驗證該方法的有效性和正確率,通過人工目視勾出云的區(qū)域,與自動提取的云區(qū)域進行對比,結果表明,對于有云同時對比度較大的情況下,可以達到95%以上正確率(正確像素數(shù)/總像素數(shù)),能有效提取出云及薄云區(qū)域;在云和雪同時存在時,能有效避免雪區(qū)域的干擾。
本文提出了一種基于地形配準的云區(qū)域自動提取算法。云對立體影像自動地形提取帶來干擾,但卻可以用來提取影像中的云區(qū)域,即通過配準和比較影像匹配獲取的M-DSM與參考DEM數(shù)據(jù),提取出錯誤匹配點,將其投影到衛(wèi)星影像,作為云區(qū)域提取的種子點,結合影像信息識別出云區(qū)域,同時引用參考DEM,填補M-DSM中由于云區(qū)域等原因引起的匹配錯誤區(qū)域,提高M-DSM的質(zhì)量和利用率。
本方法的不足之處:因為要結合密集匹配的M-DSM進行處理,M-DSM的采樣間隔使得小區(qū)域的云可能提取不出來;另外由于立體相機是全色相機,沒有充分利用多光譜信息。
[1]侯舒維,孫文方,鄭小松.遙感圖像云檢測方法綜述[J].空間電子技術,2014,11(3):68-76.
[2]丁玉葉.面向MODIS數(shù)據(jù)的云檢測方法研究[D].哈爾濱:哈爾濱工業(yè)大學,2013.
[3]趙曉.高分辨率衛(wèi)星遙感圖像云檢測方法研究[D].哈爾濱:哈爾濱工業(yè)大學,2013.
[4]徐慧.遙感圖像中的云區(qū)域檢測及去除方法研究[D].合肥:安徽大學,2011.
[5]陳振煒,張過,寧津生等.資源三號測繪衛(wèi)星自動云檢測[J]. 測繪學報,2015,44(3):292-300.
[6]宋小寧,趙英時.MODIS圖像的云檢測及分析[J].中國圖像圖形學報,2003,8(9):1079-1083.
[7]張祖勛.數(shù)字攝影測量與計算機視覺[J]. 武漢大學學報·信息科學版,2004,29(12):1035-1039.
[8]張力,張繼賢.基于多基線影像匹配的高分辨率遙感影像DEM自動生成[J]. 武漢大學學報·信息科學版,2008,33(9)943-946.
Automatic Cloud Detection Based on Three-line Array Image Stereo Matching of TH-1 Satellite
Hu Zhenlong1,Wu Teng2,Zhang Yong2
1. Tianhui Satellite Center of China, Beijing 102102, China 2. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
Cloud scene influences the automatic terrain extraction from stereo images greatly. Cloud detection and DSM extraction through stereo matching with cloudless images must be considered in DSM automated production. In this paper, based on the knowledge that cloud is far away from the earth's surface, the cloud area is extracted by using dense matching DSM and reference DEM data and combining elevation data with image grey value information. In this way, the problems of cloud detection and automatic terrain extraction are solved simultaneously. TH-1 satellite images are used to conduct test. It turns out that the accuracy of cloud extraction can reach 95% when there is no snow, the automatic matching DSM can effectively prevent interference from cloud or other factors, and the quality of final result can be improved by modification with existing data.
stereo images; dense matching; terrain registration; cloud detection
2016-03-16。
胡振龍(1975—),男,高級工程師,主要從事航天攝影測量數(shù)據(jù)處理方面的研究。
P231
A