高分七號(hào)影像大場(chǎng)景DSM生成深度學(xué)習(xí)方法

何 升,張建凱,陳 鳳,李紳弘,江萬(wàn)壽

1. 武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430079; 2. 北京吉威空間信息股份有限公司,北京 100040

使用衛(wèi)星影像生成高質(zhì)量的大場(chǎng)景數(shù)字表面模型(DSM)是攝影測(cè)量與遙感的基本任務(wù)之一,核心在于對(duì)影像進(jìn)行準(zhǔn)確的立體匹配以獲取高精度的視差圖,其關(guān)鍵是尋找左右核線影像上同名點(diǎn)的像素對(duì)應(yīng)關(guān)系[1]。立體匹配一般分為4個(gè)步驟[2]:匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化。傳統(tǒng)算法可分為局部匹配、全局匹配和半全局匹配(semi-global matching,SGM)3類[3],其中半全局匹配在近景、航空、衛(wèi)星等多種影像的立體匹配中得到了廣泛的應(yīng)用[4-7]。然而,傳統(tǒng)算法在各個(gè)階段都或多或少地采用了經(jīng)驗(yàn)性的方法[8],例如,按照給定的相似性測(cè)度計(jì)算匹配代價(jià),通過對(duì)匹配點(diǎn)鄰域內(nèi)的所有匹配代價(jià)加權(quán)求和執(zhí)行代價(jià)聚合,根據(jù)“贏家通吃(winner takes all,WTA)”的規(guī)則計(jì)算視差,采用后處理如噪聲剔除、子像素增強(qiáng)等技術(shù)優(yōu)化視差。手工設(shè)計(jì)的策略使得傳統(tǒng)方法易受弱(無(wú))紋理、遮擋及視差不連續(xù)的影響,對(duì)光照、噪聲等外界環(huán)境也比較敏感,這些缺點(diǎn)使其在匹配大場(chǎng)景復(fù)雜的衛(wèi)星影像時(shí)容易產(chǎn)生大量誤匹配和無(wú)效值。

最近的研究表明,深度學(xué)習(xí)技術(shù),尤其是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),在立體匹配中表現(xiàn)出超越傳統(tǒng)方法的性能[9]。最初的基于深度學(xué)習(xí)的立體匹配方法通過使用CNN代替4個(gè)標(biāo)準(zhǔn)步驟中的某些部分來(lái)改善匹配效果,如MC-CNN(matching cost)[10]使用CNN自適應(yīng)地學(xué)習(xí)匹配代價(jià),SGM-Net[11]在傳統(tǒng)SGM中引入CNN學(xué)習(xí)懲罰項(xiàng)以解決懲罰參數(shù)難以調(diào)整的問題,GDN(global disparity network)[12]使用CNN學(xué)習(xí)匹配代價(jià)并在視差優(yōu)化階段對(duì)視差圖做異常值探測(cè)。文獻(xiàn)[13]提出了首個(gè)端到端的立體匹配神經(jīng)網(wǎng)絡(luò)DispNet,隨后,大量端到端的模型被提出并逐漸成為主流的深度學(xué)習(xí)方法。這類方法將4個(gè)標(biāo)準(zhǔn)步驟整合在同一個(gè)網(wǎng)絡(luò)模型中,通常的做法是,首先使用一個(gè)共享參數(shù)的孿生網(wǎng)絡(luò)(siamese network)[14]提取左右核線影像的深度特征并構(gòu)建一個(gè)匹配代價(jià)量(cost volume);然后使用卷積網(wǎng)絡(luò)對(duì)其進(jìn)行聚合,接著將聚合后的代價(jià)量轉(zhuǎn)換成概率分布,通過對(duì)所有可能的視差值加權(quán)求和得到初步的視差圖;最后通過一定的優(yōu)化策略得到最終的視差。例如,GC-Net(geometry and context)[15]采用共享權(quán)重的2D卷積層提取影像下采樣后的特征圖,再將左右特征圖在視差方向上錯(cuò)位拼接得到代價(jià)體,利用3D卷積層對(duì)其進(jìn)行聚合并上采樣至輸入影像大小,最后使用soft argmin將匹配代價(jià)轉(zhuǎn)換成視差圖。PSM-Net(pyramidal stereo matching)[16]引入SPP(spatial pyramid pooling)模塊[17]用于提取不同尺度的特征來(lái)構(gòu)建代價(jià)體,在代價(jià)聚合階段采用堆疊漏斗結(jié)構(gòu)的3D卷積層,并計(jì)算3個(gè)階段的視差圖,在測(cè)試時(shí)以最后一個(gè)視差圖作為優(yōu)化后的視差。由于完全避免了手工的特征設(shè)計(jì),端到端的方法取得了更高的匹配精度,在多個(gè)開源數(shù)據(jù)集上,如KITTI[18-19]、Middlebury[20]和SceneFlow[13,21]等,處于領(lǐng)先地位。

在攝影測(cè)量與遙感領(lǐng)域,也有一些深度學(xué)習(xí)模型被用于遙感影像的立體匹配。例如,文獻(xiàn)[22]在PSM-Net的基礎(chǔ)上改進(jìn)得到Bidir-EPNet(bidirectional pyramid stereo matching network),提升了對(duì)遮擋區(qū)域視差的估計(jì);文獻(xiàn)[23]提出了HMSM-Net(hierarchical multi-scale matching network),通過構(gòu)建多尺度的代價(jià)量來(lái)學(xué)習(xí)不同尺度地物的匹配;文獻(xiàn)[24]提出了一個(gè)多任務(wù)模型BGA-Net(bidirectional guided attention network),可同時(shí)對(duì)遙感影像進(jìn)行立體匹配和語(yǔ)義分割。這些模型在公開數(shù)據(jù)集上取得了好于傳統(tǒng)方法的結(jié)果,但是它們的性能僅在小尺寸遙感影像(如1024×1024)上得到了驗(yàn)證,很少有研究人員將深度學(xué)習(xí)模型用于大場(chǎng)景衛(wèi)星遙感影像的視差圖生成。盡管基于深度學(xué)習(xí)的立體匹配算法表現(xiàn)出良好的前景,但是現(xiàn)階段將其應(yīng)用于衛(wèi)星立體影像的匹配中仍存在一些困難,原因主要是目前主流的立體匹配模型嚴(yán)重依賴訓(xùn)練數(shù)據(jù),而基于衛(wèi)星影像的立體匹配數(shù)據(jù)集較少;衛(wèi)星影像幅寬大,覆蓋范圍廣,在地形起伏大或有高層建筑物的地區(qū)視差很大,而一般深度學(xué)習(xí)模型每次只能匹配一小塊影像,且能夠預(yù)測(cè)的視差范圍固定有限(如Bidir-EPNet設(shè)置的范圍為[-64,64]),這些限制了它們?cè)诖髨?chǎng)景衛(wèi)星立體影像處理中的實(shí)際應(yīng)用能力。近年來(lái),高分系列衛(wèi)星的發(fā)射極大地提高了我國(guó)對(duì)地觀測(cè)的能力,以高分七號(hào)為例,它搭載的兩線陣立體相機(jī)可獲取20 km幅寬、分辨率優(yōu)于0.8 m的前后視全色立體影像,是立體測(cè)繪的重要數(shù)據(jù)來(lái)源。然而由于場(chǎng)景十分復(fù)雜,傳統(tǒng)方法在高分七號(hào)影像立體匹配中表現(xiàn)不佳,因此如何將深度學(xué)習(xí)有效地應(yīng)用于這類衛(wèi)星影像是值得探索的。

針對(duì)上述問題,本文提出一種能夠使深度學(xué)習(xí)模型適應(yīng)大場(chǎng)景衛(wèi)星影像立體匹配的策略,同時(shí)提出一套衛(wèi)星影像立體匹配訓(xùn)練樣本的制作方案,構(gòu)建一個(gè)高分七號(hào)立體匹配數(shù)據(jù)集,并首次以高分七號(hào)衛(wèi)星立體影像為試驗(yàn)對(duì)象,使用兩個(gè)典型的立體匹配神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)整景視差圖并制作DSM,通過與傳統(tǒng)方法的對(duì)比論證了本文方法的可行性和制作的數(shù)據(jù)集的應(yīng)用價(jià)值。

1 立體匹配神經(jīng)網(wǎng)絡(luò)模型

目前,大多數(shù)端到端的立體匹配神經(jīng)網(wǎng)絡(luò)模型都采用GC-Net[15]模式計(jì)算匹配代價(jià)和執(zhí)行代價(jià)聚合,即生成大小為H×W×D×C的4維代價(jià)量,其中H、W為影像的高、寬,D為視差范圍,C為特征通道數(shù),再用3D卷積處理這個(gè)代價(jià)量。這種方式可以獲得比較高的精度,然而由于代價(jià)量和3D卷積的維度較高,運(yùn)算量較大。本文選取兩個(gè)具有代表性的,可以實(shí)現(xiàn)快速立體匹配的輕量卷積神經(jīng)網(wǎng)絡(luò)模型,分別是Stereo-Net[25]和DSM-Net[26],用于高分七號(hào)影像的立體匹配。其中Stereo-Net是計(jì)算機(jī)視覺領(lǐng)域的經(jīng)典模型,DSM-Net是專門針對(duì)遙感影像設(shè)計(jì)的模型。

1.1 Stereo-Net

Stereo-Net[25]是首個(gè)端到端的可以進(jìn)行實(shí)時(shí)立體匹配的深度神經(jīng)網(wǎng)絡(luò)模型,其主要思想是構(gòu)建一個(gè)低分辨率的代價(jià)量以減少運(yùn)算量,對(duì)其進(jìn)行聚合后計(jì)算一個(gè)低分辨率的視差圖,然后利用原始影像逐步引導(dǎo)其恢復(fù)至原圖分辨率,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示[25]。

首先連續(xù)使用K(K=3或4)個(gè)尺寸為5×5、步長(zhǎng)為2的卷積操作從原始影像中提取特征并降低分辨率,再使用6個(gè)殘差塊(residual block)[27]和1個(gè)3×3卷積提取更深的特征,得到通道數(shù)為32的特征圖。然后以左右特征圖在視差方向上錯(cuò)位相減得到代價(jià)體,使用4個(gè)3×3×3的3D卷積執(zhí)行代價(jià)聚合,再用1個(gè)3D卷積將聚合后的代價(jià)體的通道調(diào)整為1,得到形狀為H/2K×W/2K×D/2K的代價(jià)體。最后,采用soft argmin[15]將代價(jià)體轉(zhuǎn)化成大小為H/2K×W/2K的視差圖。為了將低分辨率的視差圖恢復(fù)至原始影像分辨率并重建下采樣中丟失的部分細(xì)節(jié)信息,網(wǎng)絡(luò)采用了分層優(yōu)化的方法,每次將上一級(jí)的視差圖上采樣兩倍,并將其與調(diào)整大小后的原始影像拼接,經(jīng)過若干2D卷積和殘差塊,得到視差殘差并與上一級(jí)視差相加得到當(dāng)前層級(jí)的視差圖,重復(fù)這樣的操作直到獲得與原始圖像大小一致的視差圖。訓(xùn)練時(shí),同時(shí)學(xué)習(xí)左右視差圖(缺少右圖視差標(biāo)簽時(shí)也可以只學(xué)習(xí)左圖視差),對(duì)每級(jí)視差圖都計(jì)算損失,以它們的和作為總的訓(xùn)練損失。測(cè)試階段,以左視的最后一級(jí)視差圖作為最終的預(yù)測(cè)結(jié)果。

1.2 DSM-Net

DSM-Net[26]是一個(gè)用于高分辨率衛(wèi)星影像立體匹配的端到端模型,其主要思想是通過構(gòu)建兩個(gè)尺度的代價(jià)量來(lái)學(xué)習(xí)不同尺度地物的匹配,從而提高匹配的成功率,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 DSM-Net網(wǎng)絡(luò)結(jié)構(gòu)[26]Fig.2 DSM-Net network structure[26]

首先,使用由若干層2D卷積和殘差塊構(gòu)成的特征提取器提取兩個(gè)尺度(輸入圖像1/4和1/8分辨率)的深度特征;然后,采用與Stereo-Net相同的方式分別構(gòu)建兩個(gè)尺度的代價(jià)體。由于遙感影像的視差可能同時(shí)存在正負(fù)值,因此DSM-Net構(gòu)建了從負(fù)視差到正視差范圍的代價(jià)體。在代價(jià)聚合階段,首先使用一個(gè)代價(jià)聚合模塊處理低尺度的代價(jià)量并計(jì)算相應(yīng)尺度的視差圖,然后將聚合后的低尺度代價(jià)量上采樣并與初始的高尺度代價(jià)量融合,經(jīng)過另一個(gè)代價(jià)聚合模塊后計(jì)算該尺度的視差圖。為了降低網(wǎng)絡(luò)的計(jì)算量,代價(jià)聚合模塊被設(shè)計(jì)成編碼器-解碼器的結(jié)構(gòu),并且使用分解的3D卷積代替普通的3D卷積。在視差優(yōu)化階段,先將高尺度的視差圖上采樣至原始影像的1/2分辨率,并與從左核線影像提取出來(lái)的淺層特征拼接,然后采用與Stereo-Net相似的方式學(xué)習(xí)一個(gè)視差殘差,相加得到優(yōu)化后的視差。訓(xùn)練時(shí),對(duì)3個(gè)視差圖都計(jì)算損失值,以它們的加權(quán)和為最終損失。預(yù)測(cè)時(shí),使用雙線性插值將優(yōu)化后的視差直接上采樣輸入影像分辨率作為最終的預(yù)測(cè)結(jié)果。

2 大幅寬影像匹配策略與數(shù)據(jù)集

2.1 分層動(dòng)態(tài)匹配策略

由于衛(wèi)星影像往往具有很大的尺寸,無(wú)法直接使用深度學(xué)習(xí)模型對(duì)整幅核線影像進(jìn)行匹配,因此需要分塊處理,再將小塊的視差圖拼接成整體視差圖。然而,衛(wèi)星影像成像視角差異大,有些地區(qū)地形起伏大或者存在高層建筑,直接對(duì)立體像對(duì)進(jìn)行一一對(duì)應(yīng)分塊可能導(dǎo)致得到的小像對(duì)上視差過大或者重疊度較低(如圖3綠色分塊),加上網(wǎng)絡(luò)模型本身能夠回歸的視差范圍固定且有限,難以匹配成功。因此,需要將其中一個(gè)分塊窗口做一定量的平移,使得到的分塊核線影像有較大的重疊度,縮小像對(duì)的視差。

圖3 核線影像分塊方法Fig.3 Blocking method for epipolar image

整幅核線影像上不同區(qū)域的視差不一樣,無(wú)法通過移動(dòng)整幅左核線或右核線影像使所有區(qū)域視差都被調(diào)整到合適的范圍。本文提出一種簡(jiǎn)單有效的分層動(dòng)態(tài)匹配策略,采用局部動(dòng)態(tài)調(diào)整核線影像切塊位置的方式解決該問題。首先構(gòu)建原始核線影像的金字塔影像(如分別縮小16、8、4、2倍),不同層級(jí)的金字塔核線影像上,視差也被縮小相應(yīng)的倍數(shù)。對(duì)于最小的核線影像(金字塔頂端),由于視差較小,一一對(duì)應(yīng)分塊也可以獲得高重疊度的核線影像塊,采用這種方式分塊預(yù)測(cè)小塊視差圖,最后拼接成最小核線影像的整幅視差圖。從金字塔的次頂層開始,采用前一級(jí)的視差圖作為參考,將前一級(jí)的視差圖放大一倍到當(dāng)前層級(jí)的大小,計(jì)算左核線影像塊對(duì)應(yīng)區(qū)域(圖3紅色框區(qū)域)的視差的平均值,然后以該平均值為平移量將右核線影像上分塊窗口平移,取平移后窗口的右核線影像塊與左核線影像塊匹配,如圖3所示,綠色框是按照一一對(duì)應(yīng)關(guān)系獲取的核線影像塊,藍(lán)色框是根據(jù)視差平均值平移后獲取的右核線影像塊,平移后的右核線影像塊與左核線影像塊的重疊度明顯比平移前更大。

假設(shè)左核線影像分塊區(qū)域范圍為[i:i+h,j:j+w],平移量為a,則右核線影像分塊區(qū)域?yàn)閇i:i+h,j-a:j-a+w],核線塊上的視差換算到整幅核線影像上為D=d+a(d表示分塊核線影像對(duì)上匹配得到的視差)。為了使由小塊視差圖拼接成的整幅視差圖不出現(xiàn)明顯的接縫線,在對(duì)大核線影像分塊時(shí),以分塊窗口的寬、高的一半為步長(zhǎng)分別在水平和垂直方向上滑動(dòng)切割窗口,每次取窗口的中間部分的視差值作為整幅視差圖對(duì)應(yīng)區(qū)域的視差。

2.2 數(shù)據(jù)集

數(shù)據(jù)集是推動(dòng)和影響深度學(xué)習(xí)模型發(fā)展和性能的關(guān)鍵因素之一。目前有不少基于街景影像、虛擬影像或者航空影像制作的數(shù)據(jù)集,如KITTI[18-19]、Middlebury[20]、SceneFlow[13,21]、ISPRS[28]等。然而與衛(wèi)星影像相比,它們?cè)诔上穹绞?、交?huì)視角、影像波段、覆蓋范圍等方面都有著顯著的差異,基于這些數(shù)據(jù)集訓(xùn)練的模型難以直接遷移到衛(wèi)星影像的處理中?，F(xiàn)有公開的衛(wèi)星影像立體匹配數(shù)據(jù)集較少,US3D(urban semantic 3D)[29]和SatStereo[30]各提供了一個(gè)基于WorldView衛(wèi)星影像的立體匹配數(shù)據(jù)集。對(duì)于國(guó)產(chǎn)高分系列衛(wèi)星,目前已知的僅有WHU-Stereo[31]提供了一個(gè)基于高分七號(hào)立體影像的數(shù)據(jù)集,但WHU-Stereo主要面向城市及其周邊區(qū)域,所代表的地面覆蓋類型有限。本文基于高分七號(hào)衛(wèi)星影像制作了一個(gè)數(shù)據(jù)集,彌補(bǔ)了WHU-Stereo缺乏地形起伏大、視差大的樣本的不足。

WHU-Stereo數(shù)據(jù)集的視差真值由機(jī)載LiDAR制作得到,然而點(diǎn)云的獲取成本高,點(diǎn)云與影像之間的時(shí)間不一致容易給計(jì)算變化地物(如植物)的視差真值帶來(lái)誤差。本文提出了一個(gè)不依賴LiDAR點(diǎn)云的視差標(biāo)簽制作方案,如圖4所示。給定1景高分七號(hào)立體影像,首先使用商業(yè)軟件生成整景核線影像和視差圖,如果視差圖質(zhì)量滿足要求,則對(duì)核線影像和視差圖進(jìn)行切片得到樣本;如果不滿足要求,則生成相應(yīng)的DSM,并使用立體測(cè)圖軟件對(duì)其進(jìn)行人工編輯,得到目視精度較高的DSM,再由DSM反算得到視差圖,連同核線影像進(jìn)行切片獲取樣本。一般情況下,對(duì)于山區(qū)等人工地物不多的影像,使用商業(yè)軟件生成的視差圖可以滿足神經(jīng)網(wǎng)絡(luò)的訓(xùn)練;對(duì)于城區(qū)等,則需要適當(dāng)?shù)娜斯ぞ庉嫛?/p>

圖4 高分七號(hào)立體匹配樣本制作方案Fig.4 Production scheme of GF-7 stereo matching samples

依照該方案,本文使用山東省嶗山地區(qū)的高分七號(hào)影像,采用國(guó)產(chǎn)商業(yè)軟件生成了若干樣本(以山區(qū)為主,如圖5(a))。此外,本文收集了若干LiDAR點(diǎn)云(廣東省梅州市)及成像時(shí)間與點(diǎn)云相近的該地區(qū)高分七號(hào)影像,采用與WHU-Stereo相同的方式生成了一批覆蓋城市建筑物的樣本(圖5(c))。

3 試驗(yàn)與分析

整體的試驗(yàn)方案流程如圖6所示。試驗(yàn)中將WHU-Stereo[31]數(shù)據(jù)集與本文提供的數(shù)據(jù)集混合,使用Stereo-Net[25]和DSM-Net[26]公開的代碼訓(xùn)練兩個(gè)立體匹配神經(jīng)網(wǎng)絡(luò)模型,根據(jù)訓(xùn)練樣本的視差分布及GPU顯存的大小,將網(wǎng)絡(luò)模型回歸的視差范圍設(shè)定為[-192,128]。模型訓(xùn)練時(shí),采用提前結(jié)束的措施,即當(dāng)損失函數(shù)連續(xù)若干個(gè)訓(xùn)練回合下降不超過一定的閾值時(shí)就停止訓(xùn)練,這樣可以一定程度上避免過擬合。本文制作的數(shù)據(jù)集、使用的代碼及訓(xùn)練好的模型權(quán)重文件均已公布至https:∥github.com/Sheng029/GF-7_Stereo_Matching。測(cè)試的數(shù)據(jù)為3景高分七號(hào)前后視全色立體影像,它們均沒有在訓(xùn)練樣本中出現(xiàn)過,其部分信息見表1,3景影像均有極大的幅寬。試驗(yàn)中,后視影像作為參考影像,前視影像作為目標(biāo)影像。

表1 試驗(yàn)高分七號(hào)影像的部分信息

圖6 試驗(yàn)方案流程Fig.6 Flowchart of experiment

3.1 匹配策略的有效性分析

為驗(yàn)證本文分層動(dòng)態(tài)匹配策略在大幅寬衛(wèi)星影像立體匹配中的有效性,設(shè)計(jì)了一組對(duì)比試驗(yàn),即對(duì)同1景高分七號(hào)核線影像,分別使用一一對(duì)應(yīng)分塊匹配和分層動(dòng)態(tài)匹配兩種方式預(yù)測(cè)視差大圖。以Stereo-Net和北京市影像為例,將原始核線影像分別縮小8、4、2倍構(gòu)建金字塔,使用兩種方法預(yù)測(cè)的結(jié)果如圖7所示。由北京市影像整景匹配結(jié)果(圖7第1行)可以看出,在地形較為平坦的地區(qū),兩種方法均可以預(yù)測(cè)出比較好的視差。然而在地形高差較大的山區(qū)(左下區(qū)域),一一對(duì)應(yīng)分塊獲得的小塊核線影像對(duì)重疊度較小、視差較大,超出了模型所能回歸的范圍,因此預(yù)測(cè)出來(lái)的視差有明顯的錯(cuò)誤。而采用分層動(dòng)態(tài)匹配策略,可以根據(jù)上一級(jí)的視差動(dòng)態(tài)調(diào)整本級(jí)右核線影像的分塊位置,使得每次分塊得到的核線影像塊之間有較大的重疊度,進(jìn)而將視差偏移到相對(duì)較小、模型能夠回歸的范圍。該策略使得深度學(xué)習(xí)模型能夠突破自身預(yù)測(cè)視差范圍的限制,從而適用于視差范圍較大的大幅寬衛(wèi)星影像,由圖7中可以看出,一一對(duì)應(yīng)分塊預(yù)測(cè)出的視差沒有超過預(yù)設(shè)的[-192,128],而分層動(dòng)態(tài)匹配策略能夠預(yù)測(cè)的視差遠(yuǎn)大于預(yù)設(shè)范圍。由于GF-7搭載的立體相機(jī)前后兩個(gè)視角差異大,高層建筑物區(qū)域難以匹配,由圖7第2行可以看出,SGM幾乎無(wú)法匹配高層建筑物,深度學(xué)習(xí)方法顯著優(yōu)于SGM。進(jìn)一步對(duì)比兩種匹配策略的結(jié)果,不難發(fā)現(xiàn)分層動(dòng)態(tài)匹配的成功率高于一一對(duì)應(yīng)分塊匹配,進(jìn)一步證明了本文提出的匹配策略的有效性。

圖7 兩種策略視差預(yù)測(cè)結(jié)果對(duì)比Fig.7 Comparison of disparity maps predicted by two strategies

3.2 視差圖質(zhì)量評(píng)價(jià)

為統(tǒng)計(jì)預(yù)測(cè)視差圖的精度,利用SIFT算子提取核線影像上的同名像點(diǎn),計(jì)算這些特征點(diǎn)的x視差作為視差真值,通過比較這些特征點(diǎn)的預(yù)測(cè)視差值與真值來(lái)評(píng)價(jià)精度。采用平均視差絕對(duì)誤差(average endpoint error,EPE)和錯(cuò)誤視差像素比例(D1)[26,29]作為衡量指標(biāo),前者表示所有參與統(tǒng)計(jì)的視差誤差的絕對(duì)值的平均數(shù),后者表示視差錯(cuò)誤的像素在所有參與統(tǒng)計(jì)的像素中占有的比例,兩個(gè)指標(biāo)均是越小代表視差精度越高,計(jì)算公式為

(1)

對(duì)于所有影像,以分層動(dòng)態(tài)匹配的方式,分別使用Stereo-Net和DSM-Net對(duì)核線影像進(jìn)行視差圖預(yù)測(cè),并將結(jié)果與傳統(tǒng)SGM算法匹配的結(jié)果對(duì)比。表2統(tǒng)計(jì)了這3種方法的定量精度比較,可以看出,深度學(xué)習(xí)方法的EPE整體在1個(gè)像素左右,稍差于SGM,而D1要優(yōu)于SGM,說(shuō)明深度學(xué)習(xí)方法預(yù)測(cè)的視差異常值要少于SGM算法。需要說(shuō)明的是,SGM算法匹配的視差圖中有很多無(wú)效值,因此SGM生成的視差圖中參與統(tǒng)計(jì)的點(diǎn)數(shù)少于深度學(xué)習(xí)生成的視差圖,如果考慮無(wú)效值,則SGM的EPE和D1都要差于深度學(xué)習(xí)方法。

表2 3種方法生成的視差圖精度統(tǒng)計(jì)

圖8是3種方法生成的廣州市影像的整景視差圖及局部細(xì)節(jié)?？梢钥闯?SGM生成的視差圖存在大量的無(wú)效值(局部細(xì)節(jié)圖中黑色空洞),而深度學(xué)習(xí)模型可以為每個(gè)像素都預(yù)測(cè)出有效的視差值。對(duì)于建筑物,深度學(xué)習(xí)模型可以更好地還原建筑物的整體輪廓,對(duì)建筑物的細(xì)部結(jié)構(gòu)也保持得較好。對(duì)于平地,SGM視差圖中存在較多的表現(xiàn)為“突刺”的噪聲,平滑性明顯不如深度學(xué)習(xí)方法。對(duì)比Stereo-Net和DSM-Net,前者在平坦地面的表現(xiàn)稍好于后者,而后者對(duì)建筑物的視差預(yù)測(cè)更有優(yōu)勢(shì)。總體而言,兩個(gè)深度學(xué)習(xí)模型的匹配效果均超過了SGM算法。

圖8 3種方法生成的視差圖對(duì)比Fig.8 Comparison of disparity maps generated by three methods

3.3 DSM質(zhì)量評(píng)價(jià)

獲取視差圖后,利用核線影像與原始影像之間的對(duì)應(yīng)關(guān)系,逐像素地把通過視差計(jì)算得到的同名點(diǎn)推算至原始影像,再基于前方交會(huì)原理即可獲取物方密集點(diǎn)云[32-33]。本文將Stereo-Net和DSM-Net生成的點(diǎn)云柵格化為1 m分辨率的DSM,并與用基于SGM算法的商業(yè)軟件PCI Geomatica制作的DSM進(jìn)行對(duì)比分析,圖9為3種方法生成的中山市影像整景DSM。需要說(shuō)明的是,由于區(qū)域網(wǎng)平差中缺少實(shí)測(cè)地面控制點(diǎn)或高精度參考地形等數(shù)據(jù),本文方法生成的DSM均為相對(duì)高程,因此只做定性評(píng)價(jià)?？傮w上看,幾種DSM均能大致反映該地區(qū)的地表形態(tài),兩種深度學(xué)習(xí)方法的結(jié)果好于PCI,例如PCI在河流等水域生成的結(jié)果明顯不如兩個(gè)深度學(xué)習(xí)模型的結(jié)果。為進(jìn)一步分析遮擋、視差不連續(xù)及弱紋理地區(qū)的匹配質(zhì)量,選取建筑物和平坦地面兩類具有代表性的地物進(jìn)行詳細(xì)比較。

圖10為城區(qū)某區(qū)域3種方法的效果對(duì)比?？梢钥闯?在建筑物分布密集的區(qū)域,PCI生成的DSM建筑物容易連成一片。在含有高層建筑物的區(qū)域,由于遮擋嚴(yán)重,這種現(xiàn)象尤為明顯(如左上角部分),而兩種深度學(xué)習(xí)方法對(duì)建筑物群的區(qū)分明顯更好,其中DSM-Net對(duì)高層建筑物的匹配效果最好。此外,深度學(xué)習(xí)方法能夠更好地保持建筑物的邊緣信息。猜測(cè)可能是神經(jīng)網(wǎng)絡(luò)模型不僅能夠有效學(xué)習(xí)像素之間的相關(guān)性,還可以充分利用上下文語(yǔ)意信息對(duì)不同的地物類型加以區(qū)分,并對(duì)遮擋部分的視差進(jìn)行合理的推測(cè)。

圖10 3種方法生成的建筑物密集區(qū)域DSM對(duì)比Fig.10 Comparison of DSMs generated by three methods in a built-up area

進(jìn)一步評(píng)價(jià)建筑物的匹配質(zhì)量,選取房屋的斷面對(duì)3種方法生成的DSM進(jìn)行比較。如圖11所示,沿著圖中紅色線段采集高程,可通過高程變化來(lái)反映DSM的垂直精度。從整體斷面曲線可以看出,PCI將第3和第4個(gè)屋頂之間的狹小地面誤匹配成了屋頂,而Stereo-Net和DSM-Net能正確地區(qū)分出所有屋頂及夾在其中的地面。由屋頂部分的曲線可以看出,PCI的DSM平滑性不佳,有較大的粗差,Stereo-Net和DSM-Net也存在同樣的問題,但屋頂整體上還是更加平整。由屋頂和地面交界處的曲線可以看出,兩種深度學(xué)習(xí)方法的DSM高程變化較為劇烈,更加符合這些地方高程不連續(xù)的特點(diǎn)。綜合表明,深度學(xué)習(xí)方法在保持建筑物的整體輪廓、屋頂形態(tài)及處理視差不連續(xù)和遮擋等方面比基于SGM的傳統(tǒng)方法更具優(yōu)勢(shì)。

圖11 3種方法獲取的房屋斷面高程變化曲線Fig.11 Elevation change curves of house section acquired from three methods

弱紋理區(qū)域?qū)τ赟GM算法是一個(gè)難點(diǎn),為了驗(yàn)證深度學(xué)習(xí)方法在匹配衛(wèi)星影像弱紋理區(qū)域是否更加有效,選取了3種方法在平坦地區(qū)的結(jié)果進(jìn)行對(duì)比(圖12)。不難看出,PCI生成的DSM有明顯的錯(cuò)誤。采集左影像紅色線段上的高程繪制成平地?cái)嗝娓叱套兓€,可以看出,Stereo-Net和DSM-Net反映出的高程變化較小,符合平地起伏不大的特點(diǎn),而PCI的曲線存在一個(gè)顯著的階躍,說(shuō)明SGM算法在匹配該區(qū)域時(shí)出現(xiàn)嚴(yán)重誤匹配。深度學(xué)習(xí)模型能夠更好地保持地表形態(tài),對(duì)于弱紋理的處理也更加有效,推測(cè)可能的原因是深度學(xué)習(xí)方法可以自適應(yīng)地學(xué)習(xí)匹配代價(jià),對(duì)于弱紋理區(qū)的像素能夠得到比傳統(tǒng)方法定義的更合適的相似性測(cè)度。

圖12 3種方法生成的弱紋理平地DSM對(duì)比Fig.12 Comparison of DSMs in a texture-less plain ground generated by three methods

3.4 本文數(shù)據(jù)集的作用分析

為驗(yàn)證本文制作的高分七號(hào)立體匹配數(shù)據(jù)集的應(yīng)用價(jià)值,設(shè)計(jì)了一組消融試驗(yàn):對(duì)于DSM-Net,僅使用WHU-Stereo[31]數(shù)據(jù)集訓(xùn)練(視差范圍設(shè)置為[-128,64],與文獻(xiàn)[31]一致)和混合兩個(gè)數(shù)據(jù)集訓(xùn)練(視差范圍設(shè)置為[-192,128]),結(jié)合分層動(dòng)態(tài)匹配策略分別在廣州市影像上進(jìn)行立體匹配測(cè)試,結(jié)果如圖13所示。當(dāng)模型僅用WHU-Stereo數(shù)據(jù)集訓(xùn)練時(shí),對(duì)于地形起伏較大的山區(qū)錯(cuò)誤匹配較多(視差圖左邊部分),而引入本文數(shù)據(jù)集后,效果有明顯改善,原因在于本文數(shù)據(jù)集中含有較多視差范圍較大的山區(qū)樣本,彌補(bǔ)了WHU-Stereo缺乏這類樣本的不足,使訓(xùn)練出來(lái)的模型具有更大的視差回歸范圍和更強(qiáng)的預(yù)測(cè)能力。

圖13 使用和不使用本文數(shù)據(jù)集訓(xùn)練的模型預(yù)測(cè)結(jié)果對(duì)比Fig.13 Comparison of predictions of models trained with and without the dataset in this paper

4 結(jié) 語(yǔ)

針對(duì)深度學(xué)習(xí)模型直接用于大場(chǎng)景衛(wèi)星影像的立體匹配遇到的困難,本文提出了相應(yīng)的解決方案。通過分層動(dòng)態(tài)匹配策略,神經(jīng)網(wǎng)絡(luò)模型可以突破自身視差回歸范圍不足的限制,適用于視差跨度較大的大幅寬衛(wèi)星影像;提出了一套制作衛(wèi)星影像立體匹配樣本的方案并制作了一個(gè)高分七號(hào)影像數(shù)據(jù)集,對(duì)現(xiàn)有的數(shù)據(jù)庫(kù)是一個(gè)很好的補(bǔ)充?；诖?本文實(shí)現(xiàn)了結(jié)合深度學(xué)習(xí)技術(shù)的高分七號(hào)影像大場(chǎng)景DSM生成。在3個(gè)城市的高分七號(hào)影像上的試驗(yàn)表明,使用本文方法和數(shù)據(jù),深度學(xué)習(xí)模型可以生成高質(zhì)量的視差圖,在遮擋、視差不連續(xù)和弱紋理等傳統(tǒng)SGM算法難以匹配的區(qū)域,效果有顯著的提升,基于深度學(xué)習(xí)方法生成的視差圖制作的DSM,無(wú)論在高程精度還是典型地物的形態(tài)特征保留上,都優(yōu)于傳統(tǒng)方法。