邊緣約束的航攝立體影像密集匹配方法

紀(jì)艷華許 殊陳 勃

1武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢，430079

2中國(guó)科學(xué)院空天信息創(chuàng)新研究院，北京，100094

航空攝影測(cè)量技術(shù)因非接觸、成本低等優(yōu)點(diǎn)被廣泛應(yīng)用，可以從二維航攝影像自動(dòng)得到三維空間的幾何信息、輻射信息和語(yǔ)義信息，進(jìn)而生產(chǎn)4D產(chǎn)品。影像密集匹配是在獲得影像間的相對(duì)位置關(guān)系之后為重疊區(qū)域內(nèi)的每個(gè)像素確定同名點(diǎn)的過程，在計(jì)算機(jī)視覺和數(shù)字?jǐn)z影測(cè)量領(lǐng)域中相關(guān)研究較多。密集匹配點(diǎn)云因其具有顏色和紋理信息，已成為攝影測(cè)量數(shù)字表面模型生成、正射影像糾正以及三維重建工作的重要數(shù)據(jù)來(lái)源［1，2］。

攝影測(cè)量與計(jì)算機(jī)視覺都是研究物體與影像之間關(guān)系的，隨著計(jì)算機(jī)的發(fā)展和進(jìn)步，攝影測(cè)量技術(shù)的發(fā)展借鑒了許多計(jì)算機(jī)視覺方面的研究成果［3］。密集匹配算法一般主要包括4個(gè)步驟［4］：匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算與優(yōu)化、視差后處理。依據(jù)所采用的數(shù)學(xué)模型及最優(yōu)化理論可將影像密集匹配分為局部密集匹配和全局密集匹配。局部密集匹配算法主要是基于窗口進(jìn)行代價(jià)聚合，并且在視差優(yōu)化方面直接采用WTA（winner takes all）策略獲得視差圖，雖然隨著自適應(yīng)支持權(quán)重窗口算法［5］以及后續(xù)的各種改進(jìn)算法的提出，匹配精度越來(lái)越高，但其在紋理缺乏區(qū)域、深度不連續(xù)處匹配效果仍不佳；全局密集匹配方法給出了顯式平滑性假設(shè)，主要是優(yōu)化由整個(gè)圖像的數(shù)據(jù)項(xiàng)和平滑項(xiàng)組成的全局能量方程，常用動(dòng)態(tài)規(guī)劃［6］、圖割［7］和置信度傳播［8］等方法求解能量方程。相對(duì)于局部匹配算法，全局匹配算法的準(zhǔn)確率高，但其計(jì)算復(fù)雜度高、速度慢，不易于實(shí)時(shí)應(yīng)用。半全局匹配（semi-global matching，SGM）算法［9］以其高精度、高效率的特點(diǎn)，已被廣泛用于商用攝影測(cè)量軟件［10］，是用多個(gè)一維方向的聚合能量近似代替全局能量來(lái)求解最優(yōu)視差。

基于對(duì)實(shí)際場(chǎng)景的分段平滑假設(shè)，SGM算法采用雙參數(shù)P1和P2來(lái)建立相鄰像素間的視差平滑約束，P1和P2的大小決定了匹配代價(jià)和平滑項(xiàng)的權(quán)重，影響著視差圖的平滑程度。在實(shí)際應(yīng)用中，由于航攝影像場(chǎng)景復(fù)雜，存在高樓林立、陰影交錯(cuò)的城區(qū)等易出現(xiàn)深度不連續(xù)和遮擋的區(qū)域，也存在農(nóng)田、森林、水域等重復(fù)紋理或弱紋理區(qū)域，這給密集匹配帶來(lái)了一定困難和挑戰(zhàn)，若對(duì)所有像素使用固定的P1和P2難以顧及復(fù)雜的地形條件。原始的SGM方法試圖使用梯度來(lái)克服這個(gè)問題，即在高梯度區(qū)域使用低懲罰而在低梯度區(qū)使用高懲罰。但梯度大的地方并不完全對(duì)應(yīng)著深度不連續(xù)，易受噪聲影響。文獻(xiàn)［11］中的SURE方法采用Canny算子檢測(cè)邊緣，并在邊緣處減小參數(shù)P2，從而達(dá)到保持邊緣的效果，但是Canny算子僅利用梯度信息獲取物體邊緣，仍對(duì)噪聲敏感，且檢測(cè)到的邊緣由單像素連接而成，而邊緣實(shí)際上很難保證準(zhǔn)確定位［12］。朱慶等［1］采用局部窗口的梯度和標(biāo)準(zhǔn)差來(lái)提取紋理信息，并根據(jù)紋理信息來(lái)調(diào)整懲罰參數(shù)，在一定程度上減小了灰度噪聲的影響，但是僅利用局部信息定量表達(dá)紋理特征仍存在局限性。Chuang等［13］采用兩步匹配策略：第1步使用U-SURF特征匹配邊緣像素，使用自適應(yīng)支持窗口方法匹配非邊緣像素，獲得初始視差圖；第2步利用初始匹配代價(jià)調(diào)整懲罰參數(shù)，使用SGM方法獲得最終視差圖，該方法不僅保留了清晰的邊緣又不會(huì)引入冗余的噪聲，但沒有考慮效率。

1 邊緣約束的SGM方法

本文提出了一種邊緣約束的航攝立體影像密集匹配方法，整體流程如圖1所示。由于核線關(guān)系將同名點(diǎn)約束在同名核線上，將同名點(diǎn)的搜索范圍從二維降至了一維，極大的提高了匹配效率，因此首先生成核線影像對(duì)，在核線影像上進(jìn)行密集匹配。

圖1 邊緣約束的SGMFig.1 Flow Chart of Edge-Constrained SGM Algorithm

1.1 基于點(diǎn)互信息的邊緣提取

點(diǎn)互信息［14］在圖像處理領(lǐng)域被用來(lái)衡量像素特征之間聯(lián)系的緊密程度，利用屬于同一物體中的像素比不屬于同一物體的像素的統(tǒng)計(jì)相關(guān)性更高的特性，判斷從屬于兩個(gè)特征的兩像素是否屬于同一物體。若特征間的關(guān)聯(lián)度高，則從屬于這兩個(gè)特征的像素點(diǎn)間的相似度高，應(yīng)屬于同一物體；反之，若特征間的關(guān)聯(lián)度低，從屬于這兩個(gè)特征的像素點(diǎn)間的相似度低，應(yīng)屬于不同物體。像素點(diǎn)互信息是對(duì)影像全局特征的描述，具有更強(qiáng)的穩(wěn)定性和抗噪性，通過判斷特征間的點(diǎn)互信息值可將看似特征完全不同但實(shí)屬同一目標(biāo)的像素點(diǎn)融合，從而獲得影像中目標(biāo)物體的真實(shí)邊緣信息。

根據(jù)上述點(diǎn)互信息的特點(diǎn)，本文采用基于點(diǎn)互信息的邊緣提取方法，在一張影像中對(duì)相鄰像素進(jìn)行采樣，隨機(jī)采樣提取N個(gè)點(diǎn)對(duì)，利用得到的N個(gè)特征對(duì)和N個(gè)點(diǎn)互信息值生成隨機(jī)森林決策樹，以獲取影像中任意特征對(duì)的點(diǎn)互信息值，即對(duì)整張影像構(gòu)建相似性矩陣，然后計(jì)算邊緣概率，獲取邊緣。

式中，ρ=1.25；P(f1i，f1j)為特征f1i和f1j的聯(lián)合概率；P(f1i)、P(f1j)分別為特征f1i和f1j的獨(dú)立概率。采用非參數(shù)核密度估計(jì)［15］來(lái)推導(dǎo)影像特征間的聯(lián)合分布概率和獨(dú)立分布概率。

為了相似性度量的穩(wěn)定性和準(zhǔn)確性，本文采用像素的顏色特征（L×a×b顏色空間）及3×3窗口內(nèi)像素RGB（red-green-blue）顏色的對(duì)角協(xié)方差矩陣作為特征集，因此每個(gè)像素有兩個(gè)三維的特征向量。則采用如式（2）所示的相似度矩陣對(duì)像素i，j間的相似性進(jìn)行定量描述。

式中，W為相似度矩陣；fi與fj分別為點(diǎn)i和j的特征向量；k表示特征；M表示特征向量的個(gè)數(shù)。獲取相似度矩陣W后，采用文獻(xiàn)［15］中的方法計(jì)算得到每個(gè)像素的邊緣概率。

1.2 邊緣約束的立體影像密集匹配

SGM方法用多個(gè)方向的聚合能量來(lái)近似代替全局能量，然后采用WTA（winner-take-all）方法獲取視差。通常，能量函數(shù)由數(shù)據(jù)項(xiàng)和平滑項(xiàng)兩部分構(gòu)成，表達(dá)式為：

立體影像密集匹配的核心工作是在左右影像中找到同一物體的對(duì)應(yīng)同名點(diǎn)。匹配代價(jià)是判斷兩個(gè)像素是否相似的度量函數(shù)，是估算視差的依據(jù)。Scharstein等［4］對(duì)當(dāng)前常用的匹配代價(jià)函數(shù)進(jìn)行了研究和評(píng)估，經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)基于Census變換的匹配代價(jià)［16］對(duì)圖像輻射變化不敏感且可以抵抗較小的局部不規(guī)則噪聲，具有最穩(wěn)健的匹配性能。但Census變換是根據(jù)兩個(gè)像素間的灰度大小關(guān)系來(lái)計(jì)算匹配代價(jià)的，沒有考慮特定的像素灰度值，在紋理簡(jiǎn)單的區(qū)域具有重復(fù)的結(jié)構(gòu)和較低的區(qū)分度；另外，Census變換對(duì)中心像素的依賴性很強(qiáng)，當(dāng)中心像素出現(xiàn)噪聲時(shí)，匹配結(jié)果是不可預(yù)測(cè)的［17］。針對(duì)上述問題，本文利用中心像素的支持窗口內(nèi)的鄰域均值代替中心像素的灰度來(lái)進(jìn)行Census變換，以避免中心像素受噪聲干擾生成錯(cuò)誤的字符串；另外，考慮到梯度可以抵抗部分噪聲，且使用了鄰近像素灰度值之間的連續(xù)性約束，以及梯度對(duì)深度不連續(xù)與一定的識(shí)別能力，本文引入梯度算子與Census變換融合構(gòu)建新的匹配代價(jià)。匹配代價(jià)計(jì)算公式為：

式中，p′(p，dp)表示當(dāng)視差為dP時(shí)，像素p為 在右影像中的待匹配像素；T(?)表示以鄰域均值作為判斷閾 值 的Census變 換；H(?)表 示Hamming距 離；G(?)表示影像的一階方向?qū)?shù)；下標(biāo)L和R分別表示左右影像；h(q)表示通過像素p的核線，歸一化函數(shù)ρ(c，λ)避免了匹配代價(jià)傾向于某一代價(jià)；λ用來(lái)平衡兩個(gè)匹配代價(jià)的權(quán)重，有益于結(jié)合Census變換和梯度的優(yōu)點(diǎn)，更好地適應(yīng)灰度失真和噪聲，減少深度不連續(xù)處的匹配誤差。

由于單一的固定懲罰參數(shù)無(wú)法適應(yīng)航攝影像中復(fù)雜的場(chǎng)景，因此本文在能量函數(shù)模型中增加邊緣約束，顧及像素的邊緣屬性對(duì)每個(gè)像素選擇不同的懲罰參數(shù)P1和P2：若當(dāng)前像素的邊緣概率低，應(yīng)施加大的懲罰參數(shù)保證視差平滑；若當(dāng)前像素的邊緣概率高，則施加小的懲罰參數(shù)允許視差跳躍，防止過度平滑。一種簡(jiǎn)單的調(diào)整參數(shù)的方式是根據(jù)像素的邊緣概率逐像素計(jì)算懲罰參數(shù)，但在實(shí)際應(yīng)用中，該方法存在諸多問題：一是需要額外的內(nèi)存和存取操作；二是同一物體上的像素的邊緣概率可能不同，這可能會(huì)造成錯(cuò)誤。因此，本文根據(jù)每個(gè)像素的邊緣概率，設(shè)定一個(gè)閾值，采用二值化處理方法，令單個(gè)像素對(duì)應(yīng)一個(gè)字節(jié)標(biāo)識(shí)邊緣屬性，見式（8），此時(shí)邊緣不再是單一像素連接而成，而是由高邊緣概率像素組成的鄰近真實(shí)邊緣像素附近的幾個(gè)像素，這就避免了單像素邊緣定位不準(zhǔn)確的問題。

在進(jìn)行某一方向的代價(jià)聚合時(shí)，根據(jù)每個(gè)像素的邊緣屬性自適應(yīng)選擇懲罰參數(shù)P1和P2，具體來(lái)說(shuō)，若ρ(p)=255，即當(dāng)前像素p的屬性為邊緣像素，則對(duì)相鄰像素的視差變化選取小的懲罰參數(shù)允許視差突變；若ρ(p)=0，即當(dāng)前像素p的屬性為非邊緣像素，則對(duì)相鄰像素的視差變化選取大的懲罰參數(shù)保證視差平滑。改進(jìn)后的能量函數(shù)為：

其中，P2′＞P2，P1′＞P1，P2＞P1。

2 試驗(yàn)結(jié)果及其分析

2.1 試驗(yàn)設(shè)計(jì)

本文使用來(lái)自ISPRS/EuroSDR的“Benchmark on High Density Aerial Image Matching”項(xiàng)目所提供的Vaihingen公開數(shù)據(jù)集，采用UltraCamX相機(jī)獲取3條航帶共36張像片，像幅為9 420×14 430像素，相機(jī)焦距為100 mm，航高為2 900 m，設(shè)計(jì)航向重疊度為和旁向重疊度均為60%，地面分辨率為20 cm。受計(jì)算機(jī)運(yùn)行內(nèi)存的限制，原始大小的影像視差范圍過大不能直接進(jìn)行匹配，本文采用影像分塊的策略，將原始核線影像裁剪為360×955像素大小的子圖像，視差范圍為256像素。

試驗(yàn)環(huán)境為：Windows10 64bit操作系統(tǒng)，處理器為Intel（R）Core（TM）i5-6300HQCPU@2.30 GHz，8 GB內(nèi)存。

試驗(yàn)的參數(shù)設(shè)置為：SGM方法按照8個(gè)方向進(jìn)行代價(jià)累加，采用7×7窗口內(nèi)的Census變換計(jì)算海明 距 離，λCen=10，λGra=50，懲 罰 參 數(shù) 設(shè) 置 如 表1所示。

表1 懲罰參數(shù)/像素Tab.1 Penalty Parameters/pixel

2.2 試驗(yàn)結(jié)果與分析

為了驗(yàn)證邊緣約束的密集匹配算法的有效性，將本文方法與SGM方法和SURE軟件的點(diǎn)云結(jié)果進(jìn)行對(duì)比。如圖2所示，本文截取試驗(yàn)區(qū)域中包含房屋、平地區(qū)域的3張影像塊a、b、c，并選取一些檢查線和檢查面，其中，檢查線對(duì)應(yīng)房屋邊緣，檢查面對(duì)應(yīng)屋頂、地面等平坦區(qū)域。

圖2 圖像塊Fig.2 Image Block

首先，本文采用M3C2計(jì)算不同方法生成的點(diǎn)云的Z坐標(biāo)與參考Z坐標(biāo)之間的差距以定量評(píng)價(jià)點(diǎn)云精度。其中參考Z坐標(biāo)是通過將DSM（digital surface model）柵格化獲取的［18］。表2為本文提出的邊緣約束的匹配方法與SGM方法在各個(gè)影像塊中生成點(diǎn)云的Z坐標(biāo)的平均誤差對(duì)比。可以看出本文方法在平坦區(qū)域和深度不連續(xù)處的匹配精度相較于SGM方法有較大提高。

表2 Z坐標(biāo)平均誤差/cmTab.2 Z Coordinate Mean Error/cm

圖3定性比較了使用本文方法、SGM和SURE重建的點(diǎn)云圖?？梢钥闯?，SURE與SGM相比，雖然在某些房屋邊緣的表現(xiàn)優(yōu)于后者，如圖3中的實(shí)線橢圓，但是也導(dǎo)致某些房屋的邊角特征缺失，如圖3中的虛線橢圓。而本文提出方法不僅改善了SGM方法得到的點(diǎn)云邊緣缺失、前景視差延伸到背景的問題，并且沒有因?yàn)榧尤肓诉吘壖s束導(dǎo)致更多的邊角特征缺失，如圖3中矩形區(qū)域。因此，從整體來(lái)看，本文方法優(yōu)于SGM方法和文獻(xiàn)［11］的SURE方法，不僅提高了匹配精度，且生成的點(diǎn)云在平坦區(qū)域保持平滑，在房屋邊緣處更加完整且清晰。

圖3 點(diǎn)云圖Fig.3 Reconstructed Point Clouds

3 結(jié)束語(yǔ)

本文在傳統(tǒng)的SGM方法的基礎(chǔ)上，提出了一種邊緣約束的航攝立體影像密集匹配算法：首先通過計(jì)算顏色特征和協(xié)方差矩陣特征集下的圖像像素點(diǎn)互信息構(gòu)建整張影像的相似性矩陣，獲取影像的邊緣信息；然后根據(jù)像素的邊緣屬性自適應(yīng)選擇逐像素的懲罰參數(shù)。試驗(yàn)表明，本文方法與原始SGM相比，生成的點(diǎn)云精度有所提高，重建點(diǎn)云不僅在道路、屋頂?shù)绕教箙^(qū)域保持平滑，且更有效地保持了房屋的邊角特征。