低空攝影測(cè)量立體影像匹配的現(xiàn)狀與展望

陳曉勇，何海清，周俊超，安譜陽(yáng)，陳 婷

1. 東華理工大學(xué)測(cè)繪工程學(xué)院，江西 南昌 330013； 2. 東華理工大學(xué)水資源與環(huán)境工程學(xué)院，江西 南昌 330013

低空攝影測(cè)量由于攝影高度較低，云霧產(chǎn)生的遮擋影響更小，低空飛行平臺(tái)具有機(jī)動(dòng)靈活、便捷、快速高效等優(yōu)勢(shì)，在某種程度上可對(duì)航空和衛(wèi)星攝影測(cè)量方式進(jìn)行補(bǔ)充，在資源調(diào)查、環(huán)境監(jiān)測(cè)、城市建模、地形測(cè)繪等領(lǐng)域應(yīng)用廣泛[1-2]。

在低空攝影測(cè)量數(shù)據(jù)處理中，影像匹配是最為關(guān)鍵的步驟。影像匹配旨在兩幅或多幅具有重疊度的影像中通過(guò)特定的算法提取影像間同名點(diǎn)的過(guò)程，匹配質(zhì)量與效率直接影響到后續(xù)數(shù)據(jù)處理成功與否，以及關(guān)系到測(cè)繪產(chǎn)品生成質(zhì)量。因而，影像匹配是低空攝影測(cè)量數(shù)據(jù)處理領(lǐng)域的研究熱點(diǎn)之一，迄今為止，國(guó)內(nèi)外研究人員提出了許多卓有成效的方法。

1 基于灰度的匹配方法

基于灰度的影像匹配算法起步較早，是圖像匹配中常用的方法。該算法根據(jù)兩幅影像之間的重疊區(qū)域的灰度相似性程度來(lái)確定匹配點(diǎn)，目前發(fā)展較為成熟。具體而言，該算法是比較參考影像待匹配點(diǎn)鄰近區(qū)域灰度與目標(biāo)影像搜索區(qū)像素鄰近灰度的相似性來(lái)確定兩幅影像的同名點(diǎn)?；诨叶鹊挠跋衿ヅ浞椒ò▍f(xié)方差函數(shù)法、有差平方和法、相關(guān)系數(shù)法、差絕對(duì)值和法、相關(guān)函數(shù)法，以及最小二乘法、去均值歸一化相關(guān)算法、序列相似性檢測(cè)算法、歸一化灰度組合算法、不變矩匹配法、網(wǎng)格匹配法、塊匹配法和比值匹配法等。然而，基于灰度的匹配算法過(guò)于依賴點(diǎn)像素的信息，對(duì)于噪聲、灰度與尺度變化等變化較為敏感，且匹配效率不高，僅適合于匹配簡(jiǎn)單的剛體或仿射變換的場(chǎng)景。為提高基于灰度的匹配方法效率，文獻(xiàn)[3]于1972年利用核線相關(guān)將影像相關(guān)的二維搜索空間縮小為一維搜索，從而大幅度提高了匹配效率。此外，為提高影像匹配在幾何畸變、噪聲和輻射等存在的情況下的穩(wěn)健性，文獻(xiàn)[4]提出了最小二乘影像匹配算法，利用最小二乘平差來(lái)消除匹配窗口中影像畸變與噪聲帶來(lái)的影響，匹配精度可達(dá)1/10～1/100像素，從而實(shí)現(xiàn)影像高精度相關(guān)。文獻(xiàn)[5]提出了基于物方的影像匹配(VLL法)，通過(guò)迭代逐步趨近的方法在待匹配點(diǎn)平面坐標(biāo)已知的情況下，確定待匹配點(diǎn)高程。

基于灰度的影像匹配方法雖然算法簡(jiǎn)單，但對(duì)光照變化敏感，對(duì)于影像旋轉(zhuǎn)和尺度變化適應(yīng)性差，且存在運(yùn)算量較大等缺陷，難以滿足低空影像匹配的需要。相比而言，基于特征的匹配方法是通過(guò)比較重疊影像上特征的相似程度來(lái)確定同名點(diǎn)。特征基元包括點(diǎn)、線、面等顯著特征，相比像素點(diǎn)數(shù)量大為減少，提取的特征具有較強(qiáng)的抗噪性，且對(duì)影像間灰度變化、局部形變和遮擋也有較強(qiáng)的穩(wěn)健性，因而，低空攝影測(cè)量影像匹配廣泛采用基于特征的匹配方法，該方法主要包括3個(gè)過(guò)程，即特征提取、特征描述、特征匹配。

2 基于特征的匹配方法

根據(jù)提取特征的種類，影像特征提取大致可分為點(diǎn)特征提取、線特征提取及面特征提取3大類。

2.1 點(diǎn)特征提取

點(diǎn)特征是指影像中灰度信號(hào)在二維方向上有著明顯變化的點(diǎn)，是影像中最基本的特征。點(diǎn)特征的概念由文獻(xiàn)[6]在1980年提出，Moravec角點(diǎn)提取算子利用差平方和函數(shù)計(jì)算局部窗口內(nèi)8個(gè)方向的相似性，根據(jù)局部最大值來(lái)確定角點(diǎn)，然而，Moravec算子易受噪聲的影響。文獻(xiàn)[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子，該算子與Moravec算子的基本思想一致，都是通過(guò)局部自相似性來(lái)檢測(cè)角點(diǎn)，不同的是，SUSAN算子在計(jì)算相似性時(shí)使用矩形函數(shù)，這一改變可避免噪聲造成的干擾。在Moravec算法的基礎(chǔ)上，文獻(xiàn)[8]提出了Harris角點(diǎn)提取算法，從數(shù)學(xué)的角度上定義點(diǎn)特征，該方法以Hessain矩陣及其特征值作為依據(jù)來(lái)判斷特征點(diǎn)，具有計(jì)算簡(jiǎn)便，檢測(cè)到的角點(diǎn)具有旋轉(zhuǎn)不變等特點(diǎn)。與Harris角點(diǎn)算子類似的還包括Kanade-Tomasi算子[9]。文獻(xiàn)[10]在Harris算子上加以改進(jìn)，使其擴(kuò)展到在仿射變換時(shí)角點(diǎn)特征也較為穩(wěn)健。為進(jìn)一步提升點(diǎn)特征的旋轉(zhuǎn)不變、尺度不變性，文獻(xiàn)[11]提出了DoG(Difference of Gaussian)特征；在此基礎(chǔ)上，文獻(xiàn)[12]結(jié)合尺度空間理論提出了DoG特征提取算法，使得提取的特征點(diǎn)具有旋轉(zhuǎn)和尺度不變性。此外，文獻(xiàn)[13]提出了FAST角點(diǎn)特征來(lái)進(jìn)一步提升點(diǎn)特征檢測(cè)效率。在FAST算子基礎(chǔ)上，文獻(xiàn)[14]提出了一種自適應(yīng)通用加速分割檢測(cè)算法。

2.2 線特征提取

文獻(xiàn)[15]分別于1983年和1984年定義線特征為影像中脊和谷。在線特征檢測(cè)中，較為經(jīng)典的算子是Sobel算子[16]和Canny算子[17]。Sobel算子是基于Hessain矩陣在尺度空間中通過(guò)該矩陣的兩個(gè)特征值來(lái)判別邊緣，檢測(cè)效率較低。為此，Canny算子提出利用基于搜索(影像的一階導(dǎo)數(shù))和基于零交叉(影像二階導(dǎo)數(shù))的特征檢測(cè)算法來(lái)提高線特征檢測(cè)效率。除了這兩種經(jīng)典的線提取算法之外，文獻(xiàn)[18]提出了一種利用傅里葉變換，將影像由空間域變換到頻率域，通過(guò)相位一致性來(lái)檢測(cè)線特征；此外，也有利用特征點(diǎn)算子來(lái)檢測(cè)特征線，如利用SUSAN算子來(lái)檢測(cè)邊緣點(diǎn)[7]。

2.3 面特征提取

面特征與點(diǎn)、線特征有所不同，面特征的范圍較大，特征較為穩(wěn)定并具有抗噪能力強(qiáng)等特點(diǎn)，在影像中主要表現(xiàn)為灰度大致相同或變化較為平緩的區(qū)域。基于面特征的提取算法較為典型的算法包括MSER算法[19]、PCBR檢測(cè)算子[20]。其中，MSER算法移植了分水嶺的思想，該算法提取的極值區(qū)域即面特征為某個(gè)閾值圖像的連通分量，并通過(guò)該極值區(qū)域的旋轉(zhuǎn)與尺寸歸一化來(lái)實(shí)現(xiàn)仿射不變性。PCBR檢測(cè)算子是一種基于線條和曲率的算法，在尺度空間中構(gòu)建最大主曲率圖像，并利用分水嶺分割方法來(lái)尋找在尺度變化情況下，位置和面積不變或變化較小的區(qū)域。此外，研究人員還提出了旨在檢測(cè)兼具尺度不變性與仿射不變性的區(qū)域的其他算法，如基于圖割的影像分割算法等[21]。

2.4 特征描述符

在影像中提取特征后，為評(píng)判不同影像特征間的相似性，需要利用數(shù)值向量對(duì)特征區(qū)域的局部特征進(jìn)行編碼，該數(shù)值向量通常稱為特征描述符。其中，較為常用的是基于分布的描述符，通過(guò)不同的統(tǒng)計(jì)直方圖形式來(lái)表示局部區(qū)域的特征[22]，與基于導(dǎo)數(shù)和過(guò)濾器的描述符[23]等其他類型描述符相比在性能上具有一定的優(yōu)勢(shì)?；诜植嫉拿枋龇ǔ？煞譃榛跐u變、像素強(qiáng)度順序、相位一致、自相似、整合及二進(jìn)制描述符。

作為當(dāng)下較為流行的基于分布的描述符的SIFT算法[24]，在計(jì)算機(jī)視覺(jué)和遙感等領(lǐng)域已得到廣泛應(yīng)用，其基本思想是依據(jù)圖像梯度函數(shù)來(lái)構(gòu)造3D空間方向直方圖。許多研究人員在SIFT描述符的基礎(chǔ)上進(jìn)行了擴(kuò)展，如SURF描述符[25]在笛卡爾網(wǎng)格上應(yīng)用Haar小波響應(yīng)以提高其計(jì)算速度；文獻(xiàn)[26]提出了描述符DAISY，它利用不同的各向同性高斯函數(shù)來(lái)高效、密集地計(jì)算梯度方向直方圖，并使用圓形柵格代替矩形柵格，以提高描述符的穩(wěn)健性和獨(dú)特性。PIIFD(partial intensity invariant feature descriptor)即部分強(qiáng)度不變特征描述符[27]利用對(duì)稱梯度方向直方圖來(lái)進(jìn)行多模態(tài)圖像配準(zhǔn)。文獻(xiàn)[28]利用邊緣的位置和方向在SIFT的空間結(jié)構(gòu)中生成可擴(kuò)展的二進(jìn)制邊緣圖。文獻(xiàn)[29]利用仿射尺度空間和鏡面反射極化直方圖來(lái)改進(jìn)SIFT特征描述符。文獻(xiàn)[30]提出AB-SIFT算法，將自適應(yīng)量化應(yīng)用于描述符結(jié)構(gòu)，以提高其可區(qū)分性與穩(wěn)健性。

為使基于分布的描述符獲得旋轉(zhuǎn)不變性，文獻(xiàn)[31]提出了基于像素強(qiáng)度階次的描述符LIOP和基于多支持區(qū)域階次的梯度直方圖描述符MROGH[32]；文獻(xiàn)[33]提出了整體強(qiáng)度階次描述符OIOP和混合強(qiáng)度階次描述符MIOP；文獻(xiàn)[34]提出了多鄰域強(qiáng)度相對(duì)階次描述符MIROP。盡管這些描述符具有旋轉(zhuǎn)不變性，但對(duì)明顯的非線性光照變化較為敏感。

此外，二進(jìn)制描述符也被提出在計(jì)算效率及存儲(chǔ)空間方面提升特征描述符的性能，如BRIEF(binary robust independent elementary features)[35]、FREAK(fast retina key point)[36]、LDB(local difference binary)[37]和RFD(receptive fields descriptor)[38]等，這些算法通?；跒V波或圖像點(diǎn)對(duì)之間的強(qiáng)度關(guān)系進(jìn)行線性組合，比傳統(tǒng)的非二進(jìn)制描述符所占內(nèi)存更少，并提高了效率。文獻(xiàn)[39]提出了CSLBP(center sym-metric local binary pattern)描述符，該描述符以SIFT空間形式和通過(guò)編碼灰度強(qiáng)度的局部分布來(lái)描述特征。文獻(xiàn)[40]提出了對(duì)光照穩(wěn)健的LPCD(local patch clustering distribution)描述符，該描述符采用雙碼本聚類方法進(jìn)行區(qū)域劃分，并采用穩(wěn)健的檢測(cè)響應(yīng)來(lái)進(jìn)行區(qū)域加權(quán)。文獻(xiàn)[41]提出了LOC(local contrast and ordering)描述符，該描述符將符號(hào)和強(qiáng)度差的排序應(yīng)用于特征描述。文獻(xiàn)[42]提出了DaLI(deformation and light invariant)描述符，該描述利用熱核特征并結(jié)合傅里葉變換和PCA方法的對(duì)數(shù)采樣來(lái)進(jìn)行特征描述。然而，基于梯度或強(qiáng)度順序的描述符對(duì)非線性輻射差異的較為敏感易導(dǎo)致對(duì)多傳感器遙感圖像匹配失敗。此外，一些對(duì)光照不變性的描述符也被提出，如文獻(xiàn)[43]提出了用于多傳感器圖像配準(zhǔn)的HOPC(histogram of orientated phase congruency)描述符，基于圖像結(jié)構(gòu)特性來(lái)構(gòu)建描述符對(duì)圖像強(qiáng)度分布變化較為穩(wěn)健。隨后，文獻(xiàn)[43—44]提出了DLSS描述符，以及基于擴(kuò)展的PC模型和DAISY算法，提出了LHOPC(local histogram of orientated phase congruency)描述符。另外，DOBSS(distinctive order based self-similarity)[45-46]也被利用來(lái)增強(qiáng)描述符的可識(shí)別性。文獻(xiàn)[47]結(jié)合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)來(lái)描述特征以達(dá)到對(duì)光照的魯棒。

2.5 相似性測(cè)度

在檢測(cè)影像特征和描述特征后，特征的相似性通過(guò)歐氏距離、曼哈頓距離、切氏距離、明氏距離、馬氏距離、漢明距離等來(lái)測(cè)度，相應(yīng)的匹配策略主要包括以下3種：

(1) 由粗到精的降維匹配，在金字塔頂層進(jìn)行影像匹配解算粗略的外方位元素，根據(jù)核線關(guān)系在原始影像上將特征匹配空間由二維降為一維。

(2) 匹配準(zhǔn)則，通常使用如歐氏距離等來(lái)度量特征的相似性，并利用相關(guān)系數(shù)法和設(shè)定閾值來(lái)剔除誤匹配點(diǎn)，匹配點(diǎn)相關(guān)系數(shù)一般能達(dá)到0.9以上[5]。

(3) 誤匹配點(diǎn)及粗差剔除，影像匹配不可避免存在誤匹配點(diǎn)及粗差，通常利用幾何約束如核線約束、相容性約束、唯一性約束、視差連續(xù)性約束等，以及RANSAC(random sample consensus)隨機(jī)抽樣一致性算法等來(lái)去除誤匹配點(diǎn)和剔除粗差。

當(dāng)前，盡管低空垂直攝影測(cè)量立體影像匹配的相關(guān)技術(shù)相對(duì)成熟，但測(cè)繪產(chǎn)品的多樣化需求使得低空攝影測(cè)量影像匹配面臨新的挑戰(zhàn)，比如傾斜攝影測(cè)量影像匹配、多傳感器影像匹配等，現(xiàn)有的影像匹配方法能否適應(yīng)新形式的低空攝影測(cè)量影像匹配仍需進(jìn)一步研究。

3 傾斜攝影測(cè)量影像匹配

低空攝影測(cè)量中的影像大多通過(guò)對(duì)地垂直攝影的方式獲得，主要對(duì)地物頂部進(jìn)行觀測(cè)，存在基線短、基高比小、交會(huì)角小等缺陷，對(duì)于獲取起伏較大的地形地物側(cè)面的紋理與三維幾何結(jié)構(gòu)等信息十分有限[48]，限制了低空攝影測(cè)量精度的提高。

為彌補(bǔ)垂直攝影的不足，測(cè)繪領(lǐng)域近些年發(fā)展了低空傾斜攝影技術(shù)，它可通過(guò)在同一飛行平臺(tái)上搭載多臺(tái)不同角度的對(duì)地觀測(cè)傳感器，能同時(shí)從垂直、傾斜等不同的角度采集影像。低空傾斜攝影相比垂直攝影，可采集更為豐富的對(duì)地觀測(cè)數(shù)據(jù)，且可增大前方交會(huì)角，能實(shí)現(xiàn)寬基線大傾角的攝影測(cè)量。文獻(xiàn)[49]從基于共線方程嚴(yán)密解的前方交會(huì)法推導(dǎo)與試驗(yàn)驗(yàn)證了交會(huì)角與旋轉(zhuǎn)角對(duì)近景攝影測(cè)量精度的影響，可以推知具有寬基線的低空傾斜攝影測(cè)量方式有利于提高當(dāng)前基高比小的低空攝影測(cè)量精度，因此，研究寬基線低空傾斜攝影測(cè)量具有重要的實(shí)用價(jià)值。在傾斜攝影測(cè)量數(shù)據(jù)處理中，立體影像間存在幾何變形與遮擋關(guān)系[50]，影像自動(dòng)匹配是關(guān)鍵技術(shù)和難點(diǎn)之一，也是影響傾斜攝影測(cè)量精度和效率的重要一環(huán)，通常利用已知傾斜角度預(yù)先對(duì)立體像對(duì)進(jìn)行幾何校正后再匹配[51]。然而，以無(wú)人機(jī)、飛艇、系留氣球等作為平臺(tái)的低空傾斜攝影得到的立體像對(duì)存在一些難以克服的問(wèn)題：①因平臺(tái)較輕、低空氣流不穩(wěn)定，造成攝影姿態(tài)不穩(wěn)定；②平臺(tái)飛行高度低，復(fù)雜地形下對(duì)地觀測(cè)影像幾何變形尤為突出，并且地物尺度變化大。常用的匹配方法沒(méi)有較好的環(huán)境適應(yīng)性，致使低空傾斜影像匹配可靠性不高，難以獲得分布均勻、定位精度高的同名點(diǎn)。同時(shí)，在低空傾斜攝影中，獲取的影像傾角變化較大，傳統(tǒng)的影像匹配方法因不具有仿射不變性，難以滿足大傾角低空影像自動(dòng)匹配需要。

迄今為止，為解決寬基線大傾角影像匹配問(wèn)題，國(guó)內(nèi)外開(kāi)展了大量而深入的相關(guān)研究。針對(duì)不同視點(diǎn)影像中同名特征點(diǎn)領(lǐng)域窗口之間的幾何透視變形，目前大多特征匹配算法采用仿射變換模型來(lái)近似表述這種變形，采用仿射不變性的特征來(lái)進(jìn)行影像匹配[52]。國(guó)際上，文獻(xiàn)[53]提出了基于局部仿射不變性特征的寬基線立體匹配方法，不依賴邊緣或特征點(diǎn)，而是完全根據(jù)局部灰度強(qiáng)度信息進(jìn)行影像匹配；文獻(xiàn)[54]提出了針對(duì)平面的仿射不變性的特征點(diǎn)檢測(cè)算法；文獻(xiàn)[55]提出了基于最大穩(wěn)定極值區(qū)域(maximally stable extremal regions，MSER)的寬基線立體匹配方法，試驗(yàn)結(jié)果表明對(duì)于尺度、光照條件變化、視點(diǎn)變化等立體像對(duì)匹配，能取得較高的極幾何估計(jì)精度；文獻(xiàn)[56]通過(guò)試驗(yàn)對(duì)比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常見(jiàn)的仿射不變性特征提取算法，表明MSER算子具有最佳的仿射不變性；以MSER算法為代表的面匹配在解決局部仿射不變性方面應(yīng)用較多，常選用其MSER邊界點(diǎn)進(jìn)行精確匹配[51]，或擬合MSER區(qū)域橢圓范圍建立描述子進(jìn)行匹配[55,57]；文獻(xiàn)[58]提出了仿射不變的SIFT算法(affine-SIFT,ASIFT)，根據(jù)攝影中心軸模擬影像在各個(gè)視角的變化，對(duì)各個(gè)視角中影像進(jìn)行SIFT運(yùn)算來(lái)實(shí)現(xiàn)仿射不變性的影像匹配，試驗(yàn)結(jié)果表明對(duì)于寬基線、大傾角影像立體匹配具有較好的效果，但采用了SIFT算法提取的特征點(diǎn)定位精度，相對(duì)于基于F?rstner或最小二乘等匹配方法在精度上更低[49]。在國(guó)內(nèi)，文獻(xiàn)[59]提出了面向?qū)捇€立體影像匹配的高質(zhì)量仿射不變特征提取方法，集成特征篩選方法、MSER、SIFT的特征提取算法，試驗(yàn)表明該方法具有更高的重復(fù)率和匹配成功率，有利于寬基線立體匹配；文獻(xiàn)[60]提出了針對(duì)高分辨率遙感影像的多基線影像匹配方法，可適用于地勢(shì)起伏較大的山地區(qū)域影像匹配；文獻(xiàn)[61]提出了基于SIFT的寬基線立體影像密集匹配方法；為適應(yīng)地形起伏較大的低空影像匹配，提出了ASIFT輔助的匹配方法[2]，試驗(yàn)結(jié)果表明可一定程度上滿足寬基線大傾角的近景影像和山區(qū)低空影像匹配的需要，但運(yùn)算復(fù)雜度較高；文獻(xiàn)[62]提出了融合互補(bǔ)仿射不變特征的傾斜立體影像高精度自動(dòng)配準(zhǔn)方法。然而，目前大都仿射不變性的影像匹配研究常把地面視為平坦地形來(lái)表述其幾何變形，等效于影像的整體仿射變換。在低空傾斜攝影測(cè)量中，平臺(tái)飛行高度低地形起伏相對(duì)較大，其引起的影像幾何變形會(huì)嚴(yán)重影響匹配性能[63]，采用單一的仿射變化關(guān)系可能難以表述立體像對(duì)間各個(gè)局部的扭曲變化，已不適用于地表建筑物高低錯(cuò)落、山區(qū)等復(fù)雜地形下低空傾斜攝影測(cè)量影像匹配。

對(duì)于諸如低空傾斜立體像對(duì)匹配所涉及的影像，因視點(diǎn)變化較大，利用仿射變換而非透視變換來(lái)表述特征進(jìn)行匹配易失敗，相關(guān)研究主要集中在計(jì)算機(jī)視覺(jué)處理方面?？紤]透視變換關(guān)系特征提取算法具有代表性主要有：文獻(xiàn)[64]提出了透視不變性的特征匹配，通過(guò)構(gòu)建立體像對(duì)三維表面建立透視不變特征描述子進(jìn)行影像匹配，在對(duì)象較為簡(jiǎn)單的計(jì)算機(jī)視覺(jué)影像匹配可以得到較好的效果；文獻(xiàn)[65]提出了三維特征的格網(wǎng)匹配算法；文獻(xiàn)[66]提出了透視不變性特征點(diǎn)檢測(cè)算法，但主要用在平面目標(biāo)對(duì)象的處理；文獻(xiàn)[67]提出了基于透視投影的完全仿射不變性的影像匹配方法，通過(guò)模擬攝影機(jī)在三維空間姿態(tài)變換構(gòu)建透視變換的視圖來(lái)匹配影像，這種算法類似ASIFT，把ASIFT算法中仿射變換替換為透視變換，在平面攝影對(duì)象效果較好，但仍未解決地形起伏較大時(shí)影像幾何變形給匹配帶來(lái)的影響。

4 基于深度學(xué)習(xí)的影像匹配

當(dāng)前，以卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural networks)為代表的深度學(xué)習(xí)已廣泛應(yīng)用于圖像處理[68-69]，基于CNN的方法不僅可以提高圖像識(shí)別和分類的準(zhǔn)確度，且能夠提高在線操作的效率，更重要的是，深層語(yǔ)義特征可通過(guò)深度學(xué)習(xí)來(lái)提取。2015年以來(lái)，研究人員開(kāi)始將深度學(xué)習(xí)應(yīng)用到密集立體匹配中，并且在計(jì)算機(jī)視覺(jué)圖像上獲得的匹配結(jié)果在準(zhǔn)確性上已逐漸超過(guò)傳統(tǒng)方法。

基于CNN的密集匹配方法通常使用兩種策略：①?gòu)膱D像到視差圖像的端到端預(yù)測(cè)；②應(yīng)用CNN來(lái)學(xué)習(xí)立體匹配過(guò)程，如MC-CNN網(wǎng)絡(luò)[68,70]將匹配自動(dòng)化；SGM-Net[71]在基于半全局SGM的密集匹配的標(biāo)準(zhǔn)流程中引入CNN學(xué)習(xí)懲罰約束。利用端到端的學(xué)習(xí)策略直接根據(jù)立體像對(duì)預(yù)測(cè)視差圖像，如DispNet[72]這一典型的全卷積網(wǎng)絡(luò)(FCN)在編碼階段逐層提取立體圖像的高級(jí)特征，在解碼階段網(wǎng)絡(luò)將特征圖從粗糙圖像分辨率恢復(fù)到原始圖像分辨率以生成視差圖。GC-Net[73]充分利用像素之間的幾何信息和語(yǔ)義信息，考慮上下文信息的3D體積由2D CNN提取的視差交叉的2D特征圖組成，由一系列3D內(nèi)核進(jìn)行卷積將這些特征圖轉(zhuǎn)化為2D視差圖像。PSM-Net(pyramid stereo matching network)[74]是由空間金字塔池和3D卷積層組成的金字塔立體匹配網(wǎng)絡(luò)，它將全局背景信息與立體匹配結(jié)合，實(shí)現(xiàn)了對(duì)遮擋區(qū)域，無(wú)紋理區(qū)域或圖案重復(fù)區(qū)域的穩(wěn)健匹配。級(jí)聯(lián)殘差學(xué)習(xí)[75]方法連接兩個(gè)改進(jìn)的DispNet網(wǎng)絡(luò)，第1個(gè)網(wǎng)絡(luò)獲得立體像對(duì)之間的初始視差值，第2個(gè)網(wǎng)絡(luò)使用前一階段的殘差來(lái)訓(xùn)練更精細(xì)的視差圖。上述基于深度的學(xué)習(xí)方法是以監(jiān)督樣本進(jìn)行訓(xùn)練，需要高精度視差圖作為訓(xùn)練的標(biāo)簽。

盡管基于深度學(xué)習(xí)的立體方法已被應(yīng)用到計(jì)算機(jī)視覺(jué)圖像的匹配中，且與傳統(tǒng)方法相比取得了更好的效果，但受限于卷積運(yùn)算量大等制約因素并未廣泛應(yīng)用到低空攝影測(cè)量影像匹配中，隨著硬件并行運(yùn)算進(jìn)一步發(fā)展與算法的改進(jìn)，基于深度學(xué)習(xí)等人工智能算法也將應(yīng)用在攝影測(cè)量數(shù)據(jù)處理中。

5 結(jié)束語(yǔ)

近年來(lái)，以無(wú)人機(jī)為代表的低空攝影測(cè)量迅速發(fā)展，立體影像匹配技術(shù)也取得了長(zhǎng)足的進(jìn)步，傳統(tǒng)的基于灰度與特征的影像匹配方法已較為成熟，并廣泛應(yīng)用于低空攝影測(cè)量影像匹配，然而，面對(duì)深度學(xué)習(xí)等人工智能新方法及新型的低空攝影測(cè)量方式的出現(xiàn)，影像匹配的發(fā)展還遠(yuǎn)未成熟，低空攝影測(cè)量影像匹配仍然是國(guó)內(nèi)外的研究熱點(diǎn)之一。

多平臺(tái)多角度自由飛行的低空攝影測(cè)量給后期數(shù)據(jù)處理帶來(lái)了新的挑戰(zhàn)，現(xiàn)有算法側(cè)重于旋轉(zhuǎn)、平移、尺度、仿射變換等影像變換的處理，而對(duì)復(fù)雜地形條件下寬基線大視角攝影測(cè)量，尤其是對(duì)丘陵、山地等復(fù)雜地形造成的影像局部幾何變形、灰度壓縮或夸張等復(fù)雜變化的影像匹配處理還有待提升。

異源多傳感器低空攝影數(shù)據(jù)融合對(duì)影像匹配提出了新的要求，影像特征差異較大，傳統(tǒng)基于人工設(shè)計(jì)的特征可能無(wú)法提取深層次和具有語(yǔ)義的共軛特征，如何顧及多傳感器數(shù)據(jù)的空間代表性差異，挖掘它們之間的相關(guān)性與非線性映射關(guān)系，并實(shí)現(xiàn)影像匹配，是一個(gè)重要的發(fā)展趨勢(shì)。盡管當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在計(jì)算機(jī)視覺(jué)圖像匹配中取得了較好的效果，但低空攝影測(cè)量影像匹配數(shù)據(jù)量大、精度要求高，基于深度學(xué)習(xí)的人工智能算法在低空攝影測(cè)量影像匹配中仍需進(jìn)一步探討和發(fā)展。