面向大視角差的無人機影像序列學(xué)習(xí)型特征匹配

張永顯，馬國銳，崔志祥，張志軍

1.武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；2.31682部隊，甘肅 蘭州 730020；3.中國地質(zhì)調(diào)查局西寧自然資源綜合調(diào)查中心，青海 西寧 810000

大視角差影像序列匹配是利用傾斜攝影平臺在不同時間、不同方位對目標(biāo)區(qū)域依次獲取多幅視角變化較大的影像，然后通過尋找不同影像之間的同名像點，得到像素級對應(yīng)關(guān)系的方法，在三維重建、災(zāi)害應(yīng)急、紋理映射等應(yīng)用發(fā)揮著重要作用[1]，服務(wù)于地理空間感知智能的發(fā)展[2]。不同于常規(guī)的航空或衛(wèi)星影像，無人機通過搭載非量測型相機拍攝大視角差影像序列，包含了更豐富的側(cè)面信息，能夠更加客觀真實地反映目標(biāo)區(qū)域的實際情況[3]。隨著影像在質(zhì)與量方面的升級，實際應(yīng)用中對大視角差影像匹配算法的正確率、匹配點數(shù)量、匹配精度、匹配耗時等提出了更高的要求。但由于大視角差圖像序列中存在仿射變形大、遮擋嚴(yán)重、視角差異顯著等問題，使得被攝物體的幾何特征、紋理特征等信息缺失，出現(xiàn)了同名點匹配存在多解和誤匹配等現(xiàn)象，流失了大量有用的特征點信息，導(dǎo)致了最終確定的匹配點分布不均、穩(wěn)健性低下等問題，在此基礎(chǔ)上計算的圖像之間變換矩陣無法充分體現(xiàn)被攝物體復(fù)雜的變換關(guān)系，嚴(yán)重影響了后續(xù)的工程應(yīng)用[4]。

針對上述問題提出的解決大視角差影像匹配方法可劃分為兩大類，一是基于手工設(shè)計型的特征匹配方法，二是基于深度學(xué)習(xí)型的特征匹配方法。基于手工設(shè)計的影像視角變化較大的匹配方法歸納起來主要有4種[5]：①由粗到精的特征匹配。文獻(xiàn)[6]利用SIFT算法獲取特征點，NCC算法優(yōu)選匹配點對，LSM算法精確定位匹配點同名點對，實現(xiàn)了傾斜影像的高精度匹配。②基于仿射不變特征的傾斜影像匹配。文獻(xiàn)[7]基于Gabor濾波分解及相位一致性提取歸一化區(qū)域內(nèi)的特征點，利用高斯混合模型確定同名點及影像間的變換矩陣來解決仿射不變區(qū)域特征點位精度低的問題。③基于幾何糾正的傾斜影像匹配。文獻(xiàn)[8]提出一種具有仿射不變性傾斜影像匹配方法，通過估算影像的相機軸定向參數(shù)計算初始仿射矩陣，再逆仿射變換得到糾正影像，對糾正影像進(jìn)行SIFT匹配實現(xiàn)傾斜影像的匹配[9]。文獻(xiàn)[10]利用機載POS數(shù)據(jù)對傾斜影像進(jìn)行全局幾何糾正，然后利用SIFT算法實現(xiàn)影像特征提取和匹配，但這種方法需獲取相機外方位元素，對攝影系統(tǒng)提出了較高的要求。④基于模擬畸變的傾斜影像匹配。文獻(xiàn)[11]通過分析SIFT在仿射變化條件下的效率，提出了以圖像變換集為基礎(chǔ)的仿射尺度不變特征變換算法，對圖像平移、旋轉(zhuǎn)、尺度縮放、光照變化表現(xiàn)出了較好性能?？芍?，上述基于手工設(shè)計的方法多數(shù)是以SIFT算法為基礎(chǔ)進(jìn)行改進(jìn)，但由于SIFT算法僅適應(yīng)較小仿射變換的約束，使得在視角差異較大時會出現(xiàn)計算復(fù)雜度高，算法穩(wěn)健性低，實際應(yīng)用性能不佳等問題。

近年來隨著人工智能技術(shù)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)CNN作為一種高層特征提取器被引入到圖像匹配領(lǐng)域，借助其強大的特征學(xué)習(xí)能力和視覺推理能力，在影像匹配領(lǐng)域取得較好效果[12]，有望在應(yīng)對大視角差影像序列匹配存在的困難中取得突破。文獻(xiàn)[13]首先使用卷積神經(jīng)網(wǎng)絡(luò)MC-CNN計算序列影像匹配，證明了通過卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征比手工設(shè)計的特征算子更加準(zhǔn)確。受此啟發(fā)，大量影像匹配工作利用卷積神經(jīng)網(wǎng)絡(luò)來計算匹配代價，并取得較好的匹配結(jié)果。如利用孿生網(wǎng)絡(luò)提取特征和計算描述符相似度的MatchNet網(wǎng)絡(luò)[14]，采用三元組損失函數(shù)的HardNet網(wǎng)絡(luò)[15]，同時提取特征點和描述符的SuperPoint[16]、D2-Net[17]、R2D2[18]等網(wǎng)絡(luò)，這些網(wǎng)絡(luò)模型在標(biāo)準(zhǔn)數(shù)據(jù)集上取得了較好的效果，但直接應(yīng)用于大傾斜無人機影像的匹配表現(xiàn)不佳[19]。文獻(xiàn)[20]采用多分支卷積網(wǎng)絡(luò)的傾斜立體影像仿射不變特征匹配，驗證了這種方法對于低空無人機傾斜立體影像匹配的有效性，然而其匹配精度和匹配效率都受到了限制。

由此可見，從經(jīng)典的特征匹配方法、仿射不變特征匹配、幾何糾正的方法、影像畸變模擬方法再到深度學(xué)習(xí)匹配方法都取得了長足的發(fā)展。但隨著應(yīng)用領(lǐng)域的深入，對視角變化較大的影像匹配提出了更高的要求，依然面臨較大挑戰(zhàn)，主要表現(xiàn)為：①視角變化大的影像仿射變形大，高分辨率影像潛在同名匹配特征點分布區(qū)域的精確位置難以獲??；②顯著的視角差異使得被攝區(qū)域存在嚴(yán)重遮擋和劇烈光照變化，會造成影像特征提取不完備、匹配效率低等問題，特別是密集建筑物地區(qū)表現(xiàn)更為突出；③弱光照或夜晚條件下拍攝的圖像往往分辨率低、有較多噪點，缺少足夠的紋理特征，給大視角差圖像匹配任務(wù)帶來了困難。

針對以上高分辨率大視角差影像匹配存在的相似特征干擾下匹配正確率低、計算規(guī)模大、同名特征點對稀少等挑戰(zhàn)，應(yīng)當(dāng)設(shè)計一個具備匹配點精度高、耗時少、穩(wěn)健性強等特點的學(xué)習(xí)型特征匹配模型。在已有的卷積神經(jīng)網(wǎng)絡(luò)模型中，D2-Net是一種能夠高效提取深層次特征的網(wǎng)絡(luò)，通過深層網(wǎng)絡(luò)的學(xué)習(xí)，提取不同影像間的同名特征，具備了高效抵抗影像間非線性輻射畸變和幾何畸變的性能?；诖耍疚膶⑼ㄟ^對D2-Net網(wǎng)絡(luò)進(jìn)行適應(yīng)性改進(jìn)，使其能夠有效地提取具有旋轉(zhuǎn)不變性的學(xué)習(xí)型特征描述符，來彌補影像特征匹配算法對視角變化敏感的缺陷，然后采用由粗到精的特征提純策略，實現(xiàn)穩(wěn)健匹配同名點對的同時降低匹配時間成本，完成大視角差圖像序列高精度匹配。

1 旋轉(zhuǎn)不變局部學(xué)習(xí)型特征匹配方法

1.1 本文方法基本思想與流程

大視角差影像序列的穩(wěn)健匹配，核心問題在于如何減小影像視角變化帶來的影響，找到具有旋轉(zhuǎn)不變性的特征表示方法[21]。為實現(xiàn)這一目的，本文提出的大視角差影像序列匹配方法著重考慮以下3個方面：①構(gòu)建一種適合大視角差影像序列旋轉(zhuǎn)不變特征提取和描述的CNN網(wǎng)絡(luò)；②利用已經(jīng)配對好的光照和拍攝角度都存在較大差異的數(shù)據(jù)訓(xùn)練CNN網(wǎng)絡(luò)，讓CNN特征提取器能夠?qū)W習(xí)到具有視角、尺度、紋理、幾何等變化的影像不變性特征；③設(shè)計一種對低內(nèi)點率有較強穩(wěn)健性能的誤匹配剔除算法，以適應(yīng)影像的旋轉(zhuǎn)、尺度等變化。因此，匹配方法主要包括3個步驟：①網(wǎng)絡(luò)模型設(shè)計，網(wǎng)絡(luò)設(shè)計思想主要來源于D2-Net網(wǎng)絡(luò)，對其增加隨機旋轉(zhuǎn)單應(yīng)矩陣創(chuàng)建訓(xùn)練圖像對，形成雙頭通信的D2-Net網(wǎng)絡(luò)結(jié)構(gòu)；②旋轉(zhuǎn)不變學(xué)習(xí)型特征提取與描述，利用構(gòu)造的網(wǎng)絡(luò)模型作為特征提取器，在大視角差影像序列上提取學(xué)習(xí)型特征及其描述符；③特征匹配與誤匹配剔除，特征匹配方法采用特征描述符最近鄰和次近鄰動態(tài)最優(yōu)距離之比得到粗匹配同名點，結(jié)合RANSAC算法完成誤匹配點對剔除，并通過重新驗證相似性特征點的幾何一致性，完成特征精匹配。本文方法流程如圖1所示。

圖1 本文方法基本流程

1.2 網(wǎng)絡(luò)模型設(shè)計

1.2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)模型單次輸入影像邊長的最大尺寸受到約束，因此，在處理大幅面影像時，設(shè)計對輸入影像自適應(yīng)降采樣策略，能夠滿足合適的輸入尺寸到網(wǎng)絡(luò)模型進(jìn)行提取特征。另外，卷積神經(jīng)網(wǎng)絡(luò)端到端的匹配方式，會由于缺少幾何約束，存在過擬合等問題，通常無法達(dá)到手工設(shè)計方法的精度，通過引入大型數(shù)據(jù)集上預(yù)訓(xùn)練模型到特征提取器中，往往可以達(dá)到更好的匹配效果。本文基于D2-Net網(wǎng)絡(luò)模型構(gòu)建的大視角差影像序列旋轉(zhuǎn)不變特征匹配模型，相比于原始網(wǎng)絡(luò)，顯著性體現(xiàn)在如下兩方面。

第一，通過遷移學(xué)習(xí)微調(diào)原始模型的骨干網(wǎng)絡(luò)VGG16，使構(gòu)建的網(wǎng)絡(luò)模型能夠適應(yīng)于視角差異顯著的圖像匹配。具體做法是通過遷移學(xué)習(xí)凍結(jié)淺層權(quán)重的同時微調(diào)最后一層，微調(diào)后網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。微調(diào)VGG16骨干網(wǎng)絡(luò)能夠有效提取顯著性特征，在篩選特征明顯的關(guān)鍵點時，降低了在另一幅圖像中搜索同名特征點描述符的耗時，從而提高影像匹配效率和算法模型性能。為了在Rw×h×c特征空間篩選出較為顯著的特征點，采用了在高維特征圖的通道方向和局部平面內(nèi)同時最大的篩選策略[17]，選取VGG16的Conv4_3層的特征描述輸出作為特征圖，為提升匹配效率，特征匹配時采用前256維向量；另外，為能夠擴大卷積計算的感受野，增加網(wǎng)絡(luò)對全局特征的提取能力，避免空間分辨率的下降和模型參數(shù)量的提升，本文對Conv4_3所在的卷積模塊全部采用空洞率為2的空洞卷積，提升特征多尺度表征能力[17]。

圖2 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

第二，通過共享骨干網(wǎng)絡(luò)VGG16的方法增加分支網(wǎng)絡(luò)，形成雙頭通信的網(wǎng)絡(luò)結(jié)構(gòu)。不同于D2-Net網(wǎng)絡(luò)的是，設(shè)計網(wǎng)絡(luò)的輸入是隨機裁剪成400×400×3大小的圖像區(qū)域，隨機旋轉(zhuǎn)單應(yīng)矩陣HR(θ)用于在平面內(nèi)將圖像旋轉(zhuǎn)θ度，創(chuàng)建訓(xùn)練圖像對。本文采用的訓(xùn)練方式、特征提取和特征描述方法遵循文獻(xiàn)[17]中的定義，主要區(qū)別在于本文使用的訓(xùn)練數(shù)據(jù)是基于在平面內(nèi)旋轉(zhuǎn)后的圖像對。由于傳感器獲取影像的視角差異，不同視角影像中同名點特征描述符存在差異，訓(xùn)練影像除了具備一系列旋轉(zhuǎn)變化，還結(jié)合透視變換、尺度變換、光照變換等進(jìn)一步模擬真實的視角變化，文獻(xiàn)[22]提出的PhotoTourism數(shù)據(jù)集不僅具有同名點像素級標(biāo)注的圖像對，且能夠滿足上述特性，因此，本文還選用了該數(shù)據(jù)集進(jìn)行模型訓(xùn)練。

上述過程對影像在視角變化較大時，局部特征匹配性能提升明顯。但在視角變化不大時，則可能出現(xiàn)特征匹配不上的情況[23]。為此，設(shè)計了雙頭通信的D2-Net網(wǎng)絡(luò)結(jié)構(gòu)方法，即第1個頭部是按照文獻(xiàn)[17]訓(xùn)練MegaDepth數(shù)據(jù)集，通過訓(xùn)練結(jié)果模型來獲取特征點和描述符；第2個頭部對應(yīng)于本文所使用的平面內(nèi)旋轉(zhuǎn)數(shù)據(jù)和PhotoTourism訓(xùn)練結(jié)果。由于網(wǎng)絡(luò)結(jié)構(gòu)的雙頭模型共享同一個骨干網(wǎng)絡(luò)，且僅微調(diào)了網(wǎng)絡(luò)輸出的最后一層，因此這種雙頭通信方法能夠提升模型的效率。在雙頭模型框架下，一旦獲得了特征關(guān)鍵點和描述符，就可以獨立地為每個頭部在圖像對之間獲得特征最近鄰的對應(yīng)關(guān)系。

1.2.2 特征多尺度檢測模型

(1)

由于圖像多尺度金字塔不同層級的分辨率不同，在特征累積融合之前，需要對齊低分辨率特征圖和高分辨率特征圖。對于在不同層級可能檢測到的重復(fù)特征，從最粗的尺度開始標(biāo)記檢測特征位置，這些位置被上采樣到更高層級的特征圖作為模板。如果從高一層級分辨率特征圖中提取的特征關(guān)鍵點落入模板中，它們將被丟棄[21]。

1.3 旋轉(zhuǎn)不變學(xué)習(xí)型特征匹配

對于參考圖像I1第k1個特征點對應(yīng)的256維學(xué)習(xí)型特征向量可表示為[4]

(2)

式(2)與圖像I2第k2個特征點對應(yīng)的特征向量歸一化內(nèi)積可用向量夾角θ的余弦值表示[4]

(3)

利用式(3)可解算最近鄰與次近鄰夾角余弦值的比值，以此來判定是否選擇最近鄰夾角對應(yīng)向量作為匹配的特征向量[4]。記φi1為最近鄰特征向量余弦值，φi2為次近鄰特征向量余弦值，如式(4)所示，閾值ratio越小，所得匹配點顯著性越高，對于大視角差無人機影像序列，存在大量潛在同名相似性特征的情況，小ratio值能夠得到更高匹配精度的同名點對對于特征點數(shù)量豐富的高分辨率無人機影像而言，可通過尺度降采樣的方式，獲取更能表征圖像整體結(jié)構(gòu)的特征點，避免因影像分辨率較高使得特征點位置包含粗差帶來的錯誤匹配，以實現(xiàn)影像的快速高精度初始匹配。根據(jù)文獻(xiàn)[4]，為在確保匹配正確率的基礎(chǔ)上保留更多匹配點對，匹配過程中ratio取值為0.4時最優(yōu)。

(4)

1.4 特征誤匹配剔除

當(dāng)影像間存在顯著的幾何變換時，在同名點匹配搜索過程中，理論上的唯一匹配點將受到更多潛在可行解的干擾[4]。RANSAC算法常被用來探測最近鄰特征點集的內(nèi)點和外點，但最近鄰特征點集以外的正確匹配點難以檢測，因此可嘗試在RANSAC的基礎(chǔ)上，增加K近鄰特征點集的幾何一致性驗證策略，提高正確匹配點數(shù)量和匹配正確率。為此，本文采用了一種由粗到精的提純策略，試圖在提高計算效率的同時，進(jìn)一步增加正確匹配點對數(shù)。具體步驟如下。

(1)基于動態(tài)自適應(yīng)閾值的粗提純。為提高RANSAC的計算效率和正確匹配點對的識別精度，本文采用文獻(xiàn)[21]的動態(tài)自適應(yīng)閾值算法，它是在近鄰距離比基礎(chǔ)上進(jìn)行的改進(jìn)，首先根據(jù)描述符的相似性，搜索參考影像上的每個特征在待匹配影像上兩個最相似的特征點，即最近鄰特征和次近鄰特征，并將所有最近鄰特征與次近鄰特征在描述符空間的距離差均值作為正確匹配的依據(jù)，計算公式為[21]

(5)

式中，dis和dis′分別為最近鄰距離和次近鄰距離；N為參考圖像上的特征點數(shù)；avgdis為距離差均值。當(dāng)dis和dis′距離差滿足式(6)時，將最近鄰特征作為候選匹配點保留，否則，將該初始匹配點對剔除[21]

(6)

(2)RANSAC算法精提純。經(jīng)過動態(tài)自適應(yīng)閾值粗提純后，能夠剔除大量誤匹配點，顯著提升內(nèi)點率，但大視角差影像序列之間仿射變形、遮擋、視角差異等問題顯著，仍含有部分錯誤匹配點，為此采用RANSAC算法進(jìn)一步精提純，利用影像間單應(yīng)性矩陣作為估計模型，置信度設(shè)置為0.999，將滿足幾何一致性約束的點作為正確匹配點保留。由于粗提純后的匹配點對中誤匹配點顯著減少，因此可有效提升RANSAC隨機采樣和幾何一致性驗證的計算效率，并提高匹配結(jié)果的穩(wěn)健性。

(3)K近鄰特征點的幾何一致性檢驗。以上粗提純和精提純過程可能會錯誤剔除正確匹配點，且RANSAC幾何一致性驗證過程僅在最近鄰特征點集進(jìn)行，導(dǎo)致次近鄰特征點集的正確匹配點被忽略[24]，因此本文利用第(2)步計算的幾何變換矩陣對基準(zhǔn)影像特征點的k(k=2)近鄰特征再次執(zhí)行幾何一致性檢驗，以識別出更多的正確匹配點，計算公式為[24]

(7)

2 試驗結(jié)果與分析

本節(jié)首先介紹大視角差影像序列匹配的試驗數(shù)據(jù)情況；然后基于HPatches數(shù)據(jù)集對比分析適應(yīng)于大視角差影像匹配的基于手工設(shè)計的ASIFT[11]算法和基于深度學(xué)習(xí)的D2-Net[17]、ASLFeat[25]、R2D2[18]和CMM-Net[21]算法計算的匹配結(jié)果；最后利用無人機實際飛行數(shù)據(jù)進(jìn)一步對比試驗分析。試驗過程中，上述算法模型試驗平臺為聯(lián)想LEGION筆記本，CPUi7-9750H，顯卡GeForce GTX 1660Ti(6 GB顯存)，內(nèi)存32 GB，編程語言Python，操作系統(tǒng)Ubuntu16.04。

2.1 試驗數(shù)據(jù)

數(shù)據(jù)包括HPatches標(biāo)準(zhǔn)數(shù)據(jù)集和實地采集影像兩種類型。HPatches數(shù)據(jù)集包含多組劇烈視角變化的圖像序列，每組圖像序列由1幅參考圖像、5幅不同視角的目標(biāo)圖像以及參考圖像到目標(biāo)圖像的單應(yīng)變換矩陣文件組成，能夠較好地適用于算法性能測試。針對大視角差影像仿射變形大、視角差異顯著、弱光照或夜晚條件等實際應(yīng)用中的問題，按照無人機序列影像關(guān)鍵幀模式在維度上定向抽幀方法[26]，實地采集了2組可見光和3組熱紅外大視角差圖像序列，共20幅影像，其中可見光圖像尺寸為2000×1125像素，熱紅外圖像尺寸為640×512像素，此外兩種不同模態(tài)影像之間還存在灰度、分辨率、信噪比、紋理特征等方面的差異，每種場景大視角差圖像序列之間存在尺度、旋轉(zhuǎn)、地物類型、飛行模式(繞飛、直飛、俯沖)等多方面差異，對測試算法適應(yīng)性具有較好的代表性。基本情況如圖3所示。

圖3 大視角差影像序列試驗數(shù)據(jù)

由圖3展示的測試數(shù)據(jù)可知，場景1和場景2為尺度近似，視角差異較大的可見光大視角差圖像序列，與基準(zhǔn)圖像視角差異分別約25°、50°、75°，主要差異體現(xiàn)在地物類型。場景3為噪聲明顯、紋理稀疏、尺度差異顯著的夜間熱紅外大視角差圖像序列。場景4為地面建筑密集、尺度近似、視角不同、紋理相對豐富的繞飛熱紅外圖像序列。場景5為地面建筑密集、尺度差異顯著、視角近似、紋理相對豐富的平飛熱紅外圖像序列。

2.2 評價指標(biāo)

2.2.1 特征重復(fù)率

特征重復(fù)率衡量了特征檢測器在不同視點、不同尺度、不同光照等條件下識別相同特征的能力，特征檢測器的重復(fù)率越高，找到匹配項的可能性就越高。假設(shè)圖像對重疊區(qū)域特征點檢測的數(shù)量為N1和N2，對于第1幅圖像中的每個特征點，檢測其在第2幅圖像中同名像點是否存在，則同名點特征重復(fù)率計算為

(8)

式中

2.2.2 特征匹配率

基于單應(yīng)性矩陣將待匹配圖像的特征點映射到參考圖像上，可計算得出重投影誤差矩陣DN1×N2，該矩陣元素表達(dá)成

(9)

當(dāng)相應(yīng)的限差小于設(shè)定的閾值dij

2.2.3 最近鄰重投影誤差

(10)

2.2.4 匹配點均方根誤差

匹配精度的優(yōu)劣可通過同名點的均方根誤差(RMSE)刻畫，描述為

(11)

2.3 試驗結(jié)果

2.3.1 標(biāo)準(zhǔn)數(shù)據(jù)集匹配測試

為驗證本文方法的穩(wěn)健性，基于HPatches數(shù)據(jù)集分別從算法本身改進(jìn)對比、其他方法對比和定量檢測描述3個方面進(jìn)行驗證。

首先，由于本文方法是在D2-Net方法基礎(chǔ)上改進(jìn)的，因此算法本身改進(jìn)對比是與D2-Net算法在特征點檢測和特征描述符進(jìn)行對比評價，特征點檢測的評價從特征重復(fù)性方面衡量，特征描述符的評價指標(biāo)主要體現(xiàn)在單應(yīng)矩陣的變換精度和特征匹配率。此外，利用尺度上有差異的數(shù)據(jù)集訓(xùn)練結(jié)果，其特征描述符能夠一定程度上抵抗尺度變化，但對于尺度差異較大的情況難以適應(yīng)，因此還需要構(gòu)造多尺度特征檢測器以增加匹配的穩(wěn)健性。

由圖4可知，構(gòu)建多尺度特征檢測器對特征檢測具有非極大值抑制作用，得到更穩(wěn)健的特征點，本文的多尺度方法相比D2-Net多尺度方法，雖匹配點數(shù)量略低，但具有更高的特征重復(fù)率和正確匹配率，且當(dāng)匹配閾值ε=3像素時具有最優(yōu)的匹配性能，為真實場景中大視角差圖像序列匹配明確了閾值設(shè)置。

圖4 模型改進(jìn)前后特征提取重復(fù)率、匹配數(shù)量、匹配率對比

圖5 HPatches數(shù)據(jù)集55組影像對匹配

2.3.2 實際數(shù)據(jù)匹配測試

為進(jìn)一步驗證本文方法的穩(wěn)健性，采用了5種不同的實際場景下大視角差圖像序列數(shù)據(jù)進(jìn)行試驗，參數(shù)設(shè)置與標(biāo)準(zhǔn)數(shù)據(jù)集一致，具體匹配結(jié)果如圖6所示。

圖6展示了6種方法在5種不同場景的匹配，其中本文方法能夠?qū)λ袌鼍暗挠跋裥蛄薪o出一定數(shù)量的正確匹配點對?；谑止ぴO(shè)計的ASIFT方法對視角差異顯著的影像序列具有較好的適應(yīng)性，但當(dāng)視角差異約50°或者更大時，存在較多誤匹配(圖6(b)，場景2)，甚至失敗的情況(圖6(d)，場景4)，基于深度學(xué)習(xí)的D2-Net、R2D2、CMM-Net和ASLFeat方法對視角差異較大的圖像對較為敏感，匹配點對稀少或者匹配失敗，但在尺度差異大的影像序列上，均取得了較好的匹配效果?？芍瑢Ρ确椒軌蜻m應(yīng)一定視角差異的影像匹配，但當(dāng)視角差異超過50°時，匹配效果急劇下降，出現(xiàn)匹配失敗情況，視角差異較大的影像序列匹配穩(wěn)健性較弱。而本文方法在5種場景的所有圖像序列中均得到數(shù)量豐富的正確匹配點，對于角差異超過50°的影像和尺度差異大的影像匹配，識別到的同名點均較為充足且分布均勻，說明本文方法在不同視點的傾角變化較大的影像匹配中有著較好的穩(wěn)健性。

圖6 不同方法在5種場景測試數(shù)據(jù)集的匹配結(jié)果

圖7統(tǒng)計了6種對比方法在5種場景中的精提純后匹配點數(shù)量和匹配耗時兩個指標(biāo)。從匹配點數(shù)量來看，本文方法在以視角差異顯著的場景1、場景2和場景4影像序列中具有較為明顯的優(yōu)勢，其他方法均出現(xiàn)匹配數(shù)量稀少甚至匹配不上的情況，在尺度差異明顯的場景3和場景5中對比方法有著豐富的匹配點對數(shù)量，其中D2-Net、ASIFT、CMM-Net和R2D2匹配點數(shù)量均有超過本文方法的情況，說明了在極端視角差異情況下，劇烈的仿射變換會嚴(yán)重影響匹配算法性能，而尺度差異對算法性能影響不大。匹配耗時方面，D2-Net方法對于視角差異顯著的場景1和場景2，匹配耗時嚴(yán)重，遠(yuǎn)高于其他方法，基于手工設(shè)計的ASIFT方法同樣耗時較長，其他幾種深度學(xué)習(xí)方法匹配耗時小于手工設(shè)計方法，且每種場景的影像序列匹配耗時相當(dāng)，本文方法耗時在5種不同場景均用時相對較少。由此說明，對于大視角差圖像序列匹配，通過構(gòu)建雙頭通信機制的本文方法在保證識別出豐富的同名匹配點對的同時，降低了匹配時間成本，表現(xiàn)出較佳的匹配效果。

圖7 不同場景匹配結(jié)果對比

表1重點從匹配精度方面統(tǒng)計了精提純后特征點數(shù)量占粗匹配特征點數(shù)量的比率(MR)和匹配點對的均方根誤差(RMSE)。分析表1數(shù)據(jù)可知，以成像視角差異為主的場景1、場景2和場景4中，本文方法相較于其他方法具有較高的MR，且能夠得到較為可靠的RMSE，而其他方法在這3個場景中均出現(xiàn)匹配率低下，RMSE結(jié)果值較大等情形。以尺度差異為主的場景3和場景5中，本文方法和其他方法的MR和RMSE均具有較好的結(jié)果。表明本文方法相對于其他方法能夠很好地適應(yīng)視角差異較大的大傾角影像序列匹配，對于尺度差異顯著的影像序列，本文方法和其他方法表現(xiàn)相當(dāng)。

表1 不同場景匹配精度對比

3 結(jié)論與展望

大視角差影像序列之間由于存在仿射變換、遮擋、視角、紋理等差異，使得同名點匹配存在多解和誤匹配現(xiàn)象，導(dǎo)致了最終識別的匹配點分布不均、穩(wěn)健性低下等問題。本文提出了一種適用于大視角差影像穩(wěn)健匹配的方法，該方法通過構(gòu)建一種適用于大視角差影像旋轉(zhuǎn)不變學(xué)習(xí)型特征提取和描述的CNN網(wǎng)絡(luò)，設(shè)計了一種對低內(nèi)點率有較強穩(wěn)健性能的誤匹配剔除算法，引進(jìn)已經(jīng)配對好的光照和拍攝角度都存在較大差異的訓(xùn)練數(shù)據(jù)，實現(xiàn)了在穩(wěn)健匹配同名點對的同時大幅降低匹配開銷成本。在HPatches標(biāo)準(zhǔn)數(shù)據(jù)集和5種典型實地場景進(jìn)行了大視角差影像序列匹配，并與適用于大視角差影像匹配的具有代表性的6種匹配方法進(jìn)行了性能對比，驗證了提出方法在正確匹配點數(shù)、匹配點正確率、匹配點均方根誤差和匹配時間開銷方面的優(yōu)勢。

本文方法僅使用局部學(xué)習(xí)型特征和由粗到精的誤匹配約束策略來探索大視角差影像不變特征匹配。然而，在視角差異巨大時，兩幅圖像不再滿足單一的仿射變換，如果要獲得具有很強特征表示能力的卷積神經(jīng)網(wǎng)絡(luò)模型，往往需要大量的訓(xùn)練數(shù)據(jù)，而深度學(xué)習(xí)特征識別和檢測的準(zhǔn)確性高度依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量和多樣性。因此，在進(jìn)一步的研究中可以利用遷移學(xué)習(xí)的思想，找到一個在大型數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)模型和一些接近目標(biāo)數(shù)據(jù)集的標(biāo)記數(shù)據(jù)，利用這些模型和數(shù)據(jù)構(gòu)建模型，增加目標(biāo)數(shù)據(jù)的標(biāo)記，更好地實現(xiàn)大視角差小樣本圖像匹配和大傾角圖像的亞像素級精確匹配，以更好地服務(wù)于實際工程應(yīng)用。