基于同模型匹配點(diǎn)聚集的圖像多匹配模型估計(jì)算法

摘 要：寬基線或大視角圖像間多匹配模型的估計(jì)是圖像處理中一項(xiàng)非常有挑戰(zhàn)性的任務(wù)。現(xiàn)有算法雖然能較好估計(jì)圖像間的多匹配模型及其內(nèi)點(diǎn)集，但是其結(jié)果容易出現(xiàn)匹配對(duì)錯(cuò)誤分配的問(wèn)題。為了精確估計(jì)圖像間的多匹配模型從而分配匹配對(duì)，提出一種基于同模型匹配點(diǎn)聚集的圖像多匹配模型估計(jì)算法（AMPSM）。首先，為提升正確匹配對(duì)占比，根據(jù)近鄰區(qū)域內(nèi)正確匹配對(duì)的分布特點(diǎn)對(duì)錯(cuò)誤匹配對(duì)進(jìn)行過(guò)濾；然后，根據(jù)匹配點(diǎn)所屬不同匹配模型程度查找疑似的多模型的交集點(diǎn)，即干擾點(diǎn)，同時(shí)，為了降低干擾點(diǎn)對(duì)匹配對(duì)分類精度的影響，將其去除；之后，為了提高同模型匹配點(diǎn)的聚集程度，根據(jù)抽樣過(guò)程中同模型內(nèi)點(diǎn)與其點(diǎn)集重心的距離動(dòng)態(tài)移動(dòng)位置；最后，通過(guò)基于高斯核的Mean Shift算法對(duì)聚集后的匹配點(diǎn)分類，進(jìn)而得到多匹配模型。將所提算法分別與基于經(jīng)典框架的算法RANSAC、PROSAC、MAGSAC++、GMS、AdaLAM、PEARL、MTC、Sequential RANSAC和基于深度學(xué)習(xí)的算法SuperGlue、OANet、CLNet、CONSAC等進(jìn)行比較，結(jié)果表明該方法內(nèi)點(diǎn)率可提高30%以上，多模型估計(jì)的錯(cuò)分率可降低8.39%以上，即所提方法在錯(cuò)誤匹配對(duì)過(guò)濾和多模型估計(jì)等方面具有顯著優(yōu)勢(shì)。

關(guān)鍵詞：圖像匹配； 多模型估計(jì)； 抽樣一致性； 聚集

中圖分類號(hào)：TP249 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）10-042-3173-10

doi：10.19734/j.issn.1001-3695.2023.12.0638

Image multi-matching model estimation algorithm based onaggregation of matching points of same model

Wang Weijie1， Wei Ruoyan1， Zhu Xiaoqing2

（1.School of Management Science & Information Engineering， Hebei University of Economics & Business， Shijiazhuang 050061， China; 2.Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China）

Abstract：The estimation of multiple matching models between wide baseline or large angle images is a quite challenging task in image processing. The existing algorithms can be used to estimate multiple matching models and their inliers between images well， but their results are prone to matching pairs mis-classification issues. In order to accurately estimate the multiple matching models and allocate matching pairs， this paper proposed an image multi-matching model estimation algorithm based on the aggregation of matching points of the same model（AMPSM）. Firstly， for improve the proportion of correct matching pairs， it filtered out incorrect matching pairs based on the distribution characteristics of correct matching points in the neighboring region. Furthermore， based on the different matching model degrees to which the matching pairs belong， searched for the suspected intersection matching pairs of multiple models， that was interference matching pairs. Meantime， for reducing the impact of interference matching pairs on the accuracy of matching classification， they were removed. Afterwards， for improve the clustering degree of matching points with the co-model， the position was dynamically moved based on the distance between the points within the same model and the center of gravity of the point set during the sampling process. Finally， classifying clustered matching points by Mean Shift to obtain a multi matching model. And the proposed method was compared with classical framework based algorithms RANSAC， PROSAC， MAGSAC++， GMS， AdaLAM， PEARL， MTC， Sequential RANSAC， and deep learning based algorithms SuperGlue， OANet， CLCNet， CONSAC， etc. Results indicate over 30% increase in the inlier rate， 8.39% reduction in the mis-classification rate of multi model estimation. It is concluded that the new algorithm has significant advantages in incorrect matches filtering and multi-model estimation.

Key words：image matching; multi-model estimation; sample consistency; aggregation

0 引言

圖像匹配是機(jī)器視覺領(lǐng)域的關(guān)鍵技術(shù)，廣泛應(yīng)用于三維重建、定位與地圖構(gòu)建以及飛行器導(dǎo)航等領(lǐng)域［1］。圖像匹配算法根據(jù)是否估計(jì)圖像匹配模型，分為非匹配模型估計(jì)算法和匹配模型估計(jì)算法。匹配模型估計(jì)算法根據(jù)圖像間存在的幾何變換模型數(shù)目，分為單模型估計(jì)算法和多模型估計(jì)算法。

非匹配模型估計(jì)算法包括GMS［2］、ACNe［3］、OANet［4］、SuperGlue［5］、CLNet［6］等。GMS算法將圖像劃分為固定數(shù)目的網(wǎng)格，根據(jù)網(wǎng)格中的匹配對(duì)數(shù)量過(guò)濾錯(cuò)誤匹配對(duì)。ACNe和OANet算法將全局注意力機(jī)制和局部注意力機(jī)制結(jié)合，在高維空間找到正確匹配對(duì)。SuperGlue算法將自注意力機(jī)制和交叉注意力機(jī)制嵌入圖神經(jīng)網(wǎng)絡(luò)，兼顧全局和局部信息過(guò)濾錯(cuò)誤匹配對(duì)。CLNet算法為各匹配對(duì)動(dòng)態(tài)構(gòu)建局部圖，根據(jù)全局和局部一致性分?jǐn)?shù)過(guò)濾錯(cuò)誤匹配對(duì)。窄基線或小視角差異的圖像間僅存在平移、旋轉(zhuǎn)以及縮放變化，只需求解最優(yōu)模型，即單模型估計(jì)。RANSAC［7］及其衍生算法適用于解決此類問(wèn)題，包括PROSAC［8］、P-NAPSAC［9］、MAGSAC++［10］、NG-RANSAC［11］、Deep MAGSAC++［12］等。RANSAC算法隨機(jī)選取少量匹配對(duì)并估計(jì)匹配模型，然后回代模型得到內(nèi)點(diǎn)（符合匹配模型的匹配對(duì)），內(nèi)點(diǎn)數(shù)目最多的模型為最優(yōu)匹配模型。PROSAC算法使用相似性度量數(shù)值最高的樣本子集進(jìn)行半隨機(jī)抽樣，估計(jì)匹配模型，該算法依賴匹配點(diǎn)的描述信息，最壞情況與RANSAC相同。P-NAPSAC算法將NAPSAC和PROSAC相結(jié)合，融入局部和全局采樣的優(yōu)點(diǎn)。MAGSAC++算法不需要計(jì)算距離誤差閾值，減少了其對(duì)內(nèi)點(diǎn)準(zhǔn)確率及精確度的影響。NG-RANSAC算法利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)各匹配對(duì)權(quán)重，從而過(guò)濾錯(cuò)誤匹配對(duì)。Deep MAGSAC++是MAGSAC++算法和NG-RANSAC算法的結(jié)合。寬基線或大視角差異的圖像間存在多個(gè)匹配模型，更具有挑戰(zhàn)性。Sequential RANSAC［13］、PEARL［14］、Multi-X［15］、MCT［16］及CONSAC［17］等算法適用于解決此類問(wèn)題。Sequential RANSAC算法通過(guò)重復(fù)RANSAC操作得到多匹配模型，時(shí)效性較差。PEARL算法通過(guò)RANSAC進(jìn)行初始化，優(yōu)化能量函數(shù)以估計(jì)多匹配模型。Multi-X算法將多模型擬合問(wèn)題轉(zhuǎn)換為全局能量最小化問(wèn)題，并根據(jù)匹配對(duì)分布密度聚集，估計(jì)多匹配模型，該算法是PEARL算法的擴(kuò)展。MCT算法利用幾何約束指導(dǎo)采樣。CONSAC算法根據(jù)已找到的單匹配模型更新采樣權(quán)重來(lái)估計(jì)多匹配模型。Barath等人［18］專門為多匹配模型估計(jì)設(shè)計(jì)一個(gè)新采樣器，逐步找到多個(gè)匹配模型，而不形成清晰的匹配對(duì)到匹配模型的分配。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的圖像匹配算法順勢(shì)而生，但現(xiàn)有的大多數(shù)基于深度學(xué)習(xí)的圖像匹配算法僅匹配特征點(diǎn)，無(wú)法估計(jì)匹配模型?，F(xiàn)有算法主要有以下問(wèn)題：a）P-NAPSAC、OANet等算法認(rèn)為局部區(qū)域內(nèi)的正確匹配對(duì)具有相似分布，但當(dāng)圖像間視角差異過(guò)大或縮放明顯時(shí)無(wú)法確定局部區(qū)域的范圍；b）PROSAC、P-NAPSAC、Sequential RANSAC、AdaLAM［19］等算法利用distance ratio提升正確匹配對(duì)占比，進(jìn)而估計(jì)匹配模型，但distance ratio的值需要隨視角差異的增大而趨近于1；c）基于深度學(xué)習(xí)的匹配算法大多數(shù)僅匹配特征點(diǎn)，無(wú)法估計(jì)匹配模型，算法效率依賴數(shù)據(jù)集質(zhì)量，數(shù)據(jù)集無(wú)法包含所有變化的圖像，并且神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間過(guò)長(zhǎng)；d）在圖像多匹配模型估計(jì)過(guò)程中，多匹配模型的交集匹配對(duì)會(huì)對(duì)多模型估計(jì)的結(jié)果產(chǎn)生影響。

為解決以上問(wèn)題，本文提出了一種基于同模型匹配點(diǎn)聚集的圖像多匹配模型估計(jì)算法（AMPSM）。針對(duì)問(wèn)題a）b），提出了基于近鄰區(qū)域匹配點(diǎn)同分布的內(nèi)點(diǎn)率提升方法（IREM），該方法根據(jù)正確匹配點(diǎn)在近鄰區(qū)域具有的分布特點(diǎn)對(duì)錯(cuò)誤匹配對(duì)進(jìn)行過(guò)濾；針對(duì)問(wèn)題d），提出了基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除方法（DIPR），本文提出“干擾點(diǎn)”概念，并根據(jù)多次迭代中各匹配對(duì)所屬內(nèi)點(diǎn)集的點(diǎn)集重心的變化對(duì)高疑似的干擾點(diǎn)進(jìn)行去除；針對(duì)問(wèn)題c），提出了基于同模型匹配點(diǎn)聚集的多模型估計(jì)方法（AGSM），抽樣過(guò)程中同模型匹配點(diǎn)根據(jù)其與內(nèi)點(diǎn)集重心的距離動(dòng)態(tài)移動(dòng)以顯著提高不同模型的匹配點(diǎn)在圖像平面空間中的分離度，然后用基于高斯核的Mean Shift［20］算法對(duì)聚集后的數(shù)據(jù)進(jìn)行區(qū)分，從而得到多模型及所對(duì)應(yīng)的內(nèi)點(diǎn)集。

1 本文方法

1.1 算法流程

本文算法分為三步，分別對(duì)應(yīng)三個(gè)創(chuàng)新點(diǎn)：a）提出一種基于近鄰區(qū)域匹配點(diǎn)同分布的內(nèi)點(diǎn)率提升方法（IREM），以達(dá)到過(guò)濾錯(cuò)誤匹配對(duì)的目的；b）首次提出“干擾點(diǎn)”的概念，并提出一種基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除方法（DIPR），以達(dá)到提高多匹配模型估計(jì)精度的目的；c）提出一種基于同模型匹配點(diǎn)聚集的多模型估計(jì)方法（AGSM），以達(dá)到提高同模型匹配點(diǎn)的聚集程度，并降低多匹配模型錯(cuò)分率的目的。算法流程如圖1所示，其中灰色模塊對(duì)應(yīng)上述三個(gè)創(chuàng)新點(diǎn)。

1.2 基于近鄰區(qū)域匹配點(diǎn)同分布的內(nèi)點(diǎn)率提升

文獻(xiàn)［21］中所提方法的原理是保留待匹配的兩幅圖像中正確匹配點(diǎn)的局部鄰域結(jié)構(gòu)，即對(duì)于旋轉(zhuǎn)、平移變化的圖像，正確匹配點(diǎn)間的距離保持不變，正確匹配點(diǎn)間的局部鄰域結(jié)構(gòu)保持不變。對(duì)于大視角差異的圖像，正確匹配點(diǎn)間的距離可能存在顯著變化，但由于匹配點(diǎn)周圍區(qū)域的物理約束，正確匹配點(diǎn)間的局部鄰域結(jié)構(gòu)通常不會(huì)自由變化。

文獻(xiàn)［22］中將圖像匹配分為同分布匹配與非同分布匹配。對(duì)于同分布匹配，圖像之間的匹配點(diǎn)分布相似，如圖2（a）所示；對(duì)于非同分布匹配，匹配圖像之間的比例明顯放大，圖像之間的匹配點(diǎn)分布不同，如圖2（b）所示。

當(dāng)匹配類型為同分布匹配時(shí)，圖像間正確匹配對(duì)分布差異較小，如圖2（a）所示，其中黑點(diǎn)為正確匹配點(diǎn)，藍(lán)點(diǎn)為錯(cuò)誤匹配點(diǎn)。正確匹配對(duì)為（aL，aR）和（bL，bR），錯(cuò)誤匹配對(duì)為（cL，cR）和（dL，dR），因此，|aLbL-aRbR|≤|cLdL－cRdR|。當(dāng)匹配類型為非同分布匹配時(shí)，如圖2（b）所示，其中LocalArea為一個(gè)局部區(qū)域，圖像間LocalArea的面積明顯不同，所以兩幅圖像的LocalArea內(nèi)正確匹配對(duì)間的距離分布差異較大。令pi（i=1，2，…，n）為一幅圖像的n個(gè)匹配點(diǎn)，lKuv=|pKu-pKv|，1≤u，v≤n，u≠v，K=L，R為圖像中任意兩個(gè)正確匹配點(diǎn)間的距離，其中，L和R表示左圖和右圖。若lLuv=γlRuv，且γ∈［0.9，1.1］，則兩幅圖像為同分布匹配，否則為非同分布匹配，如圖2所示。

令pi（i=1，2，…，n）為一幅圖像的n個(gè)匹配點(diǎn)，l=|pu-pv|，1≤u，v≤n，u≠v為任意兩個(gè)匹配點(diǎn)間的距離，p（l）=numl/C2n為數(shù)值為l的距離的概率，其中numl為數(shù)值是l的距離數(shù)目，C2n為圖像中的距離數(shù)目。當(dāng)匹配點(diǎn)數(shù)目足夠多，即匹配點(diǎn)間的距離數(shù)值足夠多，且匹配點(diǎn)之間的距離分布未知時(shí)，可以認(rèn)為匹配點(diǎn)之間的距離l的分布為正態(tài)分布l～N（μ，σ2），其中μ為匹配點(diǎn)間距離的平均值，σ2為匹配點(diǎn)間距離的方差。令lKco=∑lKuv/numKco，K=L，R為正確匹配點(diǎn)間的平均距離，其中，lKuv為任意兩個(gè)正確匹配點(diǎn)間的距離，numKco為正確匹配點(diǎn)間距離的數(shù)目；lKun=∑lKxw/numKun，K=L，R為錯(cuò)誤匹配點(diǎn)間的平均距離，其中，lKxw為任意兩個(gè)錯(cuò)誤匹配點(diǎn)間的距離或任意一個(gè)正確匹配點(diǎn)與一個(gè)錯(cuò)誤匹配點(diǎn)間的距離，numKun為錯(cuò)誤匹配點(diǎn)間距離的數(shù)目。根據(jù)上述內(nèi)容可知，匹配點(diǎn)間距離的分布服從正態(tài)分布，則min（lKuv）≈min（lKxw），max（lKxw）≥max（lKuv）。由于正態(tài)分布具有對(duì)稱性，所以lKco≤lKun，其分布如圖3所示。

a）當(dāng)兩幅圖像為同分布匹配時(shí)，令lmax為最大距離，lLuv=γlRuv，γ∈［0.9，1.1］，則|lLuv－lRuv|≤|1-γ|lmax，|lLxw-lRxw|≤lmax，因此，E（|lLuv-lRuv|）≤E（|lLxw-lRxw|），則p（|lLuv-lRuv|<|lLxw-lRxw|）=

p（|lLuv-lRuv|-|lLxw-lRxw|<0）=ΦE（|lLxw-lRxw|）-E（|lLuv-lRuv|）σuv+σxw≥0.5。因此，當(dāng)兩幅圖像為同分布匹配時(shí)：

P（|lLuv-lRuv|<|lLxw-lRxw|）=

Φ（E（|lLxw-lRxw|）-E（|lLuv-lRuv|）σuv+σxw）≥0.5（1）

其中：lLuv和lLxw為左圖中正確匹配點(diǎn)間的距離和錯(cuò)誤匹配點(diǎn)間的距離；lRuv和lRxw為右圖中正確匹配點(diǎn)間的距離和錯(cuò)誤匹配點(diǎn)間的距離；σuv和σxw為兩幅圖像中正確匹配點(diǎn)間距離和錯(cuò)誤匹配點(diǎn)間距離的方差。

b）當(dāng)兩幅圖像為非同分布匹配，且lLuv=γlRuv，γ∈［1.1，+∞）時(shí)，lRuv～N（lRco，sRco），lRxw～N（lRun，sRun），其中，lRco和lRun為右圖正確匹配點(diǎn)的平均距離和錯(cuò)誤匹配點(diǎn)平均距離，sRco和sRun為右圖正確匹配點(diǎn)的距離方差和錯(cuò)誤匹配點(diǎn)的距離方差，則

p（lRuv<lRxw）=plRuv-lRxw-（lRco-lRun）sRco+sRun<0-（lRco-lRun）sRco+sRun=ΦlRun-lRcosRco+sRun，由于lRco≤lRun，所以，P（lRco-lRun）≥0.5。當(dāng)lLuv=γlRuv，γ∈（0，0.9］時(shí)，同理可得P（lLco-lLun）≥0.5。因此，當(dāng)兩幅圖像為非同分布匹配時(shí)：

P（lKco-lKun）=ΦlKun-lKcoσKun+σKco≥0.5（2）

其中：lKco為左圖或右圖中正確匹配點(diǎn)間距離的平均值；lKun為左圖或右圖中錯(cuò)誤匹配點(diǎn)間距離的平均值；σKco為左圖或右圖中正確匹配點(diǎn)間距離的方差；σKun為左圖或右圖中錯(cuò)誤匹配點(diǎn)間距離的方差。

表1展示三組同分布匹配圖像（Bikes1m2、Boat1m2、Graf1m2）中p（|lLuv-lRuv|<|lLxw-lRxw|）的數(shù)值和三組非同分布匹配圖像（Bark1m5、Boat1m5、Bark1m6）中p（lLuv<lLxw）、p（lRuv<lRxw）的數(shù)值。通過(guò)表1可以看出，當(dāng)圖像間的匹配是同分布匹配時(shí)，|lLuv-lRuv|的分布范圍明顯小于|lLxw-lRxw|的分布范圍，且p（|lLuv-lRuv|<|lLxw-lRxw|）的數(shù)值均大于0.5，并且若左圖中任意兩個(gè)正確匹配點(diǎn)間距離與右圖中對(duì)應(yīng)的兩個(gè)正確匹配點(diǎn)間距離的差值越小，即E（|lLuv-lRuv|）越小，則p（|lLuv-lRuv|<|lLxw-lRxw|）≥0.5的可能性越大。當(dāng)圖像間的匹配為非同分布匹配時(shí)，p（lKuv<lKxw）的數(shù)值均大于0.5，并且若單幅圖像中正確匹配點(diǎn)間的距離越小，即lKco（K=L，R）越小，則p（lKuv<lKxw）≥0.5的可能性越大。

綜上所述，若兩幅圖像間任意兩個(gè)正確匹配點(diǎn)間距離的差值越小，即E（|lLuv-lRuv|）越小，則圖像間錯(cuò)誤匹配點(diǎn)的距離差值大于正確匹配點(diǎn)的距離差值的可能性越大；若單幅圖像中正確匹配點(diǎn)間距離越小，即lKco越小，則圖像內(nèi)錯(cuò)誤匹配點(diǎn)的距離大于正確匹配點(diǎn)的距離的可能性越大。

根據(jù)上述內(nèi)容可知，近鄰區(qū)域內(nèi)的正確匹配對(duì)在空間分布上具有一致性［23～25］，即在大視角差異的情況下，同一場(chǎng)景或?qū)ο蟮膱D像間，同一區(qū)域的正確匹配對(duì)的局部空間關(guān)系被很好地保留。GMS、P-NAPSAC等算法均利用了該性質(zhì)。圖4是正確匹配對(duì)位置變化矢量圖，可看出在局部區(qū)域內(nèi)，正確匹配對(duì)的變化矢量具有較高的方向一致性。

基于上述現(xiàn)象，本文提出了一種基于近鄰區(qū)域匹配點(diǎn)同分布的內(nèi)點(diǎn)率提升方法（IREM），該方法根據(jù)近鄰區(qū)域內(nèi)匹配對(duì)的平均距離比值及余弦相似度過(guò)濾錯(cuò)誤匹配對(duì)。具體步驟如下：

a）利用近鄰算法搜索匹配對(duì)集合U中各匹配點(diǎn)的αL和αR個(gè)近鄰點(diǎn)，其中L和R分別表示待匹配的兩幅圖像，一般取αL=αR=10。

b）若各匹配點(diǎn)與兩幅圖中的近鄰點(diǎn)交集非空，則計(jì)算近鄰交集點(diǎn)到各匹配點(diǎn)的平均距離，并根據(jù)式（3）（4）更新αL和αR并得到新的近鄰點(diǎn)交集。

γ=dLi/dRi i=1，2，…，n（3）

αL=γαR γ≥1αRγγ<1（4）

其中：dLi為左圖中第i個(gè)交集點(diǎn)到各匹配點(diǎn)的平均距離；dRi為右圖中第i個(gè)交集點(diǎn)到各匹配點(diǎn)的平均距離；n為搜索的近鄰點(diǎn)的數(shù)目。

c）各匹配點(diǎn)的近鄰點(diǎn)交集取并集得到集合S。

d）圖像網(wǎng)格化。以圖片對(duì)角線長(zhǎng)度乘以0.05為每個(gè)網(wǎng)格的邊長(zhǎng)對(duì)圖像進(jìn)行網(wǎng)格化［24］，如圖5所示。若網(wǎng)格內(nèi)匹配點(diǎn)的平均距離fku<F，則將其平分為3×3網(wǎng)格。F的計(jì)算公式為

F=∑Nv=1fKv/N K=L，R（5）

其中：N為網(wǎng)格數(shù)目。

e）根據(jù)集合S中匹配對(duì)的坐標(biāo)得到位置變化矢量集合PM。根據(jù)式（6）計(jì)算各網(wǎng)格中匹配點(diǎn)位置變化矢量的余弦相似度cossimi，若網(wǎng)格中匹配點(diǎn)位置變化矢量數(shù)目小于估計(jì)模型所需的最小樣本數(shù)目mmin（基礎(chǔ)矩陣時(shí)，mmin=7；單應(yīng)性矩陣時(shí)，mmin=4），則將其周圍9個(gè)網(wǎng)格包含進(jìn)來(lái)，若其仍小于mmin，則網(wǎng)格中匹配對(duì)被當(dāng)作錯(cuò)誤匹配對(duì)過(guò)濾；否則重新計(jì)算余弦相似度cossimi，將均值滿足cossimi≥thre，thre∈［0.8，1.0］的匹配對(duì)當(dāng)作正確匹配對(duì)保留，得到過(guò)濾后的匹配對(duì)集合Q。

cos θ=xi·xj‖xi‖‖xj‖ i=1，…，m； j=1，…，m（6）

其中：xi和xj為匹配點(diǎn)位置變化矢量的坐標(biāo)；m表示匹配點(diǎn)位置變化矢量的數(shù)目。cos θ∈［-1，1］，cos θ的值越接近1，表示兩個(gè)匹配點(diǎn)位置變化矢量越相似。

基于近鄰區(qū)域同分布的內(nèi)點(diǎn)率提升方法流程如圖6所示。

1.3 基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除

所有圖像多匹配模型估計(jì)算法都將多模型擬合問(wèn)題轉(zhuǎn)換為尋找不相交的匹配對(duì)集合的問(wèn)題，每個(gè)匹配對(duì)集合代表一個(gè)匹配模型。在某種情況下，一個(gè)匹配對(duì)符合多個(gè)匹配模型，這種現(xiàn)象使問(wèn)題無(wú)法解決［14，17，18］。如圖7（a）所示，當(dāng)將點(diǎn)分配給單條直線模型（按顏色）時(shí)，無(wú)法找到所有9個(gè)模型，即黑色虛線表示的模型無(wú)法找到。當(dāng)將平面模型擬合為7個(gè)點(diǎn)中的4個(gè)點(diǎn)時(shí)，只能找到一個(gè)平面模型［18］。即使人工處理，匹配對(duì)到匹配模型的分配也常常不清晰，特別是匹配對(duì)集合的交集。如圖7（b）所示，不同顏色匹配對(duì)屬于不同匹配模型所在的平面，黑色匹配對(duì)屬于多個(gè)匹配模型，即黑色匹配對(duì)為內(nèi)點(diǎn)集的交集。圖7中，黑點(diǎn)為干擾點(diǎn)，其他不同顏色點(diǎn)為多模型內(nèi)點(diǎn)集，通過(guò)觀察可以發(fā)現(xiàn)：交集往往位于模型所在平面的交界處。這一現(xiàn)象是客觀存在的，主要原因在于多匹配模型交集區(qū)域的匹配對(duì)在不同匹配模型中的距離誤差均小于閾值，即其被認(rèn)作不同匹配模型的內(nèi)點(diǎn)。

內(nèi)點(diǎn)集的交集在本文中之所以被稱為干擾數(shù)據(jù)，主要有以下兩個(gè)原因：a）不同的匹配模型數(shù)據(jù)屬于不同類別，干擾數(shù)據(jù)將在多模型估計(jì)過(guò)程中擾亂匹配數(shù)據(jù)的分類精度，導(dǎo)致模型估計(jì)不準(zhǔn)確；b）文獻(xiàn)［14，15，26］中利用多匹配模型估計(jì)方法對(duì)圖像內(nèi)容進(jìn)行幾何空間估計(jì)，該過(guò)程中需要計(jì)算各模型數(shù)據(jù)點(diǎn)的聚類中心，但干擾數(shù)據(jù)點(diǎn)將使聚類中心發(fā)生偏移，從而影響幾何空間估計(jì)效果。文獻(xiàn)［14，17，27］雖然對(duì)干擾數(shù)據(jù)的存在和影響有所提及，但沒(méi)有提出具體的干擾數(shù)據(jù)去除方案。

若兩幅待匹配圖像間存在多個(gè)匹配模型，M={M1，M2，…，Mn}為匹配模型集合，n為匹配模型數(shù)目，I={I1，I2，…，In}為符合各匹配模型的內(nèi)點(diǎn)集。一般認(rèn)為經(jīng)匹配模型變換后距離誤差小于e的匹配對(duì)為該匹配模型內(nèi)點(diǎn)。本文將匹配對(duì)集合中符合多個(gè)匹配模型的匹配對(duì)視為干擾點(diǎn)。例如：Iu和Iv為兩個(gè)內(nèi)點(diǎn)集，Iu={（aL，aR），（bL，bR），（cL，cR），（dL，dR），…}和Iv={（cL，cR），（dL，dR），（eL，eR），（fL，fR），…}分別符合匹配模型Mu和Mv，即f（Iu，Mu）≤e，f（Iv，Mv）≤e。相應(yīng)計(jì)算公式為

f（p，M）=

|［pRi，1］T-M［pLi，1］T| M=H

［pRi，1］M［pLi，1］T（MpLi）21+（MpLi）22+（MTpRi）21+（MTpRi）22M=F（7）

其中：f（p，M）為距離誤差公式；p為匹配對(duì)集合；M為匹配模型。因?yàn)椋?f（c，Mu）≤e，f（c，Mv）≤e， f（d，Mu）≤e， f（d，Mv）≤e，所以（cL，cR）和（dL，dR）同時(shí)屬于多個(gè)匹配模型，即為干擾點(diǎn)。

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，干擾點(diǎn)對(duì)應(yīng)的匹配模型的內(nèi)點(diǎn)集重心變化大于非干擾點(diǎn)，并且近鄰區(qū)域內(nèi)的匹配對(duì)基本符合同一匹配模型。圖8為某一匹配點(diǎn)所屬的匹配點(diǎn)集重心的角度變化示意圖，圖9為不同匹配點(diǎn)所屬的匹配點(diǎn)集重心的距離變化示意圖。其中Pj為第j個(gè)匹配點(diǎn)，inlierij為Pj所屬的第i個(gè)匹配模型內(nèi)點(diǎn)集，gij為inlierij的點(diǎn)集重心，Gj為Pj所屬的全部?jī)?nèi)點(diǎn)集重心的重心，gij與Gj的連線表示兩者的距離?？梢钥闯?，若匹配對(duì)所屬的內(nèi)點(diǎn)集重心變化越大，則內(nèi)點(diǎn)集重心相對(duì)于圖像左上角的角度變化越大，內(nèi)點(diǎn)集重心之間的距離變化越大。

基于上述現(xiàn)象，本文提出了一種基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除方法（DIPR），該方法根據(jù)模型估計(jì)過(guò)程中匹配對(duì)與從屬模型內(nèi)點(diǎn)集重心間的角度和距離特征篩選并去除干擾點(diǎn)。方法中設(shè)置兩次模型回代，第一次回代為得到局部最優(yōu)模型，第二次回代為在匹配對(duì)集合中得到符合該模型的內(nèi)點(diǎn)集。由于回代過(guò)程的作用不同，距離誤差閾值的設(shè)置范圍也不同。具體步驟如下，流程如圖10所示。

a）利用近鄰算法在集合Q中隨機(jī)選取z個(gè)匹配對(duì)，如果z過(guò)大，則抽取的匹配對(duì)分布范圍較大，可能不在局部區(qū)域內(nèi)，所以本文z的取值為4～9。利用最小二乘法計(jì)算圖像匹配模型矩陣M，將M回代到z個(gè)匹配對(duì)，若匹配對(duì)的距離誤差e≤Δ1，根據(jù)文獻(xiàn)Δ1一般取值為1.0～1.5［28］，距離誤差公式如式（7）所示，則M為局部區(qū)域最優(yōu)模型矩陣。

b）將M回代到集合Q，計(jì)算滿足e≤Δ2的匹配對(duì)集合，Δ2一般取值為2.0～3.0。

c）將步驟a）b）迭代K1次，經(jīng)過(guò)多次實(shí)驗(yàn)確定K1為3 000，將每次得到的匹配對(duì)集合于左圖的匹配點(diǎn)存儲(chǔ)于集合Ci（i=1，…，K1），并將各匹配點(diǎn)所屬的點(diǎn)集重心存儲(chǔ)于集合G，G的尺寸為v×K1，其中v是集合Q中左圖匹配點(diǎn)的數(shù)目。

d）計(jì)算Ci中各匹配點(diǎn)的點(diǎn)集重心與圖像左上角的角度，存儲(chǔ)于P，P的尺寸為v×K1，其中v是集合Q中左圖匹配點(diǎn)的數(shù)目。計(jì)算P中各匹配點(diǎn)所屬的點(diǎn)集重心的角度標(biāo)準(zhǔn)差及G中的距離標(biāo)準(zhǔn)差，并分別進(jìn)行歸一化處理。

e）各匹配點(diǎn)以橫坐標(biāo)為距離標(biāo)準(zhǔn)差，縱坐標(biāo)為角度標(biāo)準(zhǔn)差的點(diǎn)表示，并利用Delaunay［29，30］算法進(jìn)行三角剖分。

f）計(jì)算連接點(diǎn)之間的距離：

D1：d11…d1n1D2：d21…d2n2Dm：dm1…dmnm（8）

其中：Di為三角剖分中的第i個(gè)點(diǎn)，i=1，…，m，m為點(diǎn)的數(shù)量；dij為第i個(gè)點(diǎn)中第j個(gè)連線的長(zhǎng)度，其中j=1，…，ni，ni為與第i個(gè)點(diǎn)相連的點(diǎn)的數(shù)量。然后計(jì)算每個(gè)點(diǎn)與相鄰點(diǎn)的均值距離，公式為

Di=∑nij=1dijni（9）

所有點(diǎn)與相鄰點(diǎn)的均值距離的概率分布密度，如下所示。

∑mi=1pi=1（10）

pi=kim（11）

ki=sum（max（D）×（i-1）m<D<max（D）×（i+1）m）（12）

匹配對(duì)若保留，需滿足條件：

∑mLi=1pi≤T（13）

其中：T為閾值。若數(shù)據(jù)量可觀，根據(jù)中心極限定理，所有點(diǎn)與相鄰點(diǎn)的均值距離的概率分布近似于正態(tài)分布，將均值距離的最大概率值當(dāng)作期望值，T設(shè)置為使期望值右端概率和與其左端概率和相等的概率值。最后得到干擾點(diǎn)去除后的匹配對(duì)集合W。

1.4 基于同模型匹配點(diǎn)聚集的多模型估計(jì)

待匹配圖像中各匹配模型內(nèi)點(diǎn)集的分布范圍較大，為提高各匹配模型內(nèi)點(diǎn)集的聚集程度，并根據(jù)聚集后的數(shù)據(jù)團(tuán)估計(jì)多匹配模型，提出了一種基于同模型匹配點(diǎn)聚集的多模型估計(jì)方法（AGSM）。該方法根據(jù)各匹配模型內(nèi)點(diǎn)集中匹配點(diǎn)與點(diǎn)集重心的距離動(dòng)態(tài)移動(dòng)匹配點(diǎn)位置，重復(fù)此操作直到各匹配點(diǎn)位置不再變化，得到多模型聚集點(diǎn)集。然后利用基于高斯核的Mean Shift［20］算法對(duì)聚集點(diǎn)集進(jìn)行聚類，最后得到對(duì)應(yīng)數(shù)據(jù)團(tuán)間的變換匹配矩陣，即圖像多匹配模型。

經(jīng)典Mean Shift算法認(rèn)為每個(gè)數(shù)據(jù)點(diǎn)對(duì)聚類結(jié)果的貢獻(xiàn)相同?；诟咚购说腗ean Shift算法是經(jīng)典Mean Shift算法的改進(jìn)，該算法引入高斯核函數(shù)，使每個(gè)數(shù)據(jù)點(diǎn)對(duì)最終結(jié)果的貢獻(xiàn)不同?；诟咚购说腗ean Shift算法的流程如圖11所示。

Mh（xcenter）=∑xi∈X［H（xi-xcenterh）（xi-xcenter）］∑xi∈XH（xi-xcenterh）（14）

H（xi-xcenterh）=12πe-（xi-xcenter）22h2（15）

其中：H（·）為高斯核函數(shù)。

基于同模型匹配點(diǎn)聚集的多模型估計(jì)方法（AGSM）的具體步驟如下：

a）利用近鄰算法在集合W中隨機(jī)選取z個(gè)匹配對(duì)，本文z的取值為4～9。利用最小二乘法計(jì)算圖像匹配模型矩陣M，將M回代到當(dāng)前所選的z個(gè)匹配對(duì)，若匹配對(duì)的距離誤差e≤Δ1，根據(jù)文獻(xiàn)Δ1一般取值為1.0～1.5，則M為局部區(qū)域最優(yōu)模型矩陣。

b）將M回代到集合W計(jì)算距離誤差e，計(jì)算滿足e≤Δ2的匹配對(duì)集合I，Δ2一般取值為2.0～3.0。

c）根據(jù)式（16）計(jì)算匹配對(duì)集合I中各匹配點(diǎn)相對(duì)于點(diǎn)集重心的距離dkj。

dkj=|pkjXki| j=1，2，…，m；i=1，2，…，n；k=L，R（16）

其中：pkj為匹配點(diǎn)坐標(biāo)；Xki為點(diǎn)集重心坐標(biāo)。

d）根據(jù)式（17）（18）對(duì)各個(gè)匹配點(diǎn)向點(diǎn)集重心聚集。

|Δd|=dkj dkj≤α×dkjdkj> j=1，2，…，m（17）

α=1dkj- j=1，2，…，m（18）

其中：|Δd|為各匹配點(diǎn)向重心方向移動(dòng)的距離；是距離閾值，根據(jù)匹配點(diǎn)到重心距離分布進(jìn)行設(shè)置。

e）重復(fù)步驟a）～d）直到各匹配點(diǎn)的位置變化小于1像素，獲得多模型聚集點(diǎn)集E。

f）利用基于高斯核的Mean Shift算法［20］將E分別聚類為左圖的數(shù)據(jù)團(tuán)CL={CL1，CL2，…，CLn}和右圖的數(shù)據(jù)團(tuán)CR={CR1，CR2，…，CRn}，其中n為數(shù)據(jù)團(tuán)數(shù)目。

g）分別計(jì)算CL和CR對(duì)應(yīng)子團(tuán)的變化模型矩陣Mi及內(nèi)點(diǎn)集Ii，若Ii中內(nèi)點(diǎn)數(shù)目大于估計(jì)模型所需的最小樣本數(shù)目mmin（基礎(chǔ)矩陣時(shí)，mmin=7；單應(yīng)性矩陣時(shí)，mmin=4），則保留，否則舍棄。最后得到待匹配圖像間的多匹配模型M及內(nèi)點(diǎn)集I。

2 實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性，對(duì)本文提出的內(nèi)點(diǎn)率提升方法、干擾點(diǎn)去除方法、多匹配模型估計(jì)方法均進(jìn)行了實(shí)驗(yàn)，初始匹配對(duì)利用SIFT［28］獲得。實(shí)驗(yàn)測(cè)試環(huán)境為：Windows 10 操作系統(tǒng)（64位），Core i5處理器，16 GB運(yùn)行內(nèi)存，運(yùn)行環(huán)境為Python 3.7。

2.1 內(nèi)點(diǎn)率提升方法的對(duì)比實(shí)驗(yàn)

2.1.1 近鄰關(guān)系的對(duì)比實(shí)驗(yàn)

選擇三組圖像展示使用IREM方法前后匹配點(diǎn)間的近鄰關(guān)系，如圖12所示。

其中前兩組圖像間存在單個(gè)匹配模型，后一組圖像間存在多個(gè)匹配模型。圖12中第一列為錯(cuò)誤匹配對(duì)過(guò)濾前匹配點(diǎn)間的近鄰關(guān)系，可以看出左右兩幅圖像中各匹配點(diǎn)與其近鄰點(diǎn)之間的關(guān)系連線的形狀有明顯差異，圖12中第二列為錯(cuò)誤匹配對(duì)過(guò)濾后匹配點(diǎn)間的近鄰關(guān)系，可以看出左右兩幅圖像中各匹配點(diǎn)與其近鄰點(diǎn)之間的關(guān)系連線的形狀基本相同。根據(jù)兩列效果圖的對(duì)比，可以看出IREM方法可以在有效保留匹配點(diǎn)間的近鄰關(guān)系的基礎(chǔ)上過(guò)濾錯(cuò)誤匹配對(duì)。

2.1.2 單模型估計(jì)算法內(nèi)點(diǎn)率的對(duì)比實(shí)驗(yàn)

Oxford標(biāo)準(zhǔn)數(shù)據(jù)集［31］包含六個(gè)子數(shù)據(jù)集，子數(shù)據(jù)集內(nèi)圖像變化分別為圖像模糊（bikes）、旋轉(zhuǎn)縮放變化（boat）、視點(diǎn)變化（wall、garf）、光照變化（leuven）及尺度變化（bark）。每個(gè)子數(shù)據(jù)集包括6幅相同場(chǎng)景不同變化程度的圖像，圖像間僅存在一個(gè)匹配模型。每個(gè)子數(shù)據(jù)集提供第2～6幅圖像與第1幅圖像間的圖像單匹配模型。對(duì)比算法為單模型估計(jì)算法：RANSAC、PROSAC、MAGSAC++，可以計(jì)算圖像單匹配模型及其內(nèi)點(diǎn)集，使用OpenCV內(nèi)的函數(shù)實(shí)現(xiàn)。實(shí)驗(yàn)過(guò)程中各算法對(duì)各子數(shù)據(jù)集的第一幅圖像與其他五幅圖像依次進(jìn)行匹配，并以1MN表示（M表示匹配，N為2～6）。實(shí)驗(yàn)分析中使用匹配召回率（recall）對(duì)各算法進(jìn)行分析評(píng)價(jià)。recall定義為

recall=matchescorrectmatchescorrect+matchesincorrect（19）

其中：matchescorrect為利用算法去除錯(cuò)誤匹配對(duì)后正確匹配對(duì)數(shù)目；matchesincorrect為未去除的錯(cuò)誤匹配對(duì)數(shù)目。顯然，recall值越大，代表該算法匹配效果越好。

圖13為不同算法在Oxford子數(shù)據(jù)集上經(jīng)過(guò)匹配實(shí)驗(yàn)后得到的匹配召回率的對(duì)比實(shí)驗(yàn)結(jié)果?？梢钥闯鰧?duì)于圖像模糊（bikes）、旋轉(zhuǎn)縮放變化（boat）、光照變化（leuven），IREM方法的匹配召回率明顯優(yōu)于其他三種算法；對(duì)于視點(diǎn)變化（wall、graf），可以看出，四種算法的匹配召回率隨著視點(diǎn)變換逐漸增大而急劇降低；對(duì)于尺度變化（bark），可以看出，IREM方法與RANSAC的匹配召回率相差不大，且優(yōu)于其他兩種算法。RANSAC、PROSAC、MAGSAC++算法均通過(guò)估計(jì)最優(yōu)匹配模型內(nèi)點(diǎn)集過(guò)濾錯(cuò)誤匹配對(duì)，而IREM方法僅根據(jù)近鄰區(qū)域正確匹配對(duì)的分布特點(diǎn)過(guò)濾錯(cuò)誤匹配對(duì)，因此IREM方法更具優(yōu)勢(shì)。

2.1.3 內(nèi)點(diǎn)率和殘留外點(diǎn)率的對(duì)比實(shí)驗(yàn)

在bikes、boat、EVD、bark、leuven、homogr數(shù)據(jù)集［31，32］中選擇六組圖像進(jìn)行實(shí)驗(yàn)，圖像間變化包含圖像模糊、縮放旋轉(zhuǎn)、尺度變化以及光照變化，且圖像間只存在一個(gè)匹配模型。對(duì)比算法為基于傳統(tǒng)框架的GMS、AdaLAM和基于深度學(xué)習(xí)的SuperGlue、CLNet、OANet，均只能過(guò)濾錯(cuò)誤匹配對(duì)，無(wú)法估計(jì)匹配模型。實(shí)驗(yàn)?zāi)康臑轵?yàn)證IREM方法或?qū)Ρ人惴ㄊ褂们昂?，RANSAC、PROSAC、MAGSAC++算法所求變換模型內(nèi)點(diǎn)率的變化，即IREM算法與對(duì)比算法對(duì)RANSAC等單模型估計(jì)算法的效果改善程度。RANSAC、PROSAC、MAGSAC++算法均使用OpenCV內(nèi)的函數(shù)實(shí)現(xiàn)，圖14為實(shí)驗(yàn)結(jié)果?？梢钥闯?，單獨(dú)使用RANSAC、PROSAC、MAGSAC++算法時(shí)，所計(jì)算的變換模型內(nèi)點(diǎn)率均低于50%，且ExtremeZoom的內(nèi)點(diǎn)率均低于1%；使用IREM方法過(guò)濾錯(cuò)誤匹配對(duì)后，再使用RANSAC、PROSAC、MAGSAC++算法，所計(jì)算的變換模型內(nèi)點(diǎn)率均有明顯提升，且除Adam圖像外均能達(dá)到98%以上。相對(duì)于GMS算法，IREM方法內(nèi)點(diǎn)率提升效果更明顯；相對(duì)于SuperGlue、AdaLAM、CLNet、OANet算法，除Adam圖像外，IREM方法內(nèi)點(diǎn)率提升效果更好。對(duì)于Adam圖像，近鄰區(qū)域內(nèi)正確匹配對(duì)數(shù)量少，因此內(nèi)點(diǎn)率提升效果低于SuperGlue等四種算法。但經(jīng)IREM方法剔除錯(cuò)誤匹配對(duì)之后計(jì)算的模型內(nèi)點(diǎn)率達(dá)到70%以上，提升了30%以上。對(duì)于ExtremeZoom圖像，IREM方法的內(nèi)點(diǎn)率提升效果明顯優(yōu)于五種對(duì)比算法。

在Adelaidermf數(shù)據(jù)集［33］中選擇六組圖像進(jìn)行實(shí)驗(yàn)，所用圖像間均包含多個(gè)匹配模型。對(duì)比算法為基于傳統(tǒng)框架的GMS、AdaLAM和基于深度學(xué)習(xí)的SuperGlue、OANet、CLNet，均無(wú)法估計(jì)匹配模型。實(shí)驗(yàn)?zāi)康臑轵?yàn)證包含多匹配模型的圖像應(yīng)用IREM方法或?qū)Ρ人惴ê笃ヅ鋵?duì)集合的錯(cuò)誤匹配對(duì)占比。IREM和GMS、AdaLAM、OANet、CLNet算法皆利用SIFT算法提取特征點(diǎn)，SuperGlue算法利用SuperPoint算法提取特征點(diǎn)。GMS算法將圖片劃分為20×20個(gè)不重疊的網(wǎng)格，單個(gè)網(wǎng)格代表局部區(qū)域，以每個(gè)網(wǎng)格進(jìn)行錯(cuò)誤匹配對(duì)過(guò)濾，但當(dāng)圖像間視角差異較大、縮放明顯時(shí)，單個(gè)網(wǎng)格無(wú)法代表局部區(qū)域。SuperGlue算法將自注意力和交叉注意力嵌入到圖神經(jīng)網(wǎng)絡(luò)中，可以兼顧全局和局部過(guò)濾。AdaLAM算法依賴distance ratio選擇正確匹配對(duì)。OANet算法以學(xué)習(xí)的方式捕獲無(wú)序稀疏匹配對(duì)的局部上下文信息并對(duì)其進(jìn)行聚類，然后將聚類結(jié)果在空間上進(jìn)行關(guān)聯(lián)以形成全局上下文信息，根據(jù)全局和局部上下文信息過(guò)濾錯(cuò)誤匹配對(duì)。CLNet算法構(gòu)建局部到全局的動(dòng)態(tài)圖，根據(jù)局部和全局一致性分?jǐn)?shù)過(guò)濾錯(cuò)誤匹配對(duì)。IREM方法自適應(yīng)確定局部區(qū)域，根據(jù)匹配點(diǎn)的分布一致性和匹配點(diǎn)位置變化矢量的方向一致性對(duì)錯(cuò)誤匹配對(duì)進(jìn)行過(guò)濾。圖15為實(shí)驗(yàn)結(jié)果，可以看出IREM方法的殘留外點(diǎn)率最低，AdaLAM和CLNet算法效果明顯優(yōu)于GMS、SuperGlue和OANet算法。IREM算法的殘留外點(diǎn)率與AdaLAM算法相比降低了61.13%，與SuperGlue算法相比降低了83.56%，與CLNet算法相比降低了71.09%。

綜上所述，從匹配點(diǎn)間近鄰關(guān)系上分析，IREM方法可以有效保留匹配點(diǎn)間的近鄰關(guān)系，濾除近鄰關(guān)系不一致的匹配點(diǎn)。從匹配召回率、內(nèi)點(diǎn)率和外點(diǎn)殘留率指標(biāo)進(jìn)行分析，本文IREM方法的錯(cuò)誤匹配對(duì)剔除率較高，匹配性能更穩(wěn)定。

2.2 干擾點(diǎn)去除實(shí)驗(yàn)

在Adelaidermf數(shù)據(jù)集中選取兩組圖像進(jìn)行展示，boardgame是相同視角下多個(gè)物體的不同擺放，unihouse圖像有視角差異。本文DIPR方法多次迭代估計(jì)局部近鄰區(qū)域的匹配模型及其相應(yīng)的內(nèi)點(diǎn)集，統(tǒng)計(jì)各匹配點(diǎn)所屬的內(nèi)點(diǎn)集重心，進(jìn)而得到匹配點(diǎn)所屬的所有內(nèi)點(diǎn)集重心之間的距離標(biāo)準(zhǔn)差和內(nèi)點(diǎn)集重心相對(duì)于圖像左上角的角度標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差反映數(shù)據(jù)的離散程度，根據(jù)兩者所形成的二維點(diǎn)，反映各匹配點(diǎn)在迭代過(guò)程中所屬內(nèi)點(diǎn)集的變化。聚集的二維點(diǎn)在距離標(biāo)準(zhǔn)差和角度標(biāo)準(zhǔn)差方面更相似，因此所對(duì)應(yīng)的匹配點(diǎn)是非干擾點(diǎn)的可能性更大。圖16中橫坐標(biāo)為各匹配點(diǎn)所屬的所有內(nèi)點(diǎn)集重心的距離標(biāo)準(zhǔn)差，縱坐標(biāo)為各匹配點(diǎn)所屬的所有內(nèi)點(diǎn)集重心相對(duì)于圖像左上角的角度標(biāo)準(zhǔn)差。每組圖像中圖（i）為二維點(diǎn)展示圖，圖（ii）為Delaunay三角剖分的效果展示圖，圖（iii）為經(jīng)本文所提方法處理后保留的二維點(diǎn)展示圖，圖（iv）為去除的干擾點(diǎn)的二維點(diǎn)展示圖，圖（v）為干擾點(diǎn)去除結(jié)果，黑色點(diǎn)是干擾點(diǎn)，黃色點(diǎn)是去除干擾點(diǎn)后的匹配點(diǎn)（參見電子版）。

圖17展示其中兩組圖像有無(wú)干擾點(diǎn)去除步驟的聚集效果。sene圖像中左右兩個(gè)模型平面交界處的匹配對(duì)若存在，則其在后續(xù)聚集中可能屬于左邊的模型平面，也可能屬于右邊的模型平面；unihouse圖像中存在梯狀模型平面，各梯狀模型平面交界處的匹配對(duì)在后續(xù)聚集中可能屬于其他模型平面。本文DIPR方法將不同模型平面的匹配點(diǎn)動(dòng)態(tài)移動(dòng)，使不同模型平面內(nèi)匹配點(diǎn)更加聚集，進(jìn)而估計(jì)圖像間存在的多個(gè)匹配模型，但干擾點(diǎn)的存在影響后續(xù)的多模型估計(jì)過(guò)程。通過(guò)圖16、17可以看出，本文DIPR方法可以有效去除圖像中可能屬于多個(gè)匹配模型的匹配對(duì)，進(jìn)而緩解同平面點(diǎn)聚集中干擾點(diǎn)的干擾。

2.3 多匹配模型估計(jì)的對(duì)比實(shí)驗(yàn)

AdaLAM、GMS和SuperGlue等算法可以找到圖像間多個(gè)匹配模型的大部分內(nèi)點(diǎn)，但無(wú)法對(duì)模型進(jìn)行估計(jì)。PEARL、MCT、CONSAC和Sequential RANSAC等算法可以進(jìn)行圖像多匹配估計(jì)。Adelaidermf數(shù)據(jù)集中19對(duì)圖像是多個(gè)或單個(gè)物體在不同視角下的室內(nèi)圖像，另外19對(duì)圖像是不同建筑物的寬基線室外圖像?，F(xiàn)有圖像多匹配模型估計(jì)算法的多模型匹配對(duì)錯(cuò)分問(wèn)題出現(xiàn)在寬基線圖像，因此本文選取Adelaidermf數(shù)據(jù)集內(nèi)的19對(duì)寬基線室外圖像進(jìn)行對(duì)比實(shí)驗(yàn)。

圖18為同模型點(diǎn)聚集效果圖，可以看出AGSM方法可以提高同一模型平面匹配點(diǎn)的聚集程度。圖19為Adelaidermf數(shù)據(jù)集中6組圖像的不同匹配模型內(nèi)點(diǎn)的效果，不同顏色匹配點(diǎn)為不同模型內(nèi)點(diǎn)，可以看出AMPSM算法可以有效估計(jì)圖像多匹配模型及其內(nèi)點(diǎn)集。

圖20為Adelaidermf數(shù)據(jù)集中19組圖像的不同多模型估計(jì)算法的平均運(yùn)行時(shí)間。文獻(xiàn)［18］通過(guò)PROSAC進(jìn)行采樣，利用MAGSAC++計(jì)算多個(gè)匹配模型，然后采用T-linkage算法將模型到模型的殘差作為偏好向量的tanimoto距離，并在偏好向量的域中使用DBSCAN算法找到聚類以尋找相似的匹配模型，然后利用MAGSAC++計(jì)算相似匹配模型的內(nèi)點(diǎn)集所符合的一個(gè)匹配模型。運(yùn)行過(guò)程中尋找相似匹配模型及模型估計(jì)交叉迭代進(jìn)行。Multi-X和PEARL算法通過(guò)最小能量函數(shù)聚集相同平面的匹配對(duì)，然后利用Mean Shift算法和α-expansion計(jì)算圖像多匹配模型。T-linkage算法使用基于匹配對(duì)殘差的偏好分析進(jìn)行圖像多匹配模型估計(jì)。Progressive-X算法通過(guò)迭代估計(jì)候選模型和候選模型優(yōu)化以估計(jì)圖像多匹配模型。

本文AMPSM算法在干擾點(diǎn)去除過(guò)程中通過(guò)多次迭代隨機(jī)抽取近鄰區(qū)域匹配對(duì)估計(jì)匹配模型，并回代以驗(yàn)證該模型是否為局部最優(yōu)匹配模型，然后計(jì)算符合局部最優(yōu)模型的內(nèi)點(diǎn)集，根據(jù)多次迭代后每個(gè)匹配對(duì)的動(dòng)態(tài)分布特征（匹配對(duì)所屬內(nèi)點(diǎn)集的平均距離及其與圖像左上角的角度）去除干擾點(diǎn)，最后聚集同模型內(nèi)點(diǎn)集，并使用基于高斯核的Mean Shift算法和RANSAC算法計(jì)算多匹配模型。上述步驟需要多次迭代得到每個(gè)匹配對(duì)的動(dòng)態(tài)分布特征以去除干擾點(diǎn)，因此AMPSM方法的運(yùn)行時(shí)間較長(zhǎng)，處于中等水平。

圖21為Adelaidermf數(shù)據(jù)集中19對(duì)室外圖像的多模型估計(jì)錯(cuò)分率，表2為不同方法匹配點(diǎn)模型錯(cuò)分率的對(duì)比結(jié)果，即模型估計(jì)中錯(cuò)分的匹配點(diǎn)所占的比例，包括平均錯(cuò)分率和平均錯(cuò)分標(biāo)準(zhǔn)差。部分?jǐn)?shù)據(jù)來(lái)源于Florian Kluger關(guān)于CONSAC的論文?？梢钥闯?，由于建筑景物的各模型平面的變化相近，bonhall、elderhalla等圖像間的多匹配模型估計(jì)相對(duì)較難，反之建筑景物的各模型平面的變化不相近，導(dǎo)致其余圖像間的多匹配模型估計(jì)相對(duì)簡(jiǎn)單。通過(guò)圖21可以看出，AMPSM算法與CONSAC效果較為接近，且這兩個(gè)算法的多模型估計(jì)錯(cuò)分率低于其他四個(gè)算法。通過(guò)表2可以看出，AMPSM算法與CONSAC相比平均錯(cuò)分率有效降低45.50%以上，與文獻(xiàn)［18］相比平均錯(cuò)分率有效降低8.39%。在模型平均錯(cuò)分標(biāo)準(zhǔn)差上可以看出，本文AMPSM算法位于第二，說(shuō)明AMPSM算法有穩(wěn)定的效果。

3 結(jié)束語(yǔ)

為降低多匹配模型錯(cuò)分率，提出了一種基于同模型匹配點(diǎn)聚集的圖像多匹配模型估計(jì)算法（AMPSM）。該方法分為三步，分別對(duì)應(yīng)本文提出的三個(gè)創(chuàng)新點(diǎn)。首先，為了提升匹配對(duì)集合的內(nèi)點(diǎn)率，提出了一種基于近鄰區(qū)域匹配點(diǎn)同分布的內(nèi)點(diǎn)率提升方法；然后，為了提高多匹配模型估計(jì)的精度，定義了干擾點(diǎn)并提出了一種基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除方法；最后，為了提高同模型匹配對(duì)的聚集程度并估計(jì)多匹配模型，提出了一種基于同模型匹配點(diǎn)聚集的多模型估計(jì)方法。將所提算法與RANSAC、PROSAC、MAGSAC++、GMS、SuperGlue、AdaLAM、OANet、CLNet、PREAL、MCT、Sequential RANSAC以及CONSAC等算法進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明所提算法的內(nèi)點(diǎn)率提升30%以上，殘留外點(diǎn)率降低61%以上，多模型估計(jì)的錯(cuò)分率降低8.39%以上。本文所提的基于匹配點(diǎn)動(dòng)態(tài)抽樣分布特征的干擾點(diǎn)去除方法通過(guò)多次迭代統(tǒng)計(jì)各匹配對(duì)的分布特征，運(yùn)行時(shí)間較長(zhǎng)，且本文算法為基于傳統(tǒng)框架的圖像多匹配模型估計(jì)算法。今后將圍繞該問(wèn)題且在本文方法的基礎(chǔ)上引入圖神經(jīng)網(wǎng)絡(luò)開展后續(xù)的研究。

參考文獻(xiàn)：

［1］陳素雅， 何宏. 基于特征點(diǎn)動(dòng)態(tài)選擇的三維人臉點(diǎn)云模型重建［J］. 計(jì)算機(jī)應(yīng)用研究， 2024， 41（2）： 629-634. （Chen Suya， He Hong. 3D face point cloud model reconstruction based on dynamic selection of feature points［J］. Application Research of Computers， 2024， 41（2）： 629-634.）

［2］Bian Jiawang， Lin Wenyan， Liu Yun， et al. GMS： grid-based motion statistics for fast， ultra-robust feature correspondence［J］. International Journal of Computer Vision， 2020， 128（6）： 1580-1593.

［3］Sun Weiwei， Jiang Wei， Trulls E， et al. ACNe： attentive context normalization for robust permutation-equivariant Learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 11283-11292.

［4］Zhang Jiahui， Sun Dawei， Luo Zixin， et al. OANet： learning two-view correspondences and geometry using order-aware network［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2022， 44（6）： 3110-3122.

［5］Sarlin P E， DeTone D， Malisiewicz T， et al. SuperGlue： learning feature matching with graph neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 4937-4946.

［6］Zhao Chen， Ge Yixiao， Zhu Feng， et al. Progressive correspondence pruning by consensus learning［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 6444-6453.

［7］Fischler M A， Bolles R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated carto-graphy［J］. Communications of the ACM， 1981， 24（6）： 381-395.

［8］Chum O， Matas J. Matching with PROSAC-progressive sample consensus［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2005： 220-226.

［9］Barath D， Ivashechkin M， Matas J. Progressive NAPSAC： sampling from gradually growing neighborhoods［EB/OL］. （2019-06-05）［2023-12-04］. https：//arxiv.org/abs/1906.02295.

［10］Barath D， Noskova J， Ivashechkin M， et al. MAGSAC++， a fast， reliable and accurate robust estimator［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 1301-1309.［11］Brachmann E， Rother C. Neural-Guided RANSAC： learning where to sample model hypotheses［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 4321-4330.

［12］Tong Wei， Matas J， Barath D. Deep MAGSAC++［EB/OL］. （2022-03-11）［2023-12-04］. https：//arxiv.org/abs/2111.14093.

［13］Park Y H， Kwon O S. Multiple homographies estimation using a guided sequential RANSAC［J］. The Journal of the Korea Contents Association， 2010， 10（7）： 10-22.

［14］Isack H， Boykov Y. Energy-based geometric multimodel fitting［J］. International Journal of Computer Vision， 2012， 97（2）： 123-147.

［15］Barath D， Matas J. Multi-class model fitting by energy minimization and mode-seeking［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 229-245.

［16］Magri L， Fusiello A. Fitting multiple heterogeneous models by multi-class cascaded T-linkage［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 7452-7460.

［17］Kluger F， Brachmann E， Ackermann H， et al. CONSAC： robust multi-model fitting by conditional sample consensus［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 4633-4642.

［18］Barath D， Rozumnyi D， Eichhardt I， et al. Finding geometric models by clustering in the consensus space［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 5414-5424.

［19］Cavalli L， Larsson V， Oswald M R， et al. AdaLAM： revisiting handcrafted outlier detection［EB/OL］. （2020-06-07）［2023-12-04］. https：//arxiv.org/abs/2006.04250.

［20］Comaniciu D， Meer P. Mean shift： a robust approach toward feature space analysis［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2002， 24（5）： 603-619.

［21］張曉聞， 任勇峰. 結(jié)合稀疏表示與拓?fù)湎嗨菩缘膱D像匹配算法［J］. 計(jì)算機(jī)工程與應(yīng)用， 2021， 57（8）： 198-203. （Zhang Xiaowen， Ren Yongfeng. Image matching algorithm combining spare representation and topological similarity［J］. Computer Engineering and Applications， 2021， 57（8）： 198-203.）

［22］魏若巖， 王俊峰， 朱曉慶. 基于圖像匹配點(diǎn)全局拓?fù)浞植嫉膬?nèi)點(diǎn)率提升算法［J］. 激光與光電子學(xué)進(jìn)展， 2022， 59（10）： 169-182. （Wei Ruoyan， Wang Junfeng， Zhu Xiaoqing. Inliers ratio promotion algorithm based on global topological distribution of image matching points［J］. Laser & Optoelectronics Progress， 2022， 59（10）： 169-182.）

［23］甄國(guó)涌， 劉慧芳， 儲(chǔ)成群. 基于局部保持匹配的改進(jìn)圖像匹配算法［J］. 激光雜志， 2022， 43（2）： 82-88. （Zhen Guoyong， Liu Huifang， Chu Chengqun. Improved image matching algorithm based on locality preserving matching［J］. Laser Journal， 2022， 43（2）： 82-88.）

［24］魏若巖， 霍思園， 朱曉慶. 圖像非剛體匹配的多模型估計(jì)算法設(shè)計(jì)與實(shí)現(xiàn)［J］. 激光與光電子學(xué)進(jìn)展， 2022， 59（12）： 407-419. （Wei Ruoyan， Huo Siyuan， Zhu Xiaoqing. Design and implementation of multimodel estimation algorithm for nonrigid matching images［J］. Laser & Optoelectronics Progress， 2022， 59（12）： 407-419.）

［25］Rocco I， Cimpoi M， Arandjelovic＇ R， et al. NCNet： neighbourhood consensus networks for estimating image correspondences［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2022， 44（2）： 1020-1034.

［26］Barath D， Matas J. Progressive-X： efficient， anytime， multi-model fitting algorithm［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 3780-3788.

［27］Barath D， Rozumny D， Eichhardt I， et al. Progressive-X+： clustering in the consensus space［EB/OL］. （2023-04-17）［2023-12-04］. https：//arxiv.org/abs/2103.13875v1.

［28］Lowe D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

［29］Zhao Muhan， Alimo S R， Beyhaghi P， et al. Delaunay-based derivative-free optimization via global surrogates with safe and exact function evaluations［C］//Proc of the 58th IEEE Conference on Decision and Control. Piscataway， NJ： IEEE Press， 2019： 4636-4641.

［30］Favreau J D， Lafarge F， Bousseau A， et al. Extracting geometric structures in images with Delaunay point processes［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020， 42（4）： 837-850.

［31］Affine covariant features［EB/OL］. （2007-07-15）［2023-12-04］. https：//www.robots.ox.ac.uk/～vgg/research/affine.

［32］Acute3D Aiguille du Midi MVS［EB/OL］.［2023-12-04］. http：//certis.enpc.fr/demos/stereo/Data/Aiguille/index.html.

［33］Executive Dean， Faculty of Sciences， Engineering and Technology. AdelaideRMF［EB/OL］. （2023-09-07）［2023-12-04］. https：//set.adelaide.edu.au/computer-and-mathematical-sci ences/.