面向城區(qū)寬基線立體像對視角變化的結(jié)構(gòu)自適應(yīng)特征點(diǎn)匹配

陳 敏，朱 慶，何海清，嚴(yán)少華，趙怡濤

1. 西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756； 2. 東華理工大學(xué)測繪工程學(xué)院，江西 南昌 330013

影像匹配是遙感影像處理與應(yīng)用的關(guān)鍵步驟之一。經(jīng)過數(shù)十年的發(fā)展，研究人員提出了許多適用于不同類型影像的匹配方法[1-5]?，F(xiàn)有影像匹配方法大體上可分為兩類：基于灰度的匹配方法和基于特征的匹配方法[6-7]?；诨叶鹊钠ヅ浞椒軌颢@得亞像素級精度，但對影像灰度變化和幾何變形比較敏感[8]。相對而言，基于特征的匹配方法能夠較好地克服基于灰度的匹配方法對影像灰度變化和幾何變形穩(wěn)健性不足的問題。隨著SIFT(scale invariant feature transform)算法[9]的成功，基于特征的匹配方法受到了越來越多的關(guān)注[10-11]。

針對影像視角變化，研究人員通過模擬影像仿射或投影空間，并在模擬空間進(jìn)行特征匹配，獲得了較好的匹配結(jié)果[12]。但這類方法時(shí)間效率較低，在實(shí)際應(yīng)用中受到限制。在攝影測量領(lǐng)域，高精度POS(position and orientation system)數(shù)據(jù)通常被用來輔助大視角變化影像(如傾斜影像)的匹配，即利用POS信息對影像進(jìn)行粗糾正，整體上降低影像幾何變形的影響，再采用傳統(tǒng)方法進(jìn)行特征點(diǎn)匹配[13-17]。這類方法能夠在一定程度上改善影像匹配的效果，但全局變換難以準(zhǔn)確描述影像之間的局部幾何變形。針對這個(gè)問題，將整幅影像分成多個(gè)子區(qū)域，分別對子區(qū)域進(jìn)行特征點(diǎn)檢測和匹配，可以克服全局影像幾何糾正的不足，增加匹配點(diǎn)的數(shù)量[18-19]。對于無高精度POS數(shù)據(jù)的情況，可通過初匹配獲取一定數(shù)量的匹配點(diǎn)來估計(jì)立體像對之間的幾何變換模型，進(jìn)而對影像進(jìn)行粗糾正[19-21]?；谟跋翊旨m正的方法雖然能夠改善影像匹配效果，但仍然存在以下問題：①影像糾正只能在一定程度上緩解平面場景的幾何變形，城區(qū)影像由于存在顯著的遮擋問題，對于位于視差不連續(xù)處的特征點(diǎn)(如建筑物角點(diǎn)或邊緣附近的特征點(diǎn))，無論經(jīng)過影像全局幾何糾正還是分區(qū)域處理，都難以在同名點(diǎn)之間獲得影像內(nèi)容一致的特征區(qū)域，進(jìn)而產(chǎn)生錯(cuò)誤匹配；②通過影像初匹配進(jìn)行幾何糾正的方法依賴于初始匹配結(jié)果，對于存在大視角變化的城區(qū)寬基線影像，現(xiàn)有方法難以獲得可靠的初匹配結(jié)果，導(dǎo)致最終匹配結(jié)果不可靠。

為此，本文面向無高精度POS信息的城區(qū)寬基線影像，針對傳統(tǒng)方法為同名點(diǎn)計(jì)算的特征區(qū)域影像內(nèi)容不一致，導(dǎo)致同名點(diǎn)特征描述符相似度低、匹配失敗的問題，充分挖掘特征點(diǎn)鄰域幾何結(jié)構(gòu)信息，提出結(jié)構(gòu)自適應(yīng)的特征區(qū)域計(jì)算方法，在不同視角情況下獲得影像內(nèi)容一致性的同名特征區(qū)域和相似特征描述符，并設(shè)計(jì)可靠的特征點(diǎn)匹配算法，提高正確匹配點(diǎn)對的數(shù)量和匹配正確率。

1 本文方法

城區(qū)影像場景多為人工建筑物，能夠提取大量的點(diǎn)特征和直線特征。本文方法通過挖掘點(diǎn)特征與直線特征之間的幾何關(guān)系來實(shí)現(xiàn)城區(qū)寬基線影像特征點(diǎn)匹配：首先，對立體像對提取點(diǎn)特征和直線特征，利用特征點(diǎn)鄰域內(nèi)的直線特征表達(dá)特征點(diǎn)的幾何結(jié)構(gòu)方向信息，為特征點(diǎn)計(jì)算結(jié)構(gòu)自適應(yīng)的不變特征區(qū)域和特征描述符，通過雙向匹配策略獲取可靠的初匹配點(diǎn)，并估計(jì)立體像對核線幾何關(guān)系；其次，針對部分特征點(diǎn)難以僅利用幾何結(jié)構(gòu)方向信息構(gòu)建視角不變特征區(qū)域的問題，聯(lián)合特征點(diǎn)幾何結(jié)構(gòu)方向信息和核線幾何約束，構(gòu)建視角不變特征區(qū)域進(jìn)行特征匹配；最后，設(shè)計(jì)特征匹配擴(kuò)展算法增加匹配點(diǎn)數(shù)量，提高特征匹配率，并通過RANSAC(random sample consensus)算法[22]剔除錯(cuò)誤匹配。本文方法的整體流程如圖1所示，其中斜體標(biāo)記步驟為本文方法的關(guān)鍵步驟。

圖1 本文方法整體流程Fig.1 Flow chart of the proposed method

1.1 結(jié)構(gòu)自適應(yīng)特征點(diǎn)雙向匹配

結(jié)構(gòu)自適應(yīng)的特征點(diǎn)雙向匹配是本文方法的初匹配步驟，目的是獲取一定數(shù)量的匹配點(diǎn)并估計(jì)立體像對核線幾何關(guān)系，其算法流程如圖2所示。

圖2 結(jié)構(gòu)自適應(yīng)特征點(diǎn)雙向匹配流程Fig.2 Flow chart of the structure adaptive bidirectional feature point matching method

具體匹配方法如下：

(1) 利用直線特征表達(dá)特征點(diǎn)的幾何結(jié)構(gòu)方向信息。如圖3所示，以特征點(diǎn)pi為中心，確定大小為m×m的局部鄰域Ri，提取與Ri相交的非平行直線特征。以特征點(diǎn)為原點(diǎn)，以與直線特征平行的方向向量表示該特征點(diǎn)的幾何結(jié)構(gòu)方向。在每個(gè)方向上，以鄰域內(nèi)與該方向一致且最長的直線特征的長度，作為該幾何結(jié)構(gòu)方向的向量長度。

(2) 挖掘幾何結(jié)構(gòu)方向信息構(gòu)建特征點(diǎn)支撐區(qū)域。根據(jù)幾何結(jié)構(gòu)方向數(shù)量差異，將特征點(diǎn)分以下3種情況進(jìn)行處理：

1) 如果特征點(diǎn)具有3個(gè)及以上幾何結(jié)構(gòu)方向，對其中任意兩個(gè)滿足夾角α∈[θ,π-θ]的幾何結(jié)構(gòu)方向，分別在對應(yīng)的幾何結(jié)構(gòu)方向上尋找顯著點(diǎn)。其中，在每個(gè)方向上尋找顯著點(diǎn)的方法如圖4所示[23]。圖4中，pi為特征點(diǎn)，Oi表示pi的一個(gè)幾何結(jié)構(gòu)方向，為Oi確定一個(gè)長度為|Oi|+S，寬度為2S的向量支撐區(qū)域(其中，|Oi|表示向量Oi的模，參數(shù)S用于控制向量支撐區(qū)域的尺寸)。如果向量支撐區(qū)域內(nèi)存在直線特征且與該幾何結(jié)構(gòu)方向的交點(diǎn)也位于向量支撐區(qū)域內(nèi)，則認(rèn)為該交點(diǎn)是該幾何結(jié)構(gòu)方向上的一個(gè)顯著點(diǎn)。由兩個(gè)方向上的顯著點(diǎn)與特征點(diǎn)構(gòu)成平行四邊形區(qū)域，即為特征點(diǎn)支撐區(qū)域(圖5(a))。如果在一個(gè)幾何結(jié)構(gòu)方向上存在多個(gè)顯著點(diǎn)，則每個(gè)顯著點(diǎn)分別用于構(gòu)建特征點(diǎn)支撐區(qū)域，得到多個(gè)支撐區(qū)域。

2) 如果特征點(diǎn)具有兩個(gè)幾何結(jié)構(gòu)方向，首先沿各個(gè)方向?qū)ふ绎@著點(diǎn)，然后以特征點(diǎn)為中心，在幾何結(jié)構(gòu)方向的反方向確定對稱點(diǎn)作為虛擬顯著點(diǎn)，最后分別由顯著點(diǎn)、虛擬顯著點(diǎn)和特征點(diǎn)確定支撐區(qū)域(圖5(b))。

3) 如果特征點(diǎn)少于兩個(gè)幾何結(jié)構(gòu)方向，則無法利用上述方法構(gòu)建視角不變支撐區(qū)域。后續(xù)1.3節(jié)的特征點(diǎn)匹配擴(kuò)展步驟將對這類特征點(diǎn)進(jìn)行處理。

圖4 幾何結(jié)構(gòu)方向顯著點(diǎn)的確定Fig.4 Stable point determination on astructure orientation

圖5所示為構(gòu)建特征點(diǎn)支撐區(qū)域示意圖。圖5(a)所示為特征點(diǎn)具有3個(gè)幾何結(jié)構(gòu)方向的情況，由于O1的向量支撐區(qū)域內(nèi)沒有直線特征，即該方向上沒有顯著點(diǎn)，因此無法與其他幾何結(jié)構(gòu)方向一起構(gòu)建特征點(diǎn)支撐區(qū)域。O2和O3的向量支撐區(qū)域內(nèi)分別存在直線特征且交點(diǎn)也位于向量支撐區(qū)域內(nèi)，因此可以在O2和O3所夾范圍內(nèi)確定一個(gè)特征點(diǎn)支撐區(qū)域(藍(lán)色虛線標(biāo)記區(qū)域)。圖5(b)所示為特征點(diǎn)具有兩個(gè)幾何結(jié)構(gòu)方向的情況，獲得顯著點(diǎn)p1和p2以后，分別在幾何結(jié)構(gòu)方向的反方向確定對稱點(diǎn)q1和q2作為虛擬顯著點(diǎn)，形成兩個(gè)特征點(diǎn)支撐區(qū)域(橙色和藍(lán)色虛線標(biāo)記區(qū)域)。分別由顯著點(diǎn)和虛擬顯著點(diǎn)確定特征點(diǎn)支撐區(qū)域可以保證當(dāng)特征點(diǎn)位于視差不連續(xù)區(qū)域時(shí)至少有一個(gè)支撐區(qū)域具備視角不變性。在圖5(b)所示情況中，顯著點(diǎn)確定的支撐區(qū)域(橙色虛線標(biāo)記區(qū)域)的影像內(nèi)容不具備視角不變性，而虛擬顯著點(diǎn)確定的支撐區(qū)域(藍(lán)色虛線標(biāo)記區(qū)域)的影像內(nèi)容具備視角不變性。

圖3 特征點(diǎn)幾何結(jié)構(gòu)方向的表達(dá)Fig.3 Interest point structure orientation

圖5 特征點(diǎn)支撐區(qū)域Fig.5 Interest point support region

(3) 基于特征點(diǎn)支撐區(qū)域計(jì)算特征區(qū)域和特征描述符。如果一個(gè)特征點(diǎn)存在多個(gè)支撐區(qū)域，將該特征點(diǎn)視作多個(gè)不同的特征點(diǎn)分別分配一個(gè)支撐區(qū)域。將平行四邊形支撐區(qū)域歸一化得到正方形特征區(qū)域。在支撐區(qū)域歸一化時(shí)，為所有特征點(diǎn)設(shè)置相同的特征區(qū)域尺寸Tr×Tr，并分別將支撐區(qū)域中特征點(diǎn)及其對角線頂點(diǎn)映射到正方形特征區(qū)域的左下角和右上角頂點(diǎn)。由支撐區(qū)域與特征區(qū)域4個(gè)頂點(diǎn)的對應(yīng)關(guān)系計(jì)算單應(yīng)性矩陣進(jìn)行特征區(qū)域歸一化。將特征區(qū)域劃分為16個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算8個(gè)方向的梯度方向直方圖，得到128維特征描述符。最后，對特征描述符進(jìn)行歸一化處理，提高特征描述符對影像光照變化的穩(wěn)健性[9]。

通過本文提出的特征區(qū)域歸一化處理，一方面可以避免建筑物同一頂(側(cè))面上不同位置的角點(diǎn)因?yàn)閷?yīng)于同一個(gè)支撐區(qū)域而產(chǎn)生錯(cuò)誤匹配，另一方面能夠消除影像旋轉(zhuǎn)變化的影響。如圖6所示，特征點(diǎn)p1和p2雖然支撐區(qū)域相同，但是經(jīng)過本文方法得到的特征區(qū)域和特征描述符具有較強(qiáng)的可區(qū)分性，能夠避免錯(cuò)誤匹配。雖然特征點(diǎn)p1和p3所在的影像存在旋轉(zhuǎn)變化，但是本文提出的特征區(qū)域歸一化方法能夠消除影像旋轉(zhuǎn)變化，得到相似的特征區(qū)域和特征描述符，提高特征匹配率。

圖6 特征區(qū)域和特征描述符計(jì)算過程Fig.6 Feature region and descriptor computation

(4) 利用雙向的NNDR(nearest neighbor distance ratio)匹配策略[24]進(jìn)行特征點(diǎn)匹配，并結(jié)合RANSAC算法剔除錯(cuò)誤匹配，得到初匹配集合MSet1和基礎(chǔ)矩陣F。

雖然初匹配能夠正確匹配部分特征點(diǎn)，但是該方法只對滿足以下條件的特征點(diǎn)有效：特征點(diǎn)具有至少兩個(gè)滿足夾角約束條件并且能夠獲得顯著點(diǎn)(圖4所示方法)的幾何結(jié)構(gòu)方向。該條件導(dǎo)致初匹配步驟獲得的匹配點(diǎn)數(shù)量有限。為了提高匹配點(diǎn)數(shù)量，本文方法在初匹配之后分別設(shè)計(jì)雙重核線約束的結(jié)構(gòu)自適應(yīng)特征點(diǎn)匹配(1.2節(jié))和特征點(diǎn)匹配擴(kuò)展(1.3節(jié))算法。前者用于處理具有兩個(gè)及兩個(gè)以上幾何結(jié)構(gòu)方向的未匹配特征點(diǎn)；后者用于處理經(jīng)過前面兩個(gè)匹配步驟仍然未匹配成功的特征點(diǎn)。

1.2 雙重核線約束的結(jié)構(gòu)自適應(yīng)特征點(diǎn)匹配

(1)

圖7 核線約束的特征點(diǎn)支撐區(qū)域Fig.7 Feature support region computation based on epipolar geometric constraint

獲得參考影像特征點(diǎn)及其候選同名特征點(diǎn)的支撐區(qū)域以后，采用1.1節(jié)提出的方法計(jì)算特征區(qū)域和特征描述符，并基于NNDR匹配策略[25]得到特征點(diǎn)匹配集合MSet2。

1.3 特征點(diǎn)匹配擴(kuò)展

根據(jù)特征點(diǎn)是否位于某個(gè)已匹配的特征點(diǎn)支撐區(qū)域內(nèi)，將未匹配的特征點(diǎn)分成兩類(第1類：是；第2類：否)，并分別進(jìn)行匹配：

1.3.1 結(jié)合幾何約束和特征描述符相似性匹配第1類特征點(diǎn)

在幾何約束方面，如圖8所示，假設(shè)(pi,qi)為一對已匹配的特征點(diǎn)，圖中實(shí)線平行四邊形區(qū)域?yàn)槠渲螀^(qū)域。X為參考影像上位于點(diǎn)pi支撐區(qū)域內(nèi)的一個(gè)未匹配特征點(diǎn)，由搜索影像上所有位于特征點(diǎn)qi支撐區(qū)域內(nèi)的未匹配特征點(diǎn)構(gòu)成X的候選匹配點(diǎn)集合CX。由于特征點(diǎn)支撐區(qū)域是基于直線特征確定的局部區(qū)域，可以近似為平面區(qū)域。由仿射幾何可知，如果特征點(diǎn)X與特征點(diǎn)Y∈CX為一對同名點(diǎn)，則|XA|/|XB|=|YE|/|YF|，且|XC|/|XD|=|YG|/|YH|。其中，點(diǎn)A、B、C、D分別為過特征點(diǎn)X且與點(diǎn)pi的支撐區(qū)域的邊平行的直線與點(diǎn)pi的支撐區(qū)域的交點(diǎn)；點(diǎn)E、F、G、H分別為過特征點(diǎn)Y且與點(diǎn)qi的支撐區(qū)域的邊平行的直線與點(diǎn)qi的支撐區(qū)域的交點(diǎn)。

圖8 第1類未匹配特征點(diǎn)匹配擴(kuò)展Fig.8 The matching expansion for the unmatched point in the first class

計(jì)算特征描述符時(shí)，首先，根據(jù)X在pi的支撐區(qū)域中的位置確定X的支撐區(qū)域：如果|XA|≤|XB|，則點(diǎn)B被視作一個(gè)顯著點(diǎn)，否則點(diǎn)A被視作顯著點(diǎn)；如果|XC|≤|XD|，則點(diǎn)D被視作第2個(gè)顯著點(diǎn)，否則點(diǎn)C被視作第2個(gè)顯著點(diǎn)。由點(diǎn)X與兩個(gè)顯著點(diǎn)共同確定特征點(diǎn)X的支撐區(qū)域；然后，根據(jù)顯著點(diǎn)的對應(yīng)關(guān)系(A→E、B→F、C→G和D→H)，確定候選匹配點(diǎn)對應(yīng)的顯著點(diǎn)及支撐區(qū)域；最后，采用1.1節(jié)所述方法計(jì)算特征點(diǎn)X及其候選匹配點(diǎn)的特征區(qū)域和特征描述符。

按式(2)計(jì)算參考影像特征點(diǎn)與所有候選同名特征點(diǎn)的相似性度量值sim(X,Y)，并尋找最相似的候選匹配點(diǎn)，如果其相似性度量值大于閾值Tsim，則認(rèn)為該特征點(diǎn)與參考特征點(diǎn)為一對匹配點(diǎn)。完成第1類特征點(diǎn)匹配以后，得到匹配集合MSet3。

sim(X,Y)=

(2)

式中，τ為仿射不變量閾值；DescX和DescY分別為特征點(diǎn)X及其候選匹配點(diǎn)Y的特征描述符。

1.3.2 基于單應(yīng)變換匹配第2類特征點(diǎn)

首先，基于前面所有匹配結(jié)果{MSeti,i=1,2,3}估計(jì)影像之間的單應(yīng)矩陣H；然后，為參考影像上所有第2類未匹配特征點(diǎn)確定以特征點(diǎn)為中心的正方形特征區(qū)域，基于單應(yīng)變換為搜索影像上所有第2類未匹配特征點(diǎn)確定以特征點(diǎn)為中心的四邊形特征區(qū)域，并將四邊形特征區(qū)域歸一化為正方形區(qū)域；最后，計(jì)算所有未匹配特征點(diǎn)的特征描述符，并在核線約束下通過NNDR匹配策略得到匹配集合MSet4。利用RANSAC算法對所有匹配結(jié)果{MSeti,i=1,…,4}剔除錯(cuò)誤匹配，得到最終匹配結(jié)果。

2 試驗(yàn)及結(jié)果分析

2.1 試驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文算法的有效性，分別采用6對典型的局部影像塊、一組原始大小的三視航空傾斜影像和一組原始大小的三視無人機(jī)影像進(jìn)行特征點(diǎn)匹配試驗(yàn)。如圖9所示：(a)和(b)所示分別為平房和廣場區(qū)域傾斜像對，其中參考影像為下視影像，搜索影像為斜視影像；(c)所示為無人機(jī)影像對；(d)—(f)所示均為傾斜影像，其中(d)和(e)中參考影像為下視影像，搜索影像為斜視影像，(f)中參考影像和搜索影像均為斜視影像；(g)所示為三視航空傾斜影像；(h)所示為三視無人機(jī)影像。試驗(yàn)數(shù)據(jù)詳細(xì)信息見表1。

表1 試驗(yàn)數(shù)據(jù)詳細(xì)信息

2.2 參數(shù)設(shè)置

本文方法相關(guān)參數(shù)設(shè)置為：構(gòu)建特征點(diǎn)鄰域幾何結(jié)構(gòu)方向向量時(shí)，特征點(diǎn)鄰域大小m×m=11×11像素；鄰域幾何結(jié)構(gòu)方向向量支撐區(qū)域參數(shù)s=20像素；鄰域幾何結(jié)構(gòu)方向向量夾角閾值θ=10°；歸一化特征區(qū)域尺寸Tr×Tr=65×65像素；點(diǎn)到核線的距離閾值Te=20像素；特征匹配擴(kuò)展算法中，仿射不變量閾值τ=0.3，特征描述符相似性閾值Tsim=0.65。在本文試驗(yàn)中，Harris算子[27]和LSD算子[28]分別被用于提取點(diǎn)特征和直線特征。本文試驗(yàn)中所有對比方法的參數(shù)均按原文獻(xiàn)作者推薦的參數(shù)值進(jìn)行設(shè)置。本文所有試驗(yàn)均在相同平臺環(huán)境(Windows 10，Intel Core i7 3.6 GHz，RAM 32 GB)下完成。

2.3 試驗(yàn)結(jié)果分析

2.3.1 局部影像像對匹配結(jié)果分析

本文試驗(yàn)首先基于局部影像對(圖9(a)—(f))進(jìn)行兩兩匹配，將本文方法與多種匹配算法進(jìn)行對比分析以驗(yàn)證本文方法對典型影像區(qū)域的有效性。對比方法包括：分別將Harris-Affine算子[25]、Hessian-Affine算子[25]、MSER算子[26]和DoG算子[9]與SIFT特征描述符和NNDR匹配策略組合而成的4種特征匹配算法(HarAff、HesAff、MSER和SIFT算法)、ASIFT算法[12]，以及基于影像粗糾正的ISIFT算法[19-20]。

在這部分試驗(yàn)中，以正確匹配特征對數(shù)和匹配正確率(正確匹配特征對數(shù)/總匹配對數(shù))為評價(jià)指標(biāo)，統(tǒng)計(jì)結(jié)果如圖10所示。其中，通過人工檢查的方式來統(tǒng)計(jì)正確匹配特征對數(shù)。

從圖10(a)所示的正確匹配對數(shù)可以看出，HarAff、HesAff、MSER和SIFT 4種方法在所有像對上都只能獲得少量的匹配對，表明這4種方法難以適用于視角變化較大且存在遮擋問題的城區(qū)寬基線影像。相對于上述4種方法，ASIFT和ISIFT算法通過改進(jìn)匹配策略來提高算法的穩(wěn)健性。其中，ASIFT算法通過模擬影像仿射空間來消除影像之間的幾何變形，獲得了更好的匹配效果。影像對2中場景深度變化不顯著，ASIFT算法模擬的仿射空間能夠較好地?cái)M合影像局部區(qū)域，因此ASIFT算法在影像對2上獲得了最多的匹配對。但是ASIFT方法中模擬的仿射空間不連續(xù)，在影像視角變化和場景深度變化較大的影像對4、5和6上，許多局部區(qū)域沒有被模擬的仿射空間所覆蓋，即難以通過模擬仿射空間來消除這些局部區(qū)域的幾何變形，因此ASIFT方法在這3對影像上獲得的特征對數(shù)較少。此外，ASIFT算法為特征點(diǎn)分配規(guī)則特征區(qū)域的方法難以適用于地物遮擋和視差不連續(xù)的情況。ISIFT算法也是基于影像模擬和粗糾正的思想，但是ISIFT算法只對整幅影像進(jìn)行一次模擬，當(dāng)參考影像與待匹配影像視角變化大且影像場景深度變化較大時(shí)，整幅影像之間不服從同一個(gè)全局變換模型，ISIFT方法獲得的幾何變換模型只能糾正影像中的部分區(qū)域。因此ISIFT方法雖然能夠改善SIFT方法的匹配結(jié)果，但是其改善程度有限。此外，ISIFT算法依賴于初匹配的結(jié)果。如圖中所示影像對5的匹配結(jié)果，ISIFT算法因?yàn)槌跗ヅ浣Y(jié)果難以準(zhǔn)確估計(jì)影像之間的幾何變換模型，最終匹配失敗。

相對于以上方法，本文方法在除影像對2以外的所有5對影像上都得到了最多的正確匹配。這主要得益于本文方法能夠根據(jù)特征點(diǎn)鄰域結(jié)構(gòu)自適應(yīng)地獲取影像內(nèi)容一致的特征區(qū)域。無論特征點(diǎn)位于平面區(qū)域或是視差不連續(xù)區(qū)域，本文方法得到的同名特征區(qū)域之間都具有較高的相似度，更容易在特征匹配過程中被正確識別出來。此外，本文方法中的特征匹配擴(kuò)展算法有助于獲得更多的匹配對。

從圖10(b)所示的匹配正確率可以看出，本文方法和ASIFT算法的匹配正確率優(yōu)于其他方法。當(dāng)影像初匹配能夠獲得一定數(shù)量的正確匹配用于估計(jì)影像幾何變換模型時(shí)，ISIFT算法也能獲得較高的匹配正確率，但是當(dāng)影像視角變化導(dǎo)致無法通過初匹配來估計(jì)影像幾何變換模型時(shí)，ISIFT算法將匹配失敗。

2.3.2 完整三視影像匹配結(jié)果分析

除了采用局部影像像對進(jìn)行算法驗(yàn)證以外，本文試驗(yàn)還利用兩組三視影像測試本文方法的匹配性能。鑒于SIFT算法的廣泛應(yīng)用以及ASIFT算法對影像視角變化的穩(wěn)健性，這部分試驗(yàn)將本文方法與SIFT算法和ASIFT算法進(jìn)行對比分析。在具體實(shí)施時(shí)，考慮到原始SIFT算法和ASIFT算法在處理較大尺寸影像時(shí)計(jì)算內(nèi)存開銷非常大，且算法時(shí)間效率極低，本文采用更加高效的GPU版本的SIFT算法(SIFTGPU[29])以及下采樣模式的ASIFT算法(先將原始影像下采樣為800×600像素大小的影像進(jìn)行匹配，再將匹配結(jié)果反算回原始影像[30])。此部分試驗(yàn)以三度重疊匹配數(shù)量和匹配效率為評價(jià)指標(biāo)。3種方法在兩組三視影像上匹配的統(tǒng)計(jì)結(jié)果如下表2所示，三度重疊匹配如圖11和圖12所示。由于ASIFT方法的三度重疊匹配數(shù)量為0，因此圖11中只列出SIFTGPU方法和本文方法的結(jié)果。

表2 三視影像匹配統(tǒng)計(jì)結(jié)果

圖11 三視影像1的三度重疊匹配結(jié)果Fig.11 Three-time overlapped matches on three-view image dataset 1

圖12 三視影像2的三度重疊匹配結(jié)果Fig.12 Three-time overlapped matches on three-view image dataset 2

從表2統(tǒng)計(jì)結(jié)果可以看出，在三度重疊匹配數(shù)量方面，本文方法在兩組數(shù)據(jù)上獲得的三度重疊匹配數(shù)量都遠(yuǎn)超SIFTGPU和ASIFT算法。尤其在三視影像1上，影像之間視角變化大，且影像場景為密集建筑區(qū)域，大量特征點(diǎn)位于視差不連續(xù)的邊緣附近，SIFTGPU和ASIFT算法幾乎匹配失敗，而本文方法仍然能夠獲得463個(gè)三度重疊匹配；在算法時(shí)間效率方面，SIFTGPU算法的時(shí)間效率最高。本文方法在分步匹配中利用初匹配估計(jì)同名核線來約束后續(xù)匹配過程，時(shí)間效率優(yōu)于ASIFT算法，但相對于SIFTGPU而言，運(yùn)算效率仍然較低。

此外，表2統(tǒng)計(jì)結(jié)果顯示ASIFT方法獲得的三度重疊匹配少于SIFTGPU方法，尤其在三視影像1上的三度重疊匹配數(shù)量為0。對ASIFT方法在該數(shù)據(jù)集上的匹配結(jié)果進(jìn)行仔細(xì)檢查發(fā)現(xiàn)：ASIFT方法在三視影像集1中三對立體像對之間獲得的兩兩匹配數(shù)量分別為108對、33對和222對，如圖13所示。其中，影像1和影像3由于視角差異太大(圖13(b))，ASIFT方法獲得的匹配點(diǎn)數(shù)量非常少，直接影響了三度重疊匹配的數(shù)量。

圖13 ASIFT方法(下采樣模式)在三視影像1上的兩兩匹配結(jié)果Fig.13 Matches of ASIFT (down-sampling mode) on image pairs in three-view image dataset 1

為了進(jìn)一步驗(yàn)證ASIFT算法在三視影像1上的匹配效果，使用普通模式(直接在原始影像上進(jìn)行匹配)的ASIFT方法對三視影像1進(jìn)行匹配試驗(yàn)。具體實(shí)施時(shí)，采用OpenCV中的ASIFT算子，分別在三視影像1中的3幅影像上提取了2 523 709、3 746 247和3 402 273個(gè)特征點(diǎn)。數(shù)百萬個(gè)特征點(diǎn)進(jìn)行盲匹配和窮舉搜索帶來了巨大的時(shí)間開銷(約67個(gè)小時(shí))，然而三度重疊匹配數(shù)量仍然是0。3幅影像兩兩匹配的結(jié)果如圖14所示。從圖14(b)可以看出，對于視角變化非常大的影像1和影像3，ASIFT算法獲得的匹配點(diǎn)非常少，與圖13(b)的結(jié)果一致。此外，從圖14(a)和圖14(c)所示匹配結(jié)果可以看出，雖然ASIFT方法在兩兩影像之間能夠獲得一些匹配點(diǎn)，但是匹配點(diǎn)在多視影像上的重復(fù)率非常低。

圖14 ASIFT方法(普通模式)在三視影像1上的兩兩匹配結(jié)果Fig.14 Matches of ASIFT (general mode) on image pairs in three-view image dataset 1

綜上所述，本文方法在匹配效果方面優(yōu)于SIFTGPU方法和ASIFT方法，在匹配時(shí)間效率方面優(yōu)于ASIFT方法，但低于SIFTGPU方法。筆者將在后續(xù)研究中通過算法和程序優(yōu)化提高本文方法的時(shí)間效率。

3 結(jié) 論

本文針對城區(qū)寬基線影像視角變化導(dǎo)致傳統(tǒng)方法難以為同名點(diǎn)計(jì)算影像內(nèi)容一致的特征區(qū)域和相似特征描述符，進(jìn)而導(dǎo)致匹配失敗的問題，提出了一種結(jié)構(gòu)自適應(yīng)的特征點(diǎn)匹配方法。本文方法的創(chuàng)新之處在于利用城區(qū)影像點(diǎn)特征與直線特征的幾何關(guān)系定義了特征點(diǎn)幾何結(jié)構(gòu)方向信息，構(gòu)建了結(jié)構(gòu)自適應(yīng)的特征區(qū)域和特征描述符，在此基礎(chǔ)上設(shè)計(jì)特征匹配和擴(kuò)展算法，實(shí)現(xiàn)了城區(qū)寬基線影像的可靠匹配。以上改進(jìn)使得本文方法能夠較好地處理因影像視角變化導(dǎo)致的幾何變形和遮擋問題，對于大視角變化的城區(qū)寬基線影像能夠獲得較好的匹配結(jié)果。但是，由于本文方法在特征匹配時(shí)利用了粗略的核線約束，因此匹配結(jié)果中的誤匹配都滿足該約束條件。在后續(xù)剔除誤匹配時(shí)，部分誤匹配難以通過(基于基礎(chǔ)矩陣的)RANSAC算法來剔除。此外，本文方法的運(yùn)算效率仍需進(jìn)一步提高。后續(xù)工作將研究如何有效剔除錯(cuò)誤匹配，并通過算法和程序優(yōu)化提高本文方法的運(yùn)算效率。