一種基于POS 的改進(jìn)Har r i s-Af f i ne 傾斜影像匹配方法

王慧芳，王錚堯

（中煤航測(cè)遙感集團(tuán)有限公司技術(shù)發(fā)展研究院，西安710199）

1 引言

目前，在數(shù)字城市的建立過(guò)程中，傾斜攝影測(cè)量被廣泛地采用。與傳統(tǒng)的垂直航空攝影相比，傾斜影像存在幾何變形大、地物分辨率變化大、存在色差、地物遮擋、光照等問題【1】，這給較為快速地完成影像匹配工作帶來(lái)了很大困難。對(duì)于大傾斜影像的匹配而言，近年來(lái)計(jì)算機(jī)視覺領(lǐng)域出現(xiàn)的仿射不變特征及其描述符為解決傾斜影像匹配難題提供了思路。

目前，國(guó)內(nèi)外比較常用的特征檢測(cè)方法有：角點(diǎn)檢測(cè)、圓點(diǎn)檢測(cè)、區(qū)域檢測(cè)【2】。在特征點(diǎn)檢測(cè)算子中，經(jīng)典角點(diǎn)檢測(cè)算子有Moravec、Forstner、Harris【3】，其中Harris 角點(diǎn)具有平移不變性、旋轉(zhuǎn)不變性、部分輻射不變性、特征穩(wěn)定性和均勻性較好等優(yōu)點(diǎn)，缺少尺度不變性和仿射不變性；2004年，加拿大學(xué)者Lowe 提出了具有里程碑式的尺度不變性特征算法——sift特征點(diǎn)檢測(cè)算法，該算法具有尺度不變性、仿射不變性、對(duì)光照變換不敏感，并且具有一定的抗噪性等優(yōu)點(diǎn)，但對(duì)仿射變形較大的影像適應(yīng)性較差，且該算法耗時(shí)較長(zhǎng)【4】；常用的特征區(qū)域檢測(cè)算子有Harris-Affine、Hession-Affine 等算法，提取的特征點(diǎn)具有仿射不變性。為了對(duì)特征點(diǎn)進(jìn)行獨(dú)特和唯一的描述，在過(guò)去幾十年中發(fā)展起來(lái)最穩(wěn)健的描述子之一是sift 描述子：sift 描述子對(duì)特征點(diǎn)周圍鄰域內(nèi)像素梯度信息（包括梯度模值和方向）采用三維直方圖進(jìn)行統(tǒng)計(jì)，具有較強(qiáng)的抗噪聲和抗光照變化能力，并且對(duì)于含有定位誤差的特征匹配具有較好的容錯(cuò)性。

針對(duì)傾斜影像的成像特點(diǎn)，優(yōu)秀的傾斜影像匹配算法不僅要具有尺度不變性、旋轉(zhuǎn)不變性、平移不變性、對(duì)光照變換不敏感等優(yōu)點(diǎn)，還必須對(duì)傾斜影像間的仿射變換具有良好的魯棒性。因此，結(jié)合以上算法的優(yōu)勢(shì)，采用Harris-Affine【5】特征算法在多尺度空間提取具有仿射不變和尺度不變的點(diǎn)特征，且對(duì)產(chǎn)生的特征點(diǎn)在尺度空間上生成sift 描述子，并進(jìn)行特征匹配的思路被用于目前傾斜影像的匹配中。

在初始POS 約束下，改進(jìn)了Harris-Affine 特征提取算法，得到的傾斜影像匹配結(jié)果被應(yīng)用到傾斜影像與點(diǎn)云的配準(zhǔn)中，匹配結(jié)果滿足配準(zhǔn)精度要求。

2 算法步驟和關(guān)鍵技術(shù)

本文中傾斜影響匹配方法的具體步驟如下。

1）數(shù)據(jù)準(zhǔn)備：傾斜攝影影像和初始POS。

2）得到旋轉(zhuǎn)影像：任意2 張傾斜影像匹配時(shí)，以其中1 張像片為參考片，根據(jù)2 張傾斜像片提供的初始POS 中Kappa角的差值，獲得另1 張像片相對(duì)參考片的旋轉(zhuǎn)角度，進(jìn)而得到2 張?jiān)枷衿男D(zhuǎn)后的像片。

3）旋轉(zhuǎn)影像上提取Harris-Affine 仿射不變特征點(diǎn)。

在Harris-Affine 特征提取算法中，仿射變換閾值參數(shù)的大小直接影響算法提取的特征點(diǎn)數(shù)的多少。由于不同傾斜影像地形地貌不同，對(duì)于每張傾斜影像設(shè)置同樣的仿射變換閾值參數(shù)，每張傾斜影像得到的特征點(diǎn)數(shù)差別很大，有的甚至不在一個(gè)量級(jí)，這對(duì)匹配的結(jié)果和效率都有很大影響。為了保證每張輸入的傾斜影像都能獲得數(shù)量大致相同的特征點(diǎn)數(shù)，本文改進(jìn)Harris-Affine 算法，設(shè)置初始仿射變換閾值參數(shù)T0，以及每張像片提取特征點(diǎn)數(shù)閾值NC，根據(jù)當(dāng)前仿射變換閾值參數(shù)T，檢測(cè)像片提取特征點(diǎn)數(shù)N 判斷，當(dāng)N＜NC，則在循環(huán)迭代過(guò)程中減小T，當(dāng)N＞1.5NC，則在循環(huán)迭代過(guò)程中增加T，本文中仿射變換閾值改變的步長(zhǎng)ΔT=0.5，直到每張像片的特征點(diǎn)數(shù)都滿足閾值設(shè)置要求。

4）旋轉(zhuǎn)影像上為每個(gè)仿射不變特征點(diǎn)生成sift 描述子。在每個(gè)特征點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測(cè)量圖像局部的梯度，提取每個(gè)特征點(diǎn)的128 維特征向量。

5）將旋轉(zhuǎn)影像上的特征點(diǎn)坐標(biāo)根據(jù)步驟2）中的旋轉(zhuǎn)關(guān)系轉(zhuǎn)換為對(duì)應(yīng)的原始影像上的特征點(diǎn)坐標(biāo)，此時(shí)每個(gè)原始影像上的特征點(diǎn)對(duì)應(yīng)的sift 描述子為步驟4）中的特征向量。

6）特征匹配：為了提高匹配的效率以及減少錯(cuò)誤匹配，根據(jù)2 張傾斜像片的初始POS，計(jì)算2 張傾斜像片的大致重疊范圍，針對(duì)2 張像片中重疊范圍內(nèi)的匹配點(diǎn)，采用比值提純法和互相關(guān)約束得到初始匹配點(diǎn)對(duì)。

7）采用基于基礎(chǔ)矩陣F 的Ransac 約束和基于單應(yīng)矩陣H 的LM 約束進(jìn)行初始匹配點(diǎn)的粗差剔除。首先，通過(guò)對(duì)初始匹配點(diǎn)的重復(fù)抽樣不斷估計(jì)基礎(chǔ)矩陣，選取最大的一致集，如果最大一致集大于閾值，則保留，并且將所有的外點(diǎn)剔除；然后對(duì)剩下的匹配點(diǎn)對(duì)采用LM 算法估計(jì)最優(yōu)的單應(yīng)矩陣，將不滿足單應(yīng)約束的外點(diǎn)剔除，剩下的匹配點(diǎn)對(duì)即為剔除粗差后的高精度的匹配點(diǎn)對(duì)。

3 實(shí)驗(yàn)結(jié)果

2017年，利用本文中的傾斜像片的匹配算法，已經(jīng)完成多個(gè)測(cè)區(qū)的傾斜影像的匹配測(cè)試。以星閃測(cè)區(qū)為例，共5個(gè)鏡頭，下視鏡頭442 張像片，4個(gè)測(cè)試鏡頭共1768 張像片，該測(cè)區(qū)中5個(gè)相機(jī)焦距相同。

3.1 像片特征點(diǎn)提取情況

星閃測(cè)區(qū)像片大小為3648×5472。特征提取過(guò)程中仿射變換閾值T0=16.0，星閃測(cè)區(qū)中的特征點(diǎn)數(shù)閾值NC=13000。

表1 表示隨機(jī)選取的星閃測(cè)區(qū)5個(gè)鏡頭5 張像片，在固定仿射變換閾值和迭代更改仿射變換閾值2 種情況下的特征點(diǎn)數(shù)分布。由表1 可以看出，改進(jìn)的Harris-Affine 算法通過(guò)迭代更新仿射變換閾值，保證測(cè)區(qū)每張像片提取的特征點(diǎn)總數(shù)在規(guī)定設(shè)置的有效范圍內(nèi)，保證后續(xù)匹配結(jié)果的可靠性。

表1 星閃測(cè)區(qū)5 張影像特征點(diǎn)提取情況

3.2 影像匹配情況

在傾斜攝影中，左右視像片與下視像片的重疊關(guān)系要明顯，匹配相對(duì)容易些，左右視像片相同位置的像素尺度不一致，增加了匹配難度。圖1 表示下視像片A188.JPG 與前視像片B171.JPG 的匹配結(jié)果，由圖可見，本文中的算法在下視像片與傾斜像片的匹配都可以得到高精度的均勻分布的匹配點(diǎn)。

圖1 A188.JPG與B171.JPG的匹配情況

4 結(jié)語(yǔ)

實(shí)驗(yàn)結(jié)果表明，對(duì)于大傾角的傾斜影像，本文中提出的傾斜影像匹配方法得到的同名點(diǎn)分布較好，正確率高。目前，本文中的匹配方法已經(jīng)用到了煤航自主開發(fā)的基于點(diǎn)云和傾斜影像的配準(zhǔn)模塊中，經(jīng)星閃測(cè)區(qū)1768 張像片測(cè)試，匹配結(jié)果平差后，能夠滿足點(diǎn)云與傾斜影像的配準(zhǔn)精度要求。