一種復(fù)雜場(chǎng)景下景物圖像的匹配算法*

梁　棟（上海海事大學(xué)　信息工程學(xué)院，上?！?01312）

一種復(fù)雜場(chǎng)景下景物圖像的匹配算法*

梁棟
（上海海事大學(xué)信息工程學(xué)院，上海201312）

針對(duì)同一傳感器從不同視角拍攝圖像的匹配，提出一種Harris-SIFT算法。首先對(duì)圖像進(jìn)行多尺度的預(yù)處理，使用動(dòng)態(tài)閾值的Harris算子提取特征點(diǎn)，隨后生成128維的SIFT特征向量并對(duì)特征向量進(jìn)行相似度檢測(cè)，最后建立匹配對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)特征向量的一一匹配。實(shí)驗(yàn)結(jié)果表明，該算法可有效適用于復(fù)雜場(chǎng)景下景物圖像的匹配。

Harris算子；SIFT算子；動(dòng)態(tài)閾值；相似度檢測(cè)

0　引言

圖像匹配是將不同時(shí)間、不同傳感器（成像設(shè)備）或不同拍攝條件下獲取的兩幅圖像進(jìn)行配準(zhǔn)的過(guò)程，目前已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域［1］。全景圖像的匹配研究是計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的重要組成，是一種較好的在復(fù)雜場(chǎng)景中匹配景物的方法，把人工繪制交通規(guī)劃圖和計(jì)算工程預(yù)算轉(zhuǎn)變?yōu)闄C(jī)器勞動(dòng)，既提高了運(yùn)算精度還減少了運(yùn)算時(shí)間。

通常圖像的匹配方法［2］主要有基于圖像灰度相關(guān)的匹配、基于變換域的匹配、基于特征的圖像匹配。目前最常見(jiàn)的匹配方法是基于特征的圖像匹配，它首先尋找出適合用于匹配的圖像特征，如顏色、紋理、邊緣、輪廓、特征點(diǎn)以及幾何中心等，然后對(duì)找到的特征進(jìn)行映射配準(zhǔn)。HARRIS C等人［3］提出了一種通過(guò)檢測(cè)角點(diǎn)來(lái)實(shí)現(xiàn)圖像匹配的方法，利用了圖像的自相關(guān)函數(shù)抗干擾能力強(qiáng)的特點(diǎn)，實(shí)驗(yàn)結(jié)果表明其對(duì)旋轉(zhuǎn)、平移之后圖像的匹配具有較高的精確度。參考文獻(xiàn)［4］介紹了一種新的特征計(jì)算方法，無(wú)需設(shè)置特定閾值并減少了因經(jīng)驗(yàn)值K固定導(dǎo)致重要特征點(diǎn)丟失的問(wèn)題。LOWE D G首先提出了SIFT，隨后對(duì)SIFT算法［5］進(jìn)行完善，該算法具有旋轉(zhuǎn)、平移和尺度不變性，是目前圖像拼接領(lǐng)域應(yīng)用較廣泛的一種算法。在SFIT基礎(chǔ)上改進(jìn)的算法有很多，比較著名的有SURF、PCA-SIFT、C-SIFT等。

復(fù)雜場(chǎng)景下的景物圖像匹配要求算法的實(shí)時(shí)性好，精確度高，本文結(jié)合Harris算子和SIFT算子的優(yōu)點(diǎn)，提出了一種適用于復(fù)雜場(chǎng)景下景物圖像匹配的Harris-SIFT算法。

1　算法原理

1.1Harris角點(diǎn)檢測(cè)算子

Harris算子采用自相關(guān)函數(shù)運(yùn)算檢測(cè)角點(diǎn)［6］，利用一階偏導(dǎo)描述亮度變化和微分算子反映像素點(diǎn)在任意方向的灰度變化，能有效區(qū)分角點(diǎn)和邊緣，有較好的旋轉(zhuǎn)不變性和魯棒性。

經(jīng)典Harris算子計(jì)算特征點(diǎn)的響應(yīng)函數(shù)可以表示為：

其中，K為經(jīng)驗(yàn)值，0.04≤K≤0.06；Det（M）和Trace（M）分別為2階實(shí)對(duì)稱(chēng)矩陣M的行列式和跡。設(shè)fx、fy分別為圖像x、y方向的梯度值，λ1和λ2是矩陣M的特征值，則有：

設(shè)定固定閾值T，當(dāng)R＞T時(shí)，可確定R為檢測(cè)到的特征點(diǎn)。經(jīng)典Harris算法［7］速度快，穩(wěn)定性高，且具有良好的旋轉(zhuǎn)不變性和平移不變性，但是Harris不具備尺度不變性，無(wú)法適用于復(fù)雜場(chǎng)景下景物圖像的高精度匹配。結(jié)合景物圖像實(shí)時(shí)性高的特征點(diǎn)，算子可以使用動(dòng)態(tài)閾值K，提高實(shí)時(shí)性。

1.2SIFT匹配算法

尺度不變特征轉(zhuǎn)化（Scale Invariant Feature Transform，SIFT）算法提取圖像的局部特征進(jìn)行匹配運(yùn)算，具有良好的旋轉(zhuǎn)不變性和尺度縮放不變性［8］。

SIFT算法是建立在尺度空間理論基礎(chǔ)上的。尺度空間就是在圖像信息處理模型中引入一個(gè)被視為尺度的參數(shù)，通過(guò)連續(xù)變化尺度參數(shù)獲得多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實(shí)現(xiàn)邊緣、角點(diǎn)檢測(cè)和不同分辨率上的特征提取等。而尺度空間算子對(duì)圖像的分析與圖像的位置、大小、角度以及仿射變換無(wú)關(guān)，即滿(mǎn)足平移不變性、尺度不變性、歐幾里德不變性以及仿射不變性。尺度空間在實(shí)現(xiàn)時(shí)使用高斯金字塔表示。高斯金字塔的構(gòu)建分為兩部分：（1）對(duì)圖像做不同尺度的高斯模糊；（2）對(duì)圖像做降采樣（隔點(diǎn)采樣）。

SIFT算法的金字塔模型是指將原始圖像不斷降階采樣，得到一系列大小不一的圖像，由大到小，從下到上構(gòu)成的塔狀模型。原圖像為金子塔的第一層，每次降采樣所得到的新圖像為金字塔的一層（每層一張圖像），每個(gè)金字塔共n層。金字塔的層數(shù)根據(jù)圖像的原始大小和塔頂圖像的大小共同決定，其計(jì)算公式如下：

其中，M、N為原圖像的大小，t為塔頂圖像的最小維數(shù)的對(duì)數(shù)值。對(duì)于大小為512×512的圖像，金字塔上各層圖像的大小如圖1所示，當(dāng)塔頂圖像為4×4時(shí)，n=7；當(dāng)塔頂圖像為2×2時(shí)，n=8。

但SIFT算法匹配復(fù)場(chǎng)景下景物圖像時(shí)，檢測(cè)到的特征點(diǎn)太多，特征信息不豐富，且特征點(diǎn)的冗余度高。此外由于每個(gè)SIFT特征都是128維的特征向量，而且算法中包含大量的高斯卷積過(guò)程，因此運(yùn)算量十分巨大，匹配的時(shí)間較長(zhǎng)。SIFT是計(jì)算兩幅圖像之間特征點(diǎn)的相似度來(lái)進(jìn)行匹配的，為進(jìn)一步提高匹配精度，可以對(duì)單幅圖像尋找到的全部特征點(diǎn)進(jìn)行相似度檢測(cè)，減少算法冗余度，提高匹配精度。

圖1　高斯金字塔示意圖

SIFT算法的特點(diǎn)有：（1）旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性；（2）特征點(diǎn)數(shù)量信息量豐富，適用于在海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配；（3）多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的SIFT特征向量；（4）可擴(kuò)展性，可以很方便地與其他形式的特征向量進(jìn)行聯(lián)合。

2　Harris-SIFT算法

由于景物圖像的信息源場(chǎng)景復(fù)雜，且特征點(diǎn)相似度較高，本文使用結(jié)合了Harris和SIFT優(yōu)點(diǎn)的Harris-SIFT算法，并在一些具體步驟上使用了新的方法。算法功能如圖2所示。

圖2　算法功能圖

（1）預(yù)處理

在匹配前先對(duì)兩幅圖像進(jìn)行預(yù)處理［9］，采用Retinex算法對(duì)圖像進(jìn)行增強(qiáng)處理，預(yù)減少灰度、對(duì)比度、光照強(qiáng)度對(duì)兩幅圖像的配準(zhǔn)精確度的影響。算法共由以下4部分組成。

①將輸入的圖像I（x，y）分離成R（x，y）、G（x，y）、B（x，y）3幅圖像；

②確定高斯環(huán)境函數(shù)，選取3個(gè)不同的標(biāo)準(zhǔn)偏差σ值為：5、80、250，并根據(jù)式（4）和式（5）計(jì)算出K；

③在3個(gè)尺度下，分別對(duì)R（x，y）、G（x，y）、B（x，y）進(jìn)行SSR處理，并利用式（6）對(duì)結(jié)果進(jìn)行加權(quán)處理后得到（x，y）、（x，y）、（x，y）；

（2）Harris特征點(diǎn)定位

選取Harris算子檢測(cè)特征點(diǎn)，并針對(duì)景物圖像實(shí)時(shí)性較高的特點(diǎn)，采用一種新的Harris特征點(diǎn)計(jì)算式（8）。設(shè)圖像的旋轉(zhuǎn)角度為Δ，1、2為任選的兩組向量，（，）為圖像的質(zhì)心。

（3）生成特征向量

隨后對(duì)Harris算子生成的特征點(diǎn)使用SIFT算法尋找主方向：

其中，L是特征點(diǎn)本身所在空間的尺度函數(shù)。對(duì)特征點(diǎn)進(jìn)行采樣，并用直方圖統(tǒng)計(jì)其在尺度空間上的方向特性，隨后對(duì)統(tǒng)計(jì)得到的直方圖進(jìn)行低通濾波處理，選取處理過(guò)后的直方圖的主方向作為特征點(diǎn)的主方向。

確定特征點(diǎn)的主方向之后，需要計(jì)算特征向量對(duì)特征不變性進(jìn)行描述。給特征點(diǎn)每個(gè)方向的直方圖分配8個(gè)方向，以關(guān)鍵點(diǎn)為中心取4×4的窗口，然后在每4×4個(gè)子區(qū)域上計(jì)算8個(gè)方向的梯度方向直方圖，并對(duì)4×4個(gè)子區(qū)域的8個(gè)方向的梯度直方圖根據(jù)位置依次排序，這樣就構(gòu)成了一個(gè)4×4×8=128維的特征向量，即為SIFT特征向量。

由于復(fù)雜場(chǎng)景下建筑圖像的特征點(diǎn)信息量相似度較高，為了減少誤匹配，對(duì)SIFT特征向量進(jìn)行了相似度檢測(cè)：

分別對(duì)兩幅圖像的特征向量進(jìn)行斯皮爾曼相關(guān)系數(shù)的計(jì)算，當(dāng)ρ→1時(shí)，表明兩個(gè)特征點(diǎn)十分相似，舍掉一個(gè)，剩余的特征向量用于匹配。

（4）建立特征匹配關(guān)系

特征匹配是對(duì)提取到的特征向量間建立起一定的對(duì)應(yīng)關(guān)系，利用歐式距離的最小值作為匹配成功的依據(jù)。過(guò)程由兩步實(shí)現(xiàn)：①先使用BBF法在兩幅圖像的所有特征向量中尋找與該特征向量最近鄰和次近鄰的兩個(gè)點(diǎn)，并判斷該特征向量的最近鄰和次近鄰距離的比值T是否小于閾值K。若T＜K，那么這兩點(diǎn)為正確匹配；若T＞K，則不是正確匹配。②使用隨機(jī)采樣法來(lái)提純已經(jīng)匹配好的特征點(diǎn)，剔除錯(cuò)誤的匹配。

3　實(shí)驗(yàn)結(jié)果分析

在Core I5處理器，4GB內(nèi)存的PC上，使用MATLAB 2010進(jìn)行仿真，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較和分析。

圖3～圖5分別使用三種方法提取特征點(diǎn)，SIFT算子提取到的特征點(diǎn)數(shù)量過(guò)多，且特征信息不顯著的點(diǎn)較多。而Harris算子提取的特征點(diǎn)數(shù)量適中，特征點(diǎn)信息豐富，但丟失了一些重要的特征點(diǎn)。表1對(duì)比了3種方法提取特征點(diǎn)的性能。經(jīng)典Harris算子提取特征點(diǎn)數(shù)量要小于SIFT，運(yùn)算時(shí)間也較快。而本文算法提取的特征點(diǎn)數(shù)量多于經(jīng)典Harris算子、少于SIFT，此外本文算法檢測(cè)到的特征點(diǎn)分布比經(jīng)典Harris均勻，重要特征點(diǎn)的數(shù)量也更多；從運(yùn)算時(shí)間分析，本文算法也略快于經(jīng)典Harris算子。

圖3　SIFT算法

圖4　Harris算子

圖5　本文算法

表1　特征點(diǎn)提取對(duì)比實(shí)驗(yàn)

圖6和圖7是分別使用SIFT算法和本文算法對(duì)兩組圖像進(jìn)行匹配的實(shí)驗(yàn)結(jié)果。對(duì)比兩幅圖像，本文算法尋找到的匹配處的特征點(diǎn)包含的信息量豐富，匹配分布均勻。而SIFT算子尋找到的匹配處的很多特征點(diǎn)包含的信息量很少且位置相對(duì)集中。表2比較了兩種算法的性能，本文算法的匹配成功對(duì)數(shù)多于SIFT算子，匹配正確率較高，運(yùn)行速度較快，且特征點(diǎn)的數(shù)量越多，本文算法的速度優(yōu)勢(shì)越大。

An algorithm applying for matching the scenes under complex scenes

Liang Dong
（College of Information Engineering，Shanghai Maritime University，Shanghai 201312，China）

This paper proposes a Harris-SIFT algorithm for matching images which is taken from different perspectives about the same sensor.Firstly，the image is pretreated.Secondly，using Harris of dynamic threshold to operator extracts feature points，and then generating SIFT feature vector 128-dimensional vector with a similarity detection.Finally，the feature vectors achieve a match in correspondence relation.Experimental results show that the algorithm can be effectively applied to the imaging matching of the scene in complex scenes.

Harris algorithm；SIFT algorithm；variable threshold；similarity detection

TP751.1

A

1674-7720（2015）10-0048-03

國(guó)家自然科學(xué)基金項(xiàng)目（61404083）