一種基于對(duì)比度閾值的改進(jìn)SIFT算法

徐 陽(yáng)， 曹 杰

（1.南京航空航天大學(xué) 電子信息工程學(xué)院，江蘇 南京 210016；2.南京航空航天大學(xué) 無(wú)人機(jī)研究院，江蘇 南京 210016）

近些年來(lái)，隨著國(guó)民經(jīng)濟(jì)的發(fā)展，無(wú)人機(jī)遙感技術(shù)在城市規(guī)劃、地理測(cè)繪、環(huán)境監(jiān)測(cè)、國(guó)土資源勘探、軍事偵察以及考古等許多領(lǐng)域中發(fā)揮著越來(lái)越重要的作用。但由于無(wú)人機(jī)攝像設(shè)備的性能以及其它因素的限制，一般只能得到部分區(qū)域的圖像序列，這就需要通過(guò)圖像拼接技術(shù)將這些圖像序列合成一幅大的全景圖。SIFT算法[1-2]作為目前圖像匹配領(lǐng)域內(nèi)最活躍的算法之一，對(duì)于圖像的縮放、平移和旋轉(zhuǎn)都具有良好的不變性，對(duì)于光照變化和仿射變換或者三維投影也具有一定的魯棒性，因此SIFT算法獲得了廣泛的應(yīng)用[3-8]。

隨著圖像的對(duì)比度降低，SIFT算法所能提取的特征點(diǎn)數(shù)目會(huì)大大減少。而在實(shí)際的無(wú)人機(jī)成像過(guò)程中，受周圍環(huán)境因素影響較大，例如由于光照不均勻或者目標(biāo)本身的灰度特性都有可能造成圖像對(duì)比度的降低。

在SIFT算法中，剔除對(duì)比度小于給定閾值（SIFT推薦為0.03）的特征點(diǎn)，認(rèn)為這些點(diǎn)是不穩(wěn)定的，但固定的閾值無(wú)法適應(yīng)圖像對(duì)比度的變化，同時(shí)會(huì)造成圖像局部范圍內(nèi)特征點(diǎn)的分布不均。一種解決方法是將原始圖像進(jìn)行對(duì)比度增強(qiáng)，然后對(duì)其進(jìn)行SIFT特征提取。但是對(duì)比度增強(qiáng)是一種有損處理，對(duì)圖像的質(zhì)量會(huì)造成損害，影響配準(zhǔn)精度。另一種方法是根據(jù)圖像的對(duì)比度人工調(diào)整閾值，但人工調(diào)整閾值無(wú)法適應(yīng)圖像自動(dòng)配準(zhǔn)的要求，大大增加了工作量，不符合實(shí)際工作需求。另外，在圖像匹配的實(shí)際應(yīng)用中，SIFT算法可能會(huì)提取出數(shù)千甚至上萬(wàn)的特征點(diǎn)，這對(duì)于圖像匹配而言毫無(wú)必要，反而大大的延長(zhǎng)了算法運(yùn)行時(shí)間，增加了工作量。

1 SIFT算子簡(jiǎn)介

1.1 尺度空間的建立和尺度空間特征點(diǎn)檢測(cè)

高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性核，因此，一幅二維圖像的尺度空間L（x，y，σ）定義為該圖像與高斯尺度函數(shù)的卷積，即：

其中，G（x，y，σ）是尺度可變的高斯函數(shù)，?表示卷積，I（x，y）表示輸入圖像，（x，y）表示圖像像素的位置，σ是尺度因子。

為了有效檢測(cè)出穩(wěn)定的特征點(diǎn)，Lowe于1999年提出了高斯差分尺度空間（DoG，Scale－ space，Difference of Gaussian Scale－space），即兩個(gè)不同尺度的高斯差分核與圖像進(jìn)行卷積構(gòu)成的空間。DoG算子D（x，y，σ）通過(guò)將相鄰的高斯尺度函數(shù)與圖像卷積后作差得到，即：

式中，k為每?jī)蓚€(gè)相鄰尺度之間的相隔線型比例因子，k=21/s。

1.2 精確定位特征點(diǎn)

特征點(diǎn)的位置和尺度是通過(guò)三維二次函數(shù)擬合來(lái)完成的，同時(shí)去除了對(duì)比度比較低的候選特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)（DoG算子產(chǎn)生的較強(qiáng)的邊緣響應(yīng)），從而增強(qiáng)了匹配的穩(wěn)定性、提高了算法的抗噪性。差分

其中 X=（x，y，σ）T為包含特征點(diǎn)位置和尺度信息的響亮。有由差分金字塔DoG的幅值大小及曲率來(lái)剔除低對(duì)比對(duì)點(diǎn)和邊緣響應(yīng)點(diǎn)。

1.3 特征點(diǎn)主方向的確定

坐標(biāo)的關(guān)鍵點(diǎn)，其梯度幅值和方向分別為：

在以特征點(diǎn)為中心的鄰域窗口內(nèi)使用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向。梯度方向分布在0°～360°，其中在直方圖中每10°表示一個(gè)柱，共計(jì)36柱。梯度方向直方圖的峰值代表了該特征點(diǎn)處鄰域梯度的主方向。

1.4 特征點(diǎn)描述子的生成

以特征點(diǎn)作為中心取16×16的窗口。每個(gè)小格表示特征點(diǎn)鄰域所在尺度空間的一個(gè)像素。通過(guò)高斯加權(quán)在4×4的圖像小快上計(jì)算8個(gè)方向上的梯度直方圖。繪制各梯度方向的累加值，形成種子點(diǎn)。梯度方向直方圖統(tǒng)計(jì)公式如下：

其中，ck為柱中心，Δk 為柱的寬度。 （x，y）為子塊 r（l，m）像素點(diǎn)坐標(biāo)。

每個(gè)特征點(diǎn)由個(gè)種子點(diǎn)組成。特征描述子由所有子塊的梯度方向直方圖構(gòu)成。最終形成128維的SIFT特征向量。

2 改進(jìn)的SIFT算子

2.1 SIFT算子對(duì)比度閾值的分析

由上一部分內(nèi)容可知：SIFT算法在DoG尺度空間檢測(cè)極值，得到候選特征點(diǎn)集。如圖1所示，檢測(cè)極值時(shí)，圖1中標(biāo)記叉號(hào)的像素要和包括同一尺度空間的周圍8個(gè)像素以及相鄰尺度空間周圍鄰域9×2個(gè)像素共計(jì)26個(gè)像素進(jìn)行比較，以檢測(cè)到局部極值。之后通過(guò)擬合三維二次函數(shù)去除低對(duì)比度的關(guān)鍵點(diǎn)和邊緣響應(yīng)點(diǎn)。

因此在SIFT特征檢測(cè)時(shí)包含兩個(gè)參數(shù)，分別是對(duì)比度閾值和曲率閾值。通過(guò)這兩個(gè)閾值對(duì)SIFT初始特征點(diǎn)進(jìn)行篩選。本文中主要討論對(duì)比度閾值對(duì)結(jié)果產(chǎn)生的影響，故曲率閾值取 10（SIFT 推薦）。 圖 2（a）、圖 2（b）和圖 2（c）分別為同一場(chǎng)景不同對(duì)比度下的照片。 圖 2（a）、圖 2（b）和圖 2（c）檢測(cè)到的SIFT初始特征點(diǎn)數(shù)目分別為16456、16895和16926。這表明算子檢測(cè)特征點(diǎn)的能力不會(huì)隨著圖像對(duì)比度的變化而變化。此時(shí)，令對(duì)比度閾值等于0.03對(duì)初始特征點(diǎn)進(jìn)行過(guò)濾，得到的特征點(diǎn)數(shù)目分別為 3693、1958和 855，分別如圖 3（a）、圖3（b）和圖3（c）所示。由此可見(jiàn)，圖像對(duì)比度越低，對(duì)比度閾值對(duì)于關(guān)鍵點(diǎn)數(shù)目影響越大。因此，SIFT算法中的對(duì)比度閾值應(yīng)根據(jù)圖像的不同，設(shè)置為不同的值，這樣才能保證SIFT算法檢測(cè)能力的魯棒性。

圖2 同一場(chǎng)景不同對(duì)比度下的照片F(xiàn)ig.2 Images in the same scene under different contrast

圖3 特征點(diǎn)數(shù)目截圖Fig.3 Number of feature points

2.2 自適應(yīng)對(duì)比度閾值的確定

根據(jù)式（2）知，k值越小，金字塔層數(shù)越多，相鄰的上下層高斯圖像的差值越小，DoG尺度空間中的極值就越?。怀?，若圖像的灰度分布越集中，DoG圖層取值范圍就越小，導(dǎo)致極值越小。這說(shuō)明，DoG尺度空間的灰度信息反映了極值的變化范圍，所以以特征點(diǎn)為中心的DoG圖層的局部鄰域反映了極值的變化范圍。因此本文根據(jù)圖像DoG尺度空間局部鄰域的灰度信息，來(lái)確定對(duì)比度閾值。取以候選SIFT特征點(diǎn)為中心的9×9區(qū)域?yàn)猷徲颍?jì)算該鄰域內(nèi)所有像素灰度絕對(duì)值的均值，記為δ。我們?nèi)δ作為改進(jìn)后SIFT算法的對(duì)比度閾值。

通過(guò)分析發(fā)現(xiàn)，SIFT算法的計(jì)算時(shí)間主要耗費(fèi)在檢測(cè)極值點(diǎn)和描述特征向量這兩個(gè)步驟。對(duì)于自適應(yīng)對(duì)比度的系數(shù)k的值，若過(guò)大，則可能無(wú)法提取到足夠的特征點(diǎn)；若過(guò)小，提取出的特征點(diǎn)過(guò)多，提取出匹配點(diǎn)對(duì)于圖像變化矩陣H的確定遠(yuǎn)遠(yuǎn)足夠，反而只會(huì)使算法計(jì)算量變大，效率降低。據(jù)此，本文提出可變的自適應(yīng)對(duì)比度閾值系數(shù)。具體調(diào)整方法如下：

其中δnew為新的閾值，δ為自適應(yīng)對(duì)比度閾值，l1和l2為閾值調(diào)整系數(shù)。設(shè)N為即時(shí)檢測(cè)出的特征點(diǎn)數(shù)目，Mmin和Mmax為預(yù)先設(shè)定的特征點(diǎn)數(shù)量區(qū)間。當(dāng)N＜Mmax時(shí)，需減小閾值以獲得更多的特征點(diǎn)，根據(jù)經(jīng)驗(yàn)值，將l1設(shè)為1.3；反之，若N＞Mmax，將l2設(shè)為10。具體步驟如下：

1）首先設(shè)置特征點(diǎn)數(shù)量區(qū)間。應(yīng)確保可以計(jì)算出正確的圖像變換矩陣，又可避免過(guò)多運(yùn)算。一般情況下，設(shè)置Mmin=1 200、Mmax=1 700可以取得較好結(jié)果。

2）計(jì)算待匹配圖像即時(shí)的特征點(diǎn)數(shù)量。在初始閾值或者步驟4產(chǎn)生的新閾值下計(jì)算待匹配圖像的特征點(diǎn)。

3）判斷特征點(diǎn)數(shù)量是否滿足要求。若其在預(yù)定的區(qū)間內(nèi)，進(jìn)行步驟5的計(jì)算過(guò)程。否則生成新的閾值繼續(xù)計(jì)算。

4）生成新閾值。按照式（7）生成新的閾值。根據(jù)新閾值大小分為兩種情況：當(dāng)閾值降低時(shí)，需重新進(jìn)行待匹配圖像特征點(diǎn)檢測(cè)；反之，閾值升高時(shí)，直接判斷特征點(diǎn)數(shù)量是否滿足要求。

5）進(jìn)行圖像匹配其他步驟。使用以上步驟返回的閾值進(jìn)行其他SIFT算法步驟。

綜上，采取具有動(dòng)態(tài)系數(shù)的自適應(yīng)對(duì)比度閾值δnew，既可以在處理低對(duì)比度圖片時(shí)提取到足夠多的特征點(diǎn)，又可以有效地控制特征點(diǎn)數(shù)目，大大優(yōu)化了算法運(yùn)算量，提高了算法的效率。

3 實(shí)驗(yàn)結(jié)果及討論

此實(shí)驗(yàn)的目的在于比較本文算法和傳統(tǒng)的固定對(duì)比度閾值SIFT算法提取特征點(diǎn)的能力和效率。文中通過(guò)大量實(shí)驗(yàn)，但由于篇幅限制下面只選取其中兩張?jiān)敿?xì)說(shuō)明。如圖4所示。

圖4 相同場(chǎng)景不同對(duì)比度下的圖片F(xiàn)ig.4 Images in the same scene under different contrast

圖4（a）和圖4（b）為相同的場(chǎng)景在不同對(duì)比度下的圖片，其中圖4（b）的對(duì)比度極低。

圖5（a）為采用固定閾值SIFT算法（對(duì)比度閾值取0.03）對(duì)圖4（a）進(jìn)行特征提取的結(jié)果，共計(jì)提取5 011個(gè)特征點(diǎn)，耗時(shí)25.092 s；圖4（b）采用固定閾值SIFT算法沒(méi)有提取到特征點(diǎn)。圖 5（b）和圖 5（c）為采用本文算法對(duì)圖 4（a）、圖 4（b）分別提取特征點(diǎn)的結(jié)果，圖4（a）共計(jì)提取1 791個(gè)特征點(diǎn)，耗時(shí) 11.996 s；圖 4（b）共計(jì)提取到 1 737 個(gè)特征點(diǎn)，耗時(shí) 11.545 s。如下表所示：

通過(guò)比較，明顯可見(jiàn)：1）改進(jìn)后的SIFT算法相比原來(lái)的SIFT算法提取特征點(diǎn)的能力顯著增強(qiáng)，即使對(duì)于對(duì)比度很低的圖像，也能提取到足夠的特征點(diǎn)，并且提取的特征點(diǎn)均勻分布于整個(gè)圖像。2）改進(jìn)后的SIFT算法相比原來(lái)的SIFT算法節(jié)省了超過(guò)一半的時(shí)間，算法效率提高了一倍多。

4 結(jié) 論

圖5 不同算法下的特征點(diǎn)截圖Fig.5 Figures of the feature points in the different algorithms

表1 兩種算法處理的結(jié)果Tab.1 Test results of two algorithms

文中提出的具有可變系數(shù)的自適應(yīng)對(duì)比度閾值SIFT改進(jìn)算法，改進(jìn)后的算法不僅增強(qiáng)了對(duì)于圖像對(duì)比度變化的魯棒性，而且大大提高了算法的效率。該實(shí)驗(yàn)結(jié)果表明在圖像對(duì)比度較低時(shí)，可以提取到足夠多的特征點(diǎn)用于特征匹配，并且改進(jìn)后的算法提取到的特征點(diǎn)分布非常均勻，能夠有效地提高圖像配準(zhǔn)的精度；另外，改進(jìn)后算法可以有助于避免提取過(guò)多的不必要的特征點(diǎn)，大幅度的提高了算法的效率。該算法無(wú)須根據(jù)圖像不同，人工調(diào)整SIFT對(duì)比度閾值，非常適合需要使用自動(dòng)匹配的場(chǎng)合。

[1]LOWE D.Object recognition from local scale-invariant features [C]//Proceeding of ICCV Piscataway，NJ，USA:Institute of E-lectrical and Electronics Engineers Inc，1999:1150-1157.

[2]LOWE D.Distinctive image features from scale-invariant key-point[J].International Journal of Computer Vision，2004，60（2）:91-110.

[3]Stereo Cameras Self-calibration Based on SIFT[C]//proceedings of the International Conference on Measuring Technology and Mechatronics Automation，2009:352-355.

[4]伯將軍，郭書(shū)軍，伍淳華.SIFT局部特征描述算法在圖像版權(quán)搜索中的應(yīng)用[J].電子設(shè)計(jì)工程，2012，20（3）:137-141.BO Jiang-jun，GUO Shu-jun，WU Chun-hua.Application of SIFT algorithm in the image copyright search[J].Electronic Design Engineering，2012，20（3）:137-141.

[5]孫艷麗，李建海，周偉，等.SIFT在高分辨率SAR圖像自動(dòng)配準(zhǔn)中的性能分析[J].電子設(shè)計(jì)工程，2011，19（7）:180-183.SUN Yan-li，LI Jian-hai，ZHOU Wei，et al.Performance analysis of SIFT to registration of high-resolution accuracy SAR imagery[J].Electronic Design Engineering，2011，19（7）:180-183.

[6]張建花，白仲斐，惠廣裕.基于SIFT算法的異源遙感影像自動(dòng)匹配研究[J].電子設(shè)計(jì)工程，2011，19（13）:176-179.ZHANG Jian-hua，BAI Zhong-fei，HUI Guang-yu.Research on automatic registration of multi-source remote sensing images based on SIFT algorithm[J].Electronic Design Engineering，2011，19（13）:176-179.

[7]徐昱琳，張雷，陳萬(wàn)米，等.基于SIFT特征和圖割算法的圖像分割方法研究[J].計(jì)算機(jī)測(cè)量與控制，2009，17（12）:2491-2499.XU Yu-lin，ZHANG Lei，CHEN Wan-mi，et al.Image segmentation based on SIFT feature and graph cuts[J].Computer Measurement&Control，2009，17（12）:2491-2499.

[8]李曉明，鄭鏈，胡占義.基于SIFT特征的遙感影像自動(dòng)配準(zhǔn)[J].遙感學(xué)報(bào)，2006，10（6）:885-892.LI Xiao-ming，ZHENG Lian，HU Zhan-yi.SIFT based automatic registration of remotely-sensed imagery[J].Journal of Remote Sensing，2006，10（6）:885-892.