改進(jìn)SIFT的特征提取與圖像拼接方法

楊 祥，周 楠

(桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541006)

0 引 言

隨著科學(xué)技術(shù)的發(fā)展, 使用無人機(jī)構(gòu)建局部地區(qū)的遙感圖像已經(jīng)成為了一個較為熱門的研究課題[1-2]。無人機(jī)具有靈活、 便捷、 高速的特點(diǎn), 在許多領(lǐng)域和場合中得到十分廣泛的應(yīng)用, 例如交通監(jiān)管、 資源探測、 森林防火、 氣象監(jiān)測等[2]。但也存在拍攝圖像尺寸較小、 單張圖片反映出來的信息受限等不足, 需要多次拍攝并將圖像進(jìn)行拼接得到區(qū)域的遙感圖像。

圖像拼接通過配準(zhǔn)、 變換和融合等方式把多張具有重疊部分的圖像經(jīng)過處理后成為一張廣角清晰的圖像[3]。圖像的拼接過程大致分為3個主要步驟: 圖像特征點(diǎn)的有效提取與匹配、 圖像的配準(zhǔn)以及圖像的無縫融合[4]。圖像中的特征點(diǎn)通常是指在一幅圖像中具有代表性的部分, 然而由于這些特征點(diǎn)所包含的信息因素相對較少, 只能反映出其所處位置在圖像中的坐標(biāo)信息, 因此, 如何在兩幅圖中找出相匹配的特征點(diǎn)無疑是其中的關(guān)鍵; 圖像的配準(zhǔn)主要是采用了某種匹配的策略, 根據(jù)這種策略, 找出帶拼接圖像中所對應(yīng)的模板, 據(jù)此模版進(jìn)行圖像配準(zhǔn); 圖像的無縫融合是根據(jù)匹配對, 對圖像具有重疊的部分進(jìn)行融合拼接, 從而得到圖像的全景拼接圖像。

由于無人機(jī)易受天氣的影響、 飛行姿態(tài)不穩(wěn)定, 并且存在傾角大、 視差不連續(xù)和圖像間重疊度變化明顯等缺點(diǎn), 在航拍過程中圖像容易發(fā)生畸變, 使陰影區(qū)域所影響的灰度產(chǎn)生局部的變化, 從而影響匹配的準(zhǔn)確性, 因此需要一種具有高效魯棒性的圖像拼接算法。賈文超[5]采用ORB算法提取出特征點(diǎn)實(shí)現(xiàn)全景圖像的拼接; 宋偉等[6]提出了改進(jìn)AKAZE-BRISK特征的影像拼接算法; 徐啟文等[7]提出具有動態(tài)閾值的SURF算法, 結(jié)合改進(jìn)的漸進(jìn)漸出圖像融合算法進(jìn)行圖像拼接; 朱軍桃等[8]提出基于ORB算法和改進(jìn)KNN-RANSAC算法進(jìn)行無人機(jī)遙感影像拼接。

SIFT算法[9-11]因其魯棒性較強(qiáng)而被廣泛應(yīng)用于圖像拼接, 然而該算法提取的特征點(diǎn)數(shù)目大, 分布不均勻, 直接用該算法進(jìn)行拼接會導(dǎo)致特征點(diǎn)匹配時間長、 匹配的錯誤率較高的問題?；诖? 本文提出一種基于分塊的SIFT特征點(diǎn)結(jié)合RANSAC的拼接技術(shù): 首先將原始圖像均勻分塊, 并對子塊中對比度較小的特征點(diǎn)進(jìn)行過濾, 從而減少從圖像中提取到的特征點(diǎn)數(shù)量, 使特征點(diǎn)分布均勻; 然后利用RANSAC算法進(jìn)一步剔除誤匹配點(diǎn); 最后使用拉普拉斯金字塔進(jìn)行圖像的融合。

1 基于SIFT的特征提取

1.1 SIFT算法介紹

SIFT算法是由Lowe D G于1999年提出的一種局部檢測特征的方法, 該算法具有較好的穩(wěn)定性和尺度不變性, 并于2004年得到進(jìn)一步的改進(jìn)和發(fā)展[12]。SIFT算法在圖像的拼接、 檢索以及目標(biāo)識別中起著極為重要的作用, 具有良好的平移、 旋轉(zhuǎn)和縮放不變性[13]。SIFT算法的具體步驟為:

① 尺度空間極值檢測。尺度空間理論的目的是能夠?qū)D像中的數(shù)據(jù)進(jìn)行多尺度空間特性的模擬。利用高斯核函數(shù)對輸入的原始圖像進(jìn)行卷積運(yùn)算, 以此建立一個可以輸出圖像的尺度空間。

(1)

L(x,y,σ)=G(x,y,σ)*I(x,y)。

(2)

其中:G(x,y,σ)為高斯核函數(shù); (x,y)指的是空間的坐標(biāo);L(x,y,σ)是圖像的尺度空間;I(x,y)為原始圖像;σ的大小反映了圖像的平滑程度; *為卷積運(yùn)算符。

將原始的圖像采樣利用高斯濾波函數(shù)進(jìn)行反復(fù)降階采樣, 可以直接獲取和輸出一系列尺寸大小不一致的梯形圖像, 即高斯金字塔。通過高斯金字塔每組內(nèi)的圖像相減, 可以得到高斯差分金字塔。

② 關(guān)鍵點(diǎn)定位。特征點(diǎn)是通過高斯差分金字塔的極值點(diǎn)所確定的。將待檢測的像素點(diǎn)與周圍所有像素點(diǎn)進(jìn)行比較, 若此像素點(diǎn)比周圍26個像素點(diǎn)都小或者都大, 則認(rèn)為該點(diǎn)為極值點(diǎn)。

通過將尺度空間內(nèi)的DoG函數(shù)進(jìn)行曲線擬合, 可以計(jì)算出極值點(diǎn)的偏移量。通過圖1可以看出,上述方法所檢測到的極值點(diǎn)并不是真正的極值點(diǎn), 兩者之間存在一個偏移量。將尺度空間DoG函數(shù)曲線擬合, 來獲得極值點(diǎn)的偏移量。DoG函數(shù)在尺度空間的泰勒展開式為

圖1 離散空間與連續(xù)空間極值點(diǎn)的差別Fig.1 Difference of extreme points between discrete space and continuous space

(3)

其中:X為極值點(diǎn)偏移量(Δx, Δy, Δσ)T;D(X)為X所對應(yīng)的DoG函數(shù)值。 對上式求導(dǎo)數(shù), 并令結(jié)果為零, 可以計(jì)算出極值點(diǎn)的偏移量, 即

(4)

在檢測到的所有特征點(diǎn)中, 首先要去除掉一些對比度較低的特征點(diǎn)及一些不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

(5)

由于DoG算子對噪聲和邊緣響應(yīng)較為敏感, 因此只有將獲得的特征點(diǎn)進(jìn)行進(jìn)一步的剔除才能獲得真正的特征點(diǎn)。首先獲取該特征點(diǎn)的Hessian矩陣, 并且根據(jù)該矩陣計(jì)算出極值點(diǎn)的邊緣響應(yīng)值, 再去除邊緣響應(yīng)較大的點(diǎn)。

(6)

(7)

其中:H為Hessian矩陣, 其特征值α和β代表x和y方向的梯度; trH為矩陣H的跡; detH為矩陣H的行列式;γ為主曲率的閾值。

③ 關(guān)鍵點(diǎn)方向分配。對確定的特征點(diǎn)指定一個方向, 并且根據(jù)這個方向作進(jìn)一步的計(jì)算。利用特征點(diǎn)鄰域像素的梯度方向分布特性為每個特征點(diǎn)指定一個方向參數(shù), 使其具有旋轉(zhuǎn)不變性

(8)

(9)

其中:m(x,y)為像素點(diǎn)的梯度幅值;θ(x,y)為像素點(diǎn)的方向。

④ 關(guān)鍵點(diǎn)特征描述。通過上述計(jì)算, 每個關(guān)鍵點(diǎn)都具備了3個固定的信息, 分別是位置、 尺度以及方向。使用一組向量對每個關(guān)鍵點(diǎn)進(jìn)行描述, 建立描述符。將每個關(guān)鍵點(diǎn)周圍的區(qū)域分別規(guī)劃成16個子區(qū)域, 為每一個子區(qū)域分別進(jìn)行設(shè)定, 并給出8個方向, 因此構(gòu)成一個128維向量, 將該向量視為SIFT描述子。

1.2 基于分塊的SIFT算法

將原始圖像進(jìn)行分塊處理, 對每一個子塊采用SIFT算法提取出圖像的特征點(diǎn), 保留每個區(qū)域中對比度高的特征點(diǎn), 再對所有區(qū)域中經(jīng)過處理的特征點(diǎn)進(jìn)行合并, 完成整個圖像的特征點(diǎn)提取, 如圖2所示。該方法僅保留每個子區(qū)域中對比度較高的特征點(diǎn), 使得整個圖像的特征點(diǎn)數(shù)大大降低, 提高了圖像拼接的效率。

圖2 圖像分塊圖Fig.2 Image block diagram

2 特征點(diǎn)匹配

使用分塊SIFT算法完成特征點(diǎn)的提取后, 需要對獲取到的特征點(diǎn)進(jìn)行特征匹配。該算法主要采用的是基于歐氏距離的最鄰近匹配算法

(10)

其中:Ri=(ri1,ri2, …,ri128)為匹配圖像中特征點(diǎn)的描述符;Si=(si1,si2, …,si128)為待匹配圖像中特征點(diǎn)的描述符。當(dāng)最近距離與次近距離的比值小于事先所設(shè)置的閾值時, 認(rèn)為該點(diǎn)為匹配點(diǎn)。

上述方法雖然能在一定程度上可以去除外點(diǎn), 但是會存在一定的誤匹配點(diǎn), 從而影響圖像的拼接質(zhì)量[14]。本文選擇了魯棒性較高的RANSAC算法用來對錯誤的匹配點(diǎn)進(jìn)行進(jìn)一步的剔除[15-16]。

RANSAC算法的具體步驟為: ① 從匹配的特征點(diǎn)中隨機(jī)抽取4個匹配點(diǎn), 以此求解圖像的初始變換矩陣; ② 利用步驟①中得到的初始變換矩陣來測試其他匹配點(diǎn), 當(dāng)差值小于設(shè)定的閾值時, 記該點(diǎn)為內(nèi)點(diǎn), 當(dāng)差值大于設(shè)定的閾值時, 記該點(diǎn)為外點(diǎn); ③ 重復(fù)步驟①和②, 選取內(nèi)點(diǎn)數(shù)目最多的對應(yīng)變換矩陣為圖像的最佳變換矩陣, 并對不滿足該矩陣的外點(diǎn)進(jìn)行剔除; ④ 利用RANSAC算法進(jìn)行多次迭代, 尋找圖像的最佳變換矩陣, 有效去除錯誤的匹配點(diǎn)對。

3 圖像拼接

3.1 單應(yīng)性矩陣計(jì)算

本文采用單應(yīng)性變換使得兩幅圖像基本對齊, 用投影矩陣H來表示兩幅圖像之間的對應(yīng)關(guān)系, 用RANSAC算法獲得的最佳變換矩陣作為投影矩陣H。設(shè)P1(x1,y1)和P2(x2,y2)分別為兩幅圖像中的匹配點(diǎn), 則二者間的映射關(guān)系為

(11)

3.2 拉普拉斯金字塔融合

由于拍攝角度不同、 拍攝圖像的明暗差別、 特征點(diǎn)匹配精度低等問題, 會造成所拼接的圖像出現(xiàn)拼接痕跡。本文采用拉普拉斯金字塔算法來進(jìn)行圖像的融合[17], 該算法的具體步驟如下: ① 搭建高斯金字塔; ② 用高斯金字塔內(nèi)相鄰一層的圖像數(shù)據(jù)相減, 得到拉普拉斯金字塔; ③ 將帶拼接圖像重疊區(qū)域的相同層的拉普拉斯金字塔相加, 再由最底層的融合圖像逐層向上疊加得到融合后的圖像。

4 結(jié)果分析

4.1 平臺與實(shí)驗(yàn)數(shù)據(jù)

電腦配置為: 處理器2.3 GHz雙核IntelCore i5, 內(nèi)存8 GB, 以PyCharm為開發(fā)平臺, 通過Python語言實(shí)現(xiàn)圖像的拼接算法, 并通過配置OpenCV 4.5.1庫以提高圖像處理代碼的效率。

研究區(qū)域位于桂林理工大學(xué)雁山校區(qū), 圖像采集設(shè)備為大疆無人機(jī)MINI2專業(yè)相機(jī), 圖像尺寸為2 560×1 280, 如圖3所示。

圖3 3組待拼接圖像Fig.3 Three sets of images to be spliced

4.2 特征點(diǎn)匹配實(shí)驗(yàn)對比

分別對3組圖像進(jìn)行了特征點(diǎn)的匹配, 首先將原始圖像均勻分塊, 分塊的數(shù)量與圖像的分辨率相關(guān), 如果分割的圖像塊太小則會導(dǎo)致提取到的特征點(diǎn)數(shù)目過少, 并且會使原始圖像的連續(xù)性遭到破壞。本文將每一張圖像劃分成5×5塊, 每個圖像塊的像素為512×256, 保留每個圖像塊中對比度較大的前25%的特征點(diǎn), 再使用RANSAC算法剔除錯誤匹配點(diǎn)。3組圖像的匹配效果對比圖如圖4所示。表1為3組圖像分別使用原始SIFT算法和基于分塊的SIFT算法經(jīng)過RANSAC算法處理前后的匹配點(diǎn)個數(shù)統(tǒng)計(jì)結(jié)果。表2為3組圖像分別使用原始SIFT算法和本文算法的效率對比。

表2 3組圖像中本文算法與傳統(tǒng)SIFT算法效率對比Table 2 Comparison of efficiency between proposed algorithm and SIFT algorithm in three sets of images

圖4 3組圖像匹配效果對比Fig.4 Comparison of matching effect of three sets of images

可以看出, 本文算法與傳統(tǒng)算法相比特征點(diǎn)匹配對數(shù)平均降低了80.45%, 在特征點(diǎn)提取時間方面平均減少了70.83%, 特征點(diǎn)匹配時間減少了75.64%, 總拼接時間平均減少了71.37%。由此可見, 改進(jìn)后的算法與傳統(tǒng)算法相比匹配效率明顯提高。對圖像進(jìn)行分塊后, 通過對每個子塊的特征點(diǎn)進(jìn)行過濾, 極大地減少了特征點(diǎn)的數(shù)量, 提高了圖像的拼接效率。

4.3 圖像拼接

通過所獲得的上述變換矩陣, 對待拼接圖像進(jìn)行透視變換, 最終完成圖像的拼接。為了驗(yàn)證本文所使用的拉普拉斯金字塔融合算法的有效性, 將直接拼接圖像(圖5a列)與經(jīng)過拉普拉斯金字塔融合算法拼接的圖像(圖5b列)進(jìn)行對比。

圖5 3組圖像拼接結(jié)果對比Fig.5 Comparision of splicing results of three sets of images

在a列圖中有一條明顯的界限, 由于拍攝的角度以及圖像的亮度有所不同, 即便獲得的變換矩陣足夠精確, 也是會產(chǎn)生拼接的痕跡。通過拉普拉斯金字塔融合算法對圖像信息進(jìn)行融合, 消除了圖像的拼接的痕跡, b列圖的拼接效果更加自然。

5 結(jié) 論

本文提出了一種結(jié)合分塊SIFT特征點(diǎn)提取和拉普拉斯金字塔融合的圖像拼接方法。首先改進(jìn)了SIFT算法對特征點(diǎn)的提取, 先將原有的圖像均勻分塊, 對每一個子塊采用SIFT算法直接進(jìn)行特征點(diǎn)的提取, 保留對比度較高的特征點(diǎn), 該方法能夠更加準(zhǔn)確地提取到特征點(diǎn), 極大地減少了噪點(diǎn); 再利用RANSAC算法去除錯誤的匹配點(diǎn), 以防特征點(diǎn)過多造成匹配效率低; 最后采用拉普拉斯金字塔融合算法對處理后的圖像進(jìn)行拼接, 這種算法可以很好地消除圖像拼接產(chǎn)生的接縫。實(shí)驗(yàn)證明, 該方法可以極大地減少匹配點(diǎn)的數(shù)量, 提高匹配效率, 能夠獲得良好的拼接圖像。