基于SIFT算法的全景圖像拼接技術(shù)研究①

文偉東, 張 明

(上海海事大學(xué) 信息工程學(xué)院, 上海 201306)

基于SIFT算法的全景圖像拼接技術(shù)研究①

文偉東, 張 明

(上海海事大學(xué) 信息工程學(xué)院, 上海 201306)

全景圖像拼接技術(shù)即通過將部分重疊區(qū)域的圖像合成以描述某個場景信息的360度圓形圖像. 引用一種新型的基于SIFT(尺度不變特征變換)特征匹配的圖像排序算法, 實現(xiàn)圖像的有序排列, 針對圖像拼接存在的誤匹配點較多、耗時較長等問題, 結(jié)合FAST算法進(jìn)行特征點提取, 接著針對相鄰有序圖像間的亮度差異采用自動校正操作,削弱了相鄰圖像間的亮度差異, 并結(jié)合改進(jìn)的Ransac算法剔除誤匹配點對, 最后用加權(quán)平衡算法實現(xiàn)圖像的快速融合. 實驗結(jié)果表明該優(yōu)化排序算法穩(wěn)定、高效.

全景圖像拼接; 圖像排序; 自動校正; 加權(quán)平衡; 融合

圖像拼接技術(shù)作為一大研究熱點, 主要用于計算機(jī)視覺和數(shù)字圖像處理領(lǐng)域. 圖像拼接技術(shù)即是將同一場景下的兩個或多個重疊圖像通過一系列數(shù)字圖像技術(shù)處理[1], 并且可以獲得包含所有原始圖像信息的新的全景圖像. 近年來, 該技術(shù)被廣泛應(yīng)用于航天, 醫(yī)學(xué),虛擬現(xiàn)實和日常生活等許多領(lǐng)域. 圖像配準(zhǔn)即是找到兩個或更多個圖像的重疊部分, 并建立圖像之間的關(guān)系.圖像配準(zhǔn)算法可以大致分為兩種類型[2], 一種是基于圖像特征的圖像配準(zhǔn), 另一種是基于區(qū)域的圖像配準(zhǔn).

基于特征的圖像配準(zhǔn)通過使用圖像中匹配的局部不變特征來確定圖像之間的幾何變換關(guān)系. 1977年Moravec提出了角點特征和稱為“興趣點”的概念. 他通過灰度自相關(guān)函數(shù)來思考該像素和其領(lǐng)域像素的相似性. 1988年, Harris改進(jìn)了Moravec角, 并提出了Harris角點檢測算法. 繼lindeberg提出了尺度空間理論之后, Mikolajczyk和Schmid提出了具有尺度不變特征的Harris-Laplacian檢測算子和Harris-Affine檢測算子. 2000年, Lowe[3]提出了高效SIFT(尺度不變特征變換)局部特征, 成為局部特征研究領(lǐng)域的里程碑.

文中引用一種基于SIFT特征提取的新型圖像排序算法. 在該方法中, 匹配特征首先通過計算一個圖像和其它圖像之間的匹配點的數(shù)量來獲得最近的圖像, 并逐一計算, 以最終獲得精確的圖像順序, 同時結(jié)合了高效的FAST算法獲取高斯金字塔圖像中的特征點對, 從而提升算法的運(yùn)行效率; 接著針對有序相鄰圖像間的亮度差異, 實行相鄰圖像的亮度差異校正操作, 同時結(jié)合改進(jìn)地Ransac[4]算法剔除錯誤匹配點對, 最后用加權(quán)平衡算法實現(xiàn)圖像的快速融合. 最終實現(xiàn)高質(zhì)量、穩(wěn)定的全景圖像.

1 特征點提取

1.1 SIFT特征點提取

1999年, David G. Lowe教授總結(jié)了現(xiàn)有的基于不變技術(shù)的特征檢測方法, 并在此基礎(chǔ)上提出尺度不變特征變換SIFT-圖像局部特征描述算子. SIFT基于尺度空間, 并且保持對圖像變換的不變性, 例如縮放, 旋轉(zhuǎn)和仿射變換. 并于2004年得到進(jìn)一步改進(jìn).

SIFT特征提取和匹配的過程主要包括四個部分:SIFT特征檢測, SIFT特征描述, SIFT特征匹配和匹配點提純. 具體步驟如圖1所示.

圖1 SIFT特征檢測和匹配的流程圖

SIFT特征提取的過程按如下順序: 極值檢測, 精確定位特征點位置, 計算特征點的主方向以及特征描述符生成.

SIFT算法通過在不同尺度空間上尋找關(guān)鍵點, 高斯模糊是獲取尺度空間的理論支撐[5], 即依據(jù)高斯模板和原圖像做卷積運(yùn)算, 實現(xiàn)模糊圖像. N維空間的正態(tài)分布表示為:

假設(shè)二維高斯模板大小視為m×n, 那么可得出模板上的元素(x, y)映射的高斯值計算公式為:

1.2 基于SIFT特征匹配的圖像排序算法

針對自動排序存在的問題, 如待拼接的圖像需要按順序輸入等, 研究人員提出了各種圖像排序算法. 本文基于SIFT特征匹配引入一種新型圖像排序算法[6]. 該算法可以實現(xiàn)圖像排序, 并且不需要任何手動干預(yù).

I1, I2分別代表兩張圖像. 首先依次提取I1和I2的SIFT特征, 然后進(jìn)行特征匹配. 在理想條件下, 只要I1和I2有重疊區(qū)域, 便可以獲取SIFT特征匹配點對. 如果沒有, 則無法獲取SIFT特征匹配點對. 根據(jù)這個分析, 本文引入一種基于SIFT特征匹配的圖像排序的算法, 設(shè)有圖像集, 集合R=NULL; 圖像的SIFT特征點集, P是存儲圖像匹配點對集合的向量, P=NULL. 具體算法步驟如下:

1) 從集合S中隨機(jī)選一張圖片Im, 1≤m≤n

2) A=1

3) 如果IA屬于R, 則令I(lǐng)m和IA的匹配點對集PA=NULL. 否則, 對Im和IA進(jìn)行配準(zhǔn), 即對tm和tA進(jìn)行SIFT特征匹配, 得到匹配點對集合PA; P=P+PA

4) A=A+1 如果A＞n, 轉(zhuǎn)到步驟5, 否則轉(zhuǎn)到步驟3

5) 計算集合P中Pi的元素個數(shù)di, 1≤i≤n, 得到

6) 找出集合D中的最大值dk, 1≤k≤n, Im的最佳匹配圖像是Ik, 將Ik加入集合R中, 即R=R+Ik

7) 使m=k, 更新n的值, n=n-1

8) 如果n=1, 跳到步驟9, 否則跳到步驟2

9) R=R+(S-R), 算法終止

由以上算法輸出的R即是圖像集序列, 該集合中的圖像在空間場景中有序排列, 能夠直接用于全景圖像拼接.

2 特征點匹配

SIFT算法雖具備旋轉(zhuǎn)不變、光照不變、尺度不變等很多優(yōu)勢, 但該算法也存在如計算復(fù)雜度高、誤匹配點較多等缺點, 影響了全景圖像拼接的真實性, 本文在以下幾點進(jìn)行改進(jìn). 結(jié)合FAST算法依據(jù)高斯差分金字塔圖像來實施特征點提取, 增強(qiáng)算法的運(yùn)行效率, 針對相鄰圖像間的亮度差異, 采用圖像亮度差異自動校正操作, 便于特征點匹配; 同時采用改進(jìn)的RANSAC算法剔除誤匹配點對, 實現(xiàn)更好的圖像融合.

2.1 結(jié)合FAST算法提取特征點

特征點檢測是圖像拼接技術(shù)的第一步, 對整個算法執(zhí)行效率起著關(guān)鍵的作用. 傳統(tǒng)SIFT算法首先建立好高斯金字塔, 接著采取極值點檢測、關(guān)鍵點定位等方法, 復(fù)雜度較強(qiáng). 而FAST算法作為公認(rèn)的快速特征點檢測法, 通過計算某像素點和周圍像素點的灰度差,從而出該像素點是不是極值點, 大大降低了復(fù)雜性, 提高了算法的執(zhí)行效率.

文中在SIFT圖像匹配技術(shù)中結(jié)合FAST算法, 最初隨機(jī)選取某個像素點P, 接著構(gòu)造半徑為3的圓, 比較圓周上選取的16個像素點, 如果像素值中存在四分之三滿足公式4, 即P被視為角點. 圓周上任一點的灰度值視為Ix, P點的灰度值即為Ip, 已知的閾值常數(shù)t. 式中: 滿足界定前提的像素數(shù)量N, 當(dāng)N超過給定閾值, 即P視為一個特征點.

對現(xiàn)有高斯差分金字塔圖像結(jié)合FAST算法特征提取的主要過程如下:

1) 計算中心的點P像素值與圓周邊緣1到9編號的像素點存在的灰度差值, 判斷兩個值的絕對值大小是否超過給定閾值t, 如果都大于即P視為候選特征點, 繼續(xù)下一步計算.

2) 進(jìn)一步計算點P的像素值和圓周邊緣上標(biāo)有點5和點13像素點存在的灰度差值, 如果點1、9、5、13滿足四分之三即至少三個點差值大于給定閾值t或小于它的相反數(shù)-t, 即該點視為候選特征點, 繼續(xù)下一步計算.

3) 反復(fù)執(zhí)行步驟1、2, 遵循準(zhǔn)則檢測完圓周邊緣上16個像素點.

圖2為FAST特征點檢測的模板圖.

圖2 FAST特征點檢測模板圖

2.2 圖像亮度差異自動校正

由于主觀因素, 采集的原始圖像會出現(xiàn)不同程度亮度差異, 故在特征點檢測原始圖像之前先進(jìn)行圖像亮度差異調(diào)整[7], 使得左右兩幅圖像亮度漸進(jìn)一致, 從而獲得更有效的特征點, 同時能改善拼接痕跡, 實現(xiàn)更好融合效果.

根據(jù)前面圖像排序算法確定出的相鄰圖像的重疊區(qū)域, 通過重疊區(qū)域的像素均值削弱拍攝時帶來的亮度差異, 過程如下:

分別計算兩幅相鄰圖像重疊處的像素均值, 記為I1和I2, 即得到公共均值:

依據(jù)公共均值來調(diào)節(jié)I1和I2的亮度差異, 如下式所示:

經(jīng)調(diào)節(jié)后, 待拼接圖像的亮度整體保持一致, 接著按照特征點檢測與匹配操作, 實現(xiàn)高效提取角點、降低誤匹配率、圖像效果更清晰.

2.3 改進(jìn)的Ransac算法剔除誤匹配點對

特征點提取后, 即需確定相鄰兩幅圖像之間特征點對應(yīng)關(guān)系—特征點匹配. 本文通過歸一化相關(guān)法(NCC)[8], 其相關(guān)系數(shù)理論如下:

式中: μ1, μ2代表相關(guān)窗口的像素灰度平均值. 根據(jù)最大相關(guān)性雙向搜索圖像1、2, 當(dāng)特征點彼此重合時, 即認(rèn)為是一對匹配點, 通過該方法搜索直到所有的匹配點對被找到. 不難發(fā)現(xiàn)該算法獲取的匹配點對存在部分“偽點對”, 需通過Ransac(隨機(jī)一致性算法)對以上獲取的匹配點對進(jìn)行過濾, 提高匹配精確率.

傳統(tǒng)的Ransac算法在外點較多時會構(gòu)造錯誤模型,本文的Ransac算法在執(zhí)行之前首先判斷特征點的方向是否相同, 提升匹配點對的準(zhǔn)確率; 同時運(yùn)用臨時模型預(yù)檢測方法以提高算法的執(zhí)行效率. Ransac算法的基本思想: 對象樣本通常包含正常數(shù)據(jù)以及因種種原因生成的異常數(shù)據(jù), 正確的模型通常由正常數(shù)據(jù)建立, 異常數(shù)據(jù)較此模型往往偏離較遠(yuǎn), Ransac算法使用迭代方式估計數(shù)學(xué)模型參數(shù)以獲取有效樣本數(shù), 本文實現(xiàn)算法步驟如下:

1) 計算所有匹配對中特征點方向差, 接著建立位于0到360間含有36個區(qū)的直方圖, 即每個區(qū)為10°, 統(tǒng)計每區(qū)存在的匹配點對數(shù)量, 選取最大區(qū)匹配點對為候選匹配點對.

2) 依據(jù)以上得到的匹配點對中選取5對匹配點, 再從中隨機(jī)選取4對線性估計變換矩陣H, 找到臨時模型,繼而檢驗另外一對是否在模型上, 如不在即放棄重選, 否則作為候選模型并繼續(xù)尋找其支撐點集. 如公式(8)所示:

3) 計算所有匹配點對離H的垂直距離d, 依據(jù)d<閾值t判斷所有匹配點對的內(nèi)點對, 多次實驗對比得出閾值取值越小越穩(wěn)定, 當(dāng)所有匹配點對中正確匹配點對數(shù)的比例不少于93%時, 即認(rèn)為最佳匹配集合.

4) 重復(fù)以上步驟, 直到內(nèi)點對集合最大, 記下H, 即為所求矩陣.

3 圖像融合

通常圖像有序拼接之后會存在明顯縫隙, 因此還需做融合處理[9]. 本文采用加權(quán)平衡算法, 其主要理論:引入漸進(jìn)因子, 范圍在(0, 1)之間. 生成加權(quán)平均[10], 式(9): f11、f22、fw分別為基準(zhǔn)圖像、待匹配圖像及融合后圖像.

圖3 權(quán)值計算方法

4.2 全景圖像拼接實現(xiàn)

圖4是6張無序圖像, 這些圖像從左至右、從上之下分別I1～I(xiàn)6.

圖4 無序的圖片

使用1.2節(jié)中基于SIFT特征匹配的圖像排列算法,6張圖像的計算結(jié)果如表1所示.

表1 基于SIFT特征圖像排序算法過程

在表1中, 交叉點處數(shù)字表示兩圖像之間匹配點數(shù)量. 根據(jù)R中最后一列和最后一行結(jié)果, 可得到排序后圖像, 實現(xiàn)了圖像有序排列.

為了驗證優(yōu)化后算法的高效性, 隨機(jī)選取排序后相鄰兩張圖像進(jìn)行實驗, 其中兩幅圖像之間特征點的連線即一組匹配對, 如圖5(a)和5(b)分別用于拼接的左右原始圖像, 圖6(a)和圖6(b)則代表原始的SIFT算法和改進(jìn)優(yōu)化后算法通過特征點配準(zhǔn)所得實驗結(jié)果, 圖6(c)和7(d)則為最后得到的兩幅圖像的拼接效果.

以上實驗具體運(yùn)行結(jié)果如表2所示, 每次實驗數(shù)據(jù)為重復(fù)五次實驗得到的數(shù)據(jù)均值.

4 實驗結(jié)果及分析

4.1 實驗說明

為了驗證改進(jìn)后算法的可行性, 實驗環(huán)境硬件如

圖5 拼接實驗原始圖

圖6 原始算法和優(yōu)化算法匹配效果

表2 正常實驗下的拼接數(shù)據(jù)

從表2中的實驗數(shù)據(jù)可以得出結(jié)論: 表2中算法改進(jìn)前后完成匹配的時間分別是2.75 s和1.35 s, 效率進(jìn)一步提升. 原因在于改進(jìn)后的算法避免了原SIFT算法對每層高斯差分金字塔采取特征點提取造成的運(yùn)算時間較長問題, 取而代之的是FAST檢測算法相結(jié)合, 快速完成特征點檢測, 進(jìn)一步提高算法效率.

同時改進(jìn)后的算法減少了誤匹配率, 由之前SIFT算法正確匹配率的89%提升到93.9%, 獲取到的匹配點對分別為52對和32對, 即改進(jìn)后算法獲取到的匹配點對數(shù)較少, 從圖6(a)可以很明顯的看到誤匹配點對, 而圖6(b)將誤匹配點對進(jìn)一步剔除; 原因在于Ransac算法在建立正確判斷模型之前采取了特征點對方向特征的判斷操作, 同時運(yùn)用臨時模型預(yù)檢測思想, 從而剔除誤匹配點對, 同時從圖6(c)和圖6(d)對比可看出改進(jìn)后算法因減少了誤匹配點對, 從而避免對應(yīng)圖像關(guān)系錯位,即拼接圖像無明顯條紋、褶皺, 拼接效果更真實.

依據(jù)改進(jìn)后的算法進(jìn)行特征點匹配后, 進(jìn)一步根據(jù)加權(quán)平衡算法實現(xiàn)圖像的快速融合, 最終實現(xiàn)圖像的全景拼接, 效果圖如圖7.

圖7 最終拼接全景圖

5 結(jié)論

針對全景圖像拼接在實際應(yīng)用中存在的復(fù)雜性和誤匹配點對較多問題, 本文引入一種新型的基于SIFT特征提取的全景圖像自動排序算法, 實現(xiàn)了圖像全景拼接, 充分體現(xiàn)了該算法的自動性和適用性. 結(jié)合高效的FAST算法獲取高斯金字塔圖像中特征點對, 從而提升算法運(yùn)行效率; 在特征點提取之前先調(diào)節(jié)圖像的亮度差異, 保證圖像視覺的一致性, 體現(xiàn)了圖像的真實性,同時通過改進(jìn)的RANSAC算法剔除了大量誤匹配點對,提升了算法的精確度. 最終根據(jù)加權(quán)平衡算法實現(xiàn)圖像的快速融合. 實驗表明, 本文的算法優(yōu)化在清晰度、準(zhǔn)確度、效率和自動化程度方面均有較大提高.

1侯舒維, 郭寶龍. 一種圖像自動拼接的快速算法. 計算機(jī)工程, 2005, 31(15): 70–72.

2楊占龍, 郭寶龍. 基于興趣點偽澤尼克矩的圖像拼接. 中國激光, 2007, 34(11): 1548–1552.

3張朝偉, 周焰, 吳思勵, 等. 基于SIFT特征匹配的監(jiān)控圖像自動拼接. 計算機(jī)應(yīng)用, 2008, 28(1): 191–194.

4常青, 張斌, 邵金玲. 基于SIFT和RANSAC的特征圖像匹配方法. 華東理工大學(xué)學(xué)報(自然科學(xué)版), 2012, 38(6): 747–751.

5閆志, 王黎明, 陳平. 基于多目標(biāo)優(yōu)化的SIFT特征匹配算法. 現(xiàn)代電子技術(shù), 2010, 33(12): 99–102.

6李曉娟. 圖像拼接技術(shù)研究[碩士學(xué)位論文]. 西安: 西安電子科技大學(xué), 2007.

7王蕾. 圖像配準(zhǔn)技術(shù)及應(yīng)用研究[碩士學(xué)位論文]. 西安: 西安電子科技大學(xué), 2007.

8Xu PF, Zhang L, Yang KY, et al. Nested-SIFT for efficient image matching and retrieval. IEEE MultiMedia, 2013,20(3): 34–36. [doi: 10.1109/MMUL.2013.18]

9Zhao WJ, Gong SR, Liu Q, et al. An Auto-sorting arithmetic for image sequence used in image mosaics. Journal of Image and Graphics, 2007, 12(10): 1861–1864.

10Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004,60(2): 91–110. [doi: 10.1023/B:VISI.0000029664.99615.94]

Research on Panoramic Image Mosaic Technology Based on SIFT Algorithm

WEN Wei-Dong, ZHANG Ming
(Information Engineering College, Shanghai Maritime University, Shanghai 201306, China)

Panoramic image mosaic technology is a 360-degree circular image that combines the images of some overlapping areas to describe a particular scene. In this paper, a novel image sorting algorithm based on SIFT (Scale Invariant Feature Transform) feature matching is proposed to achieve the orderly arrangement of images. Aiming at the problem that the image mosaic has many mismatch points and takes a long time,the FAST algorithm is used to extract feature points. And then, an auto-correcting operation is adopted for the brightness difference between the adjacent ordered images to reduce the brightness difference, and the modified Ransac algorithm is used to eliminate the mismatching points. Finally, the Weighted Equalization Algorithm is used to realize the Fast fusion of the image. The experimental results show that the algorithm is stable and efficient.

panoramic image stitching; image sorting; automatic calibration; weighted balance; fusion

文偉東,張明.基于SIFT算法的全景圖像拼接技術(shù)研究.計算機(jī)系統(tǒng)應(yīng)用,2017,26(7):227–231. http://www.c-s-a.org.cn/1003-3254/5899.html

2016-11-20; 收到修改稿時間: 2017-01-16