基于改進(jìn)SURF算法的紅外圖像拼接

夏磊 胡欣宇 岳亞偉 薛曉琴

摘 要：加速魯棒特征（SURF）算法因其配準(zhǔn)精度較高而被廣泛應(yīng)用，但該算法采用固定閾值、單向匹配規(guī)則進(jìn)行特征點(diǎn)匹配，無法滿足紅外圖像多變性的特點(diǎn)。因此，在SURF算法基礎(chǔ)上提出基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法，即參考圖像與待配準(zhǔn)圖像的特征點(diǎn)，分別通過相似性度量準(zhǔn)則找到其在對(duì)應(yīng)圖像上的匹配點(diǎn)，并將匹配過程中所求最近距離點(diǎn)與次近距離點(diǎn)的最小比值作為匹配閾值。實(shí)驗(yàn)采用兩幅及多幅圖像對(duì)改進(jìn)SURF算法的性能進(jìn)行驗(yàn)證。結(jié)果表明，改進(jìn)SURF算法在保持高實(shí)時(shí)性的基礎(chǔ)上，配準(zhǔn)精度較傳統(tǒng)SURF算法提升約10%。

關(guān)鍵詞：紅外圖像;SURF;雙向匹配;自適應(yīng)閾值;圖像拼接;特征點(diǎn)

中圖分類號(hào)：TP399文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2020）06-00-04

0 引 言

紅外圖像是由成像設(shè)備捕捉目標(biāo)和背景向外輻射的能量差而形成的[1]。因其成像的特殊性，使其具有突出優(yōu)勢(shì)：可全天候采集;具有很強(qiáng)的穿透能力，可透過霧、霾及大氣而探測(cè)目標(biāo);每個(gè)像素點(diǎn)的灰度值基本保持穩(wěn)定[2]。

基于以上優(yōu)勢(shì)，紅外圖像被廣泛應(yīng)用于航天、航空、航海等軍事及民用醫(yī)療領(lǐng)域，如弱小紅外目標(biāo)跟蹤和識(shí)別探測(cè)、紅外預(yù)警、環(huán)視掃描與紅外線探傷等[3]。而在實(shí)際應(yīng)用中，紅外圖像存在視角窄、分辨率低等多種限制因素。為解決上述問題，獲得更寬視角的紅外圖像，需采用紅外圖像拼接

技術(shù)。

圖像拼接包含圖像配準(zhǔn)和圖像融合兩大關(guān)鍵技術(shù)[4]。其中，圖像配準(zhǔn)為圖像拼接技術(shù)的核心，對(duì)圖像拼接的成功率和運(yùn)行速度有直接影響[5]?；赟URF（Speed Up Robust Features）算法的較高配準(zhǔn)精度與高實(shí)時(shí)特性[6]，本文采用SURF算法進(jìn)行紅外圖像特征點(diǎn)提取。自SURF算法興起以來，大量學(xué)者對(duì)特征點(diǎn)檢測(cè)和特征點(diǎn)提純進(jìn)行了改進(jìn)[7-10]，而特征點(diǎn)粗匹配中的誤匹配情況未得到顯著改善。紅外圖像為灰度圖像，具有分辨率較低、噪聲較高的特點(diǎn)，導(dǎo)致特征點(diǎn)檢測(cè)時(shí)，可能出現(xiàn)較多偽特征點(diǎn)，從而增加誤匹配率。特征點(diǎn)誤匹配率的增加會(huì)影響特征點(diǎn)提純的時(shí)間，使圖像配準(zhǔn)的實(shí)時(shí)性降低。本文針對(duì)SURF特征點(diǎn)誤匹配率高的問題，提出基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法。

1 改進(jìn)SURF算法的紅外圖像配準(zhǔn)

基于SURF算法的紅外圖像配準(zhǔn)包含檢測(cè)圖像特征點(diǎn)、確定特征點(diǎn)主方向、生成特征點(diǎn)描述符及特征點(diǎn)匹配模塊。

1.1 檢測(cè)圖像特征點(diǎn)

SURF算法通過Hessian矩陣行列式的局部極大值來檢測(cè)圖像的特征點(diǎn)。在尺度因子σ（下文所見σ均為尺度因子）下，圖像中任意像素點(diǎn)X=（x， y）的Hessian矩陣可表示為：

式中，Lxx（X， σ）表示二階高斯偏導(dǎo)數(shù)與圖像的卷積結(jié)果，其他同理可求。

SURF算法使用方塊濾波器近似代替二階高斯濾波。設(shè)方塊濾波器在圖像中任意像素點(diǎn)X=（x， y）進(jìn)行濾波后的結(jié)果為Dxx，Dyy和Dxy，Hessian矩陣的行列式可表示為：

式中，w的值取決于σ，w的取值對(duì)實(shí)際檢測(cè)特征點(diǎn)的影響較小，一般取w=0.9。Hessian矩陣的行列式可表示為：

在求得圖像每個(gè)像素點(diǎn)的Hessian矩陣行列式后，設(shè)定閾值，篩選方塊濾波響應(yīng)。將篩選得到的點(diǎn)與同層8個(gè)鄰域像素點(diǎn)及上、下相鄰兩層對(duì)應(yīng)的18個(gè)像素點(diǎn)進(jìn)行比較，可得圖像特征點(diǎn)，如圖1所示。

1.2 確定特征點(diǎn)主方向

SURF算法特征點(diǎn)主方向是通過特征點(diǎn)鄰域像素點(diǎn)的Haar小波響應(yīng)確定的，具體步驟：計(jì)算以特征點(diǎn)為中心，以6σ為半徑的鄰域內(nèi)像素點(diǎn)的Haar小波響應(yīng);利用60°的窗口對(duì)該圓形鄰域遍歷，得到6個(gè)扇形區(qū)域，分別計(jì)算6個(gè)扇形區(qū)域內(nèi)像素點(diǎn)的Haar小波響應(yīng)累加值，得到6個(gè)方向矢量;6個(gè)方向矢量最大值的方向即為特征點(diǎn)的主方向。

1.3 生成特征點(diǎn)描述符

SURF特征點(diǎn)描述符同樣通過特征點(diǎn)鄰域內(nèi)像素點(diǎn)的Haar小波響應(yīng)求得，具體步驟如下：

（1）沿著每個(gè)特征點(diǎn)主方向分別構(gòu)造以特征點(diǎn)為中心，大小為20σ×20σ的正方形區(qū)域;

（2）將步驟（1）中構(gòu)造的正方形區(qū)域等分為16份，即得到16個(gè)子區(qū)域，然后在每個(gè)子區(qū)域中按照5×5的間隔進(jìn)行采樣，對(duì)每個(gè)采樣點(diǎn)分別計(jì)算相對(duì)特征點(diǎn)主方向的水平Haar小波響應(yīng)和垂直Haar小波響應(yīng)，并將其記為dx和dy;

（3）將步驟（2）求得的每個(gè)子區(qū)域采樣點(diǎn)的dx和dy進(jìn)行求和運(yùn)算，可以得到該子區(qū)域的Σdx，Σ|dx|，Σdy，Σ|dy|，每個(gè)子區(qū)域可得到一個(gè)4維向量，因此一個(gè)特征點(diǎn)將形成16×4=64維的特征向量。

1.4 特征點(diǎn)匹配

傳統(tǒng)的SURF算法進(jìn)行特征點(diǎn)匹配時(shí)采用距離準(zhǔn)則進(jìn)行相似性度量。設(shè)參考圖像任一特征點(diǎn)p的描述向量為D1，待配準(zhǔn)圖像任一特征點(diǎn)q的描述向量為D2。則這兩點(diǎn)之間的距離可采用式（4）所示的相似性度量公式進(jìn)行計(jì)算：

式中：dis表示采用歐氏距離所求的兩點(diǎn)間距離;n為特征點(diǎn)描述向量的維數(shù)。由式（4）可以得到待配準(zhǔn)圖像上每個(gè)特征點(diǎn)對(duì)應(yīng)于參考圖像上的最近距離點(diǎn)與次近距離點(diǎn)，并記錄最近距離值與次近距離值。之后由式（5）確定參考圖像上的最近距離點(diǎn)是否為待配準(zhǔn)圖像上的匹配點(diǎn)。

式中，T為比值閾值，通常取0.5～0.7，本文取T=0.6。

改進(jìn)SURF采用基于雙向匹配策略的自適應(yīng)閾值匹配算法，使其對(duì)多種應(yīng)用場(chǎng)景下的紅外圖像具有普適性。所謂雙向匹配策略，即將參考圖像與待配準(zhǔn)圖像的特征點(diǎn)分別通過相似性度量準(zhǔn)則找到其在對(duì)應(yīng)圖像中的匹配點(diǎn)，然后比較所求的兩個(gè)匹配點(diǎn)集，這兩個(gè)匹配點(diǎn)集中相同的部分即為匹配結(jié)果。自適應(yīng)閾值的計(jì)算步驟如下：

（1）求取待配準(zhǔn)圖像相對(duì)參考圖像的匹配點(diǎn)集，根據(jù)

式（4）和式（5），計(jì)算待配準(zhǔn)圖像中所有特征點(diǎn)對(duì)應(yīng)于參考圖像特征點(diǎn)的距離比，記錄比值屬于[0.5，0.7]區(qū)間的匹配點(diǎn)，得到集合Q，相對(duì)應(yīng)的比值集記為A;

（2）求取參考圖像相對(duì)待配準(zhǔn)圖像的匹配點(diǎn)集，根據(jù)

式（4）和式（5），計(jì)算參考圖像各特征點(diǎn)對(duì)應(yīng)于待配準(zhǔn)圖像特征點(diǎn)的距離比，記錄比值屬于[0.5，0.7]區(qū)間的匹配點(diǎn)，得到集合P，相對(duì)應(yīng)的比值集記為B;

（3）求以上2個(gè)匹配點(diǎn)集的公共子集，將集合P與集合Q的交集記為R，并選取A與B中對(duì)應(yīng)比值的最小值作為交集R中匹配點(diǎn)的比值集，記為V;

（4）求自適應(yīng)閾值，比值集V的最小值即為特征點(diǎn)匹配的自適應(yīng)閾值。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境及總體流程

驗(yàn)證改進(jìn)SURF算法性能的實(shí)驗(yàn)環(huán)境為8G內(nèi)存的PC機(jī)、Windows 7操作系統(tǒng)、英特爾奔騰雙3.1 GHz的CPU與Matlab 2016b開發(fā)工具。在實(shí)驗(yàn)流程中，首先對(duì)待拼接的若干幅紅外圖像進(jìn)行預(yù)處理，然后提取紅外圖像的特征點(diǎn)，采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法完成特征點(diǎn)的匹配，采用RANSAC算法求取兩幅紅外圖像的變換模型，最后采用加權(quán)平均法進(jìn)行圖像融合，即可完成兩幅圖像的拼接。實(shí)驗(yàn)整體流程如圖2所示。

2.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用配準(zhǔn)時(shí)間和均方根誤差（Root Mean Square Error，RMSE）作為衡量指標(biāo)[11]，對(duì)算法性能進(jìn)行定量分析。配準(zhǔn)時(shí)間由程序運(yùn)行時(shí)間獲取，均方根誤差的計(jì)算公式

如下：

式中：pi和q'i分別表示匹配點(diǎn)在變換前后的坐標(biāo);M為兩幅圖像之間的變換矩陣;f（q'i， M）表示q'i經(jīng)矩陣M變換后的實(shí)際坐標(biāo);k為最終匹配點(diǎn)的對(duì)數(shù)。

2.2.1 兩幅紅外圖像拼接

對(duì)不同視角和不同時(shí)相下采集的紅外圖像進(jìn)行拼接實(shí)驗(yàn)。

（1）分別采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法對(duì)不同視角紅外圖像進(jìn)行拼接實(shí)驗(yàn)。圖3（a）、圖3（b）為不同視角拍攝的紅外圖像，圖3（c）為采用固定閾值單向匹配算法得到的配準(zhǔn)、拼接結(jié)果，圖3（d）為采用自適應(yīng)閾值雙向匹配算法得到的配準(zhǔn)、拼接結(jié)果。表1為兩種配準(zhǔn)算法的定量結(jié)果。

（2）分別采用固定閾值單向匹配算法和自適應(yīng)閾值雙向匹配算法對(duì)不同時(shí)相紅外圖像進(jìn)行拼接實(shí)驗(yàn)。圖4（a）、圖4（b）為不同時(shí)相拍攝的紅外圖像，圖4（c）為采用固定閾值單向匹配算法得到的配準(zhǔn)、拼接結(jié)果，圖4（d）為采用自適應(yīng)閾值雙向匹配算法得到的配準(zhǔn)、拼接結(jié)果。表2為兩種配準(zhǔn)算法的定量結(jié)果。

觀察圖3和圖4可以發(fā)現(xiàn)，不同視角和不同時(shí)相的兩幅紅外圖像分別采用固定閾值單向匹配和自適應(yīng)閾值雙向匹配算法的配準(zhǔn)結(jié)果相差甚微，拼接效果均達(dá)到了理想視覺效果。分析表1和表2可知，相對(duì)于固定閾值單向匹配算法，采用自適應(yīng)閾值雙向匹配可縮短配準(zhǔn)時(shí)間，同時(shí)降低RMSE。實(shí)驗(yàn)結(jié)果表明，改進(jìn)SURF算法可較大幅度降低特征點(diǎn)誤匹配率。由于改進(jìn)SURF算法具有誤匹配率低的特點(diǎn)，在采用RANSAC算法求取兩幅紅外圖像的變換模型時(shí)會(huì)有更多的正確匹配點(diǎn)對(duì)，從而減少迭代次數(shù)，縮短配準(zhǔn)時(shí)間。

2.2.2 多幅紅外圖像拼接

對(duì)5幅及6幅紅外圖像分別采用固定閾值單向匹配和自適應(yīng)閾值雙向匹配進(jìn)行圖像配準(zhǔn)。實(shí)驗(yàn)時(shí)，通過兩兩拼接得到最終的拼接結(jié)果。其中，圖5（a）為5幅待拼接圖像，

圖6（a）為6幅待拼接圖像。圖5（b）和圖6（b）分別為5幅、6幅紅外圖像采用2種配準(zhǔn)算法的拼接結(jié)果（由于2種配準(zhǔn)算法的拼接結(jié)果相差甚微，本文只展示1個(gè)拼接結(jié)果）。表3、表4分別為5幅、6幅紅外圖像配準(zhǔn)的定量對(duì)比結(jié)果。

觀察圖5（b）的拼接結(jié)果發(fā)現(xiàn)，拼接圖像中的建筑物、路燈、橋和樹渾然一體，達(dá)到無縫拼接的效果。由圖6（b）的拼接結(jié)果觀察得到，圖中拼接縫均可平滑過渡，得到一幅寬視角圖。但由于待拼接圖像存在大尺度縮放，使得拼接圖像出現(xiàn)模糊。由表3與表4可得，相對(duì)于固定閾值單向匹配算法，采用自適應(yīng)閾值雙向匹配的配準(zhǔn)時(shí)間縮短，且RMSE有一定程度的降低。因此，改進(jìn)SURF算法可有效提高紅外圖像配準(zhǔn)精度，并一定程度上降低紅外圖像配準(zhǔn)時(shí)間。

3 結(jié) 語

本文基于改進(jìn)SURF算法對(duì)紅外圖像進(jìn)行配準(zhǔn)，以達(dá)到紅外圖像拼接的目標(biāo)。針對(duì)傳統(tǒng)固定閾值匹配算法存在的特征點(diǎn)匹配率低的問題，提出了一種基于雙向匹配策略的自適應(yīng)閾值配準(zhǔn)算法，即參考圖像與待配準(zhǔn)圖像的特征點(diǎn)，分別通過相似性度量準(zhǔn)則找到其在對(duì)應(yīng)圖像上的匹配點(diǎn)，并將匹配過程中求得的最近距離點(diǎn)與次近距離點(diǎn)的最小比值作為匹配閾值。對(duì)兩幅及多幅紅外圖像進(jìn)行拼接實(shí)驗(yàn)，驗(yàn)證了所提算法的有效性。實(shí)驗(yàn)結(jié)果表明，所提出的自適應(yīng)閾值雙向匹配算法在保持高實(shí)時(shí)性的基礎(chǔ)上，具有較高的配準(zhǔn)精度。

參考文獻(xiàn)

[1]王菲.一種改進(jìn)的紅外圖像配準(zhǔn)拼接算法研究[D].蘭州：蘭州大學(xué)，2015.

[2]陸園，張明.基于SIFT算法的紅外圖像拼接方法改進(jìn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（8）：165-170.

[3]吳成東，張潤(rùn)，劉寶德，等.基于無人機(jī)航拍圖像拼接算法的優(yōu)化[J].沈陽(yáng)建筑大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，31（1）：182-192.

[4]溫紅艷.遙感圖像拼接算法研究[D].武漢：華中科技大學(xué)，2009.

[5]王茜.無人機(jī)遙感農(nóng)田全景圖像拼接技術(shù)研究[D].楊凌：西北農(nóng)林科技大學(xué)，2017.

[6]胡同喜，牛雪峰，譚洋，等.基于SURF算法的無人機(jī)遙感影像拼接技術(shù)[J].測(cè)繪通報(bào)，2015（1）：55-58.

[7]曹芳，王小攀，朱永豐，等.基于CGXR特征和改進(jìn)融合策略的圖像拼接算法[J].測(cè)繪與空間地理信息，2016，39（5）：94-97.

[8]谷雨，周陽(yáng)，任剛，等.結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J].中國(guó)圖象圖形學(xué)報(bào)，2018，22（6）：842-851.

[9]朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺一致性的柱面全景拼接算法[J].中國(guó)圖象圖形學(xué)報(bào)，2018，21（11）：1523-1529.

[10]樊佩琦，吳誠(chéng)，楊瑞宇，等.一種基于BRISK改進(jìn)的SURF紅外圖像拼接方法[J].紅外技術(shù)，2018，40（1）：27-33.