一種CSS-SIFT復合圖像配準算法

李培華，章 盛，劉玉莉，錢名思

（1.中航華東光電有限公司，安徽 蕪湖 241002；2.安徽省現(xiàn)代顯示技術重點實驗室，安徽 蕪湖 241002；3.國家特種顯示工程技術研究中心，安徽 蕪湖 241002；4.特種顯示國家工程實驗室，安徽 蕪湖 241002）

0 引言

圖像配準方法普遍應用于增強現(xiàn)實[1]、雙目視覺[2]、全景拼接[3]等研究方向。2004年David Lowe 團隊提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法[4-5]是圖像配準算法的里程碑，該算法保持了目標平移、旋轉(zhuǎn)與縮放等變化的不變性，國內(nèi)外科研者根據(jù)SIFT 算法實現(xiàn)原理將其分為3個部分，分別是圖像特征檢測、描述子向量形成和匹配，其中為了解決SIFT 算法3 個部分耗時長的問題，2004年，Yan Ke 團隊將主成分分析（Principle Component Analysis，PCA）算法[6]融入到SIFT 算法中，即PCA-SIFT 算法[7]；2006年，Herbert Bay 團隊在SIFT 算法的研究基礎上提出了加速穩(wěn)健特征（Speeded Up Robust Features，SURF）算法[8]，該算法主要有兩方面的優(yōu)化，一是使用Hessian 矩陣提升圖像特征的檢測速度，二是使用Haar 小波生成64 維描述子向量以提升圖像特征的匹配速度；2014年和2015年，楊颯團隊和趙愛罡團隊提出使用壓縮感知原理（Compressed Sensing Principle，CSP）[9]對圖像特征描述子向量降維，降低了圖像特征匹配時間[10-11]；2017年，韓超團隊將Trajkovic 角點檢測算法[12]與稀疏降維原理融入到傳統(tǒng) SIFT 算法中， 得到Trajkovic-SDR-SIFT 算法[13]；2018年，胡為團隊利用內(nèi)部矩陣外部圓形原理將128 維圖像特征描述子向量降維到24 維，并采用隨機抽樣一致性（Random Sample Consensus，RANSAC）算法[14]進行圖像特征的精匹配，最終結(jié)果是優(yōu)化方法在速度和準確率方面都有顯著的提高[15]；2019年，遲英朋團隊將指數(shù)加權平均比率算子（Ratio of Exponentially Weighted Averages，ROEWA）算法[16]和OTSU 算法[17]融入到傳統(tǒng)SIFT 算法中，提升了圖像特征配準的準確率[18]；2020年，程德強團隊利用Sobel 算法[19]優(yōu)化傳統(tǒng)SIFT算法圖像特征描述子部分，再使用歐式距離算法和領域投票方法進行圖像特征的匹配，優(yōu)化SIFT 算法在配準準確率和執(zhí)行速度方面都有一定的提升[20]。

本文針對傳統(tǒng)SIFT 算法圖像配準耗時長的問題，選用曲率尺度空間（Curvature Scale Space，CSS）算法[21]、優(yōu)化SIFT 描述子和優(yōu)化雙向匹配算法對傳統(tǒng)SIFT 算法進行優(yōu)化，得到一種CSS-SIFT 算法。

1 CSS-SIFT 算法

傳統(tǒng)SIFT 算法按照實現(xiàn)原理分成3 個部分：①圖像特征的檢測；②圖像特征分配描述子向量；③圖像特征的匹配。CSS-SIFT 算法根據(jù)傳統(tǒng)SIFT 算法的實現(xiàn)原理，先使用CSS 算法檢測圖像特征，然后使用優(yōu)化SIFT 描述子生成128 維圖像特征描述子向量并利用稀疏投影原理將其降維到24 維，最后利用基于歐式距離和曼哈頓距離相結(jié)合的優(yōu)化方法實現(xiàn)相似性距離匹配，即CSS-SIFT 算法，CSS-SIFT 算法的流程框圖如圖1所示。

1.1 圖像特征的檢測

CSS-SIFT 算法采用CSS 圖像特征檢測算法[21]檢測圖像特征，CSS 圖像特征檢測算法是Mokhtarian 和Suomela 等人于1998年提出的一種圖像特征檢測算法，該算法的圖像特征檢測步驟如下：

第一步：對待配準圖像進行灰度化處理，得到灰度圖像；

第二步：以灰度圖像為對象，采用Canny 算法[22]對其進行處理，得到二值圖像；

第三步：從二值圖像中提取邊緣輪廓，并填充邊緣輪廓中的間隙，找到T 型特征；

第四步：計算所有邊緣輪廓在低尺度下的曲率；

第五步：統(tǒng)計低尺度下的曲率，將局部極大曲率值對應的圖像特征作為備選特征；

第六步：從最低尺度到最高尺度追蹤備選特征來提升定位；

第七步：比較T 型特征和備選特征，剔除兩個相近特征中的一個。

圖1 CSS-SIFT 算法的流程框圖Fig.1 Flow chart of the CSS-SIFT algorithm

1.2 優(yōu)化SIFT 描述子

將稀疏投影原理融入到傳統(tǒng)SIFT 描述子中得到優(yōu)化SIFT 描述子，優(yōu)化SIFT 描述子包括兩個階段，一是生成128 維圖像特征描述子向量，該階段和傳統(tǒng)SIFT 描述子相同，二是使用稀疏投影原理對圖像特征描述子向量進行降維，在仿真實驗中發(fā)現(xiàn)當圖像特征描述子向量降到12 維，圖像的匹配速度有較大的提升，但由于圖像特征的維數(shù)過低，導致圖像特征的匹配數(shù)目降低，匹配效果不理想，因此綜合考慮選擇圖像特征描述子向量為24 維。

假定128 維圖像特征描述子向量為K，利用128×128 維小波變換基矩陣Ψ將128 維圖像特征描述子向量轉(zhuǎn)換成128 維稀疏向量Y，再利用24×128 維的隨機投影矩陣R∈R24×128將128 維稀疏向量Y降維為24 維測量向量K′，將得到24 維測量向量K′作為圖像特征描述子向量，如式(1)所示：

式中：K′表示24 維測量向量；R表示24×128 維的隨機投影矩陣；Y表示128 維的稀疏向量；Ψ表示128×128 維的小波變換基矩陣；K表示128 維的圖像特征描述子向量。

1.3 圖像特征的匹配

本文在圖像特征的匹配階段采用歐式距離和曼哈頓距離相結(jié)合的相似性距離算法進行雙向匹配。假定對圖像A 與圖像B 進行圖像配準，先設定圖像A中特征描述子向量為Ui(x1,x2,x3,…,x22,x23,x24)和圖像B 中特征描述子向量為Vj(y1,y2,y3,…,y22,y23,y24)，則圖像A 到圖像B 的圖像特征匹配采用歐式距離作為相似性距離，歐式距離定義式如式(2)所示，圖像B 到圖像A 的圖像特征匹配采用曼哈頓距離作為相似性距離，曼哈頓距離定義式如式(3)所示：

式中：xm表示圖像A 中特征描述子向量的元素；ym表示圖像B 中特征描述子向量的元素；d(Ui,Vj)表示圖像A 到圖像B 的特征相似性距離值，d(Vj,Ui)表示圖像B 到圖像A 的特征相似性距離值。

假定圖像A 和圖像B 的特征集分別是U和V，其中的元素分別是Ui和Vj，圖像特征的匹配步驟如下：

1）首先以圖像A 特征集U中的圖像特征Ui為參考對象，使用公式(2)遍歷圖像B 特征集V中的圖像特征，得到d的最小值對應的最近鄰圖像特征V1j和次最小值對應的次最近鄰圖像特征V2j；然后比較d的最小值與次最小值的比值是否滿足公式(4)，如果滿足，則圖像B 特征集V中的圖像特征V1j與圖像A 特征集U中的圖像特征Ui是一對匹配圖像特征；最后遍歷圖像A 特征集U中所有圖像特征，得到圖像特征匹配集O；

式中：d(Ui,V1j)、d(Ui,V2j)分別表示特征集U中的特征Ui與特征集V中的最近鄰特征V1j、次最近鄰特征V2j的相似性距離值，Th1表示閾值，本文設定Th1的值為0.75。

2）以圖像B 特征集V為參考對象，使用公式(3)和公式(5)在圖像A 特征集U中尋找匹配圖像特征，得到圖像特征匹配集H；

式中：d(Vi,U1j)、d(Vi,U2j)分別表示特征集V中的特征Vi與特征集U中的最近鄰特征U1j、次最近鄰特征U2j的相似性距離值，Th2表示閾值，本文設定Th2的值為0.75。

3）比較圖像特征匹配集O與圖像特征匹配集H中匹配圖像特征，取出完全相同的匹配圖像特征組成最終的圖像特征匹配集F。

2 實驗結(jié)果

實驗仿真軟件為MATLAB R2014a，實驗仿真硬件為計算機，計算機的中央處理器配置是Intel Core i3-3240 CPU @ 3.40 GHz 、四核CPU、內(nèi)存配置是4096MB RAM、操作系統(tǒng)配置是Windows 7 旗艦版32 位。

仿真實驗分成2 個階段：①選擇3 種類型圖像作為實驗一的源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，分別是立體匹配庫中的Tsukuba 圖像、異源融合庫中 Kaptein 紅外圖像和 Normal Brain Database 庫中的MR_T1 腦部醫(yī)學圖像；②從立體匹配庫中分別隨機選取100、200、300、400 對待配準圖像作為實驗二的圖像庫，實驗二圖像庫中僅有源圖像和右視圖像，以驗證CSS-SIFT 算法的可靠性和實用性。

圖2(a)～(e)分別是立體匹配庫中的Tsukuba 可見光源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，像素大小為384×288；圖2(a2)～(e2)是異源融合庫中Kaptein 紅外源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，像素大小為550×400；圖2(a3)～(e3)是Normal Brain Database 庫中的MR_T1 腦部醫(yī)學源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像，圖像為165×200 像素。

圖2 實驗一待配準圖像Fig.2 Registration images of the experiment one

實驗一分別使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 種算法對實驗一圖像進行配準實驗，實驗步驟首先圖2(a)分別與圖2(b)～(e)進行配準實驗，總共24 組實驗；然后圖2(a2)分別與圖2(b2)～(e2)進行圖像配準實驗，總共24 組實驗；最后圖2(a3)分別與圖2(b3)～(e3)進行配準實驗，總共24 組實驗，即源-右視配準、源-下視配準、源-形變配準和源-旋轉(zhuǎn)配準。實驗一得到圖像特征的檢測結(jié)果如圖3(a)～(r)、圖4(a)～(r)、圖5(a)～(r)、圖6(a)～(r)與圖7(a)～(r)所示，圖像特征的匹配結(jié)果如圖8(a)～(l)、圖9(a)～(l)、圖10(a)～(l)、圖11(a)～(l)、圖12(a)～(l)與圖13(a)～(l)所示。

實驗一為了能夠?qū)Ρ雀魉惴ㄖg的效率，選擇圖像特征數(shù)目、匹配數(shù)目、正確匹配數(shù)目、配準準確率、配準時間與配準時間下降率一共6 個參數(shù)作為評價指標，其中圖像特征配準準確率和圖像配準時間下降率的計算公式如式(6)和(7)所示。實驗一的評價指標對比分析圖如圖14(a)～(f)所示，通過圖14(d)可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT算法相比，圖像特征配準準確率相當。通過圖14(f)可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT 算法相比，圖像配準速度方面有一定的提升。

圖3 源圖像的特征檢測結(jié)果圖Fig.3 The results graphs of source image feature detection

圖4 右視圖像的特征檢測結(jié)果圖Fig.4 The results graphs of right image feature detection

圖5 下視圖像的特征檢測結(jié)果圖Fig.5 The results graphs of down image feature detection

圖6 形變圖像的特征檢測結(jié)果圖Fig.6 The results graphs of deformation image feature detection

圖7 旋轉(zhuǎn)圖像的特征檢測結(jié)果圖Fig.7 The result graphs of rotated image feature detection

圖3(a)～(r)、圖4(a)～(r)、圖5(a)～(r)、圖6(a)～(r)與圖7(a)～(r)表示使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 種算法分別對實驗一源圖像、右視圖像、下視圖像、形變圖像和旋轉(zhuǎn)圖像的特征檢測結(jié)果圖。

圖8 基于傳統(tǒng)SIFT 算法的圖像特征匹配結(jié)果圖Fig.8 The result graphs of image feature matching based on the traditional SIFT algorithm

圖9 基于傳統(tǒng)SURF 算法的圖像特征匹配結(jié)果圖Fig.9 The result graphs of image feature matching based on the traditional SURF algorithm

圖10 基于Forstner-SIFT 算法的圖像特征匹配結(jié)果圖Fig.10 The result graphs of image feature matching based on the Forstner-SIFT algorithm

圖11 基于Harris-SIFT 算法的圖像特征匹配結(jié)果圖Fig.11 The result graphs of image feature matching based on the Harris-SIFT algorithm

圖12 基于Trajkovic-SIFT 算法的圖像特征匹配結(jié)果圖Fig.12 The result graphs of image feature matching based on the Trajkovic-SIFT algorithm

圖13 基于CSS-SIFT 算法的圖像特征匹配結(jié)果圖Fig.13 The result graphs of image feature matching based on the CSS-SIFT algorithm

圖8(a)～(l)、圖9(a)～(l)、圖10(a)～(l)、圖11(a)～(l)、圖12(a)～(l)、圖13(a)～(l)分別表示使用傳統(tǒng)SIFT算法、傳統(tǒng) SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT算法對實驗一中3 種類型圖像的匹配結(jié)果圖，其中每種類型圖像都包括源-右視、源-下視、源-形變和源-旋轉(zhuǎn)，源-右視表示源圖像與右視圖像之間的配準、源-下視表示源圖像與下視圖像之間的配準、源-形變表示源圖像與形變圖像之間的配準和源-旋轉(zhuǎn)表示源圖像與旋轉(zhuǎn)圖像之間的配準。

圖14 圖像配準的對比分析圖Fig.14 Comparison analysis graphs of image registration

圖14(a)～(f)表示使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT算法與CSS-SIFT算法分別對實驗一待配準圖像的特征檢測數(shù)目、匹配數(shù)目、正確匹配數(shù)目、配準準確率、配準時間、配準時間下降率的對比分析圖。

實驗二分別使用傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法與CSS-SIFT 算法分別對包含100對、200 對、300 對、400 對配準圖像的圖像集進行仿真實驗，為了對比各算法之間的效率，選擇圖像特征配準準確率和圖像配準時間兩個參數(shù)作為統(tǒng)計指標，計算公式如式(6)和(7)所示，統(tǒng)計結(jié)果如表1所示，從表1 中數(shù)據(jù)分析可知，CSS-SIFT 算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法、Forstern-SIFT 算法、Harris-SIFT算法、Trajkovic-SIFT 算法在圖像特征配準準確率方面相當，在圖像配準時間方面降低了58.45%、10.68%、14.84%、16.21%與4.63%。

表1 不同規(guī)模圖像集的圖像配準時間、準確率比較Table 1 The comparison of the image registration time,accuracy of different scale image sets

表1 中SIFT 代表傳統(tǒng)SIFT 算法，SURF 代表傳統(tǒng)SURF 算法，F(xiàn)-SIFT 代表Forstern-SIFT 算法，H-SIFT 代表 Harris-SIFT 算法， T-SIFT 代表Trajkovic-SIFT 算法，C-SIFT 代表CSS-SIFT 算法，時間代表圖像配準時間，單位是秒。準確率代表圖像特征配準準確率，單位是%。

3 結(jié)論

本文首先根據(jù)傳統(tǒng)SIFT 算法存在的問題提出了CSS-SIFT 算法，然后通過仿真實驗與其它優(yōu)化算法作對比分析發(fā)現(xiàn)，CSS-SIFT 算法在配準準確率相當?shù)那闆r下提升了配準速度，為圖像配準實時性要求比較高的應用場景提供了一種的解決方案。