基于SIFT和SURF的醫(yī)學(xué)圖像特征匹配研究

鹿煜煒，胡峻

安徽醫(yī)科大學(xué)第二附屬醫(yī)院 醫(yī)學(xué)工程與信息部，安徽 合肥 230601

基于SIFT和SURF的醫(yī)學(xué)圖像特征匹配研究

鹿煜煒，胡峻

安徽醫(yī)科大學(xué)第二附屬醫(yī)院 醫(yī)學(xué)工程與信息部，安徽 合肥 230601

本文采用基于特征點的匹配算法完成對實驗醫(yī)學(xué)圖像的匹配，從特征點數(shù)量、特征提取時間和匹配準確性等方面比較尺度不變特征變換（SIFT）和快速魯棒特征（SURF）算法，然后采用K最近鄰算法（KNN）去除誤匹配，統(tǒng)計分析不同閾值的隨機抽樣一致算法（RANSAC）和最小中值方差估計算法（LMEDS）與配準結(jié)果的相關(guān)性。本研究建立了基于特征點的醫(yī)學(xué)圖像配準算法程序?qū)嶒炂脚_，實現(xiàn)了多算法融合的醫(yī)學(xué)圖像特征匹配，對進一步探討和改進醫(yī)學(xué)圖像配準提供了研究基礎(chǔ)。

SIFT；SURF；圖像匹配；K最近鄰算法

醫(yī)學(xué)圖像配準是指對兩幅或多幅醫(yī)學(xué)圖像求解最優(yōu)空間幾何變換，使匹配圖像經(jīng)過該變換與被匹配圖像達到空間上的對齊。醫(yī)學(xué)圖像是臨床診斷信息的重要來源，隨著醫(yī)學(xué)成像技術(shù)的持續(xù)進步和醫(yī)學(xué)成像設(shè)備的不斷發(fā)展，可供利用的醫(yī)學(xué)圖像模式也在快速增加。序列圖像和多種模態(tài)圖像提供了比單幅圖像更豐富的信息，有利于全面獲取患者身體某部位或某器官的信息?，F(xiàn)代醫(yī)學(xué)的臨床應(yīng)用需要將不同視場、不同時間、不同模態(tài)的多幅圖像結(jié)合起來進行分析，用非剛性變換來描述圖像之間的空間關(guān)系，以實現(xiàn)多模醫(yī)學(xué)圖像的融合、序列圖像的配準及拼接，從而獲取更多的醫(yī)療信息。目前醫(yī)學(xué)圖像配準主要應(yīng)用于CT、MR、PET等醫(yī)學(xué)圖像的配準融合、顯微圖像的配準拼接、實際醫(yī)學(xué)圖像和標準圖譜的比較、外科手術(shù)導(dǎo)航、心臟運動估計等方面。

圖像特征點匹配是基于局部特征的醫(yī)學(xué)圖像配準的基礎(chǔ)，特征點的提取和描述又是進行圖像匹配的基礎(chǔ)和關(guān)鍵步驟。傳統(tǒng)技術(shù)采用人工提取特征點的方法，工作量大且精確度較低，醫(yī)學(xué)圖像的自動配準是長期以來一直未能很好解決的一個重要問題。圖像工程領(lǐng)域經(jīng)典的局部特征點有Harris角點[1]、K-L角點[2]、HASAN角點[3]等，目前國內(nèi)外比較流行的是David G.Lowe提出并改進的尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法[4-5]及其多種改進算法[6-7]，該算法對圖像縮放、旋轉(zhuǎn)、位移等幾何變化具有不變性，對仿射變換、視角變化、光照變化及噪聲也保持較為穩(wěn)定的適應(yīng)性。Bay等人[8]提出的快速魯棒特征（Speeded up Robust Features，SURF）算法[9]與SIFT稍有不同，其核心是用黑塞矩陣代替SIFT的高斯差分尺度空間檢測特征值。作為圖像配準領(lǐng)域的熱門研究方向，SIFT和SURF系列算法在醫(yī)學(xué)圖像自動提取特征和匹配方面的應(yīng)用尚有待于深入研究[10-12]。

1 特征點提取與配準算法

基于SIFT和SURF算法的圖像配準流程包括：① 特征點描述：檢測特征點，確定特征點主方向，歸一化為一個多維的特征向量；② 特征點匹配：采用K最近鄰算法（K-Nearest Neighbor，KNN）保留最近鄰距離與次近鄰距離比值小于比例閾值的匹配關(guān)系；③ 去除誤匹配：采用隨機參數(shù)估計算法計算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，使得盡量多的匹配特征點間符合這個變換關(guān)系，得到有效配準數(shù)據(jù)。

1.1 SIFT算法

SIFT是一種檢測局部特征的算法，該算法通過求一幅圖中的特征點及其描述子得到特征，整個算法分為以下幾個部分[4-5]：

1.1.1 構(gòu)建尺度空間

尺度空間的目的是模擬圖像數(shù)據(jù)的多尺度特征。一副二維圖像的尺度空間定義為：

圖像金字塔的建立：對于一幅圖像建立其在不同尺度（Scale）的圖像，也稱為子八度（Octave），這是為了Scale-invariant，也就是在任何尺度都能夠有對應(yīng)的特征點，第一個子八度的Scale為原圖大小，后面每個Octave為上一個Octave降采樣的結(jié)果，即原圖的1/4（長寬分別減半），構(gòu)成下一個子八度（高一層金字塔）。金字塔建立見圖1，每一層相鄰的高斯圖像相減，就得到了高斯差分圖像。

1.1.2 檢測DOG尺度空間極值點

每一個采樣點和所有相鄰點比較，中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。一個點如果在DOG尺度空間本層以及上下兩層的26個鄰域中是最大或最小值時，就認為該點是圖像在該尺度下的一個特征點，點X的所有相鄰點，見圖2。

醫(yī)療設(shè)備是醫(yī)院影像科管理的重點，如CT影像設(shè)備、超聲影像設(shè)備、腹腔鏡等醫(yī)療設(shè)備等，隨著現(xiàn)代醫(yī)療衛(wèi)生條件的進步，這些醫(yī)療設(shè)備的精密程度以及造價也不斷提高，因此，加強對設(shè)備的管理與維護，延長設(shè)備的使用壽命，是保證臨床治療效果，控制醫(yī)院運行成本的關(guān)鍵。隨著現(xiàn)代信息技術(shù)的不斷發(fā)展，其在醫(yī)院影像科醫(yī)療設(shè)備管理中的運用也得到了普及，因此，如何打造系統(tǒng)、完善的信息管理模式，推動影像科醫(yī)療設(shè)備的管理與維護是當前醫(yī)院管理工作的重要內(nèi)容。

圖1 高斯金字塔中相鄰尺度兩幅高斯圖像相減得到DOG尺度空間圖像

圖2 DoG尺度空間局部極值檢測

1.1.3 除去不好的特征點

通過擬和三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度（達到亞像素精度），同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性、提高抗噪聲能力。

邊緣響應(yīng)的去除：一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。為了檢測主曲率是否在某域值r下，只需檢測默認參數(shù)取r=10。

1.1.4 關(guān)鍵點方向分配

為了使描述符具有旋轉(zhuǎn)不變性，需要利用圖像的局部特征為每一個關(guān)鍵點分配一個方向。在以關(guān)鍵點為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。梯度直方圖的范圍是0°～360°，其中每10°一個方向，總共36個方向。直方圖的峰值則代表了該關(guān)鍵點處鄰域梯度的主方向，即作為該關(guān)鍵點的方向。簡化為8個方向的梯度直方圖，見圖3。

圖3 梯度直方圖

1.1.5 關(guān)鍵點描述子（特征向量）的生成

圖4 由關(guān)鍵點鄰域梯度信息生成特征向量

1.2 SURF算法

SURF和SIFT的主要區(qū)別是圖像多尺度空間的構(gòu)建方法不同：SIFT建立一幅圖像的金字塔，在每一層進行高斯濾波并求取圖像差進行特征點的提取，而SURF采用的是Hessian Matrix黑森矩陣；SIFT特征建立圖像金字塔處理尺度不變特性，而SURF特征將高斯核近似為一個方波濾波，SURF金字塔僅僅用來作特征點的檢測。

1.3 K最近鄰算法

當兩幅圖像的特征點和特征向量生成后，下一步采用特征向量的歐式距離Dj來作為兩幅圖像中特征點M和N的相似性判定度量[13-14]。

式中，TM=[a1a2…a128]和TN=[b1b2…b128]分別是M和N的特征向量。K最近鄰算法（k取2）比較最近鄰距離與次近鄰距離：如果圖像2的特征點N和P，分別是與圖像1中的特征點M歐式距離最近和次近的兩個特征點，歐式距離分別為Dj=‖TMˉTN‖1和Dk=‖TMˉTP‖1，則保留的匹配，其中最大比例閾值一般取0.8。

1.4 隨機參數(shù)估計算法

隨機參數(shù)估計算法是根據(jù)包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，從而得到有效樣本數(shù)據(jù)。目前有兩種隨機參數(shù)估計算法：隨機抽樣一致算法（Random Sample Consensus，RANSAC）和最小中值方差估計算法（LMEDS）。

RANSAC算法從樣本中隨機抽選出一個樣本子集計算模型參數(shù)，然后計算所有樣本與該模型的偏差，再使用一個預(yù)先設(shè)定好的閾值與偏差比較，當偏差小于閾值時，該樣本點屬于模型內(nèi)點，否則為模型外點，重復(fù)迭代這一過程，最終的模型參數(shù)估計值就是最佳模型參數(shù)[15]。

LMEDS算法與RANSAC不同的是：LMEDS記錄的是所有樣本中偏差值居中的那個樣本的偏差，以及本次計算得到的模型參數(shù)，因此LMEDS不需要預(yù)先設(shè)定閾值。

2 實驗方法與結(jié)果分析

測試數(shù)據(jù)集來自于“哈佛大學(xué)醫(yī)學(xué)圖像庫”連續(xù)序列MRI圖像，11幅分辨率為256×256的序列腦圖像。相鄰圖像兩兩建立匹配關(guān)系，共計10組配準實驗，見表1。

表1 10組配準實驗用圖

實驗開發(fā)和運行環(huán)境：Intel i7-3537U CPU、8GB計算機；Windows8 64bit操作系統(tǒng)；Microsoft Visual Studio 2010、Opencv2.4、C++開發(fā)環(huán)境。

算法流程：① SIFT/SURF進行特征提?。虎?K最近鄰算法對特征進行匹配；③ RANSAC和LMEDS算法篩選正確匹配關(guān)系（圖5）。

圖5 程序算法基本流程

2.1 SIFT/SURF特征提取對比

分別采用SIFT和SURF算法進行特征提取，提取出的特征點，見圖6～7。11幅實驗用圖提取特征點數(shù)量，見表2。10組實驗匹配SIFT/SURF特征點提取時間，見表3。

圖6 MR-T1-62：SIFT特征點

圖7 MR-T1-62：SURF特征點

表2 11幅實驗用圖SIFT/SURF特征點數(shù)（個）

表3 10組實驗匹配SIFT/SURF特征點提取時間（ms）

由表2和表3可知，11幅實驗用圖提取的SURF特征點數(shù)量均多于SIFT特征點數(shù)，相應(yīng)10組匹配程序運行時間也多于SIFT特征提取時間。理論上SURF特征點生成速度遠快于SIFT算法，但是當特征點數(shù)量變化時，特征向量計算耗時會隨之增減。

2.2 特征匹配

采用K最近鄰算法對提取的特征點和特征向量進行匹配，按照表1的10組配準圖分別進行實驗（圖8），可以看到，在相鄰的兩幅序列圖像特征點中，采用K最近鄰算法可以建立大量的匹配對，但是其中存在明顯的誤匹配，需要進一步剔除。

圖8 實驗組1（MR-T1-62：MR-T1-63）的SIFT特征點匹配

對10組配準實驗圖的SIFT和SURF特征分別進行K最近鄰匹配，結(jié)果見表4。

2.3 去除誤匹配

使用RANSAC算法計算參數(shù)模型時，需要預(yù)設(shè)閾值，對實驗組1～5的特征匹配結(jié)果測試RANSAC閾值不同取值時去除誤匹配的性能，閾值取1～19中的奇數(shù)。以實驗組1的SIFT特征匹配為例，閾值取1時模型區(qū)分出內(nèi)點（符合模型視為正確匹配）和外點（不符合模型視為錯誤匹配）見圖9(a)～(b)，觀察可知內(nèi)點保留了正確的匹配，但是外點中也存在大量的正確匹配。實驗對象不變，調(diào)整閾值為7，結(jié)果見圖9(c)～(d)，內(nèi)點中基本保留了全部正確匹配，而外點中除極個別外均為需要剔除的誤匹配。

對實驗組1～5的SIFT和SURF特征匹配結(jié)果進行實驗，不同RANSAC閾值下結(jié)果，見圖10～11。通過對內(nèi)外點圖和結(jié)果折線圖進行觀察可知，閾值在1～7時，內(nèi)點數(shù)隨之明顯上升；閾值＞9時，內(nèi)點數(shù)基本保持穩(wěn)定，而內(nèi)點圖中開始出現(xiàn)部分誤匹配。

圖9 實驗組1的SIFT特征匹配

圖10 實驗組1～5的SIFT特征匹配內(nèi)點數(shù)隨RANSAC閾值變化情況

表4 10組配準實驗圖SIFT/SURF特征點匹配數(shù)

對10組實驗組的SIFT和SURF特征匹配，分別采用LMEDS算法和閾值取9的RANSAC算法去除誤匹配，正確匹配的數(shù)量見圖12，兩種隨機參數(shù)估計算法結(jié)果相近，SURF特征正確匹配數(shù)量多于SIFT特征正確匹配數(shù)量。由于實驗用圖為相鄰序列醫(yī)學(xué)圖像，K近鄰算法生成的匹配正確率較高，故簡潔的LMEDS算法依然保持了與RANSAC算法相似的高性能。若處理對象偏差或干擾較大，LMEDS算法性能可能隨之快速下降，使用可調(diào)閾值的RANSAC算法可獲得更好的性能。

圖11 實驗組1～5的SURF特征匹配內(nèi)點數(shù)隨RANSAC閾值變化情況

圖12 LMEDS與RANSAC（Th=9）計算正確匹配數(shù)量

3 結(jié)論

本文選擇MR序列圖像作為實驗研究對象，分別采用SIFT和SURF算法自動提取特征點，對比兩種算法可生成特征點的數(shù)量和算法運行時間；使用特征點之間的歐式距離作為相似性判定度量，采用K最近鄰法建立匹配關(guān)系；分別采用兩種隨機參數(shù)估計算法：隨機抽樣一致算法和最小中值方差估計算法得到全局最優(yōu)的參數(shù)估計，從匹配中去除錯誤匹配，分析RANSAC閾值選擇與匹配篩選之間的關(guān)系，對比兩種隨機參數(shù)估計算法的實驗結(jié)果；在實驗結(jié)果分析基礎(chǔ)上建立一套可行的醫(yī)學(xué)圖像特征自動提取和配準的程序方案，為后續(xù)深入研究基于特征的醫(yī)學(xué)圖像配準提供了基礎(chǔ)數(shù)據(jù)和平臺條件。

[1]Harris C,Stephens M.A combined corner and edge detector[A].Proceding of the Fourth Alvey Vision Conference[C].Manchester,UK,1988:147-151.

[2]Tomasi C,Kanade T.Detection and Tracking of Point Features[R].Carnegie Mellon University Technical Report CMU-CS-91-132,1991.

[3]Smith SM,Brady JM.SUSAN:A new approach to low level image Processing[J].Int J Comput Vis,1997,23(1):45-78.

[4]Lowe DG.Object recognition from local scale-invariant features[A].International Conference on Computer Vision[C].Corfu,Greece,1999:1150-1157.

[5]Lowe DG.Distinctive image features from scale-invariant keypoints[J].Int J Comput Vis,2004,60(2):91-110.

[6]Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C].Conf Proc Computer Vision and Pattern Recognition,2004:511-517.

[7]Mikolajczyk K,Schmid C.A performance evaluation of local descriptor[J].IEEE Trans Pattern Anal Mach Intell,2005,27(10):1615-1630.

[8]Bay H,Ess A,Tuytelaars T,et al.SURF:Speeded-up robust features[J].Comput Vis Image Underst,2008,110(3):346-359.

[9]Juan L,Gwun O.A Comparison of SIFT,PCA-SIFT and SURF[J].Int J Image Proc,2009,3(4):143-152.

[10]王如杰.基于特征融合的醫(yī)學(xué)圖像檢索[D].南京:南京理工大學(xué),2013.

[11]王玉亮,沈建新,廖文和.基于SIFT特征的眼底圖像自動拼接[J].中國圖象圖形學(xué)報,2011,16(4):654-659.

[12]張少敏,支力佳,趙大哲,等.融合SIFT特征的熵圖估計醫(yī)學(xué)圖像非剛性配準[J].中國圖象圖形學(xué)報,2012,17(3):412-418.

[13]余小鵬,周德翼.一種自適應(yīng)k-最近鄰算法的研究[J].計算機應(yīng)用研究,2006,23(2):70-72.

[14]王曉嘩,王正歐.K-最近鄰分類技術(shù)的改進算法[J].電子與信息學(xué)報,2005,27(3):487-491.

[15]曲天偉,安波,陳桂蘭.改進的RANSAC算法在圖像配準中的應(yīng)用[J].計算機應(yīng)用,2010,30(7):1849-1851.

Research on Medical Image Matching Based on SIFT and SURF Features

The paper adopted the matching algorithm based on characteristic points to accomplish image matching in experimental medicine.The two algorithms: scale-invariant feature transform (SIFT) and speeded up robust features (SURF) were compared in aspects of characteristic points,characteristic extraction time and matching veracity.Then the K-nearest neighbor (KNN) algorithm was used to eliminate mismatching points.The paper also carried on statistical analysis of the results of random sample consensus (RANSAC) and least median of squres (LMEDS) as well as the correlation between matching veracity and algorithms.This research established a medical image matching platform based on characteristic points in order to provide a research basis for the further research and improvement of medical image matching.

scale-invariant feature transform;speeded up robust features;image matching;K-nearest neighbor algorithm

LU Yu-wei,HU Jun
Department of Medical Engineering and Information,the Second Affiliated Hospital of Anhui Medical University,Hefei Anhui 230601,China

TN911.23

A

10.3969/j.issn.1674-1633.2016.04.008

1674-1633(2016)04-0040-05

2015-11-11

安徽省級質(zhì)量工程項目（2015sjjd008、2015jyxm191）。

胡峻，安徽醫(yī)科大學(xué)第二附屬醫(yī)院醫(yī)學(xué)工程與信息部部長，正高級工程師。

通訊作者郵箱：70602345@qq.com