基于SURF特征點(diǎn)提取的顯微圖像拼接

胡天寒，吳 敏，葉明全，昌 杰，盧小杰，柳玉婷

1 引言

顯微鏡觀察是我們最常用的科研手段之一，長期以來我們一直受困于低倍鏡下視野廣但成像不夠清晰，高倍鏡下可觀察到更細(xì)致的組織細(xì)胞結(jié)構(gòu)形態(tài)但視野狹小，這是顯微鏡的光學(xué)性質(zhì)決定的。隨著科技的進(jìn)步，使用例如病理切片掃描系統(tǒng)這樣的顯微成像系統(tǒng)可以快速完成一張病理切片的全切片高清成像，但成本高，一臺(tái)病理切片掃描系統(tǒng)動(dòng)輒需百萬元經(jīng)費(fèi)，且局限性強(qiáng)，只能觀察普通切片不能觀察到的細(xì)胞。而計(jì)算機(jī)方法中的圖像拼接技術(shù)則可以解決當(dāng)下的問題。

圖像拼接是通過找到相鄰兩幅圖像重合的部分，然后確定兩張圖像之間的變換關(guān)系，最后將兩幅圖像進(jìn)行拼接和融合[1]。常用的圖像拼接算法有直接法和基于特征法，前法[2]因?yàn)槔昧藘煞鶊D像間的像素灰度關(guān)系并用之確定圖像間的坐標(biāo)變換參數(shù)，也被稱為基于圖像灰度值法，該方法充分利用了圖像的基本信息?；谔卣鞯姆椒╗3]通過找到圖像的特征點(diǎn)，然后匹配兩幅圖像的特征點(diǎn)來計(jì)算圖像間的變換參數(shù)。目前常用的是基于特征的圖像拼接方法，即便待拼接的圖像存在一定的傾斜和變形，也可以進(jìn)行很好的拼接，并且允許相鄰兩幅圖像之間有一定的色差。

常見的基于特征的匹配算法有SIFT(Scale Invariant Feature Transform)算法，又稱為尺度不變特征變換[4-6]和SURF(Speeded-up Robust Features)算法，即快速魯棒特征算法[7]。SIFT算法是英屬哥倫比亞教授David Lowe于1999年首先提出的局部特征描述子，在幾年間得到了深入的發(fā)展和完善，該算法具有很強(qiáng)的健壯性，可以較好的處理兩幅圖像在不同條件下的匹配問題，比如平移、旋轉(zhuǎn)和仿射變換等。Bay在2006年提出了SURF算法[8]，它被稱為SIFT算法的加速版，該算法采用了積分圖像的概念以及Harris角點(diǎn)的特征，在多幅圖像拼接下具有更好的魯棒性[9-11]。特征點(diǎn)提取算法目前在人臉識(shí)別、機(jī)器視覺等諸多領(lǐng)域應(yīng)用廣泛[12-13]，但在顯微圖像的應(yīng)用上卻研究甚少。常用于顯微圖像拼接的是基于SIFT特征點(diǎn)提取算法，盡管能在較大程度上解決上面提出的問題，但由于圖片自身顏色以及圖片內(nèi)容上的變化，導(dǎo)致圖像的正確匹配率較低[14-16]。

本文針對(duì)組織切片圖像的特殊性，提出一種基于SURF特征點(diǎn)提取的顯微圖像拼接算法。首先采用SURF特征點(diǎn)提取算法用于特征的匹配，接著采用RANSAC算法剔除不相關(guān)和不匹配的特征點(diǎn)，最后用加權(quán)平滑的方法消除圖像間的拼接縫并對(duì)背景亮度不均勻的問題進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明該方法是精確和有效的，可以將高倍鏡下采集得到的多幅圖片完整拼接成一幅圖片。

2 圖像的拼接方法

2.1 特征點(diǎn)的提取與匹配

為了使圖像的拼接在具有較好的精度和魯棒性的同時(shí)又兼具較好的實(shí)時(shí)性，本文采用Bay等人[8]提出的SURF算法提取圖像的特征點(diǎn)。

SURF算法(即快速魯棒特征算法)，該算法的簡化近似思路主要借鑒于SIFT算法，簡化對(duì)象主要針對(duì)DoH中的高斯二階微分模板，在此算法中圖像濾波的完成只需幾個(gè)加減法的運(yùn)算即可。

通過實(shí)驗(yàn)表明，SURF算法在性能上要遠(yuǎn)遠(yuǎn)優(yōu)于SIFT算法，并且在運(yùn)算速度上也提高了很多。

應(yīng)用SURF算法提取特征點(diǎn)的步驟主要如下：

1)首先檢測(cè)尺度空間的極值。

2)次之精煉特征點(diǎn)的位置。

3)然后計(jì)算特征點(diǎn)的信息。

2.2 圖像配準(zhǔn)

圖像配準(zhǔn)是對(duì)需拼接的兩幅圖像間重合的區(qū)域和位置進(jìn)行確定。文中采用的圖像配準(zhǔn)算法主要基于SURF特征點(diǎn)提取，即首先通過匹配特征點(diǎn)對(duì)并以此計(jì)算兩幅圖像間的變換矩陣，然后用這個(gè)變換矩陣實(shí)現(xiàn)兩幅圖像之間的拼接。文中在計(jì)算圖像之間的變換矩陣時(shí)采用的是RANSAC算法，RANSAC算法首先剔除掉不相關(guān)的外點(diǎn)，再使用剩下的特征點(diǎn)進(jìn)行最小二乘擬合，得到變換矩陣H。該算法能夠提高圖像配準(zhǔn)的精確度，并能夠得到較好的空間映射模型，從而達(dá)到比較滿意的圖像拼接效果。

變換矩陣H的計(jì)算是圖像配準(zhǔn)的重要核心，這里我們假設(shè)投影變換是圖像之間變換的方式，如(1)所示：

(1)

式中，H的自由度為8。在此假設(shè)匹配的特征點(diǎn)對(duì)為p=(x,y)，q=q(x′,y′)，根據(jù)投影的變換公式模型則可得到式(2)，用4組最佳匹配點(diǎn)對(duì)計(jì)算可得8個(gè)H矩陣自由度參數(shù)，參數(shù)hi=(i=0,1,…,7)，然后把這些參數(shù)作為初始值。

(2)

2.3 圖像融合

依據(jù)兩幅圖像之間的變換矩陣H將圖像進(jìn)行相應(yīng)變換稱圖像融合，圖像間重合的區(qū)域由此確定，然后把需融合的兩幅圖像分別映射到空白圖像中，得到圖像拼接后的效果圖。通過變換映射矩陣，將需融合圖像的最佳匹配特征點(diǎn)映射投影到新圖像相對(duì)應(yīng)的坐標(biāo)位置，兩幅待拼接的圖像即可在新圖像的最佳匹配特征點(diǎn)的坐標(biāo)位置處進(jìn)行融合。

由于顯微鏡拍攝的多幅圖片亮度不同，導(dǎo)致在圖像融合過程中，拼接后的圖像中拼接縫兩端有明顯的亮度變化及不同程度的變形。因此，若要使拼接后圖像能夠獲得視覺上的一致性，那就需要在融合圖像的過程中進(jìn)行拼接縫的處理。常用于拼接縫處理的方法有很多，如多分辨率樣條技術(shù)、動(dòng)態(tài)規(guī)劃尋找拼接縫等方法。

對(duì)于拼接縫的問題文中采用加權(quán)平滑的算法予以處理。所使用算法的核心是：把兩幅圖像中所對(duì)應(yīng)點(diǎn)的灰度值Pixel_L和Pixel_R進(jìn)行加權(quán)平均得到兩幅圖像重合區(qū)域內(nèi)像素點(diǎn)的灰度值Pixel，即：Pixel=k×Pixel_L+(1-k)×Pixel_R，其中：k是漸變因子。

一般情況下0

(3)

3 試驗(yàn)驗(yàn)證

為了驗(yàn)證算法的有效性，本文以皖南醫(yī)學(xué)院組織學(xué)與胚胎學(xué)實(shí)驗(yàn)室提供的動(dòng)物組織切片圖像作為實(shí)驗(yàn)對(duì)象。顯微鏡下放大倍數(shù)10*10，獲得圖像像素為1500*1000。本實(shí)驗(yàn)是在Windows XP下用MATLAB 7. 0編程完成。

圖1和圖2是顯微鏡拍攝的兩幅組織切片圖像，這兩幅圖像存在部分重合的區(qū)域。且圖像間還有一定的平移關(guān)系及小角度旋轉(zhuǎn)關(guān)系。

圖1 待拼接圖片I1

圖2 待拼接圖片I2

排除外點(diǎn)的過程中使用了RANSAC算法，最小二乘法獲得最終變換矩陣H，H如式(4)所示。

圖3為經(jīng)RANSAC算法處理獲得的匹配特征點(diǎn)對(duì)，剔除不相關(guān)匹配點(diǎn)后共計(jì)獲得440對(duì)正確的匹配點(diǎn)對(duì)。

圖3 RANSAC算法剔除不相干匹配點(diǎn)后的結(jié)果

采用2. 2節(jié)的方法，本實(shí)驗(yàn)依據(jù)匹配特征點(diǎn)對(duì)，把需拼接的兩幅圖通過變換關(guān)系到同一個(gè)坐標(biāo)系內(nèi)，將重合的區(qū)域進(jìn)行融合得到兩幅圖像拼接的結(jié)果，如圖4所示。

圖4 拼接后的圖片I

在圖4的拼接縫中，我們將圖1和圖2之間重合的部分按一定權(quán)重進(jìn)行疊加，以圖2在重合部分的比重為1，那么朝圖1方向，離重合部分越遠(yuǎn)，那么圖1的權(quán)重越大，而圖2的權(quán)重則逐漸降低，最終使圖像實(shí)現(xiàn)平穩(wěn)過渡。

由于顯微鏡拍攝的不同圖像存在亮度不一致的問題，所以需要在圖像拼接過程中對(duì)兩幅圖像的背景亮度不均勻問題進(jìn)行處理，本文使用非線性疊加法提高圖像的亮度。公式如下：

T(x)=I(x)+(1-I(x))*I(x)*k

(5)

其中I表示要處理的亮度較暗圖像，T表示處理后的亮度比較亮的圖像，T和I圖像的取值范圍是[0,1]。如果處理完后的圖像效果不好，還可以進(jìn)行多次迭代以達(dá)到更好的效果。為了控制亮度的增加強(qiáng)度，在算法中加入一個(gè)控制參數(shù)K，取值范圍是[0,1]。通過多次實(shí)驗(yàn)表明K取值為0. 5的時(shí)候，圖像亮度較好。圖5為消除拼接縫和對(duì)亮度處理后得到的圖片。

圖5 拼接縫消除及亮度不均處理后的效果圖

4 結(jié)束語

本文以動(dòng)物組織切片圖像作為研究對(duì)象，采用SURF算法生成用于匹配的特征點(diǎn)對(duì)，該法對(duì)于圖像序列中光照、尺度及旋轉(zhuǎn)方向的變化均有良好的的適應(yīng)性，且拼接速度快于基于SIFT特征點(diǎn)提取的圖像拼接方法，在處理大量需拼接的顯微圖像時(shí)效率更高。同時(shí)用RANSAC算法剔除誤匹配點(diǎn)。對(duì)于拼接后圖像中的拼接縫問題，采用加權(quán)平滑算法消除拼接縫，背景亮度不均采用非線性疊加的方法，使得圖像的亮度達(dá)到均衡。

文中所提出的方法不僅適用于組織切片的觀察，還適用于細(xì)胞培養(yǎng)過程中的細(xì)胞觀察以及其它一切通過顯微鏡采集到的多視野實(shí)驗(yàn)圖像的拼接處理。該方法適用范圍廣，又無需增加任何經(jīng)濟(jì)成本，值得向廣大科研工作者推廣和普及。