基于機械掃描與改進SURF的顯微圖像拼接算法

柴 政，劉任任，梁光明

(1.湘潭大學 信息工程學院，湖南 湘潭 411105；2.湖南友哲科技有限公司，湖南 長沙 410075)

0 引 言

目前，由于受限于顯微鏡的視野，通常只能觀察到標本中的局部視野，在高倍鏡下的單個視野通常不能完整顯示切片細胞。另外，能夠顯示大范圍視野的硬件設備價格昂貴。因此，利用圖像拼接技術(shù)解決上述問題是現(xiàn)階段普遍的做法。

圖像拼接算法可分為基于圖像灰度的圖像拼接算法和基于特征點的圖像拼接算法[1]?；趫D像灰度的方法中，有基于模板匹配的算法，主要通過比較灰度值進行匹配，計算簡單，但匹配精度低，對光照和旋轉(zhuǎn)較敏感。另一種是基于相位相關(guān)度的匹配算法，將灰度圖像進行傅里葉變換再進行匹配，該算法雖然精度高，但計算量大，匹配速度慢。顯微圖像中存在大量相似目標，有光照變化，且顯微圖像拼接對匹配精度和速度要求較高，基于圖像灰度的圖像拼接算法并不適用于顯微圖像拼接。基于特征點的圖像拼接算法通過提取特征點并進行點對匹配獲取拼接點，其應用更廣泛，有SIFT[2](scale-invariant feature transform)、SURF[3](speed up robust features)、ORB[4](oriented FAST and rotated BRIEF)。文獻[5-7]通過實驗對比表明：SIFT算法在旋轉(zhuǎn)較大情況下匹配精度高，但時間復雜度高；ORB[4]算法匹配對數(shù)少，匹配時間快，但匹配精度差；SURF算法綜合性能最優(yōu)，在沒有旋轉(zhuǎn)的顯微圖像拼接中匹配精度與SIFT沒有差別，最適合顯微圖像拼接。

通過上述研究，選取SURF算法進行顯微圖像拼接，但其并不能達到實時拼接的要求，因此文中結(jié)合機械掃描規(guī)律及高倍和低配圖像的特征點，提出了一種適用于實時顯微圖像拼接的改進SURF算法。

1 特征點區(qū)域搜索

圖像中特征點通常是亮區(qū)域的暗點或暗區(qū)域的亮點，對應于SURF算法構(gòu)造的尺度空間中，一般為26鄰域中的極小值或極大值。顯微鏡下觀察的標本通常是經(jīng)過稀釋處理的，因此，顯微圖像背景單一，特征點稀少。而特征點多聚集在目標區(qū)域，如圖1所示。根據(jù)這一特性，提出利用Canny算法和線性搜索法分別對低倍鏡圖像和高倍鏡圖像搜索特征點相對集中的區(qū)域，以減少特征點搜索和匹配時間，提升算法速度。

圖1 特征點分布

1.1 Canny目標分割

低倍鏡圖像中目標個體相對分明和完整，要獲得目標區(qū)域，可使用分割算法。考慮到只需要獲得目標區(qū)域，不需要精確分割，文中選擇速度相對較快的Canny[8]邊緣檢測結(jié)合膨脹處理分割目標，具體步驟如下：

步驟1：通過高斯卷積核對原始圖像進行平滑處理，消除噪聲，減少誤分割，卷積矩陣如下：

(1)

步驟2：計算像素點的梯度幅值和方向。

(2)

其中，Gx為x方向差分模板；Gy為方向差分模板。通過Gx、Gy可以計算出梯度幅值G和方向θ:

(3)

步驟3：非極大值抑制。

步驟4：通過高低閾值，篩選邊緣像素點，如圖2(b)所示。

步驟5：根據(jù)獲得的邊緣像素點，用形態(tài)學中的膨脹處理，形成圍繞邊緣的連接區(qū)域，如圖2(c)所示。

步驟6：連接區(qū)域外接矩陣，分割目標，如圖2(d)所示。

圖2 Canny分割

1.2 線性搜索法

在低倍鏡圖像中，細胞個體分明，因此使用分割算法易于分割；但在高倍鏡圖像中，單張圖片往往只含有一個細胞的一部分，分割算法通常會將灰度值較低的區(qū)域分割成目標，分割效果不穩(wěn)定，花費時間較長，而特征點在目標區(qū)域分布相對均勻，如何快速找到目標區(qū)域就成了關(guān)鍵。因此，對高倍鏡圖像進行目標區(qū)域搜索，文中采用簡單易行的線性搜索法，實現(xiàn)步驟如下：

步驟1：根據(jù)已知的重疊區(qū)域，設定一定的像素間距d(如每隔5個像素點)。

步驟2：根據(jù)設定的像素間距，統(tǒng)計每一個像素條的總灰度值s。

步驟3：計算像素條的灰度均值v，并取到灰度均值最小的像素條Mv。

步驟4：從取到的像素條上搜索灰度均值最小的一段，以均值最小的一段為中線，取到一個大小適中的區(qū)域(如15×15的像素矩陣)，即為初始的SURF提取特征點的區(qū)域，如圖3(d)所示。

圖3 線性搜索目標區(qū)域

2 SURF特征點檢測及匹配

SURF[9]算法是在SIFT基礎上通過簡化高斯模板，減少描述子維度改進而來，運行速度比SIFT快2～3倍。在旋轉(zhuǎn)較大時，SIFT更穩(wěn)定，但在顯微圖像只有平移的情況下，SURF與SIFT在穩(wěn)定性方面差異不大，但SURF效率更高。相較于Harris、Susan等角點檢測算子，SURF具有光照、旋轉(zhuǎn)不變性等優(yōu)點，提取的特征點更穩(wěn)定，因此文中使用SURF算法進行特征點檢測和匹配。具體步驟如下：

步驟1：利用拉普拉斯高斯差分構(gòu)建尺度空間。

步驟2：檢測關(guān)鍵點。計算相關(guān)Hessian矩陣并找到尺度空間極值點來確定關(guān)鍵點，Hessian矩陣定義如下：

(4)

步驟3：分配關(guān)鍵點方向。以特征點為中心，在一定領域內(nèi)對60°扇形里的所有點在水平和垂直方向的Haar小波相應值進行累加，最大的Haar相應累加值為該特征點對應的主方向。

步驟4：生成特征點描述子。

步驟4.1：構(gòu)建特征點領域的正方形區(qū)域，邊長為20σ,其中σ為興趣點尺度，旋轉(zhuǎn)正方形領域到該特征點主方向。

步驟4.2：將上一步驟建立的正方形區(qū)域劃分為4×4個子區(qū)域，在每個子區(qū)域里計算5×5規(guī)則網(wǎng)格空間里的4維特征向量，該特征包含Haar小波對水平與垂直方向的響應及響應和的絕對值。

步驟4.3：計算每個子區(qū)域的4維特征并進行累加，將分成的16個子區(qū)域進行累加得到最終的64維特征向量描述子。

3 最小二乘法預測拼接點

3.1 最小二乘法

最小二乘法[10]是一種數(shù)學優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和最小。回歸模型如式5所示：

(5)

分別對β0、β1求導并使之等于0,如下所示：

(6)

(7)

整理可得式8和式9，分別求出β0、β1:

(8)

(9)

3.2 預測拼接點

在顯微圖像拼接中，由于以下幾方面的原因，會出現(xiàn)較大的拼接誤差：

(1)由于目標焦距不一，使得有些目標清晰，有些目標模糊，模糊的圖像會使搜尋到的特征點不夠穩(wěn)定。

(2)顯微圖像層次少，且存在大量相似目標，會產(chǎn)生大量相似特征點。

(3)重疊區(qū)域無目標或目標物極少，容易將噪聲判斷為特征點。

(4)SURF算法本身的穩(wěn)定性，SURF算法雖然穩(wěn)定性較好，但還是無法避免誤拼接。

基于上述問題可能出現(xiàn)的誤拼接問題，結(jié)合機械采圖的規(guī)律，文中使用最小二乘法，在無法提取到滿足閾值的特征點的情況下，預測拼接點。采用的拼接圖像分辨率為2 048×1 536。

SURF提取的拼接點坐標如表1所示。

表1 SURF提取的拼接點坐標

由表1可以知，x方向差值不大，呈現(xiàn)較規(guī)律的來回震動。y方向差值不大，且始終為正值，說明采圖過程中，移動裝置向左下方微偏，而圖像向右上方偏移。

可以看出，顯微鏡在采圖過程中存在輕微震動和偏移，但有一定規(guī)律，雖然產(chǎn)生了誤差，但誤差較小。顯微圖像拼接能夠接受較少的誤差，顯然利用最小二乘法預測拼接是可行的。

在實際的拼接過程中，為了使拼接方便，文中采取的是替代拼接點的做法。例如在表1中的第一組數(shù)據(jù)的實際拼接點為(1 411，515)和(0,519),其中1 411為x方向差值，0為待拼接圖像的x方向起始，且拼接點的坐標會累加。通過計算拼接點x方向和y方向的差值，在拼接坐標下，最終的第一個拼接點為(1 411,1 536+4)，第二個拼接點為(1 411+1 416,1 536+4+1)，以此類推。具體數(shù)據(jù)如表2和圖4所示。

圖4 拼接點坐標

將表2中的數(shù)據(jù)分為拼接點與x和拼接點與y兩組，分別代入最小二乘法的計算公式中，可以得出第10個拼接點為(14 158，1 567)。結(jié)合表2可知，該拼接點能夠滿足顯微圖像拼接的要求。

4 加權(quán)平滑融合

為了解決顏色過渡的問題，使得分割的目標圖像更好地融入背景圖像，文中采用加權(quán)平滑融合算法[11]。該算法能夠很好地避免圖像模糊和縫合線，且特別適合沒有旋轉(zhuǎn)的拼接圖像。在區(qū)間[x1,x2]上重疊，令加權(quán)系數(shù)為σ:

(10)

其中，x2-x1為重疊區(qū)域的寬度。

圖5 加權(quán)平滑融合

由圖5(a)可以明顯看出，兩幅圖像拼接后由于標本各區(qū)域光源折射率不一樣，形成了較明顯的痕跡。由圖5(b)可以看出，進行加權(quán)平滑融合后，基本解決了拼接縫隙明顯的問題。

5 實驗結(jié)果及分析

針對低倍顯微圖像和高倍顯微圖像兩組不同的圖像進行拼接，分別采用SIFT[12]方法、SURF方法及文中改進的SURF算法。

5.1 實驗結(jié)果

圖6(a)為2 048×1 536的低倍鏡圖像，圖6(b)為2 464×2 056的高倍鏡圖像，圖6(c)～(h)分別SIFT、SUFT、文中算法得到的拼接效果圖。

(a)低倍鏡圖像

(b)高倍鏡圖像

(c)SIFT-低倍鏡圖像

(d)SURF-低倍鏡圖像

(e)文中算法-低倍鏡圖像

(f)SIFT-高倍鏡圖像

(g)SURF-高倍鏡圖像

(h)文中算法-高倍鏡圖像

為了更好地對比拼接效果，文中采用替代拼接點進行拼接，且沒有進行平滑融合。由圖6可見，文中算法與SIFT、SUFT算法都能正確地找到穩(wěn)定的特征點，在拼接效果上并無差異，很好地滿足了顯微圖像拼接在精度上的要求。

5.2 實驗分析

由表3可見，文中算法相比SIFT、SURF算法，在特征點檢測、計算特征向量、特征點匹配及總的運行時間上都有很大的提升，說明該算法在顯微圖像拼接方面有很好的適應性，且每個拼接點平均耗時0.2 s左右，能夠很好地滿足實時拼接的需求。

在實際顯微圖像拼接過程中，大量的拼接會出現(xiàn)誤拼接和無拼接點的情況。因此，文中針對上述兩種情況對目標區(qū)域作排除性迭代，迭代一定次數(shù)后，若還是無避免上述兩種情況，則會使用最小二乘法進行預測拼接，相較從整體方面矯正拼接點，大大減小了算法的時間和空間復雜度，在很大程度上保證了算法的穩(wěn)定性。

表3 算法耗時比較 s

圖像算法特征點檢測計算特征向量特征點匹配總運行低倍圖像SIFT0.7120.3950.0131.325SURF0.1960.0110.080.391文中0.0130.0010.0070.214高倍圖像SIFT0.7880.6580.0181.737SURF0.3650.2160.0210.874文中0.0070.040.0060.328

6 結(jié)束語

在分析顯微圖像的基礎上，結(jié)合機械掃描的規(guī)律，采用改進的SURF[13-14]算法進行圖像拼接。對低分辨率和高分辨率的圖像，分別采用不同的算法搜索特征點相對集中的區(qū)域，圖像拼接后的效果與SIFT、SURF沒有明顯的差異，但速度有了很大的提高。通過最小二乘法對重疊區(qū)域特征點稀少，出現(xiàn)不匹配的情況，進行預測拼接，保證了拼接的穩(wěn)定性，達到了實時拼接的要求。當拼接的圖像過多時，容易因為累積誤差產(chǎn)生拼接效果不佳的情況，因此還需要在減少累積差方向進行進一步的研究和改進。