基于Forstner算子的血細胞顯微圖像拼接

張從鵬 謝佳成 熊國順

(北方工業(yè)大學(xué)機械與材料工程學(xué)院 北京 100144)

0 引 言

血細胞數(shù)字切片包含了醫(yī)療涂片上全部病理信息，是臨床疾病診斷的重要依據(jù)[1]。數(shù)字切片具有閱片方便、存放可靠、無污染等優(yōu)點，是形態(tài)學(xué)檢驗智能化發(fā)展方向[2-3]。全景玻片圖像是由一系列單幅數(shù)字切片圖像拼接而成的，可以更直觀、更全面地把握形態(tài)學(xué)信息，避免因局部信息造成誤診，而且對單幅數(shù)字切片視野邊緣的不完整細胞，通過拼接可以還原細胞全貌。

目前，圖像拼接方面的研究多見于無人機影像和遙感圖像的領(lǐng)域[4-8]。徐麗燕等[9]利用特征網(wǎng)格和Forstner算子相結(jié)合，并采用多光譜遙感圖像配準(zhǔn)的算法，在遙感圖像拼接時提升精度。李浩等[10]利用自適應(yīng)閾值Harris算子與Forstner算子結(jié)合篩選特征點并隨機抽樣對圖像配準(zhǔn)，在宏觀視野圖像拼接中應(yīng)用良好，不適用于精度級別高的顯微圖像。羅守品等[11]運用ORB首先進行圖像匹配，然后使用網(wǎng)格運動對誤匹配點剔除，再匹配提升精度，但是效率降低。

醫(yī)學(xué)診斷圖像對拼接的精度要求極高，由于存在噪聲特征點影響，實現(xiàn)高效率、高質(zhì)量拼接的難度很大。本文研究血細胞數(shù)字切片的拼接技術(shù)，設(shè)計出一種兼顧效率和準(zhǔn)確度的顯微圖像拼接方法，并將成果應(yīng)用于顯微視覺全自動血細胞玻片掃描儀，對于提高形態(tài)學(xué)臨床檢驗效率和診斷水平具有重要現(xiàn)實意義。

1 特征點檢測

1.1 特征點檢測算子

圖像自動拼接是尋找相鄰視野圖像的相同特征點，并將其坐標(biāo)重合的過程，所以圖像特征點檢測匹配是圖像拼接的關(guān)鍵。Forstner算子的原理是提取圖像中與鄰域相差較大的點作為特征點，是實際應(yīng)用中成功率最高的算子之一，計算過程如下：

首先，計算Roberts梯度。

(1)

其次，計算任意一點的(xi,yi)為中心的n×n窗口內(nèi)的協(xié)方差矩陣。

(2)

式中:gx,c和gy,c分別代表圖像每個通道上的一階導(dǎo)數(shù)。

然后，計算特征點的權(quán)值ω和圓度q。

(3)

之后，將式(3)計算的值與閾值進行對比，選取ω>Tω,q>Tq的點作為候選點。

(4)

最后，優(yōu)化候選點。

1.2 特征點檢測算子性能檢測

為測試Forstner算子性能指標(biāo)，對圖1進行特征點檢測，窗口為300×200像素的特征點檢測局部放大圖，黑色十字交叉點為特征點位置。然后記錄算法耗時、特征點提取個數(shù)、精度等性能指標(biāo)。

圖1 血細胞顯微圖像

以圖像中心為圓心，在以短邊長為直徑的圓形區(qū)域內(nèi)提取特征點與該圓形區(qū)域逆時針旋轉(zhuǎn)25°后再提取特征點進行坐標(biāo)對比，計算旋轉(zhuǎn)前(xi,yi)與旋轉(zhuǎn)后(mi,ni)位移大小的均方根誤差，以此代表特征點精度，計算公式如式(5)所示，實驗數(shù)據(jù)如表1所示。

(5)

表1 算子性能指標(biāo)實驗數(shù)據(jù)

由實驗結(jié)果及前期工作可知：Forstner算子有著優(yōu)異的特征點檢測精度(前期工作包括與其他常用算子進行性能指標(biāo)對比)，同時能夠有效地剔除品質(zhì)不好的特征點，適用于精度要求高的應(yīng)用場景。

2 特征點匹配優(yōu)化

圖像拼接精度對血細胞形態(tài)識別具有關(guān)鍵影響，因此選用精度較好的Forstner算子進行血細胞圖像特征點檢測。針對該算子運算耗時較大的不足，通過特征匹配優(yōu)化策略實現(xiàn)效率提升。

2.1 匹配策略處理

由于拼接匹配對只有可能存在于圖像的重合區(qū)域內(nèi)[16-17]，因此匹配優(yōu)化的目標(biāo)就是在相拼接的圖像重合區(qū)域內(nèi)，尋找面積盡可能小的、包含拼接特征點信息的圖像塊，從而減小算法的搜索面積，提高效率。

(1) 拼接重合區(qū)確定。根據(jù)圖像采集特點，拼接重合區(qū)位于圖像的四周邊緣，呈矩形帶狀，如圖2所示。實驗得知：當(dāng)拼接重合區(qū)等于整幅圖像面積的1/4時，既保證有效特征點配對數(shù)量不會減少，又可以縮小搜尋面積。

圖2 區(qū)域劃分示意圖

(2) 區(qū)域配準(zhǔn)。在拼接重合區(qū)域中心選取200×200像素大小的窗口進行輪廓提取，該輪廓作為配準(zhǔn)塊與相拼接圖像形狀匹配，以形狀直方圖的比值為評分標(biāo)準(zhǔn)[18]。如圖3所示，在黑色區(qū)域提取配準(zhǔn)塊。

圖3 配準(zhǔn)塊區(qū)域

2.2 特征點冗余處理

圖像采集傳輸時受機電設(shè)備影響形成圖像噪聲。在Forstner算子計算梯度階段，由于采用噪聲敏感的Robert算子計算導(dǎo)數(shù)，處理后的圖像中仍然存在不少無效特征點。為此先采用高斯濾波器對圖像進行平滑，然后通過窗口化的高斯導(dǎo)數(shù)求導(dǎo)，篩選顯著特征點。二維高斯濾波器和高斯導(dǎo)數(shù)如式(6)和式(7)所示。

(6)

(7)

式中:σ為高斯分布的標(biāo)準(zhǔn)差。σ越大，窗口中心比值越小，平滑效果越明顯，根據(jù)實驗結(jié)果選取窗口為：3×3。所以式(2)改為：

(8)

2.3 優(yōu)化后拼接流程及實現(xiàn)

本文算法主要流程如圖4所示。

圖4 拼接算法實現(xiàn)流程

(1) 區(qū)域匹配主要步驟。

Step1將源圖像和目標(biāo)圖像按照圖2所示分為4個區(qū)域；

Setp2確定源圖像配準(zhǔn)塊位置，提取形狀邊緣輪廓作為配準(zhǔn)塊；

Step3在目標(biāo)圖像中進行輪廓配準(zhǔn)，根據(jù)評分標(biāo)準(zhǔn)，確定重合區(qū)域。

以一個區(qū)域匹配為例算法編程如下(編譯語言為c#+halcon聯(lián)合編程)：

//將圖像劃分區(qū)域

HOperatorSet.GenRectangle1(out ho_RectangleF1,0,hv_Width*0.75,hv_Height,hv_Width);

//確定配準(zhǔn)塊區(qū)域

HOperatorSet.GenRectangle1(out ho_ROIPartF1,500,1600,700,1800);

//提取輪廓作為配準(zhǔn)塊

HOperatorSet.CreateShapeModel(ho_ImageROI,5,0,0,0,"point_reduction_low","ignore_coor_polarity",30,17,out hv_ModelID);

//配準(zhǔn)塊匹配

HOperatorSet.FindShapeModel(ho_ImageT,hv_ModelID,0,0,0.80,4,0.5,"least_squares",0,0.7,out hv_RowCheck,out hv_ColumnCheck,out hv_AngleCheck,out hv_Score);

(2) 圖像預(yù)處理的主要步驟。

Step1對圖像進行高斯濾波；

Step2對圖像進行高斯求導(dǎo)。

以對行處理為例圖像高斯降噪算法編程如下(編譯語言為c#+emgu.cv聯(lián)合編程)：

double[] kernel=GaussKernel(radius,sigma);

//GaussKernel為二維高斯濾波器

for (int y=0;y

{

for (int x=0;x

{

//tempR、tempG、tempB為(x，y)點RGB三通道數(shù)值

tempR=tempG=tempB=0.0;

//radius為高斯濾波器大小取3×3

for (int k=-radius;k<=radius;k++)

{

rem=(Math.Abs(x+k)% w);

t=rem*4+y*w*4;

K=kernel[k+radius];

//RGB三通道與高斯濾波器卷積

tempB+=srcValue[t]×K;

tempG+=srcValue[t+1]×K;

tempR+=srcValue[t+2]×K;

}

//將RGB三通道數(shù)值賦值數(shù)組

v=x×4+y×w×4;

tempValue[v]=(byte)tempB;

tempValue[v+1]=(byte)tempG;

tempValue[v+2]=(byte)tempR;

}

}

3 實驗結(jié)果及分析

實驗的顯微視覺平臺如圖5所示，采用OLYMPUS顯微鏡及10倍物鏡，視覺系統(tǒng)選用Basler彩色工業(yè)相機。實驗環(huán)境為：Windows10操作系統(tǒng)、Intel- i5處理器、8 GB內(nèi)存。圖像來源為：基于自主搭建的顯微視覺采集系統(tǒng)，涂片來源于合作醫(yī)院病理科，在實驗室拍攝的分辨率為：1 920×1 200 RGB圖像，內(nèi)存大小為6.59 MB。

圖5 圖像采集系統(tǒng)

3.1 區(qū)域匹配實驗

為了快速準(zhǔn)確定位圖像重合區(qū)域，選取圖1中的配準(zhǔn)塊與相拼接圖像進行區(qū)域配準(zhǔn)。圖6是區(qū)域配準(zhǔn)塊尋找結(jié)果，深灰色輪廓為區(qū)域配準(zhǔn)塊，背景為匹配區(qū)域。

(a) 評分0.96 (b) 評分0.42

(c) 評分0.41 (d) 評分0.41圖6 區(qū)域匹配結(jié)果

匹配評分低于設(shè)定閾值則判定匹配失敗，根據(jù)實驗數(shù)據(jù)選取閾值0.80，即可獲取唯一匹配區(qū)域。對圖7所示圖像分別進行全域匹配和區(qū)域匹配實驗，結(jié)果如表2所示。

(a) 全域計算 (b) 區(qū)域計算圖7 特征點分布

表2 區(qū)域匹配實驗

實驗結(jié)果表明：采用區(qū)域計算策略，配對時間減少了93.57%；特征點匹配率提升了40.15百分點。

3.2 特征點冗余處理實驗

為評估噪聲及不顯著特征點濾波算法性能，采用單一的Forstner算子與本文算法對同一幅圖像進行特征點提取，性能指標(biāo)對比數(shù)據(jù)如表3所示，特征點尋找效果如圖8所示。

表3 算子性能實驗對比數(shù)據(jù)

(a) Forstner算法 (b) 本文算法圖8 特征點尋找的效果圖

根據(jù)實驗結(jié)果可以看出：特征點匹配率提升4.32百分點，匹配耗時減少80.56%。

3.3 圖像拼接實驗

采用Forstner原始算法和本文改進算法分別對圖1所示圖像及其配對圖像進行拼接實驗(共三組)，實驗結(jié)果如表4所示。

表4 傳統(tǒng)算法與本文算法對比

實驗結(jié)果可以看出：優(yōu)化后的算法在匹配率上平均提升58.69百分點，時間效率提升90.13%，匹配優(yōu)化后的圖像特征點經(jīng)過拼接融合[19-20]后依然可以保證拼接效果沒有衰減，圖9(a)為實驗拼接結(jié)果展示，窗口的中縫為拼接縫隙，圖9(b)為第一組實驗的傳統(tǒng)算法拼接結(jié)果對照。

(a) 第一組拼接實驗及縫隙

(b) 傳統(tǒng)算法拼接實驗及縫隙圖9 拼接效果樣圖

4 結(jié) 語

面向血細胞數(shù)字切片形態(tài)學(xué)檢驗需求，通過對算法系統(tǒng)的性能比對研究發(fā)現(xiàn)，F(xiàn)orstner算子對于血細胞數(shù)字顯微圖像特征點檢測具有最高精度，確定了基于Forstner算子的血細胞圖像特征點檢測方案。針對冗余特征點導(dǎo)致算法效率低下的問題，本文提出了區(qū)域匹配策略和圖像定向濾波的性能優(yōu)化算法，并且應(yīng)用于自主研發(fā)的血細胞形態(tài)檢驗智能機器人，能夠滿足臨床自動檢測精準(zhǔn)快速在線圖像處理的需求，是智能醫(yī)療的重要組成部分，也為其他大場景圖片拼接提供了有效的方式。實驗結(jié)果表明：改進后的Forstner算法不僅能夠滿足血細胞圖像拼接的高精度要求，尋找特征點時特征點匹配率平均提升58.69百分點，減少無效特征點配對時間，時間平均縮短了90.13%。