顯微操作場景下的毛細(xì)針尖三維定位算法*

閆明月， 陳安琪,2， 畢 磊,2， 胡舜迪,2， 聞路紅,2

(1.寧波大學(xué)高等技術(shù)研究院，浙江 寧波 315211; 2.寧波華儀寧創(chuàng)智能科技有限公司，浙江 寧波 315100)

0 引 言

目前，國內(nèi)外顯微操作領(lǐng)域，無論是顯微注射、微血管組裝[1]還是單細(xì)胞分析[2,3]都需要對毛細(xì)針的空間位置進(jìn)行精確的定位。在顯微操作開始之前，首先就是在顯微視野下找到毛細(xì)針尖的位置，而在當(dāng)前的顯微操作機(jī)器人系統(tǒng)中，定位毛細(xì)針尖的位置主要是由熟練的操作人員手動執(zhí)行。文獻(xiàn)[4,5]利用基于操縱桿的顯微注射系統(tǒng)進(jìn)行貼壁細(xì)胞研究，由于難以控制操縱桿對末端執(zhí)行器進(jìn)行精確的定位，因此該系統(tǒng)無法進(jìn)行高通量分析并且成功率低、可重復(fù)性差；文獻(xiàn)[6]將基于操縱桿的操作轉(zhuǎn)換為計算機(jī)鼠標(biāo)點(diǎn)擊，要求操作員使用操縱桿并觀察顯微鏡的目鏡來手動執(zhí)行一些關(guān)鍵步驟，缺乏自動定位移液器尖端的關(guān)鍵功能，降低了該系統(tǒng)在生物學(xué)實(shí)驗(yàn)室常規(guī)使用的潛力。由于毛細(xì)針的尺寸小且易碎，因此對手動定位尖端具有極高的技術(shù)要求，非常耗時，并且可能導(dǎo)致毛細(xì)針尖端損壞、系統(tǒng)成功率低、可重復(fù)性差等。因此，自動化毛細(xì)針尖定位技術(shù)對于減少人為干預(yù)并實(shí)現(xiàn)全自動的顯微操作機(jī)器人是必不可少的。

現(xiàn)有的自動化毛細(xì)針X,Y平面定位方法如文獻(xiàn)[7]利用模板匹配法來矯正針尖位置，但方法需要及時更換模板；張安[8]利用針尖最小外接矩形邊緣的兩角中點(diǎn)作為針尖點(diǎn)，可較為快速的定位針尖位置但是當(dāng)針尖口不規(guī)則時必然存在誤差；盧桂章等人[9]檢測掃描線上的灰度值變化的方法定位針尖，方法計算簡單但同樣當(dāng)針尖口不平滑時會存在幾微米的誤差。

針對上述問題，本文提出點(diǎn)掃描算法，精確的定位針尖X，Y方向的位置。針尖的Z方向定位通常利用自動聚焦算法來獲得，它是自動化顯微系統(tǒng)的關(guān)鍵步驟，決定毛細(xì)針的下降距離，直接影響操作系統(tǒng)的成功率。Sun Y等人[10]和文獻(xiàn)[11]通過模板匹配技術(shù)自動聚焦，方法需要將模板遍歷整張圖像因此計算量較大。Zhang Y等人[12]基于熵計算聚焦評價函數(shù)進(jìn)行自動聚焦，但毛細(xì)針呈傾斜放置時易聚焦在針臂，聚焦錯誤。Liu J等人[13]通過遞歸四叉樹法可準(zhǔn)確的聚焦在針尖區(qū)域，但算法復(fù)雜、計算量大?；谝陨峡紤]本文提出一種適用于傾斜放置的毛細(xì)針尖z方向定位方法即毛細(xì)針的自動聚焦。

1 算法介紹

1.1 針尖平面定位：點(diǎn)掃描

1.1.1 閾值分割

(1)

得到使類間方差最大的閾值k*,將I(x,y)>k*的像素點(diǎn)(x,y)劃分為毛細(xì)針區(qū)域，反之為背景區(qū)域，閾值分割的圖像H(x,y)為

(2)

1.1.2 針尖點(diǎn)掃描

對二值化的毛細(xì)針圖像H(x,y)進(jìn)行最大連通域檢測，去除背景噪聲得到只含毛細(xì)針部分的圖像G(x,y)，然后在圖像G(x,y)中，自左向右地(左針：自右向左)由背景部分到毛細(xì)針部分的移動的豎直線與毛細(xì)針的第一個切點(diǎn)為上端點(diǎn)，自下向上由背景部分到毛細(xì)針部分的移動的水平線與毛細(xì)針的第一個切點(diǎn)為下端點(diǎn)，取上端點(diǎn)和下端點(diǎn)的中點(diǎn)作為毛細(xì)針尖點(diǎn)。

1.2 微針尖Z方向定位：感興趣區(qū)域自動聚焦

對于水平放置的毛細(xì)針對整張圖像使用傳統(tǒng)的聚焦評價方法[14]可以準(zhǔn)確的聚焦，然而毛細(xì)針呈傾斜放置時，針對整張圖像聚焦在針尖位置時的聚焦評價函數(shù)值如圖1(a)低于聚焦在針臂時的聚焦評價函數(shù)值如圖1(b)，導(dǎo)致聚焦錯誤。因此，本文提出一種基于自動確定感興趣區(qū)域(region of interest,ROI)結(jié)合拉普拉斯方差聚焦評價函數(shù)進(jìn)行針尖自動聚焦。

1.2.1 自動確定ROI

遵循1.1節(jié)針尖自動定位方法定位針尖。在本研究中的ROI即為針尖區(qū)域，利用上述針尖點(diǎn)掃描法定位后自動確定ROI。如圖1(c)～(e)分別為針尖在焦平面之上時的ROI，針尖處在焦平面時的ROI以及針尖在焦平面之下時的ROI，從圖中可看出:ROI區(qū)域比整張圖像清晰度變化更為明顯，因此通過判斷此區(qū)域的清晰度來確定針尖是否聚焦。

圖1 毛細(xì)針尖聚焦

1.2.2 清晰度計算

計算獲得ROI內(nèi)的聚焦評價函數(shù)值，值越高代表圖像越清晰即離焦平面越近。聚焦評價函數(shù)：本文采用拉普拉斯方差函數(shù)[15]，這個函數(shù)可以被定義為

(3)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 針尖X,Y平面定位

為驗(yàn)證點(diǎn)掃描算法的定位效果，實(shí)驗(yàn)采用針尖口徑約5 μm毛細(xì)針進(jìn)行定位，圖像分辨率為1 920像素×1 200像素，通過Python 3.7編程實(shí)現(xiàn)。

根據(jù)點(diǎn)掃描算法實(shí)現(xiàn)流程，結(jié)果如圖2所示。將如圖2(a)所示的針尖原始圖像與背景圖像進(jìn)行幀差法背景扣除后自適應(yīng)閾值分割結(jié)果如圖2(b)所示，圖2(c)為最大連通域檢測結(jié)果圖，檢測出毛細(xì)針區(qū)域的同時去除噪聲。圖2(d),(e)分別掃描毛細(xì)針尖的上端點(diǎn)與下端點(diǎn)，其最終定位結(jié)果如圖2(f)，通過結(jié)果可以看出點(diǎn)掃描算法可以準(zhǔn)確的定位到毛細(xì)針尖的位置。

圖2 點(diǎn)掃描算法

為了進(jìn)一步分析點(diǎn)掃描算法的準(zhǔn)確性，將點(diǎn)掃描定位法與現(xiàn)有的主動輪廓法[13]、改進(jìn)的粒子濾波(refined particle filtering,RPF)[16]進(jìn)行比較，其結(jié)果如表1所示。結(jié)果表明點(diǎn)掃描法優(yōu)于主動輪廓和RPF的定位結(jié)果，該方法定位最為準(zhǔn)確。

表1 算法結(jié)果對比

改進(jìn)的粒子濾波方法在針尖遮擋時也可以估算出針尖的位置，但其定位精度偏低、算法復(fù)雜；主動輪廓較適用于尖端的毛細(xì)針如顯微注射中的注射針，對于相對平滑的吸持針會得到一個不精確的針尖位置。而本文提出的點(diǎn)掃描法不僅簡單易實(shí)現(xiàn)，且在各種復(fù)雜的背景以及不同形態(tài)的毛細(xì)針如圖3(a),(b)所示情況下均可以準(zhǔn)確地定位在毛細(xì)針尖位置。綜上，本文的點(diǎn)掃描定位法是最適用的定位方法。

圖3 針尖定位

2.2 針尖Z方向定位

不同大小的ROI會得到不同的聚焦評價函數(shù)曲線，為確定合適大小的ROI窗口，因此對自動ROI聚焦算法的ROI大小進(jìn)行研究。

自動確定ROI窗口大小分別為6×6,10×10,20×20,40×40，研究自動ROI聚焦法獲得清晰度曲線的陡峭度[17]、標(biāo)準(zhǔn)范圍[18]、計算時間，結(jié)果如表2及圖4(a)所示。陡峭度越高，聚焦評價函數(shù)的靈敏度越好；標(biāo)準(zhǔn)范圍值越大越不易陷入局部極大值。

表2 不同ROI大小聚焦曲線結(jié)果對比

由表2可知，針尖周圍6×6的區(qū)域陡峭度最高、計算時間短，但該區(qū)域標(biāo)準(zhǔn)范圍相對較小因此易陷入局部極值，同時會聚焦錯誤如圖4(a)中淺灰色曲線。ROI越大越易聚焦在針臂、計算量越大，綜合評估10×10區(qū)域陡峭度較高、計算時間少且如圖4(a)深灰色曲線能夠準(zhǔn)確聚焦，故選取針尖周圍10×10的區(qū)域作為ROI。

圖4 自動ROI聚焦評價函數(shù)值曲線

圖4(b)，(c)為不同放置方式的聚焦函數(shù)結(jié)果表明本文算法不僅適用于毛細(xì)針呈傾斜放置時的自動聚焦，還適用于毛細(xì)針呈水平放置時自動聚焦，且當(dāng)毛細(xì)針形狀發(fā)生變化時仍能準(zhǔn)確聚焦。

綜上所述，本文的自動ROI法所得聚焦評價函數(shù)曲線靈敏度高、單峰性好，且該方法具有魯棒性。因此本文的自動ROI方法不僅可以準(zhǔn)確聚焦在針尖，得到精確的毛細(xì)針Z方向位置，同時針對不同形狀、不同放置方式的毛細(xì)針均可以準(zhǔn)確的聚焦在毛細(xì)針尖。

3 結(jié) 論

本文對傾斜放置的毛細(xì)針空間位置進(jìn)行研究，針對針尖平面定位提出點(diǎn)掃描算法，通過掃描針尖的上下端點(diǎn)提高毛細(xì)針平面定位精度；針對針尖Z方向位置識別提出自動ROI聚焦算法，將點(diǎn)掃描算法與拉普拉斯方差函數(shù)結(jié)合計算ROI內(nèi)的聚焦評價函數(shù)值，獲得更精確的定位結(jié)果。實(shí)驗(yàn)結(jié)果表明：應(yīng)用本方法既可以解決計算量較大、聚焦在毛細(xì)針針臂的問題，又能實(shí)現(xiàn)毛細(xì)針的高精度定位，為后續(xù)單細(xì)胞操作、顯微注射、微血管組裝等系統(tǒng)研究奠定良好的基礎(chǔ)。