基于線陣CCD的多表面焦點偏移測量

簡俊明,文 剛,朱 茜,金 鑫,楊 光,楊西斌,李 輝,武曉東

(1.中國科學技術大學精密機械與精密儀器系,安徽 合肥 230026；2.中國科學院蘇州生物醫(yī)學工程技術研究所,江蘇省醫(yī)用光學重點實驗室,江蘇 蘇州 215163)

1 引 言

顯微成像是生物學研究的基本工具。隨著人類對分子和細胞生物學研究的深入,對于活細胞的長時間觀測越來越重要。在長時間的顯微成像過程中,顯微鏡的焦點會發(fā)生偏移[1]。焦點偏移會影響顯微成像效果,降低圖像清晰度[2]。因此,自動對焦技術在活細胞長時間觀測實驗中尤為重要,也成為全自動顯微鏡的必要配置。

自動對焦技術主要分為被動式對焦和主動式對焦兩類[3]。典型的被動對焦大多基于圖像處理技術,如對焦深度法[4-6]和離焦深度法[7-8]。此類方法具有成本低、功耗小、算法靈活多變的優(yōu)點,但對焦精度不穩(wěn)定、對焦速度慢、且對于厚樣品失效等缺陷,難以滿足全自動顯微鏡的要求。主動式對焦是通過增加輔助設備實現(xiàn)距離的直接或間接探測來實現(xiàn)對焦[9],能夠有效避免對焦速度慢和對焦失效等問題,成為當前顯微鏡自動對焦技術的主流方向,其核心在于焦點偏移量的測量。傳統(tǒng)的主動式對焦是通過向被攝物體發(fā)射光波或者聲波,并接受反射波來測量目標的距離[3],但因受到顯微鏡工作距離較小的限制,精度較差。目前典型的主動對焦方法主要有傅科刀口法、臨界角法、像散法和偏心光束法,其基本原理是將離焦量轉(zhuǎn)換成光電探測器上信號的變化。張景和[10]等于2001年提出基于臨界角法的自動對焦技術,獲得位移分辨率為10 nm,調(diào)焦行程為±5 μm的自動對焦；汪潔[11]等于2006年提出了基于傅科改進法的自動對焦技術,獲得測量范圍為500 μm,分辨率為0.01μm的自動聚焦；Wei-Yao Hsu[12]等于2009年提出基于像散法的快速對焦技術,該方法利用四象限探測器對激光光斑的形狀信息進行探測,建立起數(shù)學模型來描述對焦誤差信號(FES),獲得了20×物鏡下工作范圍為±50 μm的自動對焦；CHien-Sheng Liu[13]等于2015年人利用偏心光束法,創(chuàng)新性地使用兩個CCD實現(xiàn)了大范圍、高精度、快速響應的自動對焦,其對焦行程為±1500 μm,對焦精度為1 μm。上述自動對焦方法在針對多表面的焦點偏移測量中存在較大誤差。實驗室用的顯微成像樣品通常包含三個部分,即蓋玻片、載玻片以及細胞或組織切片本身。蓋玻片通常是具有一定厚度的玻璃,輔助的探測光路中不可避免地會出現(xiàn)多反射表面的問題,即光束在抵達蓋玻片上下表面后會分別產(chǎn)生一次反射,又因蓋玻片厚度較小,故探測的傳感器上會形成兩個相距很近的光斑,這種現(xiàn)象在對含水的生物樣品進行成像時更為顯著,因為玻璃與水的折射率差別較小,反射光的信號大大減弱。若自動對焦系統(tǒng)使用的探測器為四象限探測器等非成像器件[10-12,14],系統(tǒng)無法辨別蓋玻片的兩個表面,因而無法正常工作；若自動對焦系統(tǒng)使用的探測器為普通CCD等成像器件[13,15],則需要進行二維CCD的圖像采集和處理,數(shù)據(jù)處理方式復雜,速度較慢。

針對現(xiàn)存自動對焦系統(tǒng)在多表面焦點偏移測量中存在的問題,本文提出了一種基于線陣CCD的多表面焦點偏移測量方法,并針對性地設計了一種窗口加權(quán)質(zhì)心法。在本實驗裝置中,光斑是圓對稱且單方向移動的,因此線陣CCD在光斑位置探測方面可取得與面陣CCD等同的效果,又因線陣CCD具有分辨力高,成像速度快,數(shù)據(jù)處理簡單,成本低廉等優(yōu)勢,本方法選用線陣CCD作為圖像探測傳感器,通過窗口加權(quán)質(zhì)心法來進行蓋玻片上表面的標定及焦點偏移的測量,建立起了蓋玻片上表面反射光斑中心位置與焦點偏移量的線性關系。

2 基本原理

測量原理如圖1所示。粗實線代表樣品在焦狀態(tài)下的反射光線,粗虛線代表樣品離焦狀態(tài)下的反射光線。激光器出射的光束經(jīng)分光鏡反射到物鏡,經(jīng)物鏡邊緣入射后匯聚到蓋玻片,后經(jīng)蓋玻片表面反射和分光鏡透射,最后通過成像鏡匯聚到圖像傳感器的感光面上。

在圖1中,假定f1為物鏡的焦距,f2為聚焦透鏡的焦距,δ為激光光束偏離光軸的偏心距,Δh為樣品的離焦量,Δx為光斑在圖像傳感器上移動的距離,由圖可推導出如下關系：

樣品離焦時的反射光線相對于樣品在焦時的反射光線的偏移量為：

(1)

經(jīng)物鏡出射的光線與光軸的夾角β可表示為：

(2)

而光斑中心在圖像傳感器上移動的距離為：

Δx=f2tanβ

(3)

綜合式(1)～(3)可得到光斑在圖像傳感器上的位移Δx與系統(tǒng)離焦量Δh之間的關系可表述為：

(4)

因此,在系統(tǒng)各參數(shù)不變的情況下,只要獲取光斑在圖像傳感器上的位移,就可以求得系統(tǒng)的離焦量。

圖1 測量原理圖Fig.1 Principle diagramof focus drift measurement

基于線陣CCD的多表面焦點偏移測量裝置如圖2所示。由激光器發(fā)射出的光束經(jīng)過透鏡1和針孔進行空間濾波,再經(jīng)過透鏡2進行準直。為了使物鏡聚焦后的光斑盡可能小,準直后的激光通過透鏡3和透鏡4進行縮束,再經(jīng)過分束鏡1的反射從物鏡的邊緣進入顯微鏡鏡體。激光經(jīng)物鏡匯聚后經(jīng)過樣品多個表面的反射形成反射光,分別依次經(jīng)過物鏡、分束鏡1的透射到達分束鏡2,再經(jīng)過分束鏡2和聚焦透鏡成像在線陣CCD上,用來進行光斑位置的計算。為了進行驗證線陣CCD焦點偏移測量結(jié)果的準確性,在線陣CCD對等位置放置一個面陣CCD,用來進行實驗對照。實驗選用的激光器是波長為647 nm的光泵半導體激光器；面陣CCD分辨率為640×480像素；線陣CCD分辨率為12288×1像素,像元大小為3.5 μm×3.5 μm；整個焦點偏移測量裝置作為一個模塊直接安裝在倒置顯微鏡上。

圖2 焦點偏移測量光路圖Fig.2 Optical path diagramof focus drift measurement

3 算法設計

為了求得系統(tǒng)離焦量,需要對獲取的光斑進行中心位置計算。典型的光斑中心算法有質(zhì)心法、高斯擬合法、圓擬合法和霍夫變換法等,考慮到本實驗中獲取的光斑灰度值較大,而背景灰度值較小,選用質(zhì)心法最為簡單高效。

傳統(tǒng)質(zhì)心法可以看做是以灰度值作為權(quán)重的加權(quán)算法,由于通常的光斑在中心處的亮度較高,體現(xiàn)在圖像上則為灰度值較大,因此光斑中心可以通過式(5)給出：

(5)

其中i=1,2,3,…,m；X為光斑質(zhì)心的坐標值；xi為第i個像素的位置；f(xi)為第i個像素的灰度值大小。

平方加權(quán)質(zhì)心法是傳統(tǒng)的質(zhì)心法的改進算法。從式(5)可以看出,傳統(tǒng)質(zhì)心法是假定一個像素對光點定位的貢獻是與該像素的灰度值大小呈正相關關系的,即灰度值越大的像素點,距離實際光斑質(zhì)心的位置越近。為了增加這種相關性,平方加權(quán)質(zhì)心法將待處理的灰度值用實際灰度值的平方替代,這種可以充分利用圖像中心的高信噪比,使這種方法具有較高的抗干擾性[16]。平方加權(quán)質(zhì)心法的公式如下：

(6)

其中i=1,2,3,…,m；X為光斑質(zhì)心的坐標值；xi為第i個像素的位置；f(xi)為第i個像素的灰度值大小。

上述兩種方法在整幅圖像僅有一個光斑的典型圖像中能夠取得較好的效果,但由于本裝置中多反射表面的影響,使得上述兩種算法取得的效果不甚理想。圖3(a)和圖3(b)分別顯示的是在單反射表面和多反射表面的作用下,焦點偏移探測裝置內(nèi)部的光路走向。圖3(c)和圖3(d)分別表示對應的面陣CCD獲取到的圖像。從圖3(c)可知,當反射表面僅有一個時,面陣CCD獲取到的圖像僅有一個光斑,此時使用常用的光斑中心算法,便可取得較好的離焦量偏移探測效果。當反射表面有多個時,如圖3(d)所示,面陣CCD獲取到的圖像存在兩個光斑,此時使用常用的光斑中心算法進行光斑位置計算將會產(chǎn)生較大的誤差。

圖3 不同數(shù)量反射表面時的測量示意圖及對應CCD圖像Fig.3 The schematic diagram and corresponding CCD image when existing different number of reflection surfaces

針對多個反射表面和樣品偏移的特性,本文提出了窗口加權(quán)質(zhì)心法,其處理過程具體如下：

(1)針對在焦圖像,獲取其蓋玻片上表面對應光斑中心的大致位置x0；

(2)計算在±10 μm的焦點偏移過程中,上表面光斑中心的移動量Δx；

(3)考慮到光斑并不是一個像素點,而是具有一定大小的圓形斑點,因此根據(jù)實際情況確定一個窗口尺寸系數(shù)β；

(5)針對窗口內(nèi)的光斑,使用平方加權(quán)質(zhì)心法計算光斑中心位置,并將該光斑中心位置作為蓋玻片上表面對應的光斑中心的實際位置；

窗口質(zhì)心法的計算公式如下：

(7)

其中,i=a,a+1,a+2,…，b；X為光斑質(zhì)心的坐標值；xi為第i個像素的位置；f(xi)為第i個像素的灰度值大小。

4 實驗結(jié)果

為了驗證本文設計的焦點偏移測量裝置的效果,對系統(tǒng)進行了實驗研究,實驗選用的偏心距為1.5 mm；物鏡放大倍率為20×,焦距為9 mm；成像透鏡焦距為125 mm。伺服電機帶動樣品沿Z軸從-100 μm到40 μm運動,圖4是在面陣CCD記錄的典型光斑圖像。為了更明顯地看出光斑變化情況,對原圖進行了對數(shù)變換。

圖4 樣品大幅度上下離焦情況下的典型光斑圖Fig.4 Typical laser spot when existing large defocus of sample

可以看出隨著樣品向上移動光斑整體向左平移。當伺服電機位移為-100 μm時,蓋玻片下表面距離焦平面更近,因此下表面的反射光斑強度較大,此時上下表面反射光斑強度比為1∶22.1。當伺服電機運動到-60 μm時,蓋玻片上表面反射的光斑增強,下表面反射光斑變?nèi)?此時上下表面反射光斑強度比為1∶6.8。隨著伺服電機不斷運動,下表面反射的光斑繼續(xù)減弱,而蓋玻片上表面逐漸開始與焦平面重合,反射光斑的強度也不斷增加。當伺服電機運動到0 μm時,蓋玻片上表面完成對焦,此時上表面反射光斑的強度達到最大,上下表面反射光斑強度比為39.3∶1。當伺服電機運動到40 μm時,此時樣品處于離焦狀態(tài),兩個光斑均開始變大,光斑的強度也逐漸降低。

在進行活細胞觀測時,細胞浸潤在液體中,上反射表面由玻璃-空氣分界面變?yōu)椴Ａ?水分界面,反射比降低,上下表面反射光斑的強度比會進一步降低。為了探究焦點偏移測量裝置在不同樣品下的表現(xiàn),本文分別對干燥樣品和濕潤樣品進行實驗。

圖5(a)和圖5(b)分別是在樣品干燥和濕潤的情況下,使用20×物鏡觀測到的伺服電機從-10 μm開始移動至10 μm時線陣CCD記錄的光斑數(shù)據(jù)。為了更明顯看出光斑的變化趨勢,光斑亮度都歸一化到0～255?？梢钥闯?光斑的亮度中心會隨著光斑的位置以及大小的變化而變化。

圖5 不同離焦量下的線陣CCD獲取到的激光光斑圖Fig.5 Laser spotcaptured by linear CCD when existing different defocus

為了與本文提出的窗口加權(quán)質(zhì)心法進行對比,圖6(a)和圖6(b)分別是在樣品干燥和濕潤的情況下,使用傳統(tǒng)中的灰度質(zhì)心法和平方加權(quán)質(zhì)心法處理激光光斑圖像得到的光斑中心的坐標值與伺服電機位移的模型圖。在樣品干燥的情況下,線陣CCD上會出現(xiàn)兩個光斑,由于樣品離焦量較小,蓋玻片上表面位于物鏡焦面附近,其反射光斑強度顯著高于下表面反射光斑,此時可將上表面反射光斑視作所需信號,而將下表面反射光斑視作噪聲,在該種情況下,系統(tǒng)信噪比相對于單反射表面的情況有所降低。從圖6(a)中可以看出,使用傳統(tǒng)質(zhì)心法得到的光斑中心位置與伺服電機位移不存在顯著的線型關系,而平方加權(quán)質(zhì)心法能夠有效改善信噪比,因而得到的光斑中心位置與伺服電機位移的線型關系尚可。在樣品濕潤的情況下,由于蓋玻片上表面反射比降低,有效信號大幅度衰減,傳統(tǒng)質(zhì)心法與平方加權(quán)質(zhì)心法因無法分辨有效信號和噪聲而完全失效,從圖6(b)中可以看出,在樣品濕潤的情況下,使用傳統(tǒng)質(zhì)心法與平方加權(quán)質(zhì)心法得到的光斑中心位置存在較大的誤差。

圖6 實驗數(shù)據(jù)擬合得到的光斑中心與 伺服電機位移間的關系模型Fig.6 The relationship between the center of the laser spot and the displacement of the servo motor obtained by fitting the experimental data

同理,在樣品濕潤的情況下可得窗口區(qū)間為[288,358]。

圖7(a)和圖7(b)分別是在樣品干燥和濕潤的情況下,使用窗口加權(quán)質(zhì)心法處理激光光斑圖像得到的光斑中心的坐標值與伺服電機位移的模型圖。

圖7 實驗數(shù)據(jù)擬合得到的光斑中心與伺服電機位移間的關系模型Fig.7 The relationship between the center of the laser spot and the displacement of the servo motor obtained by fitting the experimental data

擬合后的光斑中心位置與離焦量的關系模型可用下式描述：

y= -1.4x+ 330.4,-10 μm≤x≤10 μm(樣品干燥)

或

y= -1.4x+ 324.2,-10 μm≤x≤10 μm(樣品濕潤)

其中,y為窗口加權(quán)質(zhì)心法處理得到的激光光斑中心的坐標值,單位為像素；x為伺服電機的位移,單位為微米。

兩種情況下得到的最大擬合殘差分別為0.149(像素)和0.155(像素),對應的測量精度為106 nm和111 nm。

圖8(a)和圖8(b)分別是在樣品干燥和濕潤的情況下,使用三種不同的光斑處理方法的到的數(shù)據(jù)擬合效果的對比。在樣品干燥時,窗口加權(quán)質(zhì)心法能夠在平方加權(quán)質(zhì)心法的基礎上進一步提高系統(tǒng)的信噪比,提高光斑的定位精度,從圖8(a)中可以看出,窗口加權(quán)質(zhì)心法能夠使系統(tǒng)在測量精度方面相對于傳統(tǒng)的質(zhì)心法有顯著的提升,相對于平方加權(quán)質(zhì)心法也有小幅度的提升；在樣品濕潤時,本文提出的改進算法能夠精確獲取所需信號,有效排除噪聲干擾,徹底避免了傳統(tǒng)質(zhì)心法和平方加權(quán)質(zhì)心法在此類圖像上失效的問題,從圖8(b)中可以看出,窗口加權(quán)質(zhì)心法在系統(tǒng)測量精度方面相對于傳統(tǒng)質(zhì)心法和平方加權(quán)質(zhì)心法均有大幅的提升。

圖8 對實驗數(shù)據(jù)擬合得到的均方根誤差RMSEFig.8 Root mean square error(RMSE) obtained by fitting the experimental data

5 結(jié) 論

針對現(xiàn)存的自動對焦技術在對典型的實驗室用的顯微成像樣品進行自動對焦存在較大誤差的現(xiàn)象,本文提出一種基于線陣CCD的多表面焦點偏移測量方案,并在此基礎上設計了窗口加權(quán)質(zhì)心法。相較于面陣CCD,線陣CCD具有成像速度快、數(shù)據(jù)處理簡單、成本低廉等優(yōu)勢。窗口加權(quán)質(zhì)心法能夠有效地捕捉到蓋玻片的上表面反射光斑,排除下表面反射光斑的干擾,在光斑定位精度上有極大的提高。實驗結(jié)果表明,在樣品干燥的情況下,該系統(tǒng)使用的改進算法得到的均方根誤差(RMSE)為0.09(像素),相比于傳統(tǒng)質(zhì)心法和平方加權(quán)質(zhì)心法分別降低了92.9%和49.2%,對應的測量精度為106nm；在樣品濕潤的情況下,該系統(tǒng)使用的改進算法得到的均方根誤差(RMSE)為0.12(像素),相比于傳統(tǒng)的質(zhì)心法和平方加權(quán)質(zhì)心法分別降低了94.4%和93.7%,對應的測量精度為111 nm。

參考文獻：

[1] Kreft M,Stenovec M,Zorec R.Focus-drift correction in time-lapse confocal imaging[J].ANN N Y ACAD SCI,2005,1048(1):321-330.

[2] Silvestri L,Müllenbroich M C,Costantini I,et al.Fast,image-based autofocus system for high-resolution optical microscopy of whole mouse brains[C]//Novel Techniques in Microscopy:Optical Society of America,2017:JTu4A.8.

[3] YOU Yuhu,LIU Tong,LIU Jiawen.Survey of the auto- focus methods based on image processing[J].Laser & Infrared,2013，43(2):132-136.(in Chinese)

尤玉虎,劉通,劉佳文.基于圖像處理的自動對焦技術綜述[J].激光與紅外,2013，43(2)：132-136.

[4] Ehang T,Othman M A,Mahmood N H,et al.Autofocus microscope system using contrast measurement approach[J].JurnalTeknologi,2015,74(6):35-39.

[5] Nishi R,Moriyama Y,Yoshida K,et al.An autofocus method using quasi-Gaussian fitting of image sharpness in ultra-high-voltage electron microscopy[J].Microscopy,2013,62(5):515-519.

[6] Podlech S.Autofocus by bayes spectral entropy applied to optical microscopy[J].Microscopy and Microanalysis,2016,22(1):199-207.

[7] Oku H,Makise S,Ishikawa M.High-Speed autofocusing of cells using radial intensity profiles based on depth from diffraction(dfdi) method[J].Journal of AERO AQUA Bio-mechanisms,2013,3(1):13-21.

[8] HUANG Detian,WU Zhiyong,LIU Xuechao,et al.A depth from defocus fast auto-focusing technology for any target[J].Journal of Optoelectronics·Laser,2013,24(04):799-804.(in Chinese)

黃德天,吳志勇,劉雪超,等.一種適用于任意目標的離焦深度快速自動聚焦技術[J].光電子·激光,2013,24(04)：799-804.

[9] ZHANG Xiaobo,FAN Fuming,CHENG Lianglun.Improvement for fast auto-focus system using laser triangulation[J].Infrared and Laser Engineering,2012,41(7):1784-1791.(in Chinese)

張小波,范富明,程良倫.激光三角法改進的顯微鏡快速自動對焦方法[J].紅外與激光工程,2012,41(7)：1784-1791.

[10] ZHANG Jinghe,LIAO Jianghong,LIU Wei,et al.Manufacture of laser direct lithography equipment of binary optics elements[J].Chinese Journal of Scientific Instrument,2001,22(2):154-157.(in Chinese)

張景和,廖江紅,劉偉,等.二元光學元件激光直接寫入設備的研制[J].儀器儀表學報,2001,22(2)：154-157.

[11] WANG Jie,XIE Tiebang.Development of optical stylus 3D surface profilometer[J].Tool Engineering,2006,40(11):58-60.(in Chinese)

汪潔,謝鐵邦.光針式三維表面形貌測量儀的研制[J].工具技術,2006,40(11)：58-60.

[12] Hsu W Y,Lee C S,Chen P J,et al.Development of the fast astigmatic auto-focus microscope system[J].Measurement Science & Technology,2009,20(4):91-91.

[13] Liu C S,Wang Z Y,Chang Y C.Design and characterization of high-performance autofocusing microscope with zoom in/out functions[J].Applied Physics B,2015,121(1):69-80.

[14] Li Q,Bai L,Xue S,et al.Autofocus system for microscope[J].Optical Engineering,2002,41(6):1289-1294.

[15] Chien-sheng L,Jiang Shenghong.Precise autofocusing microscope with rapid response[J].Optics and Lasers in Engineering,2015，(66):294-300.

[16] WEN Luhong,TONG Weiqi,CHEN Guilin.Way to locate image point on CCD with centroid algorithm[J].Instrument Technique and Sensor,2004，(5):42-43.(in Chinese)

聞路紅,童衛(wèi)旗,陳桂林.重心算法確定CCD像點位置的硬件實現(xiàn)[J].儀表技術與傳感器,2004，(5)：42-43.