基于物方差動共焦軸向測量引導(dǎo)的顯微鏡自動對焦方法

海涌杰 易定容 黃彩虹 袁濤 梅小華

摘要： 針對傳統(tǒng)自動聚焦方法效率低，難以適應(yīng)工業(yè)產(chǎn)品微觀形貌檢測高精度、高效率需求的問題，提出一種基于物方差動共焦軸向測量引導(dǎo)的顯微鏡自動對焦方法（DCAFM）。在獲取測量系統(tǒng)中離焦量和軸向光強(qiáng)差之間的標(biāo)定曲線后，控制運(yùn)動機(jī)構(gòu)使物鏡與樣本的軸向距離以等步距的方式采集圖像。通過焦前與焦后位置光強(qiáng)差快速確定當(dāng)前軸向離焦量，控制軸向運(yùn)動機(jī)構(gòu)，實(shí)現(xiàn)快速自動對焦。搭建顯微鏡自動對焦實(shí)驗(yàn)平臺，對樣品進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明：文中方法的圖像對焦速度和靈敏度優(yōu)于DFT，EOG等自動對焦方法，系統(tǒng)的軸向分辨率優(yōu)于0.4 μm，有效地提高了顯微鏡的對焦速度和精度。

關(guān)鍵詞： 自動對焦方法； 軸向測量； 軸向差動共焦； 物方差動； 微觀形貌檢測

中圖分類號： TP 391.7文獻(xiàn)標(biāo)志碼： A?? 文章編號： 1000-5013（2024）01-0016-06

Microscope Automatic Focusing Method Based on Height-Guidance of Object-Side Differential Confocal Axial Measurement

HAI Yongjie1， YI Dingrong1， HUANG Caihong2， YUAN Tao1， MEI Xiaohua2

（1. College of Mechanical Engineering and Automation， Huaqiao University， Xiamen 361021， China；

2. College of Information Science and Engineering， Huaqiao University， Xiamen 361021， China）

Abstract： Aiming at the problem of low efficiency of traditional automatic focusing methods and difficulty in adapting to the high precision and high efficiency of microscopic morphology detection in industrial products， a microscope automatic focusing method based on the height-guidance of object-side differential confocal axial measurement is proposed. After obtaining the calibration curve between the defocus amount and the axial light intensity difference in the measurement system， the motion mechanism is controlled so that the axial distance between the objective lens and the sample is used to collect images at equal steps. The current axial defocus amount is determined quickly through the difference in light intensity between the front and back focus positions， and control the axial movement mechanism to achieve fast autofocus. A microscope autofocus experimental platform is built to test samples. Experimental results show that the image focusing speed and sensitivity of the proposed method are better than that of DFT， EOG and other automatic focusing methods， and the axial solution of the system is better than 0.4 μm， which effectively improves the focusing speed and accuracy of the microscope.

Keywords： autofocus method； axial measurement； axial differential confocal； object-side differential； micromorphology detection

顯微鏡自動對焦技術(shù)在工業(yè)產(chǎn)品檢測如PCB板檢測［1］、生物樣品高通量檢測及數(shù)字病理診斷［2］中廣泛應(yīng)用。隨著工業(yè)生產(chǎn)與科學(xué)研究的發(fā)展，傳統(tǒng)自動對焦方法難以同時滿足應(yīng)用場景對精度和效率的要求，因此，提高自動對焦的精度與效率已經(jīng)成為工業(yè)生產(chǎn)與生物科學(xué)研究領(lǐng)域亟待解決的問題。

目前，基于圖像的自動對焦方法主要有離焦深度法［3］與聚焦深度法［4］。離焦深度法通過分析一系列離焦模糊圖像的重要特征估計光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，從而對光學(xué)系統(tǒng)參數(shù)進(jìn)行建模，反推出離焦量。離焦深度法的缺點(diǎn)是估計出的點(diǎn)擴(kuò)散函數(shù)無法應(yīng)用于其他光學(xué)系統(tǒng)，具有一定的局限性。聚焦深度法通過采集不同軸向位置的序列圖像，使用某種聚焦評價函數(shù)或圖像清晰度評價函數(shù)，該函數(shù)反映圖像離焦程度量化值與離焦量之間的關(guān)系。聚焦深度法的核心之一是根據(jù)應(yīng)用場景選擇或設(shè)計合適的聚焦評價函數(shù)，該方法具有不需要額外添加光學(xué)器件、方法泛化能力強(qiáng)等優(yōu)點(diǎn)，已有學(xué)者針對聚焦評價函數(shù)展開研究，以提高自動對焦的效率與精度。熊銳等［5］對Brenner函數(shù)和Roberts函數(shù)進(jìn)行改進(jìn)，提出一種適合于多邊緣方向的大尺度微納器件的快速自動聚焦的聚焦評價函數(shù)，但該方法需要存儲大量圖像進(jìn)行分析。為了減少自動對焦過程中需要分析的圖像數(shù)量以提高對焦效率，李強(qiáng)等［6］設(shè)計一種基于深度學(xué)習(xí)的數(shù)字病理掃描系統(tǒng)單次曝光自動對焦方法，該算法輸入離焦模糊圖像，通過算法處理后直接獲得對應(yīng)的準(zhǔn)焦圖像，從原理上替代了傳統(tǒng)方法對逐個子圖像進(jìn)行機(jī)械掃描調(diào)焦。周鵬等［7］提出一種基于三軸視覺測量系統(tǒng)的自動對焦技術(shù)，該方法共采集7張圖像通過高斯擬合確定最終正焦位置，將光學(xué)離焦模型分解為2個曲線方程，提高了對焦效率。

基于聚焦深度法的自動對焦方法一定程度上依賴于聚焦評價函數(shù)的選擇是否適用于測量場景［8］，容易產(chǎn)生對焦精度不足、對焦速度過慢等問題，需要根據(jù)不同的應(yīng)用場景對不同的聚焦評價函數(shù)進(jìn)行改進(jìn)；而基于深度學(xué)習(xí)開發(fā)的自動對焦方法依賴訓(xùn)練集，并且應(yīng)用場景較有針對性，該方法缺少普適性且需要處理大量數(shù)據(jù)［5，9］。由于共聚焦顯微技術(shù)使用點(diǎn)探測，能夠更加穩(wěn)定地獲得光強(qiáng)軸向響應(yīng)曲線，樣品參數(shù)不易對該曲線造成影響，因此可基于共焦成像的軸向?qū)游鎏匦?，研究適用于共焦顯微成像系統(tǒng)的自動對焦方法。

基于此，針對傳統(tǒng)自動對焦方法中聚焦評價函數(shù)普適性低、靈敏度低和對焦速度慢的問題，本文提出一種基于物方差動共焦軸向測量引導(dǎo)的顯微鏡自動對焦方法（DCAFM）。

1 原理及方法

1.1 自動對焦原理

差動共焦顯微鏡的原理示意圖，如圖1所示，其中，探測器端、點(diǎn)光源前的針孔是互相共軛的，非物鏡焦平面上的絕大部分光線都會被針孔擋住，因此共焦顯微鏡探測器段具有較大的信噪比，所得成像的對比度和清晰度較高［10］。

DCAFM主要基于差動共焦顯微原理（圖1），光源中發(fā)出的白光通過準(zhǔn)直透鏡、全反射鏡，經(jīng)過數(shù)字微鏡器件（DMD）將白光調(diào)制為周期點(diǎn)陣光，光線照射到樣本表面上后反射至探測端成像。PI電機(jī)帶動物鏡相對于當(dāng)前軸向位置分別向上和向下移動軸向偏移量uF，并在移動完成后獲取圖像，從而獲得兩張圖像以實(shí)現(xiàn)基于物方差動共焦軸向測量引導(dǎo)的自動對焦。

根據(jù)差動共焦軸向距離測量的原理獲取灰度差與軸向離焦量的關(guān)系，基于該軸向光強(qiáng)差動曲線獲取軸向離焦量，從而達(dá)到自動對焦的目的。根據(jù)劉志群［11］的相關(guān)研究，在差動共焦顯微測量系統(tǒng)中，探測端光強(qiáng)與樣品表面離焦量之間的關(guān)系，即軸向光強(qiáng)響應(yīng)曲線的表達(dá)式為

式（1）中：u為樣品表面軸向離焦量；I（u）為探測端接收到的光照強(qiáng)度；坐標(biāo)原點(diǎn)為焦面位置。

為了進(jìn)行系統(tǒng)標(biāo)定，獲取當(dāng)前測量系統(tǒng)探測端光強(qiáng)差與離焦量的近似線性關(guān)系，設(shè)uPre和uPost分別為焦前曲線和焦后曲線的軸向偏移量，并且此處uF=uPre=uPost。

采用焦前軸向光強(qiáng)響應(yīng)曲線I（u-uPre）與焦后軸向光強(qiáng)曲線I（u+uPost）作差，表達(dá)式為

IDiffer=IPre-IPost。（2）

式（2）中：IDiffer為差動光強(qiáng)信號；IPre為焦前光強(qiáng)信號，IPre=I（u-uPre）；IPost為焦后光強(qiáng)信號，IPost=I（u+uPost）。獲得物方軸向測量差動曲線，如圖2所示。

相比于傳統(tǒng)共聚焦顯微鏡，差動共焦顯微鏡能夠通過分析相對于焦面前、后對稱的兩個探測器位置的光強(qiáng)信息，快速獲取物鏡當(dāng)前與焦面的距離。由于差動共焦原理下的軸向差動光強(qiáng)響應(yīng)曲線的線性區(qū)具有較大的斜率，因此，能夠有效提高對焦過程中的靈敏度。

根據(jù)Tan等［12］確定的Sinc2模型對共焦軸向響應(yīng)曲線進(jìn)行擬合，通過設(shè)定一定的軸向偏移量uF，獲得焦前與焦后的軸向特性曲線，并使用焦前曲線與焦后曲線作差（圖2），獲得物方差動共焦軸向測量曲線仿真圖，如圖3所示。圖3中：藍(lán)色區(qū)域?yàn)榫€性區(qū)，具有軸向定位能力。根據(jù)光強(qiáng)的差值IDiffer（u）能夠?qū)?yīng)當(dāng)前樣本表面的離焦量Δu=I-1Differ（Δu），實(shí)現(xiàn)軸向測量引導(dǎo)的自動對焦方法。

由于差動后的曲線的非線性區(qū)域不具有軸向定位能力，可能具有不唯一解導(dǎo)致無法對應(yīng)正確軸向離焦量，因此，提出一種基于信息論的超量程判斷方法（IT-ORDM）［10］對被測表面高度所屬的曲線區(qū)域進(jìn)行判斷，以解決存在非唯一解的情況?；谛畔⒄摰某砍膛袛喾椒ǎ鐖D4所示。圖4中：z為軸向距離；+zd，-zd分別為焦前、焦后軸向光強(qiáng)響應(yīng)曲線峰值對應(yīng)的軸向距離。

假設(shè)對某點(diǎn)P1（對應(yīng)軸向距離z1）的軸向離焦量進(jìn)行判斷，該點(diǎn)位于紫色區(qū)域內(nèi)的線性區(qū)（對應(yīng)軸向距離范圍為［zmin，zmax］），因此，在量程內(nèi)可以得出正確的離焦量。但在圖4（a）的綠色區(qū)域內(nèi)，也存在一點(diǎn)P2（對應(yīng)軸向距離z2），該點(diǎn)相應(yīng)地在焦前軸向光強(qiáng)響應(yīng)曲線（Pre-focus ARC）和焦后軸向光強(qiáng)響應(yīng)曲線（Post-focus ARC）上有2個點(diǎn)P′2和P″2，是超出測量量程的，與P2具有同一軸向距離z2。因此，在焦前和焦后圖像中都可能存在超出量程的點(diǎn)和在量程內(nèi)的點(diǎn)。IT-ORDM通過系統(tǒng)刻度曲線分別獲得焦前與焦后圖像中的真實(shí)測量區(qū)域，進(jìn)而對焦前和焦后圖像進(jìn)行求交集運(yùn)算，即可獲得差動圖像的有效測量區(qū)域（圖4（b））。

1.2 共焦光學(xué)系統(tǒng)標(biāo)定

差動共焦顯微測量系統(tǒng)的實(shí)驗(yàn)平臺，如圖5（a）所示。圖像探測器采用濱松sCMOS相機(jī)、PlanFluor物鏡（10倍，數(shù)值孔徑值為0.3）和Motic BA600Mot顯微鏡架。通過測量系統(tǒng)刻度方法對所用測量系統(tǒng)進(jìn)行刻度，刻度流程如圖5（b）所示。

分別將物鏡移動至焦前10 μm與焦后10 μm處，以0.2 μm的步距獲取200張層掃圖像，對線性區(qū)曲線進(jìn)行線性擬合，測量系統(tǒng)中的軸向響應(yīng)曲線及差動曲線，如圖6（a），（b）所示。重復(fù)5組刻度試驗(yàn)，結(jié)果如圖6（c）所示，誤差棒的中心為5組數(shù)據(jù)均值，棒長為標(biāo)準(zhǔn)差的兩倍。

為驗(yàn)證文中方法的軸向分辨率，采用步距0.2 μm，層掃200張圖片進(jìn)行多組重復(fù)性試驗(yàn)，作出文中方法的軸向分辨力圖，最大標(biāo)準(zhǔn)差為0.556，軸向分辨率高于0.4 μm。經(jīng)過對線性區(qū)域的線性擬合（圖6（b）），得到擬合式為

IDiffer（u）=-0.026 08u-0.021 42。（3）

1.3 自動對焦流程

DCAFM流程圖，如圖7所示。DCAFM具體有以下3個步驟。

1） 在獲取的第i張樣本圖像的前、后軸向距離uF位置獲取2張樣本圖像灰度（即光強(qiáng)值）并作差，得到IDiffer。2） 判斷被測樣品的軸向高度是否超過對焦范圍，獲取圖像中的有效離焦距離。3） 根據(jù)步驟2）中所獲取的有效離焦距離進(jìn)行對焦。

2 實(shí)驗(yàn)結(jié)果與分析

傳統(tǒng)自動對焦方法的核心是對焦評價函數(shù)，其性能好壞直接影響最終的對焦效果。目前的圖像清晰度評價函數(shù)主要有基于圖像梯度的評價函數(shù)、頻域評價函數(shù)、信息熵評價函數(shù)和統(tǒng)計學(xué)評價函數(shù)。因此，為驗(yàn)證DCAFM的自動對焦性能，采用4種具有代表性的清晰度評價函數(shù)進(jìn)行自動對焦過程模擬，將實(shí)驗(yàn)結(jié)果與文中方法進(jìn)行對比。分別選取文獻(xiàn)［12］中的能量梯度函數(shù)（EOG）、二維離散傅里葉變換（DFT）法、信息熵清晰度評價函數(shù)及Variance函數(shù)進(jìn)行自動對焦性能對比實(shí)驗(yàn)。

分別采用DCAFM、EOG、DFT、信息熵清晰度評價函數(shù)、Variance函數(shù)等方法，以0.2 μm為步距對金手指樣品進(jìn)行層掃，從而獲取不同離焦程度樣本圖像，并對所得樣本圖像進(jìn)行清晰度評價。DCAFM測試用樣本焦面圖像，如圖8所示。使用常用清晰度評價函數(shù)進(jìn)行對比，如圖9所示。由圖9可知：相比于其他方法，DFT方法尋找焦面的誤差較大，不符合單峰性，存在一定的軸向距離偏移。

采用自動對焦評價函數(shù)的靈敏度、陡峭度、對焦效率等參數(shù)對不同方法的對焦性能進(jìn)行比較。在軸向相等步距的情況下，靈敏度Sen的計算式［15］為

式（4）中：Score為某圖像的清晰度得分； j為層掃圖像序列的索引； Scoremax（j）為某清晰度評價函數(shù)下的最高清晰度得分。對焦效率使用Matlab中的代碼運(yùn)行時間為標(biāo)準(zhǔn)。由于DCAFM對焦所用曲線為一條直線，因此，使用灰度差值為0的點(diǎn)作為Scoremax所在的點(diǎn)。

不同自動對焦方法的性能對比，如表1所示。表1中：t為對焦時間。由表1可知：相比傳統(tǒng)自動對焦方法，DCAFM在靈敏度及對不同離焦距離圖像的分辨能力上有顯著提升；在自動對焦效率方面，相比于文獻(xiàn)［4］中提出的需要獲取7張圖片的自動對焦方法，DCAFM僅需提取2張圖片的信息即可完成對焦；相比于傳統(tǒng)的基于圖像處理的自動對焦方法，DCAFM對焦所用的時間縮短了80%以上。

3 結(jié)束語

通過對共聚焦顯微鏡的原理進(jìn)行討論，提出基于物方差動共焦軸向測量引導(dǎo)的顯微鏡自動對焦方法。該自動對焦方法基于物方差動共焦軸向距離測量原理，在檢測過程中只需采集2幅圖像即可完成對焦；同時，用于對焦的曲線靈敏度較大，軸向分辨率高于0.4 μm，因此，能夠?qū)崿F(xiàn)較高的對焦效率、精度和較好的普適性。經(jīng)過實(shí)驗(yàn)驗(yàn)證，相比傳統(tǒng)基于圖像算子的自動對焦方法，DCAFM可以提高工業(yè)產(chǎn)品自動光學(xué)檢測過程中獲取圖像的質(zhì)量，提高基于自動光學(xué)檢查（AOI）方法的工業(yè)產(chǎn)品缺陷自動檢測效率和精度。

參考文獻(xiàn)：

［1］ DAVE N，TAMBADE V，PANDHARE B，et al.PCB defect detection using image processing and embedded system［J］.International Research Journal of Engineering and Technology，2016，3（5）：1897-1901.

［2］ LIAO Jun，JIANG Shaowei，ZHANG Zibang，et al.Terapixel hyperspectral whole-slide imaging via slit-array detection and projection［J］.Journal of Biomedical Optics，2018，23（6）：066503.DOI：10.1117/1.JBO.23.6.066503.

［3］ SUBBARAO M，SURYA G.Depth from defocus： A spatial domain approach［J］.International Journal of Computer Vision，1994，13（3）：271-294.DOI：10.1007/BF02028349.

［4］ XIONG Yalin，SHAFER S A.Depth from focusing and defocusing［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York：IEEE Press，1993：68-73.DOI：10.1109/CVPR.1993.340977.

［5］ 熊銳，顧乃庭，徐洪艷.一種適應(yīng)多方向灰度梯度變化的自動對焦評價函數(shù)［J］.激光與光電子學(xué)進(jìn)展，2022，59（4）：373-380.DOI：10.3788/LOP202259.0418001.

［6］ 李強(qiáng)，劉賢明，韓凱歌，等.基于深度學(xué)習(xí)的數(shù)字病理掃描系統(tǒng)單次曝光自動對焦方法［J］.中國科學(xué)：信息科學(xué)，2021，51（10）：1675-1689.DOI：10.1360/SSI-2020-0349.

［7］ 周鵬，胡成海，畢超，等.三軸視覺測量系統(tǒng)自動對焦技術(shù)［J］.紅外與激光工程，2021，50（12）：443-450.DOI：10.3788/IRLA20210141.

［8］ QU Yufu，ZHU Shenyu，ZHANG Ping.A self-adaptive and nonmechanical motion autofocusing system for optical microscopes［J］.Microscopy Research and Technique，2016，79（11）：1112-1122.DOI：10.1002/jemt.22765.

［9］ BIAN Zichao，GUO Chengfei，JIANG Shaowei，et al.Autofocusing technologies for whole slide imaging and automated microscopy［J］.Journal of Biophotonics，2020，13（12）：e202000227.DOI：10.1002/jbio.202000227.

［10］ 高興宇，伍世榮，蕭澤新.一種現(xiàn)代先進(jìn)成像技術(shù)： 共焦顯微術(shù)［C］∥2004全國光學(xué)與光電子學(xué)學(xué)術(shù)研討會、2005全國光學(xué)與光電子學(xué)學(xué)術(shù)研討會、廣西光學(xué)學(xué)會成立20周年年會論文集.桂林：廣西光學(xué)學(xué)會，2005：250-252.

［11］ 劉志群.差動并行共聚焦高精度快速三維表面形貌測量方法研究［D］.廈門：華僑大學(xué)，2020.

［12］ TAN Jiubin，LIU Chenguang，LIU Jian，et al.Sinc2 fitting for height extraction in confocal scanning［J］.Measurement Science and Technology，IOP Publishing，2015，27（2）：025006.DOI：10.1088/0957-0233/27/2/025006.

［13］ YUAN Tao，YI Dingrong，YE Yiqing，et al.Differential confocal over range determination method based on information theory［J］.Applied Optics，2023，62（8）：2073-2077.DOI：10.1364/AO.484018.

［14］ 熊銳.基于數(shù)字圖像處理的顯微自動對焦技術(shù)研究［D］.成都：中國科學(xué)院大學(xué)（中國科學(xué)院光電技術(shù)研究所），2021.

［15］ 王燁茹.基于數(shù)字圖像處理的自動對焦方法研究［D］.杭州：浙江大學(xué)，2018.