圖像獲取過(guò)程中自動(dòng)對(duì)焦方法研究

王河 艾博

摘 要：現(xiàn)有半導(dǎo)體設(shè)備使用的變倍顯微鏡對(duì)焦多為人工手動(dòng)調(diào)節(jié)，在顯微鏡使用過(guò)程中需要不停地人為調(diào)節(jié)倍率和焦距，為減少人為因素對(duì)顯微鏡對(duì)準(zhǔn)時(shí)的干擾，提高設(shè)備的自動(dòng)化程度，研究了一種適用于半導(dǎo)體設(shè)備的變倍顯微鏡的自動(dòng)對(duì)焦方法。通過(guò)對(duì)圖像灰度處理后的對(duì)比度分析，將信息反饋給變倍電機(jī)和調(diào)焦電機(jī)，完成顯微鏡的變倍和調(diào)焦動(dòng)作。

關(guān)鍵詞：變倍顯微鏡;圖像識(shí)別;自動(dòng)對(duì)焦

在半導(dǎo)體設(shè)備中，顯微鏡作為設(shè)備的眼睛已廣泛應(yīng)用，完成圖像采集、自動(dòng)對(duì)準(zhǔn)、坐標(biāo)提取等功能，常用的顯微鏡種類(lèi)主要包括單倍率顯微鏡、手動(dòng)變倍顯微鏡等。在半導(dǎo)體芯片制造生產(chǎn)中，使用的多為手動(dòng)變倍顯微鏡，在該過(guò)程中需要不停地人為干預(yù)對(duì)顯微鏡進(jìn)行調(diào)節(jié)，進(jìn)而完成同步觀察不同標(biāo)記大小的芯片，操作繁瑣、效率低下，且觀察效果不佳。隨著自動(dòng)半導(dǎo)體設(shè)備的發(fā)展，對(duì)顯微鏡也提出了同步觀察不同大小標(biāo)記點(diǎn)情況下的自動(dòng)變倍自動(dòng)對(duì)焦的要求，以提高顯微鏡的觀察效率。

1 變倍顯微鏡變倍原理

變倍顯微鏡也稱(chēng)為變焦距系統(tǒng)，最常用結(jié)構(gòu)為機(jī)械補(bǔ)償結(jié)構(gòu)，一般分為前固定組、變倍組、補(bǔ)償組、后固定組。如圖1所示，以由5X放大到20X為例，前、后固定組為固定倍率分別為5X和1X;變倍組（變倍比為1：4）進(jìn)行前后移動(dòng)，改變焦距大小，完成變倍;補(bǔ)償組的前后移動(dòng)對(duì)改變焦距后的像面位置進(jìn)行修正。

2 變倍顯微鏡自動(dòng)對(duì)焦系統(tǒng)設(shè)計(jì)

在自動(dòng)設(shè)備運(yùn)行過(guò)程中，需要采集到清晰的像，才能進(jìn)行后續(xù)的其他動(dòng)作指令，此時(shí)需要軟件進(jìn)行圖像處理，反饋至電機(jī)驅(qū)動(dòng)，調(diào)節(jié)顯微鏡的焦距和倍率。系統(tǒng)模塊包括：光學(xué)鏡頭模塊、圖像采集模塊、圖像處理模塊、圖像顯示模塊和電機(jī)驅(qū)動(dòng)模塊。圖像采集模塊經(jīng)光學(xué)鏡頭完成圖像采集任務(wù)，傳輸至圖像處理模塊;圖像處理模塊通過(guò)特征圖形匹配和對(duì)比度進(jìn)行分析處理，反饋到電機(jī)驅(qū)動(dòng)模塊;電機(jī)驅(qū)動(dòng)模塊中電機(jī)通過(guò)脈沖比進(jìn)行細(xì)微轉(zhuǎn)動(dòng)，這時(shí)圖像采集模塊再進(jìn)行采集，迭代至特征圖形和對(duì)比度達(dá)到預(yù)定標(biāo)準(zhǔn)，傳輸至圖像顯示模塊，完成動(dòng)作指令。如圖2所示：

軟件處理過(guò)程中，需要為系統(tǒng)對(duì)比度的判定設(shè)定閾值，在閾值范圍內(nèi)系統(tǒng)判定為齊焦?fàn)顟B(tài)，設(shè)定齊焦?fàn)顟B(tài)閾值為80%，輸出圖像狀態(tài)閾值為95%。因此軟件進(jìn)行圖像處理流程圖如下：圖像采集后進(jìn)行灰度處理，提取對(duì)比度信息，判斷對(duì)比度是否≥80%，<80%時(shí)反饋到調(diào)焦電機(jī)，進(jìn)行快速調(diào)焦;再獲取圖像信息，直至對(duì)比度≥80%，再進(jìn)行對(duì)比度判斷是否≥95%，是則進(jìn)行標(biāo)記點(diǎn)匹配，否則反饋調(diào)焦電機(jī)，慢速調(diào)節(jié)。當(dāng)完成對(duì)比度判斷，此時(shí)顯微鏡已經(jīng)從初始化狀態(tài)尋找到清晰的像。將像與標(biāo)記點(diǎn)進(jìn)行對(duì)比，如果在視場(chǎng)中心則反饋?zhàn)儽峨姍C(jī)進(jìn)行倍率放大或縮小，否則移動(dòng)工作臺(tái)尋找標(biāo)記，反復(fù)此動(dòng)作直至標(biāo)記信息處于視場(chǎng)中心。調(diào)節(jié)變倍電機(jī)后，再次進(jìn)行對(duì)比度判斷是否≥95%，是則進(jìn)行標(biāo)記點(diǎn)圖像匹配，否則反饋調(diào)焦電機(jī)，重復(fù)調(diào)焦動(dòng)作。圖像和標(biāo)記圖形進(jìn)行匹配，未達(dá)到選取模版圖形大小時(shí)，反饋?zhàn)儽峨姍C(jī)，進(jìn)行再變倍，達(dá)到選取模板圖形大小時(shí)，輸出圖像。如圖3所示：

圖像采集后經(jīng)過(guò)對(duì)比度分析和標(biāo)記點(diǎn)區(qū)域匹配，得到清晰適中的像，顯微鏡變倍齊焦對(duì)準(zhǔn)完成，將所得像素坐標(biāo)反饋給上位機(jī)繼而完成后續(xù)設(shè)備所需動(dòng)作。

2.1變倍環(huán)節(jié)的圖像匹配

經(jīng)過(guò)顯微鏡放大通過(guò)CCD相機(jī)進(jìn)行圖像采集，放大后的標(biāo)記點(diǎn)形狀、大小、旋轉(zhuǎn)角度都會(huì)存在誤差，為保證在標(biāo)記對(duì)準(zhǔn)時(shí)圖像能處于一個(gè)適中大小的圖像，需要對(duì)圖像進(jìn)行處理，判斷此時(shí)倍率是否能夠完成對(duì)準(zhǔn)動(dòng)作。為準(zhǔn)確實(shí)現(xiàn)圖像匹配，需要選取一個(gè)完整清晰的標(biāo)記點(diǎn)圖形，通過(guò)圖像頻譜的相位相關(guān)性實(shí)現(xiàn)存在平移、旋轉(zhuǎn)和縮放的兩幅圖像間的配準(zhǔn)。對(duì)于存在平移、旋轉(zhuǎn)和縮放的圖像f1（x，y）和，f2（x，y），兩者在空間域中的位置關(guān)系如下式1所示

其中f1（x，y）為采集圖像，f2（x，y）為選取圖像，圖像水平和垂直方向的縮放使用相同的縮放系數(shù)a，θ為圖像的旋轉(zhuǎn)系數(shù)，Δx，Δy分別為水平方向和垂直方向的平移量。

當(dāng)采集后的圖像f1（x，y）與選取圖像f2（x，y）在空間域進(jìn)行對(duì)比時(shí)，判斷系數(shù)a，θ，Δx，Δy的值，對(duì)工作臺(tái)和顯微鏡進(jìn)行移動(dòng)，完成對(duì)準(zhǔn)，其中變倍電機(jī)的轉(zhuǎn)動(dòng)影響系數(shù)a，工作臺(tái)的移動(dòng)影響系數(shù)θ，Δx，Δy。

在通過(guò)變倍電機(jī)進(jìn)行轉(zhuǎn)動(dòng)時(shí)，系統(tǒng)需要判斷系數(shù)a值的大小，當(dāng) a<1時(shí)，標(biāo)記點(diǎn)圖形小于選取圖形大小，此時(shí)標(biāo)記點(diǎn)過(guò)小，不利于對(duì)準(zhǔn);當(dāng)a=1時(shí)，標(biāo)記點(diǎn)圖形等于選取圖形大小，此時(shí)標(biāo)記點(diǎn)為選取圖形大小，適合對(duì)準(zhǔn);當(dāng)a>1時(shí)，標(biāo)記點(diǎn)圖形大于選取圖形，此時(shí)標(biāo)記點(diǎn)圖形過(guò)大，不利于對(duì)準(zhǔn)。

變倍顯微鏡在執(zhí)行變倍工作時(shí)，需要滿足被放大物體處于視場(chǎng)中心，否則會(huì)出現(xiàn)放大后物體偏離視場(chǎng)，在高倍率物鏡下，視場(chǎng)偏離會(huì)導(dǎo)致很難再次尋找到標(biāo)記點(diǎn)，因此需要實(shí)時(shí)通過(guò)系數(shù)θ，Δx，Δy，矯正視場(chǎng)中心位置。通過(guò)每個(gè)像素點(diǎn)所在位置進(jìn)行校準(zhǔn)，在CCD相機(jī)像元中

式（2）中L表示在像元中每個(gè)像素點(diǎn)在實(shí)際中表示的距離，C表示像元尺寸大小，г表示光學(xué)放大倍率，當(dāng)被測(cè)物體偏離視場(chǎng)中心時(shí)，根據(jù)像素坐標(biāo)與實(shí)際坐標(biāo)的轉(zhuǎn)換比例計(jì)算出系數(shù)θ，Δx，Δy，調(diào)節(jié)工作臺(tái)，完成校準(zhǔn)。

圖4為不同倍率下的基片標(biāo)記，選取模板標(biāo)記圖形為20倍下的“閃電標(biāo)記”，圖（a）在5倍標(biāo)記時(shí)，圖中“閃電標(biāo)記”的系數(shù)a<1，未能達(dá)到對(duì)準(zhǔn)要求，且視場(chǎng)未處于圖像中心，移動(dòng)工作臺(tái)X，Y軸，調(diào)整視場(chǎng)位置，如圖（b）所示，此時(shí)系數(shù)a<1，視場(chǎng)位置變化，仍不滿足對(duì)準(zhǔn)要求，需要更進(jìn)一步調(diào)整，如圖（c）所示，此時(shí)系數(shù)a=1，采集到的圖像中標(biāo)記和選取的標(biāo)記大小相同，此時(shí)完成變倍

2.2基于對(duì)比度的焦距判別

在前文中提到顯微鏡變倍調(diào)節(jié)是在圖像保持清晰的條件下進(jìn)行，在顯微鏡成像過(guò)程中，像的輪廓邊緣越清晰，那么它的亮度梯度就越大，即像內(nèi)圖像邊緣與背景對(duì)比度就越大;相反離焦的像，輪廓邊緣模糊不清，亮度梯度或?qū)Ρ榷认陆?。離焦越遠(yuǎn)，對(duì)比度越低。根據(jù)此原則，利用圖像的對(duì)比度進(jìn)行處理，在對(duì)比度大于等于所設(shè)閾值時(shí)，判斷此時(shí)為齊焦?fàn)顟B(tài)，小于所設(shè)閾值時(shí)，此時(shí)為離焦?fàn)顟B(tài)，需要調(diào)焦電機(jī)進(jìn)行調(diào)焦。調(diào)焦電機(jī)即為顯微鏡Z向高度電機(jī)，作用為調(diào)節(jié)顯微鏡的上下高度，同時(shí)電機(jī)精度小于顯微鏡景深距離。電機(jī)精度越高，圖像對(duì)比度獲取的越準(zhǔn)確，系統(tǒng)判定也越精準(zhǔn)。

在對(duì)相機(jī)采集的圖像對(duì)比度進(jìn)行分析，設(shè)定齊焦?fàn)顟B(tài)閾值為80%，系統(tǒng)輸出圖像閾值為95%，如圖5所示，在80%-100%之間，此時(shí)系統(tǒng)判定此時(shí)為齊焦?fàn)顟B(tài)，h為焦點(diǎn)，a-b的距離為顯微鏡焦深。

實(shí)際使用的顯微鏡的景深為4μm，工作距離為30mm，進(jìn)行對(duì)焦時(shí)，Z向高度距離工作臺(tái)面的初始值為30mm，為保證初始狀態(tài)高度低于焦點(diǎn)高度，設(shè)定一個(gè)遠(yuǎn)大于景深的距離0.05mm，Z向移動(dòng)高度=待測(cè)芯片的厚度X-0.05mm，此時(shí)對(duì)比度小于80%，調(diào)焦電機(jī)進(jìn)行快速轉(zhuǎn)動(dòng)，系統(tǒng)實(shí)時(shí)檢測(cè)對(duì)比度值，當(dāng)對(duì)比度≥80%時(shí)此時(shí)系統(tǒng)判定為齊焦?fàn)顟B(tài);然后電機(jī)改為慢速轉(zhuǎn)動(dòng)，當(dāng)對(duì)比度值≥95%時(shí)，系統(tǒng)輸出此時(shí)圖像。

3 自動(dòng)變倍調(diào)焦顯微鏡系統(tǒng)實(shí)例

顯微鏡20倍物鏡（視場(chǎng)大小3mm）在2英寸芯片（厚2mm）距30mm處且在在景深范圍內(nèi)獲取的圖像，對(duì)比度分別為35%、80%、90%、95%、85%、70%，圖像的清晰度也隨圖像的對(duì)比度變化而變化，變化范圍為35%-95%。如圖6所示：

此時(shí)圖像對(duì)比度和顯微鏡Z向移動(dòng)高度數(shù)據(jù)如表1，對(duì)比度范圍為35%-95%，顯微鏡Z向高度為65μm-72μm。

顯微鏡在距離工作臺(tái)面31.95mm處開(kāi)始移動(dòng)，在向上移動(dòng)65μm時(shí)，對(duì)比度為35%，此時(shí)還未進(jìn)入齊焦?fàn)顟B(tài)，顯微鏡繼續(xù)向上移動(dòng)，當(dāng)?shù)竭_(dá)69μm時(shí)，對(duì)比度達(dá)到最高95%，此時(shí)判斷為齊焦?fàn)顟B(tài)，通過(guò)人眼觀察，線條清晰。圖7中所示，在Z向高度移動(dòng)67-71μm時(shí)，對(duì)比度值均在80%以上，超過(guò)顯微鏡景深范圍后，對(duì)比度快速下降，此時(shí)已經(jīng)為離焦?fàn)顟B(tài)。

4 總結(jié)

本文介紹了變倍顯微鏡自動(dòng)變倍齊焦方法，通過(guò)圖像處理方法，將采集的圖像進(jìn)行對(duì)比度分析，完成顯微鏡的變倍和調(diào)焦動(dòng)作。此方法可完成自動(dòng)化半導(dǎo)體設(shè)備中顯微鏡對(duì)準(zhǔn)動(dòng)作，滿足了顯微鏡在同時(shí)觀察不同大小標(biāo)記點(diǎn)的情況下自動(dòng)變倍自動(dòng)對(duì)焦的要求，提高了顯微鏡的觀察效率。同時(shí)為減少實(shí)際工作中圖像未能識(shí)別的問(wèn)題出現(xiàn)，需在對(duì)準(zhǔn)前對(duì)標(biāo)記點(diǎn)進(jìn)行標(biāo)定，對(duì)不同樣片進(jìn)行對(duì)準(zhǔn)實(shí)驗(yàn)，以提高圖像獲取過(guò)程中的準(zhǔn)確性。

參考文獻(xiàn)：

[1] 陳金國(guó).數(shù)字圖像自動(dòng)聚焦技術(shù)研究及系統(tǒng)實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2007：27-29.

[2]李林，黃一帆，王涌天.現(xiàn)代光學(xué)設(shè)計(jì)方法第3版[M].北京：北京理工大學(xué)出版社，2018：230-233.

[3]許盛，李見(jiàn)為.高級(jí)顯微鏡系統(tǒng)智能化自動(dòng)調(diào)焦的研究及實(shí)現(xiàn).光學(xué)儀器，2000，22（5）：22-26

作者簡(jiǎn)介：

王河（1995—），男，漢，主要從事半導(dǎo)體光刻與測(cè)試設(shè)備研發(fā)工作。