基于機(jī)器視覺的晶圓表面缺陷檢測(cè)

摘 要：為降低晶圓缺陷對(duì)半導(dǎo)體制造的影響，設(shè)計(jì)一種基于機(jī)器視覺的晶圓表面缺陷在線自動(dòng)檢測(cè)技術(shù)。首先，針對(duì)晶圓中單個(gè)晶元可能出現(xiàn)缺角或者遮擋，設(shè)計(jì)一種基于輪廓匹配的晶元定位方法;其中選取輪廓完整的良品圖，經(jīng)過圖像拉伸、中值濾波、邊緣檢測(cè)、形態(tài)學(xué)處理，得到外邊緣輪廓和內(nèi)部圓點(diǎn)輪廓，建立外邊緣輪廓模板，搜索晶圓圖像金字塔進(jìn)行模板匹配。其次，針對(duì)晶元背景是有一定規(guī)律排列的幾何圖案，缺陷可能與背景幾何圖案相似的問題，利用仿射變換原理，設(shè)計(jì)一種幾何圖案輪廓仿射變換與分區(qū)域檢測(cè)方法;在此基礎(chǔ)上，裁剪幾何圖案內(nèi)部區(qū)域和幾何圖案外部區(qū)域，分別進(jìn)行閾值分割和形態(tài)學(xué)處理，提取缺陷。再次，將缺陷做并集，得到總的缺陷，并進(jìn)行標(biāo)記，完成缺陷檢測(cè)。實(shí)驗(yàn)結(jié)果表明，所提檢測(cè)算法能有效解決晶元缺角或嚴(yán)重遮擋無法匹配定位和缺陷與背景幾何圖案相似的問題，且能有效檢測(cè)出各種缺陷，單個(gè)小晶元的檢測(cè)速度約430 ms，算法效果好，檢測(cè)速度快，符合工業(yè)要求。

關(guān)鍵詞：晶圓缺陷檢測(cè);圖像分割;形態(tài)學(xué)處理;輪廓匹配

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼： A

作為一種半導(dǎo)體材料，晶圓由重復(fù)的晶片組成，而晶片是具有相同結(jié)構(gòu)和電氣性能的元件[1]。晶圓缺陷通常有點(diǎn)、線、劃痕、油污、陰影、缺角等。

人工檢測(cè)是表面缺陷檢測(cè)的傳統(tǒng)方法，該方法抽檢率低、實(shí)時(shí)性差、受人工經(jīng)驗(yàn)和主觀因素影響大，而基于機(jī)器視覺的檢測(cè)方法可以較大程度克服人工檢測(cè)的弊端。CHIN[2]對(duì)表面檢測(cè)技術(shù)做了總結(jié)，指出視覺檢驗(yàn)技術(shù)是替代人工檢驗(yàn)的方式。美國(guó)機(jī)器人工業(yè)協(xié)會(huì)對(duì)機(jī)器視覺定義為“機(jī)器視覺是通過光學(xué)裝置和非接觸的傳感器自動(dòng)地接收和處理一個(gè)真實(shí)物體的圖像，以獲得所需信息或用于控制機(jī)器人運(yùn)動(dòng)的裝置”[3]。采用機(jī)器視覺可以大幅度提高生產(chǎn)效率和自動(dòng)化程度。一套完整的機(jī)器視覺系統(tǒng)，一般由光源、鏡頭、相機(jī)、采集卡以及圖像處理軟件所組成。

晶圓缺陷檢測(cè)是機(jī)器視覺檢測(cè)的一個(gè)重要部分，其檢測(cè)的準(zhǔn)確程度直接會(huì)影響晶圓最終的質(zhì)量。TSAI等[4]使用傅里葉變化重構(gòu)圖像來檢測(cè)線、劃痕、油污、點(diǎn)、陰影等缺陷，這些缺陷對(duì)應(yīng)于傅里葉域的高頻成分。 GONG等[5]引入方向性形態(tài)梯度技術(shù)檢測(cè)晶圓的缺陷，該方法僅能檢測(cè)出缺陷的邊緣。LIU等[6]采用光譜作差的方法和基于圖像灰度的模板匹配方法，對(duì)IC晶圓圖像中的缺陷檢測(cè)快速且準(zhǔn)確。CHEN等[7]主要針對(duì)半導(dǎo)體行業(yè)盤內(nèi)芯片的檢測(cè)任務(wù)， 他們提出的方法包括兩個(gè)主要階段，即對(duì)準(zhǔn)階段和檢查階段，將自適應(yīng)圖像差分法和設(shè)計(jì)規(guī)則策略相結(jié)合。YANG等[8]通過對(duì)被處理圖像的輪廓進(jìn)行判斷，判斷石英晶圓是否存在污垢，該石英晶片自動(dòng)分選系統(tǒng)的污垢檢測(cè)技術(shù)處理時(shí)間約為400 ms。竇育民[9]做了基于輪廓的目標(biāo)檢測(cè)研究，在一定程度上解決了圖像中陰影、光照變化、目標(biāo)形變以及目標(biāo)遮擋問題。

由于在晶圓缺陷檢測(cè)中，要求晶元在出現(xiàn)被遮擋或者缺角、光照不均的情況下，也能夠找到晶元的位置，基于灰度值的模板匹配算法不能夠處理這些類型的干擾，但圖像的邊緣不會(huì)受光線變化的影響。重構(gòu)圖像與自適應(yīng)圖像差分法的圖像背景建模復(fù)雜，對(duì)于內(nèi)部有規(guī)律排列的圖像來說，直接用內(nèi)部幾何圖案輪廓跟隨后分區(qū)域檢測(cè)的速度更快。因此，本文在研究前人成果的基礎(chǔ)上，基于Halcon軟件，利用機(jī)器視覺圖像采集硬件平臺(tái)采集晶圓圖像，以模板匹配中的輪廓形狀特征匹配為基本原理，對(duì)晶圓中的單個(gè)晶元的外輪廓進(jìn)行定位，根據(jù)仿射變換原理，對(duì)內(nèi)部輪廓仿射變換，然后根據(jù)不同缺陷特征，對(duì)晶圓分區(qū)域分割檢測(cè)，記錄總的缺陷并標(biāo)記。

1 檢測(cè)系統(tǒng)總體設(shè)計(jì)

1.1 圖像采集系統(tǒng)

機(jī)器視覺技術(shù)從大的方面，可分為前端的成像技術(shù)和后端的圖像處理技術(shù)。前端的成像技術(shù)涉及到根據(jù)目標(biāo)的形狀大小和表面的光學(xué)特性，成像好壞一般由光源、鏡頭、相機(jī)決定。后端的圖像處理涉及對(duì)圖像進(jìn)行的各種分析處理的算法研究、軟硬件優(yōu)化技術(shù)、硬件處理技術(shù)等。

根據(jù)晶圓系統(tǒng)的成本、效率、時(shí)間要求，圖像采集系統(tǒng)選用特定的相機(jī)、光源、鏡頭，對(duì)晶圓成像。相機(jī)選取一款工業(yè)千兆網(wǎng)相機(jī)，具有900萬像素分辨率。分辨率佳為3384 × 2710 px ，接口類型為C，在全分辨率下的最大幀率為10 fps 。鏡頭選取具有4倍放大倍數(shù)的遠(yuǎn)心鏡頭，焦距110 mm。視野寬3 mm，精度1 μm。由于晶圓表面的高反光特性，對(duì)光源要求高。通過實(shí)驗(yàn)對(duì)比，光源選取直徑120 mm，與水平方向成角度30°的白色環(huán)光。每次成像4個(gè)完整的小晶元，可以克服大面積成像帶來的成像模糊問題和邊緣光照不均勻問題。

1.2 系統(tǒng)檢測(cè)流程

系統(tǒng)檢測(cè)整體流程如圖1所示。

在一個(gè)完整的晶圓上排列著幾百個(gè)單顆晶元，系統(tǒng)對(duì)晶圓成像，每次成像4顆晶元。在自動(dòng)檢測(cè)中，首先需要選取良品圖建立晶元輪廓模板，再利用模板匹配，對(duì)每次成像的4顆晶元進(jìn)行定位，然后對(duì)晶元剪裁，進(jìn)行圖像預(yù)處理，最后檢測(cè)缺陷。

按照設(shè)定好的檢測(cè)區(qū)域，采集該區(qū)域的晶圓表面圖像。每檢測(cè)完4個(gè)晶元，記錄缺陷晶元信息。然后按照采集順序，移動(dòng)晶圓，采集另外4個(gè)晶元圖像，直到采集并處理完所有預(yù)設(shè)區(qū)域。

2 基于形狀特征的輪廓匹配

模板匹配主要有基于灰度的模板匹配和基于特征的模板匹配兩種。對(duì)于基于物體形狀特征的模板匹配，主要有基于區(qū)域的模板匹配和基于輪廓的模板匹配。

輪廓匹配是在圖像中找到模板輪廓的位置，需要計(jì)算模板輪廓的所有相關(guān)位姿與搜索圖像各個(gè)位置的相似度，包括基于直接比較的匹配方法和基于變換的匹配方法。由于直接比較需要在搜索圖像中提取輪廓，導(dǎo)致輪廓識(shí)別算法在低對(duì)比度圖像中可能找不到輪廓。故采用變換后的輪廓匹配，不需要對(duì)搜索圖像進(jìn)行輪廓特征提取，基于距離變換的輪廓匹配的具體流程，如圖2所示。

2.1 方向向量

首先使用目標(biāo)圖像的一幅圖像生成模板。將一個(gè)目標(biāo)對(duì)象的輪廓模板定義為點(diǎn)集 pi=（ri，ci）T 和每個(gè)點(diǎn)關(guān)聯(lián)的方向向量di=（ti，ui）T，i=1，…，n。坐標(biāo) pi 定義為相對(duì)于感興趣區(qū)域重心的相對(duì)坐標(biāo)，或相對(duì)于模板中所有重心的相對(duì)坐標(biāo)。使用邊緣提取方法計(jì)算方向向量。

計(jì)算搜索圖像每個(gè)點(diǎn)的方向向量時(shí)， 將需要在其中搜索模板的圖像轉(zhuǎn)換為另一種表示法，就是為圖像的每個(gè)點(diǎn)r，c 計(jì)算出一個(gè)方向向量 e（r，c）=vr，c，wr，cT。

2.2 相似度衡量

先對(duì)輪廓模板進(jìn)行任意的仿射變換。在匹配過程中，變換后的模板必須與搜索圖像中的某個(gè)特定位置進(jìn)行比較。從線性部分將仿射變換中的平移分離出來，因此，一個(gè)線性變換模型可以通過點(diǎn)pi′=Api 以及變換后的方向向量轉(zhuǎn)換后的模板與搜索圖像進(jìn)行對(duì)比的相似度量必須不受遮擋、混亂以及光照變化的影響。因此考慮在圖像中某個(gè)特定點(diǎn) q=（r，c）T 處，計(jì)算變換后模板中所有點(diǎn)的方向向量（未歸一化）的點(diǎn)積和，并以此作為匹配分值。對(duì)應(yīng)于仿射變換的平移部分，變換后模板在q點(diǎn)處的相似度量表示為s：

2.3 在金字塔中搜索模板

為搜索圖像創(chuàng)建一個(gè)圖像金字塔，在圖像金字塔的每層都應(yīng)用與創(chuàng)建模板時(shí)相同的邊緣濾波運(yùn)算，這個(gè)濾波運(yùn)算將得到每個(gè)圖像點(diǎn)的方向向量。在這里，搜索圖像沒有進(jìn)行閾值分割或者其他操作，這就可以使得算法真正不受光照影響。

在金字塔的頂層搜索，根據(jù)式（3）計(jì)算模板在所有可能位姿上的相似度量。設(shè)置閾值smin，潛在匹配位置的匹配分值必須大于閾值smin ，并且是局部最大值。

確定這些潛在匹配位置后，跟蹤這些匹配位置到金字塔更低層，直到在圖像金字塔最底層找到目標(biāo)物體。然后在局部最大值附近3×3鄰域內(nèi)的相似度量擬合為一個(gè)多項(xiàng)式，求解該多項(xiàng)式的局部最小值，得到比離散化的搜索空間分辨率更精確的最終位姿。最后通過最小二乘法調(diào)整位姿參數(shù)來獲取更加精確的位姿。

3 仿射變換與晶圓缺陷檢測(cè)

由于晶元內(nèi)部區(qū)域的輪廓多，直接對(duì)整顆晶元作閾值分割適應(yīng)性太差;搜索內(nèi)部輪廓模板，由于輪廓多，故對(duì)遮擋適應(yīng)性差。因此，晶元定位采用雙重定位。第一步粗定位，采用外輪廓匹配。第二步精確定位，采取晶元內(nèi)部模板輪廓跟隨。第二步利用仿射變換原理，根據(jù)第一步的匹配信息，仿射晶元內(nèi)部模板輪廓。

3.1 仿射變換

仿射變換是從一個(gè)向量空間變換到另一個(gè)向量空間，由線性部分組成，表示成矩陣相乘部分、加法部分、偏移部分或平移部分。為了數(shù)學(xué)和計(jì)算方便，仿射變換如下所示：

r～c～1=a11a12a13a21a22a23001rc1 ， （4）

其中（r，c）是變換前的坐標(biāo)，（r～，c～）是變換后的坐標(biāo)，a11a12a13a21a22a23001 為仿射變換矩陣，a13和a23是平移變換的行坐標(biāo)和列坐標(biāo)，a11和a22是縮放變換的行縮放值和列縮放值，a12和a21是水平裁剪值和垂直裁剪值。

3.2 缺陷檢測(cè)

以輪廓匹配、仿射變換為基本原理，對(duì)單個(gè)晶元的不同區(qū)域、不同缺陷特征分別進(jìn)行檢測(cè)，記錄總的缺陷并標(biāo)記，缺陷中心用“+”標(biāo)記，有缺陷的晶元用“NG”標(biāo)記，無缺陷的晶元用“OK”標(biāo)記。缺陷檢測(cè)算法流程如圖3所示。

4 檢測(cè)結(jié)果分析

算法是在Hdevelop13（Halcon機(jī)器視覺軟件）環(huán)境下編寫。

4.1 創(chuàng)建輪廓模板

首先生成模板， 選取晶圓良品圖片，如圖4（a）所示。對(duì)其進(jìn)行灰度拉伸、中值濾波得到預(yù)處理圖像，如圖4（b）所示。然后選取并裁剪單個(gè)良品晶元，如圖4（c）所示。用canny算子提取邊，如圖4（d）所示。選取邊界最大輪廓，作為外邊緣亞像素輪廓，如圖4（e）所示。根據(jù)面積和形狀特征，選取圓點(diǎn)輪廓，并膨脹兩個(gè)像素，再轉(zhuǎn)換為亞像素，作為圓點(diǎn)亞像素輪廓，如圖4（f）所示。

4.2 輪廓匹配

輪廓匹配，設(shè)置最低匹配分值為0.8。圖4（a）的輪廓匹配結(jié)果，如圖5（a）所示。在原圖界面顯示輪廓匹配的分值，如圖5（b）所示。

4.3 缺陷檢測(cè)

首先需要仿射內(nèi)部區(qū)域，完成內(nèi)部輪廓精定位。生成一個(gè)仿射變換恒等矩陣，然后加入平移量、旋轉(zhuǎn)量、縮放量，完成仿射矩陣計(jì)算。以圖5（a）為例，根據(jù)表1信息計(jì)算晶元1的仿射矩陣，具體步驟結(jié)果如表2所示。

根據(jù)每個(gè)晶元具體的仿射矩陣，將內(nèi)部圓點(diǎn)輪廓模板用仿射變換跟隨到晶元輪廓位置，如圖6（a）所示。

然后將每個(gè)晶元分為兩部分裁剪，即圓點(diǎn)內(nèi)部區(qū)域和圓點(diǎn)外部區(qū)域，分別如圖6（b）和圖6（c）所示。檢測(cè)結(jié)果和標(biāo)記缺陷，如圖6（d）所示。

4.4 檢測(cè)結(jié)果

選取不同缺陷的晶元檢測(cè)結(jié)果圖，這里分別列出點(diǎn)狀缺陷、線狀缺陷、面狀缺陷、大面積污染缺陷、缺角缺陷五種缺陷晶元的預(yù)處理圖和缺陷提取圖，缺陷區(qū)域以邊界輪廓的方式顯示，分別如圖7、圖8、圖9、圖10、圖11所示。

4.5 檢測(cè)效果

將基于機(jī)器視覺和輪廓匹配的自動(dòng)檢測(cè)缺陷結(jié)果，與工業(yè)顯微鏡下實(shí)際人工檢測(cè)標(biāo)注的缺陷進(jìn)行對(duì)比，選取兩個(gè)晶元缺陷圖作對(duì)比，如表3所示。

5 結(jié)語

本文基于機(jī)器視覺，利用基于形狀特征的輪廓匹配，建立輪廓模板，對(duì)晶圓進(jìn)行模板匹配，對(duì)內(nèi)部圖案輪廓進(jìn)行仿射變換，然后分區(qū)域，進(jìn)而實(shí)現(xiàn)點(diǎn)狀缺陷、線狀缺陷、面狀缺陷、大面積污染缺陷、缺角缺陷各類缺陷的檢測(cè)。檢測(cè)精度1 μm，一個(gè)小晶元的檢測(cè)速度約430 ms，算法有效快速，達(dá)到工業(yè)檢測(cè)速度要求和精度要求。

參考文獻(xiàn)：

[1]HUANG S H， PAN Y C. Automated visual inspection in the semiconductor industry： A survey[J]. Computers in Industry， 2015， 66： 1-10.

[2]CHIN R T，" HARLOW C. Automated visual inspection： A survey[J]. IEEE Trans Pattern Analysis and Machine Intelligence， 1982， 4（6）： 557-573.

[3]BHARATHA， PETRON M . Next generation artificial vision system： Reverse engineering the human visual system [M].London， UK ： Artech House Publishers，2008.

[4]TSAI D M， HSIEH C Y. Automated surface inspection for directional textures[J]. Image and Vision Computing， 1999， 18（1）： 49-62.

[5]GONG Y Q， SALLY L W， CHO T. Wafer defect detection using directional morphological gradient techniques[J].EURASIP J" Applied Signal Processing，2002，2002： 686-703.

[6]LIU H X， WEN Z， KUANG Q W， et al. Defect detection of IC wafer based on spectral subtraction[J]. IEEE Trans Semiconductor Manufacturing， 2010，23（1）：141-147.

[7]CHEN C S， HUANG C L， YEH C W. A hybrid defect detection for in￣tray semiconductor chip[J]. The Int’l Journal of Advanced Manufacturing Technology， 2013，65（1/4）：43-56.

[8]YANG W H， WANG Y L， LI D. Image processing￣based technology for dirt detection of quartz wafer[C]//2013 IEEE 11th Int’l Conf" Electronic Measurement amp; Instruments， USA：IEEE， 2013： 176-178.

[9]竇育民. 基于輪廓的目標(biāo)檢測(cè)研究[D]. 四川：電子科技大學(xué)， 2016.

（責(zé)任編輯：周曉南）