一種基于注意力導向CNN 的晶粒缺陷檢測方法

陳曉艷，陳儉永，朱奎鋒，蘇艷杰，趙春東，張東洋

(1. 天津科技大學電子信息與自動化學院，天津300222；2. 天津福萊迪科技發(fā)展有限公司，天津300385)

在半導體晶圓加工成芯片的過程中，繁瑣的工藝流程會導致晶圓產(chǎn)生各種類型的缺陷.目前采用的主要手段是用掃描電鏡(SEM)捕獲晶粒圖像，通過人工識別合格和因表面缺陷而不合格的晶粒.這種方法耗時較長，且會出現(xiàn)人為因素引起的誤判，準確率和效率都不高[1].針對主流8 寸和12 寸晶圓的生產(chǎn)工藝需求，如何快速準確地識別不合格晶粒，并根據(jù)缺陷類型挖掘缺陷產(chǎn)生原因，成為國內(nèi)外芯片生產(chǎn)企業(yè)亟待解決的技術(shù)難題.

此前，機器視覺的方法進行缺陷檢測一度成為研究熱點，并取得一定效果.He 等[2]基于K 近鄰規(guī)則計算數(shù)據(jù)點平方距離的總和，與設(shè)定閾值進行比較，判斷該數(shù)據(jù)是否為缺陷點.Palma 等[3]分別在模擬和真實晶圓圖像上進行缺陷檢測，采用自組織特征圖(SOM)作為分類器取得了良好的檢測結(jié)果.Liu 等[4]使用光譜減法提取標準模板，通過灰度匹配大大提高了缺陷檢測的速度和準確性.上述方法的關(guān)鍵在于如何提取到有效表達類型差異的缺陷特征，算法適應(yīng)性不高，通常需要對特定需求重新設(shè)計.

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的發(fā)展為解決圖像分類問題帶來了新的思路，并迅速而廣泛地被應(yīng)用到工業(yè)[5]、農(nóng)業(yè)[6]、醫(yī)療[7]、金融[8]等多個領(lǐng)域，在計算機視覺[9]、語音識別[10]、文本處理[11]任務(wù)中表現(xiàn)尤為出色.CNN 具有強大的特征學習能力和非常強的適應(yīng)能力，不需要任何特定于任務(wù)的特征處理，所以有學者將CNN 技術(shù)應(yīng)用于晶粒的缺陷檢測領(lǐng)域.2018 年，Nakazawa等[12]設(shè)計了CNN 模型，使用2.86 萬張合成晶粒圖訓練，在6 600 張測試數(shù)據(jù)上的分類準確率為98.2%.2019 年，Nakazawa 等[13]又提出了一種使用深度卷積編碼器–解碼器神經(jīng)網(wǎng)絡(luò)架構(gòu)檢測和分割異常晶粒圖缺陷圖案的方法，可以從實際晶粒圖中檢測到看不見的缺陷圖案.Yu 等[15]集成CNN 和稀疏去噪自動編碼器學習有效特征，在仿真數(shù)據(jù)集和實際晶圓圖數(shù)據(jù)集(WM-811K)上的總體準確率為94.81%.

盡管缺陷檢測精度不斷提升，但是大多數(shù)CNN模型結(jié)構(gòu)復雜，層數(shù)過深而導致模型規(guī)模過大，從發(fā)展需求和發(fā)展趨勢上，輕量化CNN 模型更易于往智能芯片移植，在非GPU 硬件資源上更容易部署，而且更加能滿足智能邊緣計算的發(fā)展需求.因此，本文提出了一種以注意力機制(attention mechanism)為導向的輕量化CNN 網(wǎng)絡(luò)模型(Attn-Net)，從實際生產(chǎn)線上獲取大量晶粒圖像，構(gòu)建數(shù)據(jù)庫，通過訓練、驗證及測試，與基于 CNN 的主流模型 VGG-16、ResNet-50 和MobileNet-v2 進行對比，證明了本文提出的Attn-Net 模型具有更好的檢測精度和檢測速度.

1 注意力導向CNN

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

注意力導向CNN 模型Attn-Net 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.Attn-Net 由4 個卷積提取塊和1 個注意力機制模塊組成.

圖1 注意力導向CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Structure of attention oriented CNN

輸入圖像大小為224×224.卷積采樣過程中，為了保留圖像特征，降低信息損失，卷積核的數(shù)目不斷提高，圖像通道數(shù)也逐漸增多.經(jīng)過4 個卷積塊后，圖像的通道數(shù)由3 增加到64，再逐漸增加至512.最大池化層的步長為2，每經(jīng)過一次最大池化，圖像尺寸減半，圖像的尺度逐漸降低，圖像信息不斷被壓縮.首先，輸入圖像傳入卷積塊進行特征提取，得到卷積層輸出的特征圖；然后，對卷積層輸出的特征圖進行尺度變換，傳入注意力計算層進行相應(yīng)通道鍵值注意力計算，得到注意力機制篩選的特征圖；最后，將此時的特征圖標準化，輸出至全局平均池化層，全局平均池化層將各通道特征圖降維映射至Softmax層，輸出分類結(jié)果.

1.2 優(yōu)化策略

Attn-Net 的卷積塊的基本組成是深度可分離卷積[16-17].深度可分離卷積對輸入的每個通道先進行深度卷積(Depthwise Conv)，然后通過1×1 的逐點卷積(Pointwise Conv)將輸出通道混合.假定輸入圖像的寬、高和通道數(shù)為(W×H×C)，卷積核的大小為(N1×N2)，卷積核的數(shù)量為K.通過深度卷積和逐點卷積的拆分，可以將普通卷積的計算量壓縮為

深度可分離卷積將空間特征學習和通道特征學習分開，計算量更低，卷積操作更為高效.

Attn-Net 在卷積層后加入了批標準化層(batch normalization，BN).對于輸入的每一個最小批次(mini-batch)即δ ={ x1,x2,…, xm}，BN 進行如下操作：

(1)求最小批次數(shù)據(jù)的均值

其中γ 和β 是需要被學習的參數(shù).

批標準化層把每層的數(shù)據(jù)分布轉(zhuǎn)換為均值為0、方差為1 的相同狀態(tài)，能夠加快網(wǎng)絡(luò)的訓練速度和收斂速度，避免梯度消失和梯度爆炸現(xiàn)象發(fā)生.同時，BN 層將每一個批次中所有樣本關(guān)聯(lián)在一起.因此，訓練集中某個樣本的輸出取決于樣本及這個樣本同一批次的其他樣本，網(wǎng)絡(luò)的學習方向是隨機的，這在一定程度上避免了過擬合.

繼發(fā)于抗中性粒細胞胞漿抗體相關(guān)系統(tǒng)性血管炎的肥厚性硬脊膜炎1例報告 ……………………………………………………… 陳竹林，黃光，徐斌，等 124

在卷積層提取特征后，Attn-Net 使用全局平均池化層計算每個通道的特征圖中所有像素的平均值，獲得具有相同維數(shù)和類別數(shù)的特征向量，然后將其輸入到Softmax 層中.與全連接相比，減少了卷積過程中大量的參數(shù)計算，也緩解了過擬合問題.

1.3 多頭注意力機制

注意力機制[18]即為了充分利用有限的視覺信息處理資源，選擇性地關(guān)注視覺區(qū)域中的特定部分，忽略其他可見信息.相較于卷積計算，注意力機制算法復雜度較低，額外引入的參數(shù)量和計算量較低，因其能夠快速提取數(shù)據(jù)特征的內(nèi)部相關(guān)性，被廣泛用于圖像處理[19]、語音識別[20]、自然語言處理[21]等任務(wù)中.本文也引入注意力以提升特征提取網(wǎng)絡(luò)的性能.

注意力機制由 3 個要素即查詢(Query)、鍵(Key)、值(Value)構(gòu)成.注意力計算過程如圖2 所示，給定目標的某一查詢Q，計算該查詢Q 和多個鍵K 的相似性或相關(guān)性，得出每個K 相應(yīng)于V 值的權(quán)重系數(shù).通過Softmax 歸一化后，對權(quán)重系數(shù)和相應(yīng)V 加權(quán)求和即可得到該查詢Q 的注意力(Attention).

查詢Q 的注意力可表示為

相似性計算方法包括點積、拼接、感知機等方式.放縮點積注意力的相似性計算為點積

圖2 注意力計算過程Fig. 2 Attention calculation process

多頭注意力機制[22]是一種特殊的放縮點積注意力.如圖3 所示，查詢(Query)、鍵(Key)、值(Value)經(jīng)過一次線性變換后輸入到放縮點積注意力中.將h次Q、K、V 的放縮點積注意力結(jié)果拼接后，再進行一次線性變換得到多頭注意力的輸出.h 次Q、K、V 的參數(shù)是相互獨立的.與放縮點積注意力相比，多頭注意力機制算法復雜度較低，允許模型在不同的表示子空間里學習到相關(guān)的信息.

圖3 多頭注意力機制Fig. 3 Multi-head attention mechanism

2 實驗及結(jié)果分析

實驗軟件環(huán)境：Python3.6 、TensorFlow-Gpu1.8.0、Cuda9.0、Keras2.1.4；硬件平臺：Intel Core i7-9700K CPU、NVIDIA GeForce RTX 2060 GPU.

2.1 數(shù)據(jù)制備

實驗室晶粒圖像數(shù)據(jù)集[23]包含無缺陷晶粒圖像和3 種常見的晶粒缺陷類型，如圖4 所示.數(shù)據(jù)分布結(jié)構(gòu)見表1.

圖4 晶粒圖像Fig. 4 Die images

表1 晶粒圖像數(shù)據(jù)分布Tab. 1 Distribution of die images

為了提升模型的泛化能力，在輸入CNN 網(wǎng)絡(luò)之前，對晶粒數(shù)據(jù)集進行了旋轉(zhuǎn)變換、錯切變換和隨機縮放3 種數(shù)據(jù)增強處理.增強矩陣為

θ 為旋轉(zhuǎn)變換角度，γ 為錯切系數(shù)，μ 為縮放系數(shù)，A、B是旋轉(zhuǎn)變換矩陣，C是錯切變換矩陣，D是隨機縮放矩陣.任意像素坐標x、y、z 增強處理后的結(jié)果為xu、yv、zw.

2.2 網(wǎng)絡(luò)訓練與檢驗

模型Attn-Net 的超參數(shù)設(shè)置見表2，訓練過程中的損失值和準確率變化曲線如圖5 所示.隨著迭代次數(shù)的加深，模型的訓練集損失和驗證集損失逐漸降低，最終低于0.001；訓練準確率和驗證準確率逐漸提升，最終接近于1，這說明模型Attn-Net 正常收斂，訓練過程未出現(xiàn)過擬合現(xiàn)象.

表2 Attn-Net超參數(shù)設(shè)置Tab. 2 Hyperparameter settings of Attn-Net

圖5 訓練集和驗證集的損失率和準確率變化Fig. 5 Loss and accuracy of training set and validation set

圖6 展示了Attn-Net 各個卷積塊的特征圖譜和注意力層的特征圖譜可視化結(jié)果(為了比較，此處僅展示了32 個通道的圖像).不同的通道提取到的特征是不同的，不同通道關(guān)注的位置和目標有差異.有的通道提取的只有噪聲，而有的通道提取的是物理輪廓.從圖6 可以看出：淺層卷積層提取到的特征圖譜特征復雜度較低，可視化圖像與輸入圖像相似.隨著網(wǎng)絡(luò)不斷深入，模型逐漸提取從點、顏色到線段、邊緣再到更高級的組合特征，特征屬性越來越復雜，對應(yīng)到可視化圖像中，特征圖譜越來越抽象，模型特征表達能力逐漸增強，特征擬合更加充分.

Attn-Net 卷積層和注意力層的類激活圖(CAM)如圖7 所示.CAM 獲取到卷積層(注意力層)的輸出和目標類別神經(jīng)元相對于每一個通道的梯度，使用該梯度對每個通道進行加權(quán)，最后對通道求均值并歸一化處理.CAM 可以指示圖像每個位置相對于所考慮的類的重要程度.從圖7 可以看出，在晶粒圖像中，晶粒的矩形邊緣貢獻了最重要的特征，其次是矩形內(nèi)部的區(qū)域信息.

圖6 特征圖可視化Fig. 6 Visualization of feature map

圖7 類激活圖可視化Fig. 7 Visualization of class activation diagram

2.3 性能測評

在晶粒圖像數(shù)據(jù)集上，選取高精度模型VGG-16、ResNet-50 和輕量化模型MobileNet-v2 與Attn-Net 對分類精度、模型大小和檢測時間進行測評，結(jié)果見表3.模型VGG-16、ResNet-50、MobileNet-v2 和Attn-Net 在2 703 張晶粒圖像的測試集上的分類精度大致相同，均能達到99.9%以上.因為晶粒圖像數(shù)據(jù)集中的缺陷類型的特征集中表現(xiàn)為角、線條和矩形輪廓，特征復雜度不高，4 個模型均能夠有效提取并識別.圖8 展示了Attn-Net 在測試集上的混淆矩陣，可以看出，Attn-Net 晶粒圖像類內(nèi)和類間的識別準確率仍能達到99%.這表明模型Attn-Net 能夠滿足晶粒缺陷檢測精度的要求.

4 個模型中，模型VGG-16 的參數(shù)量最多.模型VGG-16 具有3 個全連接層，計算方式復雜，參數(shù)量超過了1 億，模型大小為1.5 GB.模型ResNet-50 結(jié)構(gòu)更為復雜，但省去了全連接層，參數(shù)量為23 792 612，模型大小為270 MB.模型MobileNet-v2使用擴張–卷積特征提取–壓縮的輕量化網(wǎng)絡(luò)結(jié)構(gòu)，其參數(shù)量和模型大小都遠低于模型VGG-16 和ResNet-50.模型Attn-Net 使用全局平均池化層代替全連接層，部分使用深度可分離卷積代替標準卷積，降低了參數(shù)量.相較于卷積結(jié)構(gòu)，多頭注意力機制模塊的參數(shù)量和算法復雜度更低.因此，模型Attn-Net 的參數(shù)量最少，約217 萬，模型也最小，約25 MB.

表3 模型性能測評Tab. 3 Model evaluation

與參數(shù)量和計算復雜度對應(yīng)，模型VGG-16 和ResNet-50 的檢測用時較長.輕量化模型MobileNetv2 網(wǎng)絡(luò)計算方式更為簡單，速度更快，用時1.35 s.模型Attn-Net 的優(yōu)化策略降低了模型的參數(shù)量和計算量，檢測用時最短，為1.26 s.

圖8 混淆矩陣Fig. 8 Confusion matrix

模型VGG-16、ResNet-50、MobileNet-v2 和Attn-Net 的分類精度均超過99%.其中，模型Attn-Net 的參數(shù)量更低，模型更小，檢測時間更短.因此，更適合部署至晶粒缺陷檢測設(shè)備中.

3 結(jié) 語

本研究提出了一種注意力導向的新型CNN 模型Attn-Net，其最大優(yōu)勢是模型小，對硬件資源占用少，對缺陷識別快，而且集中不同的缺陷樣本的識別準確率高.究其原因在于，其一是多個深度可分離卷積和標準卷積構(gòu)成的混合卷積塊能夠更加快速地提取圖像特征；其二是將圖像特征的圖譜采用多頭注意力機制進行計算，相比卷積運算，具有降低算法復雜度和減少參數(shù)量的優(yōu)勢.在課題組前期研究[24]中，已對晶粒圖像進行了輕量化模型識別與分類，取得了極快的檢測速度.而本文提出的模型Attn-Net，融入了注意力機制，緩和了深度可分離卷積引起的精度損失，所以對機械損傷這一晶粒缺陷類別的識別精度顯著提高，但是從測試速度上看，文獻[24]的方法更具有優(yōu)勢.值得思考的問題是：在CNN 基礎(chǔ)上的各種模型，精度和速度是兩個相互制約的矛盾因素，精度的提高往往以損失速度為代價，反言之亦如此.今后將更加致力于如何將智能化的算法移植到應(yīng)用層，在嵌入式芯片或其他終端上進行部署，真正發(fā)揮智能算法在各個應(yīng)用領(lǐng)域中的優(yōu)勢.