基于改進循環(huán)神經網絡的半導體質量預測

摘要：在復雜的半導體生產過程中，為了減少成本、縮短周期，須優(yōu)化質量檢測過程。本文對半導體的生產特點進行分析，結合數(shù)據(jù)預測的深度學習理念，構建基于長短期記憶網絡（Long Short-Term Memory，LSTM）的質量預測模型。與基礎預測模型相比，該模型考慮在復雜加工過程中使用的不同工具，引入工具識別模塊。改進后的模型提高了質量預測的準確性和預測能力。對薄膜晶體管液晶顯示器（TFT-LCD）的生產數(shù)據(jù)進行驗證，本文方法預測結果更接近真實值，均方根誤差（Root Mean Square Error，RMSE）和平均絕對誤差（Mean Absolute Error，MAE）2類指標均大幅度降低。

關鍵詞：半導體；質量；改進循環(huán)神經網絡

中圖分類號：TP391""""""""" 文獻標志碼：A

半導體信息化程度、生產成本很高，生產過程、工序十分復雜，因此其生產質量十分重要。本文提出一種基于改進循環(huán)神經網絡（Recurrent Neural Network，RNN）的質量預測方法，同時加入工具識別模塊，能夠根據(jù)生產數(shù)據(jù)實時進行質量預測，有助于及時發(fā)現(xiàn)質量問題，為調整生產計劃留出充足時間。

1半導體質量預測模型

1.1LSTM適配性

長短期記憶網絡（Long Short-Term Memory，LSTM）是一種深度學習模型[1]，其作用是對序列數(shù)據(jù)進行建模。利用RNN來存儲和檢索信息。半導體生產復雜程度高，使用的工具很多，每一道工序都可能對半導體質量造成重大影響?？紤]上述情況，因為質量預測期間須考慮的變量較多，所以本文選擇了LSTM，其有以下2個優(yōu)點。1）LSTM具有“記憶單元”結構，可對長時間序列數(shù)據(jù)進行建模。多工序數(shù)據(jù)通常具有長期的依賴性和記憶效應，LSTM的內部記憶單元可以存儲和檢索長期記憶，捕捉長期依賴性，提高模型的性能。2）LSTM每個時間步能夠輸入多個特征，并處理具有多維特征值的數(shù)據(jù)，其結構使其能夠適應不同的序列長度和數(shù)據(jù)模式，因此其非常適合處理具有多個特征值的多工序數(shù)據(jù)。

綜上所述，當處理多工序數(shù)據(jù)的時序和依賴關系時，LSTM的適應性很強，表現(xiàn)優(yōu)秀，因此本文使用LSTM對半導體質量進行預測。

1.2LSTM模型簡介

LSTM模型在RNN的基礎上增加了3個門控機制，分別為“遺忘門”“輸入門”和“輸出門”[2]。LSTM單元由單元狀態(tài)（Ct）、遺忘門（ft）、輸入門（it）和輸出門（Ot）組成。設t時刻的輸入序列為向量Xt，輸出序列為ht，3個門以及LSTM單元內部計算過程如公式（1）～公式（6）所示。

式中：ft為遺忘門；i為輸入門；Ot為輸出門；σ為Sigmoid激活函數(shù)；tanh為tanh激活函數(shù)；ht、ht-1為時間步的隱藏狀態(tài)；Wfh、Wih、Woh和Wch分別為3個門和單元狀態(tài)的互連權重矩陣；Wfx、Wix、Wox和Wcx分別為3個門和單元狀態(tài)的輸入權重矩陣；bf、bi、bo和bc分別為每個門輸出相應的偏置項；Ct和Ct-1分別為t和t-1時刻記憶單元中的狀態(tài)向量；Ct為t時刻候選單元中的狀態(tài)向量；為矩陣的元素乘積。

2半導體質量預測模型構建

2.1特征選擇與數(shù)據(jù)預處理

在半導體的生產數(shù)據(jù)中有許多干擾數(shù)據(jù)，會對模型訓練造成困擾。因此，在準備訓練深度學習模型的過程中，須處理異常值并對數(shù)據(jù)進行歸一化處理，其目的是將特征數(shù)值縮放至統(tǒng)一的范圍，加快學習算法的收斂速度，使模型對特征尺度不敏感。本文使用MinMaxScaler模型對數(shù)據(jù)進行歸一化處理，它可以將數(shù)據(jù)縮放至（0，1），如公式（7）所示。

（7）

式中：min和max分別為數(shù)據(jù)的最小值和最大值；X為原始數(shù)據(jù)；X'為統(tǒng)一后的數(shù)據(jù)。

對序列數(shù)據(jù)進行處理，須將原始數(shù)據(jù)重構為序列格式，輸入LSTM模型中。將數(shù)據(jù)集分割為訓練集和測試集，本文選擇80%訓練集和20%測試集。

2.2工具識別

由于該加工過程的復雜程度較高，因此本文首次建立的預測模型預測結果不佳。分析生產數(shù)據(jù)的特點后，發(fā)現(xiàn)其中的“工具”字段有5種分類（不同工具導致的誤差棒如圖1所示）。因此，增加工具識別模塊，對質量預測模型進行優(yōu)化。

使用檢測工具圖像或特征來識別其類型和狀態(tài)，進行預測和決策。為保證模型準確性和魯棒性，須關注數(shù)據(jù)分布的均衡性和異常值。由于半導體制造工具精度高，數(shù)據(jù)須保留至小數(shù)點后6位，因此本文在工具識別過程中充分考慮數(shù)據(jù)精度和變化情況，保證預測結果的準確性和可靠性。

誤差棒圖是一種常用的數(shù)據(jù)可視化方法，其作用是顯示數(shù)據(jù)的平均值以及數(shù)據(jù)值在平均值附近的波動。導入所需的庫，從數(shù)據(jù)框中提取按照“TOOL”分組的數(shù)據(jù)。本文提取每個分組的“Value”列的數(shù)據(jù)計算其平均值和標準差。創(chuàng)建1個位置列表，在圖中標記每個數(shù)據(jù)集，創(chuàng)建1個圖形，并使用errorbar函數(shù)繪制誤差棒圖。這個函數(shù)接受3個參數(shù)：位置（即x軸上的標簽）、平均值以及標準差。在Matplotlib庫中，o是一個Marker參數(shù)，表示使用圓點作為數(shù)據(jù)點的標記符。capsize是1個參數(shù)，其作用是設置誤差棒的大小。誤差棒是一種常用的可視化方法，表示數(shù)據(jù)點的不確定性或誤差。capsize參數(shù)控制誤差棒的大小，單位為點數(shù)。本文設capsize=5即將誤差棒的大小設為5點數(shù)。須展示每個“TOOL”中“Value”列數(shù)據(jù)的分布情況以及與平均值相比這些數(shù)據(jù)的波動，誤差棒能夠直觀展示這些信息。使用不同工具，數(shù)據(jù)集的預測值明顯不同，因此，有必要加入工具識別模塊。

2.3算法優(yōu)化

自適應矩估計算法（Adaptive Moment Estimation，Adam）是一種優(yōu)化算法，也是改進的隨機梯度下降（Stochastic Gradient Descent，SGD）方法，其結合動量和自適應學習率進行調整，能夠加速模型收斂，提高訓練效果。本文采用Adam來最小化LSTM模型的損失函數(shù)。Adam的優(yōu)勢主要包括以下2點。1）加速收斂，利用動量和自適應學習率進行調整，可以縮短訓練時間。2）適用于大規(guī)模數(shù)據(jù)，擴展性較好，能夠處理海量數(shù)據(jù)并進行優(yōu)化。將Adam與半導體數(shù)據(jù)的質量預測模型進行結合，訓練并優(yōu)化模型參數(shù)，提高預測準確性和效率。這種方法可以有效應用于半導體數(shù)據(jù)的質量預測，利用模型評估和可視化結果對模型性能進行分析和優(yōu)化。

更新模型參數(shù)，計算過程如公式（8）所示。

（8）

式中：θt為當前模型參數(shù)的更新值；θt-1為模型參數(shù)在時間步的值；gi（θt-1）為第i個樣本的梯度；m為樣本數(shù)；α為學習率。

2.4模型訓練

本文利用阿里天池工業(yè)AI大賽-智能制造質量預測中薄膜晶體管液晶顯示器（TFT-LCD）的生產數(shù)據(jù)來檢驗提出的多工序產品質量預測模型。TFT-LCD半導體智能制造質量預測數(shù)據(jù)集包括反應機臺的溫度、氣體、液體流量、功率以及制成時間等因子，根據(jù)影響因子設計模型，準確預測與其對應的特性數(shù)值[3]。

本文使用多模型訓練方法對每個工具的數(shù)據(jù)集分別建立模型進行訓練。這種方法可以充分利用每個工具數(shù)據(jù)集的特點，提高模型的泛化能力和預測精度。為每個數(shù)據(jù)集量身定制1個模型，當處理相應數(shù)據(jù)時，保證模型具有較高的準確性和可靠性。同時，多模型訓練還可以增加模型的魯棒性，降低單個模型在訓練過程中可能出現(xiàn)的過擬合或欠擬合風險。

為方便進行處理與訓練，本文對現(xiàn)實的工具工序進行了數(shù)據(jù)層面的抽象定義，使用5種工具的數(shù)據(jù)劃分數(shù)據(jù)集，其中一種工具J的數(shù)據(jù)集的損失函數(shù)曲線如圖2所示，準確率曲線如圖3所示，由圖2、圖3可知，該工具的損失函數(shù)下降明顯。

2.5結果與分析

為驗證改進循環(huán)神經網絡的質量預測模型的準確性，本文采用均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）對結果進行量化評估。從結果可以看出，使用這些因子優(yōu)化后的模型預測準確率明顯上升，能夠準確預測產品質量。

優(yōu)化前模型MSE為5.436306136454508，RMSE為2.3315887580048305；優(yōu)化后模型MSE為0.06469379271560773，RMSE為0.25434974487034134。

模型優(yōu)化前的結果如圖4所示。雖然預測模型能夠根據(jù)半導體生產數(shù)據(jù)的大致趨勢進行變化，但是在具體的表現(xiàn)上，無論是上升還是下降都不夠明顯，與半導體生產數(shù)據(jù)的真實值之間存在一定的差距。模型優(yōu)化后的結果如圖5所示，由圖5可知，優(yōu)化后的模型能夠更加緊密地貼合半導體生產數(shù)據(jù)的真實值，魯棒性和泛化能力更強，說明模型能夠更好地適應復雜多變的半導體生產數(shù)據(jù)，預測準確性較高。

3結論

本文根據(jù)半導體生產數(shù)據(jù)特點進行分析，結合數(shù)據(jù)預測 的深度學習理念構建了基于LSTM的質量預測模型，為其他復雜產品的質量預測提供參考。本文使用分類思想，針對模型在使用過程中的不同工具進行識別，分類預測思想可以大幅度提高預測準確性。

使用本文提出的方法能夠實時監(jiān)控并預警生產過程，提前發(fā)現(xiàn)當前工序的問題，防止問題傳遞至后續(xù)工序[4]，減少生產資源浪費，提高產品合格率。工藝人員能夠基于預測模型獲取的關鍵參數(shù)針對性能表現(xiàn)較差的產品進行問題追溯，調整關鍵的影響因子，加快不良問題的處理速度，提升整體工藝水平。

參考文獻

[1]周朝營. 基于LSTM模型的橋梁監(jiān)測信號恢復方法研究[D]. 重慶：重慶交通大學，2023.

[2]涂新前. 基于神經網絡模型的永安市小流域水環(huán)境質量預測的研究[J]. 皮革制作與環(huán)?？萍?，2023，4（20）：75-78.

[3]王譯可. 基于改進BiLSTM和FBN的多工序產品質量預測與控制研究[D]. 沈陽：沈陽大學，2022.

[4]楊少華. 一種基于XGBoost的智能制造質量預測模型[J]. 科學技術創(chuàng)新，2021（11）：18-20.