基于MST-GAN 的多尺度IC 金屬封裝表面缺陷檢測

隨著集成電路產(chǎn)業(yè)的快速發(fā)展，IC 尺寸越來越小，其生產(chǎn)制造工藝也越來越復(fù)雜，因此IC 封裝存在缺陷的概率也大大增加。在IC 封裝的生產(chǎn)制造過程中，IC 金屬封裝的表面可能會出現(xiàn)一些缺陷，如劃痕、污漬和氣泡等，對IC 的可靠性和使用壽命構(gòu)成了潛在的威脅。因此，IC 金屬封裝表面缺陷檢測對確保集成電路的高可靠性、高穩(wěn)定性和高可用性具有重要的現(xiàn)實(shí)價(jià)值，是IC 封裝制造過程中至關(guān)重要的一環(huán)。

針對缺陷樣本匱乏、可視性低、形狀不規(guī)則、類型未知等工業(yè)缺陷檢測難題，廣東工業(yè)大學(xué)蔡念教授團(tuán)隊(duì)結(jié)合半監(jiān)督深度學(xué)習(xí)方法和統(tǒng)計(jì)建模建立了統(tǒng)計(jì)學(xué)習(xí)建?？蚣埽岢隽艘环N基于MST-GAN（Multi-Scale Generative Adversarial Network with Transformer）的多尺度IC 金屬封裝表面缺陷檢測算法，多尺度缺陷檢測框架如圖1 所示。

為了實(shí)現(xiàn)IC 金屬封裝表面質(zhì)量的自動(dòng)化檢測，團(tuán)隊(duì)搭建了一個(gè)光學(xué)自動(dòng)檢測（AOI）系統(tǒng)，包括圖像采集、運(yùn)動(dòng)控制、缺陷檢測3 個(gè)子系統(tǒng)。利用AOI 系統(tǒng)采集IC 金屬封裝圖像，利用二值化、Canny 和數(shù)學(xué)形態(tài)學(xué)等數(shù)字圖像處理技術(shù)對圖像進(jìn)行預(yù)處理，提取感興趣的區(qū)域并切割為子圖，用于模型的訓(xùn)練和測試。

團(tuán)隊(duì)設(shè)計(jì)了一種完全多尺度的生成對抗網(wǎng)絡(luò)MST-GAN，設(shè)計(jì)了新穎的多尺度特征提取和跨尺度特征融合方案，引入了Swin Transformer 模型以提升建模能力；自行設(shè)計(jì)了上采樣模塊，以解決零填充會引入異常像素的問題；提出了多尺度檢測方案，其中多尺度權(quán)重掩模用于抑制重構(gòu)誤差的影響，多尺度自適應(yīng)閾值用于分割出潛在的缺陷，采用基于圖塊的多尺度缺陷評估方案對這些潛在缺陷進(jìn)行了充分的評估，最終分割出缺陷并得出檢測結(jié)果。

多尺度缺陷檢測結(jié)果如圖2 所示，試驗(yàn)結(jié)果驗(yàn)證了提出的多尺度檢測算法的有效性和可行性，在70.9 幀/s 的合理檢測速度下，實(shí)現(xiàn)了0.70%的誤檢率、0.57%的漏檢率、99.3%的正確率、99.8%的精密度、99.3%的召回率和F 分?jǐn)?shù)達(dá)0.996 的優(yōu)良檢測性能，優(yōu)于目前最先進(jìn)的半監(jiān)督深度學(xué)習(xí)檢測方法，體現(xiàn)了這一方案強(qiáng)大的應(yīng)用潛力。

研究團(tuán)隊(duì)未來將在此基礎(chǔ)上繼續(xù)探索，以進(jìn)一步提升檢測框架的檢測性能，并拓寬該檢測框架的應(yīng)用場景，包括探索相鄰圖像塊的關(guān)聯(lián)性分析，探索具有更強(qiáng)建模能力的生成對抗網(wǎng)絡(luò)模型，探索內(nèi)存和能源消耗更小的網(wǎng)絡(luò)模型，進(jìn)一步滿足工業(yè)應(yīng)用需求。（蔡念 陳凱瓊 黃林昕 夏皓 周帥）

原始文獻(xiàn)：

CHEN K Q, CAI N, WU Z S, et al.Multi-scale GAN with transformer for surface defect inspection of IC metal packages[J].Expert Systems with Applications,2023,212:118788.