基于百度飛槳EasyDL平臺(tái)的芯片質(zhì)檢系統(tǒng)設(shè)計(jì)與開發(fā)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2025）12-0184-10

Design and Development of Chip Quality Inspection System Based on PaddlePaddle EasyDLPlatform

SUN Cuigai， SHENG Xuefeng，YU Dawei （Suzhou CollegeofInformationTechnology，Suzhou 21520o，China）

Abstract：Aimingat the problems oflowchip inspection eficiency，high labor cost，and poor product consistency in current industrialproduction，this paper designsand develops anautomatedchipquality inspection system basedonartifcial intellgencetechnology.ThesystemtakesthePaddePaddleEasyDLplatformas thecore，colectschipimages throughindustrial cameras，anduses the Deep Learning algorithmtorealize the inteligentrecognition of defectssuchaschippinmising and surfacecratches.Theexperimentalresultsshowthatthesystemcanefectivelyreplace thetraditionalmanual inspectionmethod， significantlyimprovetheispectionaccracyandeiencyedueproductionosts，andprovidestrongsupportforancing thecorecompetitivenssof theindustryandpromotingkeytechnologicalinnovations.Thesuccessfulapplicationofthissystem notonlypromotes theimprovementofindustrial independentinnovationabilityutalsoprovidesanetechnicalpathforthe realization of high-quality development of manufacturing industry.

Keywords： PaddlePaddle; EasyDL; chip inspection; quality inspection; Deep Learning; intellgent manufacturing

0 引言

在現(xiàn)代電子產(chǎn)業(yè)中，芯片作為核心組件，其質(zhì)量直接關(guān)系到電子產(chǎn)品的性能、穩(wěn)定性和可靠性。隨著芯片制造工藝向高精度、小型化方向的不斷演進(jìn)[1]，對(duì)芯片質(zhì)量檢測(cè)的準(zhǔn)確性、高效性、智能化程度等提出了嚴(yán)苛的要求。人工檢測(cè)和傳統(tǒng)的圖像處理算法檢測(cè)，對(duì)于微小尺寸缺陷、不規(guī)則形狀缺陷等，檢測(cè)精度和泛化能力嚴(yán)重受限。在此背景下，深度學(xué)習(xí)技術(shù)憑借其強(qiáng)大的特征自動(dòng)學(xué)習(xí)能力，在圖像識(shí)別領(lǐng)域取得了突破性的進(jìn)展。通過對(duì)海量芯片圖像數(shù)據(jù)的學(xué)習(xí)，深度學(xué)習(xí)模型能夠自動(dòng)挖掘出復(fù)雜的缺陷特征模式，從而實(shí)現(xiàn)高性能、高精度的缺陷檢測(cè)[2]。百度飛槳EasyDL平臺(tái)作為一款面向廣大開發(fā)者的一站式AI開發(fā)平臺(tái)，利用EasyDL平臺(tái)豐富的預(yù)訓(xùn)練模型、便捷的標(biāo)注工具以及高效的模型訓(xùn)練與部署功能，能夠顯著縮短芯片質(zhì)檢系統(tǒng)的開發(fā)周期，降低開發(fā)成本，提高開發(fā)效率[3]。

1關(guān)鍵技術(shù)研究

1.1 百度智能云EasyDLAI開發(fā)平臺(tái)

EasyDL是百度大腦推出的定制化AI訓(xùn)練及服務(wù)平臺(tái)，支持面向各行各業(yè)有定制AI需求的企業(yè)用戶和開發(fā)者。自2017年11月中旬起，它在國內(nèi)率先推出針對(duì)AI零算法基礎(chǔ)或者追求高效率開發(fā)的企業(yè)用戶的零門檻AI開發(fā)平臺(tái)，提供從數(shù)據(jù)采集、標(biāo)注、清洗到模型訓(xùn)練、部署的一站式AI開發(fā)能力。本系統(tǒng)利用百度智能云EasyDLAI開發(fā)平臺(tái)，完成了從數(shù)據(jù)采集到模型校驗(yàn)的完整流程，如表1所示。

表1芯片質(zhì)檢系統(tǒng)在EasyDL平臺(tái)所做工作一覽表

1.2芯片質(zhì)檢模型訓(xùn)練算法YOL0v3

EasyDL零門檻AI開發(fā)平臺(tái)，為AI開發(fā)基礎(chǔ)薄弱的開發(fā)者提供預(yù)置模型調(diào)參建模方式，現(xiàn)已涵蓋ResNet50_vd、YOLOv3_MobileNetV1、SSD_MobileNetV1、Mask_RCNN_R50_vd_FPN等圖像分類、物體檢測(cè)、實(shí)例分割3類場景下14種網(wǎng)絡(luò)，適配大部分場景，開發(fā)者只需選擇合適的預(yù)訓(xùn)練模型以及網(wǎng)絡(luò)，根據(jù)自身經(jīng)驗(yàn)進(jìn)行調(diào)整，以獲得更適合特定場景的模型，其中物體檢測(cè)預(yù)置算法及網(wǎng)絡(luò)選擇，如表2所示。

表2物體檢測(cè)預(yù)置算法及網(wǎng)絡(luò)選擇

在對(duì)芯片進(jìn)行質(zhì)量檢測(cè)過程中，選用優(yōu)勢(shì)明顯的YOLOv3算法，在保持高準(zhǔn)確率的同時(shí)，具有較快的檢測(cè)速度，能夠滿足實(shí)時(shí)檢測(cè)的需求。YOLOv3是一種先進(jìn)的單階段目標(biāo)檢測(cè)算法，它摒棄了傳統(tǒng)目標(biāo)檢測(cè)方法中的區(qū)域提議步驟，通過單次網(wǎng)絡(luò)前向傳播即可直接完成目標(biāo)的分類和定位[4]。其理論基礎(chǔ)主要源于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN），通過構(gòu)建復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)來自動(dòng)學(xué)習(xí)圖像中的特征表示[5]。YOLOv3算法采用Darknet-53作為網(wǎng)絡(luò)結(jié)構(gòu)，包含53個(gè)卷積層的深度神經(jīng)網(wǎng)絡(luò)，通過殘差模塊來解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問題，在芯片質(zhì)檢系統(tǒng)中，由于芯片較小，裁剪前和裁剪后差異性較大，YOLOv3算法能夠在不同尺度的特征圖上進(jìn)行目標(biāo)檢測(cè)，提高了對(duì)小目標(biāo)的檢測(cè)能力[。同時(shí)，YOLOv3采用CNN對(duì)目標(biāo)進(jìn)行端到端的檢測(cè)，無須額外的后處理步驟，簡化了檢測(cè)流程。

YOLOv3對(duì)每個(gè)檢測(cè)單元預(yù)測(cè)多個(gè)邊界框，每個(gè)邊界框有5個(gè)參數(shù) （t_x，t_y，t_w，t_h，t_o） ，預(yù)測(cè)邊界框中心坐標(biāo) （t_x，t_y） 通過以下計(jì)算式式計(jì)算：

其中， σ 為Sigmoid函數(shù)，其計(jì)算式為σ_x=1/（1+e^-x） ，作用是將輸出值壓縮到（0，1）區(qū)間，（c_x，c_y） 為當(dāng)前網(wǎng)格單元左上角相對(duì)于圖像左上角的偏移量， （t_x，t_y） 為網(wǎng)絡(luò)預(yù)測(cè)的邊界框中心相對(duì)于網(wǎng)格單元左上角的偏移量。預(yù)測(cè)的邊界框的寬 b_w 和高 b_h 計(jì)算式如下：

其中， （p_w，p_h） 為預(yù)設(shè)的錨框的寬和高， （t_w，t_h） 為網(wǎng)絡(luò)預(yù)測(cè)的邊界框?qū)捄透叩目s放因子。目標(biāo)置信度C為邊界框中包含目標(biāo)的概率，通過Sigmoid函數(shù)計(jì)算：?=σ（t₀） ，其中 t₀ 為網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)置信度偏移量。

利用混淆矩陣形成更多的指標(biāo)去評(píng)價(jià)模型。在芯片質(zhì)檢系統(tǒng)中，對(duì)數(shù)據(jù)集進(jìn)行多次標(biāo)注，并使用YOLOv3算法對(duì)模型進(jìn)行訓(xùn)練，所得訓(xùn)練模型的mAP、精確率、召回率等指標(biāo)整體評(píng)估效果如圖1所示。

圖1模型訓(xùn)練整體評(píng)估

隨著標(biāo)注熟練度增加，訓(xùn)練模型的精確率和召回率也在逐步提升，由最初的 40% 左右提升到 95% 左右。在模型校驗(yàn)的過程中，選擇測(cè)試集中的幾張圖片上傳，便可查看模型校驗(yàn)的識(shí)別結(jié)果，F(xiàn)1-score是精確率和召回率的調(diào)和平均數(shù)，其數(shù)值范圍從0到1，1代表模型的性能最佳。通過查看模型的表現(xiàn)，不同閾值下F1-score表現(xiàn)不同，建議閾值設(shè)為0.6，這樣模型校驗(yàn)識(shí)別率最佳。模型發(fā)布后可以通過請(qǐng)求參數(shù)中的threshold調(diào)節(jié)閾值。不同閾值下F1-score表現(xiàn)如圖2所示。

圖2不同閾值下F1-score表現(xiàn)

1.3接口測(cè)試工具Postman

在EasyDL平臺(tái)上，經(jīng)過了一系列步驟，獲取了模型訓(xùn)練后的API接口，同時(shí)也擁有了模型應(yīng)用的ID號(hào)、APIKey和SecretKey，那么開發(fā)者便可以通過這些參數(shù)調(diào)用該模型，完成芯片質(zhì)檢系統(tǒng)的相關(guān)功能，用戶可以通過這三個(gè)參數(shù)使用該應(yīng)用。為了驗(yàn)證參數(shù)的有效性，采用接口測(cè)試工具Postman，首先，向API服務(wù)地址使用POST發(fā)送請(qǐng)求，必須在URL中帶上參數(shù)access_token，那么如何利用現(xiàn)有的參數(shù)獲取令牌環(huán)access_token，則需要向授權(quán)服務(wù)器地址發(fā)送請(qǐng)求：https：//aip.baidubce.com/oauth/2.0/token？grant_type O= client_credentialsamp;client_id=ETFGGN7xONmn8jwSR0ZQTlabamp;client_secret=IVlqjmm4UntAjp5nOO3fs7FG2FZAZBsT，其中g(shù)rant_type為必選參數(shù)，其值為client_credentials，client_id也為必須參數(shù)，其值為應(yīng)用的APIKey，client_secret也是必須參數(shù)，其值為應(yīng)用的SecretKey，借助Postman接口工具，發(fā)起post請(qǐng)求，便可獲取令牌環(huán)access_token，接下來在Postman接口測(cè)試工具中，測(cè)試芯片質(zhì)檢API接口是否能夠正常返回芯片質(zhì)檢結(jié)果，此時(shí)需要拼接請(qǐng)求地址：https：//aip.baidubce.com/rest/2.0/image-classify/v2/dish？access_token=24.789dfde75640c6cae12b8bde39e9026d.2592000.1684227332.282335-32441774， 該接口地址中，access_token為必須參數(shù)，該參數(shù)值源自上一步獲得令牌環(huán)的值，同時(shí)設(shè)置Header請(qǐng)求頭參數(shù)Content-Type，其值為application/x-www-form-urlencoded，在請(qǐng)求體 Body中輸入請(qǐng)求參數(shù)image，字符串類型，值為圖片的Base64編碼格式，準(zhǔn)備好請(qǐng)求地址、請(qǐng)求頭和請(qǐng)求體之后，選擇發(fā)送post請(qǐng)求，在請(qǐng)求成功的情況下，Postman接口測(cè)試工具中便可以查看到芯片質(zhì)檢的結(jié)果數(shù)據(jù)，同時(shí)，該接口可以通過Android Studio軟件調(diào)用，通過移動(dòng)端實(shí)現(xiàn)對(duì)芯片的實(shí)時(shí)檢測(cè)。Postman接口測(cè)試工具測(cè)試內(nèi)容一覽表如表3所示。

表3Postman接口測(cè)試工具測(cè)試內(nèi)容一覽表

1.4 圖像的Base64編碼

Base64編碼是一種將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為僅由ASCII字符組成的文本格式的方法，這種格式在互聯(lián)網(wǎng)上傳輸時(shí)非常方便，因?yàn)樗梢灾苯忧度氲経RL或HTML代碼中，無須擔(dān)心二進(jìn)制數(shù)據(jù)可能引起的格式問題。因此，在完成芯片質(zhì)檢系統(tǒng)的過程中，通過調(diào)用芯片質(zhì)檢的URL地址進(jìn)行芯片圖片識(shí)別時(shí)，需要將圖像數(shù)據(jù)作為請(qǐng)求的一部分發(fā)送到服務(wù)器。如果直接發(fā)送原始的二進(jìn)制圖像數(shù)據(jù)（例如JPEG、PNG格式），可能會(huì)因?yàn)閿?shù)據(jù)大小、編碼格式不兼容等問題導(dǎo)致請(qǐng)求失敗或處理復(fù)雜化。而將圖像轉(zhuǎn)換為Base64編碼后，可以直接將編碼后的字符串作為請(qǐng)求的一部分發(fā)送，使得API調(diào)用更加簡單和直接。此外，在使用Postman接口測(cè)試工具發(fā)送HTTP請(qǐng)求時(shí)，在請(qǐng)求體Body中輸入請(qǐng)求參數(shù)image的值也為芯片圖片的Base64編碼，以此來確保圖像數(shù)據(jù)不會(huì)因?yàn)榫幋a問題而丟失或損壞。Bitmap圖片轉(zhuǎn)Base64編碼代碼如下：

1.5 圖片裁剪工具uCrop

在芯片質(zhì)檢系統(tǒng)中，由于芯片較小，通過智能手機(jī)攝像頭拍攝后，呈現(xiàn)的芯片圖像非常小，給芯片質(zhì)檢造成了一定的困難。因此，在工程中，引入com.github.yalantis：ucrop：2.2.6開源庫依賴，開發(fā)者可以根據(jù)需求對(duì)拍攝后的圖片進(jìn)行適當(dāng)裁剪。首先，實(shí)例化uCrop類，獲得該類的一個(gè)實(shí)例對(duì)象，然后設(shè)置自定義裁剪的各類屬性，同時(shí)設(shè)置裁剪操作的源圖片的Uri和裁剪后圖片保存的目標(biāo)Uri。源Uri是傳入方法的參數(shù)，目標(biāo)Uri是在應(yīng)用的文件目錄下創(chuàng)建一個(gè)新的文件，文件名為當(dāng)前系統(tǒng)時(shí)間戳加上.jpg后綴。之后啟動(dòng)uCrop活動(dòng)進(jìn)行圖片裁剪。圖片裁剪工具調(diào)用的方法如表4所示。

表4圖片裁剪工具調(diào)用的方法

1.6 系統(tǒng)開發(fā)工具

利用AndroidStudio軟件開發(fā)移動(dòng)端APP，并用夜神模擬器或者華為手機(jī)進(jìn)行測(cè)試。該應(yīng)用通過調(diào)用相機(jī)加載圖片或者實(shí)時(shí)拍攝圖片，從而完成移動(dòng)端芯片的識(shí)別，實(shí)現(xiàn)“無劃痕芯片”和“有劃痕芯片”的智能化檢測(cè)，同時(shí)完成“單引腳斷，兩腳間斷，兩腳連斷，三腳間斷，三腳連斷，無引腳斷”的精準(zhǔn)化識(shí)別。

2 軟件設(shè)計(jì)

2. 1 系統(tǒng)開發(fā)流程

在芯片質(zhì)檢系統(tǒng)的開發(fā)過程中，我們利用百度智能云EasyDLAI開發(fā)平臺(tái)，完成了數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型發(fā)布、模型校驗(yàn)和模型應(yīng)用等步驟。接著，通過Postman接口測(cè)試工具，對(duì)模型訓(xùn)練生成的API接口以及模型應(yīng)用創(chuàng)建時(shí)生成的ID號(hào)、APIKey和SecretKey等進(jìn)行了測(cè)試，以此驗(yàn)證芯片質(zhì)檢URL地址的有效性。之后，便可在AndroidStudio中編寫代碼，調(diào)用芯片質(zhì)檢URL地址，完成芯片質(zhì)檢系統(tǒng)的開發(fā)。最后，進(jìn)行軟件測(cè)試和模型調(diào)優(yōu)，將開發(fā)好的芯片質(zhì)檢系統(tǒng)部署到終端設(shè)備上。系統(tǒng)開發(fā)流程如圖3所示。

2.2系統(tǒng)技術(shù)架構(gòu)設(shè)計(jì)

整個(gè)系統(tǒng)分為數(shù)據(jù)與算法設(shè)計(jì)層、開發(fā)工具層、技術(shù)渲染層和終端展示層。其中算法設(shè)計(jì)層為底層核心，用來完成機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)任務(wù)。開發(fā)工具層包含了完成數(shù)據(jù)和模型階段工作的百度EasyDL平臺(tái)，也包括了測(cè)試階段的Postman接口測(cè)試工具。該層對(duì)返回的數(shù)據(jù)利用JSON在線解析工具進(jìn)行解析和識(shí)別，利用Base64在線測(cè)試工具完成bitmap位圖到Base64編碼格式的轉(zhuǎn)換，利用AndroidStudio開發(fā)軟件進(jìn)行程序的編程和實(shí)現(xiàn)，利用NOX夜神模擬器進(jìn)行程序的安裝和部署?？偠灾?，各層協(xié)同工作，順利實(shí)現(xiàn)芯片質(zhì)檢系統(tǒng)開發(fā)任務(wù)，其系統(tǒng)技術(shù)架構(gòu)如圖4所示。

2.3系統(tǒng)功能模塊設(shè)計(jì)

整個(gè)系統(tǒng)包含歡迎登錄模塊和系統(tǒng)主界面兩個(gè)部分，其中歡迎登錄模塊包含了歡迎界面、注冊(cè)界面、登錄界面三個(gè)頁面，系統(tǒng)主界面中則包含了芯片質(zhì)檢系統(tǒng)中非常重要的幾個(gè)功能，分別是：引腳檢測(cè)、劃痕檢測(cè)、引腳檢測(cè)列表、劃痕檢測(cè)列表、可視化圖表、清空列表等功能，其系統(tǒng)總體功能模塊設(shè)計(jì)如圖5所示。

2.4 數(shù)據(jù)庫設(shè)計(jì)

在開發(fā)芯片質(zhì)檢系統(tǒng)的過程中，為了能夠有效地將引腳缺失和劃痕缺陷的檢測(cè)結(jié)果保存起來，系統(tǒng)采用了Android自帶的SQLite輕量級(jí)數(shù)據(jù)庫存儲(chǔ)技術(shù)。SQLite提供了一個(gè)自包含、無服務(wù)器的、零配置的SQL數(shù)據(jù)庫引擎，具有簡單性、可靠性強(qiáng)等特點(diǎn)，同時(shí)具備跨平臺(tái)特性以及無須配置的優(yōu)勢(shì)，成為許多應(yīng)用程序的首選數(shù)據(jù)庫解決方案。它不需要服務(wù)器來運(yùn)行，也不需要配置，使用標(biāo)準(zhǔn)的SQL語言進(jìn)行數(shù)據(jù)操作，這使得從其他數(shù)據(jù)庫遷移到SQLite變得相對(duì)容易。芯片質(zhì)檢系統(tǒng)根據(jù)功能需要，創(chuàng)建了引腳信息表和劃痕信息表，具體詳情如表5和表6所示。

表5引腳信息表yinjiao_info

（續(xù)表）

表6劃痕信息表huahen_info

3 系統(tǒng)功能實(shí)現(xiàn)

3.1系統(tǒng)開發(fā)所需硬件設(shè)備

表7展示了基于百度飛槳EasyDL平臺(tái)的芯片質(zhì)檢系統(tǒng)硬件清單，涵蓋了從數(shù)據(jù)采集到模型部署的全流程設(shè)備支持。

表7基于百度飛槳EasyDL平臺(tái)的芯片質(zhì)檢系統(tǒng)硬件清單

3.2 功能模塊

3.2.1 引腳檢測(cè)模塊

通過相機(jī)拍照或者從相冊(cè)加載一張引腳圖片，通過識(shí)別按鈕識(shí)別芯片的引腳是否存在缺陷并顯示引腳檢測(cè)的識(shí)別結(jié)果。若存在缺陷，則在引腳圖片上框選缺陷的位置，并在下方顯示引腳缺陷的具體坐標(biāo)。通過單擊提交按鈕，將檢測(cè)結(jié)果提交至引腳檢測(cè)列表頁面。在加載圖片的過程中，采用圖片裁剪技術(shù)，將圖片周圍的空白部分剪切掉，從而得到一張清晰度高的芯片圖片。通過相機(jī)完成圖片的拍攝與裁剪后，在引腳頁面的上方顯示一張芯片圖片。單擊頁面中間右側(cè)的“識(shí)別上圖”按鈕，圖片下方的“待檢測(cè)”文字便可自動(dòng)更換為“識(shí)別中”。約5秒后，會(huì)顯示檢測(cè)后的結(jié)果，比如：“損壞引腳數(shù)量為：2”，同時(shí)在識(shí)別結(jié)果處顯示識(shí)別結(jié)果。為了能夠清楚顯示引腳檢測(cè)的結(jié)果，采用代碼畫框的方式框選出圖片中存在缺陷的“引腳”。在識(shí)別結(jié)果處，出現(xiàn)提示文字：芯片存在2處引腳斷裂，無法使用！同時(shí)顯示芯片斷腳信息，以及每一個(gè)缺陷引腳的高度、寬度、左側(cè)坐標(biāo)位置、頂部坐標(biāo)位置等信息詳情。單擊右下角的提交按鈕，將損壞引腳識(shí)別結(jié)果的信息保存到數(shù)據(jù)庫中，以備其他頁面調(diào)用。用戶在完成提交后，頁面顯示“添加成功”提示，同時(shí)刷新本頁面。

3.2.2 劃痕檢測(cè)模塊

通過相機(jī)拍照或者從相冊(cè)加載一張帶有劃痕的圖片，點(diǎn)擊“識(shí)別上圖”按鈕來識(shí)別芯片上是否存在劃痕，并顯示劃痕檢測(cè)的識(shí)別結(jié)果。若存在劃痕，下方會(huì)顯示具體提示文字，并將檢測(cè)結(jié)果提交至劃痕檢測(cè)列表頁面。為了提高模型訓(xùn)練的準(zhǔn)確度，采用圖片裁剪技術(shù)，將圖片周圍的空白部分剪切掉，從而得到一張清晰度更高的芯片圖片。單擊頁面中間右側(cè)的“識(shí)別上圖”按鈕，圖片下方的“待檢測(cè)”文字便會(huì)自動(dòng)更換為“識(shí)別中”，約5秒后，會(huì)顯示檢測(cè)后的結(jié)果。為了能夠清楚顯示劃痕檢測(cè)的結(jié)果，在頁面下方的識(shí)別結(jié)果處，會(huì)出現(xiàn)提示文字：模型檢測(cè)到芯片上有劃痕！并附有識(shí)別置信度等詳細(xì)信息。單擊右下角的提交按鈕，將芯片上有劃痕的識(shí)別結(jié)果信息保存到數(shù)據(jù)庫中，以供其他頁面調(diào)用。用戶在完成提交后，頁面會(huì)顯示“添加成功”提示，并刷新本頁面。通過相機(jī)拍攝第二張圖片進(jìn)行劃痕檢測(cè)，若顯示“芯片上有劃痕”，則同時(shí)將其添加到數(shù)據(jù)庫中。數(shù)據(jù)庫中存儲(chǔ)了所有與斷腳產(chǎn)品相關(guān)的物品信息。該列表支持上下滾動(dòng)，以便查看保存到數(shù)據(jù)庫中的所有與斷腳產(chǎn)品相關(guān)的物品信息。每個(gè)物品的信息包括：圖片、商品類型、斷腳數(shù)量、斷腳信息等。

3.2.3 引腳檢測(cè)列表模塊

該界面顯示所有保存到數(shù)據(jù)庫中的有斷腳芯片的物品信息。由于芯片斷腳情況的物品較多，該列表支持上下滾動(dòng)，查看保存。

3.2.4數(shù)據(jù)詳情頁面

單擊斷腳信息列表中的某一個(gè)芯片，便可打開數(shù)據(jù)詳情界面，界面上方顯示芯片的圖片，中間顯示芯片類型和斷腳數(shù)量，下方顯示檢測(cè)數(shù)據(jù)信息。

3.2.5 劃痕檢測(cè)列表模塊

該界面顯示所有保存到數(shù)據(jù)庫中的芯片上是否有劃痕的信息列表。該列表支持上下滾動(dòng)，查看保存到數(shù)據(jù)庫中的所芯片上是否有劃痕。每個(gè)物品的信息包括：圖片、芯片類型、劃痕信息等。

3.2.6數(shù)據(jù)詳情頁面

單擊劃痕信息列表中的某一個(gè)芯片，便可打開數(shù)據(jù)詳情界面，界面上方顯示芯片的圖片，中間顯示芯片類型，下方顯示芯片檢測(cè)結(jié)果的數(shù)據(jù)信息。

3. 2.7 可視化圖表模塊

單擊主界面中的“可視化圖表”圖標(biāo)，便可打開可視化圖表界面。該界面以非常直觀的方式展示了斷腳和劃痕的占比，使用青色和灰色兩種顏色進(jìn)行展示。上圖顯示的是芯片中引腳有缺陷和引腳無缺陷的占比，下圖展示的是芯片有劃痕和芯片無劃痕的占比。

3.2.8 清空列表模塊

單擊首頁的“清空列表”圖標(biāo)，便可進(jìn)入清空列表頁面，單擊頁面上的“清空列表”按鈕，便可彈出“是否清除所有數(shù)據(jù)”對(duì)話框。單擊“取消”按鈕，便可返回主頁面。單擊“確定”按鈕，便可清空斷腳列表和劃痕列表信息，同時(shí)清空數(shù)據(jù)庫中的斷腳信息表和劃痕信息表。當(dāng)再次打開“引腳數(shù)據(jù)列表”和“劃痕數(shù)據(jù)列表”時(shí)，頁面均為空白。此時(shí)再次查看可視化圖表，圖表回歸到初始化狀態(tài)。顯示引腳有缺陷與引腳無缺陷的占比各占 50% ，芯片有劃痕和芯片無劃痕各占 50% 。

4系統(tǒng)測(cè)試

4. 1 系統(tǒng)運(yùn)行測(cè)試

本系統(tǒng)通過主頁面如圖6所示，集成引腳檢測(cè)與劃痕分析兩大核心功能，提供高效、精準(zhǔn)的缺陷檢測(cè)方案。在引腳檢測(cè)模塊如圖7和圖8所示，系統(tǒng)可自動(dòng)識(shí)別并標(biāo)記異常引腳，輸出精確的尺寸和位置數(shù)據(jù)；劃痕檢測(cè)模塊如圖9、圖10和圖11所示則通過智能算法定位表面缺陷，并生成詳細(xì)的量化分析報(bào)告。此外，系統(tǒng)支持?jǐn)?shù)據(jù)深度管理如圖12和圖13所示，包括歷史記錄查詢與單引腳詳情分析，同時(shí)結(jié)合可視化圖表如圖14所示，實(shí)現(xiàn)多維度數(shù)據(jù)對(duì)比，為質(zhì)量管控提供直觀依據(jù)。整體設(shè)計(jì)兼顧操作便捷性與分析全面性，適用于工業(yè)質(zhì)檢場景中的高精度需求。

4.2 測(cè)試結(jié)果分析

選取不同類型、不同批次的芯片共300個(gè)，涵蓋常見的芯片缺陷類型：無劃痕、有劃痕、單引腳斷、兩腳間斷、兩腳連斷、三腳間斷、三腳連斷、無引腳斷等，將芯片樣本隨機(jī)分為三組，每組100個(gè)芯片，采用芯片質(zhì)檢系統(tǒng)、人工檢測(cè)、基于傳統(tǒng)圖像處理算法檢測(cè)三種不同的質(zhì)檢方式，重復(fù)5次，取平均值，記錄不同檢測(cè)方法對(duì)每組芯片檢測(cè)的平均時(shí)間和每種檢測(cè)方法的TP、FP、TN、FN數(shù)量以及計(jì)算得到的準(zhǔn)確率、召回率和F1值，整理結(jié)果如表8所示。

圖7 引腳檢測(cè)頁面

圖10劃痕檢測(cè)效果

圖9劃痕檢測(cè)頁面

圖8 引腳檢測(cè)效果

圖11劃痕數(shù)據(jù)列表

圖12引腳數(shù)據(jù)列表

圖13引腳詳情頁面

圖14可視化圖表

表8不同檢測(cè)方法對(duì)比

從實(shí)驗(yàn)數(shù)據(jù)可以看出，芯片質(zhì)檢系統(tǒng)的平均檢測(cè)時(shí)間僅為 30s ，明顯低于人工檢測(cè)的 180s 和基于傳統(tǒng)圖像處理算法檢測(cè)的 60s 。這表明芯片質(zhì)檢系統(tǒng)借助先進(jìn)的算法和高效的硬件設(shè)備，能夠快速處理大量圖像數(shù)據(jù)，實(shí)現(xiàn)自動(dòng)化檢測(cè)，極大地提高了檢測(cè)效率。人工檢測(cè)由于人的視覺疲勞和處理速度限制，檢測(cè)時(shí)間較長；傳統(tǒng)圖像處理算法在面對(duì)復(fù)雜芯片缺陷檢測(cè)場景時(shí)，需進(jìn)行多步驟的圖像處理和分析，導(dǎo)致檢測(cè)時(shí)間相對(duì)較長[7]。

芯片質(zhì)檢系統(tǒng)在準(zhǔn)確率、召回率和F1值等指標(biāo)上均表現(xiàn)出色。其準(zhǔn)確率達(dá)到 96.67% ，召回率為100% ，F(xiàn)1值為 98.29% ，優(yōu)于人工檢測(cè)和基于傳統(tǒng)圖像處理算法的檢測(cè)。芯片質(zhì)檢系統(tǒng)利用深度學(xué)習(xí)技術(shù)，能夠?qū)W習(xí)到豐富的芯片缺陷特征，對(duì)各種復(fù)雜缺陷具有較高的識(shí)別能力。人工檢測(cè)雖然有一定經(jīng)驗(yàn)優(yōu)勢(shì)，但面對(duì)大量復(fù)雜芯片樣本時(shí)，容易出現(xiàn)漏檢或誤檢情況，導(dǎo)致準(zhǔn)確率和召回率不如芯片質(zhì)檢系統(tǒng)。傳統(tǒng)圖像處理算法基于手工特征提取，對(duì)于細(xì)微或不規(guī)則的缺陷識(shí)別能力有限，使得檢測(cè)精度受限[]。

綜合來看，考慮到大規(guī)模檢測(cè)場景下對(duì)效率和精度的要求，芯片質(zhì)檢系統(tǒng)在長期和大規(guī)模應(yīng)用中更具成本效益優(yōu)勢(shì)。

5系統(tǒng)開發(fā)過程中遇到的問題及解決辦法

5.1數(shù)據(jù)采集時(shí)遇到的問題

在準(zhǔn)備數(shù)據(jù)集過程中，遇到了因圖片角度不同、明暗度不同，導(dǎo)致識(shí)別精度不高的難題，因此購置了補(bǔ)光燈，在燈光柔且受光均勻的情況下，重新采集了400多張芯片圖片作為數(shù)據(jù)集。

5.2數(shù)據(jù)標(biāo)注時(shí)遇到的問題

在數(shù)據(jù)標(biāo)注過程中，采用在線標(biāo)注，添加了8個(gè)標(biāo)簽，對(duì)不同類型缺陷的圖片進(jìn)行標(biāo)注。用戶對(duì)“標(biāo)注框的大小、位置和規(guī)范”等問題存在疑惑，通過組內(nèi)討論，明確了標(biāo)注框的大小標(biāo)準(zhǔn)，規(guī)定標(biāo)注框應(yīng)略大于目標(biāo)物體，但不要過多包含背景；對(duì)標(biāo)注框的位置，需緊密圍繞缺陷邊緣。同時(shí)，強(qiáng)化了標(biāo)注規(guī)則管理，制定了詳細(xì)的標(biāo)注指南，包括每種缺陷的標(biāo)注規(guī)則和示例。除此之外，用戶發(fā)現(xiàn)傾斜的圖片在標(biāo)注時(shí)框選難度較大?；谠搯栴}，在標(biāo)注前，使用圖像處理技術(shù)對(duì)圖片進(jìn)行預(yù)處理，如自動(dòng)旋轉(zhuǎn)校正，以減少傾斜帶來的影響。

5.3 模型訓(xùn)練時(shí)遇到的問題

在模型訓(xùn)練的過程中，首次訓(xùn)練后的模型平均精度均值（meanAverage Precision）為 85.23% 、精確率（Precision）為 81.36% 、召回率（Recall）為79.91% 。由于這三個(gè)指標(biāo)百分比較低，導(dǎo)致識(shí)別時(shí)準(zhǔn)確率很低，有些芯片無法準(zhǔn)確識(shí)別。優(yōu)化的解決方案是增加數(shù)據(jù)集的數(shù)量，提高數(shù)據(jù)標(biāo)注的準(zhǔn)確度。

6 特色與創(chuàng)新

6.1 技術(shù)創(chuàng)新

該技術(shù)基于百度飛槳平臺(tái)，采用了先進(jìn)的深度學(xué)習(xí)模型，成功實(shí)現(xiàn)了高精度的芯片質(zhì)檢，能夠在短時(shí)間內(nèi)完成芯片的質(zhì)量檢測(cè)，使得該系統(tǒng)具有實(shí)時(shí)性與自動(dòng)化特點(diǎn)[。通過數(shù)據(jù)模型的持續(xù)優(yōu)化，不僅大幅度地提高了檢測(cè)精度，還減少了不必要的人工成本支出，提高了生產(chǎn)效率。此外，該系統(tǒng)榮獲4項(xiàng)軟件著作權(quán)、2項(xiàng)實(shí)用新型專利，為芯片質(zhì)檢系統(tǒng)的推廣應(yīng)用提供了堅(jiān)實(shí)的技術(shù)保障。同時(shí)，基于百度飛槳EasyDL平臺(tái)的芯片質(zhì)檢系統(tǒng)榮獲2024年“領(lǐng)航杯”江蘇省大學(xué)生數(shù)字素養(yǎng)與技能大賽高職組特等獎(jiǎng)、獲2024年第十屆全國應(yīng)用型人才綜合技能大賽二等獎(jiǎng)、獲2024年第九屆全國計(jì)算機(jī)類課程實(shí)驗(yàn)教學(xué)案例評(píng)選二等獎(jiǎng)、獲2022年“中國軟件杯”大學(xué)生軟件設(shè)計(jì)大賽三等獎(jiǎng)、獲2023年蘇州市人工智能科學(xué)技術(shù)獎(jiǎng)-科技進(jìn)步二等獎(jiǎng)。該系統(tǒng)的設(shè)計(jì)與研發(fā)為未來的多領(lǐng)域化應(yīng)用奠定了良好基礎(chǔ)。

6.2 設(shè)備創(chuàng)新

在試用過程中，拓展使用機(jī)械臂獲取需要識(shí)別的工件樣品。在設(shè)定程序執(zhí)行流程和對(duì)應(yīng)參數(shù)后，不需要人工過多干預(yù)，機(jī)械臂的觸頭可以根據(jù)具體的工件樣品以及實(shí)際需求進(jìn)行產(chǎn)品獲取和檢驗(yàn)識(shí)別，實(shí)現(xiàn)了產(chǎn)品自動(dòng)化。

6.3 軟件創(chuàng)新

本產(chǎn)品采用百度智能云EasyDL平臺(tái)，通過人工智能算法進(jìn)行識(shí)別，實(shí)現(xiàn)了芯片引腳和劃痕的精準(zhǔn)化檢測(cè)。與人工質(zhì)檢相比，它不會(huì)出現(xiàn)因人員不同而導(dǎo)致質(zhì)檢標(biāo)準(zhǔn)不同的情況。在使用模型的過程中，會(huì)將產(chǎn)生的數(shù)據(jù)上傳至服務(wù)器，形成一批新的數(shù)據(jù)集，自動(dòng)完成模型訓(xùn)練數(shù)據(jù)集的動(dòng)態(tài)化擴(kuò)充[10]，讓模型再使用這些新的數(shù)據(jù)集進(jìn)行自主訓(xùn)練，以提高模型識(shí)別精度。

7結(jié)論

基于百度飛槳EasyDL平臺(tái)的芯片質(zhì)檢系統(tǒng)，借助EasyDL平臺(tái)實(shí)現(xiàn)一站式智能標(biāo)注，采用人工智能算法完成模型訓(xùn)練，利用網(wǎng)絡(luò)訪問框架調(diào)用API接口部署在移動(dòng)設(shè)備或桌面設(shè)備上。該系統(tǒng)通過工業(yè)相機(jī)實(shí)時(shí)拍攝芯片圖片，實(shí)現(xiàn)“無劃痕芯片”和“有劃痕芯片”的精準(zhǔn)化識(shí)別，以及“單引腳斷，兩腳間斷，兩腳連斷，三腳間斷，三腳連斷，無引腳斷”的智能化檢測(cè)。試運(yùn)行結(jié)果表明，識(shí)別精準(zhǔn)度達(dá)到 99.5% 以上，獲得了試用企業(yè)的一致好評(píng)。

參考文獻(xiàn)：

[1]陳偉迅.基于YOLOv3的芯片軟硬件質(zhì)檢裝置設(shè)計(jì)[J].交通科技與管理，2023，4（18）：4-6.

[2]吳凱.基于深度學(xué)習(xí)的柔性智能外觀質(zhì)檢算法平臺(tái)[J].通訊世界，2024，31（12）：163-165.

[3]郭早強(qiáng)，林樹瑩，張震雨，等.AI智能質(zhì)檢系統(tǒng)在汽車自動(dòng)化涂膠品質(zhì)監(jiān)控中的研究及應(yīng)用實(shí)踐[J].時(shí)代汽車，2024（21）：121-123.

[4]梁芷，毋濤，薛巖松.基于改進(jìn)YOLOv3的人體目標(biāo)檢測(cè)算法研究[J].計(jì)算機(jī)與數(shù)字工程，2024，52（12）：3503-3508+3554.

[5]程貞漬，程一帆，繆百靈，等.基于YOLOv3的不同場景下蘋果目標(biāo)檢測(cè)方法[J].北方園藝，2024（22）：137-146.

[6]田智慧，楊奇文，魏海濤.基于改進(jìn)的YOLOv3多目標(biāo)小尺度車輛檢測(cè)算法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2023，40（12）：169-175.

[7]李振杰，臧春華，蘇寶玉，等.基于OpenCV圖像處理軟件的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2024，14（6）：47-49.

[8]夏青，王桂霞.基于數(shù)字圖像處理技術(shù)的激光光斑位置檢測(cè)研究[J].激光雜志，2024，45（9）：208-212

[9]周曉天，孫上，張海霞，等.多接入邊緣計(jì)算賦能的AI質(zhì)檢系統(tǒng)任務(wù)實(shí)時(shí)調(diào)度策略[J].電子與信息學(xué)報(bào)，2024，46（2）：662-670.

[10]沈兆宇，林忠晨，薛朝陽，等.基于EasyDL的芯片表面缺陷檢測(cè)方法研究[J].科技視界，2023（6）：115-118.

作者簡介：孫翠改（1982.02—），女，漢族，江蘇蘇州人，副教授，博士，研究方向：移動(dòng)開發(fā)、人工智能。