基于YOLOv3的芯片軟硬件質(zhì)檢裝置設(shè)計(jì)

陳偉迅

（廣州鐵路職業(yè)技術(shù)學(xué)院,廣東 廣州 511300）

0 引言

中國(guó)芯片行業(yè)是當(dāng)前中國(guó)經(jīng)濟(jì)發(fā)展的重要組成部分，其發(fā)展趨勢(shì)也影響著中國(guó)經(jīng)濟(jì)的發(fā)展走向，已經(jīng)成為經(jīng)濟(jì)發(fā)展、國(guó)家信息安全的命脈[1]。隨著中國(guó)科技的不斷進(jìn)步，中國(guó)芯片行業(yè)的技術(shù)研發(fā)也在迅速提升。中國(guó)已經(jīng)成為全球最大的芯片制造商，主要從事芯片研發(fā)、生產(chǎn)和銷售的企業(yè)數(shù)量也在不斷增加。2019年，中國(guó)芯片行業(yè)的市場(chǎng)規(guī)模達(dá)到了4.4萬(wàn)億元，同比增長(zhǎng)17.3%，這一數(shù)據(jù)表明，中國(guó)芯片行業(yè)發(fā)展勢(shì)頭強(qiáng)勁，市場(chǎng)規(guī)模不斷擴(kuò)大。根據(jù)市場(chǎng)調(diào)研在線發(fā)布的2023—2029年中國(guó)芯片行業(yè)市場(chǎng)行情動(dòng)態(tài)及發(fā)展前景展望報(bào)告分析，隨著中國(guó)經(jīng)濟(jì)和科技的發(fā)展，中國(guó)芯片行業(yè)的市場(chǎng)規(guī)模將進(jìn)一步擴(kuò)大。據(jù)業(yè)內(nèi)預(yù)測(cè)，到2022年，中國(guó)芯片行業(yè)的市場(chǎng)規(guī)模將達(dá)到7.5萬(wàn)億元，同比增長(zhǎng)7.3%。

隨著中國(guó)經(jīng)濟(jì)的發(fā)展，電子信息產(chǎn)業(yè)也在不斷發(fā)展，智能機(jī)器人、智能家居、自動(dòng)駕駛等新興行業(yè)的發(fā)展，中國(guó)芯片行業(yè)的需求量也在不斷增加，行業(yè)的市場(chǎng)規(guī)模將進(jìn)一步擴(kuò)大。此外，政府和企業(yè)正在加大投入，將更多的資金用于芯片行業(yè)的研發(fā)和應(yīng)用，加快行業(yè)技術(shù)進(jìn)步，提高行業(yè)競(jìng)爭(zhēng)力，從而促進(jìn)行業(yè)的發(fā)展。綜上所述，隨著國(guó)民經(jīng)濟(jì)的持續(xù)發(fā)展，中國(guó)芯片行業(yè)將迎來(lái)更快的發(fā)展，市場(chǎng)規(guī)模和未來(lái)發(fā)展趨勢(shì)將繼續(xù)保持上升趨勢(shì)。

1 芯片質(zhì)檢的意義及現(xiàn)狀分析

芯片的生產(chǎn)流程一般包括芯片設(shè)計(jì)、晶片制作、芯片封裝三個(gè)步驟。芯片封裝作為芯片生產(chǎn)流程的最后一步，其封裝質(zhì)量和封裝可靠性影響著整個(gè)芯片產(chǎn)品的質(zhì)量。芯片封裝是將芯片固定在基底上，再將保護(hù)封蓋用金屬焊料焊接在基底上，在將芯片內(nèi)外電路連接的同時(shí)，起到對(duì)內(nèi)部芯片的保護(hù)作用，并且金屬封蓋還能增強(qiáng)芯片的整體散熱性能。因?yàn)樾酒闹圃爝^(guò)程十分復(fù)雜，在整個(gè)集成電路大規(guī)模工業(yè)生產(chǎn)過(guò)程中，集成芯片缺陷檢測(cè)是一個(gè)必不可少的環(huán)節(jié)[2]。一旦缺陷未被及時(shí)發(fā)現(xiàn)，將會(huì)對(duì)成品芯片的性能和可靠性產(chǎn)生影響，因此在生產(chǎn)過(guò)程中實(shí)時(shí)監(jiān)控芯片封裝的質(zhì)量逐漸成為芯片生產(chǎn)的必要步驟。在芯片生產(chǎn)制造過(guò)程中，各工藝流程環(huán)環(huán)相扣，技術(shù)復(fù)雜，材料、環(huán)境、工藝參數(shù)等因素的微變常導(dǎo)致芯片產(chǎn)生缺陷，芯片引腳數(shù)目缺失、傾斜及斷裂等問(wèn)題[3]，影響產(chǎn)品良率。

芯片缺陷檢測(cè)的意義在于確保制造的芯片符合要求的規(guī)格，并在其預(yù)期應(yīng)用中可靠運(yùn)行。這一點(diǎn)至關(guān)重要，原因如下：

（1）產(chǎn)品可靠性：不符合要求規(guī)格的芯片可能在其預(yù)期應(yīng)用中出現(xiàn)故障或性能不佳，這可能導(dǎo)致產(chǎn)品故障并降低客戶滿意度。

（2）質(zhì)量控制：芯片質(zhì)量檢查有助于通過(guò)識(shí)別和拒絕任何不符合要求規(guī)范的芯片來(lái)保持制造過(guò)程的完整性。這有助于確保只有高質(zhì)量的芯片被包裝并運(yùn)送給客戶。

（3）成本節(jié)約：在檢查過(guò)程中識(shí)別和拒絕有缺陷的芯片有助于降低制造和維修成本，并將產(chǎn)品退貨和客戶投訴的風(fēng)險(xiǎn)降至最低。

（4）符合行業(yè)標(biāo)準(zhǔn)：芯片質(zhì)量檢查有助于確保制造的芯片符合行業(yè)標(biāo)準(zhǔn)和法規(guī)，這對(duì)市場(chǎng)接受度和消費(fèi)者安全至關(guān)重要。

綜上所述，芯片質(zhì)量檢測(cè)作為芯片生產(chǎn)線中的關(guān)鍵環(huán)節(jié)，可以積極地反饋產(chǎn)品質(zhì)量信息，以便人們及時(shí)掌控各生產(chǎn)環(huán)節(jié)的健康狀況，促使質(zhì)量檢測(cè)技術(shù)在生產(chǎn)線中的作用越來(lái)越凸顯。

然而，傳統(tǒng)的目視芯片質(zhì)檢法存在檢查速度有限、準(zhǔn)確度不高、勞動(dòng)強(qiáng)度大、容易產(chǎn)生人為錯(cuò)誤等局限性，影響了芯片質(zhì)檢的可靠性和效率。因此，亟須研發(fā)自動(dòng)、可靠的芯片質(zhì)檢裝置。

隨著計(jì)算機(jī)視覺(jué)和人工智能技術(shù)的發(fā)展，基于這兩種技術(shù)的芯片質(zhì)檢方法應(yīng)運(yùn)而生，與傳統(tǒng)方法相比其優(yōu)勢(shì)如下：

（1）提高效率：計(jì)算機(jī)視覺(jué)算法可以以比傳統(tǒng)方法更快的速度處理圖像和檢查芯片。

（2）提高準(zhǔn)確性：計(jì)算機(jī)視覺(jué)算法可以檢測(cè)更廣泛的缺陷，包括小的或細(xì)微的缺陷，比傳統(tǒng)方法更準(zhǔn)確。

（3）減少人為錯(cuò)誤：計(jì)算機(jī)視覺(jué)系統(tǒng)可以消除人為錯(cuò)誤的影響，對(duì)于確保檢查過(guò)程的一致性和可靠性尤為重要。

（4）增強(qiáng)可追溯性：計(jì)算機(jī)視覺(jué)系統(tǒng)可以提供詳細(xì)的檢查記錄和數(shù)據(jù)，可用于提高芯片制造過(guò)程的整體效率和有效性。

該裝置目的是克服現(xiàn)有技術(shù)的不足和缺陷，主要克服了現(xiàn)有技術(shù)中的傳統(tǒng)算法單一檢測(cè)芯片外部缺陷，無(wú)法滿足需求的問(wèn)題。

2 基于YOLOv3的芯片軟硬件質(zhì)檢裝置

針對(duì)現(xiàn)有技術(shù)不足，該作品從芯片質(zhì)檢環(huán)節(jié)入手，利用深度學(xué)習(xí)算法和射頻模組，實(shí)現(xiàn)了準(zhǔn)確高效的芯片表面缺陷和內(nèi)部軟件的聯(lián)合質(zhì)檢，除了能檢測(cè)出劃痕、引腳缺失等外觀缺陷外，還能檢測(cè)出芯片的基本功能是否完好。

圍繞軟芯片硬件聯(lián)合質(zhì)檢這一總體目標(biāo)，針對(duì)芯片缺陷的類別多樣、形態(tài)各異、背景復(fù)雜等特點(diǎn)，面向快速、自動(dòng)化質(zhì)檢的需求，該文設(shè)計(jì)了一種基于YOLOv3[4]的芯片軟硬件質(zhì)檢裝置。芯片從入口輸送到該裝置后，通過(guò)YOLOv3芯片檢測(cè)技術(shù)對(duì)芯片表面進(jìn)行質(zhì)檢，將由傳送帶進(jìn)行傳送和分揀，根據(jù)識(shí)別結(jié)果控制機(jī)械臂阻攔實(shí)現(xiàn)分揀效果，硬件質(zhì)檢合格的芯片將進(jìn)入軟件質(zhì)檢模塊；不合格的芯片則由傳送帶上的分揀器根據(jù)缺陷種類自動(dòng)進(jìn)行分揀。采用雙高射頻模組對(duì)芯片內(nèi)部線圈檢測(cè)，不合格的芯片同樣由傳送帶上的分揀器阻攔分揀，雙重保障下提高芯片的出關(guān)質(zhì)量。

2.1 裝置硬件設(shè)計(jì)

芯片缺陷檢測(cè)裝置的硬件部分如圖1所示。硬件部分由照明機(jī)構(gòu)、相機(jī)、鏡頭和計(jì)算機(jī)組成，用于拍攝清晰的芯片表面圖像，反饋到計(jì)算機(jī)內(nèi)存中。裝置的軟件部分由YOLOv3模型實(shí)現(xiàn)缺陷檢測(cè)和分類功能，由雙高射頻模組協(xié)議測(cè)試平臺(tái)檢測(cè)芯片內(nèi)部缺陷。該檢測(cè)裝置使用一種運(yùn)用直射光的環(huán)形照明方式，CCD相機(jī)采用800萬(wàn)像素的工業(yè)電子顯微鏡相機(jī)，分辨率為1 920×1 080，最終完成對(duì)芯片表面缺陷高質(zhì)量、高效率的圖像采集，以便后續(xù)算法的實(shí)現(xiàn)。

圖1 裝置結(jié)構(gòu)圖

2.2 功能模塊介紹

就功能而言，系統(tǒng)主要可以分為圖像采集模塊、模型訓(xùn)練模塊、芯片表面缺陷檢測(cè)模塊和芯片軟件質(zhì)檢模塊這四大模塊。各模塊具體的使用方法分述如下：

2.2.1 圖像采集模塊

圖像采集模塊主要由高清工業(yè)攝像頭模組組成，同時(shí)要求攝像頭模組提供可供取視頻流的SDK組件。使用時(shí)，需要先將攝像頭安裝到適合拍攝各種不同排列的芯片的位置，并將攝像頭通過(guò)網(wǎng)線連接到后臺(tái)服務(wù)器，以供實(shí)時(shí)從攝像頭前端獲取包含集裝號(hào)的視頻流。

2.2.2 模型訓(xùn)練模塊

該模塊主要訓(xùn)練用于定位芯片表面缺陷位置的Yolov3目標(biāo)識(shí)別模型。具體來(lái)說(shuō)，需要首先從后臺(tái)由前端攝像頭拍攝的視頻流中導(dǎo)出包含芯片的圖像。為了識(shí)別的準(zhǔn)確性，導(dǎo)出的含芯片目標(biāo)的圖像統(tǒng)一為jpg格式，并對(duì)每一張包芯片圖像進(jìn)行兩類標(biāo)注，即圖像種類標(biāo)注，以及圖像中芯片缺點(diǎn)位置標(biāo)注（如圖2所示）。該過(guò)程需要人工手動(dòng)完成。芯片圖像標(biāo)注可以借助標(biāo)注工具LabelImg完成。將目標(biāo)圖片輸入LabelImg，手動(dòng)框出芯片表面缺陷所在位置，并保存標(biāo)注的結(jié)果，此時(shí)軟件LabelImg會(huì)生產(chǎn)一個(gè)與圖片同名的txt文件。保存的txt文件形式如下：

圖2 芯片圖像標(biāo)注結(jié)果示意圖

前面的0代表只有一類，有兩行代表有兩個(gè)目標(biāo)。后面是目標(biāo)在圖片中的位置信息。前面兩個(gè)數(shù)字代表中心點(diǎn)位置、像素點(diǎn)/圖片尺寸；后兩位代表寬高、像素/圖片尺寸。

2.2.3 芯片表面缺陷檢測(cè)模塊

該模塊的功能是檢測(cè)芯片表面是否存在缺陷。在硬件質(zhì)檢模塊的輸入端配置了高清工業(yè)級(jí)攝像頭負(fù)責(zé)采集芯片樣品的圖像，所采集的芯片圖像會(huì)傳輸?shù)叫酒|(zhì)檢軟件平臺(tái)（圖3所示），當(dāng)中部署了該作品提出的基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的芯片表面缺陷快速檢測(cè)模型，可對(duì)圖像中的芯片缺陷進(jìn)行檢測(cè)和識(shí)別。模型的第一級(jí)網(wǎng)絡(luò)為輕量級(jí)圖像分類網(wǎng)絡(luò)，可識(shí)別出圖像中是否存在帶有缺陷的芯片；第二級(jí)網(wǎng)絡(luò)為目標(biāo)檢測(cè)網(wǎng)絡(luò)，可以對(duì)圖像中的芯片缺陷精準(zhǔn)地進(jìn)行檢測(cè)和定位。通過(guò)輕量級(jí)分類網(wǎng)絡(luò)先對(duì)芯片圖像進(jìn)行分類可以減少目標(biāo)檢測(cè)網(wǎng)絡(luò)的調(diào)用，從而提高芯片硬件質(zhì)檢這一步驟的效率。

2.2.4 軟件質(zhì)檢模塊

該模塊搭載了雙高射頻模組協(xié)議測(cè)試平臺(tái)（圖4所示），可進(jìn)行芯片應(yīng)用設(shè)置功能測(cè)試、芯片與協(xié)議功能測(cè)試等。通過(guò)對(duì)芯片基本功能的測(cè)試，可判斷芯片內(nèi)部軟件是否運(yùn)行正常，達(dá)到軟件質(zhì)檢的目的。

3 基于Yolov3的芯片缺陷檢測(cè)

該文采用You Only Look Once v3（YOLOv3）[5]模型來(lái)對(duì)芯片圖像中的異物進(jìn)行檢測(cè)和定位。YOLOv3是一種常用的目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)使用一步回歸來(lái)預(yù)測(cè)圖像中物體的位置和類別。此外，通過(guò)引入特征金字塔網(wǎng)絡(luò)（FPN）[6]，YOLOv3對(duì)不同尺度的對(duì)象具有魯棒性，可檢測(cè)出圖像中的小目標(biāo)。YOLOv3使用Darknet-53作為其主干特征提取器。在主干網(wǎng)絡(luò)之后，采用了FPN在三個(gè)不同的尺度上檢測(cè)不同大小的目標(biāo)。接著，YOLOv3通過(guò)添加若干個(gè)卷積層來(lái)預(yù)測(cè)對(duì)象的位置和類別。這些卷積層在三個(gè)不同的尺度上輸出特征圖，對(duì)邊界框、對(duì)象性和類別預(yù)測(cè)進(jìn)行編碼。

上述模塊的配置使得YOLOv3可用于檢測(cè)芯片圖像中不同大小的缺陷。

4 結(jié)語(yǔ)

該文結(jié)合芯片質(zhì)檢領(lǐng)域的一般流程，對(duì)該裝置進(jìn)行了功能分析，根據(jù)需要完成的功能和系統(tǒng)整體的需要，該文針對(duì)生產(chǎn)中產(chǎn)檢的芯片類型，設(shè)計(jì)了一種基于YOLOv3的芯片軟硬件協(xié)同質(zhì)檢裝置。裝置可以分為硬件部分和軟件部分，硬件部分包括各個(gè)硬件模塊的選型與設(shè)計(jì)，軟件部分包括開(kāi)發(fā)平臺(tái)和開(kāi)發(fā)語(yǔ)言的選擇、圖像處理的模塊設(shè)計(jì)、芯片定位和芯片分類識(shí)別的模塊設(shè)計(jì)和關(guān)鍵技術(shù)的設(shè)計(jì)。在圖像采集部分，該文根據(jù)裝置的功能需求調(diào)研后，對(duì)相機(jī)和鏡頭進(jìn)行了選型。

采用高清工業(yè)攝像頭采集了訓(xùn)練和測(cè)試所需的芯片樣本圖像，并進(jìn)行人工標(biāo)注，利用CNN框架搭建了卷積神經(jīng)網(wǎng)絡(luò)模型，并進(jìn)行訓(xùn)練和參數(shù)調(diào)優(yōu)，實(shí)現(xiàn)了芯片表面缺陷自動(dòng)質(zhì)檢的目的。