基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)設(shè)計(jì)研究

林小強(qiáng)　鄧桂鋒

摘要：隨著電子信息技術(shù)的飛速發(fā)展，印制電路板（Printed-Circuit Board，PCB） 作為電子產(chǎn)品的重要電子互聯(lián)組件，在現(xiàn)代電子信息產(chǎn)品中發(fā)揮著不可或缺的作用。隨著時(shí)代的進(jìn)步，現(xiàn)代印刷電路板缺陷檢測(cè)的重要性日益凸顯，而傳統(tǒng)的PCB缺陷檢測(cè)方法則存在效率低下、漏檢率高等問(wèn)題。針對(duì)這些問(wèn)題，文章構(gòu)建了基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)。該系統(tǒng)由圖像采集模塊、YOLOv7目標(biāo)檢測(cè)模塊、PCB缺陷數(shù)據(jù)集成模塊三大部分組成。通過(guò)實(shí)驗(yàn)和實(shí)際生產(chǎn)線測(cè)試，文章提出的系統(tǒng)在PCB缺陷檢測(cè)上取得了良好的效果。

關(guān)鍵詞：PCB；AI技術(shù)；缺陷檢測(cè)；目標(biāo)檢測(cè)；YOLOv7

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）13-0014-03 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

隨著人工智能（AI） 技術(shù)的不斷發(fā)展，其在各行各業(yè)的應(yīng)用也日益廣泛。其中，AI技術(shù)在PCB（PrintedCircuit Board，印刷電路板）缺陷檢測(cè)領(lǐng)域的應(yīng)用備受關(guān)注。在現(xiàn)代電子信息產(chǎn)品中，印制電路板作為各類電子元器件的支撐體和電氣連接的載體，是電子元器件的核心組成部件，在電子設(shè)備領(lǐng)域占據(jù)著重要地位。因此，保證其穩(wěn)定的質(zhì)量顯得尤為重要，質(zhì)量檢測(cè)已經(jīng)成為生產(chǎn)制造過(guò)程中的關(guān)鍵步驟[1]。由于電路板上的結(jié)構(gòu)復(fù)雜多樣，生產(chǎn)過(guò)程中可能會(huì)出現(xiàn)短路、焊橋、開(kāi)路、元器件松動(dòng)或錯(cuò)位等缺陷，確保PCB產(chǎn)品功能與外觀的正常，是產(chǎn)品質(zhì)量把控的重要一環(huán)。然而，目前國(guó)內(nèi)在自動(dòng)在線檢測(cè)技術(shù)方面水平有限，現(xiàn)今PCB缺陷檢測(cè)方法主要有人工目視檢測(cè)和基于傳統(tǒng)機(jī)器視覺(jué)的自動(dòng)光學(xué)檢測(cè)[2]。而基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)可以通過(guò)深度學(xué)習(xí)算法對(duì)PCB圖像進(jìn)行精確分析和識(shí)別，不僅能夠更準(zhǔn)確地檢測(cè)出微小的缺陷，還能實(shí)現(xiàn)自動(dòng)化的檢測(cè)過(guò)程，極大地提高了檢測(cè)效率。PCB上的缺陷種類繁多，傳統(tǒng)的檢測(cè)方法往往需要針對(duì)不同類型的缺陷設(shè)計(jì)不同的檢測(cè)算法，并需要大量的人工標(biāo)注數(shù)據(jù)。而基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)則能通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)不同類型缺陷的特征，實(shí)現(xiàn)對(duì)不同類型缺陷的自動(dòng)識(shí)別和分類，顯著減少了人工標(biāo)注數(shù)據(jù)的需求，提高了系統(tǒng)的通用性和適用性。本文在光學(xué)檢測(cè)（AOI） 方式的基礎(chǔ)上，通過(guò)大量標(biāo)記的圖像訓(xùn)練YOLO（You Only Look Once） 模型后，實(shí)現(xiàn)了PCB缺陷的檢測(cè)，包括缺陷位置定位和分類。本文提出的PCB檢測(cè)系統(tǒng)的整體工作流程包括PCB裸板拍攝、缺陷檢測(cè)分析、檢測(cè)分析展示。

1 系統(tǒng)總體設(shè)計(jì)

基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)主要由圖像采集模塊、YOLOv7目標(biāo)檢測(cè)模塊、PCB缺陷數(shù)據(jù)集成模塊組成。圖像采集模塊是負(fù)責(zé)獲取PCB的圖像數(shù)據(jù)，為了確保清晰且正確定位的PCB 圖像，該模塊包括自動(dòng)對(duì)焦和定位功能，以適應(yīng)不同PCB 的形狀和尺寸。YOLOv7 目標(biāo)檢測(cè)模塊利用YOLO（You Only Look Once） 算法檢測(cè)PCB圖像并定位缺陷的邊界框。該模塊首先擴(kuò)充現(xiàn)有的PCB缺陷數(shù)據(jù)集，結(jié)合光學(xué)檢測(cè)（AOI） 技術(shù)，實(shí)現(xiàn)了缺陷區(qū)域的全局定位和檢測(cè)。PCB缺陷數(shù)據(jù)集成模塊則能夠定位并標(biāo)識(shí)PCB裸板缺陷的位置以及類型，實(shí)現(xiàn)印刷電路板PCB缺陷的智能檢測(cè)?；赮OLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)有助于提高工業(yè)產(chǎn)品缺陷檢測(cè)的準(zhǔn)確性，現(xiàn)已廣泛應(yīng)用于表面缺陷檢測(cè)[3]。

2 圖像采集模塊

圖像采集模塊是基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)中至關(guān)重要的組成部分。該模塊通過(guò)高性能的圖像傳感器捕捉PCB表面的圖像，為后續(xù)的缺陷檢測(cè)提供高質(zhì)量的數(shù)據(jù)。系統(tǒng)通常使用自動(dòng)光學(xué)檢測(cè)（AOI） 技術(shù)，該技術(shù)利用高分辨率攝像頭獲取PCB板上的圖像，以便進(jìn)行后續(xù)的缺陷檢測(cè)。相機(jī)的選擇會(huì)考慮到PCB板的尺寸、生產(chǎn)線的速度以及需要檢測(cè)的PCB缺陷類型，具備低噪聲、高速度和適應(yīng)性，可在不同光照條件下工作。

3 YOLOv7 目標(biāo)檢測(cè)模塊

本文采用YOLOv7深度學(xué)習(xí)模型作為PCB缺陷檢測(cè)系統(tǒng)模型。在GPU V100 上進(jìn)行測(cè)試，精度為56.8% AP的模型可達(dá)到30 FPS（batch=1） 以上的檢測(cè)速率，這是目前唯一一款在如此高精度下仍能超過(guò)30FPS的檢測(cè)器。

深度監(jiān)督是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)常用的技術(shù)之一。深度學(xué)習(xí)目標(biāo)檢測(cè)算法按照不同的設(shè)計(jì)思想主要可分為兩大類，即：Two-stage系列算法和One-stage系列算法[3]。其核心思想是在網(wǎng)絡(luò)的中間層添加額外的輔助頭，并通過(guò)這些輔助頭的輔助損失來(lái)引導(dǎo)淺層網(wǎng)絡(luò)的權(quán)重學(xué)習(xí)。即使在已經(jīng)表現(xiàn)良好的網(wǎng)絡(luò)結(jié)構(gòu)，如ResNet和DenseNet中，引入深度監(jiān)督仍然能夠顯著提高模型在多項(xiàng)任務(wù)上的性能。圖1展示了目標(biāo)檢測(cè)器架構(gòu)的對(duì)比，其中一個(gè)是沒(méi)有深度監(jiān)督的結(jié)構(gòu)，而另一個(gè)則包含深度監(jiān)督。在這些結(jié)構(gòu)中，負(fù)責(zé)生成最終輸出的頭部被稱為引導(dǎo)頭，而用于輔助訓(xùn)練的頭部被稱為輔助頭。

在深度監(jiān)督訓(xùn)練中以目標(biāo)檢測(cè)為例，研究者經(jīng)常利用網(wǎng)絡(luò)預(yù)測(cè)的質(zhì)量分布來(lái)結(jié)合Ground Truth，使用一些計(jì)算和優(yōu)化方法來(lái)生成可靠的軟標(biāo)簽（Soft La?bel） 。例如，YOLO 使用Bounding Box 預(yù)測(cè)和GroundTruth的IOU作為軟標(biāo)簽[4]。在本文中將網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與Ground Truth一起考慮后再分配軟標(biāo)簽的機(jī)制稱為“標(biāo)簽分配器”。在本文中，我們討論了輔助頭和引導(dǎo)頭在目標(biāo)深度監(jiān)督中的應(yīng)用。為了實(shí)現(xiàn)這一目標(biāo)，我們采用了一種新的標(biāo)簽分配方法，與傳統(tǒng)方法有所不同。與將輔助頭和引導(dǎo)頭分離后獨(dú)立執(zhí)行標(biāo)簽分配的常見(jiàn)方法不同，我們的方法是通過(guò)利用引導(dǎo)頭的預(yù)測(cè)來(lái)引導(dǎo)輔助頭和引導(dǎo)頭自身的學(xué)習(xí)過(guò)程。簡(jiǎn)而言之，我們首先使用引導(dǎo)頭的Prediction生成層次標(biāo)簽，從整體到詳細(xì)，然后將它們分別用于引導(dǎo)頭和輔助頭的訓(xùn)練，如圖2所示。

本文設(shè)計(jì)了三種模型，分別被稱為YOLOv7-Tiny、YOLOv7和YOLOv7-W6。同時(shí)，還使用基本模型針對(duì)不同的服務(wù)需求進(jìn)行縮放，并得到不同大小的模型。對(duì)于YOLOv7，可進(jìn)行頸部縮放（module scale） ，并使用所提出的復(fù)合縮放方法對(duì)整個(gè)模型的深度和寬度進(jìn)行縮放（depth and width scale） ，此方式獲得了YOLOv7-X。對(duì)于YOLOv7-W6，使用提出的縮放方法得到了YOLOv7-E6和YOLOv7-D6。此外，在YO?LOv7-E6 使用了提出的E-ELAN，從而完成了YO?LOv7-E6E。由于YOLOv7-Tincy 是一個(gè)面向邊緣GPU 架構(gòu)的模型，因此它將使用RELU 作為激活函數(shù)。對(duì)于其他模型，使用SILU作為激活函數(shù)。

本文提出了一種新的實(shí)時(shí)檢測(cè)器。在研究過(guò)程中，本文發(fā)現(xiàn)了重參化模塊的替換問(wèn)題和動(dòng)態(tài)標(biāo)簽的分配問(wèn)題。為了解決這一問(wèn)題，提出了一種可訓(xùn)練的Bag-of-Freebies策略來(lái)提高PCB檢測(cè)的精度。如圖3 是我們的采集缺陷效果圖。數(shù)據(jù)集的圖像進(jìn)行曝光度調(diào)整、水平翻轉(zhuǎn)等各類數(shù)據(jù)集增強(qiáng)操作?；诖?，本文開(kāi)發(fā)的YOLOv7系列目標(biāo)檢測(cè)模型獲得了最先進(jìn)的結(jié)果。

4 PCB 缺陷數(shù)據(jù)集成模塊

PCB缺陷數(shù)據(jù)集成模塊的工作流程是圖像采集通過(guò)工業(yè)攝像頭對(duì)PCB裸板進(jìn)行拍攝，系統(tǒng)能有效識(shí)別相機(jī)采集的圖片、視頻等文件形式，采用PCB缺陷檢測(cè)平臺(tái)進(jìn)行圖像處理，然后將處理好的圖片通過(guò)系統(tǒng)分析，標(biāo)注分類后進(jìn)行結(jié)果展示。通過(guò)工業(yè)攝像機(jī)拍攝PCB裸板的圖像，使用部署好的PCB缺陷檢測(cè)模型，能夠快速準(zhǔn)確地標(biāo)識(shí)出缺陷位置，并且能夠準(zhǔn)確地得出缺陷的類型。識(shí)別包括經(jīng)過(guò)基于深度學(xué)習(xí)技術(shù)圖像處理技術(shù)檢查出PCB上是否有短路、多銅及少銅、斷路、缺口、毛刺、銅偏斜等幾種常見(jiàn)的缺陷類型，輸出缺陷處的標(biāo)記框和對(duì)應(yīng)類別，以輔助自動(dòng)化PCB 質(zhì)量檢測(cè)。

在PCB缺陷檢測(cè)分析方面， 需要數(shù)據(jù)存儲(chǔ)技術(shù)、特征檢測(cè)技術(shù)、網(wǎng)絡(luò)通信技術(shù)等，在PCB缺陷數(shù)據(jù)基礎(chǔ)上實(shí)現(xiàn)缺陷的位置定位，缺陷類型的判斷。在PCB 數(shù)據(jù)的采集和存儲(chǔ)方面，當(dāng)檢測(cè)到PCB本身存在缺陷的時(shí)候，立即抓拍存檔告警方便后期針對(duì)性地進(jìn)行調(diào)整，實(shí)現(xiàn)實(shí)時(shí)、準(zhǔn)確采集，并且能夠靈活存儲(chǔ)，記錄識(shí)別結(jié)果在界面表格中方便查看，支持結(jié)果記錄、展示和保存，以保證數(shù)據(jù)和信息的完整。PCB板缺陷檢測(cè)識(shí)別系統(tǒng)通過(guò)YOLOv7 網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)，對(duì)現(xiàn)場(chǎng)PCB是否存在缺陷部分進(jìn)行實(shí)時(shí)分析檢測(cè)。在確保數(shù)據(jù)安全方面，引入了防火墻技術(shù)，以有效阻擋潛在的非法訪問(wèn)和惡意攻擊。通過(guò)數(shù)字簽名技術(shù)，對(duì)數(shù)據(jù)進(jìn)行加密和認(rèn)證，以確保數(shù)據(jù)的完整性和真實(shí)性。通過(guò)密鑰管理系統(tǒng)的建立進(jìn)一步加強(qiáng)了對(duì)加密通信的控制，提高了系統(tǒng)整體的抗攻擊能力。在數(shù)據(jù)通信方面，本研究采用了分組交換網(wǎng)絡(luò)和移動(dòng)通信網(wǎng)絡(luò)，以實(shí)現(xiàn)高效的信息傳輸。這些綜合的技術(shù)措施不僅提升了數(shù)據(jù)傳輸?shù)男剩苍诒Ｕ贤ㄐ虐踩苑矫姘l(fā)揮了積極作用。在優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面進(jìn)行探索研究，對(duì)PCB缺陷數(shù)據(jù)進(jìn)行缺陷目標(biāo)特征標(biāo)識(shí)，使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練，將得到的訓(xùn)練模型部署到實(shí)際的生產(chǎn)環(huán)境中，能夠?qū)崿F(xiàn)對(duì)PCB缺陷更加快速且精準(zhǔn)的檢測(cè)。

5 結(jié)束語(yǔ)

本文詳細(xì)介紹了深度學(xué)習(xí)目標(biāo)檢測(cè)算法，并重點(diǎn)分析了YOLOv7檢測(cè)算法及其效果?；赮OLOv7目標(biāo)檢測(cè)算法的印制電路板（PCB） 缺陷檢測(cè)系統(tǒng)具備顯著優(yōu)勢(shì)。該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)PCB缺陷的自動(dòng)識(shí)別和檢測(cè)，有效降低了人工目視檢查的成本和時(shí)間，提高了檢測(cè)效率。同時(shí)，通過(guò)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，該系統(tǒng)能夠不斷學(xué)習(xí)和優(yōu)化檢測(cè)算法，從而提升檢測(cè)的準(zhǔn)確性和穩(wěn)定性。此外，該系統(tǒng)還具備良好的遷移性和魯棒性，檢測(cè)結(jié)果更加客觀、可靠。在降低人工成本的同時(shí)，該系統(tǒng)顯著提高了檢測(cè)效率，展現(xiàn)出廣闊的應(yīng)用前景[5]。當(dāng)然，基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)也存在一些挑戰(zhàn)和問(wèn)題。首先，系統(tǒng)對(duì)圖像數(shù)據(jù)的要求較高，需要高質(zhì)量的圖像數(shù)據(jù)作為輸入，這對(duì)圖像采集設(shè)備和技術(shù)提出了更高的要求。其次，系統(tǒng)的算法設(shè)計(jì)和優(yōu)化需要較高的技術(shù)水平和專業(yè)知識(shí)，需要不斷進(jìn)行算法的更新和優(yōu)化，以適應(yīng)不同類型的PCB和不同的缺陷情況。此外，系統(tǒng)的實(shí)時(shí)性和穩(wěn)定性也是一個(gè)挑戰(zhàn)，特別是在工業(yè)生產(chǎn)線上的應(yīng)用，系統(tǒng)需要能夠快速響應(yīng)和穩(wěn)定運(yùn)行?；赮OLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)在提高PCB缺陷檢測(cè)的效率和準(zhǔn)確性方面具有重要的意義。隨著人工智能技術(shù)的不斷發(fā)展和應(yīng)用，相信基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)將會(huì)在未來(lái)得到更廣泛的應(yīng)用和發(fā)展。然而，系統(tǒng)在技術(shù)和應(yīng)用方面還存在一些挑戰(zhàn)和問(wèn)題，需要不斷進(jìn)行研究和改進(jìn)，以實(shí)現(xiàn)更好的性能和穩(wěn)定性。相信通過(guò)持續(xù)的努力和創(chuàng)新，基于YOLOv7目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)將會(huì)成為電子制造行業(yè)中不可或缺的重要工具。

參考文獻(xiàn)：

[1] 代剛，吳湘寧，鄧玉嬌，等. 基于孿生深度特征融合殘差網(wǎng)絡(luò)的PCB缺陷分類模型[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2023，32（5）：188-195.

[2] 廖鑫婷，李泉洲，邱權(quán)，等. 基于深度學(xué)習(xí)的PCB缺陷檢測(cè)方法[J]. 電子產(chǎn)品可靠性與環(huán)境試驗(yàn)，2022，40（4）：30-34.

[3] 李俊杰，周驊，唐綱浩. 基于改進(jìn)YOLOv3的電容表面缺陷檢測(cè)方法[J]. 智能計(jì)算機(jī)與應(yīng)用，2023，13（3）：235-241.

[4] 謝能勇. 基于計(jì)算機(jī)視覺(jué)的垃圾檢測(cè)及焚燒火焰識(shí)別研究[D]. 淮南：安徽理工大學(xué)，2023.

[5] 趙怡豪，劉勇，岳仁峰，等. 基于改進(jìn)YOLOv5模型的智能立體車庫(kù)結(jié)構(gòu)裂縫識(shí)別算法研究[J]. 信息系統(tǒng)工程，2024（3）：134-137.

【通聯(lián)編輯：代影】

基金項(xiàng)目：廣西壯族自治區(qū)工業(yè)和信息化廳2023 年信息化相關(guān)項(xiàng)目“基于YOLO V7 目標(biāo)檢測(cè)算法的印制電路板缺陷檢測(cè)系統(tǒng)”