微型元器件引腳測距的深度學(xué)習(xí)方法研究

中圖分類號：TP391.41 文獻標識碼：A 文章編號:1672-0105(2025)02-0047-05

Research on Deep Learning Methods for Micro-component Pin Distance Measurement

XIANG Chaohui， QIAN Yuezhong， ZOU Jiaming (ZhejiangIndustryTradeVocationalCollege，Wenzhou325o35，China）

Abstract:Inindustrial visualquality inspection，measuring the distancebetween pinsof microelectroniccomponents posesa significantchalenge.TraditionalmethodsrelyheavilyonOpenCVforextensive imageprocesingoperations，whichrequieegiees torepeatedlyadjustparameters，leading toloweiciencyandinsuficientauracyIntherealmofdeepleaing，theseisuscanbe addressedthrough distanceregresionandobject detectiontechniques.MethodOneivolvesusingtheResNet18 network to extract image features and employing fullyconnectedlayers fordistanceregresion toultimately measure pin distances.Method Two trains the YOLOv8n modelto detect pin bounding boxes and then calculates the distances between pins basedon these detections. Aditionallyduetoteghomogeneityofimagescolectedfromproductionlinswherepinpositionsarelargelysimlaodels oftensuffer fromsevereoverfiting.Tomitigatethis，wedesignedasimulated pindistancemeasurementmethodtogeneratediverse data，therebyenhancingtherobustnessofthemodels.Experimentalresultsdemonstratethatthedep learing-baseddistance measurement methods offer a significant improvement in acuracy compared to traditional OpenCV-based approaches.

Keywords: industrial quality inspection; deep learning; object detection; pin distance measurement

0引言

微型電子元器件是電子系統(tǒng)中的關(guān)鍵組件，其質(zhì)量影響整個系統(tǒng)的性能。隨著工業(yè)生產(chǎn)的快速發(fā)展，微型電子元器件的生產(chǎn)效率大幅提升，但表面缺陷（如填充不足、裂痕、缺焊片、劃痕等）和尺寸缺陷（如引腳間距過寬/窄、焊片長度過長/短等）等問題依然存在。鑒于這些元件價格低廉且體積小巧，對單個元器件的高效精確檢測成為必要，然而人工審核難以滿足速度與精度的要求。近年來，隨著人工智能技術(shù)的進步，基于機器視覺的檢測方法逐漸成為微型電子元器件質(zhì)檢的主要手段。

在工業(yè)視覺檢測中，Zheng等結(jié)合OpenCV的OTSU自動閥值處理和Canny邊緣檢測，提取了膠囊外部輪廓，并通過形態(tài)特征分析來識別內(nèi)部缺陷。He等2采用不對稱侵蝕擴張技術(shù)進行背景區(qū)域分割，提取不受陰影干擾的特征區(qū)域，并基于菱形點矯正（RSPC）算法和點重排技術(shù)，有效檢測了電力網(wǎng)絡(luò)中的缺陷。WeiFan等聚焦車輛表面缺陷檢測，將快速二維傅里葉變換（2DFFT）應(yīng)用于漫射照明攝像系統(tǒng)中，實驗表明算法效果良好。Keyur及其團隊4在齒輪、硬幣和連接器的分類中，提出了融合支持向量機以及神經(jīng)網(wǎng)絡(luò)的分類方法，使準確率達到 95% 。DavidFries及其團隊針對飛行過程中飛行員遭遇不明原因生理事件（UPEs）所帶來的安全隱患，開發(fā)了一套快速響應(yīng)的機器視覺解決方案，該系統(tǒng)集成了先進的機器學(xué)習(xí)算法和認知神經(jīng)網(wǎng)絡(luò)技術(shù)，能夠?qū)崟r分析來自多種傳感器的數(shù)據(jù)流。YiLuo等設(shè)計了融合機器視覺與被動柔性機制的微孔釘自動精密裝配系統(tǒng)，以高精度平臺定位，機器視覺控位，柔性機構(gòu)補償偏差，實現(xiàn)高精度裝配并提升生產(chǎn)效率與質(zhì)量。

在電子元器件視覺檢測中，Sreenivasan等通過產(chǎn)品頂部拍攝的圖像中提取重要參數(shù)，使用OpenCV圖像處理的方法檢測板焊接層缺陷的問題。Hawari等基于模糊數(shù)學(xué)理論來建立模型，并通過模糊理論結(jié)合機器視覺對微型元器件的引腳進行檢查，能夠識別元器件引腳接觸不良、缺針、歪針等問題。Demir等針對PCB板以及SMD板的缺陷問題，在視覺檢測的基礎(chǔ)上，結(jié)合二值化處理、形態(tài)學(xué)處理等方法進行缺陷檢測。Huang等[]創(chuàng)新使用了開關(guān)中位數(shù)濾波器的方法，在電路芯片引腳缺陷的檢測中表現(xiàn)良好。劉建群等提出基于OpenCV的表面貼裝芯片引腳檢測系統(tǒng)，利用圖像處理算法和平面幾何原理，實現(xiàn)引腳尺寸與高度差異的非接觸式實時測量，實驗驗證了系統(tǒng)的穩(wěn)定性與可靠性。何新鵬等[1將神經(jīng)網(wǎng)絡(luò)模型用于芯片引腳缺陷檢測，針對俯視圖像中引腳與基板重疊的識別難題，通過BP神經(jīng)網(wǎng)絡(luò)提取長度、寬度等特征參數(shù)，實現(xiàn)缺陷精準識別分類。

目前的深度學(xué)習(xí)方法主要應(yīng)用于工業(yè)產(chǎn)品的表面缺陷檢測，而測距類任務(wù)則主要通過OpenCV圖像處理流程配置實現(xiàn)。然而，OpenCV圖像處理存在如下缺點：1.效率低，配置流程需要專業(yè)工程師對每種元器件逐個設(shè)置檢測參數(shù)，尤其對于型號眾多的元器件，流程配置效率極低；2.適應(yīng)力差，傳統(tǒng)基于規(guī)則或統(tǒng)計學(xué)的OpenCV圖像處理方法泛化性較差，環(huán)境的細微變化也可能導(dǎo)致顯著的檢測誤差。而使用深度學(xué)習(xí)方法則需要大量的樣本進行訓(xùn)練，但是生產(chǎn)線上的圖像往往同質(zhì)性較強，使得訓(xùn)練出來的模型缺少魯棒性。本文引入兩種深度學(xué)習(xí)的方法進行引腳距離測量。方法一：通過ResNet18網(wǎng)絡(luò)對引腳圖像進行特征提取，然后全連接輸出距離。方法二：通過YOLOv8n網(wǎng)絡(luò)對引腳圖像進行目標檢測，然后通過檢測框信息計算距離。另外，本文設(shè)計了一種引腳圖像生成的方法，通過模擬生成大量數(shù)據(jù)，生成的圖像質(zhì)檢差異性較大，從而提升模型的魯棒性。

1檢測方法設(shè)計

1.1OpenCV檢測方法

基于OpenCV的檢測方法主要用到閥值分割、輪廓查找等算法。其中：1.閾值分割將圖像轉(zhuǎn)化為二值圖。由于采集圖像的環(huán)境變化可能導(dǎo)致引腳灰度值變化，因此，本文采用OTSU的方法進行自適應(yīng)閾值分割；2.形態(tài)變換可以去除圖像上的噪點。由于采集的圖像可能存在噪點，會影響輪廓查找，所以需要形態(tài)變換去除噪點；3.邊緣檢測獲取到引腳的外部輪廓，進一步提升輪廓查找的精度；4.輪廓查找區(qū)分了不同輪廓個體。邊緣檢測只能得到整體的邊緣，無法區(qū)分輪廓個體，因此需要輪廓查找區(qū)分不同引腳個體；5.最后由輪廓中心計算出兩個引腳的距離，通過OpenCV中輪廓的矩計算出輪廓的中心。如圖1所示。

1.2ResNet18距離測量方法

ResNet18由18層網(wǎng)絡(luò)構(gòu)成，包含卷積層、批量歸一化層、池化層等，網(wǎng)絡(luò)采用線性整流函數(shù)作為激活函數(shù)。該網(wǎng)絡(luò)參數(shù)量較少，計算成本更低，符合微型元器件質(zhì)檢所需要的速度快的特點，且網(wǎng)絡(luò)的輸出可以根據(jù)需求調(diào)整，適合距離測量的要求。本文主要通過ResNet18網(wǎng)絡(luò)對圖像進行特征提取，由全連接層輸出距離的回歸預(yù)測值。如圖2所示。通過模型訓(xùn)練進行參數(shù)回歸，得到距離測量模型。

1.3YOLO目標檢測方法

YOLOv8n是YOLO系列網(wǎng)絡(luò)中輕量級的目標檢測網(wǎng)絡(luò)模型，其骨干網(wǎng)絡(luò)采用CSPNet（CrossStagePartialNetwork）結(jié)構(gòu)，能夠在保證特征提取能力的同時，減少計算量和模型參數(shù)；頸部網(wǎng)絡(luò)采用了FPN（Feature Pyramid Network） 和 PAN（PathAggregationNetwork）相結(jié)合的結(jié)構(gòu)，用于融合不同尺度的特征圖，增強模型對不同大小目標的檢測能力；頭部網(wǎng)絡(luò)采用了簡單高效的檢測頭結(jié)構(gòu)，用于預(yù)測目標的類別和位置。本文通過YO-LOv8n檢測引腳位置，然后通過檢測框信息計算兩個引腳之間的距離。如圖3所示。

2實驗2.1實驗環(huán)境

本實驗的三種算法在表1所示的環(huán)境中運行。其中OpenCV檢測方法在CPU上運行，ResNet18以及YOLOv8n檢測方法在GPU上運行。

2.2數(shù)據(jù)集構(gòu)建

在微型電子元器件的視覺質(zhì)檢中，通常需要先對元器件定位，定位后，引腳將在畫面中的固定位置，通過圖像相對位置剪切即可得到多個引腳對圖像，下一步，通過本文的方法進行距離測量。然而，由于生產(chǎn)線上拍攝的圖片相似度過高，每張圖片的元器件基本在同一個位置，此類數(shù)據(jù)會使得模型訓(xùn)練過擬合，降低模型的魯棒性。因此本文通過模擬的方法生成引腳對數(shù)據(jù)集，通過隨機產(chǎn)生背景，將引腳圖像隨機覆蓋于背景上，可以得到背景不同、引腳距離不同的多樣性數(shù)據(jù)集。具體方法如下：

1.在真實的元器件圖像中隨機截取背景圖像20張;2.在真實的元器件圖像中隨機截取引腳圖像100張；3.將背景圖像和元器件圖像按照7:3分成訓(xùn)練集和測試集；4.隨機選取2個引腳圖像，隨機選取1個背景圖像；5.將2個引腳圖像隨機放置在背景圖像中，保持y坐標相同，記錄間距；

6.在訓(xùn)練集和測試集中，重復(fù)4-5步驟，生成訓(xùn)練圖像7000張、測試圖像3000張

另外，本文通過對真實環(huán)境數(shù)據(jù)的標注，得到了包含1000張真實環(huán)境圖像的數(shù)據(jù)集，用于對比。

2.3訓(xùn)練過程

由于OpenCV的方法不涉及模型訓(xùn)練，因此此處僅說明ResNet18以及YOLOv8n模型的訓(xùn)練過程。訓(xùn)練參數(shù)如表2所示。

此外，訓(xùn)練中學(xué)習(xí)率過早降至過低值可能導(dǎo)致模型陷入局部最優(yōu)，終止參數(shù)更新的局面。本文使用了PyTorch中的學(xué)習(xí)率調(diào)度器來協(xié)調(diào)學(xué)習(xí)率的調(diào)整。根據(jù)余弦退火策略動態(tài)調(diào)整優(yōu)化器的學(xué)習(xí)率，具體來說，基于余弦函數(shù)的特性來調(diào)整學(xué)習(xí)率。學(xué)習(xí)率的變化軌跡遵循余弦函數(shù)的一部分，使得學(xué)習(xí)率以一種平滑的方式先下降后上升，模擬了學(xué)習(xí)過程中的“熱身”和“冷卻”。這種機制有助于模型跳出局部最優(yōu)解，特別是在訓(xùn)練后期，當學(xué)習(xí)率變得非常小的時候，通過重啟學(xué)習(xí)率可以幫助找到更好的解決方案。其中半個周期的長度設(shè)置為50，即學(xué)習(xí)率從初始值降至最低值所需的時間步長為50個輪次。

2.4評價指標

對于工業(yè)元器件引腳測距而言，精度和速度是兩個重要的指標。對于精度而言，根據(jù)具體的算法，本文檢測了box損失以及MSE損失。速度也將在后文中給出對比結(jié)果。

2.4.1box損失

對于YOLO目標檢測的方法，首先需要得到引腳的檢測框，然后測量距離。模型訓(xùn)練的損失為邊框損失（boxloss)，主要針對邊界框的回歸。具體的方法主要為IoU損失（IntersectionoverUnionLoss）。該損失具有尺度不變性，直接反映了預(yù)測框質(zhì)量的特點，該損失主要用于衡量模型產(chǎn)生的預(yù)測邊界框B 和實際邊界框 A 兩者之間的重合度，其中預(yù)測邊界框和實際邊界框重疊部分面積為兩者交集，兩者組成圖形的面積為兩者并集，交并比即為兩邊界框交集與并集的比值交并比損失，IoU公式為：

IoU損失能夠有效衡量建模模型對引腳的定位的精確度，通過對該指標的追蹤，模型能夠有效擬合，達到預(yù)期效果。IoU的值越高，表示模型預(yù)測的邊界框和標注的邊界框重合度越高，IoU的值越低，表示模型預(yù)測的邊界框和標注的邊界框重合度越低。其值在0到1之間，對于YOLOv8n檢測方法，模型訓(xùn)練中監(jiān)督了IoU損失值，其下降過程如圖5所示。

2.4.2MSE損失

對于OpenCV檢測方法，通過計算兩個引腳輪廓中心的距離，得到預(yù)測的引腳距離；對于ResNet18檢測方法，通過網(wǎng)絡(luò)直接得出一個數(shù)值，表示預(yù)測的量的引腳距離；對于YOLOv8n檢測方法，通過檢測兩個引腳邊界框，計算兩個邊界框的距離，得到了預(yù)測的引腳距離。以上三個預(yù)測的引腳距離需要和實際引腳距離作比較，本文采用均方誤差（MSE）來衡量預(yù)測值與標注值的誤差。具體公式為：

其中： n 為樣本個數(shù)， y_i 為真實值， 為預(yù)測值。MSE值越大，表示預(yù)測的距離和標注的距離差距越大，MSE值越小，則表示預(yù)測的距離和標注的距離差距越小。對于ResNet18檢測方法，模型訓(xùn)練過程中監(jiān)督了MSE值，其下降過程如圖6所示。

2.5結(jié)果對比

通過三種方法，計算出最終的MSE值以及檢測時間。如表3所示。

通過表3可以看出，ResNet18檢測方法以及YOLOv8n檢測方法的MSE值均比OpenCV檢測方法要低，且ResNet18檢測方法的MSE損失值最低。對于真實數(shù)據(jù)的MSE損失，由于真實環(huán)境采集的數(shù)據(jù)中，引腳間距比較集中，檢測方法表現(xiàn)效果更好，MSE損失值更低。對于檢測時間而言，OpenCV檢測方法由于算法簡單，計算速度較快，達到每秒2396次；ResNet18檢測方法雖然網(wǎng)絡(luò)相對較復(fù)雜，但是由于深度學(xué)習(xí)模型可以并行計算，最終檢測時間最快，達到每秒3665次；YOLOv8n檢測方法雖然也可以并行計算，但是由于網(wǎng)絡(luò)比較復(fù)雜，綜合計算速度較差，只有每秒1486次。綜合對比，ResNet18檢測方法效果最優(yōu)，不僅精度高而且速度快，YOLOv8n檢測方法速度相對較低，但是精度大幅度提升。

3結(jié)論

在工業(yè)視覺質(zhì)量檢測領(lǐng)域中，傳統(tǒng)的基于OpenCV的方法需要反復(fù)調(diào)整參數(shù)，過程耗時且精度低。此外，由于生產(chǎn)線上的圖像采集環(huán)境相對固定，導(dǎo)致訓(xùn)練數(shù)據(jù)集同質(zhì)性較強，容易引起模型過擬合。本文基于ResNet18網(wǎng)絡(luò)的方案，以及YO-LOv8n目標檢測模型計算引腳之間的距離，另外設(shè)計了一種模擬生成引腳測距的方法，增加了訓(xùn)練數(shù)據(jù)的多樣性，從而增強了模型的泛化能力和魯棒性。實驗表明，深度學(xué)習(xí)方法精度有明顯提升，而且ResNet18檢測方法速度有大幅度提升。

參考文獻：

[1]ZHENG S，ZHANGW，WANGL，etal.Special shaped softgel inspectionsystembasedonmachine vision[C].2015IEEE9th International Conference on Anti-counterfeiting，Security，and Identification(ASID).IEEE，2015:124-127.

[2]HEP，SUNX，ZHOUG.Defect detectionofenergizedgrid basedonMachineVision[C].2020IEEE 5thInternational Conference on Signal and Image Processing(ICSIP).IEEE，2020:376-380.

[3]FANW，LUC，TSUJINO K.Anautomatic machine vision method forthe flawdetectiononcar's body[C].2015 IEE 7th International Conference on Awareness Science and Technology(iCAST).IEEE，2O15:13-18.

[4]JOSHIKD，SURGENORBW.Smallpartsclassficationwithflexible machinevisionandahybridclassfierC].0185th International Conference on Mechatronics and Machine Vision in Practice(M2VIP). IEEE，2018:1-6.

[5]FRIESD，PHILLIPSJ，MCINNISM，etal.RapidMulti-SensorFusionandIntegrationUsingAI-enabledMachineVisionfor Real-TimeOperatorPhysiological Status[C].2021IEEEResearchandAplications ofPhotonicsinDefenseConference(RAPID). IEEE，2021:1-2.

[6]LUOY，WEIW，WANGX.Research forhole-peg assemblybasedonmachinevisionandflexiblemechanism[C].2010 International Conference on Mechanic Automation and Control Engineering. IEEE，2010:5326-5330.

[7]SREENIVASAN K K，SRINATHM，KHOTANZADA.Automated Vision System for Inspectionof ICPadsandBonds[J].IEEE Transactions on Components，Hybrids，and Manufacturing Technology，1993，16(3):333-338.

[8]HAWARIY，SALAMIMJE，ABURAS AA.Fuzzy Based Technique forMicrochip Lead Inspection Using Machine Vision[C]. 2008 International Conference on Computer and Communication Engineering.IEEE，2008:1222-1226.

[9]DEMIRD，BIRECIKS，KURUGOLLUF，etal.Quality Inspection iPCsandSMDs Using Computer VisionTechiques[C]. Proceedings of IECON'94-20th Annual Conference of IEEE Industrial Electronics.IEEE，1994，2:857-861.

[10]HUANGY，PANQ，LIUQ，etal.Applicationof Improved CannyAlgorithmonthe IcChipPinInspection[C].Advanced MaterialsResearch，2011，317:854-858.

[11]劉建群，曠輝，丁少華.基于視覺的表面貼裝芯片引腳檢測系統(tǒng)的研究[J].中國機械工程，2007(16):1908-1912.

[12]何新鵬.基于神經(jīng)網(wǎng)絡(luò)的芯片引腳檢測系統(tǒng)的研究[D].廣東：廣東工業(yè)大學(xué)，2011.

[13]姚興田，劉建峰，邱自學(xué)，等.集成電路芯片引腳外觀自動檢測系統(tǒng)的研究[J].機械設(shè)計與制造，2010(11):205-206.

（責任編輯：麻小珍）