基于3D視覺的車載雷達(dá)PCB焊點(diǎn)缺陷檢測系統(tǒng)研究

高瑞琪 唐妙奇 蘭鋒

摘要：本研究采用將焊點(diǎn)三維特征提取與人工神經(jīng)網(wǎng)絡(luò)模型兩種檢測方法相結(jié)合的方式進(jìn)行車載雷達(dá)焊點(diǎn)缺陷檢測，克服了基于三維特征提取檢測方法準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測方法對樣本質(zhì)量和數(shù)量要求高的缺點(diǎn)，具有在樣本數(shù)量較少的情況下達(dá)到較高的檢測準(zhǔn)確率以及隨著樣本數(shù)量的積累增加檢測準(zhǔn)確率不斷提升的優(yōu)點(diǎn)。

Abstract： In this study， the solder joints defect detection of vehicle radar is carried out by combining the three-dimensional feature extraction and artificial neural network model. It overcomes the shortcomings of low accuracy of detection method based on three-dimensional feature extraction and high requirements for sample quality and quantity based on artificial neural network. It has the advantages of achieving high detection accuracy when the number of samples is small and increasing with the accumulation of the number of samples.

關(guān)鍵詞：3D激光掃描;特征提取;PointNet;缺陷檢測

Key words： 3D laser scan;feature extraction;PointNet;defect detection

中圖分類號：TP2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-957X（2022）03-0136-03

0 ?引言

目前，常見的產(chǎn)品三維外觀缺陷檢測方法有三維特征提取、人工神經(jīng)網(wǎng)絡(luò)檢測法兩種。產(chǎn)品三維特征提取方法基于對點(diǎn)云原始數(shù)據(jù)的分析與特征提取[1]，對點(diǎn)云的完整性要求較高，但對于表面形狀復(fù)雜的產(chǎn)品，獲取的點(diǎn)云往往缺失較多，數(shù)據(jù)分布不均，影響三維特征的計(jì)算，無法得到準(zhǔn)確的結(jié)果。因此，基于三維特征提取的三維缺陷檢測，對于復(fù)雜表面準(zhǔn)確率較低，針對焊點(diǎn)，準(zhǔn)確率只有約為74%?；谌斯ど窠?jīng)網(wǎng)絡(luò)的三維缺陷檢測是建立在先驗(yàn)知識的基礎(chǔ)上，對點(diǎn)云樣本的質(zhì)量和數(shù)量要求較高，點(diǎn)云越完整、數(shù)量越多、涵蓋的缺陷類型越完整，檢測結(jié)果準(zhǔn)確率越高[2]。但在工業(yè)應(yīng)用過程中，前期的樣本量往往很少，達(dá)不到網(wǎng)絡(luò)模型的訓(xùn)練要求，積累樣本需要一定時間，導(dǎo)致檢測模型無法立即投入使用，為人工神經(jīng)網(wǎng)絡(luò)在工業(yè)檢測領(lǐng)域的應(yīng)用造成很大的障礙。針對上述問題，本研究提出將三維特征提取與人工神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的方式解決車載雷達(dá)PCB焊點(diǎn)三維缺陷檢測，克服基于三維特征提取檢測方法準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測方法對樣本質(zhì)量和數(shù)量要求高的缺點(diǎn)，具有在樣本數(shù)量較少的情況下檢測準(zhǔn)確率較高以及隨著樣本數(shù)量的積累增加檢測準(zhǔn)確率不斷提升的優(yōu)點(diǎn)。

1 ?三維視覺與點(diǎn)云

三維視覺是跨領(lǐng)域的學(xué)科，既與計(jì)算機(jī)視覺相關(guān)，亦與計(jì)算機(jī)圖形學(xué)相關(guān)[3]，依據(jù)使用光照條件可以分為主動和被動兩類，根據(jù)原理不同分為結(jié)構(gòu)光視覺、線激光掃描三維視覺、雙目/多目立體視覺等[4]。本研究的檢測對象是車載雷達(dá)PCB板焊點(diǎn)，對掃描的精度和穩(wěn)定性要求較高，對外界光照變化不敏感。綜合分析各種3D掃描方式的特點(diǎn)[5]，本研究采用線激光掃描傳感器采集PCB焊點(diǎn)點(diǎn)云數(shù)據(jù)。

線激光三維視覺的原理是三維光學(xué)測量[6]，如圖1所示，攝像機(jī)與激光平面成一定的角度安裝。線激光發(fā)生器在物體表面透射一條線激光，線激光平面與物體表面相切，在物體表面形成一條光條。攝像機(jī)從另外一個角度拍攝結(jié)構(gòu)光條紋圖像。

假設(shè)線激光平面在世界坐標(biāo)系下的方程為：

上式中，（xc，yc，zc）和（x1，y1，z1）分別為Oc與P′在世界坐標(biāo)系下的坐標(biāo)。聯(lián)合式（1）、式（2），計(jì)算出直線OcP′與平面的交點(diǎn)，即為點(diǎn)P的坐標(biāo)。

相機(jī)與激光發(fā)生器的相對位姿保持不變，線激光與物體之間相對運(yùn)動，實(shí)現(xiàn)待測表面輪廓的三維掃描[7]。獲取的車載雷達(dá)3D原始點(diǎn)云見圖2。

2 ?焊點(diǎn)檢測系統(tǒng)硬件平臺

車載雷達(dá)PCB焊點(diǎn)缺陷檢測系統(tǒng)主要由以下幾部分組成：SmartRay ECCO_95線激光掃描儀，HIWIN直線滑臺模組與三菱MR-JE直線伺服電機(jī)，三菱PLC及其顯示器，服務(wù)器一臺。系統(tǒng)通過PLC進(jìn)行集成，實(shí)現(xiàn)掃描動作控制。檢測系統(tǒng)硬件平臺如圖3所示。

2.1 HIWIN直線滑臺模組與三菱MR-JE直線伺服電機(jī)

HIWIN直線滑臺模組負(fù)載線激光掃描儀，通過立柱支架保持激光掃描儀與被測產(chǎn)品保持最佳距離。工作時，通過直線伺服電機(jī)控制滑臺模組沿直線運(yùn)動，并通過實(shí)時向掃描儀傳送ABZ相位差信號來確定傳感器的運(yùn)動速度和距離。

2.2 ECCO_95線激光掃描儀

SmartRay視明銳公司的ECCO_95線激光掃描儀對車載雷達(dá)PCB板進(jìn)行圖像采集，通過激光線變形得到PCB板每個切面的高度信息，每個切面的高度信息值組成了整個PCB板的表面三維信息集，即點(diǎn)云。無論外界光照條件如何變化，掃描儀都可以對點(diǎn)云進(jìn)行精確掃描，從而保證檢測系統(tǒng)采樣的穩(wěn)定性。

2.3 三菱PLC MJ-JE-108

三菱PLC負(fù)責(zé)向直線滑臺模組和傳感器傳遞到位信號，接收圖像采集完成信號并將信號反饋給服務(wù)器，服務(wù)器接收并完成點(diǎn)云的存儲。

3 ?焊點(diǎn)檢測軟件模塊構(gòu)成

3.1 背靠背焊點(diǎn)3D點(diǎn)云采集與配準(zhǔn)

線激光掃描采用三角測量原理進(jìn)行待測物表面點(diǎn)云采集，由于光具有沿直線傳播的特點(diǎn)，焊點(diǎn)表面坡度變化大，在背對相機(jī)的一側(cè)數(shù)據(jù)缺失嚴(yán)重，見表1，點(diǎn)云1為傳感器1采集的焊點(diǎn)點(diǎn)云，可以看出焊點(diǎn)一側(cè)數(shù)據(jù)缺失嚴(yán)重，會對影響三維信息的準(zhǔn)確提取，降低檢測結(jié)果的準(zhǔn)確性。為了解決該問題，本研究采用傳感器1和傳感器2背靠背的方式從兩個相反的方向分別掃描采集（見圖4），獲得的點(diǎn)云1和點(diǎn)云2，其缺失數(shù)據(jù)互補(bǔ)。將點(diǎn)云1和點(diǎn)云2進(jìn)行配準(zhǔn)融合，可以很大程度的提高點(diǎn)云的完整性，保證檢測結(jié)果的準(zhǔn)確和可靠。

點(diǎn)云數(shù)據(jù)的配準(zhǔn)，即為將通過不同角度掃描獲取的點(diǎn)云數(shù)據(jù)對齊的過程，關(guān)鍵是找到點(diǎn)云數(shù)據(jù)之間的位姿關(guān)系[R，t]矩陣[8]。根據(jù)圖3硬件系統(tǒng)平臺，檢測工位的機(jī)械結(jié)構(gòu)定位精度為0.1mm，可以計(jì)算出點(diǎn)云1和點(diǎn)云2的初始配準(zhǔn)關(guān)系。然后采用PCL庫中最近點(diǎn)迭代算法（ICP，Iteractive Closest Point）[9]實(shí)現(xiàn)點(diǎn)云1與點(diǎn)云2的精確配準(zhǔn)融合，最終一組PCB點(diǎn)云。初始點(diǎn)云中單個樣本點(diǎn)數(shù)約為3000K（3M），其中有效焊點(diǎn)點(diǎn)云點(diǎn)數(shù)約為3K，占比約為0.1%，將全部點(diǎn)云進(jìn)行檢測運(yùn)算力浪費(fèi)很大，因此，根據(jù)焊點(diǎn)的坐標(biāo)值，分割剪裁至出五個統(tǒng)一大小（N×3）焊點(diǎn)的點(diǎn)云，其中N表示點(diǎn)的數(shù)量，3表示一個點(diǎn)的坐標(biāo)維度（x，y，z），為后續(xù)缺陷檢測分析做準(zhǔn)備。

3.2 焊點(diǎn)三維特征提取與檢測

根據(jù)焊點(diǎn)的點(diǎn)云數(shù)據(jù)，對每個焊點(diǎn)的三維幾何特征信息進(jìn)行計(jì)算，與標(biāo)準(zhǔn)值進(jìn)行對比，超過設(shè)定的閾值范圍，即判定為不合格（方法一）。每個焊點(diǎn)的點(diǎn)云信息包含其三維坐標(biāo)X、Y、Z，搜索其最高點(diǎn)Z軸坐標(biāo)Zmax，其與底平面的高度差，Zmax-即為焊點(diǎn)高度hx;按照焊點(diǎn)標(biāo)準(zhǔn)高度h0值平均取5個橫截面的離散點(diǎn)集，見圖5，采用最小二乘法進(jìn)行橢圓擬合，計(jì)算最佳擬合橢圓面積S1x、S2x、S3x、S4x、S5x。將待測焊點(diǎn)的特征值與標(biāo)準(zhǔn)焊點(diǎn)做對比，見表2，差值超過設(shè)定的閾值，即判定焊點(diǎn)質(zhì)量異常，產(chǎn)品不合格。

3.3 基于人工神經(jīng)網(wǎng)絡(luò)的缺陷檢測

本研究用PointNet網(wǎng)絡(luò)用于焊點(diǎn)質(zhì)量檢測。鑒于焊點(diǎn)點(diǎn)云特點(diǎn)[10]， PointNet使用對稱函數(shù)解決無序性和稀疏性問題[12]。PointNet分別在每個點(diǎn)上訓(xùn)練了一個在點(diǎn)之間分享權(quán)重的MLP，每個點(diǎn)被“投影”到一個1024維空間，這為每個點(diǎn)云提供了一個1×1024的全局特征，輸入非線性分類器進(jìn)行分類，經(jīng)過一個MLP得到k個score。首先積累樣本數(shù)據(jù)對PointNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后，將待檢測焊點(diǎn)點(diǎn)云輸入網(wǎng)絡(luò)進(jìn)行檢測，輸出檢測結(jié)果。

3.4 基于動態(tài)加權(quán)值的檢測結(jié)果融合

綜上所述，根據(jù)兩種不同的檢測方法得到兩個檢測結(jié)果。通過焊點(diǎn)三維特征提取與標(biāo)準(zhǔn)數(shù)值對比分析獲得的檢測準(zhǔn)確率約為74%;基于人工神經(jīng)網(wǎng)絡(luò)的智能檢測算法初期訓(xùn)練樣本較少，對于大量未知的缺陷并不兼容，檢測準(zhǔn)確率偏低，隨著產(chǎn)線的運(yùn)行時間的增加，樣本逐漸積累，可以利用新的樣本集進(jìn)行多次增量訓(xùn)練，不斷的迭代算法模型使其具備更全面的檢測性能，因此，檢測準(zhǔn)確率會隨著運(yùn)行時間的增加不斷的提升。針對這種情況，本研究提出了基于動態(tài)加權(quán)值的檢測結(jié)果融合算法，將兩個結(jié)果融合，提升檢測結(jié)果的準(zhǔn)確度。（圖6、圖7）

兩種檢測方法的檢測準(zhǔn)確率分別為a、b。針對待測焊點(diǎn)，方法一檢測合格率為p1，不合格率為bp1;方法二檢測合格率為p2，不合格率為bp2。融合步驟如下：①將a、b標(biāo)準(zhǔn)化處理，aa=，bb=，aa和bb分別為兩種檢測結(jié)果的加權(quán)值;②待測焊點(diǎn)的最終合格率p=aa*p1+bb*p2，不合格率bp=aa*bp1+bb*bp2;③判定：如果p>bp，焊點(diǎn)質(zhì)量合格;如果p≤bp，焊點(diǎn)質(zhì)量不合格。

4 ?結(jié)語

本研究采用將三維特征提取與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式解決車載雷達(dá)PCB焊點(diǎn)外觀的檢測問題，解決了針對表面形狀復(fù)雜的產(chǎn)品基于三維特征提取的檢測準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測對樣本數(shù)量和質(zhì)量要求高的缺點(diǎn)，將基于三維特征提取方法要求樣本數(shù)量少、人工神經(jīng)網(wǎng)絡(luò)檢測方法檢測準(zhǔn)確率隨著運(yùn)行時間的增加、樣本的積累逐漸提升的優(yōu)點(diǎn)結(jié)合，使得整套設(shè)備在整個運(yùn)行過程中都保持一個較高的檢測準(zhǔn)確率，直至完全實(shí)現(xiàn)自動檢測。

參考文獻(xiàn)：

[1]安毅.三維點(diǎn)云數(shù)據(jù)的幾何特性估算與特征識別[D].大連理工大學(xué)，2012.

[2]羅子湛，何祖威.基于系統(tǒng)辨識的中儲式制粉系統(tǒng)的運(yùn)行優(yōu)化[J].重慶大學(xué)學(xué)報：自然科學(xué)版，2005，28（1）：5.

[3]龍霄瀟，程新景，等.三維視覺前沿進(jìn)展[J].中國圖象圖形學(xué)報，2021，26（06）：1389-1428.

[4]吳慶華.基于線結(jié)構(gòu)光掃描的三維表面缺陷在線檢測的理論與應(yīng)用研究[D].華中科技大學(xué)，2013.

[5]張宗華，劉巍，等.三維視覺測量技術(shù)及應(yīng)用進(jìn)展[J].中國圖象圖形學(xué)報，2021，26（06）：1483-1502.

[6]鄭德華，沈云中，劉春.三維激光掃描儀及其測量誤差影響因素分析[J].測繪工程，2005（02）：32-34，56.

[7]李根，謝勁松，霍慶立，等.三維激光掃描系統(tǒng)測量方法與前景展望[J].機(jī)械工程師，2015（9）：3.

[8]王健，陳政，張華良.三維點(diǎn)云數(shù)據(jù)的預(yù)處理研究[J].科學(xué)技術(shù)創(chuàng)新，2021（22）：115-118.

[9]張晶，葉含笑，楊麟.基于誤差閾值控制的ICP點(diǎn)云配準(zhǔn)算法研究[J].藝術(shù)與設(shè)計(jì)（理論），2021，2（08）：90-91.

[10]趙樹寧.基于機(jī)器視覺在線焊錫質(zhì)量檢測系統(tǒng)開發(fā)[D].廣東工業(yè)大學(xué)，2020.

[11]楊曉文.基于KNN-PointNet的點(diǎn)云語義分割[J/OL].激光與光電子學(xué)進(jìn)展：1-16[2021-11-19].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210802.1730.064.html.

[12]趙中陽，程英蕾，釋小松，秦先祥，李鑫.基于多尺度特征和PointNet的LiDAR點(diǎn)云地物分類方法[J].激光與光電子學(xué)進(jìn)展，2019，56（05）：251-258.