視覺技術在汽車焊點檢測領域的應用

蘭月 胡浩 馮建俊 王銳 張勁松 譚杰

（重慶長安汽車股份有限公司，重慶 400000）

1 前言

近年來，隨著科技技術的不斷迅猛發(fā)展，汽車市場的競爭越發(fā)激烈，各大汽車主機廠紛紛推出新車型以滿足各類用戶需求。而在汽車車身制造過程中，汽車焊點的質(zhì)量一直是關注的重點，其質(zhì)量控制會影響焊接幾何尺寸精度、車身異響、剛性等指標，同時其檢測方式一直采用人工抽檢，存在一定的局限性。視覺技術雖已廣泛應用于工業(yè)生產(chǎn)制造過程中的質(zhì)量檢測，但由于汽車本身結(jié)構的復雜性，對視覺系統(tǒng)光路設計、系統(tǒng)標定、算法開發(fā)等要求較高，應用程度遠沒有3C、紡織等其他行業(yè)豐富?；诖?，將視覺技術引入汽車焊點質(zhì)量的檢測，利用圖像識別技術及深度學習模型解決行業(yè)難題[1]。

2 焊點視覺檢測開發(fā)流程

以某一車型的機艙總成關重焊點的檢測為例，主要檢測內(nèi)容為焊點有無漏焊、焊點偏移量是否超差、焊點面積（含熱成像區(qū)）以及焊點缺陷類別，以檢測需求為導向，根據(jù)工位實際情況進行工裝設計，根據(jù)檢測需求進行算法開發(fā)，并在實驗室完成軟件及硬件集成后再部署于現(xiàn)場（圖1）。

圖1 開發(fā)流程

3 場景分析及方案設計

機艙總成的尺寸約為1 300 mm×800 mm，井深約為50 mm，需檢測的關重焊點共計94 個，且無規(guī)律的分布在不同位置，因此決定將機艙總成分為8個檢測區(qū)域（圖2）。又因檢測精度要求為0.1 mm，由工作距離、井深、視場范圍等參數(shù)，經(jīng)計算后確定選擇8 個1 200 萬黑白相機，焦距75，光圈6。同時現(xiàn)場環(huán)境光源及零件型面的復雜性，使得零件表面的采光不均勻，故還需在左右兩邊各加一個LED 頻閃光源。并根據(jù)工位現(xiàn)場情況，對相機工裝支架進行設計，采用類似于門式的結(jié)構，左右各布置4 個相機（圖3）。

圖2 拍照區(qū)域

圖3 工裝設計

4 算法程序開發(fā)

4.1 缺焊檢測

正缺焊檢測可采用視覺領域中的圖像識別技術，對圖像進行對象識別，以識別各種不同模式的目標和對象的技術。其過程歸納起來主要包括4個步驟：獲取信息→信息預處理→抽取及選擇特征→設計分類器及分類決策[2]。其中抽取及選擇特征為4 個步驟中最為重要的一步。本項目采用特征匹配的方式進行缺焊的檢測，其原理可概述為將一副已知的小圖像作為特征模板，然后在一副大圖上尋找相應的目標（圖4）。

圖4 特征匹配原理

由于相機的位置及采集參數(shù)固定不變，零件每次到位的位置變化也在0.5 mm 以內(nèi)，故影響圖像變化的主要因素為成像環(huán)境及焊點自身的變化，而又因在成像環(huán)境中加入了頻閃光源及環(huán)境光的變化小，故成像環(huán)境對成像效果的影響可忽略，主要考慮焊點自身的變化。檢測焊點對與模板的變化常有平移、旋轉(zhuǎn)（角度）、尺度、仿射等，選取某一焊點質(zhì)量較好的機艙總成零件，以每一關重焊點自身作為模板，采用特征匹配分方式對其進行有無檢測。根據(jù)焊點工藝判定標準，經(jīng)過計算轉(zhuǎn)換，匹配參數(shù)中角度范圍設置為-180°～180°，尺度范圍0.8～1.2，最小匹配分數(shù)0.5，最終完成焊點有無的檢測。

4.2 焊點偏移檢測

同理以焊點質(zhì)量較好的機艙總成零件作為模板，以此零件的焊點位置信息為基準點，其余零件的同一焊點位置與此基準點的3D 距離偏差大于5 mm，則視為焊點偏移超差（圖5）。因圖像為二維像素點，故需進行標定轉(zhuǎn)換，針對每一個被測焊點通過標定板標定生產(chǎn)特有的標定文件，導入標定文件轉(zhuǎn)換后即可得到各焊點世界坐標系的位置，并由此判斷是否超差。

圖5 焊點偏移檢測

標定板標定采用的是棋盤格標定，在已知棋盤格灰度圖及其規(guī)格尺寸參數(shù)后，通過坐標轉(zhuǎn)換公式計算出圖像坐標系與棋盤格物理坐標系之間的映射矩陣、標定誤差、標定狀態(tài)等，其具體轉(zhuǎn)換邏輯這里不做贅述，感興趣的可查閱相關資料[3]。

4.3 焊點缺陷檢測

目前，缺陷檢測算法絕大多數(shù)均是基于深度學習理論實現(xiàn)，伴隨著與日俱增的數(shù)據(jù)量、模型規(guī)模以及精度復雜度對視覺的沖擊，深度學習對人工智能領域產(chǎn)生了巨大的影響，尤其是在CV 領域的應用。因此，本次焊點缺陷分類通過深度學習方式實現(xiàn)。焊接過程產(chǎn)生的主要焊點缺陷特征包括飛濺、毛刺、邊焊、扭曲、重焊，本次主要針對上述5 種焊點缺陷進行識別。主要實現(xiàn)路徑如下：

焊點缺陷數(shù)據(jù)集構建，通過圖像Blob 以及拷貝填充摳出圖像中焊點，使用焊點來構建缺陷數(shù)據(jù)集，主要分為訓練集和驗證集。訓練集通過數(shù)據(jù)增強方式（平移、翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、CutMix、Cutout 等）增大樣本的多樣性，以提高模型的魯棒性、泛化性。模型訓練前還需要將數(shù)據(jù)進行預處理，通過歸一化或標準化等方式使數(shù)據(jù)分布統(tǒng)一，便于模型訓練。

網(wǎng)絡模型構建策略，圖像特征的提取主要通過卷積網(wǎng)絡實現(xiàn)，網(wǎng)絡深度會直接影響到模型的識別能力。目前，深度學習的進展取決于初始權值選擇，局部感受野，權值共享等，當使用更深層的網(wǎng)絡時（例如＞100），會出現(xiàn)反向傳播時梯度消失的現(xiàn)象且層數(shù)越多，訓練錯誤率與測試錯誤率反而會升高。因此本次采用Resnets 網(wǎng)絡，如圖6所示通過在一個淺層網(wǎng)絡基礎上加上恒等映射x，反向傳播得到的權重效果較差時，F(xiàn)(x)=0，由于存在恒等映射，H(x)=x,網(wǎng)絡也不會退化，通過這樣的網(wǎng)絡結(jié)構，網(wǎng)絡深度就可以增大[4]。

圖6 殘差網(wǎng)絡模型

本次模型訓練焊點缺陷構建數(shù)據(jù)集14 461 張，訓練樣本12 448張，驗證樣本2 013張，通過遷移學習方式，加載Resnet 在Imagenet 的預訓練模型為我們的初始權值，將網(wǎng)絡的全連層輸出類別更改為6（飛濺、毛刺、邊焊、扭曲、重焊、無缺陷），便可以進行6分類模型訓練。通過訓練生成的訓練模型對驗證樣本進行驗證，其中正確檢出1 931張，正確率達95.9%，同時不存在漏檢情況，滿足檢測需求[5-6]。

為了提升模型的檢測精度，提高檢測的準確率，基于現(xiàn)場采集圖像本次增加了數(shù)據(jù)集樣本，其中訓練集新增數(shù)據(jù)14 000 張，無缺陷樣本4 000張，缺陷樣本每種2 000 張，驗證集新增樣本4 000張，樣本占比與訓練集一致，測試樣本為6 000?；跀?shù)據(jù)量較大，本次訓練在搭載GV100 的服務器中完成，訓練超參數(shù)為：epoch 為1000，Batch-Size 為 64，Learning-rate 為 0.001，Shuffle=True。訓練完成后用新的模型檢測測試集，正確檢測圖像4 935 張，準確率為98.7%，無缺陷樣本無錯檢[7-8]。

針對后期模型準確率提升，制定如下路徑。

a.持續(xù)補充數(shù)據(jù)集，擴增樣本數(shù)量；

b.增大數(shù)據(jù)集的差異性和隨機性，同時采用多種數(shù)據(jù)增強方法提升數(shù)據(jù)泛化能力（噪聲增加、仿射變換、亮度、對比度、飽和度變換等）；

c.調(diào)整網(wǎng)絡結(jié)構，增加網(wǎng)絡深度；

d.訓練過程，超參數(shù)優(yōu)化（batch-size、learningrate、Adam/SGD、激活函數(shù)）。

5 UI 界面設計

為將檢測結(jié)果可視化，基于C#完成UI 界面的開發(fā)，其效果如圖7 所示，該顯示界面主要包括“圖像顯示”、“系統(tǒng)參數(shù)”、“算法平臺”、“檢測參數(shù)”、“用戶管理”等。

圖7 UI運行界面

“圖像顯示”主要為主界面顯示，其中涵蓋8 個檢測區(qū)域的檢測內(nèi)容，各區(qū)域檢測結(jié)果均在其右下角顯示，同時其判定結(jié)果也在其右下角顯示為OK 或者NG。當8 個區(qū)域都OK 時，其總的結(jié)果才為OK。主界面還包含當前車型的信息及VIN 碼，并統(tǒng)計當前檢測總數(shù)及NG 總數(shù)，對NG 信息及圖像存儲在后臺，方便用戶隨時查找。

“系統(tǒng)參數(shù)”主要為設置檢測方案的提取路徑以及NG 信息的保存路徑?！八惴ㄆ脚_”則為檢測算法的邏輯及代碼展示?！皺z測參數(shù)”界面可以對一些限定條件進行設置?！坝脩艄芾怼眲t分為操作工、工程師及超級管理員三種權限，用戶可根據(jù)不同密碼進入不同系統(tǒng)從而獲取不同的權限。

6 集成部署

目前，焊裝車間機艙總成工位焊點檢測工作由人眼檢測完成，基于焊點視覺系統(tǒng)的檢測功能，可在該工位部署視覺系統(tǒng)。由于工位場地及圍欄、光柵、電葫蘆等相關設備設施限制，視覺系統(tǒng)實際工作距離約為2.0 m，相機、光源需兩側(cè)分布與前期設計一致，相機位置角度微調(diào)即可滿足采集要求。生產(chǎn)過程中，線體機器人將待檢工件放置轉(zhuǎn)臺后，由PLC 控制轉(zhuǎn)臺轉(zhuǎn)動將工件置于檢測區(qū)域，該工位節(jié)拍時間約為40 s，系統(tǒng)通信、圖像采集、圖像處理及結(jié)果顯示時間充裕。

根據(jù)前期已設計的工裝支架進行加工，并于實驗室完成安裝，同時將8 個相機及2 個光源部署完成，并采集圖片后對程序進行DEBUG 操作，完成實驗室的調(diào)試。

完成調(diào)試后，移植于生產(chǎn)線工位上。為保證圖像的質(zhì)量，針對現(xiàn)場環(huán)境進行相機的位姿及參數(shù)的調(diào)整，其中曝光時間設置為12 000μs，打開Gamma 使能。然后建立與PLC 的通訊連接，其中PLC 作為TCP 客戶端，進行信號的發(fā)送，信號內(nèi)容包括觸發(fā)信號0/1，車型代碼及零件VIN 碼，當零件轉(zhuǎn)臺到位后，停頓2s，以防零件震動帶來的影響。檢測程序最為TCP 服務端接收信號，對其進行編譯，其中0 為不觸發(fā)，1 為觸發(fā)拍照及檢測程序運行。

7 結(jié)束語

將視覺技術引入到汽車焊點質(zhì)量檢測領域中，利用圖像識別技術進行焊點缺焊的檢測，同時焊點缺陷進行深度學習從而完成焊點缺陷檢測及分類。從需求定義、方案設計、相機選型、光路設計，再到算法開發(fā)、現(xiàn)場部署等均自主開發(fā)完成，從而實現(xiàn)了對汽車焊點的智能化檢測，大大地減少了人力，降低了生產(chǎn)成本，提高了檢測質(zhì)量及生產(chǎn)效率，這無疑將視覺技術應用在汽車生產(chǎn)制造過程中的發(fā)展注入了一針強心劑[9]。