基于改進U-Net的白車身焊點定位研究

謝 寧，陳 梁，裴自卿，何智成*，陳 濤，3

（1.上汽通用五菱汽車股份有限公司，廣西 柳州 545007；2.湖南大學 汽車車身先進設(shè)計制造國家重點實驗室，湖南 長沙 410082；3.湖南湖大艾盛汽車技術(shù)開發(fā)有限公司，湖南 長沙 410217）

0 引言

隨著汽車產(chǎn)業(yè)的發(fā)展，汽車產(chǎn)量逐年增加，人們對汽車的創(chuàng)新及安全性要求也隨之提高。汽車白車身作為全車最大的零件，承載著其他所有零件，在某種程度上決定了汽車的安全性能。在生產(chǎn)過程中，焊接是白車身運用最多的連接工藝，一個白車身的點焊個數(shù)能達到4 000～5 000個，所以焊點的質(zhì)量檢測就顯得尤為重要。通過計算機視覺對焊點進行定位，進而配合其他焊點質(zhì)量檢測裝備的方式與傳統(tǒng)人工檢測和離線示教的方法相比可以大大提升檢測效率，實現(xiàn)實時定位誤差補償。王樹強等［1］利用傳統(tǒng)圖像處理提取目標特征的方法易受到光線、污漬等各種環(huán)境因素的影響，從而出現(xiàn)誤檢和漏檢的情況，造成焊點定位精度和效率低下。何智成等［2］通過目標檢測的方式對焊點定位，但難以進一步定位到焊點圓心位置。圖像分割是計算機視覺的基礎(chǔ)，是理解圖像信息的重要方式，能大大降低環(huán)境因素的影響，可以以像素級的精度將焊點從圖像中分離出來［3］。

2015年，Long J等［4］提出了一種語義分割的框架，即Fully Convolutional Networks（FCN），使用全卷積與反卷積操作，可以接受任意大小的圖像并輸出相同大小的預(yù)測結(jié)果，產(chǎn)生像素級的分類效果；受ResNet 殘差網(wǎng)絡(luò)的啟發(fā)，Xiao X 等［5］提出了Res-U-Net，通過引入加權(quán)注意機制和跳過連接解決視網(wǎng)膜血管的分割問題；Chen L C等［6］將深度卷積神經(jīng)網(wǎng)絡(luò)與條件隨機場相結(jié)合，在測試集中達到了71.6%的IOU準確率，開創(chuàng)了PASCAL VOC-2012圖像分割任務(wù)的新水平。

U-Net 網(wǎng)絡(luò)［7］的提出構(gòu)建了一套完整的encoder（編碼器）-decoder（解碼器）結(jié)構(gòu)，不同于FCN 通過對應(yīng)像素值相加融合特征，UN-et 采用通道拼接的方式形成更厚的特征層，保留了更多維度，更利于圖像分割。Guan S 等［8］受密集連接的啟發(fā)，提出一種全密集U-Net 來去除圖像中的偽影；Huang H 等［9］利用全面的跳過連接和深度監(jiān)督，構(gòu)造出了U-Net 3+網(wǎng)絡(luò)，不僅將低級細節(jié)與不同尺度特征圖的高級語義相結(jié)合，而且從全尺寸聚合特征圖中學習分層表示，提高檢測精度和計算效率。Chen L C 等［10］提出了一種專門處理語義分割的DeepLab 系列網(wǎng)絡(luò)，去掉池化層減少信息丟失，引入空洞卷積，在有效擴大感受野的情況下不增加計算量。

深度學習的迅速發(fā)展使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜，訓(xùn)練所需時間越來越長。相比之下，UNet網(wǎng)絡(luò)結(jié)構(gòu)簡單，只需要較小的數(shù)據(jù)集就能達到比較好的分割效果［11］，汽車白車身的焊點定位類別單一、結(jié)構(gòu)單一，因此選用U-Net 網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)進行修改，并且通過實驗證明，提出的RPSA-U-Net網(wǎng)絡(luò)性能較原網(wǎng)絡(luò)有顯著提升。

1 基于U-Net的改進模型

U-Net 網(wǎng)絡(luò)是一種常見的圖像分割模型，簡單、高效、容易構(gòu)建，它提出的初衷是為了解決醫(yī)學圖像分割問題，其結(jié)構(gòu)如圖1 所示，通過對輸入圖片進行一系列卷積、池化、下采樣操作，獲得不同尺寸的特征圖，然后對最后一層的特征圖進行上采樣或反卷積，再與上一層特征圖進行拼接，最終輸出理想尺寸的預(yù)測結(jié)果。

圖1 U-Net模型結(jié)構(gòu)Fig.1 U-Net model structure

U-Net網(wǎng)絡(luò)相比于其他語義分割模型規(guī)模較小，但在復(fù)雜車間環(huán)境下對白車身焊點檢測的精度還有待提高。當增加網(wǎng)絡(luò)深度以增大感受野時又會導(dǎo)致細節(jié)的丟失，不利于焊點這類小目標的檢測。為此，從卷積結(jié)構(gòu)、損失函數(shù)對UNet網(wǎng)絡(luò)進行改進，并融合注意力機制建立通道關(guān)聯(lián)，得到最終的RPSAU-Net網(wǎng)絡(luò)模型來彌補U-Net的不足。

1.1 卷積結(jié)構(gòu)改進

標準卷積核的參數(shù)量和運算量都較大。對于輸入尺寸大小為w×h×c，輸出尺寸大小為w1×h1×c1的特征圖，擬定卷積核大小為k×k，分組卷積的運算過程如圖2 所示，若使用標準卷積核，則參數(shù)量為

圖2 分組卷積運算過程Fig.2 Grouping convolution procedure

計算量為

若使用分組卷積，將卷積核分為g組，則參數(shù)量為

計算量為

由式（1）～式（4）可知，使用分組卷積時的參數(shù)量和計算量只為使用標準卷積時的1/g，group設(shè)置越大，數(shù)值減小越多。分組卷積的應(yīng)用可以使網(wǎng)絡(luò)模型更輕量化，同時還能使模型以并行方式在多個GPU上進行訓(xùn)練，提高訓(xùn)練效率。

受He K 等［12］提出的殘差網(wǎng)絡(luò)的啟發(fā)，利用其shortcut 短接思想，通過跳過一些層來解決梯度消失的問題，并融合分組卷積，用3×3分組卷積改變特征維數(shù)，再用一個標準卷積克服分組卷積帶來的通道間信息不流動現(xiàn)象，同時進一步下采樣。在每一層的兩個3×3 卷積兩端用shortcut連接，并使用1×1分組卷積保證維度相同，同時減少運算量。通過使用BN（Batch Normalization）層來解決梯度消失或梯度爆炸的現(xiàn)象，采用Dropout 結(jié)構(gòu)避免網(wǎng)絡(luò)過擬合，提高模型泛化能力，用LeakyReLU 激活函數(shù)避免負半軸的信息丟失。最終形成新的卷積結(jié)構(gòu)如圖3 所示，在降低整體參數(shù)量的同時可以有效避免隨著深度增加網(wǎng)絡(luò)出現(xiàn)的過擬合現(xiàn)象。

圖3 改進卷積結(jié)構(gòu)示意圖Fig.3 Diagram of improved convolution structure

1.2 損失函數(shù)改進

在分類問題中常使用交叉熵損失函數(shù)，針對白車身焊點的定位檢測屬于二分類問題，即焊點和背景，若輸入圖像中某像素點為焊點的概率為P，則為背景的概率為1-P，交叉熵損失函數(shù)的表達式為

式中：xi為第i個像素點的label，正類為1，負類為0；yi為第i個像素點預(yù)測為正樣本的概率。

Dice 系數(shù)是圖像分割的重要評價指標，是一種集合相似度度量函數(shù)，通常被用來衡量網(wǎng)絡(luò)預(yù)測結(jié)果和label 之間的相似程度，大小在0～1 之間，其公式為

Dice損失函數(shù)公式為

式中：|X∩Y|為X與Y的交集，在數(shù)學上表示對應(yīng)的像素矩陣點乘后再將結(jié)果的各元素相加的總和；|X|和|Y|為對像素矩陣各元素直接求和或平方和。

交叉熵損失函數(shù)是一種常用的分類損失函數(shù)，它注重平等地對每個像素點分類，然后對所有像素損失取平均，但針對本數(shù)據(jù)集而言，焊點區(qū)域在圖片整體占比較小，因此訓(xùn)練出來的模型會更偏向于預(yù)測為背景類，影響預(yù)測結(jié)果的準確性。Dice Loss 是一種區(qū)域相關(guān)性較強的損失函數(shù)，將其引入可使網(wǎng)絡(luò)在訓(xùn)練中更加注重對前景的挖掘，能夠以更整體的方式看待預(yù)測結(jié)果，在焊點和背景像素點數(shù)量不平衡的情況下有著不錯的效果。因此，將Dice 損失函數(shù)和交叉熵損失函數(shù)結(jié)合，在關(guān)注焊點區(qū)域的同時克服了Dice Loss帶來的訓(xùn)練不穩(wěn)定的問題。令λ為交叉熵損失的權(quán)重系數(shù)，通過調(diào)節(jié)λ的大小改變網(wǎng)絡(luò)對這種損失函數(shù)的關(guān)注程度，進而設(shè)計了一個新的損失函數(shù)（DC Loss），其表達式為

對λ的取值采用消融實驗的方式進行比較，最終發(fā)現(xiàn)，當λ=0.7時，網(wǎng)絡(luò)的性能最好。

1.3 注意力機制融合

人類視覺的注意力機制是關(guān)注所有信息的某一部分，同時忽略其他信息，同理，計算機視覺的注意力機制關(guān)注圖片的局部區(qū)域，而忽略其他不重要的區(qū)域［13］。因此，通過引入注意力機制，可以使網(wǎng)絡(luò)在訓(xùn)練過程中更關(guān)注對焊點區(qū)域的學習。將Pyramid Squeeze Attention（PSA 模塊）［14］融入改進網(wǎng)絡(luò)，在U-Net 網(wǎng)絡(luò)執(zhí)行拼接操作之前將encoder 部分每一層的特征圖通過PSA 注意力機制，利用多尺度金字塔卷積結(jié)構(gòu)來整合輸入特征圖的信息，通過對張量通道維度的壓縮得到不同尺度特征圖的空間特征和注意力權(quán)重，進而進行拼接構(gòu)建跨維度交互，再通過softmax 對輸出進行加權(quán)，由此建立一個長期的通道依賴。通過融入PSA 注意力機制，改進后的網(wǎng)絡(luò)模型可以對不同尺度的特征圖提取有效信息，并對通道建立長期穩(wěn)定的依賴關(guān)系，其主要流程如圖4 所示。

圖4 PSA注意力機制工作流程Fig.4 PSA attention mechanism workflow

綜上所述，將PSA 注意力機制融入U-Net 神經(jīng)網(wǎng)絡(luò)，結(jié)合交叉熵損失函數(shù)和Dice 損失函數(shù)的優(yōu)缺點對網(wǎng)絡(luò)損失函數(shù)進行優(yōu)化，并改進卷積結(jié)構(gòu)，結(jié)合分組卷積和shortcut 跳躍思想，使整體網(wǎng)絡(luò)更加輕量化，更好地將深層和淺層信息融合，從而提高網(wǎng)絡(luò)性能。最終提出的RPSA-UNet網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 RPSA-U-Net模型結(jié)構(gòu)Fig.5 RPSA-U-Net model structure

2 實驗分析

2.1 數(shù)據(jù)集制作

所提焊點檢測網(wǎng)絡(luò)是基于U-Net 網(wǎng)絡(luò)改進的模型，和其他目標檢測或語義分割的網(wǎng)絡(luò)相比，只需要較小的訓(xùn)練樣本，因此，選用了400 張不同光線下不同位置的白車身焊點圖片作為訓(xùn)練圖像，包括過明、過暗、油污、生銹等各種車間內(nèi)常見的情況，并用labelme軟件對焊點位置進行像素級標注，再選260 張圖片作為驗證集，大小均為224×224。

2.2 評價指標

語義分割模型的評價指標通常有Pixel Accuracy（PA），Mean Intersection over Union（MIOU）以及Dice系數(shù)。

PA表示分類正確的像素數(shù)量占總像素數(shù)量的比重，操作簡單，但不適合評價焊點這種小目標的語義分割效果；MIOU是語義分割的標準度量，即為每一類的平均交并比，其計算公式為

式中：k+1 為總的類別數(shù)，對于二分類問題，k=1；pij為將i預(yù)測為j類，表示False Positive（FP）；pii為將i預(yù)測為i類，表示True Positive（TP）；pji為將j預(yù)測為i類，表示False Negative（FN）。

通過建立混淆矩陣得到準確的MIOU 值，同時采用1.2 節(jié)中提到的Dice 系數(shù)作為評價指標，綜合兩個系數(shù)評判網(wǎng)絡(luò)效果。

2.3 平臺搭建及實驗結(jié)果

所有的實驗均在pytorch 深度學習框架下進行，對400 張白車身焊點圖像進行訓(xùn)練，通過消融實驗來證明改進的合理性。根據(jù)前文中提到的改進思路劃分7 種工況分別訓(xùn)練，如表1 所示，訓(xùn)練輪數(shù)為300 個epoch，選用Adam 優(yōu)化器，batchsize 設(shè)為2，學習率為0.001，每10 步打印1 次訓(xùn)練損失，對每個epoch 的 Dice 系數(shù)和MIOU 值取平均數(shù)，訓(xùn)練結(jié)束后比較每種工況下的MIOU 和Dice 系數(shù)，并在驗證集上進行驗證，比較檢測結(jié)果。

表1 工況名稱及含義Tab.1 The name and meaning of working conditions

各訓(xùn)練模型最后1個epoch的MIOU，Dice系數(shù)以及參數(shù)量情況如表2 所示。

表2 各模型的訓(xùn)練結(jié)果對比Tab.2 Comparison of training results for each model

由表2 結(jié)果可知，與原始U-Net 相比，所有改進思路均有提升效果，R-U-Net 網(wǎng)絡(luò)將Dice 系數(shù)提高了1.4%，MIOU 提高了1.26%；GU-Net 網(wǎng)絡(luò)的參數(shù)量相比原始網(wǎng)絡(luò)減少了36%，Dice 系數(shù)提高了4.8%，MIOU 提高了4.6%；LU-Net和PSA-U-Net網(wǎng)絡(luò)對焊點檢測效果的提升程度比較接近，Dice 系數(shù)分別提高了6.38%和6.31%，MIOU 分別 提高 了6.8% 和6.7%；RGL-U-Net 網(wǎng)絡(luò)在將參數(shù)量減少29.6%的同時，Dice 系數(shù)提高了6.9%，MIOU 提高了7.8%；最終的RPSA-U-Net 網(wǎng)絡(luò)檢測效果最好，相較于原始UNet 網(wǎng)絡(luò)，其Dice 系數(shù)提高了8.76%，達到0.983 6，MIOU 提高了11.5%，達到0.967 81，同時網(wǎng)絡(luò)參數(shù)量減少了7%。

最終提出的RPSA-UNet 網(wǎng)絡(luò)在訓(xùn)練過程中的損失變化曲線如圖6 所示，由于batchsize 設(shè)為2，即每次傳入2 張訓(xùn)練樣本，400 張樣本，300 輪，共計6×104次迭代。可知在第300 個epoch 時，損失基本趨于穩(wěn)定，模型達到收斂狀態(tài)。Dice 系數(shù)變化曲線和MIOU 變化曲線如圖7所示，在前10 個epoch 數(shù)值都迅速增加，最后在第275個epoch左右逐漸趨于穩(wěn)定。

圖6 訓(xùn)練損失變化曲線圖Fig.6 Change curve of training loss

圖7 Dice系數(shù)、MIOU變化曲線圖Fig.7 Change curve of Dice and MIOU

網(wǎng)絡(luò)模型在驗證集上的分割效果如圖8 所示，從上往下分別為原圖、原始U-Net 和提出的RPSA-U-Net 模型的分割結(jié)果。通過實驗對比可知，光照環(huán)境對分割結(jié)果影響很大，在光線較強或較弱時，U-Net 網(wǎng)絡(luò)會出現(xiàn)檢測結(jié)果不完整甚至漏檢的情況；當圖像中出現(xiàn)類似焊點的干擾信息時，U-Net 網(wǎng)絡(luò)出現(xiàn)了誤檢的情況；在焊點被部分遮擋的情況下，U-Net無法檢測到相關(guān)信息。綜上，最終提出的RPSA-U-Net 魯棒性更強，分割效果明顯提升。

圖8 模型分割效果對比Fig.8 Comparison of the segmentation effects of the models

2.4 圖像后處理

傳統(tǒng)的霍夫圓檢測算法復(fù)雜度隨模型參數(shù)量呈指數(shù)增長［15］。理想的焊點在圖像中呈正圓形，但由于拍攝角度在大多數(shù)情況下并不垂直于焊點平面，且由于在生產(chǎn)過程中存在誤差，實際的白車身焊點在圖像中更近似于橢圓。由此，本文對RPSA-U-Net 的圖像分割結(jié)果進行橢圓擬合，從而找到焊點圓心，相比于傳統(tǒng)的圖像處理方法，前者提取焊點圓心的效果更好。為進一步證實找到焊點中心，使用所提方法對分割結(jié)果圖進行圓心定位，再用圖像處理的方法進行圓心定位檢測，主要流程為：導(dǎo)入圖片、灰度化、濾波處理、canny 邊緣檢測、霍夫圓變換。兩種方法在過明、過暗、生銹、污漬幾種不同環(huán)境下的圓心檢測結(jié)果對比如圖9 所示。第一行是所提方法擬合出的焊點圓心圖，第二行是基于傳統(tǒng)圖像處理方法找到的焊點中心圖。通過對比可知，光線對傳統(tǒng)圖像處理方法的影響很大，在光線過明或過暗情況下都難以識別到完整的焊點輪廓，更無法準確檢測出圓心位置；在生銹或有污漬的情況下能夠檢測到部分焊點的圓心，但噪點會對檢測效果產(chǎn)生很大的影響，容易出現(xiàn)誤檢的情況?？偟脕碚f，使用傳統(tǒng)圖像處理方法檢測焊點圓心魯棒性差，且易受到環(huán)境的影響，而基于RPSA-UNet 的深度學習檢測方法魯棒性強，對環(huán)境的敏感度低，檢測效果更好。相比于人工檢測，也能在提高效率的同時保證檢測精度。

圖9 兩種檢測圓心方法對比Fig.9 Comparison of two methods for detecting the center of the circle

3 結(jié)論

為解決白車身焊點質(zhì)量檢測過程中基于計算機視覺定位容易受到環(huán)境因素的影響，從而影響定位精度和檢測效率的問題，提出了一種基于U-Net 網(wǎng)絡(luò)改進的語義分割模型RPSA-U-Net，通過融入shortcut 跳躍思想，加強深層和淺層特征圖的信息融合；合理運用分組卷積減輕網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)和運算量；融合Dice Loss改進損失函數(shù)，用交叉熵損失函數(shù)來平衡Dice Loss造成的梯度不平衡現(xiàn)象，并通過實驗找到效果最好的融合系數(shù)；融入PSA 注意力機制，能夠有效建立通道依賴，提升網(wǎng)絡(luò)性能。所提RPSA-U-Net模型受光線、生銹、油污等環(huán)境因素的影響更小，魯棒性更強，能夠適應(yīng)車間惡劣的生產(chǎn)環(huán)境，并結(jié)合橢圓擬合的圖像處理方法可進一步找到焊點圓心，從而配合其他自動化設(shè)備有效檢測焊點質(zhì)量，大大提高了檢測效率，具有應(yīng)用價值。