基于雙目視覺的待涂裝焊縫的識別

楊斌 李艷艷 李洪英

摘? 要：在工件涂裝的過程中會(huì)遇到焊縫差異不易區(qū)分和識別的問題，基于此問題文章提出一種基于LeNet-5的待涂裝焊縫識別系統(tǒng)。該系統(tǒng)先將數(shù)據(jù)增強(qiáng)后的圖像進(jìn)行圖像去噪預(yù)處理，對LeNet-5卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練;然后將雙目系統(tǒng)實(shí)時(shí)拍攝的焊縫圖像運(yùn)用訓(xùn)練好的模型實(shí)現(xiàn)焊縫類型快速識別;最后根據(jù)得出的分類信息引導(dǎo)焊縫涂裝機(jī)器人進(jìn)行精準(zhǔn)的焊縫噴涂。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以快速提取焊縫圖像更全面的特征，大大提高了焊縫識別準(zhǔn)確率。

關(guān)鍵詞：焊縫識別;圖像去噪;深度學(xué)習(xí);LeNet-5

中圖分類號：TP242? ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）17-0149-04

Abstract：In the process of the workpiece coating，the welding seam difference is difficult to be distinguished and identified. Based on this problem，this paper proposes a LeNet-5-based welding seam identification system to be coated. The system first carries out image denoising preprocessing after data enhancement，conducts model training for LeNet-5 convolutional neural network，and then applies the trained model to realize rapid recognition of weld types for weld images taken in real time by the binocular system. Finally，according to the obtained classification information，the welding seam coating robot is guided to carry out accurate welding seam spraying. The experimental results show that the system can quickly extract more comprehensive features of weld images and greatly improve the accuracy of weld recognition.

Keywords：welding seam identification;image denoising;deep learning;LeNet-5

0? 引? 言

我國是制造大國，在零器件加工和制造行業(yè)中焊縫涂裝是其零部件生產(chǎn)或者組裝過程中不可缺少的重要流程之一。近年來傳感技術(shù)和智能機(jī)器人技術(shù)快速發(fā)展，伴隨著制造業(yè)對涂裝效率和涂裝質(zhì)量的要求提升以及對更舒適健康的工作環(huán)境的需要，工業(yè)機(jī)器人焊縫涂裝將慢慢取代人力手工涂裝，其中基于傳感器檢測的智能焊縫識別是焊縫涂裝領(lǐng)域的研究熱點(diǎn)[1]。本文主要針對中國石油集團(tuán)海洋工程有限公司海上升壓站建造過程中（協(xié)鑫如東H13#海上風(fēng)電項(xiàng)目、協(xié)鑫如東H15#海上風(fēng)電項(xiàng)目）存在的鋼結(jié)構(gòu)人工噴涂自動(dòng)化程度低，油漆揮發(fā)的有機(jī)溶劑對于人身體健康損害較大，人工噴涂厚度控制難度大等問題進(jìn)行研究，利用涂裝機(jī)器人有效避免這些問題。焊縫信息檢測在機(jī)器人焊縫噴涂過程中及其重要，現(xiàn)有的大部分自動(dòng)焊縫噴涂主要通過超聲波傳感器獲取焊縫信息，然而超聲波傳感器容易受到焊縫表面粗糙以及結(jié)構(gòu)的各向異性導(dǎo)致的超聲聲束的散射和超聲聲束的畸變影響[2]。本文運(yùn)用的雙目視覺傳感器具有速度快、傳輸信息量大、精度高并且以非接觸形式實(shí)現(xiàn)等優(yōu)勢，能較好地解決以上問題[3]。基于雙目視覺涂裝的主要原理：在自然光條件下，運(yùn)用工業(yè)攝像機(jī)拍攝焊縫圖像，將該圖像傳輸?shù)缴衔粰C(jī)進(jìn)行圖像預(yù)處理和圖像識別后，獲得焊縫種類、位置等信息，然后利用該信息對涂裝機(jī)器人的噴槍運(yùn)動(dòng)正確引導(dǎo)[4]。由于工作地點(diǎn)不固定，可能會(huì)受到環(huán)境光照的影響，此時(shí)工業(yè)攝像機(jī)不能有效拍攝到工件焊縫信息，采用常規(guī)的焊縫圖像處理的方法[5]并不能準(zhǔn)確識別焊縫。而深度學(xué)習(xí)[6]廣泛應(yīng)用于人工智能的各個(gè)領(lǐng)域并且取得了一定成果，例如利用深度學(xué)習(xí)技術(shù)對人臉進(jìn)行識別[7]，或者使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對物品進(jìn)行分類[8]。目前，在焊縫識別領(lǐng)域大多使用BP神經(jīng)網(wǎng)絡(luò)，CNN尚未得到應(yīng)用。本文提出了一種基于LeNet-5雙目視覺圖像分類的焊縫識別系統(tǒng)，首先將焊縫圖像預(yù)處理，然后利用CNN的強(qiáng)大優(yōu)勢提高了焊縫識別的準(zhǔn)確率。

1? 研究原理

1.1? 圖像去噪

在相機(jī)獲取、傳輸圖像信息的過程中，會(huì)存在外界光照、內(nèi)部元件準(zhǔn)確度等自身和外部的干擾，這些干擾都是圖像噪聲的來源，會(huì)對圖像質(zhì)量造成一定的影響，圖像變模糊導(dǎo)致圖像特征變得相對難以提取，增加了對后續(xù)圖像識別的難度。為了抑制噪聲，改善圖像質(zhì)量，便于后續(xù)識別操作，對圖像去噪預(yù)處理至關(guān)重要。加性噪聲和乘性噪聲是圖像噪聲最主要的類型，加性噪聲與圖像信號無關(guān)，是否有信號對噪聲沒有任何影響，然而乘性噪聲與信號兩者會(huì)共同出現(xiàn)[9]。對這些噪音的去除也可以分為兩類：一種為空間域的平滑，基于噪聲種類的不同，利用不同的平滑模板對噪聲源圖像進(jìn)行卷積運(yùn)算;另一種為頻率域的濾波，運(yùn)用傅里葉變換將圖像從空間域變換到頻率域[10]。不同情況下會(huì)出現(xiàn)不同的噪聲，不能確定得出的哪種方法更優(yōu)，要根據(jù)實(shí)際情況，可以將多種方法對比實(shí)驗(yàn)，選擇表現(xiàn)更好的方法進(jìn)行去噪處理。

1.2? 焊縫識別

在模式識別領(lǐng)域，首先提出的是人工神經(jīng)網(wǎng)絡(luò)的概念，之后提出BP神經(jīng)網(wǎng)絡(luò)算法[11]，由于該算法為早期算法，計(jì)算過程較為單一且效果在現(xiàn)在看來并不突出，該算法主要是通過對誤差的反饋修正、調(diào)整神經(jīng)網(wǎng)絡(luò)中的參數(shù)，從而令下次誤差小于給定允許誤差，其結(jié)構(gòu)如圖1所示，從結(jié)構(gòu)上可以把層分為三類：輸入層、隱含層和輸出層。

雖然相比于之前提出的網(wǎng)絡(luò)，BP網(wǎng)絡(luò)有一定的改進(jìn)效果，但是也存在不足之處。BP網(wǎng)絡(luò)是全連接的，一層提取特征的效果并不是很好，會(huì)使得權(quán)值數(shù)量急劇增加。想要訓(xùn)練這么多的權(quán)值，樣本必須足夠，但是計(jì)算量也會(huì)隨之急劇增加，而且還有梯度消失的情況，因此需要改進(jìn)連接的方式，正是因?yàn)榻Y(jié)構(gòu)性的硬性原因出現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的局部連接和權(quán)值共享。時(shí)間延遲網(wǎng)絡(luò)和LeNet-5是最早出現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)[12]，本文采用的LeNet-5結(jié)構(gòu)如圖2所示。

焊縫識別的LeNet-5框架描述為：

首先輸入預(yù)處理圖像是28×28大小的灰度焊縫圖像。

卷積層1（Conv1）：該層運(yùn)用尺寸為5×5的卷積核，滑動(dòng)步長為1，卷積核數(shù)目為20，經(jīng)過該層后圖像尺寸變?yōu)?4，輸出20層24×24的矩陣。

池化層1（Pool1）：該層卷積核的尺寸為2×2，步長2，池化操作后，圖像尺寸減半起到降維的作用，防止過擬合提高模型泛化能力，輸出20層12×12的矩陣。

卷積層2（Conv2）：該層的卷積核尺寸為5×5，步長1，卷積核數(shù)目為50，輸出50層8×8的矩陣。

池化層2（Pool2）：該層核尺寸為2×2，步長2，輸出50層4×4的矩陣。

全連接層（Fc1）：連接在pool2后，神經(jīng)元數(shù)目為500，運(yùn)用ReLU[13]激活函數(shù)。

全連接層（Fc2）：該層包括3個(gè)神經(jīng)元，用于3種焊縫的分類訓(xùn)練，然后送入softmax識別，最后將得到識別結(jié)果的概率輸出。三種焊縫類型如圖3所示。

2? 焊縫涂裝系統(tǒng)

在雙目視覺系統(tǒng)采集圖像后，相機(jī)采集的圖像經(jīng)由USB在上位機(jī)上實(shí)時(shí)計(jì)算，將計(jì)算好的數(shù)據(jù)信息傳輸?shù)娇刂乒瘢刂乒窨刂茩C(jī)械手的運(yùn)動(dòng)。流程圖如圖4所示，其中PC代表上位機(jī)，PLC是可編程邏輯控制器，用來驅(qū)動(dòng)機(jī)械手。

2.1? 圖像預(yù)處理

通過實(shí)驗(yàn)平臺可以獲取項(xiàng)目中出現(xiàn)的典型焊縫，分別用雙目視覺系統(tǒng)采集多張自然光下的焊縫圖片。為在不降低識別效果的前提下減少獲取圖片的工作量，本文對采集到的圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理，具體操作包括裁剪、旋轉(zhuǎn)、亮度調(diào)節(jié)、對比度增強(qiáng)等，這樣極大地增加了數(shù)據(jù)量，且為后續(xù)的模型訓(xùn)練增加了魯棒性;并且，只需要對一個(gè)相機(jī)采集到的圖片進(jìn)行處理即可。

在進(jìn)行平滑處理之前，要先對圖像進(jìn)行灰度轉(zhuǎn)換來滿足平滑處理?xiàng)l件，灰度轉(zhuǎn)換公式：

Gray=R×0.299+G×0.587+B×0.114

本文將中值濾波后和高斯濾波后的圖像進(jìn)行對比，發(fā)現(xiàn)中值濾波后整體圖像亮度變大且焊縫線條處明暗對比減小，所以本文選用中值濾波對焊縫圖像進(jìn)行預(yù)處理，處理結(jié)果如圖5所示。

2.2? 基于LeNet-5的焊縫識別

訓(xùn)練一個(gè)較好的卷積神經(jīng)網(wǎng)絡(luò)模型需要大量的數(shù)據(jù)。本文將采集的自然光下的圖片進(jìn)行數(shù)據(jù)增強(qiáng)后灰度化，輸入網(wǎng)絡(luò)中的圖像為大小為28×28的灰度圖像，根據(jù)焊縫的不同形態(tài)將焊縫分為3種類型。首先對網(wǎng)絡(luò)中的參數(shù)進(jìn)行初始化，LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的初始設(shè)置包括初始化卷積層網(wǎng)絡(luò)結(jié)構(gòu)、輸出層數(shù)量、卷積核權(quán)重以及偏置等。卷積核權(quán)重和偏置運(yùn)用的是隨機(jī)初始化的方法。實(shí)驗(yàn)按照圖4流程圖所示流程構(gòu)建系統(tǒng)，對3種類型的焊縫進(jìn)行分類。將數(shù)據(jù)增強(qiáng)后的圖片隨機(jī)劃分為訓(xùn)練集和測試集，訓(xùn)練樣本和測試樣本數(shù)量分別為900張和100張。訓(xùn)練一共迭代200次，學(xué)習(xí)率設(shè)為0.01，在迭代120次后，網(wǎng)絡(luò)模型已基本收斂，最后訓(xùn)練集準(zhǔn)確率可達(dá)到99.7%，測試集準(zhǔn)確率為95.2%，完全滿足噴涂需要。此外為了突出LeNet-5網(wǎng)絡(luò)的明顯優(yōu)勢，本文在相同的數(shù)據(jù)集、相同的設(shè)置下，在BP神經(jīng)網(wǎng)絡(luò)上做了對比試驗(yàn)，結(jié)果如表1所示。從表中可以看出LeNet-5網(wǎng)絡(luò)測試集準(zhǔn)確率比BP神經(jīng)網(wǎng)絡(luò)高6.3%且收斂更快，并且其快速性可以支持實(shí)時(shí)焊縫類型識別，不會(huì)影響涂裝進(jìn)度。

3? 結(jié)? 論

本文針對工件涂裝過程中會(huì)遇到的焊縫較小、焊縫差異不易區(qū)分和識別等問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的待涂裝焊縫識別系統(tǒng)。該系統(tǒng)首先運(yùn)用采集數(shù)據(jù)集經(jīng)圖像增強(qiáng)后進(jìn)行線下訓(xùn)練，然后使用訓(xùn)練好的模型識別攝像機(jī)采集到的焊縫圖像，實(shí)時(shí)判斷焊縫類型，及時(shí)引導(dǎo)機(jī)械臂做出合適的涂裝策略。實(shí)驗(yàn)表明，該系統(tǒng)有效改進(jìn)了現(xiàn)有焊縫識別易受干擾、準(zhǔn)確率低等問題，有利于焊縫涂裝機(jī)器人更加準(zhǔn)確高效地運(yùn)作。

參考文獻(xiàn)：

[1] 鳳迎迎.基于雙目視覺的機(jī)器人焊縫軌跡檢測的研究 [D].杭州：浙江大學(xué)，2017.

[2] 薛擁軍，張禮典，賴德海.大厚度異種鋼奧氏體焊縫超聲波檢測 [J].無損檢測，2008（11）：816-819.

[3] 郭志鵬，于治水，張培磊，等.基于視覺傳感的焊縫跟蹤系統(tǒng)研究現(xiàn)狀 [J].輕工機(jī)械，2016，34（5）：95-100.

[4] 李慨，張庭.基于視覺傳感器的移動(dòng)焊接機(jī)器人測控系統(tǒng) [J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，42（4）：1050-1055.

[5] 王灤平.圖像處理技術(shù)在機(jī)器人焊接中的應(yīng)用 [J].電子科學(xué)技術(shù)，2016，3（5）：570-573.

[7] 萬士寧.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別研究與實(shí)現(xiàn) [D].成都：電子科技大學(xué)，2016.

[8] 黃斌，盧金金，王建華，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法 [J].計(jì)算機(jī)應(yīng)用，2016，36（12）：3333-3340+3346.

[9] BUADES A，COLL B，MOREL J M. A Review of Image Denoising Algorithms，with a New One [J]. Multiscale Modeling & Simulation，2005，4（2）：490-530.

[10] ZHANG Y Q，LIU J Y，LI M D，et al. Joint image denoising using adaptive principal component analysis and self-similarity [J]. Information Sciences，2014，259：128-141.

[11] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning Internal Representations by Error Propagation [J]. Parallel Distributed Processing：Explorations in the Microstructure of Cognition：Foundations，1986：318-362.

[12] 趙志宏，楊紹普，馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識別研究 [J].系統(tǒng)仿真學(xué)報(bào)，2010，22（3）：638-641.

作者簡介：楊斌（1985.09—），男，漢族，山東文登人，工程師，本科，研究方向：鋼結(jié)構(gòu)防腐涂裝。