金屬壁面焊縫表面缺陷檢測爬行機(jī)器人系統(tǒng)

羅健 華攸水 張浩 曹立超 蔣曉明

本文引用格式：羅健，華攸水，張浩，等.金屬壁面焊縫表面缺陷檢測爬行機(jī)器人系統(tǒng)[J].自動(dòng)化與信息工程，2023，44（2）：22-26.

LUO Jian， HUA?Youshui， ZHANG Hao， et al. Crawling robot system for detecting surface defects of?metal wall welds[J].?Automation & Information Engineering， 2023，44（2）：22-26.

摘要：針對目前金屬壁面焊縫表面缺陷檢測主要由人工完成，檢測結(jié)果依賴檢測人員的工作經(jīng)驗(yàn)，且高空壁面作業(yè)較危險(xiǎn)的情況，設(shè)計(jì)一款輪式磁吸附爬行機(jī)器人系統(tǒng)。該系統(tǒng)的輪式磁吸附爬行機(jī)器人可在金屬壁面運(yùn)動(dòng)，利用YOLOv5目標(biāo)檢測框架訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類模型，并將焊縫表面缺陷分類模型搭載于人機(jī)交互端軟件，實(shí)現(xiàn)金屬壁面焊縫表面缺陷的實(shí)時(shí)檢測。

關(guān)鍵詞：金屬壁面；焊縫表面缺陷；缺陷檢測；輪式磁吸附爬行機(jī)器人；YOLOv5

中圖分類號(hào)：TP242.2；TP391.41??????文獻(xiàn)標(biāo)志碼：A??????文章編號(hào)：1674-2605（2023）02-0005-05

DOI：10.3969/j.issn.1674-2605.2023.02.005

Crawling Robot System for Detecting Surface Defects of ???????????????Metal Wall Welds

LUO Jian¹??HUA?Youshui¹??ZHANG Hao²??CAO?Lichao²??JIANG?Xiaoming²

（1.Guangdong University of Technology， Guangzhou 510006， China

2.Institute of Intelligent Manufacturing， Guangdong Academy of Science， Guangzhou 510070， China）

Abstract： A wheeled magnetic adsorption crawling robot system is designed to address the current situation where the detection of surface defects in metal wall welds is mainly done manually， and the detection results rely on the work experience of the testing personnel. In addition， high-altitude wall operations are more dangerous. The wheeled magnetic adsorption crawling robot can move on the metal wall， and uses the YOLOv5 object detection framework to train a neural network detection model. The detection model is installed in the human-computer interaction software to achieve real-time detection of surface defects in metal wall welds.

Keywords：?metal wall surface; weld surface defect; defect detection; wheeled magnetic adsorption crawling robot; YOLOv5

0 引言

目前，金屬壁面焊縫表面缺陷檢測主要采用人工方式，不僅依賴于檢測人員的工作經(jīng)驗(yàn)，還具有危險(xiǎn)性^[1]；且一些特定場景，如高空、狹小空間等，因檢測人員無法到達(dá)，導(dǎo)致檢測困難。隨著機(jī)器人技術(shù)的不斷發(fā)展，將機(jī)器人應(yīng)用于金屬壁面焊縫表面檢測，使高空、狹小空間或危險(xiǎn)場合的缺陷檢測成為可能^[2-3]。

本文設(shè)計(jì)一款輪式磁吸附爬行機(jī)器人系統(tǒng)，用以實(shí)現(xiàn)金屬壁面焊縫表面的缺陷檢測，可提高檢測效率、降低作業(yè)風(fēng)險(xiǎn)。

1 系統(tǒng)設(shè)計(jì)

1.1 ?系統(tǒng)整體框架

金屬壁面焊縫表面缺陷檢測爬行機(jī)器人系統(tǒng)主要由工業(yè)無線攝像頭、人機(jī)交互端、直驅(qū)無刷電機(jī)、驅(qū)動(dòng)器系統(tǒng)、LoRa模塊、工控機(jī)系統(tǒng)等組成，如圖1所示。

工業(yè)無線攝像頭通過Wi-Fi無線通信^[4-5]將金屬壁面焊縫圖像傳輸至人機(jī)交互端。

人機(jī)交互端搭載的人機(jī)交互軟件對機(jī)器人進(jìn)行運(yùn)動(dòng)控制，同時(shí)部署神經(jīng)網(wǎng)絡(luò)分類模型對焊縫圖像進(jìn)行缺陷檢測，并在操作界面顯示檢測結(jié)果。

工控機(jī)系統(tǒng)采用miniPC工控機(jī)，部署輪式磁吸附爬行機(jī)器人運(yùn)動(dòng)控制程序和驅(qū)動(dòng)器相關(guān)程序，控制輪式磁吸附爬行機(jī)器人進(jìn)行檢測作業(yè)。工控機(jī)系統(tǒng)與驅(qū)動(dòng)器系統(tǒng)通過以太網(wǎng)通信，可降低環(huán)境干擾的影響。

驅(qū)動(dòng)器系統(tǒng)通過Ethercat總線對直驅(qū)無刷電機(jī)進(jìn)行驅(qū)動(dòng)，控制輪式磁吸附爬行機(jī)器人運(yùn)動(dòng)。

LoRa無線通信具有抗干擾能力強(qiáng)、通信距離遠(yuǎn)等特點(diǎn)^[6-7]。利用LoRa模塊可實(shí)現(xiàn)工控機(jī)系統(tǒng)與人機(jī)交互端的無線通信。其中，工控機(jī)系統(tǒng)利用串口與LoRa模塊通信；LoRa模塊利用LoRa無線數(shù)傳與人機(jī)交互端通信^[8-9]。

金屬壁面焊縫表面缺陷檢測爬行機(jī)器人系統(tǒng)由人機(jī)交互端發(fā)送指令信息；該指令信息通過LoRa無線網(wǎng)絡(luò)傳輸至工控機(jī)系統(tǒng)；工控機(jī)系統(tǒng)根據(jù)指令信息執(zhí)行相應(yīng)的運(yùn)動(dòng)控制程序，并通過以太網(wǎng)控制驅(qū)動(dòng)器系統(tǒng)和直驅(qū)無刷電機(jī)，實(shí)現(xiàn)運(yùn)動(dòng)控制。

輪式磁吸附爬行機(jī)器人本體主要由機(jī)器人平臺(tái)和二軸平臺(tái)組成，如圖2所示。

機(jī)器人平臺(tái)為輪式移動(dòng)平臺(tái)，搭載磁吸附輪，通過磁吸附方式實(shí)現(xiàn)其在金屬壁面的運(yùn)動(dòng)。二軸平臺(tái)搭載工業(yè)無線攝像頭，可調(diào)整攝像頭的位置，以便采集焊縫圖像。機(jī)器人平臺(tái)與二軸平臺(tái)均利用直驅(qū)無刷電機(jī)提供驅(qū)動(dòng)力。

1.2 ?人機(jī)交互軟件

人機(jī)交互軟件采用Python語言編寫，實(shí)現(xiàn)人機(jī)交互、輪式磁吸附爬行機(jī)器人運(yùn)動(dòng)控制、無線通信、焊縫表面缺陷檢測等功能，功能框圖如圖3所示。

輪式磁吸附爬行機(jī)器人由人機(jī)交互軟件控制金屬壁面焊縫表面的缺陷檢測工作。首先，利用實(shí)時(shí)流傳輸（real time streaming protocol，RTSP）協(xié)議，對工業(yè)無線攝像頭采集的圖像信息進(jìn)行解碼，獲取金屬壁面的焊縫圖像；然后，對金屬壁面的焊縫圖像進(jìn)行預(yù)處理，使其符合檢測格式；接著，利用基于YOLOv5目標(biāo)檢測框架訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類模型，對焊縫圖像進(jìn)行焊縫表面缺陷檢測；最后，在焊縫圖像中標(biāo)注焊縫缺陷并進(jìn)行分類，同時(shí)在人機(jī)交互端實(shí)時(shí)顯示。人機(jī)交互軟件主要工作流程如圖4所示。

2 基于YOLOv5的焊縫表面缺陷檢測

2.1??數(shù)據(jù)集處理

常見的金屬壁面焊縫表面缺陷主要有咬邊、氣孔、焊瘤、弧坑^[10-11]4類，如圖5所示。這些缺陷容易造成焊縫應(yīng)力集中、開裂等現(xiàn)象^[12-13]。

在金屬壁面焊縫表面缺陷檢測之前，需要對焊縫表面缺陷進(jìn)行檢測分類。在收集的焊縫圖像中標(biāo)注焊縫表面缺陷類型，作為樣本數(shù)據(jù)集。樣本數(shù)據(jù)集包含600幅焊縫圖像，其中上述4類焊縫表面缺陷樣本數(shù)量約為2?200個(gè)。

由于樣本數(shù)量較少，難以訓(xùn)練出高精度的分類模型，因此需要對樣本數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。本文通過調(diào)整圖像結(jié)構(gòu)和顏色空間、引入噪聲^[14-15]等方式進(jìn)行數(shù)據(jù)增強(qiáng)，以改善分類模型性能，避免過擬合^[16]。經(jīng)過數(shù)據(jù)增強(qiáng)后，共獲得2?600幅圖像，4類焊縫表面缺陷數(shù)量如表1所示。

2.2??模型訓(xùn)練及測試

在數(shù)據(jù)增強(qiáng)后的焊縫表面缺陷數(shù)據(jù)集中隨機(jī)抽取2?000幅圖像作為訓(xùn)練集，500幅圖像作為驗(yàn)證集，余下的100幅圖像作為測試集。利用YOLOv5目標(biāo)檢測框架訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類模型^[17]。設(shè)置學(xué)習(xí)率為0.001；Batch_size為4；訓(xùn)練次數(shù)為200次。模型訓(xùn)練過程的損失函數(shù)值變化如圖6所示，模型的損失函數(shù)值約為0.03。

利用訓(xùn)練后的焊縫表面缺陷分類模型對焊縫圖像進(jìn)行缺陷檢測，效果如圖7所示。

利用焊縫表面缺陷分類模型在測試集進(jìn)行測試，各類焊縫表面缺陷檢測分類結(jié)果如表2所示。

由表2可知，該焊縫表面缺陷分類模型對焊縫表面缺陷檢測準(zhǔn)確度較高，具有較好的檢測效果。

3 實(shí)驗(yàn)

以Q235鋼鐵壁面為平臺(tái)搭建焊縫表面缺陷檢測爬行機(jī)器人系統(tǒng)測試場景，將有咬邊、氣孔、焊瘤、弧坑等缺陷的焊縫試板置于該壁面上，通過操作輪式磁吸附爬行機(jī)器人來對焊縫表面缺陷進(jìn)行實(shí)時(shí)檢測，如圖8所示。

將基于YOLOv5目標(biāo)檢測框架訓(xùn)練的焊縫表面缺陷分類模型搭載于人機(jī)交互端軟件，操作輪式磁吸附爬行機(jī)器人運(yùn)動(dòng)，驗(yàn)證該機(jī)器人能否在Q235鋼鐵壁面上運(yùn)動(dòng)，以及人機(jī)交互端軟件對焊縫表面缺陷的實(shí)時(shí)檢測效果。

操作輪式磁吸附爬行機(jī)器人在Q235鋼鐵壁面上從下端向上運(yùn)動(dòng)，檢測焊縫表面缺陷，運(yùn)動(dòng)速度為 ?10 cm/min，檢測長約30 cm的焊縫所需時(shí)間約為????3?min。

在輪式磁吸附爬行機(jī)器人上搭載WX500型工業(yè)無線攝像頭，人機(jī)交互端軟件實(shí)時(shí)檢測焊縫表面缺陷界面如圖9所示，焊縫表面的咬邊、氣孔、焊瘤、弧坑等缺陷均被發(fā)現(xiàn)，檢測數(shù)據(jù)及檢測精度如表2所示。

由實(shí)驗(yàn)可知，輪式磁吸附爬行機(jī)器人能夠吸附于金屬壁面，并在壁面穩(wěn)定運(yùn)動(dòng)；且人機(jī)交互端軟件能對焊縫表面缺陷進(jìn)行實(shí)時(shí)分類檢測。

4 結(jié)論

本文針對金屬壁面焊縫表面缺陷檢測，設(shè)計(jì)一款輪式磁吸附爬行機(jī)器人，能在金屬壁面穩(wěn)定爬行。利用YOLOv5目標(biāo)檢測框架訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類模型，并將分類模型搭載于人機(jī)交互端軟件，實(shí)現(xiàn)金屬壁面焊縫表面缺陷的實(shí)時(shí)分類檢測。同時(shí)利用Wi-Fi、LoRa等無線物聯(lián)網(wǎng)技術(shù)，實(shí)現(xiàn)遠(yuǎn)程操作、焊縫圖像信息采集，使輪式磁吸附爬行機(jī)器人作業(yè)距離增加，適用于更多、更復(fù)雜的檢測作業(yè)場景。今后，可對基于YOLOv5目標(biāo)檢測框架訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類模型進(jìn)行優(yōu)化，以獲得更高的分類準(zhǔn)確度。

參考文獻(xiàn)

[1] HOWLADER， O F， SATTAR T P. Development of magnetic adhesion based climbing robot for non-destructive testing[C]//?2015 7th Computer Science and Electronic Engineering Con- ference （CEEC），?2015.

[2] 趙健.船舶焊接技術(shù)的缺陷類型及其處理對策[J].無線互聯(lián)科技，2021，18（3）：103-104.

[3] 陳江蘭.大中型原油儲(chǔ)罐的底板弧焊機(jī)器人CO_2自動(dòng)焊接工藝開發(fā)與應(yīng)用[J].機(jī)電工程技術(shù)，2022，51（12）：265-268.

[4] 葛亞明，李軍.船艙內(nèi)無線電波的傳輸特性分析與仿真[J]. 四川兵工學(xué)報(bào)，2014，35（9）：92-95.

[5] 孫英峰，羅霄，高藝瑞，等.無線電波透視技術(shù)在資源整合礦井采空區(qū)探測中的應(yīng)用[J].安全與環(huán)境學(xué)報(bào)，2020，20（2）：547-?553.

[6] 褚慧慧.基于視覺的焊縫質(zhì)量檢測技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué)，2017.

[7] 項(xiàng)新建，王樂樂，曾航明.基于機(jī)器視覺的推力軸承墊圈缺陷檢測系統(tǒng)研究[J].中國測試，2021，47（2）：133-139.

[8] 滕臻，崔國華，高鵬，等.基于機(jī)器視覺及深度學(xué)習(xí)的靜脈藥物調(diào)配機(jī)器人藥瓶識(shí)別[J].機(jī)床與液壓，2022，50（5）：33-37.

[9]?田延飛，周欣蔚，溫小飛，等.基于LoRa的水面無人艇位姿數(shù)據(jù)遠(yuǎn)程采集及監(jiān)測[J].現(xiàn)代電子技術(shù)，2022，45（22）：23-27.

[10] 劉江洪.焊縫外觀缺陷對焊縫質(zhì)量的影響分析及應(yīng)對措施[J].人民長江，2020，51（S2）：230-233.

[11] 張?zhí)煊?，夏仁波，趙吉賓，等.基于結(jié)構(gòu)光的焊縫表面質(zhì)量檢測[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2022（1）：81-84.

[12] 黃逢.球罐外部焊縫檢測機(jī)器人系統(tǒng)的設(shè)計(jì)[D].南京：東南大學(xué)，2019.

[13] 徐德衍，丁亞萍，孟鶴，等.軌道車輛焊縫缺陷遠(yuǎn)場渦流檢測系統(tǒng)設(shè)計(jì)及試驗(yàn)研究[J].中國測試，2021，47（1）：96-104.

[14] 鄭佳美.基于深度學(xué)習(xí)的焊縫缺陷檢測方法研究[D].杭州：浙江工業(yè)大學(xué)，2020.

[15] 王靖然，王桂棠，楊波，等.深度學(xué)習(xí)在焊縫缺陷檢測的應(yīng)用研究綜述[J].機(jī)電工程技術(shù)，2021，50（3）：65-68.

[16]?ZHU Haixing， GE?Weimin， LIU?Zhenzhong. Deep?learning- -based classification of weld surface defects[J]. Applied Sciences， 2019，9（16）：3312.

[17]?蔣超，張豪，章恩澤，等.基于改進(jìn)YOLOv5s的行人車輛目標(biāo)檢測算法[J].揚(yáng)州大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，25（6）：45-49.

作者簡介：

羅健，男，1997年生，碩士研究生，主要研究方向：機(jī)器人與自動(dòng)化。E-mail： 798073059@qq.com

華攸水，男，1999年生，碩士研究生，主要研究方向：機(jī)器人與自動(dòng)化。E-mail：?h_youshui@qq.com

張浩，男，1993年生，碩士研究生，工程師，主要研究方向：機(jī)器人與自動(dòng)化。E-mail：?h_zhang@giim.ac.cn

曹立超，男，1990年生，碩士研究生，工程師，主要研究方向：機(jī)器人與自動(dòng)化。E-mail：?lc_cao@giim.ac.cn

蔣曉明，男，1973年生，博士研究生，研究員，主要研究方向：電力電子、數(shù)控技術(shù)與自動(dòng)化。E-mail：?xm_jiang@giim.ac.cn