基于三維檢測(cè)的鋼管外表面缺陷檢測(cè)與識(shí)別方法

劉國(guó)棟 蘇成 王曉晨 吳昆鵬 王少聰 周錦波

關(guān)鍵詞：無縫鋼管；外表面缺陷檢測(cè)；3D缺陷尺寸檢測(cè)；輪廓檢測(cè)；深度學(xué)習(xí)

0 引言

無縫鋼管被譽(yù)為工業(yè)血管，廣泛應(yīng)用于化工、石油、海洋、地質(zhì)及軍工等領(lǐng)域，對(duì)國(guó)家工業(yè)、國(guó)防建設(shè)具有重要意義與戰(zhàn)略價(jià)值，由于長(zhǎng)期處于惡劣工作環(huán)境等問題，無縫鋼管對(duì)產(chǎn)品表面缺陷要求極為嚴(yán)格。對(duì)鋼管缺陷常用的檢測(cè)方式包括水壓機(jī)檢測(cè)、漏磁探傷檢測(cè)、熒光粉檢測(cè)、超聲檢測(cè)、渦流檢測(cè)、人工檢測(cè)、視覺二維檢測(cè)等。其中水壓機(jī)檢測(cè)屬于離線檢測(cè)手段，漏磁探傷檢測(cè)需要經(jīng)常標(biāo)定，超聲檢測(cè)、渦流檢測(cè)方式具有“趨膚效應(yīng)”，誤報(bào)率較高，維護(hù)成本高，且這幾種檢測(cè)屬于接觸式測(cè)量，探頭易損壞，對(duì)平滑類缺陷不敏感。人工檢測(cè)方式漏檢率高，不能全方位檢測(cè)，檢出的缺陷可追溯性差，且勞動(dòng)強(qiáng)度大。

目前主流的檢測(cè)方式還是基于機(jī)器視覺的非接觸式測(cè)量，運(yùn)用機(jī)器視覺檢測(cè)方式，通過相機(jī)拍照并依靠LED光源或者激光光源，形成高對(duì)比度的成像環(huán)境，實(shí)現(xiàn)非接觸式檢測(cè)缺陷，該檢測(cè)方式被大量應(yīng)用在連鑄、熱軋、寬厚板、鋼管等冷、熱態(tài)場(chǎng)合。目前機(jī)器視覺二維檢測(cè)主要依靠RGB圖像方法，通過工業(yè)相機(jī)采集表面二維灰度圖像，計(jì)算機(jī)對(duì)獲取的圖像的灰度值變化進(jìn)行處理和識(shí)別，確定表面是否有缺陷。但是鋼管表面的缺陷都是立體結(jié)構(gòu)，普通的二維檢測(cè)只能定性地檢測(cè)出該缺陷有無，對(duì)于缺陷的深度或者高度則不能定量檢測(cè)，導(dǎo)致檢測(cè)的不準(zhǔn)確性。

近幾年3D檢測(cè)方式得到應(yīng)用，基于3D點(diǎn)云數(shù)據(jù)作為支撐，鋼管表面缺陷信息更加全面，彌補(bǔ)了二維檢測(cè)不能量化的缺點(diǎn)，為實(shí)現(xiàn)鋼管外表面缺陷高精度自動(dòng)檢測(cè)和識(shí)別，本項(xiàng)目運(yùn)用機(jī)器視覺檢測(cè)系統(tǒng)，提出基于二維三維融合視覺檢測(cè)技術(shù)，提高了鋼管外表面缺陷識(shí)別精度和檢出率。

1 鋼管外表面缺陷檢測(cè)原理

通過三維檢測(cè)技術(shù)實(shí)現(xiàn)鋼管熱態(tài)或者冷態(tài)的檢測(cè)，實(shí)現(xiàn)鋼管表面缺陷的3D檢測(cè)，對(duì)缺陷進(jìn)行量化檢測(cè)，提高缺陷的檢出率和識(shí)別率。無縫鋼管表面檢測(cè)采用3D線激光傳感器，原理基于三角測(cè)量法：當(dāng)被測(cè)物體沿激光方向發(fā)生移動(dòng)時(shí)，位置傳感器上的光斑將產(chǎn)生移動(dòng)，其位移大小對(duì)應(yīng)被測(cè)物體的移動(dòng)距離，因此可通過算法設(shè)計(jì)，由光斑位移距離計(jì)算出被測(cè)物體與基線的距離值，如圖1所示。如圖2所示，3D相機(jī)的激光線（X）垂直于鋼管徑向方向，當(dāng)鋼管沿徑向方向運(yùn)動(dòng)時(shí)，3D相機(jī)的采集行頻和速度匹配，點(diǎn)云數(shù)據(jù)組成產(chǎn)品的表面形狀輪廓。

2 系統(tǒng)組成

整體系統(tǒng)包括圖像、點(diǎn)云數(shù)據(jù)采集端、速度數(shù)據(jù)采集端、數(shù)據(jù)處理端、HMI終端、冷卻端、防護(hù)設(shè)備等。圖像、點(diǎn)云數(shù)據(jù)和速度數(shù)據(jù)通過千兆網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)處理端進(jìn)行存儲(chǔ)、分析、運(yùn)算，將檢測(cè)出的表面缺陷數(shù)據(jù)、鋼管長(zhǎng)度、溫度數(shù)據(jù)保存在數(shù)據(jù)庫中，通過軟件處理后在HMI終端進(jìn)行顯示，系統(tǒng)檢測(cè)流程如圖3所示。為適應(yīng)無縫鋼管形狀特性和規(guī)格多樣性，3D相機(jī)安裝在鋼管的一周，實(shí)現(xiàn)360°拍攝，且成像系統(tǒng)有足夠大的景深，如圖4所示。

3 檢測(cè)算法

3.1 缺陷識(shí)別流程

缺陷識(shí)別流程如圖5所示。通過拍攝鋼管外表面，得到鋼管外表面的3D點(diǎn)云數(shù)據(jù)和二維灰度圖兩種鋼管表面信息，3D點(diǎn)云數(shù)據(jù)與二維灰度圖相比，3D點(diǎn)云數(shù)據(jù)具有鋼管表面相應(yīng)位置的三維坐標(biāo)（xyz），3D點(diǎn)云數(shù)據(jù)經(jīng)過綜合處理后，計(jì)算對(duì)應(yīng)區(qū)域測(cè)量點(diǎn)相對(duì)于鋼管外表基準(zhǔn)面的高度差，得到三維系統(tǒng)處理后的圖片。再經(jīng)過二維系統(tǒng)的預(yù)處理、缺陷分割、缺陷識(shí)別等處理進(jìn)行缺陷檢測(cè)。本文通過深度學(xué)習(xí)智能算法的缺陷檢測(cè)方法，將圖像根據(jù)三維尺寸和灰度明顯區(qū)域、邊界明顯區(qū)域、紋理明顯區(qū)域進(jìn)行提取，并定義為可疑待選的缺陷區(qū)域，快速減少處理的圖像數(shù)據(jù)大小，然后運(yùn)用復(fù)合縮放的網(wǎng)絡(luò)構(gòu)建方法進(jìn)行最終的缺陷識(shí)別。

3.2 AI深度學(xué)習(xí)智能算法的缺陷檢測(cè)方法

開發(fā)基于AI深度學(xué)習(xí)智能算法的缺陷檢測(cè)方法。采用校正注意力YOLOF方法來檢測(cè)圓鋼表面的缺陷，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，主要包含4個(gè)組成部分：主干、編碼器、解碼器和校正注意力模塊。

主干部分如圖6（a）所示，主要采用ResNet作為主干，C5表示主干網(wǎng)的輸出的特征映射，Cout表示該特征映射的通道數(shù)，默認(rèn)是2 048個(gè)通道，并且下采樣率為32。編碼器部分如圖6（b）所示，采用YOLOF的擴(kuò)展編碼器，其具體結(jié)構(gòu)如圖7所示，包括1個(gè)投影層和4個(gè)連續(xù)的殘差塊。投影層用一個(gè)1×1的卷積層來降低通道數(shù)，再用一個(gè)3×3卷積層來細(xì)化語義上下文，形成具有512個(gè)通道的特征映射。殘差塊采用一個(gè)1×1的卷積層來縮減通道數(shù)，縮減率為4，然后采用一個(gè)3×3的卷積層來擴(kuò)大感受野，最后再采用一個(gè)1×1的卷積層來恢復(fù)通道數(shù)。解碼器部分如圖6（c）所示，采用RetinaNet的設(shè)計(jì)，由兩個(gè)并行的特定任務(wù)組成：回歸和分類。回歸包括4個(gè)卷積層、批量歸一化層和Mish層。分類包含2個(gè)卷積層，遵循Autoassign， 并為回歸中的每個(gè)錨點(diǎn)使用對(duì)象性預(yù)測(cè)來證明錨點(diǎn)是否包含對(duì)象。分類得分的最終預(yù)測(cè)是通過將分類輸出與對(duì)象性預(yù)測(cè)相乘得到的。校正注意力模塊如圖6（d）所示，包括局部灰度校正模塊、校正注意力網(wǎng)絡(luò)和異常值分割模塊。輸入圖像經(jīng)過局部灰度校正得到一個(gè)增強(qiáng)圖像，然后經(jīng)過校正注意力網(wǎng)絡(luò)的編碼部分得到特征映射C5′，對(duì)其執(zhí)行以下3個(gè)操作：1）與YOLOF主干網(wǎng)絡(luò)輸出的特征C5相加；2）經(jīng)過空間注意力模型得到一個(gè)通道數(shù)為1的特征，再與YOLOF編碼器部分的輸出相乘；3）繼續(xù)執(zhí)行注意力網(wǎng)絡(luò)的解碼器，但是這一操作只在訓(xùn)練時(shí)執(zhí)行，驗(yàn)證時(shí)不執(zhí)行。最后，在訓(xùn)練時(shí)用到的真實(shí)數(shù)據(jù)采用異常值分割模塊來獲取，訓(xùn)練主干網(wǎng)絡(luò)的模糊缺陷檢測(cè)能力。

3.3 復(fù)合縮放的網(wǎng)絡(luò)構(gòu)建方法

深度型缺陷先通過深度設(shè)定閾值進(jìn)行二值化處理，二值化后的缺陷區(qū)域?qū)?yīng)的位置如圖8（a）所示，通過圖像截取后的子圖，經(jīng)過分類網(wǎng)絡(luò)模型得到具體類別。采用復(fù)合縮放的網(wǎng)絡(luò)構(gòu)建方法，使用系數(shù)調(diào)整3個(gè)參數(shù)值（深度、寬度、輸入圖像分辨率），增加網(wǎng)絡(luò)的深度，去捕獲圖像中更多像素的特征，如圖8（b）所示。

EfficientNet-B4網(wǎng)絡(luò)模型的整體結(jié)構(gòu)如圖9所示，其中檢測(cè)流程中的分類模型采用基于EfficientNet的網(wǎng)絡(luò)結(jié)構(gòu)，通過遷移學(xué)習(xí)訓(xùn)練進(jìn)行調(diào)整。以實(shí)際使用的EfficientNet-B4為例（該系列網(wǎng)絡(luò)中速度和準(zhǔn)確度較為均衡的一款模型結(jié)構(gòu)），進(jìn)行遷移學(xué)習(xí)時(shí)，凍結(jié)Block1-Block4，利用管材表面缺陷樣本數(shù)據(jù)訓(xùn)練優(yōu)化Block5-Block7的網(wǎng)絡(luò)參數(shù)，利用初始的低層次的圖像特征，調(diào)優(yōu)高層次的圖像特征以適應(yīng)管材缺陷的識(shí)別。在網(wǎng)絡(luò)頭部部分，以管材缺陷類別，重新構(gòu)建模型的輸出頭，輸出頭采用SoftMax層得到各類別缺陷的置信度信息。

4 應(yīng)用效果

4.1 實(shí)際缺陷檢測(cè)分析

通過缺陷檢出分割處理，將圖像根據(jù)三維尺寸和灰度明顯區(qū)域、邊界明顯區(qū)域、紋理明顯區(qū)域進(jìn)行提取，并定義可疑待選的缺陷區(qū)域，快速減少處理的圖像數(shù)據(jù)大小，然后將備選的區(qū)域送入分類器模型進(jìn)行最終的類別判定，類別判定采用置信概率值的方式，可提供置信度的區(qū)域類別顯示。檢測(cè)結(jié)果如圖10所示，其中圖10（a）～（d）為缺陷的二維圖像，圖10（e）～（h）為缺陷點(diǎn)云圖渲染的3D圖。

本文設(shè)計(jì)的方法可以同時(shí)輸入二維圖像和三維點(diǎn)云數(shù)據(jù)進(jìn)行檢測(cè)，對(duì)比的同類型方法（Yolov3、Yolov5）由于網(wǎng)絡(luò)結(jié)構(gòu)僅使用二維圖像的輸入，實(shí)驗(yàn)得到的缺陷檢出率（式（1））和缺陷誤檢率（式（2））見表1。由表中數(shù)據(jù)可分析得到，對(duì)于凹坑、青線兩類缺陷，由于二維圖像特征不明顯，使用Yolov3和Yolov5方法檢出率不高，本文方法由于使用了三維圖像特征，使凹坑、青線缺陷檢出率大幅提高；對(duì)于外折、軋疤缺陷，其二維圖像中的特征足以支撐模型檢測(cè)，所以在檢出率上本文方法提升不明顯，但由于使用了三維數(shù)據(jù)，有效控制了外折、軋疤缺陷的誤報(bào)，對(duì)誤報(bào)率指標(biāo)有積極作用。

4.2 本系統(tǒng)現(xiàn)場(chǎng)實(shí)際應(yīng)用

目前系統(tǒng)已經(jīng)投用在國(guó)內(nèi)某個(gè)無縫鋼管廠，如圖11所示。系統(tǒng)采用6套3D傳感器，相機(jī)分辨率為2 560×832，采集速率根據(jù)現(xiàn)場(chǎng)輥道速度進(jìn)行自動(dòng)調(diào)整，深度檢測(cè)精度在0.2 mm， 可有效檢測(cè)出0.2 mm以上的缺陷。檢測(cè)系統(tǒng)軟件界面如圖12所示，不同的缺陷以不同的顏色來進(jìn)行顯示，同時(shí)顯示二維和三維缺陷圖片，便于操作工判斷。操作工根據(jù)需要可選擇周期性缺陷顯示、單個(gè)缺陷信息顯示，便于對(duì)檢測(cè)缺陷的類型、位置、大小及圖像進(jìn)行人工識(shí)別，并與檢測(cè)缺陷的自動(dòng)判別結(jié)果進(jìn)行對(duì)比分析。

系統(tǒng)對(duì)缺陷的識(shí)別檢出主要依靠大量分類準(zhǔn)確的樣本圖像，通過二維數(shù)據(jù)和三維數(shù)據(jù)的聯(lián)合識(shí)別可有效提高樣本的可靠性。算法程序根據(jù)模型處理圖像上的一塊區(qū)域，準(zhǔn)確提取疑似缺陷區(qū)域，并根據(jù)錄入的缺陷類別進(jìn)行準(zhǔn)確分類。系統(tǒng)連續(xù)幾個(gè)月的本系統(tǒng)檢測(cè)數(shù)據(jù)與人工和漏磁探傷機(jī)進(jìn)行數(shù)據(jù)對(duì)比，分別從報(bào)傷管數(shù)、漏檢、缺陷過檢數(shù)、缺陷過檢率等數(shù)據(jù)分析。其中：報(bào)傷管數(shù)為報(bào)警有缺陷的鋼管數(shù)量；漏檢為鋼管表面有缺陷，但是沒有檢出；缺陷過檢數(shù)為檢測(cè)出的缺陷并不影響鋼管質(zhì)量，此類缺陷不需要檢出。

缺陷過檢率：

E=（Td-Tm）/Tp×100%（3）

式中：E為缺陷過檢率，Td為本系統(tǒng)報(bào)傷管數(shù)，Tm為漏磁探傷機(jī)報(bào)傷管數(shù)，Tp為對(duì)比鋼管總數(shù)。

檢測(cè)效果對(duì)比見表2。對(duì)開放性缺陷可實(shí)現(xiàn)不漏檢，且過檢率控制在2%左右。通過以上對(duì)比發(fā)現(xiàn)，本系統(tǒng)對(duì)開放性缺陷的檢出率大于99%，且過檢率控制在2%左右，是實(shí)現(xiàn)非接觸式測(cè)量的有利手段。目前漏磁探傷機(jī)是鋼管廠的標(biāo)準(zhǔn)產(chǎn)品，成熟度高，但是對(duì)于橫向缺陷以及“寬深比”比較大的缺陷則誤檢率很高，同時(shí)漏磁探傷機(jī)需要每4 h標(biāo)定1次，或者換鋼管規(guī)格時(shí)都需要標(biāo)定，使用起來很復(fù)雜，且成本也非常高。目前通過機(jī)器視覺的檢測(cè)手段不僅缺陷檢出率高，同時(shí)安裝方便簡(jiǎn)單，成本相對(duì)較低，且使用簡(jiǎn)單，滿足大多數(shù)鋼管廠的使用要求，符合智能制造的統(tǒng)一

思想。

5 結(jié)論

1）系統(tǒng)周向布置6個(gè)3D相機(jī)采集含有鋼管表面深度信息的點(diǎn)云數(shù)據(jù)，分析點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)缺陷的三維檢測(cè)。使用復(fù)合縮放的網(wǎng)絡(luò)構(gòu)建方法，通過調(diào)整圖像深度、寬度、輸入圖像分辨率，增加網(wǎng)絡(luò)的深度，去捕獲圖像中更多像素的特征，對(duì)于復(fù)雜背景下缺陷的分類準(zhǔn)確率有更大的提高，對(duì)現(xiàn)場(chǎng)的缺陷識(shí)別率可以達(dá)到95%以上。二維三維融合檢測(cè)，代替?zhèn)鹘y(tǒng)的人工和二維檢測(cè)，三維信息是二維信息很好的補(bǔ)充，解決二維系統(tǒng)檢出率低、識(shí)別率低等問題，使得該系統(tǒng)在鋼廠智能制造方面發(fā)揮更大的作用。

2）本系統(tǒng)只針對(duì)圓鋼生產(chǎn)線，對(duì)異型鋼，如H型鋼、螺紋鋼等產(chǎn)線則缺乏一定經(jīng)驗(yàn)。在本系統(tǒng) 研究基礎(chǔ)上，向異型鋼以及高速（速度大于20 m/s）的生產(chǎn)線作進(jìn)一步研究。

本文摘自《冶金自動(dòng)化》2024年第1期