基于機(jī)器視覺的焊縫缺陷識(shí)別方法研究

張 思，石 峰

(1.中石化工程質(zhì)量監(jiān)測有限公司 ， 北京 100020 ； 2.洛陽欣隆工程檢測有限公司 , 河南 洛陽 471012)

目前，焊接技術(shù)被廣泛應(yīng)用于航空航天、機(jī)械、核能、船舶及石油化工等領(lǐng)域[1]。在焊接過程中，由于焊接參數(shù)不穩(wěn)定、外界環(huán)境變化以及人為因素的影響，會(huì)導(dǎo)致焊縫中出現(xiàn)各種缺陷。如今，多種無損檢測方法中X射線檢測以清潔、方便、直觀等特點(diǎn)已成為焊縫缺陷檢測的重要方法[2]。隨著計(jì)算機(jī)技術(shù)的發(fā)展，基于圖像處理技術(shù)的焊縫缺陷檢測將底片評(píng)定的工作交由機(jī)器來完成，大幅降低檢測人員的工作量，同時(shí)提高了工作效率，并降低了誤判漏判的可能。目前，利用圖像處理方法對(duì)焊縫缺陷識(shí)別是當(dāng)下的研究熱點(diǎn)。本文對(duì)缺陷識(shí)別領(lǐng)域的研究方法以及成果進(jìn)行了總結(jié)，分別介紹了焊縫缺陷圖像的預(yù)處理及缺陷識(shí)別的相關(guān)內(nèi)容。

1 焊縫缺陷圖像的預(yù)處理

焊縫射線原始圖像在采集過程中，由于環(huán)境及設(shè)備因素影響導(dǎo)致圖像噪聲較多。如果不對(duì)原始圖像進(jìn)行預(yù)處理而直接對(duì)圖像進(jìn)行分割與識(shí)別，將會(huì)產(chǎn)生較多的偽缺陷，對(duì)真正缺陷的檢出造成影響。因此，有必要對(duì)原始圖像進(jìn)行預(yù)處理。

1.1 圖像降噪

濾波法是對(duì)焊接圖像進(jìn)行噪聲抑制的最常用方法，可分為頻域?yàn)V波與空域?yàn)V波。頻域?yàn)V波是在一個(gè)頻域內(nèi)乘以濾波函數(shù)，運(yùn)算量大，圖像灰度區(qū)間窄、灰度小，限制了其應(yīng)用?？沼?yàn)V波作為最常用的降噪方法，是使用模板在圖像空間進(jìn)行鄰域操作?？沼?yàn)V波又可分為中值濾波與鄰域?yàn)V波，其優(yōu)點(diǎn)是運(yùn)算速度快，但會(huì)導(dǎo)致圖像部分邊緣細(xì)節(jié)丟失。濾波前后的對(duì)比見圖1[3]。

圖1 焊縫圖像濾波前后對(duì)比

申俊琦等[4提出焊縫圖像自適應(yīng)中值濾波的方法，對(duì)焊縫圖像中的噪聲特別是大噪聲的去除效果較好。石涵等[5]利用圖像噪聲方差與灰度值的關(guān)系進(jìn)行局部噪聲方差估算，提出自適應(yīng)鄰域?yàn)V波法，在去除圖像噪聲的同時(shí)較好地保存了焊縫邊緣與缺陷邊緣細(xì)節(jié)。

1.2 圖像增強(qiáng)

原始圖像經(jīng)過降噪處理后會(huì)造成圖像灰度亮度較窄、缺陷不清晰。因此，還需要對(duì)圖像進(jìn)行增強(qiáng)處理。增強(qiáng)處理后的圖像見圖2。

圖2 焊縫圖像灰度變換前后對(duì)比圖

常用的圖像增強(qiáng)方法有灰度變換與直方圖均衡化?；叶茸儞Q可分為線性變換與非線性變換。線性變換又可分為全域線性變換與分段線性變換。全域線性變換對(duì)全部像素同時(shí)乘以相同系數(shù)，對(duì)全部像素做同倍數(shù)的增大或減小。分段變換對(duì)圖像中感興趣區(qū)域的灰度進(jìn)行拉伸。非線性變換是按照要求的非線性變換對(duì)圖像進(jìn)行變換。指數(shù)函數(shù)、對(duì)數(shù)函數(shù)及平方函數(shù)等非線性函數(shù)是非線性灰度變換常采用的函數(shù)。

張志偉等[6]提出一種基于冪律灰度變換的改進(jìn)型分段冪律曲線，最大程度對(duì)灰度中段進(jìn)行拉伸，對(duì)始末段灰度拉伸較小，利用Otsu算法提取焊縫邊緣閾值并以閾值作為分段曲線的分段點(diǎn)，把焊縫邊緣信息集中在曲線中段，有效增強(qiáng)了焊縫邊緣對(duì)比度。張翔松等[7]提出了一種非線性增強(qiáng)方法，可自動(dòng)增強(qiáng)圖像焊縫區(qū)，有效增強(qiáng)了環(huán)焊縫射線圖像。

直方圖均衡化是使原始直方圖變成均勻分布的方法，也稱為灰度均衡。直方圖經(jīng)均衡化后圖像呈近似均勻分布，具有離散的灰度。直方圖均衡化會(huì)擴(kuò)大圖像的灰度動(dòng)態(tài)范圍及量化層間隔，減少灰度級(jí)別，可能會(huì)導(dǎo)致偽輪廓的出現(xiàn)。圖像目標(biāo)處與背景過渡處像素點(diǎn)較少，均衡化可把較少像素的灰度合并變成背景點(diǎn)或目標(biāo)點(diǎn)，使邊界處變得陡峭。目標(biāo)處與背景過渡處像素點(diǎn)較多，均衡化會(huì)增加像素灰度間的差距，增大背景和目標(biāo)的對(duì)比度。

王明泉等[8]對(duì)原始圖像進(jìn)行全局直方圖均衡，運(yùn)用局部反差增強(qiáng)將圖像按水平集分層，對(duì)每層進(jìn)行降噪及反差增強(qiáng)，該法對(duì)圖像的增強(qiáng)與降噪的效果較好。韓得水等[9]對(duì)圖像進(jìn)行同態(tài)濾波分頻處理，將低頻分量進(jìn)行全局直方圖均衡化，最后將高頻分量與低頻分量進(jìn)行線性融合，處理后的圖像突出了邊緣信息，圖像更加明亮。王磊[10]采用小波變換對(duì)圖像進(jìn)行多尺度分解，閾值去除圖像噪聲，采用直方圖均衡對(duì)圖像進(jìn)行增強(qiáng)并對(duì)標(biāo)準(zhǔn)直方圖法進(jìn)行改進(jìn)，最后采用同態(tài)濾波對(duì)圖像亮度進(jìn)行處理，獲得了良好的視覺效果且對(duì)噪聲具有較強(qiáng)的魯棒性。

2 基于機(jī)器視覺焊接缺陷檢測

2.1 基于機(jī)器學(xué)習(xí)的焊接缺陷檢測

2.1.1焊縫缺陷分割

大多數(shù)的缺陷識(shí)別方法需要對(duì)缺陷的特征進(jìn)行描述，因此要求對(duì)缺陷進(jìn)行準(zhǔn)確分割。 缺陷分割是根據(jù)缺陷目標(biāo)區(qū)域變化特點(diǎn)，將焊縫圖像中的缺陷目標(biāo)提取出來，是焊縫缺陷檢測的研究熱點(diǎn)。

目前學(xué)者已對(duì)焊接缺陷的分割算法進(jìn)行了大量研究。邵家鑫等[11]對(duì)雙面焊焊接缺陷進(jìn)行研究，采用基于逐列自適應(yīng)二值化與改進(jìn)霍夫變換分割算法，提升了焊縫重疊區(qū)域邊緣的檢測成功率，對(duì)微弱線缺陷的檢出有著較好效果。殷鷹等[12]提出一種基于主成分分析的缺陷分割算法，對(duì)對(duì)比度低、噪聲嚴(yán)重的焊縫缺陷有著較好的分割效果。趙貴[13]運(yùn)用主成分分析法降特征向量維數(shù)，針對(duì)圖像特征提出3×3窗口的分割法，取得了良好的分割效果。高煒欣等[14]提出一種基于大津法的缺陷分割算法，在無人工設(shè)定初始分割閾值時(shí)有著較高的分割成功率。梁硼等[15]采用B樣條曲線擬合列灰度曲線，提取曲線極值點(diǎn)，通過定義的波動(dòng)值及邊界閾值進(jìn)行極值點(diǎn)集合的修正，最后運(yùn)用數(shù)學(xué)形態(tài)學(xué)及中值濾波對(duì)缺陷進(jìn)行修正，解決了圖像缺陷提取困難的問題。高煒欣等[16]將缺陷視為噪聲，用密度聚類方法分割焊縫缺陷，成功率達(dá)95%。郝利華等[17]對(duì)非極大值抑制后的梯度直方圖利用像素最值梯度方差自適應(yīng)來獲取缺陷邊緣閾值，該算法在有效抑制噪聲的同時(shí)也避免了偽缺陷的產(chǎn)生。由以上研究可知，焊接缺陷圖像分割算法的構(gòu)造形式、融合信息形式多樣，較易獲得函數(shù)最優(yōu)解。但是假設(shè)條件以及模型參數(shù)較多，模型較為復(fù)雜[19]。

2.1.2焊縫缺陷的特征值提取

焊縫缺陷射線圖像中的缺陷呈現(xiàn)出不同的形狀，特征提取是在眾多特征中提取有用的特征，用于圖像缺陷的識(shí)別。李曄等[18]選用細(xì)長度、方向性、緊湊度、離心率、位置以及灰度分布特征描述算子對(duì)焊縫缺陷進(jìn)行特征描述。

由于焊縫缺陷形態(tài)復(fù)雜，進(jìn)行特征描述時(shí)選擇單一的特征參數(shù)可能無法對(duì)焊縫缺陷進(jìn)行準(zhǔn)確全面的描述，一般情況會(huì)采用多個(gè)特征參數(shù)對(duì)缺陷進(jìn)行檢測。缺陷特征選擇時(shí)，特征選擇數(shù)量也要適宜，選擇過多會(huì)增加計(jì)算難度，影響檢測效率；選擇過少將會(huì)降低缺陷的識(shí)別準(zhǔn)確率。

2.1.3焊縫缺陷分類

目前，缺陷分類的基本方法是設(shè)計(jì)機(jī)器學(xué)習(xí)分類器，利用所選取的特征向量學(xué)習(xí)由輸入樣本到輸出類別的判別函數(shù)，把被識(shí)別的缺陷歸為一類。常用的算法有BP神經(jīng)網(wǎng)絡(luò)算法、支持向量機(jī)(Support Vector Machine，SVM)算法以及主要成分分析(Principal Component Analysis，PCA)算法等。

BP算法是按誤差逆?zhèn)鞑ニ惴ㄟM(jìn)行訓(xùn)練的多層前饋網(wǎng)絡(luò)，可實(shí)現(xiàn)輸入-輸出的任意非線性映射關(guān)系，無需描述映射關(guān)系的數(shù)學(xué)方程，是處理不確定函數(shù)的重要工具。其本質(zhì)為求取誤差函數(shù)最小值，采用最速下降法，通過反向傳播調(diào)整網(wǎng)絡(luò)的權(quán)值與閾值，使網(wǎng)絡(luò)誤差平方和最小。具有較強(qiáng)的自適應(yīng)性、魯棒性及容錯(cuò)能力。莊志堅(jiān)等[19]以圖像處理技術(shù)為基礎(chǔ)，通過Matlab建立了基于BP神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別系統(tǒng)，實(shí)現(xiàn)缺陷分類。高嵐等[20]在連接權(quán)值系數(shù)中以分布式存儲(chǔ)神經(jīng)網(wǎng)絡(luò)信息，解決了圖像輸入時(shí)的噪聲和部分圖像丟失問題，可較準(zhǔn)確地識(shí)別焊縫缺陷。

SVM算法基本思路為準(zhǔn)確劃分訓(xùn)練數(shù)據(jù)集時(shí)分離出間隔最大的超平面。利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，將樣本特征點(diǎn)所在低維輸入空間映射到高維空間，從而達(dá)到分類的目的。蔡曉龍等[21]利用SVM算法進(jìn)行缺陷檢測，運(yùn)用PSO算法優(yōu)化SVM模型，平均分類準(zhǔn)確率達(dá)98%。李寧等[22]運(yùn)用基于分段分形紋理分析法提取出焊縫缺陷特征值，將特征值輸入基于SVM的焊縫缺陷分類器，缺陷種類識(shí)別準(zhǔn)確率達(dá)97.5%。

PCA算法的基礎(chǔ)為Kauhunen-Loeve變換，借助正交變換用更少的特征取代原特征，新特征是原特征的線性組合，使樣本方差最大化。在變換時(shí)可獲得數(shù)據(jù)的固有變異性，發(fā)現(xiàn)數(shù)據(jù)模式，還可有效去除噪聲。王欣等[23]通過PCA對(duì)像素矩陣進(jìn)行主元分析并結(jié)合模糊C均值聚類算法提高對(duì)缺陷識(shí)別率，對(duì)線形、圓形缺陷平均識(shí)別率達(dá)90.93%。高煒欣等[24]將PCA思想引入圓形與線形缺陷分類，大幅提高了運(yùn)算速度，線形缺陷識(shí)別率達(dá)98%，圓形缺陷識(shí)別率達(dá)89%～98.8%。缺陷提取的準(zhǔn)確性會(huì)對(duì)缺陷的識(shí)別產(chǎn)生重要影響，且焊接缺陷的分割與識(shí)別都需要算法來實(shí)現(xiàn)，算法的運(yùn)行時(shí)間較長，因此提高缺陷的分割準(zhǔn)確率及提高缺陷分割與識(shí)別的速度是目前缺陷檢測的研究熱點(diǎn)。

2.2 基于深度學(xué)習(xí)的焊縫缺陷識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)深度學(xué)習(xí)模型，是一種自動(dòng)提取圖像顏色、輪廓以及紋理等特征的模型。避免了復(fù)雜的特征提取過程，在扭曲不變性應(yīng)用上擁有良好的魯棒性。CNN主要包括卷積層、下采樣層以及全連接層。典型的CNN結(jié)構(gòu)見圖3[25]。

圖3 典型CNN結(jié)構(gòu)

CNN具有局部感受野、權(quán)值共享及下采樣的特點(diǎn)。局部感受野提取圖像基本特征信息，由下層神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層整合，對(duì)更抽象的特征進(jìn)行提取并擬合成網(wǎng)絡(luò)。權(quán)值共享采用相同的卷積核對(duì)圖像進(jìn)行卷積，可檢測不同位置的同類型特征，在具有較好平移不變性的同時(shí)減少了訓(xùn)練參數(shù)量，提高了模型的運(yùn)算速度。下采樣層可降低圖像分辨率，減少隱含層特征信息復(fù)雜程度，提高特征信息輸出時(shí)對(duì)平移翻轉(zhuǎn)以及其它變形的魯棒性。

余永維等[26]提出一種模擬視覺感知的深度學(xué)習(xí)網(wǎng)絡(luò)，使可疑缺陷區(qū)域灰度信號(hào)直接通過深度學(xué)習(xí)層次網(wǎng)絡(luò)，逐層挖掘可疑缺陷區(qū)域的本質(zhì)特征，利用徑向基網(wǎng)絡(luò)實(shí)現(xiàn)缺陷識(shí)別，缺陷的識(shí)別率超過91%。劉涵等[27]采用CNN與Softmax分類器結(jié)合的方法，以缺陷和噪聲為樣本對(duì)CNN進(jìn)行訓(xùn)練。姜洪權(quán)等[25]對(duì)經(jīng)典池化模型進(jìn)行改進(jìn)，將隨機(jī)森林與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，提高了缺陷的識(shí)別能力。陳立潮等[28]提出一種漸進(jìn)式CNN，避免了圖像的欠擬合與過擬合，降低了部分訓(xùn)練參數(shù)的優(yōu)化量，對(duì)焊縫缺陷的識(shí)別精度達(dá)到98%以上。樊丁等[29]采用超像素分割算法與改進(jìn)ELU激活函數(shù)構(gòu)建CNN模型，焊縫缺陷平均識(shí)別準(zhǔn)確率達(dá)97.8%。楊中雨等[30]采用灰度拉伸和中值排序?qū)D像進(jìn)行預(yù)處理，通過自適應(yīng)矩估計(jì)的方式避免算法陷入局部最優(yōu)解。夾渣、裂紋、燒穿、氣孔以及未熔合的平均識(shí)別準(zhǔn)確率達(dá)90.4%。李硯峰等[31]采用特征金字塔、減小網(wǎng)絡(luò)深度、引入跳躍連接卷積塊以及K-means算法改進(jìn)YOLO網(wǎng)絡(luò)，缺陷識(shí)別準(zhǔn)確率達(dá)94.9%，處理時(shí)間為19.58 ms。

基于CNN的方法增加了CNN的層數(shù)及與其他模型的融合，克服了原網(wǎng)絡(luò)結(jié)構(gòu)簡單、特征類別單一的不足。神經(jīng)網(wǎng)絡(luò)通過直接輸入的原始圖像進(jìn)行訓(xùn)練，自動(dòng)學(xué)習(xí)圖像的特征表達(dá)，從而實(shí)現(xiàn)圖像的識(shí)別分類，不需要缺陷提取與特征描述，排除人工特征提取中的不全面性與不完整性。但CNN方法的模型的參數(shù)量較大，模型訓(xùn)練時(shí)間較長。

3 結(jié)束語

隨著計(jì)算機(jī)技術(shù)的發(fā)展，智能化技術(shù)在焊縫無損檢測領(lǐng)域的應(yīng)用占比正逐漸增加。目前還有許多難點(diǎn)需要解決，未來的研究方向應(yīng)致力于以下幾點(diǎn)：①提高射線圖像的預(yù)處理質(zhì)量。焊縫圖像經(jīng)過降噪處理后會(huì)導(dǎo)致圖像的部分細(xì)節(jié)丟失，對(duì)后續(xù)的缺陷提取造成影響。今后應(yīng)對(duì)現(xiàn)有濾波算法進(jìn)行改進(jìn)或引入新的算法，在有效去除噪聲的同時(shí)盡可能保留圖像細(xì)節(jié)。②提高缺陷的提取準(zhǔn)確性及缺陷提取與識(shí)別的運(yùn)算速率。缺陷提取的準(zhǔn)確性會(huì)對(duì)缺陷的識(shí)別產(chǎn)生重要影響，目前的缺陷提取方法都存在些許不足。目前，缺陷提取與識(shí)別的運(yùn)算速率較慢，檢測效率較低，對(duì)現(xiàn)有得缺陷分割算法進(jìn)行改進(jìn)或引入新的算法，在保證檢測可靠性的同時(shí)，盡可能地提高運(yùn)算速率也是當(dāng)下的研究熱點(diǎn)。③深度學(xué)習(xí)方法的完善。未來的方向應(yīng)致力于研究出更精準(zhǔn)的學(xué)習(xí)框架，發(fā)揮出深度學(xué)習(xí)的強(qiáng)大性能，并降低學(xué)習(xí)模型的復(fù)雜程度，提高其實(shí)時(shí)性。