繆徐超 張旭 徐洋 余前溪 程凱強(qiáng)
摘要:針對(duì)人工檢測(cè)金屬表面缺陷效率低、主觀意識(shí)強(qiáng)、無(wú)法長(zhǎng)時(shí)間工作等缺點(diǎn),提出一種基于支持向量機(jī)監(jiān)督檢測(cè)、分類以及測(cè)量的金屬表面缺陷的方法,并使用Matlab軟件設(shè)計(jì)一個(gè)圖形用戶界面(GUI),便于檢測(cè)人員使用。研究中先對(duì)工廠采集的圖像進(jìn)行Gabor濾波和對(duì)比度增強(qiáng)的前處理。然后使用方向梯度直方圖(HOG)和灰度共生矩陣(GLCM)進(jìn)行特征提取,為后續(xù)提高檢測(cè)準(zhǔn)確率打下基礎(chǔ)。最后對(duì)于每種缺陷類型都采用270張圖片進(jìn)行模型訓(xùn)練,利用訓(xùn)練好的模型對(duì)測(cè)試圖片進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,最終3種缺陷類型的總正確率為88.9%,該檢測(cè)方法能夠有效地檢測(cè)出金屬表面缺陷。
關(guān)鍵詞:表面缺陷檢測(cè);支持向量機(jī);圖片前處理;特征提取
【Abstract】Aimingattheshortcomingsofmanualdetectionofmetalsurfacedefects,suchaslowefficiency,strongsubjectiveawareness,andinabilitytoworkforalongtime,amethodbasedonSupportVectorMachinesuperviseddetection,classificationandmeasurementofmetalsurfacedefectsisproposed,andMatlabsoftwareisusedforGUIpackagingforeasydetectionofthepersonnel.TheresearchfirstperformsGaborfilteringandcontrastenhancementpre-processingontheimagescollectedbythefactory,thenusesdirectionalgradienthistogram(HOG)andgraylevelco-occurrencematrix(GLCM)forfeatureextractiontolaythefoundationforsubsequentimprovementofdetectionaccuracy.Finally,foreachdefecttype,270picturesareusedformodeltraining,andthetrainedmodelisusedtotestthetestpictures.Experimentalresultsshowthatthefinaltotalaccuracyofthethreetypesofdefectsis88.9%,andthisdetectionmethodcaneffectivelydetectmetalsurfacedefects.
【Keywords】surfacedefectdetection;SupportVectorMachines;picturepre-processing;featureextraction
作者簡(jiǎn)介:繆徐超(1996-),男,碩士研究生,主要研究方向:切削原理與應(yīng)用;張旭(1978-),女,博士,教授,主要研究方向:圖像處理和切削原理與應(yīng)用;徐洋(1995-),男,碩士研究生,主要研究方向:圖像處理;余前溪(1994-),男,碩士研究生,主要研究方向:切削原理與應(yīng)用;程凱強(qiáng)(1996-),男,碩士研究生,主要研究方向:圖像處理。
0引言
金屬表面缺陷檢測(cè)在許多工業(yè)領(lǐng)域(如飛機(jī)機(jī)身、核電站蒸汽發(fā)生管道和鋼橋等)中非常重要。目前,有關(guān)金屬表面缺陷的機(jī)器學(xué)習(xí)檢測(cè)技術(shù)發(fā)展迅速。機(jī)器學(xué)習(xí)檢測(cè)是采用圖像處理的方法對(duì)金屬表面進(jìn)行分析處理,檢測(cè)金屬表面是否有缺陷。對(duì)表面有缺陷的產(chǎn)品和正在使用中的零件,予以去除和更換,避免在后續(xù)的使用過程中造成安全事故。在此背景下,過去幾十年里大量學(xué)者致力于研究金屬表面缺陷檢測(cè)技術(shù)。
McCluskey等人[1]對(duì)金屬薄膜電容器表面缺陷的檢測(cè)方法進(jìn)行了研究并運(yùn)用于實(shí)際。研究中將檢測(cè)方法分為3步:進(jìn)行產(chǎn)品可靠性和成熟度分析;如果有可能,通過非破壞性分析檢測(cè)缺陷;開發(fā)電氣測(cè)試以篩除早期故障。Qi等人[2]為了對(duì)基于工業(yè)CT的金屬材料增材制造中內(nèi)部微小缺陷進(jìn)行精確檢測(cè),提出了一種基于CT圖像中微小缺陷灰度變化系數(shù)的金屬材料微小缺陷檢測(cè)的方法。實(shí)驗(yàn)結(jié)果表明,該缺陷檢測(cè)方法相對(duì)誤差控制在4%以內(nèi)。Feng等人[3]提出了一種基于高動(dòng)態(tài)范圍成像技術(shù)的缺陷檢測(cè)方法,解決了工業(yè)零件高反射面外觀檢測(cè)問題。智能工廠的創(chuàng)建開啟了一項(xiàng)研究,該研究通過分析從物聯(lián)網(wǎng)收集的數(shù)據(jù)來實(shí)時(shí)預(yù)測(cè)產(chǎn)品質(zhì)量。這項(xiàng)研究吸引了Yun等人[4]的注意,因此提出了一個(gè)基于視覺缺陷檢測(cè)系統(tǒng)來檢測(cè)金屬表面缺陷。該項(xiàng)研究提出了一種新的卷積變分自編碼器和卷積神經(jīng)網(wǎng)絡(luò)的缺陷分類算法用于金屬表面缺陷檢測(cè),使用從實(shí)際金屬生產(chǎn)線獲得的缺陷圖像進(jìn)行實(shí)驗(yàn),證明了該方法的良好性能。對(duì)于人工檢測(cè)金屬表面缺陷工作量大,效率低的情況。劉建春等人[5]在使用機(jī)器視覺對(duì)金屬表面缺陷檢測(cè)前,根據(jù)金屬零件表面反光的特點(diǎn)對(duì)圖像進(jìn)行有效的前處理,實(shí)驗(yàn)結(jié)果表明,經(jīng)過前處理的圖片能夠有效檢測(cè)出金屬邊緣缺陷。金閎奇等人[6]對(duì)于檢測(cè)金屬表面缺陷效率不高的問題,提出了一種多尺度的檢測(cè)方法。實(shí)驗(yàn)結(jié)果顯示,該方法檢測(cè)單張圖片用時(shí)約為13ms。王俊強(qiáng)等人[7]以O(shè)penCV軟件為基礎(chǔ),開發(fā)了帶鋼表面缺陷檢測(cè)系統(tǒng),克服了采用人工檢測(cè)方式的效率低、帶有主觀意見、無(wú)法持續(xù)長(zhǎng)時(shí)間工作等缺點(diǎn)。Zhang等人[8]用微波無(wú)損檢測(cè)技術(shù)對(duì)厚涂層下缺陷的形狀和尺寸進(jìn)行了實(shí)驗(yàn)研究。使用主成分分析算法來提高方法的分辨率,對(duì)已知缺陷的鋼板和未知缺陷的涂層鋼板在不同涂層厚度下進(jìn)行了測(cè)試。結(jié)果表明,該方法可以提高涂層鋼板缺陷檢測(cè)能力。Layouni等人[9]為解決人工分析從金屬缺陷的磁掃描中收集到的圖案的大量數(shù)據(jù)比較困難的問題,提出了一種自動(dòng)分析的方法,通過使用自適應(yīng)小波算法來檢測(cè)和估計(jì)金屬缺陷的長(zhǎng)度。該方法效率高、精度高,適用于多種類型的缺陷形狀。
基于此,本文提出了基于支持向量機(jī)的缺陷檢測(cè)、分類和測(cè)量,該技術(shù)識(shí)別缺陷效率高,錯(cuò)誤率小。使用MatlabGUI進(jìn)行了封裝,方便金屬缺陷檢測(cè)人員使用。
1圖像前處理和特征提取
1.1圖像前處理
在對(duì)金屬表面缺陷圖像進(jìn)行檢測(cè)、分類和測(cè)量之前要先進(jìn)行前處理,因?yàn)楣I(yè)環(huán)境比較復(fù)雜,光線、室溫、空氣濕度等都會(huì)對(duì)攝像頭成像的圖片造成一定的噪聲干擾。本次研究采用了2個(gè)方法對(duì)圖片進(jìn)行前處理:
(1)對(duì)比度增強(qiáng)。在很多有關(guān)圖像處理的算法中,對(duì)比度增強(qiáng)是后續(xù)處理的基礎(chǔ),有利于更好地區(qū)分前景和背景對(duì)象,提高識(shí)別的正確率,因此是很重要的一步,本文將攝像頭采集的圖像進(jìn)行灰度增強(qiáng),具體方法是:
1.2特征提取
在利用SVM進(jìn)行金屬表面缺陷圖片的分類檢測(cè)前,特征提取是獲得較好檢測(cè)結(jié)果的基礎(chǔ),對(duì)于圖像的檢測(cè)、分類和測(cè)量起著至關(guān)重要的作用。這里對(duì)前處理好的圖像進(jìn)行了2次特征提取,擬采用方法和設(shè)計(jì)流程如下。
(1)方向梯度直方圖(HOG)特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測(cè)的特征描述子,通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征,可以將局部目標(biāo)的表象和形狀通過梯度方向分布描述出來。
①每個(gè)像素點(diǎn)的梯度通過2個(gè)算子,即:(-1,0,1)和(-1,0,1)轉(zhuǎn)置進(jìn)行計(jì)算。
②Bin數(shù)量采用9,每個(gè)通道為40°??梢缘玫紺ell單元的方向直方圖,其中Cell尺寸是4*4。
③本文Block尺寸為2*2,將Cell單元合并組合為更大的block區(qū)間,并在block做歸一化,最終特征的長(zhǎng)度是86436。
(2)GLCM特征,即灰度共生矩陣特征。能反映圖像灰度關(guān)于方向、相鄰間隔、變化幅度等綜合信息,是分析圖像的局部模式和排列規(guī)則的基礎(chǔ)。由于GLCM可以產(chǎn)生14種特征,而考慮到減少計(jì)算量,減少冗余特征,本文采用了對(duì)比度、相關(guān)、能量、均勻性四個(gè)特征。通過在0°、45°、90°、135°四個(gè)方向進(jìn)行計(jì)算,求出4個(gè)方向矩陣的特征值后,將4個(gè)特征值的平均值作為最終特征值共生矩陣。最終特征的長(zhǎng)度是80。
2支持向量機(jī)
在對(duì)圖像進(jìn)行前處理和特征提取后得到有效的圖像特征,若再能設(shè)計(jì)一個(gè)好的檢測(cè)器就顯得尤為重要。支持向量機(jī)是一種描述響應(yīng)與一個(gè)或多個(gè)描述符之間非線性關(guān)系的方法。在解決小樣本、非線性和高位模式識(shí)別問題上體現(xiàn)出優(yōu)勢(shì)。與響應(yīng)具有正態(tài)分布的簡(jiǎn)單線性回歸或指數(shù)回歸不同,支持向量機(jī)的響應(yīng)可以是正態(tài)、二項(xiàng)或泊松。支持向量機(jī)采用函數(shù)f進(jìn)行線性描述。在后續(xù)的預(yù)測(cè)分析中,響應(yīng)具有正態(tài)分布。支持向量機(jī)正則化是一種通過附加懲罰項(xiàng)來限制模型復(fù)雜度的收縮方法,可以識(shí)別重要的描述符,選擇描述符,并在模型公式中產(chǎn)生更少的系數(shù)。在支持向量機(jī)擬合回歸中,首先引入非線性映射x,將其映射到m維特征空間。然后在特征空間中構(gòu)建線性模型,得到:
3圖像檢測(cè)結(jié)果及分析
利用SVM進(jìn)行圖像檢測(cè)主要分為2步:
(1)SVM訓(xùn)練,導(dǎo)入訓(xùn)練圖片,進(jìn)行圖像前處理和特征提取,并輸入模型進(jìn)行訓(xùn)練。
(2)SVM檢測(cè),本文采用SVM進(jìn)行金屬表面缺陷的檢測(cè)。同樣地,對(duì)測(cè)試圖片進(jìn)行前處理和特征提取,輸入訓(xùn)練好的模型及自動(dòng)輸出預(yù)測(cè)結(jié)果。GUI界面如圖1所示。
在本次模型訓(xùn)練過程中,對(duì)于每組缺陷,研究中都采用270張樣本進(jìn)行訓(xùn)練。在檢測(cè)過程中對(duì)30張圖片進(jìn)行缺陷的檢測(cè),最終3種損傷類型的總識(shí)別正確率為88.9%。
金屬表面氧化皮缺陷圖片檢測(cè)結(jié)果如圖2所示。GUI界面檢測(cè)結(jié)果中顯示出缺陷種類為氧化皮,并顯示有4處缺陷。
劃痕檢測(cè)結(jié)果如圖3所示,結(jié)果中顯示出缺陷種類為劃痕,并顯示共有2條劃痕。
Fig.3Defectdetectionresultsofscratch
斑點(diǎn)檢測(cè)結(jié)果如圖4所示,結(jié)果中表明缺陷的種類為斑點(diǎn),并顯示出斑點(diǎn)缺陷所占圖片中金屬面積的2.9442%。
Fig.4Defectdetectionresultsofspots
4結(jié)束語(yǔ)
本文采用支持向量機(jī)的方法對(duì)金屬表面缺陷圖片進(jìn)行了分類和測(cè)量。在檢測(cè)之前對(duì)采集的圖片進(jìn)行了對(duì)比度增強(qiáng)和Gabor濾波預(yù)處理,降低了拍攝圖片時(shí)復(fù)雜工業(yè)環(huán)境產(chǎn)生的噪聲。并進(jìn)行了特征提取,保證了較高的SVM分類識(shí)別率。實(shí)驗(yàn)結(jié)果表明,使用本文提出GUI界面可以方便快速地取得較好的金屬表面缺陷分類測(cè)量效果。
參考文獻(xiàn)
[1]MCCLUSKEYFP,LINM,MENGOTTIE.Eliminatinginfantmortalityinmetallizedfilmcapacitorsbydefectdetection[J].MicroelectronicsReliability,2014,54(9-10):1818-1822.
[2]QIZicheng,NIPeijun,JIANGWei.QuantitativedetectionofminordefectsinmetalmaterialsbasedonvariationcoefficientofCTimage[J].Optik,2020,223:165269.
[3]FENGWei,LIUHongdi,ZHAODaxing,etal.Researchondefectdetectionmethodforhigh-reflective-metalsurfacebasedonhighdynamicrangeimaging[J].Optik,2020,206:164349.
[4]YUNJP,SHINWC,KOOG,etal.Automateddefectinspectionsystemformetalsurfacesbasedondeeplearninganddataaugmentation[J].JournalofManufacturingSystems,2020,55:317-324.
[5]劉建春,林海森,黃勇杰,等.基于機(jī)器視覺的金屬邊緣細(xì)微缺陷檢測(cè)方法的研究[J].制造技術(shù)與機(jī)床,2018(11):137-140.
[6]金閎奇,陳新度,吳磊.基于特征金字塔的多尺度金屬表面缺陷檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù),2020(8):97-100.
[7]王俊強(qiáng),張業(yè)宏,馬沖,等.基于機(jī)器視覺的帶鋼表面缺陷檢測(cè)系統(tǒng)[J].邢臺(tái)職業(yè)技術(shù)學(xué)院學(xué)報(bào),2020,37(3):78-82.
[8]ZHANGHong,GAOBin,TIANGuiyun,etal.MetaldefectssizinganddetectionunderthickcoatingusingmicrowaveNDT[J].NDT&EInternational,2013,60:52-61.
[9]LAYOUNIM,HAMDIMS,TAHARS.Detectionandsizingofmetal-lossdefectsinoilandgaspipelinesusingpattern-adaptedwaveletsandmachinelearning[J].AppliedSoftComputing,2017,52:247-261.
[10]張立新.基于表面缺陷檢測(cè)的金屬圖像識(shí)別[J].粘接,2019,40(8):121-123.