苑詩(shī)帥 焦冬梅 楊世豪 王同坤 楊化林
(青島科技大學(xué) 機(jī)電工程學(xué)院, 青島 266000)
在經(jīng)濟(jì)全球化和技術(shù)不斷進(jìn)步的大背景下,汽車行業(yè)得以迅速發(fā)展,它在提供便捷、給物資流動(dòng)帶來(lái)益處的同時(shí),也增加了交通事故的風(fēng)險(xiǎn)。 有數(shù)據(jù)顯示,在發(fā)生交通事故的諸多案例中由輪胎質(zhì)量問題引起的占40%[1],可見輪胎的生產(chǎn)質(zhì)量對(duì)于行車安全、生命安全非常重要。 而帶束層作為箍緊輪胎胎體的主要元件,其接頭質(zhì)量的好壞是直接影響輪胎整體性能的關(guān)鍵因素,因此需要采用精確、高效的缺陷檢測(cè)方法在輪胎胎胚貼合源頭上保證帶束層的高質(zhì)量貼合。
針對(duì)輪胎胎胚貼合缺陷檢測(cè),目前普遍采用人工檢測(cè)方法,受自身主觀因素的影響較大,無(wú)法保證檢測(cè)精度,因而不能滿足輪胎制造業(yè)的發(fā)展需求。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,利用射線技術(shù)來(lái)實(shí)現(xiàn)無(wú)損檢測(cè)開始廣泛應(yīng)用于工業(yè)領(lǐng)域[2],諸多研究者利用X 射線在穿過物體時(shí)被吸收程度的不同實(shí)現(xiàn)了包括帶束層在內(nèi)的多種缺陷檢測(cè)[3-5],并運(yùn)用傳統(tǒng)及改進(jìn)的深度學(xué)習(xí)算法來(lái)實(shí)現(xiàn)輪胎缺陷的自動(dòng)分類[6]。 該方法雖能夠達(dá)到理想的效果,但究其短板,檢測(cè)目標(biāo)為成品輪胎,對(duì)于出現(xiàn)缺陷的產(chǎn)品只能返工或降級(jí)處理,在增加生產(chǎn)成本的同時(shí),也造成了資源的浪費(fèi),有悖于綠色環(huán)保的生產(chǎn)理念。 且因X射線極具輻射性,不能用于流水線上產(chǎn)品的缺陷檢測(cè),所以開發(fā)適用于流水線上的胎胚帶束層缺陷檢測(cè)方法十分必要。
為實(shí)現(xiàn)輪胎帶束層貼合過程中的在線檢測(cè),本文采用一種線激光輔助的視覺檢測(cè)方法,利用線激光不易受自然光干擾的優(yōu)勢(shì),將輪胎帶束層接頭處的特征轉(zhuǎn)化為激光條紋的形狀特征,僅需處理激光條紋中的特征信息即可完成缺陷診斷,在減少冗余計(jì)算的同時(shí)提高了檢測(cè)效率和準(zhǔn)確性,檢測(cè)耗時(shí)及檢測(cè)結(jié)果的誤檢率和檢出率可以達(dá)到輪胎帶束層貼合線上的在線檢測(cè)要求。
根據(jù)生產(chǎn)實(shí)際,將帶束層貼合過程中接頭處常見的缺陷分為間隔過大和未對(duì)齊這兩種缺陷類型,如圖1 所示,其中d表示接頭未對(duì)齊時(shí)的偏移量,w表示接頭間距。 對(duì)應(yīng)的缺陷判定標(biāo)準(zhǔn)如表1 所示。
圖1 常見帶束層接頭缺陷類型及檢測(cè)內(nèi)容Fig.1 Common types of defects and their detection in belt joints
表1 帶束層接頭人工檢測(cè)標(biāo)準(zhǔn)Table 1 Manual inspection standard of tire belt joints
基于線激光輔助的輪胎帶束層接頭缺陷檢測(cè)方法流程包括圖像采集、圖像預(yù)處理、中心線及特征點(diǎn)的提取和檢測(cè)4 個(gè)部分。 在圖像采集階段,使用線激光發(fā)射器、光源和工業(yè)相機(jī)完成圖像獲取,測(cè)量方式為直入式測(cè)量,即線激光發(fā)射器與待測(cè)物體表面法線方向一致,工業(yè)相機(jī)與線激光發(fā)射器呈角度θ。根據(jù)檢測(cè)方式建立的檢測(cè)機(jī)構(gòu)及系統(tǒng)總體流程如圖2 所示。
圖2 檢測(cè)機(jī)構(gòu)及系統(tǒng)總體流程Fig.2 Detection mechanism and the overall system process
與一般目標(biāo)缺陷檢測(cè)相比,帶束層接頭缺陷檢測(cè)具有目標(biāo)寬度相對(duì)較小、圖像對(duì)比度低的特點(diǎn)。在實(shí)際工況中由于受周圍光照不均勻、機(jī)械振動(dòng)等復(fù)雜環(huán)境的影響,相機(jī)獲取的圖像中會(huì)含有噪聲及異常灰度區(qū)域,因此需對(duì)待檢測(cè)圖像進(jìn)行預(yù)處理,去除噪點(diǎn),改善圖像質(zhì)量,以提高缺陷檢測(cè)效果。
利用CMOS 相機(jī)分別獲取基于自然光與線激光的帶束層圖像如圖3(a)、(b)所示,對(duì)比可見,基于線激光的圖像更易提取特征信息。 本階段獲取的原始圖像包含B、G、R3 個(gè)分量,矩陣形式為
式中,B(x,y)、G(x,y)、R(x,y)分別表示藍(lán)、綠、紅通道分量的灰度值。 原始圖像進(jìn)行灰度變換時(shí),根據(jù)線激光顏色為紅色,采用分量法提取紅色通道作為圖像灰度,即
式中,Graym×n表示m×n大小的灰度分布矩陣。 利用該方法得到的灰度圖像如圖3(c)所示。
由圖3(c)可見,激光散斑造成的噪聲明顯存在,極易影響檢測(cè)結(jié)果的準(zhǔn)確性。 在線激光圖像中常見噪聲類型為高斯噪聲和椒鹽噪聲,可采用空間濾波器中的中值濾波器將上述兩種噪聲同時(shí)去除,并能較好地保留圖像的邊緣信息。 該方法將圖像中某一像素點(diǎn)的鄰域灰度按值排序,選擇中值替換當(dāng)前像素點(diǎn)的灰度值,具體可以表示為
式中,Med 表示一組數(shù)據(jù)的中值;(xi,yj)∈N,N代表圖像中像素點(diǎn)(x,y)的鄰域,本文實(shí)驗(yàn)取N大小為3 ×3;鄰域灰度值用R(xi,yj)表示。 經(jīng)中值濾波處理后的圖像效果如圖3(d)所示,可見該方法在有效抑制圖像噪聲的同時(shí),也完整保留了圖像的特征信息。
圖3 各處理流程中的圖像結(jié)果Fig.3 Image processing flow results
由圖3(d)中呈現(xiàn)的信息可以看出,線激光區(qū)域的灰度明顯高于其背景區(qū)域,因此通過設(shè)置合理的閾值T將激光條紋與背景分割。 閾值分割法可表述為
式中,閾值T根據(jù)圖像整體的灰度分布確定,為避免激光條紋出現(xiàn)欠分割而導(dǎo)致部分?jǐn)?shù)據(jù)特征丟失,本文采用逼近法確定最終閾值。 該方法原理表示如下:由于激光條紋截面光強(qiáng)近似為高斯分布,為過濾殘余噪聲及非光條區(qū)域,采用一條水平直線,由最大灰度值自上而下逼近,逼近過程中直線與光強(qiáng)分布曲線至少存在一個(gè)交點(diǎn)(n=1),當(dāng)交點(diǎn)n≥3 時(shí),即逼近至非光條區(qū)域最大灰度值,記錄此時(shí)的灰度值作為分割閾值T,如圖4 所示。
圖4 線激光灰度分布曲線Fig.4 Line laser grayscale distribution curve
經(jīng)閾值分割后的圖像效果如圖3(e)所示。 與大津法(Otsu)分割算法對(duì)比同一位置的細(xì)節(jié)可知,去除圖像殘余噪點(diǎn)在使得圖像更加平滑的同時(shí),該方法能夠最大限度地保留線激光條紋邊緣的特征信息,如圖3(f)所示。
2.4.1 ROI 提取
鑒于高分辨率的圖像會(huì)使整個(gè)缺陷檢測(cè)系統(tǒng)有一定的延遲,本文通過提取感興趣區(qū)域(ROI),去除無(wú)關(guān)區(qū)域的影響來(lái)減少運(yùn)算量[7]。 ROI 的選取根據(jù)圖像的水平投影確定,其計(jì)算公式為
式中,H(i)為圖像中第i行投影值。 在具體提取過程中,首先確定最大行投影值Max[H(i)],并記錄所在行i。 確定目標(biāo)區(qū)域上限時(shí),以i為起始位置,當(dāng)H(i) >0 時(shí),i=i+1,循環(huán)完成即可確定目標(biāo)上限iu;同理,確定目標(biāo)下限時(shí),當(dāng)H(i) >0 時(shí),i=i-1,循環(huán)完成即可確定目標(biāo)下限il。 利用上述方法得到的圖像水平投影如圖3(g)所示,獲取的ROI 如圖3(h)所示。
2.4.2 線激光中心線提取
在ROI 中利用灰度重心法對(duì)線激光條紋逐列進(jìn)行計(jì)算,將每列計(jì)算出的激光條紋灰度重心作為其中心坐標(biāo)[8]。 該方法原理可解釋為沿著垂直于線激光條紋方向,假設(shè)目標(biāo)圖像中條紋的長(zhǎng)度為l,則條紋截面的第k列某點(diǎn)的坐標(biāo)為(xk,yi),對(duì)應(yīng)的灰度值為gray′(xk,yi),其中i=1,2,…,M,M表示條紋的截面寬度,則第k列條紋重心的縱坐標(biāo)計(jì)算公式表示為[9]
由于實(shí)驗(yàn)中帶束層接頭存有間隙,且在實(shí)際中帶束層貼合鼓表面并不連續(xù),造成相機(jī)捕捉的圖像中線結(jié)構(gòu)光條紋的某列或連續(xù)幾列出現(xiàn)間斷現(xiàn)象,致使式(6)中g(shù)ray′(xk,yi) =0,無(wú)法對(duì)重心位置進(jìn)行正常計(jì)算。 針對(duì)該種情形,本文實(shí)驗(yàn)規(guī)定當(dāng)gray′(xk,yi) =0 時(shí),yk=0,適用實(shí)驗(yàn)環(huán)境的同時(shí),還便于后續(xù)特征點(diǎn)的識(shí)別。 利用重心法得到的激光條紋中心線如圖5 所示。
圖5 激光條紋中心線輪廓及斜率分布Fig.5 Laser stripe centerline and slope distribution
2.4.3 特征點(diǎn)提取
根據(jù)線激光條紋重心輪廓特征,綜合考慮特征點(diǎn)提取方法的準(zhǔn)確性和可靠性,本文采用斜率均值法求取特征點(diǎn)[10],即求取散點(diǎn)輪廓中一點(diǎn)左右各n列的平均斜率作為該點(diǎn)的斜率,具體可表示為
式中,Ki表示散點(diǎn)輪廓中某點(diǎn)處的斜率,f(i+1)表示后一列像素縱坐標(biāo),f(i-1)表示前一列像素縱坐標(biāo)。 線激光圖像(圖3(b))的斜率變化特征如圖5所示。 利用該方法從散點(diǎn)輪廓的左右兩側(cè)向中間逼近,當(dāng)分別檢測(cè)到斜率突變點(diǎn)時(shí),記錄下點(diǎn)坐標(biāo)并停止檢測(cè),即完成帶束層兩側(cè)特征點(diǎn)的提取。
將兩側(cè)特征點(diǎn)分別記為xL與xR。 進(jìn)行接頭未對(duì)齊缺陷類型的診斷時(shí),根據(jù)帶束層的貼合工藝及接頭未對(duì)齊缺陷特征的表現(xiàn)形式確定具體的缺陷檢測(cè)方案。 因帶束層接頭A 的位置具有相對(duì)固定性,故根據(jù)該特性設(shè)置合理的標(biāo)準(zhǔn)參考值X1與X2,同時(shí)為保證檢測(cè)系統(tǒng)針對(duì)正向平行式接頭及反向平行式接頭均具有普適性,規(guī)定滿足|xL-X1| <ξ及|xR-X2| <ξ時(shí)(ξ為允許的最大偏移量),接頭未對(duì)齊缺陷不存在,否則缺陷存在,檢測(cè)原理如圖6 所示。
圖6 帶束層接頭未對(duì)齊缺陷檢測(cè)原理圖Fig.6 Schematic diagram of the detection of unaligned defects in the joint
在中部特征點(diǎn)的提取過程中,因帶束層遍布簾線導(dǎo)致其表面粗糙度較大,極易出現(xiàn)圖7 所示的特征點(diǎn)誤判現(xiàn)象,真實(shí)特征點(diǎn)與斜率均值法直接提取的特征點(diǎn)差異顯著。
圖7 特征點(diǎn)誤判示意圖Fig.7 Illustration of feature point misclassification
鑒于上述方法存在的不足,本文提出一種將積分法初定位和斜率均值法精提取相結(jié)合的特征點(diǎn)提取方法,具體步驟如下。
1)對(duì)于一幀數(shù)據(jù),首先去除帶束層鼓上的冗余信息,將目標(biāo)區(qū)域記為Q,并利用最小二乘法擬合散點(diǎn)輪廓確定基線方程,擬合過程可表示為
2)針對(duì)目標(biāo)區(qū)域,搜索最低點(diǎn)并記錄其所在列為xmin。 依次計(jì)算xmin兩側(cè)散點(diǎn)與基線的偏差Di直至Di≥0 停止運(yùn)算。 此時(shí),特征區(qū)域可表示為
3)設(shè)置積分閾值S,當(dāng)滿足條件Ii<S時(shí),得到目標(biāo)特征區(qū)域QS={(,y)|n1<i<n2},對(duì)目標(biāo)區(qū)域利用斜率均值法求取特征點(diǎn)xL及xR。
4)若Ii>S,則表明該特征區(qū)域不是目標(biāo)特征區(qū)域。
受線激光在帶束層接頭處形成過渡區(qū)域的影響,左側(cè)特征點(diǎn)的斜率特征不顯著,得到的特征點(diǎn)位置易出現(xiàn)偏差,因而將xL視為偽特征點(diǎn),如圖8(a)所示。 為改善上述情形,提高檢測(cè)精度,建立精度校正模型。 該模型將過渡區(qū)產(chǎn)生的原因視為線激光被帶束層的自身厚度所遮擋,其簡(jiǎn)化形式如圖8(b)所示。
在圖8(b)中,h和α分別為帶束層的厚度與角度,θ為工作角,Tr表示過渡區(qū)域。 假設(shè)偽特征點(diǎn)坐
圖8 精度校正模型原理圖Fig.8 Schematic diagram of the accuracy correction model
標(biāo)為(xl,yl),則實(shí)際特征點(diǎn)()可表示為
式中,Tr=h*tanθ*tanα,τ為工業(yè)相機(jī)在Y軸方向上的精度。 將右側(cè)特征點(diǎn)記為(xr,yr),則帶束層接頭間距w可由式(12)計(jì)算
設(shè)置距離閾值為Tw,當(dāng)w>Tw時(shí),說(shuō)明存在接頭間距大的缺陷。
利用本文提出的特征點(diǎn)提取方法及精度校正模型獲取的特征點(diǎn)如圖9 所示。 其中圖9(a)所示的帶束層輪廓中無(wú)滿足條件Ii<S的目標(biāo)特征區(qū)域,因此判定為無(wú)接頭區(qū)域(正常接頭)。 提取中部特征點(diǎn)時(shí),首先使用積分法定位特征區(qū)域,再利用斜率均值法提取特征點(diǎn),積分法篩選原理如圖9(b)所示,左圖待測(cè)區(qū)域(干擾區(qū)域)的灰度重心與基線間形成的偏差區(qū)域不滿足預(yù)設(shè)條件,即Ii>S,故排除該干擾區(qū)域,相反,滿足條件的目標(biāo)區(qū)域(Ii<S)如右圖所示,其具體的特征點(diǎn)提取效果如圖9(c)所示。 利用精度校正模型校正前后特征點(diǎn)的位置變換如圖9(d)所示,其中右側(cè)為校正前特征點(diǎn)所在位置。
圖9 特征點(diǎn)提取結(jié)果Fig.9 Feature point extraction results
為驗(yàn)證所提缺陷檢測(cè)方案的有效性,搭建了基于線激光的視覺檢測(cè)平臺(tái)如圖10 所示。 平臺(tái)使用大恒圖像公司的MER2-502-79U3C 系列工業(yè)相機(jī)和M0824-MPW2 型號(hào)鏡頭,綜合考慮設(shè)備價(jià)格及檢測(cè)精度,選用Coherent 公司生產(chǎn)的StingRayμF-660型線激光發(fā)射器。 所捕獲圖像通過USB 3.0 實(shí)時(shí)傳輸至工業(yè)計(jì)算機(jī),該計(jì)算機(jī)搭載i7-6900K CPU、32GB RAM 和512G SSD,運(yùn)行環(huán)境為Windows10。
圖10 視覺檢測(cè)平臺(tái)Fig.10 Visual detection platform
為驗(yàn)證圖像處理算法的魯棒性,本文采用圖像三維灰度分布來(lái)體現(xiàn)處理過程中的細(xì)節(jié)變化。 圖像的三維灰度分布如圖11 所示,其中圖11(a)、(b)分別為自然光圖像及線激光圖像的三維灰度分布。 對(duì)比可見,自然光圖像中目標(biāo)區(qū)域的對(duì)比度較低,難以精確提取特征區(qū)域,而利用線激光作為輔助工具,在增大圖像對(duì)比度的同時(shí),激光條紋也能夠較為完整地反映帶束層表面的輪廓特征,便于后續(xù)特征點(diǎn)的提取,因此該方法在實(shí)際工況下相較于傳統(tǒng)的視覺檢測(cè)方法(無(wú)線激光)更具有可操作性。
圖11(c)、(d)分別對(duì)應(yīng)中值濾波圖像以及閾值分割后圖像的三維灰度分布。 與線激光圖像灰度分布對(duì)比可知,處理后圖像的灰度分布更趨均勻,表明圖像中存在的噪音、 光散斑等干擾因素得以去除,而激光條紋灰度分布的變化較小,能夠保證激光條紋中所包含特征信息的完整性。 上述結(jié)果說(shuō)明本文采用的圖像處理流程具有一定的魯棒性。
本文實(shí)驗(yàn)選用120 組缺陷樣本圖像,以游標(biāo)卡尺人工測(cè)量獲取的缺陷數(shù)據(jù)作為標(biāo)準(zhǔn)值,并將其與傳統(tǒng)計(jì)算機(jī)視覺檢測(cè)及基于線激光輔助的視覺檢測(cè)方法進(jìn)行對(duì)比驗(yàn)證,用檢出率和誤檢率來(lái)表征檢測(cè)方法的可靠性,實(shí)驗(yàn)結(jié)果如表2 所示。
如表2 的實(shí)驗(yàn)結(jié)果所示,利用傳統(tǒng)的視覺檢測(cè)方法(無(wú)線激光) 檢出率約為91%,誤檢率為7.5%,誤檢率較高的原因是帶束層圖像的對(duì)比度低,接頭區(qū)域目標(biāo)小,難以精確提取特征區(qū)域。 而基于線激光輔助的視覺檢測(cè)方法將帶束層接頭處的特征轉(zhuǎn)化為線激光條紋的形狀特征,增大了圖像對(duì)比度,彌補(bǔ)了傳統(tǒng)方法存在的缺陷;并且線激光作為一種強(qiáng)光源,能夠克服自然光變化的影響,使得其檢出率達(dá)96.7%,誤檢率低于5%,可靠性明顯優(yōu)于傳統(tǒng)的視覺檢測(cè)。 但限于線激光器對(duì)機(jī)器工作過程中產(chǎn)生的振動(dòng)較為敏感,仍會(huì)導(dǎo)致系統(tǒng)存在一定的誤檢率及漏檢率。 為此,需要進(jìn)一步優(yōu)化結(jié)構(gòu)設(shè)計(jì),增加減震裝置,以最大程度減輕振動(dòng)因素的影響;此外原料膠片在切割過程中自身存在的缺陷也是導(dǎo)致檢測(cè)系統(tǒng)存在一定誤檢率的原因,例如膠料毛刺、膠料部分缺失等。 實(shí)驗(yàn)中,人工檢測(cè)的平均耗時(shí)最長(zhǎng),約為10 s,利用傳統(tǒng)的視覺檢測(cè)方法(無(wú)線激光)平均耗時(shí)約為8 s,而本文的基于線激光輔助的視覺檢測(cè)方法,從圖像獲取至得到檢測(cè)結(jié)果平均耗時(shí)為3.35 s,能夠更及時(shí)地滿足實(shí)際檢測(cè)需求。 檢測(cè)耗時(shí)結(jié)果如圖12 所示。
圖12 線激光輔助的視覺檢測(cè)方法耗時(shí)Fig.12 The time-consuming diagram of the line laser-assisted vision detection method
表2 樣本圖像檢測(cè)結(jié)果Table 2 Sample image detection results
為實(shí)現(xiàn)流水線上帶束層接頭缺陷的在線檢測(cè),本文提出一種線激光輔助的視覺檢測(cè)方法。 該方法結(jié)合所設(shè)計(jì)的圖像處理方案,根據(jù)線激光顏色選用分量法對(duì)樣本圖像進(jìn)行灰度變換,保證了線激光條紋特征的完整性;針對(duì)中值濾波處理后的圖像,采用閾值逼近法對(duì)其進(jìn)行分割,可同時(shí)達(dá)到平滑圖像以及最大限度地保留激光條紋邊緣特征信息的目的;隨后利用投影法提取出ROI 以確保方法的準(zhǔn)確性與實(shí)時(shí)性。 其次,結(jié)合線激光條紋形狀反映出的帶束層接頭特征,選用斜率均值法提取特征點(diǎn),并為克服帶束層表面粗糙度對(duì)中部特征點(diǎn)提取精度的影響,提出了一種積分法初定位、斜率均值法精提取的特征點(diǎn)提取方法,針對(duì)線激光在接頭處形成的過渡區(qū)域建立了精度校正模型,減少了偽特征點(diǎn)對(duì)檢測(cè)精度的影響。 實(shí)驗(yàn)驗(yàn)證的結(jié)果表明本文搭建的缺陷檢測(cè)系統(tǒng)穩(wěn)定可靠,所提出的缺陷檢測(cè)方案可精確、高效地完成缺陷診斷,其檢出率達(dá)96.7%,誤檢率低于5%,平均檢測(cè)時(shí)間為3.35 s,能夠滿足輪胎帶束層貼合線上的在線檢測(cè)要求。