基于三維圖像處理的車刀磨損缺陷檢測方法研究

張楊，高興宇，黨艷陽，黃揚(yáng)

(1.桂林電子科技大學(xué)機(jī)電工程學(xué)院，廣西桂林 541000；2.特變電工股份有限公司，新疆昌吉 831100)

0 前言

制造業(yè)決定了一個(gè)國家和民族的經(jīng)濟(jì)發(fā)展水平，而車刀的磨損程度又是影響機(jī)械加工的一個(gè)重要因素。研究表明：刀具刃口與加工零件之間的摩擦是不可避免的，且加工過程中6%～20%的停機(jī)時(shí)間是由刀具磨損和刀具斷裂引起的[1-4]。傳統(tǒng)車刀的替換策略是：(1)靠人工經(jīng)驗(yàn)決定；(2)按時(shí)間更換。車刀受主觀因素影響太多，對(duì)刀具的磨損量進(jìn)行有效計(jì)算既可以提高刀具的利用率，又能降低工具成本和時(shí)間成本。

早期，車刀的磨損只是對(duì)單個(gè)信號(hào)進(jìn)行檢測，通過對(duì)收集的信號(hào)進(jìn)行不同的理論和方法處理完成特征提取，最終確定車刀的磨損狀態(tài)[5]。近年來，三維圖像技術(shù)廣泛應(yīng)用于人工智能、工業(yè)檢測、車輛自動(dòng)駕駛技術(shù)、生物醫(yī)學(xué)等各種領(lǐng)域。三維圖像技術(shù)不僅可以感知物體的存在，還可以感知物體的距離，將它應(yīng)用在刀具磨損領(lǐng)域不僅可以定位磨損區(qū)域的空間信息，還可以對(duì)磨損的深度進(jìn)行量化。何翔、任小洪[8]采用數(shù)字圖像分割等圖像處理技術(shù)對(duì)刀具磨損邊界的磨損量進(jìn)行了標(biāo)準(zhǔn)比較。滕瑞等人[9]通過數(shù)字圖像分析和CNN(Convolutional Neural Network)卷積神經(jīng)網(wǎng)絡(luò)對(duì)刀具磨損值進(jìn)行在線監(jiān)測。周俊杰、余建波[10]通過子邊緣檢測的方法提取刀具磨損區(qū)域。李聰波等[11]通過數(shù)字孿生和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式對(duì)刀具磨損進(jìn)行精確的預(yù)測。

目前對(duì)于車刀磨損的檢測大都采取二維圖像處理的方法，二維圖像中只能根據(jù)磨損區(qū)域的形狀和磨損區(qū)域大小分析車刀磨損的狀態(tài)，得到的磨損缺陷信息比較單一，缺失車刀磨損的深度信息，同時(shí)也缺少對(duì)車刀磨損的具體量化。為了檢測車刀磨損的具體數(shù)值，本文作者提出一種基于三維圖像處理的磨損程度檢測的方法，相對(duì)于其他方法，該方法操作簡便，成本相對(duì)較低。此外，結(jié)合CCD相機(jī)和工業(yè)投影儀構(gòu)成的結(jié)構(gòu)光成像系統(tǒng)可以檢測車刀具體磨損深度且具有較高的測量精度。

1 三維圖像重建技術(shù)

為獲取物體的三維信息，對(duì)相機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，采用張正友標(biāo)定法目的是獲取相機(jī)的畸變參數(shù)矩陣和相機(jī)的旋轉(zhuǎn)、平移矩陣，然后將光柵條紋圖通過投影儀投射在標(biāo)定板表面，獲取標(biāo)定板的角點(diǎn)坐標(biāo)和角點(diǎn)的相位信息后，通過求解相位信息和高度信息的轉(zhuǎn)化關(guān)系完成整個(gè)結(jié)構(gòu)光系統(tǒng)的標(biāo)定。

(1)

通過公式(1)得到3個(gè)不同頻率下12幅不同相位的光柵圖，然后通過標(biāo)定板上的角點(diǎn)坐標(biāo)(u，v)和該點(diǎn)的相位值結(jié)合八參數(shù)法進(jìn)行求取該點(diǎn)的世界坐標(biāo)。

(2)

公式(2)變形可得：

a1X+a2Y+a3Z+a4-a5ΦX-a6ΦY-a7ΦZ-

a8Φ=0

(3)

齊次方程表達(dá)式為

(4)

式中：X、Y、Z分別為像素點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)；Φ為該像素點(diǎn)的相位值。由于角點(diǎn)位于標(biāo)定板表面，而世界坐標(biāo)系是建立在標(biāo)定板表面的，所以位于標(biāo)定板上點(diǎn)的z坐標(biāo)可以看作0?？梢酝ㄟ^像素坐標(biāo)轉(zhuǎn)化成相機(jī)坐標(biāo)，再經(jīng)過預(yù)先得到的旋轉(zhuǎn)、平移矩陣和相位值就可以計(jì)算出a1-a8的數(shù)值，完成結(jié)構(gòu)光系統(tǒng)的標(biāo)定[12]。表1所示為此實(shí)驗(yàn)系統(tǒng)的標(biāo)定參數(shù)。

表1 三維重建標(biāo)定參數(shù)值Tab.1 3D reconstruction calibration parameter values

2 實(shí)驗(yàn)整體設(shè)計(jì)

2.1 實(shí)驗(yàn)思路

文中采取單視角對(duì)車刀進(jìn)行磨損檢測實(shí)驗(yàn)，將墊片點(diǎn)云進(jìn)行平面擬合后與刀頭缺陷部分點(diǎn)云擬合的平面進(jìn)行最大距離求解，即得最大磨損量；然后用標(biāo)準(zhǔn)量塊換算出實(shí)際物理高度，求出車刀的磨損量。實(shí)驗(yàn)裝置簡圖如圖1所示，對(duì)磨損車刀進(jìn)行圖像采集和光柵投影工作。

圖1 實(shí)驗(yàn)簡圖Fig.1 Experimental diagram：(a)machine vision detection device；(b)schematic of the tool detection

如圖1所示，將面結(jié)構(gòu)光系統(tǒng)搭建在機(jī)床上，讓車刀刀頭部分在CCD相機(jī)視野內(nèi)，然后將12幅不同相位的光柵圖投射在車刀表面，結(jié)合已經(jīng)標(biāo)定好的系統(tǒng)參數(shù)求取車刀點(diǎn)云信息。

此實(shí)驗(yàn)具體流程如圖2所示，完成結(jié)構(gòu)光系統(tǒng)標(biāo)定后，采取點(diǎn)云分割的方法將墊片點(diǎn)云進(jìn)行最小二乘擬合平面處理，最后利用刀頭缺陷部分點(diǎn)云與最小二乘擬合平面的差值計(jì)算出缺陷的具體信息，然后將它和標(biāo)準(zhǔn)量塊點(diǎn)云進(jìn)行轉(zhuǎn)化，最終計(jì)算出實(shí)際磨損量。

圖2 實(shí)驗(yàn)流程Fig.2 Experimental flow

2.2 點(diǎn)云獲取

此實(shí)驗(yàn)選取3個(gè)不同磨損程度的刀頭進(jìn)行對(duì)比，圖3(a)為全新標(biāo)準(zhǔn)刀頭，圖3(b)(c)為帶有已知磨損信息的刀頭。

圖3 車刀結(jié)構(gòu)光投影Fig.3 Structured-light projections of turning tool：(a) standard tool；(b)tool with slight wear；(c) tool with severe wear

圖4(a)是由CCD相機(jī)拍攝的12幅不同的光柵圖打在物體表面的圖像，圖4(b)是由相同頻率不同相位的光柵圖求解得出的對(duì)應(yīng)頻率下的包裹相位圖像，圖4(c)是由3幅包裹相位圖像求解得出的絕對(duì)相位圖像[13]及絕對(duì)圖像與a1-a8參數(shù)三維重構(gòu)求解得到的點(diǎn)云信息圖。

圖4 投影光柵Fig.4 Projected grating：(a)four-step phase-shift projection；(b)wrapped phase；(c)point cloud after 3D reconstruction

2.3 點(diǎn)云分割處理

為了更直觀地展示三維點(diǎn)云的樣貌，采用CloudCompare模塊進(jìn)行可視化展示。獲取點(diǎn)云信息后，首先將點(diǎn)云進(jìn)行分割處理，由于結(jié)構(gòu)光成像系統(tǒng)會(huì)將背景噪聲一起成像，所以需要將背景點(diǎn)云和車刀點(diǎn)云分割開來；然后對(duì)車刀點(diǎn)云進(jìn)行等二次分割處理，將三角墊片和刀頭部分分割開來，如圖5所示。

圖5 點(diǎn)云圖Fig.5 Point cloud：(a)detection scene；(b) segmentation of the cutting tool；(c) fitting of the worn surface

圖5(a)中的點(diǎn)云是完整點(diǎn)云，包括背景和單視角車刀磨損表面點(diǎn)云；圖5(b)中的點(diǎn)云是對(duì)圖5(a)中的點(diǎn)云進(jìn)行切割，只保留了車刀表面的點(diǎn)云信息。圖5(c)是將圖5(b)中的點(diǎn)云再一次進(jìn)行分割，其中藍(lán)色點(diǎn)云模塊為刀片磨損區(qū)域點(diǎn)云，綠色點(diǎn)云模塊為三角墊片點(diǎn)云，紅色為車刀其余部分點(diǎn)云。獲取三角墊片點(diǎn)云后文中基于RANSAC平面擬合算法將三角墊片點(diǎn)云進(jìn)行擬合[14]。該算法隨機(jī)從點(diǎn)云數(shù)據(jù)中抽取3個(gè)點(diǎn)進(jìn)行一個(gè)平面擬合，然后推算出符合該平面最多樣本數(shù)量的平面為擬合平面，如公式(5)所示。

Ax+By+Cz+D=0

(5)

為了給系統(tǒng)點(diǎn)云信息轉(zhuǎn)化為數(shù)值信息提供標(biāo)準(zhǔn)參考，文中選取3個(gè)不同磨損程度的刀頭進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證此方法的精確程度，如圖3所示。

3 實(shí)驗(yàn)

獲取3個(gè)不同程度磨損的刀頭墊片點(diǎn)云后，結(jié)合公式(5)求取A、B、C、D的參數(shù)進(jìn)行擬合平面。此實(shí)驗(yàn)求取的數(shù)值如表2所示。

表2 平面擬合參數(shù)Tab.2 Plane fitting parameters

獲得墊片的平面擬合方程后，將車刀刀頭點(diǎn)云分割出來與擬合后的平面進(jìn)行最大距離求解，最終確定最大距離。

(6)

(7)

式中：H為預(yù)估磨損深度；HL為量塊高度；dmax為缺陷區(qū)域點(diǎn)云到三角墊塊擬合平面的最大值；h為量塊點(diǎn)云擬合平面到標(biāo)定板平面的距離。

根據(jù)公式(6)求得磨損區(qū)域點(diǎn)云與三角墊片點(diǎn)云擬合平面的最大距離。通過疊加2個(gè)標(biāo)準(zhǔn)量塊的高度并擬合其上表面的點(diǎn)云平面，求取2個(gè)平面的平均距離。通過游標(biāo)卡尺對(duì)標(biāo)準(zhǔn)量塊進(jìn)行厚度測量，最后將測量的厚度與量塊上表面擬合平面的距離進(jìn)行比例換算。

為了減少其他因素對(duì)標(biāo)準(zhǔn)量塊的測量誤差，此實(shí)驗(yàn)將2量塊疊加擺放，然后分別求取其上表面平面擬合參數(shù)，最后求2個(gè)擬合平面的高度。

如圖6所示，通過標(biāo)定卡尺測得量塊的物理高度為9.08 mm，然后將2個(gè)量塊上表面分別進(jìn)行多次擬合處理，通過求多次距離均值求得最終量塊相差的高度，然后得到點(diǎn)云距離和實(shí)際物理距離的換算比例。取得實(shí)際比例后，將圖5(c)中的綠色點(diǎn)云進(jìn)行平面擬合處理，然后將藍(lán)色點(diǎn)云上所有點(diǎn)和綠色點(diǎn)云擬合的平面進(jìn)行距離求解，得到最大距離及最大磨損深度信息。

圖6 標(biāo)準(zhǔn)量塊Fig.6 Standard gauge block：(a)camera captured image； (b)3D reconstructed result

對(duì)圖5(c)所示點(diǎn)云求解缺陷刀頭點(diǎn)云到墊片擬合平面距離如圖7所示。根據(jù)統(tǒng)計(jì)得知最大距離為1.88 mm。利用上述步驟分別對(duì)圖3中的3個(gè)對(duì)象進(jìn)行處理，得到數(shù)據(jù)如表3所示?？芍涸摲椒ㄇ蟮玫念A(yù)估磨損量與實(shí)際測量的磨損量誤差較小，可應(yīng)用于實(shí)際生產(chǎn)加工當(dāng)中。

圖7 點(diǎn)云距離分布Fig.7 Point cloud distance distribution

表3 車刀磨損量 單位：mmTab.3 Tool wear Unit：mm

4 結(jié)束語

以Python語言和Open3D為開發(fā)平臺(tái)，基于三維圖像處理技術(shù)方法，利用CCD相機(jī)和投影儀獲取車刀三維信息。通過點(diǎn)云分割和點(diǎn)云平面擬合對(duì)原始數(shù)據(jù)進(jìn)行挖掘，并對(duì)比刀頭的三角墊片和刀頭的平行性，將刀頭的三角墊片擬合的平面與刀頭的點(diǎn)云集進(jìn)行最大距離比較，然后與標(biāo)準(zhǔn)量塊進(jìn)行對(duì)比得到高度信息，最終將車刀的預(yù)估磨損量轉(zhuǎn)化成實(shí)際磨損量。該方法檢測精度較高，成本較低，可應(yīng)用于實(shí)際生產(chǎn)當(dāng)中。