基于單視角圖像處理的刀具磨損檢測(cè)研究

劉禮平，胡昊，李頌，李子昂，朱學(xué)明，夏平鋒

(1.中國(guó)民航大學(xué)航空工程學(xué)院，天津 300300；2.天津職業(yè)技術(shù)師范大學(xué)機(jī)械工程學(xué)院，天津 300350；3.天津威懇德測(cè)控設(shè)備技術(shù)有限公司，天津 300356)

0 前言

在制造業(yè)中，刀具是關(guān)系工件制造成本和質(zhì)量的關(guān)鍵因素之一，刀具磨損制約刀具使用壽命和加工效率，因此對(duì)刀具磨損量進(jìn)行檢測(cè)必不可少。刀具磨損檢測(cè)有直接測(cè)量法和間接測(cè)量法。刀具磨損的間接檢測(cè)法主要有切削力信號(hào)、聲發(fā)射信號(hào)、振動(dòng)信號(hào)以及電流信號(hào)檢測(cè)等。LUO等通過(guò)車(chē)削力學(xué)模擬和經(jīng)驗(yàn)?zāi)Ｐ徒⒘说毒吆蟮睹娴哪p率模型，對(duì)刀具后刀面的磨損寬度進(jìn)行了預(yù)測(cè)。呂楊研究TC4鈦合金的高速切削時(shí)發(fā)現(xiàn)，刀具磨損嚴(yán)重影響切削力，通過(guò)切削力的變化可以監(jiān)測(cè)刀具磨損程度。席劍輝、林琳分析聲發(fā)射序列熵值的變化，采用最小二乘法建立熵值預(yù)測(cè)模型，提高了預(yù)測(cè)精度和檢測(cè)工作效率。黃鶴翔等采集高速刀具銑削時(shí)不同軸向的聲發(fā)射和振動(dòng)信號(hào)，提出一種基于3-KMBS深度學(xué)習(xí)的新算法進(jìn)行刀具磨損建模，刀具磨損檢測(cè)準(zhǔn)確率高達(dá)95%。趙帥等人采集不同加工條件下主軸電機(jī)的電流信號(hào)和銑削加工參數(shù)，利用小波包分解、時(shí)域分析、頻域分析提取信號(hào)特征，最后利用主成分分析和隨機(jī)森林回歸方法得到刀具磨損的分級(jí)評(píng)估結(jié)果。針對(duì)基于圖像處理的刀具磨損直接檢測(cè)，國(guó)內(nèi)外采用的檢測(cè)方法多為顯微鏡測(cè)量，此方法存在檢測(cè)速度慢、效率低、檢測(cè)結(jié)果易受干擾等問(wèn)題。丁玉輝等對(duì)圖像處理應(yīng)用于刀具磨損檢測(cè)進(jìn)行了綜述，認(rèn)為圖像處理技術(shù)在刀具磨損檢測(cè)中發(fā)揮著重要的作用，但該研究中的直接檢測(cè)方法大多數(shù)是離線檢測(cè)，在線檢測(cè)技術(shù)匱乏，且存在非智能化的問(wèn)題。遲輝等人設(shè)計(jì)了圖像處理檢測(cè)方案，但該方案為離線檢測(cè)，需要人工尋找磨損點(diǎn)，且存在采集圖像精度較低的缺點(diǎn)。張飛等人對(duì)銑刀磨損量進(jìn)行基于機(jī)器視覺(jué)的離線檢測(cè)，總結(jié)出圖像特征的提取算法，但其采集圖像沒(méi)有經(jīng)過(guò)融合，圖像前后景模糊，影響最終檢測(cè)精度。

為實(shí)現(xiàn)更高的經(jīng)濟(jì)效益必須提高檢測(cè)效率。以此為切入點(diǎn)，本文作者提出一種單視角圖像處理檢測(cè)方法，使用相對(duì)低廉的顯微鏡進(jìn)行圖像采集，研究適應(yīng)于普通CCD相機(jī)單視角圖像處理的刀具磨損檢測(cè)方法。文中的刀具測(cè)試方法具有高的測(cè)量精度和自動(dòng)化程度。

1 整體實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)裝置簡(jiǎn)圖如圖1所示，對(duì)磨損刀具進(jìn)行圖像采集。

圖1 實(shí)驗(yàn)裝置簡(jiǎn)圖

利用CCD相機(jī)分別采集刀具磨損前后同一角度、不同景深的圖像，將采集的圖像進(jìn)行融合形成磨損前后的兩張清晰圖像，提取刀具磨損前后清晰圖像的特征點(diǎn)，以磨損前圖像為基準(zhǔn)對(duì)磨損后圖像進(jìn)行配準(zhǔn)和圖像互減，經(jīng)過(guò)灰度變換、濾波去噪、區(qū)域形態(tài)學(xué)處理配準(zhǔn)時(shí)圖像變形的影響，得到清晰準(zhǔn)確、信息完整的磨損區(qū)域圖像，最后通過(guò)算法將提取到的磨損區(qū)域像素值轉(zhuǎn)換為實(shí)際的磨損數(shù)據(jù)(面積，邊長(zhǎng)，長(zhǎng)，寬)。

2 單視角圖像的磨損檢測(cè)

2.1 基于小波變換的圖像融合

以Mallat快速小波變換為基礎(chǔ)，對(duì)CCD相機(jī)采集到的不同圖像在-1尺度上進(jìn)行小波分解：

(1)

設(shè)和分別為、的共軛轉(zhuǎn)置矩陣，得到重構(gòu)圖像：

(2)

(1)圖像融合算法

在不同景深下采集圖片，無(wú)法采集出前景和后景同時(shí)清晰的圖像，所以需要進(jìn)行圖像融合。融合都是基于像素點(diǎn)進(jìn)行，但是圖像的特征并不是只由一個(gè)像素解決，往往都是基于一個(gè)像素集群體現(xiàn)，且局部區(qū)域特征內(nèi)各像素都有較強(qiáng)的相關(guān)性。為克服簡(jiǎn)單像素融合規(guī)則的不穩(wěn)定性，提高融合效果，提出了根據(jù)窗口的融合規(guī)則。本文作者利用BURT所提出的加權(quán)平均規(guī)則進(jìn)行窗口融合?；诖翱诘娜诤弦?guī)則使用了周?chē)袼嘏c目標(biāo)像素的相關(guān)性，所以吸取了更多的源圖像的細(xì)節(jié)信息，簡(jiǎn)單像素融合的錯(cuò)誤特征將大幅度減少。圖2(a)為前景清晰、背景模糊圖像；圖2(b)為前景模糊、背景清晰圖像；圖2(c)為融合后所得圖像。

圖2 圖像融合結(jié)果

(2)圖像融合評(píng)價(jià)標(biāo)準(zhǔn)與分析

評(píng)價(jià)融合圖像效果可以采用熵和互信息量?jī)蓚€(gè)參數(shù)標(biāo)準(zhǔn)。熵反映圖像細(xì)節(jié)信息復(fù)雜程度，互信息量反映融合前后兩幅圖像相關(guān)信息量。

熵值計(jì)算公式：

(3)

式中：為灰度級(jí)數(shù)(一般取256級(jí))；為第灰度級(jí)的像素個(gè)數(shù)與圖片的總像素?cái)?shù)的比值。

互信息量計(jì)算公式：

(A,B,F)=

(4)

式中：(,)為圖像A、B的聯(lián)合灰度直方圖；(,,)為圖像A、B、F的聯(lián)合灰度直方圖。

融合受到分解層數(shù)和窗口大小的影響，文中實(shí)驗(yàn)取窗口大小為3×3，取分解層數(shù)為1～8進(jìn)行實(shí)驗(yàn)。選定分解層數(shù)，圖像互信息量與窗口選取呈正相關(guān)，忽略熵值影響，考慮到運(yùn)行效率所花費(fèi)的時(shí)間成本和圖像精度，最合適的窗口大小可選取7×7。

分解層數(shù)對(duì)信息量的影響存在一個(gè)閾值，層數(shù)增加導(dǎo)致與源圖像的互信息量減低，表明此時(shí)產(chǎn)生了不必要的細(xì)節(jié)信息，所以分解層數(shù)只需要取到閾值即可。結(jié)合實(shí)驗(yàn)作者選取合適的分解層數(shù)為3，融合時(shí)具有足夠的細(xì)節(jié)信息，運(yùn)算時(shí)間也在較小范圍內(nèi)。

2.2 圖像配準(zhǔn)

基于計(jì)算機(jī)視覺(jué)對(duì)磨損前后圖像進(jìn)行配準(zhǔn)，可解決圖像細(xì)節(jié)信息在圖像坐標(biāo)系上不對(duì)應(yīng)的問(wèn)題。作者以Python為開(kāi)發(fā)平臺(tái)，采用OpenCV庫(kù)中ORB(Oriented FAST and Rotated BRIEF)特征點(diǎn)匹配算法對(duì)磨損圖像進(jìn)行快速配準(zhǔn)。

2.2.1 圖像特征提取

ORB使用的是 FAST(Features from Accelerated Segment Test)算法進(jìn)行特征點(diǎn)檢測(cè)。如圖3所示，為選取的圖像上某一像素點(diǎn)，以該點(diǎn)為圓心，3像素為半徑的圓周所穿過(guò)像素點(diǎn)為檢測(cè)點(diǎn)。檢測(cè)點(diǎn)有3種信息狀態(tài)，當(dāng)=時(shí)則可以判定該點(diǎn)為特征點(diǎn)。

圖3 特征點(diǎn)檢測(cè)

(5)

式中：為檢測(cè)點(diǎn)的信息狀態(tài)；為閾值；d、s、b分別代表較暗、相似、較亮；為中心點(diǎn)的灰度值；為檢測(cè)點(diǎn)的灰度值。

為加快匹配檢測(cè)速度，先對(duì)圓周的垂直方向點(diǎn)1和點(diǎn)9進(jìn)行計(jì)算，若滿足檢測(cè)點(diǎn)信息狀態(tài)，則進(jìn)行水平方向的點(diǎn)5和點(diǎn)13計(jì)算，若有大于等于3個(gè)點(diǎn)滿足標(biāo)準(zhǔn)，則對(duì)剩下的12個(gè)點(diǎn)依次檢測(cè)，并記錄滿足標(biāo)準(zhǔn)的個(gè)數(shù)。公式表示：

(6)

文中取FAST-9為判別特征點(diǎn)標(biāo)準(zhǔn)：當(dāng)≥9，則判定中心點(diǎn)為特征點(diǎn)。

2.2.2 生成特征點(diǎn)描述子

ORB使用BRIEF(Binary Robust Independent Elementary Features)特征描述子算法來(lái)對(duì)提取出的特征點(diǎn)，以為圓心，以一定的窗口框選出一個(gè)區(qū)域，在所框選出的區(qū)域中以固定的提取方式提取對(duì)點(diǎn)對(duì)。文中采取占用內(nèi)存為32字節(jié)，為256對(duì)(為簡(jiǎn)化原理說(shuō)明這里取=4)。

如圖4所示，當(dāng)前取到的四組像素點(diǎn)對(duì)可分別標(biāo)記為：(,)、(,)、(,)、(,)。

圖4 描述子選取

設(shè)像素點(diǎn)對(duì)為(,)，對(duì)提取到的像素點(diǎn)對(duì)作如下處理：

(7)

式中：()為的灰度值。

由上式得到一組由0和1組成的關(guān)于特征點(diǎn)的特征描述子數(shù)組，該數(shù)組具有減少實(shí)際匹配時(shí)間、占用內(nèi)存小的優(yōu)點(diǎn)。

2.2.3 特征點(diǎn)匹配和配準(zhǔn)

現(xiàn)假設(shè)上面得到的特征點(diǎn)和的描述子為1101011和1001010，對(duì)特征點(diǎn)數(shù)組進(jìn)行異或運(yùn)算可以得到數(shù)組1011110，統(tǒng)計(jì)結(jié)果中0的個(gè)數(shù)并與設(shè)定的閾值進(jìn)行比對(duì)，若小于閾值則代表兩點(diǎn)相似度符合要求，是兩幅圖片的同一特征點(diǎn)。實(shí)際匹配時(shí)需將其中一張圖進(jìn)行旋轉(zhuǎn)拉伸等變形以對(duì)準(zhǔn)另一張圖，確定兩特征點(diǎn)之間位置映射關(guān)系可用單應(yīng)性矩陣來(lái)表示。

現(xiàn)假設(shè)兩張圖片的同一特征點(diǎn)的齊次坐標(biāo)為(,,1)和(,,1)，并定義單應(yīng)性矩陣：

(8)

則特征點(diǎn)坐標(biāo)的關(guān)系可表示為

(9)

將矩陣展開(kāi)并分離變量可得：

(10)

對(duì)上式作等價(jià)變換：

++---=0

++---=0

(11)

將等式改寫(xiě)為向量積的形式：

=(,,,,,,,,)

(12)

由于單應(yīng)矩陣是一個(gè)齊次矩陣，可以將直接設(shè)為1，特征點(diǎn)對(duì)數(shù)量越多則單應(yīng)矩陣越準(zhǔn)確。將待配準(zhǔn)的圖片所有坐標(biāo)點(diǎn)與單應(yīng)矩陣相乘，得到最終配準(zhǔn)后的圖像。配準(zhǔn)后的效果如圖5所示。

圖5 圖像配準(zhǔn)結(jié)果

2.3 磨損區(qū)域提取與測(cè)量

磨損圖像的提取可以通過(guò)配準(zhǔn)后的兩張圖像進(jìn)行相減實(shí)現(xiàn)，但直接相減會(huì)產(chǎn)生負(fù)數(shù)，負(fù)數(shù)在計(jì)算機(jī)視覺(jué)中會(huì)被直接置0，從而損失很多細(xì)節(jié)，為此對(duì)兩張圖像進(jìn)行互減，互減之后的兩張圖像再相加，可保留圖像細(xì)節(jié)信息；然后對(duì)提取的磨損圖像進(jìn)行灰度變換和中值濾波處理，去除圖像中的噪點(diǎn)，使圖像信息更清晰；最后對(duì)圖像進(jìn)行二值化處理，因?yàn)閳D像是經(jīng)過(guò)配準(zhǔn)后進(jìn)行計(jì)算的，為防止旋轉(zhuǎn)產(chǎn)生的影響進(jìn)行去邊界處理。圖6所示為刀具磨損區(qū)域圖像的最終處理結(jié)果。

圖6 刀具磨損區(qū)域圖像的最終處理結(jié)果

磨損量以磨損區(qū)域的面積和周長(zhǎng)表示。通過(guò)圖像中物體尺寸和實(shí)際物體尺寸計(jì)算出單個(gè)像素所表示的實(shí)際面積或邊長(zhǎng)，進(jìn)而計(jì)算出圖像中實(shí)際磨損區(qū)域的面積和周長(zhǎng)。相關(guān)數(shù)據(jù)可由下式進(jìn)行計(jì)算：

磨損區(qū)域的面積

(13)

磨損區(qū)域的周長(zhǎng)

(14)

磨損區(qū)域的長(zhǎng)寬、

=

=

(15)

式中：為單個(gè)像素表示的實(shí)際面積；為單個(gè)像素表示邊長(zhǎng)；為范圍內(nèi)的所有點(diǎn)的集合；為磨損區(qū)域在水平方向的投影長(zhǎng)度；為磨損區(qū)域在豎直方向的投影長(zhǎng)度。

測(cè)量精度與圖像的尺寸有關(guān)，以 1 000像素×1 000像素的圖形為例，如所拍攝物體尺寸為20 mm，則一個(gè)像素所能到的精度為0.02 mm，面積精度為0.000 4 mm，圖像尺寸越大，拍攝物尺寸越小，則精度越高。

以第2.3節(jié)提取出的磨損為例，設(shè)刀具規(guī)格為12 mm，對(duì)圖像中的像素點(diǎn)進(jìn)行標(biāo)定可知，每個(gè)像素代表的面積為0.000 326 mm，代表的長(zhǎng)度為 0.018 1 mm，即刀具磨損理論檢測(cè)精度為0.000 326 mm/像素以及0.018 1 mm/像素。由此可計(jì)算出磨損的相關(guān)數(shù)據(jù)為下：磨損區(qū)域面積=0.143 44 mm，磨損區(qū)域周長(zhǎng)=3.1 132 mm，磨損區(qū)域長(zhǎng)=0.289 6 mm，磨損區(qū)域?qū)?1.502 3 mm。

3 結(jié)語(yǔ)

以Python為開(kāi)發(fā)平臺(tái)，基于單視角圖像處理，利用CCD相機(jī)采集磨損前和磨損后的刀具圖像，通過(guò)小波變換對(duì)刀具磨損前、磨損后圖像進(jìn)行分解和融合，得到刀具磨損前、磨損后的全景深圖像。提取刀具磨損前、磨損后全景深圖像中的刀具部分，并將磨損前后刀具部分的圖像配準(zhǔn)。配準(zhǔn)后對(duì)磨損前后刀具圖像進(jìn)行布爾運(yùn)算得到磨損區(qū)域，將刀具磨損區(qū)域進(jìn)行灰度變換、中值濾波去噪、二值化處理，以提高刀具磨損區(qū)域的圖片質(zhì)量。最終將刀具磨損區(qū)域的圖像像素轉(zhuǎn)化為刀具實(shí)際磨損量，刀具磨損檢測(cè)長(zhǎng)度精度和面積精度理論上分別約為0.02 mm、0.000 3 mm。該方法在提高檢測(cè)速度、降低檢測(cè)成本的同時(shí)，滿足刀具磨損檢測(cè)精度的要求，可應(yīng)用于生產(chǎn)實(shí)際。