一種邊緣特征的物體表面缺陷檢測方法

南京郵電大學(xué) 張 澤

為了檢測工業(yè)零部件在加工使用過程中的所產(chǎn)生的缺陷，提出了基于點(diǎn)云邊緣特征缺陷檢測方法；方法首先將采集到的點(diǎn)云數(shù)據(jù)通過精簡、濾波、提取關(guān)鍵區(qū)域的方法進(jìn)行預(yù)處理；然后將待處理的點(diǎn)云通過以點(diǎn)云邊緣為特征的方式來實(shí)現(xiàn)SAC-IA粗配準(zhǔn)，通過ICP算法完成精配準(zhǔn)；最后通過求取配準(zhǔn)完成后的點(diǎn)云差異來實(shí)現(xiàn)缺陷檢測。通過實(shí)驗(yàn)驗(yàn)證了算法的可行性。

由于工業(yè)化進(jìn)程的加速，工業(yè)自動(dòng)化設(shè)備也越來越繁多復(fù)雜，這些設(shè)備上的零部件在加工使用過程中不可避免地存在一些劃痕和磨損，這些缺陷如果無法控制在合理安全的范圍，會(huì)對設(shè)備上的零部件造成無法預(yù)知的風(fēng)險(xiǎn)和損失。而對于傳統(tǒng)人工缺陷檢測方式的不穩(wěn)定性，自動(dòng)化缺陷檢測成為大多數(shù)廠商的選擇。

零部件表面缺陷檢測方法主要有超聲檢測、機(jī)械探頭接觸式檢測和光學(xué)檢測。對于超聲檢測，需要多次向待檢測零部件發(fā)送和接收信號(hào)才能完成檢測，檢測效率低。而機(jī)械探頭接觸式檢測不太適合表面較柔軟的零部件，檢測局限性比較大?；诠鈱W(xué)的檢測方法是一種實(shí)時(shí)性好、非接觸、適用性強(qiáng)的檢測方法，因此，基于光學(xué)的視覺檢測方法也是大多數(shù)廠商選擇的方法。

1 總體方案

本文提出的檢測方案是先對三維相機(jī)掃描形成的三維點(diǎn)云數(shù)據(jù)通過精簡、濾波、提取關(guān)鍵區(qū)域等操作進(jìn)行預(yù)處理。然后對處理過的點(diǎn)云數(shù)據(jù)與標(biāo)準(zhǔn)點(diǎn)云數(shù)據(jù)做配準(zhǔn)，再通過比對配準(zhǔn)過的兩塊點(diǎn)云求異來實(shí)現(xiàn)缺陷的檢測。檢測流程如圖1所示。

圖1 缺陷檢測流程圖

2 三維點(diǎn)云數(shù)據(jù)的預(yù)處理

采集出的點(diǎn)云數(shù)據(jù)因?yàn)楦鞣N因素，往往不太適宜直接對其處理，點(diǎn)云的數(shù)據(jù)量，點(diǎn)云的噪聲都對點(diǎn)云處理有很大影響，因此需要對點(diǎn)云數(shù)據(jù)進(jìn)行精簡，濾波處理。

2.1 點(diǎn)云精簡

采集的初始點(diǎn)云數(shù)據(jù)通常密度比較大，需要對其簡化處理。圖2所示為一個(gè)長方體工件原始點(diǎn)云。

圖2 工件原始點(diǎn)云

本文采用下采樣濾波的方式簡化原點(diǎn)云數(shù)據(jù)。

體素化網(wǎng)格化簡化點(diǎn)云數(shù)據(jù)是常見的點(diǎn)云簡化方法，其原理是在一定區(qū)域內(nèi)，選取該區(qū)域一定數(shù)據(jù)特征的點(diǎn)來代表所有點(diǎn)，可以在保證點(diǎn)云特征的情況下對點(diǎn)云精簡。該方法的主要步驟為：

（1）設(shè)置劃分柵格的尺寸，對所有數(shù)據(jù)進(jìn)行柵格劃分。

（2）刪除不包含數(shù)據(jù)的柵格。

（3）處理每個(gè)柵格內(nèi)的點(diǎn)云數(shù)據(jù)，按一定規(guī)則選擇代表點(diǎn)進(jìn)行降采樣。

其中選擇代表點(diǎn)的規(guī)則多種多樣，本實(shí)驗(yàn)將點(diǎn)云中柵格內(nèi)重心點(diǎn)保留，柵格內(nèi)其他點(diǎn)刪除。簡化后的點(diǎn)云如圖3所示。

圖3 簡化后點(diǎn)云

2.2 點(diǎn)云去噪

點(diǎn)云數(shù)據(jù)獲取的過程中，可能會(huì)存在與待檢測物體無關(guān)的噪聲和離群點(diǎn)，因此，預(yù)處理過程中需要包含點(diǎn)云噪的去除。對于噪聲的去除有下面三種方式：

（1）直通濾波法：通過設(shè)置點(diǎn)云坐標(biāo)范圍來過濾無效點(diǎn)云，這種方法比較適合采圖過程中過濾一整塊無效的點(diǎn)云。

（2）半徑濾波法：以某點(diǎn)為中心畫一個(gè)圓計(jì)算落在該圓中點(diǎn)的數(shù)量，當(dāng)數(shù)量大于給定值時(shí)，則保留該點(diǎn)，數(shù)量小于給定值則剔除該點(diǎn)。

（3）統(tǒng)計(jì)濾波法：其原理是計(jì)算每個(gè)點(diǎn)到其最近的k個(gè)臨近點(diǎn)的距離，如果其平均距離大于設(shè)定的值，則判定為噪聲。

本文根據(jù)采集到點(diǎn)云的特征，采用了直通濾波法去除一塊區(qū)域的點(diǎn)云，然后通過統(tǒng)計(jì)濾波器過濾掉剩余的離群點(diǎn)。點(diǎn)云去噪之前如圖4所示和去噪后的點(diǎn)云如圖5所示。

圖4 去噪之前點(diǎn)云

圖5 去噪之后點(diǎn)云

2.3 三維點(diǎn)云數(shù)據(jù)的平面提取

由于大部分物體的采集都是在平面上進(jìn)行，所以點(diǎn)云數(shù)據(jù)不可避免地帶有傳送帶的點(diǎn)云信息的，將這部分點(diǎn)云數(shù)據(jù)過濾掉將極大地減少之后計(jì)算的計(jì)算量。傳送帶的特點(diǎn)是一個(gè)平面，平面的表達(dá)式是ax+by+cz+d=0，其中d設(shè)置為點(diǎn)到平面的距離，設(shè)置好d的范圍在點(diǎn)云數(shù)據(jù)中遍歷便可以確定點(diǎn)云中屬于平面的點(diǎn)，本文采用基于這一原理的采樣一致性算法中的SACSegmentation模塊來提取平面點(diǎn)云。提取出的點(diǎn)云如圖6所示，圖中綠色部分為提取出的平面，紅色部分為平面上待檢測物體的點(diǎn)云數(shù)據(jù)。

圖6 提取平面后的點(diǎn)云

3 三維點(diǎn)云數(shù)據(jù)的配準(zhǔn)

本文的研究內(nèi)容是根據(jù)三維點(diǎn)云數(shù)據(jù)找到待檢測物體上的缺陷，本文采用的是標(biāo)準(zhǔn)件與待檢測物體點(diǎn)云相比較的方法來找到缺陷，那么對于標(biāo)準(zhǔn)件和待檢測物體的點(diǎn)云之間就需要做到盡可能的對齊，因此需要將兩點(diǎn)云配準(zhǔn)。

點(diǎn)云配準(zhǔn)的本質(zhì)是求剛體變換矩陣，將已知的一個(gè)物體在不同坐標(biāo)系下的兩塊點(diǎn)云P和Q，經(jīng)過旋轉(zhuǎn)變換R和平移矩陣T變換過后，歸一到統(tǒng)一的坐標(biāo)系下，是的兩塊點(diǎn)云對應(yīng)點(diǎn)的距離平方和F(R,T)最小，即：

配準(zhǔn)過程主要分為兩個(gè)主要步驟：粗配準(zhǔn)和精配準(zhǔn)，粗配準(zhǔn)主要通過計(jì)算兩塊點(diǎn)云的位資，得出粗略配準(zhǔn)的結(jié)果，來加快精配準(zhǔn)的速度。本文使用采樣一致性初始配準(zhǔn)算法（SAC-IA）作為粗配準(zhǔn)方法，ICP算法實(shí)現(xiàn)精配準(zhǔn)方法。

3.1 基于邊界特征的粗配準(zhǔn)

點(diǎn)云在經(jīng)過精簡和關(guān)鍵區(qū)域的提取后數(shù)據(jù)量已經(jīng)只有三千左右的數(shù)據(jù)量，但是對于SAC-IA算法計(jì)算量依然非常巨大，因此針對點(diǎn)云數(shù)據(jù)的特點(diǎn)，采用點(diǎn)云提取的邊界數(shù)據(jù)作為粗配準(zhǔn)的數(shù)據(jù)。

邊界信息的計(jì)算主要通過計(jì)算各點(diǎn)法線信息，通過各個(gè)法線方向之間的夾角來判斷該點(diǎn)是否為邊界點(diǎn)。確定表面一點(diǎn)法線的問題與估計(jì)表面的一個(gè)相切面法線的問題相似，因此就變成了最小二乘法平面擬合估計(jì)問題。估計(jì)表面法線這個(gè)解決方案就變成了分析一個(gè)協(xié)方差矩陣的特征矢量和特征值，對于每一個(gè)點(diǎn)Pi，對應(yīng)的協(xié)方差矩陣C如下：

上式中k是Pi的臨近點(diǎn)數(shù)量，表示的是最近的臨近點(diǎn)的質(zhì)心，λi是協(xié)方差矩陣的第j個(gè)特征值，是第j個(gè)特征向量。

當(dāng)然法線還需要確定一個(gè)方向，只要知道視點(diǎn)Vp位置，就可以確定法線方向。一般情況下都?。?，0，0）為視點(diǎn)位置，對于法線，給它們定向只需要滿足以下公式即可統(tǒng)一法線方向。

一個(gè)點(diǎn)要想判斷是否為邊界點(diǎn)，判斷此點(diǎn)法線與相近k個(gè)點(diǎn)的法線的夾角大于指定閾值，就可以判斷此點(diǎn)為邊界點(diǎn)，本文所使用的閾值大小為。邊界點(diǎn)提取結(jié)果如圖7所示。

圖7 邊界點(diǎn)云數(shù)據(jù)

提取邊界點(diǎn)完成后就可以對點(diǎn)云進(jìn)行粗配準(zhǔn)，點(diǎn)云粗配準(zhǔn)采用SAC-IA算法，該算法是按照兩塊點(diǎn)云上各點(diǎn)的特征，找到對應(yīng)相似的特征點(diǎn)存在列表，然后計(jì)算對應(yīng)點(diǎn)的變換矩陣來實(shí)現(xiàn)點(diǎn)云的粗配準(zhǔn)。由于在計(jì)算特征之前，點(diǎn)云數(shù)據(jù)已將邊界作為點(diǎn)云的樣本點(diǎn)，所以只需計(jì)算兩塊點(diǎn)云邊界點(diǎn)的特征來計(jì)算變換矩陣即可。相比使用原點(diǎn)云配準(zhǔn)，邊界點(diǎn)配準(zhǔn)的計(jì)算速度明顯提升，表1統(tǒng)計(jì)了以邊界為特征方式下的點(diǎn)云配準(zhǔn)時(shí)間和未經(jīng)處理的配準(zhǔn)時(shí)間。

表1 點(diǎn)云配準(zhǔn)時(shí)間對比

圖8和圖10表示的是兩塊待配準(zhǔn)點(diǎn)云數(shù)據(jù)，其中藍(lán)色是帶缺陷的點(diǎn)云數(shù)據(jù)，綠色是標(biāo)準(zhǔn)點(diǎn)云數(shù)據(jù)。圖9所示是以邊界為特征的粗配準(zhǔn)后的點(diǎn)云數(shù)據(jù)，紅色為缺陷點(diǎn)云原本位置。圖11所示是未經(jīng)處理的點(diǎn)云配準(zhǔn)后的點(diǎn)云數(shù)據(jù)。

圖8 待配準(zhǔn)點(diǎn)云

圖9 邊界特征粗配準(zhǔn)點(diǎn)云

圖10 待配準(zhǔn)點(diǎn)云

圖11 未處理粗配準(zhǔn)點(diǎn)云

3.2 精配準(zhǔn)

點(diǎn)云經(jīng)過粗配準(zhǔn)過后，需要更為精準(zhǔn)的配準(zhǔn)來保證檢測的準(zhǔn)確性，通常采用ICP算法來實(shí)現(xiàn)。對于源點(diǎn)云p={pi,i=1,2,3...,m}和目標(biāo)點(diǎn)云Q={qi,i=1,2,3...,m}，ICP配準(zhǔn)步驟如下：

（1）對源點(diǎn)云中的每一個(gè)點(diǎn)，在目標(biāo)點(diǎn)云中找到其對應(yīng)點(diǎn)，組成新的數(shù)據(jù)X={xi,i=1,2,3...,m}，P和X形成對應(yīng)點(diǎn)集。

（2）對于已經(jīng)粗配準(zhǔn)過的點(diǎn)云，設(shè)置初始的變換矩陣[R,T]’，這一步可大大減少迭代計(jì)算時(shí)間。

（3）根據(jù)對應(yīng)點(diǎn)集和初始矩陣迭代計(jì)算新的變換矩陣[R,T]。

（4）旋轉(zhuǎn)變換源數(shù)據(jù)，計(jì)算旋轉(zhuǎn)后的點(diǎn)云和目標(biāo)點(diǎn)云之間的均方誤差(MSE)：

（5）考察MSE是否滿足給定的閾值，若不滿足則重復(fù)以上步驟，知道計(jì)算達(dá)到迭代次數(shù)或者滿足閾值。

精配準(zhǔn)完成的點(diǎn)云如圖12所示。

圖12 精配準(zhǔn)后的點(diǎn)云

4 缺陷識(shí)別

點(diǎn)云的缺陷識(shí)別即將兩塊配準(zhǔn)后的點(diǎn)云求異。本文識(shí)別待檢測物體的劃痕和磨損類缺陷，對待檢測點(diǎn)云Q每一個(gè)點(diǎn)q在標(biāo)準(zhǔn)點(diǎn)云P中遍歷尋找其最近點(diǎn)p，如果p和q之間的歐式距離小于指定閾值，那說明此點(diǎn)不屬于缺陷點(diǎn)，反之則屬于缺陷點(diǎn)。最后計(jì)算出的缺陷點(diǎn)位置如圖13所示，紅色部分為識(shí)別出的缺陷位置。

圖13 識(shí)別出的缺陷點(diǎn)云