基于角點(diǎn)檢測(cè)的焊縫圖像ROI優(yōu)化提取算法

于鐵軍， 劉立峰， 邢彥鋒， 蔣世誼

(1.上海和達(dá)汽車配件有限公司， 上海 201799； 2.上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院, 上海 201600)

焊縫質(zhì)量檢測(cè)作為焊接工藝中必不可少的一環(huán)，一直受到廣大研究者的關(guān)注?，F(xiàn)如今的自動(dòng)化焊縫質(zhì)量檢測(cè)工藝包含基于焊縫圖像的焊縫質(zhì)量檢測(cè)以及基于點(diǎn)云的焊縫質(zhì)量檢測(cè)[1-3]。其中由于焊接過程噪聲大等原因，基于圖像的焊縫質(zhì)量檢測(cè)魯棒性不高，但基于點(diǎn)云的焊縫質(zhì)量檢測(cè)由于點(diǎn)云數(shù)據(jù)龐大，往往計(jì)算量過大導(dǎo)致計(jì)算時(shí)間長[4]。針對(duì)這個(gè)問題，有必要對(duì)焊縫點(diǎn)云數(shù)據(jù)進(jìn)行ROI區(qū)域的處理，提取出包含特征的數(shù)據(jù)區(qū)域，從而減少數(shù)據(jù)量來縮短計(jì)算時(shí)間。

在機(jī)器視覺應(yīng)用廣泛的今天，ROI提取技術(shù)在機(jī)器視覺，尤其是特征提取上的應(yīng)用十分廣泛[5-7]。文獻(xiàn)[8]中劉瓊等利用Haar-Like特征對(duì)雙閾值分割法進(jìn)行改進(jìn)，以此來進(jìn)行車載熱成像行人檢測(cè)的ROI提取，與傳統(tǒng)算法相比，召回率提高49%，并且提取速度快。文獻(xiàn)[9]中陳典典等提出了一種基于Harris角點(diǎn)檢測(cè)和聚類算法的掌紋圖像ROI區(qū)域提取算法，并驗(yàn)證了準(zhǔn)確性。

在焊縫點(diǎn)云質(zhì)量檢測(cè)的過程中，點(diǎn)云數(shù)據(jù)主要由帶有激光的焊縫圖像提取得到，因此理想的ROI區(qū)域提取算法的目標(biāo)在于尋找激光圖像中的角點(diǎn)。

Moravec角點(diǎn)檢測(cè)算法用二值化圖像尋找角點(diǎn)。文獻(xiàn)[10]中宋俊芳等對(duì)Moravec算法進(jìn)行改進(jìn)，用于檢測(cè)運(yùn)動(dòng)目標(biāo)的角點(diǎn)，滿足了交通場(chǎng)景中對(duì)行人檢測(cè)的要求。文獻(xiàn)[11]中王博楊等研究了使用Moravec算法尋找角點(diǎn)，將多目視頻圖像融合成同一圖像的應(yīng)用。從上述文獻(xiàn)中可以看出Moravec角點(diǎn)檢測(cè)算法是一種非常適用于簡單場(chǎng)景的角點(diǎn)檢測(cè)算法。

但同時(shí)Moravec角點(diǎn)檢測(cè)算法也存在很多問題，比如對(duì)噪聲和邊緣不夠敏感，不具備對(duì)圖像旋轉(zhuǎn)的適應(yīng)性等，容易檢測(cè)出偽角點(diǎn)。針對(duì)這個(gè)現(xiàn)象，課題組對(duì)Moravec算法進(jìn)行改進(jìn)，對(duì)角點(diǎn)的特征進(jìn)一步進(jìn)行定義，提高算法精度，并對(duì)焊縫表面點(diǎn)云進(jìn)行實(shí)驗(yàn)。

1 焊縫表面激光圖像ROI提取

在基于焊縫表面點(diǎn)云的焊縫表面缺陷質(zhì)量檢測(cè)的過程中，需要對(duì)焊縫表面點(diǎn)云數(shù)據(jù)進(jìn)行采集。課題組使用的方法是使用三角激光測(cè)量(LMT)對(duì)帶有激光光束的焊縫表面圖像進(jìn)行采集，利用Hessian矩陣求得激光亞像素中心線，利用中心線整合出焊縫表面的點(diǎn)云數(shù)據(jù)。

在實(shí)際的焊縫表面點(diǎn)云數(shù)據(jù)處理中，由于點(diǎn)云密度大，一段焊縫表面點(diǎn)云數(shù)據(jù)往往包含約16 000個(gè)三維點(diǎn)，數(shù)據(jù)量龐大，導(dǎo)致計(jì)算時(shí)間過長。因此需要對(duì)帶有激光的焊縫表面圖像進(jìn)行ROI提取，從而減少三維點(diǎn)數(shù)量，以達(dá)到縮短計(jì)算時(shí)間的目的。圖1為焊縫圖像帶有激光光束、亞像素中心線的理想ROI區(qū)域示意圖，從圖中可以看出在理想的ROI區(qū)域之外，還有大面積的不必要數(shù)據(jù)，因此，對(duì)ROI區(qū)域提取算法的優(yōu)化很有必要。

圖1 焊縫圖像帶有激光光束、亞像素 中心線以及理想的ROI區(qū)域示意圖Figure 1 Weld image with laser beam, subpixel centerline, and ideal ROI diagram

2 角點(diǎn)檢測(cè)算法

焊縫表面圖像的理想ROI區(qū)域的判斷依據(jù)是提取出焊縫表面上有激光光束的部分。焊縫與焊板的連接區(qū)域被稱為焊趾，在圖像中可以明顯看出焊趾處存在一個(gè)明顯的角點(diǎn)，即特征點(diǎn)，因此為了確定ROI區(qū)域，主要目標(biāo)在于尋找特征點(diǎn)。

2.1 Moravec角點(diǎn)檢測(cè)算法

Moravec角點(diǎn)檢測(cè)算法是一種針對(duì)圖像灰度值的角點(diǎn)檢測(cè)算法，特別適合對(duì)灰度圖像進(jìn)行處理，因此十分適合對(duì)本課題中焊縫激光中心線的角點(diǎn)進(jìn)行檢測(cè)。其具體的檢測(cè)算法原理如圖2所示。

圖2 Moravec角點(diǎn)檢測(cè)算法原理示意圖Figure 2 Schematic diagram of Moravec corner detection algorithm

Moravec角點(diǎn)檢測(cè)算法以檢測(cè)的像素點(diǎn)為中心，建立大小為3×3的檢測(cè)窗口，對(duì)不同方向(通常為0°，45°，90°，135° 的4個(gè)方向)進(jìn)行平移，對(duì)檢測(cè)窗口中的像素計(jì)算灰度方差，選取其中的最小值作為角點(diǎn)響應(yīng)值，如果該響應(yīng)值大于所設(shè)定的閾值，則認(rèn)為該點(diǎn)為角點(diǎn)。 其角點(diǎn)響應(yīng)值的計(jì)算公式如下：

式中：(x,y)為檢測(cè)的像素點(diǎn)；p(x,y)為該點(diǎn)灰度值；w(u,v)為檢測(cè)窗口。

Moravec角點(diǎn)檢測(cè)算法計(jì)算量小，能夠?qū)Χ祱D像快速地檢測(cè)角點(diǎn)，但檢測(cè)窗口的大小、窗口的移動(dòng)方向等變化因素會(huì)導(dǎo)致魯棒性較低，且易出現(xiàn)偽角點(diǎn)和錯(cuò)點(diǎn)，在實(shí)際圖像較為復(fù)雜的情況下，一個(gè)區(qū)域中可能會(huì)出現(xiàn)多個(gè)檢測(cè)點(diǎn)，因此有必要對(duì)檢測(cè)的角點(diǎn)進(jìn)行進(jìn)一步檢驗(yàn)。

2.2 角點(diǎn)檢測(cè)算法優(yōu)化

針對(duì)Moravec角點(diǎn)檢測(cè)算法中出現(xiàn)的偽角點(diǎn)和錯(cuò)點(diǎn)的問題，需要對(duì)初步檢測(cè)出的檢測(cè)點(diǎn)進(jìn)行進(jìn)一步檢測(cè)確認(rèn)，以確保角點(diǎn)的準(zhǔn)確性并消除偽角點(diǎn)。

由于焊縫表面中心線的角點(diǎn)處中心線的方向變化并不明顯，基于此現(xiàn)象，設(shè)計(jì)了一種確定唯一角點(diǎn)的方法。該方法通過增大檢測(cè)窗口，擴(kuò)大檢測(cè)范圍，同時(shí)對(duì)范圍內(nèi)角點(diǎn)進(jìn)行進(jìn)一步檢測(cè)甄別。具體檢測(cè)方法如圖3所示。

圖3 角點(diǎn)檢測(cè)算法優(yōu)化原理Figure 3 Schematic of optimized Moravec corner detection algorithm

在圖3中，點(diǎn)A和點(diǎn)B為檢測(cè)得到的2個(gè)角點(diǎn)，其中一個(gè)為偽角點(diǎn)。為了檢測(cè)出偽角點(diǎn)，將檢測(cè)窗口放大，點(diǎn)M和點(diǎn)N為中心線與窗口的交接點(diǎn)，線段MN作為該檢測(cè)窗口的檢測(cè)對(duì)照線段，分別計(jì)算點(diǎn)A和點(diǎn)B到線段MN的距離，以該距離作為鑒別是否是偽角點(diǎn)的依據(jù)。距離較遠(yuǎn)的點(diǎn)A為真角點(diǎn)，距離較近的點(diǎn)B為偽角點(diǎn)。若有多個(gè)偽角點(diǎn)存在，則選取距離最遠(yuǎn)的點(diǎn)作為角點(diǎn)。

3 實(shí)驗(yàn)

課題組使用LMT裝置采集帶有激光光束的焊縫圖像，該裝置包括波長為650 nm的激光發(fā)射器，焦距為63 mm的MER-130-30UM(-L)工業(yè)相機(jī)，和焦距為25 mm的COMPUTER鏡頭(M2518-MPW2)，圖4為該裝置示意圖。

圖4 激光三角測(cè)量裝置實(shí)物圖Figure 4 Three-dimensional diagram of laser triangulation device

使用該裝置采集帶有激光光束的焊縫圖像，對(duì)激光光束進(jìn)行中心線提取，使用角點(diǎn)檢測(cè)算法對(duì)中心線進(jìn)行特征點(diǎn)提取，依照特征點(diǎn)對(duì)焊縫圖像進(jìn)行ROI區(qū)域提取，最后進(jìn)行三維重建，以此來獲得焊縫表面的點(diǎn)云數(shù)據(jù)。圖5為實(shí)驗(yàn)流程圖。

圖5 實(shí)驗(yàn)流程圖Figure 5 Experimental flow chart

使用Moravec角點(diǎn)檢測(cè)算法對(duì)圖像進(jìn)行角點(diǎn)檢測(cè)，圖6(a)為使用LMT裝置對(duì)焊縫圖像進(jìn)行角點(diǎn)檢測(cè)后的圖像。圖6(b)中點(diǎn)A，B，C和D為檢測(cè)出的角點(diǎn)，點(diǎn)E為圖像中焊縫最高點(diǎn)，其中很明顯可以看出點(diǎn)B和D為偽角點(diǎn)。使用經(jīng)過優(yōu)化后的角點(diǎn)檢測(cè)算法對(duì)焊縫激光光束中心線進(jìn)行角點(diǎn)檢測(cè)后的結(jié)果如圖6(c)所示，已過濾掉了偽角點(diǎn)。

圖6 帶有激光光束的焊縫圖像和角點(diǎn)檢測(cè)結(jié)果Figure 6 Weld image and corner detection results with laser beam

最終，使用優(yōu)化后的Moravec角點(diǎn)檢測(cè)算法對(duì)整段焊縫進(jìn)行ROI區(qū)域提取和優(yōu)化，ROI區(qū)域提取前后的最終三維重建結(jié)果對(duì)比如圖7所示。ROI區(qū)域提取后將原有的16 387個(gè)三維點(diǎn)數(shù)據(jù)減少到4 729個(gè)三維點(diǎn)數(shù)據(jù)。

圖7 ROI區(qū)域提取前后對(duì)比圖Figure 7 Comparison diagram before and after ROI extraction

4 結(jié)論

課題組使用LMT裝置獲取帶有激光光束焊縫的表面圖像，并提取激光中心線，基于激光中心線提取角點(diǎn)和特征點(diǎn)，以此對(duì)圖像進(jìn)行ROI區(qū)域提取。針對(duì)原有的Moravec角點(diǎn)檢測(cè)算法存在的偽角點(diǎn)問題進(jìn)行改進(jìn)，對(duì)使用Moravec角點(diǎn)檢測(cè)算法檢測(cè)得出的角點(diǎn)進(jìn)行進(jìn)一步檢測(cè)和分析，從而去除偽角點(diǎn)，提高了Moravec角點(diǎn)檢測(cè)算法的魯棒性。經(jīng)過實(shí)驗(yàn)表明：優(yōu)化后的角點(diǎn)檢測(cè)算法能夠有效避免偽角點(diǎn)的出現(xiàn)，提高了魯棒性，同時(shí)經(jīng)過ROI提取后的焊縫點(diǎn)云數(shù)據(jù)量減少了71.14%。該方法能夠有效解決計(jì)算基于點(diǎn)云的焊縫表面缺陷檢測(cè)數(shù)據(jù)量過大的問題。