一種改進(jìn)的管路焊縫自動檢測算法

李曉陽，孟冬輝，竇 威，閆榮鑫，孫立臣

（北京衛(wèi)星環(huán)境工程研究所，北京 100094）

0 引言

在航天史上發(fā)生過多起由燃料泄漏引起的航天器失效事故，燃料泄漏主要發(fā)生在管路系統(tǒng)的閥門、焊縫或管路連接處[1-2]。為了保證管路系統(tǒng)的密封性，工程師需要依次對各類管路系統(tǒng)中數(shù)量眾多的焊縫進(jìn)行單點漏率測量[3]，整個過程耗費大量的人力和時間，容易引起由人員疲勞導(dǎo)致的漏檢。隨著自動化技術(shù)和機器人技術(shù)的發(fā)展成熟，視覺伺服機器人已廣泛應(yīng)用于汽車、電子和食品加工等領(lǐng)域，極大地提升了生產(chǎn)效率[4]。應(yīng)用計算機視覺的自動化檢漏技術(shù)也得到了重視和發(fā)展。

在自動化檢漏技術(shù)中，目標(biāo)的自動檢測與識別是關(guān)鍵技術(shù)之一，而其穩(wěn)健性仍然是計算機視覺領(lǐng)域亟待解決的一個基本問題。Viola等[5-6]于2001年提出了一種基于 Adaboost的人臉檢測算法，通過對大量人臉數(shù)據(jù)庫的訓(xùn)練獲得分類器。該算法檢測速度快，但需要前期準(zhǔn)備大量的正樣本（目標(biāo)圖像）及負(fù)樣本（可能存在的背景圖像）數(shù)據(jù)進(jìn)行訓(xùn)練，并且當(dāng)訓(xùn)練的正樣本中包含目標(biāo)旋轉(zhuǎn)時，訓(xùn)練得到的分類器性能會受到很大的影響。為了解決非剛體目標(biāo)的檢測，F(xiàn)elzenszwalb等[7]提出了一種基于可分割零件模型的目標(biāo)檢測算法（DPM），將待檢測的一類物體分割成零件，建立零件之間的彈性能量模型，并通過大量樣本的學(xué)習(xí)，獲得一類物體的分類器。該算法同樣需要大量的目標(biāo)樣本進(jìn)行訓(xùn)練，檢測周期長。模板匹配算法[8-12]則是通過對一個目標(biāo)模板特征與待檢測圖像上的特征進(jìn)行匹配，實現(xiàn)對目標(biāo)的檢測識別。該方法對處于簡單背景中且特征單一的剛體目標(biāo)，能夠?qū)崿F(xiàn)快速準(zhǔn)確的識別。本文中所要檢測的管路焊縫是一種特征單一的目標(biāo)，通過一個模板即可表示焊縫這一類物體，因此適用模板匹配算法進(jìn)行檢測。但在進(jìn)行模板匹配時，若目標(biāo)在圖像中有旋轉(zhuǎn)或者尺度縮放，需要通過窮舉法（模板在 360°范圍內(nèi)旋轉(zhuǎn)和一些特定尺度的縮放）計算每個模板與待檢測圖像的相關(guān)度，計算量巨大，無法滿足快速檢測的需求。

為解決上述問題，本文提出了一種新的自動檢測方法：通過梯度?方向直方圖[13-14]計算管路圖像的主方向（并為提高算法穩(wěn)定性引入了次方向），將焊縫模板旋轉(zhuǎn)到主方向后再進(jìn)行模板匹配，省去了旋轉(zhuǎn)窮舉法中遍歷每一個角度所需的計算量，最后通過 HSV顏色空間轉(zhuǎn)換提取特征明顯的飽和度信息進(jìn)行互相關(guān)匹配，從而提高焊縫檢測準(zhǔn)確率。

1 互相關(guān)匹配原理

模板匹配算法是通過一個已知的模板在目標(biāo)圖像中進(jìn)行搜索，找出相似度最高位置的過程。在一維信號處理中，通常采用相關(guān)（cross correlation,CC）法計算兩個信號的相關(guān)程度[15]，

其中：f(x)為模板信號；g(x)為待匹配信號。對于二維離散的圖像信號，互相關(guān)度為

其中：I1(x, y)為模板圖像；I2(x, y)為待匹配圖像；W為模板窗口大小。匹配過程中，從圖像中截取 W大小的窗口與模板進(jìn)行互相關(guān)系數(shù)計算，采用滑動窗口的方式遍歷整幅圖像，獲得整個待檢圖像的互相關(guān)系數(shù)，并找到全局極大值作為目標(biāo)的匹配位置。該算法對圖像灰度變化較為敏感，為了提高算法的魯棒性，在相關(guān)法之后又提出了歸一化灰度互相關(guān)（normalized cross correlation, NCC）算法，其中、I2分別表示I1、I2在窗口W內(nèi)的平均灰度值。該算法能夠很好地解決灰度變化及背景噪聲帶來的問題，但是只適用于平移變換或者小角度變換和縮放變換。

對模板進(jìn)行窮舉匹配的步驟如下：

1）在2π角度范圍內(nèi)對模板進(jìn)行均勻的n次旋轉(zhuǎn)，每次旋轉(zhuǎn)角度2π/n；對于軸對稱模板可在π角度范圍內(nèi)旋轉(zhuǎn)，每次旋轉(zhuǎn)角度π/n。

2）對旋轉(zhuǎn)得到的n個模板進(jìn)行m次尺度變換，例如0.7、0.8、0.9、1.0、1.1、1.2、1.3等。

3）對得到的m×n個模板依次計算與待檢圖像的互相關(guān)系數(shù)。

4）找出所有互相關(guān)系數(shù)中的最大值，其所對應(yīng)位置則為目標(biāo)所在的位置。

該算法需要進(jìn)行 m×n次模板的互相關(guān)匹配，且在每次匹配過程中均對待檢圖像的所有像素進(jìn)行遍歷，運算量巨大，當(dāng)待檢圖像較大時將需要長時間的運算才能完成目標(biāo)檢測。

2 焊縫主方向計算

為了計算具有旋轉(zhuǎn)不變性的局部特征，Lowe[16]在2004年提出了SIFT算法。SIFT算法首先提取圖像中穩(wěn)定的特征點，然后生成具有旋轉(zhuǎn)不變性的描述向量。在進(jìn)行特征點描述向量計算時，為了實現(xiàn)旋轉(zhuǎn)不變性，首先在特征點鄰域16×16的像素范圍內(nèi)計算梯度?方向直方圖，并將直方圖上的峰值作為主方向。然后將16×16的窗口旋轉(zhuǎn)到主方向上，同時區(qū)域內(nèi)的梯度方向根據(jù)主方向進(jìn)行旋轉(zhuǎn)，最后生成具有旋轉(zhuǎn)不變性的局部描述向量，如圖1所示。

圖1 SIFT算法中的主方向與局部描述向量Fig. 1 Main orientation and local descriptor of SIFT

本文借鑒SIFT描述向量的計算方法，對管路圖像進(jìn)行主方向計算。首先構(gòu)造梯度?方向直方圖，圖像梯度計算如式(4)所示，方向計算如式(5)所示，

其中：g(x, y)為圖像的梯度值；Im(x, y)為輸入圖像；θ(x, y)為梯度的方向。式(5)中，如果分子、分母都加絕對值，則計算的是梯度的絕對方向；如果都不加絕對值，則可計算實際坐標(biāo)系下的梯度方向。由于本文涉及的管路是軸對稱的，因此在計算梯度方向時，僅計算[0, π)內(nèi)的方向角，故分子取絕對值。如圖2所示，為了簡略將0到π量化成8個方向，實際計算過程中通常量化為 18個方向，即每 10°為1個量化方向。圖3為真實焊縫圖像的梯度?方向示意圖，紅色箭頭表示梯度的方向，箭頭長度表示梯度值大?。▓D中越亮的地方梯度值越大）。為了提高算法對噪聲的魯棒性，對輸入圖像首先通過高斯低通濾波器進(jìn)行預(yù)處理。

圖2 簡略的量化方向（8個方向）Fig. 2 Directions after quantitative calculations with 8 bins

圖3 焊縫圖像中的梯度和方向Fig. 3 Gradient magnitude and direction in a weld seam image

通常情況下，彎管由1根完整的管路構(gòu)成，不存在焊縫。在焊縫檢測的管路圖像中包含1條或者多條直線管路。若只提取1個主方向，則在進(jìn)行焊縫模板匹配時，只能將焊縫模板旋轉(zhuǎn)到主方向管路上，而不能旋轉(zhuǎn)到其他方向管路上，造成其他管路的漏檢。為此，本文引入次方向的識別，先確定次方向的識別閾值，當(dāng)梯度?方向直方圖中第一峰值N1與第二峰值N2的比值（N1/N2）小于該閾值時，則認(rèn)為該管路圖像中存在2個管路，并將第二個峰值作為次方向（如圖4所示）；否則只考慮1個主方向即可。

圖4 存在次方向的梯度?方向直方圖Fig. 4 Gradient-direction histogram with multiple orientations

3 基于HSV顏色空間的焊縫識別

在光學(xué)理論中，紅（R）、綠（G）和藍(lán)（B）三原色混合可以得到所有的顏色，因此，在彩色圖像中通常采用 RGB表示顏色空間。RGB顏色空間對于物體彩色圖像的獲取和計算機存儲處理很理想，但是不能很好地反應(yīng)出人眼對顏色的感觀。當(dāng)人眼觀察一幅彩色圖像時，通常用色度（Hue, H）、飽和度（Saturation, S）和亮度（Value,V），即 HSV 顏色空間進(jìn)行描述[17]。用色度描述純色的屬性（例如純紅色，純黃色等），用飽和度給出純彩色被白光沖淡的程度，亮度則是用灰度等級描述物體的明度。由 RGB顏色空間到 HSV顏色空間的轉(zhuǎn)換如下：

其中，R、G、B顏色分量被轉(zhuǎn)化為[0, 1]范圍內(nèi)的浮點數(shù)；當(dāng)H＜0時，令H=H+360。

在互相關(guān)算法中只能對單通道進(jìn)行匹配，因此傳統(tǒng)的方法是將彩色圖像轉(zhuǎn)化成灰度圖后進(jìn)行匹配。而在灰度圖中，焊縫模板與管路其他部分的灰度值差別較小，當(dāng)遇到管路上有亮度不均勻的位置時，容易形成相關(guān)系數(shù)的峰值，造成定位錯誤。為了解決該問題，本文將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，并觀察提取H、S、V的特征值。從式(7)可以看出，S值是R、G、B顏色分量中最大值與最小值的差與V值的比。在普通管路中，R、G、B顏色分量的值接近，故S值小；而在焊縫位置出現(xiàn)氧化的顏色，R、G、B顏色分量的差值較大，計算獲得的S值較大。因此，模板匹配時使用S值進(jìn)行比對。實驗驗證也證明，焊縫在飽和度層上具有較明顯的特征。圖5顯示了焊縫灰度與焊縫飽和度的特征區(qū)別，圖5(a)灰度圖中的紅色框內(nèi)為在灰度空間上容易誤匹配的位置，而在圖5(b)飽和度圖中的相應(yīng)位置則可以明顯看出焊縫與非焊縫的特征區(qū)別。

圖5 焊縫的灰度圖和飽和度圖Fig. 5 Gray image and saturation image of weld seam

4 算法檢驗及結(jié)果分析

本文使用MATLAB（R2009）進(jìn)行算法編寫，搭建的試驗平臺采用Windows XP操作系統(tǒng)，CPU為Core i5，3.2 GHz。

本文采用2組測試圖像集，第一組為航天器推進(jìn)管路焊縫，共50幅圖像，管路直徑有2種（φ6和φ4），焊縫模板如圖6(a)所示；第二組為地面工藝管路，共50幅圖像，焊縫模板如圖6(b)所示。這2組測試圖像中均包含了焊縫的平移、旋轉(zhuǎn)、縮放以及光照變化，甚至包含一定程度的仿射變換，能夠真實反應(yīng)現(xiàn)實情況，充分測試算法的性能。

圖6 焊縫模板Fig. 6 Templates for matching

本文算法中，次方向選取的閾值為 2.5；旋轉(zhuǎn)角度(0, π)量化為18個方向，每10°為1個方向；縮放尺度變化范圍量化為7個值，分別是[0.7, 0.8,0.9, 1.0, 1.1, 1.2, 1.3]；模板是大小為90×90像素的彩色圖像；測試圖像是大小為 375×500的彩色圖像。通過MATLAB進(jìn)行仿真，平均每幅圖像的檢測時間為1.3 s（量化為18個方向），相比傳統(tǒng)的旋轉(zhuǎn)角度窮舉法提高了17倍（如果存在次方向，則提高8倍）。

航天器推進(jìn)管路焊縫檢測結(jié)果如圖 7～圖 10所示，圖 7(a)為對原圖進(jìn)行梯度?方向計算得到的直方圖，可以看出該圖像中包含1個主方向。根據(jù)主方向?qū)δ０暹M(jìn)行旋轉(zhuǎn)，并在HSV顏色空間進(jìn)行匹配，得到檢測結(jié)果如圖7(b)所示，圖中用綠色框標(biāo)注出焊縫位置。圖8中包含兩根管路，得到的梯度?方向直方圖包含主、次2個方向，如圖8(a)所示。將模板旋轉(zhuǎn)到這2個方向后分別進(jìn)行匹配，得到檢測結(jié)果如圖8(b)所示，在主方向管路上有1處焊縫。圖9、圖 10的焊縫檢測過程包含旋轉(zhuǎn)、縮放和一定程度的仿射變換，其中圖9的焊縫圖像包含亮度變化，圖 10中的管路直徑為φ4。地面工藝管路檢測結(jié)果如圖11～圖13所示，3組圖片包含了旋轉(zhuǎn)、平移、縮放和仿射變換。

圖7 φ6推進(jìn)管路焊縫檢測結(jié)果Fig. 7 Matching results of one φ6 tube

圖8 φ6和φ4雙管路焊縫檢測結(jié)果（雙管路）Fig. 8 Matching results of two tubes(φ6 andφ4)

圖9 φ6推進(jìn)管路焊縫檢測結(jié)果（旋轉(zhuǎn)、縮放、視角變換、亮度變化）Fig. 9 Matching results of φ6 tube with affine transform and illumination change

圖10 φ4推進(jìn)管路焊縫檢測結(jié)果（旋轉(zhuǎn)、縮放）Fig. 10 Matching result of φ4 tube with rotation and scale transform

圖11 地面工藝管路焊縫檢測結(jié)果Fig. 11 Matching results of ground pipeline

圖12 地面工藝管路焊縫檢測結(jié)果（旋轉(zhuǎn)、縮放）Fig. 12 Matching result of ground pipeline with rotation and scale transform

通過以上的測試結(jié)果可以看出，本文提出的焊縫檢測算法對焊縫的平移、旋轉(zhuǎn)、縮放以及仿射變換具有適應(yīng)性，能夠準(zhǔn)確識別并精確定位焊縫的位置。實驗中對所有圖像樣本進(jìn)行測試，并對比了采用本文所提的HSV顏色空間變換后的飽和度進(jìn)行互相關(guān)匹配以及采用灰度互相關(guān)進(jìn)行匹配的算法性能，最后得到的檢測準(zhǔn)確率如表1所示。

圖13 地面工藝管路焊縫檢測結(jié)果（旋轉(zhuǎn)、縮放、亮度變化）Fig. 13 Matching result of ground pipeline with rotation,scale transform and light change

表1 不同算法對焊縫識別檢測準(zhǔn)確率對比Table 1 Comparison of accuracy between our algorithm and the algorithm based on gray cross correlation

5 結(jié)束語

本文提出了一種基于梯度?方向直方圖和HSV顏色空間的焊縫檢測算法，通過梯度?方向直方圖計算獲得管路的主方向，根據(jù)主方向?qū)⒛０逍D(zhuǎn)對準(zhǔn)后再進(jìn)行互相關(guān)匹配，從而避免了傳統(tǒng)方向窮舉法帶來的巨大計算量，提升檢測算法的處理速度。根據(jù)人眼對顏色的辨別方法，引入了HSV顏色空間變換，在飽和度上獲得較明顯的焊縫特征。實驗結(jié)果表明，本文提出的算法能夠?qū)崿F(xiàn)快速準(zhǔn)確的焊縫檢測和定位，且較傳統(tǒng)的灰度互相關(guān)匹配算法在檢測準(zhǔn)確率上有極大提升。

（References）

[1]Roth, Gilbert L. Propulsion safety almost equals mission safety[C]//AIAA 24thJoint Propulsion Conference.Boston, 1988

[2]王淵. 航天器化學(xué)推進(jìn)系統(tǒng)故障分析與對策[C]//第二十三屆全國空間探測學(xué)術(shù)交流會. 廈門, 2010

[3]吳孝儉, 閆榮鑫. 泄漏檢測[M]. 北京: 機械工業(yè)出版社, 2005: 200-203

[4]徐德, 譚民, 李原. 機器人視覺測量與控制[M]. 北京:國防工業(yè)出版社, 2011: 1-34

[5]Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Conference on Computer Vision and Pattern Recognition (CVPR 2001). Hawaii,2001: 511-518

[6]Viola P, Jones M. Robust real-time face detection[J].International Journal of Computer Vision, 2004, 57(2):137-154

[7]Felzenszwalb P, Girshick R, McAllester D, et al. Visual object detection with deformable part models[J].Communications of the ACM, 2013, 56(9): 97-105

[8]Cuevas E, Echavarría A, Zaldívar D, et al. A novel evolutionary algorithm inspired by the states of matter for template matching[J]. Expert Systems with Applications, 2013, 40(15): 6359-6373

[9]于娜. 工件檢測中圖像模板匹配的研究[D]. 石家莊:河北工業(yè)大學(xué), 2010

[10]姜映映, 田豐. 基于模板匹配和 SVM 的草圖符號自適應(yīng)識別方法[J]. 計算機學(xué)報, 2009, 32(2): 252-260 Jiang Yingying, Tian Feng. Adaptive symbol recognition for sketch-based interfaces based on template matching and SVM[J]. Chinese Journal of Computers, 2009, 32(2): 252-260

[11]王培容, 陳鴻雁, 李嬌軍. 一種快速的具有旋轉(zhuǎn)不變性的模板匹配方法[J]. 計算機工程與設(shè)計, 2006, 27(14):2667-2672 Wang Peirong, Chen Hongyan, Li Jiaojun. Fast template matching method for rotation invariance[J]. Computer Engineering and Design, 2006, 27(14): 2667-2672

[12]謝志江, 呂波, 劉琴. 旋轉(zhuǎn)不變性圖像模板匹配快速算法[J]. 吉林大學(xué)學(xué)報: 科技版, 2013, 43(3): 711-717 Xie Zhijiang, Lü Bo, Liu Qin. Rotation-invariant and fast image template matching algorithm[J]. Journal of Jilin University: Engineering and Technology Edition,2013, 43(3): 711-717

[13]劉志強, 翟營, 秦洪懋. 梯度向量直方圖的行人檢測[J].機械設(shè)計與制造, 2011(11): 245-247 Liu Zhiqiang, Zhai Ying, Qin Hongmao. Gradient direction histogram of the pedestrian detection[J].Machinery Design & Manufacture, 2011(11): 245-247

[14]王宇新, 唐琳, 郭禾. 基于金字塔梯度方向直方圖的分層投票方法[J]. 計算機工程, 2012, 38(8): 156-158 Wang Yuxin, Tang Lin, Guo He. Layered vote method based on pyramid histogram of oriented gradient[J].Computer Engineering, 2012, 38(8): 156-158

[15]楊占龍. 基于特征點的圖像配準(zhǔn)和拼接技術(shù)[D]. 西安: 西安電子科技大學(xué), 2008

[16]Lowe D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[17]Gonzalez R C. 數(shù)字圖像處理(MATLAB版)[M]. 阮秋琦, 譯. 北京: 電子工業(yè)出版社, 2005: 152-160