基于傅立葉圖像重建的車用換熱器表面缺陷檢測*

項文波，戴躍偉，茅耀斌

(1. 南京理工大學自動化學院,江蘇 南京　210094；2. 江蘇科技大學電子信息學院,江蘇 鎮(zhèn)江　212003)

基于傅立葉圖像重建的車用換熱器表面缺陷檢測*

項文波1，戴躍偉2，茅耀斌1

(1. 南京理工大學自動化學院,江蘇 南京210094；2. 江蘇科技大學電子信息學院,江蘇 鎮(zhèn)江212003)

摘要:針對車用換熱器表面缺陷檢測問題,提出一種利用傅立葉圖像重建提取方向紋理表面缺陷的算法。該算法采用局部二值模式(LBP)描述去除光照影響并對LBP圖像進行快速傅立葉變換,通過頻率域濾波和圖像重建有效去除方向紋理的影響,由二值化及團塊分析最終提取換熱器表面缺陷區(qū)域。實驗結(jié)果證明,本文算法可以快速、有效地檢測出換熱器表面缺陷。

關(guān)鍵詞:局部二值模式;表面缺陷檢測;圖像重建;車用換熱器

換熱器是汽車、坦克和裝甲車等車輛上的一個主要部件,有著非常大的用量,但目前對其表面質(zhì)量的檢驗卻依然采用人工方式?；跈C器視覺技術(shù)對換熱器表面缺陷進行自動檢查,可以提高生產(chǎn)效率,減少人為因素,大大改進廠家在生產(chǎn)、裝配、出廠檢驗方面的工藝。

車用換熱器表面的缺陷主要是由于生產(chǎn)、運輸過程中的磕碰造成的表面損壞。由于大部分的缺陷很小,形態(tài)不固定,難以提取常規(guī)的圖像特征加以描述,因此,其表面缺陷的檢測是件很有挑戰(zhàn)性的工作,再加上換熱器尺寸比較大,成像時容易光照不均,而在光照不理想的情況下,缺陷區(qū)域很難與高亮區(qū)域區(qū)分,更增加了檢測的難度。

分析換熱器表面圖像可以發(fā)現(xiàn),該類圖像具有很強的紋理結(jié)構(gòu)特征,其紋理有一定的方向性;而缺陷區(qū)域則為形狀不規(guī)則的亮斑,沒有方向性。由此,本文可以將換熱器表面缺陷檢測問題轉(zhuǎn)換為一個具有規(guī)則方向紋理的表面缺陷檢測問題進行建模。

在機器視覺領域,針對紋理表面的缺陷檢測方法大致可分為兩類:局部方法和全局方法。局部方法是將紋理表面切分成重疊或不重疊的若干小區(qū)域,對每個區(qū)域提取統(tǒng)計特征,然后設計一個分類器對每個區(qū)域判別是否存在缺陷[1]。紋理統(tǒng)計特征一般選直方圖、灰度共生陣(gray level co-occurrence matrix, GLCM)、自相關(guān)特征等,而分類器則采用SVM、神經(jīng)網(wǎng)絡或決策樹等常用分類算法[2-3]。全局方法的基本思想是將待檢測紋理表面圖像轉(zhuǎn)換到變換域,通過變換域濾波方法將圖像的正常紋理濾除,使得反變換后的待檢圖像只留下缺陷區(qū)域,然后,通過簡單的閾值化方法就可將缺陷區(qū)域檢測出來。常用的變換有:傅立葉變換[4-5]、Gabor變換[6]和小波變換[7]。局部檢測方法實質(zhì)是將缺陷檢測問題轉(zhuǎn)化為一個模式識別問題,雖方法直觀,但是,對于許多實際應用,由于無法提供足夠多的缺陷樣本以供訓練,再加上缺陷形態(tài)多樣,其檢測效果不是很好;而全局方法由于無須考慮各類缺陷樣本,采用濾波方式將紋理圖像與缺陷圖像分離,因此對缺陷的多樣性有更廣的適應性。

本文針對換熱器表面缺陷檢測問題,提出一種全局檢測方法,該方法流程如圖1所示,原始紋理圖像通過局部二值模式(Local Binary Pattern,LBP)變換獲得LBP描述,通過該步操作可以有效去除光照的影響;之后,對具有方向紋理的LBP圖像進行傅立葉變換,在頻率域?qū)⒏哳l、高能量系數(shù)置0,由傅立葉重建去除方向紋理的影響,獲得只包含缺陷區(qū)域的重構(gòu)圖像;對重構(gòu)圖像進行二值化并進行團塊分析,去除噪聲干擾,可最終檢得缺陷區(qū)域。

圖1　汽車換熱器表面缺陷檢測流程框圖

1圖像的局部二值模式(LBP)

1.1LBP紋理

局部二值模式(LBP)是一種用來描述圖像局部紋理特征的算子。LBP方法自1994年被提出,一直作為一種有效的紋理特征,不斷地被使用和改進[8]。LBP的基本思想是對圖像的每一個像素與它周圍鄰域像素進行對比后的結(jié)果進行加權(quán)求和。本文采用的LBP算子使用3×3的鄰域,以鄰域中心像素為閾值,將相鄰的8個像素的灰度值與其進行比較,若周圍像素值大于中心像素值,則該位置像素點被標記為1,否則為0。這樣,3×3鄰域內(nèi)的8個點可產(chǎn)生8個比特的二進制數(shù),將這8比特二進制數(shù)按順序拼在一起(即進行加權(quán)求和),可得一個8比特長的二進制無符號數(shù),用它來表示每個像素(如圖2所示),即得到該像素處的LBP值。由此可見,由于每個像素的周圍相鄰有8個像素,最終可獲取28種可能組合,這些編碼被稱為局部二值模式(或LBP編碼)。

圖2　局部二值模式

對圖像上的每個點都按上述辦法處理,可得到整幅圖像所有點的LBP值,這些LBP值構(gòu)成一幅灰度圖。圖3(a1)、(b1)為原始紋理圖像,圖3(a2)、(b2)為對應的LBP圖像。

1.2基于LBP的光照影響去除

由于每個像素LBP值的計算只與其鄰域值相關(guān),且計算的是鄰域值與中心值的相對大小,因此,對換熱器圖像計算其LBP圖像可以顯著去除光照造成的影響,如圖3所示,圖3(a1)、圖3(b1)分別為兩幅不同光照條件下采集得到的圖像,圖3(a2)、圖3(b2)分別為它們對應的LBP圖像,可以看出,光照影響得以顯著削弱。

圖3　兩幅換熱器表面圖像及其對應的LBP圖像

由于LBP變換后的圖像能夠有效消除光照的影響且同時保留了原始紋理結(jié)構(gòu)及缺陷特征,因此,后繼的圖像濾波和缺陷檢測本文將針對LBP圖像進行處理。

2基于傅立葉圖像重建的換熱器表面缺陷提取方法

2.1傅立葉圖像重建原理

傅立葉圖像重建通過傅立葉變換把圖像信號從空域轉(zhuǎn)變成頻率域,通過分析信號頻譜系數(shù),將不需要的頻率分量過濾掉,再通過傅立葉逆變換把信號從頻率域轉(zhuǎn)換回空域,獲得重建圖像。

對于大小為M×N的二維數(shù)字圖像f(x,y),其二維離散傅立葉變換為

(1)

它將任意圖像表示成一系列頻率分量的線性組合。相應的二維傅立葉反變換為

(2)

換熱器表面圖像為具有規(guī)則方向紋理的圖像,對于此類圖像,其頻譜主要表現(xiàn)為直線的形狀,圖像空間紋理的方向與頻譜中譜線的方向互相垂直。頻譜能量主要集中在與紋理方向垂直的方向上,當紋理方向與水平方向的夾角旋轉(zhuǎn)了一定角度時,頻譜的方向也會隨之旋轉(zhuǎn)一定的角度。由于換熱器表面的缺陷是隨機的,方向性并不是很強,一般來說與主紋理方向不一致,并且缺陷紋理區(qū)域的頻譜能量遠遠低于主紋理區(qū)域的能量。圖4給出了一張含有表面缺陷的LBP圖像及其頻譜圖。從圖4可以看出,若以頻譜中心畫圓,不同半徑的圓對應了圖像中不同頻率的細節(jié)信息,功率譜的幅值也隨著離頻譜中心距離的增加而減小。

圖4　一幅LBP紋理圖像及其頻譜圖像

如果對LBP圖像進行離散傅立葉變換將之變換到頻域,通過抑制高頻和高能量傅立葉系數(shù)的方式進行頻域濾波,再將結(jié)果反變換回圖像域,由于缺陷區(qū)域的頻譜能量不高,且不在與紋理方向垂直的方向上,因此可以獲得一張去除紋理、只保留缺陷區(qū)域的圖像。圖5給出了對圖4進行濾波的結(jié)果及其重構(gòu)的圖像,對比圖5(b)和圖4(a)可知,只要簡單地對圖5(b)進行二值化就可以提取出缺陷區(qū)域。

圖5　頻域濾波后的結(jié)果及其重構(gòu)圖像

2.2濾波器的設計

(3)

通過實驗,本文取rf=0.10,同時將所有能量幅值大于1的系數(shù)置為0。圖5(a)給出了一幅LBP圖像經(jīng)過頻域濾波后的結(jié)果,其中,包括直流分量在內(nèi)的大能量系數(shù)得以濾除,同時,代表紋理方向的直線頻譜也被排除在了濾波半徑之外。

2.3缺陷檢測算法

對頻域濾波后的重構(gòu)圖像進行二值化可以獲得缺陷區(qū)域。本文采用最大熵自動閾值法進行灰度圖像二值化[9]。最大熵閾值法通過使用信息論中的最大香農(nóng)熵準則來尋找使圖像直方圖的熵為最大的閾值,假設圖像共有T級灰度級,該方法求閾值的步驟如下。

1)求取圖像的歸一化直方圖

p0,p1,…,pT-1,且有p0+p1…+pT-1=1,pi∈[0,1]。

2)求取圖像的圖像熵

3)當最佳閾值選為t時,計算總熵

Ht=ln(Pt(1-Pt))+Ht/Pt+(H-Ht)/(1-Pt)

4)令t=0, 1,…, T-1,分別計算Ht,取最大Ht時的t作為最佳閾值。

采用最大熵閾值法獲得的二值結(jié)果如圖6所示。由圖6可知,由于缺陷區(qū)域頻譜和方向紋理頻譜可能存在一定交疊,濾波做不到足夠完全,因此二值化后的重建圖像中可能存在一些細小噪聲,這可以通過二值圖像團塊(blob)分析將之去除,如利用形態(tài)學操作再采用面積濾波等方法,這里不再贅述。

圖6　二值化后的結(jié)果圖像

3實驗及分析

本文采用Kodak IGV-B4820M-KF0單面陣千兆以太網(wǎng)工業(yè)相機配Schneider鏡頭和紅色條形光源,現(xiàn)場采集了20幅換熱器表面圖像,并切割出含有缺陷區(qū)域的20幅尺寸為960×600像素的圖像進行實驗。

3.1查全率與查準率

對表面缺陷檢測技術(shù)評價的性能指標主要有查全率和查準率。查全率定義如式(4)：

(4)

查準率定義如式(5)：

(5)

其中,A為實際有缺陷樣本檢測為有缺陷樣本的數(shù)量(正確檢測數(shù));C為實際有缺陷樣本檢測為無缺陷樣本的數(shù)量(漏檢數(shù));B為實際無缺陷樣本檢測為有缺陷樣本的數(shù)量(虛警數(shù))。

圖7　換熱器表面缺陷檢測結(jié)果

用于實驗的20幅換熱器表面圖像上共有真實缺陷53處,實際檢測出49處,其中虛警3處,正確檢測46處,其查全率R=86.8%,查準率P=93.9%,結(jié)果列于表1。圖7給出了4幅典型圖像的檢測結(jié)果。

表1　20幅換熱器圖像表面缺陷檢測結(jié)果

3.2檢測速度

本文提出的換熱器表面缺陷檢測算法由于采用的是快速傅立葉變換和低計算負荷的最大熵閾值化算法,因此檢測速度很快,本文分別針對不同尺寸的圖像進行了實驗,得到結(jié)果如表2所示。實驗所用計算機為Intel core i5 2310處理器,2.9GHz主頻,4G內(nèi)存,1T硬盤,開發(fā)環(huán)境為VS2010,程序采用C++編寫,未經(jīng)過MMX/SSE指令優(yōu)化。

表2　不同尺寸換熱器圖像表面缺陷檢測所用時間

4結(jié)束語

針對車用換熱器表面缺陷檢測問題,本文提出一種基于傅立葉圖像重建的紋理表面缺陷檢測算法。該算法采用LBP描述將換熱器圖像轉(zhuǎn)換為LBP圖像以去除光照影響,然后,通過對LBP圖像的傅立葉變換,過濾掉能量較大及特定方向的頻域系數(shù),通過傅立葉反變換獲得去除方向紋理影響的濾波圖像。對濾波圖像進行二值化及團塊分析最終完成對換熱器表面缺陷的檢測。實驗結(jié)果證明了本文所提算法的有效性,該方法可以擴展到其他方向紋理缺陷檢測應用中,如機械加工零件表面缺陷檢測、織物瑕疵的檢測等。

參考文獻:

[1]羅菁,董婷婷,宋丹,等. 表面缺陷檢測綜述[J]. 計算機科學與探索， 2014, 8(9): 1041-1048.

[2]Ravikumar S, Ramachandran K I, and Sugumaran V. Machine learning approach for automated visual inspection of machine components[J]. Expert Systems with Applications， 2011, 38(4): 3260-3266.

[3]Huang Jiexiang, Li Di, Ye Feng, et al. Detection of surface of solder on flexible circuit[J]. Optics and Precision Engineering， 2010, 18(11): 2443-2453.

[4]D.-M. Tsai, and C.-Y. Hsieh. Automated surface inspection for directional textures[J]. Image and Vision Computing， 1999, 18:49-62.

[5]D.-M. Tsai, and T.-Y. Huang. Automated surface inspection for statistical textures[J]. Image and Vision Computing， 2003, 21:307-323.

[6]Guang-Hua Hu. Automated defect detection in textured surfaces using optimal elliptical Gabor filters[J]. Optik， 2015, 126:1331-1340.

[7]D.-M. Tsai, and C.-H. Chiang. Automatic band selection for wavelet reconstruction in the application of defect detection[J]. Image and Vision Computing， 2003, 21:413-431.

[8]Ojala, T., Pietikainen, M., and Maenpaa, T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans. PAMI， 2002, 24(7): 971-987.

[9]J. N. Kapur, P. K. Sahoo, and A. K. C. Wong. A new method for gray-level picture thresholding using the entropy of the histogram. Comput[J]. Vision Graphics Image Process， 1985, 29:273-285.

Surface Defect Detection for Vehicle Heat Exchanger by Using Fourier Image Reconstruction

XIANG Wen-bo1, DAI Yue-wei2, MAO Yao-bin1

(1. School of Automation, Nanjing University of Sci. & Tech., Nanjing 210094；2. School of Electronics & Information, Jiangsu University of Sci. & Tech., Zhenjiang 212003, China)

Abstract:To find the deficiency on the surface of a vehicle heat exchanger, this paper has brought out a defect detection algorithm for directional texture surface based on image Fourier reconstruction. The algorithm first performs the local binary pattern (LBP) transformation on original image to alleviate uneven lighting condition. Then, the fast Fourier transformation is used to transform the LBP image into spectrum domain. Through spectrum filtering by which all high-frequent coefficients and coefficients with high energy are suppressed, directional texture are eliminated on the Fourier reconstructed image. Thus, a general binarization process followed by a blob analysis can be employed on the result homogenous image to finally extract defect areas. Experimental results have demonstrated the effectiveness and swiftness of the proposed algorithm.

Key words:local binary pattern; surface defect detection; image reconstruction; vehicle heat exchanger

文章編號：1673-3819(2016)03-0126-05

收稿日期：2016-03-20

*基金項目：國家科技重大專項課題(2011ZX04002-051)

作者簡介：項文波(1976-),男,安徽黃山人，講師,研究方向為計算機視覺。 戴躍偉(1962-),男,教授,博士生導師。 茅耀斌(1971-),男,副教授。

中圖分類號:TP391.41

文獻標志碼:A

DOI:10.3969/j.issn.1673-3819.2016.03.025

修回日期： 2016-04-10