基于PCA模式和顏色特征的鋼軌表面缺陷視覺顯著性檢測(cè)

王 姮, 王 曼, 張 華, 劉桂華

(西南科技大學(xué)特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)試驗(yàn)室，四川 綿陽(yáng) 621010)

基于PCA模式和顏色特征的鋼軌表面缺陷視覺顯著性檢測(cè)

王 姮, 王 曼, 張 華, 劉桂華

(西南科技大學(xué)特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)試驗(yàn)室，四川 綿陽(yáng) 621010)

針對(duì)現(xiàn)有機(jī)器視覺缺陷檢測(cè)方法存在缺陷顯著性不明顯、魯棒性較弱等問題，提出一種主成分分析(PCA)模式和顏色特征相融合的鋼軌表面缺陷視覺顯著性檢測(cè)方法。為解決傳統(tǒng)模式特征計(jì)算效率低的問題，對(duì)PCA模式特征進(jìn)行改進(jìn)。利用缺陷圖塊的顏色特征與銹跡、斑痕等普通圖塊的差別較大這一特點(diǎn)，對(duì)鋼軌表面缺陷進(jìn)行顯著性檢測(cè)。試驗(yàn)結(jié)果表明，該方法可以處理不同形狀的軋疤、軋痕類缺陷，缺陷顯著性效果較好，能準(zhǔn)確地顯示缺陷形狀、位置等信息。

鋼軌; 高斯分布; PCA模式特征; 顏色特征; 機(jī)器視覺; 顯著性檢測(cè); 圖像識(shí)別

0 引言

目前，鋼軌表面缺陷檢測(cè)的方法主要有射線探傷法、超聲磁粉法、電渦流法以及機(jī)器視覺法，但這些方法都有各自的不足。同其他方法相比，機(jī)器視覺技術(shù)具有非接觸、速度快、精度高、抗干擾性強(qiáng)等優(yōu)點(diǎn)[1]。機(jī)器視覺作為一門新興且實(shí)用的技術(shù)，已被廣泛應(yīng)用于輪胎裂紋檢測(cè)、路面檢測(cè)以及帶鋼表面檢測(cè)等諸多領(lǐng)域。

鋼軌表面缺陷檢測(cè)技術(shù)在國(guó)內(nèi)發(fā)展較慢。2010年，徐科等人利用結(jié)構(gòu)光三維檢測(cè)和圖像識(shí)別方法，根據(jù)鋼軌表面深度變化及二維圖像處理信息，實(shí)現(xiàn)鋼軌表面缺陷的自動(dòng)檢測(cè)[2]。這種方法受相機(jī)標(biāo)定和激光線提取精度影響，缺陷顯著性不明顯、魯棒性較低。2014年，中南大學(xué)夏利民等人提出了基于圖像差異和視覺反差的檢測(cè)[1]法。這種方法受光照影響較大，只能處理鋼軌表面比較光滑、無反光的缺陷圖像。此外，湖南大學(xué)賀振東、王耀南等人提出了反向P-M擴(kuò)散的鋼軌表面缺陷視覺檢測(cè)[3]法。這種方法對(duì)參數(shù)比較敏感，需要手動(dòng)設(shè)定合適的參數(shù)，才能達(dá)到理想的檢測(cè)效果，魯棒性較低。2015年，北京交通大學(xué)陳后金等人提出的灰度-梯度共生矩陣法檢測(cè)[4]法。這種方法只能處理高對(duì)比度的缺陷圖像，而鋼軌缺陷圖像大多是低對(duì)比度，灰度值較為接近。采用這種方法難以檢測(cè)出缺陷的具體位置信息。

針對(duì)上述機(jī)器視覺缺陷檢測(cè)方法存在的局限性大、缺陷顯著性不明顯、魯棒性較弱等缺點(diǎn)，本文對(duì)缺陷圖像的模式和顏色特征進(jìn)行研究，分析了缺陷圖像與銹跡、斑痕等普通圖像存在模式和顏色特征的特殊性。試驗(yàn)證明，基于PCA模式和顏色特征的鋼軌表面缺陷視覺顯著性檢測(cè)方法自適應(yīng)性較強(qiáng)，可以處理不同形狀的軋疤、軋痕類缺陷，并且不受缺陷圖像的普通復(fù)雜度、對(duì)比度、光照等因素的影響，缺陷顯著性突出。

1 缺陷圖像的模式特征顯著性計(jì)算

傳統(tǒng)圖像模式特征顯著性計(jì)算，如傅里葉頻譜殘差(spectrum residual,SR)、上下文感知(context aware,CA)[5-13]，是以塊為單位遍歷整幅圖像，比較圖塊之間的距離。這里的圖塊是將每一張圖像分成若干個(gè)圖塊。如果一個(gè)圖塊的特殊性強(qiáng)于圖像中的其他圖塊，則認(rèn)為該圖塊是顯著的。這種方法在多數(shù)情況下比較適用，但是它忽略了像素之間的關(guān)聯(lián)性，因此在有些情況下會(huì)產(chǎn)生誤差。此外，由于要計(jì)算每個(gè)圖塊間的距離，這種計(jì)算方法效率較低。

1.1 基于PCA的模式特征顯著性計(jì)算

為了提高模式特征計(jì)算的效率，本文提出了一種基于主成分分析(principal component analysis,PCA)的模式特征計(jì)算方法。首先將一幅鋼軌缺陷圖像分成若干個(gè)l×l(這里的l由圖像的分辨率而定)的圖像塊pi，這里pi表示以像素點(diǎn)i為中心的圖塊，平均圖塊pv定義如下：

(1)

這里，Si,v為兩個(gè)圖像塊之間的方差，利用圖塊間的距離dposition(pi,pv)大小定義缺陷圖塊的模式特征：即dposition(pi,pv)較大時(shí)，說明該圖塊為顯著圖塊；反之，則為普通圖塊。這種方法沒有考慮圖像中圖塊的分布情況，會(huì)存在一定的誤差。采用本文算法，對(duì)上述模型加以修正，即先對(duì)圖像進(jìn)行主成分分析，再進(jìn)行距離計(jì)算。定義模式特征P(pi)是PCA坐標(biāo)系統(tǒng)下的L1范式(L1范式可以產(chǎn)生比較稀疏的解，具備一定的特征選擇的能力，在對(duì)高維特征空間進(jìn)行求解時(shí)比較有用)：

(2)

1.2 圖像PCA模式特征顯著性計(jì)算的試驗(yàn)分析

首先從顯著性檢測(cè)的通用數(shù)據(jù)庫(kù)[8]中隨機(jī)選擇200張圖片，然后從采集的缺陷圖片中隨機(jī)選擇200張鋼軌軋疤和200張軋痕的缺陷圖片，將600張圖片中的每一張分成若干個(gè)圖像塊；計(jì)算平均圖像塊與每個(gè)圖像塊和平均圖像塊之間的距離，將距離進(jìn)行歸一化，這樣就得到顯著圖塊與普通圖塊之間的密度區(qū)分圖。

密度區(qū)分圖如圖1所示，實(shí)線表示普通圖塊，虛線表示顯著圖塊。

圖1 密度區(qū)分圖

通過分析圖1，我們可以得到粗略判斷一個(gè)圖塊是缺陷圖塊或是普通圖塊的方法，即判斷圖塊與平均圖塊之間的距離。如果距離較小，即認(rèn)為該圖塊為普通圖塊；反之，則認(rèn)為是缺陷圖塊。

但是這個(gè)判斷條件是不充分的。假如在2張不同的圖片中含有1個(gè)相同的圖像塊，同時(shí)2張圖片的平均圖塊相同，按照上述結(jié)論，該圖塊與平均圖塊之間的距離在2張圖片中是相同的。但是如果該圖塊在第一張圖片中是顯著的，在第二張圖片中不一定是顯著的。PCA坐標(biāo)系統(tǒng)下的圖塊分布如圖2所示。

圖2 PCA坐標(biāo)系統(tǒng)下的圖塊分布圖

假設(shè)有2張不同的圖片，pi是2張圖片都存在的圖塊，且2張圖片共有一個(gè)平均圖塊pv,2張圖片的主成分分別標(biāo)記為Img1和Img2。按照上述的判斷條件，pi與pv之間的距離是相等的，因此顯著程度在一個(gè)等級(jí)上，但是圖塊pi沿著主成分線到平均圖塊pv的距離不相等(d2>d1)。換句話說，與Img1相比，該圖塊在Img2中更顯著。因此，圖像的模式特征不僅要考慮圖塊與平均圖塊間的距離，還應(yīng)該考慮圖片中圖塊的分布。

2 基于顏色特征的顯著性計(jì)算

顏色特征顯著性檢測(cè)結(jié)果如圖3所示。盡管模式特征可以判斷圖像中一個(gè)圖像塊是否為缺陷圖塊，但是對(duì)于大多數(shù)缺陷圖像而言，它并非充要條件，如圖3(a)所示?；ǘ淠Ｊ教卣飨嗤?，但顏色特征不同，這種情況下特殊的顏色區(qū)域被認(rèn)為是顯著的，如圖3(b)所示，因此顏色特征是圖像顯著性計(jì)算的必要條件。

圖3 顏色特征顯著性檢測(cè)結(jié)果圖

由于鋼軌表面會(huì)有大量的銹跡、斑痕等，而較淺軋痕、刮痕類缺陷與銹跡、斑痕等相比，顏色差異較大，但是局部圖塊差異不大。在這種情況下，如果采用模式特征檢測(cè)，會(huì)出現(xiàn)誤差較大、顯著性位置定位錯(cuò)誤等問題，因此就必須采用顏色特征來檢測(cè)缺陷。本文檢測(cè)顏色差異的圖塊采用以下2個(gè)步驟。第一步，采用簡(jiǎn)單線性迭代聚類(simple linear iterative clustering,SLIC)超像素分割法[9]將圖片分割成若干個(gè)圖塊，然后再確定哪個(gè)圖塊有獨(dú)特的顏色。第二步，把LAB顏色空間中該圖塊與其他圖塊的距離之和定義為該圖塊有顏色差異。假設(shè)有個(gè)圖塊，圖塊的顏色區(qū)分度定義為：

(3)

3 基于模式特征和顏色特征的顯著性融合

結(jié)合模式特征和顏色特征來檢測(cè)一幅圖像中的顯著性圖塊。為了使模式和顏色區(qū)分度相融合，將結(jié)果歸一化到[0,1]范圍內(nèi)，區(qū)分度映射定義如下：

D(pi)=P(pi)×C(pi)

(4)

由于視覺上顯著像素往往是集群形式，它們對(duì)應(yīng)于真實(shí)場(chǎng)景中的物體，為了進(jìn)一步修正顯著模型，人們通常將較為顯著的目標(biāo)放置在圖片的近似中心處。因此，采用迭代閾值不同的區(qū)分度映射D(pi)檢測(cè)不同像素的集。閾值均勻分布在[0,1]區(qū)間。計(jì)算每個(gè)閾值結(jié)果的重心，在重心處放置一個(gè)δ=10 000的高斯分布，根據(jù)閾值，分配給高斯分布一個(gè)相應(yīng)的權(quán)重。此外，在圖像中心處增加一個(gè)權(quán)重為5的高斯分布，這樣就得到了一個(gè)高斯權(quán)重映射G(pi)，表示所有高斯分布的加權(quán)和。進(jìn)一步定義顯著性映射S(pi)，將區(qū)分度映射和高斯權(quán)重映射融合，即：

S(pi)=G(pi)×D(pi)

(5)

4 試驗(yàn)結(jié)果及分析

試驗(yàn)采用的運(yùn)動(dòng)平臺(tái)主要用來模擬生產(chǎn)流水線實(shí)現(xiàn)鋼軌的傳送功能，包括傳送帶、電機(jī)、編碼器等。線陣相機(jī)選用Basler線陣相機(jī)，該相機(jī)清晰度和分辨率都較高。在綜合考慮鋼軌表面的高反光特性、光源照明亮度、均勻度以及幾何形狀等因素后，選用MVLZ公司MVLZ8080-W型號(hào)的大功率LED線型光源(條形光源)。照明方案選用型號(hào)為E6C2-CWZ6C、2 000線的編碼器。工件采用含有銹跡、斑痕等隨機(jī)噪聲的軋疤、軋痕類缺陷的鋼軌圖像進(jìn)行顯著圖檢測(cè)。

兩種不同形狀的軋疤和軋痕缺陷圖如圖4所示。

圖4 兩種不同形狀的軋疤和軋痕缺陷圖

經(jīng)過本文算法的處理，效果如圖5、圖6所示。圖5是對(duì)圖4(a)進(jìn)行處理的結(jié)果，圖6是對(duì)圖4(b)進(jìn)行處理的結(jié)果。

圖5 軋疤顯著性檢測(cè)示意圖

圖6 軋痕顯著性檢測(cè)示意圖

試驗(yàn)結(jié)果主觀上反映了本文算法具有魯棒性好、自適應(yīng)性強(qiáng)的優(yōu)勢(shì)。

除了上述主觀性的評(píng)價(jià)外，本文采用了文獻(xiàn)[14]、文獻(xiàn)[15]的方法，對(duì)本文算法與目前主流的算法的性能作了定性的評(píng)估。圖7描述了不同算法的受試者工作特性(receiver operating characteristic,ROC)曲線。曲線下面積(area under curve,AUC)越大，說明該算法正確率越高，即診斷準(zhǔn)確性越好。本文繪制ROC曲線的數(shù)據(jù)庫(kù)圖像來自MSRA[8]數(shù)據(jù)庫(kù)中的60多張圖片和采集的60多張缺陷圖片。ROC曲線如表1所示。從表1可以看出，本文算法的AUC分?jǐn)?shù)高于其他算法的AUC分?jǐn)?shù)，因此本文算法優(yōu)于其他幾種算法，具有較好的診斷準(zhǔn)確性。

圖7 ROC 曲線圖

算法AUC分?jǐn)?shù) RC0．6152 LR0．6549 PD0．6733 HI0．7085 本文算法0．8232

5 結(jié)束語(yǔ)

本文對(duì)鋼軌圖像缺陷圖塊模式和顏色特征進(jìn)行了研究，提出了基于PCA模式和顏色特征的鋼軌表面缺陷顯著性檢測(cè)。該方法首先計(jì)算出基于PCA的模式特征，在此基礎(chǔ)上結(jié)合建立的顏色顯著性模型，最后對(duì)融合模型加以修正，提高模型精確度。本文方法不受缺陷圖像的普通復(fù)雜度、對(duì)比度、光照等因素的影響，且試驗(yàn)結(jié)果與實(shí)際相符。本文提出的算法具有很高的應(yīng)用價(jià)值。后期工作主要是結(jié)合機(jī)器學(xué)習(xí)方法對(duì)檢測(cè)到的缺陷加以分類，以提高檢測(cè)智能化。

[1] 夏利民，蔡南平，楊寶娟.基于圖像差異和視覺反差的鋼軌表面缺陷檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35(6)：2052-2055.

[2] 徐科，楊朝霖，周鵬,等.基于激光線光源的鋼軌表面缺陷三維檢測(cè)方法[J].機(jī)械工程學(xué)報(bào)，2010，46(8)：1-5.

[3] 賀振東，王耀南，毛建旭，等.基于反向P-M擴(kuò)散的鋼軌表面缺陷視覺檢測(cè)[J].自動(dòng)化學(xué)報(bào)，2014，40(8)：1667-1679.

[4] 陳后金，許文達(dá)，郝曉莉.基于灰度梯度共生矩陣的鋼軌表面缺陷檢測(cè)方法[J].北京交通大學(xué)學(xué)報(bào)，2015，39(2)：7-12.

[5] CHANG K Y，LIU T L，CHEN H T.Fusing generic objectness and visual saliency for salient object detection[C]// International Conference on Computer Vision.Barcelona,Spain：IEEE Process，2011： 914-921.

[6] GOFERMAN S，MANOR L Z，TAL A.Context-aware saliency detection [C]//International Conference on Computer Vision and Pattern Recognition.San Francisco，USA：IEEE Process，2010：2376-2383.

[7] SEO H J，MILANFAR P.Nonparametric bottom-up saliency detection by self-resemblance [C] // Computer Society Conference on Computer Vision and Pattern Recognition.Miami，USA：IEEE Process，2009：2376-2383.

[8] LIU T，SUN J.Learning to detect a salient object[C] // International Conference on Computer Vision and Pattern Recognition.Minneapolis，USA：IEEE Process，2007：1-8.

[9] ACHANTA R，SHAJI A，SMITH K.SLIC superpixels compared to state-of-the-art superpixel methods [J].Pattern Analysis and Machine Intelligence，2012，34(11)：2274-2282.

[10]CHENG M M，MITRA N J，HUANG L X.Global contrast based salient region detection[J].Pattern Analysis and Machine Intelligence，2011，37(3)：569-582.

[11]SHEN X H，WU Y .A unified approach to salient object detection via low rank matrix recovery[C]// International Conference on Computer Vision and Pattern Recognition.Providence，USA: IEEE Process，2012：853-860 .

[12]LONG M，NIU Y Z，LIU F.Saliency aggregation:a data-driven approach[C]//International Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE Process，2013：1131-1138.

[13]CHE Z H，ZHAI G T.A hierarchical saliency detection approach for bokeh images [C] // Multimedia Signal Processing.Xia Men，China：IEEE Process，2015：1-6.

[14]郭迎春，袁浩杰，吳鵬.基于Local特征和Regional特征的圖像顯著性檢測(cè)[J].自動(dòng)化學(xué)報(bào),2013，39(8)：1214-1224.

[15]馬小龍，謝旭東，林健文,等.基于魯棒主成分分析和多個(gè)色彩通道的顯著性檢測(cè)[J].清華大學(xué)學(xué)報(bào)，2014，54(8)：1122-1126.

Vision Saliency Detection of Rail Surface Defects Based on PCA Model and Color Features

WANG Heng, WANG Man, ZHANG Hua, LIU Guihua

(Robot Technology Used for Special Environment Key Laboratory of Sichuan Province,Southwest University of Science and Technology, Mianyang 621010, China)

In view of the existing problems of unobvious defect saliency,weak robustness, etc.,the visual saliency detection method based on PCA mode and color features for rail surface defects is proposed. To overcome the disadvantage of low efficiency in traditional mode feature calculation, the improvement is conducted by using PCA mode feature. The color features of the defect image blocks are quite different from the ordinary image blocks of the rust and scar, so the saliency of the surface defects can be detected. The test results indicate that this method can be applied to deal with the defects of rolling scar or rolling marks with different shapes, and offers better defect saliency; in addition, it can display more information about the shapes and locations of the defects.

Rail; Gaussian distribution; PCA model features; Color features; Machine vision; Saliency detection; Image recognition

四川省重點(diǎn)實(shí)驗(yàn)室開放基金(13zxtk05)、校創(chuàng)新團(tuán)隊(duì)基金(14tdtk01)資助項(xiàng)目

王姮(1971—)，女，碩士，教授，主要從事機(jī)器人技術(shù)及應(yīng)用、自動(dòng)化技術(shù)的研究和應(yīng)用。E-mail:29949988@qq.com。

TH7;TP391

A

10686/j.cnki.issn 1000-0380.201701018

修改稿收到日期:2016-06-18