視覺(jué)顯著性模型在帶鋼缺陷動(dòng)態(tài)檢測(cè)中的應(yīng)用

徐帥華,陳龍龍,管聲啟,李 婷

(西安工程大學(xué) 機(jī)電工程學(xué)院,陜西 西安 710048)

0 引 言

隨著國(guó)民經(jīng)濟(jì)的快速發(fā)展,汽車、鐵路、航空航天和造船等行業(yè)對(duì)帶鋼的需求越來(lái)越多,其表面的質(zhì)量直接影響最后產(chǎn)品的優(yōu)劣,對(duì)其有效的監(jiān)督是提高產(chǎn)品質(zhì)量的重要手段.因此,對(duì)帶鋼表面缺陷進(jìn)行在線實(shí)時(shí)檢測(cè)是很有必要的[1-3].目前,國(guó)內(nèi)外對(duì)帶鋼表面缺陷在線實(shí)時(shí)檢測(cè)技術(shù)研究較多,也取得了一些成功的實(shí)例.文獻(xiàn)[4]根據(jù)帶鋼表面缺陷圖像的特點(diǎn),提出一種利用圖像灰度投影進(jìn)行目標(biāo)檢測(cè)的算法,利用投影均值找出最大與最小的差值,超過(guò)了給定的閾值即認(rèn)為是存在缺陷.文獻(xiàn)[5]研究了一種基于機(jī)器視覺(jué)的帶鋼表面缺陷檢測(cè)系統(tǒng),它采用模塊化硬件設(shè)計(jì),圖像處理軟件滿足實(shí)時(shí)檢測(cè)要求,可以有效地檢測(cè)出生產(chǎn)線上的帶鋼表面缺陷.但是,帶鋼表面缺陷具有形態(tài)各異、種類繁多、出現(xiàn)位置時(shí)間不同、灰度特征相似、紋理特征具有方向性的特點(diǎn),并且工作現(xiàn)場(chǎng)環(huán)境復(fù)雜多變,因此,如何快速準(zhǔn)確地從大量的數(shù)據(jù)圖像中檢測(cè)到缺陷的存在是研究中亟需解決的問(wèn)題[6-7].

根據(jù)人類視覺(jué)感知理論,人類可以在大面積的圖像中快速尋找到感興趣的區(qū)域和重要的、值得注意的信息.所謂感興趣的區(qū)域就是最能引起人們關(guān)注的區(qū)域,可以區(qū)分出圖像中不同區(qū)域的重要程度,在一定程度上去除了冗余的信息,為后續(xù)的分析識(shí)別提供幫助[8-9].基于視覺(jué)感知理論的特點(diǎn),提出基于視覺(jué)注意機(jī)制模型的檢測(cè)方法,該方法能夠有效地減少噪聲等影響,計(jì)算速度快,從而為帶鋼缺陷的檢測(cè)提供了一種有效的途徑.

1 帶鋼缺陷檢測(cè)算法

人類獲取外界環(huán)境信息最主要的手段是視覺(jué),大約有80%的信息都來(lái)源于視覺(jué),面對(duì)時(shí)刻變化的外部環(huán)境,人類視覺(jué)可以感知到與自己相關(guān)的信息和辨識(shí)出信噪比極低的圖像中的有效信息,并且能夠在極短時(shí)間內(nèi)完成對(duì)信息的理解、處理和做出相應(yīng)的反應(yīng)[10-11].

隨著計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的快速發(fā)展,國(guó)內(nèi)外學(xué)者對(duì)視覺(jué)處理信息的過(guò)程進(jìn)行了大量的研究.視覺(jué)檢測(cè)是模仿人類視覺(jué)功能,從中提取有效信息,具有高效、高精度、非接觸式、獲取信息豐富等優(yōu)點(diǎn).現(xiàn)在最經(jīng)典的模型是1998年美國(guó)加州理工學(xué)院的Itti提出的一種基于初級(jí)視覺(jué)特征的視覺(jué)注意機(jī)制模型[12].該模型經(jīng)過(guò)許多學(xué)者的研究,應(yīng)用在人臉識(shí)別、視覺(jué)導(dǎo)航、遙感圖像處理和醫(yī)學(xué)圖像處理等方面,本文結(jié)合帶鋼缺陷特點(diǎn),提出視覺(jué)注意機(jī)制的帶鋼缺陷檢測(cè)方法.圖1為缺陷檢測(cè)過(guò)程.

圖1 缺陷檢測(cè)過(guò)程

1.1 顏色特征預(yù)判

本文根據(jù)帶鋼缺陷圖像的特點(diǎn),將原圖像信息為灰度圖像的視為無(wú)顏色圖像,若帶鋼圖像存在顏色信息即為有色缺陷存在.利用顏色特征進(jìn)行預(yù)判,根據(jù)顏色特征與設(shè)定閾值比較選擇不同算法檢測(cè),分別為顯性缺陷檢測(cè)和隱形缺陷檢測(cè),提高檢測(cè)效率和準(zhǔn)確率.

1.1.1 顯性缺陷檢測(cè) 針對(duì)有顏色缺陷,采用顏色通道的差異運(yùn)算得到圖像的特征圖,對(duì)特征圖進(jìn)行閾值分割和區(qū)域生長(zhǎng)，從而分割出缺陷區(qū)域,提高檢測(cè)效率.紅斑缺陷檢測(cè)過(guò)程如圖2所示.

紅斑 顏色特征 注意圖(缺陷)圖2 紅斑缺陷檢測(cè)

1.1.2 隱性缺陷檢測(cè) 針對(duì)無(wú)顏色缺陷,提取圖像的亮度和方向特征,通過(guò)對(duì)亮度和方向特征進(jìn)行Gabor濾波和中央周邊差操作得到特征差分子圖.在此基礎(chǔ)上,特征差分子圖進(jìn)行融合得到缺陷顯著圖;然后通過(guò)閾值分割和區(qū)域生長(zhǎng)分割出缺陷注意區(qū)域;最后融合處理多幅缺陷注意圖得到帶鋼缺陷的完整圖像.

1.2 視覺(jué)特征提取

對(duì)原圖像經(jīng)過(guò)高斯濾波后,提取出了圖像的亮度和方向多尺度信息,能全面地表達(dá)圖像的信息,更加符合人類視覺(jué)功能.

(1) 假設(shè)r(t),g(t),b(t)為一幅圖像的紅藍(lán)綠3個(gè)基本通道,亮度是圖像注意到的第一個(gè)特征,利用高斯金字塔模型對(duì)每一層圖像提取亮度特征.特征提取公式為

I(t)=(r(t)+g(t)+b(t))/3.

(1)

(2) Gabor濾波器是多尺度多分辨率分析方法的代表,可以很逼真地模擬視覺(jué)皮層對(duì)方向的敏感,亮度特征I經(jīng)過(guò)二維Gabor濾波器濾波分析后得到4個(gè)方向的特征,用O(t,θ)表示亮度特征在尺度t上θ方向的金字塔,其中θ的取值為(0°，45°，90°，135°),其特征圖如圖3所示.

亮度特征 0°方向 45°方向 90°方向 135°方向圖3 特征圖

1.3 缺陷顯著圖構(gòu)造

構(gòu)建缺陷顯著圖的目的是為了增大缺陷信息與背景信息的對(duì)比度(顯著度),從而為缺陷分割提供條件.顯著圖構(gòu)建過(guò)程如圖4所示.

圖4 顯著圖構(gòu)建

1.3.1 高斯濾波和中央周邊差 人眼視覺(jué)系統(tǒng)是一個(gè)多通道的處理系統(tǒng),具有多信道的分解特性,高斯濾波的特性具有緊支性、正交性、近似對(duì)稱性,對(duì)圖像信息進(jìn)行多通道的濾波后得到不同層次的信息,形成一個(gè)高斯金字塔的結(jié)構(gòu),具有與人眼視覺(jué)相匹配的特性.

在一幅圖像中,通常最引起視覺(jué)注意的是最特殊的部分,與周圍其他部分相比更加凸顯,為模擬中心的興奮區(qū)域與周邊抑制區(qū)域的拮抗結(jié)構(gòu),故采用中央周邊差操作.感受視野中心尺度c對(duì)應(yīng)分解后的高分辨率子圖金字塔的1,2層,視野周邊尺度t=c+δ,其中δ∈(1,2),由于錐形結(jié)構(gòu)上下層的大小不同,要對(duì)外圍進(jìn)行插值,兩者之間作差,計(jì)算過(guò)程表示為Θ,最后形成亮度差分子圖和方向差分子圖.計(jì)算過(guò)程如下:

(2)

特征差分子圖中的缺陷特征顯著度明顯增強(qiáng),兩幅子圖作差,消除光照不均的影響,可為缺陷分割提供有利條件.

1.3.2 特征圖合并策略 多特征圖的合并采用常用的直接相加,沒(méi)有考慮到特征圖的優(yōu)先級(jí),需對(duì)其歸一化處理N(·),可以凸顯顯著區(qū)域,進(jìn)一步提高顯著度.對(duì)于同一類型的特征圖相加處理得到特征顯著圖,分別為亮度顯著圖和方向顯著圖.計(jì)算公式如下:

(3)

其中n為特征差分子圖個(gè)數(shù),n=3.

多特征圖合并融合策略效果如圖5(a),(b)所示,從圖5(a),(b)可以看出缺陷區(qū)域得到明顯的呈現(xiàn),為后續(xù)處理打下基礎(chǔ).

1.4 注意區(qū)域的形成

通過(guò)自底向上模型的計(jì)算,可以得到以注意焦點(diǎn)為中心不同區(qū)域的顯著圖,為了獲得圖像的準(zhǔn)確信息,檢測(cè)時(shí)會(huì)循環(huán)進(jìn)行注意焦點(diǎn)的轉(zhuǎn)移.本文采用閾值分割和區(qū)域生長(zhǎng)形成注意區(qū)域.劃分圖像為4*4的區(qū)域?yàn)樽⒁饨裹c(diǎn),進(jìn)行均值化處理,消除噪聲影響,通過(guò)設(shè)定閾值，采用閾值分割出注意區(qū)域;采用區(qū)域生長(zhǎng)得到總的注意區(qū)域,消除背景信息.圖5(c),(d)為亮度和方向注意區(qū)域圖,可以看出背景變?yōu)楹谏?消除了對(duì)缺陷檢測(cè)的影響.對(duì)亮度注意圖和方向注意圖進(jìn)一步歸一化整合處理得到帶鋼缺陷的檢測(cè)結(jié)果,如圖5(e)所示.

(a) 亮度顯著圖 (b) 方向顯著圖 (c) 亮度注意圖 (d) 方向注意圖 (e) 缺陷圖5 缺陷檢測(cè)結(jié)果

2 結(jié)果與分析

為了驗(yàn)證文中提出的基于視覺(jué)注意機(jī)制模型在帶鋼缺項(xiàng)圖像中應(yīng)用的準(zhǔn)確性和適應(yīng)性,在電腦上采用MATLAB環(huán)境編輯模型.

對(duì)夾雜缺陷圖像添加椒鹽噪聲,從圖6(a)和圖6(b)可以看出，該方法在檢測(cè)缺陷目標(biāo)時(shí),能快速準(zhǔn)確地檢測(cè)出缺陷區(qū)域,具有對(duì)噪聲的魯棒性.當(dāng)外部環(huán)境造成光照不均時(shí),在對(duì)特征子圖中央周邊差操作時(shí),可消除光照不均的影響,如圖6(c)和圖6(d)所示.表明該算法對(duì)于圖像因光照不均而造成的影響有很好的抑制作用.

(a) 夾雜噪聲圖像 (b) 檢測(cè)結(jié)果 (c) 抬頭紋光照不均 (d) 檢測(cè)結(jié)果圖6 本文缺陷檢測(cè)算法

對(duì)夾雜缺陷圖像分別采用灰度差影算法、零均值化算法和本文檢測(cè)算法做對(duì)比實(shí)驗(yàn)，如圖7所示.從圖7可以看出，本文方法能準(zhǔn)確檢測(cè)目標(biāo),文獻(xiàn)[5]的灰度差值法最后檢測(cè)的結(jié)果容易湮沒(méi)在背景中,極易造成漏檢;文獻(xiàn)[7]的零均值化算法處理結(jié)果缺陷信息未全部檢測(cè)出來(lái),不利于后續(xù)的識(shí)別處理;本文方法利用注意機(jī)制快速捕捉信息,提高顯著度,可以有效避免環(huán)境因素和噪聲的影響.若為有顏色缺陷圖像,預(yù)判后通過(guò)閾值分割和區(qū)域生長(zhǎng)得到帶鋼缺陷區(qū)域.

(a) 夾雜缺陷圖像 (b) 灰度差影算法 (c)零均值化算法 (d) 本文算法圖7 對(duì)比試驗(yàn)檢測(cè)結(jié)果

表1 算法運(yùn)算時(shí)間

對(duì)四者運(yùn)行時(shí)間進(jìn)行比較,可以看出本文提出的算法可以快速地檢測(cè)缺陷,特別是缺陷為有顏色時(shí),可以快速通過(guò)閾值分割得到,提高檢測(cè)速度,可以滿足實(shí)時(shí)在線檢測(cè)的要求.

3 結(jié)束語(yǔ)

根據(jù)人類視覺(jué)感知理論和帶鋼缺陷的特點(diǎn),本文提出一種基于視覺(jué)注意機(jī)制的帶鋼缺陷檢測(cè)算法.對(duì)輸入圖像提取視覺(jué)特征,利用顏色特征進(jìn)行預(yù)判,對(duì)有顏色缺陷的圖像采用閾值分割得到缺陷目標(biāo)圖像,提高檢測(cè)效率.對(duì)無(wú)顏色缺陷的圖像利用亮度和方向特征,采用構(gòu)建顯著圖方式提高缺陷顯著度;最后通過(guò)閾值分割出缺陷注意區(qū)域.相比于傳統(tǒng)的圖像處理方法,具有較高的檢測(cè)準(zhǔn)確性和快速性.實(shí)驗(yàn)結(jié)果證明該方法對(duì)于低對(duì)比度和含有噪聲的缺陷目標(biāo)也能獲得滿意的結(jié)果,具有對(duì)噪聲的魯棒性.但是該方法未能解決存在偽目標(biāo)和直接相加容易降低目標(biāo)顯著度的問(wèn)題,需在以后的研究中進(jìn)行改進(jìn).

參考文獻(xiàn)：

[1] 張鵬.圖像信息處理中的選擇性注意機(jī)制研究[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué),2004:20-35.

[2] 張學(xué)武,范新南.視覺(jué)檢測(cè)技術(shù)及智能計(jì)算[M].北京:電子工業(yè)出版社,2013:32-60.

[3] ITTI L,KOCH C,NIEBUR E.A model of saliency—based visual attention for rapid scene analysis[J].IEEE Trans Pattem Analysis and Machine Intelligence,1998,20(11):1254-1259.

[4] 李煒,黃心漢,王敏,等.基于機(jī)器視覺(jué)的帶鋼表面缺陷檢測(cè)系統(tǒng)[J].華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版,2003,31(2):72-74.

[5] 王宏,朱德生,唐威.一種基于灰度投影的帶鋼表面缺陷檢測(cè)算法[J].東北大學(xué)學(xué)報(bào)：自然科學(xué)版,2008,29(3):375-377.

[6] 孟琭.基于視覺(jué)注意機(jī)制的彩色圖像顯著性區(qū)域提取[J].計(jì)算機(jī)應(yīng)用研究,2013,30(10):3159-3161.

[7] 管聲啟,師紅宇,王燕妮.基于圖像零均值化的帶鋼缺陷檢測(cè)[J].鋼鐵研究學(xué)報(bào),2013,25(4):59-62.

[8] WEI Yulan,LI Bing,ZHANG Dan.The strip steel surface defects detection adaptive preprocessing method based on double field[J].Advanced Materials Research,2012,6(5):576-579.

[9] QIN Xiansheng,HE Feng,LIU Qiong.Online defect inspection algorithm of bamboo strip based on computer vision[C]//Proceedings of the IEEE International Conference on Industrial Technology.Shanghai:IEEE Computer Society Press,2009:58-65.

[10] FRANCISCO G B,DANHIEL F G,JULIO M.Detection through a vision-based technique periodic defects in steel strips[J].IEEE Industry Applications Magazine,2013,13(2):39-46.

[11] 叢家慧,顏云輝.視覺(jué)注意機(jī)制在帶鋼表面缺陷檢測(cè)中的應(yīng)用[J].中國(guó)機(jī)械工程,2011,22(10):1189-1192.

[12] ITTI L,KOCH C.Computational modeling of visual attention[J].Nature Reviews Neurosdence,2001,2(3):194-203.