基于形態(tài)學(xué)增強(qiáng)和圖像融合的板帶鋼缺陷檢測(cè)

王 凡,彭國(guó)華,謝昊伶

(西北工業(yè)大學(xué)理學(xué)院,陜西 西安 710000)

1 引 言

隨著冷軋帶鋼技術(shù)的快速發(fā)展,板帶鋼產(chǎn)量日益增加,但是質(zhì)量仍然不能完全滿足市場(chǎng)需求,其中影響質(zhì)量的重要因素之一是板帶鋼表面缺陷。目前板帶鋼表面缺陷的主要檢測(cè)方法以人工目視和頻閃儀檢測(cè)為主,但是由于軋制速度快,導(dǎo)致其無法滿足在線生產(chǎn)的需求[1]。缺陷檢測(cè)算法的關(guān)鍵是在精確提取缺陷的同時(shí)抑制噪聲并且不受光照干擾。

數(shù)學(xué)形態(tài)學(xué)的運(yùn)算是非線性的,幾何特性比較明顯,可以在提取完整的目標(biāo)邊緣的同時(shí)抑制噪聲。文獻(xiàn)[2]針對(duì)板帶鋼缺陷的種類、方向和噪聲等問題,采用修正的抗噪膨脹腐蝕性邊緣檢測(cè)算法,可以提取板帶鋼中的微小缺陷,但是算法的魯棒性較差。文獻(xiàn)[3]針對(duì)噪聲采用改進(jìn)多尺度形態(tài)學(xué)的帶鋼缺陷圖像邊緣檢測(cè)算法,具有較強(qiáng)的抗噪性。但是上述提出的算法無法解決光照不均問題,文獻(xiàn)[4]針對(duì)光照問題提出基于形態(tài)學(xué)商圖像的光照歸一化算法,能有效增強(qiáng)光照不均圖像。本文采用改進(jìn)的多結(jié)構(gòu)形態(tài)學(xué)熵圖像增強(qiáng)算法和多結(jié)構(gòu)形態(tài)學(xué)邊緣增強(qiáng)算法分別對(duì)板帶鋼缺陷圖像增強(qiáng),最后對(duì)圖像進(jìn)行加權(quán)融合。本文算法具有較強(qiáng)的抗噪性,可以有效地提取光照不均圖像中的缺陷。

2 形態(tài)學(xué)增強(qiáng)

2.1 灰度形態(tài)學(xué)的基本運(yùn)算[5]

灰度形態(tài)學(xué)膨脹和腐蝕運(yùn)算即以結(jié)構(gòu)元素e(i,j)為模板,分別搜尋圖像I(x,y)在結(jié)構(gòu)基元大小范圍內(nèi)的灰度和的極大值和灰度差的極小值,膨脹記作I?e,腐蝕記作I⊙e;而開運(yùn)算則是對(duì)圖像先腐蝕后膨脹,記作I∨e;閉運(yùn)算是對(duì)圖像先膨脹后腐蝕,記作I∧e。開運(yùn)算可以消除孤立的毛刺,也可以濾除比結(jié)構(gòu)元素小的正脈沖噪聲。閉運(yùn)算可用于填充目標(biāo)之間狹小的裂縫,同樣可以濾除比結(jié)構(gòu)元素小的負(fù)脈沖噪聲。

2.2 多結(jié)構(gòu)形態(tài)學(xué)熵圖像增強(qiáng)算法

板帶鋼在軋制過程中由于軋機(jī)振動(dòng)和軋制環(huán)境等因素的影響,采集到的缺陷圖像中可能會(huì)存在光照不均和噪聲,根據(jù)圖像特征建立板帶鋼缺陷圖像的數(shù)學(xué)模型[4]:

I(x,y)=Ir(x,y)·Ig(x,y)+ρ(x,y)

(1)

其中,I(x,y) 為原圖像;Ir(x,y)為校正圖像;Ig(x,y)為圖像的背景;ρ(x,y)為噪聲。

根據(jù)式(1)可知,首先需對(duì)原圖像進(jìn)行濾波去噪,其次提取缺陷圖像的背景Ig,最后采用無噪圖像和圖像背景作商得到校正圖像Ir。文獻(xiàn)[4]采用閉運(yùn)算提取去噪圖像的背景,該算法只適用于目標(biāo)像素值小于背景像素值的圖像。由于板帶鋼圖像中缺陷的像素值有可能比背景的像素值大,所以本文采用開閉運(yùn)算相結(jié)合的方法來提取圖像背景。除此之外,開運(yùn)算和閉運(yùn)算結(jié)合可以有效濾除正負(fù)脈沖噪聲。

為了防止濾波時(shí)模糊圖像目標(biāo)的細(xì)節(jié)并同時(shí)能獲得更好的去噪能力,本文首先采用0°,45°,90°,135°這4個(gè)方向的線性結(jié)構(gòu)元素ei(i=1,2,3,4) 和結(jié)構(gòu)元素e按照式(2)濾除圖像中的噪聲。其次選取較大的結(jié)構(gòu)元素按式(3)消除目標(biāo)(缺陷)提取圖像背景,但是結(jié)構(gòu)元素太大會(huì)導(dǎo)致提取的背景圖像出現(xiàn)較嚴(yán)重的塊狀效應(yīng),本文選擇結(jié)構(gòu)元素g。定義的結(jié)構(gòu)元素如下:

(2)

Ig=I∧g∨g

(3)

根據(jù)光照不均的數(shù)學(xué)模型,得到圖像的增強(qiáng)公式如下:

(4)

由于板帶鋼缺陷的幾何特性,以及結(jié)構(gòu)元素g選取的局限性,對(duì)于缺陷形狀較小的圖像,本文算法得到了很好的實(shí)驗(yàn)結(jié)果。但是當(dāng)缺陷的形狀大于結(jié)構(gòu)元素g的尺寸時(shí),提取的圖像背景效果較差,導(dǎo)致多結(jié)構(gòu)商圖像增強(qiáng)效果不理想。針對(duì)該算法中存在的弊端,本文采用多結(jié)構(gòu)形態(tài)學(xué)邊緣增強(qiáng)算法提取圖像中的帶鋼缺陷。

2.3 多結(jié)構(gòu)形態(tài)學(xué)邊緣增強(qiáng)

傳統(tǒng)的邊緣檢測(cè)算子利用單尺度形態(tài)學(xué)梯度變換來增強(qiáng)目標(biāo)的邊緣,提取的目標(biāo)邊緣不完整[6]。本文采用上述結(jié)構(gòu)元素ei(i=1,2,3,4) 對(duì)圖像Ie進(jìn)行形態(tài)學(xué)梯度邊緣增強(qiáng),最后按式(5)對(duì)不同方向的增強(qiáng)圖像進(jìn)行均值加權(quán)融合。

(5)

該算法能準(zhǔn)確提取形狀較大且對(duì)比度較明顯的缺陷,可以彌補(bǔ)熵圖像增強(qiáng)算法的不足,而且抗噪能力強(qiáng)。

3 圖像融合

針對(duì)上述兩種形態(tài)學(xué)增強(qiáng)算法得到的實(shí)驗(yàn)圖像,按公式(6)進(jìn)行加權(quán)融合,其流程如圖1所示。

G=(n-1)·IR+n·IE

(6)

其中,IR和IE是分別對(duì)增強(qiáng)圖像R,E歸一化處理后得到的圖像;n為融合系數(shù)。

圖1 增強(qiáng)圖像的融合流程圖

基于光照可將圖像分為兩類,即光照均勻和光照不均的缺陷圖像。光照均勻的圖像背景像素值分布較均勻,相反光照不均的圖像背景像素值分布不均勻。根據(jù)兩種圖像背景像素值分布的特點(diǎn),本文采用熵來判斷圖像光照均勻性,公式如下[7]:

(7)

其中,Pi表示圖像中像素值為i的像素在圖像中出現(xiàn)的頻率。當(dāng)圖像較均勻時(shí),熵也較大,相反熵較小。

由于熵圖像增強(qiáng)會(huì)出現(xiàn)過增強(qiáng)的情況,即將背景中的細(xì)節(jié)增強(qiáng)導(dǎo)致像素均值增大,而對(duì)于嚴(yán)重光照不均的圖像,多結(jié)構(gòu)邊緣增強(qiáng)會(huì)檢測(cè)出強(qiáng)光區(qū)域的邊緣,從而導(dǎo)致像素均值增大,所以本文根據(jù)像素均值比和背景熵確定融合系數(shù)。首先按式(8)、(9)對(duì)增強(qiáng)后的圖像進(jìn)行歸一化處理,然后根據(jù)公式(10)計(jì)算圖像的像素均值比r,其中M,N分別表示圖像的高度和寬度:

(8)

(9)

(10)

首先根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)確定熵H的閾值T1和像素均值比r的閾值T2,最后根據(jù)閾值T1和T2確定融合系數(shù)n。

權(quán)系數(shù)n的確定流程:

Step1:計(jì)算圖像背景Ig的熵H;

Step2:計(jì)算IR與IE的像素均值比r;

Step3:確定n

1)當(dāng)H>T1時(shí),n=0.5;

2)當(dāng)HT2時(shí),n=0;

3) 當(dāng)H

為了便于缺陷的識(shí)別及分類,需對(duì)融合圖像進(jìn)行二值化處理。首先求融合圖像每行每列的最大像素值點(diǎn)[8],其次描繪出每行最大像素值點(diǎn)的曲線圖,按照同樣的方法描繪出每列最大像素值點(diǎn)的曲線圖如圖2所示,最后根據(jù)曲線圖選取圖像分割的閥值T。

圖2 閾值選取示意圖

4 實(shí)驗(yàn)結(jié)果與分析

給原圖像中加入密度為0.001的椒鹽噪聲,現(xiàn)采用MATLAB 2016b進(jìn)行試驗(yàn)比較,本文采用三組不同類型的板帶鋼缺陷圖像,通過本文算法與文獻(xiàn)[2]、文獻(xiàn)[3]提出的算法作對(duì)比,如圖3所示。

圖3 算法實(shí)驗(yàn)結(jié)果

考慮到檢測(cè)的缺陷區(qū)域是否與原圖像中的缺陷區(qū)域重合,如果發(fā)生較大偏移則說明檢測(cè)結(jié)果背離原始信息,為了評(píng)價(jià)算法的有效性,本文提出用人工分割的缺陷區(qū)域和本文算法分割缺陷區(qū)域的“差異度”來作為檢測(cè)效果評(píng)價(jià)測(cè)度,通過采用上述三種算法與人工分割得到的結(jié)果作差,用作差的標(biāo)準(zhǔn)差作為差異度來分析實(shí)驗(yàn)的有效性,如表1所示,差異度越低,效果越好。其次采用缺陷面積來評(píng)價(jià),檢測(cè)出的缺陷區(qū)域可能會(huì)因?yàn)樵肼暬蚬庹盏纫蛩爻霈F(xiàn)過分割或欠分割導(dǎo)致檢測(cè)結(jié)果面積變小或變大,因此用缺陷面積結(jié)合差異度共同評(píng)價(jià)檢測(cè)效果,采用二值圖像的像素總和作為面積[9]。

由表1和表2可知,第一組是由于文獻(xiàn)[3]缺陷檢測(cè)不完整且含有微量噪聲,文獻(xiàn)[2]中含有大量噪聲,從而導(dǎo)致差異度較大且像素面積過大。第二組由于文獻(xiàn)[2]和文獻(xiàn)[3]所提出的算法都無法檢測(cè)暗區(qū)域中的缺陷,而且文獻(xiàn)[2]檢測(cè)的結(jié)果中含有大量噪聲,致使差異度較大和像素面積較小。第三組中文獻(xiàn)[3]檢測(cè)的缺陷區(qū)域不完整,文獻(xiàn)[2]出現(xiàn)嚴(yán)重漏檢且含有噪聲,從而使得差異度較大,像素面積較小。

綜上所述,與文獻(xiàn)算法相比,本文檢測(cè)結(jié)果的差異度較低,檢測(cè)出的缺陷面積更接近人工檢測(cè)的缺陷面積,所以檢測(cè)結(jié)果更接近人工分割的缺陷區(qū)域。而且由表3可知,本文算法的實(shí)時(shí)性和通用性更好,而且本文算法的去噪能力比文獻(xiàn)[2]與文獻(xiàn)[3]的去噪能力強(qiáng)。

表1 缺陷差異度

表2 缺陷面積(像素?cái)?shù))

表3 算法實(shí)用性

5 結(jié) 論

針對(duì)光照不均和噪聲并存的板帶鋼缺陷圖像,本文首先采用多結(jié)構(gòu)形態(tài)學(xué)增強(qiáng)可以有效提取光照不均圖像中的形狀較小的缺陷,算法不僅具有較強(qiáng)的去噪能力,而且可以保留缺陷的細(xì)節(jié)。其次將兩種增強(qiáng)算法根據(jù)背景熵和像素均值比進(jìn)行加權(quán)融合,克服了傳統(tǒng)算法針對(duì)一種圖像的弊端,提高了算法的通用性。除此之外,本文算法的實(shí)時(shí)性比較強(qiáng)。

[1] LI Jun,YAN Yunhui,ZHANG Yao.Research on real-time detection architecture for surface quality of steel strip[J].Computer Engineering and Design,2008,29(20):5368-5371.(in Chinese)

李駿,顏云輝,張堯.板帶鋼表面質(zhì)量實(shí)時(shí)監(jiān)測(cè)體系研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(20):5368-5371.

[2] XU Hao,SUN Jianyi,TANG Bo,et al.The surface detect of strip steel based on mathematical morphology[J].Machinery Design & Manufacture,2012,6:206-208.(in Chinese)

許豪,孫建益,湯勃,等.基于數(shù)學(xué)形態(tài)學(xué)的帶鋼表面缺陷邊緣提取[J].機(jī)械與制造,2012,6:206-208.

[3] ZHANG Lihong,LIANG Yingbo,WU Dingyun,et al.Strip steel surface defects imaging edge inspection based on improved multi-scale morphology[J].Laser & Infrared,2014,44(3):330-334.(in Chinese)

張利紅,梁英波,吳定允,等.基于改進(jìn)多尺度形態(tài)學(xué)的帶鋼缺陷圖像邊緣檢測(cè)[J].激光和紅外,2014,44(3):330-334.

[4] He Xiaoguang,Tian Jie,Wu lifang,et al.Illumination normalization with morphological quotientImage[J].Journal of Software,2007,18(9):2318-2325.

[5] DAI Qingyun,YU Yinglin.The advances of mathematical morphology in image processing[J].Control Theory & Applications,2001,18(4):478-482(in Chinese)

戴青云,余英林.數(shù)學(xué)形態(tài)學(xué)在圖象處理中的應(yīng)用進(jìn)展[J].控制理論與應(yīng)用,2001,18(4):478-482.

[6] WANG Huifeng,ZHAN Guili,LUO Xiaoming.Research and application of edge detection operator based On rathematicai morphology[J].Computer Engineering and Applications,2009,45(9):223-226.(in Chinese)

王慧鋒,戰(zhàn)桂禮,羅曉明.基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測(cè)算法研究及應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(9):223-226.

[7] CAO Jiannong.Review on image segmentation based on entropy[J].Pattern Recognition and Aitificial Intelligence,2012,25(6):958-971(in Chinese)

曹建農(nóng).圖像分割的熵方法綜述[J].模式識(shí)別與人工智能,2012,25(6):958-971.

[8] Guan Shengqi.Strip steel defect detection based on saliency map construction using gaussian pyramid decomposition[J].ISIJ International,2015,55(9):1950-1955.

[9] CHEN Yue.Segmentation results evaluation method of steel plate surface defects images[J].Manufacturing Automation,2015,37(18):66-68.(in Chinese)

陳躍.鋼板表面缺陷圖像分割效果評(píng)價(jià)方法[J].制造業(yè)自動(dòng)化,2015,37(18):66-68.