基于可見光—紅外光圖像融合的蘋果缺陷檢測(cè)算法

陳乾輝 吳德剛

(商丘工學(xué)院，河南 商丘 476000)

目前，常見的蘋果缺陷檢測(cè)以可見光和紅外成像無(wú)損檢測(cè)為主[1]，然而，由于可見光對(duì)水果的內(nèi)部和次表面的缺陷檢測(cè)較差，尤其是對(duì)顏色較深的蘋果，更是難以獲?。欢t外成像由于其獲取圖像的清晰度不夠，使得在蘋果圖像檢測(cè)中將果梗/花萼誤判為缺陷的幾率很高[2]。紅外圖像具有較明顯的目標(biāo)信息，但邊緣細(xì)節(jié)缺乏；而可見光圖像有豐富的紋理和顏色信息，但容易受到外部的干擾。將紅外光和可見光進(jìn)行信息融合，充分利用2種信息的互補(bǔ)優(yōu)勢(shì)可以獲取更為明顯的物體特征。目前，紅外光和可見光融合技術(shù)在目標(biāo)識(shí)別、目標(biāo)跟蹤以及醫(yī)學(xué)圖像處理領(lǐng)域都有著廣泛的應(yīng)用價(jià)值和拓展空間[3]。因此，本研究擬將采集到的可見光和紅外光圖像的特征信息進(jìn)行圖像融合，以獲得具有各種缺陷特征信息的高質(zhì)量蘋果圖像，從而實(shí)現(xiàn)蘋果的在線實(shí)時(shí)檢測(cè)和分級(jí)。

1 基于紅外熱成像的蘋果缺陷檢測(cè)

1.1 紅外熱成像原理

紅外熱成像是通過(guò)光電技術(shù)檢測(cè)物體表面的熱輻射[4]，并將物體不同部位紅外輻射的差異轉(zhuǎn)換為肉眼可視的圖像，進(jìn)而對(duì)物體表面的溫度進(jìn)行測(cè)量和分析的無(wú)損檢測(cè)技術(shù)，其獲取物體表面溫度圖像原理見圖1。

1.2 缺陷檢測(cè)方法

采用加拿大加創(chuàng)公司生產(chǎn)的IR970系列紅外熱像儀(見圖2)，其技術(shù)參數(shù)見表1。

圖像采集時(shí)，將紅外熱像儀IR970設(shè)為自動(dòng)采集模式，采樣時(shí)間為10 s，頻率為60 Hz，鏡頭距蘋果樣品表面為0.5 m，調(diào)整合適的熱成像儀位置及焦距，使顯示屏上的蘋果熱圖像最適中、最清晰，經(jīng)過(guò)系統(tǒng)自帶溫度補(bǔ)償校正處理，獲得標(biāo)準(zhǔn)的蘋果紅外熱圖像，并通過(guò)熱像儀自帶圖像處理軟件CMView SE Reporter獲取特征信息。

圖1 紅外熱成像原理圖Figure 1 The schematic diagram of infrared

圖2 紅外熱像儀IR970Figure 2 The IR970 infrared camera表1 IR970的技術(shù)參數(shù)Table 1 Technical parameters of IR970

探測(cè)器鏡頭存儲(chǔ)環(huán)境溫度類型:非制冷平面;分辨率:320×240;光譜范圍:8～14 μm;熱響應(yīng)時(shí)間:4 ms;熱靈敏度:0.08 ℃@30 ℃;空間分辨率:1.1 mard視常角:20.4o 水平×15.4o 垂直;聚焦范圍:0.5 m～∞存儲(chǔ)類型:內(nèi)置FLASH;外置CF卡;存儲(chǔ)容量:512 M工作環(huán)境:-10～50 ℃;存放:-20～60 ℃

按照Baranowski等[5]和Vairth等[6]的理論，缺陷蘋果的熱物性和完好果不同，在外加激勵(lì)源作用下，其表面的溫度將呈現(xiàn)不均勻分布(見圖3)，則導(dǎo)溫系數(shù)α為：

(1)

式中：

ρ——密度，kg/m3；

κ——熱傳導(dǎo)率，W/(m·℃)；

Cp——熱比熱容，J/(kg·K)。

由于導(dǎo)溫系數(shù)是衡量溫度變化能力的指標(biāo)，則隨著α的增大，蘋果表面能量向內(nèi)傳遞的速度越快，而蘋果在受到劃碰傷時(shí)，劃碰傷部位因水分流失使得蘋果的密度ρ變小，熱傳導(dǎo)率κ增加，熱比熱容Cp幾乎不變，由式(1)可知，其缺陷部位的導(dǎo)溫系數(shù)比完好部分大，即劃碰傷部位的表面能量將傳遞的快，從而使得蘋果缺陷部位的溫度比完好部分低。因此，可通過(guò)紅外熱像儀記錄的數(shù)據(jù)，獲取蘋果近表或內(nèi)部的信息，以達(dá)到缺陷檢測(cè)的目的。

2 基于圖像融合的缺陷檢測(cè)

圖像融合是將不同信號(hào)道采集的同一物體的圖像進(jìn)行預(yù)處理、特征提取及信息融合，從而獲得包含更多特征信息的新圖像。為避免圖像融合過(guò)程中出現(xiàn)對(duì)高、低頻圖像的偏重不均，獲取更多源圖像特征信息，文中運(yùn)用不同方法對(duì)高、低頻小波系數(shù)進(jìn)行融合，以獲取更加突出的特征圖像。

圖3 蘋果的空間溫度分布Figure 3 The distribution of tmeperature field of apple

2.1 基于低頻小波系數(shù)的加權(quán)融合

2.1.1 區(qū)域能量 在2-j的分辨率下，二維圖像f(x,y)以像素點(diǎn)(x,y)為中心的區(qū)域能量可表示為；

(2)

式中：

ε——ε=1,2,3，分別表示圖像的水平、垂直、對(duì)角3個(gè)方向；

w(m,n)——小波系數(shù)的濾波窗口。

(3)

2.2 基于高頻小波系數(shù)的加權(quán)融合

2.2.1 區(qū)域強(qiáng)度 二維圖像f(x,y)對(duì)比度的強(qiáng)弱和其小波系數(shù)的大小息息相關(guān)，且小波系數(shù)的絕對(duì)值愈大，其對(duì)應(yīng)圖像的對(duì)比度越明顯，則圖像融合中獲得源圖像的高頻信息越突出。設(shè)二維圖像f(x,y)，以像素點(diǎn)(x,y)為中心的區(qū)域強(qiáng)度可表示為：

(4)

式中：

(5)

(6)

式中：

T——權(quán)值選擇閾值，取值一般為(0.5,1.0)；

通過(guò)二維圖像A、B的相似度選擇閾值，取T=0.75。

選擇合適的高頻小波系數(shù)的權(quán)值，進(jìn)而對(duì)二維圖像A、B進(jìn)行圖像融合，即

(7)

通過(guò)對(duì)2幅二維圖像A、B進(jìn)行高、低頻小波系數(shù)加權(quán)融合，可獲得新的高、低頻小波系數(shù)，并采用新的小波系數(shù)進(jìn)行逆變換，從而獲得新的融合圖像。

3 結(jié)果與分析

3.1 蘋果圖像的融合

可見光圖像采集選用Sony DSC-W530型可見光相機(jī)，該相機(jī)可4倍變焦，焦距可調(diào)范圍26～105 mm，成像有效像素?cái)?shù)為1 410萬(wàn)，圖像存儲(chǔ)類型為SD/SDHC/SDXC卡。由于采用的紅外熱像儀和可見光相機(jī)攝像參數(shù)不同，不能直接對(duì)拍攝的紅外和可見光圖像進(jìn)行相關(guān)運(yùn)算，因此，需對(duì)拍攝的可見光圖像和基準(zhǔn)紅外圖像在Matlab平臺(tái)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，以便實(shí)現(xiàn)紅外和可見光圖像的直接融合。

蘋果常見劃碰傷缺陷以及果梗/花萼的可見光和紅外圖像的融合見圖4。由圖4可知：

(1) 融合圖像不僅可消除可見光圖像表面色彩對(duì)劃碰傷蘋果檢測(cè)的影響，還保留了紅外圖像中的蘋果缺陷特征，因此，圖像融合對(duì)蘋果劃、碰傷缺陷的識(shí)別能力較強(qiáng)。

(2) 紅外成像蘋果缺陷檢測(cè)方法對(duì)蘋果的果梗/花萼的誤判率較高，不利于蘋果的在線檢測(cè)和分級(jí)。而通過(guò)紅外和可見光融合的蘋果圖像，其果梗/花萼區(qū)域和缺陷明顯不同，因此，誤判率較低。

(3) 基于紅外和可見光融合的圖像在果梗/花萼識(shí)別上，誤判率遠(yuǎn)低于可見光圖像，且直觀性比紅外圖像強(qiáng)，因此，在蘋果果梗/花萼識(shí)別時(shí)，圖像融合的方法不僅能節(jié)約勞動(dòng)力、提高工作效率，更能滿足蘋果實(shí)時(shí)在線檢測(cè)、分級(jí)和自動(dòng)化加工的需要。

(4) 經(jīng)過(guò)紅外和可見光融合的蘋果圖像，在蘋果表面、次表面的特征檢測(cè)上具有很好的效果，且融合圖像的色彩分布也符合人們視覺(jué)的感受。

3.2 圖像融合的評(píng)價(jià)

基于紅外和可見光融合的蘋果圖像比原紅外圖像包含了更多的蘋果缺陷信息，且能消除可見光圖像表面色彩對(duì)劃、碰傷蘋果檢測(cè)的影響，為衡量圖像中平均信息的大小，可采用“信息熵E(Entropy)”作為評(píng)價(jià)指標(biāo)，信息熵E越大，其包含的圖像平均信息量就愈大。

圖像中各像素的灰度值可認(rèn)為是獨(dú)立的，若灰度值為i的像素與總像素之比為pi，則可用數(shù)組p={p0,p1,……,pi,……,pL-1}(L為總灰度級(jí))表示圖像的灰度分布，圖像信息熵E為：

(8)

圖4 蘋果圖像的融合結(jié)果Figure 4 The fusion results of the apple images

由式(8)分別計(jì)算圖4中可見光、紅外及融合蘋果圖像的信息熵E，其結(jié)果見表2。

表2 蘋果圖像的信息熵Table 2 Information entropy of apple images

由于信息熵表述的是圖像中的灰度級(jí)數(shù)量，而非灰度值大小，若圖像中灰度級(jí)具有相同概率，則當(dāng)L=256時(shí)，其最大信息熵為8，由表2可知：

(1) 紅外圖像具有的信息熵較少，則蘋果表面含有的信息量較小。

(2) 可見光圖像具有的信息熵較大，但因表面色彩過(guò)多，其信息熵亦遠(yuǎn)小于8。

(3) 融合圖像的信息熵在紅外和可見光圖像之間，即融合的蘋果圖像不僅能避免可見光檢測(cè)中的色彩干擾，又含有比紅外圖像更多的特征信息。

3.3 缺陷檢測(cè)的分析

選用100個(gè)蘋果，含劃碰傷果、果梗/花萼特征果及完好果各25個(gè)，根據(jù)上述紅外熱成像和基于可見光和紅外的高、低頻小波系數(shù)圖像融合的蘋果缺陷檢測(cè)方法，對(duì)劃碰傷果、果梗/花萼特征果及完好果進(jìn)行檢測(cè)，以判斷蘋果果實(shí)是否完好，檢測(cè)結(jié)果見表3、4。

由表3、4可知：

(1) 在劃碰傷果方面，基于紅外熱圖像的蘋果缺陷檢測(cè)具有較高準(zhǔn)確率，碰傷損傷果識(shí)別率為92%，劃傷損傷果識(shí)別率可達(dá)96%。然而，由于果梗/花萼的顏色不同于完好果，

表3 基于紅外熱成像的缺陷檢測(cè)結(jié)果Table 3 The defect detection results based on infrared thermography

表4 基于融合圖像的缺陷檢測(cè)結(jié)果Table 4 The defect detection results based on fusion image

灰度圖呈現(xiàn)缺陷特征，因此，對(duì)于果梗/花萼特征果和完好果識(shí)別率較差，分別為64%和84%。

(2) 在劃碰傷果方面，基于圖像融合的蘋果缺陷檢測(cè)準(zhǔn)確率和紅外熱成像缺陷檢測(cè)方法近似，識(shí)別率都可達(dá)92%。然而，由于融合中兼具了可見光和紅外圖像的優(yōu)點(diǎn)，使蘋果圖像的特征更加突出，因此，對(duì)果梗/花萼特征果和完好果的檢測(cè)識(shí)別率可達(dá)100%。

(3) 基于紅外圖像和基于圖像融合2種檢測(cè)方法的缺陷平均識(shí)別率分別為84%和96%，見圖5。

圖5 2種方法下蘋果缺陷檢測(cè)準(zhǔn)確率對(duì)比圖Figure 5 The accuracy rate comparison of apple defect detection under two methods

4 結(jié)論

針對(duì)常用蘋果缺陷檢測(cè)方法存在的識(shí)別率不高的缺點(diǎn)，提出了基于圖像融合的蘋果缺陷檢測(cè)算法，該算法利用可見光和紅外圖像的高、低頻小波系數(shù)采用不同的融合方法，并通過(guò)信息熵的評(píng)價(jià)，更加直觀有效地獲得了蘋果表面、次表面的特征圖像。試驗(yàn)發(fā)現(xiàn)，該圖像融合方法比傳統(tǒng)缺陷檢測(cè)算法的效果更好，能夠滿足果實(shí)的實(shí)時(shí)在線檢測(cè)要求。然而，由于紅外和可見光相機(jī)的參數(shù)配置差異，使得獲得的紅外和可見光圖像不能直接進(jìn)行融合，因此，今后可對(duì)圖像采集工具進(jìn)行參數(shù)匹配，以便獲得可以直接融合的圖像，進(jìn)而提高融合效果。