基于LoG算法的水果熱成像檢測(cè)

韓亞輝，王 琢,2，劉佳鑫,2

（1.東北林業(yè)大學(xué) 機(jī)電工程學(xué)院，黑龍江 哈爾濱 150040；2.東北林業(yè)大學(xué) 林業(yè)人工智能研究院，黑龍江 哈爾濱 150040）

0 引言

水果含有豐富的營(yíng)養(yǎng)且能促進(jìn)消化，具有健康、美容的功能，是日常生活中的重要食品之一[1-2]。我國(guó)是水果生產(chǎn)大國(guó)，但是水果每年的出口量?jī)H占總產(chǎn)量的3%左右，主要原因在于我國(guó)的水果分級(jí)水平低，以人工分級(jí)為主[3-4]。此外，水果從種植者到消費(fèi)者手中，要經(jīng)過(guò)采摘收購(gòu)、保鮮貯藏、包裝運(yùn)輸、市場(chǎng)銷售等過(guò)程[5]，在這些處理過(guò)程中水果極易受損。水果損傷會(huì)嚴(yán)重影響水果的經(jīng)濟(jì)效益[6]，因此對(duì)于水果的損傷檢測(cè)顯得尤為重要。

傳統(tǒng)的檢測(cè)方法例如感官評(píng)定[7]和理化指標(biāo)檢測(cè)方法[8]等有損檢測(cè)造成了水果的浪費(fèi)。與此同時(shí)，有損檢測(cè)技術(shù)已無(wú)法滿足目前大量水果的檢測(cè)需求。因此無(wú)損檢測(cè)技術(shù)越來(lái)越受到檢測(cè)行業(yè)的重視。無(wú)損檢測(cè)是在不破壞被測(cè)對(duì)象的前提下，根據(jù)被測(cè)物體的熱、光、電等特征，對(duì)被測(cè)物體的品質(zhì)進(jìn)行測(cè)量的技術(shù)[9]。門(mén)洪等[10]研究了蘋(píng)果的損傷部位與完整部分的溫差特性，通過(guò)設(shè)置不同的加熱距離和拍攝距離獲得對(duì)比熱圖像，并且定性定量地分析了果梗和花萼的溫度曲線和溫差，以此來(lái)排除果梗和花萼對(duì)損傷特征提取的影響。周其顯等[11]利用熱成像技術(shù)研究了損傷蘋(píng)果表面溫度的變化，結(jié)果表明在缺陷部位的溫度曲線變化與果?；ㄝ嗵幍臏囟惹€變化存在明顯的差異。從以上研究可知，熱成像技術(shù)可以達(dá)到缺陷檢測(cè)的目的。但是以上研究?jī)H判斷了損傷部位的溫差特性，并未獲得損傷區(qū)域的邊緣輪廓。

損傷水果的邊緣輪廓可以使用邊緣檢測(cè)技術(shù)獲得。邊緣檢測(cè)是圖像處理和計(jì)算機(jī)視覺(jué)中的基本問(wèn)題，對(duì)于圖像處理中的特征提取，目標(biāo)識(shí)別具有重大意義[12]。水果一旦存在缺陷，會(huì)很大程度的影響水果品質(zhì)。水果的缺陷檢測(cè)主要針對(duì)水果表面的缺陷進(jìn)行及時(shí)檢測(cè)[6]。本研究對(duì)獲得的熱圖像進(jìn)行卷積操作加深損傷部位的邊緣信息，之后使用邊緣檢測(cè)算法進(jìn)行損傷部位的提取。常用的邊緣檢測(cè)算法主要有Canny算子、Sobel 算子、Laplacian、Scharr 濾波器等。利用紅外熱像儀所獲得的水果熱圖像，其干擾噪聲大于傳統(tǒng)的可見(jiàn)光圖像中的噪聲[13]，然而以上提到的幾種常規(guī)邊緣檢測(cè)方法不能有效地克服紅外圖像中的噪聲部分。LoG 算法通過(guò)對(duì)圖像進(jìn)行卷積濾波，然后再通過(guò)計(jì)算二階過(guò)零點(diǎn)來(lái)檢測(cè)邊緣，因此可以有效地克服紅外圖像中的噪聲。黃玉蕾利用LoG 算法的這種特點(diǎn)設(shè)計(jì)了結(jié)合形態(tài)學(xué)濾波的邊緣檢測(cè)算法，實(shí)驗(yàn)結(jié)果表明，該方法保留了更加完善的邊緣信息[14]。張陽(yáng)等利用雙邊濾波的LoG 算法進(jìn)行邊緣檢測(cè)，結(jié)果表明該算法可以有效地消除噪聲，獲得準(zhǔn)確的邊緣信息并且具有良好的檢測(cè)精度[15]。

1 LoG 算法簡(jiǎn)介

Laplacian算子是n維歐幾里德空間中的一個(gè)二階微分算子，常用于圖像增強(qiáng)領(lǐng)域和邊緣提取。LoG 算法就是對(duì)一個(gè)標(biāo)準(zhǔn)高斯函數(shù)進(jìn)行二次偏微分。

二維正態(tài)高斯函數(shù)為：

式中：σ是方差，決定了圖像平滑程度的大小[16]。σ越大，高斯圖像銳化程度越大，周?chē)袼貦?quán)重越大高斯濾波作用越大；σ越小，高斯圖像越扁平，周?chē)袼貦?quán)重越小，高斯濾波作用越小。

通過(guò)原始圖像f(x,y)與高斯函數(shù)卷積定義濾波之后的圖像：

式中：f*(x,y)為濾波之后的圖像；*代表卷積操作。

因?yàn)閷?duì)函數(shù)先卷積再求微分和先求微分再卷積的結(jié)果相同，即：

所以，定義LoG 算法為：

2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)選取具有局部損傷的蘋(píng)果，使用FORTIC 340系列手持式熱像儀獲取水果損傷部位正面（圖中水果的裂縫為水果的損傷部位）、損傷部位的背面、果梗處等3個(gè)方向的可見(jiàn)光圖像，如圖1所示。在Ubuntu 系統(tǒng)中使用Clion 集成開(kāi)發(fā)環(huán)境中的OpenCV 庫(kù)以及LoG 算法生成不同的高斯卷積模板并進(jìn)行圖像的濾波，濾波結(jié)果如圖2所示，其中K代表卷積核的尺寸大小。之后使用LoG 算法對(duì)水果圖像進(jìn)行損傷檢測(cè)，檢測(cè)結(jié)果如圖3所示。為了量化評(píng)價(jià)不同的卷積模板對(duì)于水果損傷部位邊緣檢測(cè)的影響，引入有參考和無(wú)參考圖像評(píng)價(jià)方法對(duì)不同邊緣檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)。

圖1 水果可見(jiàn)光圖像Fig.1 Visible light image of fruit

圖2 損傷部位圖像卷積結(jié)果Fig.2 Convolution results of damaged image

圖3 損傷部位邊緣檢測(cè)結(jié)果Fig.3 Edge detection results of damaged parts

3 評(píng)價(jià)方法

為了進(jìn)一步解釋LoG 算法在熱成像檢測(cè)中的作用，本研究使用均方誤差、峰值信噪比、結(jié)構(gòu)相似度、Laplacian 函數(shù)、方差函數(shù)等5 種評(píng)價(jià)方法對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.1 均方誤差（Mean Square Error，MSE）

大小為m×n的干凈圖像f和噪聲圖像k，均方誤差MSE 定義為：

式中：f(x,y)為點(diǎn)(x,y)的灰度值；k(x,y)代表了高斯濾波之后圖像點(diǎn)(x,y)灰度值。MSE 衡量了兩幅圖片之間的灰度值差異。

3.2 峰值信噪比（Peak Signal to Noise Ratio，PSNR）

峰值信噪比是目前普遍使用的一種圖像客觀評(píng)價(jià)指標(biāo)[17]，用于衡量圖像失真程度。PSNR 定義為：

式中：MAXI2是圖片最大可能像素，MAXI2＝2B－1。B代表灰度級(jí)數(shù)，如果每個(gè)像素都由8 位二進(jìn)制表示，那么就為255。

3.3 結(jié)構(gòu)相似度（Structural Similarity，SSIM）

結(jié)構(gòu)相似度的定義如下：

式中：μx，μy分別代表原始圖像與濾波圖像的灰度均值；σx，σy分別為原始圖像與濾波圖像的標(biāo)準(zhǔn)差；常數(shù)C1＝(K1B)2，K1取經(jīng)驗(yàn)值為0.01；C2＝(K2B)2，K2取經(jīng)驗(yàn)值為0.03。

3.4 Laplacian 函數(shù)

Laplacian 評(píng)價(jià)方法是利用Laplacian 算子對(duì)圖像進(jìn)行卷積得到圖像的高頻分量，利用高頻分量評(píng)價(jià)圖像質(zhì)量。定義如下：

式中：G(x,y)代表卷積之后的圖像。

3.5 方差函數(shù)

方差函數(shù)基于清晰圖像的灰度差異比模糊圖像的灰度差異更大這一原理來(lái)評(píng)價(jià)圖像質(zhì)量。其定義如下：

式中：μ代表整幅圖像的平均灰度。

4 結(jié)果分析

根據(jù)邊緣檢測(cè)量化結(jié)果進(jìn)一步分析了LoG 算法中不同的K以及σ對(duì)于損傷部位邊緣檢測(cè)的影響。邊緣檢測(cè)圖像的量化結(jié)果如表1所示，其中K代表卷積核的大小。表1中分別展示了在MSE、PSRN、SSIM、Laplacian、方差等5 種評(píng)價(jià)方法中邊緣檢測(cè)結(jié)果隨卷積核大小以及σ的變化情況。

表1 濾波結(jié)果量化值Table 1 Quantized value of filtering results

分析表1中的數(shù)據(jù)可知，在MSE 評(píng)價(jià)方法中保持LoG 算法中的K不變，橫向比較不同σ變化情況，其變化最大的一組數(shù)據(jù)是在K＝11 時(shí)取得，極值差為1492.20；保持其σ不變縱向比較不同K變化情況發(fā)現(xiàn)，在σ＝5 時(shí)其變化范圍最小，極值差為4125.13。因此在MSE 評(píng)價(jià)方法中縱向變化的最小值是橫向變化最大值的2.76 倍，即LoG 算法中K值的影響是σ值的2.76 倍。

根據(jù)以上方式分別分析其它4 種評(píng)價(jià)方法，PSNR評(píng)價(jià)方法中橫向變化最大值在K＝11 時(shí)取得，其值為1.6145，縱向變化最小值在σ＝20 時(shí)取得，其值為7.0481，該方法縱向變化的最小值是橫向變化最大值的4.37 倍；SSIM 評(píng)價(jià)方法是橫向變化最大值是在K＝11 時(shí)取得，其值為0.069935，縱向變化最小值在σ＝40 時(shí)取得，其值為0.191439，該方法縱向變化的最小值是橫向變化最大值的2.74 倍；Laplacian 評(píng)價(jià)方法是橫向變化最大值是在K＝9 時(shí)取得，其值為1.49624，縱向變化最小值在σ＝30 時(shí)取得，其值為3.59167，該方法縱向變化的最小值是橫向變化最大值的2.4 倍；方差評(píng)價(jià)方法是橫向變化最大值是在K＝13 時(shí)取得，其值為180.426，縱向變化最小值在σ＝5時(shí)取得，其值為1038.721，該方法縱向變化的最小值是橫向變化最大值的5.76 倍。

綜上分析可得，在LoG 算法中，卷積核尺寸對(duì)于邊緣檢測(cè)結(jié)果的影響遠(yuǎn)大于σ值的影響。因此，本研究將重點(diǎn)分析卷積核尺寸對(duì)于邊緣檢測(cè)結(jié)果的影響。為了更加突出卷積核對(duì)于數(shù)據(jù)變化的影響，本文把表1中的數(shù)據(jù)轉(zhuǎn)化為圖4～圖8的可視化圖像。

圖4～圖8中橫軸代表σ值，每個(gè)σ又包含了K取4 種不同值的數(shù)據(jù)，縱軸代表MSE、PSNR、SSIM、Laplacian、方差的取值范圍。從5 幅圖中可以更加直觀地看到σ值變化對(duì)于評(píng)價(jià)數(shù)據(jù)的影響遠(yuǎn)小于卷積核變化的影響對(duì)于評(píng)價(jià)數(shù)據(jù)的影響。

從圖4中可以看到當(dāng)卷積核尺寸不斷增大之后，MSE 的值逐漸增大，這是由于增大卷積核尺寸之后，圖像的中心像素受到領(lǐng)域內(nèi)的加權(quán)影響越來(lái)越大導(dǎo)致卷積之后的圖片灰度值與原圖像相比差別增大，從而導(dǎo)致MSE 值的變化越來(lái)越大。觀察圖3中的損傷檢測(cè)結(jié)果可以看出隨著MSE 的增大，損傷部位的邊緣信息顯示的更加豐富。在圖5～圖8中，隨著濾波核尺寸不斷增大，圖像的PSNR、SSIM、Laplacian、方差大致呈現(xiàn)逐步下降的趨勢(shì)。觀察圖3可知，隨著PSNR、SSIM、Laplacian、方差值的降低，邊緣檢測(cè)的結(jié)果越來(lái)越好，而且更加的接近水果真實(shí)的損傷狀態(tài)。但是當(dāng)K＝13 時(shí)，水果損傷周?chē)耐暾课灰脖粰z測(cè)為損傷部位，這是因?yàn)榫矸e模板過(guò)大使周?chē)耐暾麍D像受到損傷部位圖像的加權(quán)影響，錯(cuò)誤地檢測(cè)了損傷部位。

圖5 PSNR 數(shù)據(jù)圖Fig.5 PSNR data map

圖6 SSIM 數(shù)據(jù)圖Fig.6 SSIM data map

圖7 Laplacian 數(shù)據(jù)圖Fig.7 Laplacian data map

圖8 方差數(shù)據(jù)圖Fig.8 Variance data map

5 結(jié)論

針對(duì)水果損傷部位檢測(cè)的問(wèn)題，本文首先對(duì)使用熱像儀獲得圖像進(jìn)行卷積濾波處理，之后使用LoG 算法進(jìn)行邊緣檢測(cè)獲得損傷部位的邊緣輪廓，并且使用5 種不同的評(píng)價(jià)方法量化檢測(cè)結(jié)果。從邊緣檢測(cè)的量化結(jié)果來(lái)看，卷積核的尺寸和σ對(duì)于水果損傷部位的邊緣檢測(cè)結(jié)果均具有影響。通過(guò)分別分析每種評(píng)價(jià)方法中的卷積核尺寸和σ值量化結(jié)果，得出卷積核尺寸對(duì)于水果損傷部位邊緣檢測(cè)結(jié)果的影響遠(yuǎn)大于σ值的結(jié)論。此外，從本研究的邊緣檢測(cè)結(jié)果來(lái)看，增大卷積核尺寸可以有效地加深損壞部分的邊緣信息，但是當(dāng)尺寸過(guò)大時(shí)，會(huì)影響損傷部位檢測(cè)的結(jié)果。研究證明了LoG 算法在熱成像損傷水果檢測(cè)中的實(shí)用性和可行性，為損傷水果的檢測(cè)提供了可行方案。