基于高光譜成像技術(shù)的蘋果表面缺陷無損檢測(cè)

孟慶龍，張艷，尚靜

（1.貴陽學(xué)院食品與制藥工程學(xué)院，貴州貴陽550005；2.貴陽學(xué)院農(nóng)產(chǎn)品無損檢測(cè)工程研究中心，貴州貴陽550005）

蘋果在生長(zhǎng)過程中，經(jīng)常會(huì)受到各種因素的影響導(dǎo)致蘋果表面出現(xiàn)缺陷，從而影響蘋果的外觀，甚至使其喪失了可食性，極大地影響了蘋果的品質(zhì)和分級(jí)銷售。由此可見，對(duì)新鮮蘋果的表面缺陷檢測(cè)顯得尤為重要。傳統(tǒng)的檢測(cè)方法大多是人工操作，耗時(shí)耗力，而且效率低，無法滿足大規(guī)模生產(chǎn)的需求。因此，開發(fā)研制一種快速、無損、高效的蘋果表面缺陷檢測(cè)方法在水果分級(jí)檢測(cè)領(lǐng)域中具有較好的應(yīng)用前景。近年來，基于高光譜成像技術(shù)的無損檢測(cè)技術(shù)以其高效、無損、可實(shí)時(shí)在線檢測(cè)等諸多優(yōu)點(diǎn)受到科研工作者的廣泛關(guān)注，被廣泛應(yīng)用于食品、醫(yī)藥和化工等各個(gè)領(lǐng)域[1-7]。國內(nèi)外研究學(xué)者對(duì)水果的品質(zhì)檢測(cè)分析主要集中在水果內(nèi)部品質(zhì)的定量檢測(cè)方面[8-13]，而在水果外部品質(zhì)（早期損傷和表面缺陷等）檢測(cè)方面的研究相對(duì)較少。趙杰文等[14]采用高光譜成像技術(shù)，通過主成分分析提取547 nm波長(zhǎng)下的特征圖像，設(shè)計(jì)不均勻二次差分消除了蘋果圖像亮度分布不均勻的影響，通過合適的數(shù)字圖像處理方法提取蘋果的輕微損傷，得出高光譜圖像技術(shù)對(duì)蘋果輕微損傷的檢測(cè)正確率達(dá)到88.57%。張保華等[15]利用I-RELIEF算法對(duì)正常表皮和損傷區(qū)域的光譜進(jìn)行分析得出權(quán)值系數(shù)圖，根據(jù)挑選出的5個(gè)特征波段和最低噪聲分離變換開發(fā)了損傷蘋果的識(shí)別檢測(cè)算法，利用該算法對(duì)80個(gè)正常蘋果和含有不同時(shí)間階段輕微損傷的蘋果進(jìn)行試驗(yàn)，損傷識(shí)別總體正確率為97.1%。田有文等[16]采用支持向量機(jī)對(duì)蘋果蟲傷區(qū)域和正常區(qū)域、果梗/花萼區(qū)域進(jìn)行識(shí)別，總體識(shí)別率為97.8%。已報(bào)道的文獻(xiàn)大多采用高光譜成像技術(shù)結(jié)合圖像處理技術(shù)來識(shí)別水果表面損傷或蟲傷，而采用高光譜成像技術(shù)結(jié)合圖像分割技術(shù)來檢測(cè)水果表面缺陷的研究鮮有報(bào)道。

本研究以“紅富士”蘋果為研究對(duì)象，采用高光譜成像技術(shù)結(jié)合圖像分割技術(shù)檢測(cè)蘋果表面缺陷，以期為開發(fā)蘋果表面缺陷在線快速檢測(cè)系統(tǒng)提供研究基礎(chǔ)。

1 材料與方法

1.1 材料

“紅富士”蘋果：購買于當(dāng)?shù)氐奈譅柆敵?，在超市中挑選大小均勻一致，完好無損蘋果80個(gè)和表面有缺陷的蘋果40個(gè)。

1.2 高光譜圖像采集系統(tǒng)

高光譜圖像采集系統(tǒng)（GaiaField-F-V10）：四川雙利合譜科技有限公司，結(jié)構(gòu)示意圖如圖1所示。

圖1 高光譜圖像采集系統(tǒng)示意圖Fig.1 The schematic diagram of hyperspectral imaging acquisition system

其中，成像光譜儀的分辨率為3.5 nm，數(shù)值孔徑為F/2.8，圖像空間分辨率為696×700，光譜采集范圍為400 nm～1 000 nm；漫反射光源為4個(gè)200 W溴鎢燈，采用梯形結(jié)構(gòu)安裝于暗箱中。將蘋果樣本放置在移動(dòng)平移臺(tái)上，根據(jù)試驗(yàn)要求，首先，調(diào)整系統(tǒng)參數(shù)，以確保采集的圖像清晰且不失真。經(jīng)過多次調(diào)整和優(yōu)化，最終確定CCD相機(jī)的曝光時(shí)間是12.6 ms，相機(jī)鏡頭與樣本距離為40cm，電動(dòng)平移臺(tái)的移動(dòng)速度是1.35cm/s。之后對(duì)待檢測(cè)樣本逐一掃描，采集所有蘋果樣本的高光譜圖像。

1.3 高光譜圖像校正

由于暗箱中暗電流的存在，不同波段條件下光源強(qiáng)度分布不均勻以及蘋果樣本的形狀差異等都會(huì)導(dǎo)致在光照強(qiáng)度較弱波段采集到的圖像包含較大的噪聲，故需對(duì)采集到的高光譜圖像進(jìn)行黑白校正，以消除部分噪聲的影響。即在與樣本采集相同的系統(tǒng)條件下，首先，掃描標(biāo)準(zhǔn)白色校正板，得到全白的標(biāo)定圖像W；然后，蓋上相機(jī)的鏡頭蓋進(jìn)行圖像采集得到全黑的標(biāo)定圖像B；最后，按照下面校正公式完成圖像標(biāo)定，采集得到的原始圖像I變成校正圖像R，即

式中：I為蘋果樣本的原始高光譜圖像；W為白板的漫反射圖像；B為暗圖像；R為校正后的高光譜圖像。

1.4 高光譜圖像去噪

經(jīng)過黑白校正后的高光譜圖像仍含有一些噪聲，需要對(duì)高光譜圖像進(jìn)行進(jìn)一步去除噪聲處理。最小噪聲分離（minimum noise fraction，MNF）變換是將高光譜圖像的主要信息集中在前面幾個(gè)波段，主要作用是判斷圖像數(shù)據(jù)維數(shù)、分離數(shù)據(jù)中的噪聲，減少后處理中的計(jì)算量。使用MNF變換從數(shù)據(jù)中消除噪聲的過程：首先進(jìn)行正向MNF變換，判定哪些波段包含相關(guān)圖像，用波譜子集選擇“好”波段或平滑噪聲波段，然后進(jìn)行一個(gè)反向MNF變換。

1.5 數(shù)據(jù)分析

高光譜圖像數(shù)據(jù)采集軟件應(yīng)用的是Spectral SENS，采集得到的蘋果高光譜圖像數(shù)據(jù)采用ENVI 5.4，MATLAB R2016b等軟件進(jìn)行處理與分析。

2 結(jié)果與分析

2.1 蘋果高光譜圖像的掩膜

為保證高光譜圖像中僅有蘋果樣本信息，通過求取蘋果果實(shí)區(qū)域中所有采樣點(diǎn)下光譜的平均值，構(gòu)建掩膜以去除背景，使高光譜圖像中僅含有蘋果樣本信息。即選擇樣本和背景反射率差異大的波段對(duì)采集的高光譜圖像進(jìn)行分割，當(dāng)某像素對(duì)應(yīng)的光譜值大于閾值時(shí)被保留，小于閾值時(shí)，被置為0。圖2為蘋果樣本區(qū)域和背景區(qū)域的光譜反射率。

由圖2可以看出，在波長(zhǎng)660.82 nm處蘋果樣本區(qū)域的光譜反射率值均大于0.05，而背景區(qū)域的光譜反射率值均小于0.05。因此，在采用閾值分割方法去除背景時(shí)，選擇特征波長(zhǎng)為660.82 nm，反射率閾值為0.05，得到其中3個(gè)蘋果樣本的高光譜圖像的掩膜如圖3所示。

圖2 蘋果樣本區(qū)域和背景區(qū)域光譜反射率曲線Fig.2 The spectral reflectance curves of the apples and background areas

圖3 蘋果樣本的掩膜圖Fig.3 The image of mask for apples

由圖3可以看出，蘋果樣本區(qū)域被保留，背景區(qū)域被置為0。去除背景后的其中3個(gè)蘋果樣本的高光譜圖像如圖4所示。

圖4 掩膜后得到的蘋果高光譜圖像Fig.4 The hyperspectral image of apples after masking

從圖4中可以看出，去除背景后的蘋果高光譜圖像中僅含有蘋果樣本，便于進(jìn)一步采用閾值分割方法提取蘋果樣本的表面缺陷。

2.2 最小噪聲分離變換

對(duì)去除背景后的蘋果樣本高光譜圖像進(jìn)行MNF變換，進(jìn)一步去除蘋果高光譜圖像中存在的噪聲。經(jīng)過MNF變換之后的其中3個(gè)蘋果樣本的前3個(gè)MNF成分圖像如圖5所示。

MNF變換后的特征曲線如圖6所示。

插圖中的列表給出了每個(gè)MNF波段相應(yīng)的特征值，以及每個(gè)MNF波段包含的數(shù)據(jù)方差的累積百分比，由圖6可以看出，前15個(gè)MNF波段對(duì)應(yīng)的特征值均大于1.4，且前15個(gè)MNF成分累積百分比超過95.25%（即經(jīng)過MNF變化之后的前15個(gè)成分圖像包含了蘋果樣本高光譜圖像大量的有效信息）。因此，本試驗(yàn)選取前15個(gè)MNF成分圖像進(jìn)行反向MNF變換，以便消除蘋果高光譜圖像中存在的噪聲。

圖5 部分蘋果樣本經(jīng)過MNF變換后的前3個(gè)成分圖像Fig.5 The first three component images of apples after MNF transform

圖6 MNF變換后的特征曲線Fig.6 Characteristic curve after MNF transform

圖7 蘋果正常區(qū)域和表面缺陷區(qū)域的光譜Fig.7 The spectra of the normal and surface defect areas

2.3 蘋果正常和表面缺陷區(qū)域的光譜特征

分別選取蘋果正常區(qū)域和表面有缺陷區(qū)域中的150 個(gè)像素點(diǎn)作為感興趣區(qū)域（region of interest，ROI），感興趣區(qū)域的光譜反射率曲線如圖7所示。

由圖7可以看出，蘋果樣本正常區(qū)域和表面有缺陷區(qū)域的光譜曲線在400 nm～700 nm波段間變化趨勢(shì)基本一致，但在700 nm～800 nm波段范圍內(nèi)，正常區(qū)域的光譜曲線整體反射率要高于表面有缺陷區(qū)域的反射率，而在900 nm～1 000 nm波段范圍內(nèi)，表面有缺陷區(qū)域的光譜曲線整體反射率要高于正常區(qū)域的反射率。因此，可以利用這兩個(gè)波段范圍的光譜反射率差異，同時(shí)選取717.98 nm處的光譜反射率值小于0.6以及982.59 nm處的光譜反射率值大于0.52作為區(qū)分蘋果正常區(qū)域和表面缺陷區(qū)域的閾值條件，通過閾值分割方法識(shí)別出表面有缺陷的蘋果。

2.4 蘋果表面缺陷區(qū)域的識(shí)別

由蘋果正常區(qū)域和表面缺陷區(qū)域的光譜特征可知在700 nm～800 nm以及900 nm～1 000 nm波段范圍內(nèi)蘋果樣本正常區(qū)域和表面有缺陷區(qū)域的光譜反射值具有明顯的差異。試驗(yàn)選取特征波長(zhǎng)717.98 nm處的光譜反射率值小于0.6以及982.59 nm處的光譜反射率值大于0.52作為區(qū)分蘋果正常區(qū)域和表面缺陷區(qū)域的閾值條件，滿足閾值條件的蘋果樣本區(qū)域置為1（如圖8中白色部分），其他區(qū)域的被置為0（如圖8中黑色部分），蘋果表面缺陷識(shí)別結(jié)果如圖8所示。

由圖8可以看出，蘋果樣本1表面有3處被檢測(cè)為缺陷區(qū)域，樣本2表面有1處被檢測(cè)為缺陷區(qū)域，樣本3表面有2處被檢測(cè)為缺陷區(qū)域，該方法很好地檢測(cè)出表面有缺陷的蘋果樣本。表1進(jìn)一步給出了所有蘋果樣本表面缺陷無損檢測(cè)的正確率。

從表1中可以看出采用該檢測(cè)方法能夠正確檢測(cè)出完好無損蘋果和表面有缺陷蘋果的數(shù)目分別為78個(gè)和38個(gè)，正確識(shí)別率分別達(dá)97.5%和95%。

圖8 部分缺陷蘋果的檢測(cè)結(jié)果Fig.8 Identification results of defect on apples

表1 完好無損和表面缺陷蘋果的檢測(cè)結(jié)果Table 1 Identification results on intact and surface defect apples

3 結(jié)論

蘋果樣本高光譜圖像經(jīng)過MNF變換后的前15個(gè)波段對(duì)應(yīng)的特征值均大于1.4，且前15個(gè)MNF成分累積百分比超過95.25%，進(jìn)而選取前15個(gè)MNF成分圖像進(jìn)行反向MNF變換，有效地消除了蘋果高光譜圖像中存在的噪聲。完好無損和表面有缺陷蘋果的高光譜圖像的光譜反射率值在700 nm～800 nm以及900 nm～1 000 nm波段范圍內(nèi)具有明顯的差異，選取717.98 nm處的光譜反射率值小于0.6以及982.59 nm處的光譜反射率值大于0.52作為區(qū)分蘋果正常區(qū)域和表面缺陷區(qū)域的閾值條件，通過閾值分割方法識(shí)別出表面有缺陷的蘋果，該檢測(cè)方法對(duì)80個(gè)完好無損蘋果和40個(gè)表面有缺陷蘋果的正確識(shí)別率分別為97.5%和95%。試驗(yàn)結(jié)果為開發(fā)蘋果表面缺陷在線快速檢測(cè)系統(tǒng)提供基礎(chǔ)。