基于近紅外高光譜圖像的蘋果輕微損傷檢測(cè)

陳姍姍，寧紀(jì)鋒，彭藝偉，張葉

(西北農(nóng)林科技大學(xué)信息工程學(xué)院，陜西楊凌712100)

蘋果作為最廣泛種植的水果品種之一，是世界上的第二大消費(fèi)水果，具有豐富的營(yíng)養(yǎng)價(jià)值，因此，其品質(zhì)的好壞至關(guān)重要［1-2］.在人工采摘運(yùn)輸?shù)倪^程中，尤其是長(zhǎng)途運(yùn)輸過程中，蘋果易受到碰撞、擠壓、摔傷等損傷，輕微損傷在蘋果表面沒有缺口，肉眼難以發(fā)現(xiàn)，經(jīng)過一段時(shí)間后，果肉發(fā)生褐變，損傷部位變軟，蘋果內(nèi)部的化學(xué)成分以及口感味道發(fā)生改變，最終導(dǎo)致蘋果腐爛變質(zhì).起初損傷難于觀察，并且在存儲(chǔ)、運(yùn)輸處于不恰當(dāng)?shù)沫h(huán)境下發(fā)展很快，因此檢測(cè)蘋果的輕微損傷十分必要.由于蘋果表面顏色、紋理的影響以及蘋果外部輕微損傷無(wú)明顯表現(xiàn)，所以基于傳統(tǒng)的機(jī)器視覺技術(shù)和人工可視檢測(cè)的方法檢測(cè)蘋果的輕微外部損傷非常困難，并且準(zhǔn)確率較低.

高光譜技術(shù)是近幾年在國(guó)內(nèi)外興起的一項(xiàng)結(jié)合傳統(tǒng)成像技術(shù)和光譜技術(shù)的新方法.由于其信息量更大，比基于可見光的圖像檢測(cè)方法具有更大的優(yōu)勢(shì)，在農(nóng)產(chǎn)品品質(zhì)檢測(cè)的研究中越來越受到重視［3-7］.Polder等［8］對(duì) 396～736 nm 波段范圍內(nèi)的 5個(gè)不同成熟度的西紅柿進(jìn)行研究，結(jié)果表明，使用高光譜圖像比使用RGB圖像更有利于對(duì)西紅柿的成熟度進(jìn)行判定.Sivakumar［9］在 400～1 000 nm 范圍內(nèi)，使用人工神經(jīng)網(wǎng)絡(luò)方法對(duì)芒果含水量進(jìn)行預(yù)測(cè)，預(yù)測(cè)相關(guān)系數(shù)為0.81.洪添勝等［10］通過人工神經(jīng)網(wǎng)絡(luò)方法對(duì)雪花梨的含糖量和含水率建立預(yù)測(cè)模型，檢測(cè)雪花梨的內(nèi)部品質(zhì)，同時(shí)使用投影圖像面積預(yù)測(cè)雪花梨鮮重，取得了較好的結(jié)果.在蘋果品質(zhì)檢測(cè)方面，Huang等［11］對(duì) 60個(gè)蘋果樣本在 400～1 100 nm波段范圍內(nèi)采集光譜圖像，使用主成分分析法對(duì)蘋果損傷在果梗和花萼部分進(jìn)行分類，結(jié)果表明在果梗附近的損傷分類準(zhǔn)確率為93.3%，在花萼附近的損傷分類準(zhǔn)確率為86.7%.Huang等［12］在500～1 000 nm波段范圍采用局部線性嵌入算法(locally linear embedding，LLE)對(duì)580個(gè)紅元帥蘋果進(jìn)行粉質(zhì)化分類，分類準(zhǔn)確率為80.4%.彭彥昆等［13］使用偏最小二乘回歸方法(PLSR)在524～1 016 nm范圍內(nèi)對(duì)蘋果硬度進(jìn)行檢測(cè)，相關(guān)系數(shù)為0.88.這些研究主要基于可見光、近紅外的光譜波段，波長(zhǎng)范圍主要在400～1 000 nm，而國(guó)內(nèi)外基于波長(zhǎng)范圍在1 100～1 700 nm的高光譜圖像技術(shù)檢測(cè)水果品質(zhì)的研究仍未報(bào)道.

本研究主要采用900～1 700nm波段范圍的蘋果近紅外高光譜圖像，選擇特征波段，通過圖像處理方法對(duì)蘋果的外部輕微損傷進(jìn)行提取.結(jié)果顯示，900～1 700nm波段范圍對(duì)蘋果的外部損傷具有良好的分辨性，蘋果缺陷檢測(cè)準(zhǔn)確率高.

1 實(shí)驗(yàn)材料與設(shè)備

1.1 實(shí)驗(yàn)材料

實(shí)驗(yàn)研究對(duì)象為蘋果，品種為紅富士，從市場(chǎng)上選購(gòu)，數(shù)量共計(jì)50個(gè)，大小、形狀基本一致，表面無(wú)機(jī)械損傷，其中35個(gè)輕微損傷樣本，15個(gè)正常樣本.人工處理?yè)p傷樣本過程如下:將樣本置于距離平整光滑水平面80 cm處，使其自由下落，每個(gè)樣本摔傷一處，室溫放置24 h后，進(jìn)行高光譜圖像采集.

1.2 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)設(shè)備采用北京漢光卓立公司開發(fā)的Hyper-SIS高光譜成像系統(tǒng).如圖1所示，該系統(tǒng)主要由推掃型成像光譜儀(ImSpector，N17E，F(xiàn)inland)、CCD面陣探測(cè)器(OPCA05G，日本濱松)、穩(wěn)壓電源箱和暗箱組成.其中暗箱包括4個(gè)100 W的白光漫反射型光源和電控位移樣品臺(tái).數(shù)據(jù)采集軟件為SpectralSENS.高光譜相機(jī)測(cè)量的光譜波長(zhǎng)范圍為900～1 700 nm，光譜分辨率為 5 nm，成像分辨率為320×250.

圖1 高光譜圖像采集系統(tǒng)Fig.1 Hyperspectral imaging system

1.3 圖像采集與標(biāo)定

采集高光譜圖像數(shù)據(jù)前，對(duì)高光譜成像儀的參數(shù)進(jìn)行調(diào)整，以降低圖像噪聲，確保拍攝的圖像清晰，避免失真.經(jīng)反復(fù)調(diào)整，確定成像光譜儀的各參數(shù)如下:曝光時(shí)間為10 ms，電控位移臺(tái)移動(dòng)速度為20 mm·s－1，物距為200 mm，采集到的高光譜圖像大小為320×250×255.

圖像采集時(shí)，對(duì)每一個(gè)蘋果樣本進(jìn)行標(biāo)號(hào)，每次取一個(gè)蘋果樣本，人工置于載物臺(tái)上，使用線光源照射放置于電控移動(dòng)臺(tái)上的樣品，樣品被線光源照射部分的影像通過鏡頭被高光譜成像儀捕獲，在X軸向上被光譜儀分光，在Y軸上直接成像，從而得到一維的影像以及光譜信息，由電控移動(dòng)臺(tái)帶動(dòng)樣品連續(xù)運(yùn)行，從而能夠得到連續(xù)的一維影像以及光譜信息，完成對(duì)整個(gè)蘋果樣本圖像的采集.

1.4 圖像標(biāo)定

由于蘋果表面形狀的差異以及光源強(qiáng)度分布不均的影響，導(dǎo)致光譜相機(jī)采集到的高光譜圖像中存在著較大的噪聲.因此，必須對(duì)采集到的圖像進(jìn)行校正，以消除噪聲影響.保持設(shè)備在相同的參數(shù)設(shè)定下采集樣本，用掃描反射率為99%的標(biāo)準(zhǔn)白色校正板得到全白的參考圖像W，然后蓋上鏡頭蓋，采集全黑參考圖像B，根據(jù)式(1)計(jì)算校正后的圖像R.

式中:I為原始采集的高光譜圖像，B為全黑標(biāo)定的圖像，W為白標(biāo)定的圖像，R為標(biāo)定后的高光譜圖像.

圖2是損傷蘋果樣本在可見光下的圖像與1 160 nm波段下的高光譜圖像，從圖中可以看出，輕度損傷后的蘋果，損傷部位仍不明顯，肉眼很難進(jìn)行觀察.因此采用傳統(tǒng)的數(shù)字圖像處理方法具有很大的難度，同時(shí)檢測(cè)得到的準(zhǔn)確率往往不高;但在1 160 nm波段下，可看出損傷部位明顯呈黑色，與正常部位存在較大差異，使損傷部位通過計(jì)算機(jī)視覺方法檢測(cè)提取成為可能.

圖2 損傷蘋果的可見光圖像與1 160 nm高光譜圖像Fig.2 Visible image and 1 160 nm band hyperspectral image of a bruised apple

由于近紅外高光譜圖像在光譜兩端噪聲較大，使得圖像質(zhì)量不佳.經(jīng)分析，本文采取光譜范圍934～1 661 nm波段的高光譜圖像進(jìn)行分析.通過掩膜法對(duì)采集的高光譜圖像去除背景，消除背景在數(shù)據(jù)分析時(shí)對(duì)研究對(duì)象造成的影響.

2 蘋果輕微損傷檢測(cè)方法

蘋果近紅外高光譜圖像比可見光圖像提供了更為豐富的光譜信息，包含著對(duì)蘋果輕微損傷敏感的近紅外波段，為進(jìn)行無(wú)損檢測(cè)提供了可靠的數(shù)據(jù).本節(jié)基于波段比和不均勻二次差分法，得到能增強(qiáng)蘋果缺陷區(qū)域的特征圖像，從而提出蘋果輕微損傷缺陷檢測(cè)的方法.

2.1 基于波段比的蘋果圖像缺陷檢測(cè)方法

波段比(band ratio)算法［14］可以有效地降低由于蘋果表面不平整導(dǎo)致的光線反射不均勻的影響，同時(shí)增強(qiáng)波段之間的波譜差異，提供單一波段無(wú)法得到的獨(dú)特信息.波段比算法的原理是用2個(gè)波段相除從而獲得一幅相對(duì)波段強(qiáng)度的圖像.

式中:BVg和BVh為第g和h波段相同位置像素(i，j)的灰度值;BVr為該(i，j)位置下像素的比值.

根據(jù)圖中的光譜信息曲線及反復(fù)實(shí)驗(yàn)確定選擇1 060 nm、1 183 nm、1 442 nm(位置如圖3 所示)這3個(gè)波峰和波谷的波段作為特征波段來波段比運(yùn)算和分析.

圖3 蘋果損傷部位與正常部位的光譜曲線Fig.3 The spectral data of the normal region and bruised region of an apple

圖4中從左到右依次為1 183/1 060nm、1 442/1 060 nm的波段比運(yùn)算結(jié)果，可以看出，使用波段1 183 nm與波段1 060 nm進(jìn)行波段比運(yùn)算，損傷部位與正常部位的差別最大，損傷部位顏色變暗，正常部位顏色發(fā)亮，有利于損傷部位的提取，此時(shí)波段比算法的運(yùn)算結(jié)果最好.

圖4 1 183/1 060 nm和1 442/1 060 nm的波段比結(jié)果圖像Fig.4 Two band ratio results of 1 183/1 060 nm and 1 442/1 060 nm

由于中值濾波能有效地去除噪聲并且能較好地保護(hù)圖像細(xì)節(jié)，因此，首先選擇5×5大小的模板對(duì)圖像進(jìn)行中值濾波，然后再利用 K-均值聚類法［15］對(duì)損傷部位進(jìn)行分割提取，從而完成對(duì)損傷部位的檢測(cè).K-均值聚類算法是一種廣泛使用的聚類算法，主要思想是通過迭代過程把數(shù)據(jù)集劃分為不同的類別，使得評(píng)價(jià)聚類性能的準(zhǔn)則函數(shù)達(dá)到最優(yōu)，從而使生成的每個(gè)聚類類內(nèi)緊湊、類間獨(dú)立，算法對(duì)于連續(xù)型屬性具有較好的聚類效果.從圖5中的檢測(cè)結(jié)果可以看出，損傷蘋果中的損傷區(qū)域通過使用K-means算法可以有效地進(jìn)行標(biāo)定，檢測(cè)結(jié)果準(zhǔn)確.

圖5 損傷蘋果的檢測(cè)結(jié)果Fig.5 The detection results of bruised apples

2.2 基于不均勻二次差分的蘋果圖像缺陷檢測(cè)方法

由于蘋果形狀和表面光滑程度造成的反射光線不均勻的影響，采集到的圖像中心存在不同程度的亮斑以及噪聲.采用不均勻二次差分法［16］消除這種影響.不均勻二次差分方法在二次差分方法的基礎(chǔ)上，對(duì)中心波段采用相同波段間隔的方式，對(duì)中心波段的較高波段和較低波段使用不同的波段間隔，使蘋果損傷部位與正常部位的區(qū)別更加明顯.不均勻二次差分方法的數(shù)學(xué)表達(dá)式為

式中:S″(λn，g)為中心波段下的不均勻二次差分結(jié)果圖像;S(λn)為中心波段下的原始圖像;g1、g2為波段間隔.

實(shí)驗(yàn)采用1 064 nm為中心波段下的蘋果圖像，經(jīng)反復(fù)實(shí)驗(yàn)，間隔g1和g2分別為15和80，此時(shí)，實(shí)驗(yàn)效果最好.對(duì)不均勻二次差分的結(jié)果圖像使用5×5大小的模板進(jìn)行中值濾波，之后使用閾值分割方法對(duì)損傷部位進(jìn)行檢測(cè)，實(shí)驗(yàn)結(jié)果如圖6所示，缺陷部分與正常部分準(zhǔn)確分割.

圖6 不均勻二次差分檢測(cè)蘋果圖像缺陷Fig.6 The detection results of bruised apples using asymmetric second difference

3 實(shí)驗(yàn)結(jié)果與分析

對(duì)50個(gè)實(shí)驗(yàn)樣本采集到的高光譜圖像進(jìn)行外部損傷檢測(cè).為了驗(yàn)證波段比方法的有效性，本文也采用主成分分析法對(duì)蘋果的輕微損傷進(jìn)行缺陷檢測(cè)，對(duì)比結(jié)果見表1.

表1 3種方法的蘋果缺陷檢測(cè)結(jié)果比較Table 1 The comparison of bruised apples detection results using 3 methods

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)一步分析可知，采用主成分分析法的蘋果輕度損傷檢測(cè)正確率較低，主要是因?yàn)閷?shí)驗(yàn)樣本表面形狀和光滑程度的影響導(dǎo)致采集到的高光譜圖像存在差異，由于每個(gè)主成分圖像都是由原始數(shù)據(jù)中各個(gè)波段下的圖像經(jīng)過線性組合而成，每個(gè)主成分圖像的線性組合中的權(quán)重系數(shù)不相同，因此，對(duì)每個(gè)實(shí)驗(yàn)樣本進(jìn)行主成分分析后結(jié)果并不相同，導(dǎo)致實(shí)驗(yàn)結(jié)果不太理想.波段比算法可以降低光照反射不均勻的影響，增強(qiáng)波段之間的波譜差異，從高光譜數(shù)據(jù)中挖掘更多的特征信息.經(jīng)過波段比運(yùn)算后的高光譜圖像，可加強(qiáng)試驗(yàn)樣本中正常部分與損傷部分的差異，以便準(zhǔn)確地對(duì)損傷部位進(jìn)行提取.不均勻二次差分方法有效地降低了蘋果中心反射形成的亮斑的影響，有利于閾值分割對(duì)蘋果損傷部位的檢測(cè)提取，使檢測(cè)準(zhǔn)確率較高.

4 結(jié)束語(yǔ)

本文以蘋果為研究對(duì)象，首次利用900～1 700 nm近紅外高光譜圖像檢測(cè)輕微損傷蘋果.在該波段范圍，對(duì)于輕微損傷蘋果，缺陷部分與正常部分光譜信息有較好的區(qū)分性，為進(jìn)行損傷檢測(cè)提供了依據(jù).采用波段比算法和不均勻二次差分算法處理蘋果的高光譜圖像，提高蘋果損傷部位與正常部位的區(qū)分度，然后利用K-均值聚類法和閾值分割的數(shù)字圖像處理方法，對(duì)波段比結(jié)果和不均勻二次差分結(jié)果圖像進(jìn)行損傷檢測(cè)提取.實(shí)驗(yàn)結(jié)果表明，不均勻二次差分方法比主成分分析和波段比方法具有更好的輕微損傷檢測(cè)率，檢測(cè)準(zhǔn)確率達(dá)到92%，為蘋果輕微損傷的無(wú)損檢測(cè)提供了一種有效的方法.

［1］劉木華，趙杰文，鄭建鴻，等.農(nóng)畜產(chǎn)品品質(zhì)無(wú)損檢測(cè)中高光譜圖像技術(shù)的應(yīng)用進(jìn)展［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005，36(9):139-143.LIU Muhua，ZHAO Jiewen，ZHENG Jianhong，et al.Review of hyperspectral imaging in quality and safety inspec-tions of agricultural and poultry products［J］.Transactions of the Chinese Society for Agricultural Machinery，2005，36(9):139-143.

［2］張立彬，胡海根，計(jì)時(shí)鳴，等.果蔬產(chǎn)品品質(zhì)無(wú)損檢測(cè)技術(shù)的研究進(jìn)展［J］.農(nóng)業(yè)工程學(xué)報(bào)，2005，21(4):176-180.ZHANG Libin，HU Haigen，JI Shiming，et al.Review of nod-destructive quality evaluation technology for fruit and vegetable products［J］.Transactions of the CSAE，2005，21(4):176-180.

［3］SUN Dawen.Hyperspectral imaging for food quality analysis and control［M］.［S.l.］:Elsevier，2010:1-98.

［4］BUTZ P，HOFMANN C，TAUSCHER B.Recent developments in non-invasive techniques for fresh fruit and vegetable internal quality analysis［J］.Food Science，2005，70(9):131-134.

［5］洪添勝，李震，吳春胤，等.高光譜圖像技術(shù)在水果品質(zhì)無(wú)損檢測(cè)中的應(yīng)用［J］.農(nóng)業(yè)工程學(xué)報(bào)，2007，23(11):280-285.HONG Tiansheng，LI Zhen，WU Chunyin，et al.Review of hyperspectral image technology for non-destructive inspection of fruit quality［J］.Transactions of the CSAE，2007，23(11):280-285.

［6］NICOLAII B M，LOTZETZE E，PEIRS A，et al.Non-destructive measurement of bitter pit in apple fruit using NIR hyperspectral imaging［J］.Post Harvest Biology and Technology，2006，40(1):1-6.

［7］單佳佳，彭彥昆，王偉，等.基于高光譜成像技術(shù)的蘋果內(nèi)外部品質(zhì)同時(shí)檢測(cè)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(3):141-144.SHAN Jiajia，PENG Yankun，WANG Wei，et al.Simultaneous detection of external and internal quality parameters of apples using hyperspectral technology［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42(3):141-144.

［8］POLDER G，HEIJDEN G W，YOUNG I T.Tomato sorting using independent component analysis on spectral images［J］.Real-Time Imaging，2003，9(4):253-259.

［9］SIVAKUMAR S S，QIAO Jun，WANG Ning.Detecting maturity parameters of mango using hyperspectral imaging technique［C］//American Society of Agricultural ＆ Biological Engineers Annual International Meeting.Portland，USA，2006:9-12.

［10］洪添勝，喬軍，NING Wang，等.基于高光譜圖像技術(shù)的雪花梨品質(zhì)無(wú)損檢測(cè)［J］.農(nóng)業(yè)工程學(xué)報(bào)，2007，23(2):151-155.HONG Tiansheng，QIAO Jun，NING Wang，et al.Nondestructive inspection of Chinese pear quality based on hyperspectral imaging technique［J］.Transactions of the CSAE，2007，23(2):151-155.

［11］HUANG Wenqian，ZHANG Chi，LI Jiangbo.Detection of bruise and stem-end/calyx of apples using hyperspectral imagingand segmented principalcomponentanalysis［C］//Amercian Society of Agricultural and Biological Engineers.Dallas，USA，2012:12-1340826.

［12］HUANG Min，WANG Bojin，ZHU Qibing.Analysis of hyperspectral scattering images using locally linear embedding algorithm for apple mealiness classification［J］.Computers and Electronics in Agriculture，2012，89:175-181.

［13］彭彥昆，李永玉，趙娟，等.基于高光譜技術(shù)蘋果硬度快速無(wú)損檢測(cè)方法的建立［J］.食品安全質(zhì)量檢測(cè)學(xué)報(bào)，2012，3(6):667-671.PENG Yankun，LI Yongyu，ZHAO Juan，et al.Establishment of rapid and non-destructive detection method of apple firmness using hyperspectral images［J］.Journal of Food Safety and Quality，2012，3(6):667-671.

［14］BENNEDSEN B S，PETERSON D L.Performance of a system for apple surface defect identification in near-infrared images［J］.Biosystems Engineering，2005，90(4):419-431.

［15］FORSYTH D A，PONCE J.Computer vision:a modern approach［M］.［S.l.］，Pearson Educacion，Inc:2003:446-450.

［16］MEHL P，CHEN Y，KIM M，et al.Development of hyperspectral imaging technique for the detection of apple surface defects and contaminations［J］.Journal of Food Engineering，2004，61:67-81.