蘋果輕微機(jī)械損傷高光譜圖像無(wú)損檢測(cè)

蔣金豹，尤 笛，汪國(guó)平，張 政，門澤成

中國(guó)礦業(yè)大學(xué)(北京)地球科學(xué)與測(cè)繪工程學(xué)院，北京 100083

蘋果輕微機(jī)械損傷高光譜圖像無(wú)損檢測(cè)

蔣金豹，尤 笛，汪國(guó)平，張 政，門澤成

中國(guó)礦業(yè)大學(xué)(北京)地球科學(xué)與測(cè)繪工程學(xué)院，北京 100083

無(wú)損檢測(cè)是高光譜遙感應(yīng)用研究熱點(diǎn)之一。蘋果在采摘、運(yùn)輸過(guò)程中易發(fā)生輕微機(jī)械損傷而影響其品質(zhì)。使用高光譜成像系統(tǒng)分別采集54個(gè)輕微損傷的“黃香蕉”與“煙臺(tái)富士”蘋果可見-近紅外波段(400～1 000 nm)的圖像，提取蘋果損傷區(qū)域的均值波譜曲線，對(duì)其進(jìn)行最小噪聲分離變換和基于幾何頂點(diǎn)端元原理提取端元波譜，計(jì)算損傷區(qū)域波譜和端元波譜的光譜角，構(gòu)建了端元提取光譜角蘋果輕微機(jī)械損傷檢測(cè)模型。通過(guò)設(shè)定光譜角閾值分別檢測(cè)“黃香蕉”與“煙臺(tái)富士”蘋果輕微機(jī)械損傷，并與MNF變換、PCA方法檢測(cè)精度進(jìn)行對(duì)比分析，結(jié)果表明EESA模型檢測(cè)蘋果輕微機(jī)械損傷的精度最高，檢測(cè)正確率分別達(dá)到94.44%和90.07%。

高光譜遙感； 幾何頂點(diǎn)； 端元提?。?光譜角； 無(wú)損檢測(cè)

引 言

食品安全、農(nóng)作物篩選和水果內(nèi)外品質(zhì)在日常生活中備受關(guān)注[1]。水果的輕微損傷通常產(chǎn)生在采摘、分裝和運(yùn)輸?shù)冗^(guò)程中，輕微損傷會(huì)導(dǎo)致水果腐爛甚至感染其他優(yōu)質(zhì)水果，不僅影響美觀，還減少其營(yíng)養(yǎng)價(jià)值[2-3]。輕微損傷的水果表皮與正常水果非常相似，很難用肉眼識(shí)別。傳統(tǒng)的破壞性檢測(cè)試驗(yàn)需要專業(yè)設(shè)備平臺(tái)和精密儀器，且費(fèi)時(shí)費(fèi)力[4]。而高光譜遙感的光譜監(jiān)測(cè)技術(shù)具有數(shù)據(jù)豐富、對(duì)產(chǎn)品無(wú)破壞、可快速、實(shí)時(shí)對(duì)樣本進(jìn)行檢測(cè)等優(yōu)點(diǎn)[5]，因此研究高光譜遙感無(wú)損檢測(cè)技術(shù)具有非常重要的意義與實(shí)用價(jià)值。

近年來(lái)，高光譜成像技術(shù)越來(lái)越多的應(yīng)用于果蔬品質(zhì)[6-10]無(wú)損檢測(cè)。趙杰文等[11]采集蘋果400～1 000 nm的高光譜影像，進(jìn)行主成分分析(principal component analysis, PCA)提取有效波長(zhǎng)547 nm的特征圖像，經(jīng)過(guò)不均勻二次差分處理檢測(cè)蘋果損傷； 蔡健榮等[12]根據(jù)Sheffield指數(shù)確定最佳波段，結(jié)合波段比算法與光譜圖像技術(shù)檢測(cè)柑橘果銹； 張保華等[13]使用高光譜成像系統(tǒng)獲取蘋果影像，利用I-RELIEF算法挑選出五個(gè)特征波段，基于特征波段和最小噪聲分離(minimum noise fraction, MNF)變換開發(fā)識(shí)別蘋果損傷的算法； Gamal等[14]研究不同背景顏色的蘋果表面早期損傷，利用偏最小二乘(partial least squares regression, PLS)和逐步判別分析法(stepwise discrimination analysis, SDA)選取三個(gè)有效波段，基于PCA找出損傷易識(shí)別的主成分圖像，用自適應(yīng)閾值分割來(lái)識(shí)別損傷區(qū)。上述研究中均需要對(duì)圖像進(jìn)行特征波段選取、圖像分割[15]等工作。為了快速、便捷、有效地對(duì)蘋果輕微損傷進(jìn)行無(wú)損檢測(cè)，本文利用高光譜端元提取、光譜角等理論構(gòu)建蘋果輕微損傷檢測(cè)模型，嘗試對(duì)蘋果輕微機(jī)械損傷進(jìn)行無(wú)損檢測(cè)。

1 理論與算法

1.1 端元提取

端元提取(endmember extraction, EE)主要算法是在影像中識(shí)別端元和生成端元兩大類[16]。基于幾何頂點(diǎn)的端元識(shí)別算法是目前應(yīng)用較為廣泛的算法之一，是將相關(guān)性很小的兩個(gè)圖像波段，如PCA，IC和MNF等變換結(jié)果的前面兩個(gè)波段，作為橫、縱軸構(gòu)成二維散點(diǎn)圖。在不考慮噪聲等干擾的情況下，二維散點(diǎn)圖呈三角形狀，根據(jù)線性混合模型數(shù)學(xué)描述，純凈端元幾何位置分布在三角形的三個(gè)頂點(diǎn)，而三角形內(nèi)部的點(diǎn)則是這三個(gè)頂點(diǎn)的線性組合，也就是混合像元，如圖1所示[17]。在實(shí)際的端元選擇過(guò)程中，可選擇散點(diǎn)圖周圍凸出部分區(qū)域，與該區(qū)域相對(duì)應(yīng)原圖上的平均波譜作為端元波譜。

1.2 光譜角

光譜角(spectral angle, SA)基本思想是具有n個(gè)波段的像元光譜矢量間廣義夾角，計(jì)算光譜角能反映光譜整體波形的相似程度。假設(shè)存在兩個(gè)像元光譜曲線，其矢量定義為X=[x1,x2,x3, …,xn]和Y=[y1,y2,y3, …,yn]，則光譜角θ為[18]

(1)

式(1)中，θ表示光譜角，n為波段數(shù)。θ越接近0，表明光譜曲線差異越小，光譜波形越相似。

圖1 基于幾何頂點(diǎn)的端元提取示意圖

1.3 端元提取光譜角檢測(cè)模型

將端元提取技術(shù)和光譜角理論相結(jié)合構(gòu)建了蘋果輕微機(jī)械損傷的無(wú)損檢測(cè)模型——端元提取光譜角(endmember extraction spectral angle, EESA) 檢測(cè)模型。EESA模型通過(guò)端元提取技術(shù)獲取影像中所有的端元波譜，再通過(guò)端元波譜與損壞波譜曲線匹配檢測(cè)出損傷蘋果，EESA模型流程圖如圖2所示。

圖2 EESA模型流程圖

2 實(shí)驗(yàn)部分

2.1 材料

在普通超市選購(gòu)大小、顏色、形狀基本一致且完好的“黃香蕉”蘋果和“煙臺(tái)富士”蘋果各54個(gè)，用清水洗去蘋果表面污垢并晾干。采用人工損傷的方式對(duì)所有完好蘋果進(jìn)行輕微機(jī)械損傷，其中54個(gè)輕微損傷的“黃香蕉”蘋果為測(cè)試樣本，54個(gè)輕微損傷的“煙臺(tái)富士”蘋果為檢驗(yàn)樣本。人工損傷樣本方式如下： 同一個(gè)人手動(dòng)擠壓蘋果的赤道處直到聽到一聲脆響為止，每個(gè)蘋果擠壓一處，這樣損傷的樣本用肉眼識(shí)別不出。經(jīng)1.5h的損傷制造和儀器準(zhǔn)備工作，立即進(jìn)行高光譜圖像采集。

2.2 高光譜成像系統(tǒng)

實(shí)驗(yàn)設(shè)備采用美國(guó)SOC710VP成像光譜儀，光譜范圍為400～1 000 nm(128個(gè)波段)，波譜分辨率約4.69 nm。圖像采集時(shí)對(duì)每個(gè)蘋果進(jìn)行編號(hào)，為避免背景干擾，蘋果均放置在黑色棉布上，在室內(nèi)掃描成像，鹵素?zé)魹楣庠?，支架高?.5 m，積分時(shí)間25 ms，垂直于蘋果表面進(jìn)行掃描。經(jīng)過(guò)試驗(yàn)，每次掃描9個(gè)蘋果最佳，每種蘋果各掃描6次。每次掃描成像同時(shí)獲取暗電流和反射率參考版數(shù)據(jù)。

2.3 數(shù)據(jù)預(yù)處理

由于光強(qiáng)變化和CCD探測(cè)器中暗電流的影響，采集的高光譜圖像會(huì)有很大噪聲，需要對(duì)原始圖像進(jìn)行校正。校正公式如式(2)[15]

(2)

式(2)中，Rnorm是校正后圖像，R是原始影像，Rdark是關(guān)上光源，擰上鏡頭蓋后采集的全暗參考圖像，Rwhite是美國(guó)NIST溯源標(biāo)準(zhǔn)的參考板掃描圖像。

3 蘋果輕微機(jī)械損傷高光譜檢測(cè)模型

3.1 蘋果損傷與健康光譜特征

為了研究蘋果損傷區(qū)域和完好區(qū)域波譜曲線的特性，分別采集正常果皮和損傷的感興趣區(qū)域(ROIs)80～100個(gè)像素的平均光譜信息作為該區(qū)域的光譜曲線。為了消除蘋果表面反射不均勻的影響，采集光譜時(shí)各區(qū)域的位置盡量保持一致。“黃香蕉”蘋果損傷后掃描的影像，提取蘋果損傷光譜與健康光譜如圖3所示。從圖3可以看出，整條光譜曲線在可見光區(qū)域有增高的趨勢(shì)，損傷均值光譜曲線的反射率要比健康光譜曲線低，且在500～600和750～850 nm區(qū)間光譜差異比較明顯，可根據(jù)損傷與健康波譜曲線之間的差異判別蘋果有無(wú)損傷。

圖3 蘋果健康和損傷光譜曲線

3.2 基于幾何頂點(diǎn)提取端元光譜

經(jīng)過(guò)預(yù)處理后的高光譜影像仍存在噪聲，且高光譜數(shù)據(jù)間存在較大的冗余，首先將高光譜影像進(jìn)行MNF變換，變換后的蘋果高光譜影像既消除了噪聲的影響又降低了數(shù)據(jù)維數(shù)。通過(guò)實(shí)驗(yàn)對(duì)比分析，確定將MNF變換后的波段1和波段4作為x，y軸構(gòu)成二維散點(diǎn)圖，提取端元的效果最好。依據(jù)幾何頂點(diǎn)端元提取原理，蘋果高光譜影像的端元分布在散點(diǎn)圖突出的頂點(diǎn)，在二維散點(diǎn)圖中邊緣突出部分的像元，可初步確定蘋果高光譜影像中存在健康蘋果、背景、斑點(diǎn)等7類端元，計(jì)算各類端元的均值光譜，即可得到影像中各端元的光譜曲線，如圖4所示。

圖4 蘋果端元波譜

3.3 輕微機(jī)械損傷蘋果的識(shí)別

計(jì)算各端元光譜與損傷區(qū)域的參考光譜的光譜角，構(gòu)建端元提取光譜角(endmember extraction spectral angle, EESA)識(shí)別模型，經(jīng)過(guò)設(shè)置不同閾值反復(fù)試驗(yàn)分析獲得適合檢測(cè)的閾值，檢測(cè)該品種蘋果最佳閾值為0.1。當(dāng)計(jì)算光譜角小于0.1時(shí)，檢測(cè)出蘋果存在損傷； 當(dāng)計(jì)算光譜角值均大于0.1時(shí)，判定蘋果無(wú)損傷。以計(jì)算損傷的“黃香蕉”蘋果提取7種端元與損傷光譜的光譜角計(jì)算結(jié)果如表1所示。

表1 端元光譜和損傷光譜的光譜角

從表1中可以看出端元3與損傷光譜夾角小于0.1，即端元3是蘋果損傷端元。在MNF變換后的MNF Band 1和MNF Band 4構(gòu)成的二維散點(diǎn)圖中端元3對(duì)映頂點(diǎn)處的像元，對(duì)映在MNF Band 1的圖像上顯示，如圖5所示。EESA模型檢測(cè)出的“黃香蕉”蘋果損傷的大致位置與形狀圖5(a)的二維散點(diǎn)圖紅色部分與圖5(b)的MNF Band 1圖像中紅色區(qū)域突出顯示蘋果損傷。

圖5 “黃香蕉”蘋果在二維散點(diǎn)圖和

3.4 檢測(cè)精度分析

采用EESA模型檢測(cè)54個(gè)“黃香蕉”損傷蘋果，并與已有的檢測(cè)蘋果輕微損傷的MNF和PCA方法相比較。由于蘋果所受損傷較輕，給檢測(cè)帶來(lái)了一定的難度，相應(yīng)檢測(cè)的準(zhǔn)確率會(huì)有影響。但從表2中可以看出，在相同的檢測(cè)條件下，使用不同的檢測(cè)方法時(shí)，EESA模型正確檢測(cè)出51個(gè)，準(zhǔn)確率達(dá)94.44%，高于MNF和PCA方法檢測(cè)的準(zhǔn)確率。MNF比PCA的準(zhǔn)確率稍高，是由于MNF變換是經(jīng)過(guò)兩次PCA的結(jié)果，因此MNF的結(jié)果要略優(yōu)于PCA結(jié)果。然而本文的EESA模型是結(jié)合了MNF優(yōu)點(diǎn)的前提下提取影像中的端元光譜，從而精度高于MNF的檢測(cè)結(jié)果。

表2 不同方法檢測(cè)“黃香蕉”蘋果損傷的精度

3.5 模型普適性檢驗(yàn)

不同品種的蘋果可能檢測(cè)結(jié)果不同。為了檢驗(yàn)EESA模型的普適性，采用同樣的方法對(duì)“煙臺(tái)富士”蘋果輕微損傷進(jìn)行了檢測(cè)研究。EESA模型檢測(cè)出的 “煙臺(tái)富士”蘋果在二維散點(diǎn)圖中的損傷區(qū)和MNF Band 1圖像中相應(yīng)的損傷區(qū)域如圖6所示，圖6(a)是由MNF Band 1和MNF Band 5繪制的二維散點(diǎn)圖，圖6(b)是MNF Band 1的灰度圖像，對(duì)應(yīng)損傷部位均在圖中圈出，而且可以看出損傷蘋果像元點(diǎn)集中較為明顯，有利于確定蘋果損傷的具體位置。

圖6 “煙臺(tái)富士”蘋果在二維散點(diǎn)圖

采用3.1節(jié)方法將54個(gè)“煙臺(tái)富士”損傷蘋果樣本在EESA模型、MNF和PCA 三種方法下進(jìn)行檢測(cè)，其檢測(cè)結(jié)果如表3所示。由表3可知，采用EESA模型，有49個(gè)損傷樣本正確檢出，準(zhǔn)確率達(dá)90.07%。比較表2、表3發(fā)現(xiàn)，使用三種方法檢測(cè)“煙臺(tái)富士”蘋果損傷的準(zhǔn)確率同樣偏低，這是由于“煙臺(tái)富士”蘋果的表皮顏色比“黃香蕉”蘋果深，容易干擾蘋果的檢測(cè)[14]，但EESA模型的準(zhǔn)確率最高，說(shuō)明EESA模型在檢測(cè)蘋果輕微機(jī)械損傷中具有較好的普適性。

表3 不同方法檢測(cè)“煙臺(tái)富士”蘋果的精度

4 結(jié) 論

在研究高光譜端元提取理論的基礎(chǔ)上，將高光譜端元提取技術(shù)與光譜角制圖相結(jié)合構(gòu)建了蘋果輕微機(jī)械損傷的高光譜EESA無(wú)損檢測(cè)模型。利用高光譜EESA無(wú)損檢測(cè)模型對(duì)不同品種“黃香蕉”和“煙臺(tái)富士”蘋果輕微機(jī)械損傷進(jìn)行了檢測(cè)識(shí)別，并與MNF和PCA的檢測(cè)結(jié)果進(jìn)行精度對(duì)比，在相同的檢測(cè)對(duì)象和條件下，EESA檢測(cè)模型的準(zhǔn)確率分別高達(dá)94.44%和90.07%，高于MNF和PCA方法。研究結(jié)果表明，EESA檢測(cè)模型在蘋果輕微機(jī)械損傷無(wú)損檢測(cè)中具有可行性，且準(zhǔn)確度較高，為研究開發(fā)蘋果輕微機(jī)械損傷在線檢測(cè)設(shè)備奠定了理論基礎(chǔ)。

本文不足之處主要有以下兩點(diǎn)： 一是圖像采集時(shí)，鹵素?zé)艄饩€散射不均勻和蘋果曲率的影響，在蘋果表面形成光斑，由于蘋果擺放角度，損傷區(qū)域恰好和光斑區(qū)重合，較亮的光斑掩蓋了損傷區(qū)的光譜信息； 二是樣本雖然都是從同一超市選購(gòu)，大小、形狀、顏色相似，但是成熟度不同，受損程度過(guò)輕且受損時(shí)間較短，易造成誤檢。將來(lái)要進(jìn)一步改進(jìn)實(shí)驗(yàn)設(shè)計(jì)，再增加品種類別以及損傷時(shí)間間隔不同樣本，以便進(jìn)一步檢驗(yàn)EESA模型的識(shí)別精度并給予改進(jìn)。

[1] Jin Tony Z, Guo Mingming, Zhang Howard Q. Journal of Food Engineering, 2015, 146: 72.

[2] SHAN Jia-jia, PENG Yan-kun, WANG Wei, et al(單佳佳, 彭彥昆, 王 偉, 等). Transactions of the Chinese Society for Agricultural(農(nóng)業(yè)機(jī)械學(xué)報(bào)), 2011, 42(3): 141.

[3] Lu R, Cen H, Huang M, et al. Transactions of the ASABE, 2010, 53(1): 263.

[4] XU Sai, LU Hua-zhong, ZHOU Zhi-yan, et al(徐 賽, 陸華忠, 周志艷, 等). Transactions of the Chinese Society for Agricultural Machinery(農(nóng)業(yè)機(jī)械學(xué)報(bào)), 2015, 46(7): 214.

[5] XIN Shi-hua, HE Jian-guo, WANG Song-lei, et al(辛世華, 何建國(guó), 王松磊, 等). Food Science(食品科學(xué)), 2013, 34(8): 145.

[6] WU Long-guo, HE Jian-guo, LIU Gui-shan, et al(吳龍國(guó), 何建國(guó), 劉貴珊, 等). Chinese Journal of Luminescence(發(fā)光學(xué)報(bào)), 2013, 34(11): 1527.

[7] Baranowski P, Mazurek W, Wozniak J, et al. Journal of Food Engineering, 2012, 110( 3): 345.

[8] Xing J, Bravo C, Jancsok P T, et al. Biosystems Engineering, 2005, 90(1): 27.

[9] ZHANG Bao-hua, HUANG Wen-qian, LI Jiang-bo, et al(張保華, 黃文倩, 李江波, 等). Infrared and Laser Engineering(紅外與激光工程), 2013, 42(S2): 279.

[10] Lü Q, Tang M J. Procedia Environ. Sci., 2012, 12: 1172.

[11] ZHAO Jie-wen, LIU Jian-hua, CHEN Quan-sheng, et al(趙杰文, 劉劍華, 陳全勝, 等). Transactions of the Chinese Society for Agricultural Machinery(農(nóng)業(yè)機(jī)械學(xué)報(bào)), 2008, 39(1): 106.

[12] CAI Jian-rong, WANG Jian-hei, CHEN Quan-sheng, et al(蔡健榮, 王建黑, 陳全勝, 等). Transactions of the Chinese Society of Agricultural Engineering(農(nóng)業(yè)工程學(xué)報(bào)), 2009, 25(1): 127.

[13] ZHANG Bao-hua, HUANG Wen-qian, LI Jiang-bo, et al(張保華, 黃文倩, 李江波, 等). Spectroscopy and Spectral Analysis(光譜學(xué)與光譜分析), 2014, 34(5): 1367.

[14] Gamal ElMasry, Ning Wang, Clement Vigneault, et al. Swiss Society of Food Science and Technology, 2008, 41: 337.

[15] HUANG Wen-qian, CHEN Li-ping, LI Jiang-bo, et al(黃文倩, 陳立平, 李江波, 等). Transactions of the Chinese Society of Agricultural Engineering(農(nóng)業(yè)工程學(xué)報(bào)), 2013, 29(1): 272.

[16] Ding H Y, Shi W Z. Fast Journal of Remote Sensing, 2013, 17(1): 122.

[17] Nascimento J M P, Dias J M B. IEEE Transaction on Geoscience and Remote Sensing, 2005, 43(4): 898.

[18] Dennison P E, Halligan K Q, Roberts D A. Remote Sensing of Environment, 2004, 93(3): 359.

(Received Dec. 25, 2015; accepted Apr. 9, 2016)

Study on the Detection of Slight Mechanical Injuries on Apples with Hyperspectral Imaging

JIANG Jin-bao, YOU Di, WANG Guo-ping, ZHANG Zheng, MEN Ze-cheng

College of Geoscience and Surveying Engineering, China University of Mining & Technology(Beijing), Beijing 100083，China

Nondestructive detection is one of the hottest spots in the application of hyperspectral remote sensing. The apple is easy to produce slight mechanical injuries that affects its quality in the process of picking and transporting. The hyperspectral images of 54 “yellow banana” and “Yantai Fushi” apples with slight injuries in the visible and near-infrared (400～1 000 nm) ranges are acquired; the mean spectral curves of injury regions on apples are extracted; the endmember spectrum are extracted based on minimum noise fraction (MNF) and geometric vertex principle; and the spectral angle is calculated between spectral of injury region and endmember spectral; a model of endmember extraction spectral angle (EESA) is constructed to detect slight mechanical injuries on apples. The slight mechanical injuries on “yellow banana” and “Yantai Fushi” apples are detected by setting spectral angle threshold, and the detection accuracy is compared with MNF and principal component analysis (PCA) method. The results show that the accuracy of EESA model is the highest, and the detection accuracy rate reaches 94.44% and 90.07% respectively.

Hyperspectral remote sensing; Geometric vertex; Endmember extraction; Spectral angle; Nondestructive detection

2015-12-25，

2016-04-09

國(guó)家自然科學(xué)基金項(xiàng)目(41571412)資助

蔣金豹，1978年生，中國(guó)礦業(yè)大學(xué)(北京)地球科學(xué)與測(cè)繪工程學(xué)院副教授 e-mail: ahdsjjb@126.com

TP7

A

10.3964/j.issn.1000-0593(2016)07-2224-05