基于圖像和光譜融合的臍橙貨架期高光譜成像無(wú)損檢測(cè)研究

劉燕德，王 舜

華東交通大學(xué)機(jī)電與車(chē)輛工程學(xué)院，江西 南昌 330013

引 言

水果富含維生素等營(yíng)養(yǎng)物質(zhì)，吃水果可以增強(qiáng)免疫力。隨著收入的增加，人們對(duì)高品質(zhì)水果的需求越來(lái)越旺盛。水果長(zhǎng)期儲(chǔ)存放置后會(huì)引起失水、氧化等，水果的內(nèi)部品質(zhì)也會(huì)發(fā)生改變，會(huì)導(dǎo)致食用口感的變化[1]。但是，食品企業(yè)或消費(fèi)者難以通過(guò)肉眼準(zhǔn)確判斷水果的貨架期和新鮮程度，因此快速準(zhǔn)確預(yù)測(cè)水果所處的貨架期十分重要。

高光譜成像技術(shù)結(jié)合了圖像和光譜信息，具有快速、準(zhǔn)確、無(wú)損等優(yōu)勢(shì)。目前，高光譜技術(shù)對(duì)水果品質(zhì)檢測(cè)較為成熟，Wang等[2]利用高光譜成像技術(shù)的圖像和光譜信息，結(jié)合模式識(shí)別算法，對(duì)不同保質(zhì)期香蕉進(jìn)行了預(yù)測(cè)正確率達(dá)到90%。Baranowski等[3]使用高光譜技術(shù)對(duì)5種不同損傷時(shí)間的蘋(píng)果進(jìn)行識(shí)別分類(lèi)，采集了蘋(píng)果碰傷后2，5，6，9，12和14 d的圖像，對(duì)高光譜數(shù)據(jù)進(jìn)預(yù)處理，分別利用SVM, LDA和BP神經(jīng)網(wǎng)絡(luò)等模式識(shí)別算法對(duì)蘋(píng)果碰傷時(shí)間進(jìn)行預(yù)測(cè)判別。結(jié)果表明：LDA模型預(yù)測(cè)效果最佳，識(shí)別的正確率為90%以上。Francesca等[4]使用高光譜技術(shù)測(cè)定葡萄的最佳采收期，采集了5個(gè)不同時(shí)期收獲的葡萄光譜，使用了不同的光譜預(yù)處理方法，建立了SIMCA模型和PLS-DA模型。PLS-DA模型正確率較高，除了第五個(gè)采收期葡萄識(shí)別正確率為94%，其余的所有分類(lèi)正確率均為100%。有研究使用高光譜技術(shù)分別采集了4和18 ℃下存儲(chǔ)時(shí)間為0, 2和4 d各120個(gè)獼猴桃樣本的圖像，提取光譜，以載荷系數(shù)法(XL)與連續(xù)投影算法(SPA)挑選的波長(zhǎng)為輸入，建立LS-SVM判別模型。結(jié)果表明，對(duì)于4 ℃下3種貨架期，預(yù)測(cè)集誤判率均為10%以下，18 ℃時(shí)，預(yù)測(cè)誤判率均為0%?，F(xiàn)有臍橙高光譜檢測(cè)主要集中在病害、腐爛識(shí)別[6-9]，但利用高光譜技術(shù)對(duì)臍橙貨架期預(yù)測(cè)鮮有報(bào)道。

以臍橙為實(shí)驗(yàn)對(duì)象，使用高光譜成像技術(shù)采集不同貨架期的臍橙的圖像，結(jié)合化學(xué)計(jì)量學(xué)方法，對(duì)不同貨架期臍橙進(jìn)行快速無(wú)損診斷，對(duì)水果的銷(xiāo)售、存儲(chǔ)和深加工企業(yè)具有一定程度的指導(dǎo)意義。

1 實(shí)驗(yàn)部分

1.1 樣品

實(shí)驗(yàn)樣品是同一品種紐荷爾臍橙，產(chǎn)地為江西贛南，實(shí)驗(yàn)樣品數(shù)為105個(gè)，將贛南臍橙的樣品放置于實(shí)驗(yàn)室環(huán)境室溫20～25 ℃和相對(duì)濕度60%存儲(chǔ)，共分為三個(gè)時(shí)間點(diǎn)采集臍橙高光譜圖像，同時(shí)確保高光譜成像系統(tǒng)在第一次采集與第兩次、第三次采圖像時(shí)候儀器和軟件參數(shù)一致。第一次采集贛南臍橙的高光譜圖像后，在室溫環(huán)境存儲(chǔ)6 d后，即是貨架期的第7天，再對(duì)105個(gè)臍橙進(jìn)行第二次高光譜圖像采集，繼續(xù)儲(chǔ)存贛南臍橙6 d，即是貨架期的第14天對(duì)105個(gè)臍橙樣品進(jìn)行第三次光譜圖像采集。圖1是不同貨架期臍橙的高光譜圖像，圖1(a)是第0天貨架期臍橙高光譜圖像，圖1(b)是第7天貨架期臍橙高光譜圖像，圖1(c)是第14天貨架期臍橙高光譜圖像。

圖1 不同貨架期臍橙高光譜圖像

1.2 高光譜系統(tǒng)

采用北京GaiaSorter高光譜分選儀，主要由一臺(tái)計(jì)算機(jī)，一臺(tái)成像光譜儀，成像光譜儀由光譜儀(ImSpector，V10E，芬蘭)和CCD攝像機(jī)(Hamamatsu C8484-05G)組成，2個(gè)20 W鹵素?zé)?，輸入電壓?2 V，一個(gè)步進(jìn)電機(jī)位移平臺(tái)等組成，光譜儀的分辨率為10 nm，分辨率為1 344×1 024像素。整個(gè)成像系統(tǒng)放在封閉暗箱中，防止環(huán)境光的影響，鹵素?zé)簟z像機(jī)等部件放置在箱體的上方，步進(jìn)電機(jī)和運(yùn)動(dòng)平臺(tái)放置在箱體的下方。

1.3 圖像采集

在進(jìn)行高光譜圖像采集數(shù)據(jù)之前，需要對(duì)高光譜成像系統(tǒng)預(yù)先加熱，預(yù)熱的目的是為了消除極限漂移對(duì)于采集圖像質(zhì)量的影響。高光譜相機(jī)成像波長(zhǎng)范圍為397～1 070 nm，高光譜相機(jī)曝光的時(shí)間設(shè)置為20 ms，位移平臺(tái)的移動(dòng)速度設(shè)置為10 mm·s-1，位移平臺(tái)移動(dòng)一個(gè)來(lái)回后，等移動(dòng)平臺(tái)停止移動(dòng)時(shí)放置一個(gè)臍橙樣本在上面。

1.4 反射率校正

由于CCD相機(jī)中會(huì)有暗電流，為了得到清晰優(yōu)質(zhì)的圖像，進(jìn)行全黑圖像和全白圖像的采集，采集完成后利用軟件計(jì)算黑白校正數(shù)據(jù)。校正計(jì)算公式如式(1)

(1)

式(1)中，R為校正計(jì)算校正后的圖像，Iraw為原始圖像，Iwhite為全白圖像，Idark為全黑圖像。

1.5 數(shù)據(jù)處理

偏最小二乘判別分析(PLS-DA)是一種基于PLS算法對(duì)樣本進(jìn)行定性分類(lèi)的方法。利用樣本的分類(lèi)賦值和樣本的光譜矩陣建立模型，實(shí)現(xiàn)對(duì)輸入變量的定性判斷，見(jiàn)式(2)

(2)

式(2)中，Y是樣本在模型中的預(yù)測(cè)值，N是建模光譜變量的數(shù)目，i是光譜第i個(gè)變量，β是光譜反射值，λ是回歸系數(shù)，B是模型的截距。

LS-SVM是優(yōu)化的SVM，采用最小二乘線性系統(tǒng)作為損失函數(shù)，代替?zhèn)鹘y(tǒng)支持向量機(jī)采用的較復(fù)雜的二次規(guī)劃方法，簡(jiǎn)化計(jì)算，提高了運(yùn)算速度。

2 結(jié)果與討論

2.1 臍橙樣品光譜特征分析

臍橙存儲(chǔ)隨著時(shí)間的推移，會(huì)引起失水、氧化等，臍橙的外部果皮也悄然發(fā)生著改變，從視覺(jué)上看出貨架期延長(zhǎng)贛南臍橙果皮顏色會(huì)漸漸變暗、沒(méi)有光澤，贛南臍橙果皮變化、產(chǎn)生褶皺，紋理越來(lái)越粗糙。故大致可以從臍橙果皮顏色光澤、和紋理粗糙程度判斷不同貨架期的贛南臍橙。圖2為不同貨架期贛南樣品光譜對(duì)比圖。

圖2 不同貨架期臍橙代表性的光譜對(duì)比圖

由圖2可知：三種不同貨架期臍橙果代表性的平均光譜曲線，在不同波長(zhǎng)下的反射值有些差別，從圖可以得到，397～480 nm波段的光譜反射值先開(kāi)始下降后保持平穩(wěn)的趨勢(shì)，這個(gè)波段的反射值比較低，480～630 nm波段反射值表現(xiàn)為上升態(tài)勢(shì)，在730～850 nm波段反射值大體保持不變，在850～980 nm波段反射值呈現(xiàn)下降趨勢(shì)。在670和980 nm附近有兩個(gè)吸收峰，670 nm附近可能為葉綠素[9]的吸收，970 nm附近處為水的O—H二級(jí)吸收倍頻[10]。

2.2 臍橙樣品圖像特征提取

2.2.1 顏色特征

常用的顏色特征包括RGB顏色特征，HSI顏色特征等。提取不同貨架期臍橙樣品整個(gè)圖像的RGB顏色特征和HSI顏色特征中R，G，B，H，S和I顏色分量的每個(gè)分量的平均值，并進(jìn)行建模，共采用6個(gè)特征變量進(jìn)行建模。

2.2.2 灰度共生矩陣

灰度共生矩陣(GLCM)的紋理分析方法是一種基于估計(jì)圖像二階組合的條件概率密度的方法。實(shí)驗(yàn)選用灰度共生矩陣中常用且不相關(guān)的5個(gè)關(guān)鍵特征：能量、熵、相關(guān)性、對(duì)比度、逆差矩[11-12]。

隨著臍橙貨架期延長(zhǎng)贛南臍橙果皮顏色漸漸變暗、沒(méi)有光澤，贛南臍橙果皮變化、產(chǎn)生褶皺，紋理越來(lái)越粗糙，因此選擇圖像的RGB、HIS顏色空間和灰度共生矩陣的能量、熵、對(duì)比度、逆差矩、相關(guān)性，作為贛南臍橙樣品圖像特征。先分別提取整個(gè)贛南臍橙的圖像RGB、HSI顏色特征值各自的均值，分別為R，G，B，H，S和I的均值；然后分別提取整個(gè)贛南臍橙的圖像灰度共生矩陣的能量、熵、對(duì)比度、逆差矩、相關(guān)性5個(gè)值。最后將6個(gè)顏色分量的平均值和灰度共生矩陣的5個(gè)均值，共11個(gè)特征值作為圖像特征建模的輸入變量。

2.3 臍橙貨架期定性模型的建立

為了比較臍橙光譜特征、圖像特征和融合特征模型效果的優(yōu)劣，分別建立PLS-DA、LS-SVM定性模型，并進(jìn)行模型比較。實(shí)驗(yàn)?zāi)毘葮悠房倲?shù)為315個(gè)，其中三個(gè)貨架期臍橙建模集樣本共240個(gè)，每種貨架期各80個(gè)；三個(gè)貨架期臍橙預(yù)測(cè)集樣本共75個(gè)，每種貨架期分別是25個(gè)。在建立模型前，將第0天的臍橙樣品賦值為1，第7天臍橙樣品賦值為2，第14天的臍橙樣品賦值為3，取兩者的中間值作為分類(lèi)閾值。若預(yù)測(cè)值小于閾值1.5 判定為第0天的臍橙，若預(yù)測(cè)值介于閾值1.5與2.5之間判定為第7天的臍橙，若預(yù)測(cè)值大于閾值2.5判定為第14天的臍橙。

2.3.1 基于光譜特征的臍橙貨架期定性模型的建立與分析

采用ENVI4.5軟件選取感興趣區(qū)域提取平均光譜作為輸入變量，構(gòu)建PLS-DA模型。表1是利用PLS-DA算法基于光譜特征建立的定性判別模型及模型的預(yù)測(cè)結(jié)果。PLS-DA模型預(yù)測(cè)集均方根誤差(RMSEP)和預(yù)測(cè)集相關(guān)系數(shù)(Rp)，分別為0.29和0.94。原始176個(gè)光譜建立的偏最小二乘判別模型(PLS-DA)對(duì)各種臍橙樣品的定性分析結(jié)果，在預(yù)測(cè)集中每個(gè)類(lèi)別的臍橙均有25個(gè)，由表1可看出第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)，分別為3個(gè)、0個(gè)、3個(gè)，總體的誤判率為8%。

表1 基于光譜特征的PLS-DA模型結(jié)果

表2是基于光譜特征來(lái)建立的臍橙貨架期的LS-SVM算法模型，使用兩種不同核函數(shù)，當(dāng)核函數(shù)為RBF-Kernel，對(duì)應(yīng)的參數(shù)σ2為6 359，γ為59 078時(shí)預(yù)測(cè)集誤判率最低，誤判率為5.33%；當(dāng)核函數(shù)為L(zhǎng)IN-Kernel，對(duì)應(yīng)的參數(shù)γ為1.4時(shí)預(yù)測(cè)集誤判率最高，誤判率為9.3%。綜合比較，LS-SVM 模型，當(dāng)核函數(shù)為RBF-Kernel時(shí)預(yù)測(cè)集誤判率最低。

表2 基于光譜特征的LS-SVM模型結(jié)果

對(duì)比表1和表2，光譜臍橙特征建立的PLS-DA、LS-SVM的兩種模型，RBF核函數(shù)LS-SVM進(jìn)行建模時(shí)誤判率較低。由圖3可知，三種不同貨架期臍橙的誤判個(gè)數(shù)，對(duì)第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)其中分別為2個(gè)、1個(gè)、1個(gè)，有2個(gè)第0天的臍橙被誤判為第7天的臍橙，有1個(gè)第7天的臍橙被誤判為第0天的臍橙，有1個(gè)第14天的臍橙被誤判為第7天的臍橙，總體的誤判率為5.33%。

圖3 LS-SVM中RBF-Kernel的預(yù)測(cè)集分類(lèi)結(jié)果

2.3.2 基于圖像特征的貨架期定性模型的建立與分析

基于圖像特征建立模型之前要將圖像特征歸一化處理，歸一化到0到1之間以避免數(shù)值大小的影響。表3為基于圖像特征PLS-DA模型結(jié)果，其預(yù)測(cè)集均方根誤差(RMSEP)和預(yù)測(cè)集相關(guān)系數(shù)(Rp)，分別為0.238和0.88。11個(gè)圖像特征建立的偏最小二乘判別模型(PLS-DA)對(duì)各種臍橙樣品的定性分析結(jié)果，由表3可看出，在預(yù)測(cè)集中每個(gè)類(lèi)別的臍橙均有25個(gè)，第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)其中分別為1個(gè)，9個(gè)，6個(gè)，誤判個(gè)數(shù)也偏高，總體的誤判率為21.3%。

表3 基于圖像特征的PLS-DA模型結(jié)果

表4為利用11個(gè)圖像特征，建立的LS-SVM模型之前需要將圖像特征歸一化處理，當(dāng)核函數(shù)為RBF-Kernel，對(duì)應(yīng)的參數(shù)σ2為177，γ為124時(shí)預(yù)測(cè)集誤判率最高，誤判率為22.2%；當(dāng)核函數(shù)為L(zhǎng)IN-Kernel，對(duì)應(yīng)的參數(shù)γ為3 795時(shí)預(yù)測(cè)集誤判率最低，誤判率為20%。綜合比較可得，LS-SVM模型，當(dāng)核函數(shù)為L(zhǎng)IN-Kernel時(shí)預(yù)測(cè)集誤判率最低。

表4 基于圖像特征LS-SVM模型結(jié)果

對(duì)比表3和表4，光譜臍橙特征建立的PLS-DA、LS-SVM的兩種模型，LIN核函數(shù)的LS-SVM進(jìn)行建模時(shí)效果最好。由圖4可知，三種不同貨架期臍橙的誤判個(gè)數(shù)，對(duì)第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)其中分別為0個(gè)、9個(gè)、6個(gè)，有9個(gè)第7天的臍橙被誤判為第14天的臍橙，有6個(gè)第14天的臍橙被誤判為第7天的臍橙，總體的誤判率為20%。

圖4 LS-SVM中LIN-Kernel的預(yù)測(cè)集分類(lèi)結(jié)果

2.3.3 基于特征融合的臍橙貨架期定性模型的建立與分析

在建模之前，176個(gè)光譜特征和11個(gè)圖像特征歸一化到0到1之間，以避免數(shù)值大小的影響。將176個(gè)光譜特征和11個(gè)圖像特征融合到一起，就共有187個(gè)特征。表5基于融合特征建立的定性判別模型，誤判個(gè)數(shù)較少。PLS-DA模型的預(yù)測(cè)集均方根誤差(RMSEP)預(yù)測(cè)集相關(guān)系數(shù)(Rp)，分別為0.2和0.97。特征融合建立的偏最小二乘判別模型(PLS-DA)對(duì)各種臍橙樣品的定性分析結(jié)果，由表5可看出第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)。在預(yù)測(cè)集中每個(gè)類(lèi)別的光譜均有25個(gè)，其中第0天的臍橙誤判個(gè)數(shù)為0，第7天的臍橙誤判個(gè)數(shù)為1，第14天的臍橙誤判個(gè)數(shù)為0，總體的誤判率為1.3%，預(yù)測(cè)效果極好。

表5 基于融合特征的PLS-DA模型結(jié)果

表6為利用光譜和圖像融合特征，176個(gè)光譜特征和11個(gè)圖像特征融合，建立的LS-SVM模型，當(dāng)核函數(shù)為RBF-Kernel，對(duì)應(yīng)的參數(shù)σ2為24 810，γ為7 595時(shí)預(yù)測(cè)集誤判率最高，誤判率為2.67%；當(dāng)核函數(shù)為L(zhǎng)IN-Kernel，對(duì)應(yīng)的參數(shù)γ為8.5時(shí)，預(yù)測(cè)集誤判率最低，誤判率為1.33%。綜合比較可得，LS-SVM模型，當(dāng)核函數(shù)為L(zhǎng)IN-Kernel時(shí)預(yù)測(cè)集誤判率最低，判別效果最佳。

表6 基于融合特征LS-SVM模型結(jié)果

對(duì)比表5和表6，臍橙圖像11個(gè)特征建立的PLS-DA、LS-SVM兩種模型，可知LIN核函數(shù)的LS-SVM進(jìn)行建模結(jié)果最好。由圖5可知，三種不同貨架期臍橙的誤判個(gè)數(shù)，對(duì)第0天、第7天、第14天臍橙預(yù)測(cè)集的誤判個(gè)數(shù)分別為0個(gè)、1個(gè)、0個(gè)，有1個(gè)第7天的臍橙被誤判為第14天的臍橙，總體的誤判率為1.33%。

圖5 LS-SVM中LIN-Kernel的預(yù)測(cè)集分類(lèi)結(jié)果

2.4 定性判別模型的對(duì)比分析

對(duì)不同臍橙貨架期樣品進(jìn)行光譜、圖像、融合特征提取，建立PLS-DA、LS-SVM兩種定性判別模型。兩種定性判別模型最佳預(yù)測(cè)結(jié)果如表7所示，從表7可知，以176個(gè)光譜變量作為輸入變量且核函數(shù)為RBF-Kernel時(shí)的LS-SVM模型，預(yù)測(cè)集誤判率為5.3%。以11個(gè)圖像特征變量作為輸入變量且核函數(shù)為L(zhǎng)IN-Kernel時(shí)的LS-SVM模型，預(yù)測(cè)集誤判率較高預(yù)測(cè)誤判率為20%。以176個(gè)光譜變量和11個(gè)圖像特征變量的融合特征作為輸入變量且核函數(shù)為L(zhǎng)IN-Kernel時(shí)的LS-SVM模型，預(yù)測(cè)集誤判率為5.3%。綜合比較，運(yùn)用融合特征結(jié)合LS-SVM判別模型，更適于的定性判別。

表7 不同特征兩種定性判別模型結(jié)果統(tǒng)計(jì)

3 結(jié) 論

以貨架期第0天贛南臍橙、第7天贛南臍橙、第14天贛南臍橙為實(shí)驗(yàn)樣品，利用高光譜系統(tǒng)采集不同貨架期臍橙的高光譜圖像，提取樣品的光譜信息、圖像信息、光譜和圖像融合信息，運(yùn)用PLS-DA，LS-SVM算法對(duì)臍橙貨架期進(jìn)行了分類(lèi)識(shí)別研究。以176個(gè)光譜變量特征、11個(gè)圖像特征和187個(gè)融合特征為輸入變量時(shí)，分別建立PLS-DA、LS-SVM判別分析模型，光譜和圖像融合特征對(duì)臍橙貨架期進(jìn)行分類(lèi)都取得了較低的誤判率。尤其是以核函數(shù)為L(zhǎng)IN-Kernel時(shí)，融合特征波長(zhǎng)建立的LS-SVM模型，預(yù)測(cè)集誤判率最低為1.33%，優(yōu)化了模型，提高模型識(shí)別的正確率，對(duì)不同貨架期的臍橙實(shí)現(xiàn)了準(zhǔn)確高效的預(yù)測(cè)。結(jié)果表明，高光譜成像技術(shù)可用于臍橙貨架期的快速識(shí)別檢測(cè)。本研究對(duì)水果的銷(xiāo)售、存儲(chǔ)和深加工企業(yè)具有一定程度的指導(dǎo)意義。