基于高光譜圖譜融合技術(shù)的黃桃損傷程度判別研究

李 斌， 張 烽， 殷 海， 鄒吉平， 歐陽愛國

華東交通大學(xué)智能機(jī)電裝備創(chuàng)新研究院， 江西 南昌 330013

引 言

高光譜成像技術(shù)雖然起源于遙感領(lǐng)域， 但憑借其圖譜合一的優(yōu)勢， 在水果品質(zhì)與安全檢測方面也發(fā)揮著至關(guān)重要的作用[3-5]。 Tan等[6]提取了蘋果損傷區(qū)域的光譜數(shù)據(jù)， 使用標(biāo)準(zhǔn)正態(tài)變量(SNV)對(duì)原始光譜數(shù)據(jù)進(jìn)行預(yù)處理， 基于SPA和CARS篩選的特征波長建立了GS-SVM模型， 對(duì)四種損傷程度不同的蘋果判別正確率達(dá)到了95%。 吳龍國等[7]采集了碰傷、 蟲眼的靈武長棗高光譜圖像， 使用主成分分析(PCA)對(duì)圖像進(jìn)行降維， 采用波段比算法對(duì)最優(yōu)主成分圖像進(jìn)行識(shí)別， 對(duì)各類缺陷的判別率達(dá)到了86%以上。 Zhu等[8]利用高光譜成像對(duì)蘋果碰傷后時(shí)間進(jìn)行分類， 首先采用光譜數(shù)據(jù)建立了極限學(xué)習(xí)機(jī)(ELM)、 偏最小二乘線性判別分析(PLS-DA)和分類回歸樹(CART)三種模型， 比較發(fā)現(xiàn)， ELM的分類能力最好， 正確率達(dá)到了95.97%， 然后利用最小噪聲分離(MNF)方法對(duì)蘋果損傷區(qū)域的圖像進(jìn)行識(shí)別， 其總體分類精度達(dá)到了92.9%。 Li等[9]利用主成分分析(PCA)選擇碰傷桃子的特征波長圖像， 提出一種改進(jìn)分水嶺算法對(duì)未碰傷桃子和碰傷桃子圖像進(jìn)行識(shí)別， 其鑒別準(zhǔn)確率分別為97.5%和96.5%。 黃鋒華等[10]采集油桃缺陷樣本的高光譜圖像， 結(jié)合油桃樣本的光譜變量和圖像紋理特征建立極限學(xué)習(xí)機(jī)(ELM)模型， 對(duì)油桃缺陷的識(shí)別率為91.67%。 劉燕德等[11]使用主成分分析(PCA)對(duì)黃桃碰傷圖像進(jìn)行降維處理， 運(yùn)用相關(guān)圖像處理技術(shù)對(duì)特征波長下的圖像進(jìn)行碰傷和未碰傷黃桃的定性判別， 其判別準(zhǔn)確率達(dá)到94.6%。 在上述研究中， 大部分都是單獨(dú)采用高光譜的光譜特征或者圖像特征建立水果碰傷的分類模型， 很少利用高光譜的光譜信息結(jié)合圖像信息建立黃桃碰傷程度的分類模型。 而且光譜反射率容易受到外界雜散光的影響， 會(huì)丟失一部分真實(shí)信息， 圖像包含的信息量較少， 僅僅只靠幾個(gè)特定波段的圖像很難精準(zhǔn)識(shí)別[12]。

因此， 為了能夠精準(zhǔn)識(shí)別黃桃在采摘、 包裝和運(yùn)輸過程中的碰傷程度， 減小經(jīng)濟(jì)損失， 提出一種基于高光譜圖像的光譜信息和圖像特征對(duì)黃桃碰傷程度的分類檢測方法。 首先， 分別采集黃桃輕度、 中度和重度碰傷的高光譜圖像， 提取碰傷黃桃的光譜信息和圖像特征。 基于光譜信息、 圖像特征以及光譜信息結(jié)合圖像特征分別建立偏最小二乘判別(PLS-DA)模型， 將分類正確率作為評(píng)價(jià)模型優(yōu)劣的標(biāo)準(zhǔn)， 通過比較模型的分類效果， 選出最優(yōu)的分類模型用于黃桃碰傷程度的分類檢測。 通過對(duì)黃桃損傷程度的精準(zhǔn)分類， 可根據(jù)黃桃的不同損傷程度制定不同的處理方式， 將經(jīng)濟(jì)損失降到最低， 同時(shí)對(duì)黃桃的采后處理提供了科學(xué)依據(jù)。

1 實(shí)驗(yàn)部分

1.1 樣品

所有樣品均采用“碭山”黃桃， 這些黃桃在4 ℃的溫度下貯藏不到2周。 總共使用了180個(gè)新鮮、 無損、 形狀規(guī)則的黃桃， 為了減少黃桃質(zhì)量和曲率半徑對(duì)碰傷程度的影響， 所有黃桃樣品的平均質(zhì)量約為(248±5) g， 赤道直徑約為78 mm。 在進(jìn)行碰撞實(shí)驗(yàn)前， 對(duì)所有黃桃表面進(jìn)行清洗、 編號(hào)并將其在室溫為20 ℃、 相對(duì)濕度為40%的條件下放置24 h， 以減小溫度對(duì)碰傷程度的影響。 所有樣本隨機(jī)分成三組， 每組60個(gè)黃桃， 利用單擺機(jī)構(gòu)進(jìn)行碰傷實(shí)驗(yàn)。 三組樣品分別從40°， 60°和80°的角度碰撞， 以獲得不同程度的沖擊損傷。 所有碰傷后的黃桃在室溫為20 ℃的環(huán)境下放置24 h， 使得損傷區(qū)域發(fā)生褐變。

1.2 碰撞裝置

水果碰撞裝置是基于單擺原理設(shè)計(jì)的， 其結(jié)構(gòu)如圖1所示。 該裝置由支撐架和底座構(gòu)成， 擺臂是由一根長度為80 cm且不可伸長的魚線制成， 水果夾具連接在魚線上。 魚線的質(zhì)量很小， 可以忽略不計(jì)。 因此， 擺臂產(chǎn)生的轉(zhuǎn)動(dòng)慣量對(duì)黃桃碰撞過程的影響可以忽略。 每個(gè)黃桃撞擊后， 立即用手抓住， 以防止再次撞擊。

圖1 黃桃碰撞裝置Fig.1 Yellow peach collision device

1.3 高光譜圖像的采集與提取

黃桃經(jīng)碰撞后， 即用高光譜成像系統(tǒng)采集黃桃碰傷面的圖像。 高光譜成像采集系統(tǒng)如圖2所示， 該系統(tǒng)由一臺(tái)成像光譜儀， 一臺(tái)CCD攝像機(jī)， 四個(gè)鹵素大燈以及一個(gè)移動(dòng)平臺(tái)組成。 光譜范圍在397.5～1 014 nm之間， 光譜分辨率為3.5 nm， 相機(jī)鏡頭與黃桃樣本的距離為48 cm； 相機(jī)曝光時(shí)間設(shè)置為6 ms； 載物臺(tái)的前進(jìn)速度為3 cm·s-1。

圖2 高光譜成像系統(tǒng)Fig.2 Hyperspectral imaging system

在對(duì)采集的黃桃高光譜圖像進(jìn)行數(shù)據(jù)處理和分析之前， 由于CCD攝像機(jī)中的暗電流和光照不均勻性， 需要對(duì)所有原始光譜圖像的反射率進(jìn)行黑白校準(zhǔn)。 通過攝像機(jī)采集白色校準(zhǔn)板獲取白色參考圖像， 采集鏡頭被完全遮擋時(shí)的圖像作為黑色參考圖像。 使用采集的黑白圖像進(jìn)行校準(zhǔn)， 校準(zhǔn)圖像由式(1)計(jì)算

(1)

式(1)中，Ir為原始高光譜圖像，Id為暗反射圖像，Iw為白色反射圖像。 所有圖像校準(zhǔn)后， 即可進(jìn)行下一步的數(shù)據(jù)處理。

在各位領(lǐng)導(dǎo)、嘉賓、代表的支持與配合下，大會(huì)在濟(jì)南取得圓滿成功，在此衷心感謝大家對(duì)中物聯(lián)托盤委工作的大力支持，托盤委也將一如既往為我國乃至全球托盤行業(yè)的發(fā)展而努力。在國家相關(guān)政策大力推動(dòng)下，大家的支持與共同努力下，托盤行業(yè)一定會(huì)邁向更加美好的明天。

2 結(jié)果與討論

2.1 光譜信息的提取

使用ENVI4.5軟件提取黃桃碰傷區(qū)域的光譜信息， 在每個(gè)黃桃的受損區(qū)域選取100×100像素的區(qū)域作為感興趣區(qū)域， 并將感興趣區(qū)域的平均光譜作為黃桃的光譜特征[13]。 圖3(a)顯示了碰傷黃桃的原始光譜， 在704和995 nm處均出現(xiàn)了較明顯的波谷， 其中704 nm處的波谷是由于碳水化合物中的C—H鍵振動(dòng)收縮引起的， 995 nm處的波谷是由于水分中的O—H鍵的振動(dòng)收縮引起的[14]。

為了能更直觀的觀察不同碰傷程度黃桃光譜信息的差異， 計(jì)算每組黃桃光譜反射率的平均值， 得到不同損傷程度的平均光譜曲線， 如圖3(b)所示。 從平均光譜圖中可以看出， 損傷黃桃的光譜平均反射率明顯低于健康黃桃的光譜平均反射率， 這是由于碰傷黃桃的果肉細(xì)胞被破壞， 細(xì)胞壁發(fā)生破裂， 釋放一部分水分， 并且碰傷越嚴(yán)重， 釋放的水分也隨之增加。 此外， 不同損傷程度的黃桃樣本雖然具有相似的光譜曲線趨勢但是其光譜反射率在同一波段明顯存在差異。 這表明黃桃是否受損以及受損程度均可以從黃桃平均光譜曲線上反映出來。

圖3 黃桃光譜曲線(a)： 所有黃桃樣本的原始光譜曲線； (b)： 碰傷和未碰傷黃桃的平均光譜圖Fig.3 Spectra of yellow peach(a)： Original spectra curves of all yellow peach samples; (b)： Average spectra of damaged and undamaged yellow peach

2.2 圖像特征的提取

圖像特征主要包括顏色特征、 紋理特征、 形狀特征和空間關(guān)系特征[15]。 在本實(shí)驗(yàn)中， 黃桃的碰傷部位會(huì)發(fā)生褐變， 故使用顏色特征來表征黃桃表面的變化。 又因?yàn)榕鰝潭仍酱螅?黃桃損傷區(qū)域也會(huì)越大， 灰度值小的像素點(diǎn)越多， 導(dǎo)致平均灰度值發(fā)生變化。 因此， 本研究將黃桃表面的平均灰度值作為圖像特征。

2.2.1 特征圖像的選取

本研究使用的高光譜成像系統(tǒng)的光譜范圍在397.5～1 014 nm之間， 共176個(gè)波段， 每個(gè)波段都對(duì)應(yīng)一張圖片。 因此需要采用相關(guān)算法對(duì)大量的圖像數(shù)據(jù)進(jìn)行降維處理。 主成分分析(PCA)能夠有效消除高光譜圖像的冗余信息， 它是將各波段對(duì)應(yīng)的圖像經(jīng)過線性組合從而形成各主成分圖像， 前幾個(gè)主成分圖像就能夠包含高光譜圖像的大部分信息， 實(shí)現(xiàn)數(shù)據(jù)降維的目的[16-17]。

經(jīng)過主成分分析后， 獲得的前5個(gè)主成分圖像， 如圖4所示。 PC2和PC4完全沒有顯示出黃桃碰傷特征， PC5圖像的中心處與邊緣差異太大， PC3圖像雖然顯示了碰傷位置， 但碰傷區(qū)域顯示不均勻， PC1圖像保留了黃桃的大部分真實(shí)信息。 因此， 將PC1圖像作為提取信息的主成分圖像。

圖4 黃桃樣本的前5個(gè)主成分圖像Fig.4 Images of the first 5 principal components of yellow peach samples

根據(jù)PC1圖像繪制了輕度、 中度以及重度碰傷黃桃的權(quán)重系數(shù)圖， 如圖5(a)所示。 根據(jù)圖中各波長對(duì)應(yīng)的權(quán)重系數(shù)絕對(duì)值大小， 共選擇出6個(gè)特征波長對(duì)應(yīng)的高光譜圖像作為特征圖像， 6個(gè)波長分別為704， 782， 868， 889， 944和995 nm。 圖5(b)顯示了不同碰傷程度對(duì)應(yīng)的6個(gè)特征波長圖像。

圖5 特征波長的選取以及對(duì)應(yīng)特征圖像(a)： PC1圖像光譜權(quán)重系數(shù)圖； (b)： 不同碰傷程度的特征波長圖像Fig.5 Selection of characteristic wavelength and corresponding characteristic image(a)： PC1 image spectral weight coefficient diagram; (b)： Characteristic wavelength images of samples with different impact degrees

2.2.2 平均灰度值的求解

挑選出黃桃特征圖像后， 需要對(duì)特征圖像中黃桃區(qū)域進(jìn)行平均灰度值的計(jì)算。 圖6為黃桃區(qū)域灰度直方圖的提取流程圖， 首先根據(jù)PC1圖像的權(quán)重系數(shù)圖挑選出特征圖像， 然后通過相關(guān)軟件對(duì)特征圖像進(jìn)行二值化， 用得到的圖像對(duì)特征圖像進(jìn)行掩膜， 掩膜后的圖像背景灰度值為0， 黃桃區(qū)域的灰度保持不變， 從而達(dá)到分離黃桃區(qū)域和背景區(qū)域的目的， 最后， 運(yùn)用相關(guān)算法對(duì)黃桃區(qū)域進(jìn)行灰度直方圖的提取。 得到灰度直方圖后， 統(tǒng)計(jì)黃桃區(qū)域的像素點(diǎn)數(shù)并且對(duì)黃桃區(qū)域的灰度值求和， 將總的灰度值除以黃桃區(qū)域總的像素點(diǎn)數(shù)即可得到黃桃區(qū)域的平均灰度值。

圖6 黃桃區(qū)域灰度直方圖提取流程Fig.6 Extraction process of regional gray histogram for yellow peach

2.3 偏最小二乘判別(PLS-DA)模型的建立

在建立模型之前， 用1， 2和3分別表示輕度、 中度和重度碰傷， 然后利用KS分類算法在每種碰傷程度中隨機(jī)挑選出40個(gè)黃桃， 共120個(gè)作為建模集， 剩下的60個(gè)黃桃作為預(yù)測集。 分別采用光譜數(shù)據(jù)、 圖像特征和圖譜融合數(shù)據(jù)建立PLS-DA模型， 用預(yù)測集的正確率作為評(píng)價(jià)模型的優(yōu)劣。

2.3.1 基于光譜數(shù)據(jù)的偏最小二乘判別(PLS-DA)模型的建立

圖7(a)為基于光譜數(shù)據(jù)建模的預(yù)測集結(jié)果圖， 預(yù)測閾值設(shè)為0.5， 當(dāng)預(yù)測值在0.5～1.5之間判定為輕度碰傷， 預(yù)測值在1.5～2.5之間判定為中度碰傷， 預(yù)測值在2.5～3.5之間判定為重度碰傷。 由圖可知， 在輕度碰傷黃桃中， 共有5個(gè)黃桃被誤判， 其中3個(gè)黃桃被誤判為中度碰傷， 誤判率為25%。 中度碰傷黃桃中共出現(xiàn)5個(gè)被誤判， 1個(gè)被誤判成重度碰傷， 4個(gè)被誤判成輕度碰傷， 誤判率為25%。 重度碰傷黃桃中共有4個(gè)被誤判， 其中3個(gè)黃桃被誤判成中度碰傷， 誤判率為20%。 采用光譜數(shù)據(jù)建立的PLS-DA模型在預(yù)測輕度和中度碰傷黃桃時(shí)的誤判率較高。

2.3.2 基于圖像特征的偏最小二乘判別(PLS-DA)模型的建立

圖7(b)是基于圖像特征建模的結(jié)果圖， 預(yù)測閾值同樣設(shè)置為0.5。 從圖中可以看出， 三類碰傷程度的預(yù)測值分布均不集中在設(shè)定范圍內(nèi)， 表明預(yù)測效果不理想。 在輕度碰傷程度預(yù)測值中， 僅僅只有7個(gè)黃桃的預(yù)測值在0.5～1.5之間， 其余13個(gè)黃桃全部被誤判為中度碰傷， 誤判率高達(dá)65%。 對(duì)于中度碰傷程度的預(yù)測， 有一半的黃桃發(fā)生誤判， 其中7個(gè)黃桃被誤判為輕度損傷， 3個(gè)黃桃誤判為重度損傷。 重度碰傷程度的預(yù)測值誤判率為40%， 誤判為輕度碰傷的黃桃只有1個(gè)， 其余7個(gè)黃桃均被誤判為中度碰傷。

2.3.3 基于光譜和圖像特征融合的偏最小二乘判別(PLS-DA)模型的建立

圖7(c)顯示了基于光譜和圖像特征融合建模的結(jié)果圖。 為了減小因數(shù)據(jù)差異過大造成預(yù)測精度的降低， 將光譜數(shù)據(jù)與圖像特征歸一化后的數(shù)據(jù)建立模型。 與圖7(a)和圖7(b)相比， 三類碰傷程度的預(yù)測值分布均比較集中， 這表明該預(yù)測模型對(duì)于碰傷程度的預(yù)測效果較好。 其中， 輕度碰傷共有3個(gè)發(fā)生誤判， 2個(gè)被誤判為中度碰傷。 在中度碰傷預(yù)測中， 僅有2個(gè)黃桃被誤判成輕度碰傷， 誤判率僅為10%。 而重度碰傷的預(yù)測值全部在2.5～3.5之間， 沒有發(fā)生誤判。

圖7 基于不同數(shù)據(jù)建模散點(diǎn)圖(a)： 基于光譜數(shù)據(jù)建模； (b)： 基于圖像特征建模； (c)： 基于圖譜融合數(shù)據(jù)建模Fig.7 Modeling scatter diagram based on different data(a)： Spectral data； (b)： Image feature； (c)： Fusion data

為了能夠更直觀的比較基于不同數(shù)據(jù)建立PLS-DA模型的效果， 將各模型預(yù)測結(jié)果列于表中， 如表1所示。 基于光譜數(shù)據(jù)建立的PLS-DA模型的總體預(yù)測正確率達(dá)到了76.7%， 總體誤判個(gè)數(shù)為14個(gè)， 對(duì)各類碰傷程度的預(yù)測精度均在75%以上， 其中對(duì)重度碰傷黃桃的預(yù)測準(zhǔn)確率最高。 基于圖像特征建立的PLS-DA模型對(duì)碰傷程度的預(yù)測精度很不理想， 其總體誤判個(gè)數(shù)高達(dá)31個(gè)， 總體準(zhǔn)確率僅為48.3%， 其中對(duì)于輕度碰傷黃桃的識(shí)別率最低， 僅為35%。 經(jīng)分析， 可能的原因有兩點(diǎn)： 一是基于圖像特征建立模型時(shí)的輸入變量數(shù)太少， 僅僅只有6個(gè)， 導(dǎo)致所選取的特征圖像并不能包含碰傷黃桃的大部分信息； 二是碰傷區(qū)域顏色變化不明顯， 導(dǎo)致各碰傷程度的平均灰度值差別不明顯， 難以區(qū)分。 在今后的研究中可以通過尋找更多的顏色特征來提高基于圖像特征建立模型的識(shí)別率。 基于光譜結(jié)合圖像特征建立的PLS-DA模型的誤判數(shù)明顯低于純光譜數(shù)據(jù)和純圖像特征模型， 總體誤判個(gè)數(shù)僅為5個(gè)， 總體正確率高達(dá)91.7%， 預(yù)測精度得到大幅度提高， 其中對(duì)于重度碰傷黃桃的識(shí)別率為100%。 這說明基于圖譜融合數(shù)據(jù)建立的模型在識(shí)別黃桃碰傷程度方面具有較大優(yōu)勢。

表1 基于不同數(shù)據(jù)建立的PLS-DA模型預(yù)測結(jié)果Table 1 Prediction results of PLS-DA model based on different data

2.4 基于光譜和圖像特征融合模型的優(yōu)化

基于光譜和圖像特征建立PLS-DA模型的輸入變量數(shù)為182個(gè)， 雖然平均灰度值是經(jīng)過特征圖像計(jì)算得到的， 但光譜數(shù)據(jù)并沒有經(jīng)過篩選， 含有大量的冗余信息。 為了進(jìn)一步提高模型的精確度和運(yùn)行速度， 需對(duì)光譜信息進(jìn)行篩選。 采用競爭性自適應(yīng)重加權(quán)算法(CARS)進(jìn)行光譜變量的篩選。 圖8為CARS篩選光譜變量的過程， 其中采樣次數(shù)為42時(shí)， RMSECV值最小， 表明光譜中的冗余信息被剔除， 從第43次采樣之后RMSECV值逐漸變大， 這表明與碰傷程度相關(guān)的信息被剔除， 從而將第42次采樣獲得的變量定為特征波長，共包含34個(gè)波段。

圖8 基于CARS算法篩選變量過程Fig.8 Process of screening variables based on cars algorithm

將挑選出的光譜數(shù)據(jù)結(jié)合圖像特征建立PLS-DA模型， 優(yōu)化前與優(yōu)化后的模型預(yù)測結(jié)果如表2所示。 由表可知， 優(yōu)化后的PLS-DA模型對(duì)輕度碰傷的預(yù)測正確率由85%提高到95%， 中度碰傷的預(yù)測正確率保持不變， 重度碰傷的預(yù)測正確率由100%降低到95%。 但是優(yōu)化后的模型僅僅使用40個(gè)輸入變量， 將總體誤判個(gè)數(shù)由5個(gè)降低到4個(gè)， 正確率也由91.7%提高到93.3%。 表明， 優(yōu)化后的模型不僅降低了計(jì)算的復(fù)雜性而且還提高了整體的預(yù)測精度， 提高了檢測效率， 更加有利于實(shí)際應(yīng)用。

表2 優(yōu)化前與優(yōu)化后模型預(yù)測結(jié)果Table 2 Model prediction results before and after optimization

3 結(jié) 論

將高光譜的光譜信息結(jié)合圖像特征建立PLS-DA模型用于黃桃碰傷程度的分類檢測。 在碰傷位置選取100×100像素的區(qū)域提取光譜信息， 利用PCA算法挑選出最能表征碰傷黃桃信息的PC1圖像， 根據(jù)PC1圖像的權(quán)重系數(shù)選擇特征圖像， 并將黃桃表面的平均灰度值作為圖像特征。 分別利用光譜信息、 圖像特征、 光譜信息結(jié)合圖像特征建立黃桃碰傷的PLS-DA模型， 結(jié)果表明， 基于光譜信息結(jié)合圖像特征建立的PLS-DA模型效果最好， 對(duì)輕度碰傷、 中度碰傷和重度碰傷的分類準(zhǔn)確率分別為85%， 90%和100%， 總體正確率達(dá)到91.7%。 為了能夠進(jìn)一步提高PLS-DA模型的精確度和運(yùn)行效率， 利用CARS算法對(duì)融合數(shù)據(jù)中的光譜數(shù)據(jù)進(jìn)行特征波段的篩選。 利用特征波段結(jié)合圖像特征建立的模型分類預(yù)測效果最好， 對(duì)輕度碰傷、 中度碰傷和重度碰傷黃桃的預(yù)測正確率分別為95%， 90%和95%， 總體正確率達(dá)到了93.3%。 總之， 基于高光譜的光譜數(shù)據(jù)結(jié)合圖像特征建立PLS-DA模型檢測黃桃碰傷程度是可行的， 對(duì)黃桃采后分級(jí)具有一定的指導(dǎo)意義。