基于高光譜反射、透射和交互作用成像模式的藍莓硬度和彈性模量預測的比較

胡孟晗，董慶利，劉寶林

1. 上海理工大學醫(yī)療器械與食品學院，上海 200093 2. 上海交通大學電子信息與電氣工程學院，上海 200240

基于高光譜反射、透射和交互作用成像模式的藍莓硬度和彈性模量預測的比較

胡孟晗1,2，董慶利1*，劉寶林1*

1. 上海理工大學醫(yī)療器械與食品學院，上海 200093 2. 上海交通大學電子信息與電氣工程學院，上海 200240

構(gòu)建了高光譜反射、透射和交互作用成像系統(tǒng)對藍莓的硬度和彈性模量進行無損檢測，并對比不同成像模式的預測準確率。反射高光譜圖像采用以大津法為核心的算法進行分割，而透射和交互作用高光譜圖像利用基于區(qū)域增長的算法進行分割。對提取平均光譜分別進行標準正態(tài)變量變換(SNV)和一階SG卷積平滑(Der)，并構(gòu)建相應光譜的最小二乘支持向量機模型。在全波段模型中，基于SNV預處理反射光(Reflectance-SNV)模型對藍莓硬度的預測相關(guān)系數(shù)(Rp)=0.80，相對預測誤差(RPD)=1.76；基于SNV預處理透射光(Transmittance-SNV)模型對藍莓彈性模量的Rp(RPD)=0.78 (1.74)。隨機蛙跳算法(Random Frog)可以有效地減少了建模所需的波段數(shù)，同時還提高了大部分模型的預測準確率?；陔S機蛙跳選擇的Der交互作用光(Random Frog-interactance-Der)模型對藍莓硬度的Rp(RPD)=0.80(1.83)，但該模型建模所需的波段數(shù)為140；基于隨機蛙跳算法的SNV透射光(Random Frog-Transmittance-SNV)模型對藍莓彈性模量的Rp(RPD)=0.82(1.83)，同時該模型建模所需的波段數(shù)為20。

力學特性；質(zhì)地；無損檢測；隨機蛙跳；波段選擇

引 言

高光譜成像技術(shù)融合了計算機視覺和光譜技術(shù)，能夠獲得待測樣本連續(xù)的光譜和空間信息[1]。目前，該技術(shù)已廣泛用于果蔬品質(zhì)的無損檢測[2-3]。由于設備結(jié)構(gòu)簡單，高光譜反射成像模式應用最廣[4]。此外，漫透射[5]、半透射[6-7]、點散射[8]和交互作用[9]成像模式也已得到較為廣泛的使用。其中，高光譜交互作用模式由于設備構(gòu)架較為復雜，相比于其他模式應用更少，國內(nèi)目前無這種模式的應用案例。但是交互作用光能夠攜帶待測樣本更多的內(nèi)部信息而亟待研究。高光譜數(shù)據(jù)結(jié)合特征提取[10-11]和模式識別或回歸分析構(gòu)建品質(zhì)預測模型[12]已成為農(nóng)產(chǎn)品無損檢測研究領(lǐng)域較為常規(guī)的研究思路。但已有研究大多采用單模式進行農(nóng)產(chǎn)品品質(zhì)的檢測和鑒別，多種高光譜成像模式的比較研究還有待開展。

藍莓(Vacciniumcorymbosum)因其獨特的風味和重要的營養(yǎng)價值而深受喜愛[13-14]，其力學特性影響著藍莓的感官品質(zhì)、運輸及貯藏消耗等[15]。此外，力學性質(zhì)也是藍莓育種的重要篩選指標[16]。Leiva-Valenzuela等聯(lián)合高光譜反射和透射成像模式對藍莓的硬度進行預測，其預測集的相關(guān)系數(shù)為0.77[17]。

本研究擬構(gòu)建高光譜反射、透射和交互作用成像系統(tǒng)對藍莓的硬度和彈性模量進行預測。利用隨機蛙跳算法(Random Frog)[18, 5]對力學指標特異性波長進行提取，然后構(gòu)建相應的偏最小二乘法支持向量機模型(least squares-support vector machine, LS-SVM)，并比較三種成像模式對藍莓硬度和彈性模量的預測效果。

1 實驗部分

1.1 樣本及力學性能測試

反射和透射高光譜成像試驗的436個藍豐藍莓采摘自中國山東省青島市；用于交互作用高光譜成像試驗的383個藍豐藍莓采摘自秘魯。所有藍莓樣本的高度范圍為11～13 mm，人工采摘后3天內(nèi)運回實驗室儲藏在4 ℃冷藏柜，并在9天內(nèi)完成試驗。由于試驗裝置搭建原因，該文只保證了藍莓品種的一致性，未考慮地域及采摘季節(jié)可能帶來的差異。

藍莓的硬度和彈性模量采用TA.XTPlus質(zhì)構(gòu)儀(英國—Stable Micro Systems) 進行穿刺操作獲得。測試過程中，藍莓保持徑向放置。

質(zhì)構(gòu)儀的測試參數(shù)： 探頭型號P/5.0；負載重50 kg；采集速率500 point per second；觸發(fā)力值5 g；測前速度2.0 mm·s-1；測試速度1.7 mm·s-1；測后速度5.0 mm·s-1；形變率 80%；保持時間 10 s。所得力學圖譜和指標計算方法如圖1所示。

圖1 藍莓的穿刺測試曲線

1.2 高光譜反射、透射和交互作用成像系統(tǒng)

搭建的高光譜反射、漫透射、交互作用和點散射成像系統(tǒng)如圖2所示。該系統(tǒng)的基本部件包括電子增強CCD相機(electron-magnifying charge-coupled detector, EMCCD)、可見-近紅外成像光譜儀(imaging spectrograph)、鹵素燈光源(light source)、鏡頭(lens)、光纖(optic fiber)、冂字型位移平臺(mobile sample stage)和線性電動位移控制臺(linear travel translation stage controller)。

高光譜交互作用模式在反射和透射的模式上進行搭建，主要增加部件有可調(diào)節(jié)擋光板(adjustable light shield)、線性聚光鏡(focusing mirror)和可調(diào)節(jié)支架(adjustable holder)。由于藍莓屬于小水果，個體較小，因此高光譜點散射成像模式不適用于藍莓品質(zhì)檢測研究。

圖2 高光譜反射、透射、交互作用三模式整合成像系統(tǒng)

Fig.2 Photograph of hyperspectral reflectance, transmittance, interactance and scattering imaging modes

1.3 高光譜數(shù)據(jù)采集

將藍莓樣本置于冂字型位移平臺，調(diào)節(jié)位移臺速度、相機曝光時間和光源強度等參數(shù)，從而獲得高質(zhì)量的高光譜圖像。三種高光譜模式的主要成像參數(shù)如表1所示。此外，高光譜反射模式的采集角30°，透射模式為20°。采集角為線光源與垂直方向的夾角。由于交互作用光的強度較弱，該模式下的EMCCD相機的增益設置為2 600。由于相機對特定物體存在有效感光范圍，實驗中對各種成像模式分別截取比較好的波段用于后續(xù)建模。

采用式(1)來消除光照不均和成像模塊暗電流的影響

(1)

式(1)中：R為校正所得的相對高光譜圖像；I為原始的絕對圖像；Id為在采集曝光時間下的全黑標定圖像；W為全白標定圖像；Wd為在校正曝光時間下的全黑標定圖像；反射和交互作用模式的a為4，透射模式為2。三個成像模式的校正曝光時間見表1。

表1 高光譜反射、透射、交互作用成像系統(tǒng)的成像和校正參數(shù)

1.4 數(shù)據(jù)處理

高光譜圖像和光譜處理操作在Matlab 2009b 軟件(美國—The Math Work 公司)中進行。三種高光譜模式下所獲得圖像的處理步驟如圖3所示。由于采集方式的不同，不同成像模式下的高光譜立方體所展現(xiàn)的空間特征也存在較大差異。反射模式相比于其他兩種模式更能反映藍莓的表面品質(zhì)特征，其在可見光波段的圖像與傳統(tǒng)計算機視覺的圖像一樣，因此可采用大津法來獲得掩膜，即將藍莓區(qū)域的像素值置為1，背景區(qū)域的像素值置為0。透射模式更多地攜帶藍莓的內(nèi)部品質(zhì)信息。藍莓曲面和透射線性光與相機采集線的夾角引起的飽和區(qū)域會加大圖像分割的難度，因而采用兩次區(qū)域增長算法來進行透射高光譜圖像的分割。由于可調(diào)節(jié)擋光板不能全部阻擋反射光，故交互作用模式攜帶的表面特征少于反射模式，而其攜帶的內(nèi)部信息也可能受到反射光的干擾。此處在區(qū)域分割的基礎上去除藍莓區(qū)域中心以下的圖像，使獲得的藍莓光譜包含更多的內(nèi)部品質(zhì)信息。最終，高光譜3模式下的保留區(qū)域用于平均光譜的提取。

圖3 高光譜反射、透射、交互作用立體數(shù)據(jù)塊的處理矩陣

Fig.3 Image processing matrices of the reflectance, transmittance and interactance hypercubes

對獲得的平均反射、透射和交互作用光譜分別進行標準正態(tài)變量變換(SNV)和9點一階二次方SG卷積平滑(Der)。之后采用隨機蛙跳算法(Random Frog) 對預處理后的波長進行特征波長提取，從而去除冗余的波長信息。Random Frog選擇特征波長的詳細步驟參照文獻[18-19, 5, 20]。由于將蒙特卡羅算法引入到Random Frog，因此每次運行的結(jié)果會有些差別。從波長數(shù)10開始以10為間隔計算對應波長數(shù)下預測均方根誤差(RMSEp)，最優(yōu)波長個數(shù)由最小的RMSEp來確定。

1.5 模型建立及評價

改良的Kennard-Stone抽樣算法[21]用于藍莓樣本校正集(calibration set, 75%)和預測集(prediction set, 25%)的劃分。然后使用最小二乘支持向量機(LS-SVM)建立藍莓硬度和彈性模量的預測模型。

所構(gòu)建的LS-SVM模型采用校正相關(guān)系數(shù)(Rc)、預測相關(guān)系數(shù)(Rp)、校正均方根誤差(RMSEc)、預測均方根誤差(RMSEp)和相對預測誤差(RPD)進行評價。

2 結(jié)果與討論

2.1 藍莓三種成像模式的光譜特征

藍莓的典型反射、透射和交互作用光譜圖由圖4所示。由圖4(a)可知，藍莓反射光譜類似于正態(tài)分布，其反射峰出現(xiàn)在850 nm。此外，藍莓對小于680 nm的波段有較強的吸收。藍莓的透射光譜約在880 nm最大，此后約在970 nm出現(xiàn)峰谷[圖4(b)]。交互作用的光譜與透射光譜較為相似，可能由于在該試驗環(huán)境下，與藍莓內(nèi)部組織進行作用的光相比于反射光占據(jù)主導。但是，交互作用光譜的最高峰出現(xiàn)在約870 nm，其峰谷出現(xiàn)在970 nm處[圖4(c)]。

圖4 典型的藍莓光譜曲線

2.2 全波段的預測模型

基于全波段的藍莓硬度和彈性模量預測模型如表2所示?？傮w而言，SNV預處理方法相比于Der法能更好地去除不相關(guān)的信息。由表2可知，基于反射SNV光譜建立的模型(reflectance-SNV) 相比于透射和交互作用光譜能夠更好地進行藍莓硬度預測，其模型的Rp(RPD)=0.80(1.76)。文獻[23]研究表明，RPD值介于1.4～1.8時表明該模型可用于藍莓硬度的預測。Transmittance-SNV模型對藍莓彈性模量的預測較好，其模型的Rp(RPD)=0.81(1.77) ，其次為透射Der光譜[Rp(RPD)=0.78(1.74)]、反射Der光譜[Rp(RPD)=0.71(1.64)] 和交互作用SNV光譜[Rp(RPD)=0.58(1.40)]。

藍莓的硬度和彈性模量都屬于內(nèi)部品質(zhì)指標，由以上分析可知，反射光譜相比于其他兩種光譜包含更多的藍莓硬度信息。這可能因為藍莓的硬度特征與藍莓的外觀品質(zhì)特征有更高的相關(guān)性，如藍莓的果皮顏色；透射光譜可以較好地反映藍莓的彈性模量特征，可能是因為藍莓彈性模量與內(nèi)部組織結(jié)構(gòu)有更緊密的聯(lián)系。由于混淆了反射和透射光譜，交互作用光譜對硬度和彈性模量的預測準確率都不如其他兩種光譜。后續(xù)的特征提取操作也許能提高交互作用光譜模型的準確率。

表2 基于高光譜反射、透射和交互作用成像模式的藍莓硬度和彈性模量LS-SVM模型

2.3 基于Random Frog的預測模型

采用Random Frog對特征波段進行提取，圖5為基于藍莓反射SNV光譜的硬度和透射SNV光譜的彈性模量的特征波長選擇的數(shù)量主要過程。由圖5(a)可知，藍莓硬度和彈性模量的最佳波長數(shù)量分別為130和20，而對應的波長則可由圖5(b)中選擇概率的大小來最終確定(表3)。

表3 基于隨機蛙跳選擇的高光譜反射、透射和交互作用成像模式的藍莓硬度和彈性模量LS-SVM模型

基于Random Frog選擇波段的藍莓硬度和彈性模量預測模型如表3所示。由表3可知，Random Frog-Interactance-Der模型對藍莓硬度預測較Random Frog-Reflectance-SNV模型更好，其Rp(RPD)=0.80(1.83) vs 0.77(1.65)，但兩個模型所用的波長數(shù)都較多(>120)。藍莓彈性模量可以較好地用透射SNV和Der光譜進行預測，其Rp(RPD)分別為0.82(1.83)和0.79(1.85)。相比于透射Der光譜，透射SNV光譜建模所需的波長更少(20 vs 70)?；赗andom Frog選擇的透射光譜的RPD介于1.8到2.0間(表3)，故根據(jù)文獻[22]可知以上模型可以對藍莓彈性模量進行定量分析。圖6較為直觀地展現(xiàn)模型的預測效果。由圖6可知，Transmittance-SNV模型對彈性模量的擬合效果較Interactance-Der模型對硬度的擬合效果更好。但兩模型的校正統(tǒng)計量相差不大(表3)，這也說明了將來需要結(jié)合預測與實際結(jié)果的分布圖對模型預測效果進行更深入分析。

對比表2和表3可知，Random Frog算法可以較為有效地去除冗余信息，進而提升模型的預測準確率。如transmittance-SNV模型對藍莓彈性模量的Rp(RPD)從0.81(1.77)提升到0.82(1.83)。此外，Random Frog算法還較為有效地去除了交互作用光譜中混雜的反射和透射信息，從而較大程度地提升了模型對藍莓硬度的預測準確率[Rp(RPD)=0.80(1.83) vs 0.74(1.65)]。

圖5 基于隨機蛙跳算法的敏感波長選擇

(a)： Determination of wavelength number; (b)： Selection of sensitive wavelengths via Random Frog probability

圖6 基于隨機蛙跳選擇光譜的預測值和真實力學指標的散點圖

(a): Interactance-Der model for firmness；(b): Transmittance-SNV model for elastic modulus

3 結(jié) 論

應用高光譜反射、透射和交互作用成像模式預測藍莓硬度和彈性模量，并采用隨機蛙跳算法提取特征波長。在全波段模型中，Reflectance-SNV模型對藍莓硬度的預測準確率為Rp(RPD)=0.80(1.76)；Transmittance-SNV模型對藍莓彈性模量的預測準確率為Rp(RPD)=0.78(1.74)。Random Frog算法不僅有效地減少了建模所需的波段數(shù)，還提高了大部分模型的預測準確率。Random Fsog-Interactance-Der模型對藍莓硬度的Rp(RPD)=0.80(1.83)，但該模型建模所需的波段數(shù)為140；Random Frog-Transmittance-SNV模型對藍莓彈性模量的Rp(RPD)=0.82(1.83)，同時該模型建模所需的波段數(shù)為20。

[1] Wu D, Sun D W. Innovative Food Science & Emerging Technologies, 2013, 19: 1.

[2] Zhang B H, Huang W Q, Li J B, et al. Food Research International, 2014, 62: 326.

[3] PENG Yan-kun, ZHANG Lei-lei(彭彥昆, 張雷蕾). Transactions of the Chinese Society for Agricultural Machinery(農(nóng)業(yè)機械學報), 2013, 44(4): 137.

[4] Yang Y C, Sun D W, Pu H B, et al. Postharvest Biology and Technology, 2015, 103: 55.

[5] Hu M H, Dong Q L, Liu B L, et al. Postharvest Biology and Technology, 2015, 106: 1.

[6] ZHANG Ruo-yu, RAO Xiu-qin, GAO Ying-wang, et al(張若宇, 饒秀勤, 高迎旺, 等). Transactions of the Chinese Society of Agricultural Engineering(農(nóng)業(yè)工程學報), 2013, 29(23): 247.

[7] ZHANG Qiang, PAN Lei-qing, WU Lin-wei, et al(張 嬙, 潘磊慶, 吳林蔚, 等). Food Science(食品科學), 2014, 35(4): 71.

[8] Zhu Q B, He C L, Lu R F, et al. Postharvest Biology and Technology, 2015, 103: 27.

[9] O’Farrell M, Wold J, H?y M, et al. Journal of Near Infrared Spectroscopy, 2010, 18: 135.

[10] FAN Shu-xiang, HUANG Wen-qian, LI Jiang-bo, et al(樊書祥, 黃文倩, 李江波, 等). Spectroscopy and Spectral Analysis(光譜與光譜學分析), 2014, 34(10): 2707.

[11] Zou X B, Zhao J W, Povey M J W, et al. Anal. Chim. Acta, 2010, 667: 14.

[12] Pu Y Y, Feng Y Z, Sun D W. Comprehensive Reviews in Food Science and Food Safety, 2015, 14(2): 176.

[13] Gilbert J L, Olmstead J W, Colquhoun T A, et al. Hortscience, 2014, 49: 864.

[14] Huang W Y, Liu Y M, Wang J, et al. Molecules, 2014, 19: 12827.

[15] Li C Y, Luo J W, MacLean D. Journal of the Science of Food and Agriculture, 2011, 91: 1653.

[16] Giongo L, Poncetta P, Loretti P, et al. Postharvest Biology and Technology, 2013, 76: 34.

[17] Leiva-Valenzuela G A, Lu R F, Miguel Aguilera J. Innovative Food Science & Emerging Technologies, 2014, 24: 2.

[18] Li H D, Xu Q S, Liang Y Z. Analytica Chimica Acta, 2012, 740: 20.

[19] Yun Y H, Li H D, Wood L R E, et al. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscop, 2013, 111: 31.

[20] CHEN Li-dan, ZHAO Yan-ru(陳立旦, 趙艷茹). Transactions of the Chinese Society of Agricultural Engineering(農(nóng)業(yè)工程學報), 2014, 30(8): 168.

[21] Galv?o R K H, Araujo M C U, José G E. Talanta, 2005, 67: 736.

[22] Viscarra Rossel R A, McGlynn R N, McBratney A B. Geoderma, 2006, 137: 70.

*Corresponding authors

(Received Apr. 8, 2015; accepted Aug. 16, 2015)

Comparison of Predicting Blueberry Firmness and Elastic Modulus with Hyperspectral Reflectance, Transmittance and Interactance Imaging Modes

HU Meng-han1,2, DONG Qing-li1*, LIU Bao-lin1*

1. School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 2. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China

In this study, a imaging system with hyperspectral reflectance, transmittance and interactance was constructed for estimate the firmness and elastic modulus of blueberry. The comparisons of these three imaging modes were carried out. This hyperspectral system could also be applied for scattering modewhile this mode was not suitable for small fruit such as blueberry. The reflectance hypercubes were segmented with the algorithm based on the Otsu method, and the transmittance and interactance hypercubes were processed with the algorithms based on region growing approach. Subsequently, the extracted spectra were pretreated with the Standard Normal Variate (SNV) and Savitzky-Golay of the first derivative (Der), and least squares-support vector machine was applied for the establishment of the corresponding prediction models. The obtained results demonstrated that -reflectance-SNV model could predict blueberry firmness with correlation coefficient of prediction sample set (Rp) of 0.80 and the ratio of percent deviation (RPD) of 1.76 among the models using full spectra. The elastic modulus of blueberry was better estimated by the full transmittance spectra subjected to SNV pretreatment withRp(RPD) of 0.78 (1.74) than the other models. Furthermore, Random Frog selection approach could to some extent reduce the uninformative wavelengths while increasing the prediction accuracy of the established models. Random Frog-Interactance-Der model achievedRp(RPD) of 0.80 (1.83) for blueberry firmness, but the number of wavelength was 140. In the case of blueberry elastic modulus, random frog-transmittance-SNV showed the relatively superior performance compared to the other models, withRp(RPD) of 0.82 (1.83) and fewer wavelength number of 20.

Mechanical property; Texture; Non-destructive testing; Random Frog; Wavelength selection

2015-04-08，

2015-08-16

國家自然科學基金項目(31271896)，上海市科委長三角科技聯(lián)合攻關(guān)領(lǐng)域項目(15395810900)，上海市研究生創(chuàng)新基金項目(JWCXSL1401)，上海理工大學優(yōu)秀博士生激勵計劃，上海市東方學者跟蹤計劃資助

胡孟晗，1989年生，上海交通大學電子信息與電氣工程學院博士后 e-mail： humenghan89@163.com *通訊聯(lián)系人 e-mail： qdong@usst.edu.cn; blliuk@163.com

TS255.3

A

10.3964/j.issn.1000-0593(2016)11-3651-06