一個(gè)預(yù)測(cè)紫葉生菜花青素含量的高光譜深度學(xué)習(xí)模型

張美玲, 陳勇杰, 王敏娟, 李民贊, 鄭立華

“智慧農(nóng)業(yè)系統(tǒng)集成研究”教育部重點(diǎn)實(shí)驗(yàn)室, 中國(guó)農(nóng)業(yè)大學(xué), 北京 100083

引 言

紫葉生菜具有豐富的營(yíng)養(yǎng)價(jià)值, 其葉片中富含花青素、 胡蘿卜素、 維生素、 礦物質(zhì)等, 它們的含量可以有效反應(yīng)植物的生理狀態(tài)[1]。 有研究表明花青素可以修復(fù)葉片光環(huán)境、 提升植物的抗冰凍及抗干旱脅迫能力[2]。 因此, 準(zhǔn)確地監(jiān)測(cè)紫葉生菜的花青素含量, 有利于及時(shí)掌握其長(zhǎng)勢(shì)情況, 為施肥、 灌溉及生產(chǎn)管理等提供指導(dǎo)。

隨著儀器測(cè)量技術(shù)和化學(xué)計(jì)量方法的不斷完善, 高光譜技術(shù)被認(rèn)為是最具有前景的無(wú)損分析技術(shù)之一[3]。 在大多數(shù)先前的工作中[4-6], 基于高光譜反射率估算各種植物的生化特征使用偏最小二乘回歸(partial least squares regression, PLSR)方法, 如田瀟瑜等[4]研究了紫薯貯藏期間花青素的PLSR反演模型, 在驗(yàn)證集上的決定系數(shù)(coefficient of determination,R2)和均方根誤差(root mean square error, RMSE)為0.91和7.24 m·/(100 g)-1; Gabrielli等[5]對(duì)葡萄果實(shí)高光譜數(shù)據(jù)進(jìn)行預(yù)處理后, 建立基于特征波長(zhǎng)的花青素PLSR模型, 驗(yàn)證集R2和RMSE達(dá)到0.98和33 mg·kg-1; Tian等[6]研究了紫薯在對(duì)流風(fēng)和微波兩種干燥方式下花青素含量的變化, 將光譜特征和紋理特征結(jié)合建立PLSR模型, 驗(yàn)證集R2和RMSE為0.862和0.079。 上述工作表明高光譜反射率建立的PLSR模型可以在良好的控制環(huán)境下以高通量的方式分析相關(guān)物種的生化性狀。 然而, 這種建模方式在實(shí)際應(yīng)用中較依賴(lài)領(lǐng)域?qū)＜业妮斎胩卣骰蚧谌斯げ僮鞯念A(yù)處理技術(shù), 預(yù)處理技術(shù)的合理運(yùn)用可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的科學(xué)優(yōu)化, 但仍不可避免存在對(duì)相關(guān)方法的誤用及過(guò)分使用。 預(yù)處理方法誤用及過(guò)分使用會(huì)使原始信號(hào)失真, 損失數(shù)據(jù)中原本有價(jià)值的信息, 降低頻譜分析精度; 在增加計(jì)算量的同時(shí)又引入許多可調(diào)參數(shù), 使得建立一個(gè)良好的量化模型需要用戶(hù)熟練掌握特定的領(lǐng)域知識(shí)[7]; 且不同的預(yù)處理方法通常僅適用于其特定的數(shù)據(jù)集, 方法確定過(guò)程較為繁復(fù)[8]。 因此, 尋找一種不依賴(lài)于人工預(yù)處理操作的高精度估算模型至關(guān)重要。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)是一種可以用于回歸任務(wù)的強(qiáng)大模型, 其對(duì)不同數(shù)據(jù)結(jié)構(gòu)的高級(jí)表示能力使之成為主流的特征提取方法[9]。 近年來(lái), 由于神經(jīng)網(wǎng)絡(luò)[10]在無(wú)專(zhuān)家端到端學(xué)習(xí)實(shí)現(xiàn)自動(dòng)化特征提取方面的通用性, 在許多數(shù)據(jù)分析任務(wù)中發(fā)揮了重要作用。 已有一些里程碑式的研究開(kāi)發(fā)了基于神經(jīng)網(wǎng)絡(luò)的光譜分析方法[11-13], 其中Xiang等[11]提出了一種基于ResNet的回歸模型對(duì)番茄果實(shí)的可溶性固形物含量進(jìn)行估算, 與PLSR相較精度提高了26.4%, 穩(wěn)定性提高了33.7%; Yu等[12]提出了基于層疊式自動(dòng)編碼器和全連通神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法成功預(yù)測(cè)了梨果實(shí)的可溶性固形物含量, 驗(yàn)證集的R2和RMSE分別達(dá)到了0.921和0.22%; Zhang等[13]建立了基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型DeepSpectra, 結(jié)果表明DeepSpectra可以有效地從原始光譜中學(xué)習(xí)特征。 上述工作顯示了深度學(xué)習(xí)在植物生化特征值反演中的巨大潛力, 然而目前基于深度學(xué)習(xí)估算植物生化特征值的研究總體來(lái)說(shuō)還比較欠缺, 精度尚未達(dá)到較高水平, 其中利用高光譜反射率對(duì)紫葉生菜中花青素含量的估算研究仍為空白。 模型的預(yù)測(cè)性能很大程度上取決于所提取特征的有效性。 有研究表明Inception模塊由于其特定結(jié)構(gòu)使得相應(yīng)的神經(jīng)網(wǎng)絡(luò)在保持計(jì)算復(fù)雜度的情況下在光譜分析中具有更大的寬度和深度優(yōu)勢(shì)[14]。 因此基于改進(jìn)的Inception模塊[15]設(shè)計(jì)了與輸入光譜信號(hào)匹配的一維CNN(記為1DCNN)作為特征提取器, 采用極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)代替全連接層作為高級(jí)回歸器對(duì)提取的特征進(jìn)行估算。 以紫葉生菜為研究對(duì)象, 提出了一種融合深度卷積特征和ELM的回歸分析框架用以估算紫葉生菜的花青素含量, 創(chuàng)新性的融合方式使其同時(shí)繼承了CNN的深度特征表示和ELM的高泛化性。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)采集

試驗(yàn)對(duì)象為紫葉生菜, 2021年4月于中國(guó)農(nóng)業(yè)大學(xué)(北緯40°0′ , 東經(jīng)116°21′)信息與電氣工程學(xué)院植物工廠, 在嚴(yán)格的環(huán)境控制下使用1/2Hoagland營(yíng)養(yǎng)液進(jìn)行水培種植。 設(shè)置光照時(shí)間為每日上午八時(shí)至下午十八時(shí), 溫度保持在25 ℃左右。 在植株生長(zhǎng)的第20至30日期間, 每日采集植株帶回實(shí)驗(yàn)室, 使用北京卓立漢光儀器有限公司的GaiaSorter室內(nèi)高光譜影像系統(tǒng)進(jìn)行掃描, 該成像系統(tǒng)配備了V10E型光譜儀、 OL23型鏡頭、 LT365型偵測(cè)器、 兩個(gè)溴鎢燈光源以及電控載物移動(dòng)平臺(tái)。 采集的光譜范圍為382～1 026 nm, 光譜分辨率為2.8 nm, 采樣間隔為0.65 nm, 共728個(gè)波段。 成像系統(tǒng)的曝光時(shí)間為15 ms, 載物平臺(tái)的移動(dòng)速度為2.5 mm·s-1。 將紫葉生菜上部三處均勻分布的葉片剪下, 分別稱(chēng)取0.2 g, 移至離心管中加入10 mL 2%鹽酸甲醇溶液密封, 將離心管放入離心機(jī)進(jìn)行離心操作5 min, 再將其放入避光環(huán)境下兩小時(shí)至花青素全部析出。 之后使用分光光度計(jì)[16]分別測(cè)量花青素溶液在波長(zhǎng)為530和600 nm時(shí)的吸光度值, 重復(fù)三次取平均值作為該株樣本的真實(shí)花青素含量, 共采集了108株紫葉生菜的高光譜圖像和花青素含量實(shí)測(cè)數(shù)據(jù)。 表1顯示了用于模型構(gòu)建的測(cè)量性狀值的數(shù)據(jù)統(tǒng)計(jì)分布, 基于隨機(jī)選取的方式劃分?jǐn)?shù)據(jù)集, 其中建模集86個(gè)樣本, 驗(yàn)證集22個(gè)樣本。

表1 花青素含量樣本統(tǒng)計(jì)

1.2 高光譜圖像處理

1.2.1 光譜反射率計(jì)算

在建立紫葉生菜花青素含量的估算模型前需從高光譜圖像中提取紫葉生菜的光譜反射率數(shù)據(jù)。 使用基于Python編程語(yǔ)言的Spectral軟件包對(duì)高光譜圖像進(jìn)行處理, 獲取圖像中紫葉生菜植株的掩膜進(jìn)而提取植株的平均反射率數(shù)據(jù), 提取過(guò)程如圖1所示。 讀取紫葉生菜高光譜圖像后將其轉(zhuǎn)換為歸一化植被指數(shù)(normalized difference vegetation index, NDVI)圖像, 如圖1(a)所示。 NDVI圖像可以增強(qiáng)植株的特性便于生成掩膜圖像, 如圖1(b)所示。 最后計(jì)算高光譜掩膜圖像中非0像素點(diǎn)位置反射率的平均值, 得到紫葉生菜植株的平均反射光譜數(shù)據(jù), 如圖1(c)所示。

圖1 (a)歸一化植被指數(shù)圖像; (b)掩膜圖像; (c)平均反射率數(shù)據(jù)

1.2.2 數(shù)據(jù)預(yù)處理

對(duì)原始平均反射光譜數(shù)據(jù)進(jìn)行了一階導(dǎo)數(shù)(first derivative, D1)、 二階導(dǎo)數(shù)(second derivative, D2)、 標(biāo)準(zhǔn)正態(tài)變換(standard normal variate, SNV)、 SG濾波(savitzk-golay filter, SG)和多元散射校正(multivariate scatter correction, MSC)五種預(yù)處理操作, 基于預(yù)處理后的光譜建立紫葉生菜花青素含量的PLSR估算模型, 用以確定最佳的預(yù)處理方案。 之后對(duì)經(jīng)過(guò)最佳預(yù)處理后的數(shù)據(jù)使用競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)采樣(competitive adaptive reweighted sampling, CARS)算法進(jìn)行特征波段篩選以解決相鄰波段間存在的共線性問(wèn)題, 通過(guò)將偏最小二乘回歸的回歸系數(shù)和蒙特卡洛抽樣方法相結(jié)合進(jìn)行冗余信息的消除, 進(jìn)而提高回歸模型的性能[17], 這項(xiàng)工作使用Matlab 8.1 (The Math Works, Natick, USA)的libPLS工具箱(www.libpls.net)實(shí)現(xiàn), 關(guān)于各預(yù)處理操作更為詳細(xì)的信息可以在文獻(xiàn)[18]中找到。

1.3 模型構(gòu)建

1.3.1 PLSR模型

PLSR是一種廣泛用于光譜數(shù)據(jù)建模分析的化學(xué)計(jì)量方法。 該方法在建模過(guò)程中會(huì)對(duì)樣本的光譜數(shù)據(jù)矩陣和花青素含量矩陣進(jìn)行主成分分析, 求解隱含變量后根據(jù)隱含變量的貢獻(xiàn)率建立回歸模型[19]。 本文構(gòu)建了基于高光譜反射數(shù)據(jù)的PLSR估算模型, 并將其作為紫葉生菜花青素含量估算的基準(zhǔn)模型。

1.3.2 Ensemble模型

為進(jìn)一步提高預(yù)測(cè)精度, 設(shè)計(jì)了一種基于CNN和ELM的融合模型(記為Ensemble)。 通過(guò)結(jié)合多個(gè)方法來(lái)完成學(xué)習(xí)任務(wù)的模型融合一直以來(lái)是進(jìn)一步提升模型學(xué)習(xí)效果的重要手段[20], Ensemble創(chuàng)新性的融合方式使其兼具CNN高效的特征挖掘能力和ELM優(yōu)異的泛化性能, 其模型結(jié)構(gòu)如圖2所示。

圖2 Ensemble模型結(jié)構(gòu)

首先使用8個(gè)大小為1×7的卷積核構(gòu)建了Conv1卷積層用于初步提取特征, 其中在Inception模塊的結(jié)構(gòu)設(shè)計(jì)中使用四個(gè)并行分支對(duì)卷積層Conv1輸出的8個(gè)特征圖進(jìn)行卷積操作, 不同大小的并行卷積核可以提取不同層次的局部特征, 其中卷積核大小為1×1的卷積層(Conv1-1、 Conv2-1、 Conv3-1、 Conv4-1)通過(guò)降低維度、 控制網(wǎng)絡(luò)容量和向特征圖引入非線性在架構(gòu)中發(fā)揮重要的作用, 最后扁平層(Flatten)將Inception模塊輸出的特征圖拉平得到一維向量并將其與全連接層(FC)連接。 然而CNN中作為回歸器的FC通常不夠健壯, 由于反向傳播過(guò)程中易陷入局部極小值的問(wèn)題, 致使其作為處理深度卷積特征的回歸器泛化性能有限。

而ELM作為一種特殊的前饋神經(jīng)網(wǎng)絡(luò)[21], 具有近似最優(yōu)的泛化能力且能夠保證較高的訓(xùn)練效率。 該方法輸入層和隱藏層之間的權(quán)重矩陣W和偏置矩陣b在訓(xùn)練前進(jìn)行隨機(jī)初始化, 隱藏層和輸出層之間的權(quán)值β如式(1)不需要進(jìn)行迭代求解, 通過(guò)計(jì)算隱含層的輸出矩陣H如式(2), 之后解方程組即可一次求解, 避免了學(xué)習(xí)過(guò)程中的分層調(diào)優(yōu), 從而保證了優(yōu)異的泛化性能。 式(1)、 式(2)中T為輸出矩陣,H+為H的廣義逆矩陣,T′為T(mén)的轉(zhuǎn)置,g為激活函數(shù),X為樣本光譜矩陣,Y為樣本標(biāo)簽矩陣。

β=H+T′

(1)

H=g(W×X+b)

(2)

(3)

使用網(wǎng)格搜索對(duì)卷積核大小、 卷積步長(zhǎng)、 激活函數(shù)、 優(yōu)化器類(lèi)別及學(xué)習(xí)率進(jìn)行調(diào)優(yōu), 最終用于訓(xùn)練的超參數(shù)如表2所示。

表2 神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

2 結(jié)果與討論

2.1 花青素偏最小二乘回歸預(yù)測(cè)建模

為了提高模型性能, 使用網(wǎng)格搜索進(jìn)行5折交叉驗(yàn)證對(duì)模型參數(shù)調(diào)優(yōu), 其中最大潛變量數(shù)量為20。 原始平均光譜(無(wú)預(yù)處理, 記為Original) 先經(jīng)過(guò)五種預(yù)處理操作, 從中得到最佳的預(yù)處理方案, 對(duì)經(jīng)過(guò)最佳預(yù)處理后的數(shù)據(jù)進(jìn)行CARS操作。 表3列出了PLSR模型基于多種預(yù)處理方法及特征選擇方法CARS估算花青素含量的模型性能。

表3 經(jīng)過(guò)不同預(yù)處理的花青素反射光譜估算模型結(jié)果

對(duì)比各模型, 發(fā)現(xiàn)MSC為最佳預(yù)處理方法, MSC可以將光譜數(shù)據(jù)中的散射光信號(hào)分離, 有效消除由于散射水平不同帶來(lái)的基線漂移和平移現(xiàn)象, 進(jìn)而增強(qiáng)光譜與數(shù)據(jù)之間的相關(guān)性。 分析可見(jiàn), 預(yù)處理對(duì)于PLSR估算模型的效果十分顯著, 是影響PLSR估算精度的重要因素。 使用CARS算法對(duì)數(shù)據(jù)進(jìn)行特征波長(zhǎng)選擇的分析結(jié)果如圖3所示。 在MSC的基礎(chǔ)上進(jìn)行CARS特征波長(zhǎng)選擇, 之后基于特征波長(zhǎng)建立PLSR模型, 可見(jiàn)經(jīng)過(guò)MSC預(yù)處理后, CARS有效的剔除了全光譜兩端易受噪聲影響的波段, 且特征波長(zhǎng)的數(shù)量明顯減少。 MSC-CARS-PLSR模型在驗(yàn)證集上的R2和RMSE分別為0.872和0.070 mg·L-1, RPD為2.862, 預(yù)測(cè)精度優(yōu)于Original-PLSR、 MSC-PLSR模型, 略低于Original-CARS-PLSR模型, 然而MSC-CARS-PLSR模型僅使用了46個(gè)特征波長(zhǎng), 相較于全波長(zhǎng)降低了93.6%。 上述結(jié)果證實(shí)了光譜預(yù)處理可以顯著提高傳統(tǒng)多元模型的預(yù)測(cè)性能和穩(wěn)健性。

圖3 花青素特征波長(zhǎng)選擇結(jié)果

2.2 花青素含量深度學(xué)習(xí)建模

利用紫葉生菜完整原始反射光譜的性狀數(shù)據(jù)和反射率信息, 未經(jīng)任何預(yù)處理和特征提取操作, 比較了1DCNN、 ELM以及Ensemble的建模效果, 各模型性能見(jiàn)表4; 預(yù)測(cè)和驗(yàn)證結(jié)果分別如圖4(a)、 (b)和(c)所示。 分析表明, 直接使用原始光譜作為輸入數(shù)據(jù)的Ensemble在花青素含量估算的任務(wù)中取得了最優(yōu)的預(yù)測(cè)效果, 且性能優(yōu)于經(jīng)過(guò)預(yù)處理后最佳的PLSR模型。 其決定系數(shù)R2達(dá)到0.9以上, 表明Ensemble可以提供很好的預(yù)測(cè)能力; 其RPD大于3.0, 表明模型具有較好的穩(wěn)定性。 之后進(jìn)一步分析了預(yù)處理操作和特征選擇算法CARS對(duì)Ensemble預(yù)測(cè)精度的影響, 其中使用Ensemble對(duì)MSC處理后的全波長(zhǎng)反射光譜數(shù)據(jù)進(jìn)行建模, 建模結(jié)果如表4所示。

圖4 基于全波長(zhǎng)的神經(jīng)網(wǎng)絡(luò)模型對(duì)花青素含量估算結(jié)果

表4 神經(jīng)網(wǎng)絡(luò)模型性能

分析表明, 經(jīng)MSC處理后, Ensemble在建模集和驗(yàn)證集上的精度均有少許下降, 因此之后基于Ensemble使用原始光譜進(jìn)行CARS后的數(shù)據(jù)進(jìn)行建模, 建模結(jié)果見(jiàn)表4。 其建模集和驗(yàn)證集上的誤差均有上升, 說(shuō)明基于原始光譜建立的Ensemble已經(jīng)可以取得較高的預(yù)測(cè)精度, 預(yù)處理和特征選擇操作對(duì)Ensemble的正向效用并不顯著。

對(duì)比本文提出的融合模型Ensemble和單獨(dú)模型1DCNN、 ELM以及傳統(tǒng)方法PLSR, 由于Ensemble是兩個(gè)模型的級(jí)聯(lián), 它使用深度學(xué)習(xí)模型作為隱式特征提取工具, 將提取出的局部空間模式傳輸給下游進(jìn)行基于特征的模型構(gòu)建, 相較于直接使用1DCNN模型或ELM模型輸出的特征進(jìn)行估算, Ensemble相當(dāng)于在粗特征提取上考慮了精確匹配特征, 而精確匹配特征的提取恰好是提升模型精度的關(guān)鍵。 同時(shí)1DCNN擅長(zhǎng)學(xué)習(xí)不變的特征, 但并不總是具有良好的泛化性能。 相反, ELM擅長(zhǎng)以極快的速度逼近任何目標(biāo)連續(xù)函數(shù), 但不善于學(xué)習(xí)復(fù)雜的不變量, 而兩類(lèi)估算方法的融合則為提高整體模型性能提供了一種有效的途徑。

3 結(jié) 論

基于端到端的深度學(xué)習(xí)方法及集成的建模思路對(duì)紫葉生菜花青素含量進(jìn)行高精度估算方法研究, 通過(guò)設(shè)計(jì)實(shí)驗(yàn)以及對(duì)比分析, 證明了新模型架構(gòu)的有效性, 并獲得以下結(jié)論：

(1)利用紫葉生菜反射光譜建立的PLSR模型可以用于快速準(zhǔn)確地估算花青素含量值。 相較基于原始光譜建立的PLSR預(yù)測(cè)模型, 在MSC的基礎(chǔ)上進(jìn)行CARS特征波長(zhǎng)選擇后建立的PLSR估算模型的精度有所提升, 其驗(yàn)證集的R2和RMSE為0.872和0.070 mg·L-1, RPD為2.862。 經(jīng)過(guò)處理后的輸入數(shù)據(jù)僅使用46個(gè)特征波段, 模型具有較低的計(jì)算負(fù)擔(dān), 但較為依賴(lài)于專(zhuān)家領(lǐng)域的知識(shí), 且需要額外的人工預(yù)處理和特征選擇操作, 不能實(shí)現(xiàn)自動(dòng)化特征提取。

(2)基于改進(jìn)Inception模塊的1DCNN, 提出了一種融合深度卷積特征和ELM的端到端回歸分析框架Ensemble, 其在驗(yàn)證集上的R2和RMSE為0.905和0.060 mg·L-1, RPD達(dá)到了3.319, 該模型直接使用原始光譜作為輸入數(shù)據(jù), 無(wú)需根據(jù)先驗(yàn)知識(shí)進(jìn)行特征提取即可獲得高精度估算結(jié)果, 且模型具有較好的魯棒性, 便利于希望通過(guò)簡(jiǎn)化模型和減少建模負(fù)擔(dān)來(lái)實(shí)現(xiàn)自動(dòng)化特征提取的研究者和從業(yè)者。 但同時(shí)由于原始數(shù)據(jù)作為輸入這一特點(diǎn)使得模型在一定程度上增加了計(jì)算成本。

(3)加入MSC預(yù)處理和CARS特征選擇操作并不能顯著改善Ensemble模型的性能, 說(shuō)明Ensemble對(duì)于數(shù)據(jù)預(yù)處理操作的依賴(lài)程度要遠(yuǎn)低于PLSR。

本工作旨在基于高光譜構(gòu)建紫葉生菜花青素含量模型, 實(shí)現(xiàn)針對(duì)原始光譜的端到端高精度花青素含量的高效預(yù)測(cè)。 在未來(lái)的研究中, 有必要對(duì)模型的可解釋性進(jìn)行探討, 同時(shí)在實(shí)際環(huán)境中, 模型在不同應(yīng)用條件的適用性往往存在差異, 使模型的實(shí)用性降低, 今后有望開(kāi)展相關(guān)的普適性研究, 使得構(gòu)建的參數(shù)估算模型在不同環(huán)境條件下均有所用。