卷積神經(jīng)網(wǎng)絡(luò)和近紅外光譜的土壤pH值預(yù)測

唐永生，陳爭光

黑龍江八一農(nóng)墾大學(xué)電氣與信息學(xué)院，黑龍江 大慶 163319

引 言

土壤酸堿度不僅影響著土壤的理化性質(zhì)和微生物的活性，還與土壤養(yǎng)分的轉(zhuǎn)化以及農(nóng)作物的生長發(fā)育息息相關(guān)[1]。為了能夠合理有效地開發(fā)利用耕地資源，因地制宜地對耕地進(jìn)行精準(zhǔn)施肥，需要對土壤的酸堿度變化進(jìn)行一定的監(jiān)測把控。目前對土壤酸堿度的檢測常采用比色法和電位法[2]，雖然測量結(jié)果精確，但效率低，耗時(shí)長，不適用于在線檢測以及野外大面積土壤檢測。

近紅外光譜在土壤成分分析與參數(shù)測定方面取得了很多研究成果。沈掌泉等[3利用近紅外光譜與偏最小二乘回歸法(partial least squares regression,PLSR)對土壤中的有機(jī)碳含量進(jìn)行預(yù)測，其訓(xùn)練集和測試集的均方根誤差分別為0.192和0.200； 盛夢鴿[4]等以國內(nèi)7個省份共計(jì)313個茶園土壤樣本為材料，采用近紅外光譜分析與多元線性回歸(multiple linear regression,MLR)方法對茶園土壤的pH值進(jìn)行預(yù)測，其模型的預(yù)測相關(guān)系數(shù)為0.928； 王凱龍[5]等以野外實(shí)測土壤光譜數(shù)據(jù)為基礎(chǔ)，分別采用主成分回歸(principal component analysis，PCA)、PLSR及BP神經(jīng)網(wǎng)絡(luò)建立土壤pH預(yù)測模型，結(jié)果表明土壤光譜數(shù)據(jù)與土壤pH值之間存在良好的相關(guān)性且呈顯著水平。高小紅[6]等利用可見光-近紅外光譜與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式對土壤全氮含量進(jìn)行估算，模型對預(yù)測集的決定系數(shù)為0.81； 方向[7]等利用可見光-近紅外光譜和最小二乘支持向量機(jī)(least squares support vector machine,LSSVM)對土壤中的速效磷進(jìn)行預(yù)測，模型對驗(yàn)證集的決定系數(shù)為0.78。以上研究結(jié)果表明，采用這些方法能夠有效地對小樣本土壤數(shù)據(jù)養(yǎng)分含量進(jìn)行預(yù)測，但是隨著研究的深入，數(shù)據(jù)量的增加，這些方法的弊端也慢慢暴露出來，其中，PLS不能有效的處理非線性問題，BP神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)局部最優(yōu)解和“過擬合”現(xiàn)象，而SVM則無法對大規(guī)模的訓(xùn)練數(shù)據(jù)實(shí)施訓(xùn)練。

近年來由于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)具備局部感知，權(quán)值共享及自動提取數(shù)據(jù)特征的特點(diǎn)，模型的運(yùn)行效率較高，從而被廣泛應(yīng)用在計(jì)算機(jī)視覺[8]，自然語言處理[9]，語音識別[10]等領(lǐng)域。故將CNN應(yīng)用于基于近紅外光譜數(shù)據(jù)的土壤pH值預(yù)測建模中，首先對光譜數(shù)據(jù)進(jìn)行一階求導(dǎo)和Savitzky-Golay平滑預(yù)處理，消除基線漂移或其他背景干擾，提高信噪比。然后根據(jù)近紅外光譜數(shù)據(jù)的特點(diǎn)對經(jīng)典CNN模型進(jìn)行改進(jìn)，建立土壤pH值的CNN預(yù)測模型，并與傳統(tǒng)的PLSR和BP神經(jīng)網(wǎng)絡(luò)算法模型進(jìn)行對比，旨在探究一種高效準(zhǔn)確的土壤pH值獲取方法。

1 實(shí)驗(yàn)部分

1.1 數(shù)據(jù)來源

以歐洲統(tǒng)計(jì)局在2008年—2012年對歐盟23個成員開展的土地利用及覆蓋面積統(tǒng)計(jì)調(diào)查研究(European Commission Land Use/Cover Area frame Statistical Survey，LUCAS)所采集的土壤養(yǎng)分及可見光近紅外光譜樣本為研究對象，共計(jì)19 936個樣本點(diǎn)。土壤樣本分為礦物質(zhì)和腐殖質(zhì)兩類，主要包括耕地，林地，草地等多種土壤類型，樣本的取樣深度為土壤剖面的0～20 cm范圍，采用十字交叉法在采樣點(diǎn)2米范圍內(nèi)取5份土樣約500 g進(jìn)行混合[11]。土壤pH值依照ISO 10390—1994標(biāo)準(zhǔn)進(jìn)行檢測，使用FOSS XDS近紅外光譜分析儀進(jìn)行光譜采集，光譜儀測量波長范圍為400～2 500 nm，分辨率為0.5 nm。光譜預(yù)處理采用CAMO公司的The Unscrambler X10.3。使用Python語言調(diào)用Tensorflow工具包搭建基于CNN的回歸預(yù)測模型。

選取了LUCAS土壤數(shù)據(jù)集中的礦物質(zhì)土壤樣本共計(jì)17 272個。其中隨機(jī)選取15 000個樣本作為建模集，剩余的2 272個樣本作為測試集。土壤樣本pH值統(tǒng)計(jì)信息如表1所示，其中建模集的pH值范圍為3.430～10.080，測試集的pH值范圍為3.510～8.770，建模集能夠完整覆蓋測試集中土壤樣本的pH值范圍。

表1 LUCAS土壤數(shù)據(jù)集pH值基本信息Table 1 Basic information of pH value in LUCAS soil dataset

1.2 光譜數(shù)據(jù)處理

pH值作為衡量土壤養(yǎng)分轉(zhuǎn)化及土壤肥力的一個重要指標(biāo)，是土壤養(yǎng)分管理項(xiàng)目中必測的內(nèi)容之一，土壤的酸堿度主要與土壤有機(jī)質(zhì)和微生物中的氫氧基團(tuán)及土壤膠體中的Al+和H+濃度有關(guān)。LUCAS光譜的平均曲線及變異系數(shù)曲線如圖1所示，由于受到土壤中氫氧基，羥基鋁及甲基團(tuán)的影響，光譜曲線在1 400，1 900，2 200和2 350 nm處出現(xiàn)明顯的波峰。光譜儀在采集土壤樣本時(shí)，會受到周圍環(huán)境的影響，光譜中往往會摻雜各種噪聲，因此光譜曲線出現(xiàn)中等變異，變異平均系數(shù)為0.217。為消除光譜中的基線偏移，提高信噪比，采用一階求導(dǎo)和Savitzky-Golay平滑(多項(xiàng)式階數(shù)為2，平滑點(diǎn)數(shù)為11)對光譜數(shù)據(jù)進(jìn)行預(yù)處理，處理后的光譜圖像如圖2所示，后續(xù)的建模及預(yù)測都是基于圖2數(shù)據(jù)進(jìn)行。

圖1 LUCAS土壤樣本平均光譜曲線圖Fig.1 Mean spectra of LUCAS soil samples

圖2 經(jīng)過預(yù)處理的土壤近紅外光譜圖Fig.2 Pretreated near infrared spectra of soil

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種端到端的有監(jiān)督式神經(jīng)網(wǎng)絡(luò)，基本架構(gòu)由輸入層，卷積層，非線性激活層，池化層和全連接層五部分組成。其中卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最重要的一層，即通過“局部連接，權(quán)值共享”的方式對輸入光譜數(shù)據(jù)進(jìn)行特征提取。卷積之后，通常會加入偏置，并引入非線性激活函數(shù)，經(jīng)過激活函數(shù)后，得到結(jié)果

(1)

池化是一種非線性的降采樣方法，主要是對卷積層輸出的特征值進(jìn)行降維，減少運(yùn)算規(guī)模。目前，池化主要分為最大值池化和平均值池化兩種方式，本工作則采用最大池化法來對模型進(jìn)行降采樣處理。

1.4 建立模型

整個模型的參數(shù)設(shè)置如表2所示，為避免在特征學(xué)習(xí)過程中出現(xiàn)梯度消失，神經(jīng)元飽和的狀況，將所有的激活函數(shù)均設(shè)置為線性整流函數(shù)(rectified linear units,ReLU)。經(jīng)過四層卷積池化操作后得到128個寬度為260的光譜信號，然后將128個光譜信號進(jìn)行扁平化處理，將得到的一維數(shù)據(jù)輸入到全連接層，全連接層含有兩個隱含層，為使計(jì)算機(jī)充分利用資源，全連接層兩個隱含層神經(jīng)元的個數(shù)分別為1 024和128，輸出層含有一個神經(jīng)元，用于實(shí)值回歸。整個網(wǎng)絡(luò)層的基本架構(gòu)如圖3所示。

表2 CNNR模型參數(shù)設(shè)置Table 2 Parameters of CNNR model

圖3 CNNR模型基本結(jié)構(gòu)Fig.3 Basic structure of CNNR model

網(wǎng)絡(luò)模型采用信號前向傳遞，誤差反向傳播的方式進(jìn)行訓(xùn)練，前向傳遞中初始化網(wǎng)絡(luò)權(quán)重和偏置值分別為截?cái)嗾龖B(tài)分布的隨機(jī)值和固定值0.1，反向傳播中采用的損失函數(shù)為均方誤差函數(shù)，如式(2)所示

(2)

2 結(jié)果與討論

2.1 訓(xùn)練次數(shù)及卷積層數(shù)對模型的影響

在使用建模集樣本對模型內(nèi)部參數(shù)進(jìn)行調(diào)節(jié)中，為探究訓(xùn)練次數(shù)對CNNR模型的影響，將測試集樣本每隔100次迭代輸入到訓(xùn)練模型中，用于檢驗(yàn)?zāi)Ｐ偷挠?xùn)練效果。如圖4所示，隨著訓(xùn)練次數(shù)的不斷增加，模型的均方誤差逐漸減小，模型的精度不斷提高，模型在2 400次訓(xùn)練后達(dá)到最佳狀態(tài)。由于訓(xùn)練集樣本數(shù)據(jù)量大，數(shù)據(jù)復(fù)雜性高，因此在前期迭代訓(xùn)練中，模型特征學(xué)習(xí)不足，模型的測試損失小于訓(xùn)練損失。當(dāng)訓(xùn)練次數(shù)大于2 500次時(shí)，模型的測試損失與訓(xùn)練損失之間的距離不斷變大，模型開始出現(xiàn)過擬合現(xiàn)象，因此為防止出現(xiàn)過擬合現(xiàn)象，模型可以在第2 500次訓(xùn)練之后停止訓(xùn)練。

為了探究卷積層數(shù)對模型預(yù)測性能的影響，在使用同一種土壤近紅外光譜數(shù)據(jù)進(jìn)行建模的情況下，分別采用三層、四層、五層卷積層對模型進(jìn)行訓(xùn)練，模型的預(yù)測性能隨卷積層的變化曲線如圖5所示，由曲線對比可知，三種模型的預(yù)測結(jié)果大致相同； 在特征學(xué)習(xí)速度方面，3層卷積層的模型特征學(xué)習(xí)速度最慢，模型需訓(xùn)練1 500次后才能達(dá)到穩(wěn)定預(yù)測狀態(tài)，五層卷積層的模型特征學(xué)習(xí)速度最快，模型在1 000次訓(xùn)練后就達(dá)到了穩(wěn)定，而四層卷積層的特征學(xué)習(xí)速度與五層類似，模型在訓(xùn)練1 000次左右達(dá)到穩(wěn)定的預(yù)測狀態(tài)。因此，本文選用具有四個卷積層的卷積神經(jīng)網(wǎng)絡(luò)對樣本進(jìn)行訓(xùn)練學(xué)習(xí)。

圖4 CNNR模型訓(xùn)練損失和測試損失Fig.4 Training loss and test loss of CNNR model

圖5 CNNR模型不同卷積層測試損失Fig.5 Test loss of different convolutions of CNNR model

2.2 不同模型性能比較

為了了解CNN網(wǎng)絡(luò)模型的優(yōu)劣性，選用了目前較為常用的PLSR和BP神經(jīng)網(wǎng)絡(luò)兩個模型作為對比。BP神經(jīng)網(wǎng)絡(luò)設(shè)置隱含層為75個神經(jīng)元的單隱層結(jié)構(gòu)模型。由于LUCAS土壤樣本數(shù)據(jù)量比較大，不適用于PLSR建模，因此將數(shù)據(jù)集分成7組進(jìn)行計(jì)算，每組從LUCAS數(shù)據(jù)集中隨機(jī)選取2 100個樣本用于PLSR建模，隨機(jī)選取367個樣本用于預(yù)測，各組數(shù)據(jù)之間獨(dú)立不交叉。設(shè)置PLSR模型的最大成分?jǐn)?shù)為7，得到7個PLSR模型，選擇最優(yōu)模型為最終的PLSR建模結(jié)果。三種模型預(yù)測結(jié)果如表3所示，在使用同一種土壤近紅外光譜數(shù)據(jù)訓(xùn)練模型的情況下，CNN模型的效果要優(yōu)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)和PLSR模型。

表3 三種模型的預(yù)測效果對比Table 3 Comparison of the predictive effects of three models

圖6、圖7和圖8分別為三個模型測試集的預(yù)測值與真實(shí)值的散點(diǎn)擬合圖。由圖對比可以看出，三種模型中CNN模型的預(yù)測效果最好，數(shù)據(jù)點(diǎn)密集地集中在擬合直線的兩側(cè)，而BP模型和PLSR模型的數(shù)據(jù)點(diǎn)分布較分散。因此，利用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型對土壤pH值進(jìn)行預(yù)測的方案要優(yōu)于傳統(tǒng)的PLSR和BP神經(jīng)網(wǎng)絡(luò)模型。

圖6 BP模型對土壤pH值的預(yù)測結(jié)果Fig.6 Prediction of soil pH value by BP model

Yang[13]等利用LS-SVM,ELM等機(jī)器學(xué)習(xí)方法對可見-近紅外光譜原譜數(shù)據(jù)進(jìn)行建模，對土壤pH值進(jìn)行預(yù)測，預(yù)測模型的決定系數(shù)皆為0.740； 而本文使用BP和CNN模型實(shí)現(xiàn)對土壤pH值的預(yù)測，其結(jié)果分別為0.792和0.909，本文所使用的方法預(yù)測精度有所提高?？梢姡窠?jīng)網(wǎng)絡(luò)模型較SVM和PLSR等傳統(tǒng)模型在非線性建模方面具有一定的優(yōu)勢。而基于CNN的神經(jīng)網(wǎng)絡(luò)模型能夠利用其獨(dú)特的內(nèi)部結(jié)構(gòu)實(shí)現(xiàn)對土壤近紅外光譜的特征提取與學(xué)習(xí)，通過多次的卷積與池化操作，不斷降低光譜中無關(guān)數(shù)據(jù)的干擾，從而獲得更加細(xì)致的光譜特征，利用這些特征實(shí)現(xiàn)對土壤pH值的高效預(yù)測，比傳統(tǒng)的機(jī)器學(xué)習(xí)算法具有較高的擬合水準(zhǔn)。

圖7 PLSR模型對土壤pH值的預(yù)測結(jié)果Fig.7 Prediction of soil pH value by PLSR model

圖8 CNNR模型對土壤pH值的預(yù)測結(jié)果Fig.8 Prediction of soil pH values by CNNR model

王璨等利用卷積神經(jīng)網(wǎng)絡(luò)對土壤近紅外光譜進(jìn)行建模，實(shí)現(xiàn)對土壤含水率的預(yù)測，并與傳統(tǒng)的BP，PLSR，LS-SVM方法得到的模型進(jìn)行對比，所得結(jié)論與本文基本一致，從而充分證明了CNN模型的特征學(xué)習(xí)能力。Padarian[14]等利用二維卷積神經(jīng)網(wǎng)絡(luò)對LUCAS土壤數(shù)據(jù)進(jìn)行建模，實(shí)現(xiàn)對土壤pH值的預(yù)測，測試集的決定系數(shù)為0.870，而本文采用一維CNN模型實(shí)現(xiàn)對土壤pH值的預(yù)測，結(jié)果為0.909，可見使用一維卷積神經(jīng)網(wǎng)絡(luò)對土壤近紅外光譜進(jìn)行建模相比于二維卷積不僅能夠有效簡化光譜數(shù)據(jù)的預(yù)處理過程而且還能夠使模型具有較高的泛化學(xué)習(xí)能力。

綜上所述，卷積神經(jīng)網(wǎng)絡(luò)能夠用于土壤近紅外光譜的回歸分析建模中，并在土壤pH值預(yù)測方面相比于傳統(tǒng)模型具有更高的擬合和預(yù)測能力。研究表明卷積神經(jīng)網(wǎng)絡(luò)模型能夠直接對一維光譜信號進(jìn)行高效的特征抽取，并能利用這些特征不斷的調(diào)節(jié)修正模型內(nèi)部參數(shù)，從而使土壤pH值回歸具有較高的性能。此外，在卷積神經(jīng)網(wǎng)絡(luò)模型中運(yùn)用池化層對光譜數(shù)據(jù)進(jìn)行降維，不僅能夠有效減少模型的內(nèi)部參數(shù)，提高運(yùn)算速度，還增強(qiáng)了模型提取特征的魯棒性和泛化能力，使模型具有更穩(wěn)定的光譜預(yù)測效果。由于本工作是對歐洲土壤的近紅外光譜進(jìn)行pH值預(yù)測研究，因此數(shù)據(jù)具有一定的區(qū)域局限性，下一步工作將進(jìn)一步研究如何獲取更多地區(qū)特別是國內(nèi)的土壤近紅外光譜數(shù)據(jù)，從而充分挖掘模型潛力，提高模型檢測精度和適用范圍。

3 結(jié) 論

利用近紅外光譜結(jié)合卷積神經(jīng)網(wǎng)絡(luò)模型對土壤的pH值進(jìn)行預(yù)測，LUCAS土壤樣本作為研究對象，建立能夠檢測土壤pH值的CNN模型，分析結(jié)果表明： (1)利用卷積神經(jīng)網(wǎng)絡(luò)對近紅外光譜進(jìn)行建?？蓪?shí)現(xiàn)對土壤pH值的高效準(zhǔn)確檢測； 使用卷積神經(jīng)網(wǎng)絡(luò)模型能夠直接對一維光譜信號進(jìn)行特征提取。(2)利用測試集對搭建好的模型進(jìn)行性能評估，評估結(jié)果表明，本模型能夠準(zhǔn)確地對土壤pH值進(jìn)行預(yù)測，模型的擬合優(yōu)度比傳統(tǒng)的PLSR模型高。利用本模型可以對不同地區(qū)的耕地pH值進(jìn)行檢測，對耕地的資源管理及農(nóng)作物的精準(zhǔn)栽種具有指導(dǎo)意義。(3)本模型方法可應(yīng)用到其他土壤養(yǎng)分信息建模研究。