基于主成分回歸的土壤有機(jī)質(zhì)高光譜特性分析

曾遠(yuǎn)文

(重慶市地理信息和遙感應(yīng)用中心, 重慶 401147)

0 引言

土壤有機(jī)質(zhì)(soil organic matter,SOM)作為作物生長(zhǎng)的重要養(yǎng)分來(lái)源,其含量的多少對(duì)作物的生長(zhǎng)發(fā)育有著顯著的影響[1]。因此，如何準(zhǔn)確快速地獲取土壤有機(jī)質(zhì)含量,科學(xué)指導(dǎo)農(nóng)業(yè)現(xiàn)代化管理,已成為相關(guān)專(zhuān)家學(xué)者積極探索的熱點(diǎn)問(wèn)題。光譜分析技術(shù)的飛速發(fā)展,為上述問(wèn)題的研究提供了新的路徑,由于其具有的快速、便捷、無(wú)污染的特點(diǎn),已在農(nóng)業(yè)及其他領(lǐng)域得到了廣泛的應(yīng)用[2-6]。實(shí)驗(yàn)和研究表明,土壤有機(jī)質(zhì)作為影響土壤光譜特性的重要因素之一,其在可見(jiàn)光和近紅外區(qū)域有獨(dú)特的光譜特性[7]。土壤光譜反射率與有機(jī)質(zhì)含量呈顯著負(fù)相關(guān),有機(jī)質(zhì)含量可以從土壤反射光譜中得到一定程度的反映[8-9]。

為進(jìn)一步研究土壤有機(jī)質(zhì)的高光譜反射特性,以及土壤樣本的不同粒徑水平和不同光譜變換形式對(duì)土壤有機(jī)質(zhì)反演模型的影響程度,本研究通過(guò)相關(guān)分析和主成分回歸分析探討了不同粒徑水平下和不同光譜數(shù)學(xué)變換形式下的土壤有機(jī)質(zhì)的光譜特性,并淺析了實(shí)驗(yàn)室土壤樣本制備的最優(yōu)粒徑大小及光譜變換形式,以期為后續(xù)研究提供一定的參考和借鑒。

1 材料

1.1 土壤樣本的制作與處理

將野外采集的37個(gè)土壤樣本自然風(fēng)干,并研磨成1 mm、0.5 mm、0.25 mm、0.125 mm、0.075 mm這5個(gè)不同等級(jí)的粒徑。由于在試驗(yàn)中使用了樣本粉碎機(jī),導(dǎo)致有的樣本中1 mm和0.5 mm粒徑的樣本數(shù)量較少,結(jié)果0.075 mm、0.125 mm、0.25 mm粒徑的樣本數(shù)都為37個(gè),0.5 mm的有24個(gè),1 mm粒徑的樣本量為22個(gè)。土壤有機(jī)質(zhì)含量采用重鉻酸鉀氧化—外加熱法測(cè)定,主要原理和操作步驟詳見(jiàn)《土壤農(nóng)化分析》[10]。各粒徑水平下有機(jī)質(zhì)統(tǒng)計(jì)結(jié)果如表1所示。

表1 不同粒徑樣本有機(jī)質(zhì)含量統(tǒng)計(jì)表

1.2 室內(nèi)光譜測(cè)量與處理

1.2.1光譜測(cè)定

用ASD FieldSpec 3光譜儀進(jìn)行室內(nèi)光譜測(cè)量,測(cè)量時(shí)將裝有樣品的石英玻璃皿放置在黑色天鵝絨中心,并使用功率為50 W的鹵素?zé)艉?°視場(chǎng)角的探頭,探頭垂直于土樣表面,到土樣表面距離15 cm,光源入射方向與垂直方向夾角15°,光源到土樣中心的距離為30 cm,各幾何參數(shù)在實(shí)驗(yàn)過(guò)程中保持不變。把適量經(jīng)過(guò)處理的土壤樣品放入盛樣皿中,用玻璃壓實(shí),使其表面盡量平整,為了消除土樣反射光譜各向異性的干擾,測(cè)量時(shí)轉(zhuǎn)動(dòng)盛樣皿三次,測(cè)量土樣的4個(gè)方向的光譜曲線(xiàn)(每個(gè)方向取5條,一共20條光譜曲線(xiàn)),將各方向的光譜曲線(xiàn)算術(shù)平均后得到該土樣的反射光譜數(shù)據(jù)。

1.2.2光譜數(shù)據(jù)預(yù)處理

對(duì)獲取的光譜曲線(xiàn)進(jìn)行斷點(diǎn)校正、10 nm間隔重采樣、低信噪比波段及水吸收峰剔除,具體的剔除范圍為：350～395 nm、1 345～1 515 nm、1 795～2 025 nm、2 405～2 500 nm,經(jīng)過(guò)以上預(yù)處理之后最終剩下158個(gè)波段。

1.2.3光譜曲線(xiàn)數(shù)學(xué)變換

本研究除了直接用原始光譜反射率進(jìn)行分析外,參照前人的研究還對(duì)土壤光譜曲線(xiàn)進(jìn)行數(shù)學(xué)變換,包括反射率求對(duì)數(shù)lgR、反射率倒數(shù)1/R、反射率倒數(shù)的對(duì)數(shù)lg (1/R)、反射率對(duì)數(shù)的倒數(shù)1/lgR、反射率求一階微分R′、反射率倒數(shù)求一階微分(1/R)′、反射率對(duì)數(shù)的一階微分(lgR)′、反射率倒數(shù)的對(duì)數(shù)的一階微分(lg (1/R))′、反射率對(duì)數(shù)的倒數(shù)的一階微分(1/lgR)′、反射率求二階微分R″、反射率倒數(shù)求二階微分(1/R)″、反射率對(duì)數(shù)的二階微分(lgR)″、反射率倒數(shù)的對(duì)數(shù)的二階微分(lg (1/R))″、反射率對(duì)數(shù)的倒數(shù)的二階微分(1/lgR)″、吸收深度(Depth)提取等。

2 研究方法

2.1 主成分回歸

在進(jìn)行主成分分析時(shí)按以下步驟進(jìn)行：

(1)對(duì)反射光譜進(jìn)行預(yù)處理和相應(yīng)的數(shù)學(xué)變形;

(2)土壤有機(jī)質(zhì)含量和反射率及其數(shù)學(xué)變形進(jìn)行單相關(guān)分析,篩選出相關(guān)性達(dá)到顯著的波段(P<0.01);

(3)用這些被篩選出來(lái)的波段進(jìn)行主成分回歸分析。

這樣保證了在進(jìn)行主成分分析時(shí)不丟失與土壤有機(jī)質(zhì)相關(guān)性顯著的波段,又相當(dāng)于進(jìn)行了數(shù)據(jù)降維,增加了數(shù)據(jù)處理的效率。

2.2 模型質(zhì)量評(píng)價(jià)參數(shù)

回歸模型的精度和預(yù)測(cè)能力通過(guò)以下參數(shù)進(jìn)行評(píng)價(jià)：

(1)決定系數(shù)R2。包括建模決定系數(shù)、交叉檢驗(yàn)絕對(duì)系數(shù)和預(yù)測(cè)絕對(duì)系數(shù)。

(2)均方根誤差。包括建模均方根誤差Rc、交叉檢驗(yàn)均方根誤差Rcv和預(yù)測(cè)均方根誤差Rp。計(jì)算公式如下所示：

(1)

(2)

(3)

式中,Ym和Yp分別表示實(shí)測(cè)值和預(yù)測(cè)值;Nc、Ncv、Np分別表示建模、交叉檢驗(yàn)和預(yù)測(cè)樣本數(shù)。

(3)預(yù)測(cè)相對(duì)偏差Rpd。當(dāng)Rpd>2時(shí),回歸模型具有極好的預(yù)測(cè)能力;當(dāng)1.4

模型的決定系數(shù)R2和預(yù)測(cè)相對(duì)偏差Rpd越大,均方根誤差Rc、Rcv、Rp越小,說(shuō)明模型的精度越高。

3 結(jié)果與分析

3.1 相關(guān)性分析

將有機(jī)質(zhì)含量和土壤光譜反射率及其變化形式在各個(gè)不同的粒徑水平下進(jìn)行相關(guān)性分析。結(jié)果顯示，有的變換形式在有的粒徑水平上全波段范圍內(nèi)與有機(jī)質(zhì)的相關(guān)性均未達(dá)到顯著水平(P<0.01),其中只有吸收深度(Depth)、反射率對(duì)數(shù)的一階微分(FD-lgR)、反射率對(duì)數(shù)的二階微分(SD-lgR)、反射率的二階微分(SD-R)、反射率倒數(shù)的二階微分(SD-1/R)和反射率對(duì)數(shù)的倒數(shù)的二階微分(SD-1/lgR)這6種變換在5個(gè)粒徑水平上均有與有機(jī)質(zhì)含量顯著相關(guān)的波段存在。

比較這6種變換形式各個(gè)粒徑水平下與有機(jī)質(zhì)含量的相關(guān)性,如表2所示,結(jié)果顯示，達(dá)到顯著相關(guān)性的波段大都集中在UV ～VNIR波段范圍內(nèi),且最大相關(guān)波段主要分布在475～600 nm波段范圍內(nèi)(對(duì)數(shù)的一階微分除外),這與前人的研究結(jié)論相似;達(dá)到顯著相關(guān)性的波段數(shù)無(wú)論在哪個(gè)粒徑水平下都是對(duì)數(shù)的一階微分這種變換形式最多,倒數(shù)的二階微分最少,且相關(guān)系數(shù)的均值在各個(gè)粒徑水平下也是前者大于后者,說(shuō)明就這兩種變形而言對(duì)數(shù)的一階微分比倒數(shù)的二階微分更為有效;各個(gè)粒徑水平下相關(guān)系數(shù)均值最大的都是對(duì)數(shù)的二階微分。

表2 反射率各種變換形式與有機(jī)質(zhì)含量相關(guān)分析結(jié)果

3.2 主成分回歸分析

篩選出的波段相互之間存在多重共線(xiàn)性,直接進(jìn)行回歸分析將不能解決數(shù)據(jù)冗余問(wèn)題,而且還難以得到精確的模型,因此用篩選出來(lái)的波段進(jìn)行主成分分析,消除自變量間的自相關(guān)性。數(shù)據(jù)集分為建模集和預(yù)測(cè)集,在0.075 mm、0.125 mm、0.25 mm三個(gè)粒徑水平下按隨機(jī)的原則選取建模集樣本25個(gè),預(yù)測(cè)集12個(gè),0.5 mm粒徑水平為16個(gè)和8個(gè),1 mm粒徑水平為15個(gè)和7個(gè)。

主成分分析之前需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,建模過(guò)程中選用“Full Cross validation”的方法來(lái)確定模型需包含的潛變量的個(gè)數(shù)和防止過(guò)度擬合,分析結(jié)果如表3～表7所示。

表3 0.075 mm粒徑水平下的回歸分析結(jié)果

表4 0.125 mm粒徑水平下的回歸分析結(jié)果

表5 0.25 mm粒徑水平下的回歸分析結(jié)果

表6 0.5 mm粒徑水平下的回歸分析結(jié)果

表7 1 mm粒徑水平下的回歸分析結(jié)果

從主成分回歸分析結(jié)果可以看出,同一個(gè)粒徑水平下不同的變換形式所建立的模型精度有很大的差異性,同理，一種數(shù)學(xué)變換形式在不同的粒徑水平下所建立的模型精度也不一樣,說(shuō)明光譜數(shù)據(jù)的處理方法和土壤樣本的粒徑大小共同影響著回歸模型的結(jié)果。

在0.075 mm粒徑水平下，以反射率的對(duì)數(shù)的一階微分這種變換形式建立的模型預(yù)測(cè)精度最高,決定系數(shù)為0.848,預(yù)測(cè)均方根誤差最小為0.230。其次是對(duì)數(shù)的倒數(shù)的二階微分這種變換形式的模型預(yù)測(cè)的決定系數(shù)為0.788,均方根誤差為0.267；在0.125 mm水平下，預(yù)測(cè)精度最高的也是對(duì)數(shù)的一階微分,決定系數(shù)為0.846,均方根誤差為0.271,反射率二階微分、反射率對(duì)數(shù)的倒數(shù)二階微分、反射率倒數(shù)二階微分三種形式預(yù)測(cè)精度相當(dāng)；0.25 mm水平下預(yù)測(cè)精度最高的依然是對(duì)數(shù)的一階微分這種變換形式,其次是對(duì)數(shù)的二階微分和Depth；0.5 mm水平下最好的倒數(shù)的二階微分其決定系數(shù)為0.831,緊隨其后的是對(duì)數(shù)的二階微分為0.818；1 mm水平下最優(yōu)模型為對(duì)數(shù)的二階微分建立的,決定系數(shù)達(dá)到了0.922，遠(yuǎn)高于其他變形,最差的為反射率的二階微分,決定系數(shù)僅為0.383。

觀察各個(gè)結(jié)果的Rpd可以發(fā)現(xiàn)，0.075 mm水平下均大于了1.4,說(shuō)明均可對(duì)有機(jī)質(zhì)做出粗略的估計(jì),其中最大的為反射率對(duì)數(shù)的一階微分達(dá)到了2.518,能準(zhǔn)確地估算土壤有機(jī)質(zhì)含量。0.125 mm水平各個(gè)變形的Rpd也都大于了1.4,最大的也是反射率對(duì)數(shù)的一階微分為2.456。0.25 mm水平下反射率對(duì)數(shù)的倒數(shù)的二階微分為1.399，與1.4非常接近,其他的都大于1.4,最大值還是對(duì)數(shù)的一階微分為2.797,且總體上說(shuō)這組值都比其他水平的要大。0.5 mm水平下有一半的變形未達(dá)到1.4,但都很接近1.4,最大值是對(duì)數(shù)的二階微分為1.973。1mm水平也有一半未達(dá)到1.4,最大的是對(duì)數(shù)的二階微分為2.938。

在各個(gè)粒徑水平上分別求取預(yù)測(cè)決定系數(shù)和均方根誤差的平均值,其中決定系數(shù)最大的是0.25 mm水平，為0.750。其次是0.075 mm水平，為0.724。呈現(xiàn)出0.25 mm> 0.075 mm>0.125 mm>0.5 mm>1 mm的規(guī)律,均方根誤差最小的是0.25 mm水平,排序?yàn)?.25 mm<0.075 mm<0.5 mm<1 mm<0.125 mm。所以，從模型的預(yù)測(cè)精度考慮，0.25 mm水平總體優(yōu)于其他粒徑水平,當(dāng)粒徑從0.25 mm減小到0.125 mm時(shí)決定系數(shù)有所降低,但是在繼續(xù)減小到0.075時(shí)決定系數(shù)卻開(kāi)始增大,但是未達(dá)到0.25 mm水平的值,說(shuō)明土壤樣本并不是越細(xì)越好,而是存在一個(gè)度。當(dāng)粒徑從0.25 mm增大到0.5 mm時(shí)模型決定系數(shù)迅速減小，伴隨著的是均方根誤差的增大,繼續(xù)增大粒徑時(shí)這種規(guī)律依然存在,所以可以粗略地認(rèn)為當(dāng)粒徑大于0.25～0.5 mm這個(gè)范圍之后,模型的精度隨著粒徑的增大而減小,但是這個(gè)結(jié)論可能會(huì)受到樣本容量的影響。0.075 mm、0.125 mm、0.25 mm水平的樣本數(shù)都是37個(gè),但是0.5 mm是24個(gè),1 mm是22個(gè),所以決定系數(shù)的大小是否還受到樣本容量大小的影響還有待進(jìn)一步驗(yàn)證,比較前3個(gè)粒徑水平可以發(fā)現(xiàn),0.25 mm水平明顯優(yōu)于其他兩個(gè)水平,比較0.5 mm和1 mm發(fā)現(xiàn)前者優(yōu)于后者,所以可以斷定回歸模型建立的最優(yōu)粒徑水平存在于0.125 mm～0.5 mm之間,但具體是哪個(gè)值本文未做深究,這為今后實(shí)驗(yàn)室樣本的制備提供了一定的參考。

同理,分析各個(gè)變換形式的決定系數(shù)和均方根誤差,決定系數(shù)排序?yàn)镾D-lgR> FD-lgR> SD-1/R>Depth> SD-1/lgR>SD-R,均方根誤差排序?yàn)镕D-lgR

為了研究粒徑大小和反射率變換形式兩者對(duì)模型精度的作用大小,同時(shí)又排除樣本容量大小的影響,因此摒棄1 mm和0.5 mm這兩個(gè)粒徑水平之后,分別求不同變換形式和粒徑水平下建立的回歸模型的決定系數(shù)的變異系數(shù)。其中，不同粒徑水平?jīng)Q定系數(shù)的變異系數(shù)為2.28%,同理可得不同變換形式的為8.37%?？芍獌烧邲Q定系數(shù)的變異系數(shù)相差很大,說(shuō)明數(shù)學(xué)變換對(duì)回歸模型預(yù)測(cè)精度的影響要大于粒徑水平,所以在實(shí)驗(yàn)室對(duì)土壤樣本進(jìn)行預(yù)處理固然重要,但是對(duì)光譜數(shù)據(jù)的數(shù)學(xué)變形同樣不可忽視。

3.3 模型精度和預(yù)測(cè)能力分析

圖1展示的是在0.25 mm粒徑水平下各個(gè)變換形式主成分回歸模型預(yù)測(cè)值與實(shí)測(cè)值的散點(diǎn)圖?？梢钥闯?，除了反射率的二階微分和吸收深度之外,其他變換形式的樣點(diǎn)多半分布在1∶1直線(xiàn)下端,說(shuō)明預(yù)測(cè)值普遍比實(shí)測(cè)值偏小,反射率的二階微分樣點(diǎn)雖然均勻分布在1∶1直線(xiàn)兩端但是平均距離較大。綜合來(lái)說(shuō)，反射率對(duì)數(shù)的一階微分建立的模型最優(yōu),且當(dāng)有機(jī)質(zhì)含量在2.0%～2.5%時(shí)預(yù)測(cè)結(jié)果不佳,樣點(diǎn)距離1∶1直線(xiàn)明顯遠(yuǎn)于其他值。

(a)對(duì)數(shù)的一階 (b)吸收深度

(c)對(duì)數(shù)的倒數(shù)的二階 (d)對(duì)數(shù)的二階

(e)反射率的二階 (f)倒數(shù)的二階

4 結(jié)束語(yǔ)

利用主成分分析的方法實(shí)現(xiàn)了土壤有機(jī)質(zhì)反演模型的建立,在分析前首先通過(guò)相關(guān)性分析篩選出與有機(jī)質(zhì)含量有顯著相關(guān)性的波段,實(shí)現(xiàn)了數(shù)據(jù)的降維但又不丟失土壤有機(jī)質(zhì)的敏感波段,然后用篩選出來(lái)的敏感波段來(lái)進(jìn)行主成分分析,消除自變量之間的多重共線(xiàn)性,最后用求出的主成分與有機(jī)質(zhì)含量進(jìn)行多元線(xiàn)性回歸分析,建立了反射率的各種數(shù)學(xué)變形在各個(gè)粒徑水平下的回歸模型。

分析粒徑大小對(duì)模型精度的影響發(fā)現(xiàn),土壤樣本并不是研磨得越細(xì)越好,也不是越粗越好而是存在一個(gè)度。實(shí)驗(yàn)中建立回歸模型的最優(yōu)粒徑水平存在于0.125 mm～0.5 mm之間,分析不同變換形式對(duì)模型預(yù)測(cè)精度的影響可知，建模之前對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理是相當(dāng)有必要的,特別是進(jìn)行對(duì)數(shù)變化之后再求微分。研究還發(fā)現(xiàn)，不同變換形式對(duì)模型精度的影響要大于不同的粒徑水平,這將為今后相關(guān)研究提供一定的參考。