基于非負(fù)矩陣分解法的抗水分干擾土壤有機(jī)質(zhì)高光譜估算

丁仕杰，宋海燕，張智峰，韓小平

(山西農(nóng)業(yè)大學(xué) 工學(xué)院，山西 太谷 030801)

土壤有機(jī)質(zhì)(Soil organic matter, SOM)是植物和微生物生長(zhǎng)所必要的營(yíng)養(yǎng)物質(zhì)[1，2]。有機(jī)質(zhì)含量高的土壤既能為作物提供豐富的養(yǎng)分，還能減少土壤養(yǎng)分的流失。實(shí)時(shí)檢測(cè)土壤有機(jī)質(zhì)含量，對(duì)保持耕地土壤有機(jī)質(zhì)平衡，提升農(nóng)作物產(chǎn)量等有很大幫助。高光譜技術(shù)有快速、高效、低成本等優(yōu)點(diǎn)，普遍應(yīng)用于土壤有機(jī)質(zhì)定量檢測(cè)。近紅外波段中土壤水分(Soil moisture，SM)對(duì)土壤有機(jī)質(zhì)的檢測(cè)有一定的干擾[3]，是影響測(cè)量準(zhǔn)確性的一個(gè)主要原因。

近年來(lái)，國(guó)內(nèi)外學(xué)者嘗試用各種方法來(lái)消除水分對(duì)土壤有機(jī)質(zhì)預(yù)測(cè)的影響，以實(shí)現(xiàn)其預(yù)測(cè)精度的提高。Minasny等[4]將Roger等[5]提出的外部參數(shù)正交化(External parameters orthogonal neural network，EPO)運(yùn)用到去除土壤水分對(duì)有機(jī)質(zhì)檢測(cè)的影響中；Changkun Wang等[6]基于EPO提出了一種新的EPO策略(EPOII)，運(yùn)用這種預(yù)處理方法提高了濕土土壤有機(jī)質(zhì)的預(yù)測(cè)精度；陳奕云等[7]應(yīng)用直接標(biāo)準(zhǔn)化(Direct standardization，DS)對(duì)濕土光譜進(jìn)行校正，降低了濕度差異對(duì)光譜反演土壤有機(jī)質(zhì)的影響；Ji W等[8]用分段直接標(biāo)準(zhǔn)化(Piecewise direct standardization，PDS)對(duì)近紅外區(qū)域有機(jī)碳的估計(jì)進(jìn)行了改進(jìn)，提高了有機(jī)質(zhì)的估測(cè)精度；An等[9]設(shè)計(jì)了水分吸收指數(shù)MAI，參考土壤水分梯度提出了相應(yīng)的修正系數(shù)并建立土壤全氮預(yù)測(cè)模型，所測(cè)數(shù)據(jù)精度較原始模型有明顯提高。然而上述方法均沒(méi)有得以推廣，由此可見(jiàn)，消除水分影響，提高土壤有機(jī)質(zhì)預(yù)測(cè)精度仍是一迫切需要解決的問(wèn)題。

本研究在分析比較了干土和其對(duì)應(yīng)不同含水率下濕土吸光度譜圖特性曲線的基礎(chǔ)上，利用非負(fù)矩陣分解法可以從原始矩陣中提取出基礎(chǔ)和特征2個(gè)不同的非負(fù)矩陣、完成對(duì)特征數(shù)據(jù)分離提取的特性，提出采用該方法實(shí)現(xiàn)削弱近紅外波段中水分對(duì)土壤有機(jī)質(zhì)含量預(yù)測(cè)影響的目的。

1 材料和方法

1.1 試驗(yàn)材料

1.1.1 研究區(qū)域概況

本文以山西省晉中市太谷縣為研究區(qū)域。該區(qū)域位于山西省晉中盆地東北部，區(qū)域位置為112°28'～ 113°01′E，37°12′～37°3′2 N。其地貌形態(tài)有山地、丘陵、平原3種。該區(qū)域土壤類(lèi)型為褐土，是該省主要地帶性的土壤，同時(shí)也是我國(guó)北方主要的農(nóng)業(yè)土壤。

1.1.2 土壤樣本的制備

在太谷縣內(nèi)不同地區(qū)采集了50個(gè)土壤樣本，采集過(guò)程及不同含水率土樣的配置方法如下：

(1)土樣采集：采集地面以下5～15 cm的土壤并除去土壤表面雜質(zhì)。

(2)風(fēng)干：將采集的土壤樣本平鋪置于實(shí)驗(yàn)室通風(fēng)處，連續(xù)風(fēng)干3 d。

(3)過(guò)篩：將風(fēng)干后的土壤樣本碾碎過(guò)2.5 mm篩子，去除大顆粒土壤。

(4)烘干：將土樣各自均勻地放置于托盤(pán)上，用烘干箱在106 ℃下烘干至恒重，取出后分類(lèi)放置在密閉的塑封袋中。

(5)配制不同含水率的土樣：取同一土樣，稱(chēng)取相同重量的4份，分別放入干凈的燒杯中，加水配制5%、10%、15%、17%的樣本。用保鮮膜將燒杯密封后靜置3 d，靜止期間可通過(guò)搖晃燒杯使水分均勻擴(kuò)散到土壤中。土壤質(zhì)量含水率計(jì)算見(jiàn)公式(1)：

(1)

式中，M0為濕土質(zhì)量/g，M1為干土質(zhì)量/g。

1.2 試驗(yàn)方法

1.2.1 土壤有機(jī)質(zhì)標(biāo)準(zhǔn)值測(cè)定

用重鉻酸鉀容量法測(cè)定土壤有機(jī)質(zhì)的標(biāo)準(zhǔn)值。在外加熱的情況下，用一定量的標(biāo)準(zhǔn)重鉻酸鉀-硫酸溶液氧化土壤樣本中的有機(jī)碳，之后用標(biāo)準(zhǔn)的硫酸亞鐵溶液滴定多余的重鉻酸鉀，直到溶液顏色變紅且不再變化。所測(cè)土樣有機(jī)質(zhì)含量的計(jì)算見(jiàn)公式(2)：

(2)

式中，c為硫酸亞鐵標(biāo)準(zhǔn)溶液的摩爾濃度/(mol·L-1)，V0為空白實(shí)驗(yàn)中使用硫酸亞鐵標(biāo)準(zhǔn)滴定溶液的體積/mL，V為測(cè)定時(shí)硫酸亞鐵標(biāo)準(zhǔn)溶液消耗的體積/mL，0.003為1/4碳原子的摩爾質(zhì)量/(kg·mol-1)，1.724為有機(jī)碳換算為有機(jī)質(zhì)的系數(shù)，m為稱(chēng)取的試樣質(zhì)量/g，D為稀釋倍數(shù)。

1.2.2 光譜數(shù)據(jù)采集和預(yù)處理

本試驗(yàn)采用ASD公司生產(chǎn)的FieldSpec3高光譜儀，采集波長(zhǎng)范圍為350～2 500 nm。350～1 000 nm范圍內(nèi)采樣間隔為1.4 nm，1 000～2 500 nm范圍內(nèi)采樣間隔為2 nm。測(cè)量時(shí)將土樣置于培養(yǎng)皿中并用尺子將表面刮平，放入暗室內(nèi)進(jìn)行光譜數(shù)據(jù)采集，采集時(shí)每個(gè)樣本旋轉(zhuǎn) 120°測(cè)量3次，每次掃描3條，即每個(gè)樣本共獲得9條光譜數(shù)據(jù)，單條掃描時(shí)間為0.1 s。

為獲得光滑且連續(xù)的光譜，原始高光譜數(shù)據(jù)用儀器自帶的View SpecPro軟件進(jìn)行預(yù)處理，包括求均值(Mean)、拼接校正(Splice Correction)，再經(jīng)過(guò)ASCII Export導(dǎo)出數(shù)據(jù)并整理到Excel表格。

1.3 數(shù)據(jù)處理及分析方法

1.3.1 非負(fù)矩陣分解法

非負(fù)矩陣分解(NMF)屬無(wú)監(jiān)督學(xué)習(xí)方式，是一種在概率矩陣分解的基礎(chǔ)上對(duì)分解完成的矩陣加以非負(fù)限制的計(jì)算方法。它將一個(gè)非負(fù)矩陣V分解為2個(gè)非負(fù)矩陣W和H，具有可提取部分特征來(lái)感知整體的能力。并且NMF的算法與線性光譜混合模型(Linear Spectral Mixing Model，LSMM)十分契合[10]，因此可以把NMF這一方法應(yīng)用到高光譜數(shù)據(jù)的波譜混合分離中。本文采用的是林智仁等[11]提出的基于投影梯度的NMF算法，相關(guān)數(shù)據(jù)計(jì)算基于Matlab2014b軟件編程實(shí)現(xiàn)。實(shí)現(xiàn)方法見(jiàn)公式(3)：

Vn×m≈Wn×k×Hk×m

(3)

同時(shí)要求：Wn×k≥0；Hk×m≥0。

式中：Vn×m為原始矩陣；Wn×k為基礎(chǔ)矩陣；Hk×m為特征矩陣。一般情況下要求k遠(yuǎn)小于m，即滿(mǎn)足(n+m)×k

NMF是一種困難的非確定性多項(xiàng)式(Non-deterministic Polynomial，NP)求解問(wèn)題，可以將其看作是一個(gè)優(yōu)化問(wèn)題，用迭代法求解。式(3)的乘法更新迭代法則見(jiàn)公式(4)和(5)：

(4)

(5)

經(jīng)典的NMF算法收斂速度比較緩慢，可通過(guò)使用投影梯度法加快收斂速率，這種方法雖然過(guò)程比較復(fù)雜，但整體收斂效率更快。由于分解后的矩陣中無(wú)負(fù)數(shù)元素，故原矩陣Vn×m中的列向量可以看作分解后Wn×k矩陣列向量的加權(quán)和，基礎(chǔ)系數(shù)為Hk×m矩陣中對(duì)應(yīng)列向量的元素(稱(chēng)為系數(shù)矩陣)[15]。

1.3.2 偏最小二乘

偏最小二乘(PLS)是一種集成了主成分分析、典型相關(guān)性分析、線性回歸分析優(yōu)點(diǎn)的多元統(tǒng)計(jì)分析技術(shù)，可以在提取出數(shù)據(jù)中主要特征的同時(shí)去除數(shù)據(jù)中的噪聲和自變量之間的多重相關(guān)性[16～18]。

PLS所建模型的質(zhì)量通常采用以下幾個(gè)統(tǒng)計(jì)參數(shù)來(lái)評(píng)定：

(1)相關(guān)系數(shù)R，該參數(shù)用來(lái)描述自變量與因變量之間的線性相關(guān)度，求解計(jì)算見(jiàn)公式(6)：

(6)

(2)預(yù)測(cè)標(biāo)準(zhǔn)差SEP，該參數(shù)用來(lái)評(píng)判預(yù)測(cè)數(shù)據(jù)偏離算數(shù)平均值的程度。求解計(jì)算見(jiàn)公式(7)和(8)：

(7)

(8)

式中：Ip為預(yù)測(cè)集樣本數(shù)；y^i為預(yù)測(cè)集樣本的預(yù)測(cè)值；yi為預(yù)測(cè)集樣本的實(shí)測(cè)值。

(3)預(yù)測(cè)均方根誤差RMSEP，該參數(shù)是預(yù)測(cè)集樣品的預(yù)測(cè)值和實(shí)際值之間誤差大小的數(shù)學(xué)反映。求解計(jì)算見(jiàn)公式(9)：

(9)

2 結(jié)果與分析

2.1 土壤有機(jī)質(zhì)含量

用重鉻酸鉀容量法對(duì)50個(gè)土樣的有機(jī)質(zhì)含量進(jìn)行測(cè)量，統(tǒng)計(jì)結(jié)果如表1所示，各樣本有機(jī)質(zhì)含量分布無(wú)規(guī)律，有較大的標(biāo)準(zhǔn)差與變異系數(shù)，大多數(shù)樣本有機(jī)質(zhì)含量分布在均值±2倍標(biāo)準(zhǔn)差以?xún)?nèi)，適合反演模型的建立，具有很好的代表性。

表1 土樣有機(jī)質(zhì)含量統(tǒng)計(jì)參數(shù)Table 1 Statistical parameters of soil sample organic matter content

2.2 不同含水率土壤光譜特性

土壤由多種成分組成，其組成成分和內(nèi)在性質(zhì)對(duì)其光譜特性有很大的影響。圖1為有機(jī)質(zhì)含量為1.116%的土壤在不同含水率下的光譜圖，圖中橫坐標(biāo)為波長(zhǎng)(nm)、縱坐標(biāo)為吸光度值(lg(1/R))。

圖1 有機(jī)質(zhì)含量為1.116%的不同含水率土壤的光譜圖Fig.1 Spectra of a soil sample with 1.116% SOM under different moisture content

從圖1可知，有機(jī)質(zhì)含量相同的土壤在不同含水率下的譜圖曲線變化趨勢(shì)相似，整個(gè)區(qū)域內(nèi)吸光度值隨土壤水分含量的升高而增大，且在1 410 nm和1 920 nm波段附近有較強(qiáng)的吸收峰，這兩個(gè)吸收峰是由水分子中的O-H鍵引起的[19～23]，吸收峰的寬度和高度隨含水率的增大呈上升趨勢(shì)。表明土壤水分對(duì)土壤有機(jī)質(zhì)近紅外光譜的檢測(cè)有很強(qiáng)的干擾。

2.3 基于非負(fù)矩陣分解的土壤水分影響消除

把經(jīng)預(yù)處理后的50個(gè)土樣在5種含水率(干土、5%、10%、15%、17%)下的共250組高光譜數(shù)據(jù)看作是2 121個(gè)波段，250個(gè)樣本所組成的矩陣Vn×m(m為光譜波段，n為樣本數(shù))，用NMF法將原始矩陣分解為基礎(chǔ)矩陣Wn×k和特征矩陣Hk×m。然后將分解后的干土的Wn×k矩陣(相對(duì)純凈且不受土壤水分和測(cè)定條件的影響[24])與濕土的Hk×m矩陣根據(jù)公式(3)進(jìn)行融合得到新的光譜數(shù)據(jù)Vn×m。圖2是以有機(jī)質(zhì)含量1.116%為例得到的不同含水率土壤及其重構(gòu)后的吸光度譜圖。

由圖2可知，各含水率土樣數(shù)據(jù)經(jīng)NMF分解重構(gòu)后，在可見(jiàn)光范圍內(nèi)，含水率為15%和17%的土樣重構(gòu)后的吸光度值較干土有明顯減少，在近紅外波段范圍內(nèi)，除1 920 nm處的吸收峰略高于原始干土樣本外，各含水率土樣重構(gòu)后的譜圖曲線與干土譜圖曲線重合效果非常好，說(shuō)明在近紅外區(qū)域，該方法可以很好地削弱水分影響，重現(xiàn)原始干土光譜特性。

圖2 不同含水率土壤及其重構(gòu)后的光譜數(shù)據(jù)Fig.2 The spectra of soil with different water content and its reconfiguration

此外，在運(yùn)用NMF方法對(duì)土壤光譜數(shù)據(jù)進(jìn)行波譜分離時(shí)，發(fā)現(xiàn)分離出的特征矩陣噪聲含量較多，故嘗試對(duì)不同含水率土樣分離后的特征矩陣進(jìn)行平滑度為3、5、10、20和30的平滑去噪處理，之后分別將干土的基礎(chǔ)矩陣與經(jīng)過(guò)平滑處理后不同含水率土樣的特征矩陣以及未經(jīng)平滑處理后不同含水率土樣的特征矩陣根據(jù)公式(1)進(jìn)行融合，得到2組新的光譜數(shù)據(jù)，用偏最小二乘法對(duì)其進(jìn)行建模預(yù)測(cè)以評(píng)價(jià)各平滑處理的效果。結(jié)果表明：當(dāng)平滑度為10、20和30時(shí)，因?yàn)槠交g隙過(guò)大，丟失了有用信息，預(yù)測(cè)相關(guān)系數(shù)均小于未經(jīng)平滑處理得到的預(yù)測(cè)相關(guān)系數(shù)，當(dāng)平滑度為3和5時(shí)，預(yù)測(cè)相關(guān)系數(shù)與未經(jīng)平滑處理得到的預(yù)測(cè)相關(guān)系數(shù)非常相近，說(shuō)明在NMF計(jì)算中已經(jīng)將土壤光譜數(shù)據(jù)中的噪聲分離到基礎(chǔ)矩陣中，簡(jiǎn)化了試驗(yàn)步驟。

2.4 偏最小二乘建模預(yù)測(cè)

鑒于室內(nèi)光譜可控因素較多，模型魯棒性好，且NMF重構(gòu)后可以在近紅外區(qū)域較好地實(shí)現(xiàn)原始干土土樣的特性曲線，為此，本研究在750～2 500 nm波段范圍內(nèi)采用PLS法對(duì)室內(nèi)采集的41個(gè)干土樣本的光譜數(shù)據(jù)建立土壤有機(jī)質(zhì)定量預(yù)測(cè)模型，9個(gè)土樣在5種含水率(干土、5%、10%、15%和17%)下經(jīng)NMF處理前后的共45個(gè)光譜數(shù)據(jù)作為預(yù)測(cè)集進(jìn)行預(yù)測(cè)分析驗(yàn)證。所建模型對(duì)校正集和預(yù)測(cè)集的預(yù)測(cè)效果如圖3所示，(a)為所建模型校正集的預(yù)測(cè)效果(校正相關(guān)系數(shù)為0.962，校正標(biāo)準(zhǔn)誤差為0.356，校正均方根誤差為0.381)，(b)為NMF處理前原始土壤數(shù)據(jù)作為預(yù)測(cè)集的預(yù)測(cè)效果，(c)為經(jīng)過(guò)NMF分解重構(gòu)后的土壤數(shù)據(jù)作為預(yù)測(cè)集的預(yù)測(cè)效果。

(a)校正集；(b)原始土樣預(yù)測(cè)集；(c)重構(gòu)土樣預(yù)測(cè)集 (a)Correction set；(b)Original soil prediction set；(c)R-constructed soil prediction set圖3 校正集和預(yù)測(cè)集的預(yù)測(cè)效果Fig.3 The prediction effect of correction set and prediction set

為了定量分析模型的預(yù)測(cè)精度，運(yùn)用公式(4)～公式(7)分別計(jì)算出預(yù)測(cè)相關(guān)系數(shù)R、預(yù)測(cè)標(biāo)準(zhǔn)差SEP和預(yù)測(cè)均方根誤差RMSEP，模型統(tǒng)計(jì)參數(shù)表如表2所示。

表2 土壤有機(jī)質(zhì)含量預(yù)測(cè)模型的統(tǒng)計(jì)參數(shù)

由表2可見(jiàn)，經(jīng)過(guò)NMF方法重構(gòu)后預(yù)測(cè)相關(guān)系數(shù)較原始土樣提高了0.059，預(yù)測(cè)標(biāo)準(zhǔn)差(SEP)降低了0.154，預(yù)測(cè)均方根誤差(RMSEP)降低了0.718。預(yù)測(cè)相關(guān)系數(shù)R越大，預(yù)測(cè)標(biāo)準(zhǔn)差SEP和預(yù)測(cè)均方根誤差RMSEP越小，模型預(yù)測(cè)效果越好[25，26]，表明NMF分解重構(gòu)后可以削弱水分對(duì)土壤有機(jī)質(zhì)檢測(cè)的影響。

3 討論與結(jié)論

近紅外光譜能夠通過(guò)對(duì)有機(jī)物特征官能團(tuán)的特征吸收檢測(cè)，確定未知物的化學(xué)結(jié)構(gòu)以及含量，土壤有機(jī)質(zhì)高光譜檢測(cè)便是基于這一原理。濕土土壤中水分子的O-H鍵在近紅外波段中有很強(qiáng)的吸收作用，影響了有機(jī)質(zhì)含量的檢測(cè)[27]。曾靜等[28]在近紅外光譜中檢測(cè)紫色土有機(jī)質(zhì)含量時(shí)發(fā)現(xiàn)，土壤水分在近紅外波段有較高的吸收系數(shù)，直接影響了近紅外技術(shù)檢測(cè)有機(jī)質(zhì)含量的精度。于雷等[29]研究發(fā)現(xiàn)水分中O-H鍵對(duì)近紅外光譜有明顯的吸收，影響了近紅外波段土壤有機(jī)質(zhì)含量的估測(cè)。以上研究結(jié)果均與本研究結(jié)果一致，說(shuō)明水分對(duì)土壤有機(jī)質(zhì)的光譜特性造成了影響。

本研究運(yùn)用NMF法對(duì)土壤數(shù)據(jù)進(jìn)行分解重構(gòu)，得到新的光譜特性曲線，且重構(gòu)后的光譜特性曲線與原干土的光譜特性曲線重合效果好，與陳紅艷等[24]的研究結(jié)果一致。用偏最小二乘對(duì)室內(nèi)光譜數(shù)據(jù)建立有機(jī)質(zhì)含量預(yù)測(cè)模型，分別對(duì)重構(gòu)前后土樣預(yù)測(cè)的有機(jī)質(zhì)含量進(jìn)行對(duì)比分析，用預(yù)測(cè)相關(guān)系數(shù)R、預(yù)測(cè)標(biāo)準(zhǔn)差SEP和預(yù)測(cè)均方根誤差RMSEP作為統(tǒng)計(jì)參數(shù)對(duì)模型質(zhì)量進(jìn)行評(píng)定[30，31]。結(jié)果表明NMF能夠在很大程度上削弱水分對(duì)土壤有機(jī)質(zhì)近紅外光譜檢測(cè)的影響，提升了對(duì)濕土土壤中有機(jī)質(zhì)含量的預(yù)測(cè)精度。

本研究針對(duì)在土壤有機(jī)質(zhì)高光譜檢測(cè)中，影響其檢測(cè)精度的主要因素水分開(kāi)展研究工作，在研究過(guò)程中發(fā)現(xiàn)光譜反射率受含水率影響的同時(shí)，土壤粒徑也對(duì)其有一定影響[32]，后續(xù)的研究將綜合考慮這兩因素，通過(guò)與參數(shù)校正等方法的結(jié)合進(jìn)一步提高預(yù)測(cè)精度。