基于頻譜圖的土壤有機(jī)碳含量高光譜反演

熊志立高會議萬莉

(1.安徽理工大學(xué)計(jì)算機(jī)與工程學(xué)院，安徽 淮南 232001；2.中國科學(xué)院合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031；3.安徽工業(yè)技術(shù)創(chuàng)新研究院六安院，安徽 六安 237100)

土壤有機(jī)碳(SOC)是土壤的重要組成部分，其主要由死亡植物和動物的遺體、有機(jī)廢棄物以及微生物分解產(chǎn)生的有機(jī)物質(zhì)組成[1]。SOC對于土壤的生物學(xué)、化學(xué)和物理性質(zhì)具有重要影響，同時也在全球碳循環(huán)過程中扮演著關(guān)鍵的角色[2]。SOC含量變化是土壤生態(tài)系統(tǒng)的安全和全球可持續(xù)利用的重點(diǎn)[3]。傳統(tǒng)的物理、化學(xué)方法檢測SOC含量效率低，這些過程通常是破壞性的，會影響土壤原有的結(jié)構(gòu)和組織，尤其是對于大面積的土壤調(diào)查來說，可能會導(dǎo)致土壤資源的浪費(fèi)和破壞。高光譜技術(shù)大范圍、高精度的數(shù)據(jù)采集能力，為決策者提供了全面的土壤信息，有助于土壤性質(zhì)的快速、精準(zhǔn)估算，為農(nóng)業(yè)生產(chǎn)、土壤保護(hù)和環(huán)境監(jiān)測提供了重要的技術(shù)手段[4-6]。

通過高光譜技術(shù)估算SOC含量，其中不同的數(shù)據(jù)的預(yù)處理對模型精度至關(guān)重要。眾多學(xué)者對土壤光譜采用了不同的數(shù)據(jù)預(yù)處理方法[7-9]，如倒數(shù)(1/R)、取對數(shù)(lgR)、一階微分(R′)等數(shù)學(xué)運(yùn)算用來增強(qiáng)光譜數(shù)據(jù)與SOC之間的特征相關(guān)性，并構(gòu)建了能夠處理大量光譜數(shù)據(jù)的統(tǒng)計(jì)建模方法和機(jī)器學(xué)習(xí)模型[10，11]，如支持向量機(jī)(SVM)、偏最小二乘回歸(PLSR)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)等。聶哲等[12]以東北典型黑土區(qū)表層土壤為研究對象，對原始光譜開展一階微分、倒數(shù)對數(shù)和連續(xù)統(tǒng)去除變換。鐘亮等[13]以江西省奉新縣北部土壤為研究對象，對光譜反射率進(jìn)行微分變換，包括0.5階微分(0.5DR)、1階微分(1DR)、1.5階微分(1.5DR)、對數(shù)的微分(LDR)等預(yù)處理方法。王海江等[14]以新疆鹽漬化土壤為研究對象，對土壤樣本光譜反射數(shù)據(jù)進(jìn)行開根號、一階微分根號處理、二階微分根號處理、和連續(xù)統(tǒng)去除處理等多種預(yù)處理方法。綜上，目前研究所使用的土壤特性高光譜反演方法大多局限于某一地區(qū)或者是某種土壤類型，以及目前的光譜數(shù)據(jù)預(yù)處理方法只是對頻率域(光譜吸收率或反射率)進(jìn)行變換，但沒有直接考慮到波長域的影響。

本實(shí)驗(yàn)以LUCAS數(shù)據(jù)集為研究對象，運(yùn)用分析短時傅里葉變換(STFT)和小波包變換(WPT)數(shù)據(jù)處理方法將光譜數(shù)據(jù)轉(zhuǎn)換為可以充分體現(xiàn)土壤吸收率隨波長變化的頻譜圖，而后利用構(gòu)建的CNN模型，對其特征信息識別與提取，最后進(jìn)行回歸預(yù)測。本研究的目的，探索使用頻譜圖估測SOC含量對于大規(guī)模土壤高光譜數(shù)據(jù)集的可行性；構(gòu)建基于頻譜圖的CNN回歸模型用于SOC含量分析，并與偏最小二乘回歸(PLSR)、一維卷積模型(1D-RDC)比較；對比STFT和WPT 2種變換的優(yōu)劣，選出最優(yōu)的估測模型。

1 實(shí)驗(yàn)材料與方法

1.1 LUCAS數(shù)據(jù)集

歐洲聯(lián)盟統(tǒng)計(jì)局(EUROSTAT)發(fā)布的是LUCAS 2009表土數(shù)據(jù)庫[15]。歐盟23個成員國20000個表層土(0～20cm)樣品，數(shù)據(jù)參數(shù)包含粒度分布、pH值、有機(jī)碳(g·kg-1)、碳酸鹽含量(g·kg-1)、磷含量(mg·kg-1)、總氮含量(g·kg-1)和光譜等特性，土壤類型包含農(nóng)田、耕地、草地、林地等6種。光譜數(shù)據(jù)由漫反射光譜儀(XDS)記錄光譜特征以0.5nm的光譜分辨率捕獲400～2500nm范圍，產(chǎn)生4200個數(shù)據(jù)點(diǎn)。

1.2 光譜數(shù)據(jù)選取與預(yù)處理

由于礦物土壤和有機(jī)土壤材料的光譜響應(yīng)存在很大差異，數(shù)據(jù)集中絕大多數(shù)為礦物土，因此將數(shù)據(jù)集中的有機(jī)土樣本剔除，保留約18000個礦物土壤樣本。將約18000個樣本劃分為訓(xùn)練集和測試集，數(shù)據(jù)劃分規(guī)則為隨機(jī)劃分。其中訓(xùn)練集樣本占比80%，驗(yàn)證集樣本用于檢驗(yàn)?zāi)Ｐ蜏?zhǔn)確度，占比為20%。樣本中SOC含量最小值為0g·kg-1，最大值199.2g·kg-1，平均值29.35g·kg-1，中位數(shù)19.6g·kg-1。每個樣本具有4200個數(shù)據(jù)點(diǎn)，對數(shù)據(jù)進(jìn)行1∶4下采樣(每2nm保留1個值)，下采樣到1050個數(shù)據(jù)點(diǎn)。目的是減少數(shù)據(jù)的維度，去除數(shù)據(jù)集中的噪聲和冗余信息，保留主要特征，減少存儲和計(jì)算成本，提高數(shù)據(jù)處理和計(jì)算的效率，加快模型訓(xùn)練和預(yù)測的速度。

1.3 頻譜圖

譜圖是信號在二維空間中的表示，其中信號的幅度由像素的值表示。STFT和WPT都是生成時頻圖的信號分析算法，土壤光譜數(shù)據(jù)沒有時間域，所以本文中將波長域看作時間域，這種頻譜圖展示了土壤反射率隨波長變化的情況，而非隨時間變化的情況。

1.4 短時傅里葉變換

短時傅里葉變換(Short-Time Fourier Transform，STFT)是一種將信號分解成時頻域的方法，用于分析信號的時變頻譜特性[16]。具體來說，其將信號分成一系列長度相等的窗口，并對每個窗口內(nèi)的信號進(jìn)行傅里葉變換。每個窗口上的傅里葉變換產(chǎn)生1個時頻圖，所有窗口上的時頻圖按時間排列起來，形成1個二維矩陣，即時頻矩陣。

給定1個輸入信號x(τ)，STFT將其分解為若干個窗口函數(shù)的加權(quán)傅里葉變換。

式中，S(t，f)表示在時間t和頻率ω處的頻譜結(jié)果；w(τ-t)是窗口函數(shù)，窗口函數(shù)的長度決定了頻譜的時間和頻率分辨率；e-jωτ是復(fù)指數(shù)函數(shù)，表示頻率為ω的正弦波。

STFT將輸入信號x(t)在時域中通過窗口函數(shù)進(jìn)行分段，并在每個窗口上執(zhí)行傅里葉變換來得到頻譜信息。窗口函數(shù)w(t)通常是一個具有良好頻率特性的函數(shù)，如Hann窗、矩形窗等。通過對不同時間段的窗口信號進(jìn)行傅里葉變換，STFT將時域的信號轉(zhuǎn)化為在頻域中隨時間變化的時頻圖像。這樣可以獲得信號在不同頻率上的時變特性，并提供信號的頻譜時序信息。在本實(shí)驗(yàn)中，采用了土壤的光譜數(shù)據(jù)作為初始輸入信號，并選用了Hann函數(shù)作為窗函數(shù)進(jìn)行處理。窗口長度為64，窗口重疊數(shù)為32。Hann函數(shù)計(jì)算公式：

式中，n表示窗口內(nèi)的樣本索引；M表示窗口的長度。由LUCAS數(shù)據(jù)集中土壤光譜經(jīng)過STFT得到的頻譜圖見圖1a。

圖1 頻譜圖

1.5 小波包變換

小波包變換(Wavelet Packet Transform，WPT)是小波變換的一種擴(kuò)展形式，其將信號分解為不同頻率和尺度的子頻帶，并且具有更高的靈活性和多分辨率特性[17]。WPT的關(guān)鍵優(yōu)勢在于其能夠根據(jù)分析需求，靈活調(diào)整信號的頻率和時間分辨率。與普通的小波變換相比，小波包變換在掌握和揭示信號的細(xì)微特征方面提供了更高的靈活性和更多的自由度。

設(shè)原始信號為x(t)，其中t表示時間。通過小波包變換，將原始信號進(jìn)行分解與重構(gòu)，小波包變換具體的公式如下。

小波包變換的具體計(jì)算會涉及到選擇合適的小波包基函數(shù)、尺度和頻率參數(shù)的設(shè)定，以及數(shù)值計(jì)算的方法選擇(如積分的數(shù)值近似等)。本實(shí)驗(yàn)選用的是Coiflet小波，以及7層變換層數(shù)，以LUCAS數(shù)據(jù)集中土壤光譜生成的頻譜圖見圖1b。

1.6 模型構(gòu)建方法

1.6.1 偏最小二乘回歸

偏最小二乘回歸(PLSR)是一種統(tǒng)計(jì)學(xué)方法。其通過計(jì)算輸入變量與輸出變量之間的協(xié)方差矩陣來確定輸入變量的線性組合，這些線性組合被稱為潛在變量。PLSR使用這些潛在變量來建立回歸模型，從而在考慮輸入變量相關(guān)性的同時，提高模型的預(yù)測性能和解釋能力。

1.6.2 一維卷積神經(jīng)網(wǎng)絡(luò)

一維卷積(1D Convolution)是指對一維序列數(shù)據(jù)進(jìn)行卷積操作，通常應(yīng)用于時間序列數(shù)據(jù)或一維信號數(shù)據(jù)的處理，通過滑動窗口和對應(yīng)位置元素相乘再相加的方式來提取特征[18]。由于1050個光譜數(shù)據(jù)較長，構(gòu)建的殘差擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)(1D-RDC)的模塊結(jié)構(gòu)需多次使用擴(kuò)張卷積和殘差連接的方式，如表1所示，增強(qiáng)了輸入序列中的特征表示能力，并且保持了輸入序列的維度不變。通過使用擴(kuò)張卷積可以捕捉更廣泛的上下文信息，以增強(qiáng)特征提取的能力。整個一維卷積結(jié)構(gòu)由3個模塊加上2層全連接層組成。

表1 1D-RDC模塊結(jié)構(gòu)

1.6.3 二維卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是一種深度學(xué)習(xí)模型，主要用于圖像和視頻等二維數(shù)據(jù)的處理和分析[19]。CNN的基本結(jié)構(gòu)由卷積層、池化層和全連接層組成。卷積層是CNN的核心部分，其通過卷積操作對輸入數(shù)據(jù)進(jìn)行特征提取。通過多個卷積核，卷積操作能夠提取圖像中的局部特征，如邊緣、紋理等，從而捕捉到圖像的局部空間結(jié)構(gòu)。通過不斷堆疊多個卷積層，網(wǎng)絡(luò)可以逐漸提取到更加抽象的特征。

CNN通過反向傳播算法進(jìn)行訓(xùn)練，不斷調(diào)整網(wǎng)絡(luò)的權(quán)重參數(shù)，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到輸入數(shù)據(jù)的特征表示，從而在分類、目標(biāo)檢測、圖像分割等任務(wù)中取得優(yōu)秀的性能。本次實(shí)驗(yàn)構(gòu)建的卷積網(wǎng)絡(luò)結(jié)構(gòu)見表2，表2簡要總結(jié)了這些層，其中包含4個卷積層2個全連接層。

表2 二維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.7 精度評價指標(biāo)

模型的模擬和預(yù)測性能通過決定系數(shù)R2和均方根誤差RMSE進(jìn)行驗(yàn)證，計(jì)算公式：

2 結(jié)果與討論

2.1 實(shí)驗(yàn)結(jié)果和模型評價

本次實(shí)驗(yàn)共構(gòu)建了4種估測模型：偏最小二乘回歸(PLSR)，一維殘差擴(kuò)張卷積模型(1D-RDC)，短時傅里葉變換加卷積模型(STFT-CNN)，小波包變換加卷積模型(WPT-CNN)，4個模型預(yù)測值與實(shí)測值的關(guān)系如圖2所示。由表3可知，訓(xùn)練集擬合的4個模型中，WPT-CNN表現(xiàn)最佳，獲得了最高的決定系數(shù)0.90和最低的均方根誤差9.13，具有更佳的精度和穩(wěn)定性，相比于STFT-CNN的R2提高了10%，對應(yīng)的RMSE降低了26%。其中PLSR模型和1D-RDC的R2相同，但在RMSE方面1D-RDC表現(xiàn)更好。模型在驗(yàn)證集上的回歸適配性和預(yù)測準(zhǔn)確度是評價其性能的關(guān)鍵指標(biāo)，其直接體現(xiàn)了模型對于新數(shù)據(jù)的泛化能力。其中WPT-CNN的決定系數(shù)最高，為0.84，同時RMSE也是最小11.20，相比于STFT-CNN的R2提高了10%，RMSE降低了16%。在對比1D-RDC與PLSR模型時，觀察到在采用相同光譜數(shù)據(jù)集和預(yù)處理方法的前提下，1D-RDC展現(xiàn)出了更佳的建模表現(xiàn)，其在關(guān)鍵性能指標(biāo)上均超過了傳統(tǒng)的PLSR模型。這一結(jié)果凸顯了卷積神經(jīng)網(wǎng)絡(luò)模型在處理大量樣本時的優(yōu)越性，不僅具備高度的回歸擬合能力，還能實(shí)現(xiàn)精確的預(yù)測，顯示出其強(qiáng)大的學(xué)習(xí)力。在比較1D-RDC、STFT-CNN和WPT-CNN 3種方法時，研究發(fā)現(xiàn)，將數(shù)據(jù)轉(zhuǎn)換為頻譜圖并輸入到CNN模型進(jìn)行預(yù)測分析，可以更充分地挖掘數(shù)據(jù)的潛力，實(shí)現(xiàn)深層次的訓(xùn)練，從而更準(zhǔn)確地反映樣本的實(shí)際測量值。

表3 不同模型的SOC估算精度對比

圖2 不同模型SOC含量實(shí)測值與估測值比較

2.2 實(shí)驗(yàn)結(jié)果分析

本研究表明，CNN模型借助其深度學(xué)習(xí)架構(gòu)，能夠有效識別并學(xué)習(xí)頻譜圖的內(nèi)在特性，從而獲得更為精細(xì)的局部抽象特征表示。當(dāng)這些深入挖掘的數(shù)據(jù)特征被用于SOC真實(shí)值的預(yù)測時，能夠顯著提升預(yù)測的性能。其中小波包變換的頻譜圖比短時傅里葉變換的頻譜圖具有更佳的回歸效果。可能是因?yàn)樾〔ò儞Q能夠在時域和頻域上提供更好的局部分辨率，可以顯示信號的瞬時頻率變化情況。相比之下，短時傅里葉變換在頻譜分析上的時頻分辨率較差，對于短時變化的頻率信息的提取能力有限。另外，小波包變換對于噪聲和干擾的抑制能力更強(qiáng)，能夠更有效地提取出信號的有效信息，對于信號的頻譜分析更具優(yōu)勢。

3 結(jié)論

本研究利用LUCAS土壤樣本的高光譜數(shù)據(jù)，結(jié)合頻譜圖數(shù)據(jù)處理技術(shù)和CNN模型，成功實(shí)現(xiàn)了對土壤中有機(jī)碳含量的準(zhǔn)確預(yù)測。結(jié)果表明，經(jīng)過STFT和WPT數(shù)據(jù)處理后得到的頻譜圖能很好地被CNN模型學(xué)習(xí)并進(jìn)行高精度擬合，可為大規(guī)模SOC含量高光譜估測提供一種新思路。其中WPT比STFT能更好地增強(qiáng)光譜信息特征?；陬l譜圖數(shù)據(jù)處理方法和卷積神經(jīng)網(wǎng)絡(luò)建模方法的SOC含量估測模型展現(xiàn)出了可行性和有效性。在大型土壤高光譜數(shù)據(jù)集的表現(xiàn)上，該模型不僅能夠?qū)崿F(xiàn)對訓(xùn)練樣本的高精度擬合，還能夠?qū)崿F(xiàn)對檢驗(yàn)樣本的高精度估測。與傳統(tǒng)模型相比，該模型的估測精度明顯更優(yōu)。然而，尋找最優(yōu)網(wǎng)絡(luò)參數(shù)以進(jìn)一步提高估測精度等方面仍有待深入研究。