土壤堿解氮含量可見/近紅外光譜預(yù)測模型優(yōu)化

汪六三，魯翠萍，王儒敬，黃　偉，郭紅燕，汪玉冰，林志丹，王　鍵，蔣　慶，宋良圖

(1.中國科學院合肥智能機械研究所，安徽合肥　230031;　2.合肥電子工程學院，安徽合肥　230037)

1　引　言

氮素是作物最重要的營養(yǎng)元素，對絕大部分作物來說，生長所需的氮素90%以上來源于土壤［1］。分析測定土壤中各種形態(tài)的氮含量，對了解土壤氮的供給水平和指導(dǎo)施肥具有重要意義;在精準農(nóng)業(yè)生產(chǎn)中，土壤不同形態(tài)氮素水平的測定是精準施肥或平衡施肥的重要依據(jù)。土壤堿解氮是土壤氮素的重要指標之一，堿解氮含量的高低能反映出近期土壤氮素豐缺。

傳統(tǒng)土壤堿解氮的測定是基于濕化學法［2］，操作復(fù)雜、測量時間長、成本高，難以滿足快速檢測土壤堿解氮含量的需求。可見/近紅外光譜技術(shù)具有快速、無損、無污染等特點，它可以在短時間內(nèi)分析大量土壤樣品，實現(xiàn)土壤參數(shù)的快速測量，在土壤養(yǎng)分檢測中得到大量應(yīng)用［3-9］。通?？梢?近紅外光譜包括百千個波長變量，而這些變量中含有與待測屬性無關(guān)的冗余噪聲［10］。因此，建模前有必要對波長變量進行選擇。這樣可以剔除不相關(guān)的變量，簡化模型，更重要的是可以提高校正模型的預(yù)測能力。常用的變量選擇方法包括:無信息變量消除法(Uninformative variable elimination，UVE)［11］、遺 傳 算 法 (Genetic algorithms，GA)［12］、連續(xù)投影算法(Successive projections algorithm，SPA)［13］、競爭性自適應(yīng)重加權(quán)算法(Competitiveadaptivereweightedsampling，CARS)［14］、隨機蛙跳(Random frog，RF) 等［15］。劉燕德等［16］以江西臍橙果園土壤為研究對象，通過遺傳算法、連續(xù)投影算法、競爭性自適應(yīng)加權(quán)算法篩選出有機質(zhì)敏感波段，結(jié)果顯示競爭性自適應(yīng)加權(quán)算法更加有效。賈生堯等［17］利用變量投影重要性(Variable importance in the projection，VIP)、無信息變量消除法選擇波長變量，并分別用遞歸偏最小二乘回歸法(Recursive partial least squares regression，RPLS)、偏最小二乘回歸法(Partial least squares regression，PLS)建立土壤全氮和有機質(zhì)含量預(yù)測模型，結(jié)果表明VIP-RPLS對土壤全氮和有機質(zhì)含量具有更高的預(yù)測精度。高洪智等［18］將連續(xù)投影算法與貢獻值結(jié)合篩選土壤總氮的特征波長，所建模型的預(yù)測精度優(yōu)于全譜偏最小二乘回歸結(jié)果。林志丹等［19］針對土壤有機質(zhì)含量預(yù)測，使用連續(xù)投影算法和遺傳算法進行波長優(yōu)選，主成分回歸構(gòu)建預(yù)測模型。結(jié)果顯示連續(xù)投影算法和遺傳算法都能夠有效減少參與建模的波長數(shù)且提高模型預(yù)測精度。

本文以寧夏吳忠地區(qū)75個水稻土樣為研究對象，利用可見/近紅外光譜技術(shù)采集土壤樣品光譜，比較不同預(yù)處理方法和原始光譜對預(yù)測模型的效果，探討GA、SPA、CARS、RF 4種波長選擇算法對土壤堿解氮含量預(yù)測模型的影響，為土壤堿解氮含量快速獲取和儀器開發(fā)提供技術(shù)支持。

2　材料與方法

2.1　樣本采集、制備和劃分

在寧夏吳忠市葉盛貢米種植基地2號地(954畝)采集土壤樣品75個。土樣的采樣范圍為北緯38°07'23.65″～ 北緯 38°07'39.64″，東經(jīng)106°11'27.66″～ 東經(jīng) 106°12'03.28″;采集的土壤去除雜物后，讓其自然風干。風干后的土壤樣品先經(jīng)過人工碾磨，然后過篩。根據(jù)分析項目的要求，過60目數(shù)的篩子。每個樣品分兩份，一份用于實驗室化學分析，另一份用于光譜分析，用自封袋對土樣進行密封保存，并統(tǒng)一編號。土壤樣本共75個，使用SPXY(Sample set partitioning based on joint x-y distance)方法對樣本按4∶1進行劃分，其中建模集60個，預(yù)測集15個樣本，如表1所示。

表1　土壤樣品堿解氮測量值分布Tab.1　Measurement distribution of soil available nitrogen mg·kg－1

2.2　土壤樣本光譜采集

本實驗采用美國Veris公司的可見/近紅外光譜土壤檢測系統(tǒng)。該系統(tǒng)將光源和漫反射收集集成于一個犁頭內(nèi)。犁頭底部固定有藍寶石窗片。這種窗片在近紅外波段透過率大約為90%且足夠耐用，能夠承受與土壤的連續(xù)接觸。系統(tǒng)使用鹵素燈照射土壤，漫反射光通過光纖傳導(dǎo)進入光譜儀。置于犁頭內(nèi)的光學快門每隔5 min自動獲取暗光譜。光譜儀每秒大約采集20個光譜，同時通過USB接口傳輸給電腦保存。采集程序使用 Labview(National Instruments，Austin，TX，USA)編寫。光纖傳導(dǎo)漫反射光進入兩個分立的光譜儀。一個光譜儀(Ocean optics，USB4000)使用硅CCD作為探測器測量342～1 050 nm波段光強，光譜分辨率為3 nm;另一個光譜儀(Hamamatsu，C9914GB)使用InGaAs陣列探測器測量1 000～2 221.5 nm波段光強，光譜分辨率為8 nm。犁頭安裝于一個支架上，支架上安裝有光譜儀、控制器等光譜采集與控制處理系統(tǒng)。整個系統(tǒng)包含兩種測量模式——田間動態(tài)測量模式和實驗室靜態(tài)測量模式。本研究中，我們將犁頭從支架上拆卸下來，在實驗室條件下采集土壤光譜。

為了使光源保持穩(wěn)定，鹵素燈光源至少預(yù)熱20 min左右。將過篩的土壤樣品裝入樣品杯，用樣品杯蓋將樣品杯內(nèi)的樣品壓實壓平。樣品杯貼近探頭窗口，采集土壤樣本光譜，轉(zhuǎn)動樣品杯，每個樣品重復(fù)掃描3次，求其平均光譜曲線。

圖1　可見/近紅外土壤屬性測定儀結(jié)構(gòu)示意圖。其中:①藍寶石窗;②鹵素燈;③漫反射光收集探頭;④光纖;⑤光譜儀;⑥電源。

2.3　光譜預(yù)處理

樣本表面不均引起的散射現(xiàn)象、裝樣量不一致引起的光程差、暗電流和儀器隨機噪聲引起的光譜曲線不重復(fù)現(xiàn)象和基線漂移現(xiàn)象，以及樣本不同成分自檢相互干擾引起的背景因素和多重共線性等無用信息對光譜曲線均有影響［20］。為了達到較好的預(yù)測效果，通常需要對光譜數(shù)據(jù)進行預(yù)處理。本研究分別對土壤樣本光譜數(shù)據(jù)進行了Savitzky Golay平滑(SG smoothing)、多元散射校正(Multiple scatter correction，MSC)、標準正態(tài)變量變換(Standard normal variate，SNV)等預(yù)處理，并對各種預(yù)處理效果和原始光譜數(shù)據(jù)效果進行了比較，具體見下文。光譜預(yù)處理使用Uncrambler X 10.4(CAMO，Norway)和 Matlab2012b(Math-Works，USA)軟件。

2.4　波長篩選

原始光譜數(shù)據(jù)量大，同時存在冗余噪聲和大量共線信息，對光譜建模存在干擾，需要對波長進行篩選。本文對文中使用的遺傳算法(GA)、連續(xù)投影算法(SPA)、競爭性自適應(yīng)重加權(quán)算法(CARS)和隨機蛙跳(RF)算法作一個簡單介紹，具體的可以參見文獻［12-15］。

遺傳算法是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬生物進化隨機尋優(yōu)求解的常用算法。它利用選擇、交換和突變等算子的操作，隨著不斷的遺傳迭代，使目標函數(shù)值較優(yōu)的變量被保留，較差的變量被淘汰，最終達到最優(yōu)結(jié)果。

連續(xù)投影算法是一種減少變量共線性問題的前向循環(huán)選擇方法。利用向量的投影分析，該方法從一個波長開始，每次循環(huán)都計算它在未選入的波長上的投影，將投影向量最大的波長引入到波長組合。每一個新選入的波長，都與前一個線性關(guān)系最小。

競爭性自適應(yīng)重加權(quán)算法是一種基于回歸系數(shù)進行波長選擇的方法。該方法模擬達爾文進化理論的“適者生存”原則，將每個波長看作一個體，對波長進行逐步淘汰，每次采樣過程中利用自適應(yīng)重加權(quán)采樣技術(shù)和指數(shù)衰減函數(shù)結(jié)合的方法優(yōu)選出PLS模型中回歸系數(shù)絕對值大的波長點，去除PLS模型中回歸系數(shù)值權(quán)重較小的波長，并計算變量子集RMSECV值，最后選擇最小RMSECV子集作為最優(yōu)變量子集。

隨機蛙跳是一種迭代方式工作的波長選擇方法。首先一個變量子集被隨機選擇，基于這個選擇的變量子集按照一定的幾率進行迭代，每迭代一次，變量子集更新一次。經(jīng)過N次迭代后，每個變量選擇的幾率被計算出來。然后幾率高的變量用來建立PLS模型，RMSECV最小的PLS模型對應(yīng)的變量為最優(yōu)變量。

本研究中，GA和SPA算法分別使用GAPLS工具箱、SPA工具箱實現(xiàn)［21］;CARS和RF算法使用LibPLS工具箱［22］實現(xiàn)。GAPLS工具箱要求初始變量小于200。因此首先對光譜數(shù)據(jù)使用三點平均后波長數(shù)由380減為127，再使用GA進行波長篩選。

2.5　模型驗證與評價

模型分別采用完全交互驗證和外部驗證對其性能進行評價，由決定系數(shù)(R2)、建模均方根誤差(RMSECV)、預(yù)測均方根誤差(RMSEP)和預(yù)測相對分析誤差(RPD)來評價。在建模分析中，R2和RPD值高為好，同時RMSECV和RMSEP值低為好。當RPD值位于1.5～2之間表示所建立的模型對分析指標具有一定的預(yù)測能力，當位于2～2.5之間表示所建立的模型對分析指標定量預(yù)測是可行的，2.5～3之間表示所建立的模型具有較好的預(yù)測精度［3，23］。

3　結(jié)果與討論

3.1　光譜數(shù)據(jù)預(yù)處理

75份土壤樣品的可見/近紅外光譜吸收圖譜如圖2所示，在1 400 nm和1 900 nm附近有明顯的水分子吸收峰。

圖2　75份土壤樣品的可見/近紅外光譜

去除340～366 nm噪聲大的波段，選取366～2 221.5 nm波段光譜數(shù)據(jù)作為后續(xù)數(shù)據(jù)處理。對土壤光譜數(shù)據(jù)分別采用SG smoothing、SNV、MSC等預(yù)處理方法進行光譜預(yù)處理，分別建立PLS模型。本文建立的所有預(yù)測模型由決定系數(shù)(R2)、建模均方根誤差(RMSECV)、均方根預(yù)測誤差(RMSEP)和相對預(yù)測偏差(RPD)評價，其中R2和RPD值越大，RMSECV、RMSEP值越小，模型性能越好。

表2　不同預(yù)處理方法的PLS建模結(jié)果Tab.2　Results of PLSmodels obtained with different spectral pretreatmentmethods

表2給出了不同預(yù)處理方法PLS建模結(jié)果。本次實驗發(fā)現(xiàn)采集的光譜不經(jīng)過任何預(yù)處理效果最好，是由于光譜采集時儀器性能穩(wěn)定，制備的樣品過了60目篩，樣品的顆粒度比較小和均勻。

圖3　土壤光譜和GA變量篩選結(jié)果

表3　不同波長篩選方法的PLS建模結(jié)果Tab.3　Results of PLSmodes obtained with differentwavelength selection

圖4　SPA運行結(jié)果

3.2　波長篩選

圖3顯示了基于GA算法的波長篩選結(jié)果。GA算法操作過程中依賴于隨機數(shù)發(fā)生器，每次運行的解是不同的，多次運行可以獲得廣泛可能的解，對GA算法進行了5次運行。圖中上半部分為建模集樣品可見/近紅外光譜，圖中下半部分橫線為5次運行的波長篩選結(jié)果。從圖中可以看出5次運行篩選的波長主要集中在400～700 nm、1 100～1 500 nm波段?；谶x擇的波長建立GA-PLS土壤堿解氮定量預(yù)測模型，5次預(yù)測結(jié)果的均值如表3所示。

圖4表示使用SPA算法進行波長選擇的結(jié)果。從圖中可以看出選取了4個變量，對應(yīng)波長為535.85，619.66，1 091.49，1 817.58 nm?；谶@4個變量建立了SPA-PLS土壤堿解氮定量預(yù)測模型，預(yù)測結(jié)果如表3所示。雖然SPA-PLS模型參與建模的變量數(shù)僅獲得4個變量，占原始變量的 1%，SPA-PLS模型的性能適當，R2為0.726，RPD值為1.906，結(jié)果表明PSA-PLS模型對土壤堿解氮有一定的預(yù)測能力。

圖5表示運行一次CARS算法，隨著采樣數(shù)的增加，采樣變量數(shù)(圖5(a))、十折交叉驗證RMSECV值(圖5(b))、各變量回歸系數(shù)(圖5(c))的變化趨勢。從圖5中可以看出，CARS變量選擇過程分兩個階段進行。第一階段由于指數(shù)衰減函數(shù)的作用，采樣的變量數(shù)減少速度很快，稱為粗選;第二階段采樣的變量數(shù)減少速度減慢，稱為細選。在1～25采樣區(qū)間，RMSECV值隨著采樣數(shù)的增加減少快速，表明消除了與堿解氮無關(guān)變量;采樣超過25后，隨著采樣次數(shù)的繼續(xù)增加，RMSECV值又逐漸遞增，表明光譜中與堿解氮相關(guān)的重要信息被剔除了。圖中顯示采樣25時，RMSECV值最小(圖5(c)中星號垂線標示)。因此，第25次蒙特卡羅采樣獲得的變量為預(yù)測土壤堿解氮含量的關(guān)鍵變量，共計29個特征波長，依次為455.18，484.26，501.56，530.17，558.47，597.58，608.65，679.35，778.83，789.03，995.24，999.74，1 013.12，1 075.28，1 080.7，1 091.49，1 096.86，1 323.96，1 328.95，1 769.18，1 890.49，1 898.91，1 907.31，1 977.34，1 981.38，1 985.42，2 168.37，2 198.73，2 221.53 nm?；贑ARS算法獲得的29個特征波長建立PLS模型對土壤堿解氮進行定量預(yù)測，預(yù)測性能如表3所示。

圖6表示基于Random frog算法運行10 000次結(jié)果的均值，由于Random frog算法每次運行的結(jié)果略有差異，所以需要多次運行并且結(jié)果取平均值。越重要的變量，被選擇的概率越大。依據(jù)經(jīng)驗，以0.3為閾值，選擇概率大于閾值的波長將被作為特征波長。因此，獲得了13個超過點線(0.3)的波長(501.56，789.03，912，949.56，1 283.78，1 323.96，1 719.88，1 769.18，1 773.6，1 839.26，2 095.77，2 118.83 nm)作為特征波長，作為 Random frog算法運行10 000次后的結(jié)果?；?3個特征波長建立RF-PLS土壤堿解氮定量預(yù)測模型，預(yù)測結(jié)果如表3所示。

從表3可知，采用SPA提取的特征波長建立的PLS模型的效果最好，預(yù)測集的決定系數(shù)為0.726，均方根預(yù)測誤差 3.616，相對分析誤差為1.906。采用CARS選擇的特征波長建立的模型預(yù)測效果最差，預(yù)測集的決定系數(shù)為0.536，均方根預(yù)測誤差8.005，相對分析誤差為0.861。比較基于GA、Random frog算法提取的特征波長建立的PLS模型可知，其預(yù)測能力均低于全譜PLS模型，可能是GA、Random frog選取的特征波長中包含無用信息，沒有達到最優(yōu)選作用。依據(jù)模型評價標準，SPA、GA和Random frog算法及全譜PLS模型均對土壤堿解氮具備一定的預(yù)測能力，相對于全譜PLS，SPA、GA和Random frog算法簡化了模型;CARS算法模型未能體現(xiàn)其對土壤堿解氮的預(yù)測能力，分析可能是由于CARS算法在波長篩選過程中剔除了重要波長變量。

圖5　CARS運行結(jié)果。(a)篩選過程中采樣變量數(shù)的變化趨勢;(b)10折交叉驗證所得殘差RMSECV;(c)各變量回歸系數(shù)隨著采樣次數(shù)增加的變化趨勢。

圖6　Random frog選擇波長的概率

4　結(jié)　論

利用可見/近紅外光譜技術(shù)對土壤堿解氮含量進行了檢測。用SG、MSC、SNV對原始光譜數(shù)據(jù)進行了預(yù)處理，基于全光譜建立了土壤堿解氮含量PLS預(yù)測模型，比較了不同預(yù)處理方法和原始光譜的預(yù)測效果。結(jié)果表明原始光譜數(shù)據(jù)建立的模型最優(yōu)，分析是由于光譜采集時儀器性能穩(wěn)定，樣品的顆粒度比較小和均勻(過60目篩)。在原始光譜數(shù)據(jù)的基礎(chǔ)上，采用GA算法、SPA算法、CARS算法和Random frog算法提取特征波長，并基于特征波長建立PLS預(yù)測模型。結(jié)果顯示，與全譜PLS模型相比，SPA算法建立的預(yù)測模型效果最好，GA算法、CARS算法和Random frog算法建立的模型的預(yù)測效果均低于全譜PLS模型，說明SPA算法對于土壤堿解氮是一種有效的波長篩選方法。本文的研究為土壤堿解氮含量的快速檢測和儀器開發(fā)奠定了基礎(chǔ)。