基于隨機(jī)森林算法高分土壤濕度產(chǎn)品的構(gòu)建與評(píng)估

朱宏武， 羅 丹， 朱 亮， 賀 煒

（1.湖南省氣象信息中心， 湖南 長(zhǎng)沙 410118； 2.氣象防災(zāi)減災(zāi)湖南省重點(diǎn)實(shí)驗(yàn)室， 湖南 長(zhǎng)沙 410118；3.湖南省氣象服務(wù)中心， 湖南 長(zhǎng)沙 410118）

0 引 言

干旱通常發(fā)生在農(nóng)作物生長(zhǎng)的重要時(shí)期，是影響農(nóng)業(yè)生產(chǎn)最為嚴(yán)重的自然災(zāi)害[1]。湖南地處青藏高原下方，是南北冷暖空氣主要交匯地，地形多樣、氣候復(fù)雜，旱災(zāi)風(fēng)險(xiǎn)高，抗旱形勢(shì)嚴(yán)峻。2013 年中國南方13 省遭遇重大旱災(zāi)，湖南糧食減產(chǎn)超過16 億斤，是受災(zāi)最為嚴(yán)重的省份之一。在全球氣候變暖背景下，湖南天氣氣候極端事件增多增強(qiáng)，2022 年湖南干旱覆蓋范圍廣、持續(xù)時(shí)間長(zhǎng)，創(chuàng)造了1961 年以來最強(qiáng)高溫干旱紀(jì)錄，給農(nóng)業(yè)生產(chǎn)帶來了嚴(yán)重影響。干旱災(zāi)害防御在湖南一直受到高度重視。干旱過程與大氣狀態(tài)、土壤質(zhì)地類型、土壤含水量及植被情況等多種因素相關(guān)。其演變過程極其復(fù)雜，時(shí)間空間變化隨機(jī)性強(qiáng)，不同地區(qū)干旱特征和趨勢(shì)變化差異很大。由于干旱監(jiān)測(cè)站點(diǎn)少，設(shè)備昂貴，實(shí)現(xiàn)對(duì)較大范圍干旱過程動(dòng)態(tài)、精準(zhǔn)監(jiān)測(cè)難度非常大。為最大限度地減少旱災(zāi)造成的影響，開展干旱精細(xì)化監(jiān)測(cè)研究對(duì)于有效抗旱減災(zāi)、保障農(nóng)業(yè)生產(chǎn)具有重要意義。

土壤濕度表征土壤的干濕程度即土壤的實(shí)際含水量，是水資源循環(huán)與能量耗散模型中的重要變量。土壤濕度與大氣環(huán)境中氣溫、蒸發(fā)量、降水量等變量狀態(tài)變化緊密關(guān)聯(lián)[2]，對(duì)土壤濕度狀態(tài)變化分析是有效開展干旱監(jiān)測(cè)的重要手段[3-4]。土壤濕度測(cè)定可通過觀測(cè)站定點(diǎn)觀測(cè)[5]及衛(wèi)星遙感數(shù)據(jù)獲得[6]，還可以通過陸面模式重構(gòu)獲取[7-8]。不同獲取方式優(yōu)缺點(diǎn)不同，定點(diǎn)觀測(cè)的數(shù)據(jù)具有最好的精準(zhǔn)度，但由于建站成本高，覆蓋度有限，表達(dá)土壤濕度區(qū)域狀態(tài)能力有限。衛(wèi)星遙感數(shù)據(jù)產(chǎn)品具有良好的空間覆蓋度，雖然探測(cè)土壤深度不超過10 cm，但它能夠真實(shí)地表征較大空間范圍土壤濕度狀態(tài)對(duì)異常天氣產(chǎn)生的干旱快速響應(yīng)。

近年對(duì)土壤濕度觀測(cè)的衛(wèi)星SMMR、ASMR-E、SMOS、SWAP 等相繼發(fā)射，為土壤濕度研究提供了良好的數(shù)據(jù)支撐。然而通過衛(wèi)星獲取的土壤濕度產(chǎn)品分辨率在10～40 km 之間，不能有效滿足市縣級(jí)干旱過程動(dòng)態(tài)監(jiān)測(cè)的精細(xì)化需求。通過陸面模式獲取的土壤濕度具備較大空間覆蓋度和較好的時(shí)空連續(xù)性，主流產(chǎn)品包括GLDAS、NLDAS、CLDAS 等，分辨率在7～27 km，對(duì)干旱精細(xì)化監(jiān)測(cè)支撐仍然有限。

高空間分辨率土壤濕度產(chǎn)品不能直接獲取，如何構(gòu)建高分辨率土壤濕度產(chǎn)品吸引了眾多專家學(xué)者興趣。國內(nèi)外文獻(xiàn)通常基于粗糙分辨率土壤濕度產(chǎn)品，應(yīng)用通用三角形、回歸、機(jī)器學(xué)習(xí)等方法對(duì)其進(jìn)行空間降尺度，從而構(gòu)建高分辨率產(chǎn)品。結(jié)果表明，降尺度高分辨率產(chǎn)品能夠滿足大多數(shù)現(xiàn)實(shí)業(yè)務(wù)要求[9-12]。通過文獻(xiàn)分析，隨機(jī)森林算法在降尺度方面具備較多優(yōu)勢(shì)，預(yù)測(cè)精度高，學(xué)習(xí)過程快，運(yùn)算速度快，穩(wěn)定性好且不易產(chǎn)生過擬合，對(duì)噪聲和異常值也有較好的容忍性。面向湖南地區(qū)干旱精細(xì)化監(jiān)測(cè)業(yè)務(wù)需求，本文應(yīng)用隨機(jī)森林學(xué)習(xí)算法對(duì)粗糙分辨率土壤濕度產(chǎn)品進(jìn)行降尺度，研制了高分土壤濕度產(chǎn)品，為干旱精細(xì)化監(jiān)測(cè)提供了一種可行方案。

1 高分土壤濕度產(chǎn)品加工平臺(tái)設(shè)計(jì)

根據(jù)氣象業(yè)務(wù)實(shí)際情況，設(shè)計(jì)一個(gè)高分土壤濕度產(chǎn)品加工平臺(tái)，平臺(tái)以構(gòu)建湖南地區(qū)時(shí)空連續(xù)高分辨率（1 km×1 km）土壤濕度日數(shù)據(jù)為目標(biāo)，基于多源衛(wèi)星遙感、實(shí)時(shí)地面觀測(cè)、中國氣象局模式等數(shù)據(jù)，應(yīng)用隨機(jī)森林機(jī)器學(xué)習(xí)算法對(duì)其歷史數(shù)據(jù)集挖掘，建立土壤濕度因子與地溫、降水、地表反照率、蒸散發(fā)、植被覆蓋等多種影響因子的降尺度模型，研制高分土壤濕度產(chǎn)品。進(jìn)一步將建模形成的高分辨率產(chǎn)品與地面自動(dòng)站觀測(cè)數(shù)據(jù)對(duì)比，評(píng)估產(chǎn)品在不同季節(jié)、不同空間區(qū)域、不同干旱程度情況下的偏差及準(zhǔn)確率情況，基于評(píng)估結(jié)果迭代優(yōu)化模型參數(shù)，增強(qiáng)產(chǎn)品的可靠性，提升本地化干旱監(jiān)測(cè)的精準(zhǔn)度。

平臺(tái)主要功能模塊如圖1 所示，分為數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、隨機(jī)森林降尺度建模和系統(tǒng)評(píng)估優(yōu)化四部分。其中，數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理模塊主要負(fù)責(zé)平臺(tái)各類資料的全面收集與質(zhì)量控制；隨機(jī)森林降尺度建模和系統(tǒng)評(píng)估優(yōu)化負(fù)責(zé)平臺(tái)產(chǎn)品模型的構(gòu)建與深度加工。

圖1 平臺(tái)主要功能模塊

2 平臺(tái)數(shù)據(jù)收集與預(yù)處理

2.1 數(shù)據(jù)收集

產(chǎn)品構(gòu)建需要的數(shù)據(jù)包括衛(wèi)星遙感、模式產(chǎn)品及定點(diǎn)觀測(cè)土壤濕度數(shù)據(jù)。衛(wèi)星遙感數(shù)據(jù)包括遙感數(shù)據(jù)ESA CCI（V4.7）土壤濕度數(shù)據(jù)集和MODIS 多源數(shù)據(jù)集。ESA CCI 數(shù)據(jù)集來源于歐洲航天局，該數(shù)據(jù)集為主被動(dòng)混合模式土壤濕度；MODIS 來源于美國宇航局，該數(shù)據(jù)集包括地溫、反照率、植被指數(shù)等高分辨率（1 km×1 km）數(shù)據(jù)集。模式數(shù)據(jù)來源于中國氣象局陸面數(shù)據(jù)同化系統(tǒng)CLDAS（V2.0），該數(shù)據(jù)集包括土壤濕度（7 km×7 km）、地溫、降水產(chǎn)品等。上述衛(wèi)星遙感數(shù)據(jù)、中國氣象局模式產(chǎn)品數(shù)據(jù)均可通過互聯(lián)網(wǎng)公開申請(qǐng)獲取。實(shí)時(shí)土壤濕度觀測(cè)數(shù)據(jù)來源于湖南省氣象部門地面土壤水分觀測(cè)站，站點(diǎn)具體分布圖如圖2 所示。

圖2 湖南土壤水分觀測(cè)站分布圖

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是產(chǎn)品后期研發(fā)發(fā)揮效益的關(guān)鍵步驟。原始數(shù)據(jù)往往存在不完整、異常、時(shí)空間尺度不一致等情況，對(duì)數(shù)據(jù)預(yù)處理需盡可能保障其可靠性和完整性。

1） 實(shí)時(shí)地面觀測(cè)數(shù)據(jù)預(yù)處理

按照資料行業(yè)標(biāo)準(zhǔn)和規(guī)范，通過要素極值分析、關(guān)聯(lián)分析、時(shí)空一致性等方法對(duì)觀測(cè)數(shù)據(jù)綜合質(zhì)控，排除觀測(cè)數(shù)據(jù)存在的野值和錯(cuò)誤數(shù)據(jù)，并對(duì)質(zhì)控后一年有效觀測(cè)值小于180 天的站點(diǎn)進(jìn)行剔除。

2） 土壤濕度背景場(chǎng)預(yù)處理

土壤濕度背景場(chǎng)包括ESA CCI 遙感土壤濕度數(shù)據(jù)和中國CLDAS 模式產(chǎn)品土壤濕度數(shù)據(jù)。CLDAS 數(shù)據(jù)可靠性高度依賴陸面模式和驅(qū)動(dòng)數(shù)據(jù)集的質(zhì)量。CLDAS土壤濕度數(shù)據(jù)存在不確定性，采用統(tǒng)計(jì)方法對(duì)衛(wèi)星遙感和模式產(chǎn)品土壤濕度數(shù)據(jù)進(jìn)行融合，改善背景場(chǎng)數(shù)據(jù)可靠性。

3） 地溫?cái)?shù)據(jù)集預(yù)處理

時(shí)間連續(xù)空間完整地溫?cái)?shù)據(jù)是產(chǎn)品研發(fā)的關(guān)鍵要素。遙感獲得的高分辨率地溫?cái)?shù)據(jù)集（1 km×1 km）受云層和衛(wèi)星軌道間隙影響，造成數(shù)據(jù)不完整，需對(duì)來源不同的補(bǔ)充地溫?cái)?shù)據(jù)進(jìn)行質(zhì)控，統(tǒng)一時(shí)間尺度，基于相似要素點(diǎn)匹配、綜合權(quán)重、相關(guān)系數(shù)關(guān)系，合理插補(bǔ)多云條件下MODIS 地溫空缺區(qū)域數(shù)據(jù)，與晴空條件MODIS產(chǎn)品組合形成完整的數(shù)據(jù)集。

2.3 數(shù)據(jù)評(píng)估方法

應(yīng)用統(tǒng)計(jì)學(xué)客觀評(píng)價(jià)指標(biāo)分析同一時(shí)段內(nèi)觀測(cè)值與站點(diǎn)的格點(diǎn)數(shù)據(jù)的誤差和相關(guān)關(guān)系，評(píng)估產(chǎn)品在湖南地區(qū)的適用性。指標(biāo)包括平均偏差（MD）和相關(guān)系數(shù)（COR），公式如下：

式中：N為觀測(cè)站點(diǎn)數(shù)目；Gi為第i個(gè)觀測(cè)站點(diǎn)實(shí)時(shí)觀測(cè)值；Oi為產(chǎn)品雙線性插值到第i個(gè)觀測(cè)站點(diǎn)位置的格點(diǎn)數(shù)據(jù)。

3 產(chǎn)品構(gòu)建與評(píng)估

3.1 基于機(jī)器學(xué)習(xí)產(chǎn)品模型的構(gòu)建

1） 產(chǎn)品模型的構(gòu)建

產(chǎn)品采用隨機(jī)森林機(jī)器學(xué)習(xí)算法建立土壤濕度因子與地溫、降水、反照率、蒸發(fā)、植被覆蓋等影響因子的關(guān)聯(lián)模型，公式如下：

式中：SSM0為訓(xùn)練階段觀測(cè)站點(diǎn)土壤濕度數(shù)據(jù)；fRF為關(guān)聯(lián)站點(diǎn)觀測(cè)數(shù)據(jù)與輸入變量非線性函數(shù)；C為輸入樣本向量；A為反照率；N′為歸一化植被指數(shù)；T為歸一化地溫；E為歸一化蒸散發(fā)數(shù)據(jù)；P為降水量；S為土壤材質(zhì)；C—SSM 為粗糙分辨率土壤濕度數(shù)據(jù)。

非線性關(guān)聯(lián)特征較為復(fù)雜，相互作用關(guān)系為隱性知識(shí)。模型應(yīng)用Python 中scikit-learn 機(jī)器學(xué)習(xí)包對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行分析、挖掘、處理，得到相互作用的顯性知識(shí)。應(yīng)用隨機(jī)森林算法從輸入向量C中抽取隨機(jī)樣本，設(shè)置隨機(jī)森林模型決策樹特征數(shù)目、深度和擬合參數(shù)，建立多顆決策樹，每顆決策樹按比例隨機(jī)抽取，通過對(duì)所有決策樹回歸來建立土壤濕度降尺度關(guān)聯(lián)模型。

2） 模型穩(wěn)定性與精準(zhǔn)度迭代調(diào)優(yōu)

隨機(jī)森林算法模型在降尺度應(yīng)用中具有不確定性，需要對(duì)不同影響因子進(jìn)行重要性分析，調(diào)整優(yōu)化隨機(jī)森林決策特征向量參數(shù)與決策樹深度、廣度參數(shù)，并同時(shí)利用多重交叉驗(yàn)證方法提高隨機(jī)森林算法模型的穩(wěn)定性。隨機(jī)森林預(yù)測(cè)結(jié)果基于多顆決策樹投票結(jié)果得到，預(yù)測(cè)的結(jié)果準(zhǔn)確性與數(shù)據(jù)科學(xué)抽樣、特征向量選擇、決策樹生成數(shù)目、決策樹深度及多決策樹回歸緊密關(guān)聯(lián)。學(xué)習(xí)初始階段默認(rèn)以n（n為自變量個(gè)數(shù)）作為最大特征向量個(gè)數(shù)參考，通過網(wǎng)格搜索對(duì)模型重要參數(shù)循環(huán)調(diào)優(yōu)，提高隨機(jī)森林模型預(yù)測(cè)精準(zhǔn)度。

3.2 平臺(tái)產(chǎn)品后期訂正優(yōu)化

平臺(tái)系統(tǒng)優(yōu)化分為建模過程中優(yōu)化和產(chǎn)品后期訂正優(yōu)化。建模過程中優(yōu)化是應(yīng)用多重交叉驗(yàn)證對(duì)隨機(jī)森林決策樹訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集輪流評(píng)估，針對(duì)模型影響因子貢獻(xiàn)度分析，優(yōu)化模型提高產(chǎn)品可靠性；產(chǎn)品后期訂正優(yōu)化是以地面土壤水分自動(dòng)站定點(diǎn)觀測(cè)數(shù)據(jù)為真值，將土壤濕度格點(diǎn)產(chǎn)品插值到站點(diǎn)，評(píng)估在不同季節(jié)、不同地區(qū)、不同干旱程度等情況下的偏差，基于相關(guān)系數(shù)、偏差等客觀指標(biāo)統(tǒng)計(jì)分析，找出大區(qū)域時(shí)空特征差異和變化趨勢(shì)，有針對(duì)性地優(yōu)化訂正模型參數(shù)，提高產(chǎn)品在湖南地區(qū)的適應(yīng)性。

3.3 平臺(tái)流程自動(dòng)處理與可視化展示

平臺(tái)產(chǎn)品制作包括數(shù)據(jù)收集、數(shù)據(jù)建模、評(píng)估分析等步驟，采用自動(dòng)化運(yùn)維與管理技術(shù)定制數(shù)據(jù)采集任務(wù)、質(zhì)量評(píng)估模板、可視化模板，實(shí)現(xiàn)產(chǎn)品制作的自動(dòng)化管理。平臺(tái)產(chǎn)品可視化需要統(tǒng)一的規(guī)范性，圖標(biāo)色標(biāo)方案、地圖范圍、制圖特征需要統(tǒng)一風(fēng)格，平臺(tái)產(chǎn)品可視化展示按圖3 所示流程進(jìn)行管理。

圖3 平臺(tái)產(chǎn)品可視化流程

可視化通用流程包括樣式文件配置和工作流配置。產(chǎn)品因?qū)嶋H需求不同要對(duì)參數(shù)有相應(yīng)的調(diào)整。平臺(tái)通過離線模板編輯環(huán)境，對(duì)圖標(biāo)色標(biāo)方案、地圖范圍、制圖特征等進(jìn)行可視化編輯。將確定后的參數(shù)提交給服務(wù)器同步更新，完成地圖、圖層樣式文件的配置。平臺(tái)通過工作流配置實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)、圖形預(yù)制環(huán)境參數(shù)實(shí)時(shí)自動(dòng)加載、插值投影變換、圖層疊加合成、本地化地圖裁剪，定制適應(yīng)湖南地區(qū)的干旱監(jiān)測(cè)產(chǎn)品。

圖4 為基于工作流模型生成的2022 年6 月22 日土壤濕度空間分布圖。圖形較好地模擬了湖南地區(qū)土壤濕度的日變化，較精細(xì)地展示了全省干旱空間分布情況，從北向南的層次結(jié)構(gòu)和局部特征能較好地滿足干旱動(dòng)態(tài)業(yè)務(wù)監(jiān)測(cè)的現(xiàn)實(shí)需求。

3.4 評(píng)估結(jié)果分析

以湖南地區(qū)2022 年質(zhì)控后55 個(gè)地面土壤水分觀測(cè)站點(diǎn)資料作為真值，將建模形成的高分土壤濕度產(chǎn)品插值到觀測(cè)站點(diǎn)進(jìn)行評(píng)估。產(chǎn)品值與觀測(cè)值的相關(guān)性（站點(diǎn)數(shù)）關(guān)系圖如圖5 所示。

圖5 產(chǎn)品值與觀測(cè)值的相關(guān)性（站點(diǎn)數(shù)）

1） 相關(guān)性

根據(jù)圖5 進(jìn)行相關(guān)性統(tǒng)計(jì)分析得到：產(chǎn)品值與觀測(cè)值相關(guān)系數(shù)達(dá)到0.9，從站點(diǎn)數(shù)目看，87.3%（合計(jì)48 站）相關(guān)系數(shù)高于0.85，僅7.3%（合計(jì)4 站）的站點(diǎn)相關(guān)系數(shù)低于0.8，表明產(chǎn)品值與觀測(cè)值緊密相關(guān)，整體一致性高。

圖6 所示為產(chǎn)品值與觀測(cè)值相關(guān)系數(shù)的空間分布圖。由圖6 可知，各站相關(guān)系數(shù)空間分布比較均勻，湖南中部東部地區(qū)相關(guān)系數(shù)略高于西部地區(qū)。相關(guān)系數(shù)低于0.8 的4 站中有3 站在湖南北部區(qū)域，可能與該區(qū)域處于湖區(qū)到山區(qū)過渡帶、地貌多樣、土壤質(zhì)地復(fù)雜等因素有關(guān)。

圖6 產(chǎn)品值與觀測(cè)值相關(guān)系數(shù)的空間分布

2） 偏差

產(chǎn)品值與觀測(cè)值的偏差（站點(diǎn)數(shù)）分布圖見圖7。從站點(diǎn)數(shù)目看，偏差主要分布在-0.08～0.08 m3/m3以內(nèi)，52.7%的站點(diǎn)偏差在-0.04～0.04 m3/m3，呈現(xiàn)負(fù)偏差的站點(diǎn)數(shù)目為58.2%，略多于呈現(xiàn)正偏差的站點(diǎn)。

圖7 產(chǎn)品值與觀測(cè)值的偏差（站點(diǎn)數(shù)）

圖7 所示為進(jìn)行相關(guān)性統(tǒng)計(jì)分析得到的產(chǎn)品值與觀測(cè)值的偏差（站點(diǎn)數(shù)）關(guān)系圖。由圖7 可知，產(chǎn)品值與觀測(cè)值平均偏差為-0.01 m3/m3。

圖8 所示為0～10 cm 土壤濕度產(chǎn)品值與觀測(cè)值偏差的空間分布。從圖中可以看出，湖南北部地區(qū)產(chǎn)品負(fù)偏差對(duì)應(yīng)站點(diǎn)偏多，南部地區(qū)正偏差偏多。負(fù)偏差高值在中部偏北區(qū)域，正偏差高值在湖南北部區(qū)域。

圖8 產(chǎn)品值與觀測(cè)值偏差的空間分布

圖9 所示為產(chǎn)品值與觀測(cè)值四季偏差情況。其中，秋季呈現(xiàn)正偏差，其他季節(jié)為負(fù)偏差；夏季、秋季偏差顯著小于春季、冬季。表明產(chǎn)品在湖南地區(qū)旱情較為嚴(yán)重的夏季、秋季具有較高的準(zhǔn)確性。

圖9 產(chǎn)品值與觀測(cè)值的偏差（季節(jié)）

4 結(jié) 論

本文以湖南地區(qū)干旱精細(xì)化監(jiān)測(cè)業(yè)務(wù)需求為牽引，基于多源衛(wèi)星遙感、實(shí)時(shí)地面觀測(cè)、中國氣象局模式等資料，應(yīng)用隨機(jī)森林學(xué)習(xí)算法，建立了土壤濕度因子與降水、地溫、地表反照率、蒸發(fā)、植被覆蓋等多種衛(wèi)星遙感影響因子的降尺度模型，研制了高分辨率土壤濕度產(chǎn)品（1 km×1 km）。面向干旱精細(xì)監(jiān)測(cè)高分土壤濕度產(chǎn)品的構(gòu)建具有重要意義，主要包括以下兩方面：

1） 湖南是農(nóng)業(yè)大省，土壤濕度是農(nóng)業(yè)干旱監(jiān)測(cè)的重要指標(biāo)，形成的產(chǎn)品能較好地模擬湖南地區(qū)土壤濕度日變化特征，也能精細(xì)動(dòng)態(tài)地監(jiān)測(cè)干旱空間分布和干旱過程的變化趨勢(shì)，為開展干旱精密化監(jiān)測(cè)提供了一種可行方案。

2） 智能化產(chǎn)品基于湖南氣候特征、地形地貌、植被覆蓋進(jìn)行構(gòu)建與優(yōu)化。針對(duì)本地化專項(xiàng)建模，平均偏差為-0.01 m3/m3，相關(guān)系數(shù)為0.9，相對(duì)于其他產(chǎn)品有更好的本地適應(yīng)性。湖南發(fā)生旱災(zāi)的季節(jié)絕大多數(shù)以夏旱、秋旱或夏秋連旱為主，在旱情較重的夏秋季產(chǎn)品具有更高的準(zhǔn)確性，為湖南地區(qū)保障糧食生產(chǎn)安全、抗旱防災(zāi)減災(zāi)決策提供更為精細(xì)的基礎(chǔ)支撐。同時(shí)產(chǎn)品也可作為觀測(cè)資料補(bǔ)充應(yīng)用于業(yè)務(wù)和科研，對(duì)于地廣人稀且氣象站點(diǎn)相對(duì)較少的地區(qū)氣象服務(wù)潛力巨大。

注：本文通訊作者為羅丹。