一種基于特征曲線的自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值檢測(cè)方法*

周笑天，陳益玲，李 蕓，李長(zhǎng)軍，張 平，張茜茹

一種基于特征曲線的自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值檢測(cè)方法*

周笑天，陳益玲**，李 蕓，李長(zhǎng)軍，張 平，張茜茹

(山東省氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室/山東省氣象信息中心，濟(jì)南 250031)

以土壤水分時(shí)間序列特征提取和形態(tài)匹配為基本操作，提出了一種基于特征曲線的自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值檢測(cè)新方法。首先確定檢測(cè)序列X和模板序列Y的長(zhǎng)度和范圍，利用經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）方法對(duì)序列X和Y進(jìn)行分解，分別獲得特征重構(gòu)序列C和序列Q，然后利用動(dòng)態(tài)時(shí)間歸整（DTW）算法對(duì)重構(gòu)序列做匹配對(duì)齊操作，分別形成序列C和Q，通過(guò)序列C和Q計(jì)算獲得變異序列D，并將序列D中變異系數(shù)超過(guò)門(mén)限值threshold的異常元素或異常片段標(biāo)記出來(lái)，最終實(shí)現(xiàn)檢測(cè)序列X中異常點(diǎn)的定位。運(yùn)行實(shí)例表明：（1）檢測(cè)方法無(wú)需引入土壤物理常數(shù)和氣象條件等外在影響因素，避免了土壤水分計(jì)算過(guò)程中加入高低閾值、變化率閾值等相關(guān)參數(shù)。（2）方法使用同一站點(diǎn)相同深度的土壤水分連續(xù)數(shù)據(jù)，無(wú)需多站數(shù)據(jù)對(duì)比，且對(duì)于檢測(cè)序列X和模板序列Y沒(méi)有嚴(yán)格的長(zhǎng)度一致性要求，因而計(jì)算更加靈活，適用性較強(qiáng)。（3）方法流程清晰，輸入和輸出對(duì)象簡(jiǎn)單明確，較為適合進(jìn)行計(jì)算機(jī)編程開(kāi)發(fā)和業(yè)務(wù)化運(yùn)行部署。

特征曲線；土壤水分；EMD；DTW；異常點(diǎn)

土壤水分是土壤的重要成分也是最活躍的要素之一，它制約著土壤中養(yǎng)分的溶解、轉(zhuǎn)移、吸收及土壤微生物的活動(dòng)，對(duì)土壤生產(chǎn)力有著多方面的重大影響[1]。對(duì)土壤水分實(shí)現(xiàn)持續(xù)有效的監(jiān)測(cè)，對(duì)于指導(dǎo)農(nóng)業(yè)生產(chǎn)、保護(hù)生態(tài)環(huán)境以及研究氣候變化都具有十分重要的意義[2?4]。中國(guó)氣象局從2009年起，在全國(guó)范圍內(nèi)開(kāi)展以FDR(Frequency Domain Reflectometry)頻域反射法為技術(shù)標(biāo)準(zhǔn)開(kāi)展自動(dòng)土壤水分觀測(cè)站網(wǎng)的建設(shè)工作，逐步取代傳統(tǒng)人工烘干稱(chēng)重法獲得土壤水分監(jiān)測(cè)數(shù)據(jù)[5]。土壤水分觀測(cè)自動(dòng)化的實(shí)現(xiàn)，一方面可以大幅提高土壤水分?jǐn)?shù)據(jù)的時(shí)空觀測(cè)密度，為農(nóng)事活動(dòng)和農(nóng)業(yè)氣象服務(wù)提供第一手實(shí)時(shí)監(jiān)測(cè)資料；另一方面，也可以極大減少人工勞動(dòng)量，降低因人為操作而產(chǎn)生的隨機(jī)誤差。

與其他氣象觀測(cè)資料一樣，土壤水分觀測(cè)數(shù)據(jù)在投入使用之前，應(yīng)當(dāng)先經(jīng)過(guò)數(shù)據(jù)質(zhì)量的檢測(cè)，剔除和訂正異常（可疑）數(shù)據(jù)，保證數(shù)據(jù)的可靠性。目前，針對(duì)土壤水分觀測(cè)數(shù)據(jù)的質(zhì)量控制方法，國(guó)內(nèi)外學(xué)者已有相關(guān)的研究成果。Dorigo等根據(jù)土壤含水量的時(shí)間序列特征以及與氣象要素的關(guān)系，設(shè)計(jì)了一套應(yīng)用于全球土壤水分?jǐn)?shù)據(jù)網(wǎng)的質(zhì)量控制方案，但是數(shù)據(jù)序列只包含了中國(guó)2000年之前部分人工測(cè)墑?wù)军c(diǎn)的觀測(cè)數(shù)據(jù)[6]。在國(guó)內(nèi)，王建榮等對(duì)安徽省自動(dòng)土壤水分觀測(cè)實(shí)時(shí)數(shù)據(jù)實(shí)現(xiàn)了質(zhì)量控制[7]；王良宇等給出了判定土壤水分異常的高低閾值和變化幅度閾值[8]；張蕾等制定了土壤水分觀測(cè)歷史數(shù)據(jù)集質(zhì)量控制方法，對(duì)土壤水分奇異值進(jìn)行分析和校正[9]；王佳強(qiáng)等對(duì)全國(guó)范圍內(nèi)土壤水分異常數(shù)據(jù)實(shí)行了分類(lèi)[10]。以上的研究成果，充分結(jié)合土壤物理和水文特性等理論與經(jīng)驗(yàn)，并參考地面氣象要素質(zhì)量控制中的空間一致性、時(shí)間一致性和內(nèi)部一致性等方法[11?16]，以單位時(shí)間內(nèi)數(shù)據(jù)變化率計(jì)算為主要研究目標(biāo)，最終查找出異常數(shù)據(jù)。這種方法是目前普遍采用的異常數(shù)據(jù)檢測(cè)方法，但是，以上方法在實(shí)際應(yīng)用過(guò)程中，仍然存在以下問(wèn)題。

第一，以固定土壤物理常數(shù)作為計(jì)算土壤水分含量上下限極值或者變化率極值的條件，在方法上仍然具有一定的局限性。土壤水分觀測(cè)站點(diǎn)在測(cè)定土壤水力特性時(shí)，大多假定土壤容重不隨土壤水分狀況發(fā)生變化。但實(shí)際上，土壤在干濕交替以及耕作等過(guò)程中會(huì)發(fā)生膨脹與收縮，從而使容重等物理指標(biāo)發(fā)生顯著變化，即土體產(chǎn)生“壓實(shí)效應(yīng)”，進(jìn)而改變了土壤的持水特征[17]。因此，土壤水分含量上下限極值或者變化率極值，隨著土壤容重等物理指標(biāo)的變化，也應(yīng)是一個(gè)動(dòng)態(tài)變化的過(guò)程。

第二，現(xiàn)階段仍然難以準(zhǔn)確掌握影響土壤水分變化的主要外在因素。目前對(duì)于土壤水分變化主要外在影響因素的研究，主要集中在易于獲得實(shí)測(cè)數(shù)據(jù)的降水或地溫等氣象因素上，但是除氣象因素外，人工灌溉、植被種類(lèi)、地勢(shì)條件、地下水位等非實(shí)測(cè)數(shù)據(jù)，也都是土壤水分變化的重要影響因子。影響因子的枚舉數(shù)量、排列組合方式或者權(quán)重賦值的不同，都會(huì)對(duì)土壤水分?jǐn)?shù)據(jù)變化的合理性判別產(chǎn)生重大影響。中國(guó)幅員遼闊、生態(tài)與氣候區(qū)域差異顯著，采用多因素分析方法去闡釋土壤水分的變化特征，依然面臨很大的困難。

為此，不同于上述文獻(xiàn)中的技術(shù)路線，本研究以土壤水分曲線在干濕轉(zhuǎn)換過(guò)程中所呈現(xiàn)出的變化特征為研究目標(biāo)，通過(guò)EMD特征提取、DTW匹配對(duì)齊和變異系數(shù)計(jì)算等步驟，最終實(shí)現(xiàn)觀測(cè)異常值的拾取。本研究提出的新方法無(wú)需引入土壤物理常數(shù)或氣象等外在因素，并且對(duì)于檢測(cè)序列和模板序列無(wú)嚴(yán)格的長(zhǎng)度一致性要求，可方便和快速地實(shí)現(xiàn)小時(shí)級(jí)觀測(cè)密度的土壤水分?jǐn)?shù)據(jù)檢測(cè)。

1 資料與方法

1.1 資料來(lái)源

全國(guó)氣象部門(mén)建設(shè)的基于FDR(Frequency Domain Reflectometry)頻域反射法的自動(dòng)土壤水分傳感器是基于LC震蕩電路，通過(guò)探測(cè)電容變化來(lái)計(jì)算土壤介電常數(shù)，從而獲得土壤水分含量[5]。其中土壤體積含水量為一級(jí)探測(cè)數(shù)據(jù)，土壤重量含水率、土壤相對(duì)濕度和土壤有效水分儲(chǔ)存量為根據(jù)一級(jí)數(shù)據(jù)計(jì)算出來(lái)的二級(jí)數(shù)據(jù)。

本研究資料來(lái)源于山東省氣象局在省內(nèi)布設(shè)的231個(gè)插針式DZN1型設(shè)備逐小時(shí)土壤體積含水量(Soil Volumetric Moisture Content, SVMC)一級(jí)數(shù)據(jù)，土壤探測(cè)深度為0?10cm，數(shù)據(jù)獲取時(shí)間范圍在2020年6?8月，其中，6?7月強(qiáng)降水較為集中，8月全省受臺(tái)風(fēng)“巴威”影響也有明顯的降水過(guò)程。該時(shí)段全省土壤水分含量峰谷值出現(xiàn)較為頻繁，土壤水分干濕交替過(guò)程中曲線特征明顯，數(shù)據(jù)更具有代表性，便于選擇典型案例對(duì)新方法進(jìn)行流程演示和運(yùn)行結(jié)果分析。

1.2 土壤水分原始觀測(cè)時(shí)間序列的EMD分解與重構(gòu)

EMD(Empirical Mode Decomposition)經(jīng)驗(yàn)?zāi)B(tài)分解算法來(lái)源于Huang等在1998年提出的一種全新的信號(hào)時(shí)頻分析方法，即希爾伯特?黃變換(Hilbert-Huang Transform，HHT)中的數(shù)據(jù)分解部分[18]。該算法將原始非平穩(wěn)信號(hào)逐級(jí)分解為若干個(gè)本征模態(tài)函數(shù)(Intrinsic Mode Function，IMF)分量和一個(gè)余量(Residual，Res)，分解過(guò)程為篩分(Sifting)，具體步驟包括

EMD分解算法具有以下特性：（1）分解自適應(yīng)，與目前最為流行的小波分解算法不同，EMD算法在分解前不需要主觀設(shè)定基函數(shù)和分解層數(shù)；算法分離出來(lái)的各個(gè)IMF分量大致是按照波形波動(dòng)頻率由高到低依次排列；（2）分解過(guò)程具有完備性，全部IMF分量和Res相加，可以還原原波形；（3）Res是一個(gè)趨勢(shì)線，代表波動(dòng)頻率極低的波，它可以被看作是一個(gè)“基底”，全部IMF都建筑在Res之上；IMF和Res波形具有實(shí)在的物理意義，保留有原數(shù)據(jù)量綱[19]。該算法已被廣泛應(yīng)用于信號(hào)去噪的研究[20]。

對(duì)土壤水分原始觀測(cè)時(shí)間序列曲線，可以截取有限的連續(xù)時(shí)間段，按照上述步驟進(jìn)行EMD分解，在去除代表趨勢(shì)的余項(xiàng)Res后，將得到的IMF累加序列IMFs首尾各延展一個(gè)值為0的時(shí)序元素，使重構(gòu)曲線兩端端點(diǎn)收斂于0，重構(gòu)形成新序列，即

1.3 利用DTW算法實(shí)現(xiàn)特征曲線的匹配對(duì)齊

人體的個(gè)體差異造成了人聲的個(gè)性特征，土壤的物理和外在因素差異同樣也造成了土壤水分個(gè)性化變化特征。本研究借助DTW語(yǔ)音匹配算法思想進(jìn)行土壤水分特征匹配操作。

DTW(Dynamic Time Warping)動(dòng)態(tài)時(shí)間規(guī)整算法，是把時(shí)間規(guī)整和距離測(cè)度計(jì)算結(jié)合起來(lái)的一種非線性歸正計(jì)算方法，它的最大優(yōu)勢(shì)是能夠?qū)崿F(xiàn)不同長(zhǎng)度序列的相似度匹配，是語(yǔ)音識(shí)別中較為經(jīng)典的算法[21]，已被廣泛用于孤立詞語(yǔ)音識(shí)別系統(tǒng)中[22?23]。

行走完畢后，原時(shí)間序列C被非線性縮放為C'，Q被非線性縮放為Q'，C'和Q'的長(zhǎng)度相同，都為L(zhǎng)。

圖1 DTW算法行走路徑示意圖（M=5，N=6）

1.4 變異系數(shù)計(jì)算與變異序列的獲得方法

2 結(jié)果與分析

2.1 基于特征曲線的自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值檢測(cè)方法

2.1.1 方法總體流程設(shè)計(jì)

2.1.2 門(mén)限值threshold的計(jì)算

即以序列和序列標(biāo)準(zhǔn)差之和平均值的3倍作為門(mén)限值。

2.2 山東典型站點(diǎn)自動(dòng)土壤水分觀測(cè)序列異常值檢測(cè)

2.2.1 鄆城北站異常值檢測(cè)運(yùn)行過(guò)程

為清晰展示方法流程中各步驟的執(zhí)行細(xì)節(jié)，結(jié)合業(yè)務(wù)實(shí)際，從山東省氣象局自動(dòng)土壤水分采集數(shù)據(jù)庫(kù)中，選擇鄆城北站（站號(hào)：D8815）2020年6?8月0?10cm深度土壤體積含水量（SVMC）逐小時(shí)實(shí)況數(shù)據(jù)對(duì)方法進(jìn)行全過(guò)程演示。其中，將該站已通過(guò)站點(diǎn)質(zhì)量核查和修正的6?7月逐小時(shí)數(shù)據(jù)作為模板序列Y，以尚未進(jìn)行質(zhì)量檢查的8月逐小時(shí)數(shù)據(jù)為檢測(cè)序列X，Y長(zhǎng)度約為X長(zhǎng)度的2倍，以使序列Y的時(shí)間跨度中包含更多特征數(shù)據(jù)信息，用以查找序列X中的特征異常。繪制出的逐小時(shí)土壤體積含水量時(shí)間序列如圖3所示，序列統(tǒng)計(jì)信息如表1所示。

按照?qǐng)D2的流程，輸入序列X和序列Y之后，需要將二者分別進(jìn)行EMD分解和序列重構(gòu)，以形成序列C和序列Q。該過(guò)程如圖4所示，其中，圖4a為序列X的EMD分解結(jié)果，其IMF分量的階數(shù)為5階；圖4b為序列Y的EMD分解結(jié)果，其IMF分量的階數(shù)為8階，圖4c為利用式（2）將各階分量分別累加和延展后重構(gòu)形成序列C和序列Q。

圖3 山東省鄆城北站（站號(hào)：D8815）2020年6?8月0?10cm深度逐小時(shí)土壤體積含水量（SVMC）檢測(cè)序列X和模板序列Y

表1 D8815站土壤體積含水量（SVMC）時(shí)間序列的統(tǒng)計(jì)信息

圖4 D8815站檢測(cè)序列X與模板序列Y的EMD分解與序列重構(gòu)

圖5 D8815站序列C和序列Q的DTW行走路徑

圖6 D8815站序列C和序列Q經(jīng)過(guò)DTW行走后獲得序列C’和序列Q’

圖7 D8815站通過(guò)變異序列D’和門(mén)限值threshold獲得超限點(diǎn)

根據(jù)表2中的檢測(cè)序列X中異常點(diǎn)的日期，可以在圖3的基礎(chǔ)上將異常點(diǎn)標(biāo)記出來(lái)，如圖8所示。

2.2.2 昌樂(lè)站和無(wú)棣站運(yùn)行結(jié)果

使用本研究提出的方法和流程，對(duì)山東省昌樂(lè)站（站號(hào)：D2806）和無(wú)棣站（站號(hào)：D3805）2020年8月0?10cm深度土壤體積含水量進(jìn)行了檢查，圖9展示了昌樂(lè)站被檢出的異常數(shù)據(jù)，圖10展示了無(wú)棣站被檢出的異常數(shù)據(jù)。限于文章篇幅，此處僅對(duì)異常結(jié)果進(jìn)行展示，不再進(jìn)行完整計(jì)算過(guò)程展示。

表2 D8815站異常點(diǎn)與超限點(diǎn)的位置映射信息

圖8 D8815站檢測(cè)序列X中的逐小時(shí)土壤體積含水量異常點(diǎn)

2.2.3 運(yùn)行結(jié)果分析

結(jié)合表2和圖8可以看出，在經(jīng)過(guò)算法全流程計(jì)算后，D8815鄆城北站檢測(cè)序列X的觀測(cè)異常時(shí)段出現(xiàn)在2020?08?18 T 01:00?T 11:00連續(xù)時(shí)間范圍內(nèi)，從直觀角度上分析，該異常時(shí)間段呈現(xiàn)出了一個(gè)“V”字形的數(shù)據(jù)波動(dòng)，而由于該“V”字形曲線特征在模板序列Y中找不到特征“記憶”，因而被算法認(rèn)定為異常；另一方面，從圖8中還可以看出，在此異常時(shí)間段以外，檢測(cè)序列X中雖然也存在其他一些明顯“突升”、“突降”數(shù)據(jù)跳變點(diǎn)，但是這些跳變數(shù)據(jù)的曲線特征由于能夠在模板序列Y中找到特征“記憶”，因而未被算法認(rèn)定為異常點(diǎn)。

圖9 山東省昌樂(lè)站（站號(hào)：D2806）2020年8月0?10cm深度逐小時(shí)土壤體積含水量異常點(diǎn)

同樣，通過(guò)對(duì)圖9和圖10的觀察分析可以發(fā)現(xiàn)，D2806昌樂(lè)站在8月下旬出現(xiàn)了幅值較大的高頻波動(dòng)，D3805無(wú)棣站在8月上旬出現(xiàn)了倒“V”字形的尖角特征。由于這些特征也明顯區(qū)別于它們各自在6?7月模板序列Y中的特征“記憶”，因而也同樣被算法認(rèn)定為特征異常。

圖10 山東省無(wú)棣站（站號(hào)：D3805）2020年8月0?10cm深度逐小時(shí)土壤體積含水量異常點(diǎn)

從以上三站的實(shí)況運(yùn)行結(jié)果分析中可知，本研究提出基于特征曲線的異常值檢測(cè)方法，能夠有效檢測(cè)出時(shí)間序列中的異常片段或異常點(diǎn)，且方法在判定過(guò)程中，沒(méi)有對(duì)時(shí)間序列設(shè)置諸如“單位時(shí)間內(nèi)變率”或“極值上下限”等全局性的門(mén)檻條件，減小了數(shù)據(jù)誤判的概率，可合理保持土壤在干濕交替中所呈現(xiàn)出來(lái)的“個(gè)性化”變化特征。

3 結(jié)論與討論

3.1 結(jié)論

（1）針對(duì)土壤在干濕交替過(guò)程中水分變化曲線特征，采用了類(lèi)似于“特征記憶”的獨(dú)特操作方式，通過(guò)將檢測(cè)序列與模板序列進(jìn)行特征對(duì)比，找出檢測(cè)序列中曲線特征明顯異于模板序列的要素點(diǎn)或者要素片段，從而進(jìn)行異常點(diǎn)標(biāo)記。

（2）使用來(lái)源于同一站點(diǎn)同一層次的連續(xù)觀測(cè)數(shù)據(jù)，無(wú)需臨近站點(diǎn)數(shù)據(jù)的橫向?qū)Ρ?，且?duì)于檢測(cè)序列X和模板序列Y無(wú)嚴(yán)格的長(zhǎng)度一致性要求，操作靈活，適應(yīng)性強(qiáng)。

（3）無(wú)需將土壤物理或水文等參數(shù)加入計(jì)算流程，從而避免了高低極值、變化率等閾值的設(shè)定；也無(wú)需引入氣象因子等外在影響因素，避免了因影響因素枚舉數(shù)量或者側(cè)重點(diǎn)不同，造成評(píng)判指標(biāo)的不一致。

（4）方法流程清晰，輸入和輸出對(duì)象簡(jiǎn)單明確，較為適合進(jìn)行計(jì)算機(jī)編程開(kāi)發(fā)和業(yè)務(wù)化運(yùn)行部署。

3.2 討論

（1）模板序列的選擇具有關(guān)鍵作用。本研究實(shí)例中以6?7月數(shù)據(jù)作為模板數(shù)據(jù)，以8月數(shù)據(jù)作為檢測(cè)數(shù)據(jù)，原因是考慮到6、7、8三個(gè)月為山東省傳統(tǒng)的雨季，強(qiáng)降水頻繁，土壤水分特征曲線明顯，極端值出現(xiàn)概率較高，適合進(jìn)行算法演示。而在實(shí)際工作中，模板序列的選擇，可以考慮將觀測(cè)站點(diǎn)業(yè)務(wù)化入網(wǎng)之前，人工對(duì)比期間的時(shí)間序列作為模板序列的起點(diǎn)，并結(jié)合季節(jié)、耕作以及方法運(yùn)算效率等具體情況，進(jìn)行擇優(yōu)選擇；而有效的模板序列庫(kù)的建立也是一個(gè)從起點(diǎn)開(kāi)始不斷滾動(dòng)擴(kuò)充的過(guò)程。

（3）對(duì)于同站不同深度層次的曲線特征相關(guān)性，本研究尚未涉及，這也是方法后續(xù)改進(jìn)的另一個(gè)重要方向。

（4）因儀器安裝或者校訂等問(wèn)題造成的數(shù)據(jù)誤差，不在本研究探討范圍之內(nèi)。

（5）農(nóng)業(yè)氣象中，土壤水分影響因子非常復(fù)雜，土壤“個(gè)性化”特征非常明顯，需要進(jìn)一步深入業(yè)務(wù)一線，不斷總結(jié)和發(fā)現(xiàn)新的技術(shù)方法，該方法的思路也可以為其他影響因子復(fù)雜的農(nóng)業(yè)氣象觀測(cè)項(xiàng)目，如設(shè)施農(nóng)業(yè)或者農(nóng)田小氣候等的數(shù)據(jù)質(zhì)量控制提供一個(gè)良好的借鑒。

[1] 李佳帥,楊再?gòu)?qiáng),李永秀,等.不同水分條件下葡萄臨界氮稀釋曲線模型的建立及氮素營(yíng)養(yǎng)診斷[J].中國(guó)農(nóng)業(yè)氣象, 2019,40(8):523-533.

Li J S,Yang Z Q,Li Y X,et al.Establishment of a critical nitrogen dilution model for grapes and nitrogen nutrition diagnosis under different water conditions[J].Chinese Journal of Agrometeorology,2019,40(8):523-533.(in Chinese)

[2] 張媛鈴,郭曉磊,王娜,等.基于決策系統(tǒng)模擬不同降水年型旱作冬小麥的最佳播期[J].中國(guó)農(nóng)業(yè)氣象,2021,42(6): 475-485.

Zhang Y L,Guo X L,Wang N,et al.Analysis on the optimal sowing date of dry-land winter wheat under different precipitation pattern based on wheat decision system[J].Chinese Journal of Agrometeorology,2021,42(6): 475-485.(in Chinese)

[3] 代立芹,李春強(qiáng),康西言,等.基于氣候和土壤水分綜合適宜度指數(shù)的冬小麥產(chǎn)量動(dòng)態(tài)預(yù)報(bào)模型[J].中國(guó)農(nóng)業(yè)氣象, 2012,33(4):519-526.

Dai L Q,Li C Q,Kang X Y,et al.Dynamic forecast model of winter wheat yield based on climate and soil moisture suitability[J].Chinese Journal of Agrometeorology,2012, 33(4):519-526.(in Chinese)

[4] 王蔚丹,孫麗,裴志遠(yuǎn),等.典型旱年農(nóng)業(yè)干旱遙感監(jiān)測(cè)指標(biāo)在東北地區(qū)生長(zhǎng)季的表現(xiàn)[J].中國(guó)農(nóng)業(yè)氣象,2021,42(4): 307-317.

Wang W D,Sun L,Pei Z Y,et al.Performances of remote sensing monitoring indices of agricultural drought in growing season of typical dry year in Northeast China[J].Chinese Journal of Agrometeorology,2021,42(4): 307-317.(in Chinese)

[5] 黃飛龍,李昕娣,黃宏智,等.基于FDR的土壤水分探測(cè)系統(tǒng)與應(yīng)用[J].氣象,2012,38(6):764-768.

Huang F L,Li X D,Huang H Z,et al.Soil moisture detection system based on FDR and its application[J]. Meteorological Monthly,2012,38(6):764-768.(in Chinese)

[6] Dorigo W A,Xaver A,Vreugdenhil M,et al.Global automated quality control of in situ soil moisture data from the international soil mosture network[J].Vadose Zone J,2013.12(3). DOI:10.2136/vzj2012.0097.

[7] 王建榮,江雙武,董得寶.自動(dòng)觀測(cè)土壤體積含水量實(shí)時(shí)資料自動(dòng)質(zhì)量控制方法[J].計(jì)算技術(shù)與自動(dòng)化,2013,32(4): 134-137.

Wang J R,Jiang S W,Dong D B.The method of automatic quality control for real-time data from automatic soil- moisture station[J].Computing Technology and Automation, 2013,32(4):134-137.(in Chinese)

[8] 王良宇,何延波.自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值閾值研究[J].氣象,2015,41(8):1017-1022.

Wang L Y,He Y B.Research on outlier threshold of automatic soil moisture observation data[J].Meteorological Monthly,2015,41(8):1017-1022.(in Chinese)

[9] 張蕾,呂厚荃,王良宇.土壤水分歷史觀測(cè)數(shù)據(jù)集奇異值分析與校正[J].氣象,2017,43(2):189-196.

Zhang L, Lv H Q,Wang L Y.Analysis and calibration of singular historical observed data of manual soil water[J]. Meteorological Monthly,2017,43(2):189-196.(in Chinese)

[10] 王佳強(qiáng),趙煜飛,任芝花,等.中國(guó)自動(dòng)土壤水分觀測(cè)資料質(zhì)量控制方法設(shè)計(jì)與效果檢驗(yàn)[J].氣象,2018,44(2):244-257.

Wang J Q,Zhao Y F,Ren Z H,et al.Design and verification of quality control methods for automatic soil moisture observation data in China[J].Meteorological Monthly,2018, 44(2):244-257.(in Chinese)

[11] 劉小寧,鞠曉慧,范邵華.空間回歸檢驗(yàn)方法在氣象資料質(zhì)量檢驗(yàn)中的應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2006,17(1): 37-43.

Liu X N,Ju X H,Fan S H.A research on the applicability of spatial regression test in meteorological datasets[J].J Appl Meteor Sci,2006,17(1):37-43.(in Chinese)

[12] 張強(qiáng),涂滿紅,馬舒慶,等.自動(dòng)雨量站降雨資料質(zhì)量評(píng)估方法研究[J].應(yīng)用氣象學(xué)報(bào),2007,18(3):365-372.

Zhang Q,Tu M H,Ma S Q,et al.Quality assessment of the observational data of automatic precipitation stations in China[J].J Appl Meteor Sci,2007,18(3):365-372.(in Chinese)

[13] 王海軍,劉瑩.綜合一致性質(zhì)量控制方法及其在氣溫中的應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2012,23(1):69-76.

Wang H J,Liu Y.Comprehensive consistency method of data quality controlling with its application to daily temperature[J]. J Appl Meteor Sci,2012,23(1):69-76.(in Chinese)

[14] 周笑天,褚希,姚志平.一種基于k-means聚類(lèi)的實(shí)時(shí)氣溫動(dòng)態(tài)質(zhì)量控制方法[J].氣象,2012,38(10):1295-1300.

Zhou X T,Chu X,Yao Z P.A dynamic method of quality control for real-time temperature measurements based on k-means cluster algorithm[J].Meteorological Monthly,2012, 38(10):1295-1300.(in Chinese)

[15] 任芝花,張志富,孫超,等.全國(guó)自動(dòng)氣象站實(shí)時(shí)觀測(cè)資料三級(jí)質(zhì)量控制系統(tǒng)研制[J].氣象,2015,41(10):1268-1277.

Ren Z H,Zhang Z F,Sun C,et al.Development of three-step quality control system of real-time observation data from AWS in China[J].Meteorological Monthly,2015,41(10): 1268-1277.(in Chinese)

[16] 封秀燕,何志軍,王荷平,等.自動(dòng)氣象站實(shí)時(shí)資料質(zhì)量控制開(kāi)放式平臺(tái)設(shè)計(jì)[J].應(yīng)用氣象學(xué)報(bào),2010,21(4):506-512.

Feng X Y,He Z J,Wang H P,et al.The design of an open platform for automatic weather stations on real time data quality control[J].J Appl Meteor Sci,2010,21(4):506-512.(in Chinese)

[17] 陳禎.土壤容重變化與土壤水分狀況和土壤水分檢測(cè)的關(guān)系研究[J].節(jié)水灌溉,2010(12):47-50.

Chen Z.Research on relationships between soil bulk density change and soil water regime as well as soil water monitoring[J].Water Saving Irrigation,2010(12):47-50.(in Chinese)

[18] Huang N E,Shen Z,Long S R,et at.The empirical mode decomposition and the hilbert spectrum for nonlinear and non-stationary times series analysis[J].Proceedings of the Royal Society of London,1998,454:903-995.

[19] 徐曉剛,徐冠雷,王孝通,等.經(jīng)驗(yàn)?zāi)Ｊ椒纸?EMD)及其應(yīng)用[J].電子學(xué)報(bào),2009,37(3):581-585.

Xu X G,Xu G L,Wang X T,et al.Empirical mode decomposition and its application[J].Acta Electronica Sinica,2009,37(3):581-585.(in Chinese)

[20] 王婷.EMD算法研究及其在信號(hào)去噪中的應(yīng)用[D].哈爾濱:哈爾濱工程大學(xué),2010:89-114.

Wang T.Research on EMD algorithm and its application in signal denoising[D].Harbin:Harbin Engineering University, 2010:89-114.(in Chinese)

[21] Tormene T,Giorgino S,Quaglini M.Stefanelli matching incomplete time series with dynamic time warping: an algorithm and an application to post-stroke rehabilitation[J]. Artificial Intelligence in Medicine,2008,45(1),11-34.DOI: 10.1016/j.artmed.2008.11.007.

[22] 周炳良.非特定人孤立詞語(yǔ)音識(shí)別算法研究[D].南京:南京郵電大學(xué),2018:32-54.

Zhou B L.Research on speech recognition algorithm of speaker-independent isolated words[D].Nanjing:Nanjing University of Posts and Telecommunications,2018:32- 54.(in Chinese)

[23] 吳曉平,崔光照,路康.基于DTW算法的語(yǔ)音識(shí)別系統(tǒng)實(shí)現(xiàn)[J].電子工程師,2004,30(7):17-19.

Wu X P,Cui G Z,Lu K.The realization of speech recognition system based on DTW algorithm[J].Electronic Engineer, 2004,30(7):17-19.(in Chinese)

[24] 李正欣,張鳳鳴,李克武,等.一種支持DTW距離的多元時(shí)間序列索引結(jié)構(gòu)[J].軟件學(xué)報(bào),2014,25(3):560-575.

Li Z X,Zhang F M, Li K W,et al.Index structure for multivariate time series under DTW distance metric[J]. Journal of Software,2014,25(3):560-575.(in Chinese)

An Outliers Detection Method for Automatic Soil Moisture Observation Data Based on Characteristic Curve

ZHOU Xiao-tian, CHEN Yi-ling, LI Yun, LI Chang-jun, ZHANG Ping, ZHANG Qian-ru

(Key Laboratory for Meteorological Disaster Prevention and Mitigation of Shandong/Shandong Meteorological Information Centre, Jinan 250031, China)

A new outliers detection method for automatic soil moisture observation data based on characteristic curve is proposed. The main and basic idea of this method was feature extraction and the morphological matching between two soil moisture time series, and the detailed operation processes were as follows: firstly, the method took X as the expected checking time series and took Y as the corrected template time series, and also gave the range and elements of these two series. Secondly, the method decomposed series X and Y by empirical mode decomposition (EMD) method to obtain the recomposition series C and Q respectively. In this process, series C was the total accumulation of IMFs of series X and series Q was the total accumulation of IMFs of series Y. Thirdly, the method obtained series Cand Qby using dynamic time warping (DTW) algorithm which was designed to align series C and Q. Fourthly, the method obtained the variation series Dwhose elements were calculated by the variation coefficient between series Cand Q, and then, the method also traversed each element of series Dand marked the elements whose value was greater than threshold as overruns. The threshold was obtained by comprehensive calculating the standard deviation of series X and Y. Finally, the outliers in the checking series X could be found through the mapping relationships between series X and series D. The example showed that: (1) the method did not need to introduce external factors such as soil physical constants and meteorological conditions, and avoided adding relevant parameters such as high and low boundary and slope in the calculation process. (2) The method used the continuous soil moisture data of the same depth from the same station instead of multi-station data comparison, and had no strict length consistency requirements for series X and series Y, so the calculation was more flexible and applicable. (3) The routine of the method was clear, and all of the input processes and output processes in this method were specific. The method was suitable for computer programming and business operation. The technical route of this method might be provided for other agrometeorological data quality control research.

Characteristic curve; Soil moisture; EMD; DTW; Outliers

周笑天,陳益玲,李蕓,等.一種基于特征曲線的自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值檢測(cè)方法[J].中國(guó)農(nóng)業(yè)氣象,2022,43(3):229-239

10.3969/j.issn.1000-6362.2022.03.006

2021?05?24

山東省發(fā)展和改革委員會(huì)“山東現(xiàn)代農(nóng)業(yè)氣象服務(wù)保障工程”［魯發(fā)改農(nóng)經(jīng)（2017）97號(hào)］

陳益玲，高級(jí)工程師，研究方向?yàn)闅庀髷?shù)據(jù)質(zhì)量控制與氣象檔案管理，E-mail：lotushumor@126.com

周笑天，E-mail：xtzhou1981@163.com