基于CIMISS的土壤水分質(zhì)控應(yīng)用研究

王立俊，施晨曉，王 旭，賀永興，吳 軍

(1.海南省氣象信息中心，海南 ?？?570203；2.海南省南海氣象防災(zāi)減災(zāi)重點實驗室，海南 ?？?570203)

0 引 言

土壤水分是土壤的重要物理參數(shù)，準(zhǔn)確地測量土壤水分及其變化，對了解土壤水分狀況，指導(dǎo)灌溉施肥和研究土壤水分運動具有十分重要的意義[1]。中國是一個農(nóng)業(yè)大國，農(nóng)業(yè)生產(chǎn)對氣象服務(wù)的需求與日俱增。土壤水分觀測則是農(nóng)業(yè)氣象觀測的重要組成部分，其資料的應(yīng)用，對掌握土壤水分變化規(guī)律，提供實時農(nóng)業(yè)生產(chǎn)服務(wù)和氣象防災(zāi)減災(zāi)具有重要意義[2]。

海南省自2010年開始安裝、建設(shè)土壤水分自動觀測站；2012年，第一批自動土壤水分站通過了中國氣象局的考核驗收，開始業(yè)務(wù)化運行。截至2013年底，海南已建成自動土壤水分站18個，全部通過中國氣象局驗收，成為業(yè)務(wù)考核站，其分布情況如圖1所示。

圖1 海南省土壤水分自動觀測站分布圖

中國氣象局與各省、市級氣象局設(shè)計研發(fā)了國家級-省級-臺站三級質(zhì)控的MDOS(meteorological data operation system)氣象資料業(yè)務(wù)系統(tǒng)[3]，實現(xiàn)對各種類型的氣象原始觀測數(shù)據(jù)進行質(zhì)控和以人機交互的形式審核質(zhì)控后產(chǎn)生的疑誤數(shù)據(jù)[4-5]。

氣象信息共享系統(tǒng)CIMISS(China integrated meteorological information service system)由中國氣象局設(shè)計、研發(fā)，整個系統(tǒng)由五個功能模塊組成，分別是：收集與分發(fā)模塊CTS、數(shù)據(jù)加工處理模塊DPC、數(shù)據(jù)存儲管理模塊SOD、綜合業(yè)務(wù)監(jiān)控模塊MCP、數(shù)據(jù)共享服務(wù)模塊GDS。這些模塊分別部署在國家和各省級節(jié)點，對各種氣象資料和產(chǎn)品進行收集、加工、存儲及服務(wù)，是氣象業(yè)務(wù)、服務(wù)和管理的核心基礎(chǔ)數(shù)據(jù)支撐平臺[6]，是MDOS系統(tǒng)的數(shù)據(jù)來源。

目前，MDOS系統(tǒng)使用通用閾值來質(zhì)控土壤水分觀測數(shù)據(jù)中0～100 cm土層要素，篩選出的疑誤數(shù)據(jù)以“未通過降水關(guān)系檢查”為主提示到值班人員，許多疑誤數(shù)據(jù)被誤檢、漏檢，使值班人員的審核效率低下。

針對上述問題，通過分析海南各臺站歷年小時土壤水分觀測數(shù)據(jù)不同土層的特異性，總結(jié)出不同土層各要素的閾值范圍，引入氣候極值檢查、時變檢查、持續(xù)性檢查等檢查方法，提出基于CIMISS的MQCSM(multiple quality control method of soil moisture)算法。該算法采用多時次、多方法的方式質(zhì)控原始土壤水分觀測數(shù)據(jù)，能快速、準(zhǔn)確地篩查出疑誤數(shù)據(jù)，值班人員閱覽web頁面查看疑誤信息。業(yè)務(wù)試用結(jié)果表明，系統(tǒng)能有效地質(zhì)控出更多的誤檢或漏檢土壤水分疑誤數(shù)據(jù)，提高值班人員審核疑誤數(shù)據(jù)的效率。

1 相關(guān)技術(shù)

1.1 質(zhì)控方法

目前，國內(nèi)外氣象研究者設(shè)計研發(fā)了各種質(zhì)量控制系統(tǒng)，用于對不同類型的氣象數(shù)據(jù)進行質(zhì)量控制。例如：在地面觀測業(yè)務(wù)中，北歐國家使用臺站級質(zhì)控、入庫前實時質(zhì)控、入庫后非實時質(zhì)控和人工質(zhì)控等多種方式質(zhì)控地面自動站觀測數(shù)據(jù)[7]，美國使用臺站-州-國家三級質(zhì)控方式來質(zhì)控觀測數(shù)據(jù)[8]，中國使用臺站級、省級和國家級三級質(zhì)控方式，由下至上地對觀測數(shù)據(jù)進行質(zhì)量控制。

在不同的質(zhì)量控制系統(tǒng)中，所使用的數(shù)據(jù)質(zhì)量控制方法分為以下五種[9-14]，分別是氣候界限值檢查、臺站極值檢查、內(nèi)部一致性檢查、時間一致性檢查和空間一致性檢查。

(1)氣候界限值檢查：一般是從氣候?qū)W的角度去判斷某個氣象要素的數(shù)值是否超過了不可能出現(xiàn)的氣象要素臨界值[9]，通過設(shè)置極值上下界來判定要素數(shù)值是否正確。

(2)臺站極值檢查：通常是檢查原始觀測數(shù)據(jù)中某個要素值是否超出臺站已出現(xiàn)過的歷史極值，若數(shù)值超過歷史極值，由觀測員分析站點歷史數(shù)據(jù)，按照實際情況和工作經(jīng)驗判斷觀測數(shù)據(jù)的正確性[10]。

(3)內(nèi)部一致性檢查：在同一時次或時段內(nèi)，不同氣象要素之間是否滿足一定的物理關(guān)系。若不滿足這些關(guān)系，則至少有一個氣象要素為錯誤數(shù)據(jù)[11]。

(4)時間一致性檢查：在連續(xù)時間段內(nèi)，某個氣象要素必須滿足一定的規(guī)律性變化。如最高氣溫存在明顯的日變化，若連續(xù)24小時數(shù)值不發(fā)生變化，則可判定為疑誤或錯誤。

(5)空間一致性檢查：在同一空間上(相鄰站點)，同一氣象要素滿足一定的連續(xù)性，常用方法有空間插值法、Madsen方法[13]、空間回歸檢查法[14]等。

1.2 質(zhì)控平臺

該文設(shè)計的質(zhì)控平臺是基于CIMISS接口服務(wù)進行研發(fā)的。在CIMISS系統(tǒng)中，觀測數(shù)據(jù)的處理流程如下：CTS模塊實時收集市、縣臺站及無人自動站上傳至省級節(jié)點的各類氣象觀測數(shù)據(jù)，自動對上行數(shù)據(jù)進行格式檢查，快速質(zhì)控等操作，接著分別分發(fā)至國家級和DPC等分發(fā)地址；DPC模塊實時對分發(fā)數(shù)據(jù)進行解碼入庫，由數(shù)據(jù)簡約處理流程負(fù)責(zé)入庫地面資料、高空資料等結(jié)構(gòu)化數(shù)據(jù)，雷達、衛(wèi)星云圖等非結(jié)構(gòu)化數(shù)據(jù)由SOD模塊中的處理流程負(fù)責(zé)入庫；MCP模塊實時接收CTS、DPC等模塊發(fā)送的處理及告警信息，并監(jiān)控、預(yù)警各類觀測數(shù)據(jù)的處理狀態(tài)；將數(shù)據(jù)庫中的數(shù)據(jù)封裝成MUSIC接口，對外提供數(shù)據(jù)訪問服務(wù)。

1.3 SSH框架

該文設(shè)計的質(zhì)控平臺的開發(fā)架構(gòu)采用SSH框架技術(shù)，以B/S模式來跨平臺呈現(xiàn)逐小時土壤水分質(zhì)控結(jié)果。SSH框架是由Struts 2、Spring和Hibernate組成的，屬于主流的輕量級J2EE軟件開發(fā)架構(gòu)。采用該框架開發(fā)應(yīng)用，能較好地對應(yīng)用功能模塊分層、解耦，簡化系統(tǒng)開發(fā)的復(fù)雜度，縮短系統(tǒng)開發(fā)時間，使系統(tǒng)具備良好的可拓展性和可移植性。

其中，Struts2是以Webwork為核心的邏輯控制器，采用攔截器機制來響應(yīng)前端用戶提交的web請求，將Servlet與業(yè)務(wù)邏輯控制器分離[15]。Spring是屬于輕量級的Java Web框架，通過配置文件及事務(wù)管理機制，可靈活管理多種數(shù)據(jù)庫，提供多元化的業(yè)務(wù)邏輯[16]。Hibernate采用O/R Mapping技術(shù)，通過配置XML文件或Annotation注解為Java對象和各類數(shù)據(jù)庫中的表結(jié)構(gòu)建立一種或多種映射關(guān)系，操控對象即操作數(shù)據(jù)庫[17]。

2 MQCSM算法

目前，MDOS系統(tǒng)使用通用閾值來質(zhì)控土壤水分觀測數(shù)據(jù)，使得部分疑誤數(shù)據(jù)被漏檢和誤檢，降低值班人員的疑誤數(shù)據(jù)篩查效率。因此，通過分析、研究海南地區(qū)各臺站土壤水分觀測數(shù)據(jù)不同土層要素的特異性，總結(jié)出不同土層的閾值范圍，并引入時變檢查、持續(xù)性檢查等檢查方法，提出基于CIMISS的MQCSM算法。該算法對不同土層的要素值進行質(zhì)控檢查，能快速、有效地質(zhì)控出土壤水分疑誤數(shù)據(jù)。

2.1 選取閾值范圍

海南地區(qū)的原始土壤水分逐小時觀測數(shù)據(jù)僅在0～10 cm、10～20 cm、20～30 cm、30～40 cm、40～50 cm五個土層有實際的觀測數(shù)值，這些觀測參數(shù)分別是土壤體積含水量Q(%)、土壤體積重量含水率w(%)、土壤相對濕度R(%)和土壤有效水分貯存量u(mm)，其中通過Q可計算出w，R和u的數(shù)值，具體公式見《土壤水分觀測 頻域反測法》[18]。

該文使用的具體質(zhì)量控制方法共四種：(1)界限值檢查；(2)極值檢查；(3)時變檢查；(4)持續(xù)性檢查。選取2018年1月至2019年12月時間段，共計314 908條原始土壤水分逐小時觀測數(shù)據(jù)，分析、總結(jié)出0～50 cm五個土層各土壤要素的閾值范圍，用于檢查不同土層中的不同要素是否疑誤。

2.1.1 界限值檢查閾值選取

根據(jù)《自動土壤水分觀測規(guī)范(試行)》的規(guī)定，自動土壤觀測儀傳感器對各層土壤體積含水量的閾值范圍是0%～50%。分析海南地區(qū)2018至2019年的逐小時觀測數(shù)據(jù)分析，發(fā)現(xiàn)大多數(shù)臺站的各層土壤體積含水量數(shù)值(尤其是表層)往往大于50%，結(jié)合樣本的數(shù)據(jù)特征，將界限值檢查中土壤體積含水量的閾值范圍設(shè)為0%～60%，當(dāng)某一層次的Q被判定為疑誤時，同一層次的w，R和u均為疑誤。

2.1.2 極值檢查閾值選取

統(tǒng)計、分析2018年至2019年期間的各臺站0～50 cm土層中各土壤水分要素的極值，得出不同土層的體積含水量數(shù)值變化范圍較大，最小值有4%，最大值有99%，且最大值基本分布在30～40 cm土層，確定不同土層各要素的閾值范圍，如表1所示。

表1 不同土層各要素的閾值范圍

2.1.3 時變檢查閾值選取

時變檢查是檢查0～50 cm土層中某土壤水分要素前后2個時次的變化值是否落在合理的閾值范圍內(nèi)，這是因為無降水、觀測儀器傳感器無故障或其他外界因素影響時，要素的變化值在一定時間內(nèi)波動較小。對所選取的業(yè)務(wù)樣本數(shù)據(jù)進行個例統(tǒng)計和分析，總結(jié)出適用0～50 cm土層各要素相鄰時次變化值的閾值范圍，如表2所示。

表2 各要素相鄰時次變化值的閾值范圍

其中，ΔQ0～20表示0～20 cm土層體積含水量當(dāng)前時次與上一次的變化值，其中ΔQ30～50表示30～50 cm土層體積含水量當(dāng)前時次i與上一時次i-1的變化值，如式(1)所示，其他要素類似，不逐一詳述。

(1)

2.1.4 持續(xù)性檢查閾值選取

持續(xù)性檢查是檢查土層中各土壤要素的數(shù)值在一段連續(xù)時間段內(nèi)是否發(fā)生變化，若數(shù)值未發(fā)生變化，則有可能是觀測儀器存在故障問題，或是觀測儀器周圍受到積水影響。此外，由于深層土壤各要素數(shù)值變化幅度不大和土壤特性，該文將持續(xù)性檢查中的時間時長設(shè)為48小時，若某個土壤要素在設(shè)定的時長內(nèi)未發(fā)生變化，則判定為“疑誤”。

2.2 算法思路

MQCSM算法采用上述檢查方法對海南土壤水分站0～50 cm土層的各土壤要素進行質(zhì)量控制，實現(xiàn)對土壤水分?jǐn)?shù)據(jù)的多重質(zhì)控，及時、有效地篩選出疑誤數(shù)據(jù)。根據(jù)選取的檢查方法，算法思路主要分為三個部分，如圖2所示。

圖2 算法流程

(1)閾值初始化：使用上小節(jié)的閾值選取來初始化0～50 cm土層各檢查方法的閾值范圍，閾值范圍可根據(jù)實際情況自定義調(diào)整。

(2)多重質(zhì)控檢查：依次對待質(zhì)控時次的土壤水分?jǐn)?shù)據(jù)進行質(zhì)控檢查，整個流程按檢查方法分為四個部分，分別是：(a)對0～50 cm土層中的體積含水量Qn0i(n∈(1,2,3,4,5))進行界限值檢查，其中Q10i表示某一時次的10 cm土層體積含水量，其他土層類似。若Qn0i的數(shù)值不在閾值范圍內(nèi)，則判定Qn0i為疑誤；(b)對0～50 cm土層的重量含水率wn0i、相對濕度Rn0i、有效水分貯存量un0i進行極值檢查，w10i、Rn0i和un0i的表示與Q10i類似，n∈(1,2,3,4,5)。若w10i、Rn0i或un0i的數(shù)值不在閾值范圍內(nèi)，則可判定該要素為疑誤；(c)對0～50 cm土層的體積含水量時變值ΔQn0、重量含水率時變值Δwn0、相對濕度時變值ΔRn0和有效水分貯存量時變值Δun0進行時變檢查，這里用10 cm土層體積含水量時變值ΔQ10來舉例，ΔQ10的數(shù)值為當(dāng)前時次的要素值Q10i減去前一時次的要素值Q10i-1，若差值不在閾值范圍，則判定Q10i為疑誤，其他時變值的判定與Q10i類似，n∈(1,2,3,4,5)；(d)對0～50 cm土層各土壤要素進行連續(xù)48小時的持續(xù)性檢查，若某個時次某土壤要素連續(xù)48個時次未發(fā)生改變，則可判定為疑誤。上述4個檢查判定為疑誤的土壤要素用于生成下階段的疑誤記錄。

(3)生成疑誤記錄：后臺自動獲取上階段產(chǎn)生的疑誤土壤要素關(guān)聯(lián)的臺站號、觀測時次、疑誤狀態(tài)、疑誤要素及要素值等關(guān)鍵字段，生成最終的疑誤記錄。

3 平臺實現(xiàn)

根據(jù)審核人員的值班需求，分析、總結(jié)出逐小時土壤水分實時質(zhì)控的流程，使用SSH開發(fā)框架，研發(fā)了一個集數(shù)據(jù)質(zhì)控、疑誤數(shù)據(jù)展示及搜索的土壤水分實時質(zhì)控平臺。

平臺的工作流程如圖3所示：值班人員打開土壤水分監(jiān)控頁面后，后臺會自動調(diào)用數(shù)據(jù)質(zhì)控模塊：(1)數(shù)據(jù)入庫：若數(shù)據(jù)庫為新庫，則獲取系統(tǒng)時間，自動生成相應(yīng)的Music語句來調(diào)用接口獲取相應(yīng)時間段內(nèi)的原始觀測數(shù)據(jù)，對數(shù)據(jù)預(yù)處理后，初始化數(shù)據(jù)庫；若數(shù)據(jù)庫已有數(shù)據(jù)，后臺獲取庫中最新的觀測時次，并生成相應(yīng)的Music語句來獲取待入庫的原始觀測數(shù)據(jù)。

(2)數(shù)據(jù)質(zhì)控：后臺實時對未質(zhì)控過的觀測數(shù)據(jù)進行多重質(zhì)控檢查，篩選出疑誤數(shù)據(jù)，生成相應(yīng)的質(zhì)控記錄。

圖3 平臺工作流程

土壤水分質(zhì)控結(jié)果展示頁面如圖4所示，值班人員能實時看到最新時次的土壤水分質(zhì)控結(jié)果，質(zhì)控結(jié)果內(nèi)容包含疑誤數(shù)據(jù)的相關(guān)信息，便于值班人員定位疑誤數(shù)據(jù)產(chǎn)生的原因。

圖4 質(zhì)控結(jié)果展示頁面

4 實驗結(jié)果分析

4.1 實驗環(huán)境

使用Java編程語言實現(xiàn)MQCSM算法，系統(tǒng)參數(shù)為：(1)CPU：Intel (R) Core(TM) i7-6700HQ 2.60 GHz；(2)內(nèi)存：8 G；(3)硬盤：500 G；(4)操作系統(tǒng)：Windows 10 x64 專業(yè)版。

4.2 業(yè)務(wù)數(shù)據(jù)集

算法處理的業(yè)務(wù)數(shù)據(jù)集為2020年1月至2020年2月期間的所有土壤水分站的逐小時數(shù)據(jù)，每個逐小時數(shù)據(jù)有5個土層數(shù)據(jù)(0～50 cm)，每層包含4個土壤要素，共計518 400個數(shù)據(jù)，調(diào)用CIMISS接口獲取該時間段原始數(shù)據(jù)，預(yù)處理后入本地數(shù)據(jù)庫。

4.3 結(jié)果分析

使用MQCSM算法質(zhì)控后的結(jié)果與MDOS系統(tǒng)質(zhì)控后的結(jié)果，對比結(jié)果如表3所示，表中誤檢率表示數(shù)據(jù)本身正確，經(jīng)人工核實確認(rèn)正確的，但被程序質(zhì)控出來的疑誤記錄占總記錄數(shù)的比值；漏檢率表示數(shù)據(jù)本身可疑或錯誤，經(jīng)人工核實確認(rèn)可疑，但未被程序質(zhì)控出來的疑誤記錄占總記錄數(shù)的比值。

表3 對比結(jié)果

由對比結(jié)果可知，與MDOS系統(tǒng)的質(zhì)控結(jié)果對比，MQCSM算法在數(shù)據(jù)質(zhì)控中具有更低的誤檢率和漏檢率，這是因為MDOS系統(tǒng)中檢查方法采用通用閾值來對土壤水分?jǐn)?shù)據(jù)進行質(zhì)量控制，篩查出較多的疑誤數(shù)據(jù)，但部分疑誤數(shù)據(jù)在本地屬于正常數(shù)據(jù)范圍，人工審核后為正確數(shù)據(jù)，且多以“未通過降水關(guān)系檢查”提示，而MQCSM算法的0.13%誤檢率都是未通過持續(xù)性檢查的疑誤數(shù)據(jù)，這些數(shù)據(jù)的數(shù)值是正確的，但在實際日常業(yè)務(wù)中，需要臺站人員去檢查儀器周邊確認(rèn)是否有干擾因素，導(dǎo)致數(shù)值長時間未發(fā)生變化。所以MQSCM算法采用分析出的要素閾值范圍，引入時變檢查、持續(xù)性檢查等檢查方法，對觀測數(shù)據(jù)進行多重質(zhì)控，能更準(zhǔn)確地發(fā)現(xiàn)疑誤數(shù)據(jù)。

5 結(jié)束語

MDOS系統(tǒng)使用通用閾值來質(zhì)控土壤水分?jǐn)?shù)據(jù)，會漏檢或誤檢較多疑誤數(shù)據(jù)，且疑誤結(jié)果多以“未通過降水關(guān)系檢查”提示為主。為提高土壤水分疑誤數(shù)據(jù)的質(zhì)控效率，通過分析海南歷史數(shù)據(jù)，結(jié)合海南本地的氣候特點，總結(jié)出適用本地的閾值范圍，引入極值檢查、時變檢查和持續(xù)檢查等檢查方法，提出了MQCSM算法。該算法對土壤水分?jǐn)?shù)據(jù)進行多重質(zhì)控，與現(xiàn)有MDOS系統(tǒng)的土壤水分質(zhì)控效果對比，能更有效、準(zhǔn)確地質(zhì)控出疑誤數(shù)據(jù)。在此基礎(chǔ)上，研發(fā)了一個土壤水分質(zhì)控監(jiān)控平臺，使值班人員能快速地篩查土壤水分疑誤數(shù)據(jù)。經(jīng)業(yè)務(wù)試用，各模塊運行穩(wěn)定，能有效地提高土壤水分?jǐn)?shù)據(jù)審核效率。