自動替換國家站異常數(shù)據(jù)技術(shù)方法探究

王旖楠, 閆文輝, 張志龍

(1.內(nèi)蒙古自治區(qū)通遼市氣象局,通遼 028000;2.內(nèi)蒙古自治區(qū)興安盟氣象局,烏蘭浩特 137400;3.河北省唐山市豐南區(qū)氣象局,唐山 063300)

0 引言

2020-04-01,地面氣象觀測自動化改革正式業(yè)務運行,雖然改革后氣象觀測頻次、數(shù)據(jù)傳輸效率和數(shù)據(jù)量顯著提升,但是當臺站地面或輻射正點數(shù)據(jù)部分或全部缺測或數(shù)據(jù)異常時,仍需省級數(shù)據(jù)質(zhì)控業(yè)務部門值班人員聯(lián)系臺站業(yè)務人員進行繁瑣的人工干預,未能有效利用備份自動氣象站(簡稱“備份站”)數(shù)據(jù)在省級完成數(shù)據(jù)處理[1-2]。同時,大多數(shù)備份站為Ⅰ,Ⅱ,Milos型自動氣象站,無法生成能在氣象資料業(yè)務系統(tǒng)和氣象大數(shù)據(jù)云平臺入庫的標準格式氣象數(shù)據(jù)(BUFR文件),數(shù)據(jù)無法實時進入業(yè)務系統(tǒng),造成資源浪費。將備份站全部更換為新型自動氣象站的性價比很低,因此,研究備份站數(shù)據(jù)應用方法,使其發(fā)揮應有的效益,具有重要的現(xiàn)實意義。

研究數(shù)據(jù)格式差異及異常數(shù)據(jù)代替方法,在省級通過程序自動實現(xiàn)用備份站等可用數(shù)據(jù)代替現(xiàn)用自動氣象站(均為新型自動站,簡稱“現(xiàn)用站”)正點異常數(shù)據(jù)的功能,將大大提高國家氣象觀測數(shù)據(jù)的準確率、可用率和業(yè)務可用性,文章就省級自動替換國家站異常數(shù)據(jù)的技術(shù)方案進行探究,為省級數(shù)據(jù)質(zhì)控業(yè)務部門選擇數(shù)據(jù)處理方式提供有益參考。

1 異常數(shù)據(jù)替換規(guī)則

根據(jù)《地面氣象觀測業(yè)務技術(shù)規(guī)定實用手冊》可知,正點時次異常記錄按照正點前10 min內(nèi)接近正點的正常記錄、正點后10 min內(nèi)接近正點的正常記錄、備份站記錄、內(nèi)插記錄的順序代替[3]。風、日照等記錄不可以內(nèi)插,日照、蒸發(fā)、降水量等不可以用分鐘記錄代替。正點前10 min內(nèi)接近正點的正常記錄代替工作已經(jīng)由地面綜合觀測業(yè)務軟件自動實現(xiàn)[4-5]。文章重點研究利用正點后10 min內(nèi)接近正點的正常記錄、備份站記錄、內(nèi)插記錄代替異常數(shù)據(jù)(不包括日照、蒸發(fā)、降水量)的方法[6]。

2 數(shù)據(jù)替換方法探討

臺站BUFR文件在氣象資料業(yè)務系統(tǒng)和氣象大數(shù)據(jù)云平臺兩個業(yè)務系統(tǒng)入庫并對外提供數(shù)據(jù)查詢服務,但該文件不支持編輯和修改;Z文件可編輯修改,但不能在氣象資料業(yè)務系統(tǒng)和氣象大數(shù)據(jù)云平臺入庫。現(xiàn)用站能同時生成BUFR文件和Z文件,而Ⅰ,Ⅱ,Milos型備份站只能生成Z文件,再通過“Z轉(zhuǎn)BUFR”插件轉(zhuǎn)換得到BUFR文件。臺站地面或輻射正點數(shù)據(jù)(BUFR文件)部分或全部異常(錯誤、缺測、缺報等)時,需要由省級信息中心負責數(shù)據(jù)質(zhì)控的技術(shù)人員聯(lián)系臺站業(yè)務人員按照異常數(shù)據(jù)替換規(guī)則進行人工干預。

研究Z文件格式發(fā)現(xiàn),文件內(nèi)容分為13段,其中與數(shù)據(jù)相關(guān)的是2～11段。每段的要素和字節(jié)量固定,通過自編小程序能夠讀取相關(guān)要素數(shù)據(jù)并修改數(shù)據(jù)。因此,將臺站的現(xiàn)用站和備份站Z文件通過FTP傳輸至省級備用,當臺站現(xiàn)用站出現(xiàn)設備故障等異常情況時,能夠通過程序自動實現(xiàn)數(shù)據(jù)替換功能。

正點后第1分鐘檢索該正點Z文件名稱,如果找不到該文件,說明全部要素數(shù)據(jù)均缺測;找到正點Z文件時,將其打開并按位讀取各要素數(shù)據(jù),編報“/”的代表缺測,這兩種情況均需進行異常數(shù)據(jù)處理。如果找到的正點Z文件中沒有缺測的要素,則不進行處理。

2.1 用正點后10 min內(nèi)接近正點的正常記錄代替

某時次有要素缺測時,正點后第1 min讀取該要素分鐘數(shù)據(jù)文件,若該要素不缺測,則用該值代替正點值,寫入正點Z文件中的相應位置,并不再讀取該要素分鐘數(shù)據(jù)文件;若第1 min該要素缺測,則在第2 min繼續(xù)讀取該要素分鐘數(shù)據(jù)文件,若該要素不缺測,則用該值代替正點值,寫入正點Z文件中的相應位置,并不再讀取該要素分鐘數(shù)據(jù)文件,以此類推。此過程持續(xù)到第10 min為止。

案例:某站2022-01-02T03:00正點氣壓、氣溫和相對濕度缺測,正點后10 min記錄如表1所示;備份站正點氣壓為1,003.5 hPa,氣溫為22.8 ℃,相對濕度為57%。03:08因供電異常導致計算機硬盤損壞,03:08—03:10的分鐘數(shù)據(jù)于2022-12-18修復計算機硬盤后讀出。按照數(shù)據(jù)處理流程,正點Z文件中的氣溫應該用第6 min的22.6 ℃代替,相對濕度應該用第7分鐘的56%代替;本站氣壓暫不處理,待12月硬盤修復后用第10 min的1,003.6 hPa代替。

表1 某站正點后10 min記錄

2.2 用備份站記錄代替

當正點后第10分鐘該要素仍缺測時,不再讀取該要素分鐘數(shù)據(jù)文件,并用備份站正點Z文件中對應要素的值代替。

2.3 用內(nèi)插記錄代替

當備份站正點Z文件中的氣象要素值缺測時,用現(xiàn)用站該要素值上一時次與下一時次的平均值代替(不包括風)。

案例:某站2022-01-02T08:00正點氣溫缺測,正點前10 min和正點后10 min的記錄缺測,備份站記錄也缺測。07:00和09:00正點氣溫記錄如表2所示,可見,08:00 Z文件中的正點氣溫值應該用內(nèi)插計算出來的22.5 ℃代替。

表2 某站1月2日07:00和09:00正點氣溫記錄

2.4 按缺測處理

如果現(xiàn)用站某要素連續(xù)2個時次缺測且無其他代替值,則該要素按缺測處理。

在上述處理流程中,如果某要素正點后10 min內(nèi)的記錄均缺測,會導致正點后10 min該要素得不到處理,影響了這段時間的數(shù)據(jù)準確率。某時次有要素缺測時,按照異常數(shù)據(jù)替換規(guī)則,在當前時間能獲取的數(shù)據(jù)中選擇符合要求的數(shù)據(jù)進行代替處理,即可以避免此類問題。如章節(jié)2.1的案例中,正點時無法獲取正點后10 min數(shù)據(jù),當前本站氣壓、氣溫和相對濕度用備份站記錄代替,既符合要求又提高了數(shù)據(jù)可用率和到報時效;啟動“用正點后10 min內(nèi)接近正點的正常記錄代替”的處理流程,用正點后第6 min氣溫代替正點氣溫,正點后第7 min相對濕度代替正點相對濕度,12月18日用正點后第10分鐘本站氣壓代替正點本站氣壓,能有效避免數(shù)據(jù)缺測率高、更正數(shù)據(jù)不及時的問題。

如果不采用自動處理異常數(shù)據(jù)的方式,當省級數(shù)據(jù)質(zhì)控業(yè)務部門值班人員發(fā)現(xiàn)數(shù)據(jù)異常時,再聯(lián)系臺站業(yè)務人員人工進行確認處理,一般需要數(shù)小時甚至幾天時間,且存在一定的出錯概率。因此,自動處理異常數(shù)據(jù)的兩種方案明顯比人工處理異常數(shù)據(jù)具有更高的效率和準確度。

3 數(shù)據(jù)替換流程設計

經(jīng)過比較數(shù)據(jù)異常時幾種處理方案的效果發(fā)現(xiàn),正點時次異常記錄用備份站記錄代替,正點后10 min內(nèi)接近正點有正常記錄時再替換備份站記錄,備份站記錄和正點后10 min內(nèi)記錄均缺測時用內(nèi)插記錄代替,具有較高的時效性和準確性。

4 結(jié)束語

實現(xiàn)異常數(shù)據(jù)記錄自動代替,能夠充分發(fā)揮備份站的備份作用。文章提出了現(xiàn)用站數(shù)據(jù)缺測時自動實時使用現(xiàn)用站分鐘數(shù)據(jù)和備份站數(shù)據(jù)代替的兩種技術(shù)方案,并與人工處理異常數(shù)據(jù)的方法進行比較,結(jié)果表明:

1)人工處理異常數(shù)據(jù)流程繁瑣,有一定的出錯概率,效率低;

2)兩種自動處理異常數(shù)據(jù)方案具有更高的效率和準確度,可解決Ⅰ,Ⅱ,Milos型備份站Z文件不能在氣象資料業(yè)務系統(tǒng)和氣象大數(shù)據(jù)云平臺入庫的問題,同時極大地減少了人工處理數(shù)據(jù)工作量,對提高國家級地面氣象觀測站數(shù)據(jù)的準確率、及時率、可用率有很大幫助。