吉林省區(qū)域自動氣象站雨量數(shù)據(jù)的質(zhì)量分析與評估

（吉林省人工影響天氣辦公室，長春 130062）

0 引言

區(qū)域自動氣象站是氣象防災(zāi)減災(zāi)預(yù)測預(yù)警系統(tǒng)的重要組成部分，具有速度快、觀測密度大、自動化程度高等特點。吉林省2006年開始使用區(qū)域自動氣象站，截至2014年吉林省在用的區(qū)域自動氣象站數(shù)量已達(dá)1100多個，其中大部分站點為無人值守的區(qū)域站。區(qū)域站的觀測資料已實現(xiàn)了實時數(shù)據(jù)上傳，這些觀測數(shù)據(jù)包括雨量、氣溫、濕度、風(fēng)速、氣壓等數(shù)據(jù)，它們對氣象決策服務(wù)、氣象預(yù)警、氣象預(yù)報、效果檢驗等都提供了重要的數(shù)據(jù)支撐作用[1]。眾多站點的觀測數(shù)據(jù)不可能完全無誤，往往存在觀測數(shù)據(jù)明顯異常的情況，造成數(shù)據(jù)異常的原因是多方面的，建立科學(xué)有效的資料質(zhì)量評估與控制方法，能在數(shù)據(jù)源頭嚴(yán)把數(shù)據(jù)質(zhì)量關(guān)，進(jìn)而提高數(shù)據(jù)的可用性，為氣象業(yè)務(wù)提供有效的支撐。

目前，國內(nèi)外學(xué)者對地面氣象站雨量數(shù)據(jù)的質(zhì)量評估方法做過一些研究，如：任芝花等[2]研究了自動站小時降水資料的質(zhì)量控制方法，莫遵元[3]通過極值、空間連續(xù)性、時間連續(xù)性檢查對區(qū)域氣象站雨量數(shù)據(jù)異常進(jìn)行分析處理，Sciuto等[4]利用神經(jīng)網(wǎng)絡(luò)算法對日降水?dāng)?shù)據(jù)進(jìn)行質(zhì)量控制，針對小時觀測資料尤其是小時雨量觀測資料質(zhì)量評估方法的研究是比較有限的，應(yīng)用到小時雨量資料的質(zhì)量評估方法主要是氣候?qū)W界限值檢查法，諸如臺站或區(qū)域極值檢查、要素間內(nèi)部一致性檢查等應(yīng)用于地面氣象資料質(zhì)量評估的方法基本尚未開展。

本文研究的開展主要基于區(qū)域自動氣象站對氣象決策服務(wù)、氣象災(zāi)害預(yù)警等的支撐作用，著眼于吉林省雨量數(shù)據(jù)的質(zhì)量分析及評估，提出適用于本省的雨量數(shù)據(jù)質(zhì)量控制方法，并在質(zhì)量控制方法中將區(qū)域特點以及設(shè)備系統(tǒng)特點融入進(jìn)來，進(jìn)而提升評估方案的全面性及可用性。

1 數(shù)據(jù)和方法

1.1 數(shù)據(jù)

本研究利用的數(shù)據(jù)為吉林省區(qū)域自動氣象站的2007—2011年每年4—9月的雨量數(shù)據(jù)。這些數(shù)據(jù)來自吉林省區(qū)域自動氣象站雨量數(shù)據(jù)庫。所利用的數(shù)據(jù)格式詳見圖1。

圖1 樣本數(shù)據(jù)格式Fig. 1 Sample data format

首先，需要對數(shù)據(jù)的可用性做出初步篩查，篩查結(jié)果為：本次數(shù)據(jù)抽取范圍內(nèi)所研究的區(qū)域自動氣象站站點數(shù)量為797，樣本數(shù)據(jù)總數(shù)據(jù)條數(shù)為1233500條，其中觀測時間為空的數(shù)據(jù)為0條，重復(fù)插入的數(shù)據(jù)為0條，分鐘雨量為空的數(shù)據(jù)也已剔除，數(shù)據(jù)初步可用。

在正式開始雨量數(shù)據(jù)的評估流程之前，需要將分鐘樣本數(shù)據(jù)轉(zhuǎn)換為小時樣本數(shù)據(jù)，這樣才能滿足評估方案的要求。轉(zhuǎn)換原則：（1）同一站點同一自然小時內(nèi)的分鐘雨量數(shù)據(jù)相加和得到小時雨量數(shù)據(jù)；（2）同一站點同一自然小時內(nèi)的分鐘溫度數(shù)據(jù)求平均值，得到小時溫度數(shù)據(jù)[5]。

1.2 方法

1.2.1 界限值檢查

1）氣候?qū)W界限值檢查

氣候?qū)W小時降水?dāng)?shù)據(jù)的界限值為：0～150 mm/h，超越該限值的數(shù)據(jù)記為錯誤數(shù)據(jù)。

2）區(qū)域界限值檢查

根據(jù)吉林省的經(jīng)緯度和降水量空間分布情況，參考全國區(qū)域劃分及國家氣象信息中心發(fā)布的區(qū)域小時降水界限值分布，吉林省區(qū)域的小時降水界限值為0～100 mm/h，超越界限值的數(shù)據(jù)記為錯誤數(shù)據(jù)[6]。

1.2.2 數(shù)據(jù)連續(xù)無變化檢查

雨量計漏斗部分堵塞，承水器收集的降水以勻速滲漏的方式進(jìn)人翻斗計量；測量儀器故障等情況均會造成數(shù)據(jù)連續(xù)無變化，這是一種數(shù)據(jù)異常情況。但是同時細(xì)雨綿綿似的降水也會造成降水?dāng)?shù)據(jù)連續(xù)無變化的情況，所以參考相關(guān)研究論著[6]，提出以下檢查方法：

連續(xù)6個及以上小時雨量數(shù)據(jù)相等，且滿足以下3類情況之一（其中，N1＜N2＜N3），視為數(shù)據(jù)異常。

1）連續(xù)N1個及以上小時雨量（簡稱R，下同）數(shù)據(jù)相等且R≥1.0 mm。

2）連續(xù)N2個及以上小時雨量數(shù)據(jù)相等且R∈[0.5,1.0)mm。

3）連續(xù)N3個及以上小時雨量數(shù)據(jù)相等且R∈(0,0.5) mm。

1.2.3針對電壓和數(shù)據(jù)采集系統(tǒng)的檢查

區(qū)域自動氣象站的雨量計和溫度計使用同一電源和數(shù)據(jù)采集系統(tǒng)，溫度計在其測量過程中受外界因素的干擾較少，因此可以利用對異常溫度數(shù)據(jù)的檢查來判斷自動氣象站的電源和數(shù)據(jù)采集系統(tǒng)的工作情況[7]。結(jié)合吉林省的溫度變化特點，如果吉林省在4—9月份出現(xiàn)-5 ℃以下低溫和40 ℃以上高溫時視為異常值；如果相鄰兩個小時的溫度值差值＞8 ℃，則視為異常數(shù)據(jù)。

根據(jù)所選定的評估方法，制定雨量數(shù)據(jù)質(zhì)量評估流程，詳見圖2。

1.2.4數(shù)據(jù)類型標(biāo)記

1）不滿足氣候?qū)W小時降水?dāng)?shù)據(jù)的限值的界數(shù)據(jù)記為錯誤數(shù)據(jù)，標(biāo)記為W1。

2）不滿足區(qū)域界限值檢查的數(shù)據(jù)記為錯誤數(shù)據(jù)，標(biāo)記為W2。

3）除W1和W2之外的存在溫度值異常的，將這些數(shù)據(jù)標(biāo)記為異常數(shù)據(jù)S1。

4）除W1、W2、S1外的存在數(shù)據(jù)連續(xù)無變化的，將這些數(shù)據(jù)標(biāo)記為異常數(shù)據(jù)S2[8]。

5）未做標(biāo)記的可直接視為正常數(shù)據(jù)。

在進(jìn)行錯誤及異常數(shù)據(jù)標(biāo)記過程中，可同樣將對應(yīng)的站點也歸入同一類型的錯誤及異常情況中，進(jìn)行后續(xù)分析。

圖2 雨量數(shù)據(jù)質(zhì)量評估流程圖Fig. 2 Flow chart of the rainfall data quality assessment flow chart

2 結(jié)果與分析

根據(jù)上述質(zhì)量評估方法，基于轉(zhuǎn)換后的小時樣本數(shù)據(jù)，編寫數(shù)據(jù)庫查詢腳本，對各類錯誤及異常數(shù)據(jù)進(jìn)行分析與評估。

依據(jù)質(zhì)量評估方案實施過程的分類情況，樣本數(shù)據(jù)的錯誤及異常情況已初步得到判定，如表1為站點質(zhì)量評估結(jié)果，表2展示出樣本數(shù)據(jù)質(zhì)量評估結(jié)果，其中正確站點及正確樣本數(shù)據(jù)的占比相對較高，可以初步得出本次雨量資料質(zhì)量分析與評估過程所抽取的樣本數(shù)據(jù)的可用性還是相對較高的。

表1 站點質(zhì)量評估結(jié)果Table 1 Results of the site quality assessment

表2 樣本數(shù)據(jù)質(zhì)量評估結(jié)果Table 2 Results of the sample data quality assessment

因異常及錯誤數(shù)據(jù)條數(shù)較多，現(xiàn)以異常溫度為例，選取典型的異?；蝈e誤數(shù)據(jù)進(jìn)行截圖展示，圖3為吉林省區(qū)域自動氣象站2006年4月四要素數(shù)據(jù)中，氣溫＜-5 ℃或氣溫＞38 ℃的異常數(shù)據(jù)；圖4為吉林省區(qū)域自動氣象站2006年4月四要素數(shù)據(jù)中相鄰兩小時溫度數(shù)據(jù)差值絕對值＞8 ℃的異常數(shù)據(jù)。

圖3 吉林省區(qū)域自動氣象站四要素（氣溫＜-5 ℃或氣溫＞38 ℃數(shù)據(jù)）Fig. 3 The four elements data of Jilin Province automatic weather station (temperature ＜-5 ℃ or temperature ＞38 ℃)

形成以上錯誤及異常數(shù)據(jù)的原因應(yīng)該是多方面的，建議站點觀測人員首先應(yīng)檢查觀測設(shè)備的運(yùn)轉(zhuǎn)情況，分析設(shè)備本身是否存在設(shè)備松動、老化、運(yùn)轉(zhuǎn)不正常等情況，進(jìn)而導(dǎo)致觀測錯誤及異常；其次，觀測人員還應(yīng)分析設(shè)備配套的軟件系統(tǒng)，查找是否存在數(shù)據(jù)獲取異常、數(shù)據(jù)疊加等問題。最后，加強(qiáng)定期巡檢及相關(guān)理論學(xué)習(xí)。

3 小結(jié)

在對區(qū)域自動氣象站雨量數(shù)據(jù)進(jìn)行質(zhì)量分析的過程中，也同樣發(fā)現(xiàn)了異常溫度數(shù)據(jù)，二者是相互檢驗的過程，相比溫度數(shù)據(jù)有歷史同期溫度作比較分析，雨量數(shù)據(jù)的質(zhì)量分析方法更具有探索性和多元化。目前各省對區(qū)域自動氣象站的分析研究主要集中在運(yùn)行維護(hù)、故障判斷等硬件設(shè)備領(lǐng)域，從觀測數(shù)據(jù)角度反推設(shè)備觀測異常的研究相對較少，但如廣東省、新疆伊犁[9]、湖南省[10]等省市也都做了此類研究，吉林省在區(qū)域自動氣象站雨量數(shù)據(jù)質(zhì)量控制方面的研究相對較少，希望本文研究內(nèi)容能對本省區(qū)域自動氣象站雨量數(shù)據(jù)質(zhì)量把控有所幫助。

圖4吉林省區(qū)域自動氣象站四要素200604（相鄰兩小時溫度數(shù)據(jù)差值絕對值＞8的異常數(shù)據(jù)）Fig. 4 The four elements data of Jilin Province automatic weather station 200604 (Abnormal data with an absolute value of the difference between the two consecutive hours of temperature data greater than 8)

在充分了解所考察數(shù)據(jù)所包含的業(yè)務(wù)內(nèi)容和數(shù)據(jù)單位、格式等的前提下，對可能導(dǎo)致異常數(shù)據(jù)的原因做了廣泛的學(xué)習(xí)和研究，并在此基礎(chǔ)上建立了有針對性的質(zhì)量評估方案，并將此方案進(jìn)行研究型應(yīng)用，主要用于對吉林省區(qū)域自動氣象站的5年歷史數(shù)據(jù)進(jìn)行質(zhì)量評估，經(jīng)評估得到該歷史數(shù)據(jù)的正確率、錯誤率、異常率分別為97%、約為0、3%，可見該歷史數(shù)據(jù)數(shù)據(jù)質(zhì)量相對較高，對于異常數(shù)據(jù)及相應(yīng)站點可進(jìn)一步分析確定后反饋給有關(guān)部門進(jìn)行跟蹤校正。

以上質(zhì)量評估結(jié)果仍存在很多不足之處，如：對于異常數(shù)據(jù)可在后續(xù)的研究過程中與雷達(dá)數(shù)據(jù)等進(jìn)行橫向比對，這樣可以增加數(shù)據(jù)質(zhì)量評估的可信度；另外對于歷史數(shù)據(jù)的分析研究，還不能夠?qū)崿F(xiàn)對實時上傳數(shù)據(jù)的自動化質(zhì)量控制。

后續(xù)將考慮進(jìn)一步訓(xùn)練質(zhì)量控制算法，考慮利用衛(wèi)星資料或雷達(dá)基數(shù)據(jù)進(jìn)行定性分析，從雷達(dá)或衛(wèi)星資料得到可疑數(shù)據(jù)所屬的時間段內(nèi)區(qū)域自動站周圍的降雨情況，從而更深入地對可疑降水量進(jìn)行分析判斷。