基于多源數(shù)據(jù)的地面降水質(zhì)量控制方法研究

殷笑茹 焦圣明 喜度 程婷 李玉濤

(1 江蘇省氣象信息中心，南京 210008;2 中國氣象局交通氣象重點開放實驗室，南京 210008;3 江蘇省氣象臺，南京 210008)

引 言

自動站是我國觀測地面降水量的直接工具，截至2020年，全國已布設7萬多個地面自動站，形成了空間分布廣，時間分辨率高的地面降水觀測網(wǎng)絡[1-2]。無論是精細化預報、災害預警監(jiān)測還是決策服務都需要高質(zhì)量的降水數(shù)據(jù)做支撐[3]，但由于自動站觀測方法或觀測環(huán)境惡劣等因素均可以造成雨量測量的誤差，特別是區(qū)域自動站大多處于無人看守的野外，數(shù)據(jù)采集傳輸受到電力、通信條件的限制，所以降水數(shù)據(jù)質(zhì)量無法完全得到保障[4-7]。

我國投入業(yè)務應用的氣象資料業(yè)務系統(tǒng)(MDOS)采用三級質(zhì)量控制流程[8-9]，利用界限值檢查、氣候極值檢查、內(nèi)部一致性檢查、時間一致性檢查和空間一致性檢查等[10]方法對自動站測量的降水量進行質(zhì)量控制。這些檢查方法建立在某一空間范圍內(nèi)要素分布均一的假設下，對于降水則有很大的局限性，尤其是夏季強對流天氣較頻繁的情況。2017年5至9月MDOS提出小時降水量疑誤信息為3 880條，經(jīng)過人工審核判斷正確的有2 920條，命中率僅為24.7%。大量數(shù)據(jù)被標注為可疑，對于業(yè)務應用是個極大困擾。因此，研究地面降水質(zhì)量控制方法，以期提供更快速更準確的降水數(shù)據(jù)供氣象、水利、農(nóng)業(yè)等部門使用是十分必要的。

隨著各類觀測資料和產(chǎn)品數(shù)量和種類不斷增加，引入多種資料對降水進行綜合判斷是提升降水質(zhì)量控制方法準確性的有效途徑。叢芳等[11]通過分析雷達估測降水與地面實測降水的相似離度對降水進行質(zhì)量控制，但該方法只適用于雷達資料連續(xù)完整的理想情況。張志強等[12]通過分析雷達估測降水與自動站雨量的標準差制定閾值進行檢測。井高飛等[13]在空間一致性檢查的基礎上利用雙偏振雷達資料對自動雨量計開展質(zhì)量控制。徐全倩等[14]分析國家級多源降水融合產(chǎn)品對區(qū)域站雨量的系統(tǒng)偏差進行檢查。上述方法引入雷達資料主要是通過Z-I關(guān)系式得到估測降水量來進行自動站雨量質(zhì)量控制，但Z-I關(guān)系隨著時間和空間、降水類型、季節(jié)、地域的變化而變化，應用受到限制。

本文首先分析了地面小時降水量與自動站其他觀測要素的關(guān)聯(lián)關(guān)系，然后研究了基于神經(jīng)網(wǎng)絡的雷達定量估測降水，最后提出從自動站關(guān)聯(lián)要素和雷達估測降水兩個角度對地面降水進行綜合質(zhì)量控制，建立針對地面小時降水的多源質(zhì)量控制方法。

1 資料

選取江蘇省70個國家級自動站2017—2019年5—8月小時降水量大于0 mm的降水天氣作為研究對象。自動站觀測數(shù)據(jù)包括逐時降水量、氣溫、露點溫度、氣壓、相對濕度、風速、地面溫度和能見度；多普勒天氣雷達數(shù)據(jù)采用南京、徐州、鹽城、淮安、連云港、宿遷、泰州、南通和常州9部雷達站的基數(shù)據(jù)，時間分辨率為6 min。

為保證雷達數(shù)據(jù)質(zhì)量，需對雷達基數(shù)據(jù)的反射率因子進行預處理：(1)檢查最低兩個PPI的反射率值是否大于50%，若是則判定存在超折射剔除最低層。(2)檢測每個值周邊相鄰8個點是否為有效值，若只有一個則判定孤立點予以剔除。(3)逐個檢查反射率大于50 dBZ的點，其相鄰8個點是否大于50 dBZ，若沒有則用相鄰8點的平均值代替。

2 地面降水多源質(zhì)量控制方法

2.1 基于自動站關(guān)聯(lián)要素的質(zhì)量控制方法

降水天氣發(fā)生時通常伴隨著氣溫、相對濕度、能見度等的要素的變化，為研究小時降水量與自動站觀測的其他要素之間關(guān)聯(lián)關(guān)系，對小時降水量與12個觀測要素(氣溫、露點溫度、氣壓、相對濕度、風速、地面溫度、能見度、1 h變溫、1 h變壓、1 h相對濕度變化，1 h風速變化和1 h能見度變化)進行灰色關(guān)聯(lián)度分析?；疑P(guān)聯(lián)分析通過分析序列曲線之間幾何形狀的相似性來確定他們之間的關(guān)聯(lián)程度?；疑P(guān)聯(lián)度就是序列曲線之間關(guān)聯(lián)程度的度量，表征著各因素之間變化量級和變化趨勢的相似程度?；疑P(guān)聯(lián)度越高各因素之間的關(guān)系越親密反之亦然[15-17]。本文將小時降水量作為參考序列，其他觀測要素作為比較序列，通過計算序列曲線之間的灰色關(guān)聯(lián)度來確定關(guān)聯(lián)關(guān)系。

實驗采用CuNi2Si材料,其具體化學成分如表1所示。本文實驗采用兩種熱處理工藝，一種是含有預冷變形處理的熱處理工藝，具體熱處理工藝為：850℃固溶處理+預冷變形處理+時效處理400℃保溫2h，室溫空冷，該材料加工的試樣稱為預冷變形試樣，簡稱PCW(Pre-cold worked)試樣；另一種是不含預冷變形的熱處理工藝，具體熱處理工藝為： 850℃固溶處理+時效處理400℃保溫2h，室溫空冷，該材料加工的試樣稱為非預冷變形試樣，簡稱Un-PCW試樣。

(1)

(2)

表1是與小時降水相關(guān)觀測要素的灰色關(guān)聯(lián)度值，1 h相對濕度變化值、1 h變溫，相對濕度的灰色關(guān)聯(lián)度排在前三，排在第四和第五的小時能見度變化值和能見度關(guān)聯(lián)度與第三的相對濕度相比差距較小。孫景群[18]和李學彬等[19]都從理論上分析了能見度與相對濕度的相關(guān)性，發(fā)現(xiàn)能見度和相對濕度變化趨勢呈現(xiàn)非常好的負相關(guān)，并用相對濕度來計算能見度。研究表明相對濕度變化可以很好的表征能見度變化趨勢。同時，截止2021年江蘇省有降水觀測的1 809個區(qū)域站中，全部有氣溫觀測任務，有相對濕度觀測任務站點個數(shù)為1 473，而有能見度觀測任務的站點個數(shù)為356，氣壓觀測任務的站點數(shù)為213，選用能見度或氣壓作為關(guān)聯(lián)要素不利于算法適用范圍拓展。因此選擇1 h相對濕度變化值、1 h變溫，相對濕度作為小時降水的關(guān)聯(lián)要素。

表1 灰色關(guān)聯(lián)分析結(jié)果

按照小時降水量等級分為小雨(0～2.0 mm·h-1)、中雨(2.1～5.0 mm·h-1)、大雨(5.1～10.0 mm·h-1)、暴雨(10.1～20.0 mm·h-1)和大暴雨(>20.1 mm·h-1)[20]分別計算關(guān)聯(lián)要素的均值和標準差，結(jié)果見表2。按照公式(3)分別帶入3個關(guān)聯(lián)要素不同等級降水下的平均值和標準差得到上下界閾值。對不同降水等級下小時相對濕度變化值、小時變溫、相對濕度數(shù)據(jù)進行統(tǒng)計，得到不同中的累積概率分布，結(jié)果如圖1。可以看到當為3時，3個關(guān)聯(lián)要素累積概率均大于99%，且當繼續(xù)增大分布曲線仍趨于水平，因此本文取3。

圖1 不同降水等級下的累積概率分布：(a)小雨；(b)中雨；(c)大雨；(d)暴雨；(e)大暴雨

表2 關(guān)聯(lián)要素均值和標準差

Vmax/min=mean±n×std，

(3)

基于關(guān)聯(lián)要素的質(zhì)量控制流程是首先根據(jù)小時降水量匹配到相應降水等級；然后分別判斷小時相對濕度變化值、小時變溫，相對濕度是否在[Vmin,Vmax]內(nèi)，若在范圍內(nèi)權(quán)重值記為1，否則記為0；最后對每種檢驗結(jié)果進行綜合評分給出該方法的最終檢驗結(jié)果，評分公式如下：

Score=40×Subl+20×Su+40×Stbl，

(4)

式中：Subl是小時相對濕度變化值檢驗權(quán)重；Su是相對濕度檢驗權(quán)重；Stbl是小時變溫檢驗權(quán)重。設權(quán)重系數(shù)總和為100，按照關(guān)聯(lián)度從大到小原則可計Subl系數(shù)為50，Subl系數(shù)為30，Su系數(shù)為20，但考慮到當濕敏電容長期處于高溫高濕環(huán)境條件下，濕度傳感器存在環(huán)境濕度下降后測量值反應滯后的固有缺陷，因此本文減少了Subl系數(shù)并提高了Stbl的系數(shù)。權(quán)重的系數(shù)可根據(jù)地區(qū)氣候特征進行調(diào)整。當Score大于60則判定為數(shù)據(jù)正確，否則數(shù)據(jù)判定為錯誤。

2.2 基于雷達的質(zhì)量控制方法

2.2.1 自動站降水與雷達反射率的時空匹配

研究表明獲取最佳定量估測降水的雷達反射率因子的高度為1.2 km[21]，而雷達回波探測效果最好的距離是230 km以內(nèi)，以此為標準確定自動站對應雷達站點。當自動站在多部雷達覆蓋范圍內(nèi)，選擇距離在35～230 km范圍內(nèi)最小的雷達站作為匹配雷達站?？紤]江蘇地區(qū)的特點，距雷達站35～50 km取1.5°仰角、50～230 km取0.5°仰角的反射率組成復合反射率[22]。在空間上，以自動站所在格點為中心，選取其上方對應的9個格點的復合反射率平均值與自動站降水匹配[23]。在時間上，采用多普勒天氣雷達該整點前1 h內(nèi)的10次觀測值作為輸入，當小時內(nèi)雷達資料觀測值缺測數(shù)小于5時用非缺測值的平均值替代，大于5時剔除該樣本時次。

2.2.2 SFLA-BP算法

BP神經(jīng)網(wǎng)絡是目前應用最廣泛的神經(jīng)網(wǎng)絡之一，通過誤差的反向傳播來調(diào)整連接權(quán)值，最終使誤差達到最小[24]。標準BP神經(jīng)網(wǎng)絡采用梯度下降法，具有收斂速度慢、易陷入局部最小值等缺陷[25]。蛙跳算法(Shuffled Frog Leading Algorithm，SFLA)是2003年由Eusuff, et al[26]為解決組合優(yōu)化問題提出的一種進化算法，利用SFLA優(yōu)化BP神經(jīng)網(wǎng)絡的權(quán)值和閾值來解決標準BP神經(jīng)網(wǎng)絡存在過度依賴初始參數(shù)、易陷入局部最優(yōu)值、收斂速度慢的缺陷[27-29]。

SFLA將BP神經(jīng)網(wǎng)絡的權(quán)值和閾值作為空間的一個解Xi。首先依照適應度函數(shù)(本文為均方差)對每個Xi求適應f(Xi)度并按照適應度從大到小對排序，并將Xi進行群體劃分。然后根據(jù)當前各個子群體中的最優(yōu)解Xib和全局最優(yōu)解Xg按照公式(5)更新最差解Xiw。

(5)

2.2.3 SFLA-BP估測降水結(jié)果分析

經(jīng)過2.2.1處理后共得到5 168個有效樣本，選取4 136條作為訓練樣本，1 032條作為測試樣本。為考察模型效果，用目前氣象業(yè)務普遍應用的降水估測算法Z-I關(guān)系式(Z=300I0.4)以及標準BP神經(jīng)網(wǎng)絡進行比較分析。模型評價指標有均方根誤差RMSE、平均絕對誤差MAE、中位絕對誤差MedianAE即絕對誤差的中位數(shù)和偏差BIAS，計算公式如下：

(6)

(7)

(8)

(9)

圖2給出了SFLA-BP模型和BP模型訓練結(jié)果，SFLA在全局迭代150次時得到函數(shù)最優(yōu)解即適應度函數(shù)最小值(圖2a)，SFLA-BP經(jīng)過12次學習后達到均方誤差0.005的目標(圖2b)，而BP模型由于過早收斂，經(jīng)過設置最大學習次數(shù)20 000次后沒有達到學習目標(圖2c)。圖3是三種模型估測對測試集的估測小時降水量與實況曲線。三種模型均能成功的估測出降水量趨勢，Z-I關(guān)系(圖3a)得到的降水量比實際降水量明顯偏小，BP模型(圖3b)相比于Z-I關(guān)系估測效果提升而SFLA-BP模型(圖3c)整體估測降水與實況曲線最貼近。表3給出了三種估測降水模型的評價指標。對比RMSE、MAE和MedianAE，SFLA-BP均低于Z-I和BP，RMSE分別降低了37.8%和20.0%，MAE分別降低了74.8%和62.5%，MedianAE分別降低了31.0%和24.28%。BIAS方面，Z-I關(guān)系降水估測偏低明顯，SFLA-BP更接近1，估測效果最好。

圖3 三種模型測試集估測降水與小時降水實況對比：(a)Z-I關(guān)系;(b)BP;(c)SFLA-BP

表3 三種估測降水模型評價指標

圖2 神經(jīng)網(wǎng)絡模型訓練結(jié)果：(a)SFLA得到最優(yōu)解的收斂曲線(×10-3);(b)SFLA-BP訓練損失函數(shù)曲線;(c)BP訓練損失函數(shù)曲線

根據(jù)不同降水量級進一步分析三種模型雷達降水估測效果，圖4給出了三種模型對不同小時降水量等級的評價指標。從圖4a—c可以看到，Z-I關(guān)系對小雨估測效果最好。在大于2.0 mm·h-1的降水估測方面BP和SFLA-BP相比于Z-I關(guān)系，RMSE、MAE、MedianAE都明顯降低。SFLA-BP和BP對于中雨的估測效果近似，SFLA-BP對于暴雨和大暴雨的估測誤差明顯小于BP。從圖4d的BIAS看到Z-I關(guān)系由于對整體降水估測普遍偏低所以在小雨估測效果最好?？傮w來說，SFLA-BP模型相對于BP模型有了明顯改進，偏差更接近于0。SFLA-BP隨著雨強的增大估測降水從高估轉(zhuǎn)為低估，在強降水估測上低估程度明顯小于其他兩個模型?？傮w上SFLA良好的全局搜索能力模型能夠不斷調(diào)整BP神經(jīng)網(wǎng)絡的權(quán)值和閾值，從而提高了估測降水擬合精度，相比于目前氣象業(yè)務中Z-I關(guān)系法估測降水效果有了明顯提升。

圖4 不同降水等級下Z-I關(guān)系、BP、SFLA-BP估測降水模型的評價指標：(a)RMSE；(b)MAE；(c)MedianAE；(d)BIAS

表4給出不同小時降水等級SFLA-BP估測降水的均值和標準差。按照公式(3)計算估測降水的上下界閾值，根據(jù)測試當降水等級在暴雨和大暴雨時n設置為5，小雨時設置為2，其他設置為3。當自動站降水在[Vmin,Vmax]范圍內(nèi)則判定為正確，否則記為錯誤。

表4 不同降水等級SFLA-BP估測降水均值和標準差

2.3 多源質(zhì)量控制方法流程

為進一步提高地面降水質(zhì)量控制準確率，對基于自動站關(guān)聯(lián)要素的質(zhì)量控制方法和基于天氣雷達的質(zhì)量控制方法得到的質(zhì)控結(jié)果進行綜合判斷。如果兩種方法得出結(jié)果均正確則該數(shù)據(jù)判為正確，質(zhì)控碼為0；如果其中有一個方法結(jié)果為錯誤則判定可疑，質(zhì)控碼為1；如果兩種方法結(jié)果都為錯誤則判定錯誤，質(zhì)控碼為2。地面降水多源質(zhì)量控制方法具體流程如圖5所示。

圖5 地面降水多源質(zhì)量控制流程

3 質(zhì)量控制結(jié)果分析

使用本文提出的多源質(zhì)量控制方法對2019年5—6月江蘇省70個國家級自動站小時降水量進行質(zhì)量控制，與MDOS和人工判定結(jié)果進行對比，結(jié)果如表5。多源質(zhì)量控制方法判定的可疑數(shù)據(jù)量比MDOS下降67.16%，給出確定性結(jié)論一定程度上提升了質(zhì)量控制效率，同時其判定為正確數(shù)據(jù)完全包含在人工審核的正確項，人工判定的錯誤數(shù)據(jù)均被提出，質(zhì)量控制準確率比MDOS提升了1.45%。分析MDOS疑誤信息發(fā)現(xiàn)，誤判主要集中在孤立虛假降水和局地強對流天氣條件下真實降水被誤判。58356站在2019年6月12日03時(世界時，下同)觀測的小時降水量為14.2 mm，經(jīng)過人工判定是虛假的孤立降水。MDOS沒有對該數(shù)據(jù)提出疑誤(圖6a)。使用地面降水多源質(zhì)量控制方法后給出結(jié)果為錯誤，該時刻自動站小時變溫、1 h相對濕度變率和相對濕度都不在暴雨等級閾值范圍內(nèi)，SCORE得分為0(圖6b)；同時SFLA-BP估測降水(圖6c)該時次為0 mm，圖6d驗證了估測降水的正確性。58047站在2019年6月09日08時觀測的小時降水量為21.5 mm，MDOS系統(tǒng)判定為可疑(圖7a)。使用地面降水多源質(zhì)量控制方法后給出結(jié)果為正確，該時刻自動站小時變溫和相對濕度在大暴雨等級閾值范圍內(nèi)，SCORE得分為60(圖7b)；同時SFLA-BP估測降水(圖7c)該時次為24.5 mm，配合圖7d證明估測降水是正確的。經(jīng)過人工核實后該降水確為正確。通過上述個例分析，本方法對孤立虛假降水和局地強對流天氣條件下真實降水比現(xiàn)有業(yè)務系統(tǒng)降水質(zhì)量控制方法的準確性高。

圖6 2019年6月12日03時虛假孤立降水：(a)MDOS質(zhì)量控制結(jié)果;(b)氣溫和相對濕度時序；(c)SFLA-BP估測降水和自動站降水時序;(d)0.5°仰角反射率與自動站疊加顯示

圖7 2019年6月12日03時真實強降水:(a)MDOS質(zhì)量控制結(jié)果;(b)氣溫和相對濕度時序;(c)SFLA-BP估測降水和自動站降水時序;(d)0.5°仰角反射率與自動站疊加顯示

表5 2019年5—6月江蘇省國家級自動站小時降水量質(zhì)量控制結(jié)果

4 結(jié)論

本文在分析地面小時降水量與自動站其他觀測要素的關(guān)聯(lián)關(guān)系和基于神經(jīng)網(wǎng)絡的雷達估測降水的基礎上，提出從自動站關(guān)聯(lián)要素和雷達估測降水兩個角度對地面降水進行綜合質(zhì)量控制。使用2019年5—6月江蘇省國家級自動站小時降水量對多源質(zhì)量控制方法進行驗證。主要結(jié)論如下：

(1)根據(jù)灰色關(guān)聯(lián)分析，選擇灰色關(guān)聯(lián)度排名前三的1 h相對濕度變化值、1 h變溫和相對濕度作為小時降水的關(guān)聯(lián)要素。對每種檢驗結(jié)果進行綜合評分給出該方法的最終檢驗結(jié)果。當Score大于60則判定為數(shù)據(jù)正確，否則數(shù)據(jù)判定為錯誤。

(2)基于SFLA-BP的雷達估測降水結(jié)果與Z-I關(guān)系法和BP神經(jīng)網(wǎng)絡相比，RMSE分別降低了37.8%和20.0%，MAE分別降低了74.8%和62.5%，MedianAE分別降低了31.0%和24.28%，BIAS更接近1。SFLA-BP明顯提高了雷達定量估測降水精度，從而提升了雷達數(shù)據(jù)對地面降水質(zhì)量控制的有效性。

(3)多源質(zhì)量控制方法判定的可疑數(shù)據(jù)量比MDOS下降67.16%，同時其判定為正確數(shù)據(jù)完全包含在人工審核的正確項，人工判定的錯誤數(shù)據(jù)均被提出，質(zhì)量控制準確率比MDOS提升了1.45%。

(4)多源質(zhì)量控制方法對孤立虛假降水和局地強對流天氣條件下真實強降水的準確性高。

多源降水質(zhì)量控制方法出現(xiàn)的誤判集中在0.1～4 mm·h-1降水區(qū)間內(nèi)，主要原因是在弱降水天氣下1 h變溫和1 h相對濕度變化率波動不大，同時SFLA-BP對小雨等級的估測效果低于Z-I關(guān)系。后續(xù)將研究雷達弱降水估測方法并引入自動站狀態(tài)數(shù)據(jù)，以便提高對地面小時弱降水的質(zhì)量控制準確率。