數(shù)值模式評(píng)估系統(tǒng)MET及其初步應(yīng)用

潘留杰張宏芳薛春芳王建鵬劉勇

（1 陜西省氣象臺(tái)，西安 710014；2 陜西省氣象服務(wù)中心，西安 710014；3 陜西省氣象局，西安 710014）

?

數(shù)值模式評(píng)估系統(tǒng)MET及其初步應(yīng)用

潘留杰1張宏芳2薛春芳3王建鵬1劉勇1

（1 陜西省氣象臺(tái)，西安 710014；2 陜西省氣象服務(wù)中心，西安 710014；3 陜西省氣象局，西安 710014）

MET（Model Evaluation Tools）是美國(guó)國(guó)家大氣研究中心（National Center for Atmospheric Research，NCAR）數(shù)值預(yù)報(bào)發(fā)展試驗(yàn)中心（Developmental Testbed Center，DTC）最新研發(fā)的數(shù)值預(yù)報(bào)檢驗(yàn)、評(píng)估系統(tǒng)，其主要目的不僅在于為模式開(kāi)發(fā)人員提供模式性能的測(cè)試工具，而且方便最終用戶通過(guò)MET來(lái)判別模式的預(yù)報(bào)能力，進(jìn)而獲得預(yù)報(bào)相應(yīng)的預(yù)報(bào)指標(biāo)。MET系統(tǒng)提供了豐富的站點(diǎn)、格點(diǎn)數(shù)據(jù)接口程序，它的核心組件集成了模式經(jīng)典方法評(píng)估檢驗(yàn)，高分辨率模式診斷分析，集合預(yù)報(bào)、概率預(yù)報(bào)、臺(tái)風(fēng)路徑等多種最先進(jìn)的模式檢驗(yàn)評(píng)估算法。為了方便用戶使用，MET系統(tǒng)還提供基于R語(yǔ)言的多種繪圖腳本。在對(duì)MET系統(tǒng)簡(jiǎn)要闡述的基礎(chǔ)上，給出了基于MET系統(tǒng)的面向?qū)ο蠡蚧谀繕?biāo)的MODE（Method for Object-Based Diagnostic Evaluation）方法、鄰域法的具體降水檢驗(yàn)個(gè)例，為使用MET系統(tǒng)進(jìn)行模式檢驗(yàn)、評(píng)估提供參考。

MET，概率預(yù)報(bào)，集合預(yù)報(bào)，空間診斷

0　引言

模式檢驗(yàn)評(píng)估不僅是發(fā)展預(yù)報(bào)系統(tǒng)的重要組成部分，而且可以用來(lái)評(píng)價(jià)模式預(yù)報(bào)的準(zhǔn)確性［1-3］，從而為用戶提供客觀的預(yù)報(bào)依據(jù)。事實(shí)上，由于模式預(yù)報(bào)系統(tǒng)的底層物理過(guò)程十分復(fù)雜，其預(yù)報(bào)結(jié)果存在很大的不確定性［4-5］，因此，通過(guò)評(píng)估檢驗(yàn)來(lái)獲得模式的特定屬性和外在表現(xiàn)就成為用戶研究和應(yīng)用模式的重要手段［6-9］。模式檢驗(yàn)中最古老的方法是通過(guò)目視進(jìn)行誤差主觀對(duì)比分析， 盡管主觀的目視誤差分析或天氣個(gè)例分析能夠準(zhǔn)確給出模式對(duì)降水系統(tǒng)諸如鋒面、雨帶預(yù)報(bào)性能的詳細(xì)描述，然而目視分析存在顯著缺陷，它一方面無(wú)法客觀分析海量數(shù)據(jù)，另一方面通過(guò)目視檢驗(yàn)獲得的結(jié)論也具有主觀性和非定量性，因此很難為用戶提供有效的判別標(biāo)準(zhǔn)。隨著模式檢驗(yàn)需求的不斷擴(kuò)大和氣象科研工作者的持續(xù)努力，一系列客觀的模式評(píng)估檢驗(yàn)方法得到了快速發(fā)展［10-15］。

MET（Model Evaluation Tools）是由美國(guó)國(guó)家大氣研究中心（NCAR）數(shù)值預(yù)報(bào)發(fā)展試驗(yàn)中心（DTC）研發(fā)的功能強(qiáng)大的數(shù)值天氣預(yù)報(bào)檢驗(yàn)工具，其主要目的是為數(shù)值預(yù)報(bào)使用者、開(kāi)發(fā)者搭建分析、評(píng)估數(shù)值模式預(yù)報(bào)產(chǎn)品的橋梁，它不僅為模式開(kāi)發(fā)者提供實(shí)時(shí)的模式產(chǎn)品測(cè)試環(huán)境，為新的模式預(yù)報(bào)產(chǎn)品投入預(yù)報(bào)業(yè)務(wù)提供一攬子評(píng)估方案，而且為模式使用者客觀把握模式的預(yù)報(bào)能力提供了有效手段。MET最初版本發(fā)行于2008年，主要針對(duì)于WRF數(shù)值模式產(chǎn)品的檢驗(yàn)和評(píng)估，其最新版本MET5.0發(fā)行于2014年9月，提供各種通用數(shù)據(jù)格式的模式產(chǎn)品檢驗(yàn)評(píng)估接口。本文在對(duì)MET系統(tǒng)的功能、數(shù)據(jù)流、算法進(jìn)行闡述的基礎(chǔ)上，給出部分基于MET系統(tǒng)的、國(guó)內(nèi)外先進(jìn)的、基于空間診斷方法的細(xì)網(wǎng)格模式產(chǎn)品檢驗(yàn)個(gè)例，為使用MET系統(tǒng)進(jìn)行模式評(píng)估提供參考。

1　MET系統(tǒng)架構(gòu)和數(shù)據(jù)流

MET的初始研發(fā)理念是為短期天氣預(yù)報(bào)提供最為先進(jìn)的數(shù)值天氣預(yù)報(bào)模式產(chǎn)品評(píng)估檢驗(yàn)方案，這種理念使得MET系統(tǒng)不僅囊括了傳統(tǒng)的經(jīng)典模式檢驗(yàn)方法，同時(shí)不斷地吸納包括空間分析、診斷分析等在內(nèi)的一系列新的檢驗(yàn)方法。此外，MET增加了模式評(píng)估結(jié)果置信度檢驗(yàn)等功能，這也使得MET快速取代傳統(tǒng)的模式評(píng)估系統(tǒng)，比如MET已經(jīng)取代了NCEP的模式實(shí)時(shí)校驗(yàn)系統(tǒng)。

MET是一種開(kāi)放系統(tǒng)，可以在DTC網(wǎng)站自由下載（http://www.dtcenter.org/met/users/）。MET4.1以前的版本不包括臺(tái)風(fēng)預(yù)報(bào)檢驗(yàn)，MET4.1及以后的版本增加了模式預(yù)報(bào)臺(tái)風(fēng)路徑檢驗(yàn)?zāi)K，但MET開(kāi)發(fā)組認(rèn)為臺(tái)風(fēng)路徑檢驗(yàn)本質(zhì)上和模式其他要素檢驗(yàn)是不同的，DTC給出的無(wú)論是臺(tái)風(fēng)檢驗(yàn)程序包，還是說(shuō)明文檔，均為單獨(dú)的一個(gè)部分：MET-TC，因此本文將在第2節(jié)單獨(dú)闡述MET-TC。MET采用模塊化設(shè)計(jì)，具有很強(qiáng)的適應(yīng)性，一種方法的檢驗(yàn)?zāi)K可以獨(dú)立運(yùn)行而不依賴于其他組件，這種設(shè)計(jì)使得MET不僅能夠在具有復(fù)雜數(shù)據(jù)輸入、輸出接口的各種大型數(shù)據(jù)庫(kù)系統(tǒng)上運(yùn)行，而且也方便運(yùn)行于個(gè)人計(jì)算機(jī)。按照MET系統(tǒng)組件的功能的差異，可以將其分為格式轉(zhuǎn)換模塊、核心算法模塊、統(tǒng)計(jì)輸出模塊以及繪圖輸出模塊四個(gè)部分。

圖1給出了MET系統(tǒng)的基本架構(gòu)及數(shù)據(jù)流。圖中帶陰影的橢圓表示MET的實(shí)際可執(zhí)行程序，卷角方框表示數(shù)據(jù)輸入或輸出?？梢钥闯?，MET主要接收五類觀測(cè)數(shù)據(jù)：格點(diǎn)數(shù)據(jù)、MODIS衛(wèi)星觀測(cè)數(shù)據(jù)、WWMCA格式云分析數(shù)據(jù)、ASCII格式站點(diǎn)觀測(cè)數(shù)據(jù)、PrepBufr格式觀測(cè)數(shù)據(jù)以及MADIS格式觀測(cè)數(shù)據(jù)，其中PrepBufr是NCEP的一種站點(diǎn)格式的觀測(cè)數(shù)據(jù)，而MADIS是NCAR的氣象數(shù)據(jù)同化集成系統(tǒng)的站點(diǎn)格式數(shù)據(jù)文件。這些數(shù)據(jù)格式均被轉(zhuǎn)換成NetCDF格式進(jìn)行計(jì)算。在新版本中也可以直接輸入Grib或Grib2格式數(shù)據(jù)。數(shù)據(jù)繪圖程序可以顯示轉(zhuǎn)碼后的格點(diǎn)或站點(diǎn)數(shù)據(jù)，生成PS格式圖表。MET的核心模塊包括格點(diǎn)檢驗(yàn)、站點(diǎn)檢驗(yàn)、集合預(yù)報(bào)檢驗(yàn)、小波檢驗(yàn)、面向?qū)ο螅ɑ谀繕?biāo)）的MODE檢驗(yàn)和時(shí)序檢驗(yàn)六個(gè)部分，其中概率預(yù)報(bào)檢驗(yàn)分別包含于站點(diǎn)檢驗(yàn)和格點(diǎn)檢驗(yàn)之中。MET的輸出主要包括三類：NetCDF、ASCII格式計(jì)算結(jié)果以及PS格式或PNG格式圖片文件。為了清楚反映模式的預(yù)報(bào)性能，通常還需要對(duì)輸出結(jié)果進(jìn)行再分析。表1列出了MET5.0部分程序及其功能介紹。

2　臺(tái)風(fēng)檢驗(yàn)（MET-TC）

MET模式評(píng)估系統(tǒng)將臺(tái)風(fēng)檢驗(yàn)（MET-TC）作為一個(gè)獨(dú)立的部分單獨(dú)列出。MET-TC的輸入文件的數(shù)據(jù)格式包括兩個(gè)部分：渦旋追蹤軟件和實(shí)時(shí)模式預(yù)報(bào)產(chǎn)生的ATCF（Automated Tropical Cyclone Forecast）格式的臺(tái)風(fēng)路徑文件以及ASCII碼格式的海岸、島嶼的經(jīng)緯度文件，輸出文件包括兩類：NetCDF格式和ASCII碼格式的中間文件以及ASCII碼格式的評(píng)估結(jié)果。

MET-TC有三個(gè)可執(zhí)行程序：TC-DLAND、TCPairs、TC-STAT。TC-DLAND主要任務(wù)在于快速解析限定范圍、滿足條件的水域到陸地或島嶼的距離。從4.1版本到5.0版本，TC-DLAND的主要變化是將可解析的范圍從地球的1/4擴(kuò)大至全球，解析結(jié)果更加精確，但相比以前版本，計(jì)算速度下降。由于TC-DLAND解析出的NetCDF格式文件可以重復(fù)使用，因此TCDLAND并不需要在模式檢驗(yàn)中實(shí)時(shí)運(yùn)行，這也是提高運(yùn)算效率的一種方法。TC-Pairs主要功能是檢驗(yàn)?zāi)Ｊ綄?duì)臺(tái)風(fēng)位置、強(qiáng)度預(yù)報(bào)的準(zhǔn)確性。TC-Pairs接收兩種類AFCF格式的文件：1）臺(tái)風(fēng)路徑預(yù)報(bào)文件ADECK；2）觀測(cè)追蹤的最佳臺(tái)風(fēng)路徑BDECK，從而計(jì)算模式預(yù)報(bào)臺(tái)風(fēng)的位置、海平面氣壓、強(qiáng)度等誤差。TCSTAT對(duì)TC-Pairs的多個(gè)計(jì)算結(jié)果再進(jìn)行統(tǒng)計(jì)分析，給出模式預(yù)報(bào)性能的具體評(píng)估結(jié)果。圖2給出了MET-TC系統(tǒng)的基本架構(gòu)及數(shù)據(jù)流，需要說(shuō)明的是，作為后處理部分，MET-TC給出了R腳本的繪圖程序plot_tcmpr. R，一些相關(guān)的腳本并未包含在程序的架構(gòu)框圖中。

3　MET部分檢驗(yàn)方法及應(yīng)用

圖1　MET系統(tǒng)的基本架構(gòu)及數(shù)據(jù)流（卷角方框表示數(shù)據(jù)的輸入或輸出，帶陰影的橢圓表示可執(zhí)行程序，箭頭表示數(shù)據(jù)流）Fig. 1 The basic architecture of MET systems and data flow （the block represents the input and output data， shaded oval denotes an executable program， arrows indicate the data flow）

MET系統(tǒng)包括了傳統(tǒng)的經(jīng)典檢驗(yàn)方法，這些方法在模式檢驗(yàn)中已得到了較好的應(yīng)用，因此這里僅簡(jiǎn)單列出MET計(jì)算的一些主要統(tǒng)計(jì)技巧評(píng)分。在計(jì)算這些評(píng)分時(shí)，MET也利用了兩變量的列聯(lián)表來(lái)將事件進(jìn)行分類，然后將預(yù)報(bào)事件與觀測(cè)事件進(jìn)行匹配并計(jì)算一系列評(píng)分指數(shù)，對(duì)于可分為兩種類型的離散形變量主要包括：預(yù)報(bào)偏差Bias、勝算比OR（Odds Ratio）、GSS（Gilbert Skill Score）或ETS（Equitable Threat Score）評(píng)分、準(zhǔn)確率ACC（Accuracy）等。對(duì)于可分為多種類型的離散型變量來(lái)說(shuō)，采用了n×2的列聯(lián)表將不同分級(jí)上事件發(fā)生的頻率分別歸類來(lái)計(jì)算評(píng)分指數(shù)，這種方法也用于檢驗(yàn)概率預(yù)報(bào)中不同事件發(fā)生概率的準(zhǔn)確性。針對(duì)離散型變量，MET主要計(jì)算了標(biāo)準(zhǔn)差（STDEV）、距平相關(guān)系數(shù)（ACC）、斯皮爾曼相關(guān)系數(shù)（SP_CORR）、Kendall等級(jí)相關(guān)系數(shù)（KT_ CORR）、均方根誤差（RMSE）、誤差百分位數(shù)等相關(guān)指標(biāo)。

由于近兩年概率預(yù)報(bào)、集合預(yù)報(bào)、高分辨模式預(yù)報(bào)產(chǎn)品重點(diǎn)在預(yù)報(bào)業(yè)務(wù)中推廣，因此著重介紹MET系統(tǒng)的概率預(yù)報(bào)、集合預(yù)報(bào)和高分辨率空間診斷檢驗(yàn)方法。

3.1概率預(yù)報(bào)和集合預(yù)報(bào)

對(duì)于普通的概率預(yù)報(bào)，MET系統(tǒng)通過(guò)n×2的列聯(lián)表，按照用戶給定的閾值將發(fā)生總概率為0～1的事件分為n種不同的類別，以此來(lái)評(píng)估概率預(yù)報(bào)的性能，如果獲得事件發(fā)生的概率是通過(guò)公式計(jì)算產(chǎn)生的，則指定分段區(qū)間的中值為事件發(fā)生的概率。當(dāng)然這種方法也可以用來(lái)檢驗(yàn)集合預(yù)報(bào)系統(tǒng)所產(chǎn)生的概率預(yù)報(bào)，之所以單獨(dú)列出，是因?yàn)镸ET針對(duì)集合預(yù)報(bào)及其概率給出了獨(dú)立的評(píng)估工具Ensemble_stat。表2給出了MET系統(tǒng)中概率預(yù)報(bào)檢驗(yàn)的列聯(lián)表，在表2中將每一個(gè)概率預(yù)報(bào)區(qū)間內(nèi)事件出現(xiàn)的概率分為發(fā)生和不發(fā)生兩種情況，“F”代表預(yù)報(bào)，“O”代表觀測(cè)；Nij表示相應(yīng)類型“預(yù)報(bào)—觀測(cè)”發(fā)生的次數(shù)，其中，N的下標(biāo)i表示預(yù)報(bào)，j表示觀測(cè)， 因此N11、N10分別表示第一個(gè)概率預(yù)報(bào)區(qū)間內(nèi)降水事件發(fā)生和空?qǐng)?bào)的次數(shù)；N21、N20則表示第二個(gè)概率預(yù)報(bào)區(qū)間，以此類推。然后，分別統(tǒng)計(jì)各種可能性出現(xiàn)的次數(shù)，在此基礎(chǔ)上計(jì)算各種評(píng)分技巧，計(jì)算的評(píng)分指數(shù)主要包括Brier評(píng)分［16］、聯(lián)合分布、似然基準(zhǔn)率、可靠性圖、ROC（Relative Operating Characteristic）分析等。

表1　MET主要的模塊程序及功能Table 1 The main program modules and functions of MET

圖2　MET-TC系統(tǒng)的基本架構(gòu)及數(shù)據(jù)流（方框表示數(shù)據(jù)的輸入或輸出，帶陰影的橢圓表示可執(zhí)行程序，箭頭表示數(shù)據(jù)流）Fig. 2 The basic architecture of MET-TC systems and data flow （the block represents the input and output data，shaded oval denotes an executable program， arrows indicate the data flow）

MET系統(tǒng)檢驗(yàn)集合預(yù)報(bào)時(shí)采用通用的方法。首先將集合預(yù)報(bào)轉(zhuǎn)換成單個(gè)值的確定性預(yù)報(bào)或離散事件的概率預(yù)報(bào)。計(jì)算的評(píng)分指數(shù)包括四類：1）連續(xù)分級(jí)概率評(píng)分CRPS（Continuous Ranked Probability Score）；2）等級(jí)直方圖或Talagrand圖；3）“未知”評(píng)分IGN（Ignorance score）；4）概率積分變換PIT（Probability Integral Transform），PIT是模擬的預(yù)報(bào)成員與觀測(cè)值離散程度的概率分布表現(xiàn)，其解釋意義與Talagrand圖一致。其中，CRPS在檢驗(yàn)連續(xù)變量的概率預(yù)報(bào)應(yīng)用最為廣泛。CRPS是所有可能閾值Brier技巧的積分，本質(zhì)上表現(xiàn)的是集合預(yù)報(bào)變量的累計(jì)概率分布函數(shù)（CDF）與觀測(cè)值Heaviside函數(shù)之間的差異。MET系統(tǒng)在計(jì)算CRPS評(píng)分時(shí)去除了確定性預(yù)報(bào)中的平均絕對(duì)誤差，因此能夠直接用來(lái)比較集合預(yù)報(bào)與確定性預(yù)報(bào)之間的準(zhǔn)確性，CRPS越小，表示預(yù)報(bào)準(zhǔn)確率越高，理想情況下CRPS=0。

表2　MET系統(tǒng)概率預(yù)報(bào)檢驗(yàn)采用的n×2列聯(lián)表（Nij表示不同預(yù)報(bào)、觀測(cè)事件發(fā)生的種類，其中下標(biāo)i代表預(yù)報(bào)，j代表觀測(cè)）Table 2 Contingency table in terms of counts for precipitation （the Nijvalues in the table represent the counts in each forecast-observation category， where i represent the forecasts and j represents the observations）

MET采用Talagrand圖來(lái)衡量集合預(yù)報(bào)成員與觀測(cè)值離散程度分布是否一致。當(dāng)集合預(yù)報(bào)與觀測(cè)具有相同的變化時(shí)，觀測(cè)的等級(jí)排名將按照預(yù)報(bào)成員的離散度均勻分布，繪制出的Talagrand圖應(yīng)該是平直的，但是在大多數(shù)情況下集合預(yù)報(bào)各成員的發(fā)散度不夠， 落在兩端的概率要比落在中間的概率要大。Talagrand圖并不用來(lái)反映預(yù)報(bào)的準(zhǔn)確性，此外，Talagrand圖僅僅針對(duì)集合成員固定的情況下才有意義［13］，因此MET給出的Talagrand圖更多是針對(duì)模式開(kāi)發(fā)者對(duì)模式的檢驗(yàn)。

IGN是MET給出的集合預(yù)報(bào)的負(fù)向的對(duì)數(shù)概率密度分布函數(shù)，用來(lái)檢驗(yàn)預(yù)報(bào)與觀測(cè)要素的概率分布函數(shù)的相似程度，其值越小，表示預(yù)報(bào)效果越好。在MET中，IGN指數(shù)計(jì)算時(shí)基于集合預(yù)報(bào)的成員的預(yù)報(bào)結(jié)果滿足正態(tài)分布，對(duì)非正態(tài)分布的氣象要素，IGN指數(shù)并不適用。

3.2空間診斷分析

天氣變量在空間上具有連續(xù)性。點(diǎn)對(duì)點(diǎn)的傳統(tǒng)檢驗(yàn)方法拆離了變量的空間關(guān)系，其檢驗(yàn)結(jié)果不僅不具有明確的物理意義［17-18］，而且近年來(lái)新出現(xiàn)的高分辨率模式產(chǎn)品在空間上具有更多的小尺度的變化［19］，使得傳統(tǒng)檢驗(yàn)方法無(wú)法正確評(píng)估模式的預(yù)報(bào)技巧，因此隨著模式的改進(jìn)，診斷檢驗(yàn)方法孕育而生。MET系統(tǒng)提供多種空間診斷檢驗(yàn)方法，本文著重?cái)⑹銎渲械腗ODE及鄰域檢驗(yàn)方法。

MODE方法的基本觀念來(lái)自Davis等［20-21］，實(shí)現(xiàn)時(shí)首先通過(guò)給定的卷積半徑R對(duì)原始降水場(chǎng)卷積，然后按給定的閾值解析出滿足條件的空間降水對(duì)象，在此基礎(chǔ)上計(jì)算各對(duì)象的降水強(qiáng)度、質(zhì)心、軸角、面積復(fù)雜度等各種屬性。MET系統(tǒng)可以根據(jù)設(shè)定的判別標(biāo)準(zhǔn)對(duì)獨(dú)立的降水對(duì)象進(jìn)行組合，并計(jì)算組合對(duì)象的各種屬性?？紤]到一個(gè)對(duì)象的不同屬性可能有不同的表現(xiàn)，MET采用模糊邏輯來(lái)綜合考慮各種屬性的總體表現(xiàn)，從而計(jì)算預(yù)報(bào)對(duì)象的總收益函數(shù)。

式（1）給出了收益函數(shù)T（a）的計(jì)算表達(dá)式，式中ai表示對(duì)象的第i個(gè)屬性，wi表示對(duì)象第i個(gè)屬性的權(quán)重系數(shù)，Ci（a）表示第i個(gè)屬性的置信水平。Ii（ai）表示預(yù)報(bào)場(chǎng)對(duì)象的第i個(gè)屬性的收益函數(shù)，是ai的函數(shù)。計(jì)算時(shí)主要考慮降水強(qiáng)度比率、面積比率、質(zhì)心距離、軸角偏差、復(fù)雜度比率和對(duì)象重疊面積比率。

圖3給出了日本細(xì)網(wǎng)格模式2012年7月4日20時(shí)起報(bào)，7月6日02—05時(shí)的3h降水量預(yù)報(bào)的中國(guó)區(qū)域MODE方法檢驗(yàn)結(jié)果，其中降水觀測(cè)數(shù)據(jù)為來(lái)自中國(guó)氣象科學(xué)數(shù)據(jù)網(wǎng)的CMORPH（NOAA Climate Prediction Center Morphing Method）衛(wèi)星與自動(dòng)站逐小時(shí)降水融合資料。從圖中可以看出識(shí)別模式降水預(yù)報(bào)對(duì)象25個(gè)（圖3a），觀測(cè)降水對(duì)象18個(gè)（圖3b），主要不足在于存在較大范圍的空?qǐng)?bào)。

圖3　MODE方法評(píng)估個(gè)例：卷積半徑2個(gè)格點(diǎn)，降水閾值1.0mm時(shí)日本模式3h降水量對(duì)象解析、識(shí)別結(jié)果（a）模式預(yù)報(bào)；（b）觀測(cè)；（c）、（d）分別為預(yù)報(bào)和觀測(cè)場(chǎng)解析、識(shí)別的獨(dú)立對(duì)象；（e）、（f）分別為預(yù)報(bào)和觀測(cè)場(chǎng)解析、識(shí)別的組合對(duì)象Fig. 3 A case of MODE method verified. The results of identifying objects at 2 grids of the convolution radius and 1.0 mm of precipitation threshold: （a） model forecast， （b） observation， （c）， （d） for the independent objects of forecasting and observation fields respectively， （e）， （f） for the composite objects of forecasting and observation fields respectively

相互匹配的預(yù)報(bào)場(chǎng)獨(dú)立對(duì)象10個(gè)（圖3c），觀測(cè)場(chǎng)獨(dú)立對(duì)象12個(gè)（圖3d）。按照閾值進(jìn)行組合后匹配對(duì)象7個(gè)（圖3e、3f）。通過(guò)匹配關(guān)系就可以計(jì)算模式預(yù)報(bào)與觀測(cè)獨(dú)立、組合對(duì)象的強(qiáng)度、質(zhì)心、面積、軸角、復(fù)雜度等各種屬性的不同表現(xiàn)。表3給出了預(yù)報(bào)與觀測(cè)場(chǎng)組合匹配對(duì)象的各種屬性差異，可以看出模式能夠較好地把握降水的空間位置，多數(shù)組合對(duì)象的質(zhì)心距離小于15km， 軸角偏差多在50°之內(nèi)，沒(méi)有軸角偏差大于90°的匹配對(duì)象，但預(yù)報(bào)面積顯著偏大，最多偏大6倍以上。從降水強(qiáng)度來(lái)看，模式預(yù)報(bào)降水的50%分位數(shù)與觀測(cè)基本一致，90%分位數(shù)則預(yù)報(bào)顯著偏強(qiáng)，組合對(duì)象1、2偏強(qiáng)3倍左右。因此對(duì)該個(gè)例來(lái)說(shuō)預(yù)報(bào)的整體表現(xiàn)為：1）存在顯著的空?qǐng)?bào)現(xiàn)象；2）預(yù)報(bào)降水面積顯著偏大；3）降水強(qiáng)度整體一致，但雨強(qiáng)中心量級(jí)偏大。

表3　組合對(duì)象屬性及總收益Table 3 Attributes and total interests of composite objects

MET針對(duì)高分辨率數(shù)值模式能夠更好揭示預(yù)報(bào)氣象要素的空間結(jié)構(gòu)，但技巧評(píng)分卻低于粗網(wǎng)格模式的“兩難”現(xiàn)象，采用了鄰域法或相鄰格點(diǎn)法［22］來(lái)評(píng)估高分辨率數(shù)值預(yù)報(bào)模式。

鄰域法也被稱為模糊法，是通過(guò)比較預(yù)報(bào)和觀測(cè)場(chǎng)中對(duì)應(yīng)點(diǎn)臨近區(qū)域內(nèi)的特征而命名，其優(yōu)點(diǎn)是能夠更好地區(qū)別不同尺度上模式預(yù)報(bào)能力的差異，與傳統(tǒng)校驗(yàn)的差別在于模糊校驗(yàn)假定當(dāng)預(yù)報(bào)值相對(duì)于觀測(cè)點(diǎn)位置有偏移時(shí)，預(yù)報(bào)仍然是可用的，能夠接受的位移的大小或程度被定義為鄰域。圖4給出了傳統(tǒng)檢驗(yàn)與鄰域檢驗(yàn)方法空間匹配差異，可以看出，鄰域法可以更好地建立高分辨率模式與稀疏的觀測(cè)站點(diǎn)對(duì)應(yīng)關(guān)系，使檢驗(yàn)結(jié)果更加合理。

MET基于鄰域法評(píng)估細(xì)網(wǎng)格模式產(chǎn)品計(jì)算的主要評(píng)分指數(shù)有FSS（Fractions Skill Score）評(píng)分、ETS，F(xiàn)SS、ETS分別反映了模式預(yù)報(bào)的面積和強(qiáng)度與觀測(cè)的差異。圖5給出了利用2011年6月—2013年12月暖季（5—9月）ECMWF細(xì)網(wǎng)格模式降水預(yù)報(bào)資料對(duì)秦嶺及周邊地區(qū)降水預(yù)報(bào)性能的檢驗(yàn)實(shí)例，觀測(cè)資料為與預(yù)報(bào)時(shí)段一致的CMORPH衛(wèi)星與自動(dòng)站逐小時(shí)降水融合資料，以此來(lái)分辨模式在多大尺度上降水預(yù)報(bào)性能最佳。從圖中可以看出，在低閾值降水時(shí)，增大模式的尺度有利于同時(shí)提高模式降水面積和強(qiáng)度的預(yù)報(bào)準(zhǔn)確率，而在高閾值降水增大空間尺度盡管有可能提高面積預(yù)報(bào)準(zhǔn)確率，但使得降水強(qiáng)度預(yù)報(bào)性能急劇下降。

4　結(jié)論和討論

MET是DTC最新研究的、功能強(qiáng)大的數(shù)值預(yù)報(bào)檢驗(yàn)評(píng)估工具，它包括通用數(shù)值模式產(chǎn)品檢驗(yàn)?zāi)KMET及臺(tái)風(fēng)路徑檢驗(yàn)?zāi)KMET-TC兩個(gè)部分。其中，MET模塊囊括了模式評(píng)估方法中的經(jīng)典檢驗(yàn)技術(shù)、概率預(yù)報(bào)檢驗(yàn)技術(shù)、集合預(yù)報(bào)檢驗(yàn)技術(shù)以及伴隨著高分辨率數(shù)值預(yù)報(bào)產(chǎn)品的出現(xiàn)而出現(xiàn)的模式空間診斷檢驗(yàn)技術(shù)。本文首先闡述了MET、MET-TC的系統(tǒng)架構(gòu)、數(shù)據(jù)流，給出了MET、MET-TC系統(tǒng)的核心程序組件及功能描述；其次簡(jiǎn)述了MET系統(tǒng)針對(duì)經(jīng)典檢驗(yàn)技術(shù)所計(jì)算的評(píng)分指數(shù)，詳細(xì)敘述了MET系統(tǒng)針對(duì)概率預(yù)報(bào)、集合預(yù)報(bào)的檢驗(yàn)方法；最后闡述了隨著高分辨率數(shù)值預(yù)報(bào)產(chǎn)品而出現(xiàn)的空間診斷檢驗(yàn)方法，并利用兩種前沿檢驗(yàn)技術(shù)MODE、鄰域法，對(duì)日本、ECMWF細(xì)網(wǎng)格模式預(yù)報(bào)產(chǎn)品進(jìn)行檢驗(yàn)，給出了具體應(yīng)用個(gè)例。從分析的個(gè)例來(lái)看，MODE方法更適合于綜合分析模式預(yù)報(bào)降水面積、強(qiáng)度、軸角、質(zhì)心距離等各種不同屬性的表現(xiàn)特征，而鄰域法在判別模式在不同空間尺度上的預(yù)報(bào)能力上具有較大的優(yōu)勢(shì)，是檢驗(yàn)?zāi)Ｊ筋A(yù)報(bào)性能不同方面的有效方法，因此兩者結(jié)合使用往往能更加全面地分析模式的預(yù)報(bào)表現(xiàn)。

圖4　MET系統(tǒng)的鄰域法匹配示意圖（a）觀測(cè)場(chǎng)；（b）傳統(tǒng)方法檢驗(yàn)的匹配模式；（c）鄰域法匹配Fig. 4 The schematical matching map of the neighborhood methods: （a） the observation field in the domain， （b） matching model of the traditional verification mathods at the same grid box in forecast， （c） Fuzzy verification considering a neighborhood surrounding the observations

圖5　鄰域法檢驗(yàn)個(gè)例：不同空間尺度下ECMWF模式6h降水預(yù)報(bào)的FSS（a）和ETS（b）隨不同降水閾值的變化圖（圖中數(shù)字表示對(duì)應(yīng)尺度、量級(jí)下評(píng)分的數(shù)值大小）Fig. 5 A case of Neighborhood method verified. Aggregated scores of the ECMWF at different precipitation thresholds and spatial scales: （a） FSS and （b） ETS （the bold numbers refer to the score values at corresponding threshold and scale）

MET系統(tǒng)對(duì)模式產(chǎn)品檢驗(yàn)評(píng)估的方法齊全、功能強(qiáng)大，本文在綜合分析、研究MET系統(tǒng)架構(gòu)、功能的基礎(chǔ)上，對(duì)MET系統(tǒng)做了較為詳細(xì)的闡述及簡(jiǎn)單應(yīng)用，以此方便模式使用者、開(kāi)發(fā)者利用MET系統(tǒng)更好地對(duì)模式產(chǎn)品進(jìn)行評(píng)估。需要說(shuō)明的是，MET涉及的各種檢驗(yàn)方法繁多，文中的一些方法僅為簡(jiǎn)單介紹，還有一些評(píng)分技巧也沒(méi)有做出具體說(shuō)明，更為深入、全面地理解和應(yīng)用有待于在后期工作中展開(kāi)。

［1］陳海山， 孫照渤. 陸面模式CLSM的設(shè)計(jì)及性能檢驗(yàn)II：模式檢驗(yàn). 大氣科學(xué)， 2005， 29（2）： 272-282.

［2］潘留杰， 張宏芳， 朱偉軍， 等. ECMWF模式對(duì)東北半球氣象要素場(chǎng)預(yù)報(bào)能力的檢驗(yàn). 氣候與環(huán)境研究， 2013， 18 （1）： 112-123.

［3］潘留杰， 張宏芳， 王建鵬， 等. 日本高分辨率模式對(duì)中國(guó)降水預(yù)報(bào)能力的客觀檢驗(yàn). 高原氣象， 2014， 33（2）： 483-494.

［4］劉建國(guó)， 謝正輝， 趙琳娜， 等. 基于多模式集合的小時(shí)氣溫概率預(yù)報(bào). 大氣科學(xué)， 2013， 37（1）： 43-53.

［5］陳超君， 王東海， 李國(guó)平， 等. 冬季高海拔復(fù)雜地形下GRAPESMeso要素預(yù)報(bào)的檢驗(yàn)評(píng)估. 氣象， 2012， 38（6）： 657-668.

［6］Skok G， Tribbla J， Rakovec J. Object-based analysis of satellitederived precipitation systems over the low- and midlatitude Pacific Ocean. Mon Wea Rev， 2009， 137： 4561-4575.

［7］何立富， 周慶亮， 諶蕓， 等. 國(guó)家級(jí)強(qiáng)對(duì)流潛勢(shì)預(yù)報(bào)業(yè)務(wù)進(jìn)展與檢驗(yàn)評(píng)估. 氣象， 2011， 37（7）： 777- 784.

［8］賈麗紅， 張慧嵐， 肖開(kāi)提·多萊特， 等. T639數(shù)值產(chǎn)品對(duì)影響新疆主要系統(tǒng)的預(yù)報(bào)檢驗(yàn)評(píng)估.氣象， 2012， 38（8）： 971-976.

［9］劉君， 黃江平， 董佩明， 等. 衛(wèi)星資料循環(huán)同化應(yīng)用對(duì)區(qū)域數(shù)值預(yù)報(bào)效果影響分析. 氣象， 2013， 39（2）： 156-165.

［10］閔晶晶. BJ-RUC系統(tǒng)模式地面氣象要素預(yù)報(bào)效果評(píng)估. 應(yīng)用氣象學(xué)報(bào)， 2014， 25（3）： 265-273.

［11］潘留杰， 張宏芳， 王建鵬. 數(shù)值天氣預(yù)報(bào)檢驗(yàn)方法研究進(jìn)展. 地球科學(xué)進(jìn)展， 2014， 29（3）： 327-335.

［12］杜良敏， 柯宗建. 一種適用于延伸期過(guò)程事件預(yù)報(bào)的檢驗(yàn)方法.應(yīng)用氣象學(xué)報(bào)， 2013， 24（6）： 686-694.

［13］張宏芳， 潘留杰， 楊新. ECMWF、日本高分辨率模式降水預(yù)報(bào)能力的對(duì)比分析. 氣象， 2014， 40（4）： 424-432.

［14］鄧國(guó)， 龔建東， 鄧蓮堂， 等. 國(guó)家級(jí)區(qū)域集合預(yù)報(bào)系統(tǒng)研發(fā)和性能檢驗(yàn). 應(yīng)用氣象學(xué)報(bào)， 2010， 21（5）： 513-523.

［15］Brier G W. Verification of forecasts expressed in terms of probability. Mon Wea Rev， 1950， 78： 1-3.

［16］Hamill T M. Interpretation of rank histograms for verifying ensemble forecasts. Mon Wea Rev， 2001， 129： 550-560.

［17］Gilleland E， David A， Brown G. Intercomparison of spatial forecast verification methods. Wea Forecasting， 2009， 24：1416-1429.

［18］Marsigli C， Montani A， Paccangnella T. A spatial verification method applied to the evaluation of high-resolution ensemble forecasts. Meteorol Appl， 2008， 15： 125-143.

［19］Hoffman R N， Liu Z， Louis J F， et al. Distortion representation of forecast errors. Mon Wea Rev， 1995， 123： 2758-2770.

［20］Davis C B， Brown B G， Bullock R G. Object-based verification of precipitation forecasts. Part I： methods and application to mesoscale rain areas. Mon Wea Rev， 2006， 134： 1772-1784.

［21］Davis C A， Brown B G， Bullock R G. Object-based verification of precipitation forecasts， Part II： application to convective rain systems. Mon Wea Rev， 2006， 134： 1785-1795.

［22］杜鈞， 李俊. 集合預(yù)報(bào)方法在暴雨研究和預(yù)報(bào)中的應(yīng)用. 氣象科技進(jìn)展， 2014，4（5）： 6-20.

Numerical Weather Prediction Model Testing and Evaluation Systems MET and Application

Pan Liujie1， Zhang Hongfang2， Xue Chunfang3， Wang Jianpeng1， Liu Yong1
（1 Shaanxi Meteorological Observatory， Xi'an 710014 2 Shaanxi Meteorological Service Centre， Xi'an 710014 3 Shaanxi Meteorological Bureau， Xi'an 710014）

The MET （Model Evaluation Tools） comprehensively uses many kinds of advanced model testing and evaluation algorithms， such as the classical methods， the analysis of high resolution mode diagnosis， ensemble prediction， probability forecast， and the typhoon path test. It is the newest numerical prediction test， evaluation system developed by DTC （The Developmental Tested Center） in the NCAR （National Center for Atmospheric Research， USA）. The main purposes are not only to provide a mode performance test tool for mode developers， but also to give users a forecast ability of distinguishing mode and then getting the forecast index by using MET. MET provides abundant interfaces of stations and grid data； it's core component integrates many advanced classic mode test methods above mentioned. In addition， it provides various drawing scripts based on language R for user's convenience. This article briefy explains the MET system， and gives a precipitation test example based on the MET object-oriented method and neighborhood method.

MET， probability forecast， ensemble prediction， spatial diagnosis

10.3969/j.issn.2095-1973.2016.04.005

2014年11月20日；

2015年4月11日

潘留杰（1978—），Email: pljmtgh57245@sina.com

資助信息： 陜西省自然科學(xué)基金（2015JM4140）；陜西省氣象局面上科研項(xiàng)目（2016M-1）；中國(guó)氣象局預(yù)報(bào)員專項(xiàng)（CMAYBY2014-070）