自動氣象站資料質(zhì)量控制系統(tǒng)設(shè)計

范宏飛

(湖北省氣象信息與技術(shù)保障中心,武漢 430074)

0 引 言

質(zhì)量控制(QC:Quality Control)是質(zhì)量管理的一部分,重點是要達(dá)到各項質(zhì)量要求；包括為達(dá)到各項質(zhì)量要求所使用的各種業(yè)務(wù)技術(shù)方法和各項活動。資料質(zhì)量控制是質(zhì)量管理體系中最為熟知的組成部分,它包括對臺站和信息中心的資料進(jìn)行審核,旨在檢測誤差。

由于各種原因(例如硬件缺陷、設(shè)備故障、傳輸問題),在給定位置的氣象觀察資料可能是不準(zhǔn)確的。資料的準(zhǔn)確度對資料的分析、計算和科學(xué)應(yīng)用都至關(guān)重要。因此,需要對觀測資料的質(zhì)量進(jìn)行控制,這是一項重要的基礎(chǔ)性工作,它涉及到資料的一致性和準(zhǔn)確度。質(zhì)量控制可以幫助確定哪些氣象觀測資料不準(zhǔn)確,并進(jìn)行訂正。

對氣象觀測資料進(jìn)行質(zhì)量控制是氣象業(yè)務(wù)、科研和服務(wù)的基礎(chǔ)技術(shù)工作,在觀測資料種類越來越多,站點密度和觀測頻次越來越大的情況下,能自動運行且疑誤檢測效率較高的質(zhì)量控制方法顯得尤為重要[1]。針對不同的氣象資料,國內(nèi)報道了許多質(zhì)量控制(QC)系統(tǒng)和方法[2-6]。

觀測資料質(zhì)量控制的主要目的是檢測缺失的數(shù)據(jù)和誤差,以及對可能的誤差進(jìn)行訂正。觀測資料的質(zhì)量控制包括對臺站和信息中心的資料進(jìn)行審核,以檢測出缺失的數(shù)據(jù)和誤差；確認(rèn)資料并加以標(biāo)識,以及必要時對資料進(jìn)行估算和訂正,以消除主要的誤差來源,確保達(dá)到盡可能高的質(zhì)量標(biāo)準(zhǔn),使所有用戶可以最佳地利用這些資料。

隨著自動氣象觀測取代人工觀測,數(shù)據(jù)傳輸和處理流程、處理時效以及存儲管理均發(fā)生了很大變化,所以氣象資料業(yè)務(wù)系統(tǒng)質(zhì)量控制方案與以前存在較大差異,有必要重新設(shè)計與完善,以適應(yīng)其變化。

為確保高質(zhì)量的自動氣象站資料,一個精心設(shè)計的質(zhì)量控制系統(tǒng)是至關(guān)重要的。筆者結(jié)合自動氣象站觀測資料要素多、復(fù)雜性和實時性的特點,基于資料所反映的大氣變量的物理、氣候特征和資料必須遵循的基本規(guī)律,研制了一套基于有效性和一致性檢查的3 級可操作性強、能實現(xiàn)計算機自動化運行且可疑錯誤數(shù)據(jù)檢測效率較高的自動氣象站(含區(qū)域站)資料質(zhì)量控制系統(tǒng)。

與國內(nèi)質(zhì)量控制系統(tǒng)和方法對比,該系統(tǒng)首次設(shè)計開發(fā)了一套由簡入繁的3 級質(zhì)量控制系統(tǒng),可以由粗入細(xì)對錯誤和可疑資料進(jìn)行逐級質(zhì)控,提高了檢測效率和檢測質(zhì)量。相比其他技術(shù),有效性檢查實現(xiàn)簡單,可剔除粗大誤差,檢測效率非常高。時間一致性檢查包括:時變檢查和持續(xù)性檢查兩種技術(shù),可檢查數(shù)據(jù)的突變和不變,能直觀地反映數(shù)據(jù)的變化規(guī)律和設(shè)備狀態(tài)。內(nèi)部一致性檢查技術(shù)分為3 種:1) 同類要素之間的關(guān)系,2) 不同類型要素之間的關(guān)系,3) 統(tǒng)計值之間的關(guān)系?？紤]上述3 種不同的情況,使檢測更加精細(xì)準(zhǔn)確。空間一致性檢查采用最優(yōu)插值(OI:Optimal Interpolation)技術(shù)是均方差最小的線性插值方法,獲得的插值是通過重新分析選取最優(yōu)的,插值更具有代表性和相關(guān)性,質(zhì)量控制效果更佳。該系統(tǒng)技術(shù)成果已應(yīng)用于省級氣象信息中心的氣象數(shù)據(jù)業(yè)務(wù)系統(tǒng)(MDOS:Meteorological Data Operation System),在全國省級氣象部門進(jìn)行推廣應(yīng)用。

1 自動氣象站資料3 級質(zhì)量控制系統(tǒng)整體設(shè)計

根據(jù)自動氣象站觀測資料的特點,筆者設(shè)計了一套3 級自動氣象站資料自動質(zhì)量控制(QC)系統(tǒng),針對不同氣象要素的特點和氣候物理規(guī)律,設(shè)計了不同級別檢查的方法,可以很好地提高疑誤氣象數(shù)據(jù)的檢查效率。該系統(tǒng)已應(yīng)用于省級氣象信息中心的自動氣象站資料的質(zhì)量控制[7-9]。具體為:1 級為有效性檢查；2 級為內(nèi)部一致性和時間一致性檢查；3 級為空間一致性檢查。其中1 級質(zhì)量控制是最簡單有效的檢查,2 級是非常有效的檢查,3 級是最復(fù)雜的檢查。自動氣象站氣象資料部分要素3 級質(zhì)量控制技術(shù)設(shè)計的詳細(xì)描述如表1 所示。表1 中√表示執(zhí)行該QC,(1)、(2)、(3)、(4)、(5)、(6)、(7)為內(nèi)部一致性檢查的主要檢查技術(shù)條款。

表1 自動氣象站氣象資料部分要素3 級質(zhì)量控制技術(shù)設(shè)計Tab.1 Three-level quality control technology design of some meteorological elements data in automatic weather station

2 質(zhì)量控制系統(tǒng)數(shù)據(jù)流程設(shè)計

自動氣象站資料3 級自動質(zhì)量控制技術(shù)具體的質(zhì)量控制流程為:C-粗通過,通過1 級；X-錯誤,1 級失?。籗-篩選,通過1 級和2 級；Q-可疑,通過了1 級,沒有通過2 級或3 級；V-驗證,通過1 級、2 級和3 級。并標(biāo)注相應(yīng)的質(zhì)量控制碼。每級都設(shè)計主觀干預(yù)(人機交互檢查)。3 級質(zhì)量控制系統(tǒng)數(shù)據(jù)流程圖如圖1 所示,圖1 中N 為未通過質(zhì)控,Y 為通過質(zhì)控。

圖1 3 級質(zhì)量控制系統(tǒng)數(shù)據(jù)流程圖Fig.1 Data flow chart of three-level quality control system

3 1級質(zhì)量控制技術(shù)--有效性檢查

1 級質(zhì)量控制技術(shù)采用有效性檢查,可以對觀測數(shù)據(jù)進(jìn)行物理和氣候極值的檢查,適用于自動氣象站資料的所有要素。從氣候?qū)W和物理學(xué)角度上不可能出現(xiàn)的要素臨界值稱之為要素的有效性檢查。不在界限范圍內(nèi)的自動氣象站數(shù)據(jù)被標(biāo)記為未通過一級QC 檢查,即標(biāo)記為錯誤數(shù)據(jù),這樣可以剔除粗誤差數(shù)據(jù),并標(biāo)記質(zhì)量控制碼1。選取部分氣象要素的有效性檢查的界限范圍[10-12],也就是從物理意義和氣候?qū)W角度不可能出現(xiàn)的極值,筆者參考多方資料進(jìn)行了優(yōu)化處理。各要素對應(yīng)的有限性檢查范圍如表2 所示。

表2 氣象要素有效性檢查界限范圍表Tab.2 Limits and range of meteorological element validity check

4 2級質(zhì)量控制技術(shù)--一致性檢查

2 級質(zhì)量控制技術(shù)即一致性檢查,包括時間一致性檢查和內(nèi)部一致性檢查[13-15]。這兩項技術(shù)可以對自動氣象站數(shù)據(jù)進(jìn)行更加精準(zhǔn)的質(zhì)量控制,以進(jìn)一步確定可疑和錯誤數(shù)據(jù),并標(biāo)記質(zhì)量控制碼。

4.1 時間一致性檢查

首先2 級質(zhì)量控制采用時間一致性檢查。2 級QC的時間一致性檢查就是檢查每個觀察值的時間變化率是否在一定的變化范圍(或閾值)內(nèi)。本系統(tǒng)時間一致性檢查包括:時變檢查和持續(xù)性檢查兩種技術(shù)。兩種方法適用于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、相對濕度、水氣壓、風(fēng)速、風(fēng)向、地面溫度、地溫和草溫等氣象要素。

時變檢查主要根據(jù)要素在某一時段內(nèi)可能的變化范圍(或閾值)判斷該要素值的質(zhì)量。此項檢查的目的是校驗瞬時資料的時間變化率,即檢查不合實際的數(shù)值峰值或跳變,或因傳感器堵塞而引起的死區(qū)。不在閾值內(nèi)的觀察數(shù)據(jù)被標(biāo)記為未通過時間一致性檢查,數(shù)據(jù)標(biāo)識為可疑,標(biāo)記質(zhì)控碼2。

持續(xù)性檢查是檢查在一段時間內(nèi)(如1 d),許多氣象要素值隨著時間、地域的變化出現(xiàn)的波動。如果某要素值長時間沒有發(fā)生變化,則數(shù)據(jù)錯誤,有可能是觀測儀器或傳輸設(shè)備出現(xiàn)故障。在質(zhì)量控制中,用標(biāo)準(zhǔn)差σ衡量某要素一組數(shù)值中某一數(shù)值與其平均值差異程度,用于評估某要素值可能的變化或波動程度。標(biāo)準(zhǔn)差越大,要素值波動的范圍就越大。σ的取值隨地理區(qū)域和要素而不同。筆者用σ=stdev()函數(shù)計算標(biāo)準(zhǔn)差。

時變檢查和持續(xù)性檢查算法如表3、表4 所示,其中avgP=avg(P-1,P1)；α1=8、α2=16 hPa。avg()為計算平均值,stdev()為計算標(biāo)準(zhǔn)差。

表3 小時氣壓時變檢查算法Tab.3 Time-varying air pressure inspection algorithm

表4 小時氣壓持續(xù)性檢查算法Tab.4 Hour air pressure continuity check algorithm

4.2 內(nèi)部一致性檢查

其次2 級質(zhì)量控制采用內(nèi)部一致性檢查。該檢查適應(yīng)于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、水氣壓、風(fēng)速、風(fēng)向等要素。內(nèi)部一致性檢查技術(shù)分為3 種:

1) 檢查同類要素之間的關(guān)系。氣壓內(nèi)部一致性檢查包括將每個站的氣壓變化觀測值與當(dāng)前本站氣壓和3 h 前的本站氣壓之差進(jìn)行比較,并將報告的海平面氣壓與計算的海平面氣壓進(jìn)行比較。在前一次檢查中,如果報告的3 h 氣壓變化觀測值與計算值不匹配,則報告的觀測值被標(biāo)記為錯誤。然而,在后一種檢查中,如果報告的海平面壓力與計算的值不匹配,則海平面氣壓和本站氣壓值都被標(biāo)記為錯誤。

2) 檢查要素之間的關(guān)系。露點溫度觀測值不能超過同一站的溫度觀測值,否則露點和溫度觀測值都會被標(biāo)記為內(nèi)部一致性檢查失敗。如可以通過露點溫度與水汽壓之間的函數(shù)關(guān)系計算露點溫度,若計算的露點溫度與實測值相差較大(絕對值大于0.5 ℃),則露點溫度與水汽壓至少有一個要素有疑誤。水汽壓、露點溫度、海平面氣壓3 個要素采用直接計算進(jìn)行質(zhì)量控制。

3) 檢查與統(tǒng)計值之間的關(guān)系。如可以通過前兩個小時前的正點本站氣壓與當(dāng)前小時的正點本站氣壓的差值計算3 h 變壓,若計算的值與臺站上傳的3 h 變壓統(tǒng)計值不一致,則兩個小時前的正點本站氣壓、當(dāng)前小時的正點本站氣壓與臺站上傳的3 h 變壓統(tǒng)計值至少有一個要素有疑誤。

內(nèi)部性一致性檢查的主要檢查技術(shù)條款如下[16-20]。

1) 海拔高度大于0 時,海平面氣壓大于本站氣壓；海拔高度等于0 時,海平面氣壓等于本站氣壓；海拔高度小于0 時,海平面氣壓小于本站氣壓。海平面氣壓-海平面氣壓的計算值1.2 hPa,則海平面氣壓值錯誤。

2) 本站氣壓-3 h 前本站氣壓≠3 h 變壓,則3 h 變壓數(shù)據(jù)錯誤。

3) 露點溫度觀測值不能超過同一站的溫度觀測值,否則露點溫度值錯誤。

5) 在下列情況下,風(fēng)向風(fēng)速信息被認(rèn)為是錯誤的:風(fēng)向=00(靜風(fēng))且風(fēng)速≠00；風(fēng)向≠00 且風(fēng)速=00；風(fēng)向=99(缺測)且風(fēng)速=00 或風(fēng)速≥0.5 m/s。

6) 當(dāng)計算的水汽壓與當(dāng)前小時水汽壓數(shù)據(jù)相差0.5 hPa 時,數(shù)據(jù)錯誤。

5 空間一致性檢查

空間一致性檢查通常利用與被檢查臺站鄰近的臺站同一時間觀測的氣象要素值與其進(jìn)行比較,或利用鄰近測站觀測值通過一定的插值方法計算出被檢查臺站的分析值,對觀測值與分析值進(jìn)行比較,這是一種非常有效的質(zhì)量控制方法。

3 級質(zhì)量控制技術(shù)采用空間一致性(或“伙伴”)檢查,通過對比分析,具體采用最優(yōu)插值(OI)技術(shù)。該檢查適用于本站氣壓、海平面氣壓、3 h 變壓、氣溫、露點溫度、相對濕度、水氣壓、風(fēng)速和風(fēng)向等要素。最優(yōu)插值法是從統(tǒng)計意義上均方差最小的線性插值方法。利用特定的空間分析方法,與只考慮距離權(quán)重的Cressman、kriging 或Shepard 插值方法不同,OI 方法應(yīng)用到空間內(nèi)插時,除了距離還要考慮格點與站點以及站點與站點之間的空間相關(guān)性,其插值結(jié)果具有一定優(yōu)勢[21-23]。

具體的空間一致性檢查方法如下。在每個觀測位置處,選取5 個以上的相鄰位置觀測值作為插值樣本,計算觀測值與由OI 插值出的分析值之間的差異。如果兩個值之間的差異幅度很小,則觀測結(jié)果與其鄰居分析值一致,并被認(rèn)為是正確的。但如果兩者差異很大,則被檢查的觀測值和分析中使用的分析值,兩者之一是錯誤的。為了確定是哪種情況,通過一次消除一個相鄰的觀測值對觀測位置進(jìn)行重新分析。如果連續(xù)消除每個鄰居值都不能產(chǎn)生與目標(biāo)觀測值一致的分析(正在檢查的觀測值),則觀測值被標(biāo)記為錯誤。如果消除其中一個相鄰觀測值產(chǎn)生的分析值與目標(biāo)觀測值一致,則目標(biāo)觀測值被標(biāo)記為正確,相鄰觀測值被標(biāo)記為可疑。在隨后的OI 分析中不使用可疑觀測值。圖2 說明了再分析的程序過程。

圖2 再分析程序Fig.2 Reanalysis procedure

6 系統(tǒng)實際應(yīng)用效果

該系統(tǒng)技術(shù)已在氣象數(shù)據(jù)業(yè)務(wù)系統(tǒng)(MDOS)的開發(fā)與升級中得到了應(yīng)用,并在全國氣象部門省級信息中心得到推廣[24-27],提高了全國自動氣象站資料的質(zhì)量一致性和準(zhǔn)確度,減少人工勞動,發(fā)揮了很好的效益。該系統(tǒng)對湖北省國家級自動氣象站資料的部分質(zhì)量控制結(jié)果如圖3 所示。通過質(zhì)量控制發(fā)現(xiàn)的錯誤數(shù)據(jù)舉例如下:80 cm 地溫未通過范圍值檢查(偏高)(見圖4),露點溫度未通過內(nèi)部一致性檢查(見圖5),草溫未通過時變檢查(見圖6)。

圖3 MDOS 系統(tǒng)質(zhì)控結(jié)果圖Fig.3 Quality control results of MDOS system

圖4 發(fā)現(xiàn)80 cm 地溫未通過范圍值檢查(偏高)的錯誤數(shù)據(jù)圖Fig.4 The wrong data diagram that the ground temperature of 80 cm failed the range value check (on the high side)

圖5 發(fā)現(xiàn)露點溫度未通過內(nèi)部一致性檢查的錯誤數(shù)據(jù)圖Fig.5 The error data diagram of dew point temperature failing to pass the internal consistency check

圖6 發(fā)現(xiàn)草溫未通過時變檢查的錯誤數(shù)據(jù)圖Fig.6 The error data of grass temperature failing time-varying check

7 結(jié) 語

筆者設(shè)計了一套基于數(shù)據(jù)有效性和一致性檢查的自動氣象站資料3 級自動質(zhì)量控制技術(shù)。該系統(tǒng)能很好地結(jié)合自動氣象站觀測資料復(fù)雜性和實時性的特點,基于資料所反映的大氣變量的物理、氣候特征和資料必須遵循的基本規(guī)律,具有很強的針對性和檢測效率高的優(yōu)點,較好地適用于自動氣象觀測的新形勢。研制確定的質(zhì)量控制技術(shù)包括有效性檢查、時間一致性檢查、內(nèi)部一致性檢查和空間一致性檢查等,其中時間一致性檢查還包括時變檢查和持續(xù)性檢查兩種技術(shù)；內(nèi)部一致性檢查包括同類要素之間、不同要素之間、要素值與統(tǒng)計值之間檢查3 種技術(shù)；空間一致性檢查采用最優(yōu)插值法技術(shù)。該系統(tǒng)具有很好的操作性和實用性,可以實現(xiàn)計算機自動化且疑誤檢測效率較高,部分技術(shù)已投入氣象數(shù)據(jù)業(yè)務(wù)系統(tǒng)(MDOS)應(yīng)用,對自動氣象站數(shù)據(jù)的質(zhì)量控制系統(tǒng)開發(fā)與改進(jìn)具有參考價值。