自動(dòng)氣象站Z文件的異常處理及臺站級質(zhì)量控制

陳 明，樊新宇，蓋小波，李 強(qiáng)

(1.遼寧省錦州市氣象局，遼寧 錦州 121001;2.遼寧省大連市氣象局，遼寧 大連 116001;3.遼寧省新民市氣象局，遼寧 新民 110001)

自動(dòng)氣象站Z文件的異常處理及臺站級質(zhì)量控制

陳 明1，樊新宇1，蓋小波2，李 強(qiáng)3

(1.遼寧省錦州市氣象局，遼寧 錦州 121001;2.遼寧省大連市氣象局，遼寧 大連 116001;3.遼寧省新民市氣象局，遼寧 新民 110001)

正點(diǎn)地面氣象要素?cái)?shù)據(jù)文件即ZIIiiiMM.YYY文件(簡稱Z文件)，是自動(dòng)氣象站采集數(shù)據(jù)文件的重要部分，在日常地面氣象測報(bào)業(yè)務(wù)工作中，常常出現(xiàn)因設(shè)備軟硬件故障或誤操作等原因，造成數(shù)據(jù)資料的全部或部分丟失或出現(xiàn)數(shù)據(jù)異常等情況，給原始?xì)庀筚Y料的積累造成難以挽回的損失。該文分析了z文件出現(xiàn)異常的原因和處理方法，并對臺站級質(zhì)量控制進(jìn)行了探討，以確保原始數(shù)據(jù)資料的完整和準(zhǔn)確，滿足現(xiàn)代氣象業(yè)務(wù)需求。

自動(dòng)氣象站;Z文件;異常處理;臺站級;質(zhì)量控制

1 引言

正點(diǎn)地面氣象要素?cái)?shù)據(jù)文件即ZIIiiiMM.YYY文件(簡稱Z文件)，是自動(dòng)氣象站采集數(shù)據(jù)文件的重要部分，也是自動(dòng)氣象站每月上報(bào)審核部門的3個(gè)重要的數(shù)據(jù)文件之一。Z文件出現(xiàn)數(shù)據(jù)丟失和異常，給原始?xì)庀筚Y料的積累造成難以挽回的損失。自動(dòng)氣象站數(shù)據(jù)卸載到計(jì)算機(jī)內(nèi)并及時(shí)的處理、顯示、存貯是地面大氣探測業(yè)務(wù)的基本要求。在日常地面氣象測報(bào)業(yè)務(wù)工作中，難免因設(shè)備軟硬件故障或誤操作，造成數(shù)據(jù)全部或部分丟失或出現(xiàn)異常等情況。一般可分為兩種情況，一種是永久性丟失，即自動(dòng)站的儀器設(shè)備出現(xiàn)故障，如采集器、傳感器及通訊設(shè)備等出現(xiàn)故障造成實(shí)時(shí)資料完全丟失，無法通過其它方法進(jìn)行數(shù)據(jù)恢復(fù);另一種是可恢復(fù)性的丟失，即采集器和傳感器工作正常，而由于通訊線路故障、文件讀寫錯(cuò)誤、共享沖突、軟件升級等原因造成的實(shí)時(shí)資料丟失或異常，可通過相關(guān)的處理進(jìn)行恢復(fù)。現(xiàn)代氣象業(yè)務(wù)的發(fā)展對氣象資料完整性、時(shí)效性和質(zhì)量提出了十分迫切的需求。這就需要臺站建立集數(shù)據(jù)監(jiān)控、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)存儲和共享于一體的現(xiàn)代資料處理業(yè)務(wù)，為觀測系統(tǒng)穩(wěn)定運(yùn)行提供基礎(chǔ)保障。

2 正點(diǎn)地面氣象要素文件異常原因及恢復(fù)處理

2.1 ZIIiiiMM.YYY文件數(shù)據(jù)異常原因分析

根據(jù)地面自動(dòng)站工作原理分析，影響 ZIIiiiMM.YYY文件數(shù)據(jù)正常卸載有以下原因：OSSMO 2004測報(bào)軟件內(nèi)的系統(tǒng)參數(shù)不正確、采集通訊軟件端口或波特率不正確、計(jì)算機(jī)系統(tǒng)受到病毒的攻擊、計(jì)算機(jī)與采集器時(shí)間不一致、通訊接口接觸不好、通訊線纜破損、自動(dòng)站周圍有電磁場和脈沖信號的干擾(如高頻線纜等)、UPS電源和采集器后備電源工作不正常、外轉(zhuǎn)接盒工作不正常、采集器CPU單片系統(tǒng)紊亂等。

以上原因出現(xiàn)時(shí)往往造成采集器中數(shù)據(jù)沒能寫入計(jì)算機(jī)，Z文件中無數(shù)據(jù)或者數(shù)據(jù)錯(cuò)誤而沒有卸載成功，采集器中的數(shù)據(jù)沒有被清除;或者是采集器卸載數(shù)據(jù)成功，在將數(shù)據(jù)寫入Z文件時(shí)出現(xiàn)錯(cuò)誤，造成Z文件中無數(shù)據(jù)，但在ZZ.txt、AWS_IIiii_YYYYMMDD.RTD文件中有數(shù)據(jù)。

2.2 ZIIiiiMM.YYY文件數(shù)據(jù)資料的恢復(fù)處理

2.2.1 采集器中數(shù)據(jù)沒能寫入計(jì)算機(jī)，Z文件中無數(shù)據(jù)時(shí)的恢復(fù)處理 可以通過“常規(guī)數(shù)據(jù)卸載”功能，恢復(fù)和補(bǔ)救Z文件中的數(shù)據(jù)。這里需要注意的是：因采集器存儲容量有限，目前大多數(shù)采集器只能保存約15d的定時(shí)數(shù)據(jù)或7d的定時(shí)數(shù)據(jù)和3d的分鐘數(shù)據(jù)，因此，能夠從采集器中恢復(fù)補(bǔ)救的數(shù)據(jù)是有限的;在進(jìn)行“常規(guī)數(shù)據(jù)卸載”的過程中，由于數(shù)據(jù)卸載占用了采集器的通訊接口，系統(tǒng)軟件會屏蔽實(shí)時(shí)分鐘和正點(diǎn)數(shù)據(jù)的自動(dòng)卸載功能，當(dāng)前時(shí)刻的實(shí)時(shí)分鐘和正點(diǎn)數(shù)據(jù)均不能正常采集，因而，在進(jìn)行數(shù)據(jù)卸載時(shí)，選取的時(shí)次少些，減少對正點(diǎn)數(shù)據(jù)正常采集的影響。

2.2.2 利用“質(zhì)量控制軟件”將“AWS_IIiiiyyyymmdd.RTD”文件中的數(shù)據(jù)導(dǎo)入Z文件 導(dǎo)入過程是：先讀取RTD文件中相應(yīng)時(shí)次00分的數(shù)據(jù)，若該分鐘全部數(shù)據(jù)缺測(“-”)或?yàn)槌跏蓟?“-”)，則再讀取前1時(shí)次51～59分最接近正點(diǎn)分鐘的不全為缺測或初始化值的數(shù)據(jù)，若正點(diǎn)前10min的數(shù)據(jù)均為缺測或初始化值時(shí)，則再從正點(diǎn)后10min最接近正點(diǎn)分鐘的不全為缺測或初始化值的數(shù)據(jù)。用正點(diǎn)00分或前1時(shí)次51～59分?jǐn)?shù)據(jù)導(dǎo)入時(shí)，數(shù)據(jù)直接填入數(shù)據(jù)區(qū)的單元格，若用正點(diǎn)后10min的數(shù)據(jù)導(dǎo)入時(shí)，極值項(xiàng)及出現(xiàn)時(shí)間一律按缺測處理。小時(shí)雨量從RTD中各分鐘雨量統(tǒng)計(jì)得到。

2.2.3 通訊故障時(shí)的資料恢復(fù)方法 自動(dòng)站數(shù)據(jù)采集軟件在卸載數(shù)據(jù)時(shí)，在卸載窗口提示通訊故障后，可先通過采集器終端進(jìn)行檢查，在確認(rèn)線路故障時(shí)，應(yīng)立即排除，在確認(rèn)通訊恢復(fù)正常時(shí)，選擇人工資料卸載，但不要選擇將資料清除選項(xiàng)，按確定即可卸載。

2.2.4 由于軟件升級造成1月內(nèi)存在2個(gè)Z文件分鐘數(shù)據(jù)文件或者由于重新創(chuàng)建路徑造成AWSsource文件在不同的路徑下。這種情況只需用文本編輯軟件打開2個(gè)Z文件，將任一個(gè)Z文件的正常數(shù)據(jù)拷貝到另一個(gè)Z文件的缺少資料就可以了。

2.2.5 資料卸載正常，Z文件中無資料的恢復(fù)處理出現(xiàn)這種情況，應(yīng)在正點(diǎn)后1分10秒內(nèi)調(diào)閱每分鐘資料，將AwsSource目錄下的ZZ.TXT拷貝到其他目錄中，再用文本編輯軟件將ZZ.TXT文件內(nèi)的數(shù)據(jù)拷貝到Z文件內(nèi)的相應(yīng)時(shí)次。如超過這個(gè)時(shí)間，則應(yīng)讀取自動(dòng)站數(shù)據(jù)備份路徑下的AWS_IIiii_YYYYMMDD.RTD，將對應(yīng)的數(shù)據(jù)錄入Z文件。

3 正點(diǎn)地面氣象要素文件的臺站級質(zhì)量控制

對正點(diǎn)地面氣象要素文件ZIIiiiMM.YYY的臺站級質(zhì)量控制，主要包括：界限值檢查、氣候極值、內(nèi)部一致性檢查、時(shí)變檢查、持續(xù)性檢查、風(fēng)向缺失檢查、特殊天氣事件檢測等。

3.1 界限值檢查

界限值檢查方法是檢查要素值是否在其測量允許值范圍之內(nèi)。如圖1利用OSSMO2004版業(yè)務(wù)軟件中“質(zhì)量控制軟件”完成各要素相關(guān)界限值的檢查，注意設(shè)置的范圍是檢查的關(guān)鍵，范圍太大達(dá)不到檢驗(yàn)的目的。

圖1 溫度界限值檢查

3.2 氣候極值檢查方法

氣候極值檢查是檢查各要素值是否超過歷史上出現(xiàn)過的最大值和最小值(圖2)。

圖2 溫度氣候極值檢查

3.3 內(nèi)部一致性檢查，判斷降水?dāng)?shù)據(jù)的異常

內(nèi)部一致性檢查是指有些氣象觀測要素相互之間關(guān)系密切，其變化規(guī)律具有一致性。根據(jù)該特性，就可對相關(guān)數(shù)據(jù)是否保持這種內(nèi)部關(guān)系來檢查其是否發(fā)生異常，以確定數(shù)據(jù)質(zhì)量，即為內(nèi)部一致性檢查。通過內(nèi)部一致性檢查，重點(diǎn)解決降水量與相關(guān)要素相互之間一致性的檢查方法，判斷降水量數(shù)據(jù)的可疑值。

在降雨時(shí)，計(jì)算機(jī)出現(xiàn)重啟、死機(jī)、關(guān)機(jī)等現(xiàn)象，造成重新卸載資料的。在降雨時(shí)，自動(dòng)站采集數(shù)據(jù)的同時(shí)，計(jì)算機(jī)正處在另外一種工作狀態(tài)中，如在下載軟件或運(yùn)行其他程序。這兩種情況都會造成分鐘降水資料部分記錄沒有存入OSSMO 2004AwsSource目錄下的R文件的分鐘資料內(nèi)，導(dǎo)致相對應(yīng)的正點(diǎn)降水資料未包含計(jì)算機(jī)處于異常狀態(tài)下的分鐘降水資料，從而出現(xiàn)正點(diǎn)降水資料偏小現(xiàn)象。

判斷降水量是否偏小，可以在自動(dòng)站正點(diǎn)數(shù)據(jù)下載后，點(diǎn)擊進(jìn)入“逐日地面數(shù)據(jù)維護(hù)”，查看是否會出現(xiàn)B、Z文件不一致的數(shù)據(jù)列表對話框，如出現(xiàn)B文件與Z(R)文件各有一個(gè)降水量值，那么說明該正點(diǎn)降水資料偏小。

3.4 時(shí)變檢查

時(shí)變檢查是指大氣中的有些觀測數(shù)據(jù)與時(shí)間顯著相關(guān)，具有良好的時(shí)間一致性，將此類數(shù)據(jù)與其時(shí)間上前、后的測值相比較，來判斷其數(shù)據(jù)是否發(fā)生異常。圖3中通過分析可以看出，由于軟件寫入錯(cuò)誤造成5 cm地溫錯(cuò)誤，10～160 cm地溫?cái)?shù)據(jù)讀取錯(cuò)位。處理方法是用質(zhì)量控制軟件的導(dǎo)入功能將數(shù)據(jù)恢復(fù)原位，320 cm相應(yīng)數(shù)據(jù)按缺測處理。

圖3 地溫?cái)?shù)據(jù)時(shí)變檢查

3.5 持續(xù)性檢查

持續(xù)性檢查是指在一段時(shí)間內(nèi)(如一天)，許多氣象要素值會隨著時(shí)間、地域的變化出現(xiàn)波動(dòng)。如果某要素值沒有發(fā)生變化有可能觀測儀器或傳輸設(shè)備出現(xiàn)故障。圖4中通過連續(xù)性分析可以看出，風(fēng)向變化始終在“0”和“1”之間，通過連續(xù)性分析可以判斷風(fēng)向儀器出現(xiàn)故障或被凍結(jié)。

圖4 風(fēng)向連續(xù)性檢查

3.6 風(fēng)向缺失檢查

在一個(gè)較長的時(shí)間內(nèi)(如一個(gè)月)，根據(jù)風(fēng)向方位的變化量，可以知道某一地區(qū)一個(gè)月內(nèi)出現(xiàn)了哪些風(fēng)向，哪些風(fēng)向沒有出現(xiàn)。如果一個(gè)月內(nèi)沒有出現(xiàn)某些方位的風(fēng)向，說明某個(gè)范圍風(fēng)向方位的部件可能出現(xiàn)故障，在冬季也可能風(fēng)向標(biāo)被凍結(jié)。圖5中是將該月的z文件轉(zhuǎn)化為報(bào)表文件，通過風(fēng)的統(tǒng)計(jì)顯示出來，7月沒有SE風(fēng)向出現(xiàn)，經(jīng)分析本站的情況，夏季無SE風(fēng)向是不正常現(xiàn)象，由于風(fēng)向塊連接問題引起。

圖5 風(fēng)向缺失檢查

3.7 特殊天氣事件檢測

特殊天氣事件檢測是指當(dāng)發(fā)生有些天氣事件，將導(dǎo)致相關(guān)要素發(fā)生“異常”，從而導(dǎo)致質(zhì)量控制方法發(fā)生誤檢。如大幅度降溫事件、積雪事件、高濕事件、低濕事件、高溫事件等特殊事件，通過“特殊天氣事件檢測”可以消除或降低這些事件對數(shù)據(jù)質(zhì)量的影響。如草面溫度容易受到溫度和風(fēng)的影響，有積雪時(shí)，草面溫度和雪面溫度的轉(zhuǎn)換容易導(dǎo)致質(zhì)量控制方法發(fā)生誤檢，通過判斷確對數(shù)據(jù)無影響時(shí)，可維持原數(shù)據(jù)。

4 采取的主要措施

①加強(qiáng)對自動(dòng)站儀器設(shè)備的日常維護(hù)。在自動(dòng)站出現(xiàn)數(shù)據(jù)丟失時(shí)，應(yīng)立即檢查故障原因，排除硬件故障。

②強(qiáng)化數(shù)據(jù)監(jiān)視處理與備份。每個(gè)正點(diǎn)對自動(dòng)站記錄進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)野值和異常記錄，做到及時(shí)發(fā)現(xiàn)、分析原因，及時(shí)處理。每天20時(shí)后對當(dāng)天的記錄進(jìn)行備份，以免造成丟失數(shù)據(jù)。在資料恢復(fù)后，應(yīng)先做好各文件的備份，防止因誤操作而破壞文件結(jié)構(gòu)，造成不應(yīng)有的損失。同時(shí)應(yīng)避免其它的軟件對實(shí)時(shí)數(shù)據(jù)文件操作。

③每天注意正確的對時(shí)。每天19時(shí)將自動(dòng)站采集器時(shí)間與廣播進(jìn)行對時(shí)，校準(zhǔn)時(shí)鐘，使其誤差在30s內(nèi)，同時(shí)保持計(jì)算機(jī)和采集器時(shí)間的同步。

5 結(jié)語

為適應(yīng)現(xiàn)代氣象業(yè)務(wù)，從2011年起基層臺站的任務(wù)由單純的觀測和編發(fā)氣象報(bào)告轉(zhuǎn)變?yōu)閿?shù)據(jù)監(jiān)視處理和數(shù)據(jù)質(zhì)量控制，處理與反饋疑誤數(shù)據(jù)信息等業(yè)務(wù)，對于錯(cuò)誤數(shù)據(jù)做出準(zhǔn)確判斷和正確處理都需要各臺站有豐富經(jīng)驗(yàn)的資料處理人員，通過大量原始數(shù)據(jù)綜合決策才能完成。因此作為觀測員要及時(shí)調(diào)整業(yè)務(wù)理念，熟悉掌握各個(gè)文件的生成原理和文件存儲的路徑及內(nèi)容，這樣才能及時(shí)發(fā)現(xiàn)問題，并能粗略判斷問題的原因所在，從而能在最短時(shí)間內(nèi)進(jìn)行補(bǔ)救處理，確保原始數(shù)據(jù)資料的完整和準(zhǔn)確，確保數(shù)據(jù)質(zhì)量滿足現(xiàn)代氣象業(yè)務(wù)工作需求。

［1］ 中國氣象局.地面氣象觀測規(guī)范［M］.北京：氣象出版社，2003.

［2］ 李黃.自動(dòng)氣象站實(shí)用手冊［M］.北京：氣象出版社，2007.

［3］ 中國氣象局監(jiān)測網(wǎng)絡(luò)司.地面氣象測報(bào)業(yè)務(wù)系統(tǒng)軟件操作手冊［M］.北京：氣象出版社，2005.

［4］ 中國氣象局.地面氣象觀測數(shù)據(jù)文件和記錄簿表格式.

［5］ 國家氣象信息中心資料室，湖北省氣象局.氣象站數(shù)據(jù)質(zhì)量控制軟件(AWSDataQC)操作手冊.

P468

B

1003-6598(2011)03-0058-04

2011-04-01

陳明(1972-)，女，工程師，主要從事大氣探測、資料審核和服務(wù)工作。