浙江省地面氣象分鐘數(shù)據(jù)監(jiān)控傳輸方案設(shè)計與實(shí)現(xiàn)*

徐 寧 魯奕岑 吳書成 魏 爽 劉熔熔 王麗吉

(浙江省氣象信息網(wǎng)絡(luò)中心,浙江 杭州 310000)

1 現(xiàn)狀分析

2019年6月,地面氣象觀測自動化改革試運(yùn)行,地面、高空、輻射、酸雨標(biāo)準(zhǔn)格式(BUFR)數(shù)據(jù)作為業(yè)務(wù)數(shù)據(jù)開始傳輸。2020年4月,觀測自動化改革調(diào)整為正式業(yè)務(wù)運(yùn)行[1-7]。隨著氣象現(xiàn)代化的不斷發(fā)展,氣象資料數(shù)據(jù)量爆發(fā)式增長,分鐘數(shù)據(jù)傳輸間隔由5 min升級為1 min,數(shù)據(jù)量級由KB增加到MB,數(shù)據(jù)量激增影響了傳輸穩(wěn)定性。具體傳輸內(nèi)容與模式如表1所示。

表1 國家氣象站傳輸內(nèi)容與模式

省級服務(wù)器異常、網(wǎng)絡(luò)傳輸異常、臺站采集器異常,都容易導(dǎo)致數(shù)據(jù)無法正常入庫,而臺站在傳輸一次數(shù)據(jù)后無法再次自動補(bǔ)傳,使得MDOS數(shù)據(jù)庫中經(jīng)常出現(xiàn)小時數(shù)據(jù)缺報、分鐘數(shù)據(jù)空白等數(shù)據(jù)入庫問題,數(shù)據(jù)的丟失直接影響了省級數(shù)據(jù)庫的完整率和可用率[7-12]。地面氣象觀測自動化后,臺站觀測業(yè)務(wù)主要轉(zhuǎn)為設(shè)備維護(hù)維修,儀器檢測標(biāo)校,值守班人員無法及時發(fā)現(xiàn)數(shù)據(jù)未入庫問題,人工應(yīng)急干預(yù)的時效性降低,同時集中的人工補(bǔ)傳會導(dǎo)致傳輸壓力過大,服務(wù)器超負(fù)荷工作出現(xiàn)死機(jī)、癱瘓等不良后果,影響實(shí)時業(yè)務(wù)的運(yùn)行和該節(jié)點(diǎn)業(yè)務(wù)應(yīng)用，因此要求建立對省級數(shù)據(jù)庫的實(shí)時監(jiān)控和缺測數(shù)據(jù)的自動補(bǔ)傳[12-15]。

該軟件基于MDOS和ISOS系統(tǒng),實(shí)時監(jiān)控MDOS數(shù)據(jù)庫,對出現(xiàn)的空白、缺報等沒有入庫現(xiàn)象的小時、分鐘報文進(jìn)行逐時自動補(bǔ)傳,保證了數(shù)據(jù)傳輸?shù)奈ㄒ恍?提高了及時率和可用率,同時減少了臺站人員的工作量。

2 國內(nèi)氣象BUFR數(shù)據(jù)格式和傳輸流程

2.1 國內(nèi)地面觀測要素BUFR報文格式說明

國內(nèi)地面小時、分鐘BUFR格式參照了世界氣象組織(WMO)和國際通用氣象數(shù)據(jù)格式標(biāo)準(zhǔn),研制了適應(yīng)國內(nèi)自動站觀測業(yè)務(wù)的數(shù)據(jù)表示模板。2018年6月26日,中國氣象局發(fā)布了《地面氣象觀測數(shù)據(jù)BUFR編碼行業(yè)標(biāo)準(zhǔn)》，其具有自描述性、表格驅(qū)動特性、可擴(kuò)展性、可壓縮性等特點(diǎn),編碼數(shù)據(jù)由指示段、標(biāo)識段、數(shù)據(jù)描述段、數(shù)據(jù)段和結(jié)束段構(gòu)成,具體要素描述符對應(yīng)數(shù)據(jù)編碼值詳見表2[16]:

表2 國內(nèi)地面小時、分鐘BUFR要素描述

2.2 數(shù)據(jù)傳輸流程

國家級地面氣象站觀測數(shù)據(jù)采集傳輸,其流程包括:

(1)地面觀測設(shè)備自動化采集并生成數(shù)據(jù),臺站ISOS軟件采集生成數(shù)據(jù),通過BUFR格式和新長Z文件以消息的傳輸方式上傳至省氣象信息中心。經(jīng)在線快速質(zhì)控后,實(shí)時將觀測數(shù)據(jù)及質(zhì)量控制碼上傳至國家級數(shù)據(jù)庫。省級、國家級通過CTS2.0將質(zhì)控后的數(shù)據(jù)實(shí)時處理入庫,并進(jìn)行分析處理、產(chǎn)品加工等,供本節(jié)點(diǎn)業(yè)務(wù)應(yīng)用。

(2)狀態(tài)數(shù)據(jù)傳輸。各個臺站按照要求實(shí)時自動上傳自動觀測設(shè)備的運(yùn)行狀態(tài)和設(shè)備信息至省級、國家級天擎存儲,并提供應(yīng)用服務(wù)。

3 設(shè)計與實(shí)現(xiàn)

3.1 技術(shù)路線

采用BUFR格式傳輸后,數(shù)據(jù)量呈指數(shù)級增長,影響了數(shù)據(jù)傳輸?shù)姆€(wěn)定性,在主、客觀因素的影響下,臺站經(jīng)常出現(xiàn)數(shù)據(jù)異常、傳輸異常、數(shù)據(jù)丟失導(dǎo)致數(shù)據(jù)上傳省級數(shù)據(jù)庫時出現(xiàn)空白、缺報、遲報等現(xiàn)象。省級服務(wù)器異常,導(dǎo)致數(shù)據(jù)不能及時存儲,而ISOS系統(tǒng)無法重新生成已發(fā)送的報文,嚴(yán)重影響了數(shù)據(jù)傳輸?shù)募皶r率和可用率。為解決上述問題,通過解析BUFR數(shù)據(jù)格式、臺站上傳數(shù)據(jù)流程及原理，分析數(shù)據(jù)丟失原因，從業(yè)務(wù)實(shí)際出發(fā)設(shè)計了地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件,技術(shù)路線流程圖如圖1所示。

圖1 技術(shù)路線流程圖

該軟件在氣象臺站觀測業(yè)務(wù)機(jī)上安裝,對臺站端到省級服務(wù)器端的數(shù)據(jù)傳輸實(shí)現(xiàn)實(shí)時監(jiān)控,逐時對數(shù)據(jù)進(jìn)行一致性、完整性、異常性、邏輯性4個方面檢查,發(fā)現(xiàn)數(shù)據(jù)異常、缺測、空白等問題。利用BUFR數(shù)據(jù)特點(diǎn)、傳輸模塊進(jìn)行自動補(bǔ)傳、補(bǔ)入數(shù)據(jù)庫等操作處理,實(shí)現(xiàn)數(shù)據(jù)及時有效穩(wěn)定的傳輸、減少數(shù)據(jù)的丟失。

3.1.1 數(shù)據(jù)一致性處理

軟件在整點(diǎn)后5 min,對省級數(shù)據(jù)庫端和臺站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,檢查整點(diǎn)數(shù)據(jù)、60 min數(shù)據(jù)、BUFR報文中數(shù)據(jù)一致性,若不一致,以臺站端BUFR報文為準(zhǔn),修改整點(diǎn)和60 min數(shù)據(jù)。

3.1.2 數(shù)據(jù)完整性處理

軟件在當(dāng)前時次50 min時,掃描省級數(shù)據(jù)庫端,生成缺測、空白時次的站號及具體時間文件,同時掃描BUFR報文存放目錄。

若未找到對應(yīng)的缺測時間段的BURF報文,則判斷為未生成報文,自動獲取從采集器下載的數(shù)據(jù),并傳輸。

若找到對應(yīng)的缺測時間段的BURF報文,則判斷為未傳輸報文,進(jìn)行自動補(bǔ)傳。

若找到對應(yīng)的缺測時間段的BURF報文,對BURF報文進(jìn)行解析,發(fā)現(xiàn)全要素缺測,重新從采集器獲取報文后再進(jìn)行解析,查看是否為全要素缺測,若全為缺測,則判斷該時次采集器有故障,報文缺測。若BURF報文有數(shù)據(jù),則重新上傳。

若找到對應(yīng)的缺測時間段的BURF報文,對BURF報文進(jìn)行解析,發(fā)現(xiàn)某要素缺測或多個要素缺測,重新從采集器獲取文件再進(jìn)行解析,查看是否為該要素缺測,若仍缺測,則按照地面氣象觀測規(guī)范[17]進(jìn)行處理,若BURF報文有數(shù)據(jù),則直接獲取,寫入數(shù)據(jù)庫。

3.1.3 數(shù)據(jù)異常性處理

軟件在整點(diǎn)后5 min,對上傳數(shù)據(jù)庫端和臺站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,查看數(shù)據(jù)是否有異常,如雪深異常、地溫異常等。

3.1.4 數(shù)據(jù)邏輯性處理

軟件在整點(diǎn)后5 min,對上傳數(shù)據(jù)庫端和臺站BUFR當(dāng)前整點(diǎn)數(shù)據(jù)進(jìn)行掃描,查看要素之間的邏輯性,如降水量與天氣現(xiàn)象有無矛盾等。

3.2 程序?qū)崿F(xiàn)

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件采用PYTHON語言設(shè)計開發(fā),共2個模塊,一個是參數(shù)模塊,需配置臺站級數(shù)據(jù)庫文件目錄即AWZ*.db所在目錄(例如:E:ISOSdataset浙江58457DataBase),BUFR備份文件傳輸目錄(例如:D:ISOSinSendsendbak)以及該站站號,設(shè)置定時觸發(fā)該軟件。另一個是查看模塊,通過設(shè)置需查看時段,可以檢查是否補(bǔ)傳成功,查詢補(bǔ)傳日志或手動上傳需補(bǔ)發(fā)報文。圖2為地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件。

圖2 地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件

通過對國內(nèi)地面氣象小時、分鐘觀測要素BUFR報文進(jìn)行解析，實(shí)現(xiàn)地面氣象要素二進(jìn)制報文可視化,便于臺站觀測員對BUFR報文內(nèi)容進(jìn)行檢查。該軟件利用MDOS系統(tǒng)存儲和ISOS系統(tǒng)采集和傳輸模塊,建立臺站與省級逐時相互監(jiān)控驗(yàn)證機(jī)制,有效做到臺站與省級數(shù)據(jù)庫中數(shù)據(jù)的一致性和完整性,同時設(shè)計了人工檢查和人工干預(yù)補(bǔ)傳功能,以便觀測員進(jìn)行補(bǔ)查、人工補(bǔ)傳操作。

3.3 試驗(yàn)與分析

MDOS系統(tǒng)“數(shù)據(jù)查詢與質(zhì)疑”頁面因主、客觀原因頻繁出現(xiàn)數(shù)據(jù)空白、丟失現(xiàn)象,導(dǎo)致省級數(shù)據(jù)庫中數(shù)據(jù)缺測、不完整的情況,以杭州氣象站(58457)為例,觀測時間為2021年3月15日,觀測要素為氣溫,其中15時14分至15時25分(北京時)分鐘數(shù)據(jù)為空白,如圖3所示。

圖3 杭州站MDOS系統(tǒng)頁面出現(xiàn)空白數(shù)據(jù)

軟件界面直接顯示“補(bǔ)傳數(shù)據(jù)開始時間”和“補(bǔ)傳數(shù)據(jù)結(jié)束時間”,對臺站和省級數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行4個方面檢查后,發(fā)現(xiàn)數(shù)據(jù)異常,進(jìn)行自動補(bǔ)傳。觀測員人工在點(diǎn)擊“查看MDOS分鐘數(shù)據(jù)”選項(xiàng)時,軟件對省級數(shù)據(jù)庫進(jìn)行重新掃描查看數(shù)據(jù)是否完整。在查看分鐘數(shù)據(jù)顯示界面中,補(bǔ)傳BUFR分鐘數(shù)據(jù)有“補(bǔ)傳”標(biāo)記,顯示所補(bǔ)傳觀測要素,以便臺站觀測員確認(rèn)補(bǔ)傳數(shù)據(jù)量及要素是否完整如圖4所示,第一行標(biāo)記顯示被查詢的站號、時間段、要素的名稱,其中第一列標(biāo)記為“原有”的為MDOS正常上傳的報文,標(biāo)記為“補(bǔ)發(fā)”的為自動補(bǔ)傳的報文。因臺站數(shù)較多,若查詢的操作較多,可能導(dǎo)致查詢過長,故軟件設(shè)置查看該站分鐘補(bǔ)傳日志最近補(bǔ)傳的300條記錄。

圖4 15時14分至25分(北京時)杭州站分鐘補(bǔ)傳數(shù)據(jù)

所有補(bǔ)傳數(shù)據(jù)時間與站點(diǎn)信息將記錄在補(bǔ)傳數(shù)據(jù)庫中,以便省級、該站查看分鐘補(bǔ)傳日志,例如導(dǎo)出示例杭州氣象站,區(qū)站號為58457,觀測時間(世界時)為2021年7月28日04時34—46分補(bǔ)傳日志記錄,如表3所示。

表3 數(shù)據(jù)庫記錄中補(bǔ)傳時間與補(bǔ)傳記錄

目前該軟件已推廣至全省75個國家自動氣象站,統(tǒng)計2021年11月10個國家自動氣象站可用率(圖5)可知，使用自動補(bǔ)傳軟件后,11月的數(shù)據(jù)可用率有明顯的提高,其中臨安和建德國家氣象站在11月利用此軟件補(bǔ)傳后,可用率達(dá)到了100%,自動站儀器維護(hù)、維修等客觀原因?qū)е虏杉鞫瞬荒苓M(jìn)行數(shù)據(jù)采集,則該時段數(shù)據(jù)無法獲取,仍為缺測,如長興國家氣象站在11月3日09時36分至10時02分更換溫度傳感器,其期間分鐘、小時數(shù)據(jù)缺測。

圖5 11月10個國家自動氣象站可用率

4 結(jié) 語

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件,能夠有效地解決浙江省內(nèi)臺站端故障、省級服務(wù)器和數(shù)據(jù)庫異?；驍?shù)據(jù)傳輸異常、采集器仍有“數(shù)據(jù)丟失”等問題,同時彌補(bǔ)了觀測端監(jiān)控手段的不足。該軟件方便臺站觀測員對實(shí)時數(shù)據(jù)傳輸進(jìn)行監(jiān)控,并逐時對省級數(shù)據(jù)庫進(jìn)行掃描，完成了臺站端到省級數(shù)據(jù)端自動判斷、自動補(bǔ)傳的功能,提高了臺站應(yīng)急處置時間和臺站地面業(yè)務(wù)的質(zhì)量,減少了缺報、漏報的次數(shù),同時保證了臺站級與省級數(shù)據(jù)庫數(shù)據(jù)的一致性,提高了數(shù)據(jù)的可用率和完整性,為該節(jié)點(diǎn)其他氣象產(chǎn)品提供更完整的數(shù)據(jù)支撐。

地面氣象站BUFR數(shù)據(jù)監(jiān)控自動補(bǔ)傳軟件不能對采集端設(shè)備進(jìn)行監(jiān)控。自國內(nèi)地面氣象觀測自動化改革以來,臺站觀測業(yè)務(wù)逐漸由觀測轉(zhuǎn)為儀器維護(hù)、維修和數(shù)據(jù)分析。今后將進(jìn)一步分析ISOS系統(tǒng)采集模塊,實(shí)現(xiàn)對臺站采集器各個要素設(shè)備的工作狀態(tài)的實(shí)時監(jiān)控功能,完善軟件功能。