寧夏氣象資料自動歸檔管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

徐曉慶,張 智,卓鳳艷,王添男

(1.中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川 750002;2.寧夏氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川 750002)

0 引言

氣象資料是天氣氣候預(yù)測和規(guī)律研究的重要依據(jù)。隨著我國氣象探測設(shè)備現(xiàn)代化程度的不斷提高,氣象探測資料的種類和數(shù)量快速增長,信息化氣象資料的存儲及歸檔工作也越來越受到各級氣象部門的重視。沈文海等[1]設(shè)計(jì)了國家級氣象資料存儲檢索系統(tǒng),實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化氣象資料的收集、存儲、檢索和備份等多項(xiàng)功能;王恕等[2]、閆蕎蕎等[3]設(shè)計(jì)了省級氣象資料歸檔管理檢索系統(tǒng),以磁盤陣列、移動硬盤和DVD光盤為主要存儲介質(zhì),實(shí)現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化氣象資料的自動存儲與歸檔;滕水昌等[4]設(shè)計(jì)了市級地面資料數(shù)據(jù)管理系統(tǒng),實(shí)現(xiàn)了地面結(jié)構(gòu)化氣象資料的存儲與管理;虎文珺等[5]利用VB編程實(shí)現(xiàn)了天氣雷達(dá)觀測數(shù)據(jù)的自動歸檔,免除了人工整理、壓縮、存儲各類雷達(dá)觀測資料的繁重低效工作;張恩紅等[6]建立了氣象數(shù)據(jù)光盤歸檔系統(tǒng),以藍(lán)光光盤為存儲介質(zhì),實(shí)現(xiàn)了省級氣象資料的不定時(shí)歸檔。

受存儲條件的限制,早期寧夏實(shí)時(shí)氣象探測資料主要存儲在各類服務(wù)器中,其中非結(jié)構(gòu)化氣象資料只存儲3—6個(gè)月。寧夏氣象檔案館僅能歸檔存儲各類月、年報(bào)表等結(jié)構(gòu)化數(shù)據(jù)文件,無法考慮實(shí)時(shí)報(bào)文等結(jié)構(gòu)化、雷達(dá)等非結(jié)構(gòu)化氣象資料的歸檔存儲問題。2020年寧夏氣象信息中心建成1PB容量的存儲服務(wù)器(簡稱NAS),為寧夏非結(jié)構(gòu)化氣象資料的歸檔提供了存儲條件。

本文在分析寧夏氣象資料歸檔流程的基礎(chǔ)上,設(shè)計(jì)開發(fā)了“寧夏氣象資料自動歸檔管理系統(tǒng)”(簡稱“歸檔系統(tǒng)”),能夠?qū)崿F(xiàn)氣象資料自動歸檔、網(wǎng)頁查詢下載、歸檔率統(tǒng)計(jì)等功能,提高了氣象資料業(yè)務(wù)的工作效率。

1 歸檔資料范圍

按照《氣象資料分類與編碼》[7]中氣象資料分類規(guī)定,歸檔系統(tǒng)將寧夏行政區(qū)域內(nèi)地面、高空、輻射、農(nóng)氣、大氣成分、雷達(dá)等氣象觀測數(shù)據(jù)列入自動歸檔范圍;經(jīng)征詢省級天氣氣候業(yè)務(wù)單位需求,選定天氣預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)所需基礎(chǔ)數(shù)值模式產(chǎn)品、天氣圖等資料也列入自動歸檔范圍,共計(jì)7個(gè)大類、22種(表1)。

表1 自動歸檔氣象資料種類表Tab.1 Automatic archiving of meteorological data type table

2 系統(tǒng)設(shè)計(jì)

2.1 總體架構(gòu)

歸檔系統(tǒng)以數(shù)據(jù)收發(fā)業(yè)務(wù)監(jiān)控系統(tǒng)(簡稱CTS)和氣象信息綜合分析處理系統(tǒng)(簡稱MICAPS)為數(shù)據(jù)源,以虛擬化服務(wù)器為硬件支撐,采用B /S體系架構(gòu),Web網(wǎng)站采用Windows+IIS+ASP.NET架構(gòu),資料歸檔程序采用Linux+Shell的結(jié)構(gòu),數(shù)據(jù)庫采用Linux+MySQL數(shù)據(jù)庫語言,服務(wù)器端包括Web 服務(wù)器、歸檔服務(wù)器和數(shù)據(jù)庫服務(wù)器,客戶端基于Web可視化技術(shù)采用瀏覽器方式實(shí)現(xiàn)歸檔氣象資料查詢下載和資料歸檔率統(tǒng)計(jì)結(jié)果展示[8,9]。

歸檔系統(tǒng)總體架構(gòu)在數(shù)據(jù)資源標(biāo)準(zhǔn)化體系的規(guī)范下和基礎(chǔ)設(shè)施的支持下設(shè)計(jì),采用3層體系架構(gòu):服務(wù)層、處理層和數(shù)據(jù)層[10,11](圖1)。其中服務(wù)層為標(biāo)準(zhǔn)的Web 客戶端,負(fù)責(zé)與用戶交互,并通過Bootstrap表格方式實(shí)現(xiàn)各類歸檔氣象資料的查詢展示;處理層通過定時(shí)任務(wù)、節(jié)目表實(shí)現(xiàn)氣象資料的自動歸檔和日志信息入本地?cái)?shù)據(jù)庫;數(shù)據(jù)層是數(shù)據(jù)的來源,包括CTS和MICAPS。

圖1 總體架構(gòu)圖Fig.1 Overall structure picture

2.2 功能設(shè)計(jì)

歸檔系統(tǒng)功能設(shè)計(jì)主要包括處理層的氣象資料自動歸檔和服務(wù)層的歸檔氣象資料查詢2大模塊,其中氣象資料自動歸檔模塊包括實(shí)時(shí)氣象資料歸檔、預(yù)報(bào)業(yè)務(wù)資料歸檔、歸檔資料日志入庫、歸檔資料日志信息統(tǒng)計(jì)等4個(gè)子模塊;歸檔氣象資料查詢模塊包括歸檔氣象資料查詢下載、資料歸檔率統(tǒng)計(jì)等2個(gè)子模塊。

2.2.1 自動歸檔模塊設(shè)計(jì) 自動歸檔策略(圖2):實(shí)時(shí)氣象資料的歸檔程序根據(jù)配置信息每日定時(shí)從CTS下載前1 d的氣象資料存入NAS盤陣;預(yù)報(bào)業(yè)務(wù)資料的歸檔程序根據(jù)配置信息每日定時(shí)從MICAPS數(shù)據(jù)庫下載前1 d的預(yù)報(bào)資料存入NAS盤陣;歸檔資料日志入庫程序遍歷NAS盤陣的歸檔目錄,并將歸檔信息存入歸檔文件日志表。歸檔資料日志信息統(tǒng)計(jì)程序每日定時(shí)生成當(dāng)日節(jié)目表,根據(jù)歸檔文件日志表統(tǒng)計(jì)前1 d歸檔資料入庫信息,并存入歸檔文件信息統(tǒng)計(jì)表。具體功能設(shè)計(jì)如下:

圖2 歸檔策略Fig.2 Archive policy

(1)實(shí)時(shí)氣象資料歸檔。歸檔系統(tǒng)從CTS系統(tǒng)獲取各類實(shí)時(shí)氣象資料。CTS系統(tǒng)具備資料推送功能,但推送失敗并達(dá)到一定程度會影響業(yè)務(wù)運(yùn)行。為減少對CTS系統(tǒng)的影響,歸檔系統(tǒng)采用Shell腳本編寫自動歸檔程序,定時(shí)從CTS系統(tǒng)通過FTP方式采集氣象資料。自動歸檔程序部署在Linux系統(tǒng)中,該計(jì)算機(jī)掛載氣象資料歸檔存儲的NAS盤陣,通過基于Linux計(jì)劃任務(wù)(crontab)實(shí)現(xiàn)數(shù)據(jù)的自動下載。

(2)預(yù)報(bào)業(yè)務(wù)資料歸檔。用于MICAPS[12]產(chǎn)品數(shù)據(jù)文件的冷備份業(yè)務(wù),也可用于近實(shí)時(shí)預(yù)報(bào)業(yè)務(wù)資料的備份業(yè)務(wù)。預(yù)報(bào)業(yè)務(wù)資料歸檔程序部署在Windows計(jì)算機(jī)中。該計(jì)算機(jī)掛載氣象資料歸檔存儲的NAS盤陣,采用每日定時(shí)備份方式從MICAPS分布式數(shù)據(jù)庫系統(tǒng)中獲取歐洲中心模式產(chǎn)品(ECMWF)、地面天氣圖和高空天氣圖數(shù)據(jù)存儲至NAS盤陣。

(3)歸檔資料日志入庫。用于實(shí)現(xiàn)從歸檔氣象資料存儲NAS盤陣中列出歸檔資料,生成歸檔文件日志并寫入歸檔文件日志表。歸檔氣象資料日志入庫程序遍歷歸檔氣象資料存儲NAS盤陣,列出已歸檔文件,并根據(jù)歸檔資料配置信息表獲取歸檔文件日志信息,寫入歸檔文件日志表。歸檔氣象資料日志入庫程序采用Shell腳本編寫,部署在Linux系統(tǒng)中。該計(jì)算機(jī)掛載氣象資料歸檔存儲的NAS盤陣,通過計(jì)劃任務(wù)(crontab)實(shí)現(xiàn)每日定時(shí)歸檔資料日志入庫。

(4)歸檔資料日志信息統(tǒng)計(jì)。用于實(shí)現(xiàn)生成每日應(yīng)歸檔氣象資料數(shù)量,統(tǒng)計(jì)每日實(shí)際歸檔氣象資料數(shù)量。歸檔日志信息統(tǒng)計(jì)程序根據(jù)傳輸監(jiān)控系統(tǒng)監(jiān)控節(jié)目表或本地配置信息生成每日應(yīng)歸檔氣象資料節(jié)目表,并從歸檔文件日志表中統(tǒng)計(jì)實(shí)際歸檔氣象資料數(shù)量,寫入歸檔文件信息統(tǒng)計(jì)表。

2.2.2 查詢下載模塊設(shè)計(jì) 目前寧夏氣象部門結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)云平臺入庫后可長時(shí)間存儲并提供數(shù)據(jù)服務(wù),而非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)云平臺一般存儲3～6個(gè)月。因此歸檔系統(tǒng)的歸檔氣象資料查詢下載只針對非結(jié)構(gòu)化數(shù)據(jù),主要包括模式產(chǎn)品(ECMWF、WRF)、雷達(dá)(全仰角、逐仰角、PUP產(chǎn)品)和天氣圖(地面、高空)等3大類。模式預(yù)報(bào)和天氣圖資料按時(shí)次查詢,雷達(dá)資料按時(shí)次、站號查詢,查詢后以表格形式顯示,并可從遠(yuǎn)程服務(wù)器實(shí)現(xiàn)歸檔氣象資料下載。

資料查詢的設(shè)計(jì):選擇查詢條件后,利用ajax方法將查詢條件傳入后臺,從MySQL數(shù)據(jù)庫歸檔文件日志表中查詢資料的文件名、路徑、文件大小、觀測時(shí)間等信息,通過json串將查詢的數(shù)據(jù)傳入網(wǎng)頁,并通過Bootstrap表格的形式展示。

資料下載的設(shè)計(jì):根據(jù)從MySQL數(shù)據(jù)庫歸檔文件日志表中查詢資料的文件名、路徑,通過ftp方式從遠(yuǎn)程服務(wù)器上逐個(gè)下載文件,判斷遠(yuǎn)程服務(wù)器上是否存在下載的文件,若存在則將文件依次下載至程序所在共享目錄share下,若不存在則繼續(xù)循環(huán)判斷下個(gè)文件是否存在。判斷下載的資料是否為ECMWF資料,若是則統(tǒng)計(jì)下載的文件大小sum值,判斷sum值是否大于2G,若是對下載的文件進(jìn)行打包壓縮;若下載的資料非ECMWF資料,則直接打包壓縮。將下載的文件名和路徑組成json串傳回至前臺,前臺根據(jù)文件名和路徑從共享目錄下載資料。下載歸檔資料流程圖見圖3。

圖3 下載歸檔資料流程圖Fig.3 Download archived data flow chart

資料歸檔率統(tǒng)計(jì)。根據(jù)實(shí)際歸檔業(yè)務(wù)需求,實(shí)現(xiàn)7大類、22種歸檔氣象資料按不同時(shí)間段進(jìn)行歸檔率統(tǒng)計(jì)。查詢條件中的資料類型,資料種類,市、縣、站信息均來自MySQL數(shù)據(jù)庫歸檔文件信息統(tǒng)計(jì)表,根據(jù)該數(shù)據(jù)庫的表信息的變動可以自動變動查詢條件,并以表格的形式顯示歸檔率統(tǒng)計(jì)情況。

3 關(guān)鍵技術(shù)

3.1 MySQL數(shù)據(jù)庫技術(shù)

MySQL作為一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng),所使用的 SQL 語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言,支持多個(gè)開發(fā)語言,特別是開放源碼,被許多開發(fā)選擇[13,14]。本歸檔系統(tǒng)亦選用MySQL作為數(shù)據(jù)庫管理軟件。

歸檔系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)表包括:歸檔文件配置信息表、歸檔文件日志表、歸檔文件信息統(tǒng)計(jì)表、站號與行政編碼信息對照表。其中歸檔文件配置信息表(ARCHIVE_TYPE_INFO)用于存儲歸檔系統(tǒng)配置信息,包括資料類型、是否下載、下載路徑、歸檔路徑等;歸檔文件日志表(ARCHIVE_FILE_LOG_YYYY)用于存儲歸檔文件信息,包括文件名、文件大小、文件路徑等;歸檔文件信息統(tǒng)計(jì)表(ARCHIVE_FILE_STAT)用于存儲歸檔文件統(tǒng)計(jì)信息,包括資料類型、應(yīng)歸檔文件/站點(diǎn)數(shù)、實(shí)際歸檔文件/站點(diǎn)數(shù)等;站號與行政編碼信息對照表(ARCHIVE_FILE_PROGRAM)用于存儲歸檔系統(tǒng)站號、行政編碼對應(yīng)關(guān)系,包括資料類型、應(yīng)歸檔文件/站點(diǎn)數(shù)、實(shí)際歸檔文件/站點(diǎn)數(shù)等。

3.2 Shell腳本技術(shù)

Shell是一個(gè)命令行解釋器,采用C語言編寫,遵循一定的語法將輸入命令加以解釋并傳給系統(tǒng),是用戶使用Linux的橋梁。Linux服務(wù)器部署Shell腳本,結(jié)合crontab可實(shí)現(xiàn)腳本的定時(shí)高效執(zhí)行,提高了運(yùn)維工作效率[15]。

歸檔系統(tǒng)實(shí)時(shí)氣象資料歸檔程序和歸檔資料日志入庫程序均采用Shell腳本編寫,通過crontab定時(shí)執(zhí)行腳本,實(shí)現(xiàn)資料定時(shí)下載和歸檔資料寫入數(shù)據(jù)庫。

3.3 NAS網(wǎng)絡(luò)存儲技術(shù)

NAS全稱為Network Attached Storage(網(wǎng)絡(luò)附屬存儲),是通過網(wǎng)絡(luò)訪問一臺存儲服務(wù)器,其最大的特點(diǎn)是存儲空間共享,并可根據(jù)存儲容量需求進(jìn)行擴(kuò)展。

2020年寧夏氣象信息中心建成1PB容量的NAS存儲,目前NAS資料存儲情況(表2),還有約910 TB空間可使用。歸檔氣象資料存儲空間需求大,不僅有結(jié)構(gòu)化資料,還有非結(jié)構(gòu)化資料,如模式預(yù)報(bào)1 a存儲量約10 TB。基于NAS的大容量和存儲空間共享的優(yōu)點(diǎn),歸檔系統(tǒng)選用NAS作為存儲設(shè)備,并可隨時(shí)擴(kuò)展歸檔存儲空間。

表2 NAS資料存儲情況表Tab.2 NAS data storage table

3.4 基于Bootstrap氣象數(shù)據(jù)可視化技術(shù)

Bootstrap是基于HTML、CSS、JavaScript 開發(fā)的前端開發(fā)框架,提供了窗體、字體排印、導(dǎo)航、按鈕等其它組件,使得 Web 開發(fā)更加快捷[16]。

基于Bootstrap功能,歸檔系統(tǒng)采用基于Bootstrap的B/S開發(fā)技術(shù),通過瀏覽器實(shí)現(xiàn)基于應(yīng)用層 http 協(xié)議提供的 Web 服務(wù),用戶通過瀏覽器即可查看Bootstrap表格形式的歸檔氣象資料。

4 應(yīng)用實(shí)現(xiàn)

歸檔系統(tǒng)于2022年1月開始進(jìn)行業(yè)務(wù)試運(yùn)行,各模塊均運(yùn)行正常。

4.1 自動歸檔

選取2022年2—4月,統(tǒng)計(jì)自動歸檔程序歸檔氣象資料的運(yùn)行情況(表3)。氣象資料自動歸檔約800萬個(gè)數(shù)據(jù)文件、2.9 TB存儲量,其中雷達(dá)資料數(shù)量最多約580萬個(gè),模式預(yù)報(bào)資料存儲量最大約2.8 TB。只有地面資料和輻射資料的歸檔率未達(dá)到100%,其中地面資料是因逐小時(shí)資料中有個(gè)別站上傳報(bào)文缺報(bào)導(dǎo)致,輻射資料是因1個(gè)站軟件故障一直未上傳報(bào)文導(dǎo)致。從歸檔率整體情況看,自動歸檔模塊能夠及時(shí)、完整地自動歸檔氣象資料。

4.2 查詢下載

以前氣象資料一般利用FTP從服務(wù)器共享目錄內(nèi)獲取,極大地限制了氣象資料的共享性。歸檔系統(tǒng)基于C#、jQuery、Bootstrap和json等技術(shù)[17-19]開發(fā)歸檔氣象資料查詢下載頁面,通過瀏覽器即可在線查詢下載歸檔氣象資料。

根據(jù)界面選定的查詢條件,可將氣象資料查詢、資料歸檔率統(tǒng)計(jì)以Bootstrap表格格式顯示,使用表格右上角的搜索框可以快速查找用戶需要的資料。如需下載,可自動將查詢到的歸檔氣象資料下載到本地谷歌瀏覽器的默認(rèn)路徑。

5 結(jié)論

根據(jù)寧夏現(xiàn)有氣象探測資料的種類和天氣預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)所需基礎(chǔ)預(yù)報(bào)資料,制定符合氣象行業(yè)標(biāo)準(zhǔn)和省級氣象資料存儲管理規(guī)定的自動歸檔策略,設(shè)計(jì)開發(fā)“寧夏氣象資料自動歸檔管理系統(tǒng)”,實(shí)現(xiàn)了寧夏氣象資料自動歸檔、Web查詢下載和自動歸檔資料統(tǒng)計(jì)等功能,不僅為天氣預(yù)報(bào)業(yè)務(wù)提供基礎(chǔ)預(yù)報(bào)資料,還可為各級業(yè)務(wù)管理部門了解掌握屬地氣象探測資料的歸檔情況提供查詢工具。同時(shí)系統(tǒng)具有可擴(kuò)展性和可維護(hù)性,能適應(yīng)今后新增氣象資料的自動歸檔業(yè)務(wù)需求。