內(nèi)蒙古自治區(qū)氣象數(shù)據(jù)歸檔系統(tǒng)的設(shè)計與實現(xiàn)

中圖分類號：P409；TP311.52 文獻(xiàn)標(biāo)識碼：A

2021年，中辦國辦印發(fā)《“十四五”全國檔案事業(yè)發(fā)展規(guī)劃》，在規(guī)劃中提出深入推進(jìn)檔案資源體系建設(shè)，全面記錄經(jīng)濟(jì)社會發(fā)展進(jìn)程，加快檔案資源數(shù)字轉(zhuǎn)型，加強國家檔案數(shù)字資源規(guī)劃管理，逐步建立以檔案數(shù)字資源為主導(dǎo)的檔案資源體系。2022年，中華人民共和國國務(wù)院印發(fā)《氣象高質(zhì)量發(fā)展綱要（2022一2035年）的通知》，提出加強氣象基礎(chǔ)能力建設(shè)，打造氣象信息支撐系統(tǒng)。內(nèi)蒙古自治區(qū)地處全國天氣系統(tǒng)上游，氣候類型復(fù)雜多樣，干旱、大風(fēng)（沙塵暴）、寒潮、暴雨、暴雪以及冰雹等氣象災(zāi)害多發(fā)、頻發(fā)。同時，在全球變暖背景下，極端天氣氣候事件明顯增多、強度顯著增強。從2002年開始，內(nèi)蒙古自治區(qū)氣象檔案館在中國氣象局《預(yù)測減災(zāi)業(yè)務(wù)服務(wù)基本建設(shè)項目》《氣象監(jiān)測與災(zāi)害預(yù)警工程》《氣候變化應(yīng)對決策支撐系統(tǒng)工程》《山洪地質(zhì)災(zāi)害防治氣象保障工程》等項目支持和自籌經(jīng)費支撐下，持續(xù)開展氣象原始記錄檔案數(shù)字化和提取工作。截至目前，館藏高空、地面、農(nóng)業(yè)氣象、酸雨、輻射以及凍土等原始記錄觀測記錄檔案的數(shù)字化掃描約958萬頁，提取數(shù)字化成果約249萬頁。2020年4月1日內(nèi)蒙古自治區(qū)119個地面氣象觀測實現(xiàn)全面自動化，觀測數(shù)據(jù)實現(xiàn)秒級傳輸，數(shù)據(jù)量日益增長，這些氣象數(shù)據(jù)為重大天氣過程的復(fù)盤分析、總結(jié)災(zāi)害天氣發(fā)生發(fā)展機理和規(guī)律、提升重大氣象災(zāi)害復(fù)盤總結(jié)和科學(xué)分析水平提供基礎(chǔ)支撐。如何將這些寶貴的氣象數(shù)據(jù)便捷、高效、安全地存儲和利用，是困擾氣象工作者的難題。一直以來氣象部門在探索氣象數(shù)據(jù)歸檔方面，先后歷經(jīng)國家級氣象資料存儲檢索系統(tǒng)歸檔子系統(tǒng)、國家級綜合氣象信息共享系統(tǒng)歸檔子系統(tǒng)以及氣象大數(shù)據(jù)云平臺，但這些平臺的數(shù)據(jù)主要存儲在各類服務(wù)器中，未能有效解決氣象數(shù)據(jù)在電子檔案中的安全存儲問題。

一、系統(tǒng)歸檔數(shù)據(jù)范圍

內(nèi)蒙古自治區(qū)氣象檔案館現(xiàn)存1936年至今各類氣象原始記錄檔案，以及各觀測儀器自動化以來的各類氣象數(shù)據(jù)，包含上行數(shù)據(jù)和下行數(shù)據(jù)以及部門共享數(shù)據(jù)。截至2023年底，內(nèi)蒙古自治區(qū)氣象大數(shù)據(jù)云平臺匯集存儲數(shù)據(jù)產(chǎn)品共1300余類，數(shù)據(jù)存儲量達(dá)6.76PB。按照《QXT223-2013氣象檔案分類與編碼》和業(yè)務(wù)需求，本次針對內(nèi)蒙古地區(qū)氣象上行地面氣象資料、高空氣象資料、氣象輻射資料、農(nóng)業(yè)氣象與生態(tài)氣象資料、大氣成分資料、雷達(dá)氣象資料和氣象服務(wù)產(chǎn)品七大類、91小類觀測數(shù)據(jù)開展系統(tǒng)歸檔工作。

二、系統(tǒng)整體架構(gòu)設(shè)計與實現(xiàn)

1.系統(tǒng)業(yè)務(wù)整體流程設(shè)計

基于氣象檔案業(yè)務(wù)系統(tǒng)的技術(shù)架構(gòu)與業(yè)務(wù)架構(gòu)之上進(jìn)行構(gòu)建，對接“天擎”通信系統(tǒng)或其他省級通信系統(tǒng)，歸檔系統(tǒng)業(yè)務(wù)流程按照氣象資料收集、整理、歸檔存儲和檔案利用依次展開。實現(xiàn)對內(nèi)蒙古地區(qū)各類觀測記錄數(shù)據(jù)的自動收集、整理與歸檔工作。實現(xiàn)歸檔氣象數(shù)據(jù)查詢下載、資料歸檔率統(tǒng)計結(jié)果等展示以及氣象檔案的自動歸檔、近線、離線存儲和長期保存。

2.總體應(yīng)用框架設(shè)計

項目以大數(shù)據(jù)云平臺和省級其他通信系統(tǒng)為數(shù)據(jù)源，以虛擬化服務(wù)器為硬件支撐，采用B/S體系架構(gòu)，Web網(wǎng)站采用Windows + jQuery+Vue+LayUI，光磁設(shè)備對接采用s3對象傳輸協(xié)議和rest技術(shù)，資料歸檔程序采用Linux + SpringCloud架構(gòu)，數(shù)據(jù)庫采用Linux + 國產(chǎn)虛谷數(shù)據(jù)庫，服務(wù)器端包括Web服務(wù)器、歸檔服務(wù)器和數(shù)據(jù)庫服務(wù)器，客戶端基于Web可視化技術(shù)，采用瀏覽器方式實現(xiàn)歸檔氣象資料查詢下載、光盤刻錄以及資料歸檔率統(tǒng)計結(jié)果展示等內(nèi)容。歸檔系統(tǒng)的總體應(yīng)用框架是在數(shù)據(jù)資源標(biāo)準(zhǔn)化體系的規(guī)范和基礎(chǔ)設(shè)備的支撐下設(shè)計實現(xiàn)的。系統(tǒng)采用5層體系架構(gòu)：數(shù)據(jù)接入層、數(shù)據(jù)存儲層、作業(yè)調(diào)度層、管理層和業(yè)務(wù)應(yīng)用層。

數(shù)據(jù)接入層是系統(tǒng)數(shù)據(jù)的來源，對接省級“天擎”和省級其他通信系統(tǒng)，省級CTS或者其他通信系統(tǒng)將待歸檔的氣象觀測數(shù)據(jù)資料，按照業(yè)務(wù)規(guī)則推送到文件存儲服務(wù)器上，如NAS存儲。省級自動歸檔及長期保存子系統(tǒng)調(diào)度采集歸檔任務(wù)，周期性地從文件服務(wù)器上收集待歸檔的氣象觀測數(shù)據(jù)。

數(shù)據(jù)存儲層包含數(shù)據(jù)庫服務(wù)器、文件服務(wù)器和存儲設(shè)備。其中，數(shù)據(jù)庫服務(wù)器負(fù)責(zé)保存歸檔元數(shù)據(jù)、歸檔管理運行數(shù)據(jù)等。文件服務(wù)器負(fù)責(zé)臨時存儲待歸檔氣象觀測數(shù)據(jù)、歸檔整理文件以及打包存儲文件，設(shè)置定時清理任務(wù)，周期性清理文件等。存儲設(shè)備包括存儲載體及存儲載體的裝具設(shè)備和讀取設(shè)備等。

作業(yè)調(diào)度層包括采集歸檔作業(yè)調(diào)度、存儲刻錄作業(yè)調(diào)度以及定時清理作業(yè)調(diào)度，通過作業(yè)調(diào)度任務(wù)的執(zhí)行，完成自動歸檔及長期保存的全流程批量數(shù)據(jù)處理。管理層包括歸檔元數(shù)據(jù)管理、電子檔案歸檔統(tǒng)計、策略管理、任務(wù)調(diào)度管理以及日志管理等，由省級檔案管理員負(fù)責(zé)省級歸檔全流程的業(yè)務(wù)管控。

業(yè)務(wù)應(yīng)用層包含在氣象檔案業(yè)務(wù)系統(tǒng)，提供歸檔數(shù)據(jù)檢索、電子檔案借閱在線利用功能。

3.光磁一體機及藍(lán)光光盤庫設(shè)計

光磁一體機及藍(lán)光光盤庫集成在氣象檔案自動歸檔系統(tǒng)中，基于光磁一體機、光盤庫及離線庫設(shè)備集群化管理，構(gòu)建氣象電子檔案在線、近線以及離線三級存儲管理模式，實現(xiàn)氣象電子檔案自動歸檔及長期安全保存。

服務(wù)器分為管理區(qū)域、任務(wù)節(jié)點區(qū)域、數(shù)據(jù)庫區(qū)域、日志區(qū)域、光存儲區(qū)域和數(shù)據(jù)接入?yún)^(qū)域，其中管理區(qū)域負(fù)責(zé)部署平臺管理端、網(wǎng)關(guān)、注冊中心以及配置組件；任務(wù)節(jié)點區(qū)域負(fù)責(zé)部署微服務(wù)節(jié)點；數(shù)據(jù)庫區(qū)域負(fù)責(zé)部署數(shù)據(jù)庫組件，支持主從數(shù)據(jù)庫；日志區(qū)域負(fù)責(zé)主要部署日志監(jiān)控elk組件，每個日志收割logstash可以部署到微服務(wù)節(jié)點上。

三、系統(tǒng)功能設(shè)計與實現(xiàn)

1.歸檔元數(shù)據(jù)管理

歸檔元數(shù)據(jù)管理包括歸檔數(shù)據(jù)文件元數(shù)據(jù)維護(hù)和歸檔數(shù)據(jù)介質(zhì)元數(shù)據(jù)維護(hù)，用來支持指示存儲位置、歷史數(shù)據(jù)、資源查找以及文件記錄等功能。

歸檔數(shù)據(jù)文件元數(shù)據(jù)維護(hù)，是以結(jié)構(gòu)化的形式存儲在關(guān)系型數(shù)據(jù)庫中，用于維護(hù)歸檔氣象檔案的文件元數(shù)據(jù)，包括文件元數(shù)據(jù)的查詢、詳情展示和修改，包括全宗號、立檔單位、四級編碼、地域號、文件時間、文件檔號、文件題名、打包時間、包內(nèi)文件數(shù)量、推送光盤庫時間、光盤庫刻錄時間以及存儲介質(zhì)編號。

歸檔數(shù)據(jù)介質(zhì)元數(shù)據(jù)維護(hù)，用于維護(hù)歸檔氣象檔案的文件元數(shù)據(jù)，包括介質(zhì)元數(shù)據(jù)的查詢、詳情展示、新增以及修改。包括存儲介質(zhì)編號、存儲介質(zhì)內(nèi)容摘要和存儲介質(zhì)離線位置。

2.氣象資料整理

整理分為氣象資料分類整理、氣象資料打包和元數(shù)據(jù)自動提取及質(zhì)控。其中，氣象資料分類整理是將收集的待歸檔氣象數(shù)據(jù)資料分類、排序，整理待歸檔信息包；資料打包是根據(jù)“自動收集配置規(guī)則表”中的氣象資料的四級編碼、分類方式以及是否打包等要素對氣象數(shù)據(jù)資料打包處理；元數(shù)據(jù)自動提取是對完成整理分類或者打包待歸檔的檔案元數(shù)據(jù)自動著錄，生成歸檔氣象資料文件元數(shù)據(jù)信息表。

3.策略管理

系統(tǒng)策略包括采集歸檔策略管理、存儲刻錄策略管理以及定時清理策略管理。通過策略管理，設(shè)置自動采集歸檔規(guī)則、對接光盤庫的存儲刻錄規(guī)則以及氣象數(shù)據(jù)臨時在線存儲的定時清理規(guī)則。

采集歸檔策略。用于維護(hù)氣象檔案資料自動采集歸檔策略，包括采集歸檔策略的增、刪、改和查維護(hù)功能，按照配置規(guī)則實現(xiàn)自動的氣象數(shù)據(jù)采集、分類整理和打包。單元處理時間可以達(dá)到秒級。

存儲刻錄策略。用于維護(hù)氣象檔案資料對接藍(lán)光光盤刻錄打印一體機自動存儲規(guī)則，包括自動存儲規(guī)則的增、刪、改和查功能。單元處理時間可以達(dá)到秒級。

定時清理策略。用于維護(hù)在線氣象檔案資料定時清理配置規(guī)則，包括定時清理規(guī)則的增、刪、改和查功能。

存儲質(zhì)量檢測策略?；贛D5算法對數(shù)據(jù)可用性校驗，系統(tǒng)對文件打包刻錄時，自動生成MD5碼和文件一起刻錄，在光盤檢測時，通過校驗MD5碼以驗證數(shù)據(jù)是否可用。同時，系統(tǒng)支持配置自動檢測任務(wù)和臨時抽查兩種方式。自動檢測任務(wù)：創(chuàng)建定期檢查任務(wù)，可按照年、半年和季度設(shè)置檢查頻率，按照盤匣設(shè)置需要檢測的盤匣，系統(tǒng)按照檢測任務(wù)自動定期檢測光盤；臨時抽查任務(wù)：通過臨時抽查，按照盤匣設(shè)置需要檢測的盤匣檢查光盤，檢查結(jié)束后，在頁面上展示檢查結(jié)果。

4.存儲與監(jiān)控管理

（1）存儲管理。根據(jù)電子檔案自動存儲業(yè)務(wù)規(guī)則，設(shè)置自動存儲任務(wù)，通過自動存儲任務(wù)的調(diào)度，對接藍(lán)光光盤刻錄打印一體機系統(tǒng)，完成電子檔案的自動存儲刻錄。

（2）預(yù)警管理。在歸檔系統(tǒng)中上報并展示設(shè)備及系統(tǒng)運行過程中產(chǎn)生的預(yù)警信息，用戶可處理告警，系統(tǒng)將記錄預(yù)警處理結(jié)果。

系統(tǒng)預(yù)警類型分為任務(wù)類預(yù)警和存儲設(shè)備預(yù)警。任務(wù)類預(yù)警由系統(tǒng)自動處理，針對存儲設(shè)備相關(guān)預(yù)警需人工處理的預(yù)警，通知管理人員預(yù)警情況，管理人員可及時處理預(yù)警，系統(tǒng)記錄預(yù)警處理過程以及預(yù)警處理結(jié)果。自動任務(wù)類預(yù)警包括自動收集任務(wù)、自動整理任務(wù)、自動存儲任務(wù)、定時清理任務(wù)以及歸檔檔案存儲任務(wù)等執(zhí)行異常觸發(fā)的報警；存儲設(shè)備預(yù)警包括光盤庫狀態(tài)異常、容量不足以及光盤檢測不可讀等觸發(fā)的報警。

一是自動任務(wù)類預(yù)警。當(dāng)系統(tǒng)根據(jù)自定義的任務(wù)預(yù)警執(zhí)行后，預(yù)警內(nèi)容會顯示為“任務(wù)類型_任務(wù)名稱_執(zhí)行異常信息”的格式。例如，出現(xiàn)“自動整理任務(wù)_初級整理測試4-G.9999.9999.9999_執(zhí)行失敗”“自動歸檔任務(wù)_測試5-G.9999.9999.9999_執(zhí)行中斷”或“自動存儲刻錄任務(wù)_xxxx_任務(wù)創(chuàng)建失敗”等信息。

二是存儲設(shè)備預(yù)警。當(dāng)光盤庫狀態(tài)異常、光盤庫容量不足和光盤檢測不可讀等狀態(tài)時，設(shè)備自動根據(jù)光盤庫的情況發(fā)出預(yù)警。光盤庫狀態(tài)異常預(yù)警內(nèi)容顯示為

“光盤庫 + 光盤庫名稱 + 異常情況 .+ 請及時處理”。例如，光盤庫1離線，請及時處理。光盤庫容量不足預(yù)警內(nèi)容顯示“光盤庫xxx容量已用xxT，剩余容量xxT，剩余可用容量不足 10% ，請及時擴容或遷移”；光盤檢測不可讀預(yù)警內(nèi)容顯示“光盤庫xxx-盤匣 σ_XX- 光盤xx不可讀，請及時恢復(fù)”。

5.歸檔統(tǒng)計

歸檔統(tǒng)計功能實現(xiàn)了對氣象數(shù)據(jù)收集情況的全面統(tǒng)計，提供了針對從大數(shù)據(jù)云平臺或省級服務(wù)器獲取的氣象數(shù)據(jù)原始信息的統(tǒng)計功能；實現(xiàn)了電子檔案在線存儲、近線存儲和離線存儲的相關(guān)信息統(tǒng)計。統(tǒng)計基于檔案時間、檔案類型、檔案地域以及檔案存儲模式（近線、離線）等維度的電子檔案數(shù)據(jù)統(tǒng)計分析；檔案查詢、下載、打印以及刻錄等利用數(shù)據(jù)統(tǒng)計分析；歸檔檔案月度、季度、年度數(shù)據(jù)統(tǒng)計變化分析。

四、結(jié)語

系統(tǒng)遵循《中華人民共和國氣象法》《氣象數(shù)據(jù)管理辦法》等相關(guān)法律法規(guī)。根據(jù)內(nèi)蒙古地區(qū)各上行氣象數(shù)據(jù)所對應(yīng)的四級編碼清單、歸檔策略及資料整理、歸檔和存儲，設(shè)計開發(fā)了“氣象數(shù)據(jù)自動歸檔系統(tǒng)”。系統(tǒng)結(jié)合本地實際將省級上行氣象數(shù)據(jù)以電子檔案的形式，歸檔并集成氣象檔案業(yè)務(wù)系統(tǒng)實現(xiàn)統(tǒng)一管理，同時完成系統(tǒng)調(diào)度任務(wù)管理、歸檔存儲管理、任務(wù)日志及預(yù)警管理和歸檔統(tǒng)計等模塊功能，不僅實現(xiàn)了氣象電子檔案在線、近線和離線歸檔與管理能力，還實現(xiàn)了省級電子檔案的全生命周期自動處置以及信息化管理，大幅提高電子檔案歸檔效率，支撐電子檔案的長期保存和有效利用，還可為重大災(zāi)害天氣個例、珍貴檔案和重大活動等各類資源庫，以及行業(yè)匯交、農(nóng)業(yè)生產(chǎn)、能源規(guī)劃和環(huán)境保護(hù)的開發(fā)利用奠定基礎(chǔ)。系統(tǒng)具有穩(wěn)定性、安全性和可拓展性，能夠滿足今后氣象電子資料檔案的業(yè)務(wù)發(fā)展需求。

參考文獻(xiàn)：

[1]張恩紅，張金標(biāo)，李高潔，等.氣象數(shù)據(jù)光盤歸檔系統(tǒng)設(shè)計與實現(xiàn)[J].廣東氣象，2018，40（02）：73-76+80.

[2]劉媛媛，何文春，王妍，等.氣象大數(shù)據(jù)云平臺歸檔系統(tǒng)設(shè)計及實現(xiàn)[J].氣象科技，2021，49（05）：697-706.

[3]徐曉慶，張智，卓鳳艷，等.寧夏氣象資料自動歸檔管理系統(tǒng)設(shè)計與實現(xiàn)[J].中低緯山地氣象，2023，47（05）：95-101.

[4]張斌，張旭，陳昱其.檔案數(shù)字人文館員：價值闡釋，角色定位與培養(yǎng)策略[J].檔案學(xué)通訊，2022，107（06）：8.

[5]任建玲.天津氣象觀測記錄檔案數(shù)字化歷程及成果應(yīng)用[J]蘭臺世界，2020（06）：105-108作者單位：1.內(nèi)蒙古自治區(qū)氣象數(shù)據(jù)中心；2.內(nèi)蒙古自治區(qū)氣象檔案館