基于Python 的氣象數(shù)據(jù)文件自動傳輸系統(tǒng)設計

賴曉菲，姜陳威

（福建省漳州市氣象局 福建 漳州 363000）

0 引言

近年來，自動氣象觀測站作為氣象要素自動監(jiān)測、存儲、處理及傳輸?shù)墓ぞ?，為氣象災害監(jiān)測和氣象服務提供及時、準確的基本氣象觀測資料。 因此，準確可靠的氣象信息和數(shù)據(jù)，是開展天氣預報預警、氣象預測評估以及科學研究的基礎［1-2］。 自動氣象站數(shù)據(jù)的備份和保存對氣象業(yè)務的正常運行以及科學研究顯得尤為重要［3］。 由于漳州市自動化氣象站會實時傳輸每天的氣象數(shù)據(jù)文件，需要人工對大量且實時數(shù)據(jù)進行備份，不僅比較煩瑣，而且容易出現(xiàn)數(shù)據(jù)備份紕漏，因此有必要設計一套氣象數(shù)據(jù)備份軟件輔助業(yè)務人員備份數(shù)據(jù)，不僅能夠提高數(shù)據(jù)備份時效性還能提高工作效率。 目前，Python 具有豐富而成熟的庫和模塊可供調(diào)用和開發(fā)，為軟件開發(fā)提供了便利性［4-5］。 為此本研究基于Python 設計開發(fā)一套對采集到的氣象站數(shù)據(jù)自動上傳的軟件，作為漳州自動氣象站數(shù)據(jù)保存和備份的輔助工具。

1 設計內(nèi)容與目標

通過分析漳州市氣象數(shù)據(jù)文件的更新特點，本文設計開發(fā)出一套關(guān)于漳州市的氣象數(shù)據(jù)文件自動傳輸系統(tǒng)，該軟件應當實現(xiàn)的具體功能如下：

（1）實現(xiàn)可獲取客戶端的文件夾路徑，可選擇要上傳的目標路徑。

（2）實現(xiàn)局域網(wǎng)內(nèi)的客戶端都能訪問并連接目標服務器。

（3）實現(xiàn)可選擇獲取目標服務器的IP 和可用傳輸端口。

（4）實現(xiàn)可選擇服務器端的最終傳輸?shù)刂贰?/p>

（5）實現(xiàn)自動識別最新日期的氣象數(shù)據(jù)文件，并且每隔1 min 傳輸一次文件進行即時備份。

（6）對大量數(shù)據(jù)具有良好的緩存和傳輸功能。

（7）創(chuàng)建當日更新數(shù)據(jù)進行有效備份的傳輸日志，以便于業(yè)務人員監(jiān)測并查看當日氣象數(shù)據(jù)是否進行有效備份。

（8）實現(xiàn)局域網(wǎng)內(nèi)的客戶端和服務端能夠快速建立傳輸連接響應，具有安全的存取模式。

2 設計原則

根據(jù)以上對系統(tǒng)功能需求的分析，該系統(tǒng)在滿足基本功能外，還應滿足系統(tǒng)當前和未來業(yè)務持續(xù)發(fā)展的需求。因此，本系統(tǒng)應具有以下特點：

（1）可靠性。 采用適合的系統(tǒng)框架能夠長期穩(wěn)定運行，能夠及時傳輸實時更新的數(shù)據(jù)文件。

（2）可擴展性。 該軟件應當在結(jié)構(gòu)上和技術(shù)實現(xiàn)上，均具有較靈活的可擴展性，能夠根據(jù)業(yè)務的發(fā)展擴展多樣性的功能。

（3）便攜性。 該軟件為應用程序，無需安裝。 點擊打開即可直接使用，且軟件體積較小，不會占用太多的磁盤空間。

3 技術(shù)路線

該系統(tǒng)基于Python 語言進行設計與開發(fā)。 采用靈活性較強的C/S 模式的系統(tǒng)框架，借助主流的開源技術(shù)，通過調(diào)用uvicorn、requsts 等第三方庫實現(xiàn)與局域網(wǎng)內(nèi)目標服務器的連接，并且通過QT 構(gòu)建快速響應且簡潔的客戶端可視化圖形界面［6-7］，便于業(yè)務人員進行操作。 該應用程序適用于Windows 操作系統(tǒng)下運行。 如圖1 所示，本系統(tǒng)分為客戶端和服務端兩部分，由于氣象數(shù)據(jù)大且備份及時性的重要，因而進行數(shù)據(jù)備份也應當及時有效。 故而選擇C/S 結(jié)構(gòu)進行開發(fā)應用程序［8］，基于C/S 結(jié)構(gòu)的應用程序使得客戶端與服務端能夠直接相連，具有連接響應速度快速、交互性強并且還可以對大量數(shù)據(jù)進行緩存處理的特點［9］，所以此結(jié)構(gòu)開發(fā)的系統(tǒng)能夠及時上傳和備份當天數(shù)據(jù)。 如圖1 所示，在客戶端請求連接目標服務端，服務端響應請求后即表示兩者已經(jīng)連接，系統(tǒng)內(nèi)已設置好發(fā)送的時間為每隔1 min 就檢索客戶端目標路徑下最新日期的文件進行發(fā)送，客戶端每次接收都會輸出反饋信息和日志信息。

圖1 系統(tǒng)框架示意圖

（1）客戶端部分。 調(diào)用QT 設計簡易的可視化界面，可訪問客戶端文件路徑，可填寫服務端地址IP 和可用端口信息以及服務端存放的目標路徑。 然后調(diào)用time、requests 等函數(shù)自動識別待上傳的最新日期文件，并每隔1 min 上傳一次文件。 以下為部分核心代碼：

①界面設計部分

（2）服務端部分。 通過調(diào)用uvicorn、FastAPI 等函數(shù)獲取當前服務端地址和端口號，等待客戶端發(fā)出連接指令并建立連接，然后調(diào)用logging 函數(shù)去建立每日日志信息并寫入。 以下為部分核心代碼：

4 功能展示

基于Python 設計的氣象數(shù)據(jù)文件自動傳輸系統(tǒng)軟件可以訪問客戶端任意文件下的數(shù)據(jù)文件，如圖2 所示為客戶端傳輸系統(tǒng)可視化界面。 客戶端可根據(jù)選擇局域網(wǎng)內(nèi)的服務端填寫的其IP 和端口號進行連接，接著軟件自動從客戶端文件中提取相關(guān)信息，進行數(shù)據(jù)文件編碼發(fā)送。用戶選定目標服務器和保存路徑后，點擊開始后，數(shù)據(jù)文件將會自動每隔1 min 傳輸一次。 如圖3 所示為服務端的傳輸界面，運行服務端后，Application startup complete 表示服務端的應用程序啟動完成，Uvicon running on http 后面將顯示自動獲取可連接的服務端IP 和端口號。 就可以通過服務端的自動獲取功能來填寫客戶端的信息，保證了客戶端輸入的準確性，為客戶端和服務端的建立連接提供支持。

圖2 客戶端傳輸系統(tǒng)可視化界面

圖3 服務端傳輸界面

整個系統(tǒng)在運行之前，應該首先將服務器端的應用程序在服務器端運行，服務端應用程序?qū)⒆詣荧@取服務器IP 以及可用端口號。 然后運行客戶端程序選擇地址選擇文件夾，填寫服務端地址后，點擊設置服務器地址，此時服務端將響應連接，如圖4 所示，輸出set_path HTTP 表示建立http 連接，最后在客戶端的可視化界面點擊開始就會自動識別最新日期文件進行對應服務端地址傳輸，并且自動反饋更新傳輸?shù)臄?shù)據(jù)報文時間。 而且每次傳輸都將生成傳輸記錄，如圖5 所示，為2023 年5 月22 日的傳輸日志，第一條傳輸記錄表示已接收2023 年5 月22 日的氣象數(shù)據(jù)文件20：01 的數(shù)據(jù)，依次類推記錄每天每分鐘上傳的數(shù)據(jù)記錄，并且所有日志都存放在單獨的日志文件夾中可供查詢。 一旦點擊開始傳輸文件，開始按鈕將會跳轉(zhuǎn)為結(jié)束按鈕，如圖6 所示，點擊結(jié)束即終止傳輸。

圖4 服務端連接狀態(tài)

圖5 傳輸日志

圖6 客戶端界面

5 結(jié)語

綜上所述，該氣象數(shù)據(jù)文件自動傳輸系統(tǒng)是基于Python 語言進行開發(fā)和設計的，通過PyQt5 設計客戶端簡易界面，遵循HTTP 協(xié)議能夠比較快速與服務端建立連接，并且實現(xiàn)實時識別指定文件路徑中最新日期的txt 文件，并定時完成文件傳輸，保障了氣象數(shù)據(jù)文件的日常備份。 而且自動新建每日文件的傳輸日志以供業(yè)務人員進行數(shù)據(jù)備份的查看和監(jiān)測，便于業(yè)務人員數(shù)據(jù)備份。 本系統(tǒng)遵循C/S 結(jié)構(gòu)框架進行開發(fā)，單層的交互性為數(shù)據(jù)備份的傳輸提供了快速響應支撐，且有利于對大量氣象數(shù)據(jù)進行緩存和傳輸。 本系統(tǒng)主要針對txt 的氣象數(shù)據(jù)文件進行自動遠程傳輸，可以適當增加傳輸?shù)臄?shù)據(jù)文件類型，便于擴展該系統(tǒng)的傳輸性能以及應用范圍。 而且該系統(tǒng)主要是上傳文件的功能，可以添加下載功能豐富系統(tǒng)應用。