氣象數(shù)據(jù)傳輸流程可視化設計與實現(xiàn)

喬文文，郭捷，謝禮江

（廣東省氣象探測數(shù)據(jù)中心，廣東 廣州 510640）

氣象通信系統(tǒng)是承擔氣象觀測資料、預報預測、服務產(chǎn)品等氣象數(shù)據(jù)收集與分發(fā)的業(yè)務系統(tǒng)。氣象數(shù)據(jù)是氣象業(yè)務和科研的基礎［1-4］，廣東省氣象通信系統(tǒng)接入的氣象數(shù)據(jù)包含地面、高空、輻射、海洋、農(nóng)業(yè)氣象和生態(tài)氣象、大氣成分、衛(wèi)星、雷達、氣象災害、數(shù)值預報產(chǎn)品、歷代氣候代用、科學試驗和考察、氣象服務產(chǎn)品和其他資料［5］等14大類，這些資料的傳輸流程是通過業(yè)務文檔進行管理，伴隨著氣象觀測和預報技術的發(fā)展、氣象資料種類的增多、數(shù)據(jù)傳輸共享需求的變更、資料傳輸中轉流程的調(diào)整等，通過人工整理業(yè)務文檔管理氣象數(shù)據(jù)傳輸流程已變成一項費時費力的工作，且文檔的更新及利用也無法達到令人滿意的程度，因此動態(tài)獲取氣象數(shù)據(jù)傳輸流程的需求日益強烈。薛蕾等［6］2014年利用NetMiner對新一代國內(nèi)氣象通信系統(tǒng)的傳輸配置進行了可視化分析與管理，描述了主機間的傳輸關系，但是目前尚未發(fā)現(xiàn)同時對新舊不同版本氣象通信系統(tǒng)傳輸配置進行統(tǒng)一管理、以氣象資料為維度的傳輸流程可視化相關研究。為了使氣象數(shù)據(jù)傳輸流程更清晰明了、易于獲取，本研究將結合廣東省氣象通信業(yè)務開展氣象數(shù)據(jù)傳輸流程的可視化研究。

1 廣東省級氣象通信業(yè)務現(xiàn)狀及架構

1.1 省級氣象通信系統(tǒng)現(xiàn)狀

9210工程以后，氣象通信系統(tǒng)經(jīng)歷了新一代國內(nèi)氣象通信系統(tǒng)［7-8］、數(shù)據(jù)收集與分發(fā)系統(tǒng)（China Telecommunication System，CTS）1.0［5］和2.0［9］的變化，其中廣東省氣象探測數(shù)據(jù)中心于2012年3月完成新一代國內(nèi)氣象通信系統(tǒng)業(yè)務化，該系統(tǒng)支持實時文件傳輸，具有性能穩(wěn)定、部署方便、易于維護的特點；于2016年1月完成CTS1.0業(yè)務化，該系統(tǒng)支持實時文件傳輸，首次實現(xiàn)了界面化管理數(shù)據(jù)傳輸配置的功能；于2019年1月完成CTS2.0業(yè)務化，該系統(tǒng)在保留CTS1.0文件傳輸功能的基礎上進行了升級，增加了省級與臺站和國家級之間的以消息和流的形式進行數(shù)據(jù)傳輸，并可以將消息和流在省級本地落地為文件。目前這3個版本氣象通信系統(tǒng)有單機版和集群版，在廣東省氣象探測數(shù)據(jù)中心穩(wěn)定運行著，承擔著不同的數(shù)據(jù)傳輸任務。

1.2 省級氣象通信業(yè)務傳輸現(xiàn)狀

目前廣東省級氣象通信系統(tǒng)主要收集的數(shù)據(jù)包括：本省臺站觀測資料、本省氣象部門制作的預報預測等服務產(chǎn)品；省際共享氣象數(shù)據(jù)；國家氣象信息中心通過中國衛(wèi)星數(shù)據(jù)廣播系統(tǒng)CMACast和目錄訂閱下發(fā)的氣象數(shù)據(jù)；從國家級服務器或者互聯(lián)網(wǎng)下載的資料和產(chǎn)品；部門共享數(shù)據(jù)等。資料種類繁多，數(shù)據(jù)量逐年增加，目前數(shù)據(jù)接入策略有700多條，接入數(shù)據(jù)量達1 T/d。

數(shù)據(jù)進入氣象通信系統(tǒng)，經(jīng)過文件名檢查、格式檢查、快速質控等處理后進入分發(fā)環(huán)節(jié)。分發(fā)用戶包括國家氣象信息中心、本省氣象部門、周邊省際氣象部門、行業(yè)用戶、政府部門用戶和港澳地區(qū)用戶等。目前資料分發(fā)給國家氣象信息中心通信系統(tǒng)和省級全國綜合氣象信息共享平臺（China Integrated Meteorological Information Service System，CIMISS）主要通過文件、流、消息傳輸，向其他目標用戶傳輸數(shù)據(jù)主要以文件格式為主。氣象數(shù)據(jù)傳輸業(yè)務中，資料種類繁多、數(shù)據(jù)量大、目標用戶時效要求高，且數(shù)據(jù)流轉業(yè)務變更較為頻繁，因此對業(yè)務運維管理人員有較高的技術要求。

1.3 廣東省級氣象通信業(yè)務架構

結合各版本氣象通信系統(tǒng)的特點以及數(shù)據(jù)傳輸共享的需求，本研究利用CTS和新一代國內(nèi)氣象通信系統(tǒng)，規(guī)劃各類氣象數(shù)據(jù)的收集與分發(fā)，在參考文獻［10-11］研究的基礎上，設計了廣東省氣象通信業(yè)務統(tǒng)一架構（圖1）。選擇支持多種數(shù)據(jù)傳輸方式的CTS2.0作為氣象數(shù)據(jù)的統(tǒng)一入口，通過文件、消息、流傳輸?shù)男问酵瓿蓴?shù)據(jù)的收集并傳輸至主站的國家級氣象通信系統(tǒng)和本省CIMISS DPC，并完成消息和流數(shù)據(jù)的文件落地，將文件分發(fā)至省內(nèi)氣象數(shù)據(jù)分發(fā)系統(tǒng)；利用新一代國內(nèi)通信集群系統(tǒng)作為省內(nèi)氣象數(shù)據(jù)分發(fā)系統(tǒng)，完成所有氣象文件數(shù)據(jù)的接收和分發(fā)，分發(fā)用戶為廣東省氣象探測數(shù)據(jù)中心內(nèi)部業(yè)務系統(tǒng)，完成數(shù)據(jù)的實時和歷史歸檔工作。使用新一代國內(nèi)氣象通信系統(tǒng)軟件建立數(shù)據(jù)收集與分發(fā)群集，按業(yè)務進行分類，如文件下載服務器、省際及省內(nèi)氣象內(nèi)部數(shù)據(jù)共享服務器、對外部門共享服務器，分別完成從國家級或者互聯(lián)網(wǎng)服務器下載數(shù)據(jù)、氣象內(nèi)部及外部門數(shù)據(jù)傳輸共享工作。

圖1 廣東省氣象通信業(yè)務架構示意圖

為保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性及不間斷，每個環(huán)節(jié)的氣象通信系統(tǒng)都建立備份系統(tǒng)，因此目前氣象通信系統(tǒng)相關服務器已經(jīng)超過30臺，分發(fā)目標主機也達到150多臺，要想找到一種資料的傳輸經(jīng)由主機，必須是由通信系統(tǒng)運維人員查看各通信系統(tǒng)的傳輸配置，而非通信系統(tǒng)運維人員很難查到數(shù)據(jù)傳輸?shù)恼麄€流程。因此本研究將對新一代國內(nèi)氣象通信系統(tǒng)、CTS1.0和CTS2.0的收集分發(fā)策略進行統(tǒng)一入庫，建立氣象數(shù)據(jù)傳輸知識庫，并在此基礎上開展傳輸流程可視化的研究，進而為傳輸信息檢索、資料傳輸脈絡的揭示提供支持。

2 氣象通信系統(tǒng)異構收發(fā)策略解析

氣象數(shù)據(jù)的收集和分發(fā)依賴于氣象通信系統(tǒng)的收集分發(fā)策略。新一代國內(nèi)氣象通信系統(tǒng)收發(fā)策略保存在文件配置里，包含AFD_CONFIG、HOST_CONFIG、DIR_CONFIG等；CTS1.0和CTS2.0的收發(fā)策略保存在MySQL數(shù)據(jù)庫TS_DIR_COL、TS_FILE_COL、TS_COL_FLOW、TS_REMOTE_HOST、TS_SEND_USER等數(shù)據(jù)表中。

新一代國內(nèi)氣象通信系統(tǒng)和CTS的收發(fā)策略雖然在存儲方式和語法上異構，但本質上，都記錄了每一項資料從哪來、到哪去、經(jīng)過了哪些處理［6］。為了解決收發(fā)策略異構的問題，本研究構建了氣象數(shù)據(jù)傳輸知識庫，設計通用的收發(fā)策略信息表、主機信息表、用戶信息表等，實現(xiàn)對各通信系統(tǒng)異構收集分發(fā)策略信息進行統(tǒng)一存儲管理。其中最重要的通用收發(fā)策略信息表如表1所示，包括了收集目錄策略、收發(fā)模板策略（正則表達式）、流程算法策略、分發(fā)用戶策略等；為了應對數(shù)據(jù)抓取推送，特別設計了中轉主機字段，且算法類型中包含了實際業(yè)務中最頻繁使用的算法策略。

表1 通用收發(fā)策略信息表

根據(jù)收發(fā)策略不同的存儲格式，開發(fā)兩類轉換工具，即從文件數(shù)據(jù)轉換和從關系數(shù)據(jù)庫轉換。通過解析文件數(shù)據(jù)和對策略數(shù)據(jù)表進行聯(lián)合查詢，提取各通信系統(tǒng)規(guī)范的通用的信息寫入傳輸知識庫中。轉換過程中，新一代國內(nèi)氣象通信系統(tǒng)的文件名模板策略轉化為CTS支持的正則表達式規(guī)則。

3 傳輸流程可視化實現(xiàn)

3.1 繪圖工具Graphviz

Graphviz［12］（Graph Visualization Software）是由貝爾實驗室設計的開源圖形布局和可視化工具包，可以將結構信息表示為抽象的圖形和網(wǎng)絡圖。它提供了C/C++、Java、Python等語言的API供其它軟件調(diào)用。用戶在使用Graphviz繪圖時，只需要將精力集中在邏輯設計上，關注圖中各個節(jié)點之間的關系，傳入節(jié)點、邊以及子圖等屬性值，并不需要考慮如何安排各個節(jié)點的位置，以及怎樣布局才能夠使所繪制的圖形顯得更加美觀，圖形繪制布局都由工具引擎來完成，最終以所需的輸出格式制作圖形［12］。Graphviz是非常有用的工具，已經(jīng)廣泛應用在機器學習、工程等技術領域［13-14］。

3.2 可視化過程

Graphviz是由圖、節(jié)點和邊3種元素組成，每種元素都有自己的屬性，如形狀、顏色、字體、大小等等，這些都可以在代碼中進行實現(xiàn)。本研究通過加載Graphviz的API包PyGraphviz，調(diào)用傳輸知識庫中的通用收發(fā)策略信息、主機信息等相關數(shù)據(jù)，自上而下，從根節(jié)點到葉節(jié)點，逐層遍歷，進而自動構建傳輸流程圖，并將圖形交給輸出模塊，最終呈現(xiàn)給用戶。使用Graphviz繪制氣象數(shù)據(jù)傳輸流程圖的具體過程如下：

（1）定義一個圖形。

（2）以選定的資料經(jīng)由主機IP、收集目錄、文件名模板確定資料的頂點，設置頂點的字體、顏色、形狀等屬性信息。

（3）根據(jù)選定的頂點從氣象數(shù)據(jù)傳輸知識庫中檢索出以此頂點為源端對應的傳輸目標端，如果目標端不存在，分支繪制結束；如果存在目標端，則將目標端逐個作為傳輸流程圖的下一層節(jié)點，設置其屬性信息，并與上一層連線，可將中轉主機、算法名稱等作為邊的屬性信息。

（4）如果上一步的目標端存在，則利用正則表達式將目標端IP、目錄、文件名模板在通用收發(fā)策略信息表去匹配所有源端IP、目標、文件名模板，若沒有匹配到源端信息，則為傳輸終點，分支繪制結束；若匹配到源端信息，則作為子圖的頂點，執(zhí)行第3—4步繪制子圖。

（5）導出繪制的圖形為所需的格式，繪制結束。

選擇廣東省國家自動站新Z報文及其接入目錄作為起點，利用Graphviz生成的傳輸流程如圖2所示。流程圖中圓角矩形表示資料流經(jīng)的本省氣象通信系統(tǒng)主機，矩形表示其他業(yè)務主機，這些主機節(jié)點包含了主機的描述、IP、目錄、文件名模板等信息。主機之間的連線表示數(shù)據(jù)的傳輸流動，周圍有一些傳輸配置信息。從流程圖中可以看出，國家自動站新Z報文在抵達廣東省CTS2.0后，共流經(jīng)14個節(jié)點主機，該流程圖清晰展示了此資料傳輸脈絡，繪制時間迅速，毫秒級。在實踐中發(fā)現(xiàn)，為了使得傳輸流程繪制更完整，下一級通信系統(tǒng)文件名模板策略和上一級通信系統(tǒng)策略相比，要相同或者更詳細。

目前檢索氣象數(shù)據(jù)傳輸知識庫、選取數(shù)據(jù)起點以及流程可視化的功能已經(jīng)集成到廣東省氣象通信系統(tǒng)管理平臺。

圖2 利用Graphviz繪制的國家自動站新Z報文傳輸流程示意圖1）

4 結論

為了實現(xiàn)以資料為維度全面快速掌握資料傳輸?shù)娜鞒蹋狙芯吭O計了廣東省省級氣象通信業(yè)務架構，將氣象通信系統(tǒng)異構收發(fā)策略配置解析入傳輸知識庫進行統(tǒng)一管理，并利用Graphviz進行了氣象數(shù)據(jù)傳輸流程的可視化實踐。結果表明，利用Graphviz能夠代替人工迅速動態(tài)繪制出數(shù)據(jù)傳輸流程圖，能夠應對日益增長和變化的氣象通信業(yè)務，解決值班業(yè)務文檔更新慢、工作量大的問題；并且氣象數(shù)據(jù)傳輸流程可視化更直觀地展示資料的流轉情況，有利于氣象通信系統(tǒng)運維人員高效管理通信業(yè)務，也使得非氣象通信系統(tǒng)維護人也能快速獲取數(shù)據(jù)傳輸全流程信息。本研究還存在一些不足，下一步將對氣象傳輸知識庫進行豐富，并開展交互式傳輸流程圖繪制研究。