雷達數(shù)據(jù)臺站級在線存儲方法設(shè)計

中圖分類號：TN957 文獻標志碼：B 文章編號：2095-3305（2025）05-0184-03

隨著新一代天氣雷達硬件和軟件的逐漸升級，特別是在經(jīng)過雙偏振改造后，雷達的分辨率大幅度提高，同時雙偏振雷達在單偏振雷達的基礎(chǔ)上多出5個探測量（差分反射率 Z_DR 、協(xié)相關(guān)系數(shù) ρhν/CC 、差分相移 、差分相移率 K_DP 和退偏振比LDR），使得數(shù)據(jù)量大大增加。以汕頭天氣雷達站為例，臺站每天需要存儲的雷達基數(shù)據(jù)、產(chǎn)品、PNG圖和狀態(tài)信息，經(jīng)壓縮后仍有3GB多，使用傳統(tǒng)的“計算機存儲+DVD光盤備份”的方式已難以適應(yīng)臺站的工作需求，也增加了非臺站的氣象科研人員從臺站獲取雷達數(shù)據(jù)的難度。

針對氣象大數(shù)據(jù)的存儲問題，前期已有一些計算機和氣象工作者展開了相關(guān)研究。祖東輝[1]針對雷達數(shù)據(jù)中特定回波數(shù)據(jù)需要快速查詢的特點，設(shè)計了一種大容量雷達數(shù)據(jù)存儲與管理系統(tǒng)；雷鳴[2基于大數(shù)據(jù)技術(shù)，以關(guān)系型數(shù)據(jù)存儲、分布式NoSQL數(shù)據(jù)庫存儲、網(wǎng)格存儲系統(tǒng)和分布式NAS存儲相結(jié)合的混合云存儲架構(gòu)為基礎(chǔ)，建立了統(tǒng)一數(shù)據(jù)集，服務(wù)于省局氣象數(shù)據(jù)中心。這些研究相對復雜，或主要針對更高一級的氣象數(shù)據(jù)中心，在實際應(yīng)用時部署成本較高，無法適應(yīng)基層臺站的工作需求。因此，設(shè)計了一種適合雷達站的在線存儲數(shù)據(jù)方法，既能滿足臺站大容量存儲需求，又能實現(xiàn)臺站可控的在線訪問，以便后期對雷達產(chǎn)品進行應(yīng)用開發(fā)。

1方案選擇

新一代天氣雷達主要由數(shù)據(jù)采集單元RDA、雷達產(chǎn)品生成系統(tǒng)RPG和主用戶處理系統(tǒng)PUP三部分組成[3]。雷達基數(shù)據(jù)和狀態(tài)信息在RDA系統(tǒng)上生成，雷達產(chǎn)品和PNG圖在PUP系統(tǒng)上生成，這部分數(shù)據(jù)未經(jīng)壓縮且文件過多，大量占用計算機空間，不便于日常管理和日后查詢使用。因此，臺站在選擇存儲方案時應(yīng)滿足以下三點：一是存儲空間夠大且安全，臺站人員不必因存儲容量不足而焦慮；二是能及時分類和整理大量不同類型的雷達數(shù)據(jù)，以便臺站人員快速查詢；三是能夠?qū)崿F(xiàn)自動存儲，并在臺站可控的情況下，充許業(yè)務(wù)內(nèi)網(wǎng)用戶在線訪問。

如果僅從存儲容量的角度出發(fā)，初期想法是直接給RDA和PUP計算機配備大容量硬盤。但RDA和PUP均為業(yè)務(wù)專用機，預置linux系統(tǒng)，用于實時生成雷達數(shù)據(jù)。在業(yè)務(wù)專用機器上增加或改變軟硬件配置，如果出現(xiàn)不兼容問題，會引發(fā)嚴重后果。即使無兼容性問題，由于大量零碎分散文件長期累積，最終也難以整理和歸檔，并且無法實現(xiàn)在線訪問。故臺站提出了一種方案：購買一臺專用數(shù)據(jù)計算機，配置超大存儲硬盤，將雷達生成的實時數(shù)據(jù)直接上傳至專用計算機，再進行分類整理。該方案雖然可以解決存儲容量、資料分類以及內(nèi)網(wǎng)在線訪問的問題，但是普通計算機的使用壽命無法得到保證，一旦存儲硬盤出現(xiàn)故障，數(shù)據(jù)將直接丟失，嚴重影響臺站工作。因此，以上方案被逐一否定。

從數(shù)據(jù)安全的角度考慮，必須使用磁盤陣列（RAID）技術(shù)。RAID是將多塊獨立的磁盤組合成一個容量巨大的磁盤組，利用個別磁盤在提供數(shù)據(jù)時所產(chǎn)生的加成效果，提升整個磁盤系統(tǒng)的效能。使用這項技術(shù)可將數(shù)據(jù)切割成許多區(qū)段，分別存放于各個硬盤。RAID技術(shù)還能利用同位檢查（ParityCheck），數(shù)組中任意一個硬盤故障時仍可讀出數(shù)據(jù)；在數(shù)據(jù)重構(gòu)時，將數(shù)據(jù)經(jīng)計算后重新置入新硬盤，提升數(shù)據(jù)安全性。

馮志偉等[論證了RAID技術(shù)在氣象資料數(shù)據(jù)存儲中的應(yīng)用，并詳細分析了較為常用的DAS、NAS和SAN3種存儲體系的結(jié)構(gòu)及特點。結(jié)合汕頭天氣雷達站的實際工作條件，在綜合考慮數(shù)據(jù)的安全性、長久性，以及部署成本、效率等因素后，最終設(shè)計出利用“專用數(shù)據(jù)處理機+NAS+FTP”傳輸方案，實現(xiàn)雷達數(shù)據(jù)的自動存儲和在線訪問。

其中，NAS（NetworkAttachedStorage）可譯為網(wǎng)絡(luò)附加存儲，是一種專用網(wǎng)絡(luò)數(shù)據(jù)存儲備份器。其以數(shù)據(jù)為中心，將存儲設(shè)備與服務(wù)器徹底分離，集中管理數(shù)據(jù)，從而釋放帶寬以提高性能，降低總成本。其成本遠遠低于使用服務(wù)器存儲，而效率遠遠高于后者，具有較高的性價比[5]。NAS本身是一臺獨立的、外設(shè)的、功能強大的RAID，有數(shù)據(jù)保護，且使用和操作界面簡潔，專業(yè)性不強的人員也能管理。

2具體方案部署

雷達數(shù)據(jù)采集單元RDA和主用戶處理系統(tǒng)PUP實時生成的雷達數(shù)據(jù)由于文件過多且未經(jīng)壓縮，無法直接放入NAS服務(wù)器作為臺站資料保存。因此，必須引入一臺數(shù)據(jù)處理機以實現(xiàn)雷達數(shù)據(jù)的緩存、整理和使用，再由數(shù)據(jù)處理機將整理好的數(shù)據(jù)同步傳送至NAS服務(wù)器永久保存。數(shù)據(jù)傳輸示意圖如下（圖1）。

2.1 數(shù)據(jù)處理機

數(shù)據(jù)處理機的工作流程主要是先接收來自RDA和PUP的雷達實時數(shù)據(jù)，再將其整理并壓縮，使之成為便于存儲、管理和查詢的雷達資料，最后同步傳送至NAS服務(wù)器。因此，數(shù)據(jù)處理機需要部署以下三個方面的內(nèi)容：一是建立多用戶FTP服務(wù)器，將其與RDA和PUP連接；二是對RDA和PUP傳輸?shù)臄?shù)據(jù)進行分類壓縮，該過程可通過編程實現(xiàn)；三是設(shè)置NAS服務(wù)器的同步傳輸功能。

為便于操作，汕頭天氣雷達站的數(shù)據(jù)處理機使用Windowsserver2012系統(tǒng)，通過系統(tǒng)自帶的IIS8.0建立4個用戶FTP服務(wù)器，不同賬號對應(yīng)不同目錄，分別接收來自RDA和PUP的雷達基數(shù)據(jù)、狀態(tài)信息、雷達產(chǎn)品和PNG圖，使得4種不同的資料被分別歸檔于數(shù)據(jù)處理機的4個不同目錄。再通過雷達站工作人員編寫的自動分類整理壓縮軟件，對這4種資料分別進行按天整理和壓縮，最終將雷達每天實時生成的幾萬個文件打包成4個壓縮文件，以時間 + 資料名”的格式命名（如20230501汕頭雷達基數(shù)據(jù).zip、20230501汕頭雷達產(chǎn)品.zip、20230501汕頭雷達PNG圖.zip、20230501汕頭雷達狀態(tài)信息.zip），最后分別歸檔到另外4個目錄，并按年月逐級目錄遞歸。壓縮完成后，軟件會自動刪除被壓縮的源文件，節(jié)約儲存空間。

為實現(xiàn)數(shù)據(jù)處理機與NAS服務(wù)器之間的同步增量上傳，數(shù)據(jù)處理機需安裝NAS服務(wù)器的配套軟件，汕頭天氣雷達站使用的NAS服務(wù)器是群暉DS1618+，與之配套的同步軟件PC端是“Cloud Station Backup\"軟件安裝完成后，在軟件中設(shè)置NAS服務(wù)器的IP地址、賬號密碼以及需要同步上傳的4種壓縮文件的目錄。數(shù)據(jù)處理機在正常工作時，在4種壓縮文件的目錄下一旦發(fā)現(xiàn)增量包會自動將增量包上傳至NAS服務(wù)器。

2.2 NAS服務(wù)器

群暉DS1618+采用6硬盤位設(shè)計，汕頭天氣雷達站采用了6個4TB的企業(yè)級硬盤組成的磁盤陣列，總共 24TB 容量，除去4TB的數(shù)據(jù)冗余，還剩20TB的可用存儲空間，以臺站每天3GB的數(shù)據(jù)量算，可以連續(xù)存儲18年多，從而解決存儲空間不足的問題?？紤]到數(shù)據(jù)安全和存儲空間最大化，在創(chuàng)建存儲空間時，雷達站工作人員選擇群暉的SHR作為磁盤陣列模式。

SHR（SynologyHybridRAID）是群暉的自動RAID管理系統(tǒng)，可使用戶創(chuàng)建能優(yōu)化容量和性能的靈活存儲方案[6-7]。當NAS服務(wù)器只有1個硬盤時，RAID為BASIC模式，無數(shù)據(jù)保護；當再添加1個硬盤時，RAID的模式自動轉(zhuǎn)換成類似RAID1模式，空間大小不變，但有數(shù)據(jù)保護；當使用 N（Ngt;3） 個硬盤時，RAID會自動轉(zhuǎn)換成類似RAID5模式，有數(shù)據(jù)保護，使用不同容量硬盤時又能比RAID5模式獲得更大的存儲容量，且易于使用。

此外，傳統(tǒng)RAID的存儲基于存儲池中最小的硬盤。如果傳統(tǒng)RAID存儲池中的最小硬盤為500GB，則存儲池中所有其他硬盤各自只能提供 500GB 的儲存空間。因此，存儲池最終僅有2TB的可用存儲和4.5TB 的浪費存儲。與傳統(tǒng)RAID不同，SHR將每個硬盤的存儲空間分成小塊，并創(chuàng)建額外的冗余存儲，即將4.5TB的不可用存儲分成較小的可用塊，并盡可能地增加每個硬盤的存儲容量。SHR在存儲擴充方面也優(yōu)于傳統(tǒng)RAID。傳統(tǒng)RAID不允許在存儲池的所有硬盤均更換為較大硬盤前進行擴充，但SHR允許在2個硬盤升級后立即擴充存儲池，并形成冗余存儲陣列。

按照群暉DS1618+設(shè)備的說明手冊安裝好硬盤，并使用網(wǎng)線將其連接至汕頭天氣雷達站業(yè)務(wù)內(nèi)網(wǎng)的交換機上。為方便客戶安裝使用，群暉DS618+內(nèi)置了WebAssistant工具，在打開DS618+設(shè)備電源后，使用雷達站業(yè)務(wù)內(nèi)網(wǎng)中任意一臺計算機打開網(wǎng)絡(luò)瀏覽器，并訪問“http：//find.synology.com”或“http：//diskstation：5000\"（Mac計算機使用“http：//synologynas.local：5000”），WebAssistant會在網(wǎng)絡(luò)瀏覽器中啟動，在本地網(wǎng)絡(luò)中搜索并找到Synology設(shè)備。初次登錄時，新設(shè)備狀態(tài)為未安裝，用戶還需進一步安裝群暉的DiskStation

Manager（DSM）系統(tǒng)，再根據(jù)提示進一步操作，無特殊需求的內(nèi)容可全部使用默認設(shè)置。系統(tǒng)安裝完成后會重啟，并提示用戶創(chuàng)建管理員賬戶和密碼。

使用群暉默認的管理員賬戶登錄DSM系統(tǒng)，從主菜單進入“存儲空間管理員”，按照“存儲空間創(chuàng)建向?qū)А碧崾荆瑢AID模式設(shè)為SHR模式，快速創(chuàng)建存儲空間；進入“套件中心”安裝服務(wù)器端的“CloudStationServer”套件，以實現(xiàn)數(shù)據(jù)處理機與NAS服務(wù)器之間的同步傳輸。NAS本身支持NFS、CIFS、FTP、HTTP等協(xié)議，因此雷達數(shù)據(jù)的在線訪問可通過NAS自帶的FTP協(xié)議完成。具體而言，使用默認的管理員賬戶登錄群暉DSM系統(tǒng)，從“控制面板”進入“用戶賬號”配置選項，通過新增用戶賬號，配置1個安全的FTP訪問賬戶及密碼，并將該賬號設(shè)置為“只讀”權(quán)限；進人“共享文件夾”配置選項，通過新增共享文件夾，將與數(shù)據(jù)處理機同步傳輸?shù)?個雷達資料文件夾設(shè)置為共享模式，并設(shè)置充許FTP賬戶“只讀”的訪問權(quán)限。

系統(tǒng)部署完成后，在被許可的單位或個人請求從雷達站下載雷達資料時，臺站人員反需登錄群暉DSM系統(tǒng)，在\"文件服務(wù)”的\"FTP”一項中勾選“啟用FTP服務(wù)”（圖2），對方即可通過臺站人員提供的FTP賬號和密碼從NAS服務(wù)器上查詢和下載雷達資料。在啟用FTP服務(wù)時，可開啟“保存FTP日志”功能，通過日志了解對方登錄和退出FTP服務(wù)器的時間和下載內(nèi)容，預防數(shù)據(jù)泄露。在沒有訪問需求時，臺站人員可以關(guān)閉FTP服務(wù)，實現(xiàn)在線訪問功能可控，增強數(shù)據(jù)安全性。

通過以上數(shù)據(jù)處理機和NAS服務(wù)器的部署設(shè)置，汕頭雙偏振天氣雷達的所有資料全部實現(xiàn)了自動分類、整理和歸檔，無需人工干預，且所有歸檔資料按年月逐級目錄遞歸，文件名按日期命名排列，查找和使用一目了然。同時，利用NAS服務(wù)器上的FTP功能，實現(xiàn)了雷達資料的內(nèi)部共享，為后期開展雷達產(chǎn)品的研發(fā)工作提供了支持。

2.3 日常檢查和管理

雖然本方案的實施促使雷達站日常的數(shù)據(jù)存儲工作實現(xiàn)全自動化，但在日常工作中，臺站人員仍應(yīng)定期檢查、維護和管理設(shè)備，以保障設(shè)備正常工作，確保數(shù)據(jù)存儲安全。具體措施如下：一是定期檢查NAS的運行日志。NAS日志詳細記錄了NAS系統(tǒng)的運行狀況，特別是RAID的運行情況，并將每個事件標記了序列號、嚴重等級等。如遇硬盤故障等嚴重事件，臺站人員可及時發(fā)現(xiàn)和處理，避免數(shù)據(jù)丟失。二是定期檢查數(shù)據(jù)處理機運行情況。數(shù)據(jù)處理機處理完成的是最終備份的雷達資料，為保證資料齊全、分類明確，臺站人員需要定期檢查雷達數(shù)據(jù)自動整理軟件的運行情況和資料同步傳輸情況。三是定期更換FTP賬戶的登錄密碼，以增強FTP訪問的安全性。

3結(jié)束語

自全國新一代多普勒天氣雷達網(wǎng)建設(shè)以來，中國氣象局要求不但要有一流的硬件設(shè)備，還要有一流的應(yīng)用開發(fā)。NAS服務(wù)器不僅能實現(xiàn)雷達資料在線存儲，其拓展功能也非常強大，為以后雷達大數(shù)據(jù)的應(yīng)用和共享提供了有力支持。以上方案自試運行以來流程穩(wěn)定，臺站人員從以往定期刻錄光盤的工作中徹底解放。相較于以前的計算機存儲加光盤備份方式，該方案顯著提高了雷達數(shù)據(jù)的安全性。利用FTP的在線共享功能，提升了后期雷達資料二次開發(fā)和使用的便捷性。

參考文獻

[1]祖東輝.大容量雷達數(shù)據(jù)存儲與管理技術(shù)研究[D].成都：電子科技大學，2016.

[2]雷鳴.氣象大數(shù)據(jù)分布式存儲設(shè)計與實現(xiàn)[J].計算機技術(shù)與發(fā)展，2021，31（5）：193-197.

[3]劉家冠，湯強，吳榮深，等.雷達站遠程控制和無人值守方案的初步研究[J].氣象水文海洋儀器，2011，28（3）：19-21.

[4]馮志偉，盛梅，陳世春.磁盤陣列技術(shù)在氣象資料數(shù)據(jù)存儲中的應(yīng)用[J].中國科技信息，2007（19）：108-109.

[5]陳鉆.NAS存儲系統(tǒng)在局域網(wǎng)中的應(yīng)用分析及方案[J].華章，2014（27）：341-342.

[6]陳華英.磁盤陣列RAID可靠性分析[J].電子科技大學學報，2006，35（3）：403-405.

[7]吳宏波.基于Serv-U的個人在線存儲系統(tǒng)的設(shè)計與實現(xiàn)[J].現(xiàn)代計算機，2011（9）：102-105，109.