氣象信息系統(tǒng)中的存儲區(qū)域網(wǎng)絡(luò)選型與應(yīng)用*

黃 澎 王證帥 陳榮忠 呂巧誼

(1.廈門市氣象災(zāi)害防御技術(shù)中心，福建 廈門 361006；2.廈門海峽氣象開放重點實驗室，福建 廈門 361006)

1 概述

在氣象信息數(shù)據(jù)急速增長的今天，高效地存儲和處理數(shù)據(jù)成為氣象科學發(fā)展的新重點[1]。從效率的角度來說，除了購買高性能的存儲硬件設(shè)備、優(yōu)化存儲系統(tǒng)軟件外，還需要在架構(gòu)上合理設(shè)計整個系統(tǒng)的存儲方式。在企業(yè)級的存儲解決方案中，傳統(tǒng)的存儲架構(gòu)早已被存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network，SAN)所取代。近些年來，存儲區(qū)域網(wǎng)絡(luò)在氣象信息系統(tǒng)中也已得到了部分應(yīng)用，但是，在設(shè)計氣象網(wǎng)絡(luò)架構(gòu)時，科研和業(yè)務(wù)技術(shù)人員通常聚焦于IP網(wǎng)絡(luò)的設(shè)計以及網(wǎng)絡(luò)安全層面的規(guī)劃，忽略了對存儲區(qū)域網(wǎng)絡(luò)的探討。事實上，選擇一種合適的存儲區(qū)域網(wǎng)絡(luò)對于氣象信息系統(tǒng)設(shè)計來說十分必要。

基于此，本文將首先以光纖通道存儲區(qū)域網(wǎng)絡(luò)(Fibre Channel Storage Area Network，F(xiàn)C SAN)為重點，闡述當前主流的存儲區(qū)域網(wǎng)絡(luò)架構(gòu)與原理，并對氣象信息系統(tǒng)中的存儲區(qū)域網(wǎng)絡(luò)選型給出建議。最后，通過廈門市氣象局信息系統(tǒng)升級改造項目總結(jié)存儲區(qū)域網(wǎng)絡(luò)在氣象信息系統(tǒng)中的典型應(yīng)用。本研究旨在為后續(xù)的氣象網(wǎng)絡(luò)規(guī)劃工作提供參考。

2 存儲區(qū)域網(wǎng)絡(luò)原理簡介

傳統(tǒng)概念中，存儲設(shè)備作為主機的一部分而存在，主機通過內(nèi)部IO總線與其進行數(shù)據(jù)交互。這種模式下存儲的可擴展性和安全性都存在著較大弊端，無法滿足企業(yè)級數(shù)據(jù)存儲需求。隨后誕生的直連式存儲(Direct-attached Storage，DAS)方案一定程度上緩解了上述弊端帶來的存儲壓力。直連式存儲將存儲設(shè)備與服務(wù)端剝離開，通過SCSI技術(shù)或FC技術(shù)將存儲設(shè)備直接外掛于主機總線上，提高了存儲設(shè)備的可擴展性，滿足了高性能傳輸需求。但是，DAS模式下，主機仍然會占用相當大運算資源去進行存儲維護與管理。同時，DAS往往直接采用SCSI通道作為主機與存儲的連接，而SCSI通道帶寬不高，且可用于建立SCSI連接的SCSI ID有限，因而無法滿足大規(guī)模的連接需求。所以目前，DAS方式僅用于小型系統(tǒng)中[2]。

為了解決DAS的不足，SAN應(yīng)運而生。SAN是目前大中型IDC機房的“標配”。本質(zhì)上，SAN將存儲設(shè)備作為一個獨立的網(wǎng)絡(luò)單元，供其他設(shè)備共享。在SAN架構(gòu)下，服務(wù)器與存儲設(shè)備間通過FC、IP等通道連接，解決了DAS直接以SCSI通道進行連接的不足。SAN將存儲設(shè)備進行網(wǎng)絡(luò)化管理，有利于存儲整合和資源共享并且具有高可靠性和可擴展性，同時還便于數(shù)據(jù)備份和統(tǒng)一災(zāi)備。

主流的SAN架構(gòu)包括FC SAN、IP SAN、FCOE等，這些SAN架構(gòu)的區(qū)別在于IO數(shù)據(jù)的外層封裝方式以及傳輸鏈路存在差異，表1為三種存儲區(qū)域網(wǎng)絡(luò)的比較。

表1 三種主流SAN架構(gòu)對比

其中，F(xiàn)C SAN應(yīng)用最廣，采用FC SAN架構(gòu)時，連接存儲設(shè)備的服務(wù)器需配置FC HBA卡，并且需要專門購買價格昂貴的光纖交換機。數(shù)據(jù)傳輸過程中，主機下發(fā)的IO操作通過FC HBA卡被封裝成FC數(shù)據(jù)包，然后通過光纖交換機進行傳輸。值得一提的是，F(xiàn)C只是一種封裝和傳輸協(xié)議，實際組網(wǎng)中的傳輸介質(zhì)并不一定是光纖，只不過目前絕大多數(shù)FC SAN是以光纖作為物理鏈路。典型的FC SAN組網(wǎng)拓撲見圖1。

圖1 FC SAN組網(wǎng)拓撲

當前，已經(jīng)有相當一部分應(yīng)用場景開始使用IP SAN以及FCOE(Fibre Channel over Ethernet)方式來組建存儲區(qū)域網(wǎng)絡(luò)。與FC SAN相比，IP SAN以及FCOE的組網(wǎng)成本相對較低。IP SAN下，主機IO的操作被封裝在IP數(shù)據(jù)包中，而FCOE下，IO被封裝進二層以太網(wǎng)幀中。這兩種方式將存儲區(qū)域網(wǎng)絡(luò)以及 TCP/IP網(wǎng)絡(luò)有機地結(jié)合在一起，節(jié)約了SAN的建設(shè)成本。不過，在目前已有的技術(shù)條件下，其傳輸效率不如FC SAN。

談到SAN，不得不提網(wǎng)絡(luò)附加存儲 NAS(Network Attached Storage)。NAS是指一個具有獨立操作系統(tǒng)的網(wǎng)絡(luò)存儲單元。該存儲單元通過NFS、CIFS等文件共享協(xié)議將自身目錄進行網(wǎng)絡(luò)共享，而客戶端系統(tǒng)則根據(jù)需求將共享目錄掛載進文件系統(tǒng)目錄樹。經(jīng)常被使用的Windows網(wǎng)絡(luò)映射盤就是NAS共享的一種方式，該方式在氣象信息系統(tǒng)中被廣泛使用。NAS的存儲部分可以是NAS服務(wù)器自帶的物理硬盤，也可以是SAN中的存儲單元。本文認為，服務(wù)器對待網(wǎng)絡(luò)映射盤(NAS方式)與SAN提供的磁盤的最根本區(qū)別在于IO的最小單位。讀寫網(wǎng)絡(luò)映射盤時，主機每次向NAS服務(wù)端請求的單位是文件，而讀寫SAN盤時，主機每次向SAN存儲發(fā)出的IO最小單位是存儲的底層物理單元(例如簇)。在實際應(yīng)用場景中，NAS與SAN經(jīng)常融合組網(wǎng)以滿足多種業(yè)務(wù)訪問需求。

3 氣象信息系統(tǒng)存儲區(qū)域網(wǎng)絡(luò)選型建議

目前，氣象探測設(shè)備的空間分布密度大規(guī)模增加，每天由自動站、雷達、氣象衛(wèi)星以及各種各樣的探測設(shè)備傳回的氣象數(shù)據(jù)以PB級增加[3]。同時，探測精度的提升、數(shù)據(jù)二次開發(fā)需求的增加也對存儲的空間和性能提出了新的挑戰(zhàn)。因此，必須合理地對氣象數(shù)據(jù)的存儲進行規(guī)劃與布局，才能從容面對氣象大數(shù)據(jù)時代的到來。本文將從省、市、區(qū)三個級別探討存儲區(qū)域網(wǎng)絡(luò)的選型建議。

省級氣象信息中心是每個省氣象數(shù)據(jù)的存儲核心與樞紐，在存儲的規(guī)劃與設(shè)計上需要兼顧性能、穩(wěn)定性以及安全性。在當前技術(shù)條件下，相比于其他存儲區(qū)域網(wǎng)絡(luò)類型，F(xiàn)C SAN具有速度快、穩(wěn)定性高等優(yōu)勢，因此可以優(yōu)先選擇FC SAN 作為省級氣象信息系統(tǒng)存儲架構(gòu)。為了實現(xiàn)數(shù)據(jù)存儲的物理安全性，在節(jié)點部署上應(yīng)當以雙節(jié)點雙鏈路進行冗余設(shè)計，必要時還應(yīng)當進行數(shù)據(jù)的異地容災(zāi)建設(shè)。而考慮到目前氣象信息系統(tǒng)中廣泛使用映射盤作為單位間的數(shù)據(jù)傳遞方式，因此在FC SAN的基礎(chǔ)上建議配置高性能的專用NAS服務(wù)器，以提高映射盤訪問速度。

市級的氣象信息系統(tǒng)主要存儲本地氣象信息數(shù)據(jù)，以及對省級數(shù)據(jù)進行備份。若不涉及對外單位提供數(shù)據(jù)服務(wù)，沒有高并發(fā)的IO需求，可以不專門建設(shè)存儲區(qū)域網(wǎng)絡(luò)而直接采用直連式存儲，然后采用NAS方式進行數(shù)據(jù)共享，節(jié)約建設(shè)成本。若IO需求較大，可以選擇價格相對FC SAN低的IP SAN 或 FCOE方式進行存儲組網(wǎng)。而個別訪問量大，IO性能要求很高的地市建議參照省級方式進行FC SAN建設(shè)。在市級存儲區(qū)域網(wǎng)絡(luò)建設(shè)時，還應(yīng)充分考慮下轄縣級氣象信息系統(tǒng)的存儲需求，可以將部分存儲需求較大的縣級存儲集約至市級，便于存儲的后續(xù)統(tǒng)一管理與維護。

縣級氣象信息系統(tǒng)因IO數(shù)據(jù)量較少，不建議單獨建設(shè)SAN。在某些特殊情況下，例如有些縣級需要建設(shè)小規(guī)模的虛擬化平臺，那么可以用光纖專線接入所在市級系統(tǒng)的SAN(直接以FC通道經(jīng)光纖接入，非IP方式接入)，無需專門自建一套存儲系統(tǒng)。但是，當以此種方式接入市級存儲區(qū)域網(wǎng)絡(luò)時，市級系統(tǒng)應(yīng)當在邊界做好數(shù)據(jù)安全措施，確保數(shù)據(jù)安全。此外，縣級氣象信息系統(tǒng)可以根據(jù)本地氣象信息數(shù)據(jù)量大小決定是否購買小型NAS設(shè)備以便進行數(shù)據(jù)共享。

4 存儲區(qū)域網(wǎng)絡(luò)在氣象信息系統(tǒng)中的典型應(yīng)用

氣象系統(tǒng)的業(yè)務(wù)具有一定特性，除了滿足日常業(yè)務(wù)數(shù)據(jù)的存取需求，還要兼顧科研、外單位數(shù)據(jù)共享等方面的因素[4]，因此需要根據(jù)具體情況來規(guī)劃和部署存儲區(qū)域網(wǎng)絡(luò)。本文將以廈門市氣象局信息系統(tǒng)升級改造項目為實踐基礎(chǔ)，簡述存儲區(qū)域網(wǎng)絡(luò)在氣象信息系統(tǒng)中的典型應(yīng)用。簡要拓撲見圖2。

圖2 廈門市氣象局存儲區(qū)域網(wǎng)絡(luò)簡圖

系統(tǒng)采用FC SAN組網(wǎng)模式將三個主要模塊接入存儲區(qū)域網(wǎng)絡(luò)，分別為NAS服務(wù)器、虛擬化資源池以及部分機架式服務(wù)器。其中，NAS服務(wù)器用來滿足快速的映射盤服務(wù)，對各氣象業(yè)務(wù)部門以及外單位提供高速數(shù)據(jù)共享。虛擬化資源池由多臺高性能服務(wù)器組成，劃分為若干集群，承載了全市氣象信息系統(tǒng)中的絕大部分虛擬機的運行。根據(jù)科研以及業(yè)務(wù)需求，部分機架式服務(wù)器(如數(shù)據(jù)庫服務(wù)器)也被接入存儲區(qū)域網(wǎng)絡(luò)，用以實現(xiàn)高性能存儲與計算。

圖2中，存儲資源池由SSD盤與SAS盤分級構(gòu)成，重要業(yè)務(wù)與應(yīng)用劃分SSD盤，而普通業(yè)務(wù)劃分SAS盤，這種分級方式在節(jié)約建設(shè)成本的同時實現(xiàn)了性能的定向優(yōu)化。對于客戶端來說，服務(wù)端采用的存儲架構(gòu)是透明的，客戶端與服務(wù)端通過IP網(wǎng)絡(luò)進行數(shù)據(jù)的交互。該應(yīng)用方案提升了客戶端層面對氣象信息數(shù)據(jù)的訪問，加快了應(yīng)用層面的讀取效率，同時方便了數(shù)據(jù)的備份，提高了數(shù)據(jù)安全性。

5 結(jié)束語

氣象大數(shù)據(jù)時代，存儲是基礎(chǔ)和重點，存儲性能的優(yōu)劣直接決定數(shù)據(jù)存取快慢，而存儲區(qū)域網(wǎng)絡(luò)的合理設(shè)計能更好地發(fā)揮出存儲的性能和節(jié)約建設(shè)成本。氣象信息網(wǎng)絡(luò)工作者十分有必要加深對存儲以及存儲區(qū)域網(wǎng)絡(luò)的理解，從而為做好新時代氣象信息服務(wù)提供保障。