高效存儲(chǔ)海量網(wǎng)絡(luò)資源

文/馮愿

高效存儲(chǔ)海量網(wǎng)絡(luò)資源

文/馮愿

基于SAN架構(gòu)的數(shù)據(jù)中心網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)，有效解決數(shù)據(jù)中心大容量數(shù)據(jù)存放及傳輸?shù)膯栴}，提高數(shù)據(jù)的穩(wěn)定性與安全性。

存儲(chǔ)挑戰(zhàn)

高校在校園網(wǎng)建設(shè)中積累了大量的網(wǎng)絡(luò)信息資源，這些信息資源以各自獨(dú)立的服務(wù)器內(nèi)置硬盤或直連存儲(chǔ)（DAS）為存儲(chǔ)空間存放，各個(gè)應(yīng)用系統(tǒng)相互獨(dú)立，屬于典型的分散式架構(gòu)。這種架構(gòu)存在以下問題：

1. 存儲(chǔ)空間不能滿足數(shù)據(jù)增長(zhǎng)的需求

服務(wù)器直連存儲(chǔ)方式在校園網(wǎng)數(shù)據(jù)中心被廣泛應(yīng)用。存儲(chǔ)設(shè)備作為服務(wù)器的一部分，被掛接在服務(wù)器上，通過SCSI等總線技術(shù)與操作系統(tǒng)緊密整合在一起。單個(gè)服務(wù)器的每一個(gè)SCSI通道上最多可掛接15個(gè)設(shè)備，一臺(tái)文件服務(wù)器只允許連接一臺(tái)磁盤陣列。SCSI的總線結(jié)構(gòu)從根本上限制DAS方式的擴(kuò)展，要增加存儲(chǔ)空間容量，只有通過不斷地增加數(shù)據(jù)服務(wù)器來解決。

2. 數(shù)據(jù)分散管理導(dǎo)致投資成本增加

數(shù)據(jù)中心應(yīng)用服務(wù)器和數(shù)據(jù)服務(wù)器不斷增加，不僅使數(shù)據(jù)中心擁有不同的軟、硬件平臺(tái)和彼此相互獨(dú)立的應(yīng)用系統(tǒng)，形成服務(wù)器分散式管理局面，也導(dǎo)致數(shù)據(jù)中心設(shè)備投資成本的增加。傳統(tǒng)的服務(wù)器連接存儲(chǔ)方式通常難以更新或集中管理，服務(wù)器分散管理方式也很難評(píng)估、規(guī)劃當(dāng)前和未來數(shù)據(jù)存儲(chǔ)容量增長(zhǎng)變化的需求，數(shù)據(jù)中心的整體存儲(chǔ)空間不能有效地整合和進(jìn)行智能化管理。對(duì)于系統(tǒng)管理員來說，在物理位置分散的數(shù)據(jù)存儲(chǔ)方式下，要正確、快捷地管理應(yīng)用系統(tǒng)或數(shù)據(jù)庫系統(tǒng)是極不容易的，尤其是數(shù)據(jù)的備份和數(shù)據(jù)的恢復(fù)工作，管理環(huán)節(jié)增多，操作復(fù)雜，費(fèi)時(shí)費(fèi)力。

3. 數(shù)據(jù)處理量增加導(dǎo)致系統(tǒng)和網(wǎng)絡(luò)運(yùn)行效率低下

網(wǎng)絡(luò)環(huán)境下，數(shù)據(jù)中心開展業(yè)務(wù)工作，提供網(wǎng)絡(luò)信息服務(wù)，數(shù)據(jù)處理業(yè)務(wù)繁忙。數(shù)據(jù)的上載、發(fā)布、更新、備份、恢復(fù)等操作往往要占用網(wǎng)絡(luò)帶寬和服務(wù)器資源，尤其是當(dāng)網(wǎng)絡(luò)上數(shù)據(jù)存儲(chǔ)發(fā)展到一定規(guī)模時(shí)，數(shù)據(jù)服務(wù)和數(shù)據(jù)管理不僅嚴(yán)重影響主機(jī)系統(tǒng)性能，還要大量占用網(wǎng)絡(luò)資源，增加網(wǎng)絡(luò)負(fù)擔(dān)，使網(wǎng)絡(luò)運(yùn)行效率低下。數(shù)據(jù)中心既不可能根據(jù)各種應(yīng)用數(shù)據(jù)處理的增加而隨時(shí)增加網(wǎng)絡(luò)帶寬，也不可能根據(jù)不同的應(yīng)用請(qǐng)求而不斷地提高服務(wù)器的處理性能。有限的服務(wù)器和網(wǎng)絡(luò)性能與持續(xù)增長(zhǎng)的數(shù)據(jù)處理需求形成一對(duì)不可調(diào)和的矛盾。因此，以服務(wù)器為中心的數(shù)據(jù)網(wǎng)絡(luò)轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的存儲(chǔ)網(wǎng)絡(luò)，是網(wǎng)絡(luò)存儲(chǔ)發(fā)展的必然趨勢(shì)。

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)適應(yīng)多樣性需求

存儲(chǔ)區(qū)域網(wǎng)絡(luò)的優(yōu)勢(shì)

數(shù)據(jù)中心是傳統(tǒng)信息向網(wǎng)絡(luò)信息轉(zhuǎn)變的數(shù)字化信息資源服務(wù)系統(tǒng)。數(shù)據(jù)中心建設(shè)的推進(jìn)從客觀上要求解決海量數(shù)據(jù)的存儲(chǔ)、管理和安全等問題。SAN（Storage Area Network，存儲(chǔ)區(qū)域網(wǎng)絡(luò)）的應(yīng)用，適應(yīng)數(shù)據(jù)中心的發(fā)展，滿足海量數(shù)據(jù)存儲(chǔ)與管理的需要。SAN是一種利用Fiber Channel等互聯(lián)協(xié)議連接起來的可以在服務(wù)器和存儲(chǔ)系統(tǒng)之間直接傳送數(shù)據(jù)的存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)，它是采用獨(dú)特的技術(shù)構(gòu)建的，與原有LAN網(wǎng)絡(luò)不同的一個(gè)專用的存儲(chǔ)網(wǎng)絡(luò)。存儲(chǔ)設(shè)備和SAN中的應(yīng)用服務(wù)器之間采用的是塊I/O方式進(jìn)行數(shù)據(jù)交換。

獨(dú)特的體系結(jié)構(gòu)和構(gòu)建技術(shù)使得SAN具有幾個(gè)優(yōu)勢(shì)：1.提供可擴(kuò)展的存儲(chǔ)空間；2.提高數(shù)據(jù)的可用性；3.改進(jìn)數(shù)據(jù)處理方式，優(yōu)化網(wǎng)絡(luò)和系統(tǒng)性能。

三大建設(shè)原則

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)存放的是學(xué)校的核心教學(xué)數(shù)據(jù)，其性能與質(zhì)量的優(yōu)劣將對(duì)學(xué)校的教育信息化產(chǎn)生重大影響。建設(shè)時(shí)須考慮以下基本原則：

1. 高可靠性

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)是集中存放學(xué)校教學(xué)資源和其他數(shù)據(jù)的載體，一旦出現(xiàn)故障，將造成極壞的影響。因此在建設(shè)時(shí)一方面要選擇技術(shù)成熟的設(shè)備，另一方面，系統(tǒng)要具有容錯(cuò)性，采用備份等容錯(cuò)和容災(zāi)措施。

2. 擴(kuò)充靈活性

由于信息技術(shù)的不斷發(fā)展，在建設(shè)存儲(chǔ)系統(tǒng)時(shí)不僅要立足于當(dāng)前的需要，還要保證系統(tǒng)本身的擴(kuò)展性，能根據(jù)技術(shù)的發(fā)展進(jìn)行二次開發(fā)和利用。

3. 開放性

學(xué)校的各種信息處理系統(tǒng)如郵件系統(tǒng)、計(jì)費(fèi)系統(tǒng)、教務(wù)管理系統(tǒng)等所需環(huán)境各不相同，存儲(chǔ)系統(tǒng)要能夠?qū)⑦@些不同的廠商、不同的操作系統(tǒng)環(huán)境的服務(wù)器集中起來，因此存儲(chǔ)系統(tǒng)應(yīng)遵循國(guó)際標(biāo)準(zhǔn)，具有開放性，能被不同的服務(wù)器接受。

校園數(shù)據(jù)存儲(chǔ)內(nèi)容

經(jīng)過調(diào)查和分析，校園網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)需求主要包括：1.學(xué)校網(wǎng)絡(luò)教學(xué)資源，如精品課程、網(wǎng)絡(luò)教學(xué)平臺(tái)等課程資源；2.校園文化資源，如各類校園文化的站點(diǎn)、VOD點(diǎn)播、校園視頻新聞等；3.校內(nèi)FTP服務(wù)；4.重要的應(yīng)用系統(tǒng)及公共數(shù)據(jù)庫，如計(jì)費(fèi)系統(tǒng)、校園一卡通、辦公、教務(wù)、財(cái)務(wù)、人事、資產(chǎn)管理等數(shù)據(jù)庫；5.學(xué)校各類網(wǎng)站；6.大規(guī)模的郵件系統(tǒng)以及相應(yīng)的郵件網(wǎng)關(guān)系統(tǒng)。這些需求包括校園網(wǎng)內(nèi)核心數(shù)據(jù)和普通數(shù)據(jù)，使用35臺(tái)操作系統(tǒng)各不相同的服務(wù)器，其特點(diǎn)是應(yīng)用環(huán)境復(fù)雜，數(shù)據(jù)庫呈現(xiàn)多樣性。系統(tǒng)結(jié)構(gòu)分四部分

根據(jù)建設(shè)原則和需求分析，我們?cè)诂F(xiàn)有服務(wù)器的基礎(chǔ)上構(gòu)建光纖存儲(chǔ)系統(tǒng)（FCSAN）。該系統(tǒng)包括4個(gè)組成部分：服務(wù)器、互聯(lián)設(shè)備（光纖交換機(jī)）、存儲(chǔ)設(shè)備（光纖交換機(jī)）、備份系統(tǒng)。如圖所示。

網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)（SAN）使用2臺(tái)16口光纖交換機(jī)作為互聯(lián)設(shè)備，分別連接現(xiàn)有數(shù)據(jù)中心的35臺(tái)服務(wù)器和光纖存儲(chǔ)陣列?，F(xiàn)有的多臺(tái)服務(wù)器通過光纖通道卡（HBA卡）連接到SAN中。光纖存儲(chǔ)陣列通過光纖交換機(jī)提供給服務(wù)器各種應(yīng)用所需的存儲(chǔ)容量，使用存儲(chǔ)管理軟件對(duì)存儲(chǔ)容量進(jìn)行添加、刪除、劃分。所有服務(wù)器都通過雙鏈路連接存儲(chǔ)系統(tǒng)，保證服務(wù)器和鏈路的高可用性。

按照信息生命周期管理理念，我們?cè)谶M(jìn)行存儲(chǔ)容量配置時(shí)，采用分層存儲(chǔ)，將不同級(jí)別的系統(tǒng)應(yīng)用架構(gòu)在不同成本的存儲(chǔ)介質(zhì)上。根據(jù)南通大學(xué)為網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)建設(shè)投資的經(jīng)費(fèi)預(yù)算，本次共規(guī)劃存儲(chǔ)系統(tǒng)容量13.5T，對(duì)于性能要求高的校園一卡通、郵件系統(tǒng)等關(guān)鍵數(shù)據(jù)庫數(shù)據(jù)，配置6T全光纖硬盤存放，對(duì)于其他性能要求不高的數(shù)據(jù)如校園文化資源等數(shù)據(jù)配置7.5T光纖通道ATA硬盤存放。因磁盤陣列上放置硬盤的磁盤籠單獨(dú)采購(gòu)價(jià)格比較昂貴，我們?cè)诒敬尉W(wǎng)絡(luò)存儲(chǔ)系統(tǒng)建設(shè)中將陣列上的磁盤籠全部配滿，方便將來硬盤擴(kuò)容。存儲(chǔ)陣列的合理選型

存儲(chǔ)陣列是FC-SAN的核心，其性能的優(yōu)越與適用與否決定SAN的整體效能。不同品牌的存儲(chǔ)設(shè)備在性能和技術(shù)參數(shù)有很大差別。我們?cè)诓少?gòu)前對(duì)存儲(chǔ)設(shè)備進(jìn)行充分的調(diào)研，將存儲(chǔ)供應(yīng)商提供的設(shè)備性能指標(biāo)、特性參數(shù)及產(chǎn)品優(yōu)勢(shì)等數(shù)據(jù)羅列成表逐一對(duì)比，結(jié)合學(xué)校特點(diǎn)和需求合理選型。

我們?cè)谙到y(tǒng)建設(shè)中特別關(guān)注網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)交換能力及數(shù)據(jù)在網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的安全性。存儲(chǔ)系統(tǒng)的磁盤陣列的控制器采用全交換結(jié)構(gòu)，因?yàn)槿粨Q結(jié)構(gòu)數(shù)據(jù)傳輸能力比點(diǎn)對(duì)點(diǎn)結(jié)構(gòu)更強(qiáng)，特別是在磁盤陣列所配容量達(dá)到滿配值的一半時(shí)，使用點(diǎn)對(duì)點(diǎn)結(jié)構(gòu)的數(shù)據(jù)傳輸能力將大大減弱。存儲(chǔ)系統(tǒng)具有RAID重組技術(shù)，無需停止服務(wù)器對(duì)該RAID組的訪問，將數(shù)據(jù)從一個(gè)RAID組移動(dòng)到另一個(gè)RAID組，比如Raid5可以與Raid0、Raid0＋1進(jìn)行在線轉(zhuǎn)換。這樣的好處是，可以簡(jiǎn)便部署硬盤容量的釋放和數(shù)據(jù)RAID級(jí)別轉(zhuǎn)換。存儲(chǔ)系統(tǒng)還具有重要的故障磁盤數(shù)據(jù)保護(hù)功能，它可以預(yù)先對(duì)硬盤進(jìn)行參數(shù)檢測(cè)，在硬盤出現(xiàn)異常預(yù)兆時(shí)提出報(bào)警，并把數(shù)據(jù)拷貝到全局熱備份盤中，而不是在硬盤損壞后才將數(shù)據(jù)拷出，這樣能夠避免傳統(tǒng)Raid5同時(shí)損壞兩塊盤的情況下無法恢復(fù)數(shù)據(jù)的危險(xiǎn)。存儲(chǔ)系統(tǒng)的這些功能大大提高數(shù)據(jù)在備份前的安全性。

備份系統(tǒng)采用增量備份

備份系統(tǒng)由備份管理服務(wù)器和高速磁帶機(jī)組成，它為整個(gè)存儲(chǔ)系統(tǒng)提供網(wǎng)絡(luò)數(shù)據(jù)備份和恢復(fù)系統(tǒng)兩個(gè)方面的功能。數(shù)據(jù)備份采用增量備份的形式（即自上一次備份以來更新的所有數(shù)據(jù)），在每日用戶量較少時(shí)進(jìn)行。我們采用Veritas Netbackup Enterprise Serve數(shù)據(jù)備份管理軟件。該系統(tǒng)軟件可以為大規(guī)模的Unix、Windows、Linux環(huán)境提供大型機(jī)級(jí)別的數(shù)據(jù)保護(hù)，還可以為Oracle、Mircosoft SQL Serve、Lotus Notes、Domino Sybase等提供相應(yīng)的數(shù)據(jù)庫和應(yīng)用的備份與恢復(fù)解決方案，符合學(xué)校信息存儲(chǔ)系統(tǒng)數(shù)據(jù)庫多樣性的特點(diǎn)。

圖 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)結(jié)構(gòu)

取得的四大實(shí)效

該存儲(chǔ)系統(tǒng)實(shí)施以來，取得很好的效果，主要表現(xiàn)在以下4個(gè)方面：

1. 本次建設(shè)的存儲(chǔ)帶寬達(dá)到4Gbps，能滿足多節(jié)點(diǎn)客戶端數(shù)據(jù)請(qǐng)求及大容量數(shù)據(jù)存儲(chǔ)的需要，較好地解決數(shù)據(jù)傳輸及存儲(chǔ)數(shù)據(jù)的通道瓶頸問題。

2. 由于數(shù)據(jù)處理和主網(wǎng)絡(luò)運(yùn)行分離，從而縮短系統(tǒng)響應(yīng)時(shí)間，極大提升了主網(wǎng)絡(luò)的運(yùn)行性能和運(yùn)行速度。針對(duì)諸多應(yīng)用如校園郵件、網(wǎng)絡(luò)課程，尤其是對(duì)實(shí)時(shí)性要求很高的一卡通等關(guān)鍵性應(yīng)用數(shù)據(jù)，校園網(wǎng)用戶能實(shí)時(shí)查詢數(shù)據(jù)。

3. 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)建成后，已經(jīng)成為南通大學(xué)統(tǒng)一的數(shù)據(jù)中心，實(shí)現(xiàn)校園網(wǎng)復(fù)雜的數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)多數(shù)據(jù)庫、多用戶管理、多部門關(guān)鍵數(shù)據(jù)的集中存儲(chǔ)、集中備份和集中管理，為各個(gè)應(yīng)用系統(tǒng)和重要數(shù)據(jù)的安全管理提供保障。

4. 本次購(gòu)買的存儲(chǔ)陣列最大可以配置到35TB容量的全光纖通道硬盤，如果配置其他非光纖盤可以最大達(dá)到60TB容量，在未來較長(zhǎng)的一段時(shí)間內(nèi)可以滿足學(xué)校數(shù)據(jù)中心數(shù)據(jù)成長(zhǎng)的需要。該陣列主機(jī)接口可以擴(kuò)充到8個(gè)，同時(shí)支持iSCSI接口技術(shù)，方便以后靈活部署SAN的應(yīng)用。

由于SAN的架構(gòu)復(fù)雜，涉及眾多設(shè)備和管理技術(shù)，在建設(shè)過程中需要注意：1.認(rèn)真細(xì)致地做好容量、功能等的需求分析，這樣有利于方案的設(shè)計(jì)；2.注意與現(xiàn)有服務(wù)器等設(shè)備和機(jī)房環(huán)境的結(jié)合，使原有設(shè)備投資得到保護(hù)；3.配備必要的專職技術(shù)人員，加強(qiáng)技術(shù)文檔的管理，保障SAN的高效運(yùn)行。

（作者單位為南通大學(xué)現(xiàn)代教育技術(shù)中心）