分布式文件存儲在跨局址數(shù)據(jù)備份和數(shù)據(jù)遷移中的設(shè)計與應(yīng)用

王 偉

（華信咨詢設(shè)計研究院有限公司，杭州 310014）

傳統(tǒng)存儲面臨性價比低、擴展性有限等問題，云存儲[1]具備高擴展性、低成本、易管理性等優(yōu)勢正好有效的彌補了傳統(tǒng)存儲的短板。在數(shù)據(jù)量增長很快，或者數(shù)據(jù)總量大的業(yè)務(wù)系統(tǒng)中，常采用云存儲技術(shù)。云存儲可分為分布式塊存儲、分布式文件存儲[2]和分布式對象存儲。本文以某運營商網(wǎng)管支撐系統(tǒng)在擴容升級過程中系統(tǒng)平臺X86化改造為背景，介紹分布式文件存儲在跨局址數(shù)據(jù)備份和數(shù)據(jù)遷移[3]中的設(shè)計與應(yīng)用。

1 數(shù)據(jù)備份

網(wǎng)管原有系統(tǒng)集中部署在某市A機房，為滿足網(wǎng)管業(yè)務(wù)發(fā)展，需將A機房部分網(wǎng)管支撐系統(tǒng)整體遷移至某市B機房，A機房與B機房之間相距50公里。其中涉及網(wǎng)管支撐系統(tǒng)數(shù)據(jù)庫遷移和系統(tǒng)平臺X86化改造，同時完成A機房和B機房業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)庫備份。本設(shè)計針對網(wǎng)管支撐系統(tǒng)的數(shù)據(jù)備份需求，采用容量型分布式文件存儲替代傳統(tǒng)磁帶庫或虛擬帶庫，并通過以太網(wǎng)交換機組建備份網(wǎng)絡(luò)，可有效降低系統(tǒng)的建設(shè)成本和系統(tǒng)運維難度，并提升數(shù)據(jù)備份效率。

分布式文件存儲系統(tǒng)硬件由X86服務(wù)器和內(nèi)部系統(tǒng)網(wǎng)絡(luò)交換機組成[4]。內(nèi)部系統(tǒng)網(wǎng)絡(luò)包含前端服務(wù)網(wǎng)絡(luò)和后端數(shù)據(jù)交換網(wǎng)絡(luò)，兩者采用獨立網(wǎng)絡(luò)，均具有高可靠、高帶寬、低延遲等特點。前端服務(wù)網(wǎng)絡(luò)支撐千兆和萬兆網(wǎng)絡(luò)接入，支持IEEE 802.3ad 網(wǎng)絡(luò)端口綁定，實現(xiàn)帶寬聚合與高可靠，支持VLAN和802.1Q。后端數(shù)據(jù)交換網(wǎng)絡(luò)，用于存儲節(jié)點間數(shù)據(jù)交換，組網(wǎng)可采用冗余配置的萬兆以太網(wǎng)或In fi niBand交換機（簡稱IB交換機，多用于高性能場景）。分布式文件存儲提供標準的NFS、CIFS、FTP訪問和POSIX接口，支持IO并發(fā)多隊列讀寫（前端服務(wù)網(wǎng)絡(luò)單節(jié)點網(wǎng)絡(luò)帶寬2×10GE），并通過12×10GE以太網(wǎng)網(wǎng)絡(luò)和NFS協(xié)議與備份管理服務(wù)器實現(xiàn)數(shù)據(jù)通信，實際備份效率可達到500MB/s，有效提升數(shù)據(jù)備份效率。此外，由于整體采用以太網(wǎng)交換機組網(wǎng)，備份系統(tǒng)運維管理難度相當(dāng)降低。

圖1 跨局址數(shù)據(jù)備份網(wǎng)絡(luò)拓撲

A機房網(wǎng)管支撐系統(tǒng)通過LAN備份方式，采用Veritas NBU備份管理軟件和備份管理服務(wù)器將存儲在傳統(tǒng)磁盤陣列上的Oracle數(shù)據(jù)庫經(jīng)過跨局址傳輸鏈路（8×10GE）備份至B機房浪潮分布式文件存儲上。B機房網(wǎng)管支撐系統(tǒng)通過LAN備份方式，采用Veritas NBU備份管理軟件和備份管理服務(wù)器將存儲在分布式塊存儲上的Oracle數(shù)據(jù)庫備份至B機房浪潮分布式文件存儲上。

2 數(shù)據(jù)遷移

隨著運營商IT支撐系統(tǒng)X86化改造工作的推進，傳統(tǒng)Unix服務(wù)器+磁盤陣列的數(shù)據(jù)庫模式逐漸演進為X86服務(wù)器+分布式塊存儲的數(shù)據(jù)庫模式。為了減少數(shù)據(jù)遷移對業(yè)務(wù)系統(tǒng)的影響，一般通過數(shù)據(jù)在線遷移方式完成[5]。A機房和B機房相距較遠，通過磁盤陣列底層數(shù)據(jù)復(fù)制方式實現(xiàn)的傳統(tǒng)數(shù)據(jù)在線遷移方案成本和實施難度相當(dāng)較大。鑒于A機房Oracle數(shù)據(jù)庫（單個數(shù)據(jù)庫容量約為20TB）已備份存儲在B機房分布式文件存儲上，可通過B機房備份管理服務(wù)器采用備份數(shù)據(jù)恢復(fù)方式[3]，將A機房備份在分布式文件存儲上的數(shù)據(jù)庫直接在B機房作為數(shù)據(jù)庫存儲的分布式塊存儲上進行恢復(fù)（B機房內(nèi)需重構(gòu)A機房原有網(wǎng)管支撐系統(tǒng)數(shù)據(jù)庫，含數(shù)據(jù)庫服務(wù)器和數(shù)據(jù)庫存儲設(shè)備），進而間接實現(xiàn)A機房內(nèi)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫跨機房遷移。由于數(shù)據(jù)庫服務(wù)器操作系統(tǒng)差異（Unix和Linux）恢復(fù)后的數(shù)據(jù)需要進行適當(dāng)?shù)臄?shù)據(jù)庫參數(shù)調(diào)優(yōu)操作[6]。

圖2 備份數(shù)據(jù)恢復(fù)數(shù)據(jù)路由示意

通過分布式文件存儲跨局址數(shù)據(jù)備份間接實現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移，可減少數(shù)據(jù)在線遷移相關(guān)硬件設(shè)備的采購，同時縮短數(shù)據(jù)遷移的時間和實施難度，有效解決運營商業(yè)務(wù)系統(tǒng)升級擴容因機房空間緊張必須實施業(yè)務(wù)系統(tǒng)整體搬遷的難題。

3 結(jié)束語

可以看出，通過分布式文件存儲實現(xiàn)跨局址數(shù)據(jù)備份和數(shù)據(jù)遷移，可減少系統(tǒng)建設(shè)成本，同時降低項目實施難度，具有較大的借鑒意義。原有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫備份和遷移業(yè)務(wù)數(shù)據(jù)庫建設(shè)工作可同時進行，但由于數(shù)據(jù)備份和數(shù)據(jù)恢復(fù)均需要消耗一定時間，因此針對數(shù)據(jù)實時性要求較高的業(yè)務(wù)系統(tǒng)（如在線計費系統(tǒng)），不建議通過分布式文件存儲備份數(shù)據(jù)恢復(fù)方式實現(xiàn)數(shù)據(jù)遷移。分布式文件存儲作為新型數(shù)據(jù)備份介質(zhì)在信息化系統(tǒng)建設(shè)中完全可替代傳統(tǒng)磁盤庫和虛擬帶庫。

[1] 胡文波，徐造林.分布式存儲方案的設(shè)計與研究[J].計算機技術(shù)與發(fā)展，2010（20）：65-68.

[2] 啜俊娜.基于Hadoop的分布式文件存儲服務(wù)平臺設(shè)計與實現(xiàn)[D].浙江大學(xué)，2012.

[3] 蘇艷森.分布式文件存儲平臺文件備份與恢復(fù)系統(tǒng)設(shè)計與實現(xiàn)[D].浙江大學(xué)，2008.

[4] 陳正舉.一種分布式文件存儲系統(tǒng)的探索與應(yīng)用[J].中國市場，2017（12）：36-39.

[5] 劉海英，馮文秀，杜曉通.管理信息系統(tǒng)升級過程中數(shù)據(jù)遷移的研究及實現(xiàn)[J].電力自動化設(shè)備，2005（5）：37-39.

[6] 杜賓，王明文.跨平臺數(shù)據(jù)遷移的研究和實現(xiàn)[J].計算機與現(xiàn)代化，2001（6）：5-10.