運營商業(yè)務(wù)平臺資源池集群文件系統(tǒng)

鄔宏 耿燕

摘要

集群文件系統(tǒng)可解決網(wǎng)絡(luò)中心當(dāng)前遇到的存儲管理的難題，兼有主機層虛擬化功能和存儲層的高級管理功能，能夠簡化存儲虛擬化的實現(xiàn)。一是完成所有主機平臺的邏輯卷和文件系統(tǒng)操作，提供超強的在線管理功能;二足完成磁盤陣列具有的高級存儲管理功能，如數(shù)據(jù)遷移、復(fù)制、多路徑等。本文描述了集群文件系統(tǒng)研究的必要性和關(guān)鍵技術(shù)，并對實例應(yīng)用進行評測，淺析集群文件系統(tǒng)在解決異構(gòu)存儲方面有較好應(yīng)用效果。

【關(guān)鍵詞】集群文件 故障轉(zhuǎn)移 數(shù)據(jù)一致性

1 引言

運營商網(wǎng)絡(luò)中系統(tǒng)存現(xiàn)的停機和不可用現(xiàn)象持續(xù)在增加。運營商要求服務(wù)器廠商的服務(wù)質(zhì)量及水平變得越來越苛刻，在無附加高價值組件時，傳統(tǒng)單實例文件系統(tǒng)高可用性無法得到保障。非結(jié)構(gòu)化數(shù)據(jù)和數(shù)據(jù)庫需配套其他中間件產(chǎn)品，造成系統(tǒng)本身故障恢復(fù)機制難以運轉(zhuǎn)，系統(tǒng)復(fù)雜度增加。

集群文件系統(tǒng)作為分布式文件系統(tǒng)的一個子集，具備高性能和無單節(jié)點風(fēng)險等優(yōu)勢，可控制多節(jié)點實現(xiàn)全局高可用、高性能或負(fù)載均衡的文件處理系統(tǒng)。集群文件系統(tǒng)本身被封裝成一個單獨的、透明的、被標(biāo)記的全局空間，所有文件訪問請求均被調(diào)度至這個封裝的空間中進行集群式處理。

2 集群文件系統(tǒng)關(guān)鍵技術(shù)

2.1 故障轉(zhuǎn)移

故障遷移是指系統(tǒng)采用多類型快照方式和跨陣列模式，通過低成本的卷（磁盤陣列），基于測試、數(shù)據(jù)分析、快速恢復(fù)等手段對在線數(shù)據(jù)的邏輯錯誤進行處理。在不改變集群文件系統(tǒng)架構(gòu)下，跨卷（磁盤陣列）在線數(shù)據(jù)遷移成為可能，同時系統(tǒng)管理者可將任何文件在任何時間點上任意遷移至所有卷（磁盤陣列）上，這些都是在不暫停應(yīng)用軟件的背景下進行的。

運營商生產(chǎn)系統(tǒng)的存儲根據(jù)不同類型的需求，往往同時使用兩種或多種不同應(yīng)用廠商的存儲，這就要求文件系統(tǒng)可以把不同廠商、不同類型的陣列做成一個鏡像，當(dāng)其中的任一存儲出現(xiàn)物理故障時，對業(yè)務(wù)系統(tǒng)無感知，真正實現(xiàn)業(yè)務(wù)系統(tǒng)的RPO=0。鏡像中任一存儲宕機，都不會導(dǎo)致應(yīng)用中斷，從而消除存儲的單點故障。同時支持對鏡像在突然斷電或在人為拆分后的快速同步恢復(fù)。

2.2 數(shù)據(jù)一致性及完整性

數(shù)據(jù)庫在執(zhí)行任意數(shù)據(jù)操作時，操作結(jié)果不損壞數(shù)據(jù)，并保證數(shù)據(jù)庫狀態(tài)從某——致性穩(wěn)態(tài)轉(zhuǎn)換至另——致性穩(wěn)態(tài)，此過程稱為數(shù)據(jù)一致性及完整性。當(dāng)事務(wù)執(zhí)行完成，所有數(shù)據(jù)狀態(tài)保持一致，數(shù)據(jù)庫一致性被保證。保證數(shù)據(jù)一致性要從兩方面考慮，即數(shù)據(jù)的“讀”和“寫”，保證數(shù)據(jù)庫的一致性是數(shù)據(jù)庫管理系統(tǒng)的一項功能。

一套業(yè)務(wù)平臺資源池的所有節(jié)點在訪問任意文件時，集群文件系統(tǒng)必須保持統(tǒng)一版本。資源池中緩存一致性是基礎(chǔ)，這在多服務(wù)器節(jié)點有權(quán)限訪問資源池的應(yīng)用軟件架構(gòu)中尤為重要。集群文件系統(tǒng)可以多用戶同時訪問，而不造成系統(tǒng)延誤。但是同時只有單一用戶可對文件進行寫操作，保證數(shù)據(jù)的有效及安全，分配文件鎖定權(quán)限基于跨集群文件中的所有節(jié)點，集群文件可伸縮性接近線性。

3 實例方案分析

某運營商省公司業(yè)務(wù)平臺資源池系統(tǒng)采用X86架構(gòu)服務(wù)器實現(xiàn)分布式集群化部署，因系統(tǒng)架構(gòu)需多個存儲訪問節(jié)點，存儲設(shè)備采用EMC和HDS兩個廠家。兩廠家多路徑功能軟件不能同時在一臺服務(wù)器上共存，導(dǎo)致每個服務(wù)器只能使用同一廠家的存儲空間。為保證業(yè)務(wù)平臺資源池的順利部署及實施，需具備集群文件共享能力。

3.1 測試環(huán)境

在現(xiàn)有業(yè)務(wù)平臺資源池的測試區(qū)搭建網(wǎng)絡(luò)、安全、X86服務(wù)器、異構(gòu)存儲等組成的測試環(huán)境。軟件開放性應(yīng)遵循SNIA開放式存儲管理標(biāo)準(zhǔn)。保證長期提供對第三方設(shè)備的管理接口?？梢酝髁骺偪叵到y(tǒng)緊密集成，實現(xiàn)統(tǒng)一的網(wǎng)絡(luò)及系統(tǒng)管理。在主流UNIX平臺具有統(tǒng)一的存儲格式，實現(xiàn)跨平臺數(shù)據(jù)共享。

3.2 對集群文件部署進行評測

存儲虛擬化實現(xiàn)對現(xiàn)有的“主機+交換機+磁盤陣列”的磁盤陣列訪問物理連接方式未做任何調(diào)整，未增加系統(tǒng)硬件連接的復(fù)雜度;系統(tǒng)響應(yīng)能力大于等于單個磁盤陣列、未虛擬化以前的性能;兼容現(xiàn)網(wǎng)廠商的主機設(shè)備及操作系統(tǒng)、存儲設(shè)備和數(shù)據(jù)庫平臺;具備分級存儲能力，對存儲并發(fā)訪問的能力，對數(shù)據(jù)庫訪問存儲的速度優(yōu)化，實現(xiàn)容災(zāi)功能。

業(yè)務(wù)平臺資源池在采用集群文件系統(tǒng)后，不僅解決了異構(gòu)存儲的多路徑問題，同時提升了系統(tǒng)以下幾個方面的性能：在線存儲遷移：老舊陣列退網(wǎng)時遷移數(shù)據(jù)工作全部在線完成，保證應(yīng)用系統(tǒng)不停機，業(yè)務(wù)不受影響;保證數(shù)據(jù)一致及完整：系統(tǒng)通過對文件訪問以及寫入的控制，保證了整個文件系統(tǒng)中數(shù)據(jù)的一致性和完整性，確保數(shù)據(jù)不丟失，不損壞;同步復(fù)制不停機切換：通信行業(yè)對數(shù)據(jù)保存要求保證系統(tǒng)7*24小時不間斷的特性，為防止陣列問題時引起的數(shù)據(jù)丟失或應(yīng)用停機，滿足RTO等于。的應(yīng)用環(huán)境，采用集群文件系統(tǒng)的鏡像切換，沒有任何停機時間;快照數(shù)據(jù)備份與恢復(fù)：傳統(tǒng)的磁帶備份不滿足一些應(yīng)用的備份窗口和恢復(fù)要求，數(shù)據(jù)快照是傳統(tǒng)備份的有力補充，SF能夠?qū)?shù)據(jù)快照到低端存儲上，達到改善備份和恢復(fù)性能的同時，降低成本，提高靈活性。

4 結(jié)論

本次研究介紹了集群文件系統(tǒng)在運營商領(lǐng)域應(yīng)用的價值，對集群文件系統(tǒng)的故障轉(zhuǎn)移和數(shù)據(jù)一致性等關(guān)鍵技術(shù)進行了簡要分析。針對實例應(yīng)用中遇到的問題，采用集群文件系統(tǒng)進行解決，并搭建集群文件系統(tǒng)網(wǎng)絡(luò)測試環(huán)境，對解決方案的功能、性能、安全、互通等指標(biāo)進行模擬驗證，證明集群文件系統(tǒng)不僅解決了業(yè)務(wù)平臺資源池的異構(gòu)存儲多路徑問題，也對數(shù)據(jù)存儲性能方面給予提升。

參考文獻

[1]鄭法，鄭東.高性能集群文件系統(tǒng)的研究[J].計算機工程，2004，30（s1）：101-102.

[2]賈瑞勇，張延園.基于網(wǎng)絡(luò)存儲的異構(gòu)集群文件系統(tǒng)研究與實現(xiàn)[J].西北工業(yè)大學(xué)學(xué)報，2005，23（01）：49-54.