云背景下存儲(chǔ)資源整合研究

陶銳　凃云杰

摘要：研究了存儲(chǔ)資源的整合與管理。首先對(duì)虛擬存儲(chǔ)、分布式文件系統(tǒng)和負(fù)載均衡等相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上提出了一種存儲(chǔ)資源整合的模型以及相關(guān)技術(shù)方案。

關(guān)鍵詞：云存儲(chǔ)；分布式文件系統(tǒng)；負(fù)載均衡

中圖分類(lèi)號(hào)：F49文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16723198（2014）07017201

1引言

科技改變生活，目前人們對(duì)數(shù)據(jù)存儲(chǔ)的需求已經(jīng)漸漸脫離移動(dòng)磁盤(pán)，而更多的需求是面向云存儲(chǔ)的，比如文章、相冊(cè)、視頻等均已曬到網(wǎng)上。隨著這種習(xí)慣的改變和用戶(hù)對(duì)云儲(chǔ)存需求的增加，用戶(hù)訪問(wèn)頻率和數(shù)據(jù)上傳、下載的吞吐量也隨之飛速提升，這些變化對(duì)云環(huán)境中的數(shù)據(jù)傳輸能力、存儲(chǔ)能力和計(jì)算能力等方面都是嚴(yán)峻的考驗(yàn)，至少目前來(lái)看單一的服務(wù)器設(shè)備是難以為繼的。如果不計(jì)成本的進(jìn)行硬件升級(jí)的話(huà)短時(shí)的效果通常是很好的，但當(dāng)面臨下一次升級(jí)時(shí)呢？這種硬件成本的投入是無(wú)止境的，從另外一方面講沒(méi)有哪種設(shè)備能夠無(wú)止境的滿(mǎn)足業(yè)務(wù)量不斷飛升的需求。本文結(jié)合作者工作單位的相關(guān)資源環(huán)境討論一種將新舊資源進(jìn)行整合，并采用云技術(shù)進(jìn)行管理的研究思路。

2相關(guān)技術(shù)研究

2.1虛擬存儲(chǔ)

在以往的工作中碰到過(guò)這樣的事情，冗余磁盤(pán)陣列擴(kuò)容，RAID卡不支持怎么辦？備份數(shù)據(jù)重建RAID，再回拷。那是個(gè)很漫長(zhǎng)的過(guò)程。數(shù)據(jù)遷移造成了很長(zhǎng)的服務(wù)器停機(jī)時(shí)間?，F(xiàn)如今的網(wǎng)絡(luò)存儲(chǔ)環(huán)境中依然存在這樣的情況，這是一個(gè)很典型的新老設(shè)備并存的案例，正如引言中說(shuō)的那樣，一味的更換新設(shè)備不是長(zhǎng)久之計(jì)?；蛟S可以換一種思路，看一下高校的校園網(wǎng)或者企業(yè)網(wǎng)，在這些環(huán)境中真的缺乏存儲(chǔ)介質(zhì)么？是否一定要購(gòu)買(mǎi)新的設(shè)備呢？答案是否定的，因?yàn)楝F(xiàn)成的存儲(chǔ)介質(zhì)就擺在那等著我們使用，這就是存儲(chǔ)介質(zhì)利用率的問(wèn)題。為此是否可以將常用的面向應(yīng)用轉(zhuǎn)向面向存儲(chǔ)呢？將服務(wù)器和存儲(chǔ)器的強(qiáng)耦合關(guān)系打破，把目光從一臺(tái)服務(wù)器拓展到全網(wǎng)會(huì)怎樣。沒(méi)錯(cuò)，這就是虛擬存儲(chǔ)。通過(guò)這一技術(shù)在服務(wù)器和物理存儲(chǔ)介質(zhì)之間增加一個(gè)虛擬層，將物理存儲(chǔ)介質(zhì)包裹起來(lái)，并對(duì)服務(wù)器提供數(shù)據(jù)貯存服務(wù)。從而使服務(wù)器擺脫磁盤(pán)多少的限制，充分利用現(xiàn)有存儲(chǔ)體，使得前述中提到的閑置存儲(chǔ)空間得到充分的利用，低碳環(huán)保。然而虛擬存儲(chǔ)的目的并不僅僅是低碳環(huán)保而已，其更重要的作用是為了增加易擴(kuò)展性和易管理性。目前較為常見(jiàn)的基于云的存儲(chǔ)結(jié)構(gòu)如圖1所示。

圖1云存儲(chǔ)環(huán)境2.2分布式文件系統(tǒng)

分布式意味著其存儲(chǔ)介質(zhì)在空間上是離散的，而文件則是應(yīng)用與數(shù)據(jù)之間的接口。分布式文件系統(tǒng)主要任務(wù)是管理與屏蔽存儲(chǔ)介質(zhì)，從而形成抽象的存儲(chǔ)空間，其有著多機(jī)、多用戶(hù)的特性。例如谷歌文件系統(tǒng)（google file system）和快速分布式文件系統(tǒng)（fast distributed file system），均是針對(duì)海量存儲(chǔ)提出的分布式解決方案。

2.3負(fù)載均衡（load balance）

負(fù)載均衡是解決新舊存儲(chǔ)設(shè)備整合的要素之一。在整合的虛擬存儲(chǔ)空間中，涉及到不同種類(lèi)的物理實(shí)體，它們之間有著不同的運(yùn)算、處理、分發(fā)、吞吐能力等。將面向虛擬存儲(chǔ)體的讀寫(xiě)操作按照相應(yīng)的工作量級(jí)分配到不同的物理實(shí)體中，是均衡負(fù)載要考慮的宏觀問(wèn)題。其具體實(shí)現(xiàn)途徑要看具體的情況而定。在規(guī)模較小的環(huán)境中通過(guò)在各臺(tái)服務(wù)器上安裝軟件來(lái)實(shí)現(xiàn)均衡負(fù)載，其應(yīng)用簡(jiǎn)單成本也很低；針對(duì)所轄的服務(wù)器群將流量均衡分配給各個(gè)服務(wù)器從而實(shí)現(xiàn)均衡的效果；在廣域網(wǎng)中服務(wù)器在地理位置上高度離散，則可通過(guò)IP定位將訪問(wèn)轉(zhuǎn)向臨近負(fù)載，而實(shí)現(xiàn)均衡；在不更改鏈路層而又帶寬固定的環(huán)境中，則可將多個(gè)物理層看作一個(gè)邏輯層，從而使流量在聚合鏈路中得以均衡等等。具體實(shí)現(xiàn)無(wú)外乎軟件和硬件兩種，在用戶(hù)看來(lái)負(fù)載均衡設(shè)備只是一臺(tái)服務(wù)器，事實(shí)上可以通過(guò)2塊網(wǎng)卡分別連內(nèi)外網(wǎng)將“均衡器”集成在PC中，負(fù)載均衡的主要職責(zé)還包括不間斷的提供服務(wù)，比如把向當(dāng)機(jī)的服務(wù)器提交的請(qǐng)求分配給影子服務(wù)器等。

3存儲(chǔ)資源整合

3.1存儲(chǔ)資源整合模型

前述提出了整合存儲(chǔ)資源的思路和相關(guān)技術(shù)。那么離散、分立甚至不確定的存儲(chǔ)介質(zhì)要如何統(tǒng)一管理呢。為此首先分析一下在云存儲(chǔ)環(huán)境下讀寫(xiě)操作的主體客體，主體是用戶(hù)提交了訪問(wèn)請(qǐng)求，而客體則是提供數(shù)據(jù)及相關(guān)服務(wù)的存儲(chǔ)介質(zhì)或服務(wù)器。也就是說(shuō)這是發(fā)生在有訪問(wèn)需求的用戶(hù)和存儲(chǔ)體之間的事情，需要做的恐怕只是將訪問(wèn)目標(biāo)快速準(zhǔn)確的找到并提交給用戶(hù)即可，而這項(xiàng)工作則需要訪問(wèn)的主客體之外的第三方來(lái)承擔(dān)。這三者交換過(guò)程是，首先由客戶(hù)端提出訪問(wèn)請(qǐng)求給第三方，再由第三方給出具體的存儲(chǔ)地址，并將該地址發(fā)送給客戶(hù)端，客戶(hù)端收到地址后依據(jù)該地址進(jìn)行實(shí)際訪問(wèn)?？梢?jiàn)這里的第三方起到了資源定位與管理的作用。如果將這三者分別命名為客戶(hù)端、定位器和存儲(chǔ)器集群那么他們的訪問(wèn)流程如圖2所示。

圖2存儲(chǔ)資源整合模型3.2定位器的構(gòu)成

從圖2的模型中可以看出，定位器在系統(tǒng)中處于中央節(jié)點(diǎn)位置。其職責(zé)除了地址索引之外還要完成第2節(jié)中提到的負(fù)載均衡任務(wù)，為此要設(shè)置獨(dú)立的服務(wù)器來(lái)完成這些任務(wù)。在實(shí)際應(yīng)用中客戶(hù)端也一定是集群化的，因此采用單一的定位服務(wù)器也是不現(xiàn)實(shí)的，那么實(shí)際上圖2中的三個(gè)主體都是集群化的。在存儲(chǔ)資源管理方面，資源定位列表需要駐留內(nèi)存，從而保障服務(wù)器的實(shí)時(shí)性。不過(guò)對(duì)駐留內(nèi)存的數(shù)據(jù)內(nèi)容需要進(jìn)行篩選，通常只記錄存儲(chǔ)器集群的狀態(tài)信息而不記錄文件索引信息，從而保證較少的內(nèi)存開(kāi)銷(xiāo)和足夠短的響應(yīng)時(shí)間，避免成為系統(tǒng)瓶頸。

3.3存儲(chǔ)器集群的構(gòu)成

整合的存儲(chǔ)資源存在動(dòng)態(tài)可變的因素，為此需要考慮其存儲(chǔ)文件的可靠性和穩(wěn)定性問(wèn)題。既然通過(guò)資源整合存儲(chǔ)空間得到了本質(zhì)的提高，那么在此基礎(chǔ)上為了有效解決存儲(chǔ)介質(zhì)離線等動(dòng)態(tài)問(wèn)題，可將文件進(jìn)行備份。為此對(duì)整合后的存儲(chǔ)介質(zhì)進(jìn)行分組管理，具體做法是在每一個(gè)獨(dú)立分組的存儲(chǔ)介質(zhì)上存放相同的文件和備份。比如每個(gè)分組有10臺(tái)，當(dāng)對(duì)該分組寫(xiě)入文件A時(shí)，會(huì)在這10臺(tái)中同時(shí)寫(xiě)入文件A，換句話(huà)說(shuō)組內(nèi)的存儲(chǔ)介質(zhì)是互相備份的。這樣做能夠?yàn)槿哂鄠浞莺拓?fù)載均衡提供基礎(chǔ)條件。然而每組內(nèi)的存儲(chǔ)體不見(jiàn)得都是同時(shí)在線的，那么當(dāng)離線的存儲(chǔ)體再次接入時(shí)就要保證與組內(nèi)的最新文件保持同步，可依據(jù)時(shí)間戳來(lái)完成最新的數(shù)據(jù)同步，但是正在同步過(guò)程中的服務(wù)器暫不允許提供線上服務(wù)，需待同步完成后再切換到線上。當(dāng)出現(xiàn)存儲(chǔ)空間不足時(shí)可動(dòng)態(tài)添加若干臺(tái)服務(wù)器進(jìn)行擴(kuò)容。另外存儲(chǔ)的配置應(yīng)該對(duì)上層應(yīng)用透明，從而保證其順利的配置和運(yùn)行。

4總結(jié)

云背景下的存儲(chǔ)資源整合是有很強(qiáng)的復(fù)雜性的。本文首先對(duì)相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上通過(guò)對(duì)云存儲(chǔ)環(huán)境中要素的抽象，提出了存儲(chǔ)資源整合模型。這是個(gè)理想狀態(tài)的模型，能夠?qū)⑺锌捎玫挠?jì)算和存儲(chǔ)資源進(jìn)行整合，形成一個(gè)邏輯上聚合的結(jié)果，也就是基于云的存儲(chǔ)結(jié)構(gòu)。在模型構(gòu)建和管理方面提出了負(fù)載均衡與調(diào)度、分組管理、互備等技術(shù)方案。整合新舊存儲(chǔ)資源不僅是出于低碳環(huán)保的考慮，更重要的是提高資源使用和管理的靈活性。

參考文獻(xiàn)

[1]曾文軍.虛擬存儲(chǔ)技術(shù)及其在圖書(shū)館中的應(yīng)用研究[J].圖書(shū)館學(xué)研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.

摘要：研究了存儲(chǔ)資源的整合與管理。首先對(duì)虛擬存儲(chǔ)、分布式文件系統(tǒng)和負(fù)載均衡等相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上提出了一種存儲(chǔ)資源整合的模型以及相關(guān)技術(shù)方案。

關(guān)鍵詞：云存儲(chǔ)；分布式文件系統(tǒng)；負(fù)載均衡

中圖分類(lèi)號(hào)：F49文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16723198（2014）07017201

1引言

科技改變生活，目前人們對(duì)數(shù)據(jù)存儲(chǔ)的需求已經(jīng)漸漸脫離移動(dòng)磁盤(pán)，而更多的需求是面向云存儲(chǔ)的，比如文章、相冊(cè)、視頻等均已曬到網(wǎng)上。隨著這種習(xí)慣的改變和用戶(hù)對(duì)云儲(chǔ)存需求的增加，用戶(hù)訪問(wèn)頻率和數(shù)據(jù)上傳、下載的吞吐量也隨之飛速提升，這些變化對(duì)云環(huán)境中的數(shù)據(jù)傳輸能力、存儲(chǔ)能力和計(jì)算能力等方面都是嚴(yán)峻的考驗(yàn)，至少目前來(lái)看單一的服務(wù)器設(shè)備是難以為繼的。如果不計(jì)成本的進(jìn)行硬件升級(jí)的話(huà)短時(shí)的效果通常是很好的，但當(dāng)面臨下一次升級(jí)時(shí)呢？這種硬件成本的投入是無(wú)止境的，從另外一方面講沒(méi)有哪種設(shè)備能夠無(wú)止境的滿(mǎn)足業(yè)務(wù)量不斷飛升的需求。本文結(jié)合作者工作單位的相關(guān)資源環(huán)境討論一種將新舊資源進(jìn)行整合，并采用云技術(shù)進(jìn)行管理的研究思路。

2相關(guān)技術(shù)研究

2.1虛擬存儲(chǔ)

在以往的工作中碰到過(guò)這樣的事情，冗余磁盤(pán)陣列擴(kuò)容，RAID卡不支持怎么辦？備份數(shù)據(jù)重建RAID，再回拷。那是個(gè)很漫長(zhǎng)的過(guò)程。數(shù)據(jù)遷移造成了很長(zhǎng)的服務(wù)器停機(jī)時(shí)間?，F(xiàn)如今的網(wǎng)絡(luò)存儲(chǔ)環(huán)境中依然存在這樣的情況，這是一個(gè)很典型的新老設(shè)備并存的案例，正如引言中說(shuō)的那樣，一味的更換新設(shè)備不是長(zhǎng)久之計(jì)?；蛟S可以換一種思路，看一下高校的校園網(wǎng)或者企業(yè)網(wǎng)，在這些環(huán)境中真的缺乏存儲(chǔ)介質(zhì)么？是否一定要購(gòu)買(mǎi)新的設(shè)備呢？答案是否定的，因?yàn)楝F(xiàn)成的存儲(chǔ)介質(zhì)就擺在那等著我們使用，這就是存儲(chǔ)介質(zhì)利用率的問(wèn)題。為此是否可以將常用的面向應(yīng)用轉(zhuǎn)向面向存儲(chǔ)呢？將服務(wù)器和存儲(chǔ)器的強(qiáng)耦合關(guān)系打破，把目光從一臺(tái)服務(wù)器拓展到全網(wǎng)會(huì)怎樣。沒(méi)錯(cuò)，這就是虛擬存儲(chǔ)。通過(guò)這一技術(shù)在服務(wù)器和物理存儲(chǔ)介質(zhì)之間增加一個(gè)虛擬層，將物理存儲(chǔ)介質(zhì)包裹起來(lái)，并對(duì)服務(wù)器提供數(shù)據(jù)貯存服務(wù)。從而使服務(wù)器擺脫磁盤(pán)多少的限制，充分利用現(xiàn)有存儲(chǔ)體，使得前述中提到的閑置存儲(chǔ)空間得到充分的利用，低碳環(huán)保。然而虛擬存儲(chǔ)的目的并不僅僅是低碳環(huán)保而已，其更重要的作用是為了增加易擴(kuò)展性和易管理性。目前較為常見(jiàn)的基于云的存儲(chǔ)結(jié)構(gòu)如圖1所示。

圖1云存儲(chǔ)環(huán)境2.2分布式文件系統(tǒng)

分布式意味著其存儲(chǔ)介質(zhì)在空間上是離散的，而文件則是應(yīng)用與數(shù)據(jù)之間的接口。分布式文件系統(tǒng)主要任務(wù)是管理與屏蔽存儲(chǔ)介質(zhì)，從而形成抽象的存儲(chǔ)空間，其有著多機(jī)、多用戶(hù)的特性。例如谷歌文件系統(tǒng)（google file system）和快速分布式文件系統(tǒng)（fast distributed file system），均是針對(duì)海量存儲(chǔ)提出的分布式解決方案。

2.3負(fù)載均衡（load balance）

負(fù)載均衡是解決新舊存儲(chǔ)設(shè)備整合的要素之一。在整合的虛擬存儲(chǔ)空間中，涉及到不同種類(lèi)的物理實(shí)體，它們之間有著不同的運(yùn)算、處理、分發(fā)、吞吐能力等。將面向虛擬存儲(chǔ)體的讀寫(xiě)操作按照相應(yīng)的工作量級(jí)分配到不同的物理實(shí)體中，是均衡負(fù)載要考慮的宏觀問(wèn)題。其具體實(shí)現(xiàn)途徑要看具體的情況而定。在規(guī)模較小的環(huán)境中通過(guò)在各臺(tái)服務(wù)器上安裝軟件來(lái)實(shí)現(xiàn)均衡負(fù)載，其應(yīng)用簡(jiǎn)單成本也很低；針對(duì)所轄的服務(wù)器群將流量均衡分配給各個(gè)服務(wù)器從而實(shí)現(xiàn)均衡的效果；在廣域網(wǎng)中服務(wù)器在地理位置上高度離散，則可通過(guò)IP定位將訪問(wèn)轉(zhuǎn)向臨近負(fù)載，而實(shí)現(xiàn)均衡；在不更改鏈路層而又帶寬固定的環(huán)境中，則可將多個(gè)物理層看作一個(gè)邏輯層，從而使流量在聚合鏈路中得以均衡等等。具體實(shí)現(xiàn)無(wú)外乎軟件和硬件兩種，在用戶(hù)看來(lái)負(fù)載均衡設(shè)備只是一臺(tái)服務(wù)器，事實(shí)上可以通過(guò)2塊網(wǎng)卡分別連內(nèi)外網(wǎng)將“均衡器”集成在PC中，負(fù)載均衡的主要職責(zé)還包括不間斷的提供服務(wù)，比如把向當(dāng)機(jī)的服務(wù)器提交的請(qǐng)求分配給影子服務(wù)器等。

3存儲(chǔ)資源整合

3.1存儲(chǔ)資源整合模型

前述提出了整合存儲(chǔ)資源的思路和相關(guān)技術(shù)。那么離散、分立甚至不確定的存儲(chǔ)介質(zhì)要如何統(tǒng)一管理呢。為此首先分析一下在云存儲(chǔ)環(huán)境下讀寫(xiě)操作的主體客體，主體是用戶(hù)提交了訪問(wèn)請(qǐng)求，而客體則是提供數(shù)據(jù)及相關(guān)服務(wù)的存儲(chǔ)介質(zhì)或服務(wù)器。也就是說(shuō)這是發(fā)生在有訪問(wèn)需求的用戶(hù)和存儲(chǔ)體之間的事情，需要做的恐怕只是將訪問(wèn)目標(biāo)快速準(zhǔn)確的找到并提交給用戶(hù)即可，而這項(xiàng)工作則需要訪問(wèn)的主客體之外的第三方來(lái)承擔(dān)。這三者交換過(guò)程是，首先由客戶(hù)端提出訪問(wèn)請(qǐng)求給第三方，再由第三方給出具體的存儲(chǔ)地址，并將該地址發(fā)送給客戶(hù)端，客戶(hù)端收到地址后依據(jù)該地址進(jìn)行實(shí)際訪問(wèn)?？梢?jiàn)這里的第三方起到了資源定位與管理的作用。如果將這三者分別命名為客戶(hù)端、定位器和存儲(chǔ)器集群那么他們的訪問(wèn)流程如圖2所示。

圖2存儲(chǔ)資源整合模型3.2定位器的構(gòu)成

從圖2的模型中可以看出，定位器在系統(tǒng)中處于中央節(jié)點(diǎn)位置。其職責(zé)除了地址索引之外還要完成第2節(jié)中提到的負(fù)載均衡任務(wù)，為此要設(shè)置獨(dú)立的服務(wù)器來(lái)完成這些任務(wù)。在實(shí)際應(yīng)用中客戶(hù)端也一定是集群化的，因此采用單一的定位服務(wù)器也是不現(xiàn)實(shí)的，那么實(shí)際上圖2中的三個(gè)主體都是集群化的。在存儲(chǔ)資源管理方面，資源定位列表需要駐留內(nèi)存，從而保障服務(wù)器的實(shí)時(shí)性。不過(guò)對(duì)駐留內(nèi)存的數(shù)據(jù)內(nèi)容需要進(jìn)行篩選，通常只記錄存儲(chǔ)器集群的狀態(tài)信息而不記錄文件索引信息，從而保證較少的內(nèi)存開(kāi)銷(xiāo)和足夠短的響應(yīng)時(shí)間，避免成為系統(tǒng)瓶頸。

3.3存儲(chǔ)器集群的構(gòu)成

整合的存儲(chǔ)資源存在動(dòng)態(tài)可變的因素，為此需要考慮其存儲(chǔ)文件的可靠性和穩(wěn)定性問(wèn)題。既然通過(guò)資源整合存儲(chǔ)空間得到了本質(zhì)的提高，那么在此基礎(chǔ)上為了有效解決存儲(chǔ)介質(zhì)離線等動(dòng)態(tài)問(wèn)題，可將文件進(jìn)行備份。為此對(duì)整合后的存儲(chǔ)介質(zhì)進(jìn)行分組管理，具體做法是在每一個(gè)獨(dú)立分組的存儲(chǔ)介質(zhì)上存放相同的文件和備份。比如每個(gè)分組有10臺(tái)，當(dāng)對(duì)該分組寫(xiě)入文件A時(shí)，會(huì)在這10臺(tái)中同時(shí)寫(xiě)入文件A，換句話(huà)說(shuō)組內(nèi)的存儲(chǔ)介質(zhì)是互相備份的。這樣做能夠?yàn)槿哂鄠浞莺拓?fù)載均衡提供基礎(chǔ)條件。然而每組內(nèi)的存儲(chǔ)體不見(jiàn)得都是同時(shí)在線的，那么當(dāng)離線的存儲(chǔ)體再次接入時(shí)就要保證與組內(nèi)的最新文件保持同步，可依據(jù)時(shí)間戳來(lái)完成最新的數(shù)據(jù)同步，但是正在同步過(guò)程中的服務(wù)器暫不允許提供線上服務(wù)，需待同步完成后再切換到線上。當(dāng)出現(xiàn)存儲(chǔ)空間不足時(shí)可動(dòng)態(tài)添加若干臺(tái)服務(wù)器進(jìn)行擴(kuò)容。另外存儲(chǔ)的配置應(yīng)該對(duì)上層應(yīng)用透明，從而保證其順利的配置和運(yùn)行。

4總結(jié)

云背景下的存儲(chǔ)資源整合是有很強(qiáng)的復(fù)雜性的。本文首先對(duì)相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上通過(guò)對(duì)云存儲(chǔ)環(huán)境中要素的抽象，提出了存儲(chǔ)資源整合模型。這是個(gè)理想狀態(tài)的模型，能夠?qū)⑺锌捎玫挠?jì)算和存儲(chǔ)資源進(jìn)行整合，形成一個(gè)邏輯上聚合的結(jié)果，也就是基于云的存儲(chǔ)結(jié)構(gòu)。在模型構(gòu)建和管理方面提出了負(fù)載均衡與調(diào)度、分組管理、互備等技術(shù)方案。整合新舊存儲(chǔ)資源不僅是出于低碳環(huán)保的考慮，更重要的是提高資源使用和管理的靈活性。

參考文獻(xiàn)

[1]曾文軍.虛擬存儲(chǔ)技術(shù)及其在圖書(shū)館中的應(yīng)用研究[J].圖書(shū)館學(xué)研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.

摘要：研究了存儲(chǔ)資源的整合與管理。首先對(duì)虛擬存儲(chǔ)、分布式文件系統(tǒng)和負(fù)載均衡等相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上提出了一種存儲(chǔ)資源整合的模型以及相關(guān)技術(shù)方案。

關(guān)鍵詞：云存儲(chǔ)；分布式文件系統(tǒng)；負(fù)載均衡

中圖分類(lèi)號(hào)：F49文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16723198（2014）07017201

1引言

科技改變生活，目前人們對(duì)數(shù)據(jù)存儲(chǔ)的需求已經(jīng)漸漸脫離移動(dòng)磁盤(pán)，而更多的需求是面向云存儲(chǔ)的，比如文章、相冊(cè)、視頻等均已曬到網(wǎng)上。隨著這種習(xí)慣的改變和用戶(hù)對(duì)云儲(chǔ)存需求的增加，用戶(hù)訪問(wèn)頻率和數(shù)據(jù)上傳、下載的吞吐量也隨之飛速提升，這些變化對(duì)云環(huán)境中的數(shù)據(jù)傳輸能力、存儲(chǔ)能力和計(jì)算能力等方面都是嚴(yán)峻的考驗(yàn)，至少目前來(lái)看單一的服務(wù)器設(shè)備是難以為繼的。如果不計(jì)成本的進(jìn)行硬件升級(jí)的話(huà)短時(shí)的效果通常是很好的，但當(dāng)面臨下一次升級(jí)時(shí)呢？這種硬件成本的投入是無(wú)止境的，從另外一方面講沒(méi)有哪種設(shè)備能夠無(wú)止境的滿(mǎn)足業(yè)務(wù)量不斷飛升的需求。本文結(jié)合作者工作單位的相關(guān)資源環(huán)境討論一種將新舊資源進(jìn)行整合，并采用云技術(shù)進(jìn)行管理的研究思路。

2相關(guān)技術(shù)研究

2.1虛擬存儲(chǔ)

在以往的工作中碰到過(guò)這樣的事情，冗余磁盤(pán)陣列擴(kuò)容，RAID卡不支持怎么辦？備份數(shù)據(jù)重建RAID，再回拷。那是個(gè)很漫長(zhǎng)的過(guò)程。數(shù)據(jù)遷移造成了很長(zhǎng)的服務(wù)器停機(jī)時(shí)間?，F(xiàn)如今的網(wǎng)絡(luò)存儲(chǔ)環(huán)境中依然存在這樣的情況，這是一個(gè)很典型的新老設(shè)備并存的案例，正如引言中說(shuō)的那樣，一味的更換新設(shè)備不是長(zhǎng)久之計(jì)。或許可以換一種思路，看一下高校的校園網(wǎng)或者企業(yè)網(wǎng)，在這些環(huán)境中真的缺乏存儲(chǔ)介質(zhì)么？是否一定要購(gòu)買(mǎi)新的設(shè)備呢？答案是否定的，因?yàn)楝F(xiàn)成的存儲(chǔ)介質(zhì)就擺在那等著我們使用，這就是存儲(chǔ)介質(zhì)利用率的問(wèn)題。為此是否可以將常用的面向應(yīng)用轉(zhuǎn)向面向存儲(chǔ)呢？將服務(wù)器和存儲(chǔ)器的強(qiáng)耦合關(guān)系打破，把目光從一臺(tái)服務(wù)器拓展到全網(wǎng)會(huì)怎樣。沒(méi)錯(cuò)，這就是虛擬存儲(chǔ)。通過(guò)這一技術(shù)在服務(wù)器和物理存儲(chǔ)介質(zhì)之間增加一個(gè)虛擬層，將物理存儲(chǔ)介質(zhì)包裹起來(lái)，并對(duì)服務(wù)器提供數(shù)據(jù)貯存服務(wù)。從而使服務(wù)器擺脫磁盤(pán)多少的限制，充分利用現(xiàn)有存儲(chǔ)體，使得前述中提到的閑置存儲(chǔ)空間得到充分的利用，低碳環(huán)保。然而虛擬存儲(chǔ)的目的并不僅僅是低碳環(huán)保而已，其更重要的作用是為了增加易擴(kuò)展性和易管理性。目前較為常見(jiàn)的基于云的存儲(chǔ)結(jié)構(gòu)如圖1所示。

圖1云存儲(chǔ)環(huán)境2.2分布式文件系統(tǒng)

分布式意味著其存儲(chǔ)介質(zhì)在空間上是離散的，而文件則是應(yīng)用與數(shù)據(jù)之間的接口。分布式文件系統(tǒng)主要任務(wù)是管理與屏蔽存儲(chǔ)介質(zhì)，從而形成抽象的存儲(chǔ)空間，其有著多機(jī)、多用戶(hù)的特性。例如谷歌文件系統(tǒng)（google file system）和快速分布式文件系統(tǒng)（fast distributed file system），均是針對(duì)海量存儲(chǔ)提出的分布式解決方案。

2.3負(fù)載均衡（load balance）

負(fù)載均衡是解決新舊存儲(chǔ)設(shè)備整合的要素之一。在整合的虛擬存儲(chǔ)空間中，涉及到不同種類(lèi)的物理實(shí)體，它們之間有著不同的運(yùn)算、處理、分發(fā)、吞吐能力等。將面向虛擬存儲(chǔ)體的讀寫(xiě)操作按照相應(yīng)的工作量級(jí)分配到不同的物理實(shí)體中，是均衡負(fù)載要考慮的宏觀問(wèn)題。其具體實(shí)現(xiàn)途徑要看具體的情況而定。在規(guī)模較小的環(huán)境中通過(guò)在各臺(tái)服務(wù)器上安裝軟件來(lái)實(shí)現(xiàn)均衡負(fù)載，其應(yīng)用簡(jiǎn)單成本也很低；針對(duì)所轄的服務(wù)器群將流量均衡分配給各個(gè)服務(wù)器從而實(shí)現(xiàn)均衡的效果；在廣域網(wǎng)中服務(wù)器在地理位置上高度離散，則可通過(guò)IP定位將訪問(wèn)轉(zhuǎn)向臨近負(fù)載，而實(shí)現(xiàn)均衡；在不更改鏈路層而又帶寬固定的環(huán)境中，則可將多個(gè)物理層看作一個(gè)邏輯層，從而使流量在聚合鏈路中得以均衡等等。具體實(shí)現(xiàn)無(wú)外乎軟件和硬件兩種，在用戶(hù)看來(lái)負(fù)載均衡設(shè)備只是一臺(tái)服務(wù)器，事實(shí)上可以通過(guò)2塊網(wǎng)卡分別連內(nèi)外網(wǎng)將“均衡器”集成在PC中，負(fù)載均衡的主要職責(zé)還包括不間斷的提供服務(wù)，比如把向當(dāng)機(jī)的服務(wù)器提交的請(qǐng)求分配給影子服務(wù)器等。

3存儲(chǔ)資源整合

3.1存儲(chǔ)資源整合模型

前述提出了整合存儲(chǔ)資源的思路和相關(guān)技術(shù)。那么離散、分立甚至不確定的存儲(chǔ)介質(zhì)要如何統(tǒng)一管理呢。為此首先分析一下在云存儲(chǔ)環(huán)境下讀寫(xiě)操作的主體客體，主體是用戶(hù)提交了訪問(wèn)請(qǐng)求，而客體則是提供數(shù)據(jù)及相關(guān)服務(wù)的存儲(chǔ)介質(zhì)或服務(wù)器。也就是說(shuō)這是發(fā)生在有訪問(wèn)需求的用戶(hù)和存儲(chǔ)體之間的事情，需要做的恐怕只是將訪問(wèn)目標(biāo)快速準(zhǔn)確的找到并提交給用戶(hù)即可，而這項(xiàng)工作則需要訪問(wèn)的主客體之外的第三方來(lái)承擔(dān)。這三者交換過(guò)程是，首先由客戶(hù)端提出訪問(wèn)請(qǐng)求給第三方，再由第三方給出具體的存儲(chǔ)地址，并將該地址發(fā)送給客戶(hù)端，客戶(hù)端收到地址后依據(jù)該地址進(jìn)行實(shí)際訪問(wèn)?？梢?jiàn)這里的第三方起到了資源定位與管理的作用。如果將這三者分別命名為客戶(hù)端、定位器和存儲(chǔ)器集群那么他們的訪問(wèn)流程如圖2所示。

圖2存儲(chǔ)資源整合模型3.2定位器的構(gòu)成

從圖2的模型中可以看出，定位器在系統(tǒng)中處于中央節(jié)點(diǎn)位置。其職責(zé)除了地址索引之外還要完成第2節(jié)中提到的負(fù)載均衡任務(wù)，為此要設(shè)置獨(dú)立的服務(wù)器來(lái)完成這些任務(wù)。在實(shí)際應(yīng)用中客戶(hù)端也一定是集群化的，因此采用單一的定位服務(wù)器也是不現(xiàn)實(shí)的，那么實(shí)際上圖2中的三個(gè)主體都是集群化的。在存儲(chǔ)資源管理方面，資源定位列表需要駐留內(nèi)存，從而保障服務(wù)器的實(shí)時(shí)性。不過(guò)對(duì)駐留內(nèi)存的數(shù)據(jù)內(nèi)容需要進(jìn)行篩選，通常只記錄存儲(chǔ)器集群的狀態(tài)信息而不記錄文件索引信息，從而保證較少的內(nèi)存開(kāi)銷(xiāo)和足夠短的響應(yīng)時(shí)間，避免成為系統(tǒng)瓶頸。

3.3存儲(chǔ)器集群的構(gòu)成

整合的存儲(chǔ)資源存在動(dòng)態(tài)可變的因素，為此需要考慮其存儲(chǔ)文件的可靠性和穩(wěn)定性問(wèn)題。既然通過(guò)資源整合存儲(chǔ)空間得到了本質(zhì)的提高，那么在此基礎(chǔ)上為了有效解決存儲(chǔ)介質(zhì)離線等動(dòng)態(tài)問(wèn)題，可將文件進(jìn)行備份。為此對(duì)整合后的存儲(chǔ)介質(zhì)進(jìn)行分組管理，具體做法是在每一個(gè)獨(dú)立分組的存儲(chǔ)介質(zhì)上存放相同的文件和備份。比如每個(gè)分組有10臺(tái)，當(dāng)對(duì)該分組寫(xiě)入文件A時(shí)，會(huì)在這10臺(tái)中同時(shí)寫(xiě)入文件A，換句話(huà)說(shuō)組內(nèi)的存儲(chǔ)介質(zhì)是互相備份的。這樣做能夠?yàn)槿哂鄠浞莺拓?fù)載均衡提供基礎(chǔ)條件。然而每組內(nèi)的存儲(chǔ)體不見(jiàn)得都是同時(shí)在線的，那么當(dāng)離線的存儲(chǔ)體再次接入時(shí)就要保證與組內(nèi)的最新文件保持同步，可依據(jù)時(shí)間戳來(lái)完成最新的數(shù)據(jù)同步，但是正在同步過(guò)程中的服務(wù)器暫不允許提供線上服務(wù)，需待同步完成后再切換到線上。當(dāng)出現(xiàn)存儲(chǔ)空間不足時(shí)可動(dòng)態(tài)添加若干臺(tái)服務(wù)器進(jìn)行擴(kuò)容。另外存儲(chǔ)的配置應(yīng)該對(duì)上層應(yīng)用透明，從而保證其順利的配置和運(yùn)行。

4總結(jié)

云背景下的存儲(chǔ)資源整合是有很強(qiáng)的復(fù)雜性的。本文首先對(duì)相關(guān)技術(shù)進(jìn)行了研究，并在此基礎(chǔ)上通過(guò)對(duì)云存儲(chǔ)環(huán)境中要素的抽象，提出了存儲(chǔ)資源整合模型。這是個(gè)理想狀態(tài)的模型，能夠?qū)⑺锌捎玫挠?jì)算和存儲(chǔ)資源進(jìn)行整合，形成一個(gè)邏輯上聚合的結(jié)果，也就是基于云的存儲(chǔ)結(jié)構(gòu)。在模型構(gòu)建和管理方面提出了負(fù)載均衡與調(diào)度、分組管理、互備等技術(shù)方案。整合新舊存儲(chǔ)資源不僅是出于低碳環(huán)保的考慮，更重要的是提高資源使用和管理的靈活性。

參考文獻(xiàn)

[1]曾文軍.虛擬存儲(chǔ)技術(shù)及其在圖書(shū)館中的應(yīng)用研究[J].圖書(shū)館學(xué)研究，2012，（02）.

[2]A.Haeberlen.A Case for the Accountable Cloud[J].ACM SIGOPS Operating Systems Review，2010.