云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)

遲松特

（遼河油田勘探開(kāi)發(fā)研究院，遼寧 盤(pán)錦 124010）

0 引言

云環(huán)境下的數(shù)據(jù)運(yùn)行能夠?yàn)槠髽I(yè)或者個(gè)人用戶(hù)提供多樣化、個(gè)性化的數(shù)據(jù)存儲(chǔ)服務(wù)，同時(shí)具備可擴(kuò)展性特點(diǎn)，為國(guó)民經(jīng)濟(jì)的發(fā)展預(yù)留了較大的空間?；谠朴?jì)算的廣泛應(yīng)用，云存儲(chǔ)服務(wù)出現(xiàn)，借助分布式文件系統(tǒng)、網(wǎng)絡(luò)存儲(chǔ)等關(guān)鍵性技術(shù)，其能夠整合多方面的云計(jì)算資源，構(gòu)建一個(gè)高效可靠的云存儲(chǔ)系統(tǒng)，并面向用戶(hù)開(kāi)放存儲(chǔ)服務(wù)。與傳統(tǒng)存儲(chǔ)技術(shù)相比，分布式存儲(chǔ)技術(shù)能夠使不同類(lèi)型的存儲(chǔ)設(shè)備協(xié)同工作，并配合數(shù)據(jù)隔離技術(shù)，為用戶(hù)提供性能強(qiáng)大的云存儲(chǔ)服務(wù)。分布式存儲(chǔ)技術(shù)極大地滿(mǎn)足了海量規(guī)模、高擴(kuò)展性的數(shù)據(jù)處理需要，然而隨著社會(huì)經(jīng)濟(jì)發(fā)展對(duì)數(shù)據(jù)處理的要求越來(lái)越高，分布式存儲(chǔ)技術(shù)也面臨新的挑戰(zhàn)。

1 云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)概述

1.1 網(wǎng)絡(luò)存儲(chǔ)技術(shù)

云計(jì)算環(huán)境下分布存儲(chǔ)關(guān)鍵技術(shù)的應(yīng)用，需要處理快速增長(zhǎng)的數(shù)據(jù)和信息，這就需要高性能的網(wǎng)絡(luò)存儲(chǔ)技術(shù)作為支撐。傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)在應(yīng)用中存在各種問(wèn)題，如利用效率低、成本高、易產(chǎn)生“信息孤島”等，人們急需一種效率高、成本低、可共享信息的新技術(shù)，而網(wǎng)絡(luò)附屬存儲(chǔ)（Network Attached Storage，NAS）技術(shù)的出現(xiàn)正好迎合了這一需要。NAS 技術(shù)結(jié)構(gòu)主要包括網(wǎng)絡(luò)接口、數(shù)據(jù)操作系統(tǒng)、存儲(chǔ)接口以及專(zhuān)屬文件共享服務(wù)協(xié)議等［1］。在此技術(shù)架構(gòu)下，通過(guò)網(wǎng)絡(luò)接口接收用戶(hù)的數(shù)據(jù)，之后由操作系統(tǒng)進(jìn)行處理，將其轉(zhuǎn)化為一個(gè)個(gè)數(shù)據(jù)塊并予以分類(lèi)，用戶(hù)在進(jìn)行特定操作后就可存儲(chǔ)和調(diào)用數(shù)據(jù)。NAS 技術(shù)能夠滿(mǎn)足一對(duì)多、多對(duì)一的數(shù)據(jù)服務(wù)需要，極大地提高數(shù)據(jù)存儲(chǔ)的利用效率，并簡(jiǎn)化數(shù)據(jù)存儲(chǔ)流程，從而提高云存儲(chǔ)的成本優(yōu)勢(shì)。

1.2 分布式文件系統(tǒng)

分布式文件系統(tǒng)（Distributed File System，DFS）將海量的數(shù)據(jù)分布在不同的節(jié)點(diǎn)存儲(chǔ)在系統(tǒng)里，并基于此構(gòu)建一個(gè)整體的文件存儲(chǔ)系統(tǒng)，方便用戶(hù)隨時(shí)調(diào)用，極大地提高了分布存儲(chǔ)技術(shù)的擴(kuò)展性。DFS 技術(shù)的應(yīng)用也有利于提高數(shù)據(jù)存儲(chǔ)的安全性，當(dāng)個(gè)別節(jié)點(diǎn)的存儲(chǔ)設(shè)備發(fā)生故障時(shí)，其他節(jié)點(diǎn)的存儲(chǔ)設(shè)備能夠進(jìn)行數(shù)據(jù)恢復(fù)，避免數(shù)據(jù)丟失，從而保證整個(gè)云存儲(chǔ)系統(tǒng)順利運(yùn)行。

1.3 P2P 存儲(chǔ)技術(shù)

P2P 存儲(chǔ)（Peer-to-Peer Storage）技術(shù)充分結(jié)合了計(jì)算機(jī)網(wǎng)絡(luò)和分布式系統(tǒng)的優(yōu)勢(shì)，并解決了傳統(tǒng)分布式存儲(chǔ)技術(shù)將服務(wù)器與用戶(hù)端分離的問(wèn)題，使各個(gè)節(jié)點(diǎn)的存儲(chǔ)設(shè)備都處于平等的地位，突破了角色的限制，提高了存儲(chǔ)資源的利用效率，能夠最大限度滿(mǎn)足網(wǎng)絡(luò)數(shù)據(jù)和資源共享需求。同時(shí)，P2P 存儲(chǔ)技術(shù)具有極高的自組織性，不管從哪一個(gè)節(jié)點(diǎn)接入，都不會(huì)影響整體存儲(chǔ)系統(tǒng)的運(yùn)行，保證了云存儲(chǔ)服務(wù)的可靠性［2］。另外，云計(jì)算環(huán)境下，在分布存儲(chǔ)的運(yùn)行中應(yīng)用具有明顯成本優(yōu)勢(shì)的P2P存儲(chǔ)技術(shù)，并借助網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)整合可用的存儲(chǔ)資源，極大地降低了存儲(chǔ)成本。

1.4 新型存儲(chǔ)技術(shù)

隨著云計(jì)算環(huán)境趨于成熟，分布存儲(chǔ)關(guān)鍵技術(shù)的發(fā)展也越來(lái)越成熟，各種新型存儲(chǔ)技術(shù)不斷涌現(xiàn)，如對(duì)象存儲(chǔ)技術(shù)（Object-based Storage Device，OSD）、統(tǒng)一存儲(chǔ)技術(shù)等。其中，OSD 存儲(chǔ)技術(shù)能夠通過(guò)特定的算法實(shí)現(xiàn)存儲(chǔ)對(duì)象的加密，將抽象數(shù)據(jù)看作一個(gè)對(duì)象，并能夠在不同的存儲(chǔ)平臺(tái)之間實(shí)現(xiàn)流通共享，具有較高的私密性、擴(kuò)展性和安全性；統(tǒng)一存儲(chǔ)技術(shù)能夠融合多個(gè)存儲(chǔ)方案，并構(gòu)建一個(gè)統(tǒng)一的存儲(chǔ)平臺(tái)，從而為用戶(hù)提供多樣的數(shù)據(jù)取用服務(wù)，這一技術(shù)通常被大型企業(yè)級(jí)別的用戶(hù)應(yīng)用，能夠解決其存儲(chǔ)管理復(fù)雜、存儲(chǔ)成本過(guò)高的問(wèn)題。

綜合以上存儲(chǔ)技術(shù)，構(gòu)建混合應(yīng)用的分布式存儲(chǔ)結(jié)構(gòu)能夠處理海量的用戶(hù)運(yùn)行數(shù)據(jù)，并有效提高數(shù)據(jù)存儲(chǔ)和運(yùn)行的效率，簡(jiǎn)化實(shí)際的存儲(chǔ)流程，提高云存儲(chǔ)服務(wù)的質(zhì)量。

2 云計(jì)算環(huán)境下分布存儲(chǔ)關(guān)鍵技術(shù)問(wèn)題分析

云計(jì)算環(huán)境下，分布式存儲(chǔ)關(guān)鍵技術(shù)的應(yīng)用雖然彌補(bǔ)了傳統(tǒng)存儲(chǔ)方式的不足，但隨著應(yīng)用的深入，也暴露了不少技術(shù)性問(wèn)題，如容錯(cuò)性問(wèn)題、可擴(kuò)展問(wèn)題、成本控制問(wèn)題等，具體如下。

2.1 容錯(cuò)性問(wèn)題

容錯(cuò)性主要是指在存儲(chǔ)系統(tǒng)發(fā)生意外故障之后，整體的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)不會(huì)失效，能夠正常運(yùn)行，并為用戶(hù)提供持續(xù)的存儲(chǔ)服務(wù)的能力。傳統(tǒng)數(shù)據(jù)存儲(chǔ)模式下，為了提高存儲(chǔ)服務(wù)的容錯(cuò)性，一般是配置高性能的存儲(chǔ)設(shè)備，雖然一般情況下能夠?qū)崿F(xiàn)這一目標(biāo)，但增加了企業(yè)的存儲(chǔ)成本，也有可能影響數(shù)據(jù)存儲(chǔ)的質(zhì)量。這一容錯(cuò)性解決方案顯然并不適用于分布存儲(chǔ)方式。云計(jì)算環(huán)境下，分布式存儲(chǔ)的節(jié)點(diǎn)隨時(shí)在增加，數(shù)據(jù)失效的風(fēng)險(xiǎn)也在不斷增加，其對(duì)信息容錯(cuò)性的要求更高。因此，要想提高分布式存儲(chǔ)方式的性能，必須引入功能更強(qiáng)大的容錯(cuò)技術(shù)，著力解決數(shù)據(jù)失效問(wèn)題，保障數(shù)據(jù)存儲(chǔ)的安全性和完整性。

2.2 可擴(kuò)展問(wèn)題

可擴(kuò)展性能一直是影響網(wǎng)絡(luò)存儲(chǔ)性能的關(guān)鍵性因素。傳統(tǒng)存儲(chǔ)模式下，通常是通過(guò)增加存儲(chǔ)磁盤(pán)設(shè)備拓展存儲(chǔ)空間。然而，這一方式并不能真正解決分布式存儲(chǔ)的可擴(kuò)展性問(wèn)題，且隨著國(guó)民經(jīng)濟(jì)的發(fā)展，分布式存儲(chǔ)需要處理的數(shù)據(jù)規(guī)模在不斷擴(kuò)大，拓展存儲(chǔ)磁盤(pán)無(wú)法有效解決存儲(chǔ)空間不足的問(wèn)題。對(duì)分布式存儲(chǔ)關(guān)鍵技術(shù)而言，可擴(kuò)展性尤為關(guān)鍵，在保證不影響現(xiàn)有用戶(hù)數(shù)據(jù)存儲(chǔ)服務(wù)的基礎(chǔ)上，進(jìn)一步拓展存儲(chǔ)空間和優(yōu)化性能，但這一性能的優(yōu)化不能通過(guò)廉價(jià)的服務(wù)系統(tǒng)實(shí)現(xiàn)。因此，為了保障云環(huán)境下分布存儲(chǔ)的高性能，在設(shè)計(jì)之前就要充分考慮其可擴(kuò)展性，預(yù)留合適的擴(kuò)展空間，同時(shí)也應(yīng)保證可隨時(shí)增加擴(kuò)展性能，以進(jìn)一步提高分布存儲(chǔ)能力。

2.3 成本控制問(wèn)題

對(duì)企業(yè)經(jīng)營(yíng)管理而言，存儲(chǔ)的成本控制問(wèn)題是其需要考慮的重要因素之一，能否以較低的成本實(shí)現(xiàn)對(duì)快速增長(zhǎng)的大量數(shù)據(jù)的存儲(chǔ)，是企業(yè)選擇云存儲(chǔ)供應(yīng)商時(shí)考慮的關(guān)鍵問(wèn)題。云計(jì)算環(huán)境下，需要處理的數(shù)據(jù)規(guī)模呈指數(shù)趨勢(shì)增長(zhǎng)，這些數(shù)據(jù)的存儲(chǔ)和運(yùn)行都需要超大規(guī)模的存儲(chǔ)空間支持，也需要消耗相應(yīng)的成本。同時(shí)，為了實(shí)現(xiàn)數(shù)據(jù)取用的高效率，需要配置高標(biāo)準(zhǔn)的文件系統(tǒng)，以實(shí)現(xiàn)相應(yīng)的存儲(chǔ)功能。在此背景下，如何優(yōu)化分布存儲(chǔ)技術(shù)以降低存儲(chǔ)空間和資源消耗，同時(shí)減少運(yùn)行成本，是各個(gè)云存儲(chǔ)服務(wù)供應(yīng)商需要解決的關(guān)鍵性問(wèn)題，這也是影響分布存儲(chǔ)技術(shù)進(jìn)一步推廣的重要因素之一。

3 云計(jì)算環(huán)境下分布存儲(chǔ)關(guān)鍵技術(shù)的優(yōu)化

為助力企業(yè)的數(shù)字化轉(zhuǎn)型升級(jí)，必須著力優(yōu)化分布式存儲(chǔ)關(guān)鍵技術(shù)，解決其容錯(cuò)性低、擴(kuò)展性差及成本高等問(wèn)題，以進(jìn)一步提高云存儲(chǔ)的性能和功能，滿(mǎn)足用戶(hù)的個(gè)性化數(shù)據(jù)使用需要。

3.1 優(yōu)化容錯(cuò)性

云計(jì)算環(huán)境下，提高分布存儲(chǔ)關(guān)鍵技術(shù)的容錯(cuò)性，可以從兩方面展開(kāi)。一是采用復(fù)制容錯(cuò)技術(shù)。優(yōu)化分布存儲(chǔ)關(guān)鍵技術(shù)的容錯(cuò)性，可通過(guò)復(fù)制容錯(cuò)技術(shù)，創(chuàng)建多個(gè)數(shù)據(jù)模塊，將數(shù)據(jù)分布存儲(chǔ)在不同節(jié)點(diǎn)中，當(dāng)某個(gè)數(shù)據(jù)發(fā)生意外時(shí)，可以通過(guò)調(diào)用其他的數(shù)據(jù)模塊獲得數(shù)據(jù)。復(fù)制容錯(cuò)技術(shù)的應(yīng)用能夠直接快速地獲得數(shù)據(jù)，取用數(shù)據(jù)的效率較高，然而這一技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)空間的要求較高。二是采用糾刪碼容錯(cuò)技術(shù)。與復(fù)制容錯(cuò)技術(shù)相比，糾刪碼容錯(cuò)技術(shù)對(duì)數(shù)據(jù)存儲(chǔ)空間的要求不高，其通過(guò)多個(gè)數(shù)據(jù)對(duì)象生成編碼，不需要復(fù)制完整數(shù)據(jù)，只是復(fù)制丟失的數(shù)據(jù)，但相應(yīng)地，其數(shù)據(jù)處理量相對(duì)較大［3］。在分布存儲(chǔ)關(guān)鍵技術(shù)優(yōu)化過(guò)程中，應(yīng)根據(jù)自身存儲(chǔ)需求合理選擇引入復(fù)制容錯(cuò)技術(shù)或糾刪碼容錯(cuò)技術(shù)，解決分布存儲(chǔ)的容錯(cuò)問(wèn)題，為用戶(hù)提供優(yōu)質(zhì)的數(shù)據(jù)存儲(chǔ)服務(wù)。

3.2 提高擴(kuò)展性能

與傳統(tǒng)存儲(chǔ)技術(shù)相比，分布存儲(chǔ)方式為企業(yè)提供了一種成本相對(duì)較低、擴(kuò)展性能較高的存儲(chǔ)服務(wù)。然而云環(huán)境下，隨著需要處理的數(shù)據(jù)規(guī)模不斷擴(kuò)大，分布存儲(chǔ)技術(shù)的擴(kuò)展性能已成為不可忽視的問(wèn)題?；诜植际酱鎯?chǔ)技術(shù)的存儲(chǔ)節(jié)點(diǎn)往往數(shù)量龐大，其中心的擴(kuò)展性也需要得到保障。提高分布存儲(chǔ)技術(shù)的擴(kuò)展性能，需要著力提高其文件系統(tǒng)的擴(kuò)展性，優(yōu)化數(shù)據(jù)處理方式，壓縮文件大小，簡(jiǎn)化數(shù)據(jù)分發(fā)服務(wù)流程，在保障數(shù)據(jù)服務(wù)的基礎(chǔ)上，提高數(shù)據(jù)處理的效率和質(zhì)量，從而提高數(shù)據(jù)網(wǎng)絡(luò)的可用性和擴(kuò)展性。然而，分布存儲(chǔ)技術(shù)擴(kuò)展性能的提升往往伴隨成本的增加。因此，企業(yè)在提高分布存儲(chǔ)技術(shù)的擴(kuò)展性能時(shí)，應(yīng)注意在應(yīng)用構(gòu)架之前就考慮系統(tǒng)的可擴(kuò)展性，為之后系統(tǒng)的升級(jí)預(yù)留空間。同時(shí)，為了盡可能地降低成本，新增的擴(kuò)展系統(tǒng)和設(shè)備應(yīng)與原有的系統(tǒng)兼容，循環(huán)利用原有的設(shè)備，避免資源浪費(fèi)、成本大幅度增加。

3.3 應(yīng)用節(jié)能技術(shù)

云計(jì)算環(huán)境下，應(yīng)用分布式存儲(chǔ)技術(shù)還需要考慮優(yōu)化節(jié)能技術(shù)，以減少資源消耗，降低存儲(chǔ)成本。一方面，應(yīng)優(yōu)化硬件節(jié)能技術(shù)，選擇低耗的硬件存儲(chǔ)設(shè)備和資源，同時(shí)在保障系統(tǒng)運(yùn)行性能的前提下，構(gòu)建相對(duì)低能耗的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，實(shí)現(xiàn)節(jié)能減排的目標(biāo)。另一方面，優(yōu)化軟件節(jié)能技術(shù)，在充分保證分布存儲(chǔ)系統(tǒng)服務(wù)功能的基礎(chǔ)上，強(qiáng)化存儲(chǔ)節(jié)點(diǎn)的管理，及時(shí)關(guān)閉剩余的存儲(chǔ)節(jié)點(diǎn)，避免不必要的存儲(chǔ)空間浪費(fèi)［4］。同時(shí)，積極引入高標(biāo)準(zhǔn)的數(shù)據(jù)管理技術(shù)，如緩存數(shù)據(jù)預(yù)取技術(shù)、靜態(tài)數(shù)據(jù)管理、動(dòng)態(tài)數(shù)據(jù)管理等，提高數(shù)據(jù)運(yùn)行的效率，避免過(guò)度運(yùn)行造成資源浪費(fèi)［5］。

4 結(jié)語(yǔ)

云計(jì)算環(huán)境下，運(yùn)用網(wǎng)絡(luò)存儲(chǔ)技術(shù)、分布式文件系統(tǒng)、P2P存儲(chǔ)技術(shù)、新型存儲(chǔ)技術(shù)等分布存儲(chǔ)關(guān)鍵技術(shù)，能夠構(gòu)建一個(gè)高效、可靠的云存儲(chǔ)系統(tǒng)，為用戶(hù)提供多樣化的數(shù)據(jù)存儲(chǔ)服務(wù)。隨著社會(huì)對(duì)各個(gè)行業(yè)服務(wù)延續(xù)性要求的提高，人們對(duì)分布式云存儲(chǔ)技術(shù)的要求也越來(lái)越高，因此需要進(jìn)一步優(yōu)化其容錯(cuò)性，提高擴(kuò)展性能，應(yīng)用節(jié)能技術(shù)，提高云計(jì)算存儲(chǔ)服務(wù)能力。