彈性光網(wǎng)絡(luò)中的高效數(shù)據(jù)遷移和大數(shù)據(jù)備份技術(shù)研究

彭曉平

（云南電網(wǎng)有限責(zé)任公司信息中心，昆明 650217）

0 前言

目前，數(shù)字密集型應(yīng)用如電子科學(xué)，電子商務(wù)，電話會(huì)議等的出現(xiàn)，使我們進(jìn)入了“大數(shù)據(jù)”時(shí)代。不同于傳統(tǒng)大數(shù)據(jù)應(yīng)用可以產(chǎn)生大量的數(shù)據(jù)，傳統(tǒng)的系統(tǒng)很難捕獲、管理、存儲(chǔ)和分析。云計(jì)算的最新進(jìn)展表明，在多數(shù)據(jù)中心（multi-DC）系統(tǒng)上運(yùn)行的大數(shù)據(jù)應(yīng)用可以為終端用戶提供低延遲、高質(zhì)量、無中斷的服務(wù)。最近，一些大企業(yè)建立了多DC系統(tǒng)，并投入研發(fā)力量進(jìn)行高效的數(shù)據(jù)遷移技術(shù)；例如，Google已經(jīng)部署了Effingo ，用于在其DC中遷移大規(guī)模數(shù)據(jù)[1-3]。然而，與數(shù)據(jù)遷移和備份相關(guān)的巨大吞吐量仍然是連接多個(gè)DC系統(tǒng)的底層網(wǎng)絡(luò)的一個(gè)公開挑戰(zhàn)[4-6]。

通過靈活的光譜層管理，柔性網(wǎng)格彈性光學(xué)網(wǎng)絡(luò)（EONs）可以在幾千兆赫甚至更小的粒度上分配光譜[7-8]。因此，EON中的光層可以直接對來自客戶端的可變帶寬需求做出反應(yīng)，因此EON被認(rèn)為是支持多DC系統(tǒng)和運(yùn)行在其上的大數(shù)據(jù)應(yīng)用的有前景的底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施。本文討論了實(shí)現(xiàn)彈性光學(xué)跨網(wǎng)絡(luò)中大數(shù)據(jù)應(yīng)用高效數(shù)據(jù)遷移和備份的技術(shù)[9-10]。首先描述大數(shù)據(jù)應(yīng)用和云計(jì)算的特點(diǎn)，并解釋它們對底層DC間網(wǎng)絡(luò)的影響。然后介紹一下柔性網(wǎng)格彈性光學(xué)互連網(wǎng)絡(luò)的概念，并將其數(shù)據(jù)遷移模型化為動(dòng)態(tài)選播問題。提出了多種有效的選播算法，并引入聯(lián)合資源碎片整理技術(shù)，進(jìn)一步提高網(wǎng)絡(luò)性能。為了實(shí)現(xiàn)高效的數(shù)據(jù)備份，我們利用相互備份模型，研究如何通過最小化DC備份窗口來避免對DC正常運(yùn)行的負(fù)面影響。

1 大數(shù)據(jù)和云計(jì)算

1.1 大數(shù)據(jù)

大數(shù)據(jù)應(yīng)用可以有不同的實(shí)現(xiàn)方式，但是從一些角度來看，它們通常具有共同的特征，例如音量，速度和多樣性，著名的“3V”。在這里，卷描述了數(shù)據(jù)的大小，隨著大數(shù)據(jù)應(yīng)用的發(fā)展，數(shù)據(jù)量變得巨大，需要更多的計(jì)算、備份資源以及更高效的網(wǎng)絡(luò)系統(tǒng)。速度反映了數(shù)據(jù)生成、處理和傳輸?shù)念l率。為了適應(yīng)速度要求，需要大規(guī)模，分布式的業(yè)務(wù)架構(gòu)和高容量的底層網(wǎng)絡(luò)[11-12]。數(shù)據(jù)是指數(shù)據(jù)的格式和類型。由于需要處理和傳輸各種類型的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)應(yīng)用不僅需要高效的數(shù)據(jù)存儲(chǔ)系統(tǒng)，還需要靈活的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。

1.2 云計(jì)算

云計(jì)算利用資源虛擬化，分布式處理等先進(jìn)技術(shù)，利用互聯(lián)網(wǎng)中的數(shù)據(jù)中心和網(wǎng)絡(luò)設(shè)備構(gòu)建一個(gè)集成平臺(tái)，以可擴(kuò)展和按需的方式支持大數(shù)據(jù)應(yīng)用。已經(jīng)為云計(jì)算提出了幾種編程模型和文件系統(tǒng)體系結(jié)構(gòu)。例如，Google設(shè)計(jì)的MapReduce就是一個(gè)編程模型來簡化大型數(shù)據(jù)中心的數(shù)據(jù)處理。具體而言，它將海量數(shù)據(jù)映射到數(shù)百甚至數(shù)千個(gè)服務(wù)器或虛擬機(jī)（VM），并以并行方式執(zhí)行數(shù)據(jù)處理。為了配合MapReduce，開發(fā)Google文件系統(tǒng)（GFS）來管理每個(gè)服務(wù)器或虛擬機(jī)的數(shù)據(jù)存儲(chǔ)、備份[13-14]。

2 彈性光網(wǎng)絡(luò)

2.1 傳統(tǒng)固定光網(wǎng)絡(luò)的問題

為了適應(yīng)電信和數(shù)據(jù)通信應(yīng)用的巨大流量增長，由于光纖帶寬巨大，光網(wǎng)絡(luò)在互聯(lián)網(wǎng)中扮演著不可替代的角色。當(dāng)今的光網(wǎng)絡(luò)采用密集波分復(fù)用（DWDM）系統(tǒng)，在帶寬固定的波長信道/網(wǎng)格內(nèi)運(yùn)行。然而，固定網(wǎng)格DWDM系統(tǒng)僅在光層上提供有限的可擴(kuò)展性和靈活性，這使得傳輸基礎(chǔ)設(shè)施過于僵化，無法適應(yīng)跨DC間網(wǎng)絡(luò)的流量的不確定性和異構(gòu)性。例如，50 GHz國際電信聯(lián)盟（ITU）的波長網(wǎng)格將光譜劃分為固定的50 GHz頻率時(shí)隙，但400 Gb / s或更高的比特率很難適應(yīng)該方案。

固定網(wǎng)格DWDM系統(tǒng)的另一個(gè)問題是它們用于數(shù)據(jù)傳輸?shù)膯屋d波方案。即使ITU波長網(wǎng)格可以升級到更寬的網(wǎng)格，由于物理損傷，相應(yīng)的高速（例如，400Gb / s和更高）數(shù)據(jù)傳輸與單個(gè)載波幾乎不能全光支持長的傳輸距離。因此，為了攜帶地理分布的多DC系統(tǒng)，底層的光網(wǎng)絡(luò)需要重復(fù)的光電到光（O / E / O）再生。然而，由于設(shè)備成本和功耗的原因，這些O / E/ O再生與較高的資本支出（CAPEX）和運(yùn)營支出（OPEX）相關(guān)聯(lián)。

最后，也是最重要的一點(diǎn)，固定網(wǎng)格DWDM網(wǎng)絡(luò)難以為大數(shù)據(jù)應(yīng)用提供無縫，高效的支持，而這些大數(shù)據(jù)應(yīng)用的帶寬需求是巨大的，而且能夠以細(xì)粒度快速變化。DWDM網(wǎng)絡(luò)只能根據(jù)粗波長網(wǎng)格建立光路并分配帶寬。不幸的是，這個(gè)方案只在傳輸?shù)臉I(yè)務(wù)是高度動(dòng)態(tài)時(shí)才提供低的頻譜效率。

2.2 柔性網(wǎng)格彈性光纖網(wǎng)絡(luò)

為了妥善解決固定網(wǎng)格DWDM網(wǎng)絡(luò)的問題，需要配備帶寬可變（BV）轉(zhuǎn)發(fā)器和交換機(jī)的“彈性”光網(wǎng)絡(luò)，以更細(xì)的粒度分配帶寬，并根據(jù)實(shí)際的業(yè)務(wù)需求自適應(yīng)地建立光路徑DC網(wǎng)絡(luò)[15-16]。對于EON來說，四個(gè)要素是必不可少的：BV轉(zhuǎn)發(fā)器（BV-T），BV波長選擇開關(guān)（BV-WSS），靈活的波長網(wǎng)格和智能控制平面。

圖1a顯示了數(shù)據(jù)傳輸過程中BV-Ts和BVWSS的工作原理。BV-Ts用足夠的帶寬資源為客戶端流量設(shè)置光路，而BV-WSS允許靈活的光譜從輸入到輸出端口正確切換。圖1b比較了現(xiàn)有的固定網(wǎng)格波長方案和柔性網(wǎng)格方案。EON的靈活性使得智能控制平臺(tái)成為具有成本效益的資源管理的“必備條件”。例如，在EON中，DWDM網(wǎng)絡(luò)中著名的路由和波長分配（RWA）問題轉(zhuǎn)化為路由和頻譜分配（RSA），RSA必須處理靈活的頻譜，因此需要更復(fù)雜的算法[9]。

柔性電網(wǎng)EON與固定網(wǎng)格DWDM網(wǎng)絡(luò)的主要區(qū)別在于EON可以提供低和超高比特率要求分別有效的亞波長頻隙（FS）和超級通道。這里，子波長FS是指比全波長信道少的頻譜占用，而超級信道包含多個(gè)緊密壓縮的FS。而且，BV-Ts可以自適應(yīng)地選擇調(diào)制格式來適應(yīng)不同的傳輸質(zhì)量，這帶來了另一個(gè)層次的彈性。

用于彈性光網(wǎng)絡(luò)的啟用技術(shù)多載波傳輸技術(shù)，例如相干光正交頻分復(fù)用（CO-OFDM）和Nyquist-WDM 已經(jīng)被提出并被證明用于實(shí)現(xiàn)BV-Ts。這些技術(shù)使得BV-Ts可以培養(yǎng)幾個(gè)頻譜連續(xù)的FS的容量并實(shí)現(xiàn)對它們的高速傳輸[17-18]。然后，BV-Ts可以通過調(diào)整分配的FS的數(shù)量來改變光路的帶寬分配。同時(shí)，由于液晶硅波長選擇開關(guān)（LCOS-WSS）的技術(shù)進(jìn)步，BV-WSS可以實(shí)現(xiàn)6.25 GHz或更低的切換粒度。

圖1 柔性網(wǎng)格彈性光纖網(wǎng)絡(luò)

2.3 彈性光網(wǎng)絡(luò)的啟用技術(shù)

由于EON為光路分配可變尺寸的頻譜片段，因此動(dòng)態(tài)網(wǎng)絡(luò)操作隨著時(shí)間的推移會(huì)出現(xiàn)頻譜碎片。如圖2a所示，帶寬碎片會(huì)在光譜中產(chǎn)生不對齊的、孤立的、小尺寸的未使用的頻譜片段，這與計(jì)算機(jī)硬盤中的存儲(chǔ)器碎片相似。由于這些頻譜切片很難用于未來需求，因此分段導(dǎo)致EON中的頻譜利用率低。為了減輕分裂，我們需要一種機(jī)制來定期重新配置EON中的頻譜分配（如圖2b），即所謂的碎片整理。請注意，為了最大限度地減少流量中斷，碎片整理需要將受影響的光路精確地協(xié)調(diào)BV-Ts和BV-WSS的頻譜重新分配?；谔l調(diào)諧的頻譜重調(diào)技術(shù)已經(jīng)被提出并且在中被實(shí)驗(yàn)證明，其可以支持在1μs內(nèi)的全頻譜重調(diào)。

圖2 帶寬碎片和碎片整理示例

3 彈性光網(wǎng)絡(luò)中的大數(shù)據(jù)遷移與備份

圖3說明了一個(gè)彈性光學(xué)內(nèi)部DC網(wǎng)絡(luò)的架構(gòu)。我們有幾個(gè)DC在本地連接到交換節(jié)點(diǎn)，而交換節(jié)點(diǎn)與光纖互連。底層光網(wǎng)絡(luò)采用柔性網(wǎng)格彈性光網(wǎng)絡(luò)，每個(gè)光纖上的帶寬資源被劃分為固定大小的FSs，以提供子波長帶寬分配粒度。對于本地連接到DC的每個(gè)節(jié)點(diǎn)，我們考慮DC的計(jì)算/存儲(chǔ)容量。然后，為了提供需要一定帶寬和計(jì)算/存儲(chǔ)資源的U2D或D2D需求，我們確定目的地DC，在其上保留足夠的計(jì)算/存儲(chǔ)資源，然后解決路由和頻譜分配（RSA）問題來建立光路。

圖3 彈性光學(xué)互連DC網(wǎng)絡(luò)的示例

3.1 彈性光纖DC網(wǎng)絡(luò)中的數(shù)據(jù)遷移

彈性光學(xué)互連網(wǎng)絡(luò)中的數(shù)據(jù)遷移可以被表述為選播問題。根據(jù)BV-Ts和BV-WSSs的工作原理，假設(shè)在每條光纖鏈路上都有BFS。交換節(jié)點(diǎn)的一個(gè)子集在本地連接到DC，并被認(rèn)為是DC節(jié)點(diǎn)。每個(gè)DC節(jié)點(diǎn)用一個(gè)屬性來表示可用的屬性在本地DC計(jì)算/存儲(chǔ)容量。請注意，DC可以具有單獨(dú)的屬性來描述其計(jì)算和存儲(chǔ)容量，但是為了簡單起見，我們假定計(jì)算和存儲(chǔ)容量是相關(guān)的，因此可以用一個(gè)屬性來建模。U2D或D2D對數(shù)據(jù)遷移的需求可以建模為任意播請求R（s，b，c），其中s是源節(jié)點(diǎn)，b是FS中所需的帶寬，c是計(jì)算/存儲(chǔ)要求。

用于數(shù)據(jù)遷移的動(dòng)態(tài)選播

在彈性光互連DC網(wǎng)絡(luò)中，我們提供了三個(gè)步驟的數(shù)據(jù)遷移需求R（s，b，c）

1）選擇DC節(jié)點(diǎn)作為目的地。

2）確定要在每個(gè)目標(biāo)DC上分配的計(jì)算/存儲(chǔ)容量以滿足c。

3）執(zhí)行RSA以建立從s到目的地DC的光路以滿足b。

由于需求可以動(dòng)態(tài)地離開，我們在這里有一個(gè)動(dòng)態(tài)的選播問題。如果在需求到達(dá)時(shí)不能分配足夠的資源（即b或c不能滿足），它就會(huì)被阻塞。我們的目標(biāo)是盡量減少阻塞概率，因?yàn)樽枞男枨笤蕉啵W(wǎng)絡(luò)的效率就越低。

首先考慮一個(gè)簡單的情景，其中每個(gè)需求由一個(gè)DC服務(wù)。然后設(shè)計(jì)一個(gè)最短路徑路由的貪心選播算法如下：

步驟1：查找具有最大可用計(jì)算/存儲(chǔ)容量的DC，并將其選為需求的目標(biāo)DC。

步驟2：計(jì)算從s到目標(biāo)DC的最短路由路徑。

步驟3：在路由路徑上執(zhí)行FS分配以滿足b。

我們將此算法表示為對于單個(gè)目的地DC（G-Anycast-SP-Single-DC）具有最短路徑的貪婪選播。G-Anycast-SP-Single-DC很簡單，但只考慮目的地DC選擇的計(jì)算/存儲(chǔ)資源。盡管在第一步中選擇具有最大可用容量的DC可以使計(jì)算/存儲(chǔ)負(fù)載在DC之間均勻分配，但在隨后的步驟中可能找不到有效的RSA解決方案。

因此，在選擇目的DC時(shí)，希望Anycast算法能夠共同考慮計(jì)算/存儲(chǔ)和帶寬資源。這可以通過將度量定義為DC上的可用容量與相關(guān)路由路徑上的可用帶寬的乘積來完成?；旧希瑢τ诰W(wǎng)絡(luò)中的每個(gè)源-目的地對，我們預(yù)先計(jì)算K個(gè)最短路由路徑，然后設(shè)計(jì)具有K-最短路徑路由（BL-Anycast-KSP-Single-DC）的均衡負(fù)載選播算法如下：

步驟1：找到所有具有足夠的計(jì)算/存儲(chǔ)容量以容納c的DC。

步驟2：枚舉所有可行的到DC的路由路徑，并計(jì)算每個(gè)路徑-DC對的度量。

步驟3：選擇具有最大度量的路徑-直流對，并在路徑上執(zhí)行FS分配以滿足b。

3.2 最小化DC備份窗口

需要注意的是，DC備份窗口定義為在DC間網(wǎng)絡(luò)中備份DC上的所有新數(shù)據(jù)所需的時(shí)間，這是評估DC備份計(jì)劃的關(guān)鍵參數(shù)。由于DC備份通常需要傳輸大量的數(shù)據(jù)，因此會(huì)占用大量的帶寬，長時(shí)間的DC備份窗口會(huì)影響數(shù)據(jù)中心的正常運(yùn)行，造成網(wǎng)絡(luò)擁塞。因此，我們研究如何通過聯(lián)合優(yōu)化備份DC的選擇以及在彈性光學(xué)跨DC網(wǎng)絡(luò)中的對應(yīng)路徑來減少DC備份窗口。

我們假設(shè)網(wǎng)絡(luò)在離散時(shí)間間隔operatesT上運(yùn)行。在每個(gè)時(shí)間間隔開始時(shí)，每個(gè)生產(chǎn)DC選擇其備用DC，并根據(jù)網(wǎng)絡(luò)狀況找到備用路徑；那么DC備份過程將相應(yīng)地運(yùn)行。同時(shí)，還有兩個(gè)限制：

1）每個(gè)生產(chǎn)DC只能選擇一個(gè)備用DC，而備用DC只能接收一個(gè)生產(chǎn)DC的數(shù)據(jù)。

2）生產(chǎn)和備用DC應(yīng)該在地理上分散，而不會(huì)落入同一災(zāi)難區(qū)域。

第一個(gè)約束是在DC備份期間簡化數(shù)據(jù)索引，而第二個(gè)約束確保單個(gè)災(zāi)難不能同時(shí)破壞DC。當(dāng)生產(chǎn)DC上的所有數(shù)據(jù)都已備份時(shí)，DC備份過程結(jié)束； 那么總備份時(shí)間就是DC備份窗口。為了最大限度地減少直流備份窗口，我們優(yōu)化每個(gè)backupT的備份過程，即確定生產(chǎn)-阻塞概率阻塞率（%）建立DC對并為每個(gè)DC對建立光路以傳輸數(shù)據(jù)。請注意，為了充分發(fā)掘網(wǎng)絡(luò)的吞吐量，我們允許生產(chǎn)DC同時(shí)為其備份DC設(shè)置多條光路。

4 結(jié)束語

本文討論如何在彈性光學(xué)跨網(wǎng)絡(luò)中實(shí)現(xiàn)高效的大數(shù)據(jù)應(yīng)用數(shù)據(jù)遷移和備份。我們首先描述大數(shù)據(jù)應(yīng)用對底層DC間網(wǎng)絡(luò)的影響，并介紹可適當(dāng)解決這些問題的柔性網(wǎng)格彈性光學(xué)互連網(wǎng)絡(luò)的概念。然后將這些網(wǎng)絡(luò)中的數(shù)據(jù)遷移建模為動(dòng)態(tài)選播問題，并提出了幾種有效的算法。對于這些網(wǎng)絡(luò)中的數(shù)據(jù)備份，我們利用相互備份模型并討論如何最小化DC備份窗口。