高能效互聯(lián)網傳輸技術研究

張國強，林森，劉真，林濤，張國清，李幼平

(1. 南京師范大學 計算機科學與技術學院，江蘇 南京 210012； 2. 中國科學院 計算技術研究所，北京 100190;3. 北京交通大學 計算機與信息技術學院，北京 100044；4. 中國科學院 聲學研究所，北京 100190；5. 中國工程物理研究院，北京 100083; 6. 蘇州大學 江蘇省計算機信息處理技術重點實驗室，江蘇 蘇州 215000）

1 引言

隨著互聯(lián)網用戶的增長、高帶寬需求的業(yè)務增加以及物聯(lián)網應用的普及，互聯(lián)網的聯(lián)網設備數(shù)和所產生的數(shù)據量均呈現(xiàn)爆炸性增長的趨勢，導致其能耗在過去若干年也急劇增長。統(tǒng)計表明，美國互聯(lián)網消耗的能源已經占了所有能耗的2%～10%[1,2]。能耗的急劇增長對網絡的運營和互聯(lián)網的持續(xù)發(fā)展都構成了嚴峻的挑戰(zhàn)。一方面，能源開支在網絡運營商和內容提供商的總體擁有成本 (TCO) 中所占的比例越來越重，降低能耗可以節(jié)省大量的開支。另一方面，由于傳統(tǒng)的散熱和冷卻技術正遭遇瓶頸，能耗已經成為制約互聯(lián)網進一步發(fā)展的主要因素之一。此外，對溫室氣體和全球變暖的擔憂也對綠色通信提出了要求，有統(tǒng)計表明互聯(lián)網的能耗已經超越了整個航空業(yè)的能耗[2]。中國在哥本哈根會議后提出了在2020年使單位 GDP產值的二氧化碳排放量較2005年降低 40%～45%的宏偉目標，為了實現(xiàn)該目標，需要各行業(yè)的共同努力。

目前，針對具體硬件設備和部件的節(jié)能技術得到了廣泛研究。在設備和系統(tǒng)級別，設備廠商提供了多種電源管理模式。高級配置和電源接口(ACPI)[3]對系統(tǒng)不同的電源狀態(tài)進行了規(guī)定并提供了相應的軟件管理接口。美國能源署(EPA)于 1992年啟動了“能源之星”計劃[4]，為符合其標準的產品貼上能源之星的標簽。中國環(huán)境保護局也有類似的標準，如為計算機采購制定的環(huán)保標準[5]。但是，在網絡層面提高數(shù)據傳輸?shù)哪苄Р]有得到太多的實際應用。一方面，網絡邊緣節(jié)點對聯(lián)網的需求以及核心網絡為應對峰值負載和網絡頑健性的需求使得現(xiàn)有的設備級電源管理功能未得到有效利用。而實際上，終端節(jié)點、網絡設備和網絡鏈路的利用率通常都很低，致使現(xiàn)有的互聯(lián)網能效低下，未能實現(xiàn)能耗比例計算的理念。另一方面，由于用戶對數(shù)據對象的請求呈現(xiàn)重尾分布規(guī)律，基于端到端的單播傳輸方式造成了大量的重復數(shù)據傳輸，使得傳輸效率低下。

本文正是基于此背景，從兩方面來探討互聯(lián)網的高能效傳輸技術。一方面，在假定現(xiàn)有網絡流量需求不變的前提下，以能耗比例計算為軸，綜述實現(xiàn)該理念的技術，具體包括邊緣網絡的網絡存在性代理技術、以太網節(jié)能技術和核心網絡的節(jié)能路由技術。另一方面，從降低網絡流量的角度出發(fā)，探討現(xiàn)有的及正處于實驗階段的內容分發(fā)架構對提高網絡傳輸能效的作用。

2 網絡節(jié)能研究現(xiàn)狀

美國勞倫斯國家實驗室的統(tǒng)計表明：2008年，聯(lián)網設備的能耗占所有能源消耗的4%左右，而其中，路由器、交換機等網絡設備占了0.5%左右(見圖1)。在中國，2009年三大運營商耗電28.9TWh，較前一年同比增長26%，耗電總量占全社會用電量的0.8%，而且現(xiàn)在每年還在快速增長。據預計，至2020年將有1/7的電力被ICT產業(yè)所消耗[6]，而其中PC和網絡設備將占據1/3。但是，被消耗的能源中一大部分都被浪費了。雖然終端節(jié)點提供了多種電源狀態(tài)，如待機、休眠等，但是隨著網絡業(yè)務的滲透，各種“反電源管理”因素正在不斷增加，如P2P應用、遠程訪問、遠程管理等。這些因素促使用戶禁用電源管理功能，而將終端節(jié)點置于7×24h開機模式。而對網絡設備來說，電源管理基本沒有得到應用。即使在負載很低的時候，網絡設備也必須保持工作狀態(tài)，以應對可能出現(xiàn)的鏈路故障等不確定因素。這些現(xiàn)實浪費了大量的能源，而如果采取有效措施，則可以最大程度予以避免。目前，學術界已經啟動了綠色互聯(lián)網的相關研究計劃，如南佛羅里達州的綠色互聯(lián)網研究計劃[7]和加州伯克利勞倫斯國家實驗室的高能效數(shù)字網絡研究計劃[8]。工業(yè)界也于2007年6月由英特爾公司和谷歌公司倡議并攜手超過25家企業(yè)和環(huán)保機構在美國共同發(fā)起了“電腦產業(yè)拯救氣候行動計劃”，次年，中國電子學會也加入了該計劃。

3 基于能效比例計算的網絡傳輸節(jié)能技術

3.1 能效比例計算的理念

能耗比例計算(energy proportional computing)是實現(xiàn)綠色計算的關鍵理念[9]。這一理念將成為未來系統(tǒng)設計的目標之一，即系統(tǒng)的能耗應該與工作負載成正比，而不是與最大處理能力成正比。圖 2給出了能耗比例計算。在理想情況下， 當工作負載為零時，能耗也應趨近于零。而目前的絕大部分現(xiàn)實是，系統(tǒng)在工作負載為零時的基準能耗一般都超過了峰值負載能耗的50%。若將整個網絡看成一個系統(tǒng)，并將這一理念延伸至網絡傳輸，則意味著網絡的能耗應該與網絡的負載正相關。理想情況下，網絡為傳輸1bit信息量所耗費的能量應為常數(shù)。

圖2 能耗比例計算

在硬件和系統(tǒng)層面提供多種電源狀態(tài)是實現(xiàn)能耗比例計算的基礎。目前，這方面的技術已經日趨成熟。例如，在 CPU層面，動態(tài)電壓頻率調整(DVFS)等技術的應用已使 CPU愈發(fā)接近了能耗比例計算的目標；在系統(tǒng)層面，高級配置和電源接口(ACPI)[3]也定義了多種休眠模式(S狀態(tài))和性能模式(P狀態(tài))，以支持系統(tǒng)級的能耗比例計算。然而電源管理與高能效計算存在本質區(qū)別：前者僅提供了硬件支持，而后者是一個全局優(yōu)化問題[10]，需要高能效算法的支持[11]。傳統(tǒng)的系統(tǒng)一般都是以最大化性能為設計目標。一般來說，高性能和高能效并不互斥。但事實上，要求系統(tǒng)的所有硬件都工作在最大能力的場景并不多見。文獻[10]概括了在給定計算問題下實現(xiàn)高能效計算所必備的三要素。

1) 電源模型。詳細規(guī)定了每個電源狀態(tài)的能耗、狀態(tài)轉換的延遲以及狀態(tài)轉換的能耗。

2) 約束確定和性能評價模塊。用于給出計算問題的應用層性能約束條件，如完成時間。

3) 能源優(yōu)化器?；陔娫茨Ｐ秃同F(xiàn)有資源的工作負載調度器，滿足應用性能約束條件，同時最小化所耗費的能源。

下面將分別對邊緣網絡和核心網絡的節(jié)能技術進行評述，對構成高能效計算的三要素進行抽象。

3.2 邊緣網絡節(jié)能技術

3.2.1 網絡存在性代理

網絡存在性代理技術[1,12～16]是一種邊緣網絡的節(jié)能解決方案。目前，為時刻保持網絡存在性已經成為了網絡邊緣節(jié)點禁用電源管理的主要因素，如遠程登錄、遠程管理以及P2P等資源共享應用。但實際上，有效工作時間僅占總開機時間的一小部分，絕大部分無人值守時間內節(jié)點均處于空閑狀態(tài)。在現(xiàn)有的網絡應用模式下，若節(jié)點進入休眠，則同時也失去了對外的網絡存在性。網絡存在性代理技術能有效解決上述問題。它允許被代理節(jié)點進入休眠狀態(tài)，而同時對外保持其網絡存在性。一個節(jié)點的網絡存在性是由它的對外行為表現(xiàn)的，為了維持節(jié)點的網絡存在性，需要能對特定的外部請求消息加以響應，維持對外連接。

圖3給出了網絡存在性代理的工作方式示意：1) 初始時，節(jié)點處于活躍狀態(tài)，它與其他節(jié)點之間的數(shù)據傳輸直接發(fā)生在它們之間；2) 當節(jié)點空閑了一段時間希望進入休眠時，它將該意圖通知網絡存在性代理，節(jié)點可能需要和代理之間進行一定的狀態(tài)傳輸，使代理能獲知節(jié)點的當前狀態(tài)，之后，節(jié)點進入休眠狀態(tài)；3) 在節(jié)點休眠期間，網絡存在性代理截獲發(fā)往被代理節(jié)點的網絡報文，并予以處理；4) 當某些報文無法處理而必須喚醒被代理節(jié)點時，網絡存在性代理將喚醒節(jié)點，并將報文轉交給節(jié)點，同時清理被代理節(jié)點的狀態(tài)，之后，節(jié)點恢復與目標節(jié)點的直接通信。

圖3 網絡存在性代理的工作流程

上述場景中，對應的高能效計算問題中的三要素為：每個被代理節(jié)點活躍狀態(tài)和休眠狀態(tài)的能耗、狀態(tài)轉換的能耗和轉換時間、以及網絡存在性代理的能耗構成了電源模型；每個節(jié)點i都有一組在休眠時需要支持的網絡應用需求APP(i)，所有應用的約束構成了整個計算問題的約束集，通常表現(xiàn)為處理延遲的約束；而節(jié)點進入休眠的策略和網絡存在性代理的處理邏輯則構成了能源優(yōu)化器。

網絡存在性代理的處理邏輯是該問題的關鍵，其目的是在代理設計的復雜性、節(jié)能效果和應用層性能之間尋求有效折中。代理所支持的行為集合決定了節(jié)點何時需要被喚醒。在最簡單的模式下，代理不做任何處理，即對任何報文都喚醒原節(jié)點，這種方式稱為WoP(wake on packet)，實際上該模式下完全不需要代理。WoP的有效性與報文到達的間隔時間密切相關。研究表明，在辦公網絡環(huán)境，大量的周期性廣播和多播報文的存在使得 WoP方法的有效性基本為零；而在家庭網絡中，報文到達間隔時間更具重尾分布特性，因此，WoP方法具有一定的效果[16]。

WoP方法的低效說明：為實現(xiàn)更佳的節(jié)能效果，網絡存在性代理需要支持更復雜的處理邏輯。一些典型的處理邏輯可以包括: 1) 忽略某些報文（如廣播報文或其他無關緊要的報文），而對其他報文則喚醒被代理節(jié)點；2) 代為應答一些簡單的網絡報文，如ARP、PING等，而對其他報文則喚醒被代理節(jié)點；3) 代理部分應用程序的功能，而對不支持的應用報文則喚醒被代理節(jié)點；4) 在復雜性和支持的應用種類之間進行折中，例如，僅對某些應用喚醒被代理節(jié)點，而對其他應用的報文則丟棄，這些應用在被代理節(jié)點休眠時將不再得到支持。

目前，ECMA (european computer manufacturers association)正在著手制定網絡存在性代理需要支持的處理邏輯及其行為的標準[12]。按照不同的網絡層次將網絡存在性代理所支持的處理邏輯進行簡單分類如下。

1) 網絡層：應支持IPv4的 ARP協(xié)議和IPv6的鄰居發(fā)現(xiàn)協(xié)議；若使用DHCP協(xié)議，則還應支持DHCP以維持IP地址；若被代理節(jié)點參加了多播組，則還需要支持 IGMP。支持這些協(xié)議確保了被代理節(jié)點在休眠時的網絡可達性，使發(fā)往被代理節(jié)點的報文能被正確尋址。

2) 傳輸層：需要維持應用可達性和TCP連接，如響應TCP SYN和TCP定時消息。

3) 應用層：對每種被代理的應用，需要具備處理簡單的應用層請求和心跳消息的功能。例如，文獻[17]提出了一種能用于處理 Gnutella查詢消息的代理，僅當需要傳輸文件時才喚醒節(jié)點。

網絡存在性代理的具體表現(xiàn)形態(tài)（或部署位置）可以是網絡中間件（如已有的防火墻和 NAT等設備）、同一局域網上的另一個網絡節(jié)點或自身的網卡。其中前兩者稱為外部代理，而后者稱為內部代理。如果使用外部代理，則應支持網絡報文喚醒功能。網絡報文喚醒可以是基于魔分組（magic packet）的 WOL技術[18]，也可以是基于特定報文模式匹配的技術，如TCP SYN或更細粒度的自定義報文。而使用內部代理則需要擴展現(xiàn)有網卡的功能。Yuvraj Agarwal和Steve Hodges等人設計了一種基于 USB接口的智能網卡[13]。它在網卡中內嵌了一款低能耗的處理器，運行嵌入式操作系統(tǒng)，在節(jié)點休眠時代理休眠節(jié)點的角色。

網絡存在性代理的優(yōu)點在于無需對現(xiàn)有的基礎設施做任何改變。近期來看，外部代理可以有效利用現(xiàn)有網絡設備短期內實現(xiàn)節(jié)能的目標[15]；而長遠來看，內部代理和被代理操作系統(tǒng)之間的協(xié)同更為簡單，具有更廣泛的應用前景。

3.2.2 以太網節(jié)能技術

在鏈路層面，以太網技術已成為局域網組網的主要技術。調研表明，僅在美國，PC機和其他網絡設備的以太網卡在 2005年消耗的電量為5.3TWh[19]。傳統(tǒng)的以太網標準中，即便沒有數(shù)據傳輸，接收端和發(fā)送端也工作在最高能耗模式。實際上以太網的利用率通常都很低，一般在1%左右[2]，但是以太網鏈路的能耗卻與工作頻率（而非負載）正相關（如圖 4所示）。為解決這一矛盾，研究人員提出了 2種方案：負載自適應以太網變頻技術（ALR）和以太網休眠技術。

圖4 以太網的鏈路速率與能耗關系

3.2.2.1 基于變頻的以太網節(jié)能技術

在以太網變頻問題中，構成高效能計算的三要素為：以太網不同鏈路速率的能耗和鏈路速率切換時間共同構成電源模型；報文延遲則是約束集考慮的主要因素；切換策略則對應于能源優(yōu)化器。

以太網變頻的研究重點在于鏈路速率切換機制和切換策略。其中，切換機制的目標是降低切換延遲，而切換策略的目標是最大化鏈路處于低頻的工作時間[20]。在鏈路建立階段可采用現(xiàn)有的 IEEE 802.3自動協(xié)商機制來進行能力的協(xié)商，包括是否支持 ALR以及雙方支持的傳輸速率。在鏈路速率切換時，ALR提出了兩階段握手的機制，由請求方發(fā)送 ALR REQUEST的 MAC幀，而接收方通過ALR ACK/NACK確認幀來接受/拒絕切換請求。如果接收方接受切換請求，則開始鏈路重新同步。在切換策略方面，ALR提出了雙門限、利用率門限和超時門限3種策略，用于智能地對工作頻率做出切換決策。

3.2.2.2 基于休眠的高能效以太網

目前，IEEE 802.3az標準工作組提出了基于休眠機制的以太網節(jié)能方案[21]，稱為高能效以太網(EEE), 相關標準已于2010年9月制定完成。其基本思路是在無數(shù)據傳輸時讓鏈路進入低能耗的休眠模式，而在新數(shù)據分組到達時快速將其喚醒。圖5給出了高能效以太網的工作示意。其中，Ts表示進入休眠所需要的時間，Tw表示喚醒鏈路所需的時間，Tr表示刷新時間，用于定期刷新接收器的狀態(tài)，以保證接收器單元與信道環(huán)境保持一致?？臻e時，以太網就進入低能耗狀態(tài)，低能耗模式下的能耗通常為正常模式的很小一部分(約10%)。

與以太網變頻技術不同，基于休眠的以太網節(jié)能方案不能作為高能效計算的實例，因為這里缺乏了三要素中的能源優(yōu)化器的概念，因此基于休眠的以太網節(jié)能只能被視為提供了鏈路級的電源管理支持。

3.3 核心網節(jié)能路由技術

核心網中的節(jié)點和鏈路平均利用率不高，但網絡是為應對峰值負載和可能出現(xiàn)的故障而設計的，因此即便利用率很低，目前的網絡設備也維持峰值時的工作狀態(tài)。而實際上，流量按天呈現(xiàn)周期性[22～24]，因此可以在負載較低時讓部分節(jié)點/鏈路進入低能耗狀態(tài)（如讓節(jié)點/鏈路進入低頻工作模式或休眠模式），從而達到節(jié)能的目的，使網絡作為一個整體接近能耗比例計算的理念。

將網絡看成一個系統(tǒng)，則節(jié)能路由問題對應的高效能計算的三要素為：電源模型由所有路由器和鏈路的能耗模型、不同電源狀態(tài)之間轉換延遲和轉換能耗開銷構成；約束和評價模型則主要從平均延遲、分組丟失率、網絡吞吐能力及鏈路利用率等進行考慮；最后，能源優(yōu)化器通常被形式化建模為能耗感知的流量工程問題，需要在全網范圍內選擇能耗最小的路由，確定鏈路的頻率或可以關閉的節(jié)點或鏈路，但這通常是一個NP-hard問題。

文獻[25]開創(chuàng)性地提出了在網絡層面進行節(jié)能的3種方法，其中2點是針對全網而言的。

1) 網絡層面，可以在低負載時改變路由，在更少的路徑上聚合流量，從而允許空閑路徑的設備進入休眠狀態(tài)。這要求對第2層和第3層協(xié)議的工作方式進行修改。

2) 可以改變互聯(lián)網拓撲結構，使網絡結構依據網絡負載的不同而動態(tài)調整（通過聚合和休眠）。換言之，應設計能源敏感的網絡拓撲，使網絡的活躍設備數(shù)和網絡負載之間具備良好的相關性。當負載增加時，更多的設備被喚醒，而當負載下降時，更多的設備可以休眠。

針對全網節(jié)能優(yōu)化的方法也可以分為鏈路變頻技術和休眠技術。依據節(jié)點是否進行協(xié)同，可以分為自主方式和協(xié)同方式。其中，自主方式是設備依據自身感知的網絡狀態(tài)，獨立地做出變頻或休眠決策；而協(xié)同方式則依據全局的流量需求、能耗函數(shù)等，在滿足鏈路利用率限制或網絡吞吐能力限制的前提下，從優(yōu)化全局能耗的角度決定路由策略。因此，針對全網的節(jié)能優(yōu)化技術可分為自主變頻技術、協(xié)同變頻技術、自主休眠技術和協(xié)同休眠技術這4種。

圖5 EEE中活躍和低能耗狀態(tài)之間的轉換

3.3.1 自主休眠

文獻[26]提出了幾種自主休眠的策略。第1種是定時休眠。在該策略下，休眠階段到達的報文將全部丟失。第2種是WoA(wake-on-arrival)，即將網卡處于供電狀態(tài)，在主機休眠時偵聽線路，一旦有報文到達即喚醒主機。然而在核心網絡上，報文到達間隔通常很小(為微秒數(shù)量級)，因此WoA在這類鏈路上基本無效。為克服這一缺陷，可以利用流量緩存的方法在網絡邊緣對流量進行緩存和整形，人為地使網絡流量呈現(xiàn)突發(fā)態(tài)勢，從而增加空閑時間的長度注1注1 這很反傳統(tǒng)，在傳統(tǒng)的擁塞避免中，一般都是避免突發(fā)流量，而不是創(chuàng)造突發(fā)流量。。為保證入口處創(chuàng)建的突發(fā)流量在穿越網絡時得以保持，入口路由器將對報文進行重新排列，使得去往同一出口路由器的報文在突發(fā)中相鄰。此外，可以增加入口路由器的協(xié)同性，使到達中間路由器的報文在時間上更為接近，從而中間路由器可以獲得更多的休眠機會。但完全協(xié)同并非總是可行的，對協(xié)同性的要求也大大增加了策略的復雜性。

3.3.2 自主變頻

文獻[26]還提出了自主變頻技術，即依據網絡流量自適應調整網絡的工作頻率。假設每個網絡鏈路都支持N個速率r1,r2, …,rn(其中，ri＜ri+1,rn=rmax為默認最大鏈路速率)，不同的性能狀態(tài)之間的轉移時延為δ，設?fr表示鏈路依據歷史報文到達速率對未來報文到達速率的預測值注2注2 可基于指數(shù)加權移動平均(EWMA)來獲得。，d表示每個報文排隊時延的上限，則可依據下列準則來進行鏈路頻率切換：

1) 假設鏈路速率為ri，隊列長度為q，則當且僅當時將鏈路速率切換到ri+1。

2) 假設鏈路速率為ri，隊列長度為q，則當且僅當q=0且r?f＜ri-1時，將鏈路速率切換到ri-1。

3.3.3 協(xié)同休眠

協(xié)同休眠是一個典型的高能效計算問題。在性能約束方面，通常使用鏈路利用率[24,27]或網絡吞吐能力[28]來衡量網絡的傳輸性能。在電源模型方面，需要分別建立路由器和鏈路的能耗模型[24,29,30]。協(xié)同休眠研究的核心則在于能源優(yōu)化器，即如何實現(xiàn)最優(yōu)的全局決策以最大化節(jié)能效果。這類決策策略通常都是依據網絡拓撲結構知識或流量需求在路由協(xié)議層面對流量進行匯聚，允許不參與路由的節(jié)點或鏈路進入休眠以達到節(jié)能目的。

文獻[31]提出了一種EAR(energy aware routing)算法，可以看成是網絡負載較輕時的OSPF版本。例如，路由器在晚間可自動切換到EAR，而在白天則采用OSPF路由。與OSPF相比，EAR利用了更少的鏈路進行路由，因此不參與路由的鏈路可以進入休眠狀態(tài)。

EAR并沒有顯式地考慮流量需求，在EAR和OSPF之間的切換時機需要依賴于經驗。文獻[27]在選擇路由時不僅考慮節(jié)能目標，同時還增加了對流量需求矩陣與服務質量約束的考慮。該研究同時考慮了路由器和鏈路的能耗，并將其建模為一個具有容量限制的多物資最小費用流問題(CMCF)。由于CMCF問題是NP-hard的問題，文章提出了幾種關閉節(jié)點的啟發(fā)式策略：隨機策略、節(jié)點度最小最優(yōu)先、最小流最優(yōu)先、以及 opt-edge?；谕瑯拥慕７椒?，文獻[24]又提出了一種簡單的貪婪算法用于關閉節(jié)點和鏈路，保證網絡連通性和最大鏈路負載率。

筆者在文獻[28]中提出了基于網絡宏觀拓撲結構知識選擇性關閉鏈路的方法，實驗表明，在 BA網絡上采用一種混合策略能取得較優(yōu)的節(jié)能效果，即先關閉邊介數(shù)(edge betweenness)較大的鏈路，然后切換到隨機策略關閉鏈路。該研究也是文獻[25]中所提出的第3種網絡節(jié)能思路的一種體現(xiàn)，即BA網絡比ER網絡具備更好的“活躍設備—網絡負載”相關性。

此外，路由器虛擬化技術也為節(jié)能路由提供了基礎。若路由器支持虛擬化，則可以通過調整邏輯路由器和物理路由器的映射關系來提高傳輸能效。例如，文獻[32]提出了VROOM(virtual router on the move)，將邏輯路由器和物理路由器分離，依據流量負載動態(tài)地增加或減少物理路由器的數(shù)目。在晚間流量較低時，虛擬路由器可以遷移到更少的物理路由器上，不需要的路由器就可以關閉或進入休眠狀態(tài)。應用VROOM的優(yōu)點在于IP層的拓撲在遷移過程中保持不變。

3.3.4 協(xié)同變頻

文獻[33]提出了能耗最優(yōu)化的路由模型，根據能耗和負載的不同函數(shù)關系及流量需求，給出路由算法及每條鏈路的最佳工作頻率設計方案。給定無向圖G和一組流量需求，每個需求i在源節(jié)點si和目標節(jié)點ti之間要求di整數(shù)單元的帶寬。每一條鏈路e被賦予一個費用函數(shù)fe(s)，表示負載為s單元的數(shù)據時的能耗。設 0-1函數(shù)yi,e表示流量需求i是否經過鏈路e，xe表示鏈路e上的總負載。路由最優(yōu)化問題（P1）就表示為

上述問題求解的復雜度依賴于費用函數(shù)，具體有以下結論：

1) 如果費用函數(shù)fe(·)滿足fe(x1+x2)=fe(x1)+fe(x2)，則最短路徑路由算法是最優(yōu)的；

2) 如果費用函數(shù)fe(·)滿足fe(x1+x2)＜fe(x1)+fe(x2)，則對應于buy-at-bulk網絡設計問題[34]；

3) 如果費用函數(shù)fe(·)滿足fe(x1+x2)＞fe(x1)+fe(x2)，則一般不存在一個具有上界的近似多項式算法。

類似地，文獻[35]在假設鏈路支持多個工作頻率的基礎上，提出了能耗感知的流量工程方法。其基本思路是如果網絡中有些鏈路的流量負載稍高于某個工作頻率，則可以將高出工作頻率部分的流量通過流量工程的方法轉移到一些其他鏈路，同時保證這些鏈路的流量不超過現(xiàn)有工作頻率的上限，從而可以將一部分鏈路切換到低頻工作狀態(tài)。

3.3.5 小結

具體采用哪種技術方案依賴于網絡硬件設備和系統(tǒng)的能耗屬性。路由器的能耗一般可以表示為P(R)=BR+f(v)，其中，BR為基準能耗，f(v)為依據負載的可變能耗。在當前的硬件環(huán)境下，一般BR占主導，基準能耗與峰值負載能耗之比一般超過50%。而當設備實現(xiàn)了能耗比例計算后，基準能耗與峰值負載能耗之比將大幅降低。鏈路能耗一般可以表示為P(L)=h(L)+w(C,x)，其中，h(L)表示與鏈路長度L相關的能耗，w(C,x)表示工作頻率為C, 負載為x的能耗。一般來說，h(L)可以視作常數(shù)且忽略不計，鏈路的能耗主要由其工作頻率C決定。當鏈路不支持變頻時，僅存在活躍和休眠2個狀態(tài)；而當鏈路支持多個工作頻率時，則不同的工作頻率具有不同的能耗。

原則上來說，當網絡設備的基準能耗占峰值能耗的比例較高時，采用基于休眠的方案能有效地實現(xiàn)網絡節(jié)能；而當網絡設備基本實現(xiàn)能耗比例計算后，則變頻技術對網絡節(jié)能的貢獻將更為顯著。

4 降低網絡流量的方法

所有基于休眠和協(xié)同的策略都是在假設網絡流量需求相同的前提下，通過優(yōu)化資源的使用實現(xiàn)節(jié)能降耗。但是如果網絡設備能實現(xiàn)能耗比例計算，那么減少網絡流量是降低能耗的最根本出發(fā)點。減少網絡流量對降低能耗的作用體現(xiàn)于兩方面：一方面，網絡流量的降低緩解了網絡設備升級的壓力，延長了設備的使用壽命；另一方面，網絡流量的降低減少了為轉發(fā)這些流量所需要的運行能耗。

降低網絡流量的可行性源自下述2個基本現(xiàn)實：一方面，人們對數(shù)據的訪問通常呈現(xiàn)重尾分布的特征，如Web頁面的訪問[36]和P2P對象的訪問[37,38]；另一方面，現(xiàn)有的網絡傳輸模式基本是單播模式。這兩者使得現(xiàn)有的內容分發(fā)機制產生了大量的重復數(shù)據傳輸。這些數(shù)據對象的重復傳輸不僅耗費了大量的帶寬，迫使運營商不斷進行擴容，同時也耗費了大量的數(shù)據傳輸能耗。

用戶對數(shù)據對象的訪問呈現(xiàn)重尾分布這一規(guī)律以及互聯(lián)網用戶對數(shù)據訪問的異步性需求為解決網絡中數(shù)據重復傳輸提供了依據。一種行之有效的方式是利用緩存技術。緩存系統(tǒng)不斷地積累用戶的訪問行為信息，通過緩存替換算法來動態(tài)地優(yōu)化緩存，逐步隱式地形成對用戶訪問規(guī)律的認知。無論是Web、CDN或P2P，都大量地使用了緩存系統(tǒng)以降低數(shù)據對象的重復傳輸、提高用戶的體驗。另一種方式是改變網絡的傳輸模式和優(yōu)化數(shù)據傳輸?shù)穆酚?。為了將某個數(shù)據對象從源節(jié)點發(fā)送到一組接收者，基于單播的傳輸模式將產生大量的重復傳輸；而網絡層多播則能避免數(shù)據在同一鏈路上的重復傳輸，但目前的網絡層多播僅支持數(shù)據的同步推送。介于兩者之間則是基于應用層多播的折中方案。但是，如果不對應用層多播的拓撲和路由加以優(yōu)化，可能產生比單播傳輸更多的流量。優(yōu)化的應用層多播產生的數(shù)據流量能介于單播模式和多播模式之間。而如果存在廣播媒介，則能最大程度地降低數(shù)據傳輸?shù)拇螖?shù)。下面對幾種現(xiàn)有的和正處于實驗階段的內容分發(fā)系統(tǒng)加以介紹，著重剖析其為減少網絡數(shù)據傳輸所做的設計選擇。

1) CDN

CDN最初被用于緩解中心服務器的負載。例如，從abc.com下載的網頁可能包含圖片、視頻、音頻，或其他高帶寬的多媒體文件。Abc.com的中心服務器可以只提供最基本的web頁面，而將瀏覽器重定向到CDN來獲取頁面中內嵌的多媒體內容。CDN在網絡部署成本和分發(fā)性能之間存在折中。早期的 CDN是一種中心化的模式，即僅在核心的運營商網絡部署服務器。然而統(tǒng)計顯示，只有50%的流量是源自互聯(lián)網最大的 35個網絡運營商的[39]，這表明大量的流量依然要穿越互聯(lián)網。據統(tǒng)計，互聯(lián)網端到端的路徑平均要經過 15個路由器[30]，因而中心化的模式只能部分緩解流量壓力。高度分布化的 CDN則大幅提高了服務器覆蓋的廣度，將熱門資源通過 CDN網絡直接推送到邊緣網絡，實現(xiàn)一次傳輸、存儲，多次訪問，避免了大量的網絡傳輸。當然，高度分布化的CDN也對系統(tǒng)的安全性、管理、擴展性和內容同步帶來了挑戰(zhàn)。

2) P2P

早期的P2P技術著重于降低內容提供商的分發(fā)代價，并不關心對運營商網絡帶來的流量沖擊。作為一種應用層多播，P2P網絡拓撲通常與底層物理網絡失配，使得P2P流量通常以非優(yōu)化的方式傳輸，產生了大量的P2P流量[40～42]。但通過構建位置感知的P2P拓撲（使應用層拓撲與底層物理網絡拓撲相匹配）、在網絡的邊緣緩存P2P流量、改進數(shù)據調度算法等手段，可以大幅提高P2P節(jié)點從本地獲取內容的概率，從而大幅降低P2P引發(fā)的網絡流量[40～42]。目前，中國通信標準化協(xié)會的TC1的WG4工作組和IETF的 ALTO工作組都在制定基于承載網感知的P2P流量優(yōu)化標準[43,44]，旨在提高應用層拓撲與物理網絡拓撲的匹配度，大幅降低P2P傳輸對核心網的流量沖擊。IETF于2010年還成立了DECADE[45]工作組，試圖在網絡中提供公共的內置緩存，將P2P應用的控制層和數(shù)據層分開，通過開放的協(xié)議允許應用可以自主使用和管理緩存，形成一個可管可控的內容分發(fā)平臺，解決P2P緩存的可擴展性問題。

3) CCN/NDN

以內容為中心的網絡[46]則將緩存從應用層拓展到了網絡層，對內容進行命名，并依據內容標識進行尋址和路由。目前，基于這一思路對互聯(lián)網進行改革的方案已經于2010年得到了美國自然科學基金委的支持。該方案將內容的解析和路由2個邏輯上獨立的概念在物理上合為一體，在解析的同時完成路由。從單次傳輸來看，NDN實現(xiàn)了網絡層的任播(anycast)。內容獲取的路徑最優(yōu)性由路由層保證，而不像現(xiàn)在的CDN系統(tǒng)或P2P系統(tǒng)一樣依賴于中間的解析體系來優(yōu)化定位。更重要的是，由于目前的網絡層多播缺乏路由器緩存內容的支持，只能實現(xiàn)同步多播，無法滿足用戶對內容的異步訪問需求，而由于在路由器引入了緩存，從群體效應來看，NDN實現(xiàn)了網絡層的異步多播。這是網絡體系結構在網絡傳輸模式上的一大革新。通過設計合理的緩存協(xié)同機制和替換算法，可以大幅降低網絡的流量傳輸。

4) 雙結構互聯(lián)網

李幼平院士提出的雙結構互聯(lián)網認為，為了有效利用人類對內容訪問呈現(xiàn)重尾分布規(guī)律這一特征，網絡需要引入內容存儲庫，用于緩存內容。庫可以存在于終端節(jié)點、邊緣網絡以及核心網路由器。雙結構互聯(lián)網引入了廣播的傳輸模式。與緩存對內容訪問規(guī)律的利用方式不同，廣播顯式地利用了重尾分布這一統(tǒng)計知識，將用戶經常訪問的資源經衛(wèi)星通過廣播媒質定期推送到用戶終端。終端通過對用戶歷史訪問行為挖掘得到的本體代碼對廣播內容進行個性化過濾。與 CCN類似，雙結構互聯(lián)網也支持網絡層的緩存，對于終端未緩存的內容，通過正常的方式請求，一旦路徑上的某個中間節(jié)點能夠滿足請求，則通過該節(jié)點來服務該請求。但與 CCN不同，雙結構互聯(lián)網建議不改變現(xiàn)有的IP網絡基礎設施，而是利用IP協(xié)議的選項字段用于標識用戶所需內容的本體代碼。雙結構互聯(lián)網依賴于現(xiàn)有的解析體系，如DNS、ALTO[43]等，來完成資源的優(yōu)化定位，不一定能保證單個請求的路由最優(yōu)性。但由于引入了緩存，從群體效應上看，雙結構互聯(lián)網也實現(xiàn)了異步多播的功能。因此，雙結構互聯(lián)網分別通過顯式和隱式2種方式利用了人類對內容訪問呈現(xiàn)重尾分布規(guī)律這一特征，并充分利用了廣播和多播的傳輸模式，最大程度地降低了熱門內容分發(fā)的數(shù)據流量。

5 結束語

5.1 其他網絡節(jié)能技術

數(shù)據中心是許多大規(guī)模網絡應用的后臺支撐系統(tǒng)，也是互聯(lián)網的一大能耗產業(yè)。針對數(shù)據中心目前提出了許多節(jié)能解決方案，其中較為著名的是Google的綠色倡議[47]，它為綠色數(shù)據中心提供了一整套的解決方案。針對數(shù)據中心的節(jié)能技術主要包括利用虛擬化實現(xiàn)服務器按需配置、利用數(shù)據調度算法降低數(shù)據傳輸量、以及復用現(xiàn)有系統(tǒng)來實現(xiàn)分布化的數(shù)據中心等[48～56]。此外，對數(shù)據中心的運營者來說，降低總的能源開支是它要追求的一個目標。對那些在不同地區(qū)建有多個數(shù)據中心的運營者，可以依據電價的時空波動性設計高效的實時調度算法，最小化電源費用開支[23,57]。

對傳統(tǒng)的傳輸層和應用層的網絡協(xié)議進行改進，使其具備能源感知功能，是實現(xiàn)節(jié)能的又一研究方向。在TCP層，已經提出了多種節(jié)能策略，如功能轉移、機會性休眠、改變 TCP定時器的粒度、減少重傳次數(shù)等[17]。在應用層，也可以讓協(xié)議增加能源感知功能。例如，文獻[58]對BitTorrent協(xié)議進行了修改，使會話參與節(jié)點在沒有數(shù)據傳輸發(fā)生時能進入休眠，同時又不從鄰居節(jié)點的鄰居列表中刪除。

5.2 互聯(lián)網節(jié)能的技術途徑總結

為了實現(xiàn)互聯(lián)網的節(jié)能所采用的技術途徑大致可分為以下4個方面。

1) 在硬件和設備層面，需要支持變頻、休眠和遠程喚醒機制。

2) 在傳輸協(xié)議層面，通過流量感知，自動實現(xiàn)鏈路變頻、流量聚合和節(jié)點/鏈路休眠。

3) 在應用層面，可以通過網絡存在性代理、控制數(shù)據通信量或流量特征、提高應用的位置感知能力從而降低路由開銷等方式來降低網絡能耗或為節(jié)能創(chuàng)造前提條件。

4) 在宏觀層面，可以通過減少網絡流量來降低網絡能耗。一方面，可以顯式或隱式地利用人類對內容訪問呈現(xiàn)重尾分布的規(guī)律，利用主動推送或緩存等機制來降低數(shù)據的重復傳輸；另一方面可以改變單播的傳輸方式，以多播或廣播等傳輸方式來降低數(shù)據傳輸量。

5.3 研究方向展望

降低互聯(lián)網的能耗已經成為了研究界和工業(yè)界的熱點。網絡節(jié)能涉及硬件設備、傳輸協(xié)議和網絡應用等多個層面。目前研究界已經提出了多種針對網絡的節(jié)能技術，但這些技術距離實用還有漫長的路要走。

展望未來，網絡節(jié)能將是未來幾年的熱點研究領域，但也面臨著諸多挑戰(zhàn)，主要包括以下幾方面。

1) 需要大范圍改造現(xiàn)有的網絡硬件設備，使其在設備和系統(tǒng)層面逼近能耗比例計算的理念，為協(xié)議層和應用層的能源優(yōu)化創(chuàng)造前提條件。

2) 不同網絡環(huán)境的高能效計算問題的建模還有待進一步細化，在電源模型、應用層性能約束和能源優(yōu)化器3方面都有廣闊的研究空間。例如，網絡環(huán)境下的能效最優(yōu)化經常是NP-hard問題，如何設計高效的啟發(fā)式算法依然有很廣泛的研究前景；此外，現(xiàn)有的協(xié)同休眠機制大都依賴于集中式能源優(yōu)化器，而在網絡環(huán)境下，如何實現(xiàn)分布式的能源優(yōu)化器更具現(xiàn)實價值。

3) 網絡環(huán)境下的節(jié)能需要大量的標準化工作。例如，需要為不同廠商設備的電源狀態(tài)提供標準化的訪問和管理能力，如提供合適的MIB[59]；網絡存在性服務器需要對代理的行為和操作進行標準化，以支持代理的廣泛部署。

4) 改變現(xiàn)有的網絡協(xié)議/應用程序與能源使用脫離的現(xiàn)狀是實現(xiàn)網絡節(jié)能的一個主要途徑，但這是一項極為艱巨的任務，因為對現(xiàn)有協(xié)議的改造都可能導致意想不到的負面效應。如何有選擇地改造網絡協(xié)議/應用程序，在實現(xiàn)有效節(jié)能的同時盡量避免負面效應，是需要深入研究的問題。

5) 探索降低網絡流量的新機制的可行性。互聯(lián)網用戶對內容的訪問呈現(xiàn)異步多播的特征，內容分發(fā)機制是未來互聯(lián)網的一大研究方向。需要深入比較網絡層緩存和應用層緩存方案，更有效地支持異步多播的需求。

[1] CHRISTENSEN K, GUNARATNE C, NORDMAN B,et al. The next frontier for communications networks: power management[J]. Computer Communications, 2004, 27(18): 1758-1770.

[2] CHRISTENSEN K. Green networks: opportunities and challenges[EB/OL]. http://www.ieeelcn.org/prior/LCN34/2009_Keynote_Christensen.pdf, 2009.

[3] Advanced configuration & power interface(ACPI)[EB/OL]. http://www. acpi.info/spec.htm,2011.

[4] ENERGY STAR version 5.0 specification for computers[EB/OL].http://www.energystar.gov/ia/partners/prod_development/revisions/do wnloads/computer/Version5.0_Computer_Spec.pdf/,2008.

[5] 中華人民共和國環(huán)境保護行業(yè)標準——環(huán)境標志產品技術要求微型計算機、顯示器[S]. HJ/T 313-2006.The Technical Requirement for Environmental Labeling Products-Microcomputers and Displays[S]. HJ/T 313-2006.

[6] DEMEESTER P, PICKAVET M. An inconvenient truth: energy-efficient future Internet[EB/OL]. http://www.future-internet.eu/fileadmin/documents/consultation_meeting_31_Jan_08/Demeester_Internet_of_the_Future_31_jan_08.pdf, 2008.

[7] The energy efficient internet project[EB/OL]. http://www.csee.usf.edu/～ christen/energy/mail.html,2012.

[8] The energy efficient digital networks project[EB/OL]. http://efficientnetworks.lbl.gov/,2012.

[9] BARROSO L A, H?LZLE U. The case for energy-proportional computing[J]. IEEE Computer, 2007, 40(12): 33-37.

[10] BROWN D J, REAMS C. Toward energy efficient computing[J].Communications of the ACM, 2010, 53(3): 50-58.

[11] ALBERS S. Energy-efficient algorithms[J]. Communications of the ACM, 2010, 53(5): 86-96.

[12] ECMA international standard organization TC38-TG4 ( formerly TC32-TG21)[EB/OL]. http://www.ecma-international.org/ memento/TC38-TG4.htm,2012.

[13] AGARWAL Y, HODGES S, CHANDRA R,et al. Somniloquy: augmenting network interfaces to reduce PC energy usage[A]. Proceedings of the USENIX NSDI 2009[C]. Boston, USA, 2009.

[14] JIMENO M, CHRISTENSEN K, NORDMAN B. A network connection proxy to enable hosts to sleep and save energy[A]. IEEE International Performance Computing and Communications Conference(IPCCC)[C]. Austin, USA, 2008.

[15] NORDMAN B, CHRISTENSEN K. Proxying: the next step in reducing IT energy use[J]. IEEE Computer, 2010, 43(1): 91-93.

[16] NEDEVSCHI S, CHANDRASHEKAR J, LIU J,et al. Skilled in the art of being idle: reducing energy waste in networked systems[A].Proceedings of the USENIX NSDI[C]. Boston, USA, 2009.

[17] AKELLA S A, BALAN R K, BANSAL N. Protocols for Low-power[R]. Project Report, Camegie Mellon University, 2001.

[18] LIEBERMAN P. Wake-on-LAN technology[EB/OL]. http://www.liebsoft.com/pdfs/Wake_On_LAN.pdf, 2006.

[19] NORDMAN B, CHRISTENSEN K. Reducing the energy consumption of network devices[EB/OL]. http://www.csee.usf.edu/～christen/energy/pubs.html, 2005.

[20] GUNARATNE C, CHRISTENSEN K, NORDMAN B,et al. Reducing the energy consumption of Ethernet with adaptive link rate(ALR)[J]. IEEE Transactions on Computers, 2008, 57(4): 448-461.

[21] IEEE std 802.3az-2010[EB/OL]. http://www.ieee802.org/3/purchase/index.html, 2010.

[22] ROUGHAN M, GREENBERG A, KALMANEK C,et al. Experience in measuring backbone traffic variability: models, metrics, measurements and meaning[A]. ACM SIGCOMM Internet Measurement Workshop[C]. Marseille, France, 2002.

[23] QURESHI A, WEBER R, BALAKRISHNAN H,et al. Cutting the electric bill for internet-scale systems[A]. Proceedings of the ACM SIGCOMM[C]. Barcelona, Spain, 2009.

[24] CHIARAVIGLIO L, MELLIA M, NERI F. Energy-aware backbone networks: a case study[A]. Proceedings of the IEEE ICC 2009[C].Dresden, Germany, 2009.

[25] GUPTA M, SINGH S. Greening of the internet[A]. Proceedings of the ACM SIGCOMM 2003[C]. Karlsruhe, Germany, 2003.

[26] NEDEVSCHI S, POPA L, IANNACCONE G,et al. Reducing network energy consumption via sleeping and rate-adaptation[A]. Proceedings of the USENIX NSDI 2008[C]. San Francisco, USA, 2008.

[27] CHIARAVIGLIO L, MELLIA M, NERI F. Reducing power consumption in backbone networks[A]. Proceedings of the IEEE ICC 2009[C]. Dresden, Germany, 2009.

[28] ZHANG G Q. Link power coordination for energy conservation in complex communication networks[J]. Europhysics Letters, 2010. 92,28001.

[29] CHABAREK J, SOMMERS J, BARFORD P,et al. Power awareness in network design and routing[A]. Proceedings of the IEEE INFOCOM 2008[C]. Phoenix, USA, 2008.

[30] TUCKER R. Modeling energy consumption in IP networks[EB/OL].http://www.cisco.com/web/about/ac50/ac207/crc_new/events/assets/cg rs_energy_consumption_ip.pdf, 2008.

[31] CIANFRANI A, ERAMO V, LISTANTI M,et al. An energy saving routing algorithm for a green OSPF protocol[A]. Proceedings of the IEEE INFOCOM 2010[C]. San Diego, CA, USA, 2010.

[32] WANG Y, KELLER E, BISKEBORN B,et al. Virtual routers on the move: live routers migration as a network management primitive[A].Proceedings of the ACM SIGCOMM 2008[C]. Seattle, USA, 2008.

[33] ANDREWS M, ANTA A F, ZHANG L,et al. Routing for energy minimization in the speed scaling model[A]. Proceedings of the IEEE INFOCOM 2010[C]. San Diego, CA, USA, 2010.

[34] AWERBUCH B, AZAR Y. Buy-at-bulk network design[A]. Proceedings of the 38th Annual Symposium on Foundations of Computer Science[C]. Miami, 1997.

[35] VASIC N, KOSTIC D. Energy-aware traffic engineering[A]. Proceedings of 1st International Conference on Energy-efficient Computing and Networking[C]. Passau, Germany, 2010.

[36] BRESLAU L, CAO P, FAN L,et al. Web caching and zipf-like distributions: evidence and implications[A]. Proceedings of the IEEE INFOCOM 1999[C]. New York, USA, 1999.

[37] HEFEEDA M, SALEH O. Traffic modeling and proportional partial caching for peer-to-peer systems[J]. IEEE/ACM Transactions on Networking, 2008, 16(6): 1447-1460.

[38] SALEH O, HEFEEDA M. Modeling and caching of peer-to-peer traffic[A]. Proceedings of International Conference on Network Protocols(ICNP’06)[C]. Santa Barbara, USA, 2006. 249-258.

[39] LEIGHTON T. Improving performance in the internet[J]. ACM Queue,2008, 6 (6): 20-29.

[40] 唐明董, 張國清, 楊景等. P2P流量優(yōu)化技術綜述[J]. 電信網技術,2009, (1): 1-7.TANG M D, ZHANG G Q, YANG J,et al. A survey of P2P trafficoptimization techniques[J]. Telecommunications Network Technology,2009, (1): 1-7.

[41] 張國強, 唐明董, 程蘇琦等. P2P流量優(yōu)化[J]. 中國科學, 2012,42(1):1-19.ZHANG G Q, TANG M D, CHENG S Q,et al. P2P traffic optimization[J]. Science in China series F, 2012, 42(1): 1-19.

[42] ZHANG G Q, CHENG S Q, ZHANG G Q. LANC: locality-aware network coding for better P2P traffic localization[J]. Computer Networks, 2011, 55: 1242-1256.

[43] ALIMI R, PENNO R, YANG Y. ALTO Protocol[S]. Draft-ietf-altoprotocol- 06.txt, 2010

[44] YD/T 2146-2010. 基于承載網感知的 P2P流量優(yōu)化技術總體技術要求[S].YD/T 2146-2010. Technical Framework for Carrier Network-aware P2P Traffic Optimization[S].

[45] DECADE working group[EB/OL]. http://datatracker.ietf.org/wg/decade, 2010

[46] JACOBSON V, SMETTERS D K, THORNTON J D,et al. Networking named content[A]. Proceedings of CoNEXT’09[C]. Rome, Italy, 2009.[47] Google's green initiatives[EB/OL]. http://www.google.com/green/, 2011.

[48] KANT K. Data center evolution: a tutorial on state of the art, issues,and challenges[J]. Computer Networks, 2009, 53(17): 2939-2965.

[49] VALANCIUS V, LAOUTARIS N, MASSOULIE L,et al. Greening the internet with nano data centers[A]. Proceedings of the 5th International Conference on Emerging Networking Experiments and Technologies(CoNEXT’09)[C]. Rome, Italy, 2009.

[50] LIU L, WANG H, LIU X,et al. Greencloud: a new architecture for green data center[A]. International Conference on Autonomic Computting[C]. Barcelona, Spain, 2009.

[51] GREENBERG A, HAMILTON J, MALTZ D A,et al. The cost of a cloud: research problems in data center networks[J]. ACM SIGCOMM Computer Communication Review, 2009,39(1):68-73.

[52] MAHADEVAN P, SHARMA P, BANERJEE S,et al. Energy aware network operations[A]. IEEE Global Internet Symposium[C]. Riode Janeiro Brasil, 2009.

[53] VASI? N, BARISITS M, SALZGEBER V. Making cluster applications energy-aware[A]. International Conference on Autonomic Computting[C]. Barcelona, Spain, 2009.

[54] LEVERICH J, KOZYRAKIS C. On the energy efficiency of hadoop clusters[J]. ACM SIGOPS Operating Systems Review, 2010, 44(1):61-65.

[55] FAN X, WEBER W D, BARROSO L A. Power provisioning for warehouse-sized computer[A]. Proceedings of the ACM International Symposium on Computer Architecture[C].San Diego, CA, USA, 2007.

[56] 鄧莉，吳松，金海. 虛擬化—綠化數(shù)據中心的有效途徑[J]. 中國計算機學會通訊, 2010,6(3): 14-17.DENG L, WU S, JIN H. Virtualization—an efficient approach to greening data centers[J]. Communications of the CCF, 2010,6(3):14-17.

[57] RAO L, LIU X, XIE L,et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment[A]. Proceedings of the IEEE INFOCOM 2010[C]. San Diego,CA, USA, 2010.

[58] BLACKBURN J, CHRISTENSEN K. A simulation study of a new green BitTorrent[A]. First International Workshop on Green Communications[C]. Dresden, Germany, 2009.

[59] BLANQUICET F, CHRISTENSEN K. Managing energy use in a network with a new SNMP power state MIB[A]. Proceedings of the IEEE Conference on Local Computer Networks(LCN2008)[C]. Montreal, Canada, 2008.