• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于PE方法的數(shù)據(jù)中心需量費用優(yōu)化算法

    2016-07-18 11:50:50黃焱王鵬謝高輝
    通信學(xué)報 2016年3期
    關(guān)鍵詞:需量電費電價

    黃焱,王鵬,謝高輝

    ?

    基于PE方法的數(shù)據(jù)中心需量費用優(yōu)化算法

    黃焱1,2,王鵬3,謝高輝4

    (1. 中國科學(xué)院成都計算機應(yīng)用研究所,四川成都 610041;2. 中國科學(xué)院大學(xué),北京 100049; 3. 西南民族大學(xué)計算機科學(xué)與技術(shù)學(xué)院,四川成都610041;4. 廣州五舟科技股份有限公司,廣東廣州 510000)

    數(shù)據(jù)中心的電費包含需量費用和用量費用2個部分,以往的數(shù)據(jù)中心電費優(yōu)化研究通常未考慮需量費用。在滿足服務(wù)質(zhì)量和響應(yīng)時間的約束條件下采用PE(partial execution)方法可以減少峰值功率,從而降低需量費用。通過對時間、外部負載、服務(wù)質(zhì)量約束、響應(yīng)時間約束進行建模,構(gòu)建電費優(yōu)化問題的模型,提出基于PE方法的需量費用優(yōu)化算法PEDC(partial execution demand charge),在高負載時間段執(zhí)行PE方法減小峰值功率以降低需量費用并降低用量費用,從而降低數(shù)據(jù)中心的總電費。通過與4種算法進行比較,并構(gòu)造準(zhǔn)確預(yù)測的負載數(shù)據(jù)對PEDC算法性能進行測試,PEDC算法可以降低數(shù)據(jù)中心運營總電費5.9%~12.7%,提升集群使用率1.32倍。

    PE方法; 需量費用; 用量費用; 能耗費用優(yōu)化

    1 引言

    近年來,云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)等信息產(chǎn)業(yè)的前端領(lǐng)域高速發(fā)展,數(shù)據(jù)中心作為信息產(chǎn)業(yè)的后端基礎(chǔ)設(shè)施在集群數(shù)量和集群規(guī)模上呈現(xiàn)出快速增長趨勢。谷歌、微軟公司的數(shù)據(jù)中心服務(wù)器數(shù)目均超過100萬臺,阿里的“飛天”集群規(guī)模超過5 000臺[1],全球TOP500超級計算機的CPU核數(shù)與計算性能的年增長率達53%[2],IDC預(yù)測到2017年全球數(shù)據(jù)中心的數(shù)量將達到860萬個[3]。

    數(shù)據(jù)中心的能耗巨大,2010年美國數(shù)據(jù)中心消耗的電能占其全國總能耗的1.7%~2.2%,2012年其消耗的電能比2011年增長19%,2013年其數(shù)據(jù)中心每小時消耗910億度電,預(yù)計到2020年,數(shù)據(jù)中心消耗的電能將占全球能耗的8%,碳排放量為全球碳排放量的2.6%[4],電費成為數(shù)據(jù)中心最大的運營開支。假定數(shù)據(jù)中心基礎(chǔ)設(shè)施的折舊期為15年,服務(wù)器的折舊期為3年,則數(shù)據(jù)中心的電費占運營成本的41.6%[5],因此,數(shù)據(jù)中心功耗優(yōu)化是研究的熱門領(lǐng)域。文獻[6]對數(shù)據(jù)中心能耗控制進行綜述,將能耗控制方法劃分為硬件和算法2個層級:在硬件層可通過低功耗多核處理器芯片[7]、直流電源、高效制冷設(shè)備等硬件技術(shù)降低數(shù)據(jù)中心的功耗[8];在算法層可通過DVFS (dynamic voltage and frequency scaling)、DFS(dynamic frequency scaling)和動態(tài)節(jié)點控制技術(shù)等方法調(diào)節(jié)CPU的電壓、頻率從而對數(shù)據(jù)中心進行節(jié)點級功耗控制[9],也可以通過動態(tài)調(diào)節(jié)數(shù)據(jù)中心的運行節(jié)點數(shù)目,提高服務(wù)器使用率、減少處于閑置狀態(tài)的節(jié)點數(shù)量,從而降低數(shù)據(jù)中心的功耗[10],進行數(shù)據(jù)中心級功耗控制。

    目前相關(guān)研究多利用電價在時間和地理位置上的差異對電費進行優(yōu)化。文獻[11~13]利用電價在地理位置上的差異,將負載分配到價格較低的區(qū)域執(zhí)行,對分布式數(shù)據(jù)中心的負載分配進行調(diào)控,從而對電費進行優(yōu)化;文獻[8, 14, 15]利用電價在時間上的波動對電費進行優(yōu)化,將負載盡量安排在低電價時段執(zhí)行,減少高電價時段的執(zhí)行;在對電費進行優(yōu)化的同時還可對服務(wù)質(zhì)量(QoS, quality of service)[12, 13]、對智能電網(wǎng)的影響[16, 17]、碳排放量[18]、UPS的使用[19]、動態(tài)服務(wù)定價[20]等第二優(yōu)化目標(biāo)進行優(yōu)化,文獻[21]對其進行了詳細綜述。

    上述研究中,電費均是根據(jù)數(shù)據(jù)中心消耗的電量(kWh)和電價求得,而其電價大多采用智能電網(wǎng)實時的零售價格,這與數(shù)據(jù)中心的實際情況不符。由于數(shù)據(jù)中心長期消耗巨大的電能[4],一般都與電力運營商簽署長期用電合同[22],按照長期合同電價進行結(jié)算,而不是根據(jù)實時的零售電價進行結(jié)算,這樣既可以使數(shù)據(jù)中心運營商合理地對業(yè)務(wù)運營進行優(yōu)化,避免由于電價波動給數(shù)據(jù)中心增加電力成本,也可以使電力供應(yīng)商有效掌握用電需求,合理規(guī)劃電力的生產(chǎn)與分配,提高電網(wǎng)的穩(wěn)定性。通過對多個地區(qū)大型用電單位的實際電力供應(yīng)合同進行研究,發(fā)現(xiàn)電費由用量費用(EC, energy charge)和需量費用(DC, demand charge)構(gòu)成。用量費用是用電單位為所消耗的電量(kWh)支付的費用,是大多數(shù)研究采用的常規(guī)電費計算方式;需量費用是用電單位為用電時間段中的峰值功率支付的費用(kW)。目前對于數(shù)據(jù)中心用量費用優(yōu)化的研究已經(jīng)很充分,但對其需用量費用優(yōu)化的研究很少。本文基于此展開研究,使用PE(partial execution)方法減少數(shù)據(jù)中心的峰值用電量,從而降低用量費用。

    本文首先對數(shù)據(jù)中心能耗費用優(yōu)化的相關(guān)研究進行分析,介紹電價方案、PE方法、服務(wù)質(zhì)量等背景知識,發(fā)現(xiàn)目前的研究大多只對數(shù)據(jù)中心的用量費用進行優(yōu)化,沒有考慮需量費用,而數(shù)據(jù)中心的需量費用一般比用量費用高得多,是電費的主要部分,因此提出使用PE方法降低數(shù)據(jù)中心的峰值用電量的核心思想;然后對系統(tǒng)的時間、外部負載、服務(wù)質(zhì)量約束、響應(yīng)時間約束等進行建模,構(gòu)建電力費用優(yōu)化問題模型,提出PEDC算法;最后將PEDC算法與4種算法進行比較,并通過構(gòu)造準(zhǔn)確預(yù)測的負載數(shù)據(jù)對PEDC算法的性能進行測試,實驗結(jié)果表明PEDC算法可以有效降低數(shù)據(jù)中心的需量費用和用量費用,并提高集群使用率。

    本文主要創(chuàng)新點如下。

    1) 采用數(shù)據(jù)中心實際使用的電費合同,綜合考慮需量費用和用量費用,計費模式符合數(shù)據(jù)中心的實際情況,將數(shù)據(jù)中心電費優(yōu)化劃分為降低峰值功率和降低用電量2個問題。

    2) 使用//隊列模型對等待執(zhí)行的負載建模,運行節(jié)點處于滿負載的狀態(tài),避免空閑節(jié)點的電量消耗,提高節(jié)點的利用率。

    3) 在算法優(yōu)化過程中,同時考慮服務(wù)質(zhì)量約束和響應(yīng)時間約束2個條件。

    2 背景知識

    本文的核心目標(biāo)是根據(jù)外部負載的情況,在滿足服務(wù)質(zhì)量約束[24]和負載響應(yīng)時間約束的條件下,確定執(zhí)行PE方法的時間段,降低數(shù)據(jù)中心的峰值用電量,減少其需量費用。本節(jié)對文中涉及的電價方案、PE方法和服務(wù)質(zhì)量等關(guān)鍵的背景知識進行講解。

    2.1 電價方案

    零售電價是電力運營商按照單位時間用電量($kWh)的定價方案,為了保障電網(wǎng)中零售用電的負載均衡,保障電網(wǎng)安全,電力運營商會根據(jù)電力負載制定不同地區(qū)和不同時間段的零售電價。數(shù)據(jù)中心是長期、高負載用電單位,與電力運營商簽訂長期用電合同,不使用零售電價。通過對電力運營商的長期用電合同[25]的分析可以發(fā)現(xiàn)長期電力合同從用電總量、峰值功率2個方面與用戶進行約定,以15 min作為單位時間段進行統(tǒng)計。用電總量是總計費時間內(nèi)用戶消耗的電量(kWh),峰值功率是所有時間段(15min)中最大的平均功率(kW),峰值功率越大,電力運營商需要為其投入更多的基礎(chǔ)設(shè)施以保障穩(wěn)定供電,用戶因此需要支付越多的需量費用。需量費用可能比用量費用大很多,例如,在美國GA地區(qū)某用電單位的峰值功率為10 MW、平均功率為6 MW,根據(jù)如表1所示的電價可求得其月用量費用為$38 400,月需量費用為$147 312,需量費用是電費的主要支出。

    因此,合同電價包含用量價格和需量價格2個部分,表1列出了6個區(qū)域的合同電價,從中可以發(fā)現(xiàn)這些區(qū)域的需/用數(shù)值比存在較大差異,GA區(qū)域需/用數(shù)值比最大,OR區(qū)域需/用數(shù)值比最小,5.4節(jié)對各個區(qū)域分別進行實驗,研究區(qū)域電價差異對數(shù)據(jù)中心電費的影響。

    表1 6個區(qū)域的合同電價

    2.2 PE方法

    Web搜索、金融服務(wù)、仿真模擬等類型業(yè)務(wù)的計算結(jié)果精度取決于計算任務(wù)量,計算時間越長,計算越充分,其計算結(jié)果越精確。PE方法正是這樣一種通過對不完全執(zhí)行任務(wù)來減少負載執(zhí)行量的方法[23],適用于可接受近似計算結(jié)果的交互式類型負載的計算。本文采用PE方法減少負載高峰期的運行負載數(shù),從而降低需量費用。

    以搜索引擎類任務(wù)為例,當(dāng)搜索引擎接收到某個關(guān)鍵詞的搜索任務(wù)時,會首先在緩存中進行檢索,如果沒有在緩存中檢索到,則會將搜索任務(wù)發(fā)送到檢索服務(wù)器集群,每臺檢索服務(wù)器對大量的文件進行并發(fā)的檢索操作。搜索結(jié)果的精準(zhǔn)度與檢索的文檔數(shù)量有關(guān),對全部文件進行檢索所得到的結(jié)果為最優(yōu)結(jié)果,但花費的時間會超出響應(yīng)時間的限制;如果采用PE方法對部分文件進行檢索,會減少運行的負載數(shù)目,縮短運行時間,從而得到近似的搜索結(jié)果。

    微軟Bing搜索服務(wù)的質(zhì)量與其后端計算執(zhí)行率的關(guān)系如圖1所示[23],從圖中可以發(fā)現(xiàn),當(dāng)負載執(zhí)行率為50%時的搜索服務(wù)質(zhì)量為0.82,當(dāng)進一步提高負載執(zhí)行率時,服務(wù)質(zhì)量的提高速度變慢,無需將負載完全運行即可獲得可接受的近似計算結(jié)果。因此在滿足計算精度要求的前提下在高負載時間段使用PE方法可以降低數(shù)據(jù)中心的峰值用電量、降低用量費用。

    2.3 服務(wù)質(zhì)量

    服務(wù)質(zhì)量表示使用PE方法的交互式應(yīng)用響應(yīng)質(zhì)量與完全執(zhí)行的響應(yīng)質(zhì)量的比值,是此類應(yīng)用最重要的執(zhí)行評價指標(biāo)之一。在如圖1所示的Bing搜索服務(wù)中,每個負載執(zhí)行比率對著相應(yīng)的服務(wù)質(zhì)量。為了對問題模型進行簡化,可按照服務(wù)質(zhì)量將服務(wù)分為高質(zhì)量服務(wù)和低質(zhì)量服務(wù),這樣可以使用二進制數(shù)0和1來表示服務(wù)質(zhì)量。交互式應(yīng)用對其高質(zhì)量服務(wù)占比的要求為服務(wù)質(zhì)量約束,搜索引擎服務(wù)一般要求其高質(zhì)量服務(wù)占比超過95%[23]。

    3 系統(tǒng)模型

    本文采用非連續(xù)時間模型,根據(jù)數(shù)據(jù)中心電費合同以15 min為時間間隔將1天分為96個時間段,即,對時間段分別計算負載數(shù)量、平均功率、耗電量、電費等參數(shù)并設(shè)定運行節(jié)點數(shù)目。數(shù)據(jù)中心由同構(gòu)節(jié)點組成,時間段的運行節(jié)點數(shù)目由負載大小以及能耗優(yōu)化策略決定,節(jié)點一旦運行即處于滿負荷運行狀態(tài),因此每個節(jié)點的功耗相同。本文假定數(shù)據(jù)中心的PUE值固定,當(dāng)運行節(jié)點數(shù)增加或減小時,制冷設(shè)備的功耗相應(yīng)地增加或減少。數(shù)據(jù)中心所處理的負載為交互式類型負載,有嚴格的響應(yīng)時間要求。

    3.1 服務(wù)質(zhì)量約束

    (2)

    3.2 響應(yīng)時間約束

    本文用//排隊模型來定義數(shù)據(jù)中心內(nèi)等待處理的負載任務(wù),設(shè)時間段的外部負載量為,運行節(jié)點數(shù)據(jù)數(shù)為,節(jié)點服務(wù)率為,負載在數(shù)據(jù)中心始終處于等待狀態(tài),則負載的平均等待時間。設(shè)定負載響應(yīng)時間為,結(jié)合式(2)可得響應(yīng)時間的約束條件為

    3.3 電力費用模型

    數(shù)據(jù)中心能耗費用優(yōu)化問題P1表示如下

    4 求解方法

    (7)

    4.1 求解需量費用()的最小值

    由式(6)可得

    (8)

    4.2 求解用量費用()的最小值

    由式(6)可得

    (9)

    4.3 PEDC算法流程

    PEDC算法首先在滿足服務(wù)質(zhì)量約束(1)的條件下將負載最大時段的運行模式設(shè)置為低質(zhì)量服務(wù)模式,再根據(jù)約束條件(8)求解運行節(jié)點數(shù),從而根據(jù)決定變量的數(shù)值求解數(shù)據(jù)中心電費的最小值,PEDC算法基本流程如下:

    if 滿足服務(wù)質(zhì)量約束條件(1) then

    將()設(shè)置為1

    else

    將()設(shè)置為1

    end if

    end while

    PEDC算法的計算時間和所需空間取決于2個部分:第1部分對已知負載使用PEDC算法階段,與這個階段所包含的時間段的個數(shù)有關(guān);第2部分對未知負載使用PEDC算法階段,與這個階段所包含的時間段的個數(shù)有關(guān),這2部分需要不斷地確定峰值負載所在位置,其時間復(fù)雜度和空間復(fù)雜度都為。

    5 實驗驗證

    5.1 實驗參數(shù)說明

    本文設(shè)定數(shù)據(jù)中心由同構(gòu)服務(wù)器組成,服務(wù)器處于空閑狀態(tài)時的功率為400 W,處于滿負荷狀態(tài)時的功率為750 W,每個節(jié)點每秒可處理9個外部負載,負載的最大響應(yīng)時間為0.01 s。外部負載采用某數(shù)據(jù)中心的真實訪問數(shù)據(jù)集,該數(shù)據(jù)集包含2015年3月15日~4月11日共計28天的外部訪問數(shù)據(jù)(DATA1),如圖2所示,可以看出外部負載的周期性較為規(guī)律。

    5.2 對比算法

    本文選取3月15日~3月21日共計7天的負載數(shù)據(jù),使用PEDC算法計算數(shù)據(jù)中心28天的電費,對PEDC算法的性能進行評估,并分別與NOPE、RAND、BEST和CUPE算法的控制效果進行對比,這5種算法的說明如下。

    PEDC:該算法使用本文構(gòu)造的基于PE方法的數(shù)據(jù)中心電費優(yōu)化算法,在已知7天外部負載數(shù)據(jù)的條件下計算數(shù)據(jù)中心28天的運行電費。

    NOPE:該算法使用負載等待隊列模型,但不使用PE方法,即所有時間段數(shù)據(jù)中心均運行于高質(zhì)量服務(wù)模式。

    RAND:該算法使用負載等待隊列模型并使用PE方法,PE方法的執(zhí)行時間從執(zhí)行時間段中隨機選取。

    BEST:該算法在已知28天負載數(shù)據(jù)的情況下使用PEDC算法計算數(shù)據(jù)中心的運行電費,所得結(jié)果是PEDC算法最理想的優(yōu)化結(jié)果。

    由于根據(jù)7天負載數(shù)據(jù)預(yù)測28天的負載與真實數(shù)據(jù)存在偏差,將4組相同的7天真實負載數(shù)據(jù)生成一組28天的負載數(shù)據(jù)(DATA2),來模擬完全準(zhǔn)確預(yù)測負載的情況,對PEDC算法的性能進行測試。PEDC-1和BEST-1算法是使用負載數(shù)據(jù)DATA2的PEDC算法和BEST算法。

    5.3 運行功率與運行電費分析

    求解各算法在負載運行中的最大運行節(jié)點數(shù)和平均運行節(jié)點數(shù),得到數(shù)據(jù)中心的峰值功率和平均功率,如圖3所示。根據(jù)3.3節(jié)的電費模型,計算數(shù)據(jù)中心的需量費用、用量費用和總電費,如圖4所示,本節(jié)使用表1中SC區(qū)域的電價進行實驗分析。

    5.3.1 運行功率分析

    由于NOPE算法不使用PE方法對峰值功率進行調(diào)節(jié),所有時間段數(shù)據(jù)中心均運行在高質(zhì)量服務(wù)模式,所有負載均被完整地運行,本文將其峰值功率作為基準(zhǔn)峰值功率,將其平均功率作為基準(zhǔn)平均功率。由于RAND算法隨機選取PE方法的執(zhí)行時間段,沒有抽取到峰值負載時間段運行PE方法,因此峰值功率等于基準(zhǔn)峰值功率。CUPE算法模型中所有節(jié)點始終處于運行狀態(tài),存在空閑運行功率,當(dāng)節(jié)點負載增加,運行功率隨之增加,CUPE算法的峰值功率與PEDC算法的峰值功率相等,但平均功率是PEDC算法平均功率的1.7倍。PEDC算法的集群使用率為CUPE算法的2.32倍。

    PEDC算法的峰值功率比基準(zhǔn)峰值功率降低了13.57%,低于BEST算法19.43%的降低率,2個數(shù)值之間存在差距的原因是預(yù)測負載數(shù)據(jù)與實際負載數(shù)據(jù)之間存在一定的差異。PEDC-1算法和BEST-1算法使用負載數(shù)據(jù)DATA2來模擬完全準(zhǔn)確預(yù)測負載數(shù)據(jù)的情況,數(shù)據(jù)顯示PEDC-1算法和BEST-1算法的峰值功率相同,表明負載數(shù)據(jù)預(yù)測越準(zhǔn)確,PEDC算法的能耗優(yōu)化效果越好;當(dāng)負載數(shù)據(jù)得到精確預(yù)測時,PEDC算法對峰值功率的優(yōu)化可以達到理論最優(yōu)值。

    PEDC、BEST、RAND算法的平均功率均比基準(zhǔn)平均功率降低約2.62%,降低比例與5%的負載運行于低質(zhì)量服務(wù)模式所減少的平均功率相符。

    5.3.2 運行電費分析

    將NOPE算法的需量費用作為基準(zhǔn)需量費用,用量費用作為基準(zhǔn)用量費用,總電費作為基準(zhǔn)總電費。數(shù)據(jù)中心的需量費用由峰值功率決定,用量費用由平均功率決定,PEDC、BEST、RAND、PEDC-1、BEST-1算法的需量費用與基準(zhǔn)需量費用的關(guān)系以及用量費用與基準(zhǔn)用量費用的關(guān)系與運行功率部分的分析相同。CUPE算法的需量費用等于基準(zhǔn)需量費用,其用量費用是PEDC算法用量費用的1.7倍。

    PEDC算法的總電費比基準(zhǔn)總電費降低了8.45%,高于RAND算法1.23%的降低率,低于BEST算法11.57%的降低率。使用負載數(shù)據(jù)DATA2的PEDC-1算法和BEST-1算法的總電費降低率相等。CUPE算法的總電費是PEDC算法總電費的1.35倍。

    5.4 區(qū)域電價對電費的影響

    為了驗證不同區(qū)域電價對數(shù)據(jù)中心總電費的影響,本節(jié)用表1中6個區(qū)域的合同電價對PEDC算法進行實驗,并與NOPE、BEST算法進行比較。

    圖5所示為在相同的負載數(shù)據(jù)(DATA1)下,6個區(qū)域分別用PEDC、NOPE、BEST算法計算所得的總電費。設(shè)NOPE算法求得的總電費為基準(zhǔn)總電費,使用PEDC算法總電費降低比率為5.9%~12.7%,使用BEST算法總電費降低比率為7.34%~18.1%。GA區(qū)域降低比率最高,OR區(qū)域降低比率最低,這是由于PEDC、BEST算法可大幅降低需量費用,對用量費用的降低率較為固定,因此需量費用/用量費用數(shù)值比越高,總電費降低比越高。

    5.5 服務(wù)質(zhì)量約束對電費的影響

    本節(jié)使用PEDC算法通過調(diào)節(jié)服務(wù)質(zhì)量約束和服務(wù)質(zhì)量,研究其對數(shù)據(jù)中心電費的影響。首先,調(diào)節(jié)服務(wù)質(zhì)量約束的數(shù)值,依次取0.95、0.9、0.85、0.8,需量費用、用量費用和總電價與的關(guān)系如圖6所示。由于隨著數(shù)值的減小,運行負載總數(shù)成比例減少,因此PEDC算法和BEST算法的用量費用與呈線性關(guān)系;由于預(yù)測負載數(shù)據(jù)與實際負載數(shù)據(jù)之間存在差異,PEDC算法的需量費用減少較BEST算法更為緩慢;需量費用和用量費用疊加即得總電費。

    6 結(jié)束語

    本文通過研究數(shù)據(jù)中心實際的電費合同,發(fā)現(xiàn)其電費包含需量費用和用量費用2個部分,在滿足服務(wù)質(zhì)量和響應(yīng)時間的條件下,通過在負載高峰期使用PE方法,可以降低數(shù)據(jù)中心的峰值電量,在降低需量費用的同時降低用量費用,從而減少數(shù)據(jù)中心運行的總電費。本文提出基于PE方法的數(shù)據(jù)中心需量費用優(yōu)化算法PEDC,并與4種算法進行實驗比較,實驗數(shù)據(jù)表明使用PEDC算法的總電費比使用NOPE算法降低5.9%~12.7%,集群使用率為使用CUPE算法的2.32倍,PEDC算法可用于對搜素引擎、金融計算等交互式應(yīng)用領(lǐng)域的數(shù)據(jù)中心電費進行優(yōu)化,可與數(shù)據(jù)中心負載分配方法[26]結(jié)合使用,進一步降低數(shù)據(jù)中心的能耗費用。

    [1] [EB/OL]. http://www.csdn.net/article/2013-10-30/2817347-awdc2013- feitian5k.

    [2] [EB/OL].http://www.top500.org/lists.

    [3] [EB/OL].http://www.idc.com/getdoc.Jsp?containerid=prus25237514.

    [4] GAO PX, CURTIS AR, WONG B, et al. It's not easy being green[J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

    [5] HAMILTON J. Cooperative expendable micro-slice servers(CEMS): low cost, low power servers for internet-scale services[C]//CIDR’09. c2009.

    [6] BELOGLAZOV A, BUYYA R, LEE YC, et al. A taxonomy and survey of energy-efficient data centers and cloud somputing systems[J]. Advances in Computers, 2011, 82(2): 47-111.

    [7] BARROSO LA, H?LZLE U. The case for energy-proportional computing[J]. IEEE Computer, 2007, 40(12): 33-37.

    [8] YAO Y, HUANG L, SHARMA A, et al. Data centers power reduction: a two time scale approach for delay tolerant workloads[C]//IEEE INFOCOM. c2012: 1431-1439.

    [9] GANDHI A, HARCHOL M, DAS R, et al. Optimal power allocation in server farms[C]//ACM SIGMETRICS. c2009:157-168.

    [10] LIN M, WIERMAN A, ANDREW LL, et al. Dynamic right-sizing for power-proportional data centers[J]. IEEE/ACM Transactions on Networking, 2013, 21(5): 1378-1391.

    [11] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment[C]//IEEE INFOCOM. c2010:1-9.

    [12] RAO L, LIU X, ILIC MD, et al. Distributed coordination of internet data centers under multiregional electricity markets[J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

    [13] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

    [14] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

    [15] LUO J, RAO L, LIU X. Data center energy cost minimization: A spatio-temporal scheduling approach[C]//IEEE INFOCOM. c2013: 340-344.

    [16] WANG H, HUANG J, LIN X, et al. Exploring smart grid and data center interactions for electric power load balancing[J]. Performance Evaluation Review, 2014, 41(3): 89-94.

    [17] ZHOU Z, FANGMING L, ZONGPENG L, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response[C]//IEEE INFOCOM. c2015.

    [18] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets[C]//HPCD’11. c2011. 271-272.

    [19] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage[J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1149-1160.

    [20] 王巍, 羅軍舟, 宋愛波. 基于動態(tài)定價策略的數(shù)據(jù)中心能耗成本優(yōu)化[J]. 計算機學(xué)報, 2013, 36(3): 599-612.

    WANG W, LUO J X, SONG A B. Dynamic pricing based energy cost optimization in data center enviroments[J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

    [21] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment[J]. IEEE Communications Surveys & Tutorials,2014, 16(1): 214-233.

    [22] MALTZ DA. Challenges in cloud scale data centers[C]//ACM SIGMETRICS. c2013: 3-4.

    [23] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution[C]//ACM SOCC.c 2012: 12-25.

    [24] XU H, LI B. Reducing electricity demand charge for data centers with partial execution[C]// ACM e-Energy. c2014: 51-61.

    [25] [EB/OL].http://www.cs.cityu.edu.hk/~hxu/share/Contracts.zip.

    [26] 金嘉暉, 羅軍舟, 宋愛波. 基于數(shù)據(jù)中心負載分析的自適應(yīng)延遲調(diào)度算法[J]. 通信學(xué)報, 2011, 32(7): 47-56.

    JIN J H, LUO J Z, SONG A B. Adaptive delay scheduling algorithm based on data center load analysis[J]. Journal on Communications, 2013, 32(7): 47-56.

    Optimizing demand charge of data center base on PE method

    HUANG Yan1,2, WANG Peng3, XIE Gao-hui4

    (1. Chengdu Institute of Computer Application, Chinese Academy of Sciences, Chengdu 610041, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. School of Computer Science and Technology, Southwest University for Nationalities, Chengdu 610041, China; 4. Guangzhou Wuzhou Technology Corporation, Guangzhou 510000, China)

    Demand charge and energy charge are the two main components of data center electricity cost, previous researches have not take demand charge into consideration. PEDC algorithm was proposed by modeling time slot, workload, service quality constraint and response time constraint. With PEDC algorithm peak power was decreased by partial execution on the condition of service quality constraint and response time constraint. PE method was executed in the heavy loaded time slots to reduce peak power so as to optimize demand charge. Energy charge and total charge were also optimized. By comparing with four algorithms and with dataset accurately predicted, PEDC algorithm can reduce electricity cost by 5.9%~12.7% and improve cluster utilization 1.32 times.

    PE method, demand charge, energy charge, energy cost optimization

    TP393

    A

    10.11959/j.issn.1000-436x.2016056

    2015-05-01;

    2015-07-31

    王鵬,wp002005@163.com

    國家自然科學(xué)基金資助項目(No.60702075);廣東省科技廳高新技術(shù)產(chǎn)業(yè)化科技攻關(guān)基金資助項目(No.2011B010200007);成都市創(chuàng)新發(fā)展戰(zhàn)略研究基金資助項目(No.11RKYB016ZF)

    The National Natural Science Foundation of China(No.60702075), Guangdong Science and Technology Plan of Industrial High-Technology(No.2011B010200007), Chengdu Innovation and Development Strategy Research Project (No.11RKYB016ZF)

    黃焱(1982-),男,江蘇泗陽人,中國科學(xué)院成都計算機應(yīng)用研究所博士生,主要研究方向為智能算法、最優(yōu)化理論等。

    王鵬(1975-),男,四川犍為人,西南民族大學(xué)教授、博士生導(dǎo)師,主要研究方向為智能算法、高性能計算等。

    謝高輝(1979-),男,湖南郴州人,廣州五舟科技股份有限公司總經(jīng)理,主要研究方向為高性能計算。

    猜你喜歡
    需量電費電價
    基于用戶端電力需求需量節(jié)能優(yōu)化調(diào)控方法研究
    基于ε-SVR模型的日電費回收預(yù)測
    吉林電力(2022年1期)2022-11-10 09:20:40
    德國:電價上漲的背后邏輯
    能源(2018年10期)2018-12-08 08:02:40
    探索電價改革
    商周刊(2018年16期)2018-08-14 01:51:52
    基于大用戶電費回收的風(fēng)險管控
    可再生能源電價附加的收支平衡分析
    爭議光伏標(biāo)桿上網(wǎng)電價
    能源(2016年11期)2016-05-17 04:57:24
    關(guān)于縣級供電企業(yè)電費對賬的研究
    需量結(jié)算用戶抄表結(jié)算異常情況分析
    基于實測數(shù)據(jù)的電鐵約定最大需量選擇
    電氣化鐵道(2015年5期)2015-07-02 00:16:18
    男女边吃奶边做爰视频| 日韩伦理黄色片| 日本欧美视频一区| 丰满少妇做爰视频| 一级毛片 在线播放| 中文天堂在线官网| 久久精品aⅴ一区二区三区四区 | 精品一区二区三卡| 水蜜桃什么品种好| 国产亚洲午夜精品一区二区久久| 最新的欧美精品一区二区| 欧美激情国产日韩精品一区| 国产69精品久久久久777片| 一二三四中文在线观看免费高清| 色哟哟·www| 久久久久久久久久久久大奶| 精品一区二区三卡| 亚洲成人一二三区av| 人妻人人澡人人爽人人| 国产成人精品婷婷| 久久久久久久久久久久大奶| 色网站视频免费| 人人妻人人澡人人爽人人夜夜| 亚洲精品美女久久av网站| 九九爱精品视频在线观看| 精品卡一卡二卡四卡免费| 啦啦啦在线观看免费高清www| 成人国产av品久久久| 在线天堂最新版资源| 久久毛片免费看一区二区三区| 精品亚洲成a人片在线观看| 少妇人妻 视频| 久久久国产欧美日韩av| 亚洲av中文av极速乱| 日韩制服丝袜自拍偷拍| av线在线观看网站| 精品亚洲成国产av| 国产乱来视频区| a级毛片黄视频| 一本久久精品| 黑人猛操日本美女一级片| 欧美bdsm另类| av.在线天堂| 亚洲成色77777| 精品少妇黑人巨大在线播放| 香蕉精品网在线| av女优亚洲男人天堂| 亚洲av男天堂| 免费高清在线观看视频在线观看| av视频免费观看在线观看| 老司机影院成人| 91精品伊人久久大香线蕉| 午夜激情久久久久久久| av福利片在线| 只有这里有精品99| 久久国产精品大桥未久av| 考比视频在线观看| 如何舔出高潮| 亚洲国产精品成人久久小说| 一级片'在线观看视频| 日日撸夜夜添| 中国美白少妇内射xxxbb| 亚洲精品一区蜜桃| 亚洲成人一二三区av| a 毛片基地| 久久人人爽人人爽人人片va| av又黄又爽大尺度在线免费看| 最新中文字幕久久久久| 精品国产一区二区三区久久久樱花| 赤兔流量卡办理| 国产深夜福利视频在线观看| 免费黄网站久久成人精品| 欧美日韩亚洲高清精品| 欧美 亚洲 国产 日韩一| 黄色怎么调成土黄色| 久久综合国产亚洲精品| 亚洲内射少妇av| 成人手机av| 欧美日韩综合久久久久久| 免费大片黄手机在线观看| 国产又色又爽无遮挡免| 久久毛片免费看一区二区三区| av视频免费观看在线观看| 亚洲国产成人一精品久久久| a级毛片黄视频| 国产精品三级大全| 久久99蜜桃精品久久| 男女边摸边吃奶| 丝袜人妻中文字幕| 久久久亚洲精品成人影院| 精品国产一区二区三区久久久樱花| 精品酒店卫生间| 欧美激情国产日韩精品一区| 国产精品国产av在线观看| 日韩一区二区视频免费看| 涩涩av久久男人的天堂| 高清毛片免费看| 九色成人免费人妻av| 国产一区二区在线观看av| 国产精品秋霞免费鲁丝片| 寂寞人妻少妇视频99o| 欧美97在线视频| 精品99又大又爽又粗少妇毛片| 人妻系列 视频| 国产精品一区www在线观看| 精品卡一卡二卡四卡免费| 久久精品久久精品一区二区三区| 一边亲一边摸免费视频| 国产男女内射视频| 国产精品三级大全| 七月丁香在线播放| 精品福利永久在线观看| 99视频精品全部免费 在线| 深夜精品福利| 亚洲精品久久成人aⅴ小说| 另类精品久久| 一级毛片我不卡| 在线观看免费高清a一片| 久久久久人妻精品一区果冻| 亚洲欧美成人综合另类久久久| 视频在线观看一区二区三区| 捣出白浆h1v1| 国产成人一区二区在线| 如何舔出高潮| 久久99热6这里只有精品| 亚洲精品乱码久久久久久按摩| kizo精华| 日韩视频在线欧美| 黑人巨大精品欧美一区二区蜜桃 | av在线app专区| 最近的中文字幕免费完整| 日日摸夜夜添夜夜爱| 丰满少妇做爰视频| 国产精品嫩草影院av在线观看| 嫩草影院入口| 99九九在线精品视频| 久久精品国产综合久久久 | 香蕉精品网在线| 老司机影院成人| 美国免费a级毛片| 9色porny在线观看| 视频中文字幕在线观看| 天美传媒精品一区二区| 久久久久久久精品精品| 一级片'在线观看视频| 亚洲天堂av无毛| 肉色欧美久久久久久久蜜桃| 1024视频免费在线观看| 免费人妻精品一区二区三区视频| 91午夜精品亚洲一区二区三区| 一级毛片黄色毛片免费观看视频| 天天躁夜夜躁狠狠久久av| 人体艺术视频欧美日本| 免费av不卡在线播放| 伦理电影大哥的女人| 精品国产露脸久久av麻豆| 高清黄色对白视频在线免费看| 亚洲欧美精品自产自拍| 国产免费福利视频在线观看| 精品少妇黑人巨大在线播放| 三上悠亚av全集在线观看| 久热久热在线精品观看| 曰老女人黄片| 国产亚洲精品久久久com| 久久午夜福利片| 性色avwww在线观看| 亚洲精品久久午夜乱码| 久久97久久精品| 久久97久久精品| 黄片播放在线免费| 久久ye,这里只有精品| 久久韩国三级中文字幕| 男女高潮啪啪啪动态图| 精品久久国产蜜桃| 国产欧美另类精品又又久久亚洲欧美| 欧美bdsm另类| 免费播放大片免费观看视频在线观看| 永久网站在线| 国产精品一区二区在线观看99| 久久久久久久久久成人| 精品一品国产午夜福利视频| videos熟女内射| 国产精品蜜桃在线观看| 黄色毛片三级朝国网站| 一级毛片电影观看| 国产国语露脸激情在线看| 成人黄色视频免费在线看| 波多野结衣一区麻豆| 亚洲av欧美aⅴ国产| 久久久亚洲精品成人影院| 男女边摸边吃奶| 亚洲av中文av极速乱| 国产熟女午夜一区二区三区| 不卡视频在线观看欧美| 亚洲中文av在线| 色网站视频免费| 男女啪啪激烈高潮av片| 免费女性裸体啪啪无遮挡网站| 九九在线视频观看精品| 五月开心婷婷网| 精品福利永久在线观看| 99香蕉大伊视频| 色吧在线观看| 中国三级夫妇交换| 男女高潮啪啪啪动态图| 国产精品女同一区二区软件| 亚洲精品av麻豆狂野| 卡戴珊不雅视频在线播放| 精品第一国产精品| 免费在线观看黄色视频的| 菩萨蛮人人尽说江南好唐韦庄| 午夜激情久久久久久久| 成人漫画全彩无遮挡| 精品国产国语对白av| 国产视频首页在线观看| 黑人高潮一二区| 91aial.com中文字幕在线观看| 日韩不卡一区二区三区视频在线| 免费播放大片免费观看视频在线观看| 久久久久视频综合| 国产成人精品婷婷| av卡一久久| 一级毛片我不卡| 亚洲精品成人av观看孕妇| av不卡在线播放| 99热全是精品| 国产精品久久久久久久久免| 黑人巨大精品欧美一区二区蜜桃 | av在线老鸭窝| 亚洲国产毛片av蜜桃av| 秋霞伦理黄片| 国产av一区二区精品久久| 久久久久国产网址| 免费高清在线观看日韩| 一区二区三区精品91| 成人手机av| 午夜日本视频在线| 免费观看a级毛片全部| 国产精品偷伦视频观看了| 亚洲欧洲国产日韩| 亚洲一级一片aⅴ在线观看| 夫妻午夜视频| 国产av国产精品国产| 中文乱码字字幕精品一区二区三区| 欧美人与性动交α欧美软件 | 亚洲欧美一区二区三区国产| 97精品久久久久久久久久精品| av不卡在线播放| 国产乱来视频区| 成人毛片60女人毛片免费| 亚洲中文av在线| 男女啪啪激烈高潮av片| 自拍欧美九色日韩亚洲蝌蚪91| 久久久久视频综合| 亚洲精品色激情综合| 精品午夜福利在线看| av在线播放精品| 女性被躁到高潮视频| 亚洲精品国产av蜜桃| 男女午夜视频在线观看 | 亚洲熟女精品中文字幕| 男女边吃奶边做爰视频| 欧美 亚洲 国产 日韩一| 国产无遮挡羞羞视频在线观看| 亚洲欧美一区二区三区国产| 婷婷色av中文字幕| 男女无遮挡免费网站观看| 不卡视频在线观看欧美| 日韩av在线免费看完整版不卡| 成人手机av| 美女国产视频在线观看| 女人精品久久久久毛片| xxx大片免费视频| 少妇的逼好多水| 国产免费视频播放在线视频| 欧美国产精品va在线观看不卡| 美女视频免费永久观看网站| 国产免费又黄又爽又色| 少妇高潮的动态图| 满18在线观看网站| 日本色播在线视频| 高清av免费在线| 日日爽夜夜爽网站| 欧美丝袜亚洲另类| 午夜影院在线不卡| 免费大片黄手机在线观看| a级毛片在线看网站| 波多野结衣一区麻豆| 日韩不卡一区二区三区视频在线| 亚洲一级一片aⅴ在线观看| 国产av国产精品国产| 韩国高清视频一区二区三区| 纯流量卡能插随身wifi吗| 成人综合一区亚洲| 久久女婷五月综合色啪小说| 亚洲精品,欧美精品| 亚洲一级一片aⅴ在线观看| 亚洲色图综合在线观看| av国产久精品久网站免费入址| 狂野欧美激情性bbbbbb| 日日啪夜夜爽| 国产白丝娇喘喷水9色精品| 久久这里只有精品19| 桃花免费在线播放| 中国国产av一级| 99热这里只有是精品在线观看| 少妇精品久久久久久久| 一级毛片黄色毛片免费观看视频| 一区二区三区精品91| 亚洲美女视频黄频| 国产精品三级大全| 久久97久久精品| 最近的中文字幕免费完整| 国产日韩欧美亚洲二区| 国产午夜精品一二区理论片| 色94色欧美一区二区| 久久久久久久久久久久大奶| 亚洲国产av新网站| 黑人猛操日本美女一级片| 日韩欧美精品免费久久| 国产精品久久久久久精品古装| 亚洲少妇的诱惑av| 亚洲精品美女久久久久99蜜臀 | 美女视频免费永久观看网站| 亚洲第一av免费看| 久久久久久久久久人人人人人人| 亚洲精品视频女| 黑人高潮一二区| 王馨瑶露胸无遮挡在线观看| 国产日韩欧美在线精品| 国产极品天堂在线| 欧美人与性动交α欧美精品济南到 | 欧美xxⅹ黑人| 成人黄色视频免费在线看| 成人漫画全彩无遮挡| 欧美日韩av久久| 国产色婷婷99| 欧美日韩一区二区视频在线观看视频在线| 精品久久久久久电影网| 毛片一级片免费看久久久久| 如何舔出高潮| 久久久久久久久久成人| 天天操日日干夜夜撸| av网站免费在线观看视频| 国产一区二区在线观看av| 亚洲欧美清纯卡通| 日韩视频在线欧美| 国产永久视频网站| 91久久精品国产一区二区三区| 亚洲人与动物交配视频| 国产精品不卡视频一区二区| 天天躁夜夜躁狠狠久久av| 波多野结衣一区麻豆| 亚洲 欧美一区二区三区| 亚洲精品中文字幕在线视频| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲成国产人片在线观看| 18禁裸乳无遮挡动漫免费视频| 夫妻午夜视频| 久久国内精品自在自线图片| 成人综合一区亚洲| 亚洲精品aⅴ在线观看| 爱豆传媒免费全集在线观看| 91在线精品国自产拍蜜月| 欧美xxxx性猛交bbbb| 热99久久久久精品小说推荐| 2022亚洲国产成人精品| 国产精品女同一区二区软件| 亚洲五月色婷婷综合| 欧美成人午夜免费资源| 欧美老熟妇乱子伦牲交| 久久久亚洲精品成人影院| 亚洲综合色网址| 王馨瑶露胸无遮挡在线观看| 乱人伦中国视频| 色5月婷婷丁香| 91午夜精品亚洲一区二区三区| xxx大片免费视频| 一级毛片我不卡| 一个人免费看片子| 插逼视频在线观看| 亚洲综合色惰| 春色校园在线视频观看| 亚洲国产毛片av蜜桃av| 亚洲国产精品一区二区三区在线| 久久这里只有精品19| 久久精品久久精品一区二区三区| 国产一级毛片在线| 精品人妻熟女毛片av久久网站| 亚洲激情五月婷婷啪啪| 亚洲内射少妇av| 在线 av 中文字幕| 乱码一卡2卡4卡精品| 国产白丝娇喘喷水9色精品| 最黄视频免费看| 天美传媒精品一区二区| 久久人人爽人人片av| 国产成人午夜福利电影在线观看| 一级片免费观看大全| 国产激情久久老熟女| 人妻少妇偷人精品九色| 午夜福利乱码中文字幕| 男女啪啪激烈高潮av片| av一本久久久久| 久久久久国产精品人妻一区二区| 午夜免费观看性视频| 午夜福利网站1000一区二区三区| 亚洲av福利一区| 国产精品嫩草影院av在线观看| 少妇精品久久久久久久| 国产在线免费精品| 午夜福利网站1000一区二区三区| 一本色道久久久久久精品综合| 王馨瑶露胸无遮挡在线观看| 亚洲精品日本国产第一区| 国产高清三级在线| 久久精品国产亚洲av涩爱| 狠狠婷婷综合久久久久久88av| 亚洲欧美成人综合另类久久久| 精品国产国语对白av| 亚洲国产精品国产精品| 亚洲欧美精品自产自拍| 亚洲综合色惰| 精品久久久精品久久久| 男人舔女人的私密视频| 久久久久精品人妻al黑| 美女国产视频在线观看| 曰老女人黄片| 欧美+日韩+精品| 日韩制服骚丝袜av| 好男人视频免费观看在线| 久久久a久久爽久久v久久| 天天躁夜夜躁狠狠久久av| 国产片内射在线| 欧美 日韩 精品 国产| 久久久久久久久久人人人人人人| 日本av免费视频播放| 国产片内射在线| 亚洲精品中文字幕在线视频| 成人免费观看视频高清| 99热网站在线观看| 久久久久精品性色| 高清视频免费观看一区二区| 美女国产视频在线观看| 黄色视频在线播放观看不卡| 国产精品不卡视频一区二区| 免费女性裸体啪啪无遮挡网站| 国产色婷婷99| 色5月婷婷丁香| 人人妻人人澡人人看| 色婷婷久久久亚洲欧美| 欧美97在线视频| 午夜日本视频在线| 高清不卡的av网站| 成人综合一区亚洲| 国产熟女午夜一区二区三区| 免费日韩欧美在线观看| 国产又爽黄色视频| 久久99精品国语久久久| 美女内射精品一级片tv| 成年动漫av网址| 欧美精品一区二区免费开放| av卡一久久| 男女无遮挡免费网站观看| 免费在线观看黄色视频的| 欧美国产精品va在线观看不卡| 久久精品熟女亚洲av麻豆精品| 成人黄色视频免费在线看| 日韩免费高清中文字幕av| 秋霞伦理黄片| 日本午夜av视频| 老司机亚洲免费影院| 亚洲精华国产精华液的使用体验| 欧美日韩精品成人综合77777| 最后的刺客免费高清国语| 80岁老熟妇乱子伦牲交| 日韩中字成人| 性色avwww在线观看| 欧美变态另类bdsm刘玥| 成人国产麻豆网| 久久久久久久久久久久大奶| 国产综合精华液| 免费少妇av软件| 91国产中文字幕| 美国免费a级毛片| 另类亚洲欧美激情| 精品国产一区二区久久| 曰老女人黄片| 日本黄色日本黄色录像| 一级毛片 在线播放| 最近的中文字幕免费完整| 看免费成人av毛片| 在线观看三级黄色| 亚洲五月色婷婷综合| 久久久国产精品麻豆| 精品午夜福利在线看| 婷婷色av中文字幕| 狠狠婷婷综合久久久久久88av| 国产片内射在线| 国产在线一区二区三区精| 91午夜精品亚洲一区二区三区| 久久人人爽av亚洲精品天堂| av黄色大香蕉| 免费人妻精品一区二区三区视频| 热re99久久国产66热| 两个人免费观看高清视频| 色婷婷av一区二区三区视频| 免费黄色在线免费观看| 99视频精品全部免费 在线| 校园人妻丝袜中文字幕| 青春草视频在线免费观看| 亚洲av成人精品一二三区| 人妻系列 视频| 大话2 男鬼变身卡| 国产免费视频播放在线视频| h视频一区二区三区| 免费播放大片免费观看视频在线观看| 国产在视频线精品| 十八禁网站网址无遮挡| 中文精品一卡2卡3卡4更新| 国产欧美日韩一区二区三区在线| 亚洲精品乱码久久久久久按摩| 一本大道久久a久久精品| 伦理电影大哥的女人| 在线观看国产h片| 国产色婷婷99| 最黄视频免费看| 一二三四在线观看免费中文在 | 香蕉丝袜av| 久久韩国三级中文字幕| 国产成人一区二区在线| 777米奇影视久久| 久久人人97超碰香蕉20202| 男女啪啪激烈高潮av片| 91精品国产国语对白视频| 亚洲精品一二三| 波多野结衣一区麻豆| 好男人视频免费观看在线| 另类亚洲欧美激情| 夫妻午夜视频| 丁香六月天网| 26uuu在线亚洲综合色| 久热久热在线精品观看| 免费人妻精品一区二区三区视频| 99久国产av精品国产电影| 亚洲经典国产精华液单| 观看美女的网站| 欧美激情 高清一区二区三区| 日韩中文字幕视频在线看片| 熟妇人妻不卡中文字幕| 观看av在线不卡| 成人二区视频| 成人手机av| 国产精品国产三级国产专区5o| 欧美精品一区二区大全| 成人无遮挡网站| 性高湖久久久久久久久免费观看| 亚洲欧洲日产国产| 亚洲三级黄色毛片| 国产欧美另类精品又又久久亚洲欧美| 欧美成人午夜免费资源| 精品国产乱码久久久久久小说| 久久久久久久国产电影| 看非洲黑人一级黄片| 丝袜在线中文字幕| 国产精品一国产av| 国产亚洲一区二区精品| 一级片免费观看大全| 国产精品久久久久久精品电影小说| 全区人妻精品视频| 人妻人人澡人人爽人人| 亚洲人成77777在线视频| 国产1区2区3区精品| 99re6热这里在线精品视频| 伦理电影免费视频| 一区二区日韩欧美中文字幕 | 高清av免费在线| 成人综合一区亚洲| 亚洲一级一片aⅴ在线观看| 极品少妇高潮喷水抽搐| 亚洲av.av天堂| 狠狠精品人妻久久久久久综合| 成人手机av| a级毛片黄视频| 精品福利永久在线观看| 黄色视频在线播放观看不卡| 精品福利永久在线观看| 水蜜桃什么品种好| 男女边摸边吃奶| 一边摸一边做爽爽视频免费| 欧美亚洲 丝袜 人妻 在线| 99热这里只有是精品在线观看| 成人毛片a级毛片在线播放| 美女国产高潮福利片在线看| 天天操日日干夜夜撸| 9热在线视频观看99| 日本黄大片高清| www日本在线高清视频| 成人毛片60女人毛片免费| 亚洲欧美一区二区三区国产| 国产精品偷伦视频观看了| 在线亚洲精品国产二区图片欧美| 久久久久精品久久久久真实原创| 蜜桃国产av成人99| 日本av免费视频播放| 欧美日韩亚洲高清精品| av福利片在线| 国产精品久久久久久精品古装| 美女大奶头黄色视频| 午夜福利视频精品| 久久精品国产亚洲av涩爱| 日本猛色少妇xxxxx猛交久久| 啦啦啦在线观看免费高清www| 国产精品一区二区在线不卡| h视频一区二区三区|