• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云數(shù)據(jù)中心服務(wù)器能耗建模及量化計算

    2021-05-06 14:38:16周舟袁余俊明李方敏
    關(guān)鍵詞:云計算數(shù)據(jù)中心

    周舟 袁余俊明 李方敏

    摘 ? 要:構(gòu)建精確的服務(wù)器能耗模型有助于資源提供者預(yù)測和優(yōu)化數(shù)據(jù)中心的能耗. 針對以往數(shù)據(jù)中心服務(wù)器因未考慮“負(fù)載的特征”而導(dǎo)致能耗模型精度低的問題,本文提出一種新的能耗建模及量化計算方法,其主要思路如下:根據(jù)數(shù)據(jù)中心服務(wù)器所處理任務(wù)特征的不同將其分成三類,分別為計算密集型任務(wù)、Web事務(wù)型任務(wù)和I/O密集型任務(wù);針對每一種類型任務(wù),分析其對服務(wù)器各部件能耗的影響;利用“主成分分析法”分析各部件參數(shù)對能耗的貢獻(xiàn)并選擇最具代表性的參數(shù),進(jìn)而結(jié)合多元線性回歸和非線性回歸方法建立能耗模型. 實驗結(jié)果表明,本文建立的能耗模型預(yù)測精度能達(dá)到95%以上;與其它模型相比,精度可提高3%左右.

    關(guān)鍵詞:云計算;數(shù)據(jù)中心;能耗模型;任務(wù)類型;能效優(yōu)化

    中圖分類號:TP311 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼:A

    Energy Consumption Modeling and Quantitative

    Calculation of Servers in Cloud Data Center

    ZHOU Zhou1,2,YUAN Yujunming2,LI Fangmin2

    (1. College of Information Science and Engineering,Hunan University,Changsha 410082,China;

    2. School of Computer Engineering and Applied Mathematics,Changsha University,Changsha 410022,China)

    Abstract:Building an accurate energy-consumption model of servers can assist resource providers in predicting and optimizing energy consumption of data center. To address the problem of low accuracy of energy consumption model caused by the failure to consider "load characteristics" of servers in data center, a new energy consumption model and quantitative calculation method are proposed in this paper. The main ideas are summarized as follows: Firstly, we divide the tasks into three classes: CPU intensive task, transactional web task, and I/O intensive task. Then, energy consumption contributions of all components in a server are analyzed. After that, the dominant component parameters of server energy consumption are chosen by using the Principal Component Analysis (PCA), to build a power model through the multiple linear regression method and non-linear regression method. Experimental results show that the prediction accuracy of the proposed energy consumption model can achieve more than 95%. Compared with other energy consumption models, the accuracy can be improved by around 3%.

    Key words:cloud computing;data center;energy consumption model;task types;energy efficiency optimization

    隨著云計算數(shù)據(jù)中心的大量新建,數(shù)據(jù)中心的能耗問題越來越嚴(yán)重. 近期研究顯示[1-2]:全球數(shù)據(jù)中心的總數(shù)已超過300萬個,耗電量占全球耗電量的1.1%~1.5%. 我國數(shù)據(jù)中心也發(fā)展迅速,總數(shù)已達(dá)到40萬個,年耗電量已超過500億千瓦,占全國總耗電量的1.5%. 如果以數(shù)據(jù)中心的PUE(平均電能使用效率)指數(shù)來評測,全球先進(jìn)數(shù)據(jù)中心的PUE指數(shù)為1.2,而我國的PUE指數(shù)大于2.2. 與此同時,大量的報告也顯示[3-5]:許多高性能數(shù)據(jù)中心服務(wù)器的利用率卻遠(yuǎn)遠(yuǎn)低于50%,其原因在于數(shù)據(jù)中心資源未得到“有效”利用. 因此,節(jié)能優(yōu)化算法的提出有助于提高系統(tǒng)的資源利用率和單位能耗的效用.

    能耗模型作為“節(jié)能優(yōu)化算法”的基礎(chǔ)[6-7],其準(zhǔn)確性直接關(guān)系到優(yōu)化算法的優(yōu)劣. 一個精確、通用、有效的能耗模型不僅為優(yōu)化算法提供基礎(chǔ),而且也有利于該模型的擴(kuò)充. 對于云資源提供者來說,構(gòu)建精確的能耗模型有助于資源提供者預(yù)測和優(yōu)化數(shù)據(jù)中心的能耗,提高單位能耗的效用. 因此,對其研究具有十分重要的現(xiàn)實意義.

    本文的主要工作如下:

    1)基于“任務(wù)的特征”構(gòu)建能耗模型. 不同于其它的能耗模型僅考慮CPU密集型任務(wù),在本文中,基于“任務(wù)特征”的不同,任務(wù)被劃分為三類,分別為計算密集型任務(wù)、Web事務(wù)型任務(wù)和I/O密集型任務(wù).

    2)不同于已存在的能耗模型僅考慮CPU和內(nèi)存部件,而忽略了磁盤和網(wǎng)絡(luò)接口卡部件,本文所提出的能耗模型考慮了與能耗有關(guān)的所有部件如CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡.

    3)使用“主成分分析法”分析各部件參數(shù)對能耗的貢獻(xiàn)并選擇最具代表性的參數(shù).

    4)運(yùn)用大量的實驗證明了本文所提出能耗模型的精確性和有效性.

    1 ? 相關(guān)研究

    目前,對能耗模型的研究可以分為兩類,一類是基于系統(tǒng)利用率的能耗模型[8-12],另一類是基于性能計數(shù)器的能耗模型[13-17].

    基于系統(tǒng)利用率的能耗模型的主要思想是利用服務(wù)器各主要部件的利用率,構(gòu)建能耗模型. 文獻(xiàn)[8]基于服務(wù)器中資源使用情況,結(jié)合回歸方法建立了線性模型. 文獻(xiàn)[9]結(jié)合三個參數(shù)(%Processor Time,%Memory used,%Page Faults/s)提出了一種CMP (CPU利用率,內(nèi)存利用率和Pagefaults) 模型,相比較以往的能耗模型,該方法具有一定的優(yōu)勢,但該方法因選擇的參數(shù)有限且沒有考慮到負(fù)載的特征,其能耗模型的精度仍有待提高. 在文獻(xiàn)[12]中,羅亮等人針對數(shù)據(jù)中心的單臺服務(wù)器提出了一種高精度的能耗模型,該模型分析了不同參數(shù)對服務(wù)器能耗的影響,然后結(jié)合多元線性回歸和非線性回歸的方法建立能耗模型. 同樣,文獻(xiàn)[11]在線性模型(Linear Model)的基礎(chǔ)上提出了一種改進(jìn)的能耗模型叫Cubic Model,該模型認(rèn)為服務(wù)器的能耗與處理器(CPU)不應(yīng)是線性關(guān)系,而是立方關(guān)系. 文獻(xiàn)[12]基于能耗和系統(tǒng)資源利用率的關(guān)系,提出了一種服務(wù)器能耗經(jīng)驗?zāi)P停↙inear Model). 此類能耗模型的優(yōu)點(diǎn)是易于實現(xiàn)且能耗模型的精度較高.

    基于性能計數(shù)器的能耗模型的基本思想可概括為:根據(jù)PMC與設(shè)備能耗之間的關(guān)系,針對不同設(shè)備(包括處理器、內(nèi)存、磁盤、I/O外部設(shè)備)篩選出最具代表性的“PMC集合”;然后通過統(tǒng)計分析的方法,建立PMC事件與設(shè)備功耗之間的函數(shù)關(guān)系,這種關(guān)系既可以是線性關(guān)系、也可以是非線性關(guān)系. 在文獻(xiàn)[13]中,程華等提出了一種基于細(xì)粒度的實時能耗模型,該模型由模型設(shè)定、性能計數(shù)器參數(shù)選取、數(shù)據(jù)采集、模型求解和性能評估這五個部分組成. 在此文中,作者選擇PMC集合(包含二十多個參數(shù))建立系統(tǒng)能耗模型. 文獻(xiàn)[14]通過運(yùn)行負(fù)載,在考慮處理器和內(nèi)存等因素下,基于PMC方法建立服務(wù)器的能耗模型. 在文獻(xiàn)[15]中,作者在考慮CPU和內(nèi)存兩大因素的條件下,提出了一種Ramon Model. 在文獻(xiàn)[16]中,Singh等使用PMC方法構(gòu)建實時的能耗模型. 在文獻(xiàn)[17]中,肖鵬等首先形式化資源利用率與能耗之間的關(guān)系,然后基于性能計數(shù)器提出了一種新型的能耗模型,最后基于該能耗模型提出了一種虛擬機(jī)調(diào)度算法. 此類方法因采集到的事件太多,成本相對較高,模型也較為復(fù)雜,故不利于該模型擴(kuò)充.

    2 ? 能耗模型的參數(shù)選擇

    數(shù)據(jù)中心服務(wù)器的能耗建模如圖1所示. 它包含數(shù)據(jù)采樣、參數(shù)的篩選、建立模型和評估模型四個步驟.

    1)數(shù)據(jù)采樣. 數(shù)據(jù)采樣是數(shù)據(jù)中心能耗建模的第一步,這一步的主要工作是采集系統(tǒng)的數(shù)據(jù),采樣的基本方法有基于性能計數(shù)器或者基于系統(tǒng)資源利用率.

    2)參數(shù)的篩選. 在采樣數(shù)據(jù)之后,就需要對采集到的參數(shù)進(jìn)行篩選. 因為采樣的參數(shù)有些是與系統(tǒng)能耗相關(guān)的,有些是不相關(guān)的. 如何篩選這些參數(shù)呢?此時可以借助于“主成分分析法”或者“相關(guān)系數(shù)矩陣法”去篩選.

    3)建立模型. 這一步的主要工作是利用前面篩選出的參數(shù),借助于數(shù)學(xué)中的線性回歸或者非線性回歸方法(多項式回歸,冪回歸,指數(shù)回歸,支持向量機(jī)回歸)建立能耗模型.

    4) 評估模型. 這一步的主要工作是對前面建立起來的能耗模型進(jìn)行評估,比較所得到能耗預(yù)測值與真實值的差別,目的是確定該模型的準(zhǔn)確性和有效性.

    2.1 ? 各部件能耗的代表參數(shù)

    作為云計算數(shù)據(jù)中心的任何一臺服務(wù)器,哪些參數(shù)應(yīng)該被選擇去構(gòu)建能耗模型呢?如果參數(shù)選擇過少,將導(dǎo)致構(gòu)建出來的能耗模型精度不夠,如果參數(shù)選擇過多,將導(dǎo)致開銷增加且不利于該模型的擴(kuò)展. 因此,選擇合適的參數(shù)構(gòu)建能耗模型極其重要. 對于數(shù)據(jù)中心的任何一臺服務(wù)器,其總功率主要由其處理器(CPU)、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡的功率決定. 設(shè)Psystem是服務(wù)器的功率,參數(shù)PCPU、Pmemory、Pdisk和 Pnetwork分別代表該服務(wù)器的處理器(CPU)、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡功率,則Psystem可以表示如下:

    Psystem = PCPU + Pmemory + Pdisk + Pnetwork + σ ? ?(1)

    式中:參數(shù)σ是除CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡之外的其它部件功率,可看作常數(shù). 對于處理器的功率PCPU,可用式(2)表達(dá)[18]:

    PCPU = (Pmax - Pidle) × U + Pidle ? ? ?(2)

    式中:參數(shù)Pmax代表該部件最大的功率,Pidle代表該部件空閑時的功率,U代表該部件的CPU利用率. 由于PCPU的值與參數(shù)U相關(guān),所以在監(jiān)控CPU的能耗時,參數(shù)“Processor Time”被選作處理器的代表性參數(shù). 參數(shù)“Processor Time”指的是系統(tǒng)中所有處理器都處于繁忙狀態(tài)的時間百分比,即CPU的利用率. 對于Pmemory的值,可以用式(3)表達(dá)[18]:

    Pmemory = PPRE + PACT + PRD + PWR + PREF ? ? ? (3)

    式中:PPRE、PACT、PRD、PWR和 PREF分別代表預(yù)充電(PPRE)、活動狀態(tài) (PACT)、讀狀態(tài) (PRD)、寫狀態(tài) (PWR) 和刷新狀態(tài) (PREF)的功率. 由于Pmemory的值與讀和寫狀態(tài)有關(guān),因此,在監(jiān)控Pmemory的能耗時,“Memory Used”和“Page Fault/Sec”被選作內(nèi)存的代表性參數(shù). “Memory Used”指的是內(nèi)存的利用率,“Page Fault/Sec”指的是處理器處理錯誤頁的綜合速率,單位是錯誤頁數(shù)/s. 當(dāng)處理器請求一個不在其工作集(在物理內(nèi)存中的空間)內(nèi)的代碼或數(shù)據(jù)時出現(xiàn)的頁錯誤. 這個錯誤包括硬錯誤(那些需要磁盤訪問的)和軟錯誤(在物理內(nèi)存的其它地方找到的錯誤頁). 對于Pdisk的值,可以用式(4)來表示[18]:

    Pdisk = PREAD + PWRITE + PIDLE ? ? ? (4)

    式中:參數(shù)PREAD、PWRITE和PIDLE分別代表磁盤讀、寫和空閑時的功率. 在監(jiān)控磁盤的能耗時,“Disk time” 和“Disk Bytes/Sec”被選作磁盤的代表性參數(shù). “Disk time”指的是磁盤驅(qū)動器忙于讀或?qū)懭胝埱蟮确?wù)所用的時間百分比,“Disk Bytes/Sec”指的是在進(jìn)行寫入或讀取操作時從磁盤上傳送或傳出的字節(jié)速率.

    對于Pnetwork的值,可以用式(5)計算[18]:

    Pnetwork = C0 + C1 × ? ? ? (5)

    式中:參數(shù)C0和C1可認(rèn)為是一個常數(shù),參數(shù)S指的是文件大小,單位是MB;參數(shù)B指的是帶寬,單位是MB/s. 在監(jiān)視網(wǎng)絡(luò)接口卡的能耗時,“Bytes Total/Sec”和“Current Bandwidth”被選作網(wǎng)絡(luò)接口卡的代表性參數(shù). “Bytes Total/Sec”指的是在每個網(wǎng)絡(luò)適配器上發(fā)送和接收字節(jié)的速率,包括幀字符在內(nèi). “Current Bandwidth”指的是目前帶寬.

    2.2 ? 計算密集型任務(wù)的參數(shù)選擇

    計算密集型任務(wù)也叫CPU密集型任務(wù). 全球標(biāo)準(zhǔn)性能評估公司SPEC提供的CPU2006[19-20]數(shù)據(jù)集就是標(biāo)準(zhǔn)計算密集型任務(wù),該數(shù)據(jù)集包含“401.bzip2”、“403.gcc”、“429.mcf”、“453.povray”和“450.soplex”等子項. 以DELL PowerEdge R720服務(wù)器為例(服務(wù)器配置見表1),當(dāng)它運(yùn)行“401.bzip2”任務(wù)時,其在不同負(fù)載下的能耗和相關(guān)參數(shù)值如表2所示.

    從表2得出:當(dāng)“Processor Time” = 4.23% ,Memory Used = 4.47%,Page Fault/Sec = 512.78,Disk Time = 0.66,Disk Bytes/Sec = 4 102.28,Bytes Total/Sec =562.00和Current Bandwidth = 9.22 × 1018時,此時的能耗為122.49 W. 對于這7個參數(shù)(Processor Time,Memory Used,Page Fault/Sec,Disk Time,Disk Bytes/Sec,Bytes Total/Sec和Current Bandwidth),它們是如何影響能耗的呢?哪些與能耗相關(guān)?哪些與能耗不相關(guān)呢?為解決這個問題,利用SPSS中的“主成分分析法”[21]分析每個參數(shù)的貢獻(xiàn)(即因子貢獻(xiàn)),表3列出了每個因子的貢獻(xiàn).

    表3表明:參數(shù)“Processor Time”對能耗的貢獻(xiàn)是62%,“Disk Bytes/Sec”是19%,“Disk Time”是14%,“Page Fault/Sec”是4%,“Memory Used”是1%,“Bytes Total/Sec”和“Current Bandwidth”都是0. 這些數(shù)據(jù)說明,“Processor Time”對能耗的貢獻(xiàn)最大,而“Bytes Total/Sec”和“Current Bandwidth”對能耗沒有貢獻(xiàn). 因此,在下一節(jié)能耗建模中,值不為零的5個參數(shù)“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”和“Memory Used”被選中用于實驗建模.

    2.3 ? Web事務(wù)型任務(wù)的參數(shù)選擇

    HP LoadRunner[22-23]是一種典型的Web事務(wù)型任務(wù),以DELL PowerEdge R720服務(wù)器為例(服務(wù)器配置見表1),當(dāng)它運(yùn)行“HP LoadRunner”任務(wù),在用戶數(shù)是3 000時,采用同樣的辦法可以得到每個參數(shù)對能耗的貢獻(xiàn)即因子貢獻(xiàn),表4展示了這7個參數(shù)(Processor Time,Memory Used,Page Fault/Sec,Disk Time,Disk Bytes/Sec,Bytes Total/Sec和Current Bandwidth)對能耗的貢獻(xiàn).

    從表4可以看出,參數(shù)“Processor Time”對能耗的貢獻(xiàn)是63%,“Disk Bytes/Sec”是21%,“Disk Time”是11%,“Page Fault/Sec”是3%,“Memory Used”是1%,“Bytes Total/Sec”是1%,“Current Bandwidth”是0. 這些數(shù)據(jù)說明,“Processor Time”對能耗的貢獻(xiàn)最大,而“Current Bandwidth”為0即表示對能耗沒有貢獻(xiàn). 因此,在下一節(jié)能耗建模中,值不為零的6個參數(shù)“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”,“Memory Used”和“Bytes Total/Sec”被選中用于實驗建模.

    2.4 ? I/O密集型任務(wù)的參數(shù)選擇

    Iozone[24-25]是一種典型的I/O密集型任務(wù),以DELL PowerEdge R720服務(wù)器為例(服務(wù)器配置見表1),當(dāng)它運(yùn)行Iozone數(shù)據(jù)集時,采用同樣的辦法可得到每個參數(shù)對能耗的貢獻(xiàn)即因子貢獻(xiàn),表5展示了這7個參數(shù)(Processor Time,Memory Used,Page Fault/Sec,Disk Time,Disk Bytes/Sec,Bytes Total/Sec和Current Bandwidth)對能耗的貢獻(xiàn). 從表5可以看出,參數(shù)“Processor Time”對能耗的貢獻(xiàn)是53%,“Disk Bytes/Sec”是27%,“Disk Time”是15%,“Page Fault/Sec”是3%,“Memory Used”是1%,“Bytes Total/Sec”和“Current Bandwidth”都是0. 這些數(shù)據(jù)說明,“Processor Time”對能耗的貢獻(xiàn)最大,而“Bytes Total/Sec”和“Current Bandwidth”都為0即表示對能耗沒有貢獻(xiàn). 因此,在下一節(jié)能耗建模中,值不為零的五個參數(shù)“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”和“Memory Used”都被選中用于實驗建模.

    3 ? 能耗建模

    對于不同的任務(wù)類型,第二節(jié)已確定有那些參數(shù)被選中用于能耗建模. 在這一節(jié)中將使用EViews 8.0[26]軟件,分別用多元線性回歸法、冪回歸法、指數(shù)回歸法和多項式回歸法建立能耗模型. 對于多元線性回歸法,其包含m個因變量的回歸模型如下:

    y = β0 + β1 x1 + β2 x2 + … + βm xm + ε ? ? (6)

    式中:變量y是觀測到的真實能耗; β0,β1,β2,…,βm是回歸系數(shù);ε是隨機(jī)誤差. 對于冪回歸法,其包含m個因變量的回歸模型如下:

    y = b0 xb11·xb22·xb33 … xbmm + ε ? ? (7)

    式中:變量y是觀測到的真實值;b0,b1,b2,…,bm是回歸系數(shù);ε是隨機(jī)誤差. 對于指數(shù)回歸法,其包含m個變量的回歸模型如下:

    y = β0 e?+ ε ? ? (8)

    式中:變量y是觀測到的真實值;β0,β1,β2,…,βm是回歸系數(shù);ε是隨機(jī)誤差. 對于多項式回歸,其包含m個變量的回歸模型如下:

    y = β0 + β1 (x1)2 + β2 x2 + … + βm xm + ε ? ? (9)

    式中:變量y是觀測到的真實值;β0,β1,β2,…,βm是回歸系數(shù);ε是隨機(jī)誤差.

    為方便3.1~3.3節(jié)中所述內(nèi)容的說明,表6列出了常用的參數(shù)及其代表的含義.

    3.1 ? 計算密集型任務(wù)的能耗模型

    對于計算密集型任務(wù)CPU2006[19-20]數(shù)據(jù)集,結(jié)合2.2節(jié)的代表性參數(shù)和EViews 8.0[26]軟件,分別用多元線性回歸法、冪回歸法、指數(shù)回歸法和多項式回歸法建立能耗模型,見公式(10)~(13):

    y=102.916 9+1.967 511x1-1.37×10-05x2 -

    0.001 408x3+1.29×10-05x4+2.528 892x5

    (10)

    y = e4.840 775×(x1)0.219 818×(x2)-0.056 527×(x3)0.067 893×

    (x4)0.000 708×(x5)0.096 609 ? ? ? ? (11)

    y=111.459 8+0.151 606(x1)2-1.83×10-05x2 +

    0.420 755x3+1.08×10-07x4+1.816 320x5

    (13)

    式中:參數(shù)y,x1,x2,x3,x4,x5分別代表能耗“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”和“Memory Used”.

    3.2 ? Web事務(wù)型任務(wù)的能耗模型

    對于Web事務(wù)型任務(wù)HP LoadRunner[22-23],在用戶數(shù)3 000情況下,結(jié)合2.3節(jié)的代表性參數(shù)和EViews 8.0[26]軟件,分別用多元線性回歸法、冪回歸法、指數(shù)回歸法和多項式回歸法建立能耗模型,見公式(14)~(17):

    y=-869.7-14.28x1-8.68×10-05x2+22.92x3+

    0.002 449x4+234.233 9x5-0.067 755x6

    (14)

    y = e8.920 533×(x1)0.198 811×(x2)-0.008 926×(x3)-0.028 378×

    (x4)-0.016 527×(x5)-2.920 025×(x6)-0.014 455 ? ? ? ? (15)

    (16)

    y=-334.156 9-0.115 852(x1)2-6.70×10-05x2 +

    16.867x3+0.000 406x4+102.1x5-0.079 7x6

    (17)

    式中:參數(shù)y,x1,x2,x3,x4,x5,x6分別代表能耗“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”,“Memory Used”和“Bytes Total/Sec”.

    3.3 ? I/O密集型任務(wù)的能耗模型

    對于I/O密集型任務(wù)Iozone[24-25],結(jié)合2.4節(jié)的代表性參數(shù)和EViews 8.0[26]軟件,分別用多元線性回歸法、冪回歸法、指數(shù)回歸法和多項式回歸法建立能耗模型,見公式(18)~(21):

    y=111.594 3+9.173 805x1-1.51×10-06x2 +

    2.037 900x3-0.000 781x4-19.462 70x5

    (18)

    y = e5.626 638 × (x1)0.038 072 × (x2)-0.000 339 × (x3)-0.054 210 ×

    (x4)-0.010 081 × (x5)-0.751 834 ? ? ? ? (19)

    y=78.997 36+1.459 156(x1)2-1.51×10-06x2+

    2.667 544x3-0.000 969x4-12.175 60x5 (21)

    式中:參數(shù)y,x1,x2,x3,x4,x5分別代表能耗“Processor Time”,“Disk Bytes/Sec”,“Disk Time”,“Page Fault/Sec”和“Memory Used”.

    4 ? 實驗結(jié)果及分析

    本文所用的服務(wù)器是DELL PowerEdge R720服務(wù)器(見表1),CPU頻率是2.0 GHz(2×6核),內(nèi)存是DDR2 20 G,磁盤是2×1 TB,網(wǎng)絡(luò)接口卡是Intel quad‐port Gigabit network adapter. 實驗測量能耗的工具是北電儀表公司所生產(chǎn)的Power Bay-SSM. 計算密集型任務(wù)使用的是“403.gcc”,“429.mcf”,“401.bzip2”,“453.povray”和“450.soplex”數(shù)據(jù)集[19-20]. 對于“Web事務(wù)型任務(wù)”和“I/O密集型任務(wù)”,則分別使用“LoadRunner”[22-23]和“Iozone”數(shù)據(jù)集[24-25],這兩個數(shù)據(jù)集每次產(chǎn)生任務(wù)都是“隨機(jī)生成”.

    為評價本文所建模型的精度,采用式(22)計算每個模型的相對誤差:

    式中:Powerpredict表示能耗的預(yù)測值;Powertrue表示能耗的真實值;Powererror表示能耗的相對誤差.

    為評價能耗模型的好壞,選擇Linear Model[12],Cubic Model[11]和Ramon Model[15]能耗模型作對比.

    4.1 ? 計算密集型任務(wù)的實驗結(jié)果及分析

    利用3.1節(jié)所建立的能耗模型,運(yùn)行計算密集型任務(wù)CPU2006[19-20]數(shù)據(jù)集,得到預(yù)測值和真實值的相對誤差,如圖2和圖3所示.

    圖2和圖3分別展示了這7種能耗模型(多元線性回歸、冪回歸、指數(shù)回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model)的能耗和相對誤差. 這4種模型(多元線性回歸、冪回歸、指數(shù)回歸和多項式回歸)優(yōu)于Ramon Model,原因在于兩方面:第一,這4種模型在建模時考慮了處理器(CPU)、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡因素,而Ramon Model僅考慮處理器(CPU)和內(nèi)存因素. 第二,這4種模型(多元線性回歸、冪回歸、指數(shù)回歸和多項式回歸)考慮了任務(wù)的特征并利用“主成分分析法”提高了能耗模型的精度. Ramon Model優(yōu)于Linear Model和Cubic Model,原因在于其考慮了處理器(CPU)和內(nèi)存兩個因素,而Linear Model和Cubic Model僅考慮CPU因素.

    4.2 ? Web事務(wù)型任務(wù)的實驗結(jié)果及分析

    利用3.2節(jié)所建立的能耗模型,運(yùn)行Web事務(wù)型任務(wù)HP LoadRunner[22-23],在用戶數(shù)3 000情況下,得到預(yù)測值和真實值的相對誤差,如圖4和圖5所示.

    圖4和圖5分別展示了這7種能耗模型(多元線性回歸、冪回歸、指數(shù)回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model)的能耗和相對誤差. 這4種模型(多元線性回歸、冪回歸、指數(shù)回歸和多項式回歸)相比較Ramon Model,其能耗精度提高1%以上,其原因可歸結(jié)為兩方面:第一,Web事務(wù)型任務(wù)的特點(diǎn)決定了該類任務(wù)對內(nèi)存和網(wǎng)絡(luò)的訪問較為頻繁,Ramon Model只考慮了CPU和內(nèi)存因素,而這4種能耗模型考慮了處理器、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡這4個因素. 第二,這4種模型考慮了任務(wù)的特征并利用“主成分分析法”提高了能耗模型的精度.

    4.3 ? I/O密集型任務(wù)的實驗結(jié)果及分析

    利用3.3節(jié)所建立的能耗模型,運(yùn)行I/O密集型任務(wù)Iozone[24-25]數(shù)據(jù)集,得到預(yù)測值和真實值的相對誤差,如圖6和圖7所示.

    圖6和圖7分別展示了這7種能耗模型(多元線性回歸、冪回歸、指數(shù)回歸、多項式回歸、Linear Model、Cubic Model和Ramon Model)的能耗和相對誤差. 圖7表明,這4種能耗模型(多元線性回歸、冪回歸、指數(shù)回歸和多項式回歸)相比較Linear Model,Cubic Model和Ramon Model,其能耗精度提高3%左右,其原因可歸納為以下兩個方面:第一,I/O密集型任務(wù)的特點(diǎn)是對磁盤的訪問較為頻繁,因此在建模時應(yīng)該考慮處理器、內(nèi)存和磁盤多個因素. 這4種能耗模型考慮了處理器、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡這4個因素. 第二,這4種模型考慮了任務(wù)的特征并利用“主成分分析法”提高了能耗模型的精度.

    4.4 ? 4種模型的對比

    根據(jù)4.1、4.2和4.3節(jié)中的實驗結(jié)果和分析,不管何種任務(wù)類型(計算密集型任務(wù)、Web事務(wù)型任務(wù)和I/O密集型任務(wù)),冪回歸模型精確度最高,多元線性回歸模型一般,指數(shù)回歸模型和多項式回歸模型較差. 因此,在以后的能耗建模中,推薦使用冪回歸模型進(jìn)行能耗建模.

    5 ? 總 ? 結(jié)

    針對數(shù)據(jù)中心服務(wù)器能耗模型精度低的問題,本文根據(jù)“任務(wù)的特征”結(jié)合“主成分分析法”構(gòu)建了新型的能耗模型. 與其它的能耗模型對比,本文所構(gòu)建的能耗模型在精度方面提高了3%,其原因可歸結(jié)為:1)本文所構(gòu)建的能耗模型考慮了“任務(wù)的特征”;2)在能耗模型的構(gòu)建過程中,考慮了CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)接口卡多個因素;3)利用“主成分分析法”篩選出了與能耗有關(guān)的部件.

    本文所提出的模型有望用于云計算數(shù)據(jù)中心,為數(shù)據(jù)中心服務(wù)器能耗的“量化”提供理論和實踐依據(jù). 同時,本文所提出的模型也可用于評估節(jié)能算法的優(yōu)劣,有助于資源提供者預(yù)測和優(yōu)化數(shù)據(jù)中心的能耗.

    參考文獻(xiàn)

    [1] ? ?RAHIMI M R,VENKATASUBRAMANIAN N,MEHROTRA S,et al. On optimal and fair service allocation in mobile cloud computing [J]. IEEE Transactions on Cloud Computing,2018,6(3):815—828.

    [2] ? ?周伏秋,鄧良辰,馮升波,等. 綜合能源服務(wù)發(fā)展前景與趨勢[J]. 中國能源,2019,37(1):4—8.

    ZHOU F Q,DENG L C,F(xiàn)ENG S B,et al. Development prospect and trend of integrated energy service [J]. Energy of China,2019,37(1):4—8. (In Chinese)

    [3] ? ?LIU C,LI K,LI K. A game approach to multi-servers load balancing with load-dependent server availability consideration [J]. IEEE Transactions on Cloud Computing,2018. DOI:10.1109/TCC.2018.2790404.

    [4] ? ?鄧曉衡,關(guān)培源,萬志文,等. 基于綜合信任的邊緣計算資源協(xié)同研究[J].計算機(jī)研究與發(fā)展,2018,55(3):449—477.

    DENG X H,GUAN P Y,WAN Z W,et al. Integrated trust based resource cooperation in edge computing [J]. Journal of Computer Research and Development,2018,55(3):449—477. (In Chinese)

    [5] ? ?JING M,KENLI L,KEQIN L. Profit maximization for cloud brokers in cloud computing [J]. IEEE Transactions on Parallel and Distributed Systems,2019,30(1):190—203.

    [6] ? ?林偉偉,吳文泰.面向云計算環(huán)境的能耗測量和管理方法[J]. 軟件學(xué)報,2016,27(4):1026—1041.

    LIN W W,WU W T. Energy consumption measurement and management in cloud computing environment[J]. Journal of Software,2016,27(4):1026—1041. (In Chinese)

    [7] ? CHEN Y, LI K, YANG W, et al. Performance-aware model for sparse matrix-matrix multiplication on the sunway TaihuLight supercomputer [J]. IEEE Transactions on Parallel & Distributed Systems,2019,30(4):923—938.

    [8] ? ?GARG S K,VERSTEEG S,BUYYA R. A framework for ranking of cloud computing services [J]. Future Generation Computer Systems,2013,29(4):1012—1023.

    [9] ? ?于俊洋,胡志剛,周舟,等. 計算機(jī)系統(tǒng)能耗估量模型研究[J]. 電子科技大學(xué)學(xué)報(自然科學(xué)版),2015,44(3):422—427.

    YU J Y,HU Z G,ZHOU Z,et al. A CMP energy consumption estimate model for computer systems[J]. Journal of University of Electronic Science and Technology of China(Natural Sciences),2015,44(3):422—427. (In Chinese)

    [10] ?ZHOU Z,HU Z,YU J,et al. Energy-efficient virtual machine consolidation algorithm in cloud data centers [J]. Journal of Central South University,2017,24(10):2331—2341.

    [11] ?ZHANG X,LU J J,QIN X,et al. A high-level energy consumption model for heterogeneous data centers[J]. Simulation Modelling Practice and Theory,2013,39(2):41—55.

    [12] ?羅亮,吳文峻,張飛. 面向云計算數(shù)據(jù)中心的能耗建模方法 [J]. 軟件學(xué)報,2014,25(7):1371—1387.

    LUO L,WU W J,ZHANG F. Energy modeling based on cloud data center [J]. Journal of Software,2014,25(7):1371—1387. (In Chinese)

    [13] ?程華,陳左寧,孫凝暉,等. 一種基于細(xì)粒度性能計數(shù)器建立系統(tǒng)實時功耗模型的方法[J]. 計算機(jī)學(xué)報,2014,37(3):687—699.

    CHENG H,CHEN Z N,SUN N H,et al. Build real-time power consumption model of a computer system based on fine-grained performance counters [J]. Chinese Journal of Computers,2014,37(3):687—699. (In Chinese)

    [14] ?BIRCHER W L,JOHN L K. Complete system power estimation using processor performance events[J]. IEEE Transactions on Computers,2012,61(4):563—577.

    [15] ?BERTRAN R,BECERRA Y,CARRERA D,et al. Energy accounting for shared virtualized environments under DVFS using PMC-based power models[J]. Future Generation Computer Systems,2012,28(2):457—468.

    [16] ?SINGH K,BHADAURIA M,MCKEE S A. Real time power estimation and thread scheduling via performance counters [J]. ACM Sigarch Computer Architecture News,2009,37(2):46—55.

    [17] ?XIAO P,HU Z,LIU D,et al. Virtual machine power measuring technique with bounded error in cloud environments[J]. Journal of Network & Computer Applications,2013,36(2):818—828.

    [18] ?CASTANE G G,NUNEZ A,LLOPIS P,et al. E-mc 2:A formal framework for energy modelling in cloud computing[J]. Simulation Modelling Practice and Theory,2013,39(39):56—75.

    [19] ?FANG Y,CHEN Q,XIONG N. A multi-factor monitoring fault tolerance model based on a GPU cluster for big data processing[J]. Information Sciences,2019,496(1):300—316.

    [20] The ?Standard ?Performance ?Evaluation ?Corporation. SPEC cpu2006 ?Users ?Guide[EB/OL]. ?(2006-08-24). https://www.spec.org/cpu2006/.

    [21] ?KANG X,DUAN P,LI S. Hyperspectral image visualization with edge-preserving filtering and principal component analysis[J]. Information Fusion,2020,57(1):130—143.

    [22] ?FAN G,CHEN L,YU H,et al. Formally modeling and analyzing cost-aware job scheduling for cloud data center[J]. Software Practice & Experience,2018,48(9):1536—1559.

    [23] ?HEWLETT P. ?HP ?Software ?Division. HP Load ? ? ? ?Runner [EB/OL]. [2014-03-02]. http://en.wikipedia.org/wiki/ HP_LoadRunner.

    [24] ?SUYYAGH A,ZILIC Z. Energy and task-aware partitioning on single-ISA clustered heterogeneous processors[J]. IEEE Transactions on Parallel and Distributed Systems,2019,30(10):1—12.

    [25] ?WILLIAM ?D. ?Norcott. ?Iozone ?File System Benchm ?Ark[EB/OL]. (2006-10-26). http://www.iozone.org/.

    [26] ?BRO R,SMILDE A K. Principal component analysis [J]. ?Analytical Methods,2014,6(9):2812—2831.

    收稿日期:2020-05-17

    基金項目:國家自然科學(xué)基金資助項目(61772088,61872403),National Natural Science Foundation of China(61772088,61872403);湖南省重點(diǎn)實驗室項目(2019TP1011),Key Laboratory Project of Hunan Province(2019TP1011);大學(xué)生創(chuàng)新創(chuàng)業(yè)項目(S201911077005),Undergraduate Innovation and Entrepreneurship Program(S201911077005)

    作者簡介:周舟(1983—),男,湖南衡陽人,湖南大學(xué)博士后,長沙學(xué)院副教授,博士

    通信聯(lián)系人,E-mail:lifangmin@whut.edu.cn

    猜你喜歡
    云計算數(shù)據(jù)中心
    酒泉云計算大數(shù)據(jù)中心
    數(shù)據(jù)中心制冷節(jié)能技術(shù)及應(yīng)用
    電子測試(2018年11期)2018-06-26 05:56:38
    民航綠色云數(shù)據(jù)中心PUE控制
    電子測試(2018年11期)2018-06-26 05:56:24
    志愿服務(wù)與“互聯(lián)網(wǎng)+”結(jié)合模式探究
    云計算與虛擬化
    基于云計算的移動學(xué)習(xí)平臺的設(shè)計
    實驗云:理論教學(xué)與實驗教學(xué)深度融合的助推器
    云計算中的存儲虛擬化技術(shù)應(yīng)用
    科技視界(2016年20期)2016-09-29 13:34:06
    基于云計算的交通運(yùn)輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    黄色配什么色好看| 亚洲va在线va天堂va国产| 国产精品美女特级片免费视频播放器| 晚上一个人看的免费电影| 天堂av国产一区二区熟女人妻| 久久久久久久久久久免费av| 日韩欧美精品v在线| 国产成人福利小说| 国产淫片久久久久久久久| 狠狠精品人妻久久久久久综合| 欧美潮喷喷水| 精品一区二区三区人妻视频| 精品久久久久久久久av| 少妇人妻精品综合一区二区| 国产精品人妻久久久久久| 日本黄大片高清| 亚洲国产精品专区欧美| 能在线免费看毛片的网站| 亚洲成人一二三区av| 波多野结衣巨乳人妻| 肉色欧美久久久久久久蜜桃 | 婷婷色综合大香蕉| av在线天堂中文字幕| 成年人午夜在线观看视频 | 国产黄频视频在线观看| 免费大片18禁| 99久国产av精品| 久久亚洲国产成人精品v| 国产爱豆传媒在线观看| 精品久久国产蜜桃| 精品欧美国产一区二区三| 国产在线一区二区三区精| 国产精品99久久久久久久久| 哪个播放器可以免费观看大片| 久久久久久久午夜电影| 成人性生交大片免费视频hd| 免费人成在线观看视频色| 一级毛片黄色毛片免费观看视频| 日韩三级伦理在线观看| 精品一区二区三区视频在线| 国产欧美日韩精品一区二区| 婷婷色麻豆天堂久久| 国产精品日韩av在线免费观看| 在线 av 中文字幕| 少妇的逼水好多| 成人毛片a级毛片在线播放| 爱豆传媒免费全集在线观看| 婷婷色综合www| 亚洲国产精品国产精品| 国产在线男女| 全区人妻精品视频| 国产一区亚洲一区在线观看| av女优亚洲男人天堂| 亚洲精品成人av观看孕妇| 成年av动漫网址| 成人综合一区亚洲| 网址你懂的国产日韩在线| 久久精品国产自在天天线| 一夜夜www| 干丝袜人妻中文字幕| 国产精品不卡视频一区二区| 午夜福利在线在线| 观看美女的网站| 麻豆乱淫一区二区| 亚洲精品一二三| 22中文网久久字幕| 久久久精品欧美日韩精品| 欧美xxxx性猛交bbbb| 日韩电影二区| 久久久亚洲精品成人影院| 久久久国产一区二区| 亚洲精品日本国产第一区| 国产日韩欧美在线精品| 在线观看av片永久免费下载| 青春草亚洲视频在线观看| 久久精品夜色国产| 亚洲精品一二三| 日日啪夜夜撸| 我要看日韩黄色一级片| 亚洲精品中文字幕在线视频 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 五月天丁香电影| 久久久a久久爽久久v久久| 欧美最新免费一区二区三区| 久久精品夜夜夜夜夜久久蜜豆| 国精品久久久久久国模美| 国产精品久久久久久久久免| 18禁在线无遮挡免费观看视频| 久久精品夜色国产| 岛国毛片在线播放| 亚洲av男天堂| 亚洲人与动物交配视频| 国产成人freesex在线| 少妇人妻一区二区三区视频| 搡老妇女老女人老熟妇| 极品少妇高潮喷水抽搐| 久久热精品热| 国产黄a三级三级三级人| 亚洲欧美一区二区三区国产| 国产成人一区二区在线| 色综合亚洲欧美另类图片| 亚洲婷婷狠狠爱综合网| 联通29元200g的流量卡| 中文欧美无线码| 久久久精品94久久精品| 麻豆av噜噜一区二区三区| 熟妇人妻久久中文字幕3abv| 国产精品久久久久久精品电影| 日韩欧美精品免费久久| 成人美女网站在线观看视频| 久久精品人妻少妇| 深爱激情五月婷婷| 99久久人妻综合| 国产有黄有色有爽视频| 国产一区亚洲一区在线观看| 99热这里只有是精品在线观看| 国产伦在线观看视频一区| 久久国产乱子免费精品| 国产亚洲精品久久久com| 欧美一级a爱片免费观看看| 麻豆久久精品国产亚洲av| 色哟哟·www| 午夜激情欧美在线| 欧美不卡视频在线免费观看| 亚洲18禁久久av| 久99久视频精品免费| 国产精品人妻久久久久久| 亚洲精品日韩av片在线观看| 午夜福利视频1000在线观看| 中文资源天堂在线| 久久99热这里只有精品18| 午夜免费激情av| 免费观看精品视频网站| 91久久精品电影网| 69人妻影院| 日日啪夜夜爽| 国产av码专区亚洲av| 日韩三级伦理在线观看| 国产单亲对白刺激| 亚洲第一区二区三区不卡| 国产亚洲午夜精品一区二区久久 | 80岁老熟妇乱子伦牲交| 看非洲黑人一级黄片| 一区二区三区免费毛片| 小蜜桃在线观看免费完整版高清| 欧美日韩在线观看h| 国产av国产精品国产| 亚洲av在线观看美女高潮| 亚洲电影在线观看av| av又黄又爽大尺度在线免费看| 乱系列少妇在线播放| 麻豆成人av视频| 最新中文字幕久久久久| 亚洲av免费高清在线观看| 午夜免费男女啪啪视频观看| 婷婷色综合大香蕉| 男人爽女人下面视频在线观看| 国产又色又爽无遮挡免| 亚洲伊人久久精品综合| 51国产日韩欧美| 免费看光身美女| 精品久久久久久电影网| 免费黄色在线免费观看| 老司机影院毛片| 日韩av免费高清视频| 国产亚洲一区二区精品| 欧美区成人在线视频| 少妇的逼好多水| 国产精品国产三级国产专区5o| 色综合色国产| 有码 亚洲区| 国产视频内射| 一个人看的www免费观看视频| 亚州av有码| 亚洲精品成人av观看孕妇| 人妻制服诱惑在线中文字幕| 日日撸夜夜添| 久久人人爽人人片av| 十八禁网站网址无遮挡 | 亚洲av成人精品一区久久| 亚洲精品乱码久久久久久按摩| 观看美女的网站| 亚洲av在线观看美女高潮| 身体一侧抽搐| 深爱激情五月婷婷| 直男gayav资源| 国产免费一级a男人的天堂| or卡值多少钱| 老师上课跳d突然被开到最大视频| 91久久精品电影网| 女人十人毛片免费观看3o分钟| av在线老鸭窝| av国产免费在线观看| 中文字幕久久专区| 精品国产一区二区三区久久久樱花 | av在线播放精品| 日韩欧美精品免费久久| 内地一区二区视频在线| 欧美人与善性xxx| 汤姆久久久久久久影院中文字幕 | 午夜激情福利司机影院| 国产高清三级在线| 国产免费一级a男人的天堂| 一边亲一边摸免费视频| 秋霞在线观看毛片| 亚洲无线观看免费| 国产黄色免费在线视频| 日韩av免费高清视频| 2021少妇久久久久久久久久久| 99久久人妻综合| av天堂中文字幕网| 亚洲欧洲国产日韩| 91在线精品国自产拍蜜月| 国产视频内射| 午夜精品一区二区三区免费看| h日本视频在线播放| 精品人妻视频免费看| a级毛片免费高清观看在线播放| 麻豆成人午夜福利视频| 中文在线观看免费www的网站| 大香蕉久久网| 国产真实伦视频高清在线观看| 狠狠精品人妻久久久久久综合| 日韩国内少妇激情av| 2022亚洲国产成人精品| 午夜激情久久久久久久| 亚洲国产最新在线播放| 精品99又大又爽又粗少妇毛片| 久久久久免费精品人妻一区二区| 中文字幕av成人在线电影| 激情五月婷婷亚洲| 免费黄频网站在线观看国产| 少妇人妻一区二区三区视频| 亚洲成人久久爱视频| 精品酒店卫生间| 日本猛色少妇xxxxx猛交久久| 亚洲av不卡在线观看| 纵有疾风起免费观看全集完整版 | 日韩电影二区| 我的女老师完整版在线观看| 久久人人爽人人片av| 一级毛片黄色毛片免费观看视频| 国产黄色小视频在线观看| 日本一本二区三区精品| 99久久精品热视频| 欧美 日韩 精品 国产| 你懂的网址亚洲精品在线观看| 久久久久久久久大av| 久久97久久精品| 精品酒店卫生间| 欧美日韩在线观看h| 淫秽高清视频在线观看| 亚洲人成网站在线播| 在线天堂最新版资源| 亚洲国产欧美在线一区| 三级毛片av免费| 白带黄色成豆腐渣| 97超视频在线观看视频| 免费在线观看成人毛片| 中国美白少妇内射xxxbb| 日韩精品有码人妻一区| 美女内射精品一级片tv| 国产久久久一区二区三区| 精品国产一区二区三区久久久樱花 | 天堂中文最新版在线下载 | 精品不卡国产一区二区三区| 天堂√8在线中文| 人妻少妇偷人精品九色| 美女被艹到高潮喷水动态| 国产免费福利视频在线观看| 久久久久久久久久黄片| 男插女下体视频免费在线播放| 在线观看人妻少妇| 高清午夜精品一区二区三区| 高清日韩中文字幕在线| 大香蕉97超碰在线| 成人欧美大片| 男人舔奶头视频| 青青草视频在线视频观看| 国产v大片淫在线免费观看| 久久久久久久久久久免费av| av免费在线看不卡| 亚洲精品国产av成人精品| 男女那种视频在线观看| 永久免费av网站大全| www.av在线官网国产| 免费av不卡在线播放| 久久精品久久久久久噜噜老黄| 亚洲综合精品二区| 久久久精品免费免费高清| av免费观看日本| 男插女下体视频免费在线播放| 日韩欧美一区视频在线观看 | 亚洲伊人久久精品综合| 我要看日韩黄色一级片| 成人二区视频| 国产成人freesex在线| 免费av毛片视频| 国产在视频线精品| 欧美一级a爱片免费观看看| 在线a可以看的网站| www.色视频.com| 熟女人妻精品中文字幕| 久久这里有精品视频免费| av网站免费在线观看视频 | 久久久久久久久久久丰满| 身体一侧抽搐| 97在线视频观看| 韩国高清视频一区二区三区| 婷婷色av中文字幕| 高清在线视频一区二区三区| 伦理电影大哥的女人| 成人国产麻豆网| 99久久中文字幕三级久久日本| 色播亚洲综合网| 久久精品久久久久久久性| 亚洲在久久综合| 亚洲欧美成人综合另类久久久| 综合色丁香网| 人妻系列 视频| 欧美激情久久久久久爽电影| 黄片wwwwww| 亚洲欧美日韩卡通动漫| 午夜久久久久精精品| 日韩人妻高清精品专区| 又粗又硬又长又爽又黄的视频| 最近的中文字幕免费完整| 成年女人在线观看亚洲视频 | 亚洲国产精品专区欧美| 亚洲欧美一区二区三区国产| 亚洲精品乱码久久久v下载方式| 永久网站在线| 丰满乱子伦码专区| 青春草国产在线视频| 中文资源天堂在线| 免费播放大片免费观看视频在线观看| 精品久久久久久久末码| 欧美极品一区二区三区四区| 肉色欧美久久久久久久蜜桃 | 毛片女人毛片| 免费观看精品视频网站| 精品一区二区免费观看| 国产麻豆成人av免费视频| 国产白丝娇喘喷水9色精品| 国产成人精品婷婷| a级毛色黄片| 午夜视频国产福利| 哪个播放器可以免费观看大片| 简卡轻食公司| 99视频精品全部免费 在线| 欧美极品一区二区三区四区| 天堂影院成人在线观看| 国内精品一区二区在线观看| 色哟哟·www| 尤物成人国产欧美一区二区三区| 街头女战士在线观看网站| 亚洲最大成人手机在线| 天天一区二区日本电影三级| 国产 亚洲一区二区三区 | 少妇猛男粗大的猛烈进出视频 | 久久精品夜色国产| 白带黄色成豆腐渣| 国产男人的电影天堂91| 亚洲国产色片| 国产午夜精品一二区理论片| 五月伊人婷婷丁香| 亚洲av免费高清在线观看| 99re6热这里在线精品视频| 色吧在线观看| a级毛色黄片| 熟女电影av网| 欧美一区二区亚洲| 国产 一区 欧美 日韩| 国产黄色免费在线视频| 亚洲婷婷狠狠爱综合网| 少妇的逼水好多| 日本wwww免费看| 久99久视频精品免费| 精品酒店卫生间| 高清av免费在线| 亚洲人成网站在线播| 国产永久视频网站| 国产精品一区www在线观看| 一区二区三区高清视频在线| 乱系列少妇在线播放| 22中文网久久字幕| 久久精品国产亚洲网站| 深夜a级毛片| 免费看日本二区| 国产 一区精品| 欧美丝袜亚洲另类| 国产精品福利在线免费观看| 成人鲁丝片一二三区免费| 2021天堂中文幕一二区在线观| 99热6这里只有精品| 22中文网久久字幕| 亚洲国产精品成人久久小说| 纵有疾风起免费观看全集完整版 | 国产精品1区2区在线观看.| 一级毛片久久久久久久久女| 亚洲最大成人中文| 国产成人a∨麻豆精品| 国产白丝娇喘喷水9色精品| 久久韩国三级中文字幕| 色网站视频免费| 97热精品久久久久久| 成年版毛片免费区| 亚洲国产最新在线播放| 永久网站在线| 水蜜桃什么品种好| 2022亚洲国产成人精品| 国产单亲对白刺激| 最新中文字幕久久久久| 精品人妻一区二区三区麻豆| 爱豆传媒免费全集在线观看| 精品久久久噜噜| 高清av免费在线| 成人欧美大片| 激情 狠狠 欧美| 久久久欧美国产精品| 国产精品爽爽va在线观看网站| 免费看不卡的av| 欧美性猛交╳xxx乱大交人| 91狼人影院| 视频中文字幕在线观看| 岛国毛片在线播放| 国语对白做爰xxxⅹ性视频网站| 亚洲电影在线观看av| 精品一区二区三区视频在线| 午夜福利在线在线| 免费看av在线观看网站| 久久这里只有精品中国| 国产免费又黄又爽又色| 97在线视频观看| 尾随美女入室| 69av精品久久久久久| .国产精品久久| 大香蕉97超碰在线| 老司机影院毛片| 啦啦啦中文免费视频观看日本| 国产午夜精品论理片| 国产亚洲午夜精品一区二区久久 | 国产欧美日韩精品一区二区| 七月丁香在线播放| 人妻系列 视频| 身体一侧抽搐| 亚洲婷婷狠狠爱综合网| 国产精品熟女久久久久浪| 精品久久久久久久人妻蜜臀av| 七月丁香在线播放| 中文字幕制服av| 国产精品国产三级专区第一集| 2021少妇久久久久久久久久久| 亚洲成色77777| 观看美女的网站| 国产在线男女| 亚洲av福利一区| 天堂网av新在线| 久久精品综合一区二区三区| 亚洲性久久影院| 国精品久久久久久国模美| 色综合色国产| 久久国内精品自在自线图片| 91午夜精品亚洲一区二区三区| 99热全是精品| 男人舔女人下体高潮全视频| 国产成人a区在线观看| 色综合站精品国产| 日韩,欧美,国产一区二区三区| 亚洲国产精品成人综合色| videos熟女内射| 又大又黄又爽视频免费| 国产精品麻豆人妻色哟哟久久 | 麻豆成人av视频| 午夜亚洲福利在线播放| 国产精品.久久久| 禁无遮挡网站| 国产精品综合久久久久久久免费| 婷婷色av中文字幕| 七月丁香在线播放| 成人午夜精彩视频在线观看| 国产精品精品国产色婷婷| 欧美激情国产日韩精品一区| 美女内射精品一级片tv| 边亲边吃奶的免费视频| 免费看日本二区| 国产成人91sexporn| 亚洲av成人精品一区久久| 亚洲av福利一区| 精品久久久久久久人妻蜜臀av| 综合色丁香网| 欧美最新免费一区二区三区| 水蜜桃什么品种好| 亚洲成人中文字幕在线播放| 亚洲国产精品国产精品| 精品久久国产蜜桃| 精品少妇黑人巨大在线播放| 美女内射精品一级片tv| 22中文网久久字幕| 国产精品久久久久久久久免| 国产精品久久久久久精品电影| 国产淫语在线视频| 国产黄色小视频在线观看| 欧美激情久久久久久爽电影| 婷婷色综合www| av在线观看视频网站免费| 亚洲精品乱码久久久v下载方式| 久久久国产一区二区| 欧美人与善性xxx| 欧美日韩国产mv在线观看视频 | 亚洲色图av天堂| 亚洲精品日本国产第一区| 深夜a级毛片| 观看免费一级毛片| or卡值多少钱| 久久久久久久久久人人人人人人| 最近的中文字幕免费完整| 黄片wwwwww| 欧美97在线视频| 亚洲av一区综合| 99视频精品全部免费 在线| 少妇人妻精品综合一区二区| 草草在线视频免费看| 国产 一区 欧美 日韩| 国产视频首页在线观看| 人人妻人人澡人人爽人人夜夜 | 成人亚洲精品一区在线观看 | 热99在线观看视频| 成人一区二区视频在线观看| 一二三四中文在线观看免费高清| 男的添女的下面高潮视频| 久久久久久久国产电影| 国产一区二区亚洲精品在线观看| 一个人看的www免费观看视频| 最近2019中文字幕mv第一页| 成人国产麻豆网| 80岁老熟妇乱子伦牲交| 精品久久久久久久末码| 日产精品乱码卡一卡2卡三| 国产在视频线在精品| 中国国产av一级| 在线a可以看的网站| 久久精品国产亚洲网站| 美女黄网站色视频| 熟妇人妻久久中文字幕3abv| 精品欧美国产一区二区三| 精华霜和精华液先用哪个| 联通29元200g的流量卡| 91精品伊人久久大香线蕉| 男的添女的下面高潮视频| 亚洲久久久久久中文字幕| 丰满乱子伦码专区| 大陆偷拍与自拍| 韩国av在线不卡| 免费av毛片视频| 尾随美女入室| 在现免费观看毛片| 26uuu在线亚洲综合色| 可以在线观看毛片的网站| 国产成人a∨麻豆精品| 亚洲精品亚洲一区二区| 亚洲精品一区蜜桃| 欧美性猛交╳xxx乱大交人| 免费观看av网站的网址| 又爽又黄无遮挡网站| 午夜激情久久久久久久| 网址你懂的国产日韩在线| 秋霞在线观看毛片| 在线免费观看的www视频| 国产精品99久久久久久久久| 中文乱码字字幕精品一区二区三区 | 久久国内精品自在自线图片| 亚洲精品成人久久久久久| 久久这里有精品视频免费| 午夜福利在线观看吧| av播播在线观看一区| 国产色婷婷99| 亚洲aⅴ乱码一区二区在线播放| 男女边摸边吃奶| 日日啪夜夜爽| 午夜亚洲福利在线播放| 男的添女的下面高潮视频| 亚洲精品一区蜜桃| 少妇裸体淫交视频免费看高清| 国产一级毛片七仙女欲春2| 久久久久久久大尺度免费视频| 高清av免费在线| 国产男女超爽视频在线观看| 亚洲一区高清亚洲精品| 国产av不卡久久| 网址你懂的国产日韩在线| a级毛色黄片| 亚洲av成人av| av福利片在线观看| 亚洲成人一二三区av| 有码 亚洲区| 精品国产露脸久久av麻豆 | 2022亚洲国产成人精品| 国产成人a区在线观看| 色播亚洲综合网| 免费看a级黄色片| 大又大粗又爽又黄少妇毛片口| 毛片一级片免费看久久久久| 国产精品福利在线免费观看| 青春草视频在线免费观看| 六月丁香七月| 精品人妻视频免费看| 精品久久久久久久人妻蜜臀av| 男插女下体视频免费在线播放| 日韩伦理黄色片| 国产亚洲精品av在线| 亚洲国产色片| 精品久久久久久电影网| 日韩国内少妇激情av| 亚洲精品第二区|