• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云環(huán)境下數(shù)據(jù)中臺能耗感知的微服務(wù)任務(wù)調(diào)度算法

    2023-01-31 08:56:04謝裕清王永利
    關(guān)鍵詞:截止期中臺任務(wù)調(diào)度

    謝裕清 王 淵 江 櫻 李 浩 王永利*

    1(國網(wǎng)浙江省電力有限公司信息通信分公司 浙江 杭州 310000) 2(南瑞集團(tuán)有限公司(國網(wǎng)電力科學(xué)研究院有限公司) 江蘇 南京 211100) 3(江蘇瑞中數(shù)據(jù)股份有限公司 江蘇 南京 211100) 4(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 南京 210094)

    0 引 言

    數(shù)據(jù)中臺的理念源自阿里巴巴“構(gòu)建規(guī)范定義的、全域可連接萃取的、智慧的數(shù)據(jù)處理平臺”,數(shù)據(jù)中臺的建設(shè)目標(biāo)是實(shí)現(xiàn)前臺數(shù)據(jù)的高效分析和應(yīng)用[1]。數(shù)據(jù)中臺的機(jī)制是通過云計(jì)算等數(shù)據(jù)技術(shù),對海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲、加工,并將數(shù)據(jù)的標(biāo)準(zhǔn)和口徑進(jìn)行統(tǒng)一。數(shù)據(jù)中臺將數(shù)據(jù)存儲為經(jīng)統(tǒng)一之后所形成的標(biāo)準(zhǔn)數(shù)據(jù),構(gòu)成大數(shù)據(jù)資產(chǎn)層,進(jìn)而為客戶提供高效服務(wù)。

    隨著數(shù)據(jù)中臺建設(shè)與計(jì)算機(jī)網(wǎng)絡(luò)云計(jì)算服務(wù)的發(fā)展,數(shù)據(jù)中臺中越來越多的用戶開始向云計(jì)算提交服務(wù)請求,利用數(shù)據(jù)中臺提供的虛擬資源來完成任務(wù),而云服務(wù)供應(yīng)商需要根據(jù)云計(jì)算的特點(diǎn)、用戶的偏好、實(shí)際的情況為用戶動態(tài)地提供調(diào)度服務(wù)。在數(shù)據(jù)中臺體系中,由于云平臺任務(wù)調(diào)度面臨的是一個非定常多項(xiàng)式(Non-deterministic Polynomial,NP)完全問題,引起了眾多學(xué)者的關(guān)注,尤其是云平臺下的多任務(wù)調(diào)度問題成為目前云計(jì)算領(lǐng)域研究的一個熱點(diǎn)。

    數(shù)據(jù)中臺下的云數(shù)據(jù)中臺用戶越來越多,在擴(kuò)大云平臺規(guī)模的同時(shí),為了提高調(diào)度的靈活性并且避免不必要的能耗浪費(fèi),云服務(wù)供應(yīng)商提出了微服務(wù)架構(gòu)[2]。微服務(wù)架構(gòu)中的服務(wù)是指細(xì)粒度的、相互間松耦合的、可獨(dú)立開發(fā)部署的組件。采用微服務(wù)架構(gòu)設(shè)計(jì)的系統(tǒng)由一組通過輕量級接口實(shí)現(xiàn)的通信服務(wù)組成。

    由于微服務(wù)架構(gòu)將應(yīng)用系統(tǒng)分為多個細(xì)粒度項(xiàng)目,原本單體式應(yīng)用中的一系列操作可能需要多個服務(wù)協(xié)同完成,因此需要設(shè)計(jì)一個任務(wù)調(diào)度服務(wù)來處理關(guān)聯(lián)多個服務(wù)的任務(wù),比如在某一操作完成后執(zhí)行另一類別的一個操作[3-4]。云計(jì)算數(shù)據(jù)中臺具有異構(gòu)性、動態(tài)性和地理分布性等特點(diǎn),微服務(wù)工作流任務(wù)在云平臺執(zhí)行時(shí),不但要保證任務(wù)執(zhí)行時(shí)間滿足截止期限制,云服務(wù)提供商還要最大限度優(yōu)化數(shù)據(jù)中心能耗,否則可能違反SLA(Service Level Agreement)協(xié)議。因此,如何設(shè)計(jì)啟發(fā)式調(diào)度算法并應(yīng)用到調(diào)度系統(tǒng)中來優(yōu)化任務(wù)調(diào)度問題中的目標(biāo)約束成為眾多學(xué)者研究的核心問題。

    文獻(xiàn)[5]提出一種基于二次分派問題QAP的調(diào)度算法,在任務(wù)-資源映射階段和資源頻率分配階段中同步進(jìn)行能量優(yōu)化;文獻(xiàn)[6]提出了一個多目標(biāo)遺傳進(jìn)化算法用于云平臺中的任務(wù)調(diào)度,認(rèn)為優(yōu)化問題中的多個目標(biāo)函數(shù)都是相互沖突的,目的是找到這些多目標(biāo)折中的非支配Pareto解集。文獻(xiàn)[7]針對云環(huán)境下數(shù)據(jù)密集型任務(wù)的調(diào)度問題,設(shè)計(jì)了一個基于二叉樹建模的調(diào)度方法,同時(shí)滿足用戶QoS(Quality of Service)需求[8]。

    現(xiàn)有云計(jì)算環(huán)境下的工作流任務(wù)調(diào)度的研究大多針對獨(dú)立任務(wù)或元任務(wù)的特殊形式,忽視了任務(wù)間的數(shù)據(jù)關(guān)聯(lián)與優(yōu)先約束關(guān)系,不能反映應(yīng)用任務(wù)間的實(shí)際特征。同時(shí)缺少調(diào)度大規(guī)模復(fù)雜的微服務(wù)工作流的工作,無法充分利用微服務(wù)工作流提高應(yīng)用的靈活性和敏捷性。

    鑒于此,本文提出一種利用Docker容器融入能耗感知的微服務(wù)工作流任務(wù)調(diào)度算法,綜合考慮了微服務(wù)任務(wù)間的數(shù)據(jù)依賴和優(yōu)先級依賴,引入了能耗效益函數(shù)。在此基礎(chǔ)上,設(shè)計(jì)兩個子算法——任務(wù)映射算法和任務(wù)合并算法,用于協(xié)助云資源調(diào)度器調(diào)度管理提交到云數(shù)據(jù)中臺的微服務(wù)工作流任務(wù),最小化數(shù)據(jù)中臺能耗的同時(shí),滿足工作流任務(wù)截止期限制,以實(shí)現(xiàn)用戶QoS需求。仿真實(shí)驗(yàn)表明,在同等條件下,與經(jīng)典的EES(Enhanced Energy-Efficient Scheduling)[9]和EHEFT(Enhancing Heterogeneous Earliest Finish Time)[10]等算法相比,在任務(wù)截止期長度變化以及子任務(wù)個數(shù)變化等環(huán)境下,本文算法具有較好的綜合性能。

    本文的貢獻(xiàn)如下:

    (1) 提出使用Docker容器調(diào)度云數(shù)據(jù)中臺的微服務(wù)工作流,相比于直接使用IaaS虛擬機(jī),可有效提高計(jì)算資源的利用率。

    (2) 綜合考慮微服務(wù)任務(wù)間的數(shù)據(jù)依賴和優(yōu)先級依賴,體現(xiàn)微服務(wù)工作流執(zhí)行的靈活性。

    (3) 引入了能耗效益函數(shù),滿足不同的工作流截止期約束條件下,以最小化計(jì)算資源租賃成本為目標(biāo),有效提高云環(huán)境下數(shù)據(jù)中臺調(diào)度大規(guī)模微服務(wù)工作流的經(jīng)濟(jì)效益。

    1 問題描述及建模

    數(shù)據(jù)中臺上基于微服務(wù)的應(yīng)用程序調(diào)度可以通過三個組件的屬性來表征,即應(yīng)用程序模型、系統(tǒng)模型和性能模型。應(yīng)用程序模型定義基于業(yè)務(wù)工作流調(diào)度的應(yīng)用程序結(jié)構(gòu);系統(tǒng)模型描述執(zhí)行應(yīng)用程序的VM和基礎(chǔ)網(wǎng)絡(luò);性能模型負(fù)責(zé)調(diào)度優(yōu)化等任務(wù)。這種由三部分組成的視圖與定義經(jīng)典調(diào)度問題的表示法一致。

    應(yīng)用模型中基于微服務(wù)的工作流模型采用有向無環(huán)圖(Directed Acyclic Graph,DAG)W=(T,E),其中頂點(diǎn)T={t1,t2,…,tn}代表n個任務(wù),一對相鄰任務(wù)ti和tj之間的執(zhí)行依賴性由它們之間的有向邊表示,可以附加權(quán)重wi,j表示從ti傳遞到tj的數(shù)據(jù)大小。任務(wù)ti從其每個先前功能接收數(shù)據(jù)輸入并執(zhí)行預(yù)定義的業(yè)務(wù)邏輯。成功執(zhí)行后,任務(wù)ti的輸出數(shù)據(jù)將立即發(fā)送到其后續(xù)任務(wù)。如圖1所示,ti從tj和tk接收輸入數(shù)據(jù)執(zhí)行其自身的功能,并在完成執(zhí)行后將輸出數(shù)據(jù)wi,p發(fā)送至tp。此處不考慮應(yīng)用程序模型中功能的計(jì)算開銷。系統(tǒng)模型IaaS支持運(yùn)行基于微服務(wù)的應(yīng)用程序的基礎(chǔ)環(huán)境,其中在互連的物理計(jì)算機(jī)上保留、部署和執(zhí)行虛擬機(jī)。本文將這樣的云環(huán)境建模為完全連接的有向圖G,頂點(diǎn)由VM集合組成,邊由虛擬機(jī)之間的一組有向鏈接組成,VM虛擬機(jī)vi和vj之間的每個通信鏈路li,j與帶寬(BW)bi,j和最小鏈路延遲(MLD)di,j相關(guān)聯(lián)。應(yīng)用程序的每個功能都由微服務(wù)實(shí)現(xiàn),每個微服務(wù)都需要部署在一個容器中,該容器的計(jì)算能力定義為四元式pci=(c,f,r,d),其中:c表示CPU內(nèi)核數(shù);f表示每一CPU核的頻率;r表示RAM總大??;d表示總磁盤空間。功能ti被映射到微服務(wù)msi并由微服務(wù)msi實(shí)現(xiàn),然后微服務(wù)msi被封裝在容器ci中,而計(jì)算能力pci部署在VMvy上。

    圖1 云數(shù)據(jù)中臺上基于微服務(wù)的應(yīng)用程序調(diào)度模型

    在IaaS中,云提供商以互連VM的形式租用計(jì)算資源。通常,提供具有不同計(jì)算能力的不同類型的VM,根據(jù)計(jì)算能力c、f、r、d滿足不同的應(yīng)用程序需求。不同的VM類型以不同的價(jià)格收費(fèi)。以Amazon EC2.3為例,提供五種按需實(shí)例類型的配置和價(jià)格,Amazon采用分步計(jì)費(fèi)模式,其中VM不足1小時(shí)使用時(shí)間會被四舍五入到1小時(shí)。本文的工作針對單一公共云中的計(jì)算環(huán)境,在該公共云中物理機(jī)通過高帶寬Intranet互連,因此不專門考慮數(shù)據(jù)傳輸成本。更籠統(tǒng)地說,考慮一個具有l(wèi)個VM類型的公共云環(huán)境vm1,vm2,…,vml,其中每種類型的vmk都與成本和性能相關(guān)的屬性相關(guān)聯(lián),并定義為算力、最大功率、帶寬三元組。圖1給出了在示例系統(tǒng)模型中由vy表示的一個vmk類型的VM實(shí)例和由vq和vx表示的兩個vmj類型的VM實(shí)例。每個通信鏈路(例如,從vx到vy)是有方向的,并與帶寬(bx,y)和最小鏈路延遲(dx,y)相關(guān)聯(lián)。

    性能模型主要負(fù)責(zé)在公共數(shù)據(jù)中臺云中執(zhí)行基于微服務(wù)的應(yīng)用程序調(diào)度,滿足用戶指定的預(yù)算約束、功耗約束下實(shí)現(xiàn)最小的端到端延遲(MED)目標(biāo)。本文擴(kuò)展了主要考慮能耗因素,將它們擴(kuò)展到具有函數(shù)間依賴性的應(yīng)用程序模型中,以識別和量化公共云的功耗成分。使用微服務(wù)和容器的一個關(guān)鍵優(yōu)勢是快速復(fù)制和遷移的便利性,因此將復(fù)制的微服務(wù)作為不同的實(shí)例運(yùn)行,每個微服務(wù)都可以實(shí)現(xiàn)不同應(yīng)用程序所需的相同功能。

    與基于虛擬機(jī)的云服務(wù)相比,本文設(shè)計(jì)的基于容器的數(shù)據(jù)中臺微服務(wù)模型的技術(shù)特征及優(yōu)勢為:

    1) 微服務(wù)易于被開發(fā)人員理解、修改和維護(hù)。各個微服務(wù)可被獨(dú)立部署,各個微服務(wù)之間是松耦合的,每個微服務(wù)都很小,是有功能意義的服務(wù),無論是在開發(fā)階段或部署階段都是獨(dú)立的,有助于聚焦指定的業(yè)務(wù)功能或業(yè)務(wù)需求。2) 基于容器的微服務(wù)運(yùn)行占用的空間少啟動速度快且便于遷移。與虛擬機(jī)相比,容器中的微服務(wù)可以共享操作系統(tǒng)內(nèi)核,不需要在主機(jī)上構(gòu)建多個虛擬機(jī)擁有完整的副本,占用的空間更少,啟動速度也更快。每個微服務(wù)都可以實(shí)現(xiàn)不同應(yīng)用程序所需的相同功能,可以將復(fù)制的微服務(wù)作為不同的實(shí)例運(yùn)行,有利于快速復(fù)制和遷移。

    為簡便起見,假設(shè)每個虛擬機(jī)只對應(yīng)一個容器。

    定義1微服務(wù)工作流模型。通常情況下,一個微服務(wù)工作流W=(T,E)可以用一個有向無環(huán)圖(DAG)來表示,如圖2所示。其中T={t1,t2,…,tn}為工作流中的任務(wù)集合,DAG中一個頂點(diǎn)代表一個任務(wù),E是DAG中邊的集合,代表任務(wù)之間的依賴關(guān)系。若任務(wù)ti和任務(wù)tj(ti,tj∈T,ti≠tj,且1≤i

    (ti)={tj|(tI,tj)∈E}

    (1)

    圖2 一個DAG工作流模型

    定義2數(shù)據(jù)中臺虛擬機(jī)模型。數(shù)據(jù)中臺提供l種類型的虛擬機(jī)的類型集為VM={vm1,vm2,…,vmk…,vml},每種類型VM的虛擬機(jī)的特性都可以用(c,pmax,B)三元組表示,其中:c是虛擬機(jī)的計(jì)算能力,用每秒運(yùn)算的浮點(diǎn)數(shù)(MFLOPS)衡量;pmax是虛擬機(jī)的最大功率;B為帶寬。不同類型的虛擬機(jī)之間滿足如下約束關(guān)系:

    (2)

    式中:所有虛擬機(jī)實(shí)例的計(jì)算能力和最大功率均按升序排序。式(2)就意味著,虛擬機(jī)之間隨著計(jì)算能力的增強(qiáng),虛擬機(jī)的功耗將隨之增加,且增加幅度超過虛擬機(jī)計(jì)算能力的增強(qiáng)幅度。

    定義3基于容器的數(shù)據(jù)中臺虛擬機(jī)微服務(wù)任務(wù)調(diào)度問題可描述為:在數(shù)據(jù)中臺中,將微服務(wù)工作流的n個子任務(wù)分配給m個異構(gòu)的虛擬資源節(jié)點(diǎn)執(zhí)行(m

    (3)

    i∈{1,2,…,n},j∈{1,2,…,m}

    (4)

    (5)

    (6)

    定義5虛擬機(jī)空閑能耗。當(dāng)虛擬機(jī)處在空閑狀態(tài)時(shí),CPU芯片會使用動態(tài)電壓頻率調(diào)整(Dynamic Voltage Frequency Scaling,DVFS)技術(shù)把CPU的電壓和運(yùn)行頻率調(diào)整到一個較低的水平。因此,虛擬機(jī)處在空閑狀態(tài)時(shí)的能耗可由式(7)計(jì)算。

    (7)

    定義6數(shù)據(jù)中臺的總能耗。由數(shù)據(jù)中臺中所有虛擬機(jī)實(shí)例的總能耗組成(動態(tài)能耗和空閑能耗),因此,云數(shù)據(jù)中臺的總功耗Etotal為:

    (8)

    定義7基于以上定義,本文的調(diào)度問題可以描述為:找到一個微服務(wù)工作流調(diào)度方案,使得數(shù)據(jù)中臺執(zhí)行工作流任務(wù)時(shí)產(chǎn)生的總能耗最小,且滿足工作流任務(wù)的截止期限制。可以由式(9)定義。

    minEtotal
    s.t.makespan≤deadline(w)

    (9)

    2 算法設(shè)計(jì)與實(shí)現(xiàn)

    任務(wù)的調(diào)度問題面臨的是一個NP-難問題[12],本文的目標(biāo)是設(shè)計(jì)啟發(fā)式調(diào)度算法以最大限度優(yōu)化數(shù)據(jù)中臺產(chǎn)生的能耗。下面給出算法的實(shí)現(xiàn)以及偽代碼。

    2.1 任務(wù)映射算法

    定義8一個任務(wù)的完工時(shí)間由兩部分組成:該任務(wù)真實(shí)的執(zhí)行時(shí)間和該任務(wù)的依賴數(shù)據(jù)需要傳輸?shù)臅r(shí)間。可由式(10)計(jì)算得出。

    (10)

    定義9能耗效益函數(shù)。能耗效益函數(shù)代表消耗單位的能耗下能完成的工作負(fù)載的大小。任務(wù)ti在類型為k的虛擬機(jī)上執(zhí)行時(shí)的能耗效益函數(shù)可以通過式(11)計(jì)算。

    (11)

    式中:分子為任務(wù)ti的工作負(fù)載;分母為執(zhí)行任務(wù)ti時(shí)產(chǎn)生的能耗。能耗效益函數(shù)值越大,表明該任務(wù)被映射到類型為k的虛擬機(jī)上執(zhí)行時(shí)越節(jié)能。

    微服務(wù)工作流任務(wù)與虛擬機(jī)分配映射算法偽代碼:

    算法1微服務(wù)工作流任務(wù)與虛擬機(jī)分配映射算法TaskMapping

    輸入:微服務(wù)工作流任務(wù)ti,i∈1,2,…,n,虛擬機(jī)能耗效益函數(shù)集合。

    輸出:任務(wù)ti與虛擬機(jī)映射關(guān)系map。

    3) 初始化任務(wù)集R=?,k=1;

    4)whilek≤landR≠?do

    5) 針對任務(wù)ti,選取能耗效益函數(shù)集合中的第k個虛擬機(jī)類型作為目標(biāo)虛擬機(jī)類型,如果ti能在其截止期限執(zhí)行完成,則選取當(dāng)前第k種虛擬機(jī)類型機(jī)為VMopt,把任務(wù)ti映射到該類型的虛擬機(jī)的容器上,即map:ti→VMopt;

    6) 否則,把任務(wù)ti放入R中,針對R中的每一個任務(wù),選取該任務(wù)的能耗效益函數(shù)集合的下一個虛擬機(jī)類型作為目標(biāo)虛擬機(jī)類型;

    7)enddo

    虛擬機(jī)類型的能耗效益排序采用快速排序或者堆排序,最優(yōu)時(shí)間復(fù)雜度為O(llogl),其中l(wèi)為虛擬機(jī)類型數(shù)目,步驟5)到步驟7)算法復(fù)雜度為O(nl),n為微服務(wù)工作流任務(wù)個數(shù)。與已有任務(wù)虛擬機(jī)映射算法相比,本文提出的啟發(fā)式微服務(wù)工作流任務(wù)與虛擬機(jī)分配映射算法具有復(fù)雜度低且滿足綜合能耗效益函數(shù)約束。

    2.2 串行任務(wù)合并算法

    定義10兩個存在依賴關(guān)系的串行任務(wù)之間數(shù)據(jù)傳輸時(shí)間可由式(12)獲得。

    (12)

    式中:data(ti,tj)表示有依賴關(guān)系的任務(wù)ti和tj之間傳輸?shù)臄?shù)據(jù)量。

    從式(12)可以看出,如果兩個串行任務(wù)分配到一臺虛擬機(jī)上執(zhí)行,那么這兩個任務(wù)間的依賴數(shù)據(jù)傳輸時(shí)間就會被節(jié)約。因此,下面給出串行任務(wù)合并算法的偽代碼。

    算法2串行任務(wù)合并算法TaskMerging

    輸入:微服務(wù)工作流任務(wù)ti,i∈1,2,…,n,虛擬機(jī)能耗效益函數(shù)集合。

    輸出:微服務(wù)工作流任務(wù)集。

    1) 初始化空任務(wù)集合,記為T。

    2) 對工作流中的任務(wù)進(jìn)行拓?fù)渑判颍缓蟀阉型負(fù)渑判蚝蟮娜蝿?wù)放入T中,i=1;

    3)while任務(wù)集合T不為空do

    4)if(ti只有一個直接后繼任務(wù)且該后繼任務(wù)只有一個前驅(qū)任務(wù),或者ti只有一個前驅(qū)任務(wù)且該前驅(qū)任務(wù)只有一個后繼任務(wù)) then

    5) 找到一個虛擬機(jī)類型k,滿足在(deadline(ti)+deadline(ti+1))時(shí)間內(nèi)能完成ti和ti+1;

    7) 合并ti和ti+1為一個新任務(wù)t′,

    8) 更新t′的前驅(qū)任務(wù)、后繼任務(wù)、工作負(fù)載和截止期限;

    9) 將ti從T中移除;

    10)else

    11) 不合并ti和ti+1,移除ti;

    12)endif

    13)endif

    14)enddo

    圖3給出串行任務(wù)合并過程示意圖,算法復(fù)雜度為O(nl),其中n為微服務(wù)工作流任務(wù)個數(shù)。

    圖3 串行任務(wù)合并過程示意圖

    與已有的串行任務(wù)合并算法相比,本文提出的串行任務(wù)合并算法考慮到虛擬機(jī)能耗效益因素,并且關(guān)注存在依賴關(guān)系的串行任務(wù)合并,顯著地節(jié)約了數(shù)據(jù)傳輸時(shí)間。

    2.3 能耗感知的任務(wù)調(diào)度算法

    本文提出的能耗感知的微服務(wù)工作流任務(wù)調(diào)度算法旨在優(yōu)化云環(huán)境下數(shù)據(jù)中臺執(zhí)行微服務(wù)任務(wù)時(shí)產(chǎn)生的能耗,同時(shí)滿足任務(wù)截止期限制。算法主要由以上提出的兩個子算法構(gòu)成。

    算法3能耗感知的微服務(wù)工作流任務(wù)調(diào)度算法

    輸入:微服務(wù)工作流任務(wù)集合T={t1,t2,…,tn},虛擬資源節(jié)點(diǎn)集V={v1,v2,…,vm}。

    輸出:任務(wù)與資源分配關(guān)系矩陣X。

    1)while未達(dá)到調(diào)度評價(jià)指標(biāo)do

    2) 調(diào)用任務(wù)映射算法TaskMapping;

    3) 調(diào)用串行任務(wù)合并算法TaskMerging;

    4)enddo

    算法復(fù)雜度為O(nlm)。

    3 仿真實(shí)驗(yàn)及結(jié)果分析

    為了驗(yàn)證本文算法在節(jié)約能耗方面的綜合性能,在不同的仿真參數(shù)和性能指標(biāo)下將其與同樣為啟發(fā)式任務(wù)調(diào)度算法的EES和EHEFT進(jìn)行了綜合對比分析。實(shí)驗(yàn)環(huán)境為Windows 7系統(tǒng),Intel(R) Core 3.20 GHz CPU,1 TB硬盤,8 GB RAM。仿真平臺為澳大利亞墨爾本大學(xué)的網(wǎng)絡(luò)實(shí)驗(yàn)基于Java語言開發(fā)的Cloudsim云仿真平臺[13]。在Cloudsim仿真平臺中,DataCenter類代表數(shù)據(jù)中臺,VirtualMachine類代表虛擬資源節(jié)點(diǎn),Cloudlet類代表任務(wù)。

    3.1 兩個子算法之間節(jié)能性能比較

    本實(shí)驗(yàn)旨在比較兩個子算法隨任務(wù)截止期變化時(shí)的節(jié)能性能。實(shí)驗(yàn)參數(shù)為:虛擬資源節(jié)點(diǎn)個數(shù)m=10,任務(wù)數(shù)n=30,虛擬資源節(jié)點(diǎn)類型數(shù)k=5。實(shí)驗(yàn)結(jié)果如圖4所示。

    圖4 任務(wù)截止期變化對兩個子算法能耗的影響

    可以看出,隨著任務(wù)截止期的變長,兩者的能耗都在降低,且固定任務(wù)截止期時(shí),任務(wù)合并算法的節(jié)能效果優(yōu)于任務(wù)映射算法的節(jié)能效果,其原因在于,串行任務(wù)合并算法避免了數(shù)據(jù)依賴任務(wù)之間數(shù)據(jù)集的傳輸,而且任務(wù)合并后只需要租用更少的虛擬機(jī)實(shí)例。本文提出的能耗感知的任務(wù)調(diào)度算法在未達(dá)到調(diào)度評價(jià)指標(biāo)情況下,綜合兩個子算法的節(jié)能優(yōu)勢,實(shí)現(xiàn)綜合能耗最優(yōu)化。

    3.2 隨任務(wù)截止期變化的性能比較

    本實(shí)驗(yàn)的實(shí)驗(yàn)參數(shù)與實(shí)驗(yàn)1相同,主要考察隨任務(wù)截止期變化時(shí)本文算法與EES和EHEFT之間的節(jié)能性能比較,實(shí)驗(yàn)結(jié)果如圖5所示。

    圖5 任務(wù)截止期變化對能耗的影響

    可以看出,本文算法的節(jié)能性能最優(yōu),這說明本文算法在調(diào)度任務(wù)執(zhí)行時(shí)對數(shù)據(jù)中臺的能耗最敏感,因?yàn)楸疚乃惴ǖ哪芎男б婧瘮?shù)總是在滿足任務(wù)截止期的前提下,借助工作流任務(wù)與虛擬機(jī)分配映射算法和串行任務(wù)合并算法,選擇能耗最優(yōu)的虛擬機(jī)執(zhí)行任務(wù)。EHEFT次之,EES的能耗保持不變且維持在一個較高水平,這是因?yàn)镋ES總是選擇數(shù)據(jù)中臺中性能最強(qiáng)的虛擬機(jī)執(zhí)行任務(wù),不考慮能耗因素。

    3.3 隨任務(wù)數(shù)變化的性能比較

    實(shí)驗(yàn)參數(shù)為:虛擬資源節(jié)點(diǎn)個數(shù)m=30,虛擬資源節(jié)點(diǎn)類型數(shù)k=5。性能指標(biāo)比較結(jié)果如圖6所示??梢钥闯?,隨著任務(wù)數(shù)的擴(kuò)充,本文算法、EES和EHEFT的能耗都有所增加,但是固定任務(wù)數(shù)時(shí),EES和EHEFT產(chǎn)生的能耗均高于本文算法,說明在同等條件下,本文算法的能耗效益函數(shù)機(jī)制在執(zhí)行任務(wù)時(shí)節(jié)約能耗性能和可擴(kuò)展性均明顯優(yōu)于EES和EHEFT。

    圖6 任務(wù)個數(shù)變化對能耗的影響

    3.4 隨虛擬資源節(jié)點(diǎn)異構(gòu)性變化的性能比較

    實(shí)驗(yàn)參數(shù)為:任務(wù)個數(shù)n=100,虛擬資源節(jié)點(diǎn)個數(shù)m=30。能耗比較變化趨勢如圖7所示??梢钥闯?,隨著虛擬資源節(jié)點(diǎn)異構(gòu)性(虛擬機(jī)類型數(shù))的變化,三個算法的能耗變化不明顯,跟實(shí)驗(yàn)2類似,EES能耗最高,EHEFT次之,本文算法能耗最少。這說明本文算法對虛擬資源的異構(gòu)性變化不敏感,但是節(jié)能性能最優(yōu)。

    圖7 虛擬資源節(jié)點(diǎn)異構(gòu)性變化對能耗的影響

    綜上,本文提出的能耗感知的微服務(wù)工作流任務(wù)調(diào)度算法與已有算法相比,在隨任務(wù)截止期變化、隨任務(wù)數(shù)變化、隨虛擬資源節(jié)點(diǎn)異構(gòu)性變化等幾個方面均具有更好的性能。

    4 結(jié) 語

    能耗問題在基于微服務(wù)的數(shù)據(jù)中臺云數(shù)據(jù)中心表現(xiàn)得越來越重要。本文針對云數(shù)據(jù)中臺中依賴任務(wù)調(diào)度導(dǎo)致的能耗浪費(fèi)問題,構(gòu)建了能耗效益函數(shù)模型和云數(shù)據(jù)中臺能耗模型,并提出一個包含了兩個子算法的啟發(fā)式微服務(wù)工作流任務(wù)調(diào)度算法對模型進(jìn)行求解。仿真實(shí)驗(yàn)表明,本文算法在能耗管理方面具有較好的綜合性能。下一步的工作將是考慮虛擬資源節(jié)點(diǎn)的綜合成本問題,同時(shí)滿足基于用戶需求和云數(shù)據(jù)中臺節(jié)能的多目標(biāo)優(yōu)化調(diào)度算法,以及采用相應(yīng)的數(shù)學(xué)模型來刻畫不同的用戶需求。

    猜你喜歡
    截止期中臺任務(wù)調(diào)度
    中臺是媒體轉(zhuǎn)型必經(jīng)之路嗎?
    ——媒體中臺建設(shè)的特點(diǎn)和誤區(qū)
    視聽界(2021年2期)2021-11-27 00:30:14
    關(guān)于零售企業(yè)“中臺”建設(shè)的研究
    汽車制造企業(yè)質(zhì)量中臺研究
    以技術(shù)開發(fā)中心為中臺,數(shù)字化轉(zhuǎn)型之見解
    基于改進(jìn)NSGA-Ⅱ算法的協(xié)同制造任務(wù)調(diào)度研究
    基于時(shí)間負(fù)載均衡蟻群算法的云任務(wù)調(diào)度優(yōu)化
    云計(jì)算環(huán)境中任務(wù)調(diào)度策略
    云計(jì)算中基于進(jìn)化算法的任務(wù)調(diào)度策略
    基于截止期價(jià)值度優(yōu)先的CAN消息實(shí)時(shí)調(diào)度算法*
    滿足業(yè)務(wù)實(shí)時(shí)性要求的路由設(shè)計(jì)*
    亚洲一区二区三区欧美精品| 免费观看的影片在线观看| 亚洲欧美日韩另类电影网站 | 欧美成人一区二区免费高清观看| 极品教师在线视频| 精品一区在线观看国产| 国产一区二区三区综合在线观看 | 亚洲第一av免费看| 国产真实伦视频高清在线观看| 18禁在线播放成人免费| 久久鲁丝午夜福利片| av女优亚洲男人天堂| 七月丁香在线播放| www.av在线官网国产| 日韩一区二区三区影片| 日本-黄色视频高清免费观看| 91精品国产国语对白视频| 亚洲久久久国产精品| 日本一二三区视频观看| 黄色日韩在线| 久久影院123| 天堂中文最新版在线下载| 少妇熟女欧美另类| av在线观看视频网站免费| 国产精品熟女久久久久浪| 亚洲精品视频女| 人妻系列 视频| 精品国产乱码久久久久久小说| 欧美国产精品一级二级三级 | 久久人人爽av亚洲精品天堂 | 亚洲欧美成人精品一区二区| 国产高清国产精品国产三级 | 美女脱内裤让男人舔精品视频| 久久综合国产亚洲精品| 黄色日韩在线| 一本一本综合久久| 成人毛片a级毛片在线播放| 韩国高清视频一区二区三区| 国产精品国产三级国产av玫瑰| 18+在线观看网站| 免费观看的影片在线观看| 国内揄拍国产精品人妻在线| 亚洲国产日韩一区二区| 欧美极品一区二区三区四区| 久久久久视频综合| 国产伦精品一区二区三区四那| 欧美精品人与动牲交sv欧美| 色视频www国产| 国产高清不卡午夜福利| 中文字幕精品免费在线观看视频 | 久久韩国三级中文字幕| 亚洲一级一片aⅴ在线观看| 亚洲国产精品一区三区| 久久国产精品男人的天堂亚洲 | 黄色欧美视频在线观看| 日韩av不卡免费在线播放| 国产视频内射| 尾随美女入室| 街头女战士在线观看网站| 在线观看人妻少妇| 99国产精品免费福利视频| 麻豆精品久久久久久蜜桃| 国产黄色免费在线视频| 亚洲va在线va天堂va国产| 菩萨蛮人人尽说江南好唐韦庄| 国产成人精品福利久久| 一级毛片aaaaaa免费看小| 欧美精品亚洲一区二区| 一区二区三区免费毛片| 国产一区亚洲一区在线观看| av.在线天堂| 亚洲人成网站高清观看| 欧美成人精品欧美一级黄| 2018国产大陆天天弄谢| 精品熟女少妇av免费看| h视频一区二区三区| 久久精品久久久久久久性| 成人无遮挡网站| 青春草亚洲视频在线观看| 久久精品人妻少妇| 99久久精品一区二区三区| 亚洲国产最新在线播放| 久久久成人免费电影| 亚洲国产高清在线一区二区三| 久久久久久久久久久丰满| 欧美成人a在线观看| 黑人高潮一二区| 久久久午夜欧美精品| 黄色配什么色好看| 午夜精品国产一区二区电影| 国产av国产精品国产| 久久99热这里只有精品18| 欧美亚洲 丝袜 人妻 在线| 国产色爽女视频免费观看| 美女国产视频在线观看| 大话2 男鬼变身卡| 中文资源天堂在线| 免费看日本二区| av女优亚洲男人天堂| 久久午夜福利片| 丰满迷人的少妇在线观看| 99国产精品免费福利视频| 亚洲精品久久午夜乱码| 一区二区av电影网| 国产黄频视频在线观看| 美女高潮的动态| 成人无遮挡网站| 哪个播放器可以免费观看大片| 日韩成人伦理影院| 久久久久久久国产电影| 高清不卡的av网站| 深爱激情五月婷婷| 五月玫瑰六月丁香| 国产女主播在线喷水免费视频网站| 伊人久久精品亚洲午夜| 亚洲av不卡在线观看| 久久久久国产精品人妻一区二区| 一本色道久久久久久精品综合| 女人久久www免费人成看片| 国产成人freesex在线| 亚洲久久久国产精品| 国产乱人偷精品视频| 国产中年淑女户外野战色| 国产亚洲最大av| 国产男女超爽视频在线观看| 在线播放无遮挡| 蜜桃久久精品国产亚洲av| 大香蕉97超碰在线| 一级二级三级毛片免费看| av免费在线看不卡| 亚洲激情五月婷婷啪啪| 久久久久久久久久久免费av| 日韩视频在线欧美| 色视频www国产| 我要看黄色一级片免费的| 天美传媒精品一区二区| 午夜激情久久久久久久| 国产精品一及| 一区二区三区精品91| 天堂中文最新版在线下载| 欧美日本视频| kizo精华| 啦啦啦啦在线视频资源| 国产精品精品国产色婷婷| 中国三级夫妇交换| 亚洲av成人精品一二三区| 亚洲精品自拍成人| 成人亚洲欧美一区二区av| 女性生殖器流出的白浆| 尾随美女入室| 国产精品蜜桃在线观看| 插阴视频在线观看视频| 中国国产av一级| 97在线视频观看| 欧美精品国产亚洲| 你懂的网址亚洲精品在线观看| 男人添女人高潮全过程视频| 嫩草影院入口| 久久影院123| 少妇丰满av| 人体艺术视频欧美日本| av天堂中文字幕网| 在线天堂最新版资源| h日本视频在线播放| 亚洲人成网站高清观看| 精品99又大又爽又粗少妇毛片| 久久人人爽人人片av| 在现免费观看毛片| 18禁在线无遮挡免费观看视频| 久久久久人妻精品一区果冻| 成人特级av手机在线观看| 国产精品三级大全| 国产亚洲午夜精品一区二区久久| 亚洲自偷自拍三级| 久久久久久伊人网av| 午夜福利在线在线| 亚洲av国产av综合av卡| 国产高潮美女av| 高清午夜精品一区二区三区| 人体艺术视频欧美日本| av天堂中文字幕网| 性高湖久久久久久久久免费观看| 97在线人人人人妻| 欧美zozozo另类| 亚洲国产欧美人成| 99久久精品热视频| 亚洲一区二区三区欧美精品| 亚洲成色77777| 久久久欧美国产精品| 国产精品久久久久久精品古装| 一二三四中文在线观看免费高清| 亚洲伊人久久精品综合| 亚洲av欧美aⅴ国产| 少妇高潮的动态图| 午夜免费观看性视频| 欧美极品一区二区三区四区| 成人无遮挡网站| 亚洲精品久久午夜乱码| 少妇被粗大猛烈的视频| 九九爱精品视频在线观看| 中文乱码字字幕精品一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91 | av播播在线观看一区| 亚洲欧美成人精品一区二区| 免费黄色在线免费观看| 欧美少妇被猛烈插入视频| 久久久久视频综合| 国产成人91sexporn| 欧美精品人与动牲交sv欧美| 欧美最新免费一区二区三区| 麻豆精品久久久久久蜜桃| 天美传媒精品一区二区| 国产乱人视频| 成人免费观看视频高清| av在线app专区| 天天躁日日操中文字幕| 亚洲综合色惰| 欧美xxⅹ黑人| 欧美+日韩+精品| 亚洲av在线观看美女高潮| 王馨瑶露胸无遮挡在线观看| 少妇裸体淫交视频免费看高清| 亚洲美女黄色视频免费看| 国产伦理片在线播放av一区| 亚洲成人一二三区av| 欧美xxxx性猛交bbbb| 多毛熟女@视频| 哪个播放器可以免费观看大片| av天堂中文字幕网| 久久久久久久久久成人| 久久毛片免费看一区二区三区| videos熟女内射| 亚洲精品国产av蜜桃| 高清毛片免费看| 在线观看免费日韩欧美大片 | 97精品久久久久久久久久精品| 国产亚洲最大av| 日韩中文字幕视频在线看片 | 青青草视频在线视频观看| 啦啦啦在线观看免费高清www| 日本色播在线视频| 日韩一本色道免费dvd| 午夜免费男女啪啪视频观看| 亚洲人成网站在线播| 精品一区二区三区视频在线| 欧美日韩视频高清一区二区三区二| 一个人看的www免费观看视频| 老女人水多毛片| 日韩亚洲欧美综合| 少妇裸体淫交视频免费看高清| 精品国产一区二区三区久久久樱花 | 少妇的逼好多水| 精品国产乱码久久久久久小说| 久久国产精品大桥未久av | 又粗又硬又长又爽又黄的视频| 日日啪夜夜撸| 又爽又黄a免费视频| 久久6这里有精品| 精品久久久久久久久av| 亚洲av福利一区| 亚洲av男天堂| 亚洲av日韩在线播放| 久久女婷五月综合色啪小说| 伦精品一区二区三区| 久久国产精品男人的天堂亚洲 | 欧美+日韩+精品| 国产成人a区在线观看| 国产精品久久久久久久久免| 国产在视频线精品| 一区二区av电影网| 最新中文字幕久久久久| 久久久久久九九精品二区国产| 亚洲成色77777| 人妻一区二区av| 麻豆成人av视频| a级一级毛片免费在线观看| 精品久久久噜噜| 国产高清三级在线| 青春草国产在线视频| 免费观看无遮挡的男女| 亚洲怡红院男人天堂| 婷婷色综合大香蕉| 午夜福利高清视频| 日韩av在线免费看完整版不卡| 在线播放无遮挡| 国产伦在线观看视频一区| 亚洲,一卡二卡三卡| 亚洲国产欧美在线一区| 偷拍熟女少妇极品色| 亚洲四区av| 黄色视频在线播放观看不卡| av线在线观看网站| 欧美变态另类bdsm刘玥| 成人高潮视频无遮挡免费网站| 久久久欧美国产精品| 午夜视频国产福利| 99久久人妻综合| 乱码一卡2卡4卡精品| 高清毛片免费看| 国产一区有黄有色的免费视频| 熟女电影av网| 日韩国内少妇激情av| 91精品国产九色| 亚洲av欧美aⅴ国产| 最近最新中文字幕大全电影3| 国产淫片久久久久久久久| 欧美成人一区二区免费高清观看| 日本一二三区视频观看| 亚洲精品国产成人久久av| 久久99热这里只有精品18| 麻豆国产97在线/欧美| 国内揄拍国产精品人妻在线| 观看av在线不卡| 日韩人妻高清精品专区| 最黄视频免费看| 美女主播在线视频| 交换朋友夫妻互换小说| 国产免费福利视频在线观看| 成人免费观看视频高清| 欧美区成人在线视频| 美女脱内裤让男人舔精品视频| 亚洲三级黄色毛片| 久久国产精品男人的天堂亚洲 | 欧美亚洲 丝袜 人妻 在线| 国产精品秋霞免费鲁丝片| 大片电影免费在线观看免费| a级毛片免费高清观看在线播放| 日韩中文字幕视频在线看片 | 国产永久视频网站| 成人毛片60女人毛片免费| 伦理电影大哥的女人| 亚洲色图av天堂| 交换朋友夫妻互换小说| 国产午夜精品久久久久久一区二区三区| 日韩欧美一区视频在线观看 | 精品午夜福利在线看| 一级毛片 在线播放| 国产亚洲最大av| 嫩草影院新地址| 一级毛片久久久久久久久女| 亚洲,一卡二卡三卡| 婷婷色综合www| av国产久精品久网站免费入址| 舔av片在线| 爱豆传媒免费全集在线观看| 久久久久久伊人网av| 国产精品无大码| 22中文网久久字幕| 少妇人妻一区二区三区视频| 成人毛片60女人毛片免费| 日本黄大片高清| 久久精品国产a三级三级三级| 嫩草影院新地址| 天天躁日日操中文字幕| 免费av中文字幕在线| 亚洲av男天堂| 免费不卡的大黄色大毛片视频在线观看| av网站免费在线观看视频| 国产精品.久久久| 亚洲国产精品999| 免费看光身美女| 99视频精品全部免费 在线| 欧美高清成人免费视频www| 久久久精品免费免费高清| 黄色日韩在线| 蜜桃在线观看..| 看免费成人av毛片| 久久鲁丝午夜福利片| 国产亚洲av片在线观看秒播厂| 免费黄网站久久成人精品| 国产大屁股一区二区在线视频| 老女人水多毛片| 精品一区二区三卡| av黄色大香蕉| 中文字幕免费在线视频6| av黄色大香蕉| 亚洲人成网站高清观看| 国产大屁股一区二区在线视频| 美女视频免费永久观看网站| 中文字幕亚洲精品专区| 精品亚洲成国产av| 免费少妇av软件| 大陆偷拍与自拍| 新久久久久国产一级毛片| 香蕉精品网在线| 免费看日本二区| 香蕉精品网在线| 最近2019中文字幕mv第一页| 国产精品久久久久久精品古装| 国产免费又黄又爽又色| av福利片在线观看| 网址你懂的国产日韩在线| 久久精品久久久久久噜噜老黄| 亚洲综合精品二区| 亚洲在久久综合| 少妇 在线观看| 在线观看一区二区三区激情| 黄色配什么色好看| 只有这里有精品99| 国产精品三级大全| 欧美xxxx性猛交bbbb| 久久毛片免费看一区二区三区| 久久女婷五月综合色啪小说| 黑人高潮一二区| 国产淫片久久久久久久久| 成人综合一区亚洲| 大陆偷拍与自拍| 99热网站在线观看| 国产黄频视频在线观看| 亚洲,一卡二卡三卡| 国产成人a区在线观看| 亚洲精品乱码久久久久久按摩| 亚洲欧洲日产国产| 欧美3d第一页| 黑丝袜美女国产一区| 99久久精品热视频| 国产淫片久久久久久久久| 日日摸夜夜添夜夜添av毛片| 亚洲av中文av极速乱| 国精品久久久久久国模美| 国产一区有黄有色的免费视频| 2022亚洲国产成人精品| 成人无遮挡网站| 久久毛片免费看一区二区三区| 国产精品秋霞免费鲁丝片| 大香蕉97超碰在线| 亚洲无线观看免费| 国产精品人妻久久久影院| 性色av一级| 九草在线视频观看| 又粗又硬又长又爽又黄的视频| 超碰97精品在线观看| 国产精品久久久久久久电影| 国产高清国产精品国产三级 | 精品酒店卫生间| 91午夜精品亚洲一区二区三区| 伦理电影大哥的女人| 亚洲精品aⅴ在线观看| 街头女战士在线观看网站| 久久久久久久久大av| 视频中文字幕在线观看| 国产成人免费无遮挡视频| 色视频在线一区二区三区| 国内精品宾馆在线| 亚洲av综合色区一区| 婷婷色av中文字幕| 国产日韩欧美亚洲二区| 国产精品麻豆人妻色哟哟久久| 国产亚洲一区二区精品| 日韩电影二区| 国产成人一区二区在线| 肉色欧美久久久久久久蜜桃| 2022亚洲国产成人精品| 亚洲欧美成人综合另类久久久| 欧美日韩精品成人综合77777| 日本av免费视频播放| 精品久久国产蜜桃| 日日摸夜夜添夜夜爱| 麻豆成人午夜福利视频| 男人狂女人下面高潮的视频| 免费黄频网站在线观看国产| 伦精品一区二区三区| 三级国产精品欧美在线观看| 精品国产三级普通话版| 欧美精品国产亚洲| 女人十人毛片免费观看3o分钟| 噜噜噜噜噜久久久久久91| 免费黄网站久久成人精品| 亚洲av国产av综合av卡| 纵有疾风起免费观看全集完整版| 精品人妻视频免费看| 又粗又硬又长又爽又黄的视频| 在线观看美女被高潮喷水网站| 亚洲国产精品成人久久小说| 欧美一级a爱片免费观看看| 成人亚洲欧美一区二区av| 精品一区二区免费观看| 青春草亚洲视频在线观看| 午夜老司机福利剧场| 国产v大片淫在线免费观看| 久久久欧美国产精品| 全区人妻精品视频| 日韩伦理黄色片| 久久精品久久精品一区二区三区| 国内精品宾馆在线| 精品人妻一区二区三区麻豆| 黄色一级大片看看| 国产亚洲5aaaaa淫片| 国产精品99久久久久久久久| 久久人妻熟女aⅴ| av网站免费在线观看视频| 日本午夜av视频| 99久久精品热视频| 亚洲精品国产色婷婷电影| 一级毛片久久久久久久久女| 韩国av在线不卡| 亚洲三级黄色毛片| 精品酒店卫生间| 精品国产露脸久久av麻豆| 搡女人真爽免费视频火全软件| 精品久久国产蜜桃| 欧美xxxx黑人xx丫x性爽| 美女视频免费永久观看网站| 国产av精品麻豆| 成人特级av手机在线观看| 18禁动态无遮挡网站| 久久人妻熟女aⅴ| 亚洲精品久久午夜乱码| 少妇精品久久久久久久| 国产午夜精品久久久久久一区二区三区| 久久久久久久精品精品| 麻豆精品久久久久久蜜桃| 又爽又黄a免费视频| 日本-黄色视频高清免费观看| 一区在线观看完整版| 免费观看性生交大片5| 极品教师在线视频| 欧美高清成人免费视频www| 成人亚洲精品一区在线观看 | 亚洲国产色片| 99久久人妻综合| 91精品一卡2卡3卡4卡| 交换朋友夫妻互换小说| 日韩制服骚丝袜av| 狂野欧美激情性xxxx在线观看| 777米奇影视久久| 亚洲,一卡二卡三卡| 久久久久网色| 亚洲精品成人av观看孕妇| 99热这里只有是精品在线观看| videos熟女内射| 女性生殖器流出的白浆| 最新中文字幕久久久久| 国产成人免费观看mmmm| 亚洲精品久久午夜乱码| 男人和女人高潮做爰伦理| 亚洲第一av免费看| 97超碰精品成人国产| 内射极品少妇av片p| 色网站视频免费| 国产成人91sexporn| 国模一区二区三区四区视频| 国产 一区 欧美 日韩| 黄色一级大片看看| 美女国产视频在线观看| 欧美老熟妇乱子伦牲交| 日韩成人av中文字幕在线观看| 国产亚洲91精品色在线| 在线 av 中文字幕| 免费少妇av软件| 在线看a的网站| 色吧在线观看| 欧美xxxx黑人xx丫x性爽| 亚洲av成人精品一区久久| 永久免费av网站大全| 国产精品免费大片| 欧美一区二区亚洲| 欧美 日韩 精品 国产| 99精国产麻豆久久婷婷| 亚洲内射少妇av| 韩国av在线不卡| 看免费成人av毛片| 成人国产av品久久久| 亚洲欧美成人精品一区二区| 午夜福利在线观看免费完整高清在| 婷婷色综合大香蕉| 欧美一区二区亚洲| 国产精品蜜桃在线观看| av福利片在线观看| 最近最新中文字幕免费大全7| 日韩欧美精品免费久久| 亚洲av不卡在线观看| 国产欧美亚洲国产| 成年美女黄网站色视频大全免费 | 国产成人精品婷婷| 如何舔出高潮| 男女啪啪激烈高潮av片| 久久ye,这里只有精品| tube8黄色片| 亚洲欧美一区二区三区黑人 | 日本免费在线观看一区| 啦啦啦在线观看免费高清www| 人妻少妇偷人精品九色| 日韩欧美一区视频在线观看 | 少妇熟女欧美另类| 在线精品无人区一区二区三 | 国产伦精品一区二区三区视频9| av不卡在线播放| 欧美激情国产日韩精品一区| 美女国产视频在线观看| 麻豆成人午夜福利视频| 日韩国内少妇激情av| 国产 一区精品| 天天躁日日操中文字幕| 极品少妇高潮喷水抽搐| 波野结衣二区三区在线| 亚洲精品乱久久久久久| 国产精品国产三级国产专区5o| 一个人免费看片子| 国产精品久久久久久久电影| 色吧在线观看| 黄色视频在线播放观看不卡| 日日摸夜夜添夜夜添av毛片| 观看av在线不卡| av女优亚洲男人天堂| 亚洲av二区三区四区| 亚洲精品国产色婷婷电影| 亚洲国产成人一精品久久久| 高清午夜精品一区二区三区| 亚洲内射少妇av| 特大巨黑吊av在线直播| 你懂的网址亚洲精品在线观看| 国产成人91sexporn| 插阴视频在线观看视频| 日韩在线高清观看一区二区三区|