• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于邊緣云環(huán)境的工作流調(diào)度與卸載決策算法

    2021-09-16 02:29:22儉,鄭
    計算機(jī)工程與設(shè)計 2021年9期
    關(guān)鍵詞:客戶端邊緣能耗

    金 儉,鄭 倩

    (1.黃河科技學(xué)院 現(xiàn)代教育技術(shù)中心,河南 鄭州 450063;2.鄭州輕工業(yè)大學(xué) 軟件學(xué)院,河南 鄭州 450002)

    0 引 言

    隨著智能終端設(shè)備的廣泛流行,移動終端所能執(zhí)行的應(yīng)用類型越來越多樣化,如圖像處理、面部識別及增強現(xiàn)實等應(yīng)用,越來越多地運行在移動終端[1]。以上應(yīng)用類型的任務(wù)構(gòu)成并非單純的完全串行或并行結(jié)構(gòu),而是更為復(fù)雜的工作流結(jié)構(gòu)。處理工作流應(yīng)用需要高性能處理資源,以獲取更好的用戶體檢[2,3],邊緣云任務(wù)卸載即是在這種背景下產(chǎn)生的[4,5]。利用卸載,用戶可將任務(wù)需求從本地卸載到能力更強的邊緣云上執(zhí)行,憑借邊緣云的性能優(yōu)勢,加快任務(wù)執(zhí)行效率,節(jié)省本地能源消耗。然而,工作流任務(wù)的特殊結(jié)構(gòu)及移動客戶端與邊緣云服務(wù)器間的無線通信條件為工作流任務(wù)調(diào)度與卸載決策帶來了挑戰(zhàn),體現(xiàn)在:①延時敏感型應(yīng)用在本地執(zhí)行勢必導(dǎo)致較長響應(yīng)時間,部分卸載方法需要在考慮執(zhí)行時長和本地能耗基礎(chǔ)上進(jìn)行任務(wù)卸載,這是帶約束條件的優(yōu)化問題;②任務(wù)卸載執(zhí)行雖然可以性能更強的云端資源處理本地任務(wù),但傳輸時延、傳輸能耗及通信環(huán)境均會對卸載決策產(chǎn)生影響,卸載決策需考慮多方面因素;③調(diào)度時長和能耗優(yōu)化作為兩個沖突目標(biāo),在實際卸載決策過程中需均衡考慮。若要降低調(diào)度時長,勢必要卸載更多任務(wù)至邊緣云,但過多傳輸時間反過來會增加響應(yīng)時間,同時會額外增加傳輸能耗;為了降低本地能耗,同時會導(dǎo)致更多任務(wù)卸載執(zhí)行,而這同樣會帶來調(diào)度時長增加。

    為了實現(xiàn)移動客戶端能量約束條件下的工作流調(diào)度效率的優(yōu)化,在邊緣云中設(shè)計一種卸載決策算法PCTSO。算法重點解決了待調(diào)度任務(wù)的優(yōu)先級確定問題和連續(xù)依賴工作流任務(wù)的卸載決策問題,在提升任務(wù)執(zhí)行并行度的同時,還可以優(yōu)化工作流的執(zhí)行效率和移動客戶端的能量消耗。

    1 相關(guān)研究

    有關(guān)邊緣云環(huán)境中的任務(wù)調(diào)度與卸載決策問題,文獻(xiàn)[6]提出一種以最小化移動客戶端的能耗,滿足任務(wù)執(zhí)行截止時間約束的任務(wù)卸載算法。文獻(xiàn)[7]通過檢測每個邊緣云的每個時槽決定任務(wù)是在本地執(zhí)行還是卸載執(zhí)行,所設(shè)計的卸載決策算法可以通過線性規(guī)劃方法在滿足能量約束的情況下最小化任務(wù)執(zhí)行的總延時。為了降低本地能耗,滿足延時約束,文獻(xiàn)[8]提出基于Lyapunov優(yōu)化的動態(tài)卸載算法。文獻(xiàn)[9]在多用戶應(yīng)用分割與卸載環(huán)境下設(shè)計了離線卸載算法,實現(xiàn)了執(zhí)行延時的優(yōu)化。文獻(xiàn)[10]提出基于馬爾可夫決策的朵云任務(wù)卸載算法。但是,朵云受限于無線網(wǎng)絡(luò)覆蓋,服務(wù)連續(xù)性較差,無法應(yīng)用在邊緣云卸載決策問題。文獻(xiàn)[11]同樣利用馬爾可夫決策對卸載決策進(jìn)行了建模。文獻(xiàn)[12]設(shè)計了博弈分布式卸載決策算法,文獻(xiàn)[13]聯(lián)合考慮通信資源和計算資源分配,設(shè)計了迭代任務(wù)卸載算法。對于工作流結(jié)構(gòu)的邊緣云中的任務(wù)卸載決策問題,文獻(xiàn)[14]將容錯機(jī)制考慮在任務(wù)卸載中,有利于恢復(fù)邊緣云的任務(wù)執(zhí)行。文獻(xiàn)[15]提出將每個任務(wù)卸載至朵云中,實現(xiàn)移動客戶端的執(zhí)行延時和執(zhí)行能耗的最小化。模型中,若一個任務(wù)卸載至朵云,則其后繼任務(wù)也會被檢測是否卸載至相同朵云中執(zhí)行。在執(zhí)行延時和能耗同步降低時可將其進(jìn)行卸載至朵云。文獻(xiàn)[16]設(shè)計了負(fù)載均衡的工作流卸載算法LBOA,該算法更多考慮的是將移動終端的負(fù)載均勻地分布于邊緣云端和移動客戶端,沒有過多考慮調(diào)度效率和執(zhí)行能耗問題。文獻(xiàn)[17]設(shè)計了面向邊緣側(cè)卸載的兩階段工作流調(diào)度算法,通過隱性馬爾可夫鏈預(yù)測負(fù)載量,從而保證任務(wù)調(diào)度的成功率。文獻(xiàn)[18]提出了基于遺傳算法的任務(wù)卸載方法,有效實現(xiàn)了移動服務(wù)的執(zhí)行效率與執(zhí)行能耗的平衡。文獻(xiàn)[19]設(shè)計了一種多重資源卸載能耗模型,利用粒子群算法對該模型下的任務(wù)調(diào)度進(jìn)行了求解,在滿足響應(yīng)時間約束的同時降低了設(shè)備能耗。算法同樣解決的是工作流式任務(wù)的調(diào)度與卸載決策問題,但側(cè)重于以單個任務(wù)作為決策基準(zhǔn),不考慮任務(wù)關(guān)聯(lián)性。文獻(xiàn)[20]將卸載決策問題建立為能耗和時延加權(quán)的凸優(yōu)化問題,并設(shè)計了基于乘子法的卸載決策策略,證實了終端能耗和執(zhí)行時延遠(yuǎn)低于本地執(zhí)行。文獻(xiàn)[21]同樣是以卸載決策問題的聯(lián)合凸優(yōu)化為基礎(chǔ)進(jìn)行任務(wù)卸載的求解,降低了任務(wù)執(zhí)行開銷。以上兩篇文獻(xiàn)則主要側(cè)重于單純的串行或并行任務(wù),不是更為復(fù)雜的工作流結(jié)構(gòu)任務(wù)的調(diào)度與卸載決策問題。綜合考慮已有工作,對于任務(wù)的卸載決策通常是一種one-by-one模式的。現(xiàn)實情況是,卸載任務(wù)和本地執(zhí)行任務(wù)可能是工作流結(jié)構(gòu)中的一條路徑,是否可以將處于一條路徑上的若干任務(wù)集進(jìn)行整體卸載是值得研究的問題,此時不僅可以節(jié)省大量的任務(wù)間數(shù)據(jù)的傳輸時間,還可以降低本地設(shè)備的執(zhí)行能耗。

    2 基本模型

    表1首先給出主要的符號定義說明。

    表1 符號說明

    2.1 系統(tǒng)模型

    邊緣云系統(tǒng)中,假設(shè)擁有一個可提供多虛擬機(jī)VM實例的邊緣云服務(wù)器,其可用的虛擬CPU(vCPUs)集合定義為Cv cpu,Cv m為虛擬機(jī)實例集合,則|Cv m|≤|Cv cpu|。令vi表示虛擬機(jī)實例i,ci,j表示虛擬機(jī)實例i上的vCPUj,且ci,j∈Cv cpu。假設(shè)邊緣云服務(wù)器擁有固定數(shù)量的虛擬機(jī)實例數(shù)量,即|Cv m|為固定值,無法重新開啟新的虛擬機(jī)實例。

    2.2 工作流模型

    對于一個工作流,其任務(wù)之間擁有數(shù)據(jù)依賴性。每個任務(wù)可視為一個指令集,即一個可執(zhí)行單元。每個移動客戶端擁有一個工作流的執(zhí)行需求。現(xiàn)令總工作流數(shù)量為M,即表示移動客戶端的數(shù)量也為M。將每個工作流表示為Wk=Gk(Vk,Ek),工作流集合定義為W。為了簡化表達(dá),可將移動客戶端的所有工作流聯(lián)合為一個更大規(guī)模的工作流W進(jìn)行調(diào)度,定義為W=G(V,E),任務(wù)和邊分別定義為ti∈V和ei,j∈E。偽任務(wù)STARTtpstart可作為合并工作流的入口任務(wù)(也稱開始任務(wù)),偽任務(wù)ENDtpend可作為合并工作流的出口任務(wù)(也稱出口任務(wù))。同時,wpstart=wpend=0,即兩個偽任務(wù)的負(fù)載量均為0。通過生成合成工作流結(jié)構(gòu),每個任務(wù)可根據(jù)其優(yōu)先級同步進(jìn)行調(diào)度。

    工作流結(jié)構(gòu)中,令pred(ti)表示ti的前驅(qū)任務(wù)集合,succ(ti)表示ti的后繼任務(wù)集合。若pred(ti)=?,則稱ti為START任務(wù);若succ(ti)=?,則稱ti為END任務(wù)。

    如圖1描述了多個工作流如何合并為一個工作流W及每個工作流任務(wù)如何分配與調(diào)度的過程。圖中,3個工作流W1、W2和W3合并為W。W中,偽START任務(wù)和偽END任務(wù)被添加為新的START任務(wù)和END任務(wù)。不失一般性,偽START任務(wù)和偽END任務(wù)與其它任務(wù)的通信時間均為0。

    圖1 工作流合并調(diào)度

    2.3 代價模型

    令任務(wù)ti的負(fù)載為wi。ti生成的數(shù)據(jù)量,即從ti發(fā)送至tj的數(shù)據(jù)量為di,j。對于偽START任務(wù)和偽END任務(wù),wpstart=wpend=0,dpstart,i=dj,pend=0,且ti,tj∈V。任務(wù)ti在mk上的處理時間定義為

    (1)

    數(shù)據(jù)量di,j在mk與邊緣云服務(wù)器之間無線鏈路上的傳輸時間定義為

    Tc(di,j,rk)=

    (2)

    式中:A(ti)表示ti的分配目標(biāo),A(ti)∈Cv cpu表明ti在邊緣云的vCPU上執(zhí)行,rk表示邊緣云服務(wù)器與mk間的無線數(shù)據(jù)通信速率,根據(jù)香農(nóng)理論可定義為

    (3)

    式中:βk表示mk的通信帶寬,pk表示mk的發(fā)送功率和接收功率,gk表示mk與基站間的信道增益,ω表示背景噪聲功率,CNk表示mk利用的通信信道。顯然,若移動客戶端利用相同的信道,則rk會變小。

    定義Eexec(ti,mk)為在mk上執(zhí)行ti的能耗,Ein(ei,j,mk)為邊緣云至mk間ei,j的傳輸能耗,Eout(ei,j,mk)為mk至邊緣云間ei,j的傳輸能耗,分別定義為

    Eexec(ti,mk)=τkwi

    (4)

    式中:τk表示每個mk∈M在單位周期內(nèi)的能耗因子,假設(shè)對于mk∈M和ti∈V,wi∝Eexec(ti,mk)。發(fā)送和接收能耗分別表示為

    Ein(ei,j,mk)=pkTc(di,j,rk),A(ti)∈Cv cpu

    (5)

    Eout(ei,j,mk)=pkTc(di,j,rk),A(tj)∈Cv cpu

    (6)

    2.4 調(diào)度時長

    本節(jié)描述如何確定每個任務(wù)ti在調(diào)度目標(biāo)A(ti)上的開始執(zhí)行時間Ts(ti,A(ti)),進(jìn)而推導(dǎo)出任務(wù)調(diào)度時的整體調(diào)度時長。定義Tf(ti,A(ti))為ti的完成時間,則

    Tf(ti,A(ti))=Ts(ti,A(ti))+Tp(ti,A(ti))

    (7)

    式中:A(ti)∈M∪Cv cpu。令fList表示空閑任務(wù)集,即其前驅(qū)任務(wù)已被調(diào)度的任務(wù)集。對于fList中的每個任務(wù),可以推導(dǎo)出任務(wù)的數(shù)據(jù)就緒時間。數(shù)據(jù)就緒時間DRT為所有前驅(qū)任務(wù)中的最大數(shù)據(jù)到達(dá)時間,且DRT應(yīng)為每個任務(wù)的最早開始時間,實際開始時間要晚于DRT,原因在于:當(dāng)一個任務(wù)th?pred(tj)在tj之前調(diào)度,且A(th)=A(tj)時,任務(wù)tj無法開始執(zhí)行。任務(wù)tj在mk上的DRT推導(dǎo)為

    (8)

    式中:若A(tj)∈Cv cpu且A(ti)∈Cv cpu,或ti和tj均被分配至mk時,有Tc(di,j,rk)=0。然后,可以利用DRT推導(dǎo)任務(wù)在調(diào)度目標(biāo)上的開始執(zhí)行時間Ts(tj,A(tj))為

    Ts(tj,A(tj))=

    (9)

    工作流的調(diào)度時長即為END任務(wù)的完成時間,定義為

    Tf(tend,A(tend))=Ts(tend,A(tend))+Tp(tend,A(tend))

    (10)

    2.5 調(diào)度目標(biāo)函數(shù)

    綜合以上模型,邊緣云中工作流調(diào)度與卸載決策的優(yōu)化目標(biāo)函數(shù)可定義為

    minTf(tend,A(tend))

    (11)

    約束條件為

    (12)

    (13)

    3 PCTSO算法設(shè)計

    3.1 算法總體流程

    如2.2節(jié)所述,來自所有移動客戶端的工作流可以合并為一個整體工作流結(jié)構(gòu)W=G(V,E)。式(12)表明,每個移動客戶端的任務(wù)調(diào)度能耗必須小于或等于初始執(zhí)行能耗。初始狀態(tài)下,每個移動客戶端mk擁有其自身的工作流任務(wù)Wk=Gk(Vk,Ek)。初始調(diào)度時長SLinit(Wk)和初始調(diào)度能耗Einit(mk)可以分別定義為

    (14)

    (15)

    由目標(biāo)函數(shù)可知,PCTSO算法需要實現(xiàn)Tf(tend,A(tend))≤SLinit(Wk),且對于每個mk∈M,Einit(mk)需要盡可能降低。

    算法1給出了PCTSO算法的完整執(zhí)行流程。算法輸入為邊緣云服務(wù)器的vCPU集合、移動客戶端集合M以及合并工作流W。算法輸出為工作流中每個任務(wù)與vCPU集合和移動客戶端間的調(diào)度關(guān)系,其中包含著任務(wù)卸載決策和任務(wù)調(diào)度解。UEX表示未調(diào)度任務(wù)集合,fList表示空閑任務(wù)集合。步驟(1)對UEX和fList進(jìn)行初始化。步驟(2)~步驟(14),算法執(zhí)行迭代步驟,輸出UEX≠?時的調(diào)度方案。步驟(3)選擇在fList中擁有最大優(yōu)先級level的目標(biāo)調(diào)度任務(wù)tpivot。然后,步驟(4)調(diào)用算法2的CTSO算法生成從任務(wù)tpivot開始的連續(xù)任務(wù)集合Sfree。對于Sfree中的每個任務(wù),按序?qū)⑵浞峙渲羦CPU的空閑時槽中,以便盡可能早的執(zhí)行,即步驟(7)、步驟(8)。最后,算法通過追溯succ(t)對UEX和fList進(jìn)行更新,且t∈Sfree,即步驟(9)、步驟(10),或Sfree=?時如步驟(12)~步驟(14)執(zhí)行。當(dāng)追溯完所有任務(wù)后,即UEX=?時,算法完成調(diào)度過程,返回調(diào)度解。

    算法1:PCTSO算法執(zhí)行過程

    輸入:vCPU集合Cv cpu,移動客戶端集合M,合并工作流W

    輸出:ti∈V至Cv cpu∪M間的映射調(diào)度方案

    /*UEX為未調(diào)度任務(wù)集,fList為空閑任務(wù)集*/

    (1)UEX←V,fList←START tasks

    (2)whileUEX≠?do

    (3)tpivot←the task satisfying Equ.(18)fromfList

    (4)Sfree←CTSO(tpivot)

    (5)ifSfree≠?then

    (6)whileSfree≠?do

    (7)t←head ofSfreeand removetfromSfree

    (8) assigntto the idle time slot of a vCPU via the insertion-based technique

    (9) removetfromUEXandfList

    (10) updatefListby tracingsucc(t)

    (11)else

    (12) assigntpivotto the idel time slot ofmk

    (13) removetpivotfromUEX

    (14) updatefListby tracingsucc(tpivot)

    (15)return映射調(diào)度解

    圖2為PCTSO算法的執(zhí)行流程。接下來需要進(jìn)一步解決的問題是:

    圖2 PCTSO算法執(zhí)行流程

    (1)如何從fList中選擇待調(diào)度目標(biāo)任務(wù),即如何決定任務(wù)優(yōu)先級;

    (2)如何決定需要卸載至邊緣云上或移動客戶端執(zhí)行的任務(wù)集合。

    3.2 基于優(yōu)先級的任務(wù)選擇機(jī)制

    任務(wù)選擇即從空閑任務(wù)列表fList中選擇調(diào)度任務(wù)。定義在mk上任務(wù)ti至END任務(wù)的剩余時長為

    (16)

    假設(shè)ti在mk上執(zhí)行,則ti的開始時間可通過式(9)推導(dǎo)得到。則任務(wù)選擇的優(yōu)先級level(ti)可定義為

    level(ti)=Ts(ti,A(ti))+Tp(ti,mk)+rlevel(ti)

    (17)

    式中:Ts(ti,A(ti))表示ti在mk上執(zhí)行時的開始時間,level(ti)表示如果ti之后的每個任務(wù)分配至邊緣云,調(diào)度時長的占優(yōu)路徑。算法試圖通過最小化處于占優(yōu)路徑上的任務(wù)的開始時間實現(xiàn)調(diào)度時長的最小化。對于屬于fList內(nèi)的每個任務(wù),滿足以下條件的任務(wù)將被選擇為目標(biāo)調(diào)度任務(wù)

    (18)

    3.3 基于連續(xù)任務(wù)選擇的卸載機(jī)制

    由于無法確??梢酝ㄟ^將任務(wù)分配至邊緣云vCPU使其得到比在移動客戶端mk上更小的調(diào)度時長和能耗,因此,如果通過將任務(wù)插入至vCPU的空閑時槽中可以得到更小的調(diào)度時長和能耗,即可以接受任務(wù)卸載至該vCPU執(zhí)行。以下對如何實現(xiàn)降低調(diào)度時長作出描述。首先,假設(shè)選擇的調(diào)度任務(wù)為ti∈fList,且假設(shè)ti從mk卸載至vCPUcp,q。那么,卸載任務(wù)ti的時間差值計算為

    ΔTp(ti)=Tp(ti,cp,q)-Tp(ti,mk)

    (19)

    ΔTs(ti)=Ts(ti,cp,q)-Ts(ti,mk)

    (20)

    同時,Tc(di,j,rk)為最新生成,tj∈succ(ti),tj調(diào)度于mk上。因此,通過卸載ti降低調(diào)度時長的一個條件是

    ΔSL(ti)=Tc(di,j,rk)+ΔTp(ti)+ΔTs(ti,A(ti))≤0

    (21)

    式中:ΔSL(ti)表示ti之后調(diào)度的所有任務(wù),在沒有數(shù)據(jù)等待時間的情況下,調(diào)度時長的增加值。盡管如果卸載ti,可得ΔSL(ti)>0,但仍然存在一種可能:即卸載ti和tj,ΔSL(ti∪tj)≤0,tj∈succ(ti),Tc(di,j,rk)遠(yuǎn)大于Tp(tj,A(tj)),由于Tc(di,j,rk)是邊緣云虛擬機(jī)本地計算值。由此可見,卸載相互關(guān)聯(lián)的多個任務(wù)可能導(dǎo)致在移動客戶端的調(diào)度時長和能耗的同步降低。假設(shè)ti為從fList中選擇的卸載侯選任務(wù),且假設(shè)ti+1∈succ(ti),ti+2∈succ(ti+1),…,ti+r∈succ(ti+r-1)。對于ti+j∈succ(ti+j-1),假設(shè)除了任務(wù)ti+j-1,在pred(ti+j)內(nèi)的任務(wù)已經(jīng)被調(diào)度。定義該類任務(wù)為Sfree的輸入,即滿足以下條件的任務(wù)均被放入Sfree內(nèi)

    (22)

    式中:假設(shè)ts調(diào)度于mk上。圖3展示了Sfree的生成示例,假設(shè)ti為從fList內(nèi)選擇的任務(wù)。示例假設(shè)對于Sfree={ti},ΔSL(Sfree)>0,即如圖3(b)所示。而如果更多任務(wù)添加至Sfree,則ΔSL(Sfree)<0,如圖3(c)和圖3(d)所示。從圖3(b)~圖3(d)可以觀察到,對于ΔSL(Sfree)>0的主要影響因素是Cv cpu中vCPU與移動客戶端mk間的通信時間,該通信時間僅發(fā)生在Sfree內(nèi)的最后一個任務(wù)的數(shù)據(jù)通信輸出上。如果該通信時間小于Sfree內(nèi)的任務(wù)執(zhí)行時間之和ΔTp(Sfree),則有ΔSL(Sfree)<0。因此,盡管有ΔSL(ti)>0,ΔSL(Sfree)<0依然有可能成立,這取決于新生成的通信時間與Sfree內(nèi)處理時間之和之間的關(guān)系。

    圖3 連續(xù)任務(wù)選擇卸載示例

    能耗約束方面,對于屬于Vk的所有任務(wù),必須滿足以下條件才能進(jìn)行所選任務(wù)的調(diào)度

    (23)

    如果滿足式(22)和式(23),在Sfree內(nèi)的每個任務(wù)可被選擇為卸載調(diào)度任務(wù),并被插入至vCPU的空閑時槽中,實現(xiàn)最小化的Tf(tk,cp),tk∈Sfree。

    推導(dǎo)Sfree的詳細(xì)過程如算法2所示,將其命名為連續(xù)任務(wù)選擇卸載決策算法CTSO。算法輸入空閑任務(wù)集合fList中擁有最大優(yōu)先級的任務(wù),輸出連續(xù)選擇卸載任務(wù)集合。步驟(1)~步驟(3)對相關(guān)參數(shù)進(jìn)行初始化操作,其中,tmin表示對于ΔSL(Sfree)的最佳任務(wù)。步驟(4)~步驟(16),算法通過追溯Sfree內(nèi)tpred的后繼任務(wù)以構(gòu)造Sfree。步驟(8)中,如果ΔSL(Sfree)得到最小值,且ΔSL(Sfree)≤0,則可以將任務(wù)t添加為tmin以更新Sfree。否則,Sfree不發(fā)生變化,即步驟(13)~步驟(15)。步驟(4)~步驟(16)中,假設(shè)Sfree擁有兩條以上記錄,步驟(17)中,算法檢測Sfree={ti} 的情形。然后,算法返回Sfree。接受卸載ti的條件是ΔSL≤0,即:每個任務(wù)添加至Sfree時,算法尋找Sfree,使得ΔSL(Sfree)最小化,且ΔSL(Sfree)≤0。由于在每個任務(wù)添加至Sfree時,ΔTs(ti,A(ti))不發(fā)生變化,僅能觀察到Tc(di+r,s,rk)和∑ti∈SfreeΔTp(ti)的變化行為。

    算法2:CTSO算法執(zhí)行過程

    輸入:集合fList中擁有最大level的任務(wù)ti

    輸出:Sfree:連續(xù)選擇任務(wù)集

    (1)Sfree←{ti}

    (2)tpred←ti,tmin←?

    (3)ΔSLpre←ΔSL(Sfree)

    (4)whileS←chkFreeCandidate(tpred)≠?do

    (5)tmin←null

    (6)whilet∈Sdo

    (7)Sfree←Sfree∪{t}

    (8)ifΔSL(Sfree)≤ΔSLpre∧ΔSL(Sfree)≤0then

    (9)if(23)is satisfied withA(t)∈Cv cpu,t∈Sfreethen

    (10) ΔSLpre←ΔSL(Sfree)

    (11)tmin←t

    (12)else

    (13)Sfree←Sfree-{t}

    (14)else

    (15)Sfree←Sfree-{t}

    (16)tpred←tmin

    //若沒有任務(wù)添加至Sfree,則需要檢測Sfree={ti}的情形

    (17)ifSfree={ti}then

    (18)ifΔSL(Sfree)>0∨(23)條件不滿足then

    (19)Sfree←?

    (20)returnSfree

    //函數(shù)chkFreeCandidate()定義,用于判斷當(dāng)前任務(wù)是否是侯選空閑任務(wù),可放入Sfree中。

    (21)FunctionchkFreeCandidate(tcan)

    (22)Sout←?,FindFly←true

    (23)whiletsuc∈succ(tcan)do

    (24)whilet∈pred(tsuc)do

    (25)ift=tcanthen

    (26)continue

    (27)else

    (28)ift∈UEXthen

    (29)FindFlg←false

    (30)break

    (31)ifFindFlg=truethen

    (32)Sout←Sout∪{tsuc}

    (33)FindFlg←true

    (34)returnSout

    4 仿真分析

    4.1 實驗配置

    通過工作流仿真平臺WorkflowSim[22]與云計算環(huán)境仿真平臺CloudSim的有效融合進(jìn)行邊緣云中工作流的卸載與調(diào)度仿真,軟件開發(fā)環(huán)境為JDK1.7.0.51,硬件開發(fā)環(huán)境為Inter(R)Core i-7-5600U 2.6 GHz型號CPU,內(nèi)存為8 GB。為了實現(xiàn)對于PCTSO算法的實驗仿真,仿真平臺WorkflowSim在CloudSim的基礎(chǔ)上進(jìn)行層次拓展,提供工作流層次的仿真。在平臺中,以有向無環(huán)圖定義工作流模型,以頂點定義任務(wù)。由于工作流任務(wù)數(shù)巨大,平臺還引入task clustering技術(shù)將任務(wù)進(jìn)行集群。PCTSO算法具體通過擴(kuò)展WorkflowPlanner類實現(xiàn),在getPlanningAlgorithm()方法中進(jìn)行添加。表2給出了相關(guān)仿真參數(shù)配置,其中,參數(shù)CCR表示工作流中計算密集型任務(wù)與通信密集型任務(wù)間的比例。實驗利用隨機(jī)生成的工作流結(jié)構(gòu)和Montage科學(xué)工作流結(jié)構(gòu)進(jìn)行測試,具體應(yīng)用可以模擬創(chuàng)建移動手機(jī)端的圖像處理任務(wù)量。

    表2 仿真參數(shù)配置

    除了能耗因素外,引入調(diào)度時長比率SLR進(jìn)行性能比較分析,定義為

    (24)

    式中:CPw表示根據(jù)總執(zhí)行時間得到的工作流W的關(guān)鍵路徑,SL表示工作流W的調(diào)度時長。假設(shè)每個vCPU擁有相同處理頻率,則ci,j在不同vCPU之間取值也相同。

    選擇以下幾個算法進(jìn)行性能對比:第一種算法為本文算法的低級版本non-PCTSO。該算法與PCTSO的區(qū)別在于:以單個任務(wù)為單位判斷卸載時是否能在調(diào)度時長和調(diào)度能耗上得到優(yōu)化,而沒有考慮其后繼任務(wù)的卸載決策問題,與本文的連續(xù)任務(wù)選擇卸載機(jī)制完全不同。第二種算法為能效感知卸載算法EAOA[15],算法同步考慮了時間和能耗的約束,并建立了工作流調(diào)度跨度和執(zhí)行能耗的多目標(biāo)優(yōu)化模型,與本文不同的是沒有考慮多工作流的卸載決策以及沒有考慮連續(xù)多任務(wù)的卸載問題。第三種算法為負(fù)載均衡的工作流卸載算法LBOA[16],該算法更多考慮的是將移動終端的負(fù)載均勻地分布于邊緣云端和移動客戶端,沒有過多考慮調(diào)度效率和執(zhí)行能耗問題。

    4.2 單工作流測試場景

    實驗首先進(jìn)行單工作流調(diào)度場景的性能測試,實驗中獲取了在變化的CCR和任務(wù)量的情況下20次實驗得到的調(diào)度時長和調(diào)度能耗的均值情況。圖4是兩種工作流結(jié)構(gòu)得到SLR指標(biāo)情況。從圖4(a)、圖4(b)的結(jié)果看出,對于單工作流的調(diào)度場景而言,當(dāng)增大CCR的取值時,算法的調(diào)度時長是遞增的,這是由于CCR增大即表明工作流結(jié)構(gòu)中的計算密集型任務(wù)的數(shù)量比例的增加,這勢必會相應(yīng)增加任務(wù)的執(zhí)行時間,SLR指標(biāo)也相應(yīng)增加。本文提出的PCTSO算法在所有CCR取值下均得到了最小的調(diào)度時長。當(dāng)CCR=7.0和10時,PCTSO與non-PCTSO間的SLR差距變得更大,這是由于在non-PCTSO算法中僅有擁有更小數(shù)據(jù)輸出的任務(wù)可被卸載,導(dǎo)致任務(wù)卸載量較小,大部分任務(wù)集中于移動客戶端上執(zhí)行,任務(wù)執(zhí)行效率會遠(yuǎn)低于邊緣云端的任務(wù)執(zhí)行效率。而在PCTSO算法中,更多任務(wù)卸載至邊緣云執(zhí)行,能耗也得到了有效降低。LBOA算法在相對較低的CCR取值時調(diào)度時長接近甚至低于EAOA算法,此時工作流結(jié)構(gòu)中的任務(wù)類型并沒有太大差別,計算密集型和通信密集型任務(wù)數(shù)量差距不大。但隨著CCR的增加,LBOA也顯示出一定優(yōu)勢,說明在單工作流場景下負(fù)載均衡的任務(wù)調(diào)度方式可以更好有效利用本地資源和邊緣云端資源。單隨機(jī)工作流和單Montage科學(xué)工作流的測試中算法的演變趨勢不變,但由于Montage工作流多以I/O密集型任務(wù)為主,性能表現(xiàn)還是略有差異。表3給出了單工作流場景下的不同算法的能耗節(jié)省比例,表中的取值是對比所有任務(wù)在移動客戶端執(zhí)行時得到的執(zhí)行能耗的節(jié)省比例。PCTSO的原始意圖是可以確保其能耗大幅小于移動客戶端的執(zhí)行能耗,并不能達(dá)到最小化能耗。然而,由于算法中的卸載任務(wù)數(shù)量大于non-PCTSO,故在所有的CCR取值下,其能耗性能明顯優(yōu)于non-PCTSO算法以及另外兩種對比算法。EAOA和LBOA兩種算法的能耗節(jié)省比例始終比較相近,LBOA在多數(shù)的CCR取值下比EAOA節(jié)省更多的能耗,反應(yīng)出負(fù)載均衡的思路可以有效降低總體能耗,利益于較少的任務(wù)卸載的同時,傳輸能耗也更少。EAOA雖然是多目標(biāo)的優(yōu)化模型,但是沒有考慮工作流的任務(wù)結(jié)構(gòu),始終以單個任務(wù)為目標(biāo)進(jìn)行卸載決策,決策結(jié)果相比本文算法不是最優(yōu)的。綜合整體結(jié)果來看,連續(xù)分配信賴型任務(wù)可以導(dǎo)致更好的能效。

    圖4 單工作流執(zhí)行情形

    表3 單工作流場景下的能耗節(jié)省比例/%

    4.3 多工作流測試場景

    多工作流情形中的調(diào)度時長為所有工作流中的最大時長,本實驗測試了不同規(guī)模的多工作流執(zhí)行場景,并取結(jié)果的均值。從圖5(a)、圖5(b)可以看到,在所有工作流規(guī)模下,PCTSO算法均擁有最佳的SLR表現(xiàn),其調(diào)度時長平均低于3種對比算法約30%左右,這與單工作流執(zhí)行場景類似,說明了PCTSO算法的連續(xù)任務(wù)選擇的卸載機(jī)制在降低整體工作流調(diào)度時長方面是有效可行的。總體來說,調(diào)度工作流數(shù)量的增加會使得調(diào)度時長(所有工作流中的最大時長)有所增加。在多隨機(jī)工作流結(jié)構(gòu)中,3種對比算法的SLR表現(xiàn)起伏較大,說明對于任務(wù)的卸載決策并不能生成在調(diào)度效率上比較穩(wěn)定的結(jié)果。本文的PCTSO算法始終以工作流任務(wù)的層次結(jié)構(gòu)為基礎(chǔ),首先基于任先級選擇待調(diào)度任務(wù),然后以該任務(wù)為基礎(chǔ),考慮與之關(guān)聯(lián)的連續(xù)任務(wù)集的卸載決策,而不是以單個任務(wù)為基礎(chǔ)做卸載決策,有效提升任務(wù)執(zhí)行的并行度及調(diào)度效率。表4給出多工作流場景下的能耗節(jié)省比例情況。顯然,PCTSO算法的能效也是最高的,non-PCTSO的能耗節(jié)省值低于另外兩種對比算法,這也印證了連續(xù)任務(wù)選擇的卸載機(jī)制是可以有效降低調(diào)度時長和調(diào)度能耗的。EAOA與LBOA兩種的能耗節(jié)省比例與單工作流調(diào)度場景結(jié)果相似,LBOA算法略優(yōu)。在考慮傳輸能耗和傳輸延時的情況下,結(jié)合工作流任務(wù)結(jié)構(gòu)特征做出卸載決策顯然比單個任務(wù)的卸載決策具有更高的效率。

    表4 多工作流場景下的能耗節(jié)省比例/%

    圖5 多工作流執(zhí)行情形

    5 結(jié)束語

    本文以優(yōu)化執(zhí)行時長和降低移動端能耗為目標(biāo),提出一種基于邊緣云環(huán)境的工作流調(diào)度與卸載決策算法。算法首先依據(jù)工作流內(nèi)任務(wù)間的結(jié)構(gòu)層次特點,設(shè)計了基于優(yōu)先級的待調(diào)度選擇機(jī)制;然后設(shè)計了基于連續(xù)任務(wù)選擇的卸載機(jī)制,驗證了連續(xù)依賴型任務(wù)的整體卸載可以更有效利用邊緣云端服務(wù)器資源,提升任務(wù)執(zhí)行并行度。利用不同規(guī)模的隨機(jī)工作流結(jié)構(gòu)和Montage科學(xué)工作流進(jìn)行了仿真測試。結(jié)果表明:①該算法在滿足能量約束的同時,基于連續(xù)任務(wù)選擇的卸載機(jī)制的調(diào)度效率可以平均提高約25%;②在相同工作流調(diào)度規(guī)模下,算法的執(zhí)行能耗可以降低約15%。實驗結(jié)果表明該算法是有效可行的。進(jìn)一步的工作可以在考慮通信鏈路可靠性的基礎(chǔ)上,設(shè)計相應(yīng)的任務(wù)卸載決策算法,從而實現(xiàn)更加安全可靠的工作流任務(wù)卸載與調(diào)度策略。

    猜你喜歡
    客戶端邊緣能耗
    120t轉(zhuǎn)爐降低工序能耗生產(chǎn)實踐
    昆鋼科技(2022年2期)2022-07-08 06:36:14
    能耗雙控下,漲價潮再度來襲!
    探討如何設(shè)計零能耗住宅
    日本先進(jìn)的“零能耗住宅”
    華人時刊(2018年15期)2018-11-10 03:25:26
    縣級臺在突發(fā)事件報道中如何應(yīng)用手機(jī)客戶端
    傳媒評論(2018年4期)2018-06-27 08:20:24
    孵化垂直頻道:新聞客戶端新策略
    傳媒評論(2018年4期)2018-06-27 08:20:16
    基于Vanconnect的智能家居瘦客戶端的設(shè)計與實現(xiàn)
    電子測試(2018年10期)2018-06-26 05:53:34
    一張圖看懂邊緣計算
    客戶端空間數(shù)據(jù)緩存策略
    在邊緣尋找自我
    雕塑(1999年2期)1999-06-28 05:01:42
    国产成人av教育| 成人特级av手机在线观看| 国产高清视频在线观看网站| 九色成人免费人妻av| 国产欧美日韩精品亚洲av| 老汉色av国产亚洲站长工具| 色综合站精品国产| 中文字幕人妻丝袜一区二区| 丰满乱子伦码专区| 九九热线精品视视频播放| 久久久精品欧美日韩精品| 午夜亚洲福利在线播放| 丰满乱子伦码专区| 亚洲av一区综合| а√天堂www在线а√下载| 精品免费久久久久久久清纯| 亚洲国产精品成人综合色| 一个人观看的视频www高清免费观看| 最后的刺客免费高清国语| 亚洲成av人片免费观看| 三级毛片av免费| 最新在线观看一区二区三区| x7x7x7水蜜桃| 中出人妻视频一区二区| 亚洲avbb在线观看| 精品人妻一区二区三区麻豆 | 午夜免费激情av| 午夜老司机福利剧场| 亚洲精品久久国产高清桃花| 国产精品嫩草影院av在线观看 | 岛国在线观看网站| 成年女人毛片免费观看观看9| 1024手机看黄色片| www国产在线视频色| 欧洲精品卡2卡3卡4卡5卡区| 中文在线观看免费www的网站| 亚洲中文日韩欧美视频| 又黄又爽又免费观看的视频| 国产一区二区三区视频了| 成人欧美大片| 午夜日韩欧美国产| 特级一级黄色大片| 特级一级黄色大片| 女同久久另类99精品国产91| 免费看a级黄色片| 久久精品国产自在天天线| 久久久久久久久久黄片| 露出奶头的视频| 久久久久久久精品吃奶| 成人无遮挡网站| 日韩亚洲欧美综合| x7x7x7水蜜桃| 欧美极品一区二区三区四区| 国产久久久一区二区三区| 久久久久久久亚洲中文字幕 | 国产成+人综合+亚洲专区| 国产乱人伦免费视频| 亚洲人成网站在线播放欧美日韩| ponron亚洲| www日本黄色视频网| 国产91精品成人一区二区三区| 亚洲熟妇熟女久久| 久久精品综合一区二区三区| 搡老妇女老女人老熟妇| 中国美女看黄片| 最近在线观看免费完整版| 日韩有码中文字幕| xxxwww97欧美| 美女高潮的动态| 精品久久久久久久久久久久久| 国产色婷婷99| 亚洲国产日韩欧美精品在线观看 | 亚洲av熟女| 中国美女看黄片| 成人av在线播放网站| 18禁黄网站禁片午夜丰满| 美女高潮的动态| 级片在线观看| 99精品在免费线老司机午夜| 日韩国内少妇激情av| 亚洲国产精品合色在线| 亚洲精品在线美女| 人人妻,人人澡人人爽秒播| 久久久久久九九精品二区国产| 村上凉子中文字幕在线| 啦啦啦免费观看视频1| 国产高清视频在线观看网站| 极品教师在线免费播放| 嫁个100分男人电影在线观看| 老司机午夜十八禁免费视频| 成人18禁在线播放| 18+在线观看网站| 亚洲精品一卡2卡三卡4卡5卡| 悠悠久久av| 最新中文字幕久久久久| 国产一区二区激情短视频| 久久久国产精品麻豆| 欧美在线一区亚洲| 成人性生交大片免费视频hd| 免费看日本二区| 国产高清三级在线| 午夜免费男女啪啪视频观看 | 亚洲精品在线美女| 久久人人精品亚洲av| 国产精品久久久久久精品电影| 国产亚洲欧美在线一区二区| 日本a在线网址| 日韩亚洲欧美综合| 老司机福利观看| 波多野结衣巨乳人妻| 久久久久国产精品人妻aⅴ院| 亚洲中文字幕一区二区三区有码在线看| 精品人妻1区二区| 色吧在线观看| 叶爱在线成人免费视频播放| 男人的好看免费观看在线视频| e午夜精品久久久久久久| 亚洲国产中文字幕在线视频| 窝窝影院91人妻| 久久国产精品影院| 亚洲专区中文字幕在线| 久久久成人免费电影| 久久久精品欧美日韩精品| 中国美女看黄片| 欧美丝袜亚洲另类 | 久久久国产精品麻豆| 午夜免费激情av| 久久久国产成人精品二区| 国产成人a区在线观看| 欧美精品啪啪一区二区三区| 精品电影一区二区在线| 男女做爰动态图高潮gif福利片| 国产一区二区激情短视频| 中亚洲国语对白在线视频| 欧美中文日本在线观看视频| h日本视频在线播放| 欧美绝顶高潮抽搐喷水| 中文字幕av成人在线电影| 国产欧美日韩一区二区三| 国产伦人伦偷精品视频| 99在线视频只有这里精品首页| 亚洲男人的天堂狠狠| 亚洲国产欧美网| 在线a可以看的网站| 免费在线观看影片大全网站| 亚洲片人在线观看| 露出奶头的视频| av女优亚洲男人天堂| 亚洲国产精品久久男人天堂| 两性午夜刺激爽爽歪歪视频在线观看| 九九在线视频观看精品| 搡老岳熟女国产| 亚洲精品粉嫩美女一区| 天天躁日日操中文字幕| 午夜精品久久久久久毛片777| 黄色丝袜av网址大全| 无限看片的www在线观看| 成年女人看的毛片在线观看| 亚洲精品日韩av片在线观看 | tocl精华| 国产成人啪精品午夜网站| 好看av亚洲va欧美ⅴa在| 国产一级毛片七仙女欲春2| 少妇丰满av| 九九热线精品视视频播放| 亚洲欧美日韩高清专用| 亚洲久久久久久中文字幕| 午夜日韩欧美国产| 12—13女人毛片做爰片一| 97超视频在线观看视频| 一个人观看的视频www高清免费观看| 很黄的视频免费| 国产探花在线观看一区二区| 亚洲av二区三区四区| 在线视频色国产色| a级毛片a级免费在线| 久9热在线精品视频| 级片在线观看| 成人国产综合亚洲| 国产午夜精品久久久久久一区二区三区 | 高清毛片免费观看视频网站| 91麻豆av在线| 人人妻人人看人人澡| 国产极品精品免费视频能看的| 亚洲成人中文字幕在线播放| 欧美性猛交黑人性爽| 久久久国产成人免费| 日韩欧美在线二视频| 国产探花极品一区二区| 国产精品影院久久| 国产欧美日韩精品亚洲av| 午夜福利在线观看吧| 内地一区二区视频在线| 欧美绝顶高潮抽搐喷水| 午夜福利18| 最近视频中文字幕2019在线8| 欧美日韩福利视频一区二区| 亚洲在线自拍视频| 黄色成人免费大全| 国内揄拍国产精品人妻在线| 香蕉丝袜av| 午夜激情福利司机影院| 一级毛片高清免费大全| 国产精品久久久久久久电影 | 熟女少妇亚洲综合色aaa.| 搡老熟女国产l中国老女人| 免费在线观看影片大全网站| 欧美黑人欧美精品刺激| 99riav亚洲国产免费| 亚洲欧美精品综合久久99| 亚洲va日本ⅴa欧美va伊人久久| 久久人人精品亚洲av| 久久久久久大精品| 国产成人aa在线观看| 99久久精品一区二区三区| 国产爱豆传媒在线观看| 天堂√8在线中文| 久久久色成人| 免费观看精品视频网站| 老熟妇仑乱视频hdxx| 十八禁网站免费在线| 欧美成狂野欧美在线观看| 国产色爽女视频免费观看| 亚洲色图av天堂| 亚洲成人中文字幕在线播放| 偷拍熟女少妇极品色| 老司机午夜十八禁免费视频| 亚洲午夜理论影院| 亚洲av成人不卡在线观看播放网| 久久久久久久午夜电影| 在线观看免费午夜福利视频| 高潮久久久久久久久久久不卡| 欧美日韩黄片免| 99在线人妻在线中文字幕| 真人一进一出gif抽搐免费| 两个人看的免费小视频| 九九在线视频观看精品| 久久这里只有精品中国| 久久亚洲真实| 精品久久久久久成人av| 欧美乱色亚洲激情| 婷婷精品国产亚洲av在线| 一二三四社区在线视频社区8| 亚洲最大成人手机在线| 高清在线国产一区| 欧美日韩精品网址| 国产不卡一卡二| 成人午夜高清在线视频| 亚洲精品456在线播放app | 午夜老司机福利剧场| av黄色大香蕉| 久久精品91蜜桃| 亚洲,欧美精品.| 成人性生交大片免费视频hd| 国产主播在线观看一区二区| 在线观看美女被高潮喷水网站 | 美女cb高潮喷水在线观看| 观看免费一级毛片| 一区二区三区激情视频| 国产私拍福利视频在线观看| 色精品久久人妻99蜜桃| 国产精品一区二区免费欧美| 日本黄色视频三级网站网址| 97超视频在线观看视频| 男人的好看免费观看在线视频| 国产在线精品亚洲第一网站| 亚洲国产高清在线一区二区三| 久久久久久久久久黄片| 91在线精品国自产拍蜜月 | 最好的美女福利视频网| 久久久精品欧美日韩精品| 色视频www国产| 伊人久久精品亚洲午夜| 亚洲精品成人久久久久久| 夜夜爽天天搞| 亚洲精品乱码久久久v下载方式 | 一夜夜www| 又爽又黄无遮挡网站| 免费无遮挡裸体视频| 国产蜜桃级精品一区二区三区| 国产精品 国内视频| 高清在线国产一区| 精品不卡国产一区二区三区| 高清日韩中文字幕在线| 美女cb高潮喷水在线观看| 啦啦啦观看免费观看视频高清| 老熟妇仑乱视频hdxx| 综合色av麻豆| 亚洲成a人片在线一区二区| 久久精品国产综合久久久| 国产男靠女视频免费网站| 国内毛片毛片毛片毛片毛片| 99热这里只有精品一区| 欧美日韩综合久久久久久 | 日本撒尿小便嘘嘘汇集6| 国产精品99久久久久久久久| 精品久久久久久,| 欧美在线一区亚洲| 国产成人啪精品午夜网站| 国产精品99久久99久久久不卡| 他把我摸到了高潮在线观看| 亚洲国产色片| 少妇的逼水好多| 亚洲乱码一区二区免费版| 欧美成人一区二区免费高清观看| 国产在视频线在精品| 12—13女人毛片做爰片一| 成年女人永久免费观看视频| 性欧美人与动物交配| 少妇高潮的动态图| 免费电影在线观看免费观看| 给我免费播放毛片高清在线观看| 国产av麻豆久久久久久久| 99国产极品粉嫩在线观看| 最近最新中文字幕大全免费视频| 亚洲不卡免费看| 身体一侧抽搐| 久久久久久久午夜电影| 18禁黄网站禁片午夜丰满| 亚洲第一电影网av| 国产在视频线在精品| 尤物成人国产欧美一区二区三区| 午夜久久久久精精品| 亚洲不卡免费看| 日本三级黄在线观看| 少妇的丰满在线观看| 欧美3d第一页| 免费看日本二区| 亚洲无线观看免费| 久久99热这里只有精品18| 给我免费播放毛片高清在线观看| av专区在线播放| 亚洲精品日韩av片在线观看 | 亚洲不卡免费看| 悠悠久久av| av在线天堂中文字幕| 欧美国产日韩亚洲一区| 91久久精品电影网| 深爱激情五月婷婷| 欧美国产日韩亚洲一区| 久久精品91蜜桃| 最近视频中文字幕2019在线8| 亚洲av不卡在线观看| 免费av不卡在线播放| 国产欧美日韩精品亚洲av| 国产视频内射| 成年版毛片免费区| 他把我摸到了高潮在线观看| 午夜激情欧美在线| 两性午夜刺激爽爽歪歪视频在线观看| 国产真人三级小视频在线观看| 禁无遮挡网站| 亚洲无线观看免费| 久久久成人免费电影| 精品熟女少妇八av免费久了| 日本熟妇午夜| 免费高清视频大片| 久久久国产成人精品二区| 亚洲中文字幕日韩| 国产一区二区在线av高清观看| 美女 人体艺术 gogo| 激情在线观看视频在线高清| 国产欧美日韩精品亚洲av| 国产成人欧美在线观看| 日本成人三级电影网站| 国产黄a三级三级三级人| 成年女人毛片免费观看观看9| 亚洲 欧美 日韩 在线 免费| 淫秽高清视频在线观看| 精品久久久久久成人av| 国产一级毛片七仙女欲春2| 亚洲av一区综合| 级片在线观看| 又粗又爽又猛毛片免费看| 免费人成视频x8x8入口观看| 国产探花在线观看一区二区| 丁香欧美五月| 精品欧美国产一区二区三| www日本在线高清视频| 亚洲av成人av| 欧美黄色淫秽网站| 免费av不卡在线播放| 一个人免费在线观看的高清视频| 午夜福利成人在线免费观看| 国产一级毛片七仙女欲春2| 少妇裸体淫交视频免费看高清| 法律面前人人平等表现在哪些方面| 欧美bdsm另类| 麻豆国产av国片精品| 国产毛片a区久久久久| 国产精品日韩av在线免费观看| 蜜桃久久精品国产亚洲av| 国产高清视频在线播放一区| 久久久久久久精品吃奶| 欧美最黄视频在线播放免费| 国产一区二区在线观看日韩 | 国产在线精品亚洲第一网站| 麻豆久久精品国产亚洲av| av在线天堂中文字幕| 久久国产精品人妻蜜桃| 亚洲美女黄片视频| 欧美成狂野欧美在线观看| 在线十欧美十亚洲十日本专区| www.999成人在线观看| 人妻久久中文字幕网| 一进一出抽搐gif免费好疼| 夜夜爽天天搞| 午夜视频国产福利| 午夜a级毛片| 狂野欧美白嫩少妇大欣赏| 国语自产精品视频在线第100页| 欧美日韩中文字幕国产精品一区二区三区| 日韩欧美在线二视频| 国产精品影院久久| 国产成人影院久久av| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品一区二区三区四区久久| 欧美黄色淫秽网站| 亚洲国产高清在线一区二区三| 性色av乱码一区二区三区2| 国产高清三级在线| 午夜影院日韩av| 久久久久九九精品影院| 香蕉久久夜色| 波多野结衣高清作品| 精品日产1卡2卡| 日韩欧美国产一区二区入口| 母亲3免费完整高清在线观看| 中文字幕高清在线视频| 男女做爰动态图高潮gif福利片| 99热6这里只有精品| 三级男女做爰猛烈吃奶摸视频| 亚洲av日韩精品久久久久久密| 久久人妻av系列| 午夜免费成人在线视频| 国产精华一区二区三区| 欧美乱码精品一区二区三区| 精品乱码久久久久久99久播| 国产单亲对白刺激| 国产高清视频在线播放一区| 免费观看人在逋| 国内精品久久久久精免费| 免费看a级黄色片| 精品一区二区三区视频在线 | 国产精品爽爽va在线观看网站| 国内久久婷婷六月综合欲色啪| 午夜福利在线在线| 一本一本综合久久| 老汉色av国产亚洲站长工具| 亚洲国产欧洲综合997久久,| 亚洲国产色片| 老熟妇乱子伦视频在线观看| 久久久久久大精品| 国产在线精品亚洲第一网站| 一a级毛片在线观看| 男人的好看免费观看在线视频| 免费看光身美女| 一个人免费在线观看的高清视频| 国产又黄又爽又无遮挡在线| 亚洲成人精品中文字幕电影| 国产美女午夜福利| 欧美日韩综合久久久久久 | 欧美另类亚洲清纯唯美| 人人妻人人澡欧美一区二区| 成人av在线播放网站| 老司机在亚洲福利影院| 在线观看美女被高潮喷水网站 | 欧美色欧美亚洲另类二区| 亚洲精品在线美女| av视频在线观看入口| 91在线观看av| 长腿黑丝高跟| 亚洲国产精品久久男人天堂| 无遮挡黄片免费观看| 成人性生交大片免费视频hd| 国产老妇女一区| 免费搜索国产男女视频| 中文资源天堂在线| 宅男免费午夜| 老司机福利观看| 无遮挡黄片免费观看| 免费在线观看成人毛片| 欧美日韩黄片免| 国产精品久久久久久人妻精品电影| 久久精品国产综合久久久| 国产黄a三级三级三级人| 国产av一区在线观看免费| 亚洲成人中文字幕在线播放| 老司机午夜十八禁免费视频| 日本黄色视频三级网站网址| 日韩av在线大香蕉| 国产午夜精品论理片| 欧美一区二区国产精品久久精品| 欧美一级a爱片免费观看看| 91麻豆精品激情在线观看国产| 法律面前人人平等表现在哪些方面| 国产成人系列免费观看| 色视频www国产| 日韩欧美国产一区二区入口| 在线观看免费午夜福利视频| 精品国产超薄肉色丝袜足j| 99久久无色码亚洲精品果冻| 又黄又粗又硬又大视频| 久久久久久大精品| 啦啦啦韩国在线观看视频| 亚洲,欧美精品.| 99久久成人亚洲精品观看| 啦啦啦免费观看视频1| 国产精品亚洲av一区麻豆| 97碰自拍视频| 亚洲成人久久爱视频| 精品一区二区三区人妻视频| a在线观看视频网站| 特级一级黄色大片| 舔av片在线| 亚洲国产欧美网| or卡值多少钱| 少妇的逼水好多| 久久久久久国产a免费观看| 久久人妻av系列| 国产精品久久久久久精品电影| 成人18禁在线播放| avwww免费| 欧美极品一区二区三区四区| 91av网一区二区| 国产精品亚洲av一区麻豆| 男女午夜视频在线观看| 国产视频内射| 2021天堂中文幕一二区在线观| 97超级碰碰碰精品色视频在线观看| 中文字幕av成人在线电影| 国产淫片久久久久久久久 | 国内久久婷婷六月综合欲色啪| 亚洲中文字幕一区二区三区有码在线看| 一区二区三区免费毛片| 久久精品国产亚洲av涩爱 | 91久久精品电影网| 国产欧美日韩一区二区精品| 12—13女人毛片做爰片一| 日韩有码中文字幕| 欧美一区二区精品小视频在线| 免费搜索国产男女视频| 白带黄色成豆腐渣| 免费人成视频x8x8入口观看| 国产黄片美女视频| 中国美女看黄片| 欧美不卡视频在线免费观看| 色播亚洲综合网| 在线十欧美十亚洲十日本专区| 两个人视频免费观看高清| 国产精品99久久久久久久久| 日韩欧美免费精品| 国产免费男女视频| 一夜夜www| 日本熟妇午夜| 亚洲av熟女| 亚洲专区国产一区二区| 18禁裸乳无遮挡免费网站照片| 久久国产精品影院| 18美女黄网站色大片免费观看| 小说图片视频综合网站| 亚洲精品久久国产高清桃花| 久久国产精品影院| 高清毛片免费观看视频网站| 在线天堂最新版资源| 日本一二三区视频观看| 亚洲 欧美 日韩 在线 免费| 成年人黄色毛片网站| 亚洲成人久久性| 国产成人aa在线观看| 亚洲精品在线观看二区| 又爽又黄无遮挡网站| 少妇丰满av| 日本在线视频免费播放| 香蕉av资源在线| 久久人妻av系列| 哪里可以看免费的av片| 一区二区三区国产精品乱码| 国产精品爽爽va在线观看网站| 日韩欧美在线乱码| 超碰av人人做人人爽久久 | 女人高潮潮喷娇喘18禁视频| 国产97色在线日韩免费| www日本黄色视频网| 亚洲avbb在线观看| 国产精品一及| 黄色丝袜av网址大全| 深夜精品福利| 丁香六月欧美| 叶爱在线成人免费视频播放| 搞女人的毛片| 免费搜索国产男女视频| 全区人妻精品视频| 别揉我奶头~嗯~啊~动态视频| 国产乱人视频| 午夜激情福利司机影院| 人人妻人人澡欧美一区二区| 特大巨黑吊av在线直播| 日韩欧美一区二区三区在线观看| 亚洲人成网站高清观看| 亚洲精品国产精品久久久不卡| 91在线观看av| 亚洲av熟女| 午夜两性在线视频| 精品一区二区三区视频在线 | tocl精华| 久久久久亚洲av毛片大全| 亚洲精品456在线播放app | 亚洲久久久久久中文字幕| 国产欧美日韩一区二区三| 国产探花在线观看一区二区| 精品久久久久久久毛片微露脸| 国内精品一区二区在线观看| 午夜福利在线观看吧| 一进一出抽搐gif免费好疼|