• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主機(jī)性能度量的異構(gòu)集群作業(yè)調(diào)度算法

    2021-06-20 13:00:37王超陳剛黃剛王彪
    關(guān)鍵詞:負(fù)載均衡

    王超 陳剛 黃剛 王彪

    摘要:傳統(tǒng)經(jīng)典作業(yè)度算法在集群應(yīng)用中實(shí)現(xiàn)簡(jiǎn)單、執(zhí)行效率高,但在異構(gòu)集群環(huán)境下由于缺乏在線節(jié)點(diǎn)運(yùn)行狀態(tài)動(dòng)態(tài)反饋能力和負(fù)載均衡能力,降低了計(jì)算資源利用率和系統(tǒng)吞吐率。為解決上述問(wèn)題,設(shè)計(jì)了一種在異構(gòu)集群環(huán)境下基于主機(jī)性能度量的作業(yè)負(fù)載均衡調(diào)度算法,該算法通過(guò)收集集群中在線節(jié)點(diǎn)的狀態(tài)信息和作業(yè)響應(yīng)時(shí)間遴選出可信節(jié)點(diǎn)集合,計(jì)算出各可信節(jié)點(diǎn)的HPM值,利用負(fù)載均衡運(yùn)算規(guī)則生成候選的作業(yè)分配節(jié)點(diǎn)集合,最終按照預(yù)先設(shè)計(jì)的優(yōu)先原則把不同作業(yè)分配至各計(jì)算節(jié)點(diǎn),并更新各節(jié)點(diǎn)運(yùn)行狀態(tài)。實(shí)驗(yàn)結(jié)果表明,在異構(gòu)集群環(huán)境下調(diào)度同類型作業(yè)時(shí),該算法在總完成時(shí)間和負(fù)載均衡性能等指標(biāo)上均優(yōu)于傳統(tǒng)經(jīng)典算法。

    關(guān)鍵詞:異構(gòu)集群;主機(jī)性能度量;負(fù)載均衡;作業(yè)調(diào)度

    中圖分類號(hào):TP301文獻(xiàn)標(biāo)志碼:A文章編號(hào):1008-1739(2021)08-67-7

    0引言

    集群是多臺(tái)相互獨(dú)立的計(jì)算機(jī),通過(guò)高速網(wǎng)絡(luò)互聯(lián)形成一個(gè)整體系統(tǒng)后,對(duì)外提供服務(wù)并對(duì)集群本身加以管理。集群運(yùn)行過(guò)程的作業(yè)調(diào)度策略對(duì)集群資源利用率起著關(guān)鍵作用[1],調(diào)度策略的優(yōu)劣決定了集群中作業(yè)完成的效率。作業(yè)調(diào)度算法大致分為相互依賴和相互獨(dú)立2種算法。前者算法缺陷明顯,工程應(yīng)用不多,后者算法因?qū)崿F(xiàn)簡(jiǎn)單,大多數(shù)集群管理系統(tǒng)都在采用。目前在國(guó)內(nèi)外廣泛應(yīng)用的相互獨(dú)立的經(jīng)典作業(yè)調(diào)度算法中,主要包括先來(lái)先到服務(wù)(First Come First Service,F(xiàn)CFS)、Min-Min算法和基于優(yōu)先級(jí)調(diào)度(Priority)等[2]。

    常見的算法還包括輪詢調(diào)度算法、最小鏈接算法、遺傳算法、模擬退火算法等,但是輪詢調(diào)度算法和最小鏈接算法,沒有考慮各服務(wù)節(jié)點(diǎn)的性能差異[13],遺傳算法和模擬退火算法適應(yīng)于對(duì)復(fù)雜問(wèn)題的優(yōu)化,時(shí)效性較差[14]。在異構(gòu)集群環(huán)境下,由于各節(jié)點(diǎn)計(jì)算機(jī)性能差異較大,上述算法的缺陷顯得更為明顯。為提升對(duì)異構(gòu)集群資源的利用率,本文提出了主機(jī)性能度量(Host Performance Measurement,HPM)的概念,對(duì)集群各節(jié)點(diǎn)計(jì)算機(jī)的性能進(jìn)行量化,并設(shè)計(jì)了一種基于主機(jī)性能度量的作業(yè)負(fù)載均衡調(diào)度(Host Performance Measurement Load Balancing,HPMLB)算法。該算法主要通過(guò)度量主機(jī)性能和判斷作業(yè)響應(yīng)時(shí)間容忍度實(shí)現(xiàn)動(dòng)態(tài)的HPMLB,由集群的調(diào)度節(jié)點(diǎn)根據(jù)集群各節(jié)點(diǎn)的HPM信息,結(jié)合作業(yè)響應(yīng)狀態(tài),依據(jù)負(fù)載均衡調(diào)度策略,將請(qǐng)求分配到集群中的各個(gè)計(jì)算節(jié)點(diǎn),被派發(fā)作業(yè)的計(jì)算節(jié)點(diǎn)將接收請(qǐng)求并進(jìn)行作業(yè)處理。該算法采用分層設(shè)計(jì)理念,使得作業(yè)調(diào)度層與計(jì)算執(zhí)行層相分離,實(shí)現(xiàn)了對(duì)異構(gòu)集群環(huán)境下具有相同功能不同實(shí)現(xiàn)的計(jì)算作業(yè)的調(diào)度。

    1問(wèn)題建模

    在集群作業(yè)調(diào)度中,有一個(gè)節(jié)點(diǎn)作為調(diào)度節(jié)點(diǎn),完成對(duì)所有作業(yè)的計(jì)算資源調(diào)度與分配,各計(jì)算節(jié)點(diǎn)完成業(yè)務(wù)計(jì)算。系統(tǒng)整體調(diào)度與管理流程如下:

    ①集群節(jié)點(diǎn)的網(wǎng)絡(luò)代理軟件接收作業(yè)請(qǐng)求命令;

    ②集群調(diào)度節(jié)點(diǎn)獲取調(diào)度狀態(tài);

    ③集群調(diào)度節(jié)點(diǎn)的負(fù)載均衡調(diào)度器根據(jù)負(fù)載均衡調(diào)度算法進(jìn)行調(diào)度計(jì)算和作業(yè)派發(fā);

    ④受理作業(yè)計(jì)算節(jié)點(diǎn)進(jìn)行具體的計(jì)算處理,同時(shí)根據(jù)作業(yè)執(zhí)行情況更新本機(jī)狀態(tài);

    ⑤各集群節(jié)點(diǎn)通過(guò)集群狀態(tài)同步機(jī)制動(dòng)態(tài)實(shí)現(xiàn)各節(jié)點(diǎn)服務(wù)器狀態(tài)同步。

    針對(duì)上述流程,本文設(shè)計(jì)的HPMLB算法主要思想是:

    ①通過(guò)HPM、執(zhí)行工作列表(Executive Job List,EJL)和作業(yè)響應(yīng)時(shí)間容忍度來(lái)動(dòng)態(tài)地描述集群各節(jié)點(diǎn)當(dāng)前負(fù)載情況;

    ②由集群調(diào)度節(jié)點(diǎn)根據(jù)集群各節(jié)點(diǎn)的HPM和EJL等關(guān)鍵信息,結(jié)合作業(yè)響應(yīng)狀態(tài),依據(jù)負(fù)載均衡調(diào)度策略,將請(qǐng)求分配到集群中各計(jì)算節(jié)點(diǎn);

    ③各計(jì)算節(jié)點(diǎn)中的作業(yè)組織流程負(fù)責(zé)接受請(qǐng)求并組織作業(yè)執(zhí)行器進(jìn)行作業(yè)處理;

    ④各計(jì)算節(jié)點(diǎn)實(shí)時(shí)更新和對(duì)外發(fā)布本機(jī)的HPM和EJL等信息。

    作業(yè)調(diào)度總體流程如圖1所示。

    整個(gè)作業(yè)調(diào)度由集群中的調(diào)度節(jié)點(diǎn)完成,當(dāng)進(jìn)行HPMLB時(shí),調(diào)度節(jié)點(diǎn)首先收集集群中在線節(jié)點(diǎn)并篩選出可信節(jié)點(diǎn)。然后計(jì)算各可信節(jié)點(diǎn)的HPM值,根據(jù)負(fù)載均衡運(yùn)算規(guī)則生成候選集合。最后,依據(jù)同等條件下的優(yōu)先原則進(jìn)行作業(yè)分派,分派完成后進(jìn)行各節(jié)點(diǎn)狀態(tài)更新。

    為準(zhǔn)確描述上述過(guò)程,給出集群節(jié)點(diǎn)性能、EJL和網(wǎng)絡(luò)狀態(tài)信息等概念的定義:

    ②EJL具體內(nèi)容如表1所示。

    ③集群節(jié)點(diǎn)狀態(tài)信息(The Cluster Node Status information,CNS):各集群節(jié)點(diǎn)服務(wù)器維護(hù)本機(jī)的狀態(tài)以及本機(jī)與其余節(jié)點(diǎn)的狀態(tài)信息,如表2所示。

    2算法設(shè)計(jì)

    2.1生成可信節(jié)點(diǎn)

    (1)收集在線節(jié)點(diǎn)

    集群各節(jié)點(diǎn)都保存集群狀態(tài)信息列表,包含本節(jié)點(diǎn)與集群其他所有節(jié)點(diǎn)當(dāng)前的網(wǎng)絡(luò)狀態(tài)情況,并以固定周期△輪詢檢測(cè)更新整個(gè)集群的狀態(tài)信息,其檢測(cè)方式為集群中各節(jié)點(diǎn)以固定周期△循環(huán)接收集群節(jié)點(diǎn)的狀態(tài)信息和第三方心跳;接收調(diào)度節(jié)點(diǎn)信號(hào),確定調(diào)度節(jié)點(diǎn)的狀態(tài);完成節(jié)點(diǎn)狀態(tài)信息的同步與更新;調(diào)度節(jié)點(diǎn)根據(jù)心跳檢測(cè)和集群節(jié)點(diǎn)的狀態(tài)信息,生成集群在線節(jié)點(diǎn)的集合A。

    (2)篩選可信節(jié)點(diǎn)

    在生成的集群在線節(jié)點(diǎn)集合A中,調(diào)度節(jié)點(diǎn)查詢集合A中各個(gè)的IGHOST_INFO[].mainstatus值,若該值為1,則表示該對(duì)應(yīng)的節(jié)點(diǎn)與調(diào)度節(jié)點(diǎn)通信正常,若為0,則表示與調(diào)度節(jié)點(diǎn)通信狀態(tài)異常,將其中值為1的生成與調(diào)度節(jié)點(diǎn)通信正常的節(jié)點(diǎn)集合B;

    然后篩選出滿足作業(yè)響應(yīng)時(shí)間容忍度的節(jié)點(diǎn),生成可信節(jié)點(diǎn)集合C,根據(jù)式(3)進(jìn)行本節(jié)點(diǎn)與集合B中節(jié)點(diǎn)的網(wǎng)絡(luò)路徑計(jì)算,獲取本地的當(dāng)前時(shí)間,然后獲取本節(jié)點(diǎn)接收到的最近一次該發(fā)送的節(jié)點(diǎn)心跳時(shí)間,計(jì)算出該與調(diào)度節(jié)點(diǎn)的系統(tǒng)路徑長(zhǎng)度。

    作業(yè)響應(yīng)時(shí)間容忍度Dpt作為系統(tǒng)常數(shù)進(jìn)行配置,通過(guò)式(5)進(jìn)行作業(yè)響應(yīng)狀態(tài)運(yùn)算。()=1表示作業(yè)響應(yīng)正常,()=0表示作業(yè)響應(yīng)超時(shí),并將值為1的放在集合C中。

    2.2作業(yè)調(diào)度

    調(diào)度節(jié)點(diǎn)在生成的可信節(jié)點(diǎn)集合C中,計(jì)算HPM值,選取HPM值最小的節(jié)點(diǎn)集合生成候選集合D。在候選集合生成后,按如下原則進(jìn)行作業(yè)分配:

    ①若系統(tǒng)滿負(fù)荷,即HPM值為Mhpm,作業(yè)拒絕;

    ②若候選節(jié)點(diǎn)唯一,即集合D中的元素唯一,則作業(yè)直接派發(fā)給該;

    ③若候選節(jié)點(diǎn)不唯一,即集合D中的元素不唯一,則選取值最大的進(jìn)行派發(fā)。

    詳細(xì)處理流程如圖2所示。

    ①獲取調(diào)度請(qǐng)求;

    ②獲取節(jié)點(diǎn)計(jì)算機(jī)的狀態(tài)信息;

    ③查詢集群狀態(tài)列表,獲取其為在線狀態(tài)的計(jì)算機(jī)節(jié)點(diǎn)集合A;

    ④在集合A中查詢與調(diào)度節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)正常的計(jì)算機(jī)節(jié)點(diǎn)集合B;

    ⑤在集合B中遴選出滿足()=1的集合C,其中作業(yè)響應(yīng)的容忍時(shí)間Dpt一般設(shè)置為3△;

    ⑥在集合C中計(jì)算并選擇HPM值最小的集合D;

    ⑦判斷集合D的元素個(gè)數(shù)是否為1,若為1,則將該“+調(diào)度請(qǐng)求”作為調(diào)度請(qǐng)求結(jié)果對(duì)外發(fā)出,否則將集合中“最大值的+調(diào)度請(qǐng)求”作為調(diào)度請(qǐng)求結(jié)果對(duì)外發(fā)出;若集合D中各對(duì)應(yīng)的計(jì)算機(jī)的HPM值>Mhpm(系統(tǒng)允許的最大負(fù)荷0<≤1)時(shí),置為MAX_HOSTNUM+1;

    ⑧更新各節(jié)點(diǎn)當(dāng)前的值。

    2.3狀態(tài)動(dòng)態(tài)同步

    HPMLB算法在進(jìn)行作業(yè)調(diào)度時(shí),為了及時(shí)獲取集群各節(jié)點(diǎn)的動(dòng)態(tài)負(fù)載情況以及對(duì)整個(gè)集群系統(tǒng)的集中管控,設(shè)計(jì)了集群狀態(tài)動(dòng)態(tài)同步機(jī)制,集群各節(jié)點(diǎn)實(shí)時(shí)收集更新本節(jié)點(diǎn)狀態(tài),并將本節(jié)點(diǎn)狀態(tài)對(duì)外發(fā)出,同時(shí)接收其余節(jié)點(diǎn)狀態(tài)信息,將接收到的其他節(jié)點(diǎn)狀態(tài)信息更新到本機(jī)。其同步及發(fā)布內(nèi)容有:維護(hù)本節(jié)點(diǎn)作業(yè)執(zhí)行狀態(tài);維護(hù)本節(jié)點(diǎn)HPM值;對(duì)外發(fā)布工作列表數(shù)據(jù);更新本節(jié)點(diǎn)保存的其余節(jié)點(diǎn)發(fā)布的狀態(tài)信息;維護(hù)本節(jié)點(diǎn)與其余節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài),若本節(jié)點(diǎn)與某一節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)函數(shù)nets ()的值為0,則將本節(jié)點(diǎn)與該節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀態(tài)設(shè)置為超時(shí);對(duì)外發(fā)布本節(jié)點(diǎn)狀態(tài)信息。

    2.4整體算法描述

    根據(jù)以上設(shè)計(jì)思路,本節(jié)給出了HPMLB算法的整體描述,其處理過(guò)程主要包括選取生成在線可信節(jié)點(diǎn)的集合,并計(jì)算節(jié)點(diǎn)的HPM值,選取最小HPM值的最大進(jìn)行作業(yè)分派。

    3算法分析

    選取5臺(tái)服務(wù)器構(gòu)建集群,設(shè)定集群整體性能,即總計(jì)算能力固定。針對(duì)單一作業(yè)類型,不同作業(yè)數(shù)量集合,對(duì)HPMLB算法、FCFS算法和Min-Min算法從作業(yè)總完成時(shí)間和節(jié)點(diǎn)負(fù)載均衡情況進(jìn)行分析。

    3.1作業(yè)總完成時(shí)間

    衡量作業(yè)調(diào)度器性能的標(biāo)準(zhǔn)之一,總的作業(yè)完成時(shí)間越小,說(shuō)明該作業(yè)調(diào)度器作業(yè)處理速度越快,反之越慢。針對(duì)HPMLB算法、FCFS算法和Min-Min算法,設(shè)置4組規(guī)模不同的單一作業(yè)集合,選取5臺(tái)服務(wù)器構(gòu)建集群,在總計(jì)算能力固定的情況下,分為各節(jié)點(diǎn)服務(wù)器計(jì)算能力相同和計(jì)算能力2種不同情況對(duì)作業(yè)總完成時(shí)間進(jìn)行統(tǒng)計(jì)。

    (1)節(jié)點(diǎn)計(jì)算能力相同

    現(xiàn)假定集群每個(gè)節(jié)點(diǎn)的計(jì)算能力為可并行執(zhí)行30個(gè)作業(yè),則整個(gè)集群總的計(jì)算能力為并行執(zhí)行150個(gè)作業(yè)。其計(jì)算資源分配如表3所示。

    設(shè)置每個(gè)作業(yè)耗時(shí)20 s,作業(yè)按均勻分布到達(dá),選取4組不同規(guī)模的作業(yè)集合,分別為50,100,700,1 000,作業(yè)規(guī)模包括小于系統(tǒng)并行作業(yè)數(shù)量和大于系統(tǒng)并行作業(yè)數(shù)量的情況,統(tǒng)計(jì)整個(gè)作業(yè)集合的總完成時(shí)間,結(jié)果如圖3所示。

    從圖3可以看出,當(dāng)作業(yè)類型一致,在同構(gòu)集群中FCFS,HPMLB總作業(yè)完成時(shí)間相當(dāng),優(yōu)于Min-Min算法。Min-Min算法耗費(fèi)時(shí)間多的原因在于其計(jì)時(shí)限量等待需要耗費(fèi)一定時(shí)間,并在每個(gè)作業(yè)分配完畢后需遍歷和更新作業(yè)的期望完成時(shí)間,因此隨著作業(yè)量的增大,其耗費(fèi)的時(shí)間越長(zhǎng)。

    (2)節(jié)點(diǎn)計(jì)算能力不同

    在節(jié)點(diǎn)計(jì)算能力不同的情況下,構(gòu)建異構(gòu)集群,每臺(tái)計(jì)算機(jī)性能是不一致的,即每個(gè)節(jié)點(diǎn),,三個(gè)參數(shù)值配置不同,,1,2三個(gè)參數(shù)值配置相同,現(xiàn)模擬異構(gòu)集群下計(jì)算資源分配如表4所示。

    上述作業(yè)集作業(yè)的總完成時(shí)間如圖4所示。

    從圖4可以看出,在各節(jié)點(diǎn)性能差異較大的異構(gòu)集群中,當(dāng)作業(yè)規(guī)模數(shù)小于系統(tǒng)并行作業(yè)數(shù)量時(shí),HPMLB、FCFS和Min-Min三種算法的總完成時(shí)間相當(dāng),當(dāng)作業(yè)規(guī)模數(shù)大于系統(tǒng)并行作業(yè)數(shù)量時(shí),HPMLB作業(yè)總時(shí)間明顯優(yōu)于FCFS和Min-Min算法,而且隨著作業(yè)規(guī)模的不斷增加,差距越發(fā)明顯。在HPMLB算法中,作業(yè)調(diào)度器能夠?qū)崟r(shí)獲取各節(jié)點(diǎn)服務(wù)器的動(dòng)態(tài)負(fù)載,能夠較準(zhǔn)確地把作業(yè)分配給能夠立即執(zhí)行的節(jié)點(diǎn)服務(wù)器,從而大大節(jié)省了作業(yè)的等待時(shí)間。

    同時(shí),對(duì)3種算法針對(duì)2種不同的服務(wù)器集群作業(yè)調(diào)度時(shí)間做了比較,發(fā)現(xiàn)HPMLB算法對(duì)不同的集群環(huán)境適應(yīng)性最好,在2種集群環(huán)境下作業(yè)總完成時(shí)間相當(dāng)。其次是Min-Min算法,在2種集群環(huán)境下作業(yè)總完成時(shí)間有所變化,但是變化幅度不大,F(xiàn)CFS算法適應(yīng)性最差。結(jié)果如圖5所示。

    綜上所述,3種算法都會(huì)隨著作業(yè)數(shù)量的增加,總時(shí)間呈上升趨勢(shì)。HPMLB算法對(duì)不同集群環(huán)境適應(yīng)性最好,Min-Min算法性能次之,F(xiàn)CFS算法性能最差。

    當(dāng)作業(yè)規(guī)模小于集群可并行運(yùn)行的最大作業(yè)數(shù)時(shí),3種算法作業(yè)總完成時(shí)間相當(dāng),當(dāng)作業(yè)規(guī)模大于集群可并行運(yùn)行的最大作業(yè)個(gè)數(shù)時(shí),HPMLB算法的總完成時(shí)間明顯小于Min-Min算法和FCFS算法的總完成時(shí)間。

    3.2節(jié)點(diǎn)負(fù)載均衡情況

    負(fù)載均衡是指作業(yè)調(diào)度到各節(jié)點(diǎn)計(jì)算機(jī)上時(shí),確保大多數(shù)節(jié)點(diǎn)計(jì)算機(jī)有作業(yè)運(yùn)行,即充分利用集群計(jì)算資源。由于FCFS算法只是靜態(tài)地把先來(lái)先到的作業(yè)按節(jié)點(diǎn)順序依次分配給各節(jié)點(diǎn)計(jì)算機(jī),因此這里不分析該算法的負(fù)載均衡性,只對(duì)HPMLB算法和Min-Min算法的節(jié)點(diǎn)負(fù)載均衡情況進(jìn)行分析比較。

    依據(jù)表4的計(jì)算資源構(gòu)建異構(gòu)集群,針對(duì)單一類型作業(yè),在集群每個(gè)節(jié)點(diǎn)的計(jì)算能力和集群總體計(jì)算能力固定的情況下,當(dāng)整個(gè)集群系統(tǒng)未達(dá)到滿載時(shí),設(shè)置不同規(guī)模的單一作業(yè)集合,考慮2種作業(yè)調(diào)度算法下系統(tǒng)的負(fù)載均衡情況。

    為減少負(fù)載均衡情況的計(jì)算量,假定所有作業(yè)的執(zhí)行時(shí)間滿足整個(gè)作業(yè)集被分配完畢后,沒有作業(yè)運(yùn)行結(jié)束。此時(shí),集群每個(gè)節(jié)點(diǎn)的負(fù)載情況均可用當(dāng)前執(zhí)行的作業(yè)數(shù)與當(dāng)前節(jié)點(diǎn)能承擔(dān)的最大作業(yè)數(shù)之比來(lái)衡量,即用HPM值來(lái)進(jìn)行衡量。

    從圖6和圖7可以看出,Min-Min算法優(yōu)先將作業(yè)分配給性能好的服務(wù)器,導(dǎo)致整個(gè)集群各節(jié)點(diǎn)負(fù)載不均衡,出現(xiàn)了SOCAS05節(jié)點(diǎn)已經(jīng)滿負(fù)荷運(yùn)行,而SOCAS01仍處在空閑無(wú)作業(yè)執(zhí)行的狀態(tài)。而HPMLB算法在不同規(guī)模的作業(yè)集合下,整個(gè)集群各節(jié)點(diǎn)的負(fù)載情況相對(duì)均衡,未出現(xiàn)空置服務(wù)器情況。通過(guò)在同一作業(yè)規(guī)模下,利用2種算法調(diào)度集群各節(jié)點(diǎn)負(fù)載情況的方差統(tǒng)計(jì)情況,比較2種調(diào)度算法的負(fù)載均衡性能。方差值越小,均衡性越好,結(jié)果如圖8所示。

    從圖8可以看出,HPMLB算法的負(fù)載均衡性在不同作業(yè)規(guī)模下,其負(fù)載均衡性均優(yōu)于Min-Min算法。

    當(dāng)作業(yè)數(shù)大于系統(tǒng)的總負(fù)載作業(yè)數(shù)時(shí),Min-Min算法會(huì)導(dǎo)致集群中某些節(jié)點(diǎn)超載,某些節(jié)點(diǎn)空閑的情況,而HPMLB算法由于在實(shí)時(shí)收集各服務(wù)器動(dòng)態(tài)的負(fù)載情況,當(dāng)節(jié)點(diǎn)服務(wù)器作業(yè)運(yùn)行結(jié)束后,該節(jié)點(diǎn)最新負(fù)載情況會(huì)被調(diào)度器動(dòng)態(tài)感知。因此,當(dāng)作業(yè)規(guī)模過(guò)大時(shí),在負(fù)載均衡性方面,HPMLB算法優(yōu)于Min-Min算法。

    綜上所述,HPMLB算法在異構(gòu)集群下,針對(duì)同一作業(yè)類型,從作業(yè)總完成時(shí)間以及節(jié)點(diǎn)的負(fù)載均衡性方面均優(yōu)于FCFS和Min-Min算法。

    4結(jié)束語(yǔ)

    本文根據(jù)異構(gòu)集群特點(diǎn),提出了一種基于HPM的HPMLB算法。實(shí)驗(yàn)結(jié)果表明,HPMLB算法在異構(gòu)集群環(huán)境下,對(duì)同類型作業(yè)的調(diào)度性能在總完成時(shí)間和負(fù)載均衡性上均優(yōu)于FCFS和Min-Min算法。該算法在準(zhǔn)實(shí)時(shí)性應(yīng)用設(shè)計(jì)中具有一定的通用性,已用于航天測(cè)控中心軌道計(jì)算分析平臺(tái)系統(tǒng),為航天器在軌安全管理和穩(wěn)定運(yùn)行提供了有效保障。

    參考文獻(xiàn)

    [1] KHAN K H, QURESHI K, ABD-EL-BARR M. An Efficient Grid Scheduling Strategy for Data Parallel Applications[J].J Supercomput,2014,68(3):1487-1502.

    [2]宋俊輝,馮巖.負(fù)載均衡的分布式系統(tǒng)任務(wù)調(diào)度優(yōu)化算法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2017,55(2):383-387.

    [3] LATIP R, IDRIS Z. Highest Response Ratio Next (HRRN) vs First Come First Served (FCFS) Scheduling Algorithm in Grid Environment[J].Software Engineering and Computer Systems, 2011,11(1):689-691.

    [4]杜玉霞,劉方愛,郭磊.Min-Min調(diào)度算法的研究與改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(24):107-109.

    [5]王文豪,嚴(yán)云洋.周靜波.基于負(fù)載均衡的Min-Min作業(yè)調(diào)度算法優(yōu)化[J].南京理工大學(xué)學(xué)報(bào),2015,39(4):398-404.

    [6]姜?jiǎng)P華,韓銳,孫鵬,等.基于Min-Min算法的智能終端服務(wù)遷移技術(shù)研究[J].網(wǎng)絡(luò)新媒體技術(shù),2020,9(4):37-40.

    [7] HUANKAI C,WANG F,HELIAN N.User-priority Guided Min-Min Scheduling Algorithm for Load Balancing in Cloud Computing[C]//In: Proceedings of the 2013 National Conference on Parallel Computing Technologies( PARCOMPTECH).Bangalore:IEEE,2013:1-8.

    [8]王釗,劉釗遠(yuǎn).一種改進(jìn)的流媒體集群動(dòng)態(tài)負(fù)載均衡調(diào)度算法[J].計(jì)算機(jī)與數(shù)字工程,2018,46(2):241-246.

    [9]劉斌.基于云計(jì)算中的任務(wù)調(diào)度算法研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2019.

    [10] MAHESWARAN M, SIEGEL HJ.A Dynamic Matching and Scheduling Algorithm for Heterogeneous Computing Systems[C]//Proceedings Seventh Heterogeneous Computing Workshop(HCW98). Orlando: IEEE,1998: 59-69.

    [11] AMIN S,MOHAMED O,HAMIDAH I,et al. New Method for Scheduling Heterogeneous Multi-installment Systems[J]. Future Generation Computer Systems,2012,28(8):1205-1216.

    [12]王曉萍,孟坤.異構(gòu)分布式系統(tǒng)的可分任務(wù)作業(yè)調(diào)度算法[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(4):797-800.

    [13]張臘,劉淑芬,韓璐.基于負(fù)載均衡的作業(yè)調(diào)度算法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2014,52(4):769-773.

    [14]朱曉敏,陸佩忠.異構(gòu)集群系統(tǒng)中安全關(guān)鍵實(shí)時(shí)應(yīng)用調(diào)度研究[J].計(jì)算機(jī)學(xué)報(bào),2010,33(12):2364-2377.

    猜你喜歡
    負(fù)載均衡
    LBS檢索容災(zāi)架構(gòu)研究
    Linux負(fù)載均衡集群技術(shù)在網(wǎng)絡(luò)服務(wù)器中的應(yīng)用
    Oracle MAA在汽車行業(yè)電子政務(wù)平臺(tái)中的應(yīng)用
    社區(qū)教育平臺(tái)運(yùn)營(yíng)策略研究
    軟件(2016年4期)2017-01-20 09:39:56
    異構(gòu)環(huán)境下改進(jìn)的LATE調(diào)度算法
    基于負(fù)載均衡的云資源調(diào)度策略研究
    基于新型VPN 技術(shù)的高校校園網(wǎng)改造
    基于云計(jì)算的虛擬實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)及應(yīng)用
    基于離散PSO算法的醫(yī)療云存儲(chǔ)部署策略
    多站點(diǎn)同步更新系統(tǒng)的設(shè)計(jì)
    科技視界(2016年3期)2016-02-26 20:16:57
    亚洲精品国产精品久久久不卡| 丁香欧美五月| 动漫黄色视频在线观看| 80岁老熟妇乱子伦牲交| 天堂√8在线中文| 69av精品久久久久久| 亚洲国产精品一区二区三区在线| 最近最新免费中文字幕在线| 久久久久精品国产欧美久久久| 岛国在线观看网站| 久热这里只有精品99| 欧美老熟妇乱子伦牲交| 久久九九热精品免费| 国产精品永久免费网站| 国产精品电影一区二区三区 | 亚洲aⅴ乱码一区二区在线播放 | 黄色成人免费大全| 欧美+亚洲+日韩+国产| 宅男免费午夜| 这个男人来自地球电影免费观看| 欧美亚洲 丝袜 人妻 在线| 亚洲免费av在线视频| 在线观看日韩欧美| 国产高清激情床上av| 激情视频va一区二区三区| 亚洲精品在线观看二区| 不卡一级毛片| 天天躁夜夜躁狠狠躁躁| 亚洲国产欧美日韩在线播放| 精品国产亚洲在线| 日韩成人在线观看一区二区三区| 亚洲全国av大片| 啦啦啦免费观看视频1| 欧美精品高潮呻吟av久久| 色在线成人网| 亚洲精品美女久久久久99蜜臀| 亚洲av日韩精品久久久久久密| 日韩精品免费视频一区二区三区| 国产一区二区三区在线臀色熟女 | 人人妻,人人澡人人爽秒播| av中文乱码字幕在线| 国产精品综合久久久久久久免费 | 国产三级黄色录像| 亚洲av熟女| 中文欧美无线码| 国产单亲对白刺激| 人人妻人人添人人爽欧美一区卜| 好看av亚洲va欧美ⅴa在| 黑人巨大精品欧美一区二区mp4| 亚洲伊人色综图| 在线永久观看黄色视频| 国产深夜福利视频在线观看| 人妻一区二区av| 国产精华一区二区三区| 免费一级毛片在线播放高清视频 | 日本黄色视频三级网站网址 | 搡老熟女国产l中国老女人| 国产精品影院久久| 国产成人精品久久二区二区91| 亚洲精品乱久久久久久| av免费在线观看网站| av视频免费观看在线观看| 亚洲五月天丁香| 国产激情久久老熟女| 色老头精品视频在线观看| 成年动漫av网址| 啪啪无遮挡十八禁网站| 亚洲在线自拍视频| 嫩草影视91久久| 一个人免费在线观看的高清视频| 免费在线观看亚洲国产| 老熟妇乱子伦视频在线观看| 精品国产美女av久久久久小说| 久久精品91无色码中文字幕| 国产亚洲欧美精品永久| 一级毛片高清免费大全| 亚洲国产毛片av蜜桃av| 黄色视频不卡| 免费在线观看黄色视频的| 久久国产亚洲av麻豆专区| 韩国精品一区二区三区| 亚洲国产精品一区二区三区在线| 国产高清videossex| 一边摸一边做爽爽视频免费| 老汉色av国产亚洲站长工具| 人人妻人人澡人人看| 丝袜美足系列| 新久久久久国产一级毛片| 成人免费观看视频高清| 狠狠婷婷综合久久久久久88av| 国产亚洲精品久久久久5区| 久久精品亚洲av国产电影网| 日本一区二区免费在线视频| 免费av中文字幕在线| 咕卡用的链子| 12—13女人毛片做爰片一| 老熟妇仑乱视频hdxx| 女人久久www免费人成看片| 国产成人一区二区三区免费视频网站| 国产精品乱码一区二三区的特点 | 久久精品国产a三级三级三级| 亚洲九九香蕉| 国产男女内射视频| 亚洲国产欧美日韩在线播放| 精品免费久久久久久久清纯 | 欧美日本中文国产一区发布| 免费在线观看亚洲国产| 国产精品98久久久久久宅男小说| 啦啦啦 在线观看视频| 国产精品秋霞免费鲁丝片| av电影中文网址| 精品一区二区三卡| 高清视频免费观看一区二区| 国产亚洲精品久久久久久毛片 | 看黄色毛片网站| 国产亚洲av高清不卡| 亚洲男人天堂网一区| 亚洲色图 男人天堂 中文字幕| 亚洲 欧美一区二区三区| 久久久久久人人人人人| 国产成人精品久久二区二区91| www.熟女人妻精品国产| 国产精品98久久久久久宅男小说| 女性生殖器流出的白浆| www.精华液| 一区二区三区激情视频| 大陆偷拍与自拍| 精品午夜福利视频在线观看一区| 热re99久久精品国产66热6| 亚洲精品粉嫩美女一区| 中文字幕色久视频| 亚洲欧美激情在线| 国产欧美日韩精品亚洲av| 麻豆av在线久日| 亚洲黑人精品在线| 91av网站免费观看| 日本vs欧美在线观看视频| 亚洲精品国产色婷婷电影| 在线观看免费视频日本深夜| 精品人妻在线不人妻| 极品教师在线免费播放| 久久午夜亚洲精品久久| 欧美一级毛片孕妇| 亚洲自偷自拍图片 自拍| 亚洲精品在线观看二区| 国产一区二区激情短视频| 黄片大片在线免费观看| 丰满迷人的少妇在线观看| 999久久久精品免费观看国产| 国产一卡二卡三卡精品| 亚洲一区二区三区欧美精品| 欧美中文综合在线视频| 97人妻天天添夜夜摸| 国产精品久久久人人做人人爽| 久久亚洲真实| 制服人妻中文乱码| 激情视频va一区二区三区| 欧美激情 高清一区二区三区| 这个男人来自地球电影免费观看| 老司机午夜福利在线观看视频| 少妇猛男粗大的猛烈进出视频| 亚洲精品在线美女| 黄色女人牲交| 精品福利永久在线观看| 香蕉国产在线看| 中文字幕最新亚洲高清| 亚洲午夜精品一区,二区,三区| 精品亚洲成国产av| 国产免费现黄频在线看| 99香蕉大伊视频| 国产精品一区二区免费欧美| 麻豆成人av在线观看| avwww免费| 亚洲七黄色美女视频| 18禁裸乳无遮挡动漫免费视频| 成人精品一区二区免费| 亚洲全国av大片| 国产精品九九99| 女警被强在线播放| 黄色a级毛片大全视频| 亚洲少妇的诱惑av| 青草久久国产| 手机成人av网站| 91精品三级在线观看| 女人精品久久久久毛片| 国产成人欧美| 午夜福利在线观看吧| 91精品国产国语对白视频| 国产xxxxx性猛交| 久久精品亚洲av国产电影网| 美女国产高潮福利片在线看| 久久国产精品大桥未久av| 欧美中文综合在线视频| 亚洲美女黄片视频| 免费观看a级毛片全部| 中文字幕精品免费在线观看视频| 久久香蕉国产精品| 国产人伦9x9x在线观看| 精品久久久久久,| 中文欧美无线码| 一本大道久久a久久精品| 热99久久久久精品小说推荐| 99热网站在线观看| 亚洲五月色婷婷综合| 午夜福利免费观看在线| 9色porny在线观看| 午夜福利乱码中文字幕| 免费不卡黄色视频| 老汉色∧v一级毛片| 日本a在线网址| 我的亚洲天堂| 精品视频人人做人人爽| 极品人妻少妇av视频| 久热爱精品视频在线9| 久久久久久久午夜电影 | 高清av免费在线| 免费在线观看影片大全网站| 电影成人av| 看黄色毛片网站| 国产欧美日韩一区二区三| x7x7x7水蜜桃| 激情视频va一区二区三区| 成人亚洲精品一区在线观看| 性少妇av在线| 久久这里只有精品19| 亚洲精华国产精华精| 精品无人区乱码1区二区| 丝袜美足系列| 男女午夜视频在线观看| 亚洲人成77777在线视频| 欧美黄色淫秽网站| 在线十欧美十亚洲十日本专区| 成年动漫av网址| 久久久久国内视频| 人人澡人人妻人| 老汉色∧v一级毛片| 亚洲精品国产精品久久久不卡| 日本一区二区免费在线视频| 丝袜美足系列| tube8黄色片| 亚洲一码二码三码区别大吗| 校园春色视频在线观看| 变态另类成人亚洲欧美熟女 | 高潮久久久久久久久久久不卡| 精品国产亚洲在线| 亚洲一码二码三码区别大吗| 在线观看免费高清a一片| 精品亚洲成a人片在线观看| 亚洲成人国产一区在线观看| 啦啦啦 在线观看视频| 欧美日韩一级在线毛片| 国产成人免费无遮挡视频| 亚洲少妇的诱惑av| 久久亚洲真实| 人人澡人人妻人| av线在线观看网站| 国产一区二区三区在线臀色熟女 | 国产单亲对白刺激| 国产精品99久久99久久久不卡| 久久天堂一区二区三区四区| 免费观看a级毛片全部| 亚洲午夜理论影院| 天天影视国产精品| 在线观看午夜福利视频| 两个人看的免费小视频| 午夜视频精品福利| 99精国产麻豆久久婷婷| 熟女少妇亚洲综合色aaa.| 亚洲专区国产一区二区| 国产精品二区激情视频| 美女 人体艺术 gogo| 午夜91福利影院| 在线免费观看的www视频| 久久久久视频综合| 在线观看免费视频日本深夜| 国产亚洲欧美在线一区二区| 香蕉国产在线看| 成年人黄色毛片网站| 国产精品一区二区免费欧美| 午夜影院日韩av| 久久精品亚洲av国产电影网| av不卡在线播放| 久久中文看片网| 国产亚洲欧美98| 国产无遮挡羞羞视频在线观看| 99国产综合亚洲精品| 黑人欧美特级aaaaaa片| 国产在线观看jvid| 大型av网站在线播放| 亚洲在线自拍视频| av中文乱码字幕在线| 老鸭窝网址在线观看| 午夜日韩欧美国产| 80岁老熟妇乱子伦牲交| 无人区码免费观看不卡| 侵犯人妻中文字幕一二三四区| 国产淫语在线视频| 操出白浆在线播放| 亚洲熟女毛片儿| 亚洲精品中文字幕一二三四区| 淫妇啪啪啪对白视频| 欧美av亚洲av综合av国产av| 别揉我奶头~嗯~啊~动态视频| 午夜福利影视在线免费观看| 人人妻人人爽人人添夜夜欢视频| 久久精品国产99精品国产亚洲性色 | 99久久99久久久精品蜜桃| 99热只有精品国产| 国产单亲对白刺激| 欧美日韩黄片免| 在线看a的网站| 精品久久久久久久久久免费视频 | 久久久久久免费高清国产稀缺| 久久中文字幕一级| www.精华液| 国产男靠女视频免费网站| 日韩大码丰满熟妇| 日日摸夜夜添夜夜添小说| 日韩欧美一区二区三区在线观看 | 午夜日韩欧美国产| 黄色女人牲交| 国产精品亚洲av一区麻豆| 中文字幕制服av| 99国产精品一区二区蜜桃av | 视频区欧美日本亚洲| 国产精品美女特级片免费视频播放器 | 中文字幕制服av| 亚洲黑人精品在线| 亚洲中文日韩欧美视频| 欧美午夜高清在线| 极品人妻少妇av视频| 黄网站色视频无遮挡免费观看| 亚洲中文av在线| 亚洲avbb在线观看| 国产高清视频在线播放一区| 中国美女看黄片| 成年版毛片免费区| 中亚洲国语对白在线视频| www日本在线高清视频| 亚洲性夜色夜夜综合| 丝袜美足系列| 精品国产一区二区三区久久久樱花| 91精品国产国语对白视频| 黄色视频不卡| 一区二区三区国产精品乱码| 国产精品免费视频内射| 黄色成人免费大全| 人妻一区二区av| 精品国产一区二区久久| 国产精品免费视频内射| 精品国产一区二区三区久久久樱花| 欧美大码av| 国产深夜福利视频在线观看| 日韩人妻精品一区2区三区| 不卡av一区二区三区| 香蕉丝袜av| 久久精品国产综合久久久| 亚洲精品美女久久av网站| 免费在线观看完整版高清| 国产在线一区二区三区精| 丝袜美腿诱惑在线| 日韩欧美在线二视频 | 18禁国产床啪视频网站| 交换朋友夫妻互换小说| 啦啦啦在线免费观看视频4| av欧美777| 国产精品美女特级片免费视频播放器 | 九色亚洲精品在线播放| 19禁男女啪啪无遮挡网站| 免费av中文字幕在线| 女人高潮潮喷娇喘18禁视频| 高清毛片免费观看视频网站 | 欧美不卡视频在线免费观看 | 91成年电影在线观看| 一级毛片高清免费大全| 国产欧美日韩精品亚洲av| 国产成人av激情在线播放| 十八禁网站免费在线| xxxhd国产人妻xxx| 视频区欧美日本亚洲| 亚洲成人手机| 久久中文字幕人妻熟女| 757午夜福利合集在线观看| 国产成人精品无人区| 欧美国产精品va在线观看不卡| 亚洲欧美一区二区三区黑人| 黄色成人免费大全| 久久九九热精品免费| 999精品在线视频| av福利片在线| 国产日韩欧美亚洲二区| 精品久久蜜臀av无| 在线观看免费视频网站a站| 国产精品永久免费网站| 人妻一区二区av| 怎么达到女性高潮| 国产精品.久久久| 男男h啪啪无遮挡| 国产精品九九99| 丝袜美足系列| а√天堂www在线а√下载 | 午夜精品久久久久久毛片777| 亚洲成人免费电影在线观看| 亚洲av熟女| 脱女人内裤的视频| 99精品欧美一区二区三区四区| 欧美在线黄色| 欧美色视频一区免费| 国产精品免费视频内射| 亚洲一码二码三码区别大吗| 男男h啪啪无遮挡| 欧美黄色片欧美黄色片| 视频区图区小说| 天堂俺去俺来也www色官网| 国产精品久久久久久人妻精品电影| 中文字幕精品免费在线观看视频| 国产一区二区三区综合在线观看| √禁漫天堂资源中文www| 久久久国产欧美日韩av| 欧美精品一区二区免费开放| 丝袜美足系列| 亚洲精品美女久久久久99蜜臀| 色尼玛亚洲综合影院| 国产成人系列免费观看| 亚洲人成电影免费在线| 国产视频一区二区在线看| 最近最新中文字幕大全免费视频| 看黄色毛片网站| 欧美日本中文国产一区发布| 欧美大码av| 久久亚洲精品不卡| 夜夜夜夜夜久久久久| 国产精品综合久久久久久久免费 | 成人精品一区二区免费| 欧美黑人欧美精品刺激| 正在播放国产对白刺激| 成年动漫av网址| 中文字幕色久视频| 精品人妻1区二区| av福利片在线| 精品电影一区二区在线| 国产精品亚洲av一区麻豆| 久久精品熟女亚洲av麻豆精品| 伦理电影免费视频| 大香蕉久久网| av不卡在线播放| 亚洲精品自拍成人| 飞空精品影院首页| e午夜精品久久久久久久| 国产一区在线观看成人免费| 久久影院123| 欧美激情极品国产一区二区三区| 亚洲专区字幕在线| 这个男人来自地球电影免费观看| 纯流量卡能插随身wifi吗| e午夜精品久久久久久久| 成年动漫av网址| 久久人人爽av亚洲精品天堂| 大陆偷拍与自拍| 欧美不卡视频在线免费观看 | 亚洲精品av麻豆狂野| 免费观看精品视频网站| 精品人妻在线不人妻| 国产成人av激情在线播放| 露出奶头的视频| 岛国在线观看网站| 制服诱惑二区| 波多野结衣av一区二区av| 夫妻午夜视频| 欧美午夜高清在线| 中文字幕最新亚洲高清| 午夜福利一区二区在线看| av福利片在线| 国产成人啪精品午夜网站| 久久国产乱子伦精品免费另类| 免费在线观看亚洲国产| www.自偷自拍.com| 亚洲人成电影免费在线| 免费人成视频x8x8入口观看| bbb黄色大片| 精品电影一区二区在线| 一级作爱视频免费观看| 妹子高潮喷水视频| a级毛片在线看网站| 999精品在线视频| 十分钟在线观看高清视频www| 欧美黑人精品巨大| 中文字幕av电影在线播放| 中文字幕另类日韩欧美亚洲嫩草| 国产亚洲av高清不卡| 一进一出抽搐动态| 久久狼人影院| 日日夜夜操网爽| 18禁美女被吸乳视频| 天堂俺去俺来也www色官网| 亚洲人成伊人成综合网2020| 人妻 亚洲 视频| 日日爽夜夜爽网站| 男女下面插进去视频免费观看| 亚洲精品国产区一区二| 国产精品亚洲av一区麻豆| 91麻豆精品激情在线观看国产 | 一级a爱视频在线免费观看| 国产欧美日韩一区二区精品| 免费黄频网站在线观看国产| xxx96com| 狠狠婷婷综合久久久久久88av| 午夜两性在线视频| 两人在一起打扑克的视频| 国产免费av片在线观看野外av| 亚洲精品av麻豆狂野| 99久久人妻综合| 国产精品免费大片| 大香蕉久久网| 精品福利观看| 无人区码免费观看不卡| 黄色女人牲交| netflix在线观看网站| 久久久久久久久久久久大奶| 91字幕亚洲| 校园春色视频在线观看| 国产三级黄色录像| 一边摸一边抽搐一进一出视频| 欧美人与性动交α欧美精品济南到| 搡老岳熟女国产| 黄片播放在线免费| 国内毛片毛片毛片毛片毛片| 黄网站色视频无遮挡免费观看| 久久久精品国产亚洲av高清涩受| 午夜福利欧美成人| 国产成人av激情在线播放| 国产一区二区三区在线臀色熟女 | 亚洲专区中文字幕在线| 女人被狂操c到高潮| 国产av一区二区精品久久| 欧美最黄视频在线播放免费 | 捣出白浆h1v1| 国产在视频线精品| 视频在线观看一区二区三区| 亚洲av成人不卡在线观看播放网| 婷婷丁香在线五月| 亚洲第一青青草原| 在线国产一区二区在线| 久久久久久久久久久久大奶| 少妇粗大呻吟视频| 狂野欧美激情性xxxx| 亚洲成人国产一区在线观看| 中文字幕高清在线视频| av网站免费在线观看视频| 美女视频免费永久观看网站| 免费不卡黄色视频| 18禁国产床啪视频网站| 女人爽到高潮嗷嗷叫在线视频| 久久精品91无色码中文字幕| 大型黄色视频在线免费观看| 老司机福利观看| 久久天堂一区二区三区四区| 欧美精品av麻豆av| 亚洲,欧美精品.| 黄片播放在线免费| 久久久久精品人妻al黑| 超色免费av| 亚洲精品久久午夜乱码| 在线免费观看的www视频| 亚洲精品av麻豆狂野| 99国产综合亚洲精品| 又黄又爽又免费观看的视频| 国产精品 国内视频| 丁香六月欧美| 日韩欧美三级三区| 国产1区2区3区精品| 国内毛片毛片毛片毛片毛片| 国产成+人综合+亚洲专区| 91av网站免费观看| 久久精品亚洲熟妇少妇任你| 在线看a的网站| 欧美精品亚洲一区二区| 18在线观看网站| 亚洲精品中文字幕在线视频| 欧美日韩福利视频一区二区| 国产在线一区二区三区精| 免费不卡黄色视频| 精品视频人人做人人爽| 欧美久久黑人一区二区| 叶爱在线成人免费视频播放| 又紧又爽又黄一区二区| 国产麻豆69| 午夜福利乱码中文字幕| 亚洲色图综合在线观看| 性色av乱码一区二区三区2| 久久香蕉精品热| 亚洲欧美激情综合另类| 久热这里只有精品99| 中文字幕av电影在线播放| 国产成人精品无人区| 999精品在线视频| 欧美丝袜亚洲另类 | 精品福利永久在线观看| 国产亚洲精品久久久久久毛片 | 中文字幕制服av| 少妇的丰满在线观看| 一a级毛片在线观看| 夜夜躁狠狠躁天天躁| 99国产综合亚洲精品| 在线观看免费视频日本深夜| x7x7x7水蜜桃| 日韩欧美一区视频在线观看| 看免费av毛片| 亚洲国产精品一区二区三区在线| 精品一区二区三区视频在线观看免费 | 久热这里只有精品99| 精品一区二区三区av网在线观看| 亚洲av日韩精品久久久久久密| 亚洲一区中文字幕在线| 日本撒尿小便嘘嘘汇集6|