• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主機(jī)性能度量的異構(gòu)集群作業(yè)調(diào)度算法

    2021-06-20 13:00:37王超陳剛黃剛王彪
    關(guān)鍵詞:負(fù)載均衡

    王超 陳剛 黃剛 王彪

    摘要:傳統(tǒng)經(jīng)典作業(yè)度算法在集群應(yīng)用中實(shí)現(xiàn)簡(jiǎn)單、執(zhí)行效率高,但在異構(gòu)集群環(huán)境下由于缺乏在線節(jié)點(diǎn)運(yùn)行狀態(tài)動(dòng)態(tài)反饋能力和負(fù)載均衡能力,降低了計(jì)算資源利用率和系統(tǒng)吞吐率。為解決上述問(wèn)題,設(shè)計(jì)了一種在異構(gòu)集群環(huán)境下基于主機(jī)性能度量的作業(yè)負(fù)載均衡調(diào)度算法,該算法通過(guò)收集集群中在線節(jié)點(diǎn)的狀態(tài)信息和作業(yè)響應(yīng)時(shí)間遴選出可信節(jié)點(diǎn)集合,計(jì)算出各可信節(jié)點(diǎn)的HPM值,利用負(fù)載均衡運(yùn)算規(guī)則生成候選的作業(yè)分配節(jié)點(diǎn)集合,最終按照預(yù)先設(shè)計(jì)的優(yōu)先原則把不同作業(yè)分配至各計(jì)算節(jié)點(diǎn),并更新各節(jié)點(diǎn)運(yùn)行狀態(tài)。實(shí)驗(yàn)結(jié)果表明,在異構(gòu)集群環(huán)境下調(diào)度同類型作業(yè)時(shí),該算法在總完成時(shí)間和負(fù)載均衡性能等指標(biāo)上均優(yōu)于傳統(tǒng)經(jīng)典算法。

    關(guān)鍵詞:異構(gòu)集群;主機(jī)性能度量;負(fù)載均衡;作業(yè)調(diào)度

    中圖分類號(hào):TP301文獻(xiàn)標(biāo)志碼:A文章編號(hào):1008-1739(2021)08-67-7

    0引言

    集群是多臺(tái)相互獨(dú)立的計(jì)算機(jī),通過(guò)高速網(wǎng)絡(luò)互聯(lián)形成一個(gè)整體系統(tǒng)后,對(duì)外提供服務(wù)并對(duì)集群本身加以管理。集群運(yùn)行過(guò)程的作業(yè)調(diào)度策略對(duì)集群資源利用率起著關(guān)鍵作用[1],調(diào)度策略的優(yōu)劣決定了集群中作業(yè)完成的效率。作業(yè)調(diào)度算法大致分為相互依賴和相互獨(dú)立2種算法。前者算法缺陷明顯,工程應(yīng)用不多,后者算法因?qū)崿F(xiàn)簡(jiǎn)單,大多數(shù)集群管理系統(tǒng)都在采用。目前在國(guó)內(nèi)外廣泛應(yīng)用的相互獨(dú)立的經(jīng)典作業(yè)調(diào)度算法中,主要包括先來(lái)先到服務(wù)(First Come First Service,F(xiàn)CFS)、Min-Min算法和基于優(yōu)先級(jí)調(diào)度(Priority)等[2]。

    常見的算法還包括輪詢調(diào)度算法、最小鏈接算法、遺傳算法、模擬退火算法等,但是輪詢調(diào)度算法和最小鏈接算法,沒有考慮各服務(wù)節(jié)點(diǎn)的性能差異[13],遺傳算法和模擬退火算法適應(yīng)于對(duì)復(fù)雜問(wèn)題的優(yōu)化,時(shí)效性較差[14]。在異構(gòu)集群環(huán)境下,由于各節(jié)點(diǎn)計(jì)算機(jī)性能差異較大,上述算法的缺陷顯得更為明顯。為提升對(duì)異構(gòu)集群資源的利用率,本文提出了主機(jī)性能度量(Host Performance Measurement,HPM)的概念,對(duì)集群各節(jié)點(diǎn)計(jì)算機(jī)的性能進(jìn)行量化,并設(shè)計(jì)了一種基于主機(jī)性能度量的作業(yè)負(fù)載均衡調(diào)度(Host Performance Measurement Load Balancing,HPMLB)算法。該算法主要通過(guò)度量主機(jī)性能和判斷作業(yè)響應(yīng)時(shí)間容忍度實(shí)現(xiàn)動(dòng)態(tài)的HPMLB,由集群的調(diào)度節(jié)點(diǎn)根據(jù)集群各節(jié)點(diǎn)的HPM信息,結(jié)合作業(yè)響應(yīng)狀態(tài),依據(jù)負(fù)載均衡調(diào)度策略,將請(qǐng)求分配到集群中的各個(gè)計(jì)算節(jié)點(diǎn),被派發(fā)作業(yè)的計(jì)算節(jié)點(diǎn)將接收請(qǐng)求并進(jìn)行作業(yè)處理。該算法采用分層設(shè)計(jì)理念,使得作業(yè)調(diào)度層與計(jì)算執(zhí)行層相分離,實(shí)現(xiàn)了對(duì)異構(gòu)集群環(huán)境下具有相同功能不同實(shí)現(xiàn)的計(jì)算作業(yè)的調(diào)度。

    1問(wèn)題建模

    在集群作業(yè)調(diào)度中,有一個(gè)節(jié)點(diǎn)作為調(diào)度節(jié)點(diǎn),完成對(duì)所有作業(yè)的計(jì)算資源調(diào)度與分配,各計(jì)算節(jié)點(diǎn)完成業(yè)務(wù)計(jì)算。系統(tǒng)整體調(diào)度與管理流程如下:

    ①集群節(jié)點(diǎn)的網(wǎng)絡(luò)代理軟件接收作業(yè)請(qǐng)求命令;

    ②集群調(diào)度節(jié)點(diǎn)獲取調(diào)度狀態(tài);

    ③集群調(diào)度節(jié)點(diǎn)的負(fù)載均衡調(diào)度器根據(jù)負(fù)載均衡調(diào)度算法進(jìn)行調(diào)度計(jì)算和作業(yè)派發(fā);

    ④受理作業(yè)計(jì)算節(jié)點(diǎn)進(jìn)行具體的計(jì)算處理,同時(shí)根據(jù)作業(yè)執(zhí)行情況更新本機(jī)狀態(tài);

    ⑤各集群節(jié)點(diǎn)通過(guò)集群狀態(tài)同步機(jī)制動(dòng)態(tài)實(shí)現(xiàn)各節(jié)點(diǎn)服務(wù)器狀態(tài)同步。

    針對(duì)上述流程,本文設(shè)計(jì)的HPMLB算法主要思想是:

    ①通過(guò)HPM、執(zhí)行工作列表(Executive Job List,EJL)和作業(yè)響應(yīng)時(shí)間容忍度來(lái)動(dòng)態(tài)地描述集群各節(jié)點(diǎn)當(dāng)前負(fù)載情況;

    ②由集群調(diào)度節(jié)點(diǎn)根據(jù)集群各節(jié)點(diǎn)的HPM和EJL等關(guān)鍵信息,結(jié)合作業(yè)響應(yīng)狀態(tài),依據(jù)負(fù)載均衡調(diào)度策略,將請(qǐng)求分配到集群中各計(jì)算節(jié)點(diǎn);

    ③各計(jì)算節(jié)點(diǎn)中的作業(yè)組織流程負(fù)責(zé)接受請(qǐng)求并組織作業(yè)執(zhí)行器進(jìn)行作業(yè)處理;

    ④各計(jì)算節(jié)點(diǎn)實(shí)時(shí)更新和對(duì)外發(fā)布本機(jī)的HPM和EJL等信息。

    作業(yè)調(diào)度總體流程如圖1所示。

    整個(gè)作業(yè)調(diào)度由集群中的調(diào)度節(jié)點(diǎn)完成,當(dāng)進(jìn)行HPMLB時(shí),調(diào)度節(jié)點(diǎn)首先收集集群中在線節(jié)點(diǎn)并篩選出可信節(jié)點(diǎn)。然后計(jì)算各可信節(jié)點(diǎn)的HPM值,根據(jù)負(fù)載均衡運(yùn)算規(guī)則生成候選集合。最后,依據(jù)同等條件下的優(yōu)先原則進(jìn)行作業(yè)分派,分派完成后進(jìn)行各節(jié)點(diǎn)狀態(tài)更新。

    為準(zhǔn)確描述上述過(guò)程,給出集群節(jié)點(diǎn)性能、EJL和網(wǎng)絡(luò)狀態(tài)信息等概念的定義:

    ②EJL具體內(nèi)容如表1所示。

    ③集群節(jié)點(diǎn)狀態(tài)信息(The Cluster Node Status information,CNS):各集群節(jié)點(diǎn)服務(wù)器維護(hù)本機(jī)的狀態(tài)以及本機(jī)與其余節(jié)點(diǎn)的狀態(tài)信息,如表2所示。

    2算法設(shè)計(jì)

    2.1生成可信節(jié)點(diǎn)

    (1)收集在線節(jié)點(diǎn)

    集群各節(jié)點(diǎn)都保存集群狀態(tài)信息列表,包含本節(jié)點(diǎn)與集群其他所有節(jié)點(diǎn)當(dāng)前的網(wǎng)絡(luò)狀態(tài)情況,并以固定周期△輪詢檢測(cè)更新整個(gè)集群的狀態(tài)信息,其檢測(cè)方式為集群中各節(jié)點(diǎn)以固定周期△循環(huán)接收集群節(jié)點(diǎn)的狀態(tài)信息和第三方心跳;接收調(diào)度節(jié)點(diǎn)信號(hào),確定調(diào)度節(jié)點(diǎn)的狀態(tài);完成節(jié)點(diǎn)狀態(tài)信息的同步與更新;調(diào)度節(jié)點(diǎn)根據(jù)心跳檢測(cè)和集群節(jié)點(diǎn)的狀態(tài)信息,生成集群在線節(jié)點(diǎn)的集合A。

    (2)篩選可信節(jié)點(diǎn)

    在生成的集群在線節(jié)點(diǎn)集合A中,調(diào)度節(jié)點(diǎn)查詢集合A中各個(gè)的IGHOST_INFO[].mainstatus值,若該值為1,則表示該對(duì)應(yīng)的節(jié)點(diǎn)與調(diào)度節(jié)點(diǎn)通信正常,若為0,則表示與調(diào)度節(jié)點(diǎn)通信狀態(tài)異常,將其中值為1的生成與調(diào)度節(jié)點(diǎn)通信正常的節(jié)點(diǎn)集合B;

    然后篩選出滿足作業(yè)響應(yīng)時(shí)間容忍度的節(jié)點(diǎn),生成可信節(jié)點(diǎn)集合C,根據(jù)式(3)進(jìn)行本節(jié)點(diǎn)與集合B中節(jié)點(diǎn)的網(wǎng)絡(luò)路徑計(jì)算,獲取本地的當(dāng)前時(shí)間,然后獲取本節(jié)點(diǎn)接收到的最近一次該發(fā)送的節(jié)點(diǎn)心跳時(shí)間,計(jì)算出該與調(diào)度節(jié)點(diǎn)的系統(tǒng)路徑長(zhǎng)度。

    作業(yè)響應(yīng)時(shí)間容忍度Dpt作為系統(tǒng)常數(shù)進(jìn)行配置,通過(guò)式(5)進(jìn)行作業(yè)響應(yīng)狀態(tài)運(yùn)算。()=1表示作業(yè)響應(yīng)正常,()=0表示作業(yè)響應(yīng)超時(shí),并將值為1的放在集合C中。

    2.2作業(yè)調(diào)度

    調(diào)度節(jié)點(diǎn)在生成的可信節(jié)點(diǎn)集合C中,計(jì)算HPM值,選取HPM值最小的節(jié)點(diǎn)集合生成候選集合D。在候選集合生成后,按如下原則進(jìn)行作業(yè)分配:

    ①若系統(tǒng)滿負(fù)荷,即HPM值為Mhpm,作業(yè)拒絕;

    ②若候選節(jié)點(diǎn)唯一,即集合D中的元素唯一,則作業(yè)直接派發(fā)給該;

    ③若候選節(jié)點(diǎn)不唯一,即集合D中的元素不唯一,則選取值最大的進(jìn)行派發(fā)。

    詳細(xì)處理流程如圖2所示。

    ①獲取調(diào)度請(qǐng)求;

    ②獲取節(jié)點(diǎn)計(jì)算機(jī)的狀態(tài)信息;

    ③查詢集群狀態(tài)列表,獲取其為在線狀態(tài)的計(jì)算機(jī)節(jié)點(diǎn)集合A;

    ④在集合A中查詢與調(diào)度節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)正常的計(jì)算機(jī)節(jié)點(diǎn)集合B;

    ⑤在集合B中遴選出滿足()=1的集合C,其中作業(yè)響應(yīng)的容忍時(shí)間Dpt一般設(shè)置為3△;

    ⑥在集合C中計(jì)算并選擇HPM值最小的集合D;

    ⑦判斷集合D的元素個(gè)數(shù)是否為1,若為1,則將該“+調(diào)度請(qǐng)求”作為調(diào)度請(qǐng)求結(jié)果對(duì)外發(fā)出,否則將集合中“最大值的+調(diào)度請(qǐng)求”作為調(diào)度請(qǐng)求結(jié)果對(duì)外發(fā)出;若集合D中各對(duì)應(yīng)的計(jì)算機(jī)的HPM值>Mhpm(系統(tǒng)允許的最大負(fù)荷0<≤1)時(shí),置為MAX_HOSTNUM+1;

    ⑧更新各節(jié)點(diǎn)當(dāng)前的值。

    2.3狀態(tài)動(dòng)態(tài)同步

    HPMLB算法在進(jìn)行作業(yè)調(diào)度時(shí),為了及時(shí)獲取集群各節(jié)點(diǎn)的動(dòng)態(tài)負(fù)載情況以及對(duì)整個(gè)集群系統(tǒng)的集中管控,設(shè)計(jì)了集群狀態(tài)動(dòng)態(tài)同步機(jī)制,集群各節(jié)點(diǎn)實(shí)時(shí)收集更新本節(jié)點(diǎn)狀態(tài),并將本節(jié)點(diǎn)狀態(tài)對(duì)外發(fā)出,同時(shí)接收其余節(jié)點(diǎn)狀態(tài)信息,將接收到的其他節(jié)點(diǎn)狀態(tài)信息更新到本機(jī)。其同步及發(fā)布內(nèi)容有:維護(hù)本節(jié)點(diǎn)作業(yè)執(zhí)行狀態(tài);維護(hù)本節(jié)點(diǎn)HPM值;對(duì)外發(fā)布工作列表數(shù)據(jù);更新本節(jié)點(diǎn)保存的其余節(jié)點(diǎn)發(fā)布的狀態(tài)信息;維護(hù)本節(jié)點(diǎn)與其余節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài),若本節(jié)點(diǎn)與某一節(jié)點(diǎn)的節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)函數(shù)nets ()的值為0,則將本節(jié)點(diǎn)與該節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀態(tài)設(shè)置為超時(shí);對(duì)外發(fā)布本節(jié)點(diǎn)狀態(tài)信息。

    2.4整體算法描述

    根據(jù)以上設(shè)計(jì)思路,本節(jié)給出了HPMLB算法的整體描述,其處理過(guò)程主要包括選取生成在線可信節(jié)點(diǎn)的集合,并計(jì)算節(jié)點(diǎn)的HPM值,選取最小HPM值的最大進(jìn)行作業(yè)分派。

    3算法分析

    選取5臺(tái)服務(wù)器構(gòu)建集群,設(shè)定集群整體性能,即總計(jì)算能力固定。針對(duì)單一作業(yè)類型,不同作業(yè)數(shù)量集合,對(duì)HPMLB算法、FCFS算法和Min-Min算法從作業(yè)總完成時(shí)間和節(jié)點(diǎn)負(fù)載均衡情況進(jìn)行分析。

    3.1作業(yè)總完成時(shí)間

    衡量作業(yè)調(diào)度器性能的標(biāo)準(zhǔn)之一,總的作業(yè)完成時(shí)間越小,說(shuō)明該作業(yè)調(diào)度器作業(yè)處理速度越快,反之越慢。針對(duì)HPMLB算法、FCFS算法和Min-Min算法,設(shè)置4組規(guī)模不同的單一作業(yè)集合,選取5臺(tái)服務(wù)器構(gòu)建集群,在總計(jì)算能力固定的情況下,分為各節(jié)點(diǎn)服務(wù)器計(jì)算能力相同和計(jì)算能力2種不同情況對(duì)作業(yè)總完成時(shí)間進(jìn)行統(tǒng)計(jì)。

    (1)節(jié)點(diǎn)計(jì)算能力相同

    現(xiàn)假定集群每個(gè)節(jié)點(diǎn)的計(jì)算能力為可并行執(zhí)行30個(gè)作業(yè),則整個(gè)集群總的計(jì)算能力為并行執(zhí)行150個(gè)作業(yè)。其計(jì)算資源分配如表3所示。

    設(shè)置每個(gè)作業(yè)耗時(shí)20 s,作業(yè)按均勻分布到達(dá),選取4組不同規(guī)模的作業(yè)集合,分別為50,100,700,1 000,作業(yè)規(guī)模包括小于系統(tǒng)并行作業(yè)數(shù)量和大于系統(tǒng)并行作業(yè)數(shù)量的情況,統(tǒng)計(jì)整個(gè)作業(yè)集合的總完成時(shí)間,結(jié)果如圖3所示。

    從圖3可以看出,當(dāng)作業(yè)類型一致,在同構(gòu)集群中FCFS,HPMLB總作業(yè)完成時(shí)間相當(dāng),優(yōu)于Min-Min算法。Min-Min算法耗費(fèi)時(shí)間多的原因在于其計(jì)時(shí)限量等待需要耗費(fèi)一定時(shí)間,并在每個(gè)作業(yè)分配完畢后需遍歷和更新作業(yè)的期望完成時(shí)間,因此隨著作業(yè)量的增大,其耗費(fèi)的時(shí)間越長(zhǎng)。

    (2)節(jié)點(diǎn)計(jì)算能力不同

    在節(jié)點(diǎn)計(jì)算能力不同的情況下,構(gòu)建異構(gòu)集群,每臺(tái)計(jì)算機(jī)性能是不一致的,即每個(gè)節(jié)點(diǎn),,三個(gè)參數(shù)值配置不同,,1,2三個(gè)參數(shù)值配置相同,現(xiàn)模擬異構(gòu)集群下計(jì)算資源分配如表4所示。

    上述作業(yè)集作業(yè)的總完成時(shí)間如圖4所示。

    從圖4可以看出,在各節(jié)點(diǎn)性能差異較大的異構(gòu)集群中,當(dāng)作業(yè)規(guī)模數(shù)小于系統(tǒng)并行作業(yè)數(shù)量時(shí),HPMLB、FCFS和Min-Min三種算法的總完成時(shí)間相當(dāng),當(dāng)作業(yè)規(guī)模數(shù)大于系統(tǒng)并行作業(yè)數(shù)量時(shí),HPMLB作業(yè)總時(shí)間明顯優(yōu)于FCFS和Min-Min算法,而且隨著作業(yè)規(guī)模的不斷增加,差距越發(fā)明顯。在HPMLB算法中,作業(yè)調(diào)度器能夠?qū)崟r(shí)獲取各節(jié)點(diǎn)服務(wù)器的動(dòng)態(tài)負(fù)載,能夠較準(zhǔn)確地把作業(yè)分配給能夠立即執(zhí)行的節(jié)點(diǎn)服務(wù)器,從而大大節(jié)省了作業(yè)的等待時(shí)間。

    同時(shí),對(duì)3種算法針對(duì)2種不同的服務(wù)器集群作業(yè)調(diào)度時(shí)間做了比較,發(fā)現(xiàn)HPMLB算法對(duì)不同的集群環(huán)境適應(yīng)性最好,在2種集群環(huán)境下作業(yè)總完成時(shí)間相當(dāng)。其次是Min-Min算法,在2種集群環(huán)境下作業(yè)總完成時(shí)間有所變化,但是變化幅度不大,F(xiàn)CFS算法適應(yīng)性最差。結(jié)果如圖5所示。

    綜上所述,3種算法都會(huì)隨著作業(yè)數(shù)量的增加,總時(shí)間呈上升趨勢(shì)。HPMLB算法對(duì)不同集群環(huán)境適應(yīng)性最好,Min-Min算法性能次之,F(xiàn)CFS算法性能最差。

    當(dāng)作業(yè)規(guī)模小于集群可并行運(yùn)行的最大作業(yè)數(shù)時(shí),3種算法作業(yè)總完成時(shí)間相當(dāng),當(dāng)作業(yè)規(guī)模大于集群可并行運(yùn)行的最大作業(yè)個(gè)數(shù)時(shí),HPMLB算法的總完成時(shí)間明顯小于Min-Min算法和FCFS算法的總完成時(shí)間。

    3.2節(jié)點(diǎn)負(fù)載均衡情況

    負(fù)載均衡是指作業(yè)調(diào)度到各節(jié)點(diǎn)計(jì)算機(jī)上時(shí),確保大多數(shù)節(jié)點(diǎn)計(jì)算機(jī)有作業(yè)運(yùn)行,即充分利用集群計(jì)算資源。由于FCFS算法只是靜態(tài)地把先來(lái)先到的作業(yè)按節(jié)點(diǎn)順序依次分配給各節(jié)點(diǎn)計(jì)算機(jī),因此這里不分析該算法的負(fù)載均衡性,只對(duì)HPMLB算法和Min-Min算法的節(jié)點(diǎn)負(fù)載均衡情況進(jìn)行分析比較。

    依據(jù)表4的計(jì)算資源構(gòu)建異構(gòu)集群,針對(duì)單一類型作業(yè),在集群每個(gè)節(jié)點(diǎn)的計(jì)算能力和集群總體計(jì)算能力固定的情況下,當(dāng)整個(gè)集群系統(tǒng)未達(dá)到滿載時(shí),設(shè)置不同規(guī)模的單一作業(yè)集合,考慮2種作業(yè)調(diào)度算法下系統(tǒng)的負(fù)載均衡情況。

    為減少負(fù)載均衡情況的計(jì)算量,假定所有作業(yè)的執(zhí)行時(shí)間滿足整個(gè)作業(yè)集被分配完畢后,沒有作業(yè)運(yùn)行結(jié)束。此時(shí),集群每個(gè)節(jié)點(diǎn)的負(fù)載情況均可用當(dāng)前執(zhí)行的作業(yè)數(shù)與當(dāng)前節(jié)點(diǎn)能承擔(dān)的最大作業(yè)數(shù)之比來(lái)衡量,即用HPM值來(lái)進(jìn)行衡量。

    從圖6和圖7可以看出,Min-Min算法優(yōu)先將作業(yè)分配給性能好的服務(wù)器,導(dǎo)致整個(gè)集群各節(jié)點(diǎn)負(fù)載不均衡,出現(xiàn)了SOCAS05節(jié)點(diǎn)已經(jīng)滿負(fù)荷運(yùn)行,而SOCAS01仍處在空閑無(wú)作業(yè)執(zhí)行的狀態(tài)。而HPMLB算法在不同規(guī)模的作業(yè)集合下,整個(gè)集群各節(jié)點(diǎn)的負(fù)載情況相對(duì)均衡,未出現(xiàn)空置服務(wù)器情況。通過(guò)在同一作業(yè)規(guī)模下,利用2種算法調(diào)度集群各節(jié)點(diǎn)負(fù)載情況的方差統(tǒng)計(jì)情況,比較2種調(diào)度算法的負(fù)載均衡性能。方差值越小,均衡性越好,結(jié)果如圖8所示。

    從圖8可以看出,HPMLB算法的負(fù)載均衡性在不同作業(yè)規(guī)模下,其負(fù)載均衡性均優(yōu)于Min-Min算法。

    當(dāng)作業(yè)數(shù)大于系統(tǒng)的總負(fù)載作業(yè)數(shù)時(shí),Min-Min算法會(huì)導(dǎo)致集群中某些節(jié)點(diǎn)超載,某些節(jié)點(diǎn)空閑的情況,而HPMLB算法由于在實(shí)時(shí)收集各服務(wù)器動(dòng)態(tài)的負(fù)載情況,當(dāng)節(jié)點(diǎn)服務(wù)器作業(yè)運(yùn)行結(jié)束后,該節(jié)點(diǎn)最新負(fù)載情況會(huì)被調(diào)度器動(dòng)態(tài)感知。因此,當(dāng)作業(yè)規(guī)模過(guò)大時(shí),在負(fù)載均衡性方面,HPMLB算法優(yōu)于Min-Min算法。

    綜上所述,HPMLB算法在異構(gòu)集群下,針對(duì)同一作業(yè)類型,從作業(yè)總完成時(shí)間以及節(jié)點(diǎn)的負(fù)載均衡性方面均優(yōu)于FCFS和Min-Min算法。

    4結(jié)束語(yǔ)

    本文根據(jù)異構(gòu)集群特點(diǎn),提出了一種基于HPM的HPMLB算法。實(shí)驗(yàn)結(jié)果表明,HPMLB算法在異構(gòu)集群環(huán)境下,對(duì)同類型作業(yè)的調(diào)度性能在總完成時(shí)間和負(fù)載均衡性上均優(yōu)于FCFS和Min-Min算法。該算法在準(zhǔn)實(shí)時(shí)性應(yīng)用設(shè)計(jì)中具有一定的通用性,已用于航天測(cè)控中心軌道計(jì)算分析平臺(tái)系統(tǒng),為航天器在軌安全管理和穩(wěn)定運(yùn)行提供了有效保障。

    參考文獻(xiàn)

    [1] KHAN K H, QURESHI K, ABD-EL-BARR M. An Efficient Grid Scheduling Strategy for Data Parallel Applications[J].J Supercomput,2014,68(3):1487-1502.

    [2]宋俊輝,馮巖.負(fù)載均衡的分布式系統(tǒng)任務(wù)調(diào)度優(yōu)化算法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2017,55(2):383-387.

    [3] LATIP R, IDRIS Z. Highest Response Ratio Next (HRRN) vs First Come First Served (FCFS) Scheduling Algorithm in Grid Environment[J].Software Engineering and Computer Systems, 2011,11(1):689-691.

    [4]杜玉霞,劉方愛,郭磊.Min-Min調(diào)度算法的研究與改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(24):107-109.

    [5]王文豪,嚴(yán)云洋.周靜波.基于負(fù)載均衡的Min-Min作業(yè)調(diào)度算法優(yōu)化[J].南京理工大學(xué)學(xué)報(bào),2015,39(4):398-404.

    [6]姜?jiǎng)P華,韓銳,孫鵬,等.基于Min-Min算法的智能終端服務(wù)遷移技術(shù)研究[J].網(wǎng)絡(luò)新媒體技術(shù),2020,9(4):37-40.

    [7] HUANKAI C,WANG F,HELIAN N.User-priority Guided Min-Min Scheduling Algorithm for Load Balancing in Cloud Computing[C]//In: Proceedings of the 2013 National Conference on Parallel Computing Technologies( PARCOMPTECH).Bangalore:IEEE,2013:1-8.

    [8]王釗,劉釗遠(yuǎn).一種改進(jìn)的流媒體集群動(dòng)態(tài)負(fù)載均衡調(diào)度算法[J].計(jì)算機(jī)與數(shù)字工程,2018,46(2):241-246.

    [9]劉斌.基于云計(jì)算中的任務(wù)調(diào)度算法研究[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2019.

    [10] MAHESWARAN M, SIEGEL HJ.A Dynamic Matching and Scheduling Algorithm for Heterogeneous Computing Systems[C]//Proceedings Seventh Heterogeneous Computing Workshop(HCW98). Orlando: IEEE,1998: 59-69.

    [11] AMIN S,MOHAMED O,HAMIDAH I,et al. New Method for Scheduling Heterogeneous Multi-installment Systems[J]. Future Generation Computer Systems,2012,28(8):1205-1216.

    [12]王曉萍,孟坤.異構(gòu)分布式系統(tǒng)的可分任務(wù)作業(yè)調(diào)度算法[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(4):797-800.

    [13]張臘,劉淑芬,韓璐.基于負(fù)載均衡的作業(yè)調(diào)度算法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2014,52(4):769-773.

    [14]朱曉敏,陸佩忠.異構(gòu)集群系統(tǒng)中安全關(guān)鍵實(shí)時(shí)應(yīng)用調(diào)度研究[J].計(jì)算機(jī)學(xué)報(bào),2010,33(12):2364-2377.

    猜你喜歡
    負(fù)載均衡
    LBS檢索容災(zāi)架構(gòu)研究
    Linux負(fù)載均衡集群技術(shù)在網(wǎng)絡(luò)服務(wù)器中的應(yīng)用
    Oracle MAA在汽車行業(yè)電子政務(wù)平臺(tái)中的應(yīng)用
    社區(qū)教育平臺(tái)運(yùn)營(yíng)策略研究
    軟件(2016年4期)2017-01-20 09:39:56
    異構(gòu)環(huán)境下改進(jìn)的LATE調(diào)度算法
    基于負(fù)載均衡的云資源調(diào)度策略研究
    基于新型VPN 技術(shù)的高校校園網(wǎng)改造
    基于云計(jì)算的虛擬實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)及應(yīng)用
    基于離散PSO算法的醫(yī)療云存儲(chǔ)部署策略
    多站點(diǎn)同步更新系統(tǒng)的設(shè)計(jì)
    科技視界(2016年3期)2016-02-26 20:16:57
    最近中文字幕2019免费版| 性色av乱码一区二区三区2| 丝袜美腿诱惑在线| 欧美黑人欧美精品刺激| 日韩欧美一区视频在线观看| 少妇精品久久久久久久| av天堂在线播放| 日韩制服丝袜自拍偷拍| av天堂在线播放| 免费少妇av软件| 日本欧美视频一区| 午夜福利乱码中文字幕| 亚洲国产精品999| 精品少妇黑人巨大在线播放| 国产在线视频一区二区| 成年人免费黄色播放视频| 久久人妻熟女aⅴ| 亚洲天堂av无毛| 男女高潮啪啪啪动态图| 欧美精品亚洲一区二区| 80岁老熟妇乱子伦牲交| 午夜福利在线观看吧| 爱豆传媒免费全集在线观看| 国产老妇伦熟女老妇高清| 国产亚洲av片在线观看秒播厂| 国产欧美日韩精品亚洲av| 视频区欧美日本亚洲| 老司机亚洲免费影院| 搡老熟女国产l中国老女人| 老司机在亚洲福利影院| 亚洲av成人不卡在线观看播放网 | 亚洲,欧美精品.| 久久久欧美国产精品| 美女高潮喷水抽搐中文字幕| 日韩三级视频一区二区三区| 久久久久久久久久久久大奶| 在线观看免费日韩欧美大片| 天天操日日干夜夜撸| 亚洲av国产av综合av卡| 午夜精品久久久久久毛片777| 操出白浆在线播放| 99久久精品国产亚洲精品| 777米奇影视久久| 国产精品一区二区在线不卡| 真人做人爱边吃奶动态| 女人爽到高潮嗷嗷叫在线视频| 免费在线观看视频国产中文字幕亚洲 | 久久综合国产亚洲精品| 亚洲精品中文字幕在线视频| 色94色欧美一区二区| 黄色片一级片一级黄色片| 一级毛片精品| 免费黄频网站在线观看国产| 国产高清有码在线观看视频 | 又粗又爽又猛毛片免费看| 亚洲精品国产精品久久久不卡| 久9热在线精品视频| 啦啦啦韩国在线观看视频| 麻豆久久精品国产亚洲av| 美女高潮喷水抽搐中文字幕| 99久久国产精品久久久| 一本大道久久a久久精品| 午夜福利18| or卡值多少钱| 色综合欧美亚洲国产小说| 天天一区二区日本电影三级| 丰满的人妻完整版| 两性夫妻黄色片| 国产在线精品亚洲第一网站| 久久精品人妻少妇| 香蕉丝袜av| 两人在一起打扑克的视频| 好看av亚洲va欧美ⅴa在| 男女午夜视频在线观看| 最近最新中文字幕大全免费视频| 午夜福利成人在线免费观看| 变态另类成人亚洲欧美熟女| 国产精品一区二区三区四区久久| 亚洲欧美日韩高清专用| 国产精品野战在线观看| 亚洲成人精品中文字幕电影| 一边摸一边抽搐一进一小说| 中文字幕久久专区| 一进一出抽搐gif免费好疼| 国产午夜精品久久久久久| 操出白浆在线播放| 成人精品一区二区免费| 黄色成人免费大全| 亚洲av美国av| 免费看十八禁软件| 亚洲男人的天堂狠狠| 色老头精品视频在线观看| 中文字幕人成人乱码亚洲影| 国产成人影院久久av| 91大片在线观看| 亚洲av五月六月丁香网| 国产精品一及| 操出白浆在线播放| 日韩国内少妇激情av| 午夜a级毛片| 一边摸一边抽搐一进一小说| 中文字幕av在线有码专区| av天堂在线播放| 性色av乱码一区二区三区2| 亚洲avbb在线观看| 精品国产亚洲在线| 视频区欧美日本亚洲| 99热6这里只有精品| 欧美高清成人免费视频www| 人人妻人人澡欧美一区二区| 欧美午夜高清在线| 亚洲国产精品成人综合色| 最新在线观看一区二区三区| 成年版毛片免费区| 国产91精品成人一区二区三区| 久久九九热精品免费| 脱女人内裤的视频| 国产野战对白在线观看| 色播亚洲综合网| 正在播放国产对白刺激| 久久久久久九九精品二区国产 | 黄色丝袜av网址大全| 亚洲欧美日韩高清在线视频| 亚洲欧美一区二区三区黑人| 免费人成视频x8x8入口观看| 一本久久中文字幕| 国内精品久久久久久久电影| 国产精品一区二区免费欧美| 99国产精品一区二区三区| 18禁观看日本| 久久天堂一区二区三区四区| 日本免费a在线| 在线观看日韩欧美| 伦理电影免费视频| 日日爽夜夜爽网站| 日本黄色视频三级网站网址| 美女免费视频网站| 一个人免费在线观看的高清视频| 1024手机看黄色片| 啦啦啦韩国在线观看视频| 国产男靠女视频免费网站| 亚洲av熟女| 精品第一国产精品| 午夜福利18| 中亚洲国语对白在线视频| 国产在线精品亚洲第一网站| 少妇人妻一区二区三区视频| 亚洲av熟女| 亚洲人成网站高清观看| 女人高潮潮喷娇喘18禁视频| 桃红色精品国产亚洲av| 亚洲中文日韩欧美视频| 久久99热这里只有精品18| 制服诱惑二区| 不卡av一区二区三区| 国产欧美日韩一区二区三| 欧美色视频一区免费| 在线观看舔阴道视频| 伊人久久大香线蕉亚洲五| 国产av一区二区精品久久| 色哟哟哟哟哟哟| 少妇被粗大的猛进出69影院| 1024视频免费在线观看| 法律面前人人平等表现在哪些方面| 一本大道久久a久久精品| 最好的美女福利视频网| 国产精品日韩av在线免费观看| 一进一出抽搐动态| 午夜久久久久精精品| 熟妇人妻久久中文字幕3abv| 一区二区三区高清视频在线| 亚洲,欧美精品.| www.www免费av| 高清在线国产一区| 成人国产综合亚洲| 搡老岳熟女国产| 国内毛片毛片毛片毛片毛片| 久久久精品国产亚洲av高清涩受| 黄色毛片三级朝国网站| 成人av一区二区三区在线看| 国产成年人精品一区二区| 日韩大码丰满熟妇| 天堂影院成人在线观看| 757午夜福利合集在线观看| 日韩欧美三级三区| 97超级碰碰碰精品色视频在线观看| 黄色成人免费大全| 国内毛片毛片毛片毛片毛片| 婷婷丁香在线五月| 怎么达到女性高潮| 欧美色视频一区免费| 正在播放国产对白刺激| 亚洲av五月六月丁香网| 久久久久亚洲av毛片大全| 亚洲国产欧美人成| 后天国语完整版免费观看| 黑人欧美特级aaaaaa片| 在线观看66精品国产| 草草在线视频免费看| 免费人成视频x8x8入口观看| 国产精品久久电影中文字幕| 欧美性长视频在线观看| 少妇人妻一区二区三区视频| 在线观看美女被高潮喷水网站 | 亚洲人与动物交配视频| 欧美不卡视频在线免费观看 | 欧美激情久久久久久爽电影| 亚洲中文av在线| 一卡2卡三卡四卡精品乱码亚洲| 动漫黄色视频在线观看| 午夜福利免费观看在线| 久久国产精品人妻蜜桃| 五月伊人婷婷丁香| 久久久精品国产亚洲av高清涩受| 亚洲一区二区三区色噜噜| 日本a在线网址| 50天的宝宝边吃奶边哭怎么回事| 伊人久久大香线蕉亚洲五| 亚洲精品美女久久av网站| 可以免费在线观看a视频的电影网站| 又紧又爽又黄一区二区| 亚洲欧美一区二区三区黑人| 精品日产1卡2卡| 久久久久国产精品人妻aⅴ院| 日韩欧美三级三区| 成人av在线播放网站| 在线观看舔阴道视频| 18禁国产床啪视频网站| 精品日产1卡2卡| 久久久久久九九精品二区国产 | 一区二区三区高清视频在线| 国产精品 国内视频| 久久久久久久久中文| 日本 av在线| 中文字幕精品亚洲无线码一区| 久久国产精品影院| 国产黄色小视频在线观看| 99热这里只有是精品50| av欧美777| bbb黄色大片| av福利片在线观看| 亚洲av第一区精品v没综合| 在线播放国产精品三级| 巨乳人妻的诱惑在线观看| 别揉我奶头~嗯~啊~动态视频| 国产精品一区二区三区四区免费观看 | 麻豆成人av在线观看| 亚洲九九香蕉| 丁香六月欧美| 岛国视频午夜一区免费看| 99久久综合精品五月天人人| 伊人久久大香线蕉亚洲五| 在线观看午夜福利视频| 国产精品一区二区三区四区免费观看 | 免费在线观看影片大全网站| a在线观看视频网站| 欧美 亚洲 国产 日韩一| 国产黄a三级三级三级人| 亚洲精品国产一区二区精华液| 午夜福利高清视频| 制服诱惑二区| 久久精品91蜜桃| 国产成人精品无人区| 国产成人精品久久二区二区免费| 国产精品一区二区三区四区久久| 国产av一区在线观看免费| 亚洲自拍偷在线| 一级作爱视频免费观看| 久久精品91蜜桃| 欧美在线一区亚洲| 欧美性长视频在线观看| 成在线人永久免费视频| 一区二区三区国产精品乱码| 哪里可以看免费的av片| 黄色a级毛片大全视频| 99re在线观看精品视频| 老司机午夜福利在线观看视频| 999久久久国产精品视频| 一本久久中文字幕| 黑人巨大精品欧美一区二区mp4| 精品国产乱码久久久久久男人| 久久久精品大字幕| 欧美黄色片欧美黄色片| 欧美极品一区二区三区四区| 日韩欧美精品v在线| 在线观看日韩欧美| 亚洲成人久久性| 麻豆av在线久日| 不卡av一区二区三区| 淫秽高清视频在线观看| 国产激情偷乱视频一区二区| 中文字幕人妻丝袜一区二区| 九色国产91popny在线| 中文字幕人成人乱码亚洲影| 成年女人毛片免费观看观看9| 精品电影一区二区在线| 99精品久久久久人妻精品| av福利片在线观看| 中亚洲国语对白在线视频| 国产精品乱码一区二三区的特点| 午夜亚洲福利在线播放| 国产精品亚洲美女久久久| 床上黄色一级片| 九色国产91popny在线| 久久精品aⅴ一区二区三区四区| 女人被狂操c到高潮| 精品一区二区三区视频在线观看免费| 男女视频在线观看网站免费 | 禁无遮挡网站| 黄色成人免费大全| 狠狠狠狠99中文字幕| 欧美乱码精品一区二区三区| 中文字幕熟女人妻在线| 国产成人精品久久二区二区免费| 久久久国产精品麻豆| 精品久久久久久久久久免费视频| 免费av毛片视频| 99久久综合精品五月天人人| 精华霜和精华液先用哪个| xxxwww97欧美| 久久久久亚洲av毛片大全| 别揉我奶头~嗯~啊~动态视频| 亚洲中文字幕日韩| 桃红色精品国产亚洲av| 久久精品91蜜桃| 一边摸一边抽搐一进一小说| 精品不卡国产一区二区三区| 久久精品成人免费网站| 小说图片视频综合网站| 中国美女看黄片| 老熟妇乱子伦视频在线观看| 母亲3免费完整高清在线观看| 熟妇人妻久久中文字幕3abv| 一夜夜www| 亚洲一区二区三区不卡视频| 精品国产乱码久久久久久男人| 日韩欧美在线乱码| 欧美性猛交╳xxx乱大交人| 真人做人爱边吃奶动态| a级毛片a级免费在线| 国产精品电影一区二区三区| 国产三级黄色录像| 中文字幕av在线有码专区| 国产一区二区在线av高清观看| 50天的宝宝边吃奶边哭怎么回事| 久久精品影院6| 日本一本二区三区精品| 美女高潮喷水抽搐中文字幕| 日韩大尺度精品在线看网址| 国产午夜精品久久久久久| 一级毛片女人18水好多| 亚洲精品国产精品久久久不卡| 中文字幕久久专区| 国产三级黄色录像| 99久久99久久久精品蜜桃| videosex国产| 久久久久免费精品人妻一区二区| 日本免费a在线| 国产伦在线观看视频一区| or卡值多少钱| 成人永久免费在线观看视频| а√天堂www在线а√下载| 好看av亚洲va欧美ⅴa在| 中文字幕熟女人妻在线| 久久精品亚洲精品国产色婷小说| 搡老妇女老女人老熟妇| 老熟妇乱子伦视频在线观看| 免费看十八禁软件| 久久久久久免费高清国产稀缺| 18禁裸乳无遮挡免费网站照片| 国产黄片美女视频| 日韩大码丰满熟妇| 日本黄大片高清| 色精品久久人妻99蜜桃| 午夜日韩欧美国产| 动漫黄色视频在线观看| 国产精品综合久久久久久久免费| 男女之事视频高清在线观看| 法律面前人人平等表现在哪些方面| 欧美 亚洲 国产 日韩一| 婷婷六月久久综合丁香| 国产精品美女特级片免费视频播放器 | 两个人视频免费观看高清| 99热这里只有是精品50| 国产在线观看jvid| 一级作爱视频免费观看| 岛国在线观看网站| 久久久久久国产a免费观看| 国产精品 欧美亚洲| 日本五十路高清| 禁无遮挡网站| 亚洲国产精品合色在线| av有码第一页| 91大片在线观看| 村上凉子中文字幕在线| 一本一本综合久久| 日本熟妇午夜| 亚洲无线在线观看| 一本精品99久久精品77| 国产在线观看jvid| 国内精品久久久久久久电影| 国产一区二区三区视频了| 精品免费久久久久久久清纯| 人妻丰满熟妇av一区二区三区| 国产在线观看jvid| 在线观看免费午夜福利视频| 黄色成人免费大全| 一个人免费在线观看电影 | 黄色毛片三级朝国网站| 国产精华一区二区三区| 欧美日韩瑟瑟在线播放| videosex国产| 两个人看的免费小视频| 美女大奶头视频| 国产麻豆成人av免费视频| 亚洲国产高清在线一区二区三| 久久久精品欧美日韩精品| 99热这里只有是精品50| 久久亚洲精品不卡| 久久人妻av系列| 波多野结衣高清作品| 国产激情欧美一区二区| 欧美性猛交╳xxx乱大交人| 老司机深夜福利视频在线观看| 欧美zozozo另类| 在线观看66精品国产| 91国产中文字幕| 99久久久亚洲精品蜜臀av| 亚洲人与动物交配视频| 成人三级黄色视频| 久久久久精品国产欧美久久久| 亚洲av美国av| 色综合婷婷激情| 俄罗斯特黄特色一大片| 老司机在亚洲福利影院| 黄片大片在线免费观看| 日韩免费av在线播放| 国产视频内射| 亚洲精品久久成人aⅴ小说| 国产aⅴ精品一区二区三区波| 免费高清视频大片| 欧美高清成人免费视频www| 黄频高清免费视频| 女同久久另类99精品国产91| 午夜免费成人在线视频| 亚洲免费av在线视频| 中文字幕人成人乱码亚洲影| 成人18禁高潮啪啪吃奶动态图| 中文字幕人妻丝袜一区二区| 亚洲av成人一区二区三| 成人午夜高清在线视频| 中文亚洲av片在线观看爽| tocl精华| 黄色 视频免费看| 成人手机av| 一边摸一边做爽爽视频免费| 免费搜索国产男女视频| 国内精品一区二区在线观看| 久久中文字幕人妻熟女| 午夜日韩欧美国产| 久久久久久大精品| 亚洲av中文字字幕乱码综合| 免费在线观看完整版高清| 国产视频内射| 午夜视频精品福利| 毛片女人毛片| 三级男女做爰猛烈吃奶摸视频| 国产亚洲精品久久久久5区| 看片在线看免费视频| 亚洲美女视频黄频| 久久久久国产一级毛片高清牌| 99国产极品粉嫩在线观看| 国产真实乱freesex| 亚洲中文字幕日韩| 精品久久久久久久末码| 日本熟妇午夜| 我要搜黄色片| 欧美日本视频| 亚洲国产欧美人成| 99热这里只有是精品50| 久久婷婷人人爽人人干人人爱| √禁漫天堂资源中文www| 欧美黑人精品巨大| 美女扒开内裤让男人捅视频| 国产不卡一卡二| 欧美久久黑人一区二区| a级毛片a级免费在线| 又黄又爽又免费观看的视频| 精品欧美国产一区二区三| 国产精品久久久久久亚洲av鲁大| 国产v大片淫在线免费观看| 久久天堂一区二区三区四区| 亚洲中文日韩欧美视频| 亚洲黑人精品在线| 一进一出抽搐gif免费好疼| 国产成人欧美在线观看| 日韩欧美三级三区| 好看av亚洲va欧美ⅴa在| 久久精品91无色码中文字幕| 大型黄色视频在线免费观看| 91麻豆av在线| 国产精品一区二区三区四区久久| 亚洲专区字幕在线| 黄片大片在线免费观看| 免费看a级黄色片| 成人18禁在线播放| 琪琪午夜伦伦电影理论片6080| 少妇熟女aⅴ在线视频| 成人手机av| 国产三级在线视频| 久久午夜综合久久蜜桃| 中文字幕熟女人妻在线| 在线观看66精品国产| 黄色片一级片一级黄色片| 在线观看一区二区三区| 亚洲精品av麻豆狂野| 日本a在线网址| 亚洲精品在线美女| 国产成人欧美在线观看| 99精品欧美一区二区三区四区| 欧美日本视频| 18禁裸乳无遮挡免费网站照片| 成人国产一区最新在线观看| 法律面前人人平等表现在哪些方面| 久久久水蜜桃国产精品网| 一本大道久久a久久精品| 男人的好看免费观看在线视频 | 免费看日本二区| 精品乱码久久久久久99久播| 国产伦在线观看视频一区| 高清毛片免费观看视频网站| 国产三级在线视频| 男女那种视频在线观看| 少妇裸体淫交视频免费看高清 | av视频在线观看入口| 三级国产精品欧美在线观看 | 少妇熟女aⅴ在线视频| 后天国语完整版免费观看| 精品人妻1区二区| 国产高清videossex| a级毛片a级免费在线| 国产精品免费视频内射| 国产日本99.免费观看| 久久精品国产清高在天天线| netflix在线观看网站| 18美女黄网站色大片免费观看| 此物有八面人人有两片| 久久久久精品国产欧美久久久| 亚洲av电影在线进入| 在线观看免费视频日本深夜| 99久久精品国产亚洲精品| 国产蜜桃级精品一区二区三区| 日韩欧美在线乱码| 制服丝袜大香蕉在线| 国内精品一区二区在线观看| 亚洲自拍偷在线| 成人午夜高清在线视频| 久久久久免费精品人妻一区二区| 淫秽高清视频在线观看| netflix在线观看网站| 欧美性猛交黑人性爽| 国语自产精品视频在线第100页| 三级毛片av免费| 他把我摸到了高潮在线观看| 女人爽到高潮嗷嗷叫在线视频| 午夜福利视频1000在线观看| 亚洲成人中文字幕在线播放| 日日摸夜夜添夜夜添小说| 亚洲精华国产精华精| 女人高潮潮喷娇喘18禁视频| 91老司机精品| 欧美在线一区亚洲| 国产精品影院久久| 中文在线观看免费www的网站 | 亚洲av成人一区二区三| 黄片大片在线免费观看| 国产亚洲精品第一综合不卡| 国产成人av激情在线播放| 最近最新中文字幕大全免费视频| 国产爱豆传媒在线观看 | 国产三级黄色录像| 又紧又爽又黄一区二区| 亚洲一区高清亚洲精品| 免费高清视频大片| 国产黄片美女视频| 亚洲成a人片在线一区二区| 欧美黑人欧美精品刺激| 欧美日韩国产亚洲二区| 69av精品久久久久久| 亚洲精品在线美女| 免费在线观看亚洲国产| 午夜福利欧美成人| 一本精品99久久精品77| 久久精品综合一区二区三区| 亚洲专区字幕在线| 在线观看午夜福利视频| 日本免费一区二区三区高清不卡| 国产亚洲欧美98| 少妇被粗大的猛进出69影院| 日韩大尺度精品在线看网址| 国产精品av久久久久免费| 成人国产综合亚洲| 欧美成狂野欧美在线观看| 欧美又色又爽又黄视频| 国产激情久久老熟女| 亚洲男人天堂网一区| 黑人操中国人逼视频| 国产精品 国内视频| 午夜激情av网站| 日本免费a在线| 黄色视频不卡| 国产精品久久电影中文字幕| 午夜成年电影在线免费观看| 精品电影一区二区在线| 热99re8久久精品国产|