• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    異構(gòu)集群節(jié)點與作業(yè)特性感知資源分配算法

    2022-09-21 05:38:36胡亞紅吳寅超朱正東李小軒
    計算機工程與應用 2022年18期
    關(guān)鍵詞:密集型集群調(diào)度

    胡亞紅,吳寅超,朱正東,李小軒

    1.浙江工業(yè)大學 計算機學院,杭州310023

    2.西安交通大學 計算機學院,西安710049

    隨著大數(shù)據(jù)時代的到來,用戶產(chǎn)生的數(shù)據(jù)呈指數(shù)級增長。單一節(jié)點已經(jīng)滿足不了數(shù)據(jù)處理的需求,傳統(tǒng)的計算模型也無法滿足大數(shù)據(jù)處理的性能和效率要求,故Hadoop[1]、Spark[2]和Storm[3]等分布式框架應運而生。在這些框架中,Apache Spark由于其出色的性能和豐富的應用程序支持而成為通用且最受歡迎的大數(shù)據(jù)處理平臺。與其他的平臺相比,Spark 在性能上有著較大的優(yōu)勢,例如Spark的運行速度是MapReduce框架的數(shù)十倍[4-5]。

    Spark提供了幾種部署模式,包括Local、Standalone、Spark on YARN 和Spark on Mesos 等。它的調(diào)度策略根據(jù)運行層次可以分為application scheduling、job scheduling、stage scheduling 和task scheduling 等[6]。以上的四個調(diào)度策略,除了application scheduling 是對用戶作業(yè)(也稱為應用)的調(diào)度,其余三個都是系統(tǒng)較為底層的調(diào)度。Standalone 模式中,默認的多作業(yè)任務調(diào)度方式采用FIFO 或FAIR 兩種策略,資源調(diào)度算法則有SpreadOut和非SpreadOut[7]。這兩種資源調(diào)度算法采用了非常簡單的邏輯,即通過對比作業(yè)的資源需求以及節(jié)點的可用資源來進行調(diào)度。

    由于分布式系統(tǒng)的復雜性,Spark 在實際運行環(huán)境中不能充分利用集群中計算機的全部性能,因此優(yōu)化Spark 系統(tǒng)的執(zhí)行效率非常重要,其中對于資源調(diào)度機制的研究已成為當前的研究重點。分布式框架的調(diào)度算法主要分為基于用戶作業(yè)級別的調(diào)度和基于任務級別的調(diào)度?,F(xiàn)在已有許多基于Hadoop 的相關(guān)研究工作,這些為進行Spark調(diào)度優(yōu)化提供了良好的基礎。

    徐佳俊等認為隨著硬件的更迭和高性能硬件的引用,集群的異構(gòu)化現(xiàn)象日趨顯著[8]?;诩和|(zhì)化假設提出的Spark原生調(diào)度策略已經(jīng)無法適應集群的異構(gòu)化,因此引入了分層調(diào)度的思想。調(diào)度算法綜合考慮了任務復雜度、節(jié)點性能及節(jié)點資源使用情況等因素,實現(xiàn)了高效公平的任務調(diào)度。這個新的Spark調(diào)度策略雖然對系統(tǒng)性能的提升效果較為明顯,但是其未考慮應用程序的類型和節(jié)點的實時處理能力的偏向性。

    不同的用戶作業(yè)對于集群資源的需求差異很大。針對這一問題,Xu 等提出了一種面向大數(shù)據(jù)平臺的異構(gòu)任務調(diào)度系統(tǒng)RUPAM[9],該調(diào)度系統(tǒng)考慮了任務級的資源特性、節(jié)點的硬件特性和數(shù)據(jù)本地性,有效提升了集群的性能。

    Spark 集群的異構(gòu)性會導致集群計算資源的不均衡,而Spark 默認的調(diào)度算法在任務調(diào)度時未考慮集群的異構(gòu)性以及節(jié)點資源的利用情況,影響了系統(tǒng)性能的發(fā)揮。針對該問題,胡亞紅等利用節(jié)點的優(yōu)先級來表示其計算能力,提出節(jié)點優(yōu)先級調(diào)整算法來動態(tài)調(diào)整任務執(zhí)行過程中節(jié)點的優(yōu)先級,并提出基于節(jié)點優(yōu)先級的Spark 動態(tài)自適應調(diào)度算法,根據(jù)實時的節(jié)點優(yōu)先級完成任務的分配[10]。

    楊忙忙提出了均衡-飽和度的概念以衡量程序運行時節(jié)點資源的有效利用率。該定義不僅可以量化CPU與內(nèi)存資源使用的均衡性關(guān)系,還能夠量化資源的有效利用率[11]。

    丁晶晶等認為Spark的資源調(diào)度方式和資源的利用率直接關(guān)系到集群的效率。他們提出的新的調(diào)度算法通過綜合考慮工作節(jié)點資源實時利用情況、節(jié)點CPU處理速度和CPU剩余利用率等以進行資源的調(diào)度與分配,能夠滿足Spark 系統(tǒng)的高并發(fā)請求、低延遲響應,同時也減少了資源利用傾斜現(xiàn)象,提高了資源的利用率[12]。該算法考慮了集群中節(jié)點的實時資源使用情況,并根據(jù)得到的集群狀態(tài)進行資源的分配,但是未考慮異構(gòu)集群中的節(jié)點處理不同類型的用戶作業(yè)的能力不同。

    為了滿足硬實時調(diào)度的需求,Wang 等提出了一種新的硬實時調(diào)度算法,稱為DVDA(deadline 和value density aware)[13]。與僅考慮截止日期的傳統(tǒng)EDF(earliest deadline first)算法相比,DVDA算法同時考慮應用的截止期限和值密度。在YARN 上實現(xiàn)的基于DVDA 的Spark調(diào)度實驗驗證了算法的有效性。該算法將用戶作業(yè)的截止日期加入到算法的評價體系,但是沒有考慮集群中節(jié)點的實時資源使用狀況。

    Cheng 等提出了一種資源和期限感知的Hadoop 作業(yè)調(diào)度算法RDS[14],該算法能夠在最小化作業(yè)期限錯失時考慮將來的資源可用性。RDS 設計了一個自學習模型來估計作業(yè)完成時間,并使用一個簡單但有效的模型來預測將來的資源可用性。

    為解決電力供應受限集群中的任務調(diào)度問題,Kumbhare 等提出了基于任務價值的任務調(diào)度方法[15]。該算法首先預測出所有待執(zhí)行任務在所有可能的資源配置條件下的運行時間;之后計算每一個任務在每種資源配置條件下能夠獲得的價值。算法挑選出獲得價值最大的任務,為其提供所需的最優(yōu)集群配置,進行任務的執(zhí)行。

    異構(gòu)集群中并行執(zhí)行的任務會爭用集群中的資源,從而導致集群性能的下降。Zhang 等提出的基于強化學習和神經(jīng)協(xié)同過濾的兩階段任務調(diào)度方法,通過對任務進行分割來解決上述問題。其學習驅(qū)動的負載并行化算法能夠為相互獨立的任務找到適合的運行節(jié)點[16]。

    默認的Spark資源調(diào)度方法將重點聚焦于合理分配計算資源,卻未考慮網(wǎng)絡資源,這可能會使網(wǎng)絡延遲變大,降低集群性能。針對該問題,Du等提出了一種任務完成時間感知的章魚調(diào)度優(yōu)化方法OctopusKing[17]。該算法考慮了節(jié)點的異構(gòu)性、每個任務的數(shù)據(jù)量和計算復雜度以及網(wǎng)絡傳輸?shù)人膫€影響因素,采用深度學習方法來預測任務完成時間,較為有效地減小了任務的運行時間并提高了集群資源利用率。

    異構(gòu)集群中影響數(shù)據(jù)本地性的不僅僅是網(wǎng)絡帶寬,另一重要影響因素是存儲設備的差異,如選用的是固態(tài)硬盤還是機械硬盤。忽略存儲設備讀寫速度的差異,會導致高速存儲設備的利用率低下,進而影響集群整體性能。因此,Pan等提出了一種基于異構(gòu)存儲集群的任務調(diào)度策略H-Scheduler[18]。該策略可以根據(jù)存儲類型區(qū)分存儲設備的速度,同時結(jié)合數(shù)據(jù)位置和存儲類型來對任務進行優(yōu)先級的排列,以減少作業(yè)執(zhí)行時間。該調(diào)度策略考慮了存儲設備速度的異構(gòu)性問題,但未考慮影響節(jié)點性能的其他因素。

    對于數(shù)據(jù)密集型任務,數(shù)據(jù)加載成本是影響任務完成時間的最主要因素。緩存中的數(shù)據(jù)有助于提高任務執(zhí)行效率,因此需要最小化緩存未命中率。針對該問題,Meng 等提出了一種貪婪在線調(diào)度算法[19]。該算法綜合考慮了負載平衡、數(shù)據(jù)相關(guān)性和數(shù)據(jù)本地性,解決了數(shù)據(jù)密集型任務的并行調(diào)度問題。但是它只考慮了數(shù)據(jù)密集型負載,對于其他類型的負載未加考慮。

    現(xiàn)有的資源調(diào)度算法在給作業(yè)分配集群資源的時候沒有同時考慮作業(yè)的類型(任務偏向)以及節(jié)點的處理能力(性能偏向),雖利用了具有可用資源的節(jié)點,但在多作業(yè)運行的時候,會造成一些節(jié)點在運行其不擅長類型的作業(yè),導致系統(tǒng)較低的執(zhí)行效率。為了解決上述問題,本文提出了用戶作業(yè)類型及節(jié)點性能偏向感知的資源調(diào)度算法ATNPA(application type and node preference-aware scheduling)來進行用戶作業(yè)層次的資源調(diào)度。在用戶提交作業(yè)之后,該調(diào)度算法判斷應用程序的類型并結(jié)合節(jié)點的實時處理性能來進行準確、高效的資源調(diào)度。

    1 Spark主要運行模式及流程

    Spark大數(shù)據(jù)框架采用了分布式計算的Master/Slave模型,其中Master 作為整個集群的控制端,主要負責Spark 的正常進行、應用管理與資源管理;Slave 的主要職責是接收Master的命令并進行用戶作業(yè)的執(zhí)行。

    Spark框架中有兩個核心的組件,即Driver和Worker。Driver是任務的調(diào)度器也是程序執(zhí)行的入口,Worker是任務的實際執(zhí)行者。在負載被提交到Spark 時,Driver首先將代碼分發(fā)到各個Worker 節(jié)點,然后Worker 節(jié)點上的Executor工作進程對相應分區(qū)的數(shù)據(jù)進行處理,當處理完成后將結(jié)果返回給Driver進程。

    目前,Spark的幾種主要運行模式及其特點如下:

    (1)local:主要用于開發(fā)調(diào)試Spark應用程序。

    (2)Standalone:即獨立模式,自帶完整的服務,采用Master/Slave 結(jié)構(gòu),無需依賴其他的資源管理系統(tǒng)。為解決單點故障,可以采用Zookeeper實現(xiàn)高可靠性。

    (3)Apache Mesos:運行在著名的Mesos 資源管理框架基礎之上,該集群運行模式將資源管理交給Mesos,Spark只負責運行任務調(diào)度和計算。

    (4)Hadoop YARN:集群運行在YARN 資源管理器上,YARN完成資源管理,Spark只負責進行任務調(diào)度和計算。

    本文旨在優(yōu)化Spark 集群的資源調(diào)度算法,因此選用了Standalone 模式。Standalone 模式下Spark 的運行流程如圖1所示。

    圖1 Spark Standalone模式Fig.1 Operating mode of Spark Standalone

    2 用戶作業(yè)類型和節(jié)點性能偏向性感知的資源調(diào)度算法ATNPA

    將用戶作業(yè)匹配到最適合其特點的節(jié)點,能夠充分發(fā)揮節(jié)點的性能,有效縮短作業(yè)的執(zhí)行時間,提高節(jié)點吞吐量。下面分別定義用戶作業(yè)類型和節(jié)點性能偏向性。

    2.1 用戶作業(yè)類型

    現(xiàn)實應用場景中可以根據(jù)用戶作業(yè)對計算資源的需求確定其類型。目前,運用較為廣泛的用戶作業(yè)類型有CPU密集型、內(nèi)存密集型、I/O密集型和網(wǎng)絡密集型等等。不同種類的用戶作業(yè)對于集群資源的需求不同。用戶在提交作業(yè)的時候,一般需要指定該作業(yè)運行所需的資源,如需要的CPU 核數(shù)、內(nèi)存等。在Spark 默認的配置下,每個用戶作業(yè)需要開啟若干個Executor以滿足其資源需求以及運行的并行度,從而提升作業(yè)執(zhí)行效率。Spark默認每個Executor包含1個CPU核和1 GB內(nèi)存[6]。

    從用戶作業(yè)層面上看,作業(yè)的類型是用戶作業(yè)的固有屬性。本文引入UAT(user application type)表示作業(yè)類型。

    定義1 用戶作業(yè)類型(UAT)

    requiredMemory是作業(yè)運行所需的內(nèi)存資源,requiredCores是作業(yè)運行所需要的CPU 核數(shù),這兩個參數(shù)由用戶指定。UAT 閾值的選取對于判斷用戶作業(yè)的類型至關(guān)重要。使用不同的UAT值,本文使用ATNPA算法和Spark默認調(diào)度算法進行了大量的實驗。圖2給出了實驗數(shù)據(jù)的分析結(jié)果。

    圖2 不同UAT閾值對集群性能提升的影響Fig.2 Effects of UAT value to cluster performance improvement

    可以看到,當UAT 的閾值取1.1 時,系統(tǒng)整體的優(yōu)化效果最優(yōu)。即當UAT ≤1.1 的時候,認定該作業(yè)為CPU 密集型,反之為內(nèi)存密集型。ATNPA 將根據(jù)所得到的作業(yè)類型為其分配合適的集群資源。

    2.2 節(jié)點性能偏向性

    Spark默認調(diào)度策略僅依據(jù)CPU核數(shù)來完成節(jié)點選擇,節(jié)點的內(nèi)存量僅僅作為一個簡單的比較參考,而節(jié)點的其他信息(如是否包含GPU、網(wǎng)絡帶寬等)都未被考慮。

    隨著集群異構(gòu)性的增強,集群中各節(jié)點的處理能力相差很大。一些節(jié)點的CPU 處理能力非常強勁,故其在處理CPU 密集型的用戶作業(yè)時,效率相較于其他節(jié)點會比較高;而有些節(jié)點具有較為高速的I/O讀寫能力,故而處理注重讀寫的用戶作業(yè)會有更加優(yōu)秀的表現(xiàn)。

    因此需要進行節(jié)點對用戶作業(yè)的偏向性分析。

    定義2 節(jié)點偏向性(node preference type,NPT)

    其中,StaticResourcej是節(jié)點j的靜態(tài)資源值;DynamicResourcej是節(jié)點j的動態(tài)資源值;j∈{1,2,…,N},N為集群中節(jié)點個數(shù)。α、β分別是節(jié)點靜態(tài)資源值和動態(tài)資源值的對應權(quán)值。

    根據(jù)專家分析得到,節(jié)點的靜態(tài)資源可以用CPU速度、CPU 核數(shù)、內(nèi)存大小以及磁盤容量表示。節(jié)點的動態(tài)資源可以用其CPU剩余率、內(nèi)存剩余率、磁盤剩余率及磁盤讀寫速度表示。

    其中,節(jié)點靜態(tài)資源各影響因素的權(quán)值α1+α2+α3+α4=1。Coresj是節(jié)點j的CPU核數(shù);Memoryj是其內(nèi)存總量;Storej表示磁盤容量,CpuSpeedj則是其CPU速度。

    其中,節(jié)點動態(tài)資源各影響因素的權(quán)值β1+β2+β3+β4=1。AvaiCoresj是節(jié)點j的CPU剩余率;AvaiMemoryj是其內(nèi)存剩余率;AvaiSSdSpdj是當前磁盤讀寫速度,AvaiSSdj是其磁盤剩余率。

    2.3 節(jié)點性能偏向性各影響因素權(quán)值的確定

    本文采用層次分析法(analytic hierarchy process,AHP)來確定影響節(jié)點性能偏向性的各因素的權(quán)值,層次結(jié)構(gòu)模型如圖3所示。

    圖3 節(jié)點性能偏向性層次結(jié)構(gòu)模型Fig.3 Hierarchical model for node performance

    經(jīng)專家打分,靜態(tài)因素的四個影響因素的判斷矩陣如下:

    計算得到W=[0.113 0.641 0.073 0.173]T,對應的CR=0.017<0.1,滿足一致性要求。

    動態(tài)因素的四個影響因素經(jīng)專家打分,構(gòu)造出的判斷矩陣如下:

    計算得到W=[0.344 0.422 0.156 0.078]T,對應的CR=0.008<0.1,滿足一致性要求。

    公式(2)中的靜態(tài)資源值和動態(tài)資源值經(jīng)專家打分生成的判斷矩陣為:

    根據(jù)相同步驟,得到α、β分別為0.5和0.5。

    因為使用AHP 計算得到的權(quán)值具有一定的主觀性,因此,在后續(xù)的實驗過程當中,將根據(jù)實驗的運行結(jié)果對權(quán)值做出相應的調(diào)整,使作業(yè)運行時效率達到最優(yōu)。

    2.4 基于用戶作業(yè)類型及節(jié)點性能偏向的資源調(diào)度算法ATNPA

    為了提高Spark集群性能、縮短用戶作業(yè)執(zhí)行時間,本文設計了基于用戶作業(yè)類型及節(jié)點性能偏向的資源調(diào)度算法ATNPA。因為集群是多用戶共享的,所以會有很多的用戶作業(yè)在隊列中等待資源分配。ATNPA根據(jù)每個用戶作業(yè)的類型計算當前集群中各節(jié)點的性能偏向,進而確定節(jié)點的優(yōu)先級,并根據(jù)節(jié)點的優(yōu)先級進行節(jié)點的選擇和用戶作業(yè)的分發(fā),將用戶作業(yè)分配到最適合作業(yè)特點的集群節(jié)點。ATNPA調(diào)度算法的實現(xiàn)框架如圖4所示。

    圖4 ATNPA實現(xiàn)框架Fig.4 Implementation framework of ATNPA

    Spark 集群啟動時,Worker 節(jié)點向Master 提交資源注冊消息。用戶提交作業(yè)時需要提供所需的CPU核數(shù)和內(nèi)存大小。當為一個用戶作業(yè)進行節(jié)點資源分配時,ATNPA 算法根據(jù)各個作業(yè)提交的參數(shù),計算出用戶作業(yè)的類型,并在此基礎上計算得到集群中各節(jié)點的實時優(yōu)先級。ATNPA將用戶作業(yè)分發(fā)至若干個高優(yōu)先級的節(jié)點,直到滿足用戶要求的資源量。當集群中某個用戶作業(yè)運行結(jié)束,Master會結(jié)合Spark心跳信息機制,自動獲取各個Worker節(jié)點的現(xiàn)有資源狀態(tài)并重新計算出節(jié)點的動態(tài)資源數(shù)據(jù),更新節(jié)點的優(yōu)先級,并為等待隊列中的用戶作業(yè)進行資源分配。

    ATNPA算法的偽代碼如下。

    3 仿真實驗

    為了驗證ATNPA 調(diào)度算法的有效性,本文分別進行了串行作業(yè)和并行作業(yè)的實驗,下面將進行詳細介紹。

    3.1 實驗環(huán)境

    本文的實驗環(huán)境如表1與表2所示。

    表1 仿真實驗硬件配置Table 1 Hardware configuration of simulation experiments

    表2 仿真實驗軟件配置Table 2 Software configuration of experiments

    根據(jù)節(jié)點性能偏向性的定義,影響節(jié)點性能的主要因素包括節(jié)點的內(nèi)存大小、CPU 核數(shù)、CPU 速度和磁盤讀寫速度等。在搭建仿真實驗環(huán)境時,各節(jié)點在這些因素上取值都加以區(qū)分,以體現(xiàn)出節(jié)點性能的偏向性和集群的異構(gòu)性。從表1可以看到,Master節(jié)點與其他節(jié)點內(nèi)存容量不同;Slave2 的CPU 核數(shù)較少;Slave3 采用的是普通機械硬盤,而其他節(jié)點均采用了固態(tài)硬盤,這樣可以體現(xiàn)出節(jié)點在存儲設備讀寫速度上的差異。在小型物理集群實驗中,各節(jié)點的CPU速度也有所不同。

    3.2 實驗數(shù)據(jù)集及權(quán)值計算

    本文采用的負載來自于中國科學院計算技術(shù)研究所研發(fā)的基于大數(shù)據(jù)基準測試的開源性程序集Big-DataBench[20]。BigDataBench總共包含了14個真實數(shù)據(jù)集和34個大數(shù)據(jù)工作負載。本文從BigDataBench基準測試套件中選擇了WordCount 和Sort 兩種工作負載。選擇WordCount 和Sort 的理由是這些工作負載簡單易懂,可以代表基本的Spark 應用程序,具有廣泛的應用性;同時它們在宏觀上分表代表了CPU 密集型和內(nèi)存密集型兩類應用。

    為了彌補層次分析法主觀性強的缺點,本文通過具體的實驗對影響節(jié)點性能的各項動態(tài)因素的權(quán)值進行了調(diào)整。針對CPU 密集型和內(nèi)存密集型的任務,實驗中各指標的權(quán)值如表3所示。

    表3 不同類型作業(yè)對應的指標權(quán)值Table 3 Weighs of indexes under different type of tasks

    3.3 實驗過程

    通過ATNPA 算法可以主動獲取節(jié)點的資源狀態(tài),感知對應不同類型任務的節(jié)點的計算能力。本節(jié)根據(jù)仿真實驗的配置,按照以下步驟展示ATNPA的執(zhí)行過程。

    (1)串行實驗。按照串行的方式分別向集群提交用戶作業(yè)Wordcount 和Sort,兩種作業(yè)數(shù)據(jù)集的大小均為6 GB,其中Wordcount 要求CPU 核數(shù)為3,內(nèi)存3 GB;Sort 要求CPU 核數(shù)為3,內(nèi)存6 GB。根據(jù)公式(1)可以得到,WordCount 是CPU 密集型作業(yè),Sort 為內(nèi)存密集型作業(yè)。集群按照FIFO的順序運行這兩個用戶作業(yè)。

    (2)根據(jù)步驟(1)的提交順序,通過公式(1)計算出用戶作業(yè)的類型,再根據(jù)此類型使用公式(2)、(3)、(4)計算節(jié)點的優(yōu)先級。之后按照優(yōu)先級列表進行用戶作業(yè)的分發(fā)。在串行運行作業(yè)開始時各個節(jié)點的優(yōu)先級如表4所示。

    表4 用戶作業(yè)串行運行集群節(jié)點優(yōu)先級Table 4 Nodes priorities with serial user application execution

    (3)并行實驗。重啟集群,按照并行的方式向集群提交WordCount和Sort的數(shù)據(jù)集。WordCount和Sort作業(yè)的具體要求與步驟(1)中描述的相同。集群按照并行的方式運行這兩個作業(yè)。

    (4)通過公式(1)計算出各用戶作業(yè)的類型,再據(jù)此類型使用公式(2)、(3)、(4)計算集群中各節(jié)點的優(yōu)先級,同時按照優(yōu)先級列表進行用戶作業(yè)的分發(fā)。在并行運行作業(yè)開始時,各個節(jié)點的優(yōu)先級如表5所示。

    從表4 和表5 給出的節(jié)點選擇結(jié)果可以看出,針對不同類型的用戶作業(yè)以及不同的運行模式(串行或并行運行),集群中的節(jié)點的優(yōu)先級是不一樣的,各節(jié)點的優(yōu)先級會隨著集群中作業(yè)的狀態(tài)而發(fā)生改變。所以本文提出的ATNPA算法會根據(jù)用戶作業(yè)的類型計算集群中節(jié)點相應的優(yōu)先級,并根據(jù)此優(yōu)先級把作業(yè)分配到最適合的節(jié)點,從而充分發(fā)揮節(jié)點的性能,縮短作業(yè)的完成時間。

    表5 用戶作業(yè)并行運行集群節(jié)點優(yōu)先級Table 5 Nodes priorities with parallel user application execution

    3.4 實驗結(jié)果

    3.4.1 相同作業(yè)不同數(shù)據(jù)量

    本小節(jié)選取了比較典型的WordCount和Sort任務,分別在使用Spark 默認調(diào)度算法和使用ATNPA 算法的Spark 集群中運行。任務采用不同規(guī)模的數(shù)據(jù)集,分別是2 GB、4 GB、6 GB、8 GB 和10 GB。每個數(shù)據(jù)規(guī)模實驗5次,取平均值作為實驗結(jié)果。實驗結(jié)果如圖5所示,圖5中的橫坐標代表不同的數(shù)據(jù)量,縱坐標表示完成整個用戶作業(yè)所需要的時間。

    從圖5 可以看出,ATNPA 算法相較于Spark 默認的調(diào)度算法,可以將WordCount作業(yè)時間平均縮短8.33%;將Sort 作業(yè)時間平均縮短9.71%。因而無論是CPU 密集型還是內(nèi)存密集型的作業(yè),使用ATNPA 算法都能夠有效縮短作業(yè)執(zhí)行時間,提高集群的效率。

    圖5 相同作業(yè)不同數(shù)據(jù)量完成時間比較Fig.5 Comparison of completion time of same workloads with different amount of data

    3.4.2 相同數(shù)據(jù)量不同負載并行實驗

    本小節(jié)同樣選取了WordCount和Sort任務,讓這兩個負載進行并行運算來驗證ATNPA算法處理并行作業(yè)的系統(tǒng)效率提升。每次實驗兩類程序采用等量的數(shù)據(jù)量,分別為6 GB、8 GB 和10 GB,每個數(shù)據(jù)規(guī)模實驗5次,取平均值作為實驗結(jié)果。實驗結(jié)果圖6所示。

    圖6 WordCount和Sort負載并行運算時間比較Fig.6 Comparison of completion time when both WordCount and Sort are executed in parallel

    從圖6 可以看出,當WordCount 和Sort 兩個負載進行并行運算時,相比于Spark 的默認調(diào)度算法,ATNPA算法有著平均8.33%的提升。

    從并行和串行的實驗結(jié)果分析表明,當集群一次運行一個用戶作業(yè)或是同時運行多個用戶作業(yè)時,由于ATNPA 能夠為每個作業(yè)分配到最適合其特點的節(jié)點,因此作業(yè)的完成時間都能夠減少,集群的性能從而得以提高。

    4 結(jié)束語

    目前關(guān)于Spark集群的資源調(diào)度算法沒有充分考慮用戶作業(yè)的類型和節(jié)點處理性能偏向性之間的關(guān)系。為了進一步提高Spark 集群的性能、有效地縮短作業(yè)運行時間,本文提出了ATNPA資源調(diào)度算法,它綜合考慮了作業(yè)的特性和節(jié)點處理性能偏向性。仿真實驗表明,與Spark默認的資源調(diào)度算法和沒有考慮節(jié)點性能與作業(yè)類型相關(guān)性的SDASA算法相比,ATNPA能夠有效提升系統(tǒng)性能,縮短作業(yè)的執(zhí)行時間。未來的工作將在以下幾個方面進行:

    (1)目前本文考慮的作業(yè)類型只包括CPU 密集型和內(nèi)存密集型,下一步研究將討論更多的用戶作業(yè)類型,如I/O密集型、通信密集型等。將引入機器學習等人工智能方法更加準確地確定用戶作業(yè)類型的判定閾值。

    (2)將增加節(jié)點動態(tài)資源影響因素,以便更加準確地確認節(jié)點在不同時間段的處理性能偏向。

    (3)在大規(guī)模的集群上進行實驗,以驗證算法的有效性。

    猜你喜歡
    密集型集群調(diào)度
    壓痛點密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    《調(diào)度集中系統(tǒng)(CTC)/列車調(diào)度指揮系統(tǒng)(TDCS)維護手冊》正式出版
    一種基于負載均衡的Kubernetes調(diào)度改進算法
    海上小型無人機集群的反制裝備需求與應對之策研究
    密集型快速冷卻技術(shù)在熱軋帶鋼生產(chǎn)線的應用
    山東冶金(2019年3期)2019-07-10 00:53:56
    虛擬機實時遷移調(diào)度算法
    一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設計
    電子制作(2018年11期)2018-08-04 03:25:40
    密集型自動化立體倉庫解析
    Python與Spark集群在收費數(shù)據(jù)分析中的應用
    勤快又呆萌的集群機器人
    亚洲av不卡在线观看| 神马国产精品三级电影在线观看| 欧美黑人欧美精品刺激| 波野结衣二区三区在线 | 夜夜夜夜夜久久久久| 搡女人真爽免费视频火全软件 | 91九色精品人成在线观看| 国产成人系列免费观看| 一级作爱视频免费观看| 久久久久亚洲av毛片大全| 国产精品亚洲美女久久久| 首页视频小说图片口味搜索| 天天躁日日操中文字幕| 欧美午夜高清在线| 夜夜看夜夜爽夜夜摸| 天堂影院成人在线观看| av国产免费在线观看| netflix在线观看网站| 欧美色视频一区免费| 真人做人爱边吃奶动态| 欧美色欧美亚洲另类二区| 少妇高潮的动态图| 中文亚洲av片在线观看爽| 国内精品一区二区在线观看| 色哟哟哟哟哟哟| 午夜福利在线在线| 久久久久久久久大av| 亚洲av成人av| 欧美在线一区亚洲| www.www免费av| 欧美色欧美亚洲另类二区| 91麻豆av在线| 午夜日韩欧美国产| 国产一级毛片七仙女欲春2| 国产野战对白在线观看| 久久香蕉国产精品| 在线观看美女被高潮喷水网站 | 国产一区二区三区视频了| 午夜福利18| 久久久久久国产a免费观看| 免费观看的影片在线观看| 午夜福利成人在线免费观看| 少妇高潮的动态图| 亚洲美女视频黄频| 母亲3免费完整高清在线观看| 久久精品国产99精品国产亚洲性色| 天堂网av新在线| 网址你懂的国产日韩在线| 亚洲成人精品中文字幕电影| 超碰av人人做人人爽久久 | 国内精品一区二区在线观看| 美女免费视频网站| 日韩欧美三级三区| 久久亚洲真实| 少妇的丰满在线观看| 黑人欧美特级aaaaaa片| 激情在线观看视频在线高清| 嫩草影视91久久| 黄色女人牲交| 亚洲狠狠婷婷综合久久图片| 成人av在线播放网站| 亚洲不卡免费看| 日本一本二区三区精品| 国语自产精品视频在线第100页| 亚洲专区中文字幕在线| 亚洲18禁久久av| 少妇裸体淫交视频免费看高清| 中国美女看黄片| 无人区码免费观看不卡| 精品久久久久久久久久久久久| 国产精品一区二区免费欧美| 亚洲国产精品合色在线| 亚洲成人精品中文字幕电影| 露出奶头的视频| 久久天躁狠狠躁夜夜2o2o| 成年人黄色毛片网站| 久久草成人影院| 亚洲av中文字字幕乱码综合| 国产老妇女一区| 久久欧美精品欧美久久欧美| 少妇的逼好多水| 俄罗斯特黄特色一大片| 18禁黄网站禁片午夜丰满| 男人的好看免费观看在线视频| 久久久国产成人精品二区| 亚洲在线观看片| 在线观看舔阴道视频| 久久香蕉精品热| 美女大奶头视频| 19禁男女啪啪无遮挡网站| 久久精品91无色码中文字幕| 校园春色视频在线观看| 搡老熟女国产l中国老女人| 身体一侧抽搐| 国产精品一区二区三区四区久久| 男插女下体视频免费在线播放| 久久草成人影院| 亚洲av中文字字幕乱码综合| 国产爱豆传媒在线观看| 国产黄a三级三级三级人| 最近最新中文字幕大全免费视频| 国产视频内射| 国产精品野战在线观看| 大型黄色视频在线免费观看| 99久久久亚洲精品蜜臀av| 久久精品国产亚洲av香蕉五月| 免费观看人在逋| 少妇人妻精品综合一区二区 | 麻豆国产av国片精品| 老司机午夜十八禁免费视频| 中文字幕高清在线视频| 又紧又爽又黄一区二区| 又粗又爽又猛毛片免费看| 色噜噜av男人的天堂激情| 亚洲,欧美精品.| 亚洲欧美日韩卡通动漫| 一卡2卡三卡四卡精品乱码亚洲| 中文资源天堂在线| 女人高潮潮喷娇喘18禁视频| 哪里可以看免费的av片| 色播亚洲综合网| 88av欧美| 久久久久久人人人人人| 黄色丝袜av网址大全| 一边摸一边抽搐一进一小说| 亚洲av美国av| av福利片在线观看| 精品久久久久久久久久免费视频| 一级作爱视频免费观看| 欧美日韩中文字幕国产精品一区二区三区| 亚洲av美国av| 国产午夜精品久久久久久一区二区三区 | 亚洲天堂国产精品一区在线| 国产麻豆成人av免费视频| 男女下面进入的视频免费午夜| 国产精品1区2区在线观看.| netflix在线观看网站| 国产亚洲精品av在线| 亚洲人成网站在线播| 国产高清有码在线观看视频| 精品国产超薄肉色丝袜足j| 久久久久久久亚洲中文字幕 | 欧美国产日韩亚洲一区| 特大巨黑吊av在线直播| 免费在线观看成人毛片| 精品久久久久久久人妻蜜臀av| 伊人久久大香线蕉亚洲五| 90打野战视频偷拍视频| 特大巨黑吊av在线直播| 日本成人三级电影网站| 亚洲精品粉嫩美女一区| www国产在线视频色| 亚洲国产精品合色在线| 国产aⅴ精品一区二区三区波| 亚洲中文字幕一区二区三区有码在线看| 蜜桃亚洲精品一区二区三区| 欧美成狂野欧美在线观看| 69人妻影院| av中文乱码字幕在线| 欧美日本视频| 法律面前人人平等表现在哪些方面| 欧美丝袜亚洲另类 | 国产99白浆流出| 亚洲欧美日韩无卡精品| 黄色女人牲交| 国内毛片毛片毛片毛片毛片| 亚洲五月天丁香| 国产成人av教育| 观看免费一级毛片| 成人18禁在线播放| 国产色婷婷99| 韩国av一区二区三区四区| 变态另类成人亚洲欧美熟女| 欧美一区二区精品小视频在线| avwww免费| 成人高潮视频无遮挡免费网站| 99视频精品全部免费 在线| 人妻夜夜爽99麻豆av| 欧美日韩中文字幕国产精品一区二区三区| 最新在线观看一区二区三区| 免费无遮挡裸体视频| 色吧在线观看| 首页视频小说图片口味搜索| 色哟哟哟哟哟哟| 深爱激情五月婷婷| 国产在线精品亚洲第一网站| 欧美又色又爽又黄视频| 日本a在线网址| 精品日产1卡2卡| 亚洲av成人精品一区久久| 一个人免费在线观看电影| 香蕉丝袜av| 在线免费观看不下载黄p国产 | 久久久久免费精品人妻一区二区| 亚洲成人免费电影在线观看| 97碰自拍视频| 国产成年人精品一区二区| 欧美激情在线99| 国产精品一区二区免费欧美| 日韩成人在线观看一区二区三区| 欧美色视频一区免费| 搡老熟女国产l中国老女人| 一级a爱片免费观看的视频| 男女视频在线观看网站免费| 91在线观看av| 波多野结衣高清作品| 两人在一起打扑克的视频| av天堂中文字幕网| 午夜福利免费观看在线| 婷婷丁香在线五月| 此物有八面人人有两片| 给我免费播放毛片高清在线观看| 亚洲va日本ⅴa欧美va伊人久久| 久久精品夜夜夜夜夜久久蜜豆| 一区二区三区免费毛片| 美女被艹到高潮喷水动态| 18禁黄网站禁片免费观看直播| 禁无遮挡网站| 亚洲国产精品合色在线| www.999成人在线观看| www国产在线视频色| 动漫黄色视频在线观看| 制服丝袜大香蕉在线| 精品人妻一区二区三区麻豆 | 亚洲久久久久久中文字幕| 99久久精品一区二区三区| 国产午夜福利久久久久久| 美女大奶头视频| 99国产综合亚洲精品| 成人av在线播放网站| 亚洲人成网站高清观看| 九九在线视频观看精品| 久久婷婷人人爽人人干人人爱| 免费搜索国产男女视频| 熟女少妇亚洲综合色aaa.| 欧美精品啪啪一区二区三区| 亚洲国产精品sss在线观看| 我要搜黄色片| 亚洲一区高清亚洲精品| 午夜日韩欧美国产| 99热只有精品国产| 法律面前人人平等表现在哪些方面| 国产爱豆传媒在线观看| 亚洲国产精品成人综合色| 国产伦精品一区二区三区四那| 在线观看一区二区三区| 亚洲成人久久爱视频| h日本视频在线播放| 九九热线精品视视频播放| 丰满人妻熟妇乱又伦精品不卡| 亚洲av成人不卡在线观看播放网| 在线观看午夜福利视频| 一个人看视频在线观看www免费 | 脱女人内裤的视频| 国产精品久久久人人做人人爽| 很黄的视频免费| 中文亚洲av片在线观看爽| 国内毛片毛片毛片毛片毛片| a级一级毛片免费在线观看| 午夜福利欧美成人| 欧美黄色淫秽网站| 欧美一区二区精品小视频在线| 久久亚洲真实| 天天一区二区日本电影三级| 天天添夜夜摸| 精品国内亚洲2022精品成人| 国产精品免费一区二区三区在线| 亚洲不卡免费看| 欧美又色又爽又黄视频| 国产真实乱freesex| 少妇高潮的动态图| 国产伦人伦偷精品视频| 怎么达到女性高潮| 久久久成人免费电影| 色视频www国产| 亚洲,欧美精品.| 狂野欧美激情性xxxx| 1000部很黄的大片| 十八禁人妻一区二区| 国产精品99久久久久久久久| 亚洲精品国产精品久久久不卡| 精品久久久久久成人av| av中文乱码字幕在线| 亚洲av免费高清在线观看| 手机成人av网站| 亚洲av电影在线进入| 国产精品一区二区免费欧美| 丰满的人妻完整版| 99在线视频只有这里精品首页| h日本视频在线播放| 我要搜黄色片| 国产欧美日韩精品一区二区| 亚洲av美国av| 亚洲久久久久久中文字幕| 亚洲精品在线观看二区| 欧美乱妇无乱码| 国产乱人伦免费视频| 深爱激情五月婷婷| 亚洲国产欧美网| 日韩欧美一区二区三区在线观看| 色av中文字幕| 村上凉子中文字幕在线| 麻豆国产av国片精品| av福利片在线观看| 亚洲黑人精品在线| 欧美精品啪啪一区二区三区| 制服丝袜大香蕉在线| 99久久精品一区二区三区| 国产精品免费一区二区三区在线| 色视频www国产| 91久久精品电影网| 搡老妇女老女人老熟妇| 高清在线国产一区| 国语自产精品视频在线第100页| 男人舔奶头视频| 色综合站精品国产| 99久久综合精品五月天人人| 国内精品一区二区在线观看| 免费电影在线观看免费观看| 99热6这里只有精品| 免费av观看视频| 99国产极品粉嫩在线观看| 国产一区二区在线av高清观看| 男人的好看免费观看在线视频| 99热这里只有是精品50| 神马国产精品三级电影在线观看| 我要搜黄色片| 最近最新中文字幕大全电影3| 欧美三级亚洲精品| 18禁黄网站禁片免费观看直播| 观看美女的网站| 日本黄色片子视频| 国语自产精品视频在线第100页| 国产欧美日韩一区二区三| 99热6这里只有精品| av福利片在线观看| 国产一区二区亚洲精品在线观看| 亚洲第一欧美日韩一区二区三区| 亚洲电影在线观看av| 精品久久久久久久毛片微露脸| 亚洲男人的天堂狠狠| 12—13女人毛片做爰片一| 毛片女人毛片| 我的老师免费观看完整版| 久久性视频一级片| 三级国产精品欧美在线观看| 成人av在线播放网站| 我的老师免费观看完整版| 给我免费播放毛片高清在线观看| 日本黄大片高清| 亚洲五月婷婷丁香| 色哟哟哟哟哟哟| 午夜精品在线福利| 国产一区二区三区视频了| 亚洲成av人片免费观看| 不卡一级毛片| 成年人黄色毛片网站| 午夜福利在线观看免费完整高清在 | 18禁裸乳无遮挡免费网站照片| 一个人看的www免费观看视频| 欧美激情在线99| 欧美激情久久久久久爽电影| 久久久久久久精品吃奶| 亚洲专区国产一区二区| 桃红色精品国产亚洲av| 人妻夜夜爽99麻豆av| 好男人在线观看高清免费视频| 国产一区二区三区视频了| 亚洲av免费高清在线观看| 午夜福利在线观看免费完整高清在 | 午夜激情欧美在线| 国产av在哪里看| 亚洲欧美激情综合另类| 欧美av亚洲av综合av国产av| 校园春色视频在线观看| 他把我摸到了高潮在线观看| 一本精品99久久精品77| 欧美黄色片欧美黄色片| 成人一区二区视频在线观看| 亚洲精品粉嫩美女一区| 亚洲午夜理论影院| 超碰av人人做人人爽久久 | 国产三级黄色录像| 色综合婷婷激情| 中文字幕熟女人妻在线| 一个人看视频在线观看www免费 | 真人一进一出gif抽搐免费| 午夜福利免费观看在线| 国产真实乱freesex| 日本熟妇午夜| 最新中文字幕久久久久| 欧美乱妇无乱码| 日本熟妇午夜| 国产一区二区激情短视频| 国产v大片淫在线免费观看| 悠悠久久av| 亚洲国产精品成人综合色| 亚洲中文日韩欧美视频| 一进一出好大好爽视频| 免费看日本二区| 精品一区二区三区人妻视频| 国产黄色小视频在线观看| 国产成人av激情在线播放| 日本与韩国留学比较| 母亲3免费完整高清在线观看| 18+在线观看网站| 亚洲国产精品sss在线观看| 天天添夜夜摸| 成人18禁在线播放| 天堂动漫精品| 99久久99久久久精品蜜桃| 国产精品三级大全| 久久久国产成人精品二区| 亚洲一区二区三区色噜噜| 国产精品,欧美在线| 免费在线观看成人毛片| 91在线观看av| 高清日韩中文字幕在线| 久久午夜亚洲精品久久| 国产精品99久久久久久久久| 国产三级在线视频| 一个人免费在线观看的高清视频| 精品免费久久久久久久清纯| 国产伦精品一区二区三区四那| 一个人免费在线观看的高清视频| 亚洲欧美日韩东京热| 久久久成人免费电影| 日本在线视频免费播放| 一二三四社区在线视频社区8| 老司机午夜福利在线观看视频| 国产主播在线观看一区二区| 国产又黄又爽又无遮挡在线| 午夜福利18| 亚洲人成网站在线播| 国产一区在线观看成人免费| 蜜桃亚洲精品一区二区三区| 香蕉av资源在线| 丁香欧美五月| 熟女少妇亚洲综合色aaa.| 精品国产美女av久久久久小说| 国产又黄又爽又无遮挡在线| 久久婷婷人人爽人人干人人爱| 天美传媒精品一区二区| 久久人妻av系列| eeuss影院久久| 亚洲国产精品久久男人天堂| 亚洲 国产 在线| 国产中年淑女户外野战色| 国产成人av激情在线播放| 九九久久精品国产亚洲av麻豆| 亚洲人成网站高清观看| 午夜免费观看网址| 欧洲精品卡2卡3卡4卡5卡区| www日本黄色视频网| 51午夜福利影视在线观看| 在线国产一区二区在线| 欧美激情在线99| 熟女电影av网| 久久精品91无色码中文字幕| 悠悠久久av| 99热6这里只有精品| 日本免费一区二区三区高清不卡| 亚洲成a人片在线一区二区| 一区二区三区高清视频在线| 女人被狂操c到高潮| 草草在线视频免费看| 91麻豆av在线| 亚洲av美国av| 蜜桃亚洲精品一区二区三区| 国产私拍福利视频在线观看| 免费一级毛片在线播放高清视频| 国产欧美日韩精品亚洲av| 9191精品国产免费久久| 99热只有精品国产| 日韩欧美国产在线观看| 久久久国产精品麻豆| 亚洲第一电影网av| 国产成人福利小说| 韩国av一区二区三区四区| 精品久久久久久久毛片微露脸| 色老头精品视频在线观看| 国产三级黄色录像| 久久久久国产精品人妻aⅴ院| 亚洲欧美日韩卡通动漫| 国产精品电影一区二区三区| 午夜精品一区二区三区免费看| 两性午夜刺激爽爽歪歪视频在线观看| 日韩 欧美 亚洲 中文字幕| 国产精品美女特级片免费视频播放器| 两性午夜刺激爽爽歪歪视频在线观看| 久久久久久大精品| 亚洲久久久久久中文字幕| 欧美日韩综合久久久久久 | 18禁在线播放成人免费| 性色avwww在线观看| 亚洲午夜理论影院| 男女做爰动态图高潮gif福利片| 91麻豆av在线| 亚洲中文字幕日韩| 免费看十八禁软件| 真人做人爱边吃奶动态| 丰满人妻一区二区三区视频av | 给我免费播放毛片高清在线观看| 麻豆一二三区av精品| av在线蜜桃| 给我免费播放毛片高清在线观看| 国产欧美日韩精品一区二区| 97碰自拍视频| 日韩高清综合在线| 中文字幕人妻熟人妻熟丝袜美 | 别揉我奶头~嗯~啊~动态视频| 麻豆成人av在线观看| 最近视频中文字幕2019在线8| 亚洲av中文字字幕乱码综合| 国产精品av视频在线免费观看| av片东京热男人的天堂| 一级黄色大片毛片| 乱人视频在线观看| 亚洲久久久久久中文字幕| 无遮挡黄片免费观看| 在线观看午夜福利视频| 淫妇啪啪啪对白视频| 亚洲av美国av| 在线免费观看不下载黄p国产 | 亚洲美女视频黄频| 欧洲精品卡2卡3卡4卡5卡区| 全区人妻精品视频| 中国美女看黄片| 久久久久久久久中文| 欧美一区二区国产精品久久精品| 成人亚洲精品av一区二区| 欧美bdsm另类| 一本一本综合久久| 午夜福利高清视频| 国产麻豆成人av免费视频| 国产亚洲精品久久久久久毛片| 欧美在线一区亚洲| 国产亚洲精品av在线| 亚洲av一区综合| 色精品久久人妻99蜜桃| 熟女少妇亚洲综合色aaa.| 精品不卡国产一区二区三区| 俄罗斯特黄特色一大片| 午夜久久久久精精品| 免费av毛片视频| 久久久久国内视频| 动漫黄色视频在线观看| 欧美黑人巨大hd| 在线观看免费视频日本深夜| 亚洲精华国产精华精| 熟妇人妻久久中文字幕3abv| а√天堂www在线а√下载| 成人欧美大片| 舔av片在线| 欧美一级a爱片免费观看看| 国产精品日韩av在线免费观看| 国产伦一二天堂av在线观看| 天天添夜夜摸| av专区在线播放| 中文字幕熟女人妻在线| 欧美乱色亚洲激情| 国产精品三级大全| 中文资源天堂在线| 欧美性猛交黑人性爽| 国产成+人综合+亚洲专区| 一二三四社区在线视频社区8| 天堂av国产一区二区熟女人妻| 国产主播在线观看一区二区| 国产高清videossex| 久久久久亚洲av毛片大全| 成年女人毛片免费观看观看9| 国产不卡一卡二| 老司机午夜福利在线观看视频| 国产欧美日韩一区二区三| 国产精品永久免费网站| 88av欧美| 亚洲人成网站在线播| 波多野结衣高清作品| 欧美日本视频| 九九热线精品视视频播放| 久久精品国产综合久久久| 97碰自拍视频| 非洲黑人性xxxx精品又粗又长| 亚洲国产精品合色在线| 欧美成人性av电影在线观看| svipshipincom国产片| 国产免费av片在线观看野外av| 日韩有码中文字幕| 少妇人妻一区二区三区视频| 成熟少妇高潮喷水视频| 亚洲成人精品中文字幕电影| 欧美日韩亚洲国产一区二区在线观看| 国内少妇人妻偷人精品xxx网站| 99精品欧美一区二区三区四区| 中文字幕久久专区| 97人妻精品一区二区三区麻豆| 色综合欧美亚洲国产小说| 亚洲美女视频黄频| 欧美一级毛片孕妇| 婷婷六月久久综合丁香| 久久草成人影院| 婷婷六月久久综合丁香| 国产精品亚洲av一区麻豆| 国产不卡一卡二| 午夜精品久久久久久毛片777| 精品人妻1区二区| 亚洲精品影视一区二区三区av| 午夜视频国产福利| 少妇丰满av| 老司机福利观看| 国产高潮美女av| 国产视频内射| 亚洲成人精品中文字幕电影| 美女 人体艺术 gogo| 精品人妻1区二区|