• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    分布式一致性算法Yac

    2017-11-15 06:10:46劉丹丹
    計算機應(yīng)用 2017年9期
    關(guān)鍵詞:可用性日志時延

    張 健,汪 洋,劉丹丹

    (1.武漢大學(xué) 計算機學(xué)院,武漢 430072; 2.武漢大學(xué) 軟件工程國家重點實驗室,武漢 430072)(*通信作者電子郵箱943629628@qq.com)

    分布式一致性算法Yac

    張 健1,汪 洋1*,劉丹丹2

    (1.武漢大學(xué) 計算機學(xué)院,武漢 430072; 2.武漢大學(xué) 軟件工程國家重點實驗室,武漢 430072)(*通信作者電子郵箱943629628@qq.com)

    傳統(tǒng)靜態(tài)拓撲主從模型分布式一致性算法存在嚴重負載不均及單點性能瓶頸效應(yīng),且崩潰節(jié)點大于集群規(guī)模的50%時算法無法正常工作。針對上述問題,提出基于動態(tài)拓撲及有限表決思想的分布式一致性算法(Yac)。算法動態(tài)生成參與一致性表決的成員子集及Leader節(jié)點并時分遷移,形成統(tǒng)計負載均衡;去除要求全體多數(shù)派成員參與表決的強約束,使算法具備更高的失效容忍性;并通過日志鏈機制重新建立算法安全性約束,同時證明了算法的正確性。實驗結(jié)果表明,改進算法的單點負載集中效應(yīng)顯著低于主流靜態(tài)拓撲主從模型分布式一致性算法Zookeeper;改進算法失效容忍性優(yōu)于Zookeeper,且最壞情況下與Zookeeper算法保持持平;同等集群規(guī)模下,改進算法比Zookeeper擁有更高吞吐量上限。

    分布式一致性;Paxos算法;表決團;日志鏈;負載均衡

    0 引言

    分布式計算技術(shù)的發(fā)展平衡了日益膨脹的應(yīng)用計算性能需求與單機性能瓶頸之間的矛盾,一致性問題是保證分布式系統(tǒng)正確性與可靠性的核心問題。

    Lamport等[1]于1998年首次提出拜占庭問題,并對非拜占庭模型下分布式一致性問題給出了形式化討論與證明,同年還提出了近乎公理化的分布式一致性算法Paxos[2]。持續(xù)多年的研究和改進之后,文獻[3]進一步重構(gòu)和完善了Paxos的算法理論。經(jīng)典Paxos算法存在活鎖問題,這是由于經(jīng)典Paxos算法中沒有主節(jié)點,提案基于P2P模型表決,導(dǎo)致成員節(jié)點間可能產(chǎn)生無休止的競爭。針對此問題,文獻[4-5]提出并完善了基于經(jīng)典Paoxos的變種算法Fast-Paxos,首次引入主節(jié)點以消除活鎖,并通過樂觀鎖降低Paxos算法延遲。2013年Google研究院發(fā)表公開了其對Paxos應(yīng)用研究成果,其證實采用基于主從模型的Multi-Paxos算法工程化實現(xiàn)的分布式鎖服務(wù)Chubby[6]支撐了Google公司全球系統(tǒng)基礎(chǔ)設(shè)施的運行。

    此后,斯坦福大學(xué)的Diego Ongaro等[7]提出的Raft算法,還有文獻[8-10]中所描述的始于Apache基金會Hadoop項目子項目的Zookeeper分布式一致性服務(wù),共同推動分布式一致性算法進入以主從模型為主流的發(fā)展時代。

    基于主從模型的一致性系統(tǒng)雖然消除了活鎖問題,也較P2P模型擁有更低的平均延遲,但也由于Leader節(jié)點的存在,產(chǎn)生了嚴重的單點性能瓶頸問題。此外,Leader節(jié)點如果崩潰,那么重新選舉Leader節(jié)點引起的系統(tǒng)震蕩也降低了系統(tǒng)的穩(wěn)定性。因此,一部分學(xué)者也嘗試尋找新方法提高主從分布式一致性模型的吞吐量。有研究人員嘗試改良分布式一致性算法拓撲結(jié)構(gòu)。文獻[11]提出了Ring-Paxos算法,在成員節(jié)點間構(gòu)建邏輯環(huán)執(zhí)行鏈?zhǔn)奖頉Q,有效降低消息傳播數(shù)量,削弱瓶頸帶來的影響。文獻[12]提出的HT-Paxos算法犧牲了時延性能指標(biāo),在執(zhí)行分布式表決前通過被稱為disseminators的節(jié)點集群完成分布式一致性請求的預(yù)處理,最大限度剝離Leader節(jié)點的職能 。文獻[13]提出的S-Paxos算法在執(zhí)行分布式?jīng)Q策的Paxos層下建立一個消息擴散層以代替主節(jié)點擴散廣播消息,一定程度上抑制了Leader節(jié)點的消息傳遞開銷。文獻[14]提出了法定集(Quorum)租約機制,在犧牲部分寫時延及失效容忍性基礎(chǔ)上大幅度提高狀態(tài)讀取速度。上述的研究工作都取得了一定成果,但未能夠完全解決Leader節(jié)點存在的單點效應(yīng)問題。

    本文針對主從式分布式算法特性,在Raft、Zookeeper的體系架構(gòu)基礎(chǔ)上提出了改良,采用時域哈希方法,使作為負載中心Leader節(jié)點隨時間序列動態(tài)轉(zhuǎn)移,實現(xiàn)統(tǒng)計上的負載均衡;同時為降低一致性表決廣播數(shù)量和提高可用性,提出有限表決思想,舍棄傳統(tǒng)一致性表決實例中的半數(shù)以上成員參加的強約束,任意一次表決僅要求有限成員子集參與,并通過Log Chain機制杜絕集群狀態(tài)分支,形成了新的高性能分布式一致性框架。本文對新算法的CAP(Consistency, Availability and Partition tolerance)[15]特性進行了分析闡明,同時還對算法的負載均衡性、吞吐量、時延等關(guān)鍵技術(shù)指標(biāo)進行了實驗驗證。根據(jù)實驗結(jié)果,新型分布式一致性算法在克服單點性能瓶頸的負載均衡性、可用性、吞吐量、重度負載情形下請求處理時延等指標(biāo)上都具備較好的表現(xiàn)。

    1 Yac分布式一致性算法

    1.1 一致性問題模型與分布式副本狀態(tài)機

    分布式一致性問題的數(shù)學(xué)模型描述如下:

    圖1 日志堆積與狀態(tài)變更

    日志視圖與狀態(tài)視圖是等價的,如圖1所演示的狀態(tài)變更日志堆棧中,節(jié)點1和節(jié)點2中初始狀態(tài)為A=1。節(jié)點1的狀態(tài)轉(zhuǎn)移日志為A+2和A-5,節(jié)點2的狀態(tài)轉(zhuǎn)移日志序列為A-5;則最終,節(jié)點1表征的狀態(tài)視圖為A=-2,而節(jié)點2表征的狀態(tài)視圖為A=-4。

    可以根據(jù)日志視圖模型進一步將分布式一致性問題描述為下列形式:

    定義2 分布式集群成員節(jié)點初始狀態(tài)一致。如果經(jīng)過離散時間序列{Tn}后,集群中分布式副本狀態(tài)機儲存的日志堆棧一致,則集群狀態(tài)一致,反之則集群狀態(tài)不一致。

    1.2 傳統(tǒng)主從式分布式一致性算法的問題

    傳統(tǒng)主流的主從式分布式一致性算法模型如Zookeeper、Raft等,存在通用的架構(gòu)形式。

    本質(zhì)包含如下幾種主要角色。

    1)Leader:全局的唯一的主節(jié)點。具備Sequencer的功能,在分布式一致性表決中裁定議案(Proposal)的偏序,并產(chǎn)生一致性決議。

    2)Follower:一致性表決的參與者,可以針對某項決議向Leader發(fā)起投票,通常傳統(tǒng)任何一個一致性表決都要求一半以上成員節(jié)點組成的子集(也稱法定集)參加,這也是傳統(tǒng)分布式一致性算法在半數(shù)以上成員存活時才能正常工作的強約束的由來。

    3)Learner:不參加一致性表決,僅學(xué)習(xí)一致性結(jié)果。

    上述Leader、Follower和Learner只是邏輯上的角色劃分,有時并不一定有嚴格界限,許多分布式系統(tǒng)中,F(xiàn)ollower和Learner會一體化實現(xiàn),而也有的分布式系統(tǒng)中,Leader也被允許如Follwer一樣參與投票。

    可以抽象出這些主從分布式一致性算法的一般模式,如下。

    1)選主:系統(tǒng)初始狀態(tài)下,首先通過特定的選主算法,在全部成員節(jié)點中選出Leader,并且當(dāng)Leader節(jié)點崩潰后重新執(zhí)行選主過程。

    2)一致性請求:客戶端(Client)提交的請求(Request)首先被轉(zhuǎn)發(fā)給Leader,Leader將請求轉(zhuǎn)換成議案(Proposal),并選出一個法定集合(通常為全體成員集合),將議案廣播給法定集合成員。

    3)一致性表決:參與表決的Follower節(jié)點根據(jù)接收到的議案內(nèi)容進行投票(Vote),并將投票發(fā)送給Leader。

    4)提交:Leader節(jié)點統(tǒng)計投票,并將表決結(jié)果提交(commit)到整個網(wǎng)絡(luò)。

    5)讀取:客戶端節(jié)點通過Learner節(jié)點讀取整個網(wǎng)絡(luò)的一致性狀態(tài)。

    上述傳統(tǒng)主流主從式分布式一致性算法的一般模式中,有兩個問題制約了系統(tǒng)的總體性能上限。

    第一個問題為固定Leader節(jié)點的存在:

    傳統(tǒng)主從分布式一致性算法中Leader節(jié)點是固定的,且擔(dān)負了過多職責(zé):包括廣播議案、統(tǒng)計投票、決出決議、消息分發(fā)等在內(nèi),隨著網(wǎng)絡(luò)規(guī)模擴大,Leader節(jié)點承擔(dān)了數(shù)倍于普通節(jié)點的流量,這對Leader節(jié)點的計算性能和網(wǎng)絡(luò)接口帶寬提出了巨大的要求;并且Leader節(jié)點一旦崩潰,集群需要重新進入選主過程,直至Leader上線,集群都會保持無服務(wù)狀態(tài),引發(fā)流量震蕩。這些嚴重制約了傳統(tǒng)主從分布式一致性算法網(wǎng)絡(luò)規(guī)模和系統(tǒng)吞吐量上限,這些缺陷在開源系統(tǒng)Zookeeper的應(yīng)用中表現(xiàn)明顯。

    第二個問題為法定集約束的存在:

    傳統(tǒng)分布式一致性算法,無論基于P2P模型還是主從模型,都存在必須要求半數(shù)以上節(jié)點存活并參加一致性表決的強約束,也稱法定集約束。這是由于從集合論的角度,不可能存在兩個多數(shù)派成員集合同時投票贊成兩個不同議案,因此從數(shù)學(xué)角度確保一致性算法的正確性,這顯著制約了算法的失效容忍性上限。

    1.3 Yac分布式一致性算法的相應(yīng)改進

    Yac分布式系統(tǒng)針對上述傳統(tǒng)主流分布式算法中存在的問題提出了改良方法。

    對于第一個問題,Yac算法不采用固定Leader節(jié)點,而采用特定的策略動態(tài)生成決策成員集合,該集合在集群成員節(jié)點中隨時域動態(tài)遷移,形成統(tǒng)計負載均衡,作為臨時負載中心的Leader角色也采用共識機制隨上述集合的產(chǎn)生動態(tài)生成。

    對于第二個問題,Yac算法放棄采用傳統(tǒng)分布式一致性算法中關(guān)于半數(shù)以上成員節(jié)點組成法定集參加表決的強約束,而在特定時間片內(nèi)由映射的角色成員集合參與一致性表決。這破壞了Paxos算法已經(jīng)提供的,對分布式一致性算法正確性的數(shù)學(xué)證明,本文建立了一種名為日志鏈的機制,結(jié)合算法安全性約束來重新確保Yac分布式一致性算法的正確性。

    Yac分布式一致性算法中重新劃分了三種角色,分別為:

    1)Leader。臨時Leader節(jié)點,由時域要素計算產(chǎn)生,統(tǒng)計來自一致性表決成員關(guān)于某項議案的投票結(jié)果,并生成一致性決議通知全網(wǎng)。

    2)Elector。臨時的一致性表決參與者,由時域要素計算生成特定時間段內(nèi)的法定一致性表決成員集表決團中的成員,可以針對某項議案進行投票。

    3)Follower。普通節(jié)點,執(zhí)行請求與議案的廣播操作,學(xué)習(xí)Leader節(jié)點的一致性決議。

    下面分步闡述表決團和Leader的產(chǎn)生機制,以及如何通過日志鏈機制在有限表決模型下確保一致性決議的唯一性。

    1.4 表決團和Leader的生成策略

    Yac分布式一致性算法采用哈希方法生成與時間域映射的表決團成員集合。

    對于表決團的大小,可以在大于3及小于集群節(jié)點總數(shù)m范圍內(nèi)的奇數(shù)中任意選取。

    定義哈希函數(shù)VGen(time_param),將時域參數(shù)epoch散列映射至上述鍵值對序列的鍵空間中,計算時域要素映射時間段內(nèi)表決團成員集。

    1.5 日志鏈機制

    日志鏈機制的引入來源于對算法正確性的要求。本文分兩步確保Yac分布式一致性算法的正確性:

    1)單次一致性表決正確性:對于單次一致性表決,集群不產(chǎn)生或僅產(chǎn)生唯一一個表決結(jié)果。

    2)累積一致性表決正確性:經(jīng)過多輪表決后,集群能且僅能確定唯一一個表決結(jié)果序列。

    針對單次一致性表決正確性,傳統(tǒng)分布式系統(tǒng)采用集合論約束證明正確性;Yac算法由于特殊的表決團生成策略,對于同一個時域參數(shù)epoch,僅可能生成唯一一個表決團,并且在表決團內(nèi)遵循法定集表決約束,因此同樣可以證明正確性。

    而針對累積一致性表決的正確性,則通過日志鏈機制來保證。

    已知集群中任意一次表決生效產(chǎn)生的集群狀態(tài)變更都可以采用二元組〈epochi,proposali〉唯一描述,其中epochi為時域參數(shù),proposali為表決的議案。采用遞歸哈希思想,以第五代消息摘要算法(Message Digest algorithm 5th, MD5)對歷史狀態(tài)變更記錄計算累積摘要,生成鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)Log Chain,如圖2所示。

    圖2 Log Chain數(shù)據(jù)模型

    Log Chain保存了數(shù)據(jù)狀態(tài)變更路徑,形成可追溯的集群一致性狀態(tài)變更歷史軌跡,對于鏈中每個Log Entry節(jié)點,都存儲本次狀態(tài)變更記錄及上一個Log Entry的MD5值,這不但包括了對上一次狀態(tài)變更結(jié)果的確認,同時還隱式校驗了Log Chain上之前所有狀態(tài)變更記錄的完整性。因此,Log Chain之間可以通過對鏈尾Log Entry節(jié)點的一次比較,檢驗出歷史上所有可能出現(xiàn)過得版本分歧。并且,后面還將說明,Log Chain中所有可能出現(xiàn)的版本分支都是等長的,分支版本與主版本合并算法的復(fù)雜度等價于求取分支版本與主版本的最長公共前綴算法,具有線性復(fù)雜度。

    1.6 安全性約束

    為確保算法安全性,即中間不含寫操作的情形下,向集群任意節(jié)點發(fā)起的任意讀請求序列讀取到的狀態(tài)值序列都一致,Yac定義了下列安全性約束:

    約束1 如果一個節(jié)點支持一個決議,那么本時間片內(nèi)不再支持任何其他決議。

    約束2 表決團是原子的,當(dāng)且僅當(dāng)半數(shù)以上的成員支持一項決議,該決議才獲得通過。

    約束3 一個時間片內(nèi)僅執(zhí)行一次表決,如果一個時間片內(nèi),節(jié)點未表決通過或被通知通過一個表決成功的議案,那么節(jié)點生成一個空的Log Entry鏈接到本地Log Chain副本中。

    約束4 如果同一時間片內(nèi),Log Chain的對應(yīng)Log Entry在集群中同時存在空和非空版本,那么非空Log Entry對應(yīng)正確的主分支版本。

    1.7 算法描述

    至此,已可以總結(jié)出Yac分布式一致性算法的形式化描述如下。

    1)

    Algorithm 1: Yac

    2)

    /*Task for a client*/

    3)

    Createrequest〈request_id,request_body〉

    4)

    Sendrequest〈request_id,request_body〉 to serversfrom server_list randomly

    5)

    Upon not receivingreply〈request_id〉 from serversuntil Δttime

    6)

    Repeat from step 4)

    7)

    /*Task for Follower and ALL Server*/

    8)

    Uponnew_time_slotstart:

    9)

    Iflast_log_entry_epoch

    10)

    Appendlog_entry〈last_log_entry_md5,epoch,null,md5〉 Intolog_chain

    11)

    Setcurrent_epoch++

    12)

    Letelector_group= VGen(current_epoch)

    13)

    Letleader=elector_group[0]

    14)

    Ifthis==leaderThen

    15)

    Switch to Leader

    16)

    Else IfthisInelector_groupThen

    17)

    Switch to Elector

    18)

    Else

    19)

    Switch to Follower

    20)

    Resetcommitted=false,pre_vote_request_id=null

    21)

    Upon receivingcommit〈epoch,request〉:

    22)

    AssertcommitIs Validated

    23)

    Appendlog_entry〈last_log_entry_md5,epoch,request,md5〉 Intolog_chain

    24)

    Upon receivingrequest〈request_id,request_body〉 from Client c:

    25)

    Letelector_group=VGen(current_epoch)

    26)

    Multicastdisseminated_request toelector_group

    27)

    /*Task for a Elector*/

    28)

    Upon receivingdisseminated_request〈request_id,

    request_body〉

    29)

    Ifpre_vote_request_id==null Orrequest_id<

    pre_vote_request_idThen

    30)

    Return false

    31)

    Letelector_group= VGen(current_epoch)

    32)

    Letleader=elector_group[0]

    33)

    Sendvote〈current_epoch,disseminated_request〉 Toleader

    34)

    pre_vote_request_id=request_id

    35)

    /*Task for a Leader*/

    36)

    Upon receivingvote〈epoch,request〉

    37)

    Ifepoch

    38)

    Return false

    39)

    Else

    40)

    Setvote_counter[request_id] ++

    41)

    Setvote_cache[request_id] =request_body

    42)

    Ifvote_counter[request_id] >e/2 Then

    43)

    BroadCastcommit〈epoch,request〉

    44)

    Letcommitted=true

    1.8 節(jié)點崩潰恢復(fù)策略

    Yac分布式一致性算法可以采用簡單的崩潰恢復(fù)策略,當(dāng)節(jié)點發(fā)生故障后并重新恢復(fù)后,首先計算當(dāng)前epoch,并計算上一個epoch所映射的表決團成員集合,向它們發(fā)送請求同步廣播,將本地Log Chain合并到集群主版本。

    1.9 成員變更

    Yac分布式一致性算法的將成員變更操作視為分布式一致性決策問題,并保持系統(tǒng)內(nèi)全局狀態(tài)一致。

    初始成員集合采用靜態(tài)加載配置文件方式獲取。系統(tǒng)運行時態(tài),由管理端提出成員變更請求,接入節(jié)點生成成員變更議案,提交當(dāng)前epoch映射的表決團表決,表決結(jié)果由當(dāng)前Leader廣播至一致性網(wǎng)絡(luò)。

    1.10 CAP分析

    針對可用性(A)指標(biāo),傳統(tǒng)的分布式一致性算法,在超過半數(shù)的成員失效時系統(tǒng)就不能正常工作,這是基于法定集的強約束。Yac分布式一致性算法在半數(shù)以上表決團節(jié)點存活時可以提供一致性服務(wù),因此具備比傳統(tǒng)分布式一致性算法更寬的工作區(qū)間。

    根據(jù)CAP理論[15],分區(qū)容忍性(P)與分區(qū)一致性(C)相互沖突, Yac分布式一致性算法嚴格強調(diào)分區(qū)一致性(C),在分區(qū)容忍性(P)上作出妥協(xié)。

    當(dāng)網(wǎng)絡(luò)發(fā)生分區(qū)時,相互隔離的多個分區(qū)無法同時提供服務(wù),因此一定不會產(chǎn)生沖突的值。這是因為表決團是原子的,任一時間片內(nèi)存在且至多存在一個分區(qū)能夠產(chǎn)生具備多數(shù)派的表決團。當(dāng)分區(qū)恢復(fù)聯(lián)通時,借助Log Chain的遞歸Hash特性,任意兩個節(jié)點可在常數(shù)時間內(nèi)檢測出Log Chain之間的版本分歧,只要從樹形日志鏈的根節(jié)點起始進行寬度優(yōu)先遍歷(Breadth First Search, BFS),遞歸剪除祖先節(jié)點決議為NULL的分支,則可快速將樹形日志鏈重新修整成單一的主鏈,恢復(fù)集群的一致性。

    1.11 正確性證明

    分布式集群狀態(tài)一致等同于各成員節(jié)點的副本日志一致。證明算法正確性,只需證明各成員節(jié)點副本Log Chain之間不會產(chǎn)生無法合并的分支版本。

    首先依次證明三個命題:

    命題1 各成員節(jié)點副本Log Chain的長度相等。

    證明 根據(jù)安全性約束3,每一個時間片內(nèi),日志鏈產(chǎn)生且至多產(chǎn)生一個空或非空Log Entry節(jié)點,在系統(tǒng)初始化后,各成員節(jié)點經(jīng)歷相同的時間偏序,因此副本Log Chain之間長度相等。

    命題2 同一時間片內(nèi)不可能產(chǎn)生兩個決議內(nèi)容不同的非空Log Entry。

    證明 采用反證法。假定時間片tk內(nèi)生成了兩個決議內(nèi)容不同的Log Entry,則tk時間片所映射的表決團必定存在兩個多數(shù)派同時支持了不同的提案,而已知任意兩個多數(shù)派存在交集,一定存在節(jié)點在tk時間片內(nèi)支持兩個不同決議,這與安全性約束1矛盾,命題2得證。

    命題3 任意時間片都映射一個唯一合法的Log Entry版本。

    證明 根據(jù)命題2,任意時間片tk內(nèi)各副本Log Chain所生成的Log Entry僅存在三種情況:①僅存在空Log Entry;②僅存在決議值相同的非空Log Entry;③既存在空Log Entry,也存在決議值相同的非空Log Entry;又根據(jù)安全性約束4,情況①可合并至空Log Entry,情況②③可合并至值唯一的非空Log Entry,因此得證。

    綜合上述三個命題的證明,分布式集群中各成員節(jié)點副本Log Chain可以確保版本唯一,由此可以保證分布式集群成員節(jié)點間日志版本一致,進而確保分布式集群狀態(tài)一致。

    2 實驗與分析

    本文采用Java語言實現(xiàn)了Yac算法,采用RPC作為底層通信技術(shù),開展實驗。為了對比與主流分布式一致性算法的性能差異,本文同時也對Zookeeper開源分布式一致性基礎(chǔ)服務(wù)進行了對比測試。課題組采用三臺Xeon E7-8830+64 GB RAM及1 000 M交換機組成的硬件平臺,基于Xen-Server構(gòu)建的私有云,并在云上部署Docker容器構(gòu)建實驗集群。分別設(shè)計測試負載生成客戶端,對Yac算法集群,生成對測試狀態(tài)變量的隨機四則運算操作并校驗正確性;對Zookeeper算法集群,向ZTree空間中固定路徑中寫入隨機整型變量。為實現(xiàn)可控測試負載,采用Sleep系統(tǒng)調(diào)用動態(tài)調(diào)節(jié)測試請求的生成速率。通過對比實驗,分別從負載均衡指標(biāo)、失效容忍性、吞吐量與時延特性三個方面對兩種算法進行比較。實驗中的參數(shù)配置上,采用變量m表征集群節(jié)點總數(shù),采用變量e表征Yac算法表決團大小。

    2.1 負載均衡指標(biāo)

    1)均方差指標(biāo)

    2)單峰指標(biāo)

    其中:均方差指標(biāo)衡量集群總體負載均衡度,單峰指標(biāo)用來衡量集群的單點負載集中效應(yīng)。

    圖3、圖4和表1展現(xiàn)了不同集群配置下的兩種算法負載均衡方差指標(biāo)、單峰指標(biāo)的對比。其中圖3與圖4中Zookeeper指標(biāo)變化曲面均與表決團大小無關(guān)。由表1可以看出,在集群規(guī)模較小時,如m=15時,Yac算法的負載均衡方差指標(biāo)較Zookeepr最少低0.2%,隨著集群規(guī)模擴大,Yac的算法的負載均衡方差指標(biāo)優(yōu)于Zookeeper,m=65時,Yac算法的方差指標(biāo)至少較Zookeeper高出4.94%;另一方面,對于負載均衡單峰指標(biāo),Yac算法顯著優(yōu)于Zookeeper,在集群較小,在m=15且e=7時,Yac算法單峰指標(biāo)就較Zookeeper高出22.34%,隨著集群規(guī)模擴大,Zookeeper的Leader節(jié)點負載急劇上升;m=65且e=7時,Yac算法的單峰指標(biāo)已經(jīng)比Zookeeper高出31.3%,顯示出Yac算法統(tǒng)計負載均衡特型在抑制單點負載集中效應(yīng)上具有明顯優(yōu)勢。

    圖3 兩種算法在不同集群配置下的均方差指標(biāo)比較

    圖4 兩種算法在不同集群配置下的單峰指標(biāo)比較

    表1 兩種算法在不同集群配置下負載均衡指標(biāo)比較

    2.2 可用性及失效容忍性

    可用性指標(biāo)IA=(S/R)×100%是統(tǒng)計單位時間片內(nèi)分布式服務(wù)可用率的指標(biāo),其中S及R分別是單位時間片內(nèi)請求執(zhí)行成功數(shù)以及請求發(fā)起總數(shù)。

    通過殺死Docker容器節(jié)點進程的方式,可以模擬分布式集群中節(jié)點崩潰失效事件。Yac算法的失效容忍性與表決團在集群中占比有關(guān),本文依此對Yac算法在不同集群配置、節(jié)點崩潰變化情形下可用性指標(biāo)及失效容忍性能進行了評估,并與Zookeeper進行了對比分析。

    圖5和表2展現(xiàn)了兩種算法在不同集群配置可用性指標(biāo)變化的對比。圖5中Zookeeper指標(biāo)變化曲面與表決團在集群中占比無關(guān)。由圖5和表2可知:Zookeeper在集群節(jié)點崩潰率小于50%時,可用性指標(biāo)穩(wěn)定維持在100%;當(dāng)節(jié)點崩潰率到達50%以上時,集群停止工作,呈階躍特性。

    與之相反,Yac算法用性指標(biāo)表現(xiàn)出與節(jié)點崩潰率的負相關(guān)關(guān)系。當(dāng)表決團在集群中占比20%時,節(jié)點崩潰率由10%升高50%過程中,可用性指標(biāo)由91.56%降低至73.3%;但重點在節(jié)點崩潰率超過50%時,算法仍正常工作,甚至在80%節(jié)點崩潰時,Yac算法可用性仍能保持在35.62%左右,能提供有限服務(wù),在失效容忍上表現(xiàn)了比Zookeeper更大的節(jié)點失效容忍度。當(dāng)表決團在集群中占比達60%時,算法在相同節(jié)點崩潰率上表現(xiàn)出較表決團在集群中占比20%情形時更高的可用性指標(biāo),但失效容忍范圍開始收窄,節(jié)點崩潰率到達60%時僅表現(xiàn)出11.23%的可用性指標(biāo)。當(dāng)表決團在集群中占比達100%時,算法失效容忍范圍開始收窄,且可用性指標(biāo)隨崩潰率變化趨勢近似于Zookeeper表現(xiàn)出的階躍曲線,這與圖5中變現(xiàn)的規(guī)律一致??芍?,Yac算法可用性表現(xiàn)與表決團在集群中占比呈負相關(guān);表決團在集群中占比為100%時,Yac可用性最差,但此時也與Zookeeper擁有近似失效容忍度及可用性。

    圖5 兩種算法在不同集群配置及節(jié)點崩潰率下可用性指標(biāo)比較

    表2 兩種算法在不同集群配置下的可用性指標(biāo)比較

    2.3 時延與吞吐量性能對比分析

    時延及吞吐量是分布式一致性算法的重要性能指標(biāo),本文在不同集群配置及不同測試負載下對Yac算法與Zookeeper的相關(guān)指標(biāo)進行對比分析。為獲取正確實驗結(jié)果,所有Docker容器均綁定CPU核并配置資源限額。

    圖6與表3展現(xiàn)了兩種算法在不同集群配置及不同測試負載下的請求處理時延。

    圖6 兩種算法在不同集群配置及寫測試負載下請求平均處理時延

    其中表3枚舉了不同集群配置及測試負載下兩種算法請求平均處理時延的采樣,圖6(a)與圖6(b)則分別針對不同集群規(guī)模下兩種算法請求平均處理時延隨測試負載變化趨勢進行了可視化分析。從表3中的數(shù)據(jù)可知,在Yac算法測試負載在12×103req/s以下而Zookeeper測試負載在10×103req/s以下時,兩種算法都擁有相對平穩(wěn)的請求處理時延,其中Yac算法的時延采樣均值約為73.74 ms,Zookeeper算法的時延采樣均值約為61.48 ms,Yac算法的請求平均處理時延比Zookeeper高約12.26 ms。隨測試負載增加,算法集群均逐漸達到性能瓶頸,到達瓶頸的節(jié)點因無法及時處理消息和求而導(dǎo)致集群請求處理時延增加。

    表3兩種算法在不同負載及集群配置下請求平均處理時延比較ms

    Tab. 3 Comparison of average request processing delay of two algorithms under different test load and cluster configuration ms

    負載/(103req·s-1)參數(shù)mYace=5e=7e=9Zookeeper359101112131573.3872.5973.4261.273572.6473.2173.3162.361574.1773.5673.4461.883573.6773.3474.0161.251573.3374.7173.7661.363572.2973.3074.3160.741573.1574.6674.1285.583574.2473.9674.5390.711573.9474.2774.15132.943574.3673.6874.83146.5315101.62102.33101.74217.2835109.37108.01110.98241.1415152.61156.44157.68321.8735163.43162.52162.19350.63

    圖6(a)與圖6(b)中,Yac算法在測試負載增加到12×103req/s及以上時,時延曲線到達拐點,平均時延開始急劇上升,可認為相應(yīng)集群配置下Yac算法的吞吐量上限在11×103~12×103req/s;同時,Zookeeper在測試負載到達10×103req/s以上時,時延曲線到達拐點,可認為其吞吐量上限在9×103~10×103req/s。以上分析表明,相同集群規(guī)模下Yac算法在未到達性能瓶頸時請求平均處理時延略高于Zookeeper,但在吞吐量上限比Zookeeper更高。

    3 結(jié)語

    本文通過分析主流靜態(tài)拓撲主從模型分布式一致性算法存在的問題,提出一種具備統(tǒng)計負載均衡特性及高失效容忍性的分布式一致性算法Yac。通過動態(tài)生成表決成員集合改善負載均衡性能,采用共識機制生成的時分切換的Leader節(jié)點抑制單點負載集中效應(yīng),采用作用域更小的法定集約束使算法具備更高的失效容忍性,同時通過日志鏈機制重新確保算法安全性。實驗結(jié)果表明,同等集群規(guī)模下,Yac算法在解決單點負載集中問題上顯著優(yōu)于Zookeeper,并擁有更高的吞吐量上限;隨表決團在總體成員集中占比降低,Yac算法可擁有比Zookeeper更廣的失效容忍區(qū)間。由于相對更復(fù)雜的拓撲及更多的消息傳遞跳數(shù),Yac算法具有比Zookeeper更高的請求平均處理時延,下一步工作主要是對本文算法進行改進和優(yōu)化,改善時延性能及降低算法復(fù)雜度。

    References)

    [1] LAMPORT L, SHOSTAK R, PEASE M. The byzantine generals problem [J]. ACM Transactions on Programming Languages and Systems, 1982, 4(3): 382-401.

    [2] LAMPORT L. The part-time parliament [J]. ACM Transactions on Computer Systems, 1998, 16(2): 133-169.

    [3] LAMPORT L. Paxos made simple [J]. ACM SIGACT News, 2016, 32(4): 18-25.

    [4] LAMPORT L. Fast paxos[J]. Distributed Computing, 2006, 19(2): 79-103.

    [5] ZHAO W. Fast paxos made easy: theory and implementation [J]. International Journal of Distributed Systems and Technologies, 2015, 6(1): 15-33.

    [6] BURROWS M. The chubby lock service for loosely-coupled distributed systems [C]// Proceedings of the 7th Symposium on Operating Systems Design and Implementation. Berkeley, CA: USENIX Association, 2006: 335-350.

    [7] ONGARO D, OUSTERHOUT J. In search of an understandable consensus algorithm [C]// Proceedings of the 2014 USENIX Annual Technical Conference. Berkeley, CA: USENIX Association, 2014: 305-320.

    [8] JUNQUEIRA F, REED B. ZooKeeper: Distributed Process Coordination [M]. Sebastopol, CA: O’Reilly, 2013: 3-42.

    [9] JUNQUEIRA F P, REED B C, SERAFINI M. Zab: high-performance broadcast for primary-backup systems [C]// Proceedings of the 2011 IEEE/IFIP 41st International Conference on Dependable Systems & Networks. Piscataway, NJ: IEEE, 2011: 245-256.

    [10] HUNT P, KONAR M, JUNQUEIRA F P, et al. ZooKeeper: wait-free coordination for internet-scale systems [C]// Proceedings of the 2010 USENIX Annual Technical Conference. Berkeley, CA: USENIX Association, 2010: 11.

    [11] MARANDI P J, PRIMI M, SCHIPER N, et al. Ring Paxos: a high-throughput atomic broadcast protocol [EB/OL]. [2016- 12- 09]. http://www.microsoft.com/en-us/research/wp-content/uploads/2016/06/RingPaxos.pdf.

    [12] KUMAR V, AGARWAL A. HT-Paxos: high throughput state-machine replication protocol for large clustered data centers [EB/OL]. [2017- 01- 04]. http://xueshu.baidu.com/s?wd=paperuri%3A%28b741b6286079366bc618b67547ec68f0%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fde.arxiv.org%2Fpdf%2F1407.1237&ie=utf-8&sc_us=11391865198545652672.

    [13] BIELY M, MILOSEVIC Z, SANTOS N, et al. S-Paxos: offloading the leader for high throughput state machine replication [C]// Proceedings of the 2012 IEEE 31st Symposium on Reliable Distributed Systems. Washington, DC: IEEE Computer Society, 2012: 111-120.

    [14] MORARU I, ANDERSEN D G, KAMINSKY M. Paxos quorum leases: fast reads without sacrificing writes [C]// Proceedings of the ACM Symposium on Cloud Computing. New York: ACM, 2014: 1-13.

    [15] GILBERT S, LYNCH N. Perspectives on the CAP theorem [J]. Computer, 2012, 45(2): 30-36.

    [16] 許子燦,吳榮泉.基于消息傳遞的Paxos算法研究[J].計算機工程,2011,37(21):287-290.(XU Z C, WU R Q. Research on Paxos algorithm based on messages passing [J]. Computer Engineering, 2011, 37(21): 287-290.)

    [17] 楊春明,杜炯.一種基于Paxos算法的高可用分布式鎖服務(wù)系統(tǒng)[J].西南科技大學(xué)學(xué)報,2014,29(2):60-65.(YANG C M, DU J. A highly available distributed lock service system based Paxos algorithm [J]. Journal of Southwest University of Science and Technology, 2014, 29(2): 60-65.)

    Yac:yetanotherdistributedconsensusalgorithm

    ZHANG Jian1, WANG Yang1*, LIU Dandan2

    (1.SchoolofComputerScience,WuhanUniversity,WuhanHubei430072,China;2.StateKeyLabofSoftwareEngineering,WuhanUniversity,WuhanHubei430072,China)

    There are serious load imbalance and single point performance bottleneck effect in the traditional static topology leader-based distributed consensus algorithm, and the algorithm is unable to work properly when the number of breakdown nodes is larger than 50% of the cluster size. To solve the above problems, a distributed consensus algorithm (Yac) based on dynamic topology and limited voting was proposed. The algorithm dynamically generated the membership subset and Leader nodes to participate in the consensus voting, and varied with time, achieving statistical load balance. With removal of the strong constraints of all the majority of members to participate in voting, the algorithm had a higher degree of failure tolerance. The security constraints of the algorithm were reestablished by the log chain mechanism, and the correctness of the algorithm was proved. The experimental results show that the load concentration effect of single point in the improved algorithm is significantly lower than that of the mainstream static topology leader-based distributed consensus algorithm Zookeeper. The improved algorithm has better fault tolerance than Zookeeper in most cases and maintains the same as Zookeeper in the worst case. Under the same cluster size, the improved algorithm has higher throughput upper limit than Zookeeper.

    distributed consensus; Paxos algorithm; voting group; log chain; load balance

    2017- 03- 13;

    2017- 05- 07。

    國家自然科學(xué)基金資助項目(61103216)。

    張健(1976—),男,安徽銅陵人,教授,博士,主要研究方向:云計算、物聯(lián)網(wǎng); 汪洋(1990—),男,湖北武漢人,碩士研究生,主要研究方向:云計算、分布式計算; 劉丹丹(1980—),女,湖北武漢人,副教授,博士,CCF會員,主要研究方向:無線網(wǎng)絡(luò)、移動計算。

    1001- 9081(2017)09- 2524- 07

    10.11772/j.issn.1001- 9081.2017.09.2524

    TP301.6

    A

    This work is partially supported by the National Natural Science Foundation of China (61103216).

    ZHANGJian, born in 1976, Ph. D., professor. His research interests include cloud computing, Internet of things.

    WANGYang, born in 1990, M. S. candidate. His research interests include cloud computing, distributed computing.

    LIUDandan, born in 1980, Ph. D., associate professor. Her research interests include wireless network, mobile computing.

    猜你喜歡
    可用性日志時延
    基于文獻計量學(xué)的界面設(shè)計可用性中外對比研究
    包裝工程(2023年24期)2023-12-27 09:18:26
    一名老黨員的工作日志
    華人時刊(2021年13期)2021-11-27 09:19:02
    基于輻射傳輸模型的GOCI晨昏時段數(shù)據(jù)的可用性分析
    扶貧日志
    心聲歌刊(2020年4期)2020-09-07 06:37:14
    基于GCC-nearest時延估計的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    基于改進二次相關(guān)算法的TDOA時延估計
    游學(xué)日志
    FRFT在水聲信道時延頻移聯(lián)合估計中的應(yīng)用
    基于分段CEEMD降噪的時延估計研究
    空客A320模擬機FD1+2可用性的討論
    河南科技(2015年7期)2015-03-11 16:23:13
    亚洲精品久久午夜乱码| 精品视频人人做人人爽| 全区人妻精品视频| a级毛片在线看网站| av又黄又爽大尺度在线免费看| 99久久综合免费| 日韩亚洲欧美综合| 久久精品国产亚洲av天美| 热99久久久久精品小说推荐| 欧美亚洲 丝袜 人妻 在线| 国产亚洲欧美精品永久| 高清欧美精品videossex| 亚洲精品456在线播放app| 免费看不卡的av| 国产女主播在线喷水免费视频网站| 亚洲av男天堂| 高清不卡的av网站| 亚洲图色成人| 久久久久久久久久成人| 91aial.com中文字幕在线观看| 亚洲欧洲精品一区二区精品久久久 | 午夜激情久久久久久久| 午夜激情av网站| 又黄又爽又刺激的免费视频.| 国产免费现黄频在线看| 久久久久久久久大av| 91精品伊人久久大香线蕉| 欧美 日韩 精品 国产| 尾随美女入室| 日韩中字成人| 18禁在线无遮挡免费观看视频| 中文字幕制服av| 一个人看视频在线观看www免费| 欧美精品人与动牲交sv欧美| 国产精品欧美亚洲77777| av在线播放精品| 一本一本综合久久| 在线观看www视频免费| 精品视频人人做人人爽| 蜜臀久久99精品久久宅男| 一级a做视频免费观看| 我要看黄色一级片免费的| 自线自在国产av| 国产欧美亚洲国产| 国产成人91sexporn| 卡戴珊不雅视频在线播放| 国产精品久久久久久久久免| 亚洲人成77777在线视频| 国产欧美日韩综合在线一区二区| 美女内射精品一级片tv| av在线app专区| .国产精品久久| 日韩精品有码人妻一区| 人妻人人澡人人爽人人| 国产乱人偷精品视频| 久久久国产精品麻豆| 日韩精品有码人妻一区| 久久国内精品自在自线图片| 国产一区有黄有色的免费视频| 熟女电影av网| 亚州av有码| 99久久精品国产国产毛片| 午夜福利视频在线观看免费| 寂寞人妻少妇视频99o| 精品久久蜜臀av无| 久久精品夜色国产| 人妻一区二区av| 91aial.com中文字幕在线观看| 观看美女的网站| 超碰97精品在线观看| 在线精品无人区一区二区三| 亚洲欧洲国产日韩| 久久国内精品自在自线图片| 国产成人午夜福利电影在线观看| 免费观看a级毛片全部| 久久久久久久精品精品| 狠狠精品人妻久久久久久综合| 九草在线视频观看| 97超视频在线观看视频| 少妇 在线观看| 国产精品国产av在线观看| 亚洲av中文av极速乱| 亚洲国产精品一区三区| 亚洲不卡免费看| 久久久国产精品麻豆| 亚洲综合色惰| a 毛片基地| 99久久精品一区二区三区| 国产精品 国内视频| 免费av中文字幕在线| 欧美xxxx性猛交bbbb| 少妇被粗大的猛进出69影院 | 69精品国产乱码久久久| 国产精品无大码| 一区二区三区四区激情视频| 中文字幕人妻熟人妻熟丝袜美| 国产有黄有色有爽视频| 多毛熟女@视频| 亚洲五月色婷婷综合| 欧美老熟妇乱子伦牲交| 一区在线观看完整版| 国产高清有码在线观看视频| 国产色爽女视频免费观看| 天堂中文最新版在线下载| 日本猛色少妇xxxxx猛交久久| 午夜激情福利司机影院| 日韩熟女老妇一区二区性免费视频| 菩萨蛮人人尽说江南好唐韦庄| 人妻人人澡人人爽人人| 人妻 亚洲 视频| 视频在线观看一区二区三区| av在线播放精品| 亚洲不卡免费看| 你懂的网址亚洲精品在线观看| 国产成人精品婷婷| 婷婷色av中文字幕| 老司机影院毛片| 中国三级夫妇交换| 99热6这里只有精品| 国产成人一区二区在线| 久久精品国产自在天天线| 精品国产国语对白av| 一个人免费看片子| 国产永久视频网站| 啦啦啦中文免费视频观看日本| 成年av动漫网址| 一级毛片黄色毛片免费观看视频| 一级片'在线观看视频| 久久精品夜色国产| 岛国毛片在线播放| 色哟哟·www| 人妻系列 视频| 岛国毛片在线播放| 色哟哟·www| 国产无遮挡羞羞视频在线观看| av有码第一页| 日韩中文字幕视频在线看片| 三级国产精品片| 日韩,欧美,国产一区二区三区| 少妇人妻 视频| 日韩免费高清中文字幕av| 男女无遮挡免费网站观看| 国产黄色免费在线视频| 王馨瑶露胸无遮挡在线观看| 考比视频在线观看| 国产一区二区三区av在线| 精品少妇内射三级| 大又大粗又爽又黄少妇毛片口| 日韩av在线免费看完整版不卡| 亚洲情色 制服丝袜| 精品99又大又爽又粗少妇毛片| 日本免费在线观看一区| 欧美性感艳星| 精品亚洲乱码少妇综合久久| 2022亚洲国产成人精品| 大片免费播放器 马上看| 成人综合一区亚洲| 69精品国产乱码久久久| 欧美精品亚洲一区二区| 女人久久www免费人成看片| 亚洲一级一片aⅴ在线观看| 精品人妻熟女av久视频| 国产免费现黄频在线看| 青春草亚洲视频在线观看| 18禁动态无遮挡网站| 国产有黄有色有爽视频| 中国国产av一级| 99热这里只有精品一区| 一级,二级,三级黄色视频| 久久久久久久精品精品| 亚洲精品久久成人aⅴ小说 | 久久精品国产亚洲网站| 五月开心婷婷网| 国产成人91sexporn| 国产成人aa在线观看| 91精品三级在线观看| 亚洲国产av影院在线观看| 久久久久精品性色| 久久久久国产网址| 久久久精品94久久精品| 中文字幕人妻熟人妻熟丝袜美| 亚洲精品亚洲一区二区| 亚洲综合精品二区| 一个人看视频在线观看www免费| 成人国产av品久久久| 一级,二级,三级黄色视频| av国产精品久久久久影院| 丁香六月天网| 制服诱惑二区| 欧美日韩av久久| 伊人久久精品亚洲午夜| 激情五月婷婷亚洲| videos熟女内射| 超色免费av| 亚洲婷婷狠狠爱综合网| 亚洲性久久影院| 国产成人91sexporn| 少妇人妻精品综合一区二区| 免费观看在线日韩| 国产精品偷伦视频观看了| 亚洲色图综合在线观看| 大又大粗又爽又黄少妇毛片口| 哪个播放器可以免费观看大片| 国产在视频线精品| 人妻制服诱惑在线中文字幕| 少妇的逼好多水| 国产精品久久久久久久久免| 婷婷色麻豆天堂久久| 热re99久久国产66热| 考比视频在线观看| 国产精品人妻久久久影院| 国产视频内射| 人成视频在线观看免费观看| 日本av手机在线免费观看| 久久久a久久爽久久v久久| 91国产中文字幕| 精品久久久精品久久久| 成年人免费黄色播放视频| 一边亲一边摸免费视频| 97在线人人人人妻| 这个男人来自地球电影免费观看 | 天天操日日干夜夜撸| 亚洲精品久久午夜乱码| 国产成人午夜福利电影在线观看| 精品久久蜜臀av无| 亚洲精品一区蜜桃| 婷婷色综合大香蕉| 熟女人妻精品中文字幕| 久久女婷五月综合色啪小说| 观看美女的网站| 精品一区二区三卡| 99久久中文字幕三级久久日本| 韩国av在线不卡| 全区人妻精品视频| 欧美日韩国产mv在线观看视频| 午夜免费观看性视频| 免费播放大片免费观看视频在线观看| 少妇熟女欧美另类| 纵有疾风起免费观看全集完整版| 日日爽夜夜爽网站| 国产成人一区二区在线| 久久久精品94久久精品| 十八禁高潮呻吟视频| 免费高清在线观看视频在线观看| 丝袜脚勾引网站| 色94色欧美一区二区| 久久久久人妻精品一区果冻| 一区二区日韩欧美中文字幕 | 国产精品免费大片| 午夜影院在线不卡| 国产精品秋霞免费鲁丝片| 久久精品夜色国产| 亚洲精品aⅴ在线观看| 少妇猛男粗大的猛烈进出视频| 国产午夜精品一二区理论片| 国产男人的电影天堂91| 久久精品国产亚洲av天美| 只有这里有精品99| 免费黄色在线免费观看| 免费观看在线日韩| 日韩欧美精品免费久久| 人人妻人人澡人人爽人人夜夜| 中文字幕最新亚洲高清| 两个人免费观看高清视频| 亚洲伊人久久精品综合| 国产一级毛片在线| 人成视频在线观看免费观看| 国产精品熟女久久久久浪| 久久精品人人爽人人爽视色| 高清不卡的av网站| 久久精品国产亚洲av涩爱| 九色成人免费人妻av| 亚洲少妇的诱惑av| 欧美人与性动交α欧美精品济南到 | 这个男人来自地球电影免费观看 | 如日韩欧美国产精品一区二区三区 | 日本欧美视频一区| 18禁裸乳无遮挡动漫免费视频| 欧美日韩亚洲高清精品| 91aial.com中文字幕在线观看| 人妻少妇偷人精品九色| 满18在线观看网站| 国产成人免费无遮挡视频| 欧美激情 高清一区二区三区| 大码成人一级视频| 国产亚洲av片在线观看秒播厂| 美女主播在线视频| 免费看av在线观看网站| 只有这里有精品99| 国产精品一二三区在线看| 国产成人精品无人区| 国模一区二区三区四区视频| .国产精品久久| 久久久久久久精品精品| 亚洲在久久综合| 日韩强制内射视频| 两个人免费观看高清视频| 日韩三级伦理在线观看| 少妇精品久久久久久久| 日韩制服骚丝袜av| 亚洲图色成人| 精品久久久久久电影网| 久久精品国产亚洲av天美| 免费观看a级毛片全部| 久久人人爽人人片av| 纵有疾风起免费观看全集完整版| 中文乱码字字幕精品一区二区三区| 美女脱内裤让男人舔精品视频| 高清不卡的av网站| 亚洲中文av在线| 校园人妻丝袜中文字幕| 伦精品一区二区三区| 黑人猛操日本美女一级片| 国产一区有黄有色的免费视频| 亚洲国产av影院在线观看| 如何舔出高潮| 看非洲黑人一级黄片| 国产69精品久久久久777片| 国产精品 国内视频| 99久国产av精品国产电影| 99国产综合亚洲精品| 国产精品久久久久久av不卡| 国产精品.久久久| 视频中文字幕在线观看| 国产不卡av网站在线观看| 久久人人爽人人爽人人片va| 日韩电影二区| √禁漫天堂资源中文www| 亚洲欧美色中文字幕在线| 精品一区二区免费观看| av黄色大香蕉| 国产成人免费观看mmmm| 久久久久久久大尺度免费视频| 亚洲精品,欧美精品| 亚洲精品第二区| 日韩人妻高清精品专区| 狂野欧美激情性bbbbbb| 久久久午夜欧美精品| 国产 精品1| 国产成人精品无人区| 亚洲四区av| 久久国产精品大桥未久av| 国产免费视频播放在线视频| 女性生殖器流出的白浆| 美女内射精品一级片tv| 国产高清不卡午夜福利| 国产在视频线精品| 国产免费福利视频在线观看| 免费日韩欧美在线观看| 高清黄色对白视频在线免费看| 国语对白做爰xxxⅹ性视频网站| 国产免费现黄频在线看| 国模一区二区三区四区视频| 全区人妻精品视频| 国产精品嫩草影院av在线观看| 九九在线视频观看精品| 亚洲欧美清纯卡通| 高清黄色对白视频在线免费看| 亚洲av免费高清在线观看| 在线天堂最新版资源| 一本久久精品| 满18在线观看网站| 国产黄色视频一区二区在线观看| 汤姆久久久久久久影院中文字幕| 国产亚洲一区二区精品| 免费观看a级毛片全部| 久热久热在线精品观看| 亚洲欧洲国产日韩| 乱码一卡2卡4卡精品| 七月丁香在线播放| 国产精品麻豆人妻色哟哟久久| 桃花免费在线播放| 又黄又爽又刺激的免费视频.| 一本色道久久久久久精品综合| 精品亚洲成a人片在线观看| 国产成人免费观看mmmm| 精品久久久噜噜| 欧美精品国产亚洲| 80岁老熟妇乱子伦牲交| 青春草亚洲视频在线观看| 国产伦理片在线播放av一区| xxxhd国产人妻xxx| 欧美日本中文国产一区发布| 久久国产亚洲av麻豆专区| 久久精品人人爽人人爽视色| 国产在视频线精品| 交换朋友夫妻互换小说| 日韩一区二区三区影片| 欧美人与性动交α欧美精品济南到 | 色吧在线观看| 大又大粗又爽又黄少妇毛片口| 日本猛色少妇xxxxx猛交久久| 日韩欧美一区视频在线观看| 狂野欧美激情性xxxx在线观看| 在线播放无遮挡| 久久影院123| 久久av网站| 成人漫画全彩无遮挡| 在线精品无人区一区二区三| 男男h啪啪无遮挡| 久久久国产精品麻豆| 国模一区二区三区四区视频| 亚洲国产精品一区二区三区在线| 97精品久久久久久久久久精品| 国产有黄有色有爽视频| 久久韩国三级中文字幕| 国产欧美亚洲国产| 午夜91福利影院| 午夜福利,免费看| 国产国拍精品亚洲av在线观看| 美女中出高潮动态图| 午夜久久久在线观看| 国产成人午夜福利电影在线观看| 啦啦啦中文免费视频观看日本| 国产精品一区二区三区四区免费观看| 国产免费一区二区三区四区乱码| 日本黄大片高清| 人妻少妇偷人精品九色| 国产精品成人在线| 国产欧美日韩一区二区三区在线 | av专区在线播放| av天堂久久9| 不卡视频在线观看欧美| 精品卡一卡二卡四卡免费| 国产精品久久久久久久电影| av女优亚洲男人天堂| 天天躁夜夜躁狠狠久久av| 人妻系列 视频| av免费观看日本| 99热这里只有精品一区| 国产欧美另类精品又又久久亚洲欧美| 考比视频在线观看| 啦啦啦中文免费视频观看日本| 久久女婷五月综合色啪小说| 日韩亚洲欧美综合| 一区二区三区精品91| 婷婷成人精品国产| 国产伦精品一区二区三区视频9| 国产色爽女视频免费观看| 2018国产大陆天天弄谢| 人人妻人人爽人人添夜夜欢视频| 嫩草影院入口| 天天操日日干夜夜撸| 日韩一区二区三区影片| 免费播放大片免费观看视频在线观看| 老熟女久久久| 777米奇影视久久| 精品人妻在线不人妻| 青春草亚洲视频在线观看| 欧美激情极品国产一区二区三区 | 欧美精品高潮呻吟av久久| 大片电影免费在线观看免费| 人妻一区二区av| 国产成人a∨麻豆精品| 日本-黄色视频高清免费观看| 九色亚洲精品在线播放| 国产精品一国产av| 国产亚洲av片在线观看秒播厂| 久久久久久久久久成人| 国产av国产精品国产| .国产精品久久| 女性被躁到高潮视频| 亚洲一区二区三区欧美精品| 国产一级毛片在线| 我的女老师完整版在线观看| 欧美变态另类bdsm刘玥| 黄色毛片三级朝国网站| 久久国产精品大桥未久av| 中文乱码字字幕精品一区二区三区| 汤姆久久久久久久影院中文字幕| 亚洲不卡免费看| 国产男人的电影天堂91| 伦精品一区二区三区| 好男人视频免费观看在线| 亚洲欧美精品自产自拍| 韩国高清视频一区二区三区| 极品人妻少妇av视频| 一级毛片aaaaaa免费看小| 亚洲国产精品一区三区| 老司机影院毛片| 国产精品一区www在线观看| 国产精品一国产av| 一个人免费看片子| 在线观看国产h片| 成人亚洲精品一区在线观看| 免费观看的影片在线观看| 一级,二级,三级黄色视频| 晚上一个人看的免费电影| 日日撸夜夜添| 日韩在线高清观看一区二区三区| 91久久精品国产一区二区成人| 日本黄大片高清| 国产亚洲一区二区精品| 国产成人免费观看mmmm| 97超碰精品成人国产| 美女福利国产在线| 久久久久久久久久久久大奶| 中文字幕亚洲精品专区| 又粗又硬又长又爽又黄的视频| 亚洲国产精品999| 99九九在线精品视频| 交换朋友夫妻互换小说| 亚洲国产成人一精品久久久| 又粗又硬又长又爽又黄的视频| 亚洲,欧美,日韩| 亚洲综合精品二区| 亚洲精品,欧美精品| 97在线人人人人妻| 成人影院久久| 大陆偷拍与自拍| 国产成人aa在线观看| 少妇丰满av| 国产淫语在线视频| 日本爱情动作片www.在线观看| 最近中文字幕2019免费版| 亚洲精品成人av观看孕妇| 人人妻人人澡人人看| 中文字幕久久专区| 久久97久久精品| 国产免费一级a男人的天堂| 少妇熟女欧美另类| 久久久久久伊人网av| 国产不卡av网站在线观看| 18禁在线无遮挡免费观看视频| a级毛片在线看网站| 内地一区二区视频在线| 日本猛色少妇xxxxx猛交久久| 免费大片黄手机在线观看| 欧美 亚洲 国产 日韩一| 一区二区三区精品91| 国产亚洲精品第一综合不卡 | 国产乱来视频区| 亚洲美女视频黄频| 热99久久久久精品小说推荐| 国模一区二区三区四区视频| 久久久午夜欧美精品| 高清在线视频一区二区三区| 伦理电影免费视频| 99国产综合亚洲精品| 99热这里只有是精品在线观看| 国产一区二区在线观看av| 国产日韩欧美在线精品| a级毛片免费高清观看在线播放| 伦精品一区二区三区| 美女福利国产在线| 国产av码专区亚洲av| 精品一区二区三区视频在线| 插逼视频在线观看| 99久久精品国产国产毛片| 中文天堂在线官网| 国产日韩欧美视频二区| 亚洲色图 男人天堂 中文字幕 | 九色亚洲精品在线播放| 这个男人来自地球电影免费观看 | 亚洲国产日韩一区二区| 国产免费视频播放在线视频| av线在线观看网站| 狠狠婷婷综合久久久久久88av| 国产成人a∨麻豆精品| 成人亚洲精品一区在线观看| 免费观看无遮挡的男女| videosex国产| 亚洲欧洲精品一区二区精品久久久 | 精品国产一区二区久久| 国产亚洲精品第一综合不卡 | 黄片播放在线免费| 岛国毛片在线播放| 国产在视频线精品| 纵有疾风起免费观看全集完整版| 国产精品国产三级国产专区5o| 美女主播在线视频| 高清在线视频一区二区三区| 国产男人的电影天堂91| 亚洲精华国产精华液的使用体验| 校园人妻丝袜中文字幕| 国产男女超爽视频在线观看| 大香蕉97超碰在线| av网站免费在线观看视频| 久久久精品区二区三区| 观看av在线不卡| 伊人久久国产一区二区| 五月玫瑰六月丁香| 考比视频在线观看| av国产精品久久久久影院| 精品国产一区二区三区久久久樱花| 国产老妇伦熟女老妇高清| 2022亚洲国产成人精品| 亚洲国产成人一精品久久久| 日韩大片免费观看网站| 日韩一区二区视频免费看| 成人18禁高潮啪啪吃奶动态图 | 桃花免费在线播放| 99久久精品一区二区三区| av天堂久久9| 亚洲,欧美,日韩| 成年人午夜在线观看视频| 九九久久精品国产亚洲av麻豆| 日韩欧美一区视频在线观看| 一区二区三区乱码不卡18| 国产熟女午夜一区二区三区 | 91精品伊人久久大香线蕉| 久久99精品国语久久久| 大又大粗又爽又黄少妇毛片口| 好男人视频免费观看在线| 国产精品一国产av| 两个人免费观看高清视频| 春色校园在线视频观看| 久久精品久久久久久噜噜老黄| 热99久久久久精品小说推荐| 亚洲四区av| 国产伦精品一区二区三区视频9| 欧美人与善性xxx| 国产老妇伦熟女老妇高清| 亚洲国产精品专区欧美| 亚洲精品美女久久av网站|