• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種分布式持久性內存文件系統(tǒng)的一致性機制

    2020-03-21 01:11:08陸游游陳游旻屠要峰舒繼武
    計算機研究與發(fā)展 2020年3期
    關鍵詞:持久性原語服務器端

    陳 波 陸游游 蔡 濤 陳游旻 屠要峰 舒繼武

    1(江蘇大學計算機科學與通信工程學院 江蘇鎮(zhèn)江 212013) 2(清華大學計算機科學與技術系 北京 100084) 3(中興通訊股份有限公司 南京 210012)(chenbo_9312@163.com)

    近年來,新興的非易失存儲器[1-3](non-volatile memory, NVM)具有字節(jié)可尋址、非易失、存儲密度高和訪問延遲低等特性,其通過內存總線連接CPU的NVM形態(tài)也被稱為持久性內存(persistent memory, PM).NVM的出現(xiàn)重新定義了計算機體系結構中易失性與非易失性的界限,以往由系統(tǒng)軟件保障的數(shù)據(jù)一致性轉變?yōu)橛蒀PU硬件保障.另一方面,遠程直接內存訪問(remote direct memory access, RDMA)因其高速、超低延時、零拷貝和內核旁路的網(wǎng)絡傳輸特性,逐漸被應用到數(shù)據(jù)中心.RDMA可以實現(xiàn)應用程序間點對點的通信,同時避免了上下文切換、冗余內存拷貝和內核網(wǎng)絡協(xié)議棧等開銷.持久性內存和RDMA的出現(xiàn)為構建新型存儲系統(tǒng)[4-12]提供了新的機遇.

    持久性內存和RDMA具有的新特性對存儲系統(tǒng)的一致性設計提出了2項挑戰(zhàn):1)現(xiàn)代處理器利用多核和內部緩存來提高整體運行速度,通常采用亂序執(zhí)行技術,導致最終寫入內存的數(shù)據(jù)并非是預期的結果,針對持久性內存會出現(xiàn)數(shù)據(jù)一致性的問題.此時,為了將數(shù)據(jù)順序地寫入持久性內存,CPU需要主動執(zhí)行數(shù)據(jù)刷寫指令,然而此過程開銷高昂,降低CPU的處理能力,影響持久性內存和RDMA的性能優(yōu)勢;2)RDMA的通訊過程需要注冊內存,且提供了單向原語可以繞過服務器端CPU直接讀寫已注冊的內存.為了性能考慮,RDMA會將數(shù)據(jù)先寫入至末級高速緩存,由于CPU不能及時將數(shù)據(jù)刷寫至持久性內存,因此,一旦出現(xiàn)系統(tǒng)崩潰,原始數(shù)據(jù)將無法有效恢復.

    對于數(shù)據(jù)的一致性策略,現(xiàn)有的存儲系統(tǒng)要么完全不考慮數(shù)據(jù)一致性例如Octopus[13],要么使用常見的Redo/Undo[14]日志機制、Log-Structure技術或影子分頁[15](shadow paging)技術等來保障操作的原子性.然而,使用Redo/Undo日志會導致數(shù)據(jù)重復寫問題,在加重數(shù)據(jù)持久化開銷的同時,還會浪費帶寬和加速持久性內存磨損;而影子分頁技術采用異地更新數(shù)據(jù)塊的方法,將原有指向舊數(shù)據(jù)塊的指針更新指向新的數(shù)據(jù)塊,但這將有可能導致所有的數(shù)據(jù)更新蔓延到根節(jié)點[15].針對服務器端不可感知客戶端寫入數(shù)據(jù)的問題,一種可行的方案是采用客戶端執(zhí)行RDMA send原語發(fā)送數(shù)據(jù)給服務器端,服務器端將數(shù)據(jù)寫到指定的地址,然后執(zhí)行數(shù)據(jù)持久化操作,但此方式引入了冗余拷貝[16].

    為此,本文提出并實現(xiàn)了一種分布式持久性內存文件系統(tǒng)的一致性機制CCM,該機制主要包括:首先提出并實現(xiàn)了一種基于操作日志的一致性保障策略,將元數(shù)據(jù)地址和數(shù)據(jù)的地址與大小寫入操作日志,并原子地修改操作日志的尾指針且持久化,這樣系統(tǒng)崩潰后,可通過持久化的操作日志進行恢復,這樣可保證元數(shù)據(jù)和數(shù)據(jù)的一致性.然后,設計了一種客戶端對服務器端遠程寫一致性策略,該策略中客戶端使用RDMA write-with-imm原語遠程寫入服務器端內存,此原語附帶客戶端標識符,服務器端可以感知其攜帶的客戶端標識符,進而服務器端CPU可以定位需要刷寫的地址,對客戶端寫入的數(shù)據(jù)執(zhí)行持久化操作,保證數(shù)據(jù)的持久化.最后,實現(xiàn)了一種服務器端的數(shù)據(jù)異步持久化,通過對元數(shù)據(jù)、數(shù)據(jù)和操作日志執(zhí)行異步刷寫,降低了持久化操作的開銷.

    1 相關工作

    為保證系統(tǒng)發(fā)生故障后能恢復一致性的狀態(tài),現(xiàn)有的持久性內存存儲系統(tǒng)一般使用日志的方式來保障一致性,也有不少系統(tǒng)未考慮一致性這個問題.下面從持久性內存文件系統(tǒng)一致性機制和面向RDMA的分布式持久性內存文件系統(tǒng)一致性機制2個方面介紹相關工作.

    1) 持久性內存文件系統(tǒng)一致性機制

    本文的一致性指的是系統(tǒng)斷電或故障后數(shù)據(jù)仍舊一致.目前在單機上的典型的持久性內存文件系統(tǒng)一致性研究工作有:NOVA[17]是加利福利亞大學圣地亞哥分校提出的基于混合內存的日志結構文件系統(tǒng),它巧妙地結合了日志結構組織方式與易失/非易失性內存的特性,利用日志結構修改的原子性和混合內存快速地隨機訪問性能設計并實現(xiàn)了一套強一致性的操作接口.它為每個索引節(jié)點分配一個日志,提高了文件系統(tǒng)讀寫和恢復階段的并發(fā)性能,針對多個索引節(jié)點間的操作,它采用了Journaling的方式保障數(shù)據(jù)修改的原子性.BPFS[18]是微軟公司提出的字節(jié)尋址的持久性內存文件系統(tǒng),它通過修改CPU緩存控制器和內存控制器等硬件的方式來保障數(shù)據(jù)寫入的順序性,并利用硬件級別的原子寫操作和影子技術實現(xiàn)了數(shù)據(jù)塊的原地更新,保障數(shù)據(jù)的一致性.但是針對跨目錄間的數(shù)據(jù)移動拷貝操作它需要較大的空間記錄原子操作的更新,開銷較大.PMFS[19]是英特爾公司為持久性內存設計的輕量級文件系統(tǒng),針對元數(shù)據(jù)和數(shù)據(jù)分別采用Journaling和寫時復制技術來保障一致性,然而不能同時保障元數(shù)據(jù)和數(shù)據(jù)修改的一致性.Ext4-DAX[20]繞過操作系統(tǒng)的頁緩存,可以更高效地讀寫持久性存儲設備.針對元數(shù)據(jù)的修改采用Journaling保障一致性,針對數(shù)據(jù)的修改未提供類似的機制,所以不能保障數(shù)據(jù)修改的原子性.Aerie[21]是惠普公司提出的面向持久性內存的文件系統(tǒng)操作接口,實現(xiàn)了應用程序直接讀寫持久性內存而無需內核的介入,然而其未考慮數(shù)據(jù)的一致性.除此之外,Wu等人[22]提出的面向持久性內存的文件系統(tǒng)SCMFS,構建在虛擬內存空間之上,并利用內存管理單元將文件系統(tǒng)的地址映射至持久性內存的物理地址,同樣未考慮文件系統(tǒng)的一致性.這些工作均是單機的持久性內存文件系統(tǒng)一致性機制研究工作.

    2) 面向RDMA持久性內存文件系統(tǒng)一致性機制

    在面向RDMA的分布式持久性內存系統(tǒng)下,Islam等人[23]結合RDMA和持久性內存的特性在HDFS基礎上實現(xiàn)了分布式文件系統(tǒng)NVFS,它利用RDMA的高性能特性設計并實現(xiàn)了一套高效的網(wǎng)絡通信接口,利用字節(jié)尋址的持久性內存構建緩沖池,將寫前日志和計算的中間結果保存在NVM,這極大提高了系統(tǒng)整體性能,然而它未考慮數(shù)據(jù)的一致性.Lu等人[13]設計并實現(xiàn)了分布式持久性內存文件系統(tǒng)Octopus,它將文件系統(tǒng)的讀寫操作與RDMA讀寫原語相結合起來,實現(xiàn)了一套高性能的遠程過程調用和讀寫接口.同時,利用RDMA的讀寫和原子操作實現(xiàn)了分布式事務機制,充分發(fā)揮RDMA的性能優(yōu)勢,減少了傳統(tǒng)事務操作中網(wǎng)絡通信和CPU處理所帶來的開銷.然而,它未考慮本地的數(shù)據(jù)和元數(shù)據(jù)一致性.

    上述研究工作在一致性方面的相關工作總結如表1所示:

    Table 1 Related Works About Consistency表1 一致性機制相關工作

    2 分布式持久性內存文件系統(tǒng)一致性機制框架設計

    本文提出了一種分布式持久性內存文件系統(tǒng)的一致性機制CCM,其整體系統(tǒng)結構如圖1所示:分為客戶端和服務器端,服務器端的設計由存儲管理、遠程過程調用和一致性組成.

    Fig.1 Architecture of CCM圖1 一致性機制結構圖

    2.1 存儲管理

    服務器端存儲管理主要包含元數(shù)據(jù)和數(shù)據(jù)管理、Hash索引管理和日志管理3個方面.1)元數(shù)據(jù)和數(shù)據(jù)管理:存儲于持久性內存,其中元數(shù)據(jù)區(qū)存儲著數(shù)據(jù)文件大小,修改時間和數(shù)據(jù)地址等信息,數(shù)據(jù)區(qū)存儲著文件和目錄數(shù)據(jù)塊,存儲方式如圖2所示,采用寫時復制方式,相比于Log-Structure組織方式,能減少垃圾回收的開銷.服務器端各數(shù)據(jù)區(qū)組成分布式持久共享內存池,從而能不依賴本地文件系統(tǒng)直接管理數(shù)據(jù)對象,減少了IO請求在內存中的拷貝.2)Hash索引管理:存儲于DRAM,存儲著元數(shù)據(jù)的索引信息,通過Hash表索引文件或目錄的元數(shù)據(jù),其中每一個條目包含文件名,文件索引節(jié)點和指向具有相同Hash值的下一個條目,通過文件全路徑可以計算出元數(shù)據(jù)的索引信息,進而得到索引節(jié)點的物理地址.3)日志管理:用于保存文件系統(tǒng)操作的日志,存儲于持久性內存.

    Fig.2 The layout of metadata and data圖2 元數(shù)據(jù)和數(shù)據(jù)組織方式

    2.2 遠程過程調用

    如圖1所示,客戶端與服務器端通信的方式是采用RPC機制,本文使用RDMA write_with_imm原語構建RPC機制,imm_data的內容是客戶端標識符,保證全局唯一性,相比于RDMA write原語,可以減少服務器端CPU輪詢消息緩存區(qū)的時間開銷.在數(shù)據(jù)讀寫密集的場景下服務器端CPU容易出現(xiàn)瓶頸[16],本文將使用客戶端主動讀寫數(shù)據(jù)的方式,即客戶端發(fā)送讀寫請求至服務器端,服務器端將該請求的元數(shù)據(jù)(讀寫內存地址信息)返回給客戶端,客戶端主動讀寫服務器端內存,這種方式的好處是:利用RDMA硬件特性將服務器端CPU的處理負載均攤到客戶端.

    2.3 一致性

    面向RDMA的分布式持久性內存文件系統(tǒng)的一致性問題主要來源2個方面:1)CPU不能保障將數(shù)據(jù)從高速緩存順序持久化至持久性內存,因此,需要軟件系統(tǒng)執(zhí)行硬件指令強制刷寫數(shù)據(jù)至持久性內存;2)客戶端使用RDMA直寫操作繞過服務器端CPU將數(shù)據(jù)直接寫入服務器端的內存,此時服務器端CPU沒有感知到內存的寫入操作,因此也無法執(zhí)行對應的持久化操作.此外,強制持久化的硬件指令開銷高昂,例如,CLFLUSH指令延遲大約200 ns[24],這極大浪費了CPU的處理帶寬.

    針對服務器端CPU無法主動執(zhí)行刷寫操作的問題,本文設計了一種客戶端對服務器端遠程寫一致性策略,可以獲取客戶端的寫入操作.針對持久化操作開銷高的問題,本文實現(xiàn)了一種服務器端的數(shù)據(jù)異步持久化,該方法通過對元數(shù)據(jù)、數(shù)據(jù)和操作日志執(zhí)行異步持久化來降低持久化操作引入的開銷.

    3 一致性保障技術

    我們面向分布式持久性內存文件系統(tǒng)實現(xiàn)了一致性機制CCM,其關鍵技術包括3個方面:1)基于操作日志的一致性保障策略;2)客戶端對服務器端的遠程寫一致性;3)服務器端的數(shù)據(jù)異步持久化.

    3.1 基于操作日志的一致性保障策略

    Fig.3 Operation log圖3 操作日志

    操作日志記錄著每一次操作的元信息,其內容如圖3所示,記錄著該操作的類型、日志長度、Inode號、元數(shù)據(jù)首地址和數(shù)據(jù)首地址及大小.具體執(zhí)行過程是:客戶端向服務器端執(zhí)行讀寫操作,服務器端將該操作的元信息寫入日志并持久化,原子更新日志尾指針并持久化,此保障此次操作的一致性.

    例如追加寫文件A,首先服務器端將舊版本元數(shù)據(jù)和數(shù)據(jù)拷貝至新的地址,并對新版本元數(shù)據(jù)進行修改,此時,操作日志記錄操作的類型為追加寫,元數(shù)據(jù)地址為新版本元數(shù)據(jù)的首地址,數(shù)據(jù)地址為新版本數(shù)據(jù)的首地址和文件A即將追加寫入的數(shù)據(jù)大小,然后將待寫入數(shù)據(jù)的地址信息返回給客戶端,客戶端根據(jù)該地址信息寫入數(shù)據(jù).本系統(tǒng)的一致性依賴于操作日志的尾指針是否持久化,需要保證在所有刷寫操作完成之后原子更新日志尾指針并持久化.當系統(tǒng)崩潰時重放日志可恢復到一致性狀態(tài),如果日志寫入一半,系統(tǒng)崩潰,由于之前的日志狀態(tài)是一致的,持久性內存的分配信息可恢復,不會出現(xiàn)持久性內存泄漏的問題.

    Fig.4 Remote data flushing圖4 遠程寫感知的流程圖

    3.2 客戶端對服務器端遠程寫一致性

    RDMA中客戶端主動寫操作流程是客戶端向服務器端發(fā)送寫請求,服務器端接收請求后將該請求的元數(shù)據(jù)返回給客戶端,客戶端接收元數(shù)據(jù)后執(zhí)行RDMA write原語,將數(shù)據(jù)寫入服務器端對應的地址.然而,客戶端執(zhí)行RDMA write原語寫服務器端內存的方式存在一個問題,即服務器端CPU對客戶端遠程寫數(shù)據(jù)的不可感知性,當系統(tǒng)崩潰時,無法保證服務器端的數(shù)據(jù)持久化.

    因此,本文設計了一種客戶端對服務器端的遠程寫一致性策略,使服務器端能感知客戶端的寫入操作,其流程如圖4(a)所示,客戶端在接收到元數(shù)據(jù)后,使用RDMA write_with_imm原語執(zhí)行遠程寫,該原語與RDMA write類似,不同點是當執(zhí)行遠程寫時,服務器端接收隊列消費一個接收請求,獲得一個32 b的imm_data和感知客戶端的寫入操作,進而執(zhí)行持久化操作.存在另一種方式,使得服務器端也可感知客戶端的寫入操作,如圖4(b)所示,客戶端利用RDMA send原語發(fā)送數(shù)據(jù)至服務器端,然后服務器端將數(shù)據(jù)從接收緩沖區(qū)拷貝至指定的地址.相比于RDMA send原語,使用RDMA write_with_imm原語執(zhí)行遠程寫操作可減少1次內存拷貝開銷.

    Fig.5 The detailed process of flushing data圖5 數(shù)據(jù)刷寫過程

    3.3 服務器端數(shù)據(jù)異步持久化

    在數(shù)據(jù)持久化過程中,CPU刷寫操作的開銷非常高昂,等待服務器端完成刷寫操作會產生較高的延遲,本文不阻塞主線程的執(zhí)行,通過數(shù)據(jù)異步持久化,避免了延遲的產生,提高了服務器端CPU的處理效率.異步持久化后的狀態(tài)信息由客戶端維護,即當客戶端發(fā)起請求時,服務器端通過判斷操作日志當前尾指針與上次尾指針的地址大小,將上一次異步請求的持久化狀態(tài)返回給客戶端,讓客戶端獨立管理操作一致性的狀態(tài)信息.

    現(xiàn)在分析不同場景下服務器端使用異步刷寫保障一致性的方法.數(shù)據(jù)刷寫過程如圖5所示.1)當執(zhí)行至遠程寫數(shù)據(jù)或異步刷寫數(shù)據(jù)時系統(tǒng)崩潰,將部分或全部元數(shù)據(jù)、數(shù)據(jù)或日志寫入持久性內存,但操作日志尾指針未修改,則重放操作日志會恢復至上一次一致性狀態(tài),此次操作的所有記錄無效;2)當執(zhí)行完修改操作日志尾指針時系統(tǒng)崩潰,由于尾指針未執(zhí)行持久化刷寫操作,結果和步驟1相同;3)當執(zhí)行完刷寫操作日志尾指針或更新Hash表時系統(tǒng)崩潰,此時操作日志的尾指針已持久化,表明此次操作所有數(shù)據(jù)已持久化,通過重放日志可以重新執(zhí)行此操作,恢復當前一致性狀態(tài).

    執(zhí)行異步持久化時,本文為1~16 KB的小文件實現(xiàn)了Batch刷寫方法,即基于寫入次數(shù)或寫入數(shù)據(jù)量批處理優(yōu)化方法,該方法的好處是可以減少異步線程的調度開銷,提高系統(tǒng)性能.

    4 實 驗

    由于一致性機制會影響系統(tǒng)的性能,本節(jié)實驗將從3個方面對分布式持久性內存文件系統(tǒng)的一致性機制進行測試.1)對比測試客戶端對服務器端的遠程寫帶寬的性能;2)測試服務器端數(shù)據(jù)的異步持久化對寫帶寬的性能影響;3)同類數(shù)據(jù)一致性機制寫帶寬性能測試.

    4.1 實驗環(huán)境

    在實驗測試中,本文測試的IO大小為1 KB~1 MB,定義1~16 KB的文件為小文件,超過16 KB定義為大文件.使用的實驗環(huán)境配置如表2所示:客戶端和服務器端配置為相同運行環(huán)境,當前還缺乏商用的持久性內存設備,本文測試環(huán)境使用CLWB和PCOMMIT指令模擬持久性內存操作延遲.

    Table 2 Experiment Configuration表2 實驗環(huán)境配置

    4.2 遠程寫帶寬性能測試

    本節(jié)主要測試客戶端對服務器端的遠程寫帶寬,并與客戶端使用RDMA send原語發(fā)送數(shù)據(jù)至服務器端的一致性策略進行比較,實驗結果如圖6所示,客戶端使用RDMA write-with-imm原語對服務器端遠程寫一致性策略在IO大小為1 KB~1 MB時,帶寬傳輸速率提升9%~45%,主要原因是該策略減少一次內存拷貝開銷.客戶端使用RDMA send原語將數(shù)據(jù)發(fā)到給服務器端時,服務器端CPU需從緩沖區(qū)將數(shù)據(jù)拷貝到數(shù)據(jù)區(qū),這一次的內存拷貝影響了服務器端CPU的處理能力.

    Fig.6 Write bandwidth of RDMA verbs圖6 RDMA不同原語寫帶寬測試

    4.3 數(shù)據(jù)異步持久化對寫帶寬性能影響測試

    本節(jié)實驗使用的IO大小范圍為1 KB~1 MB,實驗結果如圖7所示,在IO大小為1 MB時,異步持久化的寫帶寬相比同步刷寫模式提升了7倍左右,這是由于同步刷寫大文件耗時長從而影響了服務器端CPU的處理能力,而異步線程刷寫過程大文件并不影響主線程的執(zhí)行效率.當IO大小為1~16 KB之間時,異步持久化的寫帶寬性能低于同步刷寫,主要是異步線程占用的資源過多,為此本文設計了Batch的優(yōu)化方法,明顯提高了小文件刷寫的性能,當IO大小為4 KB和16 KB時,寫帶寬性能分別提高2.5倍和1.4倍.

    Fig.7 Write bandwidth of sync and async圖7 同步和異步寫帶寬測試

    綜合以上優(yōu)化方法,服務器端使用數(shù)據(jù)異步持久化后,實驗結果如圖8所示,采用write-with-imm原語的一致性機制CCM相比使用send-recv原語的一致性機制具有更高的寫帶寬,當IO大小為256 KB和1 MB時,前者較后者寫帶寬性能提升29%和35%,主要原因是前者減少1次內存拷貝,在RDMA作為網(wǎng)絡通信方式時,該拷貝所帶來的時間開銷會嚴重影響服務器端的處理效率.在IO大小為1 MB時,分布式持久性內存文件系統(tǒng)的一致性機制CCM寫帶寬達到5 582 MBps,與Octopus(5 629 MBps)相比,性能影響控制在1%以內,相比于原生的網(wǎng)絡帶寬(6 305 MBps),寫帶寬性能達到88%.

    Fig.8 Impact of consistency mechanism圖8 一致性機制對寫帶寬的影響測試

    4.4 同類數(shù)據(jù)一致性機制寫帶寬性能測試

    Fig.9 Write bandwidth of consistency mechanism圖9 不同一致性機制寫寬帶測試

    本節(jié)實驗的對比對象為Ordered Journaling一致性機制,實驗結果如圖9所示,當IO大小為1 MB時,Ordered Journaling的一致性機制寫帶寬為5 389 MBps,相比于Octopus,對寫帶寬性能的影響為5%,而本文所設計的一致性機制CCM的寫帶寬為5 582 MBps,相比于Octopus,對寫帶寬性能的影響為1%,這主要是因為Ordered Journaling機制會存在元數(shù)據(jù)重復寫的開銷,而CCM設計了基于操作日志的一致性保障策略,避免了多余的寫操作.

    5 總 結

    非易失性內存具有字節(jié)尋址、低功耗和讀寫性能接近DRAM等特性,有望代替DRAM成為新的主存器件.RDMA能有效提高吞吐率、降低網(wǎng)絡通信延遲,為設計高效的分布式文件系統(tǒng)提供了支撐.本文的工作建立在我們之前的工作Octopus之上,為分布式持久性內存文件系統(tǒng)提供一致性保障.本文設計了一種客戶端對服務器端遠程寫一致性策略和實現(xiàn)了服務器端的數(shù)據(jù)異步持久化.實驗結果表明,相比于Octopus,分布式持久性內存文件系統(tǒng)一致性機制對寫帶寬性能的影響控制在1%以內.

    猜你喜歡
    持久性原語服務器端
    測試原語:存儲器故障最小檢測序列的統(tǒng)一特征
    湖北省持久性有機物(POPs)產排特性分析
    化工管理(2021年7期)2021-05-13 00:44:56
    具有授粉互惠關系的非自治周期植物傳粉系統(tǒng)的持久性
    淺析異步通信層的架構在ASP.NET 程序中的應用
    成功(2018年10期)2018-03-26 02:56:14
    密碼消息原語通信協(xié)議介紹及安全分析
    在Windows中安裝OpenVPN
    一類離散Schoner競爭模型的持久性
    持久性發(fā)疹性斑狀毛細血管擴張一例
    基于原語自動生成的安全協(xié)議組合設計策略及應用研究
    網(wǎng)頁防篡改中分布式文件同步復制系統(tǒng)
    日韩人妻高清精品专区| 少妇熟女aⅴ在线视频| 日韩欧美在线二视频| 精品欧美国产一区二区三| 亚洲精华国产精华精| 国产精品女同一区二区软件 | 性欧美人与动物交配| 两个人视频免费观看高清| www.999成人在线观看| 精品人妻视频免费看| 99视频精品全部免费 在线| 国产在线男女| 老女人水多毛片| 精品99又大又爽又粗少妇毛片 | 男女之事视频高清在线观看| 国产蜜桃级精品一区二区三区| 91字幕亚洲| 色哟哟哟哟哟哟| 欧美不卡视频在线免费观看| 欧美高清成人免费视频www| 成人美女网站在线观看视频| 内地一区二区视频在线| 女人被狂操c到高潮| bbb黄色大片| 99riav亚洲国产免费| 成人午夜高清在线视频| 听说在线观看完整版免费高清| 色哟哟·www| 国产精品三级大全| www.色视频.com| 草草在线视频免费看| 成人三级黄色视频| 亚洲精品一区av在线观看| 亚洲精品亚洲一区二区| 色哟哟哟哟哟哟| 午夜两性在线视频| 成年版毛片免费区| 精品福利观看| 精品福利观看| 欧美最新免费一区二区三区 | 一区福利在线观看| 久久精品久久久久久噜噜老黄 | 免费看日本二区| 非洲黑人性xxxx精品又粗又长| 1024手机看黄色片| 99精品久久久久人妻精品| 精品欧美国产一区二区三| 十八禁人妻一区二区| 日韩欧美精品免费久久 | 午夜日韩欧美国产| 可以在线观看毛片的网站| 日本一本二区三区精品| 99热这里只有是精品50| 又黄又爽又刺激的免费视频.| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 亚洲第一电影网av| 国产精品永久免费网站| 丰满人妻熟妇乱又伦精品不卡| 亚洲男人的天堂狠狠| 精品99又大又爽又粗少妇毛片 | 国产淫片久久久久久久久 | 亚洲国产精品久久男人天堂| 岛国在线免费视频观看| 90打野战视频偷拍视频| av天堂在线播放| 婷婷精品国产亚洲av在线| 大型黄色视频在线免费观看| 国产三级在线视频| 精品久久久久久,| 国产主播在线观看一区二区| 亚洲激情在线av| 国产精品一及| 97超视频在线观看视频| 亚洲熟妇熟女久久| 女生性感内裤真人,穿戴方法视频| 亚洲国产欧美人成| 丰满乱子伦码专区| а√天堂www在线а√下载| 两个人视频免费观看高清| 国产高清有码在线观看视频| 性色avwww在线观看| 在现免费观看毛片| 非洲黑人性xxxx精品又粗又长| 成人性生交大片免费视频hd| 看黄色毛片网站| 日日干狠狠操夜夜爽| 日本a在线网址| av在线天堂中文字幕| 精品久久久久久久久av| 久久人人爽人人爽人人片va | 在线观看午夜福利视频| 日韩欧美精品免费久久 | 国产激情偷乱视频一区二区| 精品一区二区三区av网在线观看| 国产69精品久久久久777片| 中出人妻视频一区二区| 久久久久精品国产欧美久久久| 免费在线观看日本一区| 韩国av一区二区三区四区| 国产探花极品一区二区| 人妻制服诱惑在线中文字幕| 国语自产精品视频在线第100页| 女同久久另类99精品国产91| 成人av一区二区三区在线看| 精品人妻1区二区| 亚洲欧美日韩无卡精品| 久久中文看片网| 国产三级黄色录像| 国产精品爽爽va在线观看网站| 性色av乱码一区二区三区2| 日韩欧美免费精品| 天天躁日日操中文字幕| 午夜精品在线福利| 亚洲人与动物交配视频| 麻豆av噜噜一区二区三区| 亚洲国产精品久久男人天堂| 老女人水多毛片| 99久久99久久久精品蜜桃| 国内精品一区二区在线观看| 欧美最新免费一区二区三区 | 久久精品久久久久久噜噜老黄 | 乱码一卡2卡4卡精品| 国产精品野战在线观看| 中文资源天堂在线| 看十八女毛片水多多多| av天堂中文字幕网| 亚洲 国产 在线| 亚洲欧美日韩无卡精品| 搡女人真爽免费视频火全软件 | 夜夜爽天天搞| 男插女下体视频免费在线播放| 中文字幕精品亚洲无线码一区| 久久久久性生活片| 国产又黄又爽又无遮挡在线| 99热精品在线国产| 好看av亚洲va欧美ⅴa在| 白带黄色成豆腐渣| 永久网站在线| 欧美日本亚洲视频在线播放| 日韩中字成人| 国产高清视频在线观看网站| 淫秽高清视频在线观看| 丝袜美腿在线中文| 成人性生交大片免费视频hd| 特大巨黑吊av在线直播| 乱码一卡2卡4卡精品| 欧美日韩国产亚洲二区| 久久国产精品影院| 日本五十路高清| 久久精品夜夜夜夜夜久久蜜豆| 久久人人爽人人爽人人片va | 三级毛片av免费| 老司机福利观看| 99精品在免费线老司机午夜| 久久精品国产亚洲av涩爱 | 亚洲中文字幕日韩| av在线观看视频网站免费| 黄片小视频在线播放| 最近视频中文字幕2019在线8| 日韩高清综合在线| 亚洲人与动物交配视频| 国产久久久一区二区三区| 欧美最黄视频在线播放免费| 特级一级黄色大片| 国产午夜福利久久久久久| 亚洲精品日韩av片在线观看| 欧美精品国产亚洲| 搡老妇女老女人老熟妇| 国产精华一区二区三区| 欧美色欧美亚洲另类二区| 亚洲男人的天堂狠狠| 国产精品电影一区二区三区| 欧美+日韩+精品| 九九在线视频观看精品| 欧美一区二区精品小视频在线| 亚洲欧美日韩无卡精品| 五月玫瑰六月丁香| 女人十人毛片免费观看3o分钟| 毛片女人毛片| 国产视频内射| 精品久久久久久久久久免费视频| 欧美绝顶高潮抽搐喷水| 一进一出抽搐gif免费好疼| 美女免费视频网站| 亚洲熟妇中文字幕五十中出| 亚洲黑人精品在线| 成人性生交大片免费视频hd| 亚洲美女搞黄在线观看 | 国产精品自产拍在线观看55亚洲| 午夜福利在线观看吧| 亚洲欧美激情综合另类| 熟女人妻精品中文字幕| 亚洲美女搞黄在线观看 | 黄色日韩在线| 90打野战视频偷拍视频| 亚洲不卡免费看| 色哟哟哟哟哟哟| 国内毛片毛片毛片毛片毛片| 啦啦啦观看免费观看视频高清| 少妇人妻一区二区三区视频| 简卡轻食公司| 少妇高潮的动态图| 国产精品精品国产色婷婷| 亚洲第一电影网av| 少妇人妻一区二区三区视频| 好男人在线观看高清免费视频| 搞女人的毛片| 一二三四社区在线视频社区8| 成年女人毛片免费观看观看9| 成人特级黄色片久久久久久久| 亚洲性夜色夜夜综合| 午夜久久久久精精品| 久久久久亚洲av毛片大全| 毛片一级片免费看久久久久 | 国产精品国产高清国产av| 久久精品影院6| 亚洲精品456在线播放app | 波多野结衣高清作品| 久久草成人影院| 精品一区二区三区人妻视频| 午夜福利在线观看吧| 免费av观看视频| 国产私拍福利视频在线观看| 欧美另类亚洲清纯唯美| 日本与韩国留学比较| 18禁裸乳无遮挡免费网站照片| 午夜日韩欧美国产| 变态另类丝袜制服| 国产色爽女视频免费观看| 深夜a级毛片| 1024手机看黄色片| 久久香蕉精品热| 在线观看美女被高潮喷水网站 | 国产精品av视频在线免费观看| 国产麻豆成人av免费视频| 免费av不卡在线播放| or卡值多少钱| 丁香六月欧美| 天堂动漫精品| 国产在视频线在精品| 人人妻人人澡欧美一区二区| 日韩有码中文字幕| 久久精品91蜜桃| а√天堂www在线а√下载| 欧美最黄视频在线播放免费| 国产伦精品一区二区三区视频9| 欧美xxxx性猛交bbbb| 三级男女做爰猛烈吃奶摸视频| 国产精品自产拍在线观看55亚洲| 99久久精品一区二区三区| 国产伦精品一区二区三区视频9| aaaaa片日本免费| 欧美日韩瑟瑟在线播放| 亚洲av电影在线进入| 久久人妻av系列| 91av网一区二区| 精品人妻熟女av久视频| 亚洲精品在线美女| www.www免费av| 一个人看视频在线观看www免费| 精品久久久久久久久av| 淫妇啪啪啪对白视频| 国产不卡一卡二| aaaaa片日本免费| 欧美日韩黄片免| 欧美成人a在线观看| 亚洲无线观看免费| 国产一区二区三区在线臀色熟女| 窝窝影院91人妻| 久久久久久久久大av| 成人鲁丝片一二三区免费| 欧美一区二区精品小视频在线| 国模一区二区三区四区视频| h日本视频在线播放| 极品教师在线免费播放| 欧美高清成人免费视频www| 国产精品一区二区三区四区久久| 国产大屁股一区二区在线视频| 亚洲成人中文字幕在线播放| 性欧美人与动物交配| 午夜福利高清视频| 午夜精品久久久久久毛片777| 一个人看的www免费观看视频| 深爱激情五月婷婷| 欧美日本视频| 亚洲av日韩精品久久久久久密| 男女那种视频在线观看| 免费电影在线观看免费观看| 天堂影院成人在线观看| 精品一区二区免费观看| 亚洲国产精品久久男人天堂| 一区福利在线观看| 亚洲avbb在线观看| 男女下面进入的视频免费午夜| 桃色一区二区三区在线观看| 波多野结衣高清无吗| 1024手机看黄色片| av在线蜜桃| 免费搜索国产男女视频| 日韩精品中文字幕看吧| 成人午夜高清在线视频| 国内精品一区二区在线观看| 国产高清有码在线观看视频| 久久久久久久久久成人| 制服丝袜大香蕉在线| 赤兔流量卡办理| 国产高清视频在线观看网站| 久久久精品大字幕| 五月玫瑰六月丁香| 国产色婷婷99| 亚洲精品色激情综合| 欧洲精品卡2卡3卡4卡5卡区| av欧美777| 久久久国产成人精品二区| 欧美又色又爽又黄视频| 午夜激情福利司机影院| 久久欧美精品欧美久久欧美| 欧美xxxx性猛交bbbb| 人妻夜夜爽99麻豆av| 一本久久中文字幕| 日韩中文字幕欧美一区二区| 99久久无色码亚洲精品果冻| 网址你懂的国产日韩在线| 日本免费a在线| 18+在线观看网站| 国产av不卡久久| 国产又黄又爽又无遮挡在线| 97超视频在线观看视频| 99热这里只有是精品50| www.999成人在线观看| 十八禁国产超污无遮挡网站| 欧美黑人欧美精品刺激| 国内精品久久久久精免费| 宅男免费午夜| 亚洲av成人精品一区久久| 我的女老师完整版在线观看| 国产av一区在线观看免费| 亚洲片人在线观看| 亚洲第一电影网av| 国产精品一及| 国产高清三级在线| 免费av毛片视频| 国产成人啪精品午夜网站| 欧美在线黄色| 亚洲不卡免费看| 亚洲片人在线观看| 久久久久精品国产欧美久久久| 亚洲片人在线观看| 99久久成人亚洲精品观看| 男女做爰动态图高潮gif福利片| 成人亚洲精品av一区二区| 精华霜和精华液先用哪个| 国产精品亚洲av一区麻豆| 婷婷精品国产亚洲av在线| 三级毛片av免费| 久久精品人妻少妇| 久久久久性生活片| 深夜a级毛片| 久久久国产成人精品二区| 午夜影院日韩av| 国产69精品久久久久777片| 2021天堂中文幕一二区在线观| 一级黄片播放器| 国产乱人视频| 亚洲人成伊人成综合网2020| 色在线成人网| 午夜福利成人在线免费观看| 十八禁国产超污无遮挡网站| 在线免费观看的www视频| 久久人妻av系列| 在线免费观看的www视频| 久久人妻av系列| 亚洲av免费在线观看| 又黄又爽又刺激的免费视频.| 精品乱码久久久久久99久播| 午夜精品一区二区三区免费看| 亚洲国产欧洲综合997久久,| 99久久精品一区二区三区| 国产三级黄色录像| 中文资源天堂在线| 亚洲七黄色美女视频| 国产亚洲精品av在线| 美女xxoo啪啪120秒动态图 | 久久久久九九精品影院| 亚洲第一区二区三区不卡| 青草久久国产| 日本免费一区二区三区高清不卡| 18禁黄网站禁片午夜丰满| 欧美+亚洲+日韩+国产| x7x7x7水蜜桃| 丁香欧美五月| 内地一区二区视频在线| 国产精品,欧美在线| 99热这里只有是精品50| 国产三级黄色录像| 色5月婷婷丁香| 露出奶头的视频| 国产亚洲精品av在线| 免费大片18禁| 757午夜福利合集在线观看| 亚洲七黄色美女视频| 老熟妇乱子伦视频在线观看| 国产成人影院久久av| 精品一区二区三区视频在线观看免费| 久99久视频精品免费| 亚洲av成人不卡在线观看播放网| 桃色一区二区三区在线观看| 国产不卡一卡二| 欧美国产日韩亚洲一区| 99热只有精品国产| 成人欧美大片| 深爱激情五月婷婷| 少妇高潮的动态图| 一边摸一边抽搐一进一小说| 国产一区二区三区视频了| 成人性生交大片免费视频hd| 欧美日本亚洲视频在线播放| 精品99又大又爽又粗少妇毛片 | 一本久久中文字幕| 久久久久久九九精品二区国产| 一级黄片播放器| 色在线成人网| 日本在线视频免费播放| www.999成人在线观看| 免费一级毛片在线播放高清视频| 国产精品女同一区二区软件 | avwww免费| 国产精品永久免费网站| 亚洲av成人av| 韩国av一区二区三区四区| а√天堂www在线а√下载| 国产黄片美女视频| 国产亚洲av嫩草精品影院| 久久久久久九九精品二区国产| 老司机午夜十八禁免费视频| 一a级毛片在线观看| 又爽又黄a免费视频| 精品午夜福利在线看| 国产伦精品一区二区三区四那| 乱人视频在线观看| 看十八女毛片水多多多| 国产精品嫩草影院av在线观看 | 国内揄拍国产精品人妻在线| 国产精品一区二区免费欧美| 一个人免费在线观看的高清视频| 天天一区二区日本电影三级| 性色avwww在线观看| 一区二区三区高清视频在线| 成年免费大片在线观看| 久久婷婷人人爽人人干人人爱| 久久人妻av系列| 国产亚洲欧美在线一区二区| 国产精品乱码一区二三区的特点| 十八禁人妻一区二区| 宅男免费午夜| 欧美一级a爱片免费观看看| 免费高清视频大片| 91在线观看av| 久久亚洲真实| 亚洲成人久久性| aaaaa片日本免费| 欧美bdsm另类| 亚洲欧美日韩高清在线视频| 一个人免费在线观看的高清视频| 伦理电影大哥的女人| 免费观看的影片在线观看| 成人毛片a级毛片在线播放| aaaaa片日本免费| 一a级毛片在线观看| 国产色爽女视频免费观看| 欧美日韩中文字幕国产精品一区二区三区| 少妇熟女aⅴ在线视频| a在线观看视频网站| 日韩人妻高清精品专区| 国产精品伦人一区二区| 亚洲激情在线av| 国产精品野战在线观看| av视频在线观看入口| 亚洲 欧美 日韩 在线 免费| 国产日本99.免费观看| 午夜福利欧美成人| 十八禁国产超污无遮挡网站| 国产精品自产拍在线观看55亚洲| 国产精品98久久久久久宅男小说| 国产人妻一区二区三区在| 成人三级黄色视频| 国产高清三级在线| 极品教师在线免费播放| 一级黄色大片毛片| 少妇人妻精品综合一区二区 | 99久久精品国产亚洲精品| 少妇被粗大猛烈的视频| 天堂网av新在线| 极品教师在线免费播放| 国产老妇女一区| 51国产日韩欧美| 欧美在线黄色| 怎么达到女性高潮| 一个人免费在线观看电影| 亚洲人成网站在线播放欧美日韩| 国产中年淑女户外野战色| 最新中文字幕久久久久| 人妻丰满熟妇av一区二区三区| 免费看美女性在线毛片视频| 国产精品久久久久久久电影| 中文字幕精品亚洲无线码一区| 久久精品久久久久久噜噜老黄 | 每晚都被弄得嗷嗷叫到高潮| 性欧美人与动物交配| 国产91精品成人一区二区三区| 可以在线观看毛片的网站| 91在线精品国自产拍蜜月| 在线天堂最新版资源| aaaaa片日本免费| 久久99热这里只有精品18| 国产欧美日韩精品一区二区| 欧美在线一区亚洲| 91久久精品电影网| 色综合欧美亚洲国产小说| www.999成人在线观看| 久久久久久久久久成人| 欧美乱妇无乱码| 久久人人精品亚洲av| 国产大屁股一区二区在线视频| 中文字幕熟女人妻在线| 国产视频一区二区在线看| 非洲黑人性xxxx精品又粗又长| 国产伦精品一区二区三区视频9| a级一级毛片免费在线观看| 亚洲国产精品成人综合色| 老熟妇仑乱视频hdxx| 中文字幕免费在线视频6| 床上黄色一级片| 婷婷亚洲欧美| 国产麻豆成人av免费视频| 热99在线观看视频| 看片在线看免费视频| 99久久无色码亚洲精品果冻| 好男人电影高清在线观看| 亚洲人成网站在线播| 国产一区二区亚洲精品在线观看| 一个人看的www免费观看视频| 国产麻豆成人av免费视频| 久久婷婷人人爽人人干人人爱| 赤兔流量卡办理| 一区二区三区免费毛片| 亚洲精品一区av在线观看| 一本精品99久久精品77| 免费高清视频大片| 国产精品野战在线观看| 乱人视频在线观看| 波多野结衣巨乳人妻| 最近视频中文字幕2019在线8| 国产伦在线观看视频一区| 欧美日韩乱码在线| 国产精品乱码一区二三区的特点| 欧美成人a在线观看| 成年女人看的毛片在线观看| 好男人在线观看高清免费视频| 91字幕亚洲| 欧美国产日韩亚洲一区| 国产精品精品国产色婷婷| 久久精品91蜜桃| 国产v大片淫在线免费观看| 天堂√8在线中文| 免费无遮挡裸体视频| 99热6这里只有精品| 一进一出好大好爽视频| 国产伦一二天堂av在线观看| 亚洲欧美日韩高清专用| 少妇被粗大猛烈的视频| 小蜜桃在线观看免费完整版高清| 精品久久久久久久末码| 一本综合久久免费| 久久久久九九精品影院| 97人妻精品一区二区三区麻豆| 高潮久久久久久久久久久不卡| 欧美zozozo另类| 好男人电影高清在线观看| 午夜久久久久精精品| 天美传媒精品一区二区| 国产精品综合久久久久久久免费| 国产v大片淫在线免费观看| 色哟哟·www| 欧美日韩综合久久久久久 | 国产成人啪精品午夜网站| 国产黄a三级三级三级人| 看十八女毛片水多多多| 99久久精品国产亚洲精品| 精品午夜福利在线看| 看十八女毛片水多多多| 久久99热6这里只有精品| 长腿黑丝高跟| av福利片在线观看| 女人被狂操c到高潮| 麻豆国产97在线/欧美| 在线观看66精品国产| 国产69精品久久久久777片| 少妇的逼好多水| 小说图片视频综合网站| 99久国产av精品| 丰满乱子伦码专区| 精品国产亚洲在线| 99热这里只有精品一区| 亚洲最大成人av| 在线观看免费视频日本深夜| 国产v大片淫在线免费观看| 丰满乱子伦码专区| 亚洲 欧美 日韩 在线 免费| 欧美日韩亚洲国产一区二区在线观看| 国产一区二区三区在线臀色熟女| 欧美日韩黄片免| 直男gayav资源| 男女之事视频高清在线观看| 嫩草影视91久久|