• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種分布式持久性內存文件系統(tǒng)的一致性機制

    2020-03-21 01:11:08陸游游陳游旻屠要峰舒繼武
    計算機研究與發(fā)展 2020年3期
    關鍵詞:持久性原語服務器端

    陳 波 陸游游 蔡 濤 陳游旻 屠要峰 舒繼武

    1(江蘇大學計算機科學與通信工程學院 江蘇鎮(zhèn)江 212013) 2(清華大學計算機科學與技術系 北京 100084) 3(中興通訊股份有限公司 南京 210012)(chenbo_9312@163.com)

    近年來,新興的非易失存儲器[1-3](non-volatile memory, NVM)具有字節(jié)可尋址、非易失、存儲密度高和訪問延遲低等特性,其通過內存總線連接CPU的NVM形態(tài)也被稱為持久性內存(persistent memory, PM).NVM的出現(xiàn)重新定義了計算機體系結構中易失性與非易失性的界限,以往由系統(tǒng)軟件保障的數(shù)據(jù)一致性轉變?yōu)橛蒀PU硬件保障.另一方面,遠程直接內存訪問(remote direct memory access, RDMA)因其高速、超低延時、零拷貝和內核旁路的網(wǎng)絡傳輸特性,逐漸被應用到數(shù)據(jù)中心.RDMA可以實現(xiàn)應用程序間點對點的通信,同時避免了上下文切換、冗余內存拷貝和內核網(wǎng)絡協(xié)議棧等開銷.持久性內存和RDMA的出現(xiàn)為構建新型存儲系統(tǒng)[4-12]提供了新的機遇.

    持久性內存和RDMA具有的新特性對存儲系統(tǒng)的一致性設計提出了2項挑戰(zhàn):1)現(xiàn)代處理器利用多核和內部緩存來提高整體運行速度,通常采用亂序執(zhí)行技術,導致最終寫入內存的數(shù)據(jù)并非是預期的結果,針對持久性內存會出現(xiàn)數(shù)據(jù)一致性的問題.此時,為了將數(shù)據(jù)順序地寫入持久性內存,CPU需要主動執(zhí)行數(shù)據(jù)刷寫指令,然而此過程開銷高昂,降低CPU的處理能力,影響持久性內存和RDMA的性能優(yōu)勢;2)RDMA的通訊過程需要注冊內存,且提供了單向原語可以繞過服務器端CPU直接讀寫已注冊的內存.為了性能考慮,RDMA會將數(shù)據(jù)先寫入至末級高速緩存,由于CPU不能及時將數(shù)據(jù)刷寫至持久性內存,因此,一旦出現(xiàn)系統(tǒng)崩潰,原始數(shù)據(jù)將無法有效恢復.

    對于數(shù)據(jù)的一致性策略,現(xiàn)有的存儲系統(tǒng)要么完全不考慮數(shù)據(jù)一致性例如Octopus[13],要么使用常見的Redo/Undo[14]日志機制、Log-Structure技術或影子分頁[15](shadow paging)技術等來保障操作的原子性.然而,使用Redo/Undo日志會導致數(shù)據(jù)重復寫問題,在加重數(shù)據(jù)持久化開銷的同時,還會浪費帶寬和加速持久性內存磨損;而影子分頁技術采用異地更新數(shù)據(jù)塊的方法,將原有指向舊數(shù)據(jù)塊的指針更新指向新的數(shù)據(jù)塊,但這將有可能導致所有的數(shù)據(jù)更新蔓延到根節(jié)點[15].針對服務器端不可感知客戶端寫入數(shù)據(jù)的問題,一種可行的方案是采用客戶端執(zhí)行RDMA send原語發(fā)送數(shù)據(jù)給服務器端,服務器端將數(shù)據(jù)寫到指定的地址,然后執(zhí)行數(shù)據(jù)持久化操作,但此方式引入了冗余拷貝[16].

    為此,本文提出并實現(xiàn)了一種分布式持久性內存文件系統(tǒng)的一致性機制CCM,該機制主要包括:首先提出并實現(xiàn)了一種基于操作日志的一致性保障策略,將元數(shù)據(jù)地址和數(shù)據(jù)的地址與大小寫入操作日志,并原子地修改操作日志的尾指針且持久化,這樣系統(tǒng)崩潰后,可通過持久化的操作日志進行恢復,這樣可保證元數(shù)據(jù)和數(shù)據(jù)的一致性.然后,設計了一種客戶端對服務器端遠程寫一致性策略,該策略中客戶端使用RDMA write-with-imm原語遠程寫入服務器端內存,此原語附帶客戶端標識符,服務器端可以感知其攜帶的客戶端標識符,進而服務器端CPU可以定位需要刷寫的地址,對客戶端寫入的數(shù)據(jù)執(zhí)行持久化操作,保證數(shù)據(jù)的持久化.最后,實現(xiàn)了一種服務器端的數(shù)據(jù)異步持久化,通過對元數(shù)據(jù)、數(shù)據(jù)和操作日志執(zhí)行異步刷寫,降低了持久化操作的開銷.

    1 相關工作

    為保證系統(tǒng)發(fā)生故障后能恢復一致性的狀態(tài),現(xiàn)有的持久性內存存儲系統(tǒng)一般使用日志的方式來保障一致性,也有不少系統(tǒng)未考慮一致性這個問題.下面從持久性內存文件系統(tǒng)一致性機制和面向RDMA的分布式持久性內存文件系統(tǒng)一致性機制2個方面介紹相關工作.

    1) 持久性內存文件系統(tǒng)一致性機制

    本文的一致性指的是系統(tǒng)斷電或故障后數(shù)據(jù)仍舊一致.目前在單機上的典型的持久性內存文件系統(tǒng)一致性研究工作有:NOVA[17]是加利福利亞大學圣地亞哥分校提出的基于混合內存的日志結構文件系統(tǒng),它巧妙地結合了日志結構組織方式與易失/非易失性內存的特性,利用日志結構修改的原子性和混合內存快速地隨機訪問性能設計并實現(xiàn)了一套強一致性的操作接口.它為每個索引節(jié)點分配一個日志,提高了文件系統(tǒng)讀寫和恢復階段的并發(fā)性能,針對多個索引節(jié)點間的操作,它采用了Journaling的方式保障數(shù)據(jù)修改的原子性.BPFS[18]是微軟公司提出的字節(jié)尋址的持久性內存文件系統(tǒng),它通過修改CPU緩存控制器和內存控制器等硬件的方式來保障數(shù)據(jù)寫入的順序性,并利用硬件級別的原子寫操作和影子技術實現(xiàn)了數(shù)據(jù)塊的原地更新,保障數(shù)據(jù)的一致性.但是針對跨目錄間的數(shù)據(jù)移動拷貝操作它需要較大的空間記錄原子操作的更新,開銷較大.PMFS[19]是英特爾公司為持久性內存設計的輕量級文件系統(tǒng),針對元數(shù)據(jù)和數(shù)據(jù)分別采用Journaling和寫時復制技術來保障一致性,然而不能同時保障元數(shù)據(jù)和數(shù)據(jù)修改的一致性.Ext4-DAX[20]繞過操作系統(tǒng)的頁緩存,可以更高效地讀寫持久性存儲設備.針對元數(shù)據(jù)的修改采用Journaling保障一致性,針對數(shù)據(jù)的修改未提供類似的機制,所以不能保障數(shù)據(jù)修改的原子性.Aerie[21]是惠普公司提出的面向持久性內存的文件系統(tǒng)操作接口,實現(xiàn)了應用程序直接讀寫持久性內存而無需內核的介入,然而其未考慮數(shù)據(jù)的一致性.除此之外,Wu等人[22]提出的面向持久性內存的文件系統(tǒng)SCMFS,構建在虛擬內存空間之上,并利用內存管理單元將文件系統(tǒng)的地址映射至持久性內存的物理地址,同樣未考慮文件系統(tǒng)的一致性.這些工作均是單機的持久性內存文件系統(tǒng)一致性機制研究工作.

    2) 面向RDMA持久性內存文件系統(tǒng)一致性機制

    在面向RDMA的分布式持久性內存系統(tǒng)下,Islam等人[23]結合RDMA和持久性內存的特性在HDFS基礎上實現(xiàn)了分布式文件系統(tǒng)NVFS,它利用RDMA的高性能特性設計并實現(xiàn)了一套高效的網(wǎng)絡通信接口,利用字節(jié)尋址的持久性內存構建緩沖池,將寫前日志和計算的中間結果保存在NVM,這極大提高了系統(tǒng)整體性能,然而它未考慮數(shù)據(jù)的一致性.Lu等人[13]設計并實現(xiàn)了分布式持久性內存文件系統(tǒng)Octopus,它將文件系統(tǒng)的讀寫操作與RDMA讀寫原語相結合起來,實現(xiàn)了一套高性能的遠程過程調用和讀寫接口.同時,利用RDMA的讀寫和原子操作實現(xiàn)了分布式事務機制,充分發(fā)揮RDMA的性能優(yōu)勢,減少了傳統(tǒng)事務操作中網(wǎng)絡通信和CPU處理所帶來的開銷.然而,它未考慮本地的數(shù)據(jù)和元數(shù)據(jù)一致性.

    上述研究工作在一致性方面的相關工作總結如表1所示:

    Table 1 Related Works About Consistency表1 一致性機制相關工作

    2 分布式持久性內存文件系統(tǒng)一致性機制框架設計

    本文提出了一種分布式持久性內存文件系統(tǒng)的一致性機制CCM,其整體系統(tǒng)結構如圖1所示:分為客戶端和服務器端,服務器端的設計由存儲管理、遠程過程調用和一致性組成.

    Fig.1 Architecture of CCM圖1 一致性機制結構圖

    2.1 存儲管理

    服務器端存儲管理主要包含元數(shù)據(jù)和數(shù)據(jù)管理、Hash索引管理和日志管理3個方面.1)元數(shù)據(jù)和數(shù)據(jù)管理:存儲于持久性內存,其中元數(shù)據(jù)區(qū)存儲著數(shù)據(jù)文件大小,修改時間和數(shù)據(jù)地址等信息,數(shù)據(jù)區(qū)存儲著文件和目錄數(shù)據(jù)塊,存儲方式如圖2所示,采用寫時復制方式,相比于Log-Structure組織方式,能減少垃圾回收的開銷.服務器端各數(shù)據(jù)區(qū)組成分布式持久共享內存池,從而能不依賴本地文件系統(tǒng)直接管理數(shù)據(jù)對象,減少了IO請求在內存中的拷貝.2)Hash索引管理:存儲于DRAM,存儲著元數(shù)據(jù)的索引信息,通過Hash表索引文件或目錄的元數(shù)據(jù),其中每一個條目包含文件名,文件索引節(jié)點和指向具有相同Hash值的下一個條目,通過文件全路徑可以計算出元數(shù)據(jù)的索引信息,進而得到索引節(jié)點的物理地址.3)日志管理:用于保存文件系統(tǒng)操作的日志,存儲于持久性內存.

    Fig.2 The layout of metadata and data圖2 元數(shù)據(jù)和數(shù)據(jù)組織方式

    2.2 遠程過程調用

    如圖1所示,客戶端與服務器端通信的方式是采用RPC機制,本文使用RDMA write_with_imm原語構建RPC機制,imm_data的內容是客戶端標識符,保證全局唯一性,相比于RDMA write原語,可以減少服務器端CPU輪詢消息緩存區(qū)的時間開銷.在數(shù)據(jù)讀寫密集的場景下服務器端CPU容易出現(xiàn)瓶頸[16],本文將使用客戶端主動讀寫數(shù)據(jù)的方式,即客戶端發(fā)送讀寫請求至服務器端,服務器端將該請求的元數(shù)據(jù)(讀寫內存地址信息)返回給客戶端,客戶端主動讀寫服務器端內存,這種方式的好處是:利用RDMA硬件特性將服務器端CPU的處理負載均攤到客戶端.

    2.3 一致性

    面向RDMA的分布式持久性內存文件系統(tǒng)的一致性問題主要來源2個方面:1)CPU不能保障將數(shù)據(jù)從高速緩存順序持久化至持久性內存,因此,需要軟件系統(tǒng)執(zhí)行硬件指令強制刷寫數(shù)據(jù)至持久性內存;2)客戶端使用RDMA直寫操作繞過服務器端CPU將數(shù)據(jù)直接寫入服務器端的內存,此時服務器端CPU沒有感知到內存的寫入操作,因此也無法執(zhí)行對應的持久化操作.此外,強制持久化的硬件指令開銷高昂,例如,CLFLUSH指令延遲大約200 ns[24],這極大浪費了CPU的處理帶寬.

    針對服務器端CPU無法主動執(zhí)行刷寫操作的問題,本文設計了一種客戶端對服務器端遠程寫一致性策略,可以獲取客戶端的寫入操作.針對持久化操作開銷高的問題,本文實現(xiàn)了一種服務器端的數(shù)據(jù)異步持久化,該方法通過對元數(shù)據(jù)、數(shù)據(jù)和操作日志執(zhí)行異步持久化來降低持久化操作引入的開銷.

    3 一致性保障技術

    我們面向分布式持久性內存文件系統(tǒng)實現(xiàn)了一致性機制CCM,其關鍵技術包括3個方面:1)基于操作日志的一致性保障策略;2)客戶端對服務器端的遠程寫一致性;3)服務器端的數(shù)據(jù)異步持久化.

    3.1 基于操作日志的一致性保障策略

    Fig.3 Operation log圖3 操作日志

    操作日志記錄著每一次操作的元信息,其內容如圖3所示,記錄著該操作的類型、日志長度、Inode號、元數(shù)據(jù)首地址和數(shù)據(jù)首地址及大小.具體執(zhí)行過程是:客戶端向服務器端執(zhí)行讀寫操作,服務器端將該操作的元信息寫入日志并持久化,原子更新日志尾指針并持久化,此保障此次操作的一致性.

    例如追加寫文件A,首先服務器端將舊版本元數(shù)據(jù)和數(shù)據(jù)拷貝至新的地址,并對新版本元數(shù)據(jù)進行修改,此時,操作日志記錄操作的類型為追加寫,元數(shù)據(jù)地址為新版本元數(shù)據(jù)的首地址,數(shù)據(jù)地址為新版本數(shù)據(jù)的首地址和文件A即將追加寫入的數(shù)據(jù)大小,然后將待寫入數(shù)據(jù)的地址信息返回給客戶端,客戶端根據(jù)該地址信息寫入數(shù)據(jù).本系統(tǒng)的一致性依賴于操作日志的尾指針是否持久化,需要保證在所有刷寫操作完成之后原子更新日志尾指針并持久化.當系統(tǒng)崩潰時重放日志可恢復到一致性狀態(tài),如果日志寫入一半,系統(tǒng)崩潰,由于之前的日志狀態(tài)是一致的,持久性內存的分配信息可恢復,不會出現(xiàn)持久性內存泄漏的問題.

    Fig.4 Remote data flushing圖4 遠程寫感知的流程圖

    3.2 客戶端對服務器端遠程寫一致性

    RDMA中客戶端主動寫操作流程是客戶端向服務器端發(fā)送寫請求,服務器端接收請求后將該請求的元數(shù)據(jù)返回給客戶端,客戶端接收元數(shù)據(jù)后執(zhí)行RDMA write原語,將數(shù)據(jù)寫入服務器端對應的地址.然而,客戶端執(zhí)行RDMA write原語寫服務器端內存的方式存在一個問題,即服務器端CPU對客戶端遠程寫數(shù)據(jù)的不可感知性,當系統(tǒng)崩潰時,無法保證服務器端的數(shù)據(jù)持久化.

    因此,本文設計了一種客戶端對服務器端的遠程寫一致性策略,使服務器端能感知客戶端的寫入操作,其流程如圖4(a)所示,客戶端在接收到元數(shù)據(jù)后,使用RDMA write_with_imm原語執(zhí)行遠程寫,該原語與RDMA write類似,不同點是當執(zhí)行遠程寫時,服務器端接收隊列消費一個接收請求,獲得一個32 b的imm_data和感知客戶端的寫入操作,進而執(zhí)行持久化操作.存在另一種方式,使得服務器端也可感知客戶端的寫入操作,如圖4(b)所示,客戶端利用RDMA send原語發(fā)送數(shù)據(jù)至服務器端,然后服務器端將數(shù)據(jù)從接收緩沖區(qū)拷貝至指定的地址.相比于RDMA send原語,使用RDMA write_with_imm原語執(zhí)行遠程寫操作可減少1次內存拷貝開銷.

    Fig.5 The detailed process of flushing data圖5 數(shù)據(jù)刷寫過程

    3.3 服務器端數(shù)據(jù)異步持久化

    在數(shù)據(jù)持久化過程中,CPU刷寫操作的開銷非常高昂,等待服務器端完成刷寫操作會產生較高的延遲,本文不阻塞主線程的執(zhí)行,通過數(shù)據(jù)異步持久化,避免了延遲的產生,提高了服務器端CPU的處理效率.異步持久化后的狀態(tài)信息由客戶端維護,即當客戶端發(fā)起請求時,服務器端通過判斷操作日志當前尾指針與上次尾指針的地址大小,將上一次異步請求的持久化狀態(tài)返回給客戶端,讓客戶端獨立管理操作一致性的狀態(tài)信息.

    現(xiàn)在分析不同場景下服務器端使用異步刷寫保障一致性的方法.數(shù)據(jù)刷寫過程如圖5所示.1)當執(zhí)行至遠程寫數(shù)據(jù)或異步刷寫數(shù)據(jù)時系統(tǒng)崩潰,將部分或全部元數(shù)據(jù)、數(shù)據(jù)或日志寫入持久性內存,但操作日志尾指針未修改,則重放操作日志會恢復至上一次一致性狀態(tài),此次操作的所有記錄無效;2)當執(zhí)行完修改操作日志尾指針時系統(tǒng)崩潰,由于尾指針未執(zhí)行持久化刷寫操作,結果和步驟1相同;3)當執(zhí)行完刷寫操作日志尾指針或更新Hash表時系統(tǒng)崩潰,此時操作日志的尾指針已持久化,表明此次操作所有數(shù)據(jù)已持久化,通過重放日志可以重新執(zhí)行此操作,恢復當前一致性狀態(tài).

    執(zhí)行異步持久化時,本文為1~16 KB的小文件實現(xiàn)了Batch刷寫方法,即基于寫入次數(shù)或寫入數(shù)據(jù)量批處理優(yōu)化方法,該方法的好處是可以減少異步線程的調度開銷,提高系統(tǒng)性能.

    4 實 驗

    由于一致性機制會影響系統(tǒng)的性能,本節(jié)實驗將從3個方面對分布式持久性內存文件系統(tǒng)的一致性機制進行測試.1)對比測試客戶端對服務器端的遠程寫帶寬的性能;2)測試服務器端數(shù)據(jù)的異步持久化對寫帶寬的性能影響;3)同類數(shù)據(jù)一致性機制寫帶寬性能測試.

    4.1 實驗環(huán)境

    在實驗測試中,本文測試的IO大小為1 KB~1 MB,定義1~16 KB的文件為小文件,超過16 KB定義為大文件.使用的實驗環(huán)境配置如表2所示:客戶端和服務器端配置為相同運行環(huán)境,當前還缺乏商用的持久性內存設備,本文測試環(huán)境使用CLWB和PCOMMIT指令模擬持久性內存操作延遲.

    Table 2 Experiment Configuration表2 實驗環(huán)境配置

    4.2 遠程寫帶寬性能測試

    本節(jié)主要測試客戶端對服務器端的遠程寫帶寬,并與客戶端使用RDMA send原語發(fā)送數(shù)據(jù)至服務器端的一致性策略進行比較,實驗結果如圖6所示,客戶端使用RDMA write-with-imm原語對服務器端遠程寫一致性策略在IO大小為1 KB~1 MB時,帶寬傳輸速率提升9%~45%,主要原因是該策略減少一次內存拷貝開銷.客戶端使用RDMA send原語將數(shù)據(jù)發(fā)到給服務器端時,服務器端CPU需從緩沖區(qū)將數(shù)據(jù)拷貝到數(shù)據(jù)區(qū),這一次的內存拷貝影響了服務器端CPU的處理能力.

    Fig.6 Write bandwidth of RDMA verbs圖6 RDMA不同原語寫帶寬測試

    4.3 數(shù)據(jù)異步持久化對寫帶寬性能影響測試

    本節(jié)實驗使用的IO大小范圍為1 KB~1 MB,實驗結果如圖7所示,在IO大小為1 MB時,異步持久化的寫帶寬相比同步刷寫模式提升了7倍左右,這是由于同步刷寫大文件耗時長從而影響了服務器端CPU的處理能力,而異步線程刷寫過程大文件并不影響主線程的執(zhí)行效率.當IO大小為1~16 KB之間時,異步持久化的寫帶寬性能低于同步刷寫,主要是異步線程占用的資源過多,為此本文設計了Batch的優(yōu)化方法,明顯提高了小文件刷寫的性能,當IO大小為4 KB和16 KB時,寫帶寬性能分別提高2.5倍和1.4倍.

    Fig.7 Write bandwidth of sync and async圖7 同步和異步寫帶寬測試

    綜合以上優(yōu)化方法,服務器端使用數(shù)據(jù)異步持久化后,實驗結果如圖8所示,采用write-with-imm原語的一致性機制CCM相比使用send-recv原語的一致性機制具有更高的寫帶寬,當IO大小為256 KB和1 MB時,前者較后者寫帶寬性能提升29%和35%,主要原因是前者減少1次內存拷貝,在RDMA作為網(wǎng)絡通信方式時,該拷貝所帶來的時間開銷會嚴重影響服務器端的處理效率.在IO大小為1 MB時,分布式持久性內存文件系統(tǒng)的一致性機制CCM寫帶寬達到5 582 MBps,與Octopus(5 629 MBps)相比,性能影響控制在1%以內,相比于原生的網(wǎng)絡帶寬(6 305 MBps),寫帶寬性能達到88%.

    Fig.8 Impact of consistency mechanism圖8 一致性機制對寫帶寬的影響測試

    4.4 同類數(shù)據(jù)一致性機制寫帶寬性能測試

    Fig.9 Write bandwidth of consistency mechanism圖9 不同一致性機制寫寬帶測試

    本節(jié)實驗的對比對象為Ordered Journaling一致性機制,實驗結果如圖9所示,當IO大小為1 MB時,Ordered Journaling的一致性機制寫帶寬為5 389 MBps,相比于Octopus,對寫帶寬性能的影響為5%,而本文所設計的一致性機制CCM的寫帶寬為5 582 MBps,相比于Octopus,對寫帶寬性能的影響為1%,這主要是因為Ordered Journaling機制會存在元數(shù)據(jù)重復寫的開銷,而CCM設計了基于操作日志的一致性保障策略,避免了多余的寫操作.

    5 總 結

    非易失性內存具有字節(jié)尋址、低功耗和讀寫性能接近DRAM等特性,有望代替DRAM成為新的主存器件.RDMA能有效提高吞吐率、降低網(wǎng)絡通信延遲,為設計高效的分布式文件系統(tǒng)提供了支撐.本文的工作建立在我們之前的工作Octopus之上,為分布式持久性內存文件系統(tǒng)提供一致性保障.本文設計了一種客戶端對服務器端遠程寫一致性策略和實現(xiàn)了服務器端的數(shù)據(jù)異步持久化.實驗結果表明,相比于Octopus,分布式持久性內存文件系統(tǒng)一致性機制對寫帶寬性能的影響控制在1%以內.

    猜你喜歡
    持久性原語服務器端
    測試原語:存儲器故障最小檢測序列的統(tǒng)一特征
    湖北省持久性有機物(POPs)產排特性分析
    化工管理(2021年7期)2021-05-13 00:44:56
    具有授粉互惠關系的非自治周期植物傳粉系統(tǒng)的持久性
    淺析異步通信層的架構在ASP.NET 程序中的應用
    成功(2018年10期)2018-03-26 02:56:14
    密碼消息原語通信協(xié)議介紹及安全分析
    在Windows中安裝OpenVPN
    一類離散Schoner競爭模型的持久性
    持久性發(fā)疹性斑狀毛細血管擴張一例
    基于原語自動生成的安全協(xié)議組合設計策略及應用研究
    網(wǎng)頁防篡改中分布式文件同步復制系統(tǒng)
    久久99热6这里只有精品| 欧美97在线视频| 亚洲图色成人| 美女脱内裤让男人舔精品视频| av在线观看视频网站免费| 99久久中文字幕三级久久日本| 日韩成人av中文字幕在线观看| 国产中年淑女户外野战色| 国产色爽女视频免费观看| 看十八女毛片水多多多| 色噜噜av男人的天堂激情| 青青草视频在线视频观看| 亚洲欧美日韩高清专用| 欧美97在线视频| 欧美日韩一区二区视频在线观看视频在线 | 午夜福利在线观看免费完整高清在| 亚洲精品成人久久久久久| 激情 狠狠 欧美| 狂野欧美激情性xxxx在线观看| 亚洲人成网站在线观看播放| 日韩欧美国产在线观看| 久久精品国产亚洲网站| a级毛色黄片| 国产精华一区二区三区| 日本午夜av视频| 五月伊人婷婷丁香| 丰满人妻一区二区三区视频av| 九九热线精品视视频播放| 18禁在线播放成人免费| videossex国产| 水蜜桃什么品种好| 国产单亲对白刺激| 99久久成人亚洲精品观看| 国产精品电影一区二区三区| 成人高潮视频无遮挡免费网站| 夜夜看夜夜爽夜夜摸| 自拍偷自拍亚洲精品老妇| 久久人人爽人人爽人人片va| 日韩亚洲欧美综合| 麻豆一二三区av精品| 欧美精品一区二区大全| 男女国产视频网站| 免费看av在线观看网站| 大香蕉久久网| 久久久久久伊人网av| videossex国产| av黄色大香蕉| 国产免费福利视频在线观看| 欧美一区二区国产精品久久精品| 啦啦啦啦在线视频资源| 成年版毛片免费区| 久久久久久久久久黄片| 午夜激情福利司机影院| 国产成人freesex在线| 免费观看a级毛片全部| 免费看美女性在线毛片视频| 免费看日本二区| 欧美激情国产日韩精品一区| 亚洲av成人精品一二三区| 亚洲国产精品成人综合色| 中文字幕免费在线视频6| 精品酒店卫生间| 男女下面进入的视频免费午夜| 一个人免费在线观看电影| 男人狂女人下面高潮的视频| 黄色日韩在线| 亚洲精品乱久久久久久| 能在线免费观看的黄片| 91狼人影院| 村上凉子中文字幕在线| 成人午夜高清在线视频| 国产在视频线在精品| 在线观看66精品国产| 日韩制服骚丝袜av| 最近手机中文字幕大全| 啦啦啦韩国在线观看视频| 寂寞人妻少妇视频99o| 精品午夜福利在线看| 亚洲av免费高清在线观看| 啦啦啦观看免费观看视频高清| 午夜福利网站1000一区二区三区| 欧美性猛交黑人性爽| 中文字幕精品亚洲无线码一区| kizo精华| 久久久久精品久久久久真实原创| 男女视频在线观看网站免费| 青春草视频在线免费观看| 边亲边吃奶的免费视频| 免费看美女性在线毛片视频| 亚洲精品一区蜜桃| 欧美一区二区精品小视频在线| 久久精品综合一区二区三区| 麻豆精品久久久久久蜜桃| 高清视频免费观看一区二区 | 国产精品.久久久| 亚洲av成人精品一二三区| 国语对白做爰xxxⅹ性视频网站| 99热这里只有是精品50| 久久久亚洲精品成人影院| 天堂√8在线中文| 国产成人aa在线观看| 久久亚洲国产成人精品v| 亚洲欧美日韩无卡精品| 亚洲自拍偷在线| 国产 一区精品| 精品一区二区三区视频在线| 久久久久网色| a级毛片免费高清观看在线播放| 久久久久免费精品人妻一区二区| 国产精品永久免费网站| 好男人在线观看高清免费视频| 五月玫瑰六月丁香| 91久久精品电影网| 国产伦精品一区二区三区四那| 蜜桃亚洲精品一区二区三区| 亚洲av免费高清在线观看| 亚洲欧美日韩卡通动漫| 亚洲欧美精品自产自拍| 18禁动态无遮挡网站| 毛片一级片免费看久久久久| 麻豆国产97在线/欧美| 人人妻人人澡欧美一区二区| 小说图片视频综合网站| 亚洲最大成人中文| 久久精品国产亚洲av涩爱| 久久亚洲国产成人精品v| 国产高清三级在线| 蜜桃久久精品国产亚洲av| 亚洲欧美日韩卡通动漫| 综合色av麻豆| 精品国产三级普通话版| 日产精品乱码卡一卡2卡三| 成年女人看的毛片在线观看| 尾随美女入室| 精品久久久久久久人妻蜜臀av| 国产一区有黄有色的免费视频 | 九草在线视频观看| 18+在线观看网站| 成人一区二区视频在线观看| av在线老鸭窝| 尤物成人国产欧美一区二区三区| 干丝袜人妻中文字幕| 欧美xxxx性猛交bbbb| 毛片女人毛片| 国模一区二区三区四区视频| 一个人免费在线观看电影| 变态另类丝袜制服| 99久久中文字幕三级久久日本| www日本黄色视频网| 国产av在哪里看| 亚洲精品日韩在线中文字幕| 边亲边吃奶的免费视频| 成人毛片60女人毛片免费| 欧美日韩综合久久久久久| 欧美激情久久久久久爽电影| www.av在线官网国产| 国产亚洲精品av在线| 成人午夜精彩视频在线观看| 国产在线一区二区三区精 | 十八禁国产超污无遮挡网站| 高清毛片免费看| 中文在线观看免费www的网站| 联通29元200g的流量卡| 国产伦一二天堂av在线观看| 日产精品乱码卡一卡2卡三| 亚洲最大成人中文| 亚洲第一区二区三区不卡| 成人毛片60女人毛片免费| 国产 一区精品| 亚洲精品乱久久久久久| 日本猛色少妇xxxxx猛交久久| 乱人视频在线观看| 久久6这里有精品| 国产精品久久视频播放| 国产精品熟女久久久久浪| 麻豆成人午夜福利视频| 欧美3d第一页| 蜜桃久久精品国产亚洲av| 天堂网av新在线| 国产午夜精品论理片| 最近中文字幕2019免费版| 中文字幕av成人在线电影| 亚洲欧美成人综合另类久久久 | 99热全是精品| 一卡2卡三卡四卡精品乱码亚洲| 亚洲人成网站高清观看| 国产精品电影一区二区三区| 天天一区二区日本电影三级| 国产免费一级a男人的天堂| 日本五十路高清| 亚洲av成人精品一二三区| 噜噜噜噜噜久久久久久91| 日韩av在线大香蕉| 简卡轻食公司| 中文字幕免费在线视频6| 老女人水多毛片| 91狼人影院| 在线a可以看的网站| 麻豆久久精品国产亚洲av| 村上凉子中文字幕在线| 精品久久久久久电影网 | 亚洲av中文字字幕乱码综合| 女人久久www免费人成看片 | 国内精品宾馆在线| 秋霞在线观看毛片| 亚洲图色成人| 成人一区二区视频在线观看| 久久久久国产网址| 男的添女的下面高潮视频| 欧美日本亚洲视频在线播放| 亚洲综合色惰| 国产精品精品国产色婷婷| 亚洲五月天丁香| 少妇人妻精品综合一区二区| 国产在视频线在精品| av在线亚洲专区| 美女脱内裤让男人舔精品视频| 亚洲国产精品sss在线观看| 九九久久精品国产亚洲av麻豆| 亚洲国产欧美人成| 性插视频无遮挡在线免费观看| 国产精品一区www在线观看| 女的被弄到高潮叫床怎么办| 欧美一级a爱片免费观看看| 高清视频免费观看一区二区 | 久久久欧美国产精品| av天堂中文字幕网| 男女啪啪激烈高潮av片| 亚洲av成人精品一二三区| 久久久精品欧美日韩精品| 亚洲四区av| 亚洲人成网站在线播| 亚洲在线自拍视频| 欧美激情久久久久久爽电影| 日产精品乱码卡一卡2卡三| 久久人人爽人人爽人人片va| 毛片一级片免费看久久久久| 热99re8久久精品国产| 99久久人妻综合| 久久久久免费精品人妻一区二区| 国产女主播在线喷水免费视频网站 | av又黄又爽大尺度在线免费看 | 午夜激情欧美在线| 精品人妻一区二区三区麻豆| 国产午夜精品一二区理论片| 人体艺术视频欧美日本| 黄片wwwwww| 日韩强制内射视频| 国产亚洲av嫩草精品影院| 免费在线观看成人毛片| 久久久久久久亚洲中文字幕| 少妇熟女aⅴ在线视频| 久久精品人妻少妇| 99热网站在线观看| 一夜夜www| 三级毛片av免费| 国产 一区 欧美 日韩| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲欧美精品专区久久| 91久久精品国产一区二区三区| 国产乱来视频区| 搞女人的毛片| 久久久久精品久久久久真实原创| 免费大片18禁| 成人二区视频| 亚洲国产精品合色在线| av在线观看视频网站免费| 欧美一区二区亚洲| 久久草成人影院| 亚洲av二区三区四区| 免费av毛片视频| 亚洲va在线va天堂va国产| 最近手机中文字幕大全| 午夜激情福利司机影院| 国产伦一二天堂av在线观看| 汤姆久久久久久久影院中文字幕 | 神马国产精品三级电影在线观看| 男女边吃奶边做爰视频| 熟女人妻精品中文字幕| 亚洲人成网站在线观看播放| 日韩一本色道免费dvd| 91久久精品国产一区二区三区| 午夜激情欧美在线| 国产又色又爽无遮挡免| 亚洲欧美日韩无卡精品| 一区二区三区四区激情视频| 色尼玛亚洲综合影院| 国产精品电影一区二区三区| 99久久精品一区二区三区| 国产高潮美女av| 国产成人福利小说| 久久人人爽人人片av| 搞女人的毛片| 草草在线视频免费看| 18禁在线无遮挡免费观看视频| 国产一区有黄有色的免费视频 | 波多野结衣巨乳人妻| 只有这里有精品99| 观看美女的网站| 中文字幕免费在线视频6| 一级黄色大片毛片| 免费电影在线观看免费观看| 国产亚洲精品久久久com| 看片在线看免费视频| 亚洲精品亚洲一区二区| 亚洲av一区综合| av线在线观看网站| 亚洲中文字幕日韩| 九色成人免费人妻av| 人妻少妇偷人精品九色| 中国美白少妇内射xxxbb| 哪个播放器可以免费观看大片| av卡一久久| 大又大粗又爽又黄少妇毛片口| 日日啪夜夜撸| 舔av片在线| 特大巨黑吊av在线直播| 日本熟妇午夜| 99热网站在线观看| 成人av在线播放网站| 欧美日本视频| 久久精品国产自在天天线| 能在线免费看毛片的网站| 精品99又大又爽又粗少妇毛片| 国产老妇女一区| 精品久久国产蜜桃| 免费看av在线观看网站| 欧美+日韩+精品| 久久久久精品久久久久真实原创| 禁无遮挡网站| 亚洲av中文字字幕乱码综合| 免费看a级黄色片| 色播亚洲综合网| 观看免费一级毛片| 日本免费一区二区三区高清不卡| 免费看美女性在线毛片视频| 久久久久久久久久久丰满| 天堂中文最新版在线下载 | 别揉我奶头 嗯啊视频| 午夜福利网站1000一区二区三区| 超碰av人人做人人爽久久| 成人亚洲精品av一区二区| 精品熟女少妇av免费看| 黑人高潮一二区| 桃色一区二区三区在线观看| 国产精品乱码一区二三区的特点| 26uuu在线亚洲综合色| 国产亚洲精品久久久com| 99热精品在线国产| 免费看a级黄色片| 一个人观看的视频www高清免费观看| 国产色婷婷99| 国产亚洲5aaaaa淫片| 91在线精品国自产拍蜜月| 日韩欧美国产在线观看| 日本免费一区二区三区高清不卡| 一级毛片久久久久久久久女| 老师上课跳d突然被开到最大视频| 国产爱豆传媒在线观看| 嫩草影院新地址| 日韩欧美国产在线观看| 91午夜精品亚洲一区二区三区| 嫩草影院新地址| 国产免费又黄又爽又色| 久久99精品国语久久久| 亚洲婷婷狠狠爱综合网| 一级毛片aaaaaa免费看小| av在线观看视频网站免费| 亚洲精品影视一区二区三区av| 精品久久久噜噜| 亚洲精品aⅴ在线观看| 久久99热这里只频精品6学生 | 寂寞人妻少妇视频99o| 最近中文字幕高清免费大全6| 欧美高清性xxxxhd video| 国产午夜福利久久久久久| 免费大片18禁| 日本一本二区三区精品| 哪个播放器可以免费观看大片| 男人的好看免费观看在线视频| 中文资源天堂在线| 久久亚洲精品不卡| 精品欧美国产一区二区三| 亚洲国产精品合色在线| 高清av免费在线| 九九爱精品视频在线观看| 男女啪啪激烈高潮av片| 国模一区二区三区四区视频| 天堂av国产一区二区熟女人妻| 国产 一区精品| 国产精品久久久久久精品电影小说 | 成人亚洲精品av一区二区| 国产女主播在线喷水免费视频网站 | 国产一区二区三区av在线| 国产精品久久久久久精品电影小说 | 夫妻性生交免费视频一级片| 九九热线精品视视频播放| 欧美极品一区二区三区四区| 精品人妻偷拍中文字幕| 久久亚洲国产成人精品v| 久久精品夜夜夜夜夜久久蜜豆| 亚洲成人久久爱视频| 国产黄片美女视频| 国产一区二区在线av高清观看| 亚洲国产成人一精品久久久| 午夜福利高清视频| 18禁在线无遮挡免费观看视频| 国产伦一二天堂av在线观看| 国产一区亚洲一区在线观看| 极品教师在线视频| 欧美日韩综合久久久久久| 国产高清国产精品国产三级 | 国内精品一区二区在线观看| 国产精品三级大全| 99久久成人亚洲精品观看| 亚洲真实伦在线观看| 男人的好看免费观看在线视频| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲av福利一区| 成人亚洲精品av一区二区| 久久精品人妻少妇| 久久久久九九精品影院| 搞女人的毛片| 亚洲精品国产成人久久av| 老女人水多毛片| 看非洲黑人一级黄片| 秋霞在线观看毛片| 波野结衣二区三区在线| 免费大片18禁| 啦啦啦韩国在线观看视频| 久久婷婷人人爽人人干人人爱| 麻豆av噜噜一区二区三区| 亚洲中文字幕日韩| 69人妻影院| 美女被艹到高潮喷水动态| 七月丁香在线播放| 晚上一个人看的免费电影| 国产av在哪里看| av女优亚洲男人天堂| 国产精品.久久久| 舔av片在线| 免费人成在线观看视频色| 日韩精品有码人妻一区| 免费在线观看成人毛片| 国产成人精品久久久久久| 日日干狠狠操夜夜爽| 美女内射精品一级片tv| 国产片特级美女逼逼视频| av福利片在线观看| 久久久精品94久久精品| 欧美一级a爱片免费观看看| 99久久精品热视频| 国产精品伦人一区二区| 一区二区三区高清视频在线| 一级毛片我不卡| 国产精品国产高清国产av| 成人漫画全彩无遮挡| 亚洲丝袜综合中文字幕| 国产伦精品一区二区三区视频9| 超碰97精品在线观看| 成年女人看的毛片在线观看| 69av精品久久久久久| 特级一级黄色大片| 国产亚洲午夜精品一区二区久久 | 舔av片在线| 精品久久久久久久人妻蜜臀av| www.色视频.com| 国产视频内射| 22中文网久久字幕| 男人和女人高潮做爰伦理| 欧美区成人在线视频| 日日摸夜夜添夜夜爱| 久久精品国产亚洲av涩爱| 国产精品精品国产色婷婷| 国产精品电影一区二区三区| 国产成年人精品一区二区| 成人二区视频| av播播在线观看一区| 午夜激情欧美在线| 国产成人精品久久久久久| 亚洲综合精品二区| or卡值多少钱| 最近最新中文字幕大全电影3| 欧美又色又爽又黄视频| 欧美色视频一区免费| 全区人妻精品视频| 超碰av人人做人人爽久久| 亚洲无线观看免费| 国产一区二区亚洲精品在线观看| 国产 一区 欧美 日韩| 99热网站在线观看| 精品久久久久久成人av| 亚洲精品日韩av片在线观看| 啦啦啦啦在线视频资源| 国产午夜精品久久久久久一区二区三区| 中文乱码字字幕精品一区二区三区 | 乱系列少妇在线播放| 日本黄色视频三级网站网址| 亚洲综合精品二区| av天堂中文字幕网| 欧美zozozo另类| 欧美激情国产日韩精品一区| 亚洲精品国产成人久久av| 国产伦精品一区二区三区四那| 久久人人爽人人爽人人片va| 久久久a久久爽久久v久久| av免费在线看不卡| 亚洲精品乱码久久久v下载方式| 亚洲欧美日韩无卡精品| 久久精品国产亚洲网站| 日本免费在线观看一区| 亚洲综合精品二区| 国产黄片美女视频| 欧美成人a在线观看| 国产精品.久久久| 欧美激情在线99| 一个人看视频在线观看www免费| 午夜亚洲福利在线播放| 国产精品99久久久久久久久| 舔av片在线| 国产伦在线观看视频一区| 日本av手机在线免费观看| 麻豆成人av视频| 国产精品精品国产色婷婷| 麻豆成人av视频| 搡老妇女老女人老熟妇| 日韩国内少妇激情av| 最近中文字幕高清免费大全6| 九草在线视频观看| 天天躁日日操中文字幕| 三级经典国产精品| 国产精品久久久久久av不卡| 日韩国内少妇激情av| 欧美zozozo另类| 99久久九九国产精品国产免费| 天天躁日日操中文字幕| 精品国产一区二区三区久久久樱花 | 最新中文字幕久久久久| 男人狂女人下面高潮的视频| 97人妻精品一区二区三区麻豆| 久久久国产成人精品二区| 精华霜和精华液先用哪个| 韩国av在线不卡| 国产精品福利在线免费观看| 久久精品久久久久久久性| 久久久午夜欧美精品| 成人鲁丝片一二三区免费| 亚洲乱码一区二区免费版| 99久国产av精品| 亚洲欧美成人综合另类久久久 | 婷婷色综合大香蕉| 男人狂女人下面高潮的视频| 国产不卡一卡二| 精品99又大又爽又粗少妇毛片| 少妇人妻一区二区三区视频| 免费黄网站久久成人精品| 亚洲伊人久久精品综合 | 国产一级毛片七仙女欲春2| 日韩亚洲欧美综合| 熟女电影av网| 日本欧美国产在线视频| 中文天堂在线官网| 亚洲国产精品成人久久小说| 国内精品美女久久久久久| 乱系列少妇在线播放| 男人舔奶头视频| 国产69精品久久久久777片| 久久99蜜桃精品久久| 精品99又大又爽又粗少妇毛片| av播播在线观看一区| 99久国产av精品| 精品一区二区免费观看| 精品久久久噜噜| 97在线视频观看| 久久久久久久久久成人| 日韩成人av中文字幕在线观看| 国产精品.久久久| 国语对白做爰xxxⅹ性视频网站| 全区人妻精品视频| 午夜福利视频1000在线观看| 精品一区二区三区人妻视频| 99热6这里只有精品| 精华霜和精华液先用哪个| 亚洲不卡免费看| 亚洲av男天堂| 啦啦啦韩国在线观看视频| 一级毛片电影观看 | 欧美日韩精品成人综合77777| 成年av动漫网址| 亚洲av.av天堂| 亚洲在线观看片| 国产成年人精品一区二区| 99久久成人亚洲精品观看| av在线观看视频网站免费| 国语对白做爰xxxⅹ性视频网站| www.av在线官网国产| 国产精品三级大全| 乱码一卡2卡4卡精品| 久久99精品国语久久久| 亚洲欧美中文字幕日韩二区| 免费av不卡在线播放| 亚洲av一区综合| 免费av观看视频| 日本猛色少妇xxxxx猛交久久| 欧美成人午夜免费资源| 99热网站在线观看| 青春草视频在线免费观看| 校园人妻丝袜中文字幕| 亚洲成人av在线免费| 1024手机看黄色片| 人人妻人人澡欧美一区二区| 内地一区二区视频在线| 亚洲av福利一区| 国产在线男女| 欧美激情在线99|