• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    BeeGFS并行文件系統(tǒng)性能優(yōu)化技術(shù)研究

    2020-11-05 06:10:00宋振龍李小芳謝徐超魏登萍王睿伯
    關(guān)鍵詞:鍵值存儲系統(tǒng)結(jié)點(diǎn)

    宋振龍,李小芳,李 瓊,謝徐超,魏登萍,董 勇,王睿伯

    (國防科技大學(xué)計(jì)算機(jī)學(xué)院,湖南 長沙 410073)

    1 引言

    超級計(jì)算機(jī)的發(fā)展已進(jìn)入E級時(shí)代。E級計(jì)算機(jī)的存儲系統(tǒng)總空間將達(dá)到500~3 000 PB,峰值聚合I/O帶寬將達(dá)到100~200 TB/s,持續(xù)I/O帶寬也將超過10 TB/s,同時(shí)支持?jǐn)?shù)億并發(fā)度的I/O需求。大數(shù)據(jù)和人工智能時(shí)代,大數(shù)據(jù)和人工智能應(yīng)用程序開始在高性能計(jì)算HPC(High Performance Computing)系統(tǒng)上運(yùn)行。新興的深度學(xué)習(xí)應(yīng)用程序具有批量小文件隨機(jī)輸入特點(diǎn),導(dǎo)致HPC存儲系統(tǒng)的I/O模式更趨復(fù)雜,I/O瓶頸問題日益突出。

    超級計(jì)算機(jī)的存儲系統(tǒng)和I/O性能越來越引起重視,2017年世界超算大會首次發(fā)布了對高性能存儲系統(tǒng)進(jìn)行排名的IO500排行榜。為了綜合反映存儲系統(tǒng)I/O性能,IO500測試分為2部分,一部分采用IOR程序測試I/O帶寬,另一部分采用mdtest程序和find等命令進(jìn)行元數(shù)據(jù)測試。測試又分為easy和hard 2種模式,其中easy模式觀察存儲系統(tǒng)最容易滿足的I/O模式,hard模式則用來反映當(dāng)前存儲系統(tǒng)最不適應(yīng)的I/O模式。IO500的推出倡導(dǎo)業(yè)界更加關(guān)注存儲系統(tǒng)性能,基于IO500的I/O性能已成為衡量超級計(jì)算機(jī)性能的重要指標(biāo)。

    近兩年IO500排名前10的系統(tǒng)中,Lustre、BeeGFS 和GPFS(General Paralle File System) 3種并行文件系統(tǒng)占有明顯的優(yōu)勢。Lustre文件系統(tǒng)采用基于對象存儲的集中共享式并行存儲架構(gòu),通過客戶端Cache和大數(shù)據(jù)塊傳輸協(xié)議提高文件訪問帶寬,在HPC領(lǐng)域應(yīng)用最為廣泛。IBM公司研發(fā)的GPFS文件系統(tǒng),廣泛應(yīng)用于IBM公司研發(fā)的超級計(jì)算機(jī)中。新興的BeeGFS文件系統(tǒng)由歐洲的E級計(jì)算項(xiàng)目DEEP-ER研發(fā),提供開放源代碼和免費(fèi)軟件,在HPC領(lǐng)域具有良好的應(yīng)用前景。業(yè)界對Lustre和GPFS等不同的并行文件系統(tǒng)進(jìn)行了長期深入的研究,但對新興的BeeGFS的研究卻很少。

    本文對BeeGFS的 I/O堆棧各個(gè)層次進(jìn)行了性能評測、性能損耗分析,分析確定了影響性能的關(guān)鍵因素,并從多個(gè)方面探索并行文件系統(tǒng)性能優(yōu)化的關(guān)鍵技術(shù),包括元數(shù)據(jù)管理模塊優(yōu)化設(shè)計(jì)、并行I/O處理模型優(yōu)化設(shè)計(jì)和網(wǎng)絡(luò)通信性能優(yōu)化等關(guān)鍵技術(shù)。

    2 相關(guān)工作與挑戰(zhàn)

    2.1 相關(guān)工作

    為HPC系統(tǒng)提供可靠、高效且易于使用的存儲和文件系統(tǒng)是當(dāng)前構(gòu)建高性能計(jì)算機(jī)系統(tǒng)面臨的主要問題之一,因?yàn)楦鞣N各樣的科學(xué)應(yīng)用程序都會生成和分析大量數(shù)據(jù)。文件系統(tǒng)提供了到基礎(chǔ)存儲設(shè)備的接口,并將標(biāo)識符(例如文件名)鏈接到存儲硬件的相應(yīng)物理地址。在HPC系統(tǒng)中,通過部署并行分布式文件系統(tǒng)可以將數(shù)據(jù)分布在眾多存儲設(shè)備上,并結(jié)合特殊功能以提高吞吐量和系統(tǒng)容量。隨著存儲系統(tǒng)數(shù)據(jù)量的迅速增加,HPC系統(tǒng)需要更復(fù)雜、更高效的數(shù)據(jù)管理方法來處理大量信息。同時(shí),如何利用功能更強(qiáng)大的存儲和網(wǎng)絡(luò)技術(shù),如高速存儲介質(zhì)、100 Gbps高速遠(yuǎn)程直接數(shù)據(jù)讀取RDMA(Remote Direct Memory Access)網(wǎng)絡(luò),也對HPC存儲系統(tǒng)的構(gòu)建提出了挑戰(zhàn)。

    在并行文件系統(tǒng)研究方面,基于閃存固態(tài)盤SSD(Solid State Drive)[1 - 5]和非易失性存儲器NVM(Non-Volatile Memory)[6 - 11]優(yōu)化設(shè)計(jì)的并行文件系統(tǒng)軟件嘗試?yán)么鎯τ布δ軄頊p少軟件開銷,但系統(tǒng)整體性能仍不理想。

    在文件系統(tǒng)的元數(shù)據(jù)組件上,現(xiàn)有工作設(shè)計(jì)了利用類似LevelDB的Key-Value來實(shí)現(xiàn)單機(jī)的文件系統(tǒng),如TableFS[12]利用LevelDB實(shí)現(xiàn)了用戶空間文件系統(tǒng),但TableFS只是簡單地介紹了FS層次結(jié)構(gòu)到鍵值KV(Key Value)存儲的映射,沒有解決重命名以及文檔夾移動等問題。BetrFS[13]則將類似的思路搬到了內(nèi)核空間,研究并設(shè)計(jì)了重命名、移動文檔夾等操作的實(shí)現(xiàn)。IndexFS則是將環(huán)境放到了分布式文件系統(tǒng)下面,主要是用KVS存儲分布式文件系統(tǒng)的元數(shù)據(jù),但I(xiàn)ndexFS仍未發(fā)揮KVS的性能,比如將一個(gè)文件的文件元數(shù)據(jù)全部存儲在單個(gè)值中,僅修改一部分值時(shí),必須重置鍵值存儲中的所有值,這會導(dǎo)致不必要的(反序列化)開銷,造成性能降低[14]。Linux 5.1采用了由Jens Axboe開發(fā)的一個(gè)新的異步I/O框架io_uring[15]及實(shí)現(xiàn)技術(shù),有效解決了Linux內(nèi)核中原生AIO低效的問題,更適合高性能NVMe SSD,在部分場景性能高于Intel 的SPDK(Storage Performance Development Kit)的性能。

    Table 1 Key-value used by/dir/file表1 獲取/dir/file過程中的Key和Value

    Table 2 System performance of original BeeGFS表2 改進(jìn)前的BeeGFS性能測試結(jié)果

    Table 3 System performance of optimized BeeGFS表3 改進(jìn)后的BeeGFS性能

    Table 4 System performance comparison表4 改進(jìn)前后的性能對比

    LocoFS[16]可以看作是從IndexFS改進(jìn)而來的一個(gè)架構(gòu)。架構(gòu)上一個(gè)主要的變化就是目錄的元數(shù)據(jù)和文檔的元數(shù)據(jù)分開保存,但目錄元數(shù)據(jù)結(jié)點(diǎn)存在擴(kuò)展性問題,同時(shí)這類方案還面臨rename效率問題。Intel的分布式異步對象存儲DAOS(Distributed Asynchronous Object Storage)[17]采用了SPDK Bulk數(shù)據(jù)并且在用戶空間中完全繞開操作系統(tǒng)。I/O操作繞過Linux內(nèi)核,從而節(jié)省了時(shí)間。而元數(shù)據(jù)構(gòu)建在Optane DIMM非易失內(nèi)存上,通過PMDK(Persistent Memory Development Kit)提供低延時(shí)的元數(shù)據(jù)索引與查詢。在Lustre 2.10.X中實(shí)現(xiàn)了多軌MR(Multi-Rail)[18]功能,它允許結(jié)點(diǎn)上的多個(gè)相同類型的接口在同一個(gè)網(wǎng)絡(luò)(例如tcp0、o2ib0等)下分組一起使用。

    當(dāng)前最流行和廣泛使用的并行分布式文件系統(tǒng)包括Lustre、GPFS、OrangeFS、Ceph和GlusterFS,主要是面向帶寬型業(yè)務(wù)和磁盤介質(zhì),存在性能缺陷。Lustre文件系統(tǒng)的主要缺點(diǎn)是其使用串行元數(shù)據(jù)訪問模型,使得超量的并發(fā)文件操作非常慢,即便新版本提供分布式命名空間模型仍未完全解決并發(fā)文件操作在所有應(yīng)用場景中存在的問題。Ceph以對象存儲為核心,復(fù)雜的軟件棧影響性能。GlusterFS在寫入較小時(shí)存在嚴(yán)重問題,包括寫小文件和小寫大文件,另外GlusterFS在遞歸操作(ls,du,find,grep等)上非常慢,使得它幾乎無法用于大型文件系統(tǒng)上的交互操作。當(dāng)前這些并行分布式文件系統(tǒng)已很難滿足未來E級計(jì)算高性能存儲的需求。

    近幾年BeeGFS嘗試解決性能問題,BeeGFS的優(yōu)點(diǎn)是可以分離元數(shù)據(jù),提供更快的元數(shù)據(jù)訪問,同時(shí)還能夠以簡化的方式跨元數(shù)據(jù)結(jié)點(diǎn)分配每個(gè)目錄和子目錄的元數(shù)據(jù)操作。與GPFS一樣,BeeGFS可以根據(jù)需要添加更多元數(shù)據(jù)目標(biāo)(服務(wù)器),提供了很好的系統(tǒng)擴(kuò)展性,且設(shè)置比Lustre MDS(Meta Data Server)更簡單。另外,BeeGFS能夠使用內(nèi)置隊(duì)列來線程化元數(shù)據(jù)/對象請求服務(wù)器,并能夠根據(jù)需要指定在每個(gè)元數(shù)據(jù)/對象服務(wù)器上產(chǎn)生多少線程。當(dāng)對文件系統(tǒng)上的小文件進(jìn)行數(shù)百萬次的超量請求時(shí),可以避免串行請求瓶頸。

    圖1為BeeGFS的系統(tǒng)架構(gòu),包含元數(shù)據(jù)服務(wù)器MDS、對象存儲服務(wù)器OSS (Object Storage Server)、客戶端和網(wǎng)絡(luò)模塊 4個(gè)重要組件。當(dāng)前,盡管BeeGFS在小塊I/O以及元數(shù)據(jù)訪問方面具有優(yōu)勢,但實(shí)際測試表明BeeGFS仍存在性能瓶頸,有待進(jìn)一步深入改進(jìn)優(yōu)化性能。

    Figure 1 System architecture of BeeGFS圖1 BeeGFS并行分布式文件系統(tǒng)架構(gòu)

    2.2 文件系統(tǒng)讀寫瓶頸

    BeeGFS是一款并行分布式文件系統(tǒng),其核心組件MDS和OSS均是以結(jié)點(diǎn)內(nèi)的本地文件系統(tǒng)來承載元數(shù)據(jù)、數(shù)據(jù)的存儲。針對BeeGFS高效組織管理本地?cái)?shù)據(jù)是BeeGFS性能優(yōu)化的關(guān)鍵點(diǎn)之一。

    通過對NVMe SSD裸設(shè)備和文件的對比測試,我們發(fā)現(xiàn)如下規(guī)律:

    (1) 單盤SSD的帶寬性能與單盤上的文件系統(tǒng)的性能相當(dāng);

    (2) 單盤文件系統(tǒng)XFS 的IOPS是SSD性能的38%(讀取)和36%(寫入);

    (3) 10個(gè)盤文件系統(tǒng)(XFS)的帶寬是SSD性能的77%(讀取)和93%(寫入);

    (4) 10個(gè)盤文件系統(tǒng)(XFS)的IOPS是SSD性能的16%(讀取)和31%(寫入)。

    從上面的數(shù)據(jù)可以看出,XFS在帶寬上相對SSD裸設(shè)備損耗較少,而IOPS只有裸盤SSD的31%以下,IOPS性能損失巨大,如何針對閃存構(gòu)建高IOPS、高帶寬文件系統(tǒng)是性能提升的一個(gè)研究方向,如果針對BeeGFS的數(shù)據(jù)存儲格式進(jìn)一步構(gòu)建私有文件系統(tǒng),則能進(jìn)一步提升性能。

    為了分析并行文件系統(tǒng)BeeGFS對性能的影響,本文構(gòu)建了5個(gè)客戶端同時(shí)訪問1個(gè)存儲端的環(huán)境,客戶端與存儲端均通過單個(gè)Intel公司的Omni-Path 100 Gbps網(wǎng)卡進(jìn)行通信。測試結(jié)果表明,單個(gè)客戶端帶寬最高為2.8 GB/s,不到物理帶寬11 GB/s的25%,一方面BeeGFS自身網(wǎng)絡(luò)處理影響了帶寬,另一方面單網(wǎng)卡限制了帶寬;并行文件系統(tǒng)的讀寫IOPS僅為本地文件系統(tǒng)的18.6%(讀取)和18%(寫入)。底層SSD繁忙度只有20%。而在BeeGFS的loop模式下,也就是數(shù)據(jù)并未寫入或未從本地文件系統(tǒng)讀取,loop模式與本地文件系統(tǒng)的帶寬相當(dāng),但此時(shí)的IOPS僅為本地文件系統(tǒng)的48%(讀取)和42%(寫入)。

    總之,當(dāng)BeeGFS處于高負(fù)載狀態(tài)時(shí),本地文件系統(tǒng)的壓力依然不足,底層SSD的利用率也偏低,需要對其進(jìn)行改進(jìn)優(yōu)化。

    2.3 元數(shù)據(jù)瓶頸

    分布式文件系統(tǒng)中主要有4種元數(shù)據(jù)管理方案:單個(gè)元數(shù)據(jù)服務(wù)器(單MDS)方案(例如HDFS)、具有基于哈希分布的多元數(shù)據(jù)服務(wù)器方案(multi-MDS)(例如Gluster[19])、基于目錄的方案(例如CephFS[20])和基于條帶的方案(例如Lustre DNE,Giga+[21])。

    與基于目錄的方案相比,基于散列和基于條帶的方案具有更好的可伸縮性,但犧牲了單個(gè)結(jié)點(diǎn)上的本地性。原因之一是,即使這些請求位于同一服務(wù)器中,多MDS方案也會向MDS發(fā)出多個(gè)請求,那么文件系統(tǒng)中的遞歸操作(ls,du,find,grep等)非常慢,嚴(yán)重情況下將使得它幾乎無法用于大型文件系統(tǒng)上的交互操作。

    另外,在分布式文件系統(tǒng)中,經(jīng)常出現(xiàn)熱點(diǎn)數(shù)據(jù),主要包括:(1)文件系統(tǒng)中的某個(gè)目錄是大目錄,該目錄下有幾萬、幾十萬甚至上百萬個(gè)文件。(2)文件系統(tǒng)同時(shí)出現(xiàn)多個(gè)熱點(diǎn)目錄和熱點(diǎn)文件,在該目錄下頻繁地進(jìn)行文件和子目錄的創(chuàng)建、刪除、修改、查找等操作。當(dāng)文件系統(tǒng)的這些熱點(diǎn)數(shù)據(jù)同時(shí)出現(xiàn)在某個(gè)服務(wù)器上時(shí),將會導(dǎo)致該服務(wù)器負(fù)荷非常重,而其他服務(wù)器負(fù)荷很輕,從而出現(xiàn)嚴(yán)重的負(fù)載不均,大幅降低整個(gè)文件系統(tǒng)的總體性能。

    針對BeeGFS進(jìn)行元數(shù)據(jù)方面的性能測試與分析,部署5個(gè)Client端,分別測試4個(gè)和5個(gè)MDS組成的元數(shù)據(jù)集群,文件創(chuàng)建、查看文件狀態(tài)和文件刪除的性能測試結(jié)果如圖2所示,其中橫坐標(biāo)軸表示每個(gè)Client的進(jìn)程數(shù),縱坐標(biāo)軸表示IOPS。

    Figure 2 Metadata performance of BeeGFS圖2 BeeGFS元數(shù)據(jù)性能測試

    測試結(jié)果表明,文件創(chuàng)建性能最高為98 341 IOPS,查看文件狀態(tài)最大性能為384 449 IOPS,文件刪除最高性能為20 510 IOPS,根據(jù)BeeGFS的元數(shù)據(jù)分布方式:目錄隨機(jī)分布到元數(shù)據(jù)結(jié)點(diǎn),文件仍然由父目錄所在的服務(wù)器處理,這些元數(shù)據(jù)操作大部分發(fā)生在單結(jié)點(diǎn)中,是利用本地文件系統(tǒng)的文件attr屬性來存儲約128字節(jié)的元數(shù)據(jù)。而在鍵值存儲中,比如著名的RocksDB,在單結(jié)點(diǎn)中對100萬條記錄對(Key:16 Bytes,Value:100 Bytes)進(jìn)行處理,其性能為隨機(jī)寫631 222 IOPS,隨機(jī)讀2 577 505 IOPS,而在pmemkv這類鍵值存儲中,性能更高。

    對比KV存儲的隨機(jī)性能,分布式文件系統(tǒng)BeeGFS的元數(shù)據(jù)操作性能不到KV存儲性能的16%,因此BeeGFS利用本地文件系統(tǒng)的文件屬性來存儲元數(shù)據(jù),存在較大的性能瓶頸。

    3 BeeGFS的優(yōu)化

    通過測試和分析,本文認(rèn)為BeeGFS當(dāng)前的主要性能瓶頸包括:

    (1)BeeGFS利用本地文件系統(tǒng)的文件屬性來存儲元數(shù)據(jù),存在較大的性能瓶頸,需要優(yōu)化元數(shù)據(jù)IOPS。

    (2)本地文件系統(tǒng)的IOPS能力不足,需要BeeGFS的OSS組件提升文件并行讀寫效率,需要優(yōu)化I/O處理流程。

    (3)大量的消息傳遞和小塊數(shù)據(jù)包導(dǎo)致網(wǎng)絡(luò)性能瓶頸,遠(yuǎn)沒有使高速網(wǎng)絡(luò)的帶寬飽和,還需要針對網(wǎng)絡(luò)進(jìn)行優(yōu)化。

    針對上述BeeGFS性能瓶頸,本文基于KV實(shí)現(xiàn)元數(shù)據(jù)管理,以優(yōu)化元數(shù)據(jù)的性能,更適配高速非易失存儲介質(zhì);重新設(shè)計(jì)了數(shù)據(jù)I/O處理模型,提升了數(shù)據(jù)處理并發(fā)度;借鑒多軌機(jī)制優(yōu)化通信網(wǎng)絡(luò),支持多網(wǎng)卡以提升通信帶寬。

    3.1 KV元數(shù)據(jù)

    對于BeeGFS的一個(gè)元數(shù)據(jù)結(jié)點(diǎn)而言:目錄和文件的創(chuàng)建、刪除、stat等操作基于本地文件系統(tǒng),效率低下,原因一是遵循POSIX語義而頻繁進(jìn)行文件open、close等系統(tǒng)調(diào)用,元數(shù)據(jù)存取進(jìn)行g(shù)etattr、setattr系統(tǒng)調(diào)用,頻繁的用戶態(tài)、內(nèi)核態(tài)切換導(dǎo)致性能低下;二是傳統(tǒng)I/O軟件棧和塊設(shè)備文件系統(tǒng)產(chǎn)生的系統(tǒng)開銷,塊設(shè)備文件系統(tǒng)(如EXT4)需要經(jīng)過諸多針對塊設(shè)備的軟件層次,例如I/O調(diào)度層、通用塊層和塊設(shè)備驅(qū)動層,而且文件系統(tǒng)自身定位數(shù)據(jù)復(fù)雜,諸多軟件層次會造成數(shù)據(jù)在各級緩沖區(qū)中的多次拷貝,造成大量額外的系統(tǒng)管理開銷及性能損失,特別是在新型存儲介質(zhì)上,比如NVDIMM,不能發(fā)揮非易失性內(nèi)存的性能。

    當(dāng)前有一些解決方案引入KV store來構(gòu)建文件系統(tǒng)[23-26]。它們不僅向用戶導(dǎo)出簡單的接口(即get和put),而且在存儲中使用有效的數(shù)據(jù)組織(例如日志結(jié)構(gòu)化的合并樹[27])。由于數(shù)據(jù)值是獨(dú)立的并且以這種簡單的方式進(jìn)行組織,因此KV存儲使小對象能夠被有效地訪問并提供出色的可伸縮性,這使其成為了文件系統(tǒng)元數(shù)據(jù)服務(wù)器最有前景的技術(shù)。在小型對象的文件系統(tǒng)元數(shù)據(jù)(例如inode和dirent)中已經(jīng)利用了KV存儲的優(yōu)點(diǎn)[23,24]。

    本文采用鍵值KV存儲來存取元數(shù)據(jù),并采用策略性的目錄、文件元數(shù)據(jù)放置方法,有如下3點(diǎn):

    (1)可配置目錄分布。默認(rèn)情況下,目錄將隨機(jī)分布到元數(shù)據(jù)結(jié)點(diǎn)。支持用戶在創(chuàng)建目錄前設(shè)置規(guī)則策略。

    (2)充分利用本地性,文件仍然由父目錄所在的元數(shù)據(jù)服務(wù)器處理。

    (3)在元數(shù)據(jù)服務(wù)器內(nèi)部,采用鍵值存儲KV替換低效的本地文件系統(tǒng)。

    對比基于散列的元數(shù)據(jù)分布方式,散列方式雖可以有效地利用鍵值訪問性能,但是目錄列表、重命名目錄等操作引發(fā)了這種基于散列設(shè)計(jì)的性能問題。本文選擇RocksDB鍵值存儲,因?yàn)镽ocksDB可以將磁盤寫入與prefix查找和范圍掃描結(jié)合在一起,同時(shí)可以更好地發(fā)揮高速存儲介質(zhì)的性能。

    文件系統(tǒng)樹表示為索引結(jié)點(diǎn)和邊緣的圖。索引結(jié)點(diǎn)包含有關(guān)文件或目錄的元數(shù)據(jù),并由64位ID鍵索引。邊緣在文件系統(tǒng)樹中定義父子關(guān)系。key是父級的64位inode ID,與孩子的名稱串聯(lián)在一起,而值是孩子的inode ID。 這種表示方式允許高效地創(chuàng)建、刪除和重命名。根據(jù)上述規(guī)則,基于 KV 元數(shù)據(jù)結(jié)構(gòu)獲取/dir/file路徑,解析過程如表1和圖3所示。

    Figure 3 Path to /dir/file based on KV metadata圖3 基于KV元數(shù)據(jù)結(jié)構(gòu)獲取/dir/file

    算法1基于KV元數(shù)據(jù)結(jié)構(gòu)獲取/dir/file

    輸入:/dir/file文件路徑。

    輸出:/dir/file文件內(nèi)容。

    步驟1root 的 inode ID為1,那么系統(tǒng)將 dir對象和其父對象的 inode ID進(jìn)行組合,得到一個(gè) key 〈1,dir〉。

    步驟2系統(tǒng)根據(jù)步驟1得到的 key 〈1,dir〉,獲取dir 對象的 inode ID。從圖3可以看出,dir 對象對應(yīng)的 inode ID為2,對應(yīng)圖3的步驟i。

    步驟3系統(tǒng)需要得到 file 對象的 inode ID,同樣也是構(gòu)造一個(gè)key,得到 〈2,file〉,從而確定file 對象的 inode ID,這里為 3,對應(yīng)圖3的步驟ii。

    步驟4系統(tǒng)直接根據(jù) inode ID為 3,讀取file 的內(nèi)容,對應(yīng)圖中的步驟iii。

    3.2 多軌網(wǎng)絡(luò)通信機(jī)制

    在高性能計(jì)算系統(tǒng)中,網(wǎng)絡(luò)通常為高速以太網(wǎng)、IB(InfiniBand)、Omni-Path等,由于結(jié)點(diǎn)間大量的消息傳遞,通常采用RDMA技術(shù)實(shí)現(xiàn)零拷貝通信。對于分布式并行文件系統(tǒng),同樣如此,通過RMDA啟動多個(gè)數(shù)據(jù)服務(wù)器的讀寫操作,這使得客戶端能夠以接近RDMA峰值帶寬的速率訪問數(shù)據(jù)。因此,提升網(wǎng)絡(luò)帶寬有利于提升文件系統(tǒng)的性能,但是,添加更快的接口意味著要替換大部分或全部網(wǎng)絡(luò)。本文采用多軌網(wǎng)絡(luò)通信機(jī)制向服務(wù)器添加更多的網(wǎng)絡(luò)接口來增加帶寬和IOPS。

    BeeGFS支持TCP/IP網(wǎng)絡(luò),并基于OFED(Open Fabrics Enterprise Distribution) ibverbs API實(shí)現(xiàn)了對Infiniband、RoCE (RDMA over Converged Ethernet)和Omni-Path的RDMA協(xié)議的支持。但是, BeeGFS僅支持單網(wǎng)卡的并發(fā)數(shù)據(jù)傳輸和網(wǎng)絡(luò)通信,從測試數(shù)據(jù)來看,這嚴(yán)重限制了系統(tǒng)的網(wǎng)絡(luò)帶寬。本文通過增加網(wǎng)絡(luò)接口卡和修改客戶端模塊,支持客戶端到元數(shù)據(jù)服務(wù)器、對象存儲服務(wù)器的多網(wǎng)卡并行數(shù)據(jù)傳輸和多軌通信。同時(shí),通過設(shè)置配置文件,靈活實(shí)現(xiàn)了使用多個(gè)網(wǎng)絡(luò)接口連接到同一個(gè)網(wǎng)絡(luò)、使用多個(gè)網(wǎng)絡(luò)接口連接到多個(gè)網(wǎng)絡(luò)、接口可以同時(shí)使用3種功能。

    3.3 異步I/O模型

    在BeeGFS系統(tǒng)中,OSS服務(wù)構(gòu)建在用戶態(tài)上,通過多線程策略來提升I/O并發(fā)度,但這些線程的處理步驟比較冗長,而且由于每個(gè)階段的結(jié)果與下一階段的執(zhí)行有關(guān)系,效率仍然低下,并未實(shí)現(xiàn)流水線操作。BeeGFS的OSS對文件數(shù)據(jù)的I/O處理流程如圖4所示。對于大量的小文件I/O,消息傳遞會創(chuàng)建許多小的請求,每個(gè)工作線程的處理步驟很多,同步處理這些請求資源開銷很大。

    Figure 4 Original I/O flow in BeeGFS OSS圖4 BeeGFS原有OSS文件I/O處理流程

    一種優(yōu)化思路是將任務(wù)的處理分解為若干個(gè)處理階段,將其中緩慢的讀寫文件系統(tǒng)步驟通過異步I/O分離出來,上一個(gè)階段任務(wù)的結(jié)果交給下一個(gè)階段線程來處理,這樣每個(gè)線程的處理是并行的,可以充分利用時(shí)間重疊和分時(shí)共享資源,提高并行處理效率。優(yōu)化后的I/O處理流程如圖5所示。優(yōu)化I/O處理模型摒棄了傳統(tǒng)的aio調(diào)用,采用了io_uring全新的syscall和全新的異步async API接口來對接高性能NVMe SSD,以獲得更高的IOPS性能和更好的兼容性。高吞吐異步I/O模型如圖6所示??梢赃M(jìn)一步地分離讀寫I/O請求,構(gòu)建不同的sq_ring/cq_ring對來提升整體性能。同時(shí)針對多核CPU對線程進(jìn)行分組綁核,減小在不同的核上切換調(diào)度造成的開銷,進(jìn)而提升線程的運(yùn)行效率。

    Figure 5 Optimized I/O flow in BeeGFS OSS圖5 OSS存儲服務(wù)器I/O處理優(yōu)化流程

    Figure 6 Asynchronous I/O parallel processing model圖6 異步I/O并行處理模型

    4 實(shí)驗(yàn)與評估

    本文基于驗(yàn)證系統(tǒng)對BeeGFS并行文件系統(tǒng)進(jìn)行了分析評測,采用IO500-dev測試項(xiàng)對優(yōu)化前后的I/O性能進(jìn)行了對比測試。BeeGFS文件系統(tǒng)開發(fā)驗(yàn)證系統(tǒng)結(jié)構(gòu)如圖7所示,由10個(gè)計(jì)算結(jié)點(diǎn)和42個(gè)存儲結(jié)點(diǎn)組成,同一存儲結(jié)點(diǎn)同時(shí)承擔(dān)元數(shù)據(jù)服務(wù)器(MDS)與對象存儲服務(wù)器(OSS)角色,通過100 Gbps Omni-Path網(wǎng)絡(luò)進(jìn)行集群系統(tǒng)互連與數(shù)據(jù)傳輸,通過以太網(wǎng)絡(luò)對集群進(jìn)行監(jiān)控管理。

    Figure 7 Networking configuration of BeeGFS圖7 BeeGFS組網(wǎng)圖

    存儲服務(wù)器配置:2個(gè)Intel Xeon Gold 6134 CPU,16核,主頻 3.20 GHz,396 GB DDR4內(nèi)存,配置12塊紫光NVMe SSD硬盤,單盤容量1.6 TB,單盤讀寫帶寬可分別達(dá)到2.8 GB/s和1.4 GB/s。操作系統(tǒng)為CentOS Linux 7.7,內(nèi)核版本為3.10.0- 1062.4.3.el7。

    在上述開發(fā)驗(yàn)證系統(tǒng)中,采用IO500-dev測試項(xiàng)對改進(jìn)前后的BeeGFS并行文件系統(tǒng)進(jìn)行了分析評測,測試結(jié)果分別如表2和表3所示。其中測試負(fù)載:pre_node_process=64,mdtest_create_file_nun=500000,mdtest_numtarget=1,ior_numtarget=464。

    通過分析發(fā)現(xiàn),本文改進(jìn)方法可以有效提升BeeGFS的性能。在IOPS的測試方面,find等操作的IOPS性能提升122%,這主要是KV 元數(shù)據(jù)的改進(jìn)帶來的效果,而delete 和read 的性能提升主要由異步I/O的設(shè)計(jì)優(yōu)化提供,因?yàn)檫@些操作還需要訪問文件數(shù)據(jù),異步I/O的優(yōu)化可以提升

    此操作。但是,easy_stat和hard_stat性能稍有下降,在3%以內(nèi),可能是測試差異造成的,也可能是KV元數(shù)據(jù)的設(shè)計(jì)中路徑尋找開銷過大造成的,后期將會繼續(xù)進(jìn)行相關(guān)的研究。另外,在帶寬方面引入的多軌的設(shè)計(jì),使得文件系統(tǒng)的帶寬提升非常明顯,如表4所示分別提升了55%,3 600%,41%和126%。

    5 結(jié)束語

    新興的BeeGFS并行文件系統(tǒng)在HPC領(lǐng)域具有良好的應(yīng)用前景。本文對BeeGFS各個(gè)I/O棧層次進(jìn)行性能評測和性能損耗分析,確定影響B(tài)eeGFS系統(tǒng)性能的關(guān)鍵因素,并從多方面探索并行文件系統(tǒng)性能優(yōu)化的關(guān)鍵技術(shù)。設(shè)計(jì)實(shí)現(xiàn)了基于鍵值存儲的元數(shù)據(jù)管理模塊以優(yōu)化元數(shù)據(jù)IOPS,基于異步I/O和多線程技術(shù)的并行I/O處理模型以提升I/O處理并發(fā)度,并采用多軌通信機(jī)制以提高網(wǎng)絡(luò)通信帶寬。構(gòu)建了IO500性能評測環(huán)境,在相同的配置環(huán)境下,I/O帶寬和元數(shù)據(jù)2類基準(zhǔn)測試結(jié)果表明,I/O帶寬由25 GB/s提升為93 GB/s,提高了3.7倍;IOPS由994.4 KIOPS提升為1 190.2 KIOPS,總分由157.97分提升為332.6分,改進(jìn)后的并行文件系統(tǒng)在元數(shù)據(jù)、數(shù)據(jù)讀寫性能方面有大幅提升,IO500測分是原有系統(tǒng)的2倍以上。

    下一步工作將探索如何進(jìn)一步提升BeeGFS并行文件系統(tǒng)性能,一方面構(gòu)建新的本地?cái)?shù)據(jù)存儲引擎,取代通用的本地XFS文件系統(tǒng);另一方面將本地文件系統(tǒng)放入高速存儲層,實(shí)現(xiàn)比分層存儲管理更好的集成管理。

    猜你喜歡
    鍵值存儲系統(tǒng)結(jié)點(diǎn)
    分布式存儲系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
    哈爾濱軸承(2020年2期)2020-11-06 09:22:36
    非請勿進(jìn) 為注冊表的重要鍵值上把“鎖”
    天河超算存儲系統(tǒng)在美創(chuàng)佳績
    Ladyzhenskaya流體力學(xué)方程組的確定模與確定結(jié)點(diǎn)個(gè)數(shù)估計(jì)
    一鍵直達(dá) Windows 10注冊表編輯高招
    電腦愛好者(2017年9期)2017-06-01 21:38:08
    華為震撼發(fā)布新一代OceanStor 18000 V3系列高端存儲系統(tǒng)
    一種基于STM32的具有斷電保護(hù)機(jī)制的采集存儲系統(tǒng)設(shè)計(jì)
    基于Raspberry PI為結(jié)點(diǎn)的天氣云測量網(wǎng)絡(luò)實(shí)現(xiàn)
    基于DHT全分布式P2P-SIP網(wǎng)絡(luò)電話穩(wěn)定性研究與設(shè)計(jì)
    注冊表值被刪除導(dǎo)致文件夾選項(xiàng)成空白
    一区二区三区免费毛片| 久久久精品大字幕| 欧美一区二区国产精品久久精品| 婷婷精品国产亚洲av| 久久久久久久亚洲中文字幕 | 久久国产精品影院| 熟女人妻精品中文字幕| 黄片小视频在线播放| 日本黄色视频三级网站网址| 久久久久免费精品人妻一区二区| 国产av一区在线观看免费| 在线观看美女被高潮喷水网站 | 男女之事视频高清在线观看| 日韩中文字幕欧美一区二区| 欧美成人免费av一区二区三区| АⅤ资源中文在线天堂| 精品一区二区三区视频在线观看免费| 成人高潮视频无遮挡免费网站| 午夜精品在线福利| 亚洲av免费在线观看| 在线观看免费视频日本深夜| 国产成人a区在线观看| 男插女下体视频免费在线播放| 中文字幕高清在线视频| 亚洲国产欧美人成| 人人妻,人人澡人人爽秒播| 校园春色视频在线观看| 精品免费久久久久久久清纯| 成人毛片a级毛片在线播放| 人妻丰满熟妇av一区二区三区| 成年免费大片在线观看| 黄色视频,在线免费观看| 国内少妇人妻偷人精品xxx网站| 色av中文字幕| 有码 亚洲区| 久久国产精品影院| 午夜精品一区二区三区免费看| 亚洲avbb在线观看| 97超级碰碰碰精品色视频在线观看| 高清毛片免费观看视频网站| 日韩高清综合在线| 91av网一区二区| 国语自产精品视频在线第100页| 亚洲av中文字字幕乱码综合| 18禁黄网站禁片午夜丰满| 亚洲五月天丁香| 亚洲成人精品中文字幕电影| 人妻制服诱惑在线中文字幕| 亚洲人与动物交配视频| 成人特级av手机在线观看| 亚洲av美国av| 亚洲精品色激情综合| .国产精品久久| 欧美国产日韩亚洲一区| 欧美性感艳星| 午夜福利18| 日本五十路高清| 成人毛片a级毛片在线播放| 久久精品91蜜桃| 亚洲中文字幕一区二区三区有码在线看| 成人精品一区二区免费| 国产中年淑女户外野战色| 国产亚洲av嫩草精品影院| 一个人免费在线观看电影| 国产一区二区在线观看日韩| 99久久久亚洲精品蜜臀av| 国产黄片美女视频| 亚洲av中文字字幕乱码综合| 日本三级黄在线观看| www日本黄色视频网| 老熟妇仑乱视频hdxx| 欧美激情久久久久久爽电影| 久久国产精品人妻蜜桃| 国产亚洲欧美98| 嫩草影院入口| 久久久精品欧美日韩精品| 波多野结衣高清作品| 免费看a级黄色片| 亚洲国产高清在线一区二区三| 一个人看的www免费观看视频| 黄色日韩在线| 国产视频一区二区在线看| 一区二区三区免费毛片| 日韩欧美免费精品| 国产精品精品国产色婷婷| 色哟哟·www| 极品教师在线免费播放| 亚洲无线在线观看| 亚洲最大成人av| 国产精品精品国产色婷婷| 两个人视频免费观看高清| 日韩av在线大香蕉| 久久久久久久精品吃奶| 深爱激情五月婷婷| 色吧在线观看| 国产蜜桃级精品一区二区三区| 国产午夜精品久久久久久一区二区三区 | 夜夜爽天天搞| 一边摸一边抽搐一进一小说| 国产三级黄色录像| 国产午夜福利久久久久久| 男女那种视频在线观看| 亚洲av不卡在线观看| 又爽又黄a免费视频| 国产高清三级在线| 精品一区二区三区av网在线观看| 国产精品不卡视频一区二区 | 一个人免费在线观看电影| 99riav亚洲国产免费| 在线免费观看不下载黄p国产 | 51午夜福利影视在线观看| 亚洲无线在线观看| 亚洲美女黄片视频| 久久热精品热| 夜夜看夜夜爽夜夜摸| 国内少妇人妻偷人精品xxx网站| 好男人电影高清在线观看| 日韩欧美国产一区二区入口| 久久婷婷人人爽人人干人人爱| 三级男女做爰猛烈吃奶摸视频| 看黄色毛片网站| 亚洲人成网站高清观看| 亚洲第一电影网av| 欧美成人免费av一区二区三区| 国产视频内射| 狂野欧美白嫩少妇大欣赏| 18美女黄网站色大片免费观看| 亚洲狠狠婷婷综合久久图片| 国产成年人精品一区二区| 国内揄拍国产精品人妻在线| 亚洲国产精品999在线| 国产av在哪里看| 深夜a级毛片| 日韩中字成人| 最新中文字幕久久久久| www.色视频.com| 久久久久久久久大av| 我的女老师完整版在线观看| 丰满人妻一区二区三区视频av| 国产精品一区二区三区四区久久| 少妇的逼好多水| 久久久久久久午夜电影| 免费高清视频大片| 99在线人妻在线中文字幕| 亚洲av日韩精品久久久久久密| 亚洲五月天丁香| 国内精品久久久久久久电影| 中出人妻视频一区二区| 国产 一区 欧美 日韩| 波多野结衣巨乳人妻| 国产精品乱码一区二三区的特点| 人妻丰满熟妇av一区二区三区| 午夜日韩欧美国产| 免费看日本二区| 成人性生交大片免费视频hd| 欧美xxxx性猛交bbbb| 人妻久久中文字幕网| 天堂影院成人在线观看| 午夜免费男女啪啪视频观看 | 免费观看精品视频网站| 天堂影院成人在线观看| 精品午夜福利视频在线观看一区| 亚洲成a人片在线一区二区| 亚洲av电影不卡..在线观看| 免费观看人在逋| 99热只有精品国产| 国产一区二区在线av高清观看| 乱人视频在线观看| 日日干狠狠操夜夜爽| 97热精品久久久久久| 日韩亚洲欧美综合| 毛片一级片免费看久久久久 | 91久久精品电影网| 九九在线视频观看精品| 久久久久国产精品人妻aⅴ院| 国产精品电影一区二区三区| 国产 一区 欧美 日韩| 国产探花在线观看一区二区| 久久久久免费精品人妻一区二区| 啦啦啦观看免费观看视频高清| 天堂网av新在线| 真人做人爱边吃奶动态| 欧美不卡视频在线免费观看| 三级男女做爰猛烈吃奶摸视频| 91午夜精品亚洲一区二区三区 | 国产伦一二天堂av在线观看| 三级男女做爰猛烈吃奶摸视频| 在线观看av片永久免费下载| 又粗又爽又猛毛片免费看| 日韩免费av在线播放| 欧美最新免费一区二区三区 | 欧美乱色亚洲激情| 波多野结衣巨乳人妻| av福利片在线观看| 国产精品综合久久久久久久免费| 国产不卡一卡二| 久久久久久国产a免费观看| 午夜福利视频1000在线观看| 超碰av人人做人人爽久久| 男女之事视频高清在线观看| 久久天躁狠狠躁夜夜2o2o| 成人无遮挡网站| 日韩亚洲欧美综合| 99热这里只有是精品在线观看 | 国产一级毛片七仙女欲春2| 九九在线视频观看精品| 国产一区二区三区视频了| 免费在线观看影片大全网站| 日韩精品青青久久久久久| www日本黄色视频网| 国产伦精品一区二区三区视频9| 神马国产精品三级电影在线观看| 国内少妇人妻偷人精品xxx网站| 搡女人真爽免费视频火全软件 | 毛片女人毛片| 91久久精品国产一区二区成人| 最近视频中文字幕2019在线8| 国产一区二区三区在线臀色熟女| 欧美一区二区亚洲| 日本a在线网址| 桃红色精品国产亚洲av| 精品人妻熟女av久视频| 色av中文字幕| 中文字幕高清在线视频| 韩国av一区二区三区四区| 亚洲专区国产一区二区| 亚洲成av人片在线播放无| 成人欧美大片| 国产又黄又爽又无遮挡在线| 亚洲无线观看免费| 1000部很黄的大片| 午夜福利欧美成人| 女生性感内裤真人,穿戴方法视频| 五月玫瑰六月丁香| 国产精品三级大全| 露出奶头的视频| 青草久久国产| 色综合欧美亚洲国产小说| 中文字幕高清在线视频| 亚洲 欧美 日韩 在线 免费| 午夜福利欧美成人| 老鸭窝网址在线观看| av视频在线观看入口| 午夜福利视频1000在线观看| 51国产日韩欧美| 国产成人啪精品午夜网站| 国产欧美日韩精品一区二区| 国产探花极品一区二区| 国产一级毛片七仙女欲春2| 国产男靠女视频免费网站| av欧美777| 精品久久久久久久久av| 狠狠狠狠99中文字幕| 真人一进一出gif抽搐免费| 国产视频内射| 免费在线观看成人毛片| 国产成人欧美在线观看| 成人美女网站在线观看视频| 国产精品99久久久久久久久| 精品一区二区三区视频在线观看免费| 色在线成人网| 国产精品日韩av在线免费观看| 两个人视频免费观看高清| 国内精品久久久久久久电影| av在线老鸭窝| 国产精品不卡视频一区二区 | 国产精品,欧美在线| 天美传媒精品一区二区| 欧美xxxx黑人xx丫x性爽| 麻豆av噜噜一区二区三区| 天堂av国产一区二区熟女人妻| 亚洲经典国产精华液单 | 亚洲国产精品成人综合色| 欧美黄色淫秽网站| 9191精品国产免费久久| 日韩欧美 国产精品| 18禁黄网站禁片免费观看直播| 亚洲18禁久久av| 中亚洲国语对白在线视频| 欧美黄色淫秽网站| 真人做人爱边吃奶动态| 国产午夜福利久久久久久| 黄片小视频在线播放| 毛片女人毛片| 免费在线观看日本一区| 999久久久精品免费观看国产| 国产91精品成人一区二区三区| 久久久精品欧美日韩精品| 成人性生交大片免费视频hd| 天堂网av新在线| 变态另类成人亚洲欧美熟女| 亚洲片人在线观看| 欧美一区二区国产精品久久精品| 国产亚洲av嫩草精品影院| 欧美另类亚洲清纯唯美| 99热这里只有精品一区| 波多野结衣巨乳人妻| 人妻夜夜爽99麻豆av| 五月玫瑰六月丁香| 中国美女看黄片| 中出人妻视频一区二区| 国产精品乱码一区二三区的特点| 3wmmmm亚洲av在线观看| 精品乱码久久久久久99久播| 亚洲av电影在线进入| 嫁个100分男人电影在线观看| 亚洲精品456在线播放app | 精品欧美国产一区二区三| 日韩欧美在线二视频| 老司机深夜福利视频在线观看| av天堂在线播放| 一个人免费在线观看的高清视频| 亚洲最大成人手机在线| 中文字幕免费在线视频6| 少妇熟女aⅴ在线视频| 此物有八面人人有两片| 久久久久久久久久黄片| 亚洲精华国产精华精| 欧美成人免费av一区二区三区| 久久久久免费精品人妻一区二区| 国产精品亚洲美女久久久| 午夜福利在线观看免费完整高清在 | 日本三级黄在线观看| 全区人妻精品视频| 亚洲av.av天堂| 国内毛片毛片毛片毛片毛片| 狂野欧美白嫩少妇大欣赏| 人妻丰满熟妇av一区二区三区| 九九在线视频观看精品| 国产主播在线观看一区二区| 嫩草影院新地址| 色视频www国产| 国产在线男女| 悠悠久久av| 国产高清激情床上av| 偷拍熟女少妇极品色| 欧美丝袜亚洲另类 | 久久99热6这里只有精品| 日本熟妇午夜| 国产野战对白在线观看| 黄色视频,在线免费观看| 精品熟女少妇八av免费久了| 观看免费一级毛片| 精品国产亚洲在线| 我的女老师完整版在线观看| 亚洲国产精品成人综合色| 久久精品国产亚洲av天美| 日本在线视频免费播放| 欧美乱色亚洲激情| 国产一区二区在线观看日韩| 色精品久久人妻99蜜桃| 久久伊人香网站| 熟女电影av网| 国产高清视频在线观看网站| 日韩亚洲欧美综合| www.熟女人妻精品国产| 三级男女做爰猛烈吃奶摸视频| 久久久成人免费电影| 欧美成人a在线观看| 亚洲不卡免费看| 国产老妇女一区| 精品一区二区免费观看| 十八禁人妻一区二区| 午夜久久久久精精品| 全区人妻精品视频| 久久久久久久久久黄片| 久久午夜亚洲精品久久| 国产探花在线观看一区二区| 麻豆久久精品国产亚洲av| 亚洲18禁久久av| 男人和女人高潮做爰伦理| 夜夜躁狠狠躁天天躁| 亚洲成人久久性| 综合色av麻豆| 美女 人体艺术 gogo| 亚洲中文日韩欧美视频| 欧美又色又爽又黄视频| 亚洲av一区综合| 亚洲天堂国产精品一区在线| 身体一侧抽搐| a级毛片免费高清观看在线播放| xxxwww97欧美| 国产乱人伦免费视频| 国产精品免费一区二区三区在线| 毛片女人毛片| 少妇的逼水好多| 欧美日本亚洲视频在线播放| 日韩欧美免费精品| 亚洲第一欧美日韩一区二区三区| 国产精品一区二区三区四区免费观看 | 一二三四社区在线视频社区8| 麻豆国产av国片精品| 成人一区二区视频在线观看| 色哟哟哟哟哟哟| 舔av片在线| 日韩欧美在线二视频| 亚洲成人免费电影在线观看| 男女床上黄色一级片免费看| 亚洲欧美激情综合另类| 特级一级黄色大片| av中文乱码字幕在线| 日本免费a在线| 99久久成人亚洲精品观看| 全区人妻精品视频| 欧美日韩中文字幕国产精品一区二区三区| 精品午夜福利视频在线观看一区| 我的老师免费观看完整版| 精品久久久久久久末码| 国产精品野战在线观看| 亚洲美女视频黄频| 午夜激情福利司机影院| 亚洲av五月六月丁香网| 亚洲熟妇中文字幕五十中出| 国产69精品久久久久777片| 国语自产精品视频在线第100页| 亚洲av日韩精品久久久久久密| 天堂影院成人在线观看| 久久国产乱子伦精品免费另类| 禁无遮挡网站| 黄色配什么色好看| 精品久久国产蜜桃| 校园春色视频在线观看| 波多野结衣高清无吗| 日韩欧美精品免费久久 | 久久中文看片网| 最新在线观看一区二区三区| 动漫黄色视频在线观看| 午夜亚洲福利在线播放| 成人一区二区视频在线观看| 日韩欧美一区二区三区在线观看| 欧美色欧美亚洲另类二区| 欧美不卡视频在线免费观看| 欧美日韩中文字幕国产精品一区二区三区| 国产精品久久电影中文字幕| 国产高潮美女av| 最近最新免费中文字幕在线| 日日摸夜夜添夜夜添av毛片 | 午夜影院日韩av| 青草久久国产| 亚洲无线观看免费| 99在线人妻在线中文字幕| 中出人妻视频一区二区| 精品人妻偷拍中文字幕| 九色国产91popny在线| 中文资源天堂在线| 国产黄a三级三级三级人| 国产在视频线在精品| av国产免费在线观看| 久久久国产成人精品二区| av天堂在线播放| 欧美日韩福利视频一区二区| 国产一区二区三区视频了| a在线观看视频网站| 亚洲色图av天堂| 男女之事视频高清在线观看| 国产成+人综合+亚洲专区| 国产高清视频在线观看网站| 中文在线观看免费www的网站| av天堂在线播放| 99精品久久久久人妻精品| 九九在线视频观看精品| 91在线精品国自产拍蜜月| 日韩国内少妇激情av| 18美女黄网站色大片免费观看| 成人特级黄色片久久久久久久| 日韩av在线大香蕉| 亚洲午夜理论影院| 欧美一区二区国产精品久久精品| 精品国内亚洲2022精品成人| 久久久久久国产a免费观看| 亚洲一区二区三区不卡视频| 午夜福利在线观看吧| 悠悠久久av| 97超级碰碰碰精品色视频在线观看| 久久精品久久久久久噜噜老黄 | 久久久久免费精品人妻一区二区| 女人十人毛片免费观看3o分钟| 国产老妇女一区| 在现免费观看毛片| 亚洲成人精品中文字幕电影| 又爽又黄a免费视频| 久久久久久国产a免费观看| 久久久久久久久久成人| 久久久久国内视频| 精品人妻偷拍中文字幕| 人妻久久中文字幕网| 亚洲av美国av| 中文资源天堂在线| 色精品久久人妻99蜜桃| 久久热精品热| 精品日产1卡2卡| 男女床上黄色一级片免费看| 亚洲无线观看免费| 成人无遮挡网站| 悠悠久久av| 首页视频小说图片口味搜索| 国产精品,欧美在线| 亚洲中文日韩欧美视频| 欧美在线一区亚洲| 12—13女人毛片做爰片一| 亚洲一区高清亚洲精品| 国产私拍福利视频在线观看| 亚洲成av人片在线播放无| 99久久无色码亚洲精品果冻| 日本黄色视频三级网站网址| 99久久精品国产亚洲精品| 久久这里只有精品中国| 欧美最黄视频在线播放免费| 一个人免费在线观看电影| 国产视频一区二区在线看| x7x7x7水蜜桃| 久久久成人免费电影| 啦啦啦韩国在线观看视频| 搡老妇女老女人老熟妇| 亚洲 欧美 日韩 在线 免费| 欧美黄色淫秽网站| 丰满人妻一区二区三区视频av| 18+在线观看网站| 亚洲精华国产精华精| 久久久久久九九精品二区国产| 成人鲁丝片一二三区免费| 久久中文看片网| 在线播放无遮挡| 久久天躁狠狠躁夜夜2o2o| 久久精品人妻少妇| 国产久久久一区二区三区| 国产亚洲欧美在线一区二区| 伦理电影大哥的女人| 午夜精品久久久久久毛片777| www日本黄色视频网| 亚洲在线观看片| 欧美日韩乱码在线| 一区二区三区激情视频| 欧美丝袜亚洲另类 | 国产成+人综合+亚洲专区| 性色avwww在线观看| 国产av在哪里看| 日韩欧美国产在线观看| 国产精品精品国产色婷婷| 亚洲成人免费电影在线观看| 最新在线观看一区二区三区| 88av欧美| 日韩国内少妇激情av| 亚洲av免费高清在线观看| 亚洲精品日韩av片在线观看| 亚洲在线自拍视频| 两个人视频免费观看高清| av在线蜜桃| 国产精品伦人一区二区| 久久精品影院6| 又黄又爽又免费观看的视频| 国产淫片久久久久久久久 | 非洲黑人性xxxx精品又粗又长| 国产高清激情床上av| 中文字幕av在线有码专区| 久久午夜福利片| 此物有八面人人有两片| 色尼玛亚洲综合影院| 一个人免费在线观看的高清视频| 日本成人三级电影网站| 最新在线观看一区二区三区| 亚州av有码| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲欧美日韩高清专用| 日韩中字成人| 国产在线男女| 午夜老司机福利剧场| 国产男靠女视频免费网站| 国产高清三级在线| 91在线精品国自产拍蜜月| 日本免费一区二区三区高清不卡| 日本三级黄在线观看| 舔av片在线| 日本黄色视频三级网站网址| 国产成人欧美在线观看| АⅤ资源中文在线天堂| 亚洲色图av天堂| 非洲黑人性xxxx精品又粗又长| 婷婷六月久久综合丁香| 亚洲成av人片在线播放无| 久久性视频一级片| 丁香欧美五月| 国产av麻豆久久久久久久| 97热精品久久久久久| 国产野战对白在线观看| 精品一区二区三区av网在线观看| 99国产精品一区二区蜜桃av| 欧美+亚洲+日韩+国产| 久久人妻av系列| 嫩草影院新地址| 国产乱人视频| 精品久久久久久久久久久久久| 我要看日韩黄色一级片| 国产一区二区三区视频了| 欧美极品一区二区三区四区| 国产亚洲欧美在线一区二区| 精品不卡国产一区二区三区| 麻豆av噜噜一区二区三区| 免费高清视频大片| 内射极品少妇av片p| 欧美成人一区二区免费高清观看| 午夜福利在线观看免费完整高清在 | 我的女老师完整版在线观看| 99精品在免费线老司机午夜| 18禁在线播放成人免费| 99久久九九国产精品国产免费| 久久久久九九精品影院| 成人国产一区最新在线观看| 欧美黄色淫秽网站| 精华霜和精华液先用哪个| 别揉我奶头 嗯啊视频| 精品一区二区免费观看| 最近最新中文字幕大全电影3| 五月玫瑰六月丁香| 国产伦精品一区二区三区四那|