• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    對象存儲并行文件系統(tǒng)小文件性能優(yōu)化研究*

    2013-06-08 10:07:32周恩強盧宇彤
    計算機工程與科學 2013年12期
    關鍵詞:服務端磁盤命中率

    周恩強,董 勇,張 偉,盧宇彤

    (國防科學技術大學高性能計算國家重點實驗室,湖南 長沙 410073)

    1 引言

    近年來對象存儲架構在高性能計算領域被廣泛應用,在全球計算能力排名Top500中靠前的系統(tǒng)中大多部署了基于對象存儲架構的并行文件系統(tǒng),如Lustre 和Panasas[1,2.。對象存儲的大文件并行訪問性能優(yōu)異,能夠滿足超大規(guī)模并行條件下的文件讀寫速度和存儲容量需求,因此其成為千萬億次超級計算系統(tǒng)解決大規(guī)??蓴U展輸入和輸出I/O(Input/Output)問題的最佳選擇。

    一般認為,HPC 系統(tǒng)中大文件占用空間和I/O 總量的比重大,小文件占用空間和I/O 總量的比重小,但文件數(shù)量多。隨著高性能計算機應用于更多的科學領域,高性能計算系統(tǒng)中的文件I/O的需求呈多樣化特征,小文件的訪問需求逐漸增多[3]。對象存儲體系結(jié)構在小文件訪問方面存在局限性[4],小文件的讀延遲較大,導致很多應用場景下文件訪問性能弱于本地文件系統(tǒng)和其他網(wǎng)絡文件系統(tǒng)。例如,較大規(guī)模的數(shù)據(jù)分析和海量數(shù)據(jù)管理過程中的備份和歸檔操作等。因此,如何提高小文件大規(guī)模并發(fā)讀性能是當前對象存儲系統(tǒng)的熱點研究問題之一。

    本文針對典型對象存儲并行文件系統(tǒng)中小文件讀訪問的性能問題,分析了小文件訪問過程的主要開銷構成,設計并實現(xiàn)了面向小文件的并行文件系統(tǒng)服務端緩存機制,采用緩存專用和關聯(lián)文件預讀的方法,提高小文件讀操作的緩存命中率,達到優(yōu)化小文件訪問性能的目的。實際測試結(jié)果表明,該方法可以顯著提高小文件訪問性能,其中小文件打包操作性能提升80%以上。

    本文第2節(jié)分析了對象存儲體系結(jié)構下小文件訪問的性能問題;第3節(jié)給出了服務端小文件緩存技術的設計原理;第4節(jié)描述了相關實現(xiàn)技術;第5節(jié)對本文所提出的方法進行了實際測試,并對測試結(jié)果進行了分析;第6節(jié)是相關研究;第7節(jié)對本文所做的工作進行總結(jié)。

    2 問題分析

    對象存儲架構(見圖1)主要由元數(shù)據(jù)服務器、對象服務器和客戶端三部分構成,三者之間采用網(wǎng)絡互連。對象存儲系統(tǒng)中文件的元數(shù)據(jù)和數(shù)據(jù)分開存儲,文件的元數(shù)據(jù)記錄了文件的對象構成以及分布信息,保存在元數(shù)據(jù)服務器中。文件的數(shù)據(jù)以對象的方式保存在對象服務器中。大文件通常由多個對象構成,分布在多個對象存儲服務器上,而小文件則由單個對象構成,分布在單個對象存儲服務器上。每個對象創(chuàng)建時由對象存儲服務器分配一個唯一標識號(以下簡稱對象ID)??蛻舳嗽L問文件數(shù)據(jù)時,首先向元數(shù)據(jù)服務器發(fā)送請求,獲得文件的對象ID 和網(wǎng)絡中的存儲位置,再通過網(wǎng)絡直接訪問對象服務器中存儲的文件數(shù)據(jù)。小文件的讀取性能主要取決于網(wǎng)絡操作延遲、請求在網(wǎng)絡上的往返次數(shù)和磁盤訪問延遲。

    Figure 1 Object storage architecture圖1 對象存儲架構示意圖

    在基于對象存儲架構的Lustre并行文件系統(tǒng)中,我們通過測試來分析小文件訪問的開銷構成。通過讀取一個目錄下的各種長度的文件,統(tǒng)計各部分的時間開銷,并分析其占整個訪問開銷的比例。文件訪問開銷可以劃分為磁盤開銷、網(wǎng)絡傳輸開銷和其它開銷三個部分。圖2a給出了不同文件大小條件下,三種開銷所占的比例。從圖中可以看出,文件大小從1KB到256KB,磁盤開銷占到了60%~80%。以4KB文件大小為例,整個文件讀取時間為11ms,磁盤開銷為8ms,其余開銷僅為3ms。這主要是因為對象存儲系統(tǒng)大多采用高速互連網(wǎng)絡構建,其網(wǎng)絡延遲往往在數(shù)百微秒級,而磁盤訪問延遲在毫秒級,遠大于訪存和網(wǎng)絡延遲。降低文件訪問的磁盤開銷是優(yōu)化小文件訪問的重點。

    Figure 2 Overhead of small file access圖2 小文件訪問開銷測試

    使用緩存技術降低訪問磁盤開銷,是優(yōu)化文件系統(tǒng)小文件訪問性能的有效途徑。基于Lustre并行文件系統(tǒng),我們測試了不同的緩存場景下對小文件訪問性能的影響。測試分別模擬了無緩存、100%命中服務端緩存、100%命中客戶端緩存和實際應用場景等四種模式,通過對比四種模式下小文件的訪問開銷,評估緩存對小文件訪問的優(yōu)化效果。圖2b給出了具體測試結(jié)果,該測試中,文件大小設定為4KB。圖2b結(jié)果表明,服務端緩存和客戶端緩存在全部命中條件下對小文件的讀性能提高均有很大幫助,延遲分別降低約60%和80%左右,因此小文件訪問命中緩存會顯著降低訪問延遲。同時緩存的部署位置對性能存在影響,其中客戶端緩存可以降低網(wǎng)絡操作次數(shù),效果最優(yōu),但高速網(wǎng)絡條件下小文件的網(wǎng)絡傳輸開銷較小,使得服務端緩存也能獲得較好的優(yōu)化效果。在模擬實際應用場景測試中,緩存對小文件幾乎失去優(yōu)化效果,因為在實際應用場景中,大文件數(shù)據(jù)持續(xù)進出容量相對有限的緩存,小文件基本被“沖刷”出緩存,小文件的緩存命中率會受到嚴重影響,導致其在實際使用環(huán)境中緩存效果受限。

    基于以上研究結(jié)論,本文采用服務端小文件專用緩存的方法提高小文件緩存命中率,降低對象存儲系統(tǒng)中小文件的訪問延遲,大幅提高并發(fā)訪問條件下的小文件數(shù)據(jù)處理效率。

    3 小文件專用緩存設計原理

    緩存的主要原理是利用I/O 訪問模式的局部性特征,通過命中緩存,減少網(wǎng)絡請求或磁盤訪問。對象存儲環(huán)境下使用緩存技術提高小文件性能的關鍵問題在于:

    (1)緩存在存儲架構中的位置,即緩存放在哪里才能取得最優(yōu)效率。

    在對象存儲架構下,緩存可以放在客戶端或者服務端,客戶端緩存利用計算節(jié)點的內(nèi)存存儲數(shù)據(jù),又可分為獨立客戶端緩存和協(xié)作式客戶端緩存。獨立客戶端緩存內(nèi)容僅限于本地訪問,客戶端之間無法共享緩存中的數(shù)據(jù),在并行計算系統(tǒng)中的利用率不高。協(xié)作客戶端緩存技術[5]支持通過網(wǎng)絡相互訪問對方緩存,提高了緩存資源的利用率,但需要進行全局緩存管理,緩存數(shù)據(jù)的數(shù)據(jù)定位開銷和緩存一致性維護開銷會限制其可擴展性,較大規(guī)模系統(tǒng)難以應用。服務端緩存靠近磁盤部署,可以被所有客戶端共享,緩存利用率較高,但受限于系統(tǒng)中存儲節(jié)點的數(shù)量(遠低于計算節(jié)點),緩存總?cè)萘坑邢蓿诖笠?guī)模并行I/O 應用場景下,大量的數(shù)據(jù)進出緩存,頻繁的緩存置換會導致后續(xù)文件讀操作的緩存命中率極低。

    (2)緩存內(nèi)容的管理,即如何保證有限容量的緩存中存放可被后續(xù)訪問高效利用的數(shù)據(jù)。

    高命中率是緩存設計的重要目標,緩存管理和文件預取機制是提高緩存命中率的主要手段。緩存管理研究通過針對性的置換算法可以在緩存容量有限的條件下保留有效緩存項,淘汰無效緩存內(nèi)容,不同的置換算法往往適合特定的應用模式。數(shù)據(jù)預取也是緩存文件的有效手段,預取利用文件訪問的局部性原理預先讀入相關數(shù)據(jù),為后續(xù)訪問提供高緩存命中率,但無效的預取帶來的預取代價也是必須考慮的問題。

    3.1 小文件獨占服務端緩存策略

    本文針對對象存儲體系結(jié)構和小文件訪問的特性,提出了小文件專用緩存技術,通過在服務端部署小文件獨占緩存ECache(Exclusive-Cache)優(yōu)化小文件訪問性能。

    ECache的主要設計思想可描述為:

    (1)在文件系統(tǒng)的存儲服務端設計小文件專用緩存,多個分布獨立的服務端緩存構成所有客戶端可共享的緩存池;

    (2)過濾訪問策略:在文件請求到達服務端后,根據(jù)訪問文件的大小采用不同的處理策略,只有小文件被放入緩存,并支持相關聯(lián)小文件的緩存預讀入,而大文件請求則旁路緩存,直接訪問磁盤。

    ECache 具有小文件緩存效率高的特點。ECache在緩存的“入口”設置篩選機制防止大文件進入緩存,使得小文件訪問獨占緩存,消除并行計算中大數(shù)據(jù)量I/O 對緩存的無效占用。多個服務端的緩存自然地聚合成“相對巨大”的小文件共享緩存池,讀入緩存中的“熱點文件”可被所有客戶端共享使用,可顯著降低對服務端磁盤的訪問次數(shù),適合較大規(guī)模高性能計算系統(tǒng)中“熱點小文件”并發(fā)訪問的應用場景。

    服務端小文件專用緩存具有天然的可擴展性。和協(xié)作式緩存對比,ECache不涉及復雜的協(xié)作式管理。服務端緩存由存儲節(jié)點獨立管理,具備較好的擴展能力,隨著存儲節(jié)點規(guī)模擴展,服務端緩存總?cè)萘靠呻S之擴展,適合較大規(guī)模并行系統(tǒng)。

    3.2 基于對象ID關聯(lián)性的預取

    ECache采用“過濾”的策略將訪問過的小文件盡量留在緩存,屬于“被動”緩存策略。對于沒有被訪問過的文件,ECache則通過主動預讀技術,使得緩存中預先存儲后續(xù)訪問的其他小文件數(shù)據(jù),進一步提高小文件“首次訪問”的緩存命中率,使其適用于更多的應用場景。

    預取能夠發(fā)揮作用的關鍵是對于特定的I/O模式的準確預判。很多應用場景下小文件之間具有相關性,例如搜索一個大型數(shù)據(jù)集,需要按某一次序讀取許多小文件,構成了數(shù)據(jù)訪問過程中的“空間局部性”。在對象存儲架構下,ECache部署在存儲節(jié)點,該節(jié)點不存儲目錄和文件名信息,無法通過文件命名判斷文件之間的空間局部性,只能使用對象ID。識別對象ID 帶來的空間局部性可以指導小文件的預取,這一特性和對象ID 分配以及編碼算法相關,本文基于Lustre并行文件系統(tǒng)常用的對象ID 遞增分配算法展開分析。我們跟蹤統(tǒng)計了在湖南超算中心基于Lustre的對象存儲系統(tǒng)中多個數(shù)據(jù)集合的文件對象ID 分布統(tǒng)計規(guī)律。統(tǒng)計結(jié)果顯示,同一數(shù)據(jù)集合內(nèi)的小文件的對象ID 是分段連續(xù)的,如圖3所示。這些對象ID 分布在若干個區(qū)間,區(qū)間內(nèi)對象屬于同一數(shù)據(jù)集合,而且連續(xù)的對象ID 隱含了這些文件可能在同一個應用場景下被依次訪問,本文將此規(guī)律稱為對象ID的關聯(lián)性。Ecache利用這種對象ID 之間的關聯(lián)性規(guī)律,將應用程序?qū)⒁L問的小文件事先讀入緩存,從而有效提高緩存命中率。

    Figure 3 Distribution of object ID in a single dataset圖3 單個數(shù)據(jù)集中對象ID 區(qū)間分布示意圖

    ECache預讀時獲取當前訪問文件的對象ID,判斷后續(xù)可能訪問的小文件集合,依次讀入緩存。ECache放在服務端,進行預取時僅涉及少量磁盤讀寫,不涉及網(wǎng)絡操作。小文件被預取到服務端的緩存后可被其他的客戶端訪問命中緩存,預取的利用率高,預取代價相對較小,適合采用“貪婪”[6]的原則提高小文件緩存的命中率,非常適合高性能計算系統(tǒng)中多個客戶端協(xié)同工作的處理模式。

    4 服務端小文件緩存的關鍵設計

    本文基于Lustre并行文件系統(tǒng)設計并實現(xiàn)了ECache緩存。該實現(xiàn)在Lustre對象存儲服務器端的網(wǎng)絡請求處理層和磁盤讀寫層之間嵌入小文件對象過濾機制,基于Linux的pagecache使用存儲節(jié)點的物理內(nèi)存實現(xiàn)ECache。服務端小文件緩存的實現(xiàn)包含以下關鍵設計:

    (1)緩存過濾設計。

    ECache設置一個可配置的小文件閾值,文件長度小于該值則判斷為小文件。ECache過濾層解析請求報文后,通過訪問偏移量和長度判斷是否滿足小文件條件。如果小于閾值則根據(jù)對象ID 在小文件緩存中查找或分配相應大小的緩存頁面。如果一個大文件采用小塊讀寫,在初始階段也將被放入ECache。針對這一問題,ECache發(fā)現(xiàn)請求的偏移量超出緩存長度限制,則清空該緩存項,以保證緩存的小文件利用率,排除大文件干擾。

    (2)緩存預取設計。

    ECache采用“貪婪預取”的原則預取屬于某個對象區(qū)間內(nèi)的文件。假設當前訪問的對象為Oi,則設定預取窗口O[i-m,i+n],當m=n 時,表示預取窗口以當前對象ID 為中心,分別向前和向后連續(xù)預取n個對象,m>n則表示趨于向前預取,反之表示趨于向后預取。ECache根據(jù)預取窗口內(nèi)的對象命中率,動態(tài)調(diào)整m 和n,使其窗口移動可按照對象訪問次序移動,若O[i-m,i]區(qū)間命中率高則降低m 值,增加n 值,反之則增加n 值,降低m值。ECache采用一個小文件預讀線程池提高小文件的并發(fā)預取能力。

    (3)緩存組織設計。

    ECache的每個緩存項表示一個有限數(shù)目的對象區(qū)間,對應一次預取窗口內(nèi)的對象集合。每個緩存項采用一個控制域來標識,包含對象ID、數(shù)據(jù)在文件內(nèi)的偏移和長度以及訪問時間戳等信息,并用來定位區(qū)間內(nèi)緩存的數(shù)據(jù)的地址。緩存項中設定對象區(qū)間的活躍度計數(shù)。訪問一個小文件對象時,如果發(fā)現(xiàn)該對象不在緩存則創(chuàng)建緩存項,并設定窗口實施預取。緩存項以對象ID 為索引進行檢索,采用常用的LRU 緩存管理算法。在申請新頁面不成功時,則按活躍度淘汰一個最不活躍的對象區(qū)間。ECache限制總的內(nèi)存頁面使用量,避免造成內(nèi)存耗盡影響其他存儲服務的運行。

    5 測試與性能分析

    5.1 ECache性能測試

    測試使用了湖南超算中心Tianhe-1A 系統(tǒng)的16個存儲節(jié)點,存儲節(jié)點配置兩個Intel Xeon雙核處理器,48GB 內(nèi)存,存儲設備采用DDN SFA 10K-M 磁盤陣列,共計60個磁盤??蛻舳撕头掌髦g使用了天河高速互連,Lustre版本為1.8.1.1。本文測試了常見的數(shù)據(jù)集合管理操作(解包和打包)和并行化數(shù)據(jù)搜索來評估ECache的緩存命中率和實際性能。測試目錄樹中包含2 000個文件,90%的文件小于64KB。

    解包和打包測試主要評估不同大小的文件被服務端緩存和預取后對小文件讀寫性能的影響。測試過程中先解包,使文件按所設閾值流入緩存,然后進行打包操作讀取目錄樹下的全部文件。測試中加入大文件讀寫干擾情景:即解包所有文件后,反復讀寫多個大小在512KB~1GB的文件,讀寫數(shù)據(jù)總量大于緩存總?cè)萘?,同時進行打包測試。測試中ECache總?cè)萘吭O為256MB,能夠緩存所有小文件數(shù)據(jù)。為了測試不同的小文件閾值條件下本方法的有效性,測試選取了六個不同的小文件閾值,分別為0KB、4KB、16KB、64KB、256KB 和1 024KB。其中,0KB表示不采用小文件專用緩存。測試結(jié)果如圖4a所示。

    多任務并行數(shù)據(jù)搜索測試在整個數(shù)據(jù)集中搜索字符串,所有文件長度小于16KB,緩存閾值設為16KB,并發(fā)多任務間均勻劃分并分配需讀入的數(shù)據(jù)文件集合,每個任務處理多個文件,按文件創(chuàng)建的次序遍歷讀取數(shù)據(jù)。測試中單個任務內(nèi)部按對象ID 遞增次序逐個訪問文件,但多任務間并發(fā)使得整個數(shù)據(jù)集呈現(xiàn)隨機訪問特征。測試中對比了不同任務規(guī)模條件下,無預取和不同ECache預取窗口的性能差異。測試結(jié)果見圖4b,其中預取1和預取2分別表示不同的ECache預取窗口大小,“ECache預取1”的預取窗口大于“ECache預取2”的預取窗口。

    5.2 結(jié)果分析

    打包測試的模式主要測試小文件讀性能。隨著小文件閾值的增加,ECache的過濾設計使得更多的小文件被留在緩存,命中率逐漸上升,打包操作的性能也逐漸提升。當閾值為256KB 時,98%的文件會駐留在緩存,ECache命中率達93%。和不采用ECache相比,打包操作性能提升88%。當閾值進一步增大時,較大文件開始進入緩存,由于緩存大小的限制,部分小文件被置換出緩存,逐漸影響優(yōu)化效果。當閾值設定為1 024KB 時,緩存命中率下降為80%。因此,合理的閾值條件下,小文件過濾機制能夠有效屏蔽大文件讀寫的干擾,提升服務端緩存對小文件的優(yōu)化作用,對優(yōu)化頻繁讀取的小文件是非常有效的。為了測試ECache的最佳效果,測試中的緩存容量設置和測試數(shù)據(jù)集大小相匹配,實際應用中增大緩存容量,則有利于優(yōu)化更大規(guī)模的小文件數(shù)據(jù)集處理。

    并發(fā)文件搜索測試中,ECache的預取機制使得后續(xù)要訪問的文件被讀入緩存。因此,當搜索任務數(shù)增加時,整個搜索的執(zhí)行時間并沒有出現(xiàn)大幅增長。在“Ecache預取1”條件下,任務數(shù)由1增加到2 048,搜索時間最大為19 724μs,最小為5 319μs。在“ECache預取2”條件下,當任務數(shù)增加到2 048時,搜索時間增加到50 388μs。在不采用預取時,2 048個任務的搜索時間為255 568μs。上述結(jié)果充分驗證了專用Cache機制的有效性。

    6 相關研究

    優(yōu)化元數(shù)據(jù)訪問會對小文件性能產(chǎn)生影響,例如,分布式元數(shù)據(jù)技術[7]通過增加元數(shù)據(jù)服務器的方法提高元數(shù)據(jù)訪問的吞吐率,但無法降低小文件訪問過程中的元數(shù)據(jù)訪問延遲。將小文件的數(shù)據(jù)和元數(shù)據(jù)都存放在元數(shù)據(jù)服務器可以減少一次網(wǎng)絡操作次數(shù),但這種方法加重了元數(shù)據(jù)服務器的負載,不適合規(guī)模較大的并行計算系統(tǒng)。文獻[3]研究了在對象架構下如何利用命名空間的局部性原理預取元數(shù)據(jù),以降低訪問元數(shù)據(jù)所引發(fā)的交互次數(shù),其主要針對元數(shù)據(jù)的訪問進行優(yōu)化,但沒有涉及到“訪問對象數(shù)據(jù)”過程中小粒度磁盤訪問所引發(fā)的延遲問題。使用延遲較小的網(wǎng)絡可以提高小文件訪問延遲,例如使用Infiniband構建并行文件系統(tǒng)[8]。

    采用內(nèi)存或速度更快的存儲介質(zhì),如固態(tài)盤SSD[9]做緩存,可有效降低小文件的訪問延遲。緩存技術使用客戶端內(nèi)存降低元數(shù)據(jù)的訪問延遲,是優(yōu)化文件系統(tǒng)小文件訪問延遲的一個有效途徑。文獻[5]研究了客戶端緩存協(xié)作技術,該技術提高了緩存的利用率,但帶來了緩存管理的復雜性。本文僅針對小文件訪問延遲,以服務端過濾的思想提高緩存利用率,更適合實際應用。文獻[10]基于文件系統(tǒng)歷史信息挖掘元數(shù)據(jù)“親和性”,并指導元數(shù)據(jù)預取,提高預取準確性,但該方法需要統(tǒng)計文件系統(tǒng)運行的歷史信息。本文研究文件和對象ID 之間的潛在關聯(lián)性,利用這種關聯(lián)性所產(chǎn)生的“文件親和性”預取文件對象數(shù)據(jù)。

    7 結(jié)束語

    本文研究了對象存儲并行文件系統(tǒng)的小文件性能問題?;诓⑿形募到y(tǒng)中小文件的訪問開銷分析,本文提出了服務端小文件過濾思想,設計了小文件獨占服務端緩存策略,以及基于對象ID關聯(lián)性的預取技術,并基于Lustre文件系統(tǒng)進行了實現(xiàn)和驗證。實驗結(jié)果表明,小文件獨占服務端緩存可排除大文件訪問的干擾,有效提高小文件的緩存使用效率,優(yōu)化小文件訪問性能。對于打包操作,小文件訪問性能提高可達88%,內(nèi)容搜索操作也可獲得75%的性能提高。本文研究的小文件緩存技術保留了現(xiàn)有對象存儲的架構優(yōu)勢,可彌補其小文件讀性能的不足。未來將進一步研究對象存儲架構下小文件對象ID 的訪問局部性指導預取,提高緩存命中率,降低預取代價。本文所提出的方法也適合在對象存儲架構下,以固態(tài)盤做小文件緩存,實現(xiàn)混合存儲。

    [1]Object storage architecture.Panasas white paper[EB/OL].[2009-01-01].http:∥www.panasas.com.

    [2]Lustre file system [EB/OL].[2005-08-07].http:∥www.lustre.org.

    [3]Cho H,Kim S,Lee S.Analysis of long-term file system activities on cluster systems[J].World Academy of Science Engineering and Technology,2009,60(1):159-164.

    [4]Hendricks J,Sambasivan R R,Sinnamohideen S,et al.Improving small file performance in object-based storage[R].CMU-PDL-06-104,Pittsburgh:Carnegie Mellon University,2006.

    [5]Dahlin M D,Wang R Y,Anderson T E,et al.Cooperative caching:Using remote client memory to improve file system performance[C]∥Proc of the 1st Symposium on Operating Systems Design and Implementation,1994:1.

    [6]Lu kai,Jin Shi-yao,Lu Xi-cheng.Properly greedy cache prefetch integrated algorithm in the parallel file system[J].Chinese Journal of Computers,1999,2.(11):1172-1177.(in Chinese)

    [7]Patil S V,Gibson G,Lang S,et al.Giga+:Scalable directories for shared file systems[C]∥Proc of the 2nd International Workshop on Petascale Data Storage,2007:26-29.

    [8]Dong Yong,Zhou En-qiang,Chen Juan.Infiniband-based highperformance distributed file system-Lustre[J].Computer Engineering and Applications,2005,41(22):103-107.(in Chinese)

    [9]Polte M,Simsa J,Gibson G.Comparing performance of solid state devices and mechanical disks[C]∥Proc of the 3rd Petascale Data Storage Workshop,2008:1-7.

    [10]Lin Lin,Li Xue-min,Jiang Hong,et al.AMP:An affinitybased metadata prefetching scheme in large-scale distributed storage systems[C]∥Proc of Cluster of Computing and the Grid,2008:459-466.

    附中文參考文獻:

    [6]盧凱,金士堯,盧錫城.并行文件系統(tǒng)中適度貪婪的cache預取一體化算法[J].計算機學報,1999,2.(11):1172-1177.

    [8]董勇,周恩強,陳娟.基于Infiniband技術構建高性能分布式文件系統(tǒng)-Lustre[J].計算機工程與應用,2005,41(22):103-107.

    猜你喜歡
    服務端磁盤命中率
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    夜夜“奮戰(zhàn)”會提高“命中率”嗎
    2015男籃亞錦賽四強隊三分球進攻特點的比較研究
    長江叢刊(2018年31期)2018-12-05 06:34:20
    修改磁盤屬性
    云存儲中基于相似性的客戶-服務端雙端數(shù)據(jù)去重方法
    新時期《移動Web服務端開發(fā)》課程教學改革的研究
    消費導刊(2018年8期)2018-05-25 13:19:48
    在Windows Server 2008上創(chuàng)建應用
    投籃的力量休斯敦火箭
    NBA特刊(2017年8期)2017-06-05 15:00:13
    磁盤組群組及iSCSI Target設置
    創(chuàng)建VSAN群集
    国产成人精品在线电影| 国产又爽黄色视频| 久久精品国产a三级三级三级| 国产无遮挡羞羞视频在线观看| 精品福利观看| 一区二区三区激情视频| 日本欧美视频一区| 亚洲国产精品一区二区三区在线| 成熟少妇高潮喷水视频| 热99国产精品久久久久久7| av中文乱码字幕在线| 国产亚洲欧美在线一区二区| 美女 人体艺术 gogo| 亚洲情色 制服丝袜| 欧美不卡视频在线免费观看 | 免费看a级黄色片| 国产欧美日韩精品亚洲av| 日韩大码丰满熟妇| av天堂久久9| 岛国在线观看网站| 精品视频人人做人人爽| 久久久久久久久久久久大奶| av一本久久久久| 国产乱人伦免费视频| 日本欧美视频一区| 国产精品久久视频播放| xxx96com| 午夜视频精品福利| 91成年电影在线观看| 日韩有码中文字幕| 精品国产国语对白av| 好男人电影高清在线观看| 久久久久精品人妻al黑| 在线观看日韩欧美| 精品卡一卡二卡四卡免费| 亚洲专区中文字幕在线| videosex国产| 在线av久久热| 手机成人av网站| 巨乳人妻的诱惑在线观看| 丝袜美腿诱惑在线| 99久久综合精品五月天人人| 亚洲精品一卡2卡三卡4卡5卡| 精品国产一区二区三区四区第35| 免费女性裸体啪啪无遮挡网站| 久久久国产精品麻豆| 免费观看精品视频网站| 脱女人内裤的视频| 黄色毛片三级朝国网站| 日韩免费高清中文字幕av| 热99国产精品久久久久久7| 亚洲色图综合在线观看| 少妇猛男粗大的猛烈进出视频| 在线观看免费高清a一片| 少妇猛男粗大的猛烈进出视频| 少妇猛男粗大的猛烈进出视频| 欧美精品啪啪一区二区三区| 黄色成人免费大全| 超碰97精品在线观看| 婷婷精品国产亚洲av在线 | 亚洲人成电影免费在线| 国产男女超爽视频在线观看| 国产麻豆69| 真人做人爱边吃奶动态| 午夜影院日韩av| 黑丝袜美女国产一区| 久久这里只有精品19| 精品高清国产在线一区| 男女午夜视频在线观看| 亚洲av第一区精品v没综合| 亚洲第一欧美日韩一区二区三区| 国产精品98久久久久久宅男小说| 精品人妻在线不人妻| 亚洲国产欧美一区二区综合| 91老司机精品| 超碰97精品在线观看| www.999成人在线观看| 国产色视频综合| 久久久久久久久免费视频了| 老熟妇仑乱视频hdxx| 女人久久www免费人成看片| 免费在线观看黄色视频的| 少妇猛男粗大的猛烈进出视频| 嫩草影视91久久| 亚洲精品国产精品久久久不卡| 99精品久久久久人妻精品| 精品国产乱子伦一区二区三区| 身体一侧抽搐| 黑丝袜美女国产一区| 在线av久久热| 国产精品1区2区在线观看. | 国产精品久久电影中文字幕 | 欧美日韩乱码在线| 欧美中文综合在线视频| 欧美日韩亚洲高清精品| 精品久久久久久久毛片微露脸| 日本vs欧美在线观看视频| 天天躁日日躁夜夜躁夜夜| 日韩成人在线观看一区二区三区| 一级,二级,三级黄色视频| 最近最新中文字幕大全电影3 | 麻豆av在线久日| 国产在线精品亚洲第一网站| 乱人伦中国视频| 国产精品av久久久久免费| 国产单亲对白刺激| 老熟妇乱子伦视频在线观看| 91麻豆精品激情在线观看国产 | 国产精品电影一区二区三区 | 国产成人精品无人区| 黑丝袜美女国产一区| 丝袜美足系列| 91在线观看av| 欧美性长视频在线观看| 午夜福利,免费看| 国产熟女午夜一区二区三区| 精品高清国产在线一区| 久久久精品免费免费高清| 丝袜人妻中文字幕| 99久久99久久久精品蜜桃| 免费少妇av软件| 电影成人av| 最近最新中文字幕大全电影3 | 大陆偷拍与自拍| 国产成人欧美在线观看 | 久9热在线精品视频| 国产成人精品久久二区二区免费| 亚洲精品久久成人aⅴ小说| 在线观看免费日韩欧美大片| 黑人操中国人逼视频| 亚洲欧美色中文字幕在线| a级毛片在线看网站| 黄片播放在线免费| 国产一区有黄有色的免费视频| 啪啪无遮挡十八禁网站| xxxhd国产人妻xxx| 免费看a级黄色片| 啪啪无遮挡十八禁网站| 丝袜美足系列| 国产一卡二卡三卡精品| 日本vs欧美在线观看视频| 国产精品国产高清国产av | 在线观看舔阴道视频| 天天影视国产精品| av福利片在线| 757午夜福利合集在线观看| 他把我摸到了高潮在线观看| av福利片在线| 热99国产精品久久久久久7| 宅男免费午夜| 国产单亲对白刺激| 久久久久久免费高清国产稀缺| videosex国产| 制服人妻中文乱码| 91成人精品电影| 久久久久久久久久久久大奶| 亚洲av片天天在线观看| 久久精品国产清高在天天线| 国产97色在线日韩免费| 老汉色∧v一级毛片| 亚洲性夜色夜夜综合| 高清av免费在线| 日韩中文字幕欧美一区二区| 欧美日韩乱码在线| 亚洲欧洲精品一区二区精品久久久| 不卡一级毛片| 中文字幕人妻丝袜制服| 亚洲 欧美一区二区三区| 无遮挡黄片免费观看| 1024视频免费在线观看| 成人永久免费在线观看视频| 他把我摸到了高潮在线观看| 亚洲成国产人片在线观看| 一边摸一边做爽爽视频免费| 国产精品自产拍在线观看55亚洲 | 99在线人妻在线中文字幕 | a级片在线免费高清观看视频| av福利片在线| 亚洲精品成人av观看孕妇| 五月开心婷婷网| 校园春色视频在线观看| 99国产极品粉嫩在线观看| 夜夜爽天天搞| 搡老熟女国产l中国老女人| 精品人妻在线不人妻| 99香蕉大伊视频| www日本在线高清视频| 人人妻人人爽人人添夜夜欢视频| 亚洲avbb在线观看| av线在线观看网站| 一边摸一边抽搐一进一小说 | 69av精品久久久久久| 91老司机精品| 在线观看一区二区三区激情| 国产精品美女特级片免费视频播放器 | 久久久水蜜桃国产精品网| 极品人妻少妇av视频| 亚洲欧美精品综合一区二区三区| 黄色视频,在线免费观看| 国产片内射在线| 亚洲全国av大片| 亚洲aⅴ乱码一区二区在线播放 | 日韩成人在线观看一区二区三区| 中文字幕人妻熟女乱码| 亚洲一区二区三区不卡视频| 建设人人有责人人尽责人人享有的| av天堂久久9| 亚洲综合色网址| 精品国产国语对白av| 色老头精品视频在线观看| 精品人妻1区二区| 亚洲熟妇中文字幕五十中出 | 另类亚洲欧美激情| 午夜亚洲福利在线播放| 欧美色视频一区免费| 女人被狂操c到高潮| 一级毛片高清免费大全| 91在线观看av| 少妇粗大呻吟视频| 黄色视频不卡| 国产片内射在线| 999久久久精品免费观看国产| 国产一区在线观看成人免费| 国产男女超爽视频在线观看| 五月开心婷婷网| 亚洲五月婷婷丁香| 高清毛片免费观看视频网站 | 日韩熟女老妇一区二区性免费视频| 在线天堂中文资源库| a级毛片在线看网站| 老司机午夜福利在线观看视频| 午夜91福利影院| 三上悠亚av全集在线观看| 飞空精品影院首页| 国产高清视频在线播放一区| 人妻 亚洲 视频| 久久久久精品人妻al黑| 亚洲欧美一区二区三区黑人| aaaaa片日本免费| 91麻豆av在线| 免费在线观看日本一区| 亚洲一区二区三区不卡视频| 亚洲色图av天堂| 久久久国产欧美日韩av| 在线免费观看的www视频| а√天堂www在线а√下载 | 亚洲精品成人av观看孕妇| 女人高潮潮喷娇喘18禁视频| 18禁国产床啪视频网站| 国产亚洲精品久久久久5区| 99热国产这里只有精品6| 国产精品一区二区在线不卡| 男男h啪啪无遮挡| 麻豆成人av在线观看| 国产精品98久久久久久宅男小说| 午夜福利视频在线观看免费| 午夜福利视频在线观看免费| 日韩欧美三级三区| 中文字幕另类日韩欧美亚洲嫩草| 亚洲欧美激情综合另类| 久久人人爽av亚洲精品天堂| 成年人午夜在线观看视频| 高清视频免费观看一区二区| av网站在线播放免费| 大型黄色视频在线免费观看| 90打野战视频偷拍视频| 亚洲一卡2卡3卡4卡5卡精品中文| 久久久久视频综合| 看免费av毛片| 在线观看免费视频日本深夜| 国产又色又爽无遮挡免费看| 国产男女超爽视频在线观看| 18禁黄网站禁片午夜丰满| 久久久久精品国产欧美久久久| 亚洲成人手机| 丁香欧美五月| av片东京热男人的天堂| 欧美+亚洲+日韩+国产| 十八禁人妻一区二区| 亚洲自偷自拍图片 自拍| 1024香蕉在线观看| 成人黄色视频免费在线看| 久久人妻av系列| 黑人操中国人逼视频| 热re99久久精品国产66热6| 精品亚洲成国产av| 欧美激情高清一区二区三区| 视频区图区小说| 久久青草综合色| 亚洲精品成人av观看孕妇| 热99久久久久精品小说推荐| 免费看十八禁软件| xxx96com| 纯流量卡能插随身wifi吗| 欧美黑人精品巨大| 免费观看人在逋| 黄色片一级片一级黄色片| 日日摸夜夜添夜夜添小说| 国产亚洲av高清不卡| 男女午夜视频在线观看| 国产一区二区三区在线臀色熟女 | 黑丝袜美女国产一区| 性少妇av在线| 91老司机精品| 激情视频va一区二区三区| 成年动漫av网址| 啪啪无遮挡十八禁网站| 正在播放国产对白刺激| 黄色 视频免费看| 久久性视频一级片| 男女下面插进去视频免费观看| 久久性视频一级片| 怎么达到女性高潮| 下体分泌物呈黄色| 精品国产美女av久久久久小说| 99国产综合亚洲精品| 日本撒尿小便嘘嘘汇集6| 亚洲 欧美一区二区三区| 欧美日韩黄片免| 视频区欧美日本亚洲| 夫妻午夜视频| 精品视频人人做人人爽| 国产精品秋霞免费鲁丝片| 热99国产精品久久久久久7| 国产精品久久久人人做人人爽| 色精品久久人妻99蜜桃| 日本wwww免费看| 真人做人爱边吃奶动态| 黄色 视频免费看| 午夜福利免费观看在线| 国产精品美女特级片免费视频播放器 | 欧美中文综合在线视频| 国产淫语在线视频| 国产精品久久电影中文字幕 | 日韩一卡2卡3卡4卡2021年| 美女视频免费永久观看网站| 久久午夜亚洲精品久久| 亚洲国产欧美日韩在线播放| a在线观看视频网站| 日日摸夜夜添夜夜添小说| 男女午夜视频在线观看| 久久久国产精品麻豆| aaaaa片日本免费| 午夜免费鲁丝| 女人被躁到高潮嗷嗷叫费观| 免费在线观看完整版高清| 欧美乱妇无乱码| xxxhd国产人妻xxx| 天堂俺去俺来也www色官网| 十八禁网站免费在线| 免费不卡黄色视频| 新久久久久国产一级毛片| 亚洲人成伊人成综合网2020| 涩涩av久久男人的天堂| 中文字幕色久视频| 午夜福利欧美成人| 亚洲国产中文字幕在线视频| 国产av一区二区精品久久| 久久久久视频综合| 动漫黄色视频在线观看| 国产精品九九99| 熟女少妇亚洲综合色aaa.| 水蜜桃什么品种好| 亚洲第一青青草原| 亚洲一卡2卡3卡4卡5卡精品中文| 日日摸夜夜添夜夜添小说| 黄色 视频免费看| 日韩熟女老妇一区二区性免费视频| 三级毛片av免费| 韩国av一区二区三区四区| 少妇被粗大的猛进出69影院| 自拍欧美九色日韩亚洲蝌蚪91| 在线观看一区二区三区激情| 美女扒开内裤让男人捅视频| 一区福利在线观看| x7x7x7水蜜桃| 亚洲成人免费电影在线观看| 捣出白浆h1v1| 日本一区二区免费在线视频| 美女福利国产在线| 亚洲美女黄片视频| 天堂中文最新版在线下载| 怎么达到女性高潮| 婷婷成人精品国产| 精品国产一区二区三区久久久樱花| 成熟少妇高潮喷水视频| 国产99白浆流出| 91成年电影在线观看| 精品一区二区三区av网在线观看| 日本黄色日本黄色录像| 国产成人精品久久二区二区免费| 香蕉丝袜av| 精品高清国产在线一区| 午夜免费观看网址| 欧美精品一区二区免费开放| 国产99久久九九免费精品| 韩国精品一区二区三区| 欧美日韩亚洲综合一区二区三区_| 成人三级做爰电影| 一区二区三区激情视频| 啦啦啦 在线观看视频| 多毛熟女@视频| 国产视频一区二区在线看| videosex国产| 国产成人啪精品午夜网站| 三上悠亚av全集在线观看| 亚洲欧美一区二区三区黑人| 亚洲精品久久午夜乱码| 国产日韩欧美亚洲二区| 成年人黄色毛片网站| 女性被躁到高潮视频| 久久久久精品人妻al黑| 亚洲精品国产一区二区精华液| 国产一区二区三区视频了| 成在线人永久免费视频| 久久草成人影院| 妹子高潮喷水视频| 夜夜爽天天搞| 一本综合久久免费| 国产午夜精品久久久久久| 免费不卡黄色视频| 麻豆乱淫一区二区| 深夜精品福利| 狂野欧美激情性xxxx| 18禁观看日本| 18在线观看网站| 丰满饥渴人妻一区二区三| 色精品久久人妻99蜜桃| 久久精品亚洲熟妇少妇任你| 国产一卡二卡三卡精品| 国产精品美女特级片免费视频播放器 | 一级作爱视频免费观看| av电影中文网址| 啦啦啦 在线观看视频| 国产单亲对白刺激| 少妇粗大呻吟视频| 亚洲一码二码三码区别大吗| 欧美精品av麻豆av| 久久天堂一区二区三区四区| 啦啦啦在线免费观看视频4| 天天添夜夜摸| 成年版毛片免费区| 两性夫妻黄色片| 久久人人97超碰香蕉20202| 国产区一区二久久| 久久久精品免费免费高清| 精品第一国产精品| 一个人免费在线观看的高清视频| 岛国在线观看网站| 成人手机av| 欧美+亚洲+日韩+国产| 国产国语露脸激情在线看| 一进一出抽搐gif免费好疼 | 午夜福利在线观看吧| 丝袜美足系列| 1024香蕉在线观看| 久久草成人影院| 纯流量卡能插随身wifi吗| 亚洲人成电影观看| a级毛片黄视频| 亚洲精品国产精品久久久不卡| 大码成人一级视频| 12—13女人毛片做爰片一| 视频在线观看一区二区三区| 久久国产精品男人的天堂亚洲| 午夜福利乱码中文字幕| 精品无人区乱码1区二区| 国产亚洲av高清不卡| 欧美激情高清一区二区三区| 少妇猛男粗大的猛烈进出视频| 99re6热这里在线精品视频| av网站在线播放免费| 国产深夜福利视频在线观看| 69精品国产乱码久久久| 老熟女久久久| 欧美另类亚洲清纯唯美| 亚洲精品美女久久久久99蜜臀| 精品国内亚洲2022精品成人 | 国产精品自产拍在线观看55亚洲 | 久热这里只有精品99| 最新在线观看一区二区三区| 老汉色∧v一级毛片| 国产成人精品久久二区二区91| 久久精品国产综合久久久| 国产一区二区三区综合在线观看| 精品午夜福利视频在线观看一区| 午夜视频精品福利| 男人操女人黄网站| 两性午夜刺激爽爽歪歪视频在线观看 | 人人澡人人妻人| 精品国产美女av久久久久小说| 法律面前人人平等表现在哪些方面| 美女午夜性视频免费| 老司机福利观看| 精品一区二区三卡| 欧美一级毛片孕妇| 精品久久久久久,| 日本vs欧美在线观看视频| 久久人人97超碰香蕉20202| 欧美色视频一区免费| 亚洲欧美精品综合一区二区三区| 国产亚洲精品久久久久5区| 久久国产亚洲av麻豆专区| 国产精品九九99| 国产精品电影一区二区三区 | 中文字幕色久视频| 久久精品国产a三级三级三级| 99riav亚洲国产免费| 一级黄色大片毛片| 麻豆av在线久日| 18禁观看日本| 午夜成年电影在线免费观看| 一进一出好大好爽视频| 国产高清国产精品国产三级| 在线永久观看黄色视频| 国产精品永久免费网站| 国产一区在线观看成人免费| 国产成人免费观看mmmm| 女人高潮潮喷娇喘18禁视频| 午夜精品久久久久久毛片777| 亚洲精品在线美女| 欧美日韩视频精品一区| 在线观看免费视频日本深夜| 亚洲aⅴ乱码一区二区在线播放 | 国内毛片毛片毛片毛片毛片| 黑人操中国人逼视频| 日韩视频一区二区在线观看| 精品卡一卡二卡四卡免费| 国产三级黄色录像| 欧美久久黑人一区二区| 午夜免费观看网址| 欧美日韩亚洲国产一区二区在线观看 | 亚洲欧美日韩另类电影网站| 国产伦人伦偷精品视频| 韩国av一区二区三区四区| 国产成人精品在线电影| 午夜91福利影院| 国产精品一区二区在线观看99| 亚洲欧美一区二区三区久久| 国产精品一区二区在线观看99| 色播在线永久视频| 极品教师在线免费播放| 无限看片的www在线观看| 亚洲国产欧美一区二区综合| 老熟女久久久| 制服人妻中文乱码| 狠狠婷婷综合久久久久久88av| 精品一区二区三区视频在线观看免费 | 国产成人系列免费观看| 91麻豆av在线| 亚洲美女黄片视频| 可以免费在线观看a视频的电影网站| av天堂在线播放| 精品无人区乱码1区二区| 午夜免费成人在线视频| 欧美黄色淫秽网站| 亚洲国产毛片av蜜桃av| 操美女的视频在线观看| 男女午夜视频在线观看| 精品午夜福利视频在线观看一区| 十八禁高潮呻吟视频| e午夜精品久久久久久久| 涩涩av久久男人的天堂| 91麻豆av在线| 国产一区二区激情短视频| 老熟妇乱子伦视频在线观看| 热99re8久久精品国产| 日韩精品免费视频一区二区三区| 成人影院久久| 中文字幕人妻丝袜一区二区| 精品国产乱子伦一区二区三区| 国产亚洲欧美在线一区二区| √禁漫天堂资源中文www| 久久久精品免费免费高清| 国产精品永久免费网站| 少妇被粗大的猛进出69影院| 黑人猛操日本美女一级片| 在线观看免费视频网站a站| 国产男女内射视频| 午夜福利乱码中文字幕| 精品午夜福利视频在线观看一区| avwww免费| 两个人看的免费小视频| 亚洲成人国产一区在线观看| 黄片播放在线免费| 国产三级黄色录像| 搡老熟女国产l中国老女人| 国产精华一区二区三区| 丁香欧美五月| 久久久久精品国产欧美久久久| 亚洲av成人av| 美女福利国产在线| 色94色欧美一区二区| 真人做人爱边吃奶动态| 天天添夜夜摸| 色老头精品视频在线观看| 一级,二级,三级黄色视频| 变态另类成人亚洲欧美熟女 | 亚洲精品一卡2卡三卡4卡5卡| 日韩欧美在线二视频 | 高清av免费在线| 久久精品国产亚洲av香蕉五月 | 久热这里只有精品99| 搡老乐熟女国产| 捣出白浆h1v1| 欧美日韩国产mv在线观看视频| 99精国产麻豆久久婷婷| 99国产精品一区二区三区| 国产av精品麻豆| 欧美性长视频在线观看| 亚洲av熟女| 亚洲成人免费电影在线观看| 国产成人影院久久av| 12—13女人毛片做爰片一| 18禁黄网站禁片午夜丰满|