• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    對象存儲并行文件系統(tǒng)小文件性能優(yōu)化研究*

    2013-06-08 10:07:32周恩強盧宇彤
    計算機工程與科學 2013年12期
    關鍵詞:服務端磁盤命中率

    周恩強,董 勇,張 偉,盧宇彤

    (國防科學技術大學高性能計算國家重點實驗室,湖南 長沙 410073)

    1 引言

    近年來對象存儲架構在高性能計算領域被廣泛應用,在全球計算能力排名Top500中靠前的系統(tǒng)中大多部署了基于對象存儲架構的并行文件系統(tǒng),如Lustre 和Panasas[1,2.。對象存儲的大文件并行訪問性能優(yōu)異,能夠滿足超大規(guī)模并行條件下的文件讀寫速度和存儲容量需求,因此其成為千萬億次超級計算系統(tǒng)解決大規(guī)??蓴U展輸入和輸出I/O(Input/Output)問題的最佳選擇。

    一般認為,HPC 系統(tǒng)中大文件占用空間和I/O 總量的比重大,小文件占用空間和I/O 總量的比重小,但文件數(shù)量多。隨著高性能計算機應用于更多的科學領域,高性能計算系統(tǒng)中的文件I/O的需求呈多樣化特征,小文件的訪問需求逐漸增多[3]。對象存儲體系結(jié)構在小文件訪問方面存在局限性[4],小文件的讀延遲較大,導致很多應用場景下文件訪問性能弱于本地文件系統(tǒng)和其他網(wǎng)絡文件系統(tǒng)。例如,較大規(guī)模的數(shù)據(jù)分析和海量數(shù)據(jù)管理過程中的備份和歸檔操作等。因此,如何提高小文件大規(guī)模并發(fā)讀性能是當前對象存儲系統(tǒng)的熱點研究問題之一。

    本文針對典型對象存儲并行文件系統(tǒng)中小文件讀訪問的性能問題,分析了小文件訪問過程的主要開銷構成,設計并實現(xiàn)了面向小文件的并行文件系統(tǒng)服務端緩存機制,采用緩存專用和關聯(lián)文件預讀的方法,提高小文件讀操作的緩存命中率,達到優(yōu)化小文件訪問性能的目的。實際測試結(jié)果表明,該方法可以顯著提高小文件訪問性能,其中小文件打包操作性能提升80%以上。

    本文第2節(jié)分析了對象存儲體系結(jié)構下小文件訪問的性能問題;第3節(jié)給出了服務端小文件緩存技術的設計原理;第4節(jié)描述了相關實現(xiàn)技術;第5節(jié)對本文所提出的方法進行了實際測試,并對測試結(jié)果進行了分析;第6節(jié)是相關研究;第7節(jié)對本文所做的工作進行總結(jié)。

    2 問題分析

    對象存儲架構(見圖1)主要由元數(shù)據(jù)服務器、對象服務器和客戶端三部分構成,三者之間采用網(wǎng)絡互連。對象存儲系統(tǒng)中文件的元數(shù)據(jù)和數(shù)據(jù)分開存儲,文件的元數(shù)據(jù)記錄了文件的對象構成以及分布信息,保存在元數(shù)據(jù)服務器中。文件的數(shù)據(jù)以對象的方式保存在對象服務器中。大文件通常由多個對象構成,分布在多個對象存儲服務器上,而小文件則由單個對象構成,分布在單個對象存儲服務器上。每個對象創(chuàng)建時由對象存儲服務器分配一個唯一標識號(以下簡稱對象ID)??蛻舳嗽L問文件數(shù)據(jù)時,首先向元數(shù)據(jù)服務器發(fā)送請求,獲得文件的對象ID 和網(wǎng)絡中的存儲位置,再通過網(wǎng)絡直接訪問對象服務器中存儲的文件數(shù)據(jù)。小文件的讀取性能主要取決于網(wǎng)絡操作延遲、請求在網(wǎng)絡上的往返次數(shù)和磁盤訪問延遲。

    Figure 1 Object storage architecture圖1 對象存儲架構示意圖

    在基于對象存儲架構的Lustre并行文件系統(tǒng)中,我們通過測試來分析小文件訪問的開銷構成。通過讀取一個目錄下的各種長度的文件,統(tǒng)計各部分的時間開銷,并分析其占整個訪問開銷的比例。文件訪問開銷可以劃分為磁盤開銷、網(wǎng)絡傳輸開銷和其它開銷三個部分。圖2a給出了不同文件大小條件下,三種開銷所占的比例。從圖中可以看出,文件大小從1KB到256KB,磁盤開銷占到了60%~80%。以4KB文件大小為例,整個文件讀取時間為11ms,磁盤開銷為8ms,其余開銷僅為3ms。這主要是因為對象存儲系統(tǒng)大多采用高速互連網(wǎng)絡構建,其網(wǎng)絡延遲往往在數(shù)百微秒級,而磁盤訪問延遲在毫秒級,遠大于訪存和網(wǎng)絡延遲。降低文件訪問的磁盤開銷是優(yōu)化小文件訪問的重點。

    Figure 2 Overhead of small file access圖2 小文件訪問開銷測試

    使用緩存技術降低訪問磁盤開銷,是優(yōu)化文件系統(tǒng)小文件訪問性能的有效途徑。基于Lustre并行文件系統(tǒng),我們測試了不同的緩存場景下對小文件訪問性能的影響。測試分別模擬了無緩存、100%命中服務端緩存、100%命中客戶端緩存和實際應用場景等四種模式,通過對比四種模式下小文件的訪問開銷,評估緩存對小文件訪問的優(yōu)化效果。圖2b給出了具體測試結(jié)果,該測試中,文件大小設定為4KB。圖2b結(jié)果表明,服務端緩存和客戶端緩存在全部命中條件下對小文件的讀性能提高均有很大幫助,延遲分別降低約60%和80%左右,因此小文件訪問命中緩存會顯著降低訪問延遲。同時緩存的部署位置對性能存在影響,其中客戶端緩存可以降低網(wǎng)絡操作次數(shù),效果最優(yōu),但高速網(wǎng)絡條件下小文件的網(wǎng)絡傳輸開銷較小,使得服務端緩存也能獲得較好的優(yōu)化效果。在模擬實際應用場景測試中,緩存對小文件幾乎失去優(yōu)化效果,因為在實際應用場景中,大文件數(shù)據(jù)持續(xù)進出容量相對有限的緩存,小文件基本被“沖刷”出緩存,小文件的緩存命中率會受到嚴重影響,導致其在實際使用環(huán)境中緩存效果受限。

    基于以上研究結(jié)論,本文采用服務端小文件專用緩存的方法提高小文件緩存命中率,降低對象存儲系統(tǒng)中小文件的訪問延遲,大幅提高并發(fā)訪問條件下的小文件數(shù)據(jù)處理效率。

    3 小文件專用緩存設計原理

    緩存的主要原理是利用I/O 訪問模式的局部性特征,通過命中緩存,減少網(wǎng)絡請求或磁盤訪問。對象存儲環(huán)境下使用緩存技術提高小文件性能的關鍵問題在于:

    (1)緩存在存儲架構中的位置,即緩存放在哪里才能取得最優(yōu)效率。

    在對象存儲架構下,緩存可以放在客戶端或者服務端,客戶端緩存利用計算節(jié)點的內(nèi)存存儲數(shù)據(jù),又可分為獨立客戶端緩存和協(xié)作式客戶端緩存。獨立客戶端緩存內(nèi)容僅限于本地訪問,客戶端之間無法共享緩存中的數(shù)據(jù),在并行計算系統(tǒng)中的利用率不高。協(xié)作客戶端緩存技術[5]支持通過網(wǎng)絡相互訪問對方緩存,提高了緩存資源的利用率,但需要進行全局緩存管理,緩存數(shù)據(jù)的數(shù)據(jù)定位開銷和緩存一致性維護開銷會限制其可擴展性,較大規(guī)模系統(tǒng)難以應用。服務端緩存靠近磁盤部署,可以被所有客戶端共享,緩存利用率較高,但受限于系統(tǒng)中存儲節(jié)點的數(shù)量(遠低于計算節(jié)點),緩存總?cè)萘坑邢蓿诖笠?guī)模并行I/O 應用場景下,大量的數(shù)據(jù)進出緩存,頻繁的緩存置換會導致后續(xù)文件讀操作的緩存命中率極低。

    (2)緩存內(nèi)容的管理,即如何保證有限容量的緩存中存放可被后續(xù)訪問高效利用的數(shù)據(jù)。

    高命中率是緩存設計的重要目標,緩存管理和文件預取機制是提高緩存命中率的主要手段。緩存管理研究通過針對性的置換算法可以在緩存容量有限的條件下保留有效緩存項,淘汰無效緩存內(nèi)容,不同的置換算法往往適合特定的應用模式。數(shù)據(jù)預取也是緩存文件的有效手段,預取利用文件訪問的局部性原理預先讀入相關數(shù)據(jù),為后續(xù)訪問提供高緩存命中率,但無效的預取帶來的預取代價也是必須考慮的問題。

    3.1 小文件獨占服務端緩存策略

    本文針對對象存儲體系結(jié)構和小文件訪問的特性,提出了小文件專用緩存技術,通過在服務端部署小文件獨占緩存ECache(Exclusive-Cache)優(yōu)化小文件訪問性能。

    ECache的主要設計思想可描述為:

    (1)在文件系統(tǒng)的存儲服務端設計小文件專用緩存,多個分布獨立的服務端緩存構成所有客戶端可共享的緩存池;

    (2)過濾訪問策略:在文件請求到達服務端后,根據(jù)訪問文件的大小采用不同的處理策略,只有小文件被放入緩存,并支持相關聯(lián)小文件的緩存預讀入,而大文件請求則旁路緩存,直接訪問磁盤。

    ECache 具有小文件緩存效率高的特點。ECache在緩存的“入口”設置篩選機制防止大文件進入緩存,使得小文件訪問獨占緩存,消除并行計算中大數(shù)據(jù)量I/O 對緩存的無效占用。多個服務端的緩存自然地聚合成“相對巨大”的小文件共享緩存池,讀入緩存中的“熱點文件”可被所有客戶端共享使用,可顯著降低對服務端磁盤的訪問次數(shù),適合較大規(guī)模高性能計算系統(tǒng)中“熱點小文件”并發(fā)訪問的應用場景。

    服務端小文件專用緩存具有天然的可擴展性。和協(xié)作式緩存對比,ECache不涉及復雜的協(xié)作式管理。服務端緩存由存儲節(jié)點獨立管理,具備較好的擴展能力,隨著存儲節(jié)點規(guī)模擴展,服務端緩存總?cè)萘靠呻S之擴展,適合較大規(guī)模并行系統(tǒng)。

    3.2 基于對象ID關聯(lián)性的預取

    ECache采用“過濾”的策略將訪問過的小文件盡量留在緩存,屬于“被動”緩存策略。對于沒有被訪問過的文件,ECache則通過主動預讀技術,使得緩存中預先存儲后續(xù)訪問的其他小文件數(shù)據(jù),進一步提高小文件“首次訪問”的緩存命中率,使其適用于更多的應用場景。

    預取能夠發(fā)揮作用的關鍵是對于特定的I/O模式的準確預判。很多應用場景下小文件之間具有相關性,例如搜索一個大型數(shù)據(jù)集,需要按某一次序讀取許多小文件,構成了數(shù)據(jù)訪問過程中的“空間局部性”。在對象存儲架構下,ECache部署在存儲節(jié)點,該節(jié)點不存儲目錄和文件名信息,無法通過文件命名判斷文件之間的空間局部性,只能使用對象ID。識別對象ID 帶來的空間局部性可以指導小文件的預取,這一特性和對象ID 分配以及編碼算法相關,本文基于Lustre并行文件系統(tǒng)常用的對象ID 遞增分配算法展開分析。我們跟蹤統(tǒng)計了在湖南超算中心基于Lustre的對象存儲系統(tǒng)中多個數(shù)據(jù)集合的文件對象ID 分布統(tǒng)計規(guī)律。統(tǒng)計結(jié)果顯示,同一數(shù)據(jù)集合內(nèi)的小文件的對象ID 是分段連續(xù)的,如圖3所示。這些對象ID 分布在若干個區(qū)間,區(qū)間內(nèi)對象屬于同一數(shù)據(jù)集合,而且連續(xù)的對象ID 隱含了這些文件可能在同一個應用場景下被依次訪問,本文將此規(guī)律稱為對象ID的關聯(lián)性。Ecache利用這種對象ID 之間的關聯(lián)性規(guī)律,將應用程序?qū)⒁L問的小文件事先讀入緩存,從而有效提高緩存命中率。

    Figure 3 Distribution of object ID in a single dataset圖3 單個數(shù)據(jù)集中對象ID 區(qū)間分布示意圖

    ECache預讀時獲取當前訪問文件的對象ID,判斷后續(xù)可能訪問的小文件集合,依次讀入緩存。ECache放在服務端,進行預取時僅涉及少量磁盤讀寫,不涉及網(wǎng)絡操作。小文件被預取到服務端的緩存后可被其他的客戶端訪問命中緩存,預取的利用率高,預取代價相對較小,適合采用“貪婪”[6]的原則提高小文件緩存的命中率,非常適合高性能計算系統(tǒng)中多個客戶端協(xié)同工作的處理模式。

    4 服務端小文件緩存的關鍵設計

    本文基于Lustre并行文件系統(tǒng)設計并實現(xiàn)了ECache緩存。該實現(xiàn)在Lustre對象存儲服務器端的網(wǎng)絡請求處理層和磁盤讀寫層之間嵌入小文件對象過濾機制,基于Linux的pagecache使用存儲節(jié)點的物理內(nèi)存實現(xiàn)ECache。服務端小文件緩存的實現(xiàn)包含以下關鍵設計:

    (1)緩存過濾設計。

    ECache設置一個可配置的小文件閾值,文件長度小于該值則判斷為小文件。ECache過濾層解析請求報文后,通過訪問偏移量和長度判斷是否滿足小文件條件。如果小于閾值則根據(jù)對象ID 在小文件緩存中查找或分配相應大小的緩存頁面。如果一個大文件采用小塊讀寫,在初始階段也將被放入ECache。針對這一問題,ECache發(fā)現(xiàn)請求的偏移量超出緩存長度限制,則清空該緩存項,以保證緩存的小文件利用率,排除大文件干擾。

    (2)緩存預取設計。

    ECache采用“貪婪預取”的原則預取屬于某個對象區(qū)間內(nèi)的文件。假設當前訪問的對象為Oi,則設定預取窗口O[i-m,i+n],當m=n 時,表示預取窗口以當前對象ID 為中心,分別向前和向后連續(xù)預取n個對象,m>n則表示趨于向前預取,反之表示趨于向后預取。ECache根據(jù)預取窗口內(nèi)的對象命中率,動態(tài)調(diào)整m 和n,使其窗口移動可按照對象訪問次序移動,若O[i-m,i]區(qū)間命中率高則降低m 值,增加n 值,反之則增加n 值,降低m值。ECache采用一個小文件預讀線程池提高小文件的并發(fā)預取能力。

    (3)緩存組織設計。

    ECache的每個緩存項表示一個有限數(shù)目的對象區(qū)間,對應一次預取窗口內(nèi)的對象集合。每個緩存項采用一個控制域來標識,包含對象ID、數(shù)據(jù)在文件內(nèi)的偏移和長度以及訪問時間戳等信息,并用來定位區(qū)間內(nèi)緩存的數(shù)據(jù)的地址。緩存項中設定對象區(qū)間的活躍度計數(shù)。訪問一個小文件對象時,如果發(fā)現(xiàn)該對象不在緩存則創(chuàng)建緩存項,并設定窗口實施預取。緩存項以對象ID 為索引進行檢索,采用常用的LRU 緩存管理算法。在申請新頁面不成功時,則按活躍度淘汰一個最不活躍的對象區(qū)間。ECache限制總的內(nèi)存頁面使用量,避免造成內(nèi)存耗盡影響其他存儲服務的運行。

    5 測試與性能分析

    5.1 ECache性能測試

    測試使用了湖南超算中心Tianhe-1A 系統(tǒng)的16個存儲節(jié)點,存儲節(jié)點配置兩個Intel Xeon雙核處理器,48GB 內(nèi)存,存儲設備采用DDN SFA 10K-M 磁盤陣列,共計60個磁盤??蛻舳撕头掌髦g使用了天河高速互連,Lustre版本為1.8.1.1。本文測試了常見的數(shù)據(jù)集合管理操作(解包和打包)和并行化數(shù)據(jù)搜索來評估ECache的緩存命中率和實際性能。測試目錄樹中包含2 000個文件,90%的文件小于64KB。

    解包和打包測試主要評估不同大小的文件被服務端緩存和預取后對小文件讀寫性能的影響。測試過程中先解包,使文件按所設閾值流入緩存,然后進行打包操作讀取目錄樹下的全部文件。測試中加入大文件讀寫干擾情景:即解包所有文件后,反復讀寫多個大小在512KB~1GB的文件,讀寫數(shù)據(jù)總量大于緩存總?cè)萘?,同時進行打包測試。測試中ECache總?cè)萘吭O為256MB,能夠緩存所有小文件數(shù)據(jù)。為了測試不同的小文件閾值條件下本方法的有效性,測試選取了六個不同的小文件閾值,分別為0KB、4KB、16KB、64KB、256KB 和1 024KB。其中,0KB表示不采用小文件專用緩存。測試結(jié)果如圖4a所示。

    多任務并行數(shù)據(jù)搜索測試在整個數(shù)據(jù)集中搜索字符串,所有文件長度小于16KB,緩存閾值設為16KB,并發(fā)多任務間均勻劃分并分配需讀入的數(shù)據(jù)文件集合,每個任務處理多個文件,按文件創(chuàng)建的次序遍歷讀取數(shù)據(jù)。測試中單個任務內(nèi)部按對象ID 遞增次序逐個訪問文件,但多任務間并發(fā)使得整個數(shù)據(jù)集呈現(xiàn)隨機訪問特征。測試中對比了不同任務規(guī)模條件下,無預取和不同ECache預取窗口的性能差異。測試結(jié)果見圖4b,其中預取1和預取2分別表示不同的ECache預取窗口大小,“ECache預取1”的預取窗口大于“ECache預取2”的預取窗口。

    5.2 結(jié)果分析

    打包測試的模式主要測試小文件讀性能。隨著小文件閾值的增加,ECache的過濾設計使得更多的小文件被留在緩存,命中率逐漸上升,打包操作的性能也逐漸提升。當閾值為256KB 時,98%的文件會駐留在緩存,ECache命中率達93%。和不采用ECache相比,打包操作性能提升88%。當閾值進一步增大時,較大文件開始進入緩存,由于緩存大小的限制,部分小文件被置換出緩存,逐漸影響優(yōu)化效果。當閾值設定為1 024KB 時,緩存命中率下降為80%。因此,合理的閾值條件下,小文件過濾機制能夠有效屏蔽大文件讀寫的干擾,提升服務端緩存對小文件的優(yōu)化作用,對優(yōu)化頻繁讀取的小文件是非常有效的。為了測試ECache的最佳效果,測試中的緩存容量設置和測試數(shù)據(jù)集大小相匹配,實際應用中增大緩存容量,則有利于優(yōu)化更大規(guī)模的小文件數(shù)據(jù)集處理。

    并發(fā)文件搜索測試中,ECache的預取機制使得后續(xù)要訪問的文件被讀入緩存。因此,當搜索任務數(shù)增加時,整個搜索的執(zhí)行時間并沒有出現(xiàn)大幅增長。在“Ecache預取1”條件下,任務數(shù)由1增加到2 048,搜索時間最大為19 724μs,最小為5 319μs。在“ECache預取2”條件下,當任務數(shù)增加到2 048時,搜索時間增加到50 388μs。在不采用預取時,2 048個任務的搜索時間為255 568μs。上述結(jié)果充分驗證了專用Cache機制的有效性。

    6 相關研究

    優(yōu)化元數(shù)據(jù)訪問會對小文件性能產(chǎn)生影響,例如,分布式元數(shù)據(jù)技術[7]通過增加元數(shù)據(jù)服務器的方法提高元數(shù)據(jù)訪問的吞吐率,但無法降低小文件訪問過程中的元數(shù)據(jù)訪問延遲。將小文件的數(shù)據(jù)和元數(shù)據(jù)都存放在元數(shù)據(jù)服務器可以減少一次網(wǎng)絡操作次數(shù),但這種方法加重了元數(shù)據(jù)服務器的負載,不適合規(guī)模較大的并行計算系統(tǒng)。文獻[3]研究了在對象架構下如何利用命名空間的局部性原理預取元數(shù)據(jù),以降低訪問元數(shù)據(jù)所引發(fā)的交互次數(shù),其主要針對元數(shù)據(jù)的訪問進行優(yōu)化,但沒有涉及到“訪問對象數(shù)據(jù)”過程中小粒度磁盤訪問所引發(fā)的延遲問題。使用延遲較小的網(wǎng)絡可以提高小文件訪問延遲,例如使用Infiniband構建并行文件系統(tǒng)[8]。

    采用內(nèi)存或速度更快的存儲介質(zhì),如固態(tài)盤SSD[9]做緩存,可有效降低小文件的訪問延遲。緩存技術使用客戶端內(nèi)存降低元數(shù)據(jù)的訪問延遲,是優(yōu)化文件系統(tǒng)小文件訪問延遲的一個有效途徑。文獻[5]研究了客戶端緩存協(xié)作技術,該技術提高了緩存的利用率,但帶來了緩存管理的復雜性。本文僅針對小文件訪問延遲,以服務端過濾的思想提高緩存利用率,更適合實際應用。文獻[10]基于文件系統(tǒng)歷史信息挖掘元數(shù)據(jù)“親和性”,并指導元數(shù)據(jù)預取,提高預取準確性,但該方法需要統(tǒng)計文件系統(tǒng)運行的歷史信息。本文研究文件和對象ID 之間的潛在關聯(lián)性,利用這種關聯(lián)性所產(chǎn)生的“文件親和性”預取文件對象數(shù)據(jù)。

    7 結(jié)束語

    本文研究了對象存儲并行文件系統(tǒng)的小文件性能問題?;诓⑿形募到y(tǒng)中小文件的訪問開銷分析,本文提出了服務端小文件過濾思想,設計了小文件獨占服務端緩存策略,以及基于對象ID關聯(lián)性的預取技術,并基于Lustre文件系統(tǒng)進行了實現(xiàn)和驗證。實驗結(jié)果表明,小文件獨占服務端緩存可排除大文件訪問的干擾,有效提高小文件的緩存使用效率,優(yōu)化小文件訪問性能。對于打包操作,小文件訪問性能提高可達88%,內(nèi)容搜索操作也可獲得75%的性能提高。本文研究的小文件緩存技術保留了現(xiàn)有對象存儲的架構優(yōu)勢,可彌補其小文件讀性能的不足。未來將進一步研究對象存儲架構下小文件對象ID 的訪問局部性指導預取,提高緩存命中率,降低預取代價。本文所提出的方法也適合在對象存儲架構下,以固態(tài)盤做小文件緩存,實現(xiàn)混合存儲。

    [1]Object storage architecture.Panasas white paper[EB/OL].[2009-01-01].http:∥www.panasas.com.

    [2]Lustre file system [EB/OL].[2005-08-07].http:∥www.lustre.org.

    [3]Cho H,Kim S,Lee S.Analysis of long-term file system activities on cluster systems[J].World Academy of Science Engineering and Technology,2009,60(1):159-164.

    [4]Hendricks J,Sambasivan R R,Sinnamohideen S,et al.Improving small file performance in object-based storage[R].CMU-PDL-06-104,Pittsburgh:Carnegie Mellon University,2006.

    [5]Dahlin M D,Wang R Y,Anderson T E,et al.Cooperative caching:Using remote client memory to improve file system performance[C]∥Proc of the 1st Symposium on Operating Systems Design and Implementation,1994:1.

    [6]Lu kai,Jin Shi-yao,Lu Xi-cheng.Properly greedy cache prefetch integrated algorithm in the parallel file system[J].Chinese Journal of Computers,1999,2.(11):1172-1177.(in Chinese)

    [7]Patil S V,Gibson G,Lang S,et al.Giga+:Scalable directories for shared file systems[C]∥Proc of the 2nd International Workshop on Petascale Data Storage,2007:26-29.

    [8]Dong Yong,Zhou En-qiang,Chen Juan.Infiniband-based highperformance distributed file system-Lustre[J].Computer Engineering and Applications,2005,41(22):103-107.(in Chinese)

    [9]Polte M,Simsa J,Gibson G.Comparing performance of solid state devices and mechanical disks[C]∥Proc of the 3rd Petascale Data Storage Workshop,2008:1-7.

    [10]Lin Lin,Li Xue-min,Jiang Hong,et al.AMP:An affinitybased metadata prefetching scheme in large-scale distributed storage systems[C]∥Proc of Cluster of Computing and the Grid,2008:459-466.

    附中文參考文獻:

    [6]盧凱,金士堯,盧錫城.并行文件系統(tǒng)中適度貪婪的cache預取一體化算法[J].計算機學報,1999,2.(11):1172-1177.

    [8]董勇,周恩強,陳娟.基于Infiniband技術構建高性能分布式文件系統(tǒng)-Lustre[J].計算機工程與應用,2005,41(22):103-107.

    猜你喜歡
    服務端磁盤命中率
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    夜夜“奮戰(zhàn)”會提高“命中率”嗎
    2015男籃亞錦賽四強隊三分球進攻特點的比較研究
    長江叢刊(2018年31期)2018-12-05 06:34:20
    修改磁盤屬性
    云存儲中基于相似性的客戶-服務端雙端數(shù)據(jù)去重方法
    新時期《移動Web服務端開發(fā)》課程教學改革的研究
    消費導刊(2018年8期)2018-05-25 13:19:48
    在Windows Server 2008上創(chuàng)建應用
    投籃的力量休斯敦火箭
    NBA特刊(2017年8期)2017-06-05 15:00:13
    磁盤組群組及iSCSI Target設置
    創(chuàng)建VSAN群集
    亚洲精品一卡2卡三卡4卡5卡| 女同久久另类99精品国产91| 欧美+亚洲+日韩+国产| 午夜福利一区二区在线看| 欧美日韩乱码在线| 国产精品亚洲av一区麻豆| 亚洲在线自拍视频| 黄色成人免费大全| 丰满的人妻完整版| 夜夜爽天天搞| 多毛熟女@视频| 国产熟女xx| 欧美+亚洲+日韩+国产| 欧美日本中文国产一区发布| 在线观看日韩欧美| 一级毛片精品| 精品国产亚洲在线| 老汉色av国产亚洲站长工具| 欧美成狂野欧美在线观看| 国内久久婷婷六月综合欲色啪| 国产精品乱码一区二三区的特点 | 少妇的丰满在线观看| 亚洲欧美日韩高清在线视频| 成人特级黄色片久久久久久久| 亚洲片人在线观看| 男女下面插进去视频免费观看| 人人妻人人澡人人看| 免费观看精品视频网站| 欧美亚洲日本最大视频资源| 欧美激情极品国产一区二区三区| 欧美色视频一区免费| 精品第一国产精品| 欧美亚洲日本最大视频资源| 久久精品人人爽人人爽视色| x7x7x7水蜜桃| 欧美性长视频在线观看| 国产不卡一卡二| 狠狠狠狠99中文字幕| 桃色一区二区三区在线观看| 亚洲va日本ⅴa欧美va伊人久久| 午夜免费成人在线视频| 免费观看人在逋| 久99久视频精品免费| 看免费av毛片| 波多野结衣高清无吗| 国产精品九九99| 后天国语完整版免费观看| 国产aⅴ精品一区二区三区波| 一本大道久久a久久精品| 村上凉子中文字幕在线| 亚洲性夜色夜夜综合| 人人妻人人澡人人看| 精品卡一卡二卡四卡免费| 黑人巨大精品欧美一区二区mp4| 男人舔女人下体高潮全视频| 这个男人来自地球电影免费观看| 高潮久久久久久久久久久不卡| 精品国产超薄肉色丝袜足j| 国产精品,欧美在线| www.www免费av| 国产人伦9x9x在线观看| 不卡一级毛片| 国产一区二区激情短视频| 99香蕉大伊视频| 国产精品电影一区二区三区| 欧美+亚洲+日韩+国产| 淫秽高清视频在线观看| 亚洲成国产人片在线观看| 无限看片的www在线观看| 免费看a级黄色片| 免费看美女性在线毛片视频| 欧美另类亚洲清纯唯美| 亚洲熟女毛片儿| 日韩欧美三级三区| 日本一区二区免费在线视频| 国产亚洲精品一区二区www| 亚洲少妇的诱惑av| 亚洲久久久国产精品| 高清黄色对白视频在线免费看| 欧美成人性av电影在线观看| 成人永久免费在线观看视频| 午夜福利高清视频| 婷婷六月久久综合丁香| 久久久精品欧美日韩精品| 高清毛片免费观看视频网站| 亚洲免费av在线视频| 我的亚洲天堂| 国产精品亚洲美女久久久| 精品电影一区二区在线| 午夜福利,免费看| АⅤ资源中文在线天堂| 日韩欧美免费精品| 国产成人精品无人区| 久久天躁狠狠躁夜夜2o2o| 最近最新免费中文字幕在线| a级毛片在线看网站| 午夜福利视频1000在线观看 | 免费在线观看视频国产中文字幕亚洲| 欧美精品啪啪一区二区三区| 亚洲三区欧美一区| 自线自在国产av| 午夜福利18| 亚洲激情在线av| 午夜福利免费观看在线| 色播亚洲综合网| 精品国产一区二区久久| 亚洲男人的天堂狠狠| 91九色精品人成在线观看| 又黄又爽又免费观看的视频| 99国产精品一区二区蜜桃av| 亚洲欧美激情综合另类| 成人18禁在线播放| 久久精品亚洲精品国产色婷小说| 亚洲成人久久性| 国产91精品成人一区二区三区| 51午夜福利影视在线观看| 香蕉国产在线看| 一进一出抽搐动态| 丁香六月欧美| 日韩精品免费视频一区二区三区| 精品欧美国产一区二区三| 亚洲精品av麻豆狂野| 精品人妻1区二区| 国产亚洲精品久久久久5区| 欧美一级毛片孕妇| 每晚都被弄得嗷嗷叫到高潮| 国产成人精品在线电影| 久久久国产成人精品二区| 美女国产高潮福利片在线看| 欧美日本中文国产一区发布| 欧美黄色淫秽网站| 女同久久另类99精品国产91| 国产精品精品国产色婷婷| 老司机午夜福利在线观看视频| 老熟妇乱子伦视频在线观看| 国产一区二区在线av高清观看| 国产欧美日韩综合在线一区二区| 777久久人妻少妇嫩草av网站| 午夜福利,免费看| 在线观看日韩欧美| 国产免费男女视频| 深夜精品福利| 两人在一起打扑克的视频| 岛国在线观看网站| 国产黄a三级三级三级人| 午夜老司机福利片| 亚洲精品一卡2卡三卡4卡5卡| 亚洲久久久国产精品| 精品一区二区三区四区五区乱码| 亚洲av片天天在线观看| 精品人妻在线不人妻| 好男人在线观看高清免费视频 | av免费在线观看网站| www.999成人在线观看| 无人区码免费观看不卡| 国产精品98久久久久久宅男小说| 久久久久久久午夜电影| 亚洲精品国产一区二区精华液| 午夜两性在线视频| 亚洲人成77777在线视频| 成人亚洲精品av一区二区| 黑人巨大精品欧美一区二区mp4| АⅤ资源中文在线天堂| 熟女少妇亚洲综合色aaa.| 国产一级毛片七仙女欲春2 | 亚洲av电影不卡..在线观看| 亚洲成人久久性| 欧美激情高清一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 亚洲国产看品久久| 国产极品粉嫩免费观看在线| 午夜激情av网站| 亚洲av成人av| 色av中文字幕| 少妇粗大呻吟视频| av网站免费在线观看视频| 久久人人爽av亚洲精品天堂| 97碰自拍视频| 18禁裸乳无遮挡免费网站照片 | 激情在线观看视频在线高清| 琪琪午夜伦伦电影理论片6080| 国产成人欧美在线观看| 亚洲国产欧美日韩在线播放| a级毛片在线看网站| 中文字幕av电影在线播放| 精品国产一区二区三区四区第35| 日本一区二区免费在线视频| 亚洲欧美激情在线| or卡值多少钱| 91大片在线观看| 自线自在国产av| 久久久久久久久久久久大奶| 国产亚洲精品一区二区www| 国产欧美日韩一区二区三| 女警被强在线播放| 一二三四在线观看免费中文在| 日韩三级视频一区二区三区| 国产精品永久免费网站| 村上凉子中文字幕在线| 69精品国产乱码久久久| 一级a爱视频在线免费观看| 欧美日本中文国产一区发布| 国产片内射在线| 神马国产精品三级电影在线观看 | 亚洲七黄色美女视频| 精品一区二区三区av网在线观看| 在线视频色国产色| 中文字幕人妻熟女乱码| 亚洲欧美激情在线| 亚洲黑人精品在线| 久久精品国产综合久久久| 他把我摸到了高潮在线观看| 中文字幕色久视频| 每晚都被弄得嗷嗷叫到高潮| 日韩大码丰满熟妇| www日本在线高清视频| 天堂√8在线中文| 成熟少妇高潮喷水视频| 久久欧美精品欧美久久欧美| 欧美成狂野欧美在线观看| av天堂久久9| 久久久久久人人人人人| 国产精品久久视频播放| 少妇熟女aⅴ在线视频| 国产精品一区二区三区四区久久 | 午夜精品在线福利| 高潮久久久久久久久久久不卡| 女同久久另类99精品国产91| 亚洲国产精品999在线| 亚洲精品美女久久av网站| 99精品久久久久人妻精品| 欧美国产日韩亚洲一区| 99精品在免费线老司机午夜| 亚洲国产精品合色在线| 国产精品综合久久久久久久免费 | 欧美久久黑人一区二区| 久久久久国产精品人妻aⅴ院| 91字幕亚洲| 精品国产乱码久久久久久男人| www国产在线视频色| 午夜日韩欧美国产| 91字幕亚洲| 亚洲狠狠婷婷综合久久图片| 国产成人影院久久av| 国产精品 欧美亚洲| 亚洲一区中文字幕在线| www.自偷自拍.com| 国产三级黄色录像| 欧美人与性动交α欧美精品济南到| 亚洲欧洲精品一区二区精品久久久| 免费在线观看视频国产中文字幕亚洲| 在线视频色国产色| 久久中文字幕人妻熟女| 精品一区二区三区四区五区乱码| 久久人妻av系列| 成人特级黄色片久久久久久久| 午夜免费观看网址| 日韩大码丰满熟妇| 欧美最黄视频在线播放免费| 老熟妇仑乱视频hdxx| 亚洲成人国产一区在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 成人永久免费在线观看视频| 啦啦啦免费观看视频1| 最近最新免费中文字幕在线| 脱女人内裤的视频| 99国产极品粉嫩在线观看| 久久香蕉国产精品| 国产成人av教育| 好看av亚洲va欧美ⅴa在| 一区二区日韩欧美中文字幕| 欧美日韩一级在线毛片| 国内精品久久久久精免费| 国产亚洲av高清不卡| 国产av一区二区精品久久| 中亚洲国语对白在线视频| 亚洲国产中文字幕在线视频| 一二三四在线观看免费中文在| 啦啦啦免费观看视频1| 母亲3免费完整高清在线观看| 久久精品国产99精品国产亚洲性色 | 亚洲成人国产一区在线观看| 久久香蕉激情| 不卡av一区二区三区| 午夜福利一区二区在线看| 国产欧美日韩一区二区精品| 欧美绝顶高潮抽搐喷水| 午夜影院日韩av| 亚洲av第一区精品v没综合| 久久影院123| 午夜福利高清视频| 夜夜爽天天搞| 人妻丰满熟妇av一区二区三区| 18禁观看日本| 久久精品国产亚洲av高清一级| 黑人欧美特级aaaaaa片| 999久久久国产精品视频| 人成视频在线观看免费观看| 9色porny在线观看| 日本五十路高清| 51午夜福利影视在线观看| 两个人看的免费小视频| 亚洲 国产 在线| 国产成人精品久久二区二区91| 亚洲在线自拍视频| 日本黄色视频三级网站网址| 国产私拍福利视频在线观看| 这个男人来自地球电影免费观看| 国产av一区在线观看免费| 成人永久免费在线观看视频| 国产成人系列免费观看| 亚洲av日韩精品久久久久久密| 欧美人与性动交α欧美精品济南到| 欧美国产日韩亚洲一区| 9热在线视频观看99| 波多野结衣高清无吗| 亚洲九九香蕉| 国产欧美日韩综合在线一区二区| 黄色a级毛片大全视频| 亚洲人成网站在线播放欧美日韩| 在线永久观看黄色视频| 国产亚洲精品久久久久5区| 午夜福利成人在线免费观看| 亚洲一区二区三区不卡视频| 日韩精品青青久久久久久| 十八禁网站免费在线| 欧美成狂野欧美在线观看| av天堂久久9| 国语自产精品视频在线第100页| 国产三级在线视频| av在线天堂中文字幕| 国产亚洲欧美98| 日日爽夜夜爽网站| 夜夜看夜夜爽夜夜摸| 国产蜜桃级精品一区二区三区| 亚洲性夜色夜夜综合| 久久久久久亚洲精品国产蜜桃av| 亚洲va日本ⅴa欧美va伊人久久| 丁香欧美五月| 色精品久久人妻99蜜桃| 国产精品永久免费网站| 国产精品综合久久久久久久免费 | 嫁个100分男人电影在线观看| 人人澡人人妻人| 国产99白浆流出| 99国产综合亚洲精品| 亚洲国产中文字幕在线视频| 亚洲中文字幕一区二区三区有码在线看 | 国产私拍福利视频在线观看| 99香蕉大伊视频| 日韩精品中文字幕看吧| 欧美激情 高清一区二区三区| 亚洲人成伊人成综合网2020| 国产精品亚洲一级av第二区| 成人免费观看视频高清| 欧美成人免费av一区二区三区| 欧美日韩黄片免| 亚洲人成电影观看| 国产精品98久久久久久宅男小说| 黄色视频,在线免费观看| 制服人妻中文乱码| 久久国产乱子伦精品免费另类| 午夜精品久久久久久毛片777| 国产乱人伦免费视频| 国产一区二区三区在线臀色熟女| 啦啦啦观看免费观看视频高清 | 亚洲午夜理论影院| 欧美日韩乱码在线| 亚洲午夜精品一区,二区,三区| 男女下面插进去视频免费观看| 欧美激情久久久久久爽电影 | 国产亚洲精品久久久久久毛片| 亚洲精华国产精华精| 一级a爱视频在线免费观看| 国产精品久久视频播放| 日本黄色视频三级网站网址| 欧美人与性动交α欧美精品济南到| 欧美日韩黄片免| 欧美色视频一区免费| 每晚都被弄得嗷嗷叫到高潮| 久99久视频精品免费| 18禁观看日本| 女人精品久久久久毛片| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲avbb在线观看| 国产一卡二卡三卡精品| 亚洲情色 制服丝袜| 欧美老熟妇乱子伦牲交| 亚洲 欧美一区二区三区| 99热只有精品国产| 成人欧美大片| 亚洲av日韩精品久久久久久密| 一级毛片高清免费大全| 香蕉丝袜av| 超碰成人久久| 人成视频在线观看免费观看| 国产视频一区二区在线看| 禁无遮挡网站| 18禁观看日本| 首页视频小说图片口味搜索| av欧美777| 在线播放国产精品三级| 亚洲成av片中文字幕在线观看| 高潮久久久久久久久久久不卡| 在线天堂中文资源库| 亚洲中文日韩欧美视频| 男女之事视频高清在线观看| av免费在线观看网站| 高清毛片免费观看视频网站| 一区二区三区高清视频在线| 美女 人体艺术 gogo| 亚洲av成人不卡在线观看播放网| 国产精品亚洲av一区麻豆| 国产一区在线观看成人免费| 日韩欧美国产在线观看| 中文字幕人妻丝袜一区二区| 91精品国产国语对白视频| 90打野战视频偷拍视频| 一本大道久久a久久精品| 国产成人精品无人区| 嫩草影视91久久| 亚洲人成电影免费在线| 999久久久国产精品视频| aaaaa片日本免费| 亚洲美女黄片视频| 多毛熟女@视频| 亚洲第一青青草原| 日日摸夜夜添夜夜添小说| 午夜福利免费观看在线| 欧美精品啪啪一区二区三区| 日韩高清综合在线| 女人被躁到高潮嗷嗷叫费观| 久99久视频精品免费| 亚洲精品一区av在线观看| 国产私拍福利视频在线观看| 亚洲精品国产色婷婷电影| 黄片小视频在线播放| 日日夜夜操网爽| 露出奶头的视频| 不卡av一区二区三区| 亚洲精华国产精华精| 在线观看www视频免费| 99香蕉大伊视频| 精品人妻1区二区| 老司机福利观看| 国产欧美日韩一区二区三| 高潮久久久久久久久久久不卡| 久久精品人人爽人人爽视色| 女性被躁到高潮视频| 亚洲精品久久国产高清桃花| 纯流量卡能插随身wifi吗| 国产区一区二久久| av视频免费观看在线观看| 黄色a级毛片大全视频| 91成年电影在线观看| 一本综合久久免费| 免费看十八禁软件| 亚洲全国av大片| 国产成人欧美在线观看| 色综合亚洲欧美另类图片| 怎么达到女性高潮| 久久中文字幕人妻熟女| 亚洲专区国产一区二区| 欧美日韩福利视频一区二区| 亚洲国产毛片av蜜桃av| 制服人妻中文乱码| 一个人免费在线观看的高清视频| 欧美性长视频在线观看| 禁无遮挡网站| 国产男靠女视频免费网站| 婷婷丁香在线五月| 99热只有精品国产| 咕卡用的链子| 久久精品91无色码中文字幕| 欧美亚洲日本最大视频资源| 欧美丝袜亚洲另类 | 国产99久久九九免费精品| 99国产综合亚洲精品| 欧美精品亚洲一区二区| 99精品久久久久人妻精品| 无遮挡黄片免费观看| 国产成人啪精品午夜网站| 国产精品一区二区三区四区久久 | 国产精品1区2区在线观看.| 一区在线观看完整版| 村上凉子中文字幕在线| 午夜久久久久精精品| 国产一区二区激情短视频| 国产精品乱码一区二三区的特点 | 精品人妻1区二区| 午夜久久久在线观看| 亚洲av成人av| 欧美性长视频在线观看| 成年人黄色毛片网站| 免费看a级黄色片| 丰满人妻熟妇乱又伦精品不卡| 亚洲精品美女久久av网站| 又黄又粗又硬又大视频| 久久久久九九精品影院| 97碰自拍视频| 成人18禁在线播放| 久久久国产精品麻豆| 老熟妇乱子伦视频在线观看| 久久香蕉激情| 午夜福利欧美成人| 欧美最黄视频在线播放免费| 久久精品国产亚洲av高清一级| 精品国产亚洲在线| 女人被狂操c到高潮| 国产欧美日韩一区二区三| 热re99久久国产66热| av网站免费在线观看视频| 悠悠久久av| 大码成人一级视频| 亚洲av成人av| 色婷婷久久久亚洲欧美| 国产熟女午夜一区二区三区| 中文字幕人成人乱码亚洲影| 脱女人内裤的视频| 亚洲av熟女| 精品国产超薄肉色丝袜足j| 女人精品久久久久毛片| 欧美激情 高清一区二区三区| 欧美日本视频| 桃红色精品国产亚洲av| 午夜福利18| 欧美久久黑人一区二区| 国产亚洲精品久久久久5区| 成人特级黄色片久久久久久久| 99久久精品国产亚洲精品| 少妇被粗大的猛进出69影院| 精品久久久久久久人妻蜜臀av | 中文字幕精品免费在线观看视频| 国产精华一区二区三区| 亚洲欧美日韩无卡精品| 午夜免费鲁丝| 狠狠狠狠99中文字幕| 老司机靠b影院| 自拍欧美九色日韩亚洲蝌蚪91| 美女高潮喷水抽搐中文字幕| av电影中文网址| 一边摸一边抽搐一进一小说| 人人妻,人人澡人人爽秒播| 在线播放国产精品三级| 黑丝袜美女国产一区| 国产亚洲精品久久久久久毛片| 99久久精品国产亚洲精品| 久久中文看片网| 久久精品亚洲精品国产色婷小说| 亚洲成av人片免费观看| 啦啦啦免费观看视频1| 99精品在免费线老司机午夜| 啪啪无遮挡十八禁网站| 97碰自拍视频| 久久午夜综合久久蜜桃| 日韩欧美免费精品| 丝袜在线中文字幕| 精品日产1卡2卡| 国产精品九九99| 一级a爱视频在线免费观看| 老司机午夜十八禁免费视频| 国产精品免费一区二区三区在线| 国产激情欧美一区二区| 黄色视频,在线免费观看| 天天一区二区日本电影三级 | 亚洲熟妇熟女久久| 精品国产乱子伦一区二区三区| 国产一区二区激情短视频| 久久精品亚洲精品国产色婷小说| 国产成人精品久久二区二区91| 欧美精品亚洲一区二区| 色精品久久人妻99蜜桃| 亚洲一区二区三区色噜噜| 黄色片一级片一级黄色片| 欧美在线黄色| 最近最新中文字幕大全电影3 | 黄片小视频在线播放| 免费在线观看日本一区| 天堂√8在线中文| 午夜日韩欧美国产| 黄色视频,在线免费观看| 欧美不卡视频在线免费观看 | 波多野结衣一区麻豆| 国产又色又爽无遮挡免费看| 99国产精品99久久久久| 亚洲人成电影观看| 国产又爽黄色视频| 麻豆一二三区av精品| 1024视频免费在线观看| 久久国产乱子伦精品免费另类| 久久青草综合色| 一级,二级,三级黄色视频| 村上凉子中文字幕在线| 欧美最黄视频在线播放免费| 久久天躁狠狠躁夜夜2o2o| 久久人人精品亚洲av| 50天的宝宝边吃奶边哭怎么回事| 国产精品久久久久久人妻精品电影| 国产精品久久久久久亚洲av鲁大| 欧美久久黑人一区二区| 亚洲aⅴ乱码一区二区在线播放 | 老汉色∧v一级毛片| 成人亚洲精品av一区二区| 久久久久久大精品| 999久久久精品免费观看国产| 亚洲精品国产一区二区精华液| 亚洲狠狠婷婷综合久久图片| 亚洲精品中文字幕在线视频| 多毛熟女@视频| 欧美日韩乱码在线| 亚洲专区中文字幕在线| 久久午夜综合久久蜜桃| 亚洲av熟女| av中文乱码字幕在线| 夜夜躁狠狠躁天天躁|