基于工作負(fù)載感知的固態(tài)硬盤陣列系統(tǒng)的架構(gòu)設(shè)計(jì)與研究

張 強(qiáng) 梁 杰 許胤龍,2 李永坤,2

1(中國科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 合肥 230026)2 (安徽省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室(中國科學(xué)技術(shù)大學(xué)) 合肥 230026)

大數(shù)據(jù)時(shí)代，應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)分析，基于固態(tài)硬盤的容錯(cuò)陣列系統(tǒng)能夠很好地解決海量數(shù)據(jù)的可靠存儲(chǔ)和高效訪問的困難.原因有2方面：1)容錯(cuò)陣列系統(tǒng)既能通過多盤I/O提供數(shù)據(jù)的高并發(fā)性，又能通過存儲(chǔ)冗余信息保障數(shù)據(jù)的可靠性；2)固態(tài)硬盤相比機(jī)械硬盤，因其具有更高訪問性能、更低能耗和更強(qiáng)抗震性等特點(diǎn)，進(jìn)一步提升容錯(cuò)陣列系統(tǒng)的性能.

多塊固態(tài)硬盤組成的容錯(cuò)陣列系統(tǒng)，往往按照輪轉(zhuǎn)(round-robin)的順序，并行地在各個(gè)固態(tài)硬盤上讀寫數(shù)據(jù)(即每塊盤的地位相同).由于數(shù)據(jù)本身具有時(shí)間局部性及空間局部性的特點(diǎn)，易造成局部盤成為熱點(diǎn)盤，進(jìn)而會(huì)造成整個(gè)固態(tài)硬盤陣列的性能出現(xiàn)瓶頸(極端情況下會(huì)出現(xiàn)單盤熱點(diǎn))，又由于固態(tài)盤有壽命限制，對(duì)某些盤的過多寫易造成固態(tài)盤故障等問題，也會(huì)對(duì)整個(gè)陣列可靠性造成影響.本文在由8個(gè)固態(tài)硬盤(solid state drive， SSD)構(gòu)成的RAID -0(redundant array of independent disks 0)陣列系統(tǒng)中測(cè)試不同企業(yè)級(jí)工作負(fù)載，均發(fā)現(xiàn)熱點(diǎn)盤的現(xiàn)象.

如何保證陣列系統(tǒng)級(jí)的負(fù)載和磨損均衡以及如何區(qū)分各個(gè)固態(tài)硬盤在陣列中的角色，設(shè)計(jì)合理的固態(tài)硬盤陣列系統(tǒng)架構(gòu)，對(duì)提升固態(tài)硬盤陣列系統(tǒng)整體性能及可靠性都有很重要的意義.

本文的主要貢獻(xiàn)有2個(gè)方面：

1) 利用工作負(fù)載感知特性，在RAID -0陣列中設(shè)計(jì)了一種基于冷熱數(shù)據(jù)分離存儲(chǔ)的固態(tài)硬盤陣列系統(tǒng)架構(gòu)HA-RAID(hotness aware RAID)，并結(jié)合滑動(dòng)窗口技術(shù)進(jìn)行性能優(yōu)化.實(shí)驗(yàn)結(jié)果表明，HA-RAID可將熱數(shù)據(jù)相對(duì)均勻地存儲(chǔ)到各個(gè)盤上，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載和磨損均衡，從而將陣列中熱點(diǎn)盤出現(xiàn)的比例降低到幾乎為0.

2) 在真實(shí)的企業(yè)級(jí)工作負(fù)載下，相比傳統(tǒng)RAID -0，HA-RAID可減少12.01%～41.06%的平均響應(yīng)時(shí)間，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的I/O性能提升.

1 相關(guān)研究工作

近年來，國內(nèi)外開展了大量針對(duì)固態(tài)硬盤的相關(guān)研究.其中，許多工作關(guān)注固態(tài)硬盤本身的內(nèi)部結(jié)構(gòu)，進(jìn)而分析并設(shè)計(jì)高效的垃圾回收機(jī)制，以提升固態(tài)硬盤的讀寫性能、延長使用壽命；另外，還有不少工作關(guān)注多塊固態(tài)硬盤構(gòu)成的存儲(chǔ)陣列系統(tǒng)，利用數(shù)據(jù)冗余提髙數(shù)據(jù)的可靠性、延長固態(tài)硬盤陣列系統(tǒng)壽命并提升陣列系統(tǒng)性能，這些工作可以分別被概括為2方面：

1) 對(duì)于單個(gè)固態(tài)硬盤的研究.關(guān)注固態(tài)硬盤的內(nèi)部結(jié)構(gòu)，如文獻(xiàn)[1]探索了固態(tài)硬盤的內(nèi)部組成以及并行化等，同時(shí)實(shí)現(xiàn)相應(yīng)的固態(tài)硬盤模擬器.關(guān)注固態(tài)硬盤邏輯地址到物理地址的映射方式，如文獻(xiàn)[2-3]通過探索在不同的應(yīng)用場(chǎng)景采用不同的地址映射方式來優(yōu)化固態(tài)硬盤的性能.此外，還有關(guān)注固態(tài)硬盤的垃圾回收過程，如文獻(xiàn)[4]通過建立分析模型探究了不同垃圾回收算法在垃圾回收開銷和擦寫均衡性之間的權(quán)衡關(guān)系，提出了可以根據(jù)需求調(diào)整的d-choice垃圾回收算法；文獻(xiàn)[5-6]通過建立理論模型分析了固態(tài)硬盤垃圾回收開銷與工作負(fù)載之間的關(guān)系，證明了將冷熱數(shù)據(jù)分離存儲(chǔ)在固態(tài)硬盤中能夠大大改善垃圾回收性能；文獻(xiàn)[7-8]提出了不同的熱數(shù)據(jù)識(shí)別方法，以部署到固態(tài)硬盤中改善其讀寫性能、減少其垃圾回收開銷等.

2) 對(duì)于固態(tài)硬盤陣列系統(tǒng)的研究.文獻(xiàn)[9]研究了由多塊固態(tài)硬盤構(gòu)成的陣列系統(tǒng)，通過在多塊固態(tài)硬盤之間引入冗余數(shù)據(jù)，進(jìn)一步提高了系統(tǒng)的可靠性；文獻(xiàn)[10]針對(duì)于固態(tài)硬盤的特點(diǎn)，構(gòu)建了新型的適用于固態(tài)硬盤的文件系統(tǒng)；文獻(xiàn)[11-12]通過構(gòu)建可靠性分析模型對(duì)基于固態(tài)硬盤陣列系統(tǒng)進(jìn)行了可靠性評(píng)估；文獻(xiàn)[13]通過引入彈性條帶機(jī)制解決了傳統(tǒng)磁盤校驗(yàn)塊更新方式不適用于固態(tài)硬盤陣列的問題等.

綜合海量存儲(chǔ)的背景和國內(nèi)外研究現(xiàn)狀可知，將固態(tài)硬盤應(yīng)用于大規(guī)模存儲(chǔ)系統(tǒng)(例如陣列系統(tǒng))已經(jīng)成為了當(dāng)前的趨勢(shì)和熱點(diǎn).盡管已經(jīng)有很多針對(duì)于固態(tài)硬盤及其陣列系統(tǒng)的性能優(yōu)化研究，但是其中仍然存在著很多的不足，特別是從感知工作負(fù)載的角度來優(yōu)化固態(tài)硬盤及其陣列系統(tǒng)的性能方面，仍有著進(jìn)一步的改善空間.如在固態(tài)硬盤中部署冷熱數(shù)據(jù)識(shí)別方法用于冷熱數(shù)據(jù)分離存儲(chǔ)，以減少熱點(diǎn)盤出現(xiàn)的概率，實(shí)現(xiàn)陣列級(jí)負(fù)載和磨損均衡，已有的熱數(shù)據(jù)方法并不能很好地適應(yīng)工作負(fù)載的變化.

2 陣列系統(tǒng)原始架構(gòu)

在Linux內(nèi)核的MD模塊，固態(tài)硬盤陣列系統(tǒng)以條帶的形式對(duì)陣列的存儲(chǔ)空間進(jìn)行統(tǒng)一編址.每個(gè)請(qǐng)求數(shù)據(jù)的邏輯地址根據(jù)陣列系統(tǒng)的編址方式，映射到某塊盤上的固定邏輯地址(固態(tài)盤內(nèi)部閃存轉(zhuǎn)換層會(huì)進(jìn)一步對(duì)該邏輯地址映射為固態(tài)盤上真實(shí)物理地址，該映射方式限定在單個(gè)固態(tài)盤內(nèi)部映射，并不影響數(shù)據(jù)在陣列級(jí)別的分布).由4塊固態(tài)盤組成RAID -0陣列系統(tǒng)如圖1所示.圖1中數(shù)字0…7, 8…15，分別代表扇區(qū)(sector，大小為512 B)0到7以及扇區(qū)8到15；1個(gè)頁(page，大小為4 KB)包含8個(gè)扇區(qū)，如圖1中，page 0包含扇區(qū)0到7；1個(gè)塊(chunk)包含2個(gè)頁，圖1中的扇區(qū)0到15構(gòu)成1個(gè)塊；1個(gè)條帶(stripe)包含4個(gè)塊，條帶大小可表示為

stripe_size=4×chunk_size=4×2 page=
4×2×8 sector=64 sector.

如果請(qǐng)求的數(shù)據(jù)(扇區(qū)編號(hào)為32～39)為熱數(shù)據(jù)，根據(jù)陣列存儲(chǔ)空間的編址方式，計(jì)算得到扇區(qū)編號(hào)為32～39的數(shù)據(jù)存放的物理地址：

stripe_num=32/stripe_size=32/64=0，
chunk_num=32/chunk_size=32/16=2，
dd_idx=chunk_num%disk_num=2%4=2，
chunk_offset=32%chunk_size=32%16=0，
sector_num=stripe_num×chunk_size+
chunk_offset=0×16+0=0.

因此，扇區(qū)編號(hào)為32～39的熱數(shù)據(jù)存放在2號(hào)盤上，并且盤上的起始物理扇區(qū)號(hào)為0.各應(yīng)用系統(tǒng)請(qǐng)求的數(shù)據(jù)具有時(shí)間及空間局部性原理，對(duì)某些數(shù)據(jù)的過多訪問會(huì)造成對(duì)部分盤的過多讀寫，從而導(dǎo)致熱點(diǎn)盤的出現(xiàn).例如，對(duì)扇區(qū)編號(hào)32～39的熱數(shù)據(jù)頻繁訪問，將導(dǎo)致對(duì)2號(hào)盤的過度讀寫，從而使2號(hào)盤變?yōu)闊狳c(diǎn)盤.如果大部分I/O請(qǐng)求集中在2號(hào)盤，則不能充分發(fā)揮RAID陣列高并發(fā)的優(yōu)勢(shì)，進(jìn)而造成整個(gè)陣列系統(tǒng)的I/O性能出現(xiàn)瓶頸.固態(tài)盤有擦寫次數(shù)壽命限制，對(duì)某些盤的過多寫，也會(huì)對(duì)整個(gè)陣列可靠性造成影響.

3 數(shù)據(jù)冷熱區(qū)分算法

為避免第2節(jié)中提到的熱點(diǎn)盤出現(xiàn)的問題，需對(duì)數(shù)據(jù)進(jìn)行冷熱區(qū)分，并對(duì)區(qū)分過的數(shù)據(jù)進(jìn)行分別處理.設(shè)計(jì)冷熱數(shù)據(jù)區(qū)分算法，首先要求其識(shí)別結(jié)果的有效性，否則不能達(dá)到冷熱數(shù)據(jù)分離存儲(chǔ)對(duì)存儲(chǔ)系統(tǒng)性能的優(yōu)化；其次要求算法識(shí)別過程的計(jì)算開銷要盡可能小，以免降低存儲(chǔ)系統(tǒng)的請(qǐng)求處理吞吐量.

先前的研究者們已經(jīng)提出了很多有效的冷熱數(shù)據(jù)區(qū)分算法，其中比較典型的冷熱數(shù)據(jù)區(qū)分算法分別是：基于訪問頻次的算法DAMS[14]、基于緩存替換的算法Two-level LRU list[15]、基于訪問頻次和LRU分組的算法GLRU[16]、基于訪問頻率和最近信息的算法MBF[14-17]、基于采樣技術(shù)的算法HotDataTrap[17-18].

DAMS假定可用的內(nèi)存空間無限大，采用直接地址寫次數(shù)統(tǒng)計(jì)方法，為每個(gè)邏輯塊地址(logical block address， LBA)設(shè)立一個(gè)計(jì)數(shù)器，記錄其寫統(tǒng)計(jì)次數(shù)，圖2為其算法流程.一個(gè)LBA請(qǐng)求頁被識(shí)別為熱數(shù)據(jù)，當(dāng)且僅當(dāng)其寫統(tǒng)計(jì)次數(shù)大于等于預(yù)定義的閾值.

不同的工作負(fù)載一般表現(xiàn)出不同的訪問特征，為了能夠精確地捕獲各種工作負(fù)載的訪問特征，保證冷熱數(shù)據(jù)劃分的合理性，采取以下方法：統(tǒng)計(jì)最近訪問數(shù)據(jù)的修改頻率來動(dòng)態(tài)調(diào)整熱度閾值，并對(duì)每個(gè)邏輯地址的計(jì)數(shù)器值進(jìn)行定期減半的衰退操作以反映工作負(fù)載的動(dòng)態(tài)性.實(shí)驗(yàn)結(jié)果證明該方法能準(zhǔn)確地識(shí)別出熱數(shù)據(jù)，從而很好地實(shí)現(xiàn)了陣列系統(tǒng)的負(fù)載均衡.

考慮到計(jì)算開銷對(duì)存儲(chǔ)系統(tǒng)的請(qǐng)求響應(yīng)時(shí)間的影響，因此本文在設(shè)計(jì)和實(shí)現(xiàn)固態(tài)硬盤陣列系統(tǒng)架構(gòu)時(shí)采用最理想的DAMS作為冷熱數(shù)據(jù)區(qū)分算法，DAMS只需很小的計(jì)算開銷，但需要較大的內(nèi)存開銷來記錄訪問頻次，4.3節(jié)會(huì)進(jìn)一步討論如何對(duì)內(nèi)存開銷進(jìn)行優(yōu)化.

4 基于熱度感知的陣列系統(tǒng)架構(gòu)設(shè)計(jì)研究

本節(jié)我們利用工作負(fù)載感知特性，在RAID -0陣列中設(shè)計(jì)了一種基于冷熱數(shù)據(jù)分離存儲(chǔ)和滑動(dòng)窗口的固態(tài)硬盤陣列系統(tǒng)架構(gòu)，以此來減少熱點(diǎn)盤出現(xiàn)的概率，使陣列系統(tǒng)達(dá)到負(fù)載和磨損均衡.

4.1 架構(gòu)設(shè)計(jì)

利用第3節(jié)介紹的冷熱數(shù)據(jù)識(shí)別方案，我們?cè)O(shè)計(jì)了基于冷熱數(shù)據(jù)分離存儲(chǔ)和滑動(dòng)窗口的HA-RAID陣列系統(tǒng)架構(gòu)，如圖3所示.

基于冷熱數(shù)據(jù)分離存儲(chǔ)和滑動(dòng)窗口的HA-RAID陣列系統(tǒng)架構(gòu)由4個(gè)模塊組成：

1) 冷熱數(shù)據(jù)識(shí)別模塊.用于對(duì)到來的請(qǐng)求數(shù)據(jù)進(jìn)行冷熱識(shí)別，以用于在固態(tài)硬盤陣列系統(tǒng)中進(jìn)行冷熱數(shù)據(jù)的分離存儲(chǔ).該模塊用第3節(jié)介紹的典型的冷熱數(shù)據(jù)區(qū)分算法來實(shí)現(xiàn).

2) 滑動(dòng)窗口模塊.該模塊用來變換各個(gè)盤的角色，使每個(gè)盤都有機(jī)會(huì)成為熱點(diǎn)盤，從而達(dá)到將熱數(shù)據(jù)均勻放置在每個(gè)盤上的目的，實(shí)現(xiàn)陣列水平的磨損均衡.如圖3所示，設(shè)定滑動(dòng)窗口大小為4，初始窗口位置為1～4號(hào)盤.當(dāng)處理一定數(shù)量的連續(xù)請(qǐng)求后(本文設(shè)置的滑動(dòng)閾值是1 000)，窗口以輪轉(zhuǎn)的方式向右滑動(dòng)1個(gè)位置，移出窗口的盤由普通盤變?yōu)闊狳c(diǎn)盤，移入窗口的盤由熱點(diǎn)盤變?yōu)槠胀ūP.對(duì)于識(shí)別為熱的數(shù)據(jù)，將其存儲(chǔ)到熱點(diǎn)盤，普通數(shù)據(jù)存儲(chǔ)到普通盤.

3) 映射表模塊.該模塊用來記錄請(qǐng)求的邏輯地址到陣列中物理地址的映射關(guān)系，由于固態(tài)硬盤讀寫的最小單位為頁(4 KB)，并且本文所用工作負(fù)載全部4 KB對(duì)齊，因此映射表中只需記錄數(shù)據(jù)起始地址除以8后的值即可.本文用數(shù)據(jù)結(jié)構(gòu)(LBA,SSDN,PSN)來實(shí)現(xiàn)該映射表，其中LBA表示請(qǐng)求數(shù)據(jù)塊的起始邏輯地址(起始邏輯扇區(qū)號(hào))除以8后的值，SSDN表示請(qǐng)求數(shù)據(jù)塊在SSD陣列中被存儲(chǔ)的盤號(hào)，PSN表示請(qǐng)求數(shù)據(jù)塊被存儲(chǔ)的起始物理地址(起始物理扇區(qū)號(hào)) 除以8后的值.

4) 編址模塊.不同于原始架構(gòu)以條帶的形式對(duì)陣列進(jìn)行地址空間的編排，我們?cè)O(shè)計(jì)的架構(gòu)中根據(jù)冷熱數(shù)據(jù)識(shí)別結(jié)果對(duì)請(qǐng)求數(shù)據(jù)的邏輯地址在陣列中亂序編址，數(shù)據(jù)在每塊盤上順序存放，當(dāng)有數(shù)據(jù)需要存儲(chǔ)到盤上時(shí)，以順序的方式為其分配物理地址，并更新映射表模塊對(duì)應(yīng)的表項(xiàng).如圖3所示，下半部分的編址空間中，扇區(qū)0…7，存儲(chǔ)于Disk3的2號(hào)物理位置，而右上角處的映射表模塊的表項(xiàng)0，

Fig. 3 HA-RAID architecture based on coldhot data separation and sliding window圖3 基于冷熱數(shù)據(jù)區(qū)分和滑動(dòng)窗口的HA-RAID系統(tǒng)架構(gòu)

Fig. 4 The I/O flow chat of HA-RAID圖4 HA-RAID的I/O處理流程

即page 0(對(duì)應(yīng)扇區(qū)0…7)，記錄SSDN為3號(hào)盤，且PSN=2.

4.2 處理流程

基于冷熱數(shù)據(jù)分離存儲(chǔ)和滑動(dòng)窗口的HA-RAID陣列系統(tǒng)架構(gòu)，對(duì)I/O請(qǐng)求的基本處理流程如圖4所示.首先對(duì)陣列中的滑動(dòng)窗口進(jìn)行初始化(如滑動(dòng)窗口大小、滑動(dòng)窗口初始位置、滑動(dòng)窗口滑動(dòng)周期等)，然后開始處理文件系統(tǒng)層下發(fā)的請(qǐng)求.

對(duì)于文件系統(tǒng)層下發(fā)的請(qǐng)求LBA，首先判斷它是讀請(qǐng)求還是寫請(qǐng)求，如果為讀請(qǐng)求，則根據(jù)維護(hù)的地址映射表得到其物理地址(盤號(hào)和扇區(qū)號(hào))，然后在底層盤上讀取數(shù)據(jù)，完成此次I/O請(qǐng)求；如果為寫請(qǐng)求，則利用冷熱數(shù)據(jù)識(shí)別模塊對(duì)其進(jìn)行冷熱識(shí)別：

1) 如果該請(qǐng)求LBA被識(shí)別為熱數(shù)據(jù)，則將其以輪轉(zhuǎn)的方式存儲(chǔ)到熱點(diǎn)盤中(數(shù)據(jù)在盤中根據(jù)請(qǐng)求先后順序，順序編址并存放)，然后更新地址映射表中對(duì)應(yīng)的物理地址，完成此次I/O請(qǐng)求.

Fig. 5 The hierarchy diagram of Linux kernel block devices for read and write requests圖5 Linux內(nèi)核塊設(shè)備讀寫請(qǐng)求的層次結(jié)構(gòu)圖

2) 如果該請(qǐng)求LBA被識(shí)別為冷數(shù)據(jù)，則將其以輪轉(zhuǎn)的方式存儲(chǔ)到普通盤中(數(shù)據(jù)在盤中根據(jù)請(qǐng)求先后順序，順序編址并存放)，然后更新地址映射表中對(duì)應(yīng)的物理地址，完成此次I/O請(qǐng)求.

最后判斷連續(xù)請(qǐng)求的數(shù)量是否超過滑動(dòng)窗口的滑動(dòng)閾值，如果超過，則將滑動(dòng)窗口向右滑動(dòng)1個(gè)盤的距離，繼續(xù)處理下一個(gè)I/O請(qǐng)求；否則，結(jié)束此次I/O請(qǐng)求并開始處理下一個(gè)I/O請(qǐng)求.

4.3 實(shí)現(xiàn)細(xì)節(jié)

本文在Linux內(nèi)核MD模塊下的RAID -0中用C語言實(shí)現(xiàn)SSD陣列系統(tǒng)架構(gòu)，這里將詳細(xì)介紹SSD陣列系統(tǒng)架構(gòu)實(shí)現(xiàn)過程中的一些實(shí)現(xiàn)細(xì)節(jié)，如Linux內(nèi)核MD模塊的層次結(jié)構(gòu)圖，實(shí)現(xiàn)邏輯地址到物理地址轉(zhuǎn)換的映射表的構(gòu)造與管理，處理請(qǐng)求過程中的數(shù)據(jù)對(duì)齊.

1) MD模塊層次結(jié)構(gòu).Linux內(nèi)核響應(yīng)塊設(shè)備讀寫請(qǐng)求的層次結(jié)構(gòu)，主要由系統(tǒng)調(diào)用層、文件系統(tǒng)層、塊I/O子系統(tǒng)、SCSI(small computer system interface)/SATA(serial advanced technology attach-ment)子系統(tǒng)和底層存儲(chǔ)設(shè)備組成.本文通過修改圖5中塊設(shè)備驅(qū)動(dòng)層的MD驅(qū)動(dòng)下的RAID -0源碼來實(shí)現(xiàn)冷熱數(shù)據(jù)區(qū)分算法和基于冷熱數(shù)據(jù)分離存儲(chǔ)的SSD陣列系統(tǒng)架構(gòu)，以實(shí)現(xiàn)底層設(shè)備陣列中各盤的負(fù)載和磨損均衡.

2) 映射表的構(gòu)造與管理.由于在本文設(shè)計(jì)的系統(tǒng)架構(gòu)中，同一個(gè)寫請(qǐng)求不是固定寫到一塊盤的固定物理地址上，而是每次都寫到不同盤的不同物理地址上，以實(shí)現(xiàn)負(fù)載和磨損均衡.因此需要構(gòu)造與管理一張映射表來實(shí)時(shí)記錄請(qǐng)求數(shù)據(jù)塊的邏輯地址到SSD盤號(hào)和該盤上物理地址的映射關(guān)系.用數(shù)據(jù)結(jié)構(gòu) (LBA,SSDN,PSN) 來實(shí)現(xiàn)該映射表，如圖6所示，其中LBA表示請(qǐng)求數(shù)據(jù)塊的起始邏輯地址(起始邏輯扇區(qū)號(hào)) 除以8后的值，SSDN表示請(qǐng)求數(shù)據(jù)塊在SSD陣列中被存儲(chǔ)的盤號(hào)，PSN表示請(qǐng)求數(shù)據(jù)塊被存儲(chǔ)的起始物理地址 (起始物理扇區(qū)號(hào)) 除以8后的值.使用雙數(shù)組進(jìn)行陣列系統(tǒng)中映射表的管理.

Fig. 6 The mapping table圖6 映射表示意圖

LBA用于雙數(shù)組中的索引，無需存儲(chǔ)；SSDN使用1 B存儲(chǔ)，能夠存儲(chǔ)最多256塊盤；PSN使用4 B存儲(chǔ)，能夠存儲(chǔ)的扇區(qū)號(hào)最多為4 294 967 296,滿足120 GB固態(tài)硬盤的容量要求.這樣僅用5 B就足夠記錄1個(gè)數(shù)據(jù)塊的映射關(guān)系，對(duì)于固態(tài)硬盤陣列1 TB的數(shù)據(jù)空間僅僅需要的映射表空間為1.25 GB.

3) 數(shù)據(jù)對(duì)齊.在系統(tǒng)架構(gòu)實(shí)現(xiàn)中，設(shè)定系統(tǒng)的讀寫單位為一個(gè)特定大小4 KB的數(shù)據(jù)塊chunk.為了實(shí)現(xiàn)讀寫請(qǐng)求的數(shù)據(jù)對(duì)齊，當(dāng)一個(gè)到來的請(qǐng)求不能與設(shè)定的chunk對(duì)齊，若小于chunk大小，則將其補(bǔ)充到chunk大小；若大于chunk大小，則將其補(bǔ)充到chunk的整數(shù)倍.這樣做是因?yàn)楣虘B(tài)硬盤的讀寫基本單位為4 KB，并且實(shí)驗(yàn)中設(shè)置chunk大小為4 KB,為了讓一次chunk大小的請(qǐng)求集中在1個(gè)塊，而不是操作多個(gè)塊 (比如未對(duì)齊時(shí)，1個(gè)chunk大小的請(qǐng)求可能會(huì)操作2個(gè)塊，寫入數(shù)據(jù)時(shí)需要讀-擦-寫，造成性能下降；對(duì)齊時(shí)，1個(gè)chunk大小的請(qǐng)求只會(huì)操作1個(gè)塊，從而提升固態(tài)硬盤性能).

5 實(shí)驗(yàn)與結(jié)果

為了進(jìn)行評(píng)估，本文將設(shè)計(jì)的系統(tǒng)架構(gòu)部署到由多個(gè)商用固態(tài)硬盤組成的陣列系統(tǒng)上，并在系統(tǒng)中使用了4個(gè)真實(shí)的企業(yè)級(jí)工作負(fù)載.由于本文的方案是在原始RAID -0陣列系統(tǒng)上進(jìn)行的改進(jìn)，故將原始RAID -0用作本文的實(shí)驗(yàn)基準(zhǔn)，并從2個(gè)方面對(duì)RAID -0和HA-RAID進(jìn)行對(duì)比，即固態(tài)硬盤陣列系統(tǒng)的負(fù)載均衡以及請(qǐng)求的平均響應(yīng)時(shí)間.

5.1 實(shí)驗(yàn)設(shè)置

1) 工作負(fù)載.實(shí)驗(yàn)中使用了企業(yè)數(shù)據(jù)中心的塊級(jí)traces工作負(fù)載，分別為寫占主導(dǎo)的hm_0，src2_0，usr_0和stg_0.其中，hm_0代表硬件監(jiān)控服務(wù)器上的負(fù)載，src2_0代表源控制服務(wù)器上的負(fù)載，usr_0代表用戶主目錄服務(wù)器上的負(fù)載，stg_0代表Web分段服務(wù)器上的負(fù)載[19].

我們?cè)趯?shí)驗(yàn)中對(duì)工作負(fù)載進(jìn)行了預(yù)先處理，即數(shù)據(jù)4 KB對(duì)齊.所有工作負(fù)載的工作集總大小在10 GB到20 GB之間；與此同時(shí)，所有的工作負(fù)載具有很強(qiáng)的訪問傾斜性和很高的訪問局部性.例如在后3個(gè)工作負(fù)載中，大部分寫請(qǐng)求集中在2%～4%的地址空間，而第1個(gè)工作負(fù)載中，大部分的寫請(qǐng)求集中在10%的地址空間.各工作負(fù)載的統(tǒng)計(jì)數(shù)據(jù)如表1所示.

2) 實(shí)驗(yàn)環(huán)境.本文將HA-RAID陣列系統(tǒng)架構(gòu)在物理機(jī)器上加以實(shí)現(xiàn).實(shí)驗(yàn)硬件配置為：戴爾PowerEdge T620服務(wù)器 (配有4個(gè)2.40 GHz Intel Xeon CPU和8 GB物理內(nèi)存空間) ，1個(gè)Intel 530系列固態(tài)硬盤用作系統(tǒng)盤，8個(gè)Intel 530系列固態(tài)硬盤用于構(gòu)建一個(gè)固態(tài)硬盤陣列，每個(gè)盤的容量120 GB，SATA3接口，MLC(multi-level commission)類型.陣列設(shè)置數(shù)據(jù)塊chunk的大小為4 KB.使用FIO工具測(cè)試了固態(tài)硬盤的隨機(jī)讀寫延時(shí) (50%讀，50%寫，I/O大小4 KB，隊(duì)列深度設(shè)置為1，單線程，并且繞過磁盤緩存)，測(cè)試結(jié)果如表2所示.

Table 1 Statistical Data of Different Workloads表1 不同工作負(fù)載的統(tǒng)計(jì)數(shù)據(jù)

3) 冷熱區(qū)分算法參數(shù)設(shè)置.由于本文重點(diǎn)研究陣列系統(tǒng)的磨損均衡和性能提升，并不對(duì)冷熱數(shù)據(jù)區(qū)分算法做深入研究，留在以后再探究.因此在實(shí)驗(yàn)中使用計(jì)算時(shí)間開銷最少的DAMS作為本文設(shè)計(jì)的陣列系統(tǒng)架構(gòu)中的冷熱數(shù)據(jù)區(qū)分算法.不同工作負(fù)載下DAMS算法的參數(shù)設(shè)置如表3所示.

Table 2 Performance Indicators of Intel 530 Series SSD

Fig. 8 Read/write ratio of each disk in RAID -0 and HA-RAID under hm_0圖8 負(fù)載hm_0下RAID -0與HA-RAID陣列中各盤上的讀寫比例

Table 3 Parameter Setting of DAMS Algorithm Under

Note:Under various workloads, the parameters of DAMS algorithm are experimentally tested and the best value is taken.

5.2 系統(tǒng)請(qǐng)求平均響應(yīng)時(shí)間評(píng)估

實(shí)驗(yàn)中，通過記錄每個(gè)請(qǐng)求的響應(yīng)時(shí)間和系統(tǒng)處理請(qǐng)求的總個(gè)數(shù)，計(jì)算得到每個(gè)請(qǐng)求的平均響應(yīng)時(shí)間，實(shí)驗(yàn)結(jié)果展示在圖7中.

Fig. 7 The average response time of I/O requests圖7 不同工作負(fù)載下系統(tǒng)請(qǐng)求的平均響應(yīng)時(shí)間

通過圖7可知，采用陣列系統(tǒng)架構(gòu)HA-RAID，相比于原始架構(gòu)RAID -0，部署在實(shí)際系統(tǒng)上時(shí)，極大地減少了請(qǐng)求的平均響應(yīng)時(shí)間.實(shí)驗(yàn)結(jié)果驗(yàn)證了區(qū)分?jǐn)?shù)據(jù)冷熱的有效性，因?yàn)樵技軜?gòu)會(huì)因?yàn)槔錈釘?shù)據(jù)的混合存儲(chǔ)而導(dǎo)致熱點(diǎn)盤的出現(xiàn)，從而不能發(fā)揮RAID陣列高并發(fā)的優(yōu)勢(shì)，進(jìn)而會(huì)一定程度上延遲用戶的訪問請(qǐng)求，造成整個(gè)陣列系統(tǒng)的I/O性能出現(xiàn)瓶頸.對(duì)比原始架構(gòu)RAID -0，本文設(shè)計(jì)的陣列系統(tǒng)架構(gòu)HA-RAID部署在系統(tǒng)上時(shí)，對(duì)請(qǐng)求的平均響應(yīng)時(shí)間減少了12.01%～41.06%，有效提高固態(tài)硬盤陣列系統(tǒng)的I/O性能.

5.3 系統(tǒng)負(fù)載均衡評(píng)估

固態(tài)硬盤容錯(cuò)陣列系統(tǒng)的負(fù)載和磨損不均衡，都容易降低系統(tǒng)的可靠性，造成數(shù)據(jù)的遺失.因此，本文實(shí)驗(yàn)統(tǒng)計(jì)了各種工作負(fù)載下陣列系統(tǒng)中各個(gè)盤的負(fù)載和磨損情況，統(tǒng)計(jì)結(jié)果如圖8～11所示.

由圖8所示可知，工作負(fù)載為hm_0時(shí)，對(duì)于原始架構(gòu)RAID -0，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都有較大差異，且波動(dòng)幅度較大；對(duì)于熱度感知架構(gòu)HA-RAID，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都差異不大，主要集中在0.1～0.15，且波動(dòng)幅度很小，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載均衡.

由圖9所示可知，工作負(fù)載為src2_0時(shí)，對(duì)于原始架構(gòu)RAID -0，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都有較大差異，且波動(dòng)幅度較大；對(duì)于熱度感知架構(gòu)HA-RAID，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都差異不大，主要集中在0.1～0.15，且波動(dòng)幅度很小，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載均衡.

Fig. 9 Read/write ratio of each disk in RAID -0 and HA-RAID under src2_0圖9 負(fù)載src2_0下RAID -0與HA-RAID陣列中各盤上的讀寫比例

Fig. 10 Read/write ratio of each disk in RAID -0 and HA-RAID under usr_0圖10 負(fù)載usr_0下RAID -0與HA-RAID陣列中各盤上的讀寫比例

Fig. 11 Read/write ratio of each disk in RAID -0 and HA-RAID under stg_0圖11 負(fù)載stg_0下RAID -0與HA-RAID陣列中各盤上的讀寫比例

由圖10所示可知，工作負(fù)載為usr_0時(shí)，對(duì)于原始架構(gòu)RAID -0，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都有較大差異，且波動(dòng)幅度較大；對(duì)于熱度感知架構(gòu)HA-RAID，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都差異不大，主要集中在0.1～0.15，且波動(dòng)幅度很小，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載均衡.

由圖11所示可知，工作負(fù)載為stg_0時(shí)，對(duì)于原始架構(gòu)RAID -0，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都有較大差異，且波動(dòng)幅度較大；對(duì)于熱度感知架構(gòu)HA-RAID，各盤上的讀寫比例在每個(gè)時(shí)間點(diǎn)都差異不大，主要集中在0.1～0.15，且波動(dòng)幅度很小，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載均衡.

Fig. 12 HA-RAID architecture extended to RAID -5 array圖12 擴(kuò)展至RAID -5陣列上的HA-RAID系統(tǒng)架構(gòu)

6 HA-RAID擴(kuò)展至RAID -56

基于RAID -0設(shè)計(jì)的系統(tǒng)架構(gòu)HA-RAID 很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載均衡和磨損均衡，從而延長整個(gè)陣列的使用壽命并提升I/O性能.但RAID -0陣列沒有引入任何冗余數(shù)據(jù)，無法保證數(shù)據(jù)的可靠性.而數(shù)據(jù)可靠性保證在實(shí)際應(yīng)用中又非常重要，企業(yè)的核心數(shù)據(jù)一旦丟失，損失將是無法估量的.因此，我們將基于RAID -0設(shè)計(jì)的HA-RAID系統(tǒng)架構(gòu)擴(kuò)展至RAID -5陣列，主要設(shè)計(jì)思路如圖12所示.

對(duì)基于RAID -0的HA-RAID系統(tǒng)架構(gòu)，將其擴(kuò)展至RAID -5陣列，需要做3個(gè)方面的修改：

1) RAID -5陣列需要對(duì)寫入內(nèi)存中的數(shù)據(jù)以條帶形式組織，并使用與陣列盤上對(duì)應(yīng)的滑動(dòng)窗口將條帶劃分為熱區(qū)域和冷區(qū)域，條帶中的熱區(qū)域存放識(shí)別出的熱數(shù)據(jù)，冷區(qū)域存放普通數(shù)據(jù).

2) 對(duì)于LBA讀請(qǐng)求，根據(jù)地址映射表得到其物理地址(盤號(hào)和條帶號(hào))，然后在底層盤上讀數(shù)據(jù).

3) 對(duì)于LBA寫請(qǐng)求，在內(nèi)存以條帶的組織形式對(duì)其進(jìn)行緩存：①如果該LBA被識(shí)別為熱數(shù)據(jù)，則將其存儲(chǔ)到條帶的熱區(qū)域(滑動(dòng)窗口內(nèi))； ②如果該LBA被識(shí)別為冷數(shù)據(jù)，則將其存儲(chǔ)到條帶的冷區(qū)域(滑動(dòng)窗口外).當(dāng)一個(gè)條帶上數(shù)據(jù)存滿，則計(jì)算產(chǎn)生該條帶的校驗(yàn)信息P，然后將條帶數(shù)據(jù)和校驗(yàn)數(shù)據(jù)以條帶形式追加寫入陣列(校驗(yàn)數(shù)據(jù)以輪轉(zhuǎn)的方式存儲(chǔ)到普通盤上)，并更新地址映射表中對(duì)應(yīng)的物理地址.

RAID -6陣列上的實(shí)現(xiàn)方法與RAID -5陣列類似，只是增加了計(jì)算開銷和額外校驗(yàn)數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)可靠性更高，這里不再贅述.

7 總 結(jié)

本文在RAID -0陣列中設(shè)計(jì)了一種基于冷熱數(shù)據(jù)分離存儲(chǔ)的固態(tài)硬盤陣列系統(tǒng)架構(gòu)HA-RAID，并結(jié)合滑動(dòng)窗口技術(shù)進(jìn)行優(yōu)化.相比原始RAID -0陣列架構(gòu)，HA-RAID可以將熱數(shù)據(jù)相對(duì)均勻地存儲(chǔ)到各個(gè)盤上并減少12.01%～41.06%的平均響應(yīng)時(shí)間，很好地實(shí)現(xiàn)了陣列系統(tǒng)級(jí)的負(fù)載和磨損均衡及陣列系統(tǒng)的I/O性能提升.