• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云存儲(chǔ)系統(tǒng)中的預(yù)測(cè)式局部修復(fù)碼

    2019-09-16 02:32:26張曉陽許佳豪胡燏翀
    關(guān)鍵詞:磁盤校驗(yàn)分組

    張曉陽 許佳豪 胡燏翀,2

    1(華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 武漢 430074)2(深圳華中科技大學(xué)研究院 廣東深圳 518000)

    近幾年來,隨著社會(huì)的發(fā)展,各行業(yè)和領(lǐng)域的數(shù)據(jù)量都在呈爆炸式增長,因而不斷對(duì)存儲(chǔ)系統(tǒng)提出挑戰(zhàn),云環(huán)境下的存儲(chǔ)系統(tǒng)已逐步成為未來數(shù)據(jù)存儲(chǔ)的發(fā)展趨勢(shì).云存儲(chǔ)系統(tǒng)的一個(gè)重要目標(biāo)就是無論系統(tǒng)發(fā)生什么樣的故障,都必須保證數(shù)據(jù)的可用性,即云存儲(chǔ)服務(wù)提供商總能夠持續(xù)不斷地向用戶提供數(shù)據(jù)訪問的服務(wù),否則會(huì)直接影響上層應(yīng)用給用戶提供正常服務(wù).2018年,Windows Azure云存儲(chǔ)服務(wù)因故障中斷時(shí)間超過24 小時(shí),超過40個(gè)Azure 云應(yīng)用服務(wù)因此而中斷,造成不小的經(jīng)濟(jì)損失[1].因此,對(duì)云存儲(chǔ)服務(wù)提供商和用戶來說,數(shù)據(jù)可用性至關(guān)重要.

    為了提高云存儲(chǔ)的數(shù)據(jù)可用性,系統(tǒng)一般額外存儲(chǔ)大量的冗余數(shù)據(jù).冗余有2個(gè)常見的實(shí)現(xiàn)方式:復(fù)制和糾刪碼.復(fù)制是最簡(jiǎn)單的冗余方案,即一個(gè)文件擁有多個(gè)副本;而糾刪碼(一般采用Reed-Solomon碼[2])是將一個(gè)文件等分成多個(gè)數(shù)據(jù)塊,這些數(shù)據(jù)塊再編碼生成同樣大小的若干個(gè)校驗(yàn)塊,使得從所有數(shù)據(jù)塊和校驗(yàn)塊中任意下載原始文件大小的數(shù)據(jù)就可以重建出原始文件.與復(fù)制相比,糾刪碼可以大大提高數(shù)據(jù)可用性[3].可是,糾刪碼面臨的一大挑戰(zhàn)是當(dāng)發(fā)生數(shù)據(jù)塊丟失時(shí),修復(fù)該數(shù)據(jù)塊所需要的帶寬消耗過大,即一個(gè)數(shù)據(jù)塊丟失的話,需要下載多個(gè)塊去重建出原始文件才能對(duì)單個(gè)數(shù)據(jù)塊進(jìn)行修復(fù).這會(huì)使得數(shù)據(jù)修復(fù)性能偏低,從而導(dǎo)致云存儲(chǔ)上的用戶數(shù)據(jù)訪問延遲過高,影響數(shù)據(jù)可用性.

    為了降低糾刪碼的修復(fù)開銷,不少云存儲(chǔ)系統(tǒng)(Windows Azure[4], Facebook[5])開始使用一類新型的編碼方法——局部修復(fù)碼(locally repairable codes, LRC)[6].LRC設(shè)計(jì)特點(diǎn)是在Reed-Solomon碼的基礎(chǔ)上,將一個(gè)條帶的所有數(shù)據(jù)塊均分成若干個(gè)組,然后每個(gè)分組針對(duì)組內(nèi)所有的數(shù)據(jù)塊額外編碼生成一個(gè)新的校驗(yàn)塊,稱之為該組的局部校驗(yàn)塊.顯然,任意一個(gè)數(shù)據(jù)塊的丟失,都可以通過其組內(nèi)的局部校驗(yàn)塊和組內(nèi)其他數(shù)據(jù)塊來快速修復(fù)出來,而無須構(gòu)建整個(gè)原始文件來對(duì)丟失的數(shù)據(jù)塊進(jìn)行修復(fù).因此,比起Reed-Solomon碼,LRC可以大大降低修復(fù)丟失的數(shù)據(jù)塊所耗費(fèi)的帶寬,進(jìn)而降低修復(fù)時(shí)間,從而優(yōu)化云存儲(chǔ)系統(tǒng)對(duì)于用戶的訪問延遲,提高數(shù)據(jù)的可用性.

    我們發(fā)現(xiàn),LRC蘊(yùn)含了一個(gè)較強(qiáng)的假設(shè):所有分組的長度是相同的.由于LRC修復(fù)一個(gè)數(shù)據(jù)塊需要下載它所在組的所有塊,那么這個(gè)假設(shè)就意味著修復(fù)任意一個(gè)數(shù)據(jù)塊均需要下載同樣多的塊,耗費(fèi)同樣多的帶寬.因此在這個(gè)假設(shè)下,想要LRC的修復(fù)效率得到比較好的保障,顯然只有每個(gè)塊丟失的概率較為均勻才比較公平;否則,如果塊和塊之間的丟失概率不同,但修復(fù)代價(jià)卻相同,那么這對(duì)整個(gè)系統(tǒng)的修復(fù)效率就會(huì)產(chǎn)生公平性的影響.

    但是,一些研究[7-8]表明:在云存儲(chǔ)系統(tǒng)中,一些數(shù)據(jù)塊的丟失概率其實(shí)遠(yuǎn)遠(yuǎn)大于其他數(shù)據(jù)塊,這是因?yàn)檫@些數(shù)據(jù)塊所在的磁盤可被預(yù)測(cè)出來將在近期內(nèi)發(fā)生故障.實(shí)際上,磁盤是當(dāng)前云存儲(chǔ)系統(tǒng)中最主要的故障來源,磁盤故障占所有設(shè)備故障的78%[9].而磁盤故障大部分是由于諸如磨損之類的緩慢過程所導(dǎo)致的,這些過程通常會(huì)持續(xù)數(shù)月或數(shù)年,因此可以通過對(duì)磁盤歷史狀況不斷監(jiān)測(cè)而對(duì)其近期是否發(fā)生故障進(jìn)行預(yù)測(cè).這樣的話,我們可以通過機(jī)器學(xué)習(xí)等方法提前預(yù)測(cè)到某些磁盤故障的發(fā)生,即近期內(nèi)這些磁盤的故障概率遠(yuǎn)遠(yuǎn)高于其他磁盤——這意味著這些磁盤上的數(shù)據(jù)塊的丟失概率也遠(yuǎn)遠(yuǎn)高于其他數(shù)據(jù)塊.而這個(gè)現(xiàn)象和LRC碼當(dāng)前結(jié)構(gòu)所蘊(yùn)含的假設(shè)——“所有分組的長度相同,所有數(shù)據(jù)塊修復(fù)代價(jià)一樣”——是不匹配的.

    因此,這啟發(fā)我們將基于機(jī)器學(xué)習(xí)的磁盤故障預(yù)測(cè)技術(shù)運(yùn)用到LRC中對(duì)其固定分組的假設(shè)進(jìn)行改進(jìn),以進(jìn)一步提高LRC的修復(fù)性能.需要注意的是,已有相關(guān)研究工作將磁盤故障預(yù)測(cè)技術(shù)應(yīng)用到復(fù)制和糾刪碼技術(shù)中[8],但LRC擁有不同于復(fù)制和糾刪碼的“條帶分組”的特點(diǎn),因此需要我們專門針對(duì)該特點(diǎn)進(jìn)行有效的設(shè)計(jì).本文貢獻(xiàn)有3個(gè)方面:

    1) 將磁盤故障預(yù)測(cè)技術(shù)的結(jié)果和LRC參數(shù)結(jié)合,構(gòu)造了一類基于預(yù)測(cè)的LRC(proactive LRC, pLRC)方案.pLRC通過磁盤故障預(yù)測(cè)方法,區(qū)分不同數(shù)據(jù)塊的丟失概率,從而動(dòng)態(tài)調(diào)整系統(tǒng)中的LRC分組大小.我們盡可能地讓近期可能丟失的數(shù)據(jù)塊所在分組的長度縮小,從而使得修復(fù)這些塊所需的帶寬降低;同時(shí),對(duì)于近期不會(huì)丟失的數(shù)據(jù)塊所在分組的長度變長,以保證pLRC的存儲(chǔ)開銷和LRC保持一致.

    2) 理論上,我們利用MTTDL建模分析對(duì)比了LRC和pLRC,結(jié)果顯示后者可以提高多達(dá)113%的可靠性.同時(shí),我們還對(duì)pLRC的修復(fù)帶寬進(jìn)行了理論上的數(shù)值分析,結(jié)果顯示后者修復(fù)帶寬理論上可以降低48.1%.

    3) 系統(tǒng)上,我們?cè)贔acebook的Hadoop HDFS RAID[10]平臺(tái)中,通過修改HDFS RAID相關(guān)代碼,實(shí)現(xiàn)了LRC和pLRC技術(shù),并將其運(yùn)行在真實(shí)云環(huán)境下(Amazon Web Sevice[11]).實(shí)驗(yàn)結(jié)果顯示,比起LRC,pLRC的降級(jí)讀性能提高了46.8%,磁盤修復(fù)時(shí)間縮短了47.5%.

    1 研究背景和動(dòng)機(jī)

    1.1 云存儲(chǔ)中編碼研究現(xiàn)狀

    隨著云業(yè)務(wù)大規(guī)模的落地實(shí)施,數(shù)據(jù)存儲(chǔ)已脫離于單純的存儲(chǔ)介質(zhì),逐漸演變成一種云服務(wù),即云存儲(chǔ).相比于傳統(tǒng)的存儲(chǔ)介質(zhì)環(huán)境,云環(huán)境中數(shù)據(jù)量大、應(yīng)用復(fù)雜,這使得云存儲(chǔ)系統(tǒng)要滿足海量的存儲(chǔ)需求和動(dòng)態(tài)的IO服務(wù)需求,因而必須提供高可用性的容錯(cuò)機(jī)制,即持續(xù)穩(wěn)定的在線運(yùn)行性能.對(duì)此,云存儲(chǔ)系統(tǒng)通常采用數(shù)據(jù)冗余技術(shù)來進(jìn)行保駕護(hù)航.傳統(tǒng)的數(shù)據(jù)冗余技術(shù)主要包括副本、RAID等.副本,即存儲(chǔ)同一份數(shù)據(jù)的多個(gè)相同拷貝;數(shù)據(jù)的副本越多、數(shù)據(jù)可靠性越高,但存儲(chǔ)空間利用率也就越低.RAID,即把多塊獨(dú)立的存儲(chǔ)磁盤按特定方式組合起來形成一個(gè)磁盤陣列;該技術(shù)提高了存儲(chǔ)空間的利用率,但傳統(tǒng)磁盤陣列存在著擴(kuò)展性較差、彈性缺乏、容錯(cuò)數(shù)較低等缺陷.因此,副本和RAID較難滿足云存儲(chǔ)的海量存儲(chǔ)和動(dòng)態(tài)變化的服務(wù)需求.

    針對(duì)傳統(tǒng)數(shù)據(jù)冗余技術(shù)的不足,云存儲(chǔ)系統(tǒng)中出現(xiàn)了一種更高效的數(shù)據(jù)冗余技術(shù)——糾刪碼,其基本思想是將一份數(shù)據(jù)劃分為k個(gè)原始數(shù)據(jù)塊,基于k個(gè)數(shù)據(jù)塊編碼獲得r個(gè)校驗(yàn)塊.以上k+r個(gè)塊(即k個(gè)數(shù)據(jù)塊和r個(gè)校驗(yàn)塊,通常稱為一個(gè)條帶)中任意r塊出錯(cuò)時(shí),系統(tǒng)均可重構(gòu)出k個(gè)原始數(shù)據(jù)塊.常用糾刪碼為Reed-Solomon編碼,通常記為(k,r) RS.與副本相比,糾刪碼可以大大提高數(shù)據(jù)可用性[3];另外,不同于彈性缺乏、容錯(cuò)數(shù)較低的RAID,糾刪碼還具有參數(shù)配置靈活、任意容錯(cuò)的特點(diǎn)(比如可以通過調(diào)整參數(shù)k和r來改變?nèi)哂喽群腿蒎e(cuò)數(shù)),因而可以根據(jù)存儲(chǔ)服務(wù)需求的動(dòng)態(tài)變化,自適應(yīng)地來構(gòu)建糾刪碼.在學(xué)術(shù)界,已有不少工作研究基于糾刪碼的云存儲(chǔ)系統(tǒng).比如,私有云存儲(chǔ)(即企業(yè)內(nèi)部數(shù)據(jù)中心):Facebook的f4[12]、IBM的Cleversafe[13]、Hitchhiker[14]、Giza[15]等;公有云存儲(chǔ):Azure[4],Hybris[16]等.在工業(yè)界,糾刪碼也逐漸成為云存儲(chǔ)產(chǎn)品的標(biāo)配之一,比如,國外云廠商Windows Azure采用(k,r)=(6,4)的糾刪碼[4],國內(nèi)云廠商七牛云采用(k,r)=(28,4)的糾刪碼[17].

    可是當(dāng)某個(gè)數(shù)據(jù)塊丟失時(shí),糾刪碼需要下載所有k個(gè)塊去重建出原始文件才能對(duì)這個(gè)塊進(jìn)行修復(fù),這導(dǎo)致數(shù)據(jù)修復(fù)通常需耗費(fèi)大量帶寬,而對(duì)于存儲(chǔ)集群來說,加速恢復(fù)是非常重要的[18].因此不少新型糾刪碼設(shè)計(jì)方案針對(duì)如何對(duì)修復(fù)帶寬進(jìn)行優(yōu)化,主要分為再生碼和局部修復(fù)碼2類:

    1) 再生碼(regenerating codes, RC).Dimakis等人首次提出了再生碼[19],比起傳統(tǒng)糾刪碼降低了單節(jié)點(diǎn)修復(fù)帶寬(即修復(fù)單節(jié)點(diǎn)故障所需的傳輸數(shù)據(jù)量),并將再生碼分成兩大類,分別為MSR碼(minimal storage regenerating codes)和MBR碼(minimal bandwidth regenerating codes).文獻(xiàn)[20]采用隨機(jī)線性編碼[21]保證了在編碼有限域足夠大的條件下,再生碼的解碼成功率無限趨近于100%.隨后的研究工作可以分成3類:1)由于隨機(jī)線性編碼很難滿足精確修復(fù)特性,即并不保證原始丟失數(shù)據(jù)的恢復(fù),因此一些工作[22-24]針對(duì)精確修復(fù)的再生碼進(jìn)行了廣泛的研究;2)由于再生碼最初只針對(duì)單節(jié)點(diǎn)修復(fù),后續(xù)工作致力于多節(jié)點(diǎn)修復(fù)的再生碼設(shè)計(jì)[25-26];3)還有一些研究專注于確定性再生碼的設(shè)計(jì)[27-28].

    2) 局部修復(fù)碼(LRC).LRC[4-5]通過限制數(shù)據(jù)修復(fù)時(shí)所連接的節(jié)點(diǎn)數(shù)目,即將數(shù)據(jù)修復(fù)盡可能局限在較小的節(jié)點(diǎn)集合內(nèi),來大大降低數(shù)據(jù)傳輸和IO操作數(shù).實(shí)際上,LRC引入了額外的存儲(chǔ)消耗去達(dá)到局部修復(fù)的優(yōu)點(diǎn),即在理論上并沒有做到存儲(chǔ)效率的最優(yōu),但是由于其實(shí)現(xiàn)的簡(jiǎn)易性,不少云存儲(chǔ)系統(tǒng)開始部署局部修復(fù)碼,比如Azure[4],F(xiàn)acebook[5],Ceph[29-30]等.LRC是在參數(shù)為(k,r)的Reed-Solomon碼的基礎(chǔ)上,將一個(gè)條帶的所有k個(gè)數(shù)據(jù)塊均分成m組,每組有km個(gè)數(shù)據(jù)塊,然后每組將自己所有的km個(gè)數(shù)據(jù)塊通過異或額外生成一個(gè)新的校驗(yàn)塊,稱之為該組的局部校驗(yàn)塊.與之對(duì)應(yīng),已有的r個(gè)校驗(yàn)塊稱之為全局校驗(yàn)塊.

    圖1是(k,m,r) LRC的示例圖,其中k=6,m=2,r=2.D1~D6是6個(gè)數(shù)據(jù)塊,P1和P2是通過D1~D6編碼生成的2個(gè)全局校驗(yàn)塊.然后將所有數(shù)據(jù)塊分為2組:D1~D3,D4~D6,每組異或編碼生成一個(gè)新的局部校驗(yàn)塊:Q1和Q2.我們可以發(fā)現(xiàn),D1~D6中無論哪一個(gè)數(shù)據(jù)塊丟失,都可以通過該塊所在組的局部校驗(yàn)塊快速修復(fù)出來.比如,假設(shè)數(shù)據(jù)塊D1丟失,如果是基于Reed-Solomon編碼,則需要下載D2~D6以及P1一共6個(gè)塊將D1修復(fù);而如果基于LRC,則僅需要下載D2,D3以及Q1一共3個(gè)塊即可修復(fù)D1.因此,比起Reed-Solomon碼,LRC可以降低大大降低修復(fù)一個(gè)丟失塊的所需時(shí)間,從而優(yōu)化云存儲(chǔ)系統(tǒng)對(duì)于用戶的訪問性能.

    Fig. 1 An illustration of (6,2,2) LRC圖1 (6,2,2) LRC的示例圖

    1.2 云存儲(chǔ)中磁盤故障預(yù)測(cè)研究現(xiàn)狀

    云存儲(chǔ)系統(tǒng)發(fā)生服務(wù)中斷的代價(jià)越來越高昂[31],服務(wù)中斷最大的一個(gè)原因是磁盤設(shè)備發(fā)生故障[9,32].硬盤的故障一般分為2種:不可預(yù)測(cè)的和可預(yù)測(cè)的.前者發(fā)生幾率不高,通常不可預(yù)測(cè),比如人為不當(dāng)操作造成的機(jī)械撞擊等;但后者比如像軸承磨損、磁介質(zhì)性能下降等都可以在幾天甚至幾周前就發(fā)現(xiàn)苗頭從而進(jìn)行規(guī)避.

    SMART 技術(shù)通過在硬盤硬件內(nèi)的檢測(cè)指令對(duì)硬盤的各個(gè)硬件如磁頭、馬達(dá)、電路、盤片的運(yùn)行情況進(jìn)行監(jiān)控,并與廠商所預(yù)設(shè)的安全值進(jìn)行比較,若監(jiān)控情況將超出或已超出預(yù)設(shè)安全值的安全范圍時(shí)發(fā)出警報(bào).但該方法只能預(yù)測(cè)出不到10%的硬盤故障[33].因此,有不少研究工作在SMART數(shù)據(jù)集上建立各種預(yù)測(cè)模型,以提高硬盤的故障率預(yù)測(cè)準(zhǔn)確率.這些磁盤故障預(yù)測(cè)模型[7,34-37]通常有3個(gè)主要參數(shù):

    1) 準(zhǔn)確率(false discovery rate,FDR),即故障磁盤中可以被準(zhǔn)確預(yù)測(cè)出的比例.

    2) 誤報(bào)率(false alarm rate,FAR),即健康磁盤中被誤報(bào)為故障磁盤的比例.

    3) 提前預(yù)測(cè)時(shí)間(time in advance,TIA),即提前多長時(shí)間預(yù)測(cè)磁盤故障.

    文獻(xiàn)[33]提出了一種基于多實(shí)例學(xué)習(xí)框架和樸素貝葉斯分類器的故障預(yù)測(cè)算法,但僅使用了369個(gè)磁盤的SMART數(shù)據(jù)集.文獻(xiàn)[35]采用貝葉斯方法對(duì)磁盤故障進(jìn)行建模,數(shù)據(jù)集由1 936個(gè)磁盤組成,其中只有9個(gè)被標(biāo)記為失敗,同樣也比較小.文獻(xiàn)[36]利用統(tǒng)計(jì)檢驗(yàn)相關(guān)方法(如多變量秩和檢驗(yàn))提高FDR和降低FAR,同樣的數(shù)據(jù)集也相當(dāng)小,只有347個(gè)磁盤器(其中36個(gè)故障).文獻(xiàn)[34,37]采用人工神經(jīng)網(wǎng)絡(luò)和決策樹等學(xué)習(xí)方法,數(shù)據(jù)集規(guī)模較大,包含來自企業(yè)級(jí)模型的總共23 395個(gè)磁盤(其中433個(gè)故障).該方法最好預(yù)測(cè)性能達(dá)到0.1%以下的FAR和95%以上的FDR,且TIA至少為一周以上,從而為故障處理預(yù)留了充足時(shí)間.文獻(xiàn)[7]同樣使用了一個(gè)包含超過20 000個(gè)磁盤的大型數(shù)據(jù)集,通過選擇合適的SMART指標(biāo)并調(diào)整預(yù)測(cè)模型,使得FDR高達(dá)98%.

    1.3 本文研究動(dòng)機(jī)

    當(dāng)前很少有工作將云存儲(chǔ)系統(tǒng)中的編碼技術(shù)和磁盤故障預(yù)測(cè)技術(shù)聯(lián)系起來,文獻(xiàn)[8]提出了一類基于磁盤故障預(yù)測(cè)技術(shù)的糾刪碼技術(shù)Procode.Procode的技術(shù)原理是把復(fù)制和糾刪碼結(jié)合起來,將預(yù)測(cè)的故障磁盤的數(shù)據(jù)塊和校驗(yàn)塊進(jìn)行復(fù)制,使得這些塊在丟失以后無須通過糾刪碼恢復(fù),只用通過復(fù)制恢復(fù)即可,因此降低修復(fù)這些塊所需要的時(shí)間.文獻(xiàn)[8]的作者在其工作展望中希望有工作能將Procode的策略思想和新型的編碼技術(shù)相結(jié)合起來.但是,如果直接將Procode對(duì)即將丟失的數(shù)據(jù)塊進(jìn)行簡(jiǎn)單復(fù)制的策略和新型編碼技術(shù)LRC技術(shù)結(jié)合的話,那么將會(huì)破壞LRC的單一編碼結(jié)構(gòu)而造成副本一致性維護(hù)問題,并且還會(huì)引入額外的存儲(chǔ)開銷、增加磁盤個(gè)數(shù)而加大系統(tǒng)存儲(chǔ)管理成本.

    因此,這啟發(fā)我們?cè)贚RC的編碼結(jié)構(gòu)和存儲(chǔ)開銷不變的前提下,將磁盤故障預(yù)測(cè)技術(shù)結(jié)果和LRC編碼結(jié)合起來,構(gòu)造了一類基于預(yù)測(cè)的LRC編碼.pLRC算法首先通過文獻(xiàn)[34]提供的一類磁盤故障預(yù)測(cè)方法以及相應(yīng)的大型SMART數(shù)據(jù)集,區(qū)分一周的即將故障的磁盤(稱為“壞盤”)和其他健康磁盤(稱之為“好盤”);然后僅僅調(diào)整壞盤和好盤所擁有的數(shù)據(jù)塊所在分組的大小,使得壞盤的數(shù)據(jù)塊所在分組的長度變短,而這些分組為了保持存儲(chǔ)量不變,同時(shí)將分組內(nèi)其他好盤的數(shù)據(jù)塊所在分組變長,并同步更新組內(nèi)的校驗(yàn)塊.這樣的話,pLRC的編碼結(jié)構(gòu)依然和LRC保持一致,只是部分條帶的分組組長不同;同時(shí)pLRC的存儲(chǔ)開銷和LRC也保持了一致.更重要的是,pLRC會(huì)對(duì)一周內(nèi)大概率壞掉的磁盤進(jìn)行快速修復(fù),從而提高數(shù)據(jù)塊修復(fù)性能.

    Fig. 2 An illustration of pLRC from (6,2,2) LRC圖2 (6,2,2) LRC 轉(zhuǎn)換為pLRC的示例圖

    2 pLRC的設(shè)計(jì)

    在本節(jié)中,我們主要對(duì)pLRC的設(shè)計(jì)算法進(jìn)行描述.

    2.1 磁盤故障預(yù)測(cè)算法選擇

    當(dāng)前有包括決策樹、人工神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法可用于預(yù)測(cè)磁盤,我們的目標(biāo)是在FDR和FAR之間找到一個(gè)較好的權(quán)衡.為了實(shí)現(xiàn)這一目標(biāo),我們對(duì)當(dāng)前主流的2類分類算法:決策樹[37]和人工神經(jīng)網(wǎng)絡(luò)[34]進(jìn)行了比較.和文獻(xiàn)[34]類似,我們?cè)陂_源的SMART數(shù)據(jù)集[38]上針對(duì)12個(gè)特征(見表1)進(jìn)行采樣.SMART數(shù)據(jù)集包含23 395個(gè)磁盤(其中433個(gè)壞盤、22 962個(gè)好盤)在7天內(nèi)的SMART記錄,其中每個(gè)盤每小時(shí)都會(huì)生成一條SMART記錄,因此每個(gè)好盤有168條記錄,而壞盤記錄到自己發(fā)生故障為止.然后,我們將采樣數(shù)據(jù)集隨機(jī)拆分為訓(xùn)練數(shù)據(jù)集(占總數(shù)據(jù)集的70%),并通過交叉驗(yàn)證測(cè)試數(shù)據(jù)集(占總數(shù)據(jù)集的30%).2個(gè)預(yù)測(cè)算法的性能如表2所示.

    Table 1 Selected SMART Attributes表1 所選的SMART屬性

    Table 2 Performance Comparison of Decision Tree and BP Neural Network表2 決策樹和人工神經(jīng)網(wǎng)絡(luò)的性能比較

    從表2可以看出,決策樹和人工神經(jīng)網(wǎng)絡(luò)都能達(dá)到良好的預(yù)測(cè)準(zhǔn)確性;但人工神經(jīng)網(wǎng)絡(luò)的誤報(bào)率較高,會(huì)導(dǎo)致pLRC錯(cuò)把不少的好盤上所保存的數(shù)據(jù)塊也進(jìn)行分組大小調(diào)整而耗費(fèi)不小的帶寬.因此,我們選擇決策樹作為我們的預(yù)測(cè)算法.

    2.2 pLRC編碼算法設(shè)計(jì)

    pLRC編碼算法有2個(gè)主要的設(shè)計(jì)目標(biāo):

    1) 和LRC保持同樣的存儲(chǔ)開銷和磁盤個(gè)數(shù);

    2) 比LRC擁有更低的數(shù)據(jù)塊修復(fù)帶寬.

    針對(duì)這2個(gè)設(shè)計(jì)目標(biāo),pLRC的設(shè)計(jì)思想是對(duì)所有數(shù)據(jù)塊進(jìn)行“好”“壞”標(biāo)記;然后在磁盤故障預(yù)測(cè)算法運(yùn)行后,壞盤上的數(shù)據(jù)塊標(biāo)記為“壞塊”;最后針對(duì)每個(gè)壞塊所在的條帶,縮短該壞塊所在分組的組長,變長其他分組的組長,使得該條帶所造成的存儲(chǔ)開銷和所需磁盤個(gè)數(shù)保持不變,并且壞塊的修復(fù)所造成的帶寬消耗降低.算法細(xì)節(jié)如下:

    算法1.pLRC編碼.

    假設(shè):系統(tǒng)有N個(gè)磁盤,每個(gè)磁盤擁有p個(gè)數(shù)據(jù)塊,每個(gè)條帶最多只包含一個(gè)壞塊.

    ① 所有數(shù)據(jù)塊都標(biāo)為“好塊”;

    ② 執(zhí)行(k,m,r) LRC;

    ③ 運(yùn)行Decision Tree算法,輸出壞盤H1,H2,…,Hb;

    ⑥ fori=1 tobp

    ⑦Si所有分組記為Gi,1,Gi,2,…Gi,m;

    ⑩Gi,1,Gi,2,…,Gi,m更新校驗(yàn)塊;

    算法1在初始狀態(tài)時(shí),所有數(shù)據(jù)塊都標(biāo)記為“好塊”,然后執(zhí)行LRC編碼(行①②).在決策樹預(yù)測(cè)算法過后,預(yù)測(cè)為壞盤所保存的數(shù)據(jù)塊標(biāo)記為“壞塊”,然后找到所有壞塊所在的條帶(行③~⑤).最后對(duì)所有這些bp個(gè)條帶進(jìn)行分組大小調(diào)整:含有壞塊的分組長度縮短為3(即原分組縮小為僅包含2個(gè)數(shù)據(jù)塊和1個(gè)校驗(yàn)塊的分組),即該分組為簡(jiǎn)單的(2,1) RS編碼;然后該分組的其他塊隨機(jī)轉(zhuǎn)移到其他分組,最后更新分組的校驗(yàn)塊.

    Fig. 3 Illustrations of pLRC圖3 pLRC的算法示例圖

    2.3 pLRC算法優(yōu)化

    當(dāng)所有壞塊被修復(fù)以后,pLRC應(yīng)該回歸LRC以等待下一次磁盤故障預(yù)測(cè)算法的執(zhí)行.基于算法1的編碼策略,我們可以發(fā)現(xiàn)需要對(duì)大量的局部校驗(yàn)塊進(jìn)行更新,將造成較大的傳輸開銷.因此,我們對(duì)pLRC算法進(jìn)行進(jìn)一步的優(yōu)化,優(yōu)化思想是通過盡可能地減少局部校驗(yàn)塊的更新個(gè)數(shù)來降低其更新所帶來的開銷.算法細(xì)節(jié)如下:

    算法2.pLRC編碼(優(yōu)化).

    ①~⑧和算法1相同;

    ⑨Gi,1分組保留di和任意一個(gè)數(shù)據(jù)塊,將其他數(shù)據(jù)塊全部轉(zhuǎn)移到Gi,2;

    ⑩Gi,1和Gi,2更新校驗(yàn)塊;

    算法2將壞塊所在分組需要轉(zhuǎn)移的數(shù)據(jù)塊全部放在另外一個(gè)分組內(nèi),使得需要更新的校驗(yàn)塊永遠(yuǎn)只有2個(gè).因此,在從pLRC回歸到LRC時(shí),只需要對(duì)2個(gè)校驗(yàn)塊進(jìn)行更新,這樣可以將2個(gè)校驗(yàn)塊的更新操作協(xié)同起來,從而降低傳輸開銷.

    3 理論量化分析

    在本節(jié)中,我們主要在理論上對(duì)pLRC的可靠性以及修復(fù)過程中消耗的帶寬進(jìn)行分析,并與LRC進(jìn)行比較.

    3.1 可靠性分析

    可靠性是分布式系統(tǒng)中最重要的性質(zhì)之一,下面對(duì)pLRC的可靠性進(jìn)行分析.與之前的很多工作類似[4-5,39-42],我們使用馬爾可夫模型來對(duì)平均無數(shù)據(jù)丟失時(shí)間(mean-time-to-data-loss, MTTDL)進(jìn)行分析.與文獻(xiàn)[4]相同,我們對(duì)一般化馬爾可夫模型進(jìn)行簡(jiǎn)單的擴(kuò)展使其可以捕捉到LRC以及pLRC中的特殊狀態(tài)變換.雖然基于馬爾可夫的可靠性分析的有效性值得商榷[43],但我們認(rèn)為它足以為本工作提供可靠性的初步見解.

    1) 模型.將參數(shù)固定為k=6,m=2,r=2.圖4為LRC和pLRC參數(shù)(k,m,r)=(6,2,2)的馬爾可夫模型.假定我們將多個(gè)條帶上的數(shù)據(jù)分布于k+m+r個(gè)節(jié)點(diǎn)上,每種狀態(tài)代表可用節(jié)點(diǎn)的數(shù)量.比如狀態(tài)10表示全部節(jié)點(diǎn)都是健康節(jié)點(diǎn),而狀態(tài)5則表示有數(shù)據(jù)丟失.在本文中,我們僅考慮獨(dú)立故障,將單節(jié)點(diǎn)的故障率記為λ.因此,從狀態(tài)i到狀態(tài)i-1,1≤i≤n的狀態(tài)轉(zhuǎn)換率為iλ.

    Fig. 4 Markov reliability model圖4 馬爾可夫可靠性模型

    馬爾可夫模型中增加的擴(kuò)展部分位于狀態(tài)7,其可轉(zhuǎn)換為2個(gè)擁有6個(gè)健康節(jié)點(diǎn)的狀態(tài).狀態(tài)6代表了有4個(gè)可修復(fù)的故障,而狀態(tài)6F則表示了有4個(gè)不可修復(fù)的故障.我們將在4個(gè)故障情形中可修復(fù)故障的比例記為pd,則從狀態(tài)7到狀態(tài)6的轉(zhuǎn)換率為7λpd,而從狀態(tài)7到狀態(tài)6F的轉(zhuǎn)換率為7λ(1-pd).

    在反方向的修復(fù)模型上,我們將從狀態(tài)i到狀態(tài)i+1進(jìn)行修復(fù)的修復(fù)率記為μ,其中在狀態(tài)轉(zhuǎn)換中使用LRC修復(fù)的修復(fù)率記為μ1,而對(duì)于pLRC從狀態(tài)9到狀態(tài)10的過程中使用(2,1) RS碼的修復(fù)率記為μ2.在pLRC中,對(duì)于使用磁盤預(yù)測(cè)技術(shù)預(yù)測(cè)出的故障磁盤,我們將采用(2,1) RS碼進(jìn)行局部修復(fù);對(duì)于未能預(yù)測(cè)出的故障磁盤,將仍使用LRC來進(jìn)行修復(fù).因此,pLRC中從狀態(tài)9到狀態(tài)10的修復(fù)率μ=(1-FDR)×μ1+FDR×μ2.

    我們可以按如下方式配置參數(shù):對(duì)于λ,我們假定一個(gè)節(jié)點(diǎn)的平均無故障時(shí)間(mean-time-to-failure, MTTF)為4年[5](也就是說,1λ=4年).我們把節(jié)點(diǎn)間的可用帶寬記為γ,集群中的節(jié)點(diǎn)數(shù)為M,單節(jié)點(diǎn)上的存儲(chǔ)量記為S,修復(fù)每一單元數(shù)據(jù)所需要的修復(fù)開銷記為C.例如,在(k,m,r)=(6,2,2)時(shí),對(duì)于LRC來說,C=(3×8+6×2)10=185,pd=86%[4],因此μ1=γ(M-1)(18S5);而對(duì)于pLRC來說,C=(2×8+6×2)10=145,因此μ2=γ(M-1)(14S5).

    2) 分析.我們現(xiàn)在對(duì)LRC和pLRC策略下的MTTDL進(jìn)行分析.采用2.1節(jié)所使用的SMART數(shù)據(jù)集,其中23 395個(gè)磁盤約30%作為測(cè)試集(M=7 019),使用一組經(jīng)典的參數(shù)(S=16 TB,網(wǎng)絡(luò)帶寬利用率為0.1)[5]來對(duì)不同網(wǎng)絡(luò)帶寬下的兩者的可靠性進(jìn)行計(jì)算.結(jié)果如表3所示:

    Table 3 MTTDLs of LRC and pLRC for Different Values of Bandwidth表3 不同帶寬下LRC和pLRC的MTTDL a

    從表3中數(shù)據(jù)我們得到,在不同的網(wǎng)絡(luò)帶寬下,pLRC的MTTDL最多比LRC提高113%.主要的原因是pLRC提前預(yù)測(cè)了磁盤故障,并使用修復(fù)效率較高的(2,1) RS碼進(jìn)行局部修復(fù),提升了系統(tǒng)的可靠性.我們還能看到,網(wǎng)絡(luò)帶寬越高,兩者的MTTDL均越高.這是由于網(wǎng)絡(luò)帶寬越高,其余參數(shù)不變的情況下,修復(fù)率μ也越高,從而提升了可靠性.

    3.2 修復(fù)帶寬分析

    對(duì)于(k,m,r) LRC和(k,m,r) pLRC,我們將LRC中修復(fù)每一單元所需的修復(fù)帶寬記為CLRC,將pLRC中修復(fù)每一單元所需的修復(fù)帶寬記為CpLRC.我們假定每個(gè)條帶中最多含有一個(gè)壞盤上的塊,通過對(duì)LRC進(jìn)行分析得到:

    (1)

    注意:pLRC將預(yù)測(cè)將要壞掉的數(shù)據(jù)塊使用(2,1)RS進(jìn)行恢復(fù),而未被預(yù)測(cè)中的塊則仍使用原來的(k,m,r) LRC進(jìn)行修復(fù).同時(shí),壞盤中的全局編碼塊也仍使用(k,m,r) LRC進(jìn)行修復(fù).因此,我們得到:

    (2)

    Fig. 5 Numerical results of recovery bandwidth for LRC and pLRC圖5 LRC和pLRC修復(fù)帶寬的理論分析結(jié)果

    通過計(jì)算式(1)、式(2)兩個(gè)等式的差可以得到pLRC相對(duì)于LRC減少的修復(fù)帶寬:

    (3)

    由式(3)可以得出,km越大以及FDR越大,則CLRC-CpLRC越大,也就是pLRC相對(duì)于LRC來說,修復(fù)帶寬減少得越多,修復(fù)帶寬越小.

    如2.1節(jié)所示,根據(jù)基于決策樹的磁盤預(yù)測(cè)算法的結(jié)果FDR≈93%,我們對(duì)(6,2,2) pLRC和(12,2,2) pLRC的修復(fù)帶寬分別進(jìn)行計(jì)算,并和相應(yīng)的LRC進(jìn)行比較,具體結(jié)果如圖5所示:

    從圖5可以看出,對(duì)于(6,2,2) LRC和(6,2,2) pLRC,CLRC=3.6,CpLRC=2.86,且CLRC-CpLRC=0.74.也就是說,修復(fù)一個(gè)單元的數(shù)據(jù),LRC需要3.6個(gè)單元的數(shù)據(jù)來進(jìn)行修復(fù),而pLRC僅需要2.86個(gè)單元即可修復(fù),此時(shí)pLRC相對(duì)LRC的修復(fù)帶寬下降了大約20.6%.同樣地,在(k,m,r)=(12,2,2)時(shí),pLRC相對(duì)LRC的修復(fù)帶寬下降了大約48.1%.

    我們發(fā)現(xiàn),(12,2,2) pLRC對(duì)(6,2,2)pLRC的修復(fù)開銷下降得更多,這是因?yàn)樵贔DR相同的情況下,(12,2,2) pLRC的km=6大于(6,2,2) pLRC 的km=3,由式(3)可知,前者的修復(fù)帶寬下降更多.這說明條帶越長,我們的算法效果越好,這符合實(shí)際云存儲(chǔ)廠商為了降低存儲(chǔ)成本采用大條帶的事實(shí)[16].

    3.3 pLRC更新開銷分析

    pLRC的更新開銷包括2個(gè)部分:LRC重組成pLRC和pLRC回歸為LRC時(shí),算法2與算法1更新操作所造成的傳輸.下面我們對(duì)(k,m,r) pLRC的這2個(gè)算法在重組與回歸過程中的更新造成的傳輸開銷進(jìn)行分析.

    1) 對(duì)算法1的更新方式的傳輸開銷進(jìn)行分析.在重組過程中,其將一個(gè)分組中的km個(gè)塊除去壞塊以及任意一個(gè)塊,也就是將剩余的km-2個(gè)塊隨機(jī)均勻轉(zhuǎn)移到其余m-1組中去.算法1需要對(duì)這m-1個(gè)組中的編碼塊進(jìn)行更新,同時(shí)也需要傳輸2個(gè)塊(壞塊以及任意一個(gè)塊)來對(duì)第1個(gè)分組中的編碼塊進(jìn)行更新,因而在重組過程中一共需要傳輸km個(gè)塊.在回歸過程中,算法1需要將之前重組出去的km-2個(gè)塊收集至第1個(gè)分組中以對(duì)第1個(gè)分組的編碼塊進(jìn)行更新,并且這km-2個(gè)塊需要對(duì)重組過程中更新的m-1個(gè)組的編碼塊進(jìn)行更新.在回歸過程中一共需要傳輸2(km-2)個(gè)塊.因此,我們可以得到算法1的更新方式的傳輸開銷為

    (4)

    2) 對(duì)算法2的更新方式的傳輸開銷進(jìn)行分析.在重組過程中,其將一個(gè)分組中剩余的km-2個(gè)塊均轉(zhuǎn)移至第2個(gè)分組中,這樣算法2可以先將2個(gè)塊(壞塊以及任意一個(gè)塊)傳至第1個(gè)分組中的編碼塊,以生成新的編碼塊.然后算法2利用第1個(gè)分組中舊的編碼塊與這2個(gè)塊生成一個(gè)異或塊,并將其傳至第2個(gè)分組的編碼塊上對(duì)編碼塊進(jìn)行更新.因而在重組過程中算法2一共需要傳輸3個(gè)塊.在回歸過程中,算法2需要將之前重組出去的km-2個(gè)塊收集至第1個(gè)分組中以對(duì)第1個(gè)分組的編碼塊進(jìn)行更新,同時(shí),算法2利用收集的這km-2個(gè)塊生成一個(gè)更新塊.然后算法2將這個(gè)更新塊傳至第2個(gè)分組的編碼塊上以對(duì)其進(jìn)行更新.這樣,在回歸過程中一共需要傳輸km-2+1=km-1個(gè)塊.因此,我們可以得到算法2的更新方式的傳輸開銷為

    (5)

    現(xiàn)在通過計(jì)算式(4)、式(5)兩個(gè)等式的差來得到算法2相對(duì)于算法1減少的傳輸開銷:

    (6)

    在LRC的算法中,分組中至少有3個(gè)塊(2個(gè)數(shù)據(jù)塊、1個(gè)編碼塊),因此km≥3.通過式(6)我們發(fā)現(xiàn)算法2的更新方式的傳輸開銷要小于等于算法1的開銷,且km越大,算法2的傳輸開銷相對(duì)于算法1來說越有優(yōu)勢(shì).

    根據(jù)式(4)(5),我們計(jì)算出不同分組內(nèi)塊數(shù)量下的算法傳輸開銷,如圖6所示:

    Fig. 6 Transfer cost of algorithm 1 and algorithm 2圖6 算法1和算法2更新方式的傳輸開銷

    從圖6中我們可以看到,算法1的開銷要大于算法2的開銷,且2種算法的開銷之差也隨著分組內(nèi)塊的數(shù)量的增多而不斷增加.

    4 實(shí)驗(yàn)與結(jié)果

    在本節(jié)中,我們?cè)谠粕线\(yùn)行了實(shí)驗(yàn),測(cè)試了pLRC的降級(jí)讀性能以及修復(fù)性能,并將其與LRC進(jìn)行對(duì)比.

    4.1 實(shí)驗(yàn)部署環(huán)境

    我們將pLRC部署在Facebook的HDFS[10]中,其通過整合HDFS-RAID[44]以在Hadoop Distributed File System (HDFS)[45]中支持糾刪碼.下面我們先對(duì)HDFS如何實(shí)現(xiàn)糾刪碼進(jìn)行概述,然后介紹我們?nèi)绾卧贖DFS中部署pLRC.

    4.1.1 HDFS簡(jiǎn)概

    HDFS是學(xué)術(shù)界和工業(yè)界部署應(yīng)用最為廣泛的分布式存儲(chǔ)系統(tǒng)之一.它由2種類型的節(jié)點(diǎn)組成:一個(gè)執(zhí)行管理操作并包含各種元數(shù)據(jù)的NameNode,以及多個(gè)包含數(shù)據(jù)的DataNode.HDFS將數(shù)據(jù)分為固定大小的塊,這些塊作為基本單元來進(jìn)行讀、寫以及編碼等操作.

    HDFS-RAID引入了一個(gè)RaidNode來處理糾刪碼的相關(guān)操作如編碼、修復(fù)等.RaidNode首先將數(shù)據(jù)存儲(chǔ)為多個(gè)副本,并將這些副本分布在不同節(jié)點(diǎn)上.一段時(shí)間后,RaidNode通過使用MapReduce[46]來將這些塊轉(zhuǎn)換為編碼過的塊.具體來說,為了構(gòu)建參數(shù)為(k,r)的糾刪碼,MapReduce作業(yè)中的map任務(wù)從不同的DataNode上收集k個(gè)編碼塊,然后將它們編碼為r個(gè)校驗(yàn)塊,并將這k+r個(gè)塊分布至k+r個(gè)DataNode上.此外,RaidNode還會(huì)定期檢查是否存在故障塊,并觸發(fā)修復(fù)操作來修復(fù)故障塊.

    4.1.2 pLRC部署

    下面我們將解釋如何擴(kuò)展Facebook的HDFS以對(duì)pLRC進(jìn)行支持.具體架構(gòu)如圖7所示:

    Fig. 7 Architecture of pLRC圖7 pLRC架構(gòu)圖

    1) LRC和pLRC編碼模塊.我們?cè)贖DFS上增加了LRC編碼,并實(shí)現(xiàn)了在預(yù)測(cè)到磁盤將要發(fā)生故障時(shí)將LRC編碼轉(zhuǎn)變?yōu)閜LRC編碼的相關(guān)模塊.我們主要實(shí)現(xiàn)了LRC以及pLRC這2種編碼的編解碼以及修復(fù)操作.對(duì)于LRC,我們主要是增加了分組,計(jì)算出分組內(nèi)的局部校驗(yàn)塊,并通過Placement Manager模塊指定其所有塊的放置位置. LRC的分組信息、分組內(nèi)局部校驗(yàn)塊的信息以及塊放置信息均存儲(chǔ)于RaidNode上,以備修復(fù)過程及轉(zhuǎn)換至pLRC時(shí)使用.對(duì)于pLRC, 我們首先在模塊中增加getPredictingInfo API,通過此API從磁盤故障預(yù)測(cè)算法中獲取預(yù)測(cè)的結(jié)果即壞盤;然后從NameNode獲取壞盤中所有壞塊相關(guān)的條帶信息,從RaidNode獲取分組、校驗(yàn)塊信息以及塊放置信息;最后通過傳輸塊對(duì)分組校驗(yàn)塊進(jìn)行更新,使得壞塊所在的條帶從LRC編碼轉(zhuǎn)變?yōu)閜LRC編碼.

    對(duì)于修復(fù)操作,我們主要關(guān)注單節(jié)點(diǎn)的故障修復(fù).現(xiàn)在支持2類修復(fù)操作:①節(jié)點(diǎn)修復(fù).指的是某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí),對(duì)其上所有丟失的數(shù)據(jù)塊進(jìn)行修復(fù).由于每個(gè)丟失的數(shù)據(jù)塊位于不同的條帶中,因此利用條帶中的其余數(shù)據(jù)對(duì)其進(jìn)行修復(fù).當(dāng)RaidNode檢測(cè)到節(jié)點(diǎn)故障時(shí),RaidNode會(huì)調(diào)用pLRC的修復(fù)函數(shù)來進(jìn)行節(jié)點(diǎn)修復(fù),其先從NameNode獲取相關(guān)所有條帶信息.對(duì)每一個(gè)條帶,pLRC從RaidNode上獲取相關(guān)的分組信息及放置信息,然后利用這些信息調(diào)用相關(guān)的DataNode傳輸修復(fù)所需的塊至新節(jié)點(diǎn)上以進(jìn)行修復(fù)操作.②降級(jí)讀.指的是修復(fù)某個(gè)當(dāng)前不可用的數(shù)據(jù)塊.我們對(duì)文件系統(tǒng)客戶端進(jìn)行了修改,當(dāng)客戶端讀取數(shù)據(jù)發(fā)現(xiàn)不能獲取某個(gè)塊時(shí),會(huì)觸發(fā)塊丟失故障異常.此時(shí)客戶端將調(diào)用RaidNode上的pLRC從相關(guān)DataNode上讀取分組中的相關(guān)塊來對(duì)丟失塊進(jìn)行修復(fù),并將修復(fù)出的塊傳給客戶端,從而完成降級(jí)讀操作.

    2) ISA-L計(jì)算模塊.以上的2種編碼我們均通過使用Intel的ISA-L[47]硬件加速庫來實(shí)現(xiàn)快速編解碼.我們通過Java Native Interface (JNI)來將具體的編解碼操作與Hadoop連接起來,從而極大地加速了編解碼操作.我們主要使用2個(gè)ISA-L的API:用來指定編碼系數(shù)的ec_init_tables以及用來具體執(zhí)行編解碼操作的ec_encode_data.這些ISA_L的API將基于硬件配置來自動(dòng)對(duì)計(jì)算過程進(jìn)行優(yōu)化.

    3) 數(shù)據(jù)布局.LRC及pLRC編碼在編解碼完成后需要考慮將數(shù)據(jù)塊如何在集群中進(jìn)行放置.因此我們將數(shù)據(jù)布局增添到HDFS中,通過對(duì)RaidNode中的數(shù)據(jù)布局管理模塊進(jìn)行更改,以此來指定條帶中的數(shù)據(jù)具體是如何放置的.即如何把編碼后的同一條帶中的數(shù)據(jù)塊與編碼塊隨機(jī)地放置到集群中的不同節(jié)點(diǎn)上或是將解碼后的數(shù)據(jù)塊放置到特定的節(jié)點(diǎn)上.

    4.2 實(shí)驗(yàn)配置與方法

    1) 實(shí)驗(yàn)環(huán)境配置.我們的實(shí)驗(yàn)部署在Amazon EC2[11]上.使用位于美國東部(弗吉尼亞北部)區(qū)域的17個(gè)m4.4xlarge實(shí)例來進(jìn)行實(shí)驗(yàn),其中有1個(gè)實(shí)例用作管理節(jié)點(diǎn)NameNode及編解碼節(jié)點(diǎn)RaidNode,其余16個(gè)實(shí)例用作數(shù)據(jù)節(jié)點(diǎn)DataNode.這些實(shí)例均基于Ubuntu 14.04的Linux平臺(tái),具體硬件配置為16核CPU、64 GB內(nèi)存、2 TB SSD.

    2) 實(shí)驗(yàn)方法.我們測(cè)試了4種不同參數(shù)下pLRC的降級(jí)讀延遲以及單節(jié)點(diǎn)修復(fù)時(shí)間,并與LRC進(jìn)行對(duì)比.這4組參數(shù)分別是:微軟Azure[4]中采用的(6,2,2),(12,2,2),F(xiàn)aceook集群[5]中采用的(10,2,4),以及理論最優(yōu)LRC[48]中采用的(6,2,3).

    對(duì)于(6,2,2) pLRC,我們使用了總量為6 TB的數(shù)據(jù)來進(jìn)行編碼,生成4 TB的編碼數(shù)據(jù); 對(duì)于(12,2,2) pLRC我們使用了總量為12 TB的數(shù)據(jù)來進(jìn)行編碼,生成4 TB的編碼數(shù)據(jù); 對(duì)于(10,2,4) pLRC我們使用了總量為10 TB的數(shù)據(jù)來進(jìn)行編碼,生成6 TB的編碼數(shù)據(jù); 對(duì)于(6,2,3) pLRC我們使用了總量為6 TB的數(shù)據(jù)來進(jìn)行編碼,生成5 TB的編碼數(shù)據(jù).我們將這些數(shù)據(jù)分別均勻分布在10,16,16及11個(gè)數(shù)據(jù)節(jié)點(diǎn)上,每個(gè)數(shù)據(jù)節(jié)點(diǎn)存放1 T數(shù)據(jù),取每個(gè)實(shí)驗(yàn)的5次平均運(yùn)行結(jié)果.

    4.3 實(shí)驗(yàn)結(jié)果

    1) 數(shù)據(jù)塊降級(jí)讀性能.我們測(cè)試了當(dāng)文件系統(tǒng)客戶端讀取一個(gè)不可用數(shù)據(jù)塊的降級(jí)讀性能.在系統(tǒng)中隨機(jī)擦除掉一個(gè)數(shù)據(jù)塊,然后讓文件系統(tǒng)客戶端通過降級(jí)讀的方式來獲取該數(shù)據(jù)塊.降級(jí)讀性能的測(cè)試結(jié)果如圖8所示:

    Fig. 8 Degraded read performance for LRC and pLRC圖8 LRC和pLRC的降級(jí)讀性能

    在圖8中可以看到,在(k,m,r)=(12,2,2) 時(shí),LRC的降級(jí)讀時(shí)延為42.25 ms,pLRC的降級(jí)讀時(shí)延為22.49 ms.pLRC相對(duì)于LRC來說減少了降級(jí)讀的時(shí)延,降級(jí)讀性能提升了大約46.8%.這主要是由于pLRC通過對(duì)預(yù)測(cè)到的壞盤使用(2,1) RS編碼,大大減少了降級(jí)讀時(shí)的修復(fù)開銷,從而使得降級(jí)讀性能得以提升.

    我們還發(fā)現(xiàn)pLRC相對(duì)LRC來說,其在(k,m,r)=(12,2,2)情況下的降級(jí)讀性能提升要比(k,m,r)=(6,2,2)大.和3.2節(jié)理論分析結(jié)果較為一致.

    2) 節(jié)點(diǎn)修復(fù)性能.我們還測(cè)試了節(jié)點(diǎn)修復(fù)性能,即當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí),系統(tǒng)對(duì)該節(jié)點(diǎn)上的多個(gè)數(shù)據(jù)塊進(jìn)行修復(fù)所消耗的時(shí)間.隨機(jī)選取一個(gè)節(jié)點(diǎn),擦除掉上面的所有塊,然后分別使用pLRC和LRC來修復(fù)該節(jié)點(diǎn)上被擦除的所有塊.節(jié)點(diǎn)修復(fù)性能的測(cè)試結(jié)果如圖9所示:

    Fig. 9 Node repair performance for LRC and pLRC圖9 LRC和pLRC的節(jié)點(diǎn)修復(fù)性能

    在圖9中我們可以看到,在(k,m,r)=(12,2,2) 時(shí),pLRC的節(jié)點(diǎn)修復(fù)時(shí)間為1.99×103s,LRC的節(jié)點(diǎn)修復(fù)時(shí)間為3.79×103s.pLRC相對(duì)于LRC修復(fù)時(shí)間下降了大約47.5%.在其余參數(shù)下情況類似.我們注意到(k,m,r)=(10,2,4)時(shí),pLRC的節(jié)點(diǎn)修復(fù)時(shí)間相對(duì)LRC下降較少,主要是由于這種情況有較多的全局編碼塊,需要使用大量數(shù)據(jù)塊來進(jìn)行修復(fù).

    5 總 結(jié)

    本文通過將基于機(jī)器學(xué)習(xí)的磁盤故障預(yù)測(cè)技術(shù)運(yùn)用到LRC中以對(duì)其固定分組大小的假設(shè)進(jìn)行改進(jìn),提出了一類基于預(yù)測(cè)的LRC編碼方案pLRC,該方案通過動(dòng)態(tài)調(diào)整系統(tǒng)中LRC的分組大小從而降低了修復(fù)帶寬,并提升了系統(tǒng)的可靠性.

    猜你喜歡
    磁盤校驗(yàn)分組
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    分組搭配
    修改磁盤屬性
    怎么分組
    爐溫均勻性校驗(yàn)在鑄鍛企業(yè)的應(yīng)用
    分組
    磁盤組群組及iSCSI Target設(shè)置
    創(chuàng)建VSAN群集
    大型電動(dòng)機(jī)高阻抗差動(dòng)保護(hù)穩(wěn)定校驗(yàn)研究
    基于加窗插值FFT的PMU校驗(yàn)方法
    国内精品久久久久久久电影| 成熟少妇高潮喷水视频| 国产亚洲欧美98| 狂野欧美激情性xxxx| 国产精品一区二区免费欧美| 成年版毛片免费区| 一区二区三区高清视频在线| 国产精品香港三级国产av潘金莲| 久久精品国产清高在天天线| 欧美中文综合在线视频| 黄色片一级片一级黄色片| 国产精品美女特级片免费视频播放器 | 91成年电影在线观看| 亚洲男人天堂网一区| 国产精品香港三级国产av潘金莲| 国产av一区二区精品久久| 久久国产精品男人的天堂亚洲| 国产成人系列免费观看| 美女大奶头视频| 人人妻人人澡欧美一区二区| 亚洲成人精品中文字幕电影| 亚洲国产毛片av蜜桃av| 国产精品久久久av美女十八| 亚洲国产看品久久| 欧美激情 高清一区二区三区| 满18在线观看网站| 国产区一区二久久| 色综合婷婷激情| 亚洲五月色婷婷综合| 又紧又爽又黄一区二区| 欧美激情高清一区二区三区| 99热只有精品国产| 日本免费a在线| 一本久久中文字幕| 可以在线观看的亚洲视频| 国产精品美女特级片免费视频播放器 | 欧美三级亚洲精品| av在线播放免费不卡| av有码第一页| 欧美成人一区二区免费高清观看 | av有码第一页| 亚洲一码二码三码区别大吗| 99久久无色码亚洲精品果冻| 午夜亚洲福利在线播放| 黄片小视频在线播放| 国产又色又爽无遮挡免费看| 国产精品久久久久久精品电影 | 天堂√8在线中文| 国产一级毛片七仙女欲春2 | 欧美黑人欧美精品刺激| 国产又爽黄色视频| 日韩精品免费视频一区二区三区| 少妇被粗大的猛进出69影院| 亚洲精品国产精品久久久不卡| 国产一区二区在线av高清观看| 亚洲精品国产精品久久久不卡| 成人免费观看视频高清| 久久久久久大精品| 亚洲九九香蕉| av视频在线观看入口| 99国产精品一区二区蜜桃av| 亚洲一码二码三码区别大吗| 18禁裸乳无遮挡免费网站照片 | 亚洲成人免费电影在线观看| 国产精品,欧美在线| 亚洲国产欧美一区二区综合| 级片在线观看| 国产午夜福利久久久久久| 欧美午夜高清在线| 1024视频免费在线观看| 欧美成狂野欧美在线观看| 国产黄色小视频在线观看| 成年版毛片免费区| 免费在线观看日本一区| 黄色a级毛片大全视频| 黄色毛片三级朝国网站| 中文字幕久久专区| 精品国内亚洲2022精品成人| 色综合婷婷激情| 又黄又爽又免费观看的视频| 又紧又爽又黄一区二区| 不卡一级毛片| 男人舔奶头视频| 欧美黑人精品巨大| 亚洲七黄色美女视频| 特大巨黑吊av在线直播 | 色综合站精品国产| 国产成人一区二区三区免费视频网站| 成人永久免费在线观看视频| 国产一区在线观看成人免费| 啪啪无遮挡十八禁网站| 日本在线视频免费播放| 侵犯人妻中文字幕一二三四区| 国产主播在线观看一区二区| 一本久久中文字幕| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩黄片免| 亚洲av成人av| 国内精品久久久久久久电影| 亚洲国产精品合色在线| 午夜福利欧美成人| 欧美黑人巨大hd| 欧美中文综合在线视频| 侵犯人妻中文字幕一二三四区| 免费电影在线观看免费观看| 黄片大片在线免费观看| 观看免费一级毛片| 亚洲精品中文字幕在线视频| 亚洲狠狠婷婷综合久久图片| 婷婷丁香在线五月| 激情在线观看视频在线高清| 国产精品免费一区二区三区在线| 一进一出抽搐动态| 91在线观看av| 两个人免费观看高清视频| 日本 欧美在线| 黄色丝袜av网址大全| 亚洲成人免费电影在线观看| 亚洲无线在线观看| 国产精品亚洲av一区麻豆| 熟妇人妻久久中文字幕3abv| 在线永久观看黄色视频| 91国产中文字幕| 高潮久久久久久久久久久不卡| 久久久久久九九精品二区国产 | 亚洲中文av在线| 成人亚洲精品一区在线观看| 亚洲第一青青草原| 久久久精品欧美日韩精品| 69av精品久久久久久| 国产色视频综合| 免费在线观看成人毛片| 天堂影院成人在线观看| 高潮久久久久久久久久久不卡| 观看免费一级毛片| 少妇的丰满在线观看| 亚洲成av人片免费观看| 国产精品久久视频播放| 久久这里只有精品19| 欧洲精品卡2卡3卡4卡5卡区| 熟妇人妻久久中文字幕3abv| www.自偷自拍.com| 久久久久久久久久黄片| 51午夜福利影视在线观看| 两性夫妻黄色片| 欧美中文日本在线观看视频| 久久久久免费精品人妻一区二区 | 精品久久久久久久末码| 啦啦啦韩国在线观看视频| 久久久久亚洲av毛片大全| 亚洲精品中文字幕一二三四区| 在线播放国产精品三级| 日韩欧美 国产精品| 精品久久久久久久毛片微露脸| 国产精品亚洲av一区麻豆| 国产精品99久久99久久久不卡| 男女床上黄色一级片免费看| 亚洲成国产人片在线观看| 黄色成人免费大全| 老汉色av国产亚洲站长工具| 嫁个100分男人电影在线观看| 国产久久久一区二区三区| 亚洲中文字幕一区二区三区有码在线看 | 午夜两性在线视频| www.999成人在线观看| 国产成人一区二区三区免费视频网站| 欧美 亚洲 国产 日韩一| 草草在线视频免费看| 久久天躁狠狠躁夜夜2o2o| 人妻丰满熟妇av一区二区三区| 国产精品久久久久久亚洲av鲁大| 一边摸一边抽搐一进一小说| 在线观看舔阴道视频| 国内揄拍国产精品人妻在线 | 亚洲午夜精品一区,二区,三区| 18禁国产床啪视频网站| 一进一出抽搐动态| 欧美日韩瑟瑟在线播放| 99精品欧美一区二区三区四区| 久99久视频精品免费| 欧美性长视频在线观看| 日本精品一区二区三区蜜桃| 中出人妻视频一区二区| 亚洲精品中文字幕在线视频| 久久亚洲真实| 9191精品国产免费久久| 国产蜜桃级精品一区二区三区| 在线观看免费午夜福利视频| 天天一区二区日本电影三级| 岛国视频午夜一区免费看| 亚洲成a人片在线一区二区| 国产精品一区二区精品视频观看| 亚洲国产精品sss在线观看| videosex国产| 国产麻豆成人av免费视频| 国产亚洲精品av在线| 大型黄色视频在线免费观看| 2021天堂中文幕一二区在线观 | x7x7x7水蜜桃| 国产亚洲av高清不卡| 亚洲av日韩精品久久久久久密| 特大巨黑吊av在线直播 | 久久久久久亚洲精品国产蜜桃av| 麻豆成人av在线观看| 国产亚洲欧美在线一区二区| 日韩欧美在线二视频| 日本免费一区二区三区高清不卡| 日韩欧美免费精品| 久久草成人影院| 精品国产乱子伦一区二区三区| 亚洲av五月六月丁香网| 亚洲国产精品sss在线观看| 淫秽高清视频在线观看| 久久香蕉激情| 淫妇啪啪啪对白视频| 亚洲精品中文字幕在线视频| www.999成人在线观看| 黄片大片在线免费观看| 国产片内射在线| 女同久久另类99精品国产91| 国产精品久久久人人做人人爽| 老鸭窝网址在线观看| 国产久久久一区二区三区| 国产精品99久久99久久久不卡| 一区二区日韩欧美中文字幕| 久久精品91无色码中文字幕| 日韩欧美国产在线观看| 人人妻人人澡欧美一区二区| 欧美日韩福利视频一区二区| 久热爱精品视频在线9| 国产精品日韩av在线免费观看| 欧洲精品卡2卡3卡4卡5卡区| 天天躁狠狠躁夜夜躁狠狠躁| 一进一出抽搐动态| 国产亚洲av高清不卡| 久久中文字幕人妻熟女| 精品一区二区三区av网在线观看| 国产主播在线观看一区二区| 国产视频内射| 欧美一区二区精品小视频在线| 久久亚洲真实| 亚洲专区字幕在线| 亚洲久久久国产精品| 精品久久蜜臀av无| 亚洲 国产 在线| 久久精品91无色码中文字幕| 国产亚洲精品一区二区www| 国产91精品成人一区二区三区| 欧美色欧美亚洲另类二区| 国产乱人伦免费视频| 香蕉av资源在线| 国产亚洲av嫩草精品影院| 啦啦啦韩国在线观看视频| 久久亚洲精品不卡| 最新在线观看一区二区三区| 日韩精品青青久久久久久| 国产成人影院久久av| 中文字幕精品免费在线观看视频| 国产欧美日韩精品亚洲av| 一进一出抽搐动态| 成人欧美大片| 欧美日韩黄片免| 国产av一区二区精品久久| 久久天躁狠狠躁夜夜2o2o| 一本精品99久久精品77| 欧美成人午夜精品| 99精品欧美一区二区三区四区| 好男人在线观看高清免费视频 | 18禁黄网站禁片免费观看直播| 他把我摸到了高潮在线观看| www.www免费av| 精品一区二区三区四区五区乱码| 免费在线观看日本一区| 18禁观看日本| 久久人妻福利社区极品人妻图片| 免费在线观看日本一区| 国产av一区二区精品久久| 国产97色在线日韩免费| 亚洲成人久久性| 国产精品 国内视频| 国产伦在线观看视频一区| 一二三四社区在线视频社区8| 老司机福利观看| 久久欧美精品欧美久久欧美| 99精品久久久久人妻精品| 精品不卡国产一区二区三区| 99久久无色码亚洲精品果冻| 天天一区二区日本电影三级| 日本免费a在线| 麻豆一二三区av精品| 18禁国产床啪视频网站| 色综合欧美亚洲国产小说| 男人舔女人的私密视频| 欧美乱妇无乱码| 婷婷精品国产亚洲av| 香蕉丝袜av| 免费一级毛片在线播放高清视频| 国产精品二区激情视频| 日本在线视频免费播放| 国产又色又爽无遮挡免费看| 99久久综合精品五月天人人| 2021天堂中文幕一二区在线观 | 国产男靠女视频免费网站| 一本一本综合久久| 精品少妇一区二区三区视频日本电影| 免费女性裸体啪啪无遮挡网站| 成人精品一区二区免费| 欧美成人性av电影在线观看| 一级毛片精品| 国产欧美日韩精品亚洲av| 天堂影院成人在线观看| 一区二区日韩欧美中文字幕| 午夜久久久在线观看| 午夜福利18| 免费在线观看黄色视频的| 亚洲精品在线美女| 久久久久国内视频| 国产精品99久久99久久久不卡| 性色av乱码一区二区三区2| 亚洲av成人一区二区三| 亚洲精品美女久久久久99蜜臀| 欧美国产日韩亚洲一区| av欧美777| 国产97色在线日韩免费| 日本五十路高清| 欧美日韩福利视频一区二区| 午夜视频精品福利| 久久九九热精品免费| 婷婷精品国产亚洲av| 最近最新中文字幕大全免费视频| 不卡av一区二区三区| 99国产综合亚洲精品| 亚洲av中文字字幕乱码综合 | 国产成+人综合+亚洲专区| 美女高潮到喷水免费观看| 国产成人av激情在线播放| 久久亚洲精品不卡| 成人三级做爰电影| 午夜影院日韩av| 99久久国产精品久久久| 一进一出抽搐gif免费好疼| 桃红色精品国产亚洲av| 中文亚洲av片在线观看爽| 亚洲黑人精品在线| 欧美国产精品va在线观看不卡| 听说在线观看完整版免费高清| 精品久久久久久久人妻蜜臀av| 欧美激情 高清一区二区三区| 久久久久精品国产欧美久久久| 亚洲片人在线观看| 欧美日韩亚洲国产一区二区在线观看| 精品国产一区二区三区四区第35| 午夜福利成人在线免费观看| av在线播放免费不卡| 99热6这里只有精品| 日本熟妇午夜| 少妇被粗大的猛进出69影院| 久久性视频一级片| 国产99久久九九免费精品| 精品电影一区二区在线| 听说在线观看完整版免费高清| √禁漫天堂资源中文www| 欧美日韩黄片免| 久久人妻福利社区极品人妻图片| 在线播放国产精品三级| 韩国精品一区二区三区| 国产精品久久久久久人妻精品电影| 免费观看精品视频网站| 亚洲成人精品中文字幕电影| 午夜免费激情av| 真人做人爱边吃奶动态| 日韩欧美一区视频在线观看| 欧美人与性动交α欧美精品济南到| 香蕉久久夜色| 国产精品久久久久久精品电影 | 亚洲美女黄片视频| 夜夜夜夜夜久久久久| 午夜免费成人在线视频| 久久久久久亚洲精品国产蜜桃av| 美女免费视频网站| 亚洲男人的天堂狠狠| 日韩 欧美 亚洲 中文字幕| 欧美成人免费av一区二区三区| 国产又爽黄色视频| 欧洲精品卡2卡3卡4卡5卡区| 国产一卡二卡三卡精品| 高潮久久久久久久久久久不卡| 免费电影在线观看免费观看| 啦啦啦观看免费观看视频高清| 波多野结衣高清作品| 精品国内亚洲2022精品成人| 91成年电影在线观看| 亚洲午夜理论影院| 91av网站免费观看| 国产精品乱码一区二三区的特点| 日韩av在线大香蕉| 一级a爱视频在线免费观看| 国产精品 国内视频| 在线观看66精品国产| 久久久久国内视频| 999精品在线视频| 亚洲人成电影免费在线| 人人妻,人人澡人人爽秒播| 在线看三级毛片| 无遮挡黄片免费观看| 欧美黄色淫秽网站| 中文字幕人成人乱码亚洲影| 久久久国产成人精品二区| ponron亚洲| 丝袜人妻中文字幕| 一区二区三区精品91| 欧美大码av| 伊人久久大香线蕉亚洲五| 精品久久久久久久末码| 欧美性长视频在线观看| 国产精品精品国产色婷婷| 亚洲欧美日韩高清在线视频| 国产精品香港三级国产av潘金莲| 人人妻人人澡人人看| 日本成人三级电影网站| 精品免费久久久久久久清纯| 韩国av一区二区三区四区| 精品久久久久久久毛片微露脸| 成人国产综合亚洲| 88av欧美| 一本精品99久久精品77| 久久狼人影院| 亚洲欧美激情综合另类| 日本免费一区二区三区高清不卡| 亚洲色图 男人天堂 中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 丝袜美腿诱惑在线| 高潮久久久久久久久久久不卡| 精品国产一区二区三区四区第35| 午夜激情福利司机影院| 久久久久久九九精品二区国产 | 亚洲第一欧美日韩一区二区三区| 亚洲片人在线观看| 亚洲在线自拍视频| 亚洲人成77777在线视频| 美国免费a级毛片| av视频在线观看入口| 久热爱精品视频在线9| 成年人黄色毛片网站| 大型黄色视频在线免费观看| 少妇的丰满在线观看| 欧美黑人精品巨大| 日韩大尺度精品在线看网址| 成在线人永久免费视频| 成年版毛片免费区| 男人操女人黄网站| 久久人人精品亚洲av| 人妻久久中文字幕网| 1024香蕉在线观看| 99国产精品99久久久久| 国产高清有码在线观看视频 | 亚洲 国产 在线| 最新在线观看一区二区三区| 黄色女人牲交| 怎么达到女性高潮| 亚洲九九香蕉| 侵犯人妻中文字幕一二三四区| 久久亚洲真实| 色老头精品视频在线观看| 亚洲成av片中文字幕在线观看| 国产黄a三级三级三级人| 成人亚洲精品av一区二区| 婷婷精品国产亚洲av在线| 非洲黑人性xxxx精品又粗又长| 一区二区三区高清视频在线| 这个男人来自地球电影免费观看| 国产精品自产拍在线观看55亚洲| 黄色片一级片一级黄色片| 精品久久久久久久毛片微露脸| 国产成人av激情在线播放| 久久精品国产清高在天天线| www.精华液| 久久狼人影院| 国产v大片淫在线免费观看| 亚洲美女黄片视频| 国产日本99.免费观看| 神马国产精品三级电影在线观看 | 色精品久久人妻99蜜桃| 亚洲国产精品合色在线| 嫩草影院精品99| 一级毛片高清免费大全| 亚洲精品美女久久av网站| 91大片在线观看| 少妇被粗大的猛进出69影院| 色综合欧美亚洲国产小说| 嫩草影视91久久| 午夜精品久久久久久毛片777| 免费在线观看影片大全网站| 国产成人欧美在线观看| 黄片小视频在线播放| 看黄色毛片网站| 亚洲aⅴ乱码一区二区在线播放 | 在线永久观看黄色视频| 精品久久久久久久人妻蜜臀av| 满18在线观看网站| 久久久久久免费高清国产稀缺| 日本撒尿小便嘘嘘汇集6| 亚洲片人在线观看| 国产精品野战在线观看| 69av精品久久久久久| 亚洲一区二区三区色噜噜| av片东京热男人的天堂| 黄色女人牲交| 色综合婷婷激情| 夜夜爽天天搞| 男人舔女人的私密视频| 午夜久久久在线观看| 99在线人妻在线中文字幕| 免费在线观看视频国产中文字幕亚洲| 在线观看免费日韩欧美大片| 国产野战对白在线观看| 成人18禁高潮啪啪吃奶动态图| 91成年电影在线观看| 777久久人妻少妇嫩草av网站| 99精品久久久久人妻精品| 搡老岳熟女国产| 精品久久久久久久久久免费视频| 黄色视频,在线免费观看| 在线观看66精品国产| 精品欧美国产一区二区三| 老司机靠b影院| 欧美黑人巨大hd| 日韩高清综合在线| 欧美精品啪啪一区二区三区| 精品免费久久久久久久清纯| 黑人操中国人逼视频| 国产亚洲欧美在线一区二区| 久久青草综合色| 老汉色av国产亚洲站长工具| 脱女人内裤的视频| 19禁男女啪啪无遮挡网站| 50天的宝宝边吃奶边哭怎么回事| 亚洲精品美女久久久久99蜜臀| 精品国产乱子伦一区二区三区| 久久久水蜜桃国产精品网| 日日摸夜夜添夜夜添小说| 国产亚洲欧美在线一区二区| 国产激情偷乱视频一区二区| 91成年电影在线观看| 91九色精品人成在线观看| 亚洲性夜色夜夜综合| 一本综合久久免费| 少妇裸体淫交视频免费看高清 | 少妇的丰满在线观看| 欧美黑人欧美精品刺激| 色播在线永久视频| 俄罗斯特黄特色一大片| 日日夜夜操网爽| 老司机在亚洲福利影院| 亚洲av第一区精品v没综合| 免费在线观看视频国产中文字幕亚洲| 露出奶头的视频| 国产1区2区3区精品| 国产三级黄色录像| 欧美最黄视频在线播放免费| 日本精品一区二区三区蜜桃| 午夜免费鲁丝| 岛国视频午夜一区免费看| 男女那种视频在线观看| 18禁国产床啪视频网站| 91老司机精品| 亚洲av成人av| 真人做人爱边吃奶动态| 亚洲性夜色夜夜综合| 国产精品乱码一区二三区的特点| 成人午夜高清在线视频 | 国产精品九九99| 午夜日韩欧美国产| 俄罗斯特黄特色一大片| 757午夜福利合集在线观看| 亚洲国产精品成人综合色| 国产视频一区二区在线看| 久久午夜亚洲精品久久| 久久精品人妻少妇| 女人被狂操c到高潮| 午夜a级毛片| 观看免费一级毛片| 国产一区二区在线av高清观看| 欧美精品亚洲一区二区| 国产视频内射| 男女床上黄色一级片免费看| 婷婷亚洲欧美| 老司机午夜十八禁免费视频| 国产成年人精品一区二区| 欧美激情久久久久久爽电影| 国产精品美女特级片免费视频播放器 | 黄色毛片三级朝国网站| 日本 欧美在线| 91字幕亚洲| 成人18禁高潮啪啪吃奶动态图| 51午夜福利影视在线观看| 天天躁夜夜躁狠狠躁躁| 国产aⅴ精品一区二区三区波| 日本a在线网址| 12—13女人毛片做爰片一| 高清在线国产一区| 免费看美女性在线毛片视频| 日韩欧美 国产精品| 国产精品永久免费网站| 色综合站精品国产| 麻豆成人av在线观看| 狂野欧美激情性xxxx| 女性生殖器流出的白浆| 亚洲熟女毛片儿| 欧美日韩亚洲国产一区二区在线观看| 精品久久久久久久毛片微露脸| 不卡一级毛片| 亚洲第一电影网av| 亚洲av第一区精品v没综合| 97碰自拍视频|