使用RAID6減少重建失敗的技術(shù)對(duì)比和分析

張鵬 魏振東

摘要

RAID技術(shù)在信息系統(tǒng)中廣泛應(yīng)用并發(fā)揮著重要作用，隨著大容量硬盤的廣泛應(yīng)用，傳統(tǒng)RAID5的方式在實(shí)際使用過程中出現(xiàn)可靠性問題的概率越來越大，一定程度上影響到關(guān)鍵重要信息系統(tǒng)的連續(xù)性，甚至造成數(shù)據(jù)丟失。本文基于RAID技術(shù)現(xiàn)有應(yīng)用和大容量硬盤廣泛使用的背景下，從硬盤URE、錯(cuò)誤處理、重建時(shí)間、失效機(jī)率等方面論述RAID5存在的各種問題和使用RAID6的必要性。

【關(guān)鍵詞】大容量硬盤 RAID5RAID6URE 可靠性 重建

全球數(shù)據(jù)存儲(chǔ)量呈現(xiàn)爆炸式增長(zhǎng)，企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的容量高速增長(zhǎng)，據(jù)Gartner預(yù)測(cè)，到2020年，全球數(shù)據(jù)量將達(dá)到35ZB，等于80億塊4TB硬盤。數(shù)據(jù)結(jié)構(gòu)變化給存儲(chǔ)系統(tǒng)帶來新的挑戰(zhàn)。非結(jié)構(gòu)化數(shù)據(jù)在存儲(chǔ)系統(tǒng)中所占據(jù)比例接近80%。

隨著海量數(shù)據(jù)增長(zhǎng)和存儲(chǔ)技術(shù)的快速發(fā)展，硬盤容量也變的越來越大，硬盤故障后的重建時(shí)間變的越來越長(zhǎng)。為減少數(shù)據(jù)重建時(shí)間，國(guó)內(nèi)部分廠商開發(fā)了不同的RAID技術(shù)，像華為的塊級(jí)虛擬化、宏杉的Cell等技術(shù)可實(shí)現(xiàn)數(shù)據(jù)的快速重建。由于種種原因，國(guó)外廠商如EMC、IBM等存儲(chǔ)廠商仍然沿用成熟的RAID1.0。服務(wù)器、小型NAS等設(shè)備也只支持傳統(tǒng)RAID技術(shù)。

本文基于RAID技術(shù)現(xiàn)有應(yīng)用和大容量硬盤廣泛使用的背景下，從硬盤URE、錯(cuò)誤處理、重建時(shí)間、失效機(jī)率等方面論述RAID5存在的各種問題和使用RAID6的必要性。

1 為什么需要放棄RAID5

1.1 URE

硬盤有個(gè)指標(biāo)叫URE，也就是Unrecoverable Read Error Rate，不可恢復(fù)讀取錯(cuò)誤。一般普通的桌面級(jí)別硬盤，這個(gè)指標(biāo)的值為1×10^-14，企業(yè)級(jí)硬盤URl通常是1×10^-15甚至是1×10^-16。意味著每讀取10^14bit的數(shù)據(jù)，就有可能產(chǎn)生1bit的錯(cuò)誤。問題在于這個(gè)錯(cuò)誤是無法被檢測(cè)和修復(fù)的。10^14bit大約相當(dāng)于12.5TB的數(shù)據(jù)，也就是說每讀取12.5TB的數(shù)據(jù)，就有可能產(chǎn)生一個(gè)錯(cuò)誤的讀取。由于目前硬盤容量越來越大，這種現(xiàn)象會(huì)越來越嚴(yán)重。

1.2 錯(cuò)誤處理

當(dāng)整個(gè)RAID組有一塊硬盤出現(xiàn)故障時(shí)需要進(jìn)行重建。重建時(shí)需要讀取其他硬盤的數(shù)據(jù)來計(jì)算出故障硬盤的數(shù)據(jù)。在重建過程中，除了需要考慮重建的時(shí)間之外，還要考慮的就是URE的影響，如果RAID組的容量足夠大、硬盤數(shù)量較多，就會(huì)有很大的概率出現(xiàn)讀取錯(cuò)誤的。

發(fā)生讀錯(cuò)誤時(shí)，根據(jù)控制器的不同，會(huì)有幾種狀況，下面簡(jiǎn)單列幾種可能：

（1）硬盤沒有發(fā)現(xiàn)讀錯(cuò)誤，但實(shí)際讀出的數(shù)據(jù)是錯(cuò)的，結(jié)果是數(shù)據(jù)至少有1bit是損壞的，而且不會(huì)主動(dòng)發(fā)現(xiàn);

（2）硬盤發(fā)現(xiàn)讀錯(cuò)誤，可能是校驗(yàn)失敗，并開始數(shù)據(jù)修復(fù)，分下列幾種情況。a.修復(fù)成功;b.花過多時(shí)間修復(fù)，RAID控制器會(huì)認(rèn)為硬盤故障而將此硬盤離線。如果RAID組正在重建，則整個(gè)RAID組將失效;c.因硬盤的TLER（Time-Limited Error Recovery）設(shè)置而及時(shí)放棄修復(fù)，RAID控制器收到錯(cuò)誤消息并記錄;如果有冗余，則會(huì)嘗試用其他硬盤資料重建這個(gè)bit。如果正在重建，控制器通常會(huì)跳過這個(gè)bit，實(shí)際數(shù)據(jù)會(huì)是錯(cuò)誤的。

1.3 重建時(shí)間

通常SATA7200轉(zhuǎn)硬盤讀寫速度115MB/S，2TB單盤容量重建理論上要5小時(shí)以上，實(shí)際由于存儲(chǔ)系統(tǒng)還需處理負(fù)載，不可能達(dá)到這個(gè)速度，一般會(huì)需要2到5倍的時(shí)長(zhǎng)，即最長(zhǎng)可能要24小時(shí)以上。筆者實(shí)際構(gòu)建一個(gè)的RAID5陣列，從5塊擴(kuò)充到7塊單體4TB硬盤，重建時(shí)間約需20小時(shí)。

在這個(gè)時(shí)間里，潛在的硬盤故障可能會(huì)出現(xiàn)。同時(shí)機(jī)械硬盤讀寫速度短期內(nèi)難有大的突破，重構(gòu)時(shí)間也就無法縮短，故障恢復(fù)過程中的再故障幾率就難以避免。對(duì)于重要業(yè)務(wù)系統(tǒng)，即使有數(shù)據(jù)備份，也要面臨業(yè)務(wù)連續(xù)性中斷的問題。

1.4 成功重建機(jī)率

當(dāng)一個(gè)由7塊2TB硬盤組成的RAID5出現(xiàn)故障時(shí)，剩余6塊2TB硬盤。RAID控制器重建數(shù)據(jù)時(shí)，很可能會(huì)發(fā)生一個(gè)LYRE導(dǎo)致RAID重建失敗。

通過計(jì)算（1-1/（2.4×10^10））^（2.3×10^10）=0.3835得出，因不可糾正的讀取錯(cuò)誤而導(dǎo)致數(shù)據(jù)丟失的機(jī)率約為62%。

很多用戶認(rèn)為磁盤故障是獨(dú)立的偶然事件，但長(zhǎng)期經(jīng)驗(yàn)表明事實(shí)并非如此，一個(gè)驅(qū)動(dòng)器故障意味著其余的更有可能發(fā)生故障。

2 為什么RAID6是更好的選擇

大容量硬盤會(huì)造成更長(zhǎng)的數(shù)據(jù)重建時(shí)間，會(huì)增加第二塊硬盤在重建過程中發(fā)生故障的可能性，RAID6消除了這種風(fēng)險(xiǎn)。RAID6中通過計(jì)算得到第二組奇偶校驗(yàn)，并將它們寫到所有的硬盤上，這樣在兩塊硬盤同時(shí)發(fā)生故障時(shí)也不會(huì)導(dǎo)致數(shù)據(jù)丟失，因此第二組奇偶校驗(yàn)?zāi)軌蛱峁└叩娜蒎e(cuò)能力。

從磁盤容量方面分析，RAID5最少需要3塊硬盤，存儲(chǔ)容量為N-1塊硬盤。RAID6最少需要4塊硬盤，具有N-2塊硬盤的可用容量，有兩塊硬盤的容量被用于保存奇偶校驗(yàn)數(shù)據(jù)。雖然需要更多的磁盤，卻可以保證更高級(jí)別的數(shù)據(jù)保護(hù)、數(shù)據(jù)可用性和容錯(cuò)能力，相對(duì)更高級(jí)別和成本的RAID10是很有優(yōu)勢(shì)的。

性能基準(zhǔn)測(cè)試顯示，RAID5與RAID6的讀性能基本相當(dāng)，綜合寫性能下降20%～25%。目前很多RAID控制器生產(chǎn)商設(shè)計(jì)了例如并行雙奇偶校驗(yàn)和專用條帶管理器等新技術(shù)，目的是將RAID6寫損失減少到最小程度。部分主流RAID控制器已經(jīng)能將寫損失減少到10%左右。

3 結(jié)語

RAID6擁有快速的讀取性能和更高的容錯(cuò)能力，更加注重?cái)?shù)據(jù)安全性，對(duì)于可靠性至關(guān)重要的系統(tǒng)來說，RAID6才是首選。在給予RAID6技術(shù)充分肯定的同時(shí)，并不意味著對(duì)其他RAID技術(shù)的否定，需根據(jù)不同需求進(jìn)行選擇。當(dāng)硬盤容量越來越大，新技術(shù)不斷出現(xiàn)時(shí)，也同樣會(huì)給RAID6帶來威脅。

參考文獻(xiàn)

[1]張冬.大話存儲(chǔ)[M].北京：清華大學(xué)出版社，2015.

[2]章宏?duì)N，薛巍.集群RAID5存儲(chǔ)系統(tǒng)可靠性分析[J].計(jì)算機(jī)研究與發(fā)展，2010，47（04）.

[3]Robin Harris.Why RAID 6 stops workingin 2019.ZDNet Storage Bit，2010.

[4]陳華英.磁盤陣列RAID可靠性分析[J].電子科技大學(xué)學(xué)報(bào)，2006（06）.