社交網(wǎng)站如何“冷”處理海量圖片

目前互聯(lián)網(wǎng)上最火的應(yīng)用應(yīng)該算是社交網(wǎng)站了，隨著用戶數(shù)的激增，一些頂級(jí)的社交網(wǎng)站每天要分享近20億張照片，而且需求還在不斷增加。那么這些社交網(wǎng)站是怎么實(shí)現(xiàn)這種海量照片的存儲(chǔ)和分享的？其幕后功臣之一就是Cold Storage系統(tǒng)。

知識(shí)掃盲——認(rèn)識(shí)Cold Storage

Cold Storage直譯過來就是“冷存儲(chǔ)”，意思就是存儲(chǔ)歷史數(shù)據(jù)的存儲(chǔ)系統(tǒng)。大家知道每天都有數(shù)以千萬計(jì)的用戶在社交網(wǎng)站上發(fā)布自己的社交日記，很多日記都包含圖片。因?yàn)樯缃恍畔⒌膫鞑ゾ哂屑皶r(shí)性的特點(diǎn)，常常發(fā)布幾天后圖片就基本沒什么人訪問。因此社交網(wǎng)站歷史圖片數(shù)量非常多，為了保存這些歷史圖片，他們通過購買數(shù)量龐大的低端商品化硬盤來保存這些圖片，數(shù)量之大，可以存放數(shù)百PB的數(shù)據(jù)（圖1）。

不只是簡單的存儲(chǔ)——Cold Storage工作原理解密

如上所述，社交網(wǎng)站每天都要保存海量的圖片，但是Cold Storage并非只是簡單保存這些數(shù)據(jù)。因?yàn)槊刻煊泻芏嘤脩粼诜窒砥渲械膱D片，這樣網(wǎng)站不僅要保證歷史圖片的顯示，而且要方便用戶從服務(wù)器數(shù)據(jù)庫中引用。這樣Cold Storage系統(tǒng)就要和開放機(jī)架、網(wǎng)絡(luò)、數(shù)據(jù)中心等其他組成部分配合，同時(shí)還要保證數(shù)據(jù)的安全。Cold Storage主要是通過下面的技術(shù)手段實(shí)現(xiàn)的。

1. Open Vault Storage解決方案

Open Vault Storage是一套專門針對(duì)Open Rack（開放計(jì)算的機(jī)架標(biāo)準(zhǔn)）打造的簡單高效的存儲(chǔ)解決方案。它采用了模塊化的I/O拓?fù)?，每個(gè)2U機(jī)框可容納30塊硬盤，這樣就可以在盡可能少的空間里擺放最多的硬盤，達(dá)到最高的存儲(chǔ)/空間比。Open Vault Storage另一個(gè)重要特性就是交互性強(qiáng)，它幾乎可以與任何服務(wù)器實(shí)現(xiàn)交互操作。這樣社交網(wǎng)站服務(wù)器系統(tǒng)就能夠?qū)崿F(xiàn)和Cold Storage的數(shù)據(jù)交換（類似本地硬盤連接到Windows系統(tǒng)中），方便用戶在網(wǎng)站上可以任意實(shí)現(xiàn)圖片的下載、引用和分享（圖2）。

2. 數(shù)據(jù)安全保護(hù)神——Reed Solomon Coding糾刪碼技術(shù)

對(duì)于每個(gè)企業(yè)來說，保障數(shù)據(jù)安全始終是重中之重的事情。特別是對(duì)于大型的網(wǎng)站企業(yè)，由于它們的數(shù)據(jù)量極其龐大，因此Cold Storage除了解決簡單存儲(chǔ)功能外還要保證數(shù)據(jù)安全。目前Cold Storage系統(tǒng)使用的是“Reed Solomon Coding糾刪碼技術(shù)”。

這種技術(shù)使用的是存儲(chǔ)領(lǐng)域常用的數(shù)據(jù)冗余技術(shù)，它的原理是將一份原始數(shù)據(jù)分成n塊，然后根據(jù)這些分好的數(shù)據(jù)塊再生成m個(gè)校驗(yàn)塊。這樣當(dāng)原始數(shù)據(jù)發(fā)生損壞的時(shí)候，我們利用特定的算法，從n個(gè)原始數(shù)據(jù)塊和m個(gè)校驗(yàn)塊中任取x塊組合就能解碼出原始數(shù)據(jù)（圖3）。

通過冗余技術(shù)，Cold Storage可以通過較小的成本實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和冗余保護(hù)。從技術(shù)角度講，校驗(yàn)塊越多，安全性保障就越高，但同時(shí)需要存儲(chǔ)校驗(yàn)塊的容量開銷就越大，從而提高存儲(chǔ)成本。為了實(shí)現(xiàn)最佳的平衡，一些大型的社交網(wǎng)站目前的配置是10：4（即每10塊硬盤配4塊校驗(yàn)盤）。這樣只要使用1.4GB存儲(chǔ)空間就可以保障1GB數(shù)據(jù)的安全（圖4）。

3. 規(guī)模越大性能越好

社交網(wǎng)站上保存的數(shù)據(jù)非常多，而且每天24小時(shí)都要面對(duì)數(shù)以千萬計(jì)的用戶的訪問。對(duì)于常規(guī)的系統(tǒng)規(guī)模變大后性能就會(huì)降低，但是Cold Storage系統(tǒng)卻可以實(shí)現(xiàn)規(guī)模越大性能越好。因?yàn)檫@個(gè)系統(tǒng)在每次增加容量時(shí)軟件都要對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行再平衡，即將原有數(shù)據(jù)分配到新的硬件上，并釋放之前用過的空間。這樣增加容量后對(duì)系統(tǒng)的性能就不會(huì)有影響，同時(shí)借助網(wǎng)站強(qiáng)大的服務(wù)器硬件和云計(jì)算、并行計(jì)算能力，Cold Storage可以實(shí)現(xiàn)規(guī)模越大性能越好，隨時(shí)隨刻都能夠給用戶良好的交互體驗(yàn)。