Facebook數(shù)據(jù)中心建設(shè)模式分析

文｜安真

Facebook數(shù)據(jù)中心建設(shè)模式分析

文｜安真

F a c e b o o k于 2011年發(fā)起開放計(jì)算項(xiàng)目（OCP，Open Compute Project），并不斷更新其版本，試圖讓其定制的服務(wù)器、服務(wù)器電源形式以及三聯(lián)柜模組能夠成為市場主流的標(biāo)準(zhǔn)產(chǎn)品，并相應(yīng)更改傳統(tǒng)數(shù)據(jù)中心的供電供冷架構(gòu)，推動服務(wù)器行業(yè)和基礎(chǔ)設(shè)施行業(yè)的產(chǎn)業(yè)鏈發(fā)生巨大調(diào)整，從而改變現(xiàn)有的市場格局。

Facebook如此行為的動機(jī)和意義何在？他推行的數(shù)據(jù)中心會不會成為數(shù)據(jù)中心建設(shè)的典范和趨勢？應(yīng)該如何評價OCP的價值？本文圍繞Facebook數(shù)據(jù)中心場地基礎(chǔ)設(shè)施的架構(gòu)，系統(tǒng)梳理分析了OCP的特點(diǎn)，發(fā)現(xiàn)Facebook的數(shù)據(jù)中心簡單實(shí)用，具有很多獨(dú)到之處，值得研習(xí)。

一、通過服務(wù)器的定制和變革簡化供配電系統(tǒng)。

（一）Facebook定制服務(wù)器的配電架構(gòu)簡介

Facebook的數(shù)據(jù)中心沒有使用市場在售的標(biāo)準(zhǔn)服務(wù)器，而是定制了特殊的服務(wù)器。這種服務(wù)器的電源形式與傳統(tǒng)服務(wù)器存在一些差別，這是其開放數(shù)據(jù)中心的基礎(chǔ)，也是其配電系統(tǒng)改革的支撐。

Facebook的服務(wù)器的供配電系統(tǒng)更簡單，傳統(tǒng)配電系統(tǒng)原有的UPS（包括整流、逆變等多項(xiàng)功能）及其相關(guān)的開關(guān)、電池、旁路等復(fù)雜的電氣架構(gòu)和控制系統(tǒng)統(tǒng)統(tǒng)不見了，供配電系統(tǒng)只剩下市政電源、柴油發(fā)電機(jī)、變壓器和連接線纜了。很明顯，這種電氣系統(tǒng)大大減少了電力輸配路徑的多次交直流轉(zhuǎn)換，減少了系統(tǒng)的組件、降低了系統(tǒng)的復(fù)雜程度，在大大降低成本的同時，也減少了電氣損耗，為節(jié)能做出了一定貢獻(xiàn)。

（二）Facebook定制服務(wù)器配電架構(gòu)的可靠性分析

這讓天天討論可靠性的電氣工程師們大吃了一驚，這種系統(tǒng)，可靠性能有保證嗎？可是，我們研究一下Facebook的公開材料，就會發(fā)現(xiàn)Facebook并不承認(rèn)他的供電架構(gòu)會降低可靠性，其提供的可靠性計(jì)算見下圖：

在Facebook公開的計(jì)算書中，我們可以看到，在基礎(chǔ)數(shù)據(jù)基本相同的情況下，傳統(tǒng)數(shù)據(jù)中心是4個9，OCP則是6個9，OCP的可靠性明顯高于傳統(tǒng)機(jī)房。這個計(jì)算結(jié)果引起了不少從業(yè)人員的懷疑。果真如此的話，傳統(tǒng)的UPS不是白設(shè)了嗎？是他的計(jì)算有問題，還是他不會算，抑或是算錯了嗎？

理論上，他的可靠性計(jì)算是沒有問題的，可靠性計(jì)算原理和方法都是正確的，其對比也沿用了數(shù)據(jù)中心常規(guī)的對比方法，即只比較了場地基礎(chǔ)設(shè)施電氣系統(tǒng)的可靠性。這種對比是針對傳統(tǒng)機(jī)房的，對比計(jì)算中不涉及服務(wù)器等硬件設(shè)備，因?yàn)樵趥鹘y(tǒng)算法里大家默認(rèn)使用的是同樣的、可靠性相同的標(biāo)準(zhǔn)服務(wù)器。的確，當(dāng)服務(wù)器的可靠性對結(jié)果的影響是相同的時候，我們確實(shí)只需要對比基礎(chǔ)設(shè)施側(cè)的系統(tǒng)架構(gòu)，這會讓問題變得簡單一些。

但是，我們需要關(guān)注的是Facebook的服務(wù)器改變了，供電架構(gòu)中的電池以串聯(lián)的形式出現(xiàn)在系統(tǒng)的最后一級配電中。也就是說電氣系統(tǒng)里最容易出故障的電池，被他組合在服務(wù)器里了，電池沒有在他的供電系統(tǒng)內(nèi)出現(xiàn)，也不屬于上述供電系統(tǒng)可靠性的計(jì)算范圍，所以，在他的計(jì)算過程中，沒有體現(xiàn)出類似電池這種本應(yīng)降低他的可靠性的組件。而傳統(tǒng)方案里很多隔離電池、防止電池故障擴(kuò)大到服務(wù)器的技術(shù)措施在計(jì)算中反而成了降低可靠性的復(fù)雜組件。

針對這種場景，只對比場地基礎(chǔ)設(shè)施供電系統(tǒng)的可靠性，而不考慮電子信息系統(tǒng)的硬件設(shè)備的電源系統(tǒng)就顯然不公平了。事實(shí)上，傳統(tǒng)方案中，電池故障通常不會引起服務(wù)器或配電系統(tǒng)的中斷，因?yàn)楹笠患壍慕恢绷鬓D(zhuǎn)換、ups旁路、電氣開關(guān)等組件都可以將故障的電池從系統(tǒng)中隔離出來，供配電系統(tǒng)很少會因?yàn)殡姵毓收隙袛唷５獸acebook特制服務(wù)器則不同，電池直接掛在最后一級的配電系統(tǒng)上，電池故障很容易擴(kuò)展到服務(wù)器，導(dǎo)致服務(wù)器故障甚至宕機(jī)。眾所周知，數(shù)據(jù)中心電氣設(shè)備里最容易出故障的組件是電池，數(shù)據(jù)中心的很多故障都是因?yàn)殡姵毓收铣鰡栴}才引發(fā)的。綜上，我們可以推斷，F(xiàn)acebook服務(wù)器的真實(shí)故障率應(yīng)該會高于傳統(tǒng)數(shù)據(jù)中心。

（三）Facebook定制服務(wù)器配電架構(gòu)的技術(shù)支撐分析

當(dāng)然，F(xiàn)acebook的技術(shù)專家也不是不知道OCP的風(fēng)險，但是，F(xiàn)acebook為什么還要堅(jiān)持使用和推進(jìn)呢？原因很簡單，這么做，便宜。

的確，OCP的電氣架構(gòu)簡單、高效、經(jīng)濟(jì)，可以大大降低建設(shè)成本和運(yùn)維費(fèi)用。Facebook又擁有強(qiáng)大的軟件能力和領(lǐng)先的IT技術(shù)，有信心彌補(bǔ)其在可靠性方面的不足。也就是說Facebook的IT技術(shù)，特別是軟件方面的高水平足以掩蓋場地基礎(chǔ)設(shè)施和IT基礎(chǔ)設(shè)施的不足。服務(wù)器故障率高，并不意味著他的業(yè)務(wù)中斷率高，其強(qiáng)大的IT技術(shù)保障，完全可以做到業(yè)務(wù)的快速轉(zhuǎn)移，幾臺服務(wù)器的宕機(jī)，一兩個模塊的宕機(jī)，甚至失去一個數(shù)據(jù)中心，都不會大范圍地影響其業(yè)務(wù)的行進(jìn)，IT技術(shù)有能力迅速將業(yè)務(wù)從有故障的設(shè)備遷移到正常的設(shè)備上，甚至從一個DC轉(zhuǎn)移到另一個DC中。站在客戶體驗(yàn)的角度，客戶甚至不知道他的業(yè)務(wù)曾經(jīng)中斷和遷移，不知道為他服務(wù)的IT設(shè)備已經(jīng)從瑞典遷移到了美國。

同國外先進(jìn)的數(shù)據(jù)中心相比，國內(nèi)數(shù)據(jù)中心的IT技術(shù)能力特別是軟件能力還有一定差距。我們從不斷曝光的挖掘機(jī)挖斷光纜，設(shè)施被雷電擊中等事故導(dǎo)致長時間的服務(wù)中斷都可以推斷出，國內(nèi)這些所謂的互聯(lián)網(wǎng)巨頭，并沒有足夠先進(jìn)的技術(shù)能力，能夠讓業(yè)務(wù)及時從故障點(diǎn)遷移，因此局部故障往往會引發(fā)業(yè)務(wù)的中斷，給企業(yè)帶來巨大的負(fù)面影響。為了減少和避免類似事件的發(fā)生，數(shù)據(jù)中心只能在基礎(chǔ)設(shè)施層面加大配置，用來提高可靠性。盡管企業(yè)需要為這些復(fù)雜的設(shè)施增加很多擁有成本，但也不敢輕易減配。

此外，某些金融行業(yè)和重要企業(yè)的總部級數(shù)據(jù)中心，業(yè)務(wù)重要程度很高，數(shù)據(jù)中心的運(yùn)營不會把降低成本作為優(yōu)先戰(zhàn)略，他們不會采用這種服務(wù)器，也不會采用這種基礎(chǔ)設(shè)施架構(gòu)，國內(nèi)如此，國外同樣如此。

（四）Facebook定制服務(wù)器對行業(yè)的影響

Facebook的這種革新，固然能夠降低自己的成本，但是顯然不符合IT制造商的利益，對傳統(tǒng)的生態(tài)鏈?zhǔn)怯幸欢_擊的，小規(guī)模的訂單是不足以讓服務(wù)器供應(yīng)商放棄標(biāo)準(zhǔn)服務(wù)器的生產(chǎn)，而接受這種非標(biāo)產(chǎn)品的研發(fā)和定制。即使接受非標(biāo)訂單，價格也不會有優(yōu)勢。這也是Facebook愿意和廣大企業(yè)分享他們創(chuàng)新的動力所在，他們希望能夠有更龐大的訂單，讓更多的服務(wù)器制造商參與進(jìn)來，讓這種服務(wù)器價格降低，有點(diǎn)類似團(tuán)購的性質(zhì)。Facebook甚至希望這種服務(wù)器成為標(biāo)準(zhǔn)服務(wù)器，讓盡可能多的服務(wù)器制造商充分競爭，以便獲得更多的利益。

Facebook的服務(wù)器做法在業(yè)內(nèi)也不算獨(dú)創(chuàng)，google的做法也很類似，國外也還有很多運(yùn)營商和互聯(lián)網(wǎng)的機(jī)房，都在嘗試這種做法。國內(nèi)ODCC制定的天蝎計(jì)劃也在嘗試這樣的套路。大家思路類似，細(xì)節(jié)各有千秋，都在嘗試讓數(shù)據(jù)中心變得更簡單更經(jīng)濟(jì)。

總之，F(xiàn)acebook通過服務(wù)器的變更，讓場地基礎(chǔ)設(shè)施可以接受更簡單的配置，讓定制型服務(wù)器具備了實(shí)現(xiàn)標(biāo)準(zhǔn)化、模塊化的基礎(chǔ)；在業(yè)內(nèi)大力推進(jìn)OCP，渴望他們的服務(wù)器能夠做為行業(yè)標(biāo)準(zhǔn)固定下來，并被更多的企業(yè)所接受。這種供配電的架構(gòu)背后是需要有強(qiáng)大的IT技術(shù)做支撐的。

二、直通風(fēng)自由冷卻技術(shù)，讓風(fēng)機(jī)跨界為墻

Facebook對業(yè)界的另一個貢獻(xiàn)就是大膽使用風(fēng)側(cè)自由冷卻，率先在大規(guī)模數(shù)據(jù)中心里放棄風(fēng)管送風(fēng)，將空調(diào)系統(tǒng)與建筑隔墻實(shí)現(xiàn)了完全融合。

（一）傳統(tǒng)風(fēng)側(cè)自由冷卻技術(shù)說明

直接風(fēng)側(cè)自由冷卻是數(shù)據(jù)中心能耗最低的冷卻方案，它對節(jié)能的貢獻(xiàn)也是公認(rèn)的。冷卻方式與PUE的對應(yīng)關(guān)系如下圖所示（下圖數(shù)據(jù)僅供參考，具體項(xiàng)目尚需重新計(jì)算）：

盡管直接風(fēng)側(cè)自由冷卻（直通風(fēng)）并不是什么高新技術(shù)，但使用這種技術(shù)的數(shù)據(jù)中心客戶并不多，主要原因有兩個，一是環(huán)境難以精確控制，二是建設(shè)條件受限。室外的高溫高濕會給服務(wù)器帶來更多的故障，也會影響服務(wù)器的使用壽命，要想做到送風(fēng)穩(wěn)定、均勻和精確，就需要配置過濾系統(tǒng)、機(jī)械制冷系統(tǒng)和復(fù)雜的控制系統(tǒng)，這樣會增加很多擁有成本。建設(shè)條件引發(fā)的困難就更難對付了，建筑場地、風(fēng)管尺寸、風(fēng)閥設(shè)置、產(chǎn)品采購等問題，都可能成為具體項(xiàng)目無法推進(jìn)的理由。這些困難給很多試圖采用直通風(fēng)冷卻的客戶帶來了巨大的挑戰(zhàn)。

我們來看看傳統(tǒng)的風(fēng)側(cè)自由冷卻，大體布局是這樣的：

圖中的方案是以直通風(fēng)AHU為主，水冷冷水機(jī)組為輔的風(fēng)側(cè)自由冷卻方案。圖中只畫了一套AHU作為示意，事實(shí)上，一套完整解決方案需要一大堆定制的AHU，每臺AHU都需要繁雜的風(fēng)管系統(tǒng)，并配有新風(fēng)閥、回風(fēng)閥，閥門開度需要嚴(yán)格的自控協(xié)調(diào)才能實(shí)現(xiàn)送風(fēng)的精確控制（大面積的風(fēng)閥控制很難做到精準(zhǔn)）。為了風(fēng)管的實(shí)施，還需要在墻上開啟無數(shù)的孔洞。這些可能漏風(fēng)的孔洞又會給冷卻效果和運(yùn)營維護(hù)帶來很多麻煩。當(dāng)數(shù)據(jù)中心面積較大時，這么多的風(fēng)管就更難布置了，有些時候，靠近中心區(qū)域的冷風(fēng)引入和熱風(fēng)排除的路徑都很難找到。此外，風(fēng)側(cè)自由冷卻和氣體消防也存在很多不兼容的地方，如果采用氣體消防，風(fēng)管穿越保護(hù)區(qū)域的時候，就不得不采用大量的防火閥，無疑會加大數(shù)據(jù)中心的投資和操作風(fēng)險。在中國，還有空氣質(zhì)量的問題，比如嚴(yán)重超標(biāo)的PM2.5和含硫量，也會引起初投資和運(yùn)維費(fèi)用的增加。

（二）Facebook風(fēng)側(cè)自由冷卻技術(shù)說明

復(fù)雜龐大的設(shè)備和技術(shù)風(fēng)險，讓傳統(tǒng)的直通風(fēng)自由冷卻技術(shù)變得很難推廣。一向不肯在基礎(chǔ)設(shè)施上投錢的Facebook當(dāng)然不愿采用。既想有風(fēng)側(cè)自由冷卻的節(jié)能效果，又想降低擁有成本，還不能太復(fù)雜，面對這些問題，F(xiàn)acebook是怎么做的呢？

Facebook通過調(diào)整服務(wù)器內(nèi)部的布局、高度以及CPU數(shù)量，提升了IT服務(wù)器的功能，同時通過改善空氣流通路徑以降低風(fēng)阻，可以讓服務(wù)器安裝直徑更大的風(fēng)扇，以提高通風(fēng)量和風(fēng)扇效率，這些技術(shù)措施盡可能的優(yōu)化了其服務(wù)器自身的散熱能力。當(dāng)然，F(xiàn)acebook的數(shù)據(jù)中心選址也會盡量避免炎熱的低緯度地區(qū)。

從服務(wù)器的角度來看，為了讓自己的數(shù)據(jù)中心徹底告別機(jī)械制冷（Facebook的數(shù)據(jù)中心只有一個配備了DX冷卻盤管），能做的好像也只有這么多了。每年的炎熱季節(jié)，F(xiàn)acebook只能放寬進(jìn)風(fēng)條件，靠蒸發(fā)冷卻進(jìn)行適當(dāng)?shù)慕禍?，然后讓自己的服?wù)器接受考驗(yàn)了。

建設(shè)條件的問題，怎么解決呢？Facebook采用了一個新穎大膽的創(chuàng)新方案，他拋棄了所有的AHU，采用無風(fēng)管型通風(fēng)系統(tǒng)，通過設(shè)置風(fēng)墻，讓風(fēng)扇和建筑隔墻融為一體，其過濾、噴淋設(shè)施也和建筑隔墻融為一體，巨大的建筑走廊取代了風(fēng)管。換句話說，定制的框架型風(fēng)扇、濕膜冷卻、過濾器像磚塊一樣，被砌筑在隔墻里，成了建筑隔墻的一部分。這樣，他的系統(tǒng)不再出現(xiàn)麻煩的AHU、風(fēng)管、風(fēng)閥、孔洞；墻體不需要那么多磚塊，空調(diào)系統(tǒng)也不需要鈑金外殼，可謂節(jié)材到了極致；建設(shè)工序也變得更簡單了。

同電氣系統(tǒng)類似，F(xiàn)acebook的空調(diào)系統(tǒng)簡單而又實(shí)用，不需要風(fēng)管風(fēng)閥、也不需要AHU，AHU的各個功能段被演進(jìn)放大成了由一個個框架組成的墻體，這種形式不但投資低廉，而且施工簡單，不需要砌墻然后再開孔，不需要排布風(fēng)管，不需要特別精確的控制，調(diào)試也變得很簡單，建設(shè)速度當(dāng)然會更快捷。

（三）Facebook風(fēng)側(cè)自由冷卻技術(shù)存在的問題

凡事有利必有弊，這種做法帶來的麻煩就是，沒有精確控制的送風(fēng)，導(dǎo)致環(huán)境溫濕度很容易失控。據(jù)說Facebook的數(shù)據(jù)中心確實(shí)因?yàn)闈穸冗^高，出現(xiàn)過云雨的現(xiàn)象，導(dǎo)致大量服務(wù)器出現(xiàn)故障。此外，經(jīng)常處于高溫高濕下的服務(wù)器，即使沒有馬上發(fā)生故障，也會影響其使用壽命。鑒于互聯(lián)網(wǎng)公司配置的服務(wù)器往往為經(jīng)濟(jì)型產(chǎn)品，更換周期也比一般企業(yè)要短，且隨著IT產(chǎn)業(yè)的進(jìn)步，服務(wù)器更迭換代速度很快，成本持續(xù)走低，因此服務(wù)器的壽命和故障就變得不是硬傷所在了。

這種方案的另一個弱點(diǎn)就是龐大的通風(fēng)設(shè)施無法把IT區(qū)域分隔成若干個小房間，整個IT區(qū)域好像大型倉庫一樣，沒有門，沒有走廊。這種做法看起來很省錢，但會給管理造成很多麻煩，比如，人流、物流、IT運(yùn)維、機(jī)電運(yùn)維的路由交叉如何避免，比如局部事故如何避免擴(kuò)散到整個機(jī)房等。此外，如此巨大的空間，是無法使用潔凈氣體進(jìn)行消防的，一旦失火，其影響力度和面積都會很大。

總之，F(xiàn)acebook采用無風(fēng)管的風(fēng)側(cè)自由冷卻技術(shù)，在業(yè)內(nèi)算是極大規(guī)模的應(yīng)用，在數(shù)據(jù)中心冷卻行業(yè)的確是一種大膽創(chuàng)新。這種方式最大的特色是建筑和冷卻融合的一種新方式，而不是采用了某些革命性的新產(chǎn)品。直接風(fēng)側(cè)自由冷卻的能耗很低，無風(fēng)管系統(tǒng)的經(jīng)濟(jì)性也是顯而易見的，但是，系統(tǒng)會帶來一定的可靠性問題。同電氣系統(tǒng)類似，這些問題在Facebook眼中，是可以依靠強(qiáng)大的IT系統(tǒng)去彌補(bǔ)的，他們有把握讓基礎(chǔ)設(shè)施簡化引發(fā)的所有問題最終不會影響業(yè)務(wù)的連續(xù)性。這對于絕大多數(shù)成本優(yōu)先的數(shù)據(jù)中心來說，IT技術(shù)還沒有強(qiáng)大到這種程度，因此也不具備這種方案的實(shí)施條件。對于那些安全優(yōu)先的數(shù)據(jù)中心就更沒有必要采用這種方案了。

三、Facebook數(shù)據(jù)中心部署快速

理論上，對任何一個工程來說，快速部署都不是問題，想要快，只要肯投入，一定是可以解決的，無論是工程方式還是產(chǎn)品方式都有很多成熟可行的技術(shù)措施。Facebook通過簡單的基礎(chǔ)設(shè)施架構(gòu)、相對適宜的建設(shè)地點(diǎn)，重復(fù)的建設(shè)方案，讓快速部署不需要投入太多就能實(shí)現(xiàn)。

（一）采用簡單的基礎(chǔ)設(shè)施架構(gòu)，實(shí)現(xiàn)快速安裝

Facebook數(shù)據(jù)中心部署速度之快在業(yè)內(nèi)是出名的。數(shù)萬平米的數(shù)據(jù)中心，十來個月就可以試運(yùn)行了。Facebook數(shù)據(jù)中心能夠快速上線投產(chǎn)的最重要的原因就是簡單。

建筑本身沒有傳統(tǒng)的數(shù)據(jù)中心繁復(fù)，沒有太多的隔墻，不需要結(jié)構(gòu)降板，不需要架空地板，也沒設(shè)置復(fù)雜的綜合管架。

機(jī)電設(shè)施也比傳統(tǒng)數(shù)據(jù)中心簡單很多，其配電和制冷系統(tǒng)需要安裝的組件，特別是只能現(xiàn)場制作的復(fù)雜組件，遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的數(shù)據(jù)中心。比如不需要冷機(jī)、UPS，空調(diào)機(jī)組等設(shè)備，也就沒有連接的管路、閥門、線纜等工程內(nèi)容。即使是那些需要安裝的設(shè)備也屬于重復(fù)性非常高、安裝要求相對簡單的設(shè)施（如定制的框架式風(fēng)扇、濕膜加濕模塊、框架式過濾模塊等），這樣就更容易實(shí)現(xiàn)工廠定制和快速安裝。

瑞典的lulea是Facebook第一個不在本土的數(shù)據(jù)中心，建造管理相對困難，加之氣候寒冷，可施工的季節(jié)短暫，數(shù)據(jù)中心可以快速部署的優(yōu)勢就顯得更為重要。為此，F(xiàn)acebook定制了大量的預(yù)制組件，包括土建設(shè)施，機(jī)電設(shè)施，這些部件采用現(xiàn)場拼裝的方式進(jìn)行建設(shè)，大大提升了建設(shè)速度，取得了不錯的效果。

（二）選擇適宜的建設(shè)地點(diǎn)，實(shí)現(xiàn)快速建造

Facebook選址特意避開了土地資源相對匱乏的地區(qū)，這樣可以采用經(jīng)濟(jì)性更好的單層鋼結(jié)構(gòu)的形式（盡管土地利用率較低），這在地廣人稀的海外是非常多見的，是大規(guī)模廠房最簡單最常用的土建模式，這樣的建設(shè)方式的另一個好處就是它讓施工作業(yè)面變得非常寬，無疑給部署速度帶來了很多靈活性。

國內(nèi)很多數(shù)據(jù)中心往往建在地價很高的城市，因?yàn)橛玫貤l件受限，只能采用多層建筑，投資會增加，方案選擇也會受到一定局限。加之系統(tǒng)復(fù)雜，從設(shè)計(jì)到服務(wù)器上線往往高達(dá)24個月以上。有些建設(shè)甚至長達(dá)好幾年，的確會限制企業(yè)的IT發(fā)展。很多企業(yè)也會因此放棄自建數(shù)據(jù)中心，而是采用隨用隨租的方式，利用第三方的數(shù)據(jù)中心完成自己的IT業(yè)務(wù)。

（三）采用基本類似的建設(shè)模式，實(shí)現(xiàn)快速復(fù)制

Facebook已經(jīng)建成了四個數(shù)據(jù)中心，并投入使用，現(xiàn)在正在建設(shè)和規(guī)劃其他的數(shù)據(jù)中心。

重復(fù)建設(shè)類似的工程，當(dāng)然容易建得又快又好。Facebook的幾個數(shù)據(jù)中心建造模式就基本雷同，都采用了定制的服務(wù)器設(shè)備、三聯(lián)柜模組和供電模塊，也配備了基本相同的供電供冷架構(gòu)。他們都放棄了UPS，放棄了冷機(jī)，采用了直通風(fēng)自由冷卻這種散熱方式。這給設(shè)計(jì)實(shí)施、產(chǎn)品采購、運(yùn)維管理帶來了極大的方便。先前工程的所有經(jīng)驗(yàn)和教訓(xùn)都可以借鑒，確保越做越好。作為會多次采購的大客戶，更容易獲得性價比較高的商品；此外，對運(yùn)維的好處則更是發(fā)揮到極致，數(shù)個數(shù)據(jù)中心的運(yùn)維管理非常相似，運(yùn)維機(jī)制可以完全照搬，運(yùn)維演練流程，常見故障處理和判斷，如何改進(jìn)，如何評比都可以借鑒。

四、Facebook數(shù)據(jù)中心建設(shè)模式帶來的啟示

仔細(xì)研讀Facebook的數(shù)據(jù)中心，我們可以得到如下啟示：

（一）Facebook數(shù)據(jù)中心的可靠性保障更多依賴IT層的技術(shù)優(yōu)勢，而不是局限在場地基礎(chǔ)設(shè)施。

數(shù)據(jù)中心業(yè)務(wù)的最大特點(diǎn)就是不能中斷，一旦中斷會造成重大損失。對絕大多數(shù)企業(yè)來說，基礎(chǔ)設(shè)施是其可靠性的第一道防線，他們需要復(fù)雜可靠的基礎(chǔ)設(shè)施來實(shí)現(xiàn)IT不宕機(jī)、業(yè)務(wù)不中斷的需求。

反觀Facebook，其數(shù)據(jù)中心的基礎(chǔ)設(shè)施簡單粗放，價格低廉，如果去做uptime認(rèn)證，只能達(dá)到T1或T2的級別。但是，F(xiàn)acebook通過IT技術(shù)的管理和運(yùn)用，彌補(bǔ)了基礎(chǔ)設(shè)施方面的很多不足，數(shù)據(jù)中心整體功能還是能夠滿足其業(yè)務(wù)需要的。數(shù)據(jù)中心的性價比明顯提高了。

關(guān)于性價比的另一話題就是傳統(tǒng)的兩地三中心和新興的異地多活模式。為了保證業(yè)務(wù)的連續(xù)性，重要的數(shù)據(jù)中心必須考慮災(zāi)害發(fā)生時的業(yè)務(wù)轉(zhuǎn)移，從一主一備兩中心到兩地三中心，再到異地多活多中心，這幾種方式各有千秋，目前大型數(shù)據(jù)中心采用最多的就是兩地三中心和異地多活。兩地三中心的架構(gòu)，相當(dāng)于一套數(shù)據(jù)承載在三個數(shù)據(jù)中心之上，數(shù)據(jù)的備份相當(dāng)于1+2,即3N配置，可靠性當(dāng)然高，但投資也會很龐大。異地多活的架構(gòu)，相當(dāng)于讓N+1個數(shù)據(jù)中心承載全部生產(chǎn)任務(wù)，當(dāng)某一個數(shù)據(jù)中心發(fā)生故障時，其他的數(shù)據(jù)中心可以自動接管全部業(yè)務(wù)，從而保證業(yè)務(wù)的連續(xù)性，整個數(shù)據(jù)的備份相當(dāng)于采用了N+1的架構(gòu)。這種架構(gòu)從經(jīng)濟(jì)上看當(dāng)然更劃算，但對業(yè)務(wù)遷移和資源配置的能力，特別是遠(yuǎn)距離的執(zhí)行能力是一個巨大的挑戰(zhàn)。如何選擇，肯定要根據(jù)業(yè)務(wù)特點(diǎn)、業(yè)務(wù)規(guī)模、業(yè)務(wù)的重要程度、IT軟硬件的架構(gòu)等多因素平衡決策，絕不會全憑成本。

企業(yè)的戰(zhàn)略方向不同，關(guān)注要點(diǎn)也不同，決策機(jī)制和結(jié)論也會有很大差異，數(shù)據(jù)中心完全仿效Facebook的模式進(jìn)行建設(shè)顯然是不現(xiàn)實(shí)的。盡管如此，我們還是要看到，當(dāng)IT技術(shù)進(jìn)步到了一定程度，對基礎(chǔ)設(shè)施的依賴就會降低，所以未來的數(shù)據(jù)中心基礎(chǔ)設(shè)施的可靠性要求應(yīng)該會持續(xù)走低。

（二）Facebook的開源和簡約風(fēng)格，讓數(shù)據(jù)中心建設(shè)變得更快更省，運(yùn)維也更簡單更高效，這些舉措逼迫傳統(tǒng)的基礎(chǔ)設(shè)施供應(yīng)商必須重新思考應(yīng)變策略。

Facebook的數(shù)據(jù)中心取消了UPS和機(jī)械制冷，讓供電供冷系統(tǒng)變得非常簡潔，只剩下油機(jī)、變壓器、風(fēng)扇、冷卻濕膜和風(fēng)口等簡單設(shè)施?；A(chǔ)設(shè)施的投資規(guī)模、運(yùn)行費(fèi)用、運(yùn)行管理難度都會大大下降。這樣的數(shù)據(jù)中心，業(yè)主自身的話語權(quán)很強(qiáng)，建設(shè)方案很明確，對產(chǎn)品的需求很清晰，幾乎不需要花費(fèi)額外的時間做研討。作為傳統(tǒng)基礎(chǔ)設(shè)施的供應(yīng)商，在這種項(xiàng)目里，不能使用標(biāo)準(zhǔn)產(chǎn)品，沒有引導(dǎo)能力，沒有技術(shù)門檻，產(chǎn)品功能又簡單，要想?yún)⑴c，那就只能做他們的加工廠，采用非標(biāo)定制的方式，降低利潤訴求了。

基礎(chǔ)設(shè)施的要求越簡單，供應(yīng)商的引導(dǎo)能力就越弱。隨著IT行業(yè)的不斷進(jìn)步，未來的數(shù)據(jù)中心很有可能會進(jìn)一步降低對可靠性的要求，對環(huán)境的要求也會進(jìn)一步放寬。當(dāng)Facebook的數(shù)據(jù)中心完全放棄常規(guī)的供冷供電產(chǎn)品，想要為他服務(wù)的基礎(chǔ)設(shè)施供應(yīng)商就必須重新定位，重新深挖自身價值了。

（三）Facebook的建設(shè)方案不能適合所有的項(xiàng)目，特別是他的空調(diào)方案不能適合全球。

雖然能夠滿足他自己的業(yè)務(wù)需求，但是Facebook的建設(shè)方案需要很多特定條件，但很多項(xiàng)目是沒有辦法完全照搬的，比如：未來不確定的項(xiàng)目不適合（供電架構(gòu)只能針對定制服務(wù)器）；需要分期建設(shè)的項(xiàng)目不適合（大空間無風(fēng)管送風(fēng)，分期困難）；服務(wù)器昂貴且環(huán)境要求高的場景不適合（直接風(fēng)側(cè)自由冷卻，無風(fēng)管送風(fēng)，無機(jī)械制冷，控制難以精確，濕熱季節(jié)無法避免送風(fēng)條件超標(biāo)）；采用標(biāo)準(zhǔn)服務(wù)器的項(xiàng)目不適合（供電架構(gòu)只能針對定制服務(wù)器）；改造的項(xiàng)目不適合（Facebook的空調(diào)方式?jīng)Q定必須要建筑先行）；建筑面積受限的項(xiàng)目不適合（需要大空間送回風(fēng)，空間利用率不可能太好）；炎熱地區(qū)不適合（無法實(shí)現(xiàn)全年無機(jī)械制冷）；干旱地區(qū)不適合（沒有水源，無法采用蒸發(fā)冷卻）；土地昂貴地區(qū)不適合（需要大空間送風(fēng)，不宜采用多層建筑）；室外空氣質(zhì)量不好地方不適合（含塵、含硫等）。事實(shí)上，瑞典lulea究竟適不適合也很有爭議，因?yàn)殡x海邊太近，空氣中含有的Cl離子，據(jù)說已經(jīng)對服務(wù)器有影響了

了解了Facebook的數(shù)據(jù)中心，如果你是數(shù)據(jù)中心的使用者，看到又便宜又簡單的基礎(chǔ)設(shè)施建設(shè)方案，卻不敢學(xué)，不敢用，內(nèi)心或許會很焦灼，怎么辦呢？只能從頂層設(shè)計(jì)做起，改善IT能力才是王道。

如果你是場地設(shè)施從業(yè)者，看到復(fù)雜的數(shù)據(jù)中心已經(jīng)成為一個粗糙的大工廠，可能會擔(dān)心滿腹經(jīng)綸無用武之地了。的確，那些平時侃侃而談的容錯、在線維護(hù)、分布式冗余，模塊化UPS、連續(xù)制冷等，在風(fēng)墻面前好像都是洗剪吹了。沒辦法，這個世界唯一不變的就是變化。好在，IT的進(jìn)步不是一朝一夕的事，絕大多數(shù)的非互聯(lián)網(wǎng)企業(yè)也暫時不會考慮這種極端的建設(shè)方式，我們還有時間來思考我們的未來。

最后，總結(jié)一句，F(xiàn)acebook的數(shù)據(jù)中心建設(shè)方案，真的很快很便宜，但絕大多數(shù)數(shù)據(jù)中心是很難采用的。正是因?yàn)槿绱?，我們無法完全照搬Facebook的建設(shè)模式，我們還是需要繼續(xù)探討更適合我國國情和現(xiàn)狀的數(shù)據(jù)中心建設(shè)方案和模式。

作者單位：華為技術(shù)有限公司