新一代綠色數(shù)據(jù)中心（機(jī)房）先進(jìn)節(jié)能技術(shù)

文/彭和平（凌云綠洲數(shù)據(jù)科技（北京）有限公司）

新一代綠色數(shù)據(jù)中心（機(jī)房）先進(jìn)節(jié)能技術(shù)

文/彭和平（凌云綠洲數(shù)據(jù)科技（北京）有限公司）

綠色環(huán)保數(shù)據(jù)中心建設(shè)的必要性

全球數(shù)據(jù)中心建設(shè)在大數(shù)據(jù)時(shí)代增長(zhǎng)不斷加快，年增長(zhǎng)為50%~140%。除服務(wù)器市場(chǎng)容量不斷擴(kuò)大外，能源成為數(shù)據(jù)中心建設(shè)和運(yùn)維的主要消耗成本，達(dá)到30%以上；而當(dāng)今受到環(huán)境制約和大數(shù)據(jù)業(yè)務(wù)的快速增長(zhǎng)，出現(xiàn)了對(duì)大數(shù)據(jù)不可持續(xù)支撐的“能源墻”問(wèn)題，必須優(yōu)化傳統(tǒng)的數(shù)據(jù)中心能源供電、儲(chǔ)電、用電方式，才能適應(yīng)大數(shù)據(jù)時(shí)代的長(zhǎng)遠(yuǎn)發(fā)展要求。

近年來(lái)，國(guó)際上數(shù)據(jù)中心機(jī)房的整體綠色能源效能研究成為熱點(diǎn)，并取得了長(zhǎng)足進(jìn)步，以Google為例，已近達(dá)到1.12的電力使用效率PUE（PUE為1時(shí)代表最理想值，表示數(shù)據(jù)中心所有的電力為信息系統(tǒng)100%使用）。

目前，全世界主流數(shù)據(jù)中心是III級(jí)數(shù)據(jù)中心。我國(guó)整體上和歐美國(guó)家存在差距，比起金磚國(guó)家巴西來(lái)說(shuō)也并不領(lǐng)先。具體來(lái)說(shuō)，美國(guó)累計(jì)獲得Uptime Institute認(rèn)證的有79個(gè)：8個(gè)達(dá)到綠色認(rèn)證，7個(gè)四級(jí)，61個(gè)三級(jí)；巴西累計(jì)獲得25個(gè)：1個(gè)達(dá)到綠色認(rèn)證，2個(gè)為四級(jí)，22個(gè)為三級(jí)；中國(guó)累計(jì)只有15個(gè)：0個(gè)達(dá)到綠色認(rèn)證，3個(gè)為四級(jí)，11個(gè)為三級(jí)。在我國(guó)，僅香港就占了三分之一的高等級(jí)數(shù)據(jù)中心份額。中國(guó)目前獲得認(rèn)證的最高等級(jí)數(shù)據(jù)中心有蘇州國(guó)科數(shù)據(jù)中心、國(guó)泰君安上海數(shù)據(jù)中心等?？梢钥闯觯袊?guó)發(fā)展高效能綠色可持續(xù)的數(shù)據(jù)中心任重而道遠(yuǎn)！

數(shù)據(jù)中心機(jī)房整體架構(gòu)分析

數(shù)據(jù)中心機(jī)房基礎(chǔ)設(shè)施主要包括3大部分。

（1）電力供配系統(tǒng)。數(shù)據(jù)中心機(jī)房依靠配電房供電才能運(yùn)行，核心部件包括電源分配單元PDU，非易失性電源UPS，以及自動(dòng)電力切換開(kāi)關(guān)ATS等。傳統(tǒng)的配電房不論采取1條通路還是冗余通路，都是采用中央式供電方式，各個(gè)大型的電力部件牽一發(fā)而動(dòng)全身，難以擴(kuò)展，而且中央式UPS因?yàn)锳C/DC雙重轉(zhuǎn)換原因能效很低。

（2）空調(diào)制冷系統(tǒng)。傳統(tǒng)數(shù)據(jù)中心一般是開(kāi)放式制冷，采取穿孔地磚/通氣式地板，CRAC空調(diào)是關(guān)鍵單元，提供冷風(fēng)。開(kāi)放式機(jī)房存在的問(wèn)題主要是冷熱氣流缺乏管理，再循環(huán)空氣導(dǎo)致制冷效率下降，尤其是在機(jī)柜頂端和邊緣會(huì)出現(xiàn)不均衡制冷。通過(guò)降低送風(fēng)溫度可以使熱通道溫度大幅下降，達(dá)到建議的服務(wù)器溫度值，但這種方法非常浪費(fèi)。另外，升降式地板的運(yùn)維成本也很高，建設(shè)周期長(zhǎng)。

（3）網(wǎng)絡(luò)電信設(shè)備。數(shù)據(jù)中心另一個(gè)重要部分是電信系統(tǒng)。從電信通信角度來(lái)看，其布局至少包括一個(gè)主要分布區(qū)（MDA），一個(gè)或者多個(gè)水平分布區(qū)，以及一個(gè)或多個(gè)設(shè)備分布區(qū)。主要分布區(qū)是數(shù)據(jù)中心線(xiàn)纜基礎(chǔ)設(shè)施的中心。計(jì)算機(jī)機(jī)房中心路由器、中心局域網(wǎng)（LAN）開(kāi)關(guān)、中心存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）等經(jīng)常位于主要分布區(qū)。主要分布區(qū)的線(xiàn)纜往往會(huì)在不同樓層間垂直走線(xiàn)。相對(duì)于主要分布區(qū)，水平分布區(qū)的電纜則用來(lái)連接某一數(shù)據(jù)中心水平區(qū)域的各個(gè)設(shè)備。

整體來(lái)說(shuō)，目前主流的數(shù)據(jù)中心布局體現(xiàn)為電力線(xiàn)纜、網(wǎng)絡(luò)線(xiàn)纜及送風(fēng)通道貫穿機(jī)房，層次化的供電、網(wǎng)絡(luò)、制冷設(shè)備分布于機(jī)柜間，而大型供電設(shè)備和制冷機(jī)組一般都在機(jī)房外配有額外空間。提升能效降低成本是布局的關(guān)鍵。

Google數(shù)據(jù)中心（圖片來(lái)源自網(wǎng)絡(luò)）

國(guó)際前沿?cái)?shù)據(jù)中心建設(shè)典型案例分析

建設(shè)高效能數(shù)據(jù)中心僅僅有一流設(shè)備是不夠的，國(guó)際前沿?cái)?shù)據(jù)中心的建設(shè)大都重視設(shè)計(jì)和管理。這也是我國(guó)發(fā)展高效能數(shù)據(jù)中心所必需借鑒的。

（1）案例A：雅虎“雞籠”式數(shù)據(jù)中心 YCC（上榜理由——最優(yōu)PUE示范項(xiàng)目）

雅虎YCC數(shù)據(jù)中心是自主設(shè)計(jì)的數(shù)據(jù)中心，被美國(guó)能源部作為示范性項(xiàng)目，屬于大型數(shù)據(jù)中心，其PUE能效也非常高。該數(shù)據(jù)中心位于紐約州Lockport市，設(shè)計(jì)規(guī)模9MW，PUE僅1.08。相比而言Facebook的美國(guó)俄勒岡數(shù)據(jù)中心達(dá)到1.07, 蘋(píng)果位于北開(kāi)羅來(lái)納的數(shù)據(jù)中心為1.1，谷歌在得克薩斯的數(shù)據(jù)中心（部分風(fēng)能）為1.12，這些都使用或購(gòu)買(mǎi)可再生能源。而傳統(tǒng)數(shù)據(jù)中心一般在2.5以上。雅虎通過(guò)5年的時(shí)間逐步摸索，采取了一系列改進(jìn)措施（水冷制冷塔，室外風(fēng)處理，模塊化設(shè)備，通風(fēng)管理等），才得到如今的極佳PUE。雞籠式設(shè)計(jì)的最大亮點(diǎn)在于百葉窗能夠管理進(jìn)入機(jī)房的氣流，此外該數(shù)據(jù)中心還利用風(fēng)扇控制由穹頂排放的空氣，并且調(diào)節(jié)再循環(huán)空氣的溫度。

（2）案例B：Equinix商用數(shù)據(jù)中心IBX（上榜理由——規(guī)模最大、技術(shù)最全面）

Equinix（Nasdaq: EQIX）成立于1998年，在數(shù)據(jù)中心規(guī)模和收入等方面均處于世界領(lǐng)先, 目前在美洲、亞太、歐洲及中東14 個(gè)國(guó)家和地區(qū)的31 個(gè)市場(chǎng)運(yùn)營(yíng)著94個(gè)國(guó)際業(yè)務(wù)交換數(shù)據(jù)中心（International Business Exchange?）。他們首先提出了以其數(shù)據(jù)中心群為平臺(tái)形成的行業(yè)生態(tài)系統(tǒng)的概念，將網(wǎng)絡(luò)運(yùn)營(yíng)商、互聯(lián)網(wǎng)內(nèi)容、數(shù)字媒體、金融企業(yè)、云計(jì)算和IT服務(wù)商等行業(yè)客戶(hù)吸引到其數(shù)據(jù)中心內(nèi)。目前，Equinix采取了多種多樣的設(shè)計(jì)方式，比如阿姆斯特丹的AM3 IBX數(shù)據(jù)中心使用地下水制冷ATES技術(shù)，多倫多的TR1 IBX數(shù)據(jù)中心使用深層湖水制冷系統(tǒng)，新加坡的SG1 IBX則率先采用細(xì)粒度溫度監(jiān)控，可提升PUE值15%等。

（3）案例C：Google和Facebook的設(shè)計(jì)概述（上榜理由——IT行業(yè)領(lǐng)導(dǎo)者）

在IT行業(yè)，Google和Facebook是數(shù)據(jù)中心的領(lǐng)導(dǎo)者。Facebook近年來(lái)提出了開(kāi)源硬件設(shè)計(jì)OCP社區(qū)，以及一系列先進(jìn)高效的機(jī)房設(shè)計(jì)技術(shù)，比如分布式電池、模塊化高密度機(jī)柜三元組等。他們也采取了比如冷熱通道隔離、LED采光等傳統(tǒng)技術(shù)來(lái)進(jìn)一步提升數(shù)據(jù)中心整體能效。

（4）案例D：TelecityGroup和GIB數(shù)據(jù)中心（上榜理由——?dú)W洲最具創(chuàng)意設(shè)計(jì)）

歐洲人重視設(shè)計(jì)和浪漫。法國(guó)TelecityGroup數(shù)據(jù)中心被稱(chēng)為歐洲技術(shù)最領(lǐng)先和最綠色的數(shù)據(jù)中心之一，它采用自然風(fēng)制冷，使用白色屋頂減少吸熱，其中1個(gè)亮點(diǎn)在于使用廢氣熱源來(lái)培養(yǎng)熱帶植物（和法國(guó)國(guó)家農(nóng)業(yè)研究所INRA合作）。瑞士GIB數(shù)據(jù)中心的亮點(diǎn)是回收熱源為泳池加熱，據(jù)統(tǒng)計(jì)該設(shè)計(jì)每年能節(jié)省150t碳，相當(dāng)于50萬(wàn)輛轎車(chē)行駛1.6km。

（5）案例E：百度，騰迅，阿里數(shù)據(jù)中心（上榜理由——國(guó)內(nèi)重要數(shù)據(jù)中心運(yùn)營(yíng)商）

百度核心業(yè)務(wù)在搜索方面，因此在數(shù)據(jù)中心方面并無(wú)特別突破，屬于走設(shè)備一流型建設(shè)方式。百度2013年建成的南京云數(shù)據(jù)中心的亮點(diǎn)在于“自我定制”，但由于缺乏一流的設(shè)計(jì)和管理，其PUE并不是最突出的，僅1.37（而谷歌2008年就達(dá)到1.22了）。騰迅第三代數(shù)據(jù)中心TDMC，在建造上走在前列，率先采取模塊化設(shè)計(jì)，采用高效能的供電設(shè)備，但是騰迅在制冷和新能源方面邁出的步伐有限。阿里云, 其軟件系統(tǒng)層面的“異地雙活”等容災(zāi)技術(shù)是主要優(yōu)勢(shì)，得以支撐每年的雙11購(gòu)物。雖然阿里對(duì)管理峰值負(fù)載有一定經(jīng)驗(yàn)，但在設(shè)計(jì)高效能綠色數(shù)據(jù)中心方面還在摸索。主要宣揚(yáng)的技術(shù)也僅僅是國(guó)外于2008年起就出現(xiàn)的設(shè)計(jì)，也就是簡(jiǎn)單的新能源電力集成，以及普通風(fēng)冷水冷技術(shù)。

凌云綠洲綠色能源集成與混合式供電的數(shù)據(jù)中心節(jié)能建設(shè)方案

凌云綠洲數(shù)據(jù)科技有限公司，是專(zhuān)門(mén)針對(duì)大數(shù)據(jù)中心進(jìn)行能源智能優(yōu)化與管理的公司，在利用再生能源的高性能計(jì)算領(lǐng)域進(jìn)行了世界首創(chuàng)性的工作，技術(shù)處于國(guó)際領(lǐng)先行列，成果在HPCA 2011的227篇提交的學(xué)術(shù)論文中排名第1，并獲最佳論文。通過(guò)該項(xiàng)技術(shù)，可使數(shù)據(jù)中心能耗降低20%~30%。

（1）技術(shù)優(yōu)勢(shì)和亮點(diǎn)

我們的“凌云綠洲”系列新一代數(shù)據(jù)中心設(shè)計(jì)經(jīng)過(guò)過(guò)去5年的發(fā)展，實(shí)現(xiàn)了一系列技術(shù)突破。該方案簡(jiǎn)單而言可以概括為自頂向下的設(shè)計(jì)：首先，在頂層采用一種全局體系架構(gòu)，并在此基礎(chǔ)上發(fā)展出一套綜合管控系統(tǒng)，在該系統(tǒng)中融合3項(xiàng)硬件實(shí)施技術(shù)（用電、供電、備電）；最后，采用一個(gè)基礎(chǔ)設(shè)計(jì)單元來(lái)具體實(shí)施。

首先，我們?cè)O(shè)計(jì)的全局體系架構(gòu)，指的是模塊化的混合供電架構(gòu)，這種架構(gòu)使得我們能夠同時(shí)采取兩種新能源融合方式：細(xì)粒度的模塊化直連；粗粒度的模塊化并網(wǎng)。這種方式被證明是最經(jīng)濟(jì)有效的，能夠適合于各種不同的設(shè)計(jì)目標(biāo)和動(dòng)態(tài)擴(kuò)張需要。

其次，我們?cè)诖思軜?gòu)上同時(shí)設(shè)計(jì)了一套全局管控軟件系統(tǒng)，該系統(tǒng)中包含了監(jiān)控層、應(yīng)用層、內(nèi)核層，以及接口層。這里接口層是系統(tǒng)的基礎(chǔ)，提供必要的通信和控制手段，而我們的技術(shù)創(chuàng)新主要體現(xiàn)在應(yīng)用層和內(nèi)核層。

具體來(lái)說(shuō)，在應(yīng)用層我們完成了3項(xiàng)硬件實(shí)施技術(shù)。首先是服務(wù)器計(jì)算技術(shù)（用電技術(shù)），該技術(shù)能夠助力大數(shù)據(jù)計(jì)算環(huán)境下服務(wù)器設(shè)備的高效運(yùn)行。與之類(lèi)似的服務(wù)器系統(tǒng)已經(jīng)被諾基亞和施奈德等公司采用，但他們并不具備我們的相關(guān)技術(shù)。此外，我們還同時(shí)研發(fā)了異構(gòu)式電力削峰技術(shù)（供電技術(shù)），該技術(shù)支持經(jīng)濟(jì)高效的機(jī)房供電，能夠借助高效的負(fù)載削峰可提升設(shè)備壽命達(dá)5倍，并提升40%的能效。

最后，我們還實(shí)現(xiàn)了數(shù)據(jù)中心分布式儲(chǔ)能備份技術(shù)（備電技術(shù)），從而能夠支持高可用性云系統(tǒng)對(duì)可用性的需求，分布式電池目前已經(jīng)被微軟、Facebook、惠普等多家IT公司所采用，我們的技術(shù)能夠有效地實(shí)現(xiàn)綠色數(shù)據(jù)中心對(duì)大規(guī)模分布式電池設(shè)備的備電管理，從而極大提升云數(shù)據(jù)中心的整體可用性。

以上技術(shù)最終的實(shí)施方式是一個(gè)協(xié)同設(shè)計(jì)的基礎(chǔ)單元，稱(chēng)之為綠洲節(jié)點(diǎn)。該節(jié)點(diǎn)實(shí)現(xiàn)了“儲(chǔ)能-配電-用電”的協(xié)同優(yōu)化，便于在綠色數(shù)據(jù)中心中實(shí)施。

（2）具體實(shí)施內(nèi)容和先進(jìn)性

除去以上針對(duì)綠色數(shù)據(jù)中心的創(chuàng)新型技術(shù)，我們的建設(shè)和實(shí)施方案還將包含目前各個(gè)領(lǐng)域的主流前沿技術(shù)，具體體現(xiàn)在9個(gè)方面。

①電信設(shè)備具有前瞻性。服務(wù)器節(jié)點(diǎn)的更新比較容易，而對(duì)網(wǎng)絡(luò)設(shè)施的改造就相對(duì)困難。電信機(jī)房?jī)?nèi)的主要分布區(qū)和水平分布區(qū)都需要考慮未來(lái)數(shù)據(jù)通信量的爆發(fā)和服務(wù)器節(jié)電的拓展，否則極易造成擁堵。雖然目前以10G以太網(wǎng)為主流，但在大數(shù)據(jù)爆發(fā)時(shí)代，應(yīng)瞄準(zhǔn)40G和100G網(wǎng)絡(luò)設(shè)備。

②服務(wù)器采取異構(gòu)集群。這使得我們能夠提供多樣化的服務(wù)。為此設(shè)計(jì)了5類(lèi)標(biāo)準(zhǔn)化的服務(wù)器節(jié)點(diǎn)，并建設(shè)了3大類(lèi)集群：前段集群、服務(wù)器集群、后端集群。不同的集群具有不同的處理器和存儲(chǔ)設(shè)備性能。

③精準(zhǔn)管控設(shè)備利用率。服務(wù)器的利用率嚴(yán)重影響數(shù)據(jù)中心的整體運(yùn)營(yíng)成本。利用率越高則數(shù)據(jù)中心的利潤(rùn)率越大。因此，我們針對(duì)服務(wù)器電源負(fù)載和電池充放電進(jìn)行了優(yōu)化。

④環(huán)境全局實(shí)時(shí)監(jiān)控。采用智能配電檢測(cè)單元、網(wǎng)絡(luò)通信監(jiān)測(cè)單元、電池監(jiān)測(cè)模塊、電力切換控制器，智能環(huán)境監(jiān)測(cè)單元等，這不僅能提升服務(wù)器和網(wǎng)絡(luò)的安全性，還能極大降低超載和溫度失控等問(wèn)題的發(fā)生。

⑤選擇模塊化設(shè)備。對(duì)于目前國(guó)際上一流數(shù)據(jù)中心設(shè)計(jì)來(lái)說(shuō)，其供電設(shè)備一個(gè)主要特點(diǎn)是分布式和模塊化。模塊化預(yù)定制的供電設(shè)備便于系統(tǒng)擴(kuò)張，安裝調(diào)試方便，能避免單點(diǎn)錯(cuò)誤。

⑥混合多模式制冷。多模式運(yùn)行即為結(jié)合外部環(huán)境情況來(lái)實(shí)現(xiàn)經(jīng)濟(jì)高效的制冷運(yùn)行。比如在冬季，直接借助室外冷空氣的交換；在夏季，利用水蒸氣蒸發(fā)散熱；只有在極端請(qǐng)情況下，才利用比較耗電的壓縮機(jī)主動(dòng)降溫。另外，降低對(duì)水資源的要求是中西部地區(qū)設(shè)計(jì)數(shù)據(jù)中心的一個(gè)關(guān)鍵，多模式運(yùn)行能夠節(jié)省水資源，每兆瓦僅需要1000m3。

⑦新能源熱電聯(lián)產(chǎn)。這使得我們能夠進(jìn)一步優(yōu)化綜合供能。熱電聯(lián)產(chǎn)模式下的制冷機(jī)本身可以不再需要額外電力。據(jù)目前估算，回收的這部分熱能生產(chǎn)的冷卻水剛好能夠滿(mǎn)足所供服務(wù)器的制冷需求。

⑧縝密的冗余設(shè)計(jì)。這對(duì)于提升數(shù)據(jù)中心可用性非常重要。除了一般的電力設(shè)備冗余外，其他一些關(guān)鍵設(shè)備也不能忽視。比如選擇具有雙風(fēng)扇的服務(wù)器刀片，可避免因內(nèi)部風(fēng)扇故障而產(chǎn)生的致冷失效。借助冗余設(shè)計(jì)以及有效的負(fù)載平衡，往往可以避免數(shù)據(jù)中心接入層的單點(diǎn)錯(cuò)誤，

⑨規(guī)范化布局建設(shè)。關(guān)于布線(xiàn)等細(xì)節(jié)的規(guī)范化建設(shè)對(duì)于打造一流數(shù)據(jù)中心非常重要。這包括機(jī)柜內(nèi)部的橫縱走線(xiàn)管理，機(jī)柜頂部的橫縱走線(xiàn)管理，標(biāo)簽命名方式，以及線(xiàn)纜的顏色標(biāo)定等，并提供高精準(zhǔn)度機(jī)房、布局、走線(xiàn)三維建模和物理智能運(yùn)維支持，使得任何故障能實(shí)時(shí)定位和維護(hù)輔助支持，大大減緩大數(shù)據(jù)中心運(yùn)維難度、排除故障的實(shí)時(shí)性和故障預(yù)測(cè)。

總結(jié)

總而言之，供電設(shè)備、制冷設(shè)備、網(wǎng)絡(luò)設(shè)備是目前機(jī)房建設(shè)的三大部分，一般以結(jié)構(gòu)化和模塊化為特點(diǎn)，注重容量的可擴(kuò)展性和核心設(shè)備的可用性，從多方面提升供電與用電效率。前沿設(shè)計(jì)無(wú)不善用“光、風(fēng)、水”來(lái)為數(shù)據(jù)中心提供環(huán)保及可持續(xù)的供電、散熱、制冷。國(guó)內(nèi)機(jī)房建設(shè)還徘徊在國(guó)外5年前的狀況，具備一流硬件，但缺乏一流設(shè)計(jì)和管理。我公司的“1種架構(gòu)+1套系統(tǒng)+3項(xiàng)實(shí)施技術(shù)+1個(gè)基礎(chǔ)單元（1131）”設(shè)計(jì)方案幫助綠色數(shù)據(jù)中心高效利用本地新能源，在保證性能、能效、可靠性的同時(shí)，實(shí)現(xiàn)可管理、可優(yōu)化、可擴(kuò)展，從而最終實(shí)現(xiàn)可持續(xù)；多項(xiàng)設(shè)計(jì)已被業(yè)界（如facebook）采用。實(shí)踐表明，我們的大數(shù)據(jù)中心設(shè)計(jì)技術(shù)，能夠?qū)?chǔ)能電池壽命延長(zhǎng)70%，整體節(jié)能達(dá)到20%~30%。該核心技術(shù)的應(yīng)用，將為我國(guó)智慧城市大數(shù)據(jù)中心、行業(yè)大數(shù)據(jù)中心的建設(shè)帶來(lái)質(zhì)的改變，大幅提升大數(shù)據(jù)中心能源利用效率，顯著降低大數(shù)據(jù)中心建設(shè)和運(yùn)營(yíng)成本，推動(dòng)我國(guó)“互聯(lián)網(wǎng)+”和物聯(lián)網(wǎng)產(chǎn)業(yè)的綠色和可持續(xù)發(fā)展！