數(shù)據(jù)中心被動(dòng)式散熱解決方案——通向綠色數(shù)據(jù)中心之路

文｜CPI公司亞太區(qū) 張 愚

1 前言

隨著新一代計(jì)算機(jī)設(shè)備的計(jì)算能力和功率能耗的大幅度提高，傳統(tǒng)數(shù)據(jù)中心如何增加每機(jī)柜的功率密度也變得越來越重要。Intel的研究表明，同樣的計(jì)算能力在2002年時(shí)需要25個(gè)機(jī)柜和128kW的能耗（5.1kW每機(jī)柜），到2008年時(shí)，只需一個(gè)機(jī)柜21kW的能耗（21kW每機(jī)柜）。 對(duì)比之下，我們節(jié)省了107kW的能耗，并且也大大節(jié)省了數(shù)據(jù)中心的物理大小和結(jié)構(gòu)。

這種大幅度的計(jì)算能力的提升得益于虛擬計(jì)算、內(nèi)存系統(tǒng)、多核CPU系統(tǒng)、CPU速度和GPGPU技術(shù)的飛速發(fā)展。虛擬計(jì)算大大提高了服務(wù)器的使用效率，從而增加了單個(gè)機(jī)柜的發(fā)熱密度。隨著內(nèi)存容量和速度的飛速發(fā)展，最新的DRAM技術(shù)使得內(nèi)存的發(fā)熱量也大大的提升。工程和科學(xué)研究等應(yīng)用大量使用圖形浮點(diǎn)運(yùn)算，GPGPU使得顯卡的發(fā)熱量從25W提高到300W以上。雖然服務(wù)器的功耗持續(xù)不斷的提高，但是性能和功耗比在不斷的下降。從以上的例子可以看出，數(shù)據(jù)中心空調(diào)系統(tǒng)能夠高效的對(duì)機(jī)柜進(jìn)行冷卻，將大大降低數(shù)據(jù)中心的總能耗，在本質(zhì)上我們可以真正擁有一個(gè)綠色數(shù)據(jù)中心。

提高空調(diào)的制冷效率并節(jié)約能源只是數(shù)據(jù)中心管理的重要一部分，然而每機(jī)柜的熱密度不停的增加則帶給我們更多的挑戰(zhàn)。目前全球數(shù)據(jù)中心的每機(jī)柜的平均熱密度大概為6.5kW，但是ASHRAE2預(yù)測在2014年數(shù)據(jù)中心平均每機(jī)柜所需的制冷量為37kW，這種5倍的熱密度飛躍，需要我們對(duì)數(shù)據(jù)中心進(jìn)行不斷的革新來解決。本文將對(duì)被動(dòng)式散熱解決方案以及如何利用該技術(shù)實(shí)現(xiàn)綠色節(jié)能數(shù)據(jù)中心進(jìn)行介紹。

2 數(shù)據(jù)中心散熱基礎(chǔ)

首先，我們將對(duì)數(shù)據(jù)中心散熱做一個(gè)基本的研究。IT設(shè)備散熱所需的風(fēng)量可用下列等式來表明：

其中：m3/H 為機(jī)柜中的設(shè)備散熱所需的風(fēng)量（立方米冷風(fēng)/每小時(shí)）；W=瓦特?cái)?shù)（IT設(shè)備的功耗）；△T=IT設(shè)備的溫差（設(shè)備回風(fēng)溫度減去設(shè)備的進(jìn)風(fēng)溫度）。

該等式表明了機(jī)柜的散熱能力和高架送風(fēng)地板的送風(fēng)能力有著密不可分的關(guān)系。由于高架送風(fēng)地板所送的冷風(fēng)風(fēng)量的不充足，使機(jī)柜上部的IT設(shè)備進(jìn)風(fēng)風(fēng)扇所造成的負(fù)壓，會(huì)將機(jī)柜后部熱通道中的熱空氣抽入IT設(shè)備中，從而造成服務(wù)器過熱的問題。

研究表明，在一個(gè)設(shè)計(jì)不合理的數(shù)據(jù)中心內(nèi)，60%的空調(diào)機(jī)冷送風(fēng)由于氣流組織的不合理而被浪費(fèi)。目前，傳統(tǒng)的開放式熱通道結(jié)構(gòu)數(shù)據(jù)中心面臨著兩大氣流管理難題：冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費(fèi)現(xiàn)象，這兩種現(xiàn)象大大降低了空調(diào)制冷的效率。其中，冷熱空氣相混合現(xiàn)象指的是由設(shè)備產(chǎn)生的熱空氣和空調(diào)機(jī)的冷送風(fēng)相混合，從而提高了設(shè)備的進(jìn)風(fēng)溫度；空調(diào)冷送風(fēng)的浪費(fèi)現(xiàn)象則是指空調(diào)機(jī)的冷送風(fēng)并未進(jìn)入設(shè)備并對(duì)設(shè)備進(jìn)行冷卻，而是直接回流到空調(diào)機(jī)的現(xiàn)象。冷熱空氣混合現(xiàn)象也是導(dǎo)致數(shù)據(jù)中心溫度不一致的主要原因，并且這種現(xiàn)象也大大降低了數(shù)據(jù)中心空調(diào)的制冷效率和制冷能力。如何解決這兩種現(xiàn)象，最簡單、有效的方法就是將冷熱空氣物理隔離開。

3 數(shù)據(jù)中心散熱管理基線——隔離冷熱空氣

Intel公司多年的研究和實(shí)驗(yàn)表明，良好的氣流組織管理，能夠大大減少冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費(fèi)現(xiàn)象。Intel公司現(xiàn)在的數(shù)據(jù)中心的熱密度也從單個(gè)機(jī)柜310WPSF增加到781WPSF（每機(jī)柜15kW增加到40kW以上）。另外，Dell4和HP5的數(shù)據(jù)中心也正在使用冷池或熱池技術(shù)。本文將對(duì)這種被動(dòng)型（通過物理手段，無任何有源設(shè)備）對(duì)數(shù)據(jù)中心進(jìn)行散熱做出研究，并對(duì)可行的方案做出比較，從而找出最佳的數(shù)據(jù)中心散熱解決方案。

目前，主動(dòng)性數(shù)據(jù)中心散熱也在行業(yè)內(nèi)普遍使用。但是其高昂的投資成本，復(fù)雜的安裝過程和維護(hù)等問題，我們將不在本文中討論。

圖1 標(biāo)準(zhǔn)熱池方案

4 數(shù)據(jù)中心散熱解決方案

4.1 方案1：冷池和熱池

熱通道封閉或熱池（HAC）是將熱通道密閉起來并通過回風(fēng)管將熱回風(fēng)傳回?cái)?shù)據(jù)中心空調(diào)系統(tǒng)，如圖1所示。對(duì)比熱池，冷池（CAC）是將冷通道密閉起來。這兩種技術(shù)都將空調(diào)的冷送風(fēng)和熱回風(fēng)隔離開來，并使空調(diào)機(jī)回風(fēng)溫度提高以此來提高空調(diào)的制冷效率。這兩種方式的區(qū)別主要是可擴(kuò)展性，散熱管理和工作環(huán)境的適宜性。

冷池的可擴(kuò)展性主要是受地板下送風(fēng)和如何將地板下冷風(fēng)送入多個(gè)冷池的制約。目前業(yè)界對(duì)該技術(shù)有著很多的誤解，很多人認(rèn)為空調(diào)機(jī)的出風(fēng)量能滿足設(shè)備的散熱風(fēng)量即可。他們忽略了高架地板下冷送風(fēng)對(duì)于多個(gè)冷池的壓力影響和空間的限制。相反，熱池則是使用整個(gè)數(shù)據(jù)中心作為冷通道來解決這個(gè)問題，正因?yàn)檫@樣，擴(kuò)大了冷通道的空間。這樣熱池相比于冷池有著更多的空調(diào)冗余性能，多出的熱通道空間將會(huì)在空調(diào)系統(tǒng)出現(xiàn)故障時(shí)，能夠給予更多的寶貴維修時(shí)間。而且隨著服務(wù)器設(shè)備的散熱能力的提高，服務(wù)器所需的散熱風(fēng)量將會(huì)大大的減少?，F(xiàn)在很多服務(wù)器的熱風(fēng)出風(fēng)溫度可以達(dá)到55℃。冷池的未被隔離部分空間的溫度將會(huì)比傳統(tǒng)數(shù)據(jù)中心大大的提高，這將大大增加數(shù)據(jù)中心工作人員的舒適度和減少數(shù)據(jù)中心其他設(shè)備的使用壽命。綜上所述，雖然這兩種方法都可以提高每臺(tái)機(jī)柜的熱密度，但是當(dāng)合理使用熱池時(shí)，熱池的效率比冷池更加有效可靠。

通過以上的對(duì)比，我們可以發(fā)現(xiàn)熱池比冷池有著更多的優(yōu)點(diǎn)。另外在數(shù)據(jù)中心斷電的情況下，冷池?cái)?shù)據(jù)中心的冷空氣只存在于高架地板下和密閉冷通道中，相反熱池?cái)?shù)據(jù)中心中的冷空氣存在于高架地板下和房間內(nèi)的絕大多數(shù)地方，所以冷池?cái)?shù)據(jù)中心的冷空氣體積遠(yuǎn)遠(yuǎn)小于熱空氣的體積。當(dāng)數(shù)據(jù)中心斷電或空調(diào)出現(xiàn)問題時(shí)，冷池?cái)?shù)據(jù)中心在幾秒鐘可以喪失所有的IT設(shè)備。所以在有可能的情況下，我們應(yīng)該盡量采用熱池而不是冷池。使用部分密閉熱池或冷池的數(shù)據(jù)中心的熱點(diǎn)現(xiàn)象可能還會(huì)存在，其消防設(shè)施的位置也需要額外注意，但相比傳統(tǒng)數(shù)據(jù)中心則大大提高了每機(jī)柜的熱密度。但是，要到達(dá)2014年每機(jī)柜37kW的熱密度，這些是遠(yuǎn)遠(yuǎn)不夠的。

4.2 方案2：垂直排風(fēng)管機(jī)柜

除此之外，另一種方案是機(jī)柜級(jí)的冷熱風(fēng)隔離系統(tǒng)，如圖2所示。這種系統(tǒng)通常是機(jī)柜的一個(gè)延伸部分，最常見的系統(tǒng)為機(jī)柜垂直排風(fēng)管系統(tǒng)，或稱作煙囪機(jī)柜系統(tǒng)。垂直排風(fēng)管系統(tǒng)將密閉機(jī)柜內(nèi)的熱回風(fēng)導(dǎo)入到天花板上方。對(duì)比冷池或熱池，煙囪機(jī)柜系統(tǒng)有著巨大的優(yōu)點(diǎn)：首先，對(duì)于機(jī)柜而言，煙囪機(jī)柜隔離冷熱空氣系統(tǒng)比冷池或熱池系統(tǒng)隔離整排機(jī)柜的冷熱空氣更為簡單有效，并且煙囪機(jī)柜在所有解決方案中是最簡單的全密閉系統(tǒng)。另外，煙囪機(jī)柜系統(tǒng)不和空調(diào)系統(tǒng)相連，這樣我們可以隨著需求的增加來任意增加機(jī)柜，從而達(dá)到更高的可擴(kuò)展性。最后，該系統(tǒng)和空調(diào)系統(tǒng)的獨(dú)立性確保了數(shù)據(jù)中心可以使用大型的空調(diào)系統(tǒng)來提高制冷效率和節(jié)能。使用垂直排風(fēng)管系統(tǒng)，冷空氣可使用高架地板（常用送風(fēng)方法）送風(fēng)或直接將冷風(fēng)吹入數(shù)據(jù)中心內(nèi)部來送風(fēng)，并且可以結(jié)合使用空氣節(jié)能器來起到更佳的節(jié)能效果，垂直排風(fēng)管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應(yīng)用，如圖3所示。

圖2 垂直排風(fēng)管系統(tǒng)或稱為煙囪機(jī)柜系統(tǒng)

圖3 垂直排風(fēng)管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應(yīng)用

垂直排風(fēng)管系統(tǒng)機(jī)柜的第一個(gè)挑戰(zhàn)是必須使用天花吊頂或者使用回風(fēng)管，這樣，數(shù)據(jù)中心就需要額外的高度。第二個(gè)挑戰(zhàn)是風(fēng)壓差，我們必須確保機(jī)柜前后具有風(fēng)壓，使得冷風(fēng)可以進(jìn)入機(jī)柜來對(duì)機(jī)柜散熱。這種挑戰(zhàn)主要體現(xiàn)在機(jī)柜前部的送風(fēng)風(fēng)壓壓力、機(jī)柜后部熱回風(fēng)的風(fēng)壓、機(jī)柜后部的理線等功能區(qū)對(duì)風(fēng)壓的影響以及機(jī)柜頂部垂直排風(fēng)管的大小和長度。因此，必須在設(shè)計(jì)時(shí)特別注意，確保該垂直排風(fēng)管系統(tǒng)不會(huì)造成錯(cuò)誤的壓差。

我們可以通過控制機(jī)柜內(nèi)部的空氣流速來控制機(jī)柜內(nèi)部的空氣壓力，即使在沒有任何有源設(shè)備的情況下，利用自然壓力差將更多的冷送風(fēng)吸入機(jī)柜，并將熱回風(fēng)排放至天花板上部。

5 通向綠色數(shù)據(jù)中心之路——垂直排風(fēng)管機(jī)柜

5.1 防止無效的冷送風(fēng)浪費(fèi)現(xiàn)象

Uptime（美國最大、最權(quán)威的數(shù)據(jù)中心研究機(jī)構(gòu)）曾對(duì)美國的大型數(shù)據(jù)中心做過一次研究，美國平均每個(gè)數(shù)據(jù)中心冷送風(fēng)風(fēng)量是實(shí)際需求的2.7倍，但是這么多的冷量仍無法對(duì)大多數(shù)的數(shù)據(jù)中心進(jìn)行冷卻——很多數(shù)據(jù)中心存在著局部過熱問題。實(shí)際上這么多的冷量并沒有進(jìn)入機(jī)柜對(duì)IT設(shè)備進(jìn)行降溫，而完全浪費(fèi)掉。比如，我們通常所見高架地板上的過線孔，在下走線的數(shù)據(jù)中心內(nèi)，很多過線孔是開在熱通道或機(jī)柜底部，這些開口在過線的同時(shí)也將空調(diào)的冷送風(fēng)送入了熱通道或機(jī)柜底部，從而繞開了設(shè)備的進(jìn)風(fēng)風(fēng)扇。我們甚至不止一次的見到，由于水平走線的原因，有些數(shù)據(jù)中心在數(shù)據(jù)中心高級(jí)地板墻壁上開了很大的孔，該孔造成了大量空調(diào)冷送風(fēng)向數(shù)據(jù)中心外部泄露，這些被浪費(fèi)的冷送風(fēng)帶來高架地板靜壓箱送風(fēng)風(fēng)壓的損失，從而導(dǎo)致冷送風(fēng)不能送達(dá)關(guān)鍵的位置。

圖4 高架地板纜線開口造成冷空氣的浪費(fèi)

Uptime通過實(shí)際測量很多數(shù)據(jù)中心，發(fā)現(xiàn)大多數(shù)的數(shù)據(jù)中心都存在不正確的浪費(fèi)現(xiàn)象，其浪費(fèi)達(dá)到50%甚至更多。如果將這些不正確的開孔密閉起來，可以大大提高數(shù)據(jù)中心空調(diào)制冷的效果。如果我們把這50%的冷量節(jié)省下來，該數(shù)據(jù)中心就有巨大的節(jié)能效果。我們用表1對(duì)同一數(shù)據(jù)中心做一個(gè)比較，在一個(gè)30個(gè)機(jī)柜的低熱密度的機(jī)房內(nèi)，如果我們將地板過線孔都密封起來，該數(shù)據(jù)中心空調(diào)運(yùn)行每小時(shí)節(jié)省262度電。

表1

5.2 提高空調(diào)機(jī)熱回風(fēng)溫度來提高空調(diào)制冷性能

眾所周知，空調(diào)的制冷效率和性能與空調(diào)機(jī)熱回風(fēng)和冷送風(fēng)的溫差有關(guān)，如表2所示。

表2

對(duì)于絕大多數(shù)的數(shù)據(jù)中心而言，它們給空調(diào)機(jī)的回風(fēng)溫度并不高，這些可能是因?yàn)閿?shù)據(jù)中心的布局不好或者是熱回風(fēng)在回流空調(diào)機(jī)時(shí)被旁路（浪費(fèi)的）冷送風(fēng)降溫，從而導(dǎo)致數(shù)據(jù)中心的空調(diào)制冷效能未達(dá)到空調(diào)機(jī)的性能值。我們以Libert FH600C 30噸的空調(diào)機(jī)來看，大多冷熱通道布局的數(shù)據(jù)中心溫差為5.5℃（21℃回風(fēng)溫度，15.5℃送風(fēng)溫度），這時(shí)空調(diào)機(jī)的制冷量僅為23噸，遠(yuǎn)遠(yuǎn)未達(dá)空調(diào)機(jī)額定正常制冷指標(biāo)。如果我們將回風(fēng)溫度從21℃提高到40.5℃時(shí)，我們可以將空調(diào)額定制冷量翻倍，30噸冷量的空調(diào)機(jī)實(shí)際制冷效率為61.3噸。提高回風(fēng)溫度，不僅可以少買空調(diào)機(jī)來節(jié)約投資費(fèi)用，同時(shí)在數(shù)據(jù)中心實(shí)際運(yùn)行中也節(jié)省了很多電費(fèi)。

那么如何提高回風(fēng)溫度？答案很簡單：使用煙囪機(jī)柜。因?yàn)槭褂脽焽铏C(jī)柜，我們幾乎忽略設(shè)備熱回風(fēng)的路徑。所有熱空氣在天花板上方，冷熱空氣不再混合，所以不存在熱空氣在向空調(diào)機(jī)回流時(shí)被冷卻的現(xiàn)象。

5.3 提高空調(diào)機(jī)冷送風(fēng)溫度

采用冷熱通道布局的數(shù)據(jù)中心，房間內(nèi)部的溫度不一。由于冷熱空氣的相混合和避免機(jī)柜過熱的問題，空調(diào)機(jī)通常的冷送風(fēng)溫度在11℃～13℃之間。

但是在煙囪機(jī)柜的數(shù)據(jù)中心中，機(jī)柜頂部的垂直排風(fēng)管將機(jī)柜內(nèi)部的熱回風(fēng)導(dǎo)流至天花板上方，從而使機(jī)房內(nèi)部再無冷熱空氣混合的現(xiàn)象。IT設(shè)備過熱要求設(shè)備進(jìn)風(fēng)溫度不能超過25℃，這樣，對(duì)于空調(diào)機(jī)而言，24℃的冷送風(fēng)完全能夠冷卻數(shù)據(jù)中心。

通過提高空調(diào)機(jī)的冷送風(fēng)溫度，可以提高冷凍水管的水溫和冷水機(jī)組的制冷效率。

6 結(jié)束語

PUE是全球用來衡量數(shù)據(jù)中心是否綠色節(jié)能的重要一個(gè)技術(shù)指標(biāo)。

美國高性能數(shù)據(jù)中心的PUE值大概為2.0左右，這代表了數(shù)據(jù)中心每用2度電，只有1度電是被IT設(shè)備用掉，另外1度電是用在管理該數(shù)據(jù)中心。通過對(duì)數(shù)據(jù)中心管理用電使用情況分析，得出空調(diào)和氣流管理大概占到40%左右的結(jié)論。

國內(nèi)數(shù)據(jù)中心的PUE值比歐美發(fā)達(dá)國家要大，這也意味著同樣的數(shù)據(jù)中心，我們使用了更多的能源。其中主要問題是管理人員對(duì)數(shù)據(jù)中心散熱的不熟悉，不重視。主要問題體現(xiàn)在以下幾個(gè)方面：

◆一味購買更多的、更大的空調(diào)機(jī)來對(duì)數(shù)據(jù)中心制冷；

◆空調(diào)冷送風(fēng)溫度過低；

◆熱回風(fēng)回流空調(diào)機(jī)時(shí)，預(yù)冷卻回風(fēng)從而降低了空調(diào)的制冷效率；

◆機(jī)房布局不合理，機(jī)柜冷熱空氣相混合現(xiàn)象嚴(yán)重；

◆大量的錯(cuò)誤地板開孔導(dǎo)致大量冷送風(fēng)被浪費(fèi)。

機(jī)柜的傳統(tǒng)概念正在被垂直排風(fēng)管系統(tǒng)慢慢改變，機(jī)柜不再是傳統(tǒng)意義上只是用來安裝設(shè)備的柜子而已，使用垂直排風(fēng)管機(jī)柜可將冷熱空氣徹底隔離，成為數(shù)據(jù)中心空調(diào)系統(tǒng)密不可分的一個(gè)重要組成部分。

目前垂直排風(fēng)管機(jī)柜在國際數(shù)據(jù)中心中逐步應(yīng)用。其中Intel在全球30個(gè)高熱密度數(shù)據(jù)中心廣泛使用。Intel在實(shí)際應(yīng)用中，每機(jī)柜熱密度高達(dá)32kW，在機(jī)房中無任何機(jī)柜局部過熱現(xiàn)象。在高效地對(duì)IT設(shè)備進(jìn)行散熱之外，該機(jī)柜還通過提高空調(diào)回風(fēng)溫度和提高空調(diào)機(jī)冷送風(fēng)溫度來大大節(jié)約數(shù)據(jù)中心能源。高密度刀片機(jī)柜中垂直排風(fēng)管系統(tǒng)機(jī)柜應(yīng)用，如圖5所示。

圖5 高密度刀片機(jī)柜中垂直排風(fēng)管系統(tǒng)機(jī)柜的應(yīng)用

使用垂直排風(fēng)管系統(tǒng)機(jī)柜，我們不僅可以做到機(jī)柜的高密度應(yīng)用，更可以做到以下節(jié)能指標(biāo)，從而建設(shè)一個(gè)綠色節(jié)能的數(shù)據(jù)中心：

◆數(shù)據(jù)中心關(guān)鍵制冷量下降74%；

◆冷凍水峰值用水量下降35%；

◆要求的水箱24小時(shí)儲(chǔ)水量下降44%；

◆發(fā)電機(jī)重啟所需的散熱箱容量下降74%；

◆發(fā)電機(jī)、設(shè)施分配方面的HVAC負(fù)荷下降65%；

◆三相部件連接要求下降78%；

◆室內(nèi)HVAC設(shè)備的空間要求下降89%；

◆HVAC用水成本下降63%；

◆維護(hù)成本下降49%。