數(shù)據(jù)中心被動式散熱解決方案——通向綠色數(shù)據(jù)中心之路

文｜上海速越電子工程有限公司

1 前言

隨著計算機設(shè)備的計算能力和功率能耗的大幅提高，傳統(tǒng)數(shù)據(jù)中心如何提高每個機柜的功率密度也變得越來越重要。Intel的研究表明，同樣的計算能力在2002年時需要25個機柜和128kW的能耗（5.1kW/每機柜），但在2008年時只需一個機柜和21kW的能耗（21kW/每機柜）。對比之下，我們節(jié)省了107kW的能耗，并且也大大節(jié)省了數(shù)據(jù)中心的物理大小和結(jié)構(gòu)。

這種大幅度的計算能力的提升主要是得益于虛擬計算、內(nèi)存系統(tǒng)、多核CPU系統(tǒng)以及CPU速度和GPGPU技術(shù)的飛速發(fā)展。虛擬計算大大提高了服務(wù)器的使用效率，從而直接增加單個機柜的發(fā)熱密度。隨著內(nèi)存容量和速度的飛速發(fā)展，最新的DRAM技術(shù)使內(nèi)存的發(fā)熱量也大大提升。工程和科學(xué)研究等大量使用圖形浮點運算，GPGPU使得顯卡的發(fā)熱量從25W 提高到 300W 以上。雖然服務(wù)器的功耗持續(xù)不斷的提高，但是性能和功耗比在不斷的下降。從以上的例子可以看出，如果數(shù)據(jù)中心空調(diào)系統(tǒng)能夠高效的對機柜進行冷卻，我們將會大大減少數(shù)據(jù)中心的總能耗，從而在本質(zhì)上可以真正擁有一個綠色數(shù)據(jù)中心。

提高空調(diào)的制冷效率并節(jié)約能源只是數(shù)據(jù)中心管理的重要一部分，然而每機柜的熱密度不停的增加則帶給我們更多的挑戰(zhàn)。目前全球數(shù)據(jù)中心的每機柜的平均熱密度大概為6.5kW，但是ASHRAE2預(yù)測在2014年數(shù)據(jù)中心平均每機柜所需的制冷量為37kW。這種5倍的熱密度的飛躍需要我們對數(shù)據(jù)中心不斷的革新來解決。本文將對被動式散熱解決方案進行介紹，以及在數(shù)據(jù)中心中如何利用該技術(shù)實現(xiàn)綠色節(jié)能數(shù)據(jù)中心。

2 數(shù)據(jù)中心散熱基礎(chǔ)

首先，我們將對數(shù)據(jù)中心散熱做一個基本的研究。IT設(shè)備散熱所需要的風(fēng)量可用下列等式來表明：

m3/h = 2.9W÷ΔT

其中m3/h為機柜中的設(shè)備散熱所需的風(fēng)量（立方米冷風(fēng)/每小時）；W=瓦特數(shù)（IT設(shè)備的功耗）；△T=IT設(shè)備的溫差（設(shè)備回風(fēng)溫度減去設(shè)備的進風(fēng)溫度）。

該等式也表明了機柜的散熱能力直接和高架送風(fēng)地板的送風(fēng)能力有著密不可分的關(guān)系。由于高架送風(fēng)地板所送的冷風(fēng)風(fēng)量的不夠，在機柜上部的IT設(shè)備進風(fēng)風(fēng)扇所造成的負(fù)壓，會將機柜后部熱通道中的熱空氣抽入IT設(shè)備中，從而造成服務(wù)器過熱的問題。

研究表明在一個設(shè)計不合理的數(shù)據(jù)中心中，60%的空調(diào)機冷送風(fēng)由于氣流組織的不合理而被浪費。目前，傳統(tǒng)的開放式熱通道結(jié)構(gòu)數(shù)據(jù)中心面臨著兩大氣流管理難題：冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費現(xiàn)象，這兩種現(xiàn)象大大降低了空調(diào)制冷的效率。其中，冷熱空氣相混合現(xiàn)象指的是由設(shè)備產(chǎn)生的熱空氣和空調(diào)機的冷送風(fēng)相混合，從而提高了設(shè)備的進風(fēng)溫度；空調(diào)冷送風(fēng)的浪費現(xiàn)象則指的是從空調(diào)機的冷送風(fēng)并未進入設(shè)備，并對設(shè)備冷卻而直接回流到空調(diào)機的現(xiàn)象。冷熱空氣混合現(xiàn)象也是導(dǎo)致數(shù)據(jù)中心溫度不一致的主要原因，并且這種現(xiàn)象也大大降低了數(shù)據(jù)中心空調(diào)的制冷效率和制冷能力。如何解決這兩種現(xiàn)象，其實最簡單有效的方法就是將冷熱空氣物理隔離開。

Intel三多年的研究和實驗表明，良好的氣流組織管理能夠大大減少冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費現(xiàn)象。Intel現(xiàn)在的數(shù)據(jù)中心的熱密度也從單個機柜310WPSF增加到781WPSF（每機柜從15kW 增加到40kW 以上），另外，Dell4和HP5的數(shù)據(jù)中心也正在使用冷池或熱池技術(shù)。本文將以被動型（通過物理手段，無任何有源設(shè)備）對數(shù)據(jù)中心的散熱做出研究，并對可行的方案做出比較，從而找出最佳的數(shù)據(jù)中心散熱解決方案。

目前，主動性數(shù)據(jù)中心散熱（機柜內(nèi)空調(diào)制冷）也在行業(yè)內(nèi)普遍使用。但是其高昂的投資成本、復(fù)雜的安裝過程和維護等問題，我們將不在本文中討論。

3 數(shù)據(jù)中心散熱解決方案

方案一：冷池和熱池

熱通道封閉或熱池（HAC）是將熱通道密閉起來，并通過回風(fēng)管將熱回風(fēng)傳回數(shù)據(jù)中心空調(diào)系統(tǒng)，如圖1所示。對比熱池，冷池（CAC）是將冷通道密閉起來。這兩種技術(shù)都將空調(diào)的冷送風(fēng)和熱回風(fēng)隔離開來，并使空調(diào)機回風(fēng)溫度提高，以此來提高空調(diào)的制冷效率。這兩種方式的區(qū)別主要是可擴展性、散熱管理和工作環(huán)境的適宜性。

冷池的可擴展性主要是受地板下送風(fēng)和如何將地板下冷風(fēng)送入多個冷池的制約。目前業(yè)界對該技術(shù)有著很多的誤解，很多人認(rèn)為只要當(dāng)空調(diào)機的出風(fēng)量能滿足設(shè)備的散熱風(fēng)量即可。但是他們忽略了高架地板下冷送風(fēng)對于多個冷池的壓力和空間的限制。相反的熱池則是使用整個數(shù)據(jù)中心作為冷通道來解決這個問題，這樣熱池相比于冷池也有著更多空調(diào)冗余性能，多出的熱通道空間將會在空調(diào)系統(tǒng)出現(xiàn)故障時能提供足夠的維修時間。最后，隨著服務(wù)器設(shè)備散熱能力的提高，服務(wù)器所需的散熱風(fēng)量將會大大的減少?，F(xiàn)在很多服務(wù)器的熱出風(fēng)溫度可達到55℃，冷池的未被隔離部分空間的溫度將會比傳統(tǒng)數(shù)據(jù)中心大大的提高，這將增加數(shù)據(jù)中心工作人員的舒適度和減少數(shù)據(jù)中心其他設(shè)備的使用壽命。綜上所述，雖然這兩種方法都可以提高機柜的熱密度，但是當(dāng)合理使用熱池時，熱池的效率比冷池更為有效可靠。

圖1 標(biāo)準(zhǔn)熱池方案

通過以上的對比，我們可以發(fā)現(xiàn)熱池比冷池有著更多的優(yōu)點，另外在數(shù)據(jù)中心斷電的情況下，冷池數(shù)據(jù)中心的冷空氣只存在于高架地板下和密閉冷通道中，相反于熱池數(shù)據(jù)中心中冷空氣存在于高架地板下和房間內(nèi)的絕大多數(shù)地方，所以冷池數(shù)據(jù)中心的冷空氣體積遠(yuǎn)遠(yuǎn)小于熱空氣的體積。當(dāng)數(shù)據(jù)中心斷電或空調(diào)出現(xiàn)問題時，冷池數(shù)據(jù)中心在幾秒鐘內(nèi)可以喪失所有的IT設(shè)備，所以在有可能的情況下，我們應(yīng)該盡量采用熱池而不是冷池。使用部分密閉熱池或冷池的數(shù)據(jù)中心，數(shù)據(jù)中心的熱點現(xiàn)象可能還會存在，消防設(shè)施的位置也需要額外注意，但是，要到達2014年每機柜37kW的熱密度，這些是遠(yuǎn)遠(yuǎn)不夠的。

方案二：垂直排風(fēng)管機柜

除此之外，另一種方案是機柜級的冷熱風(fēng)隔離系統(tǒng)，這種系統(tǒng)通常是機柜的一個延伸部分。最常見的系統(tǒng)為機柜垂直排風(fēng)管系統(tǒng)，或稱作煙囪機柜系統(tǒng)。垂直排風(fēng)管系統(tǒng)將密閉機柜內(nèi)的熱回風(fēng)導(dǎo)入到天花板的上方，對比冷池或熱池，煙囪機柜系統(tǒng)有著巨大的優(yōu)點。首先，對于機柜而言，煙囪機柜的隔離冷熱空氣系統(tǒng)比冷池或熱池系統(tǒng)隔離整排機柜的熱冷空氣來的更為簡單有效，并且煙囪機柜在所有解決方案中是最簡單的全密閉系統(tǒng)。其次，煙囪機柜系統(tǒng)不和空調(diào)系統(tǒng)相連，這樣我們可以隨著需求的增加來任意增加機柜。最后，垂直排風(fēng)系統(tǒng)和空調(diào)系統(tǒng)的獨立性，確保了數(shù)據(jù)中心可使用大型的空調(diào)系統(tǒng)來提高制冷效率和節(jié)能。使用垂直排風(fēng)管系統(tǒng)，冷空氣可使用高架地板（常用送風(fēng)方法）送風(fēng)或直接將冷風(fēng)吹入數(shù)據(jù)中心內(nèi)部，并且結(jié)合使用空氣節(jié)能器來起到更佳的節(jié)能效果。

垂直排風(fēng)管機柜的第一個挑戰(zhàn)是我們必須使用天花吊頂或使用回風(fēng)管，如圖2所示，這樣，數(shù)據(jù)中心則需要額外的高度。第二個挑戰(zhàn)則是風(fēng)壓差，我們必須確保機柜前后的風(fēng)壓以使得冷風(fēng)可以進入機柜來對機柜散熱，這種挑戰(zhàn)主要體現(xiàn)在機柜前部的送風(fēng)風(fēng)壓壓力、機柜后部熱回風(fēng)的風(fēng)壓、機柜后部的理線等功能區(qū)對風(fēng)壓的影響以及機柜頂部垂直排風(fēng)管的大小和長度。因此，我們必須在設(shè)計時，確保垂直排風(fēng)管系統(tǒng)不會造成錯誤的壓差。

圖 2 垂直排風(fēng)管系統(tǒng)或稱為煙囪機柜

我們可以通過控制機柜內(nèi)部的空氣流速來控制機柜內(nèi)部的空氣壓力，即使在沒有使用任何有源設(shè)備的情況下，利用這種自然壓力差將更多的冷送風(fēng)吸入機柜，并將熱回風(fēng)排放至天花板上部，如圖3所示。

圖 3 垂直排風(fēng)管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應(yīng)用

4 通向綠色數(shù)據(jù)中心之路——垂直排風(fēng)管機柜

（1）防止無效的冷送風(fēng)浪費現(xiàn)象

Uptime曾對美國的大型數(shù)據(jù)中心做過一次研究，美國平均每個數(shù)據(jù)中心冷送風(fēng)風(fēng)量是實際需求的2.7倍。但是這么多的冷量仍無法對大多數(shù)的數(shù)據(jù)中心進行冷卻，很多數(shù)據(jù)中心存在著局部過熱問題。實際上這么多的冷量并沒有進入機柜對IT設(shè)備進行降溫，而是完全的浪費掉。比如，我們通常所見的高架地板上的過線孔，如圖4所示，在下走線的數(shù)據(jù)中心內(nèi)，很多過線孔是開在熱通道或機柜底部，這些開口在過線的同時也將空調(diào)的冷送風(fēng)送入了熱通道或機柜底部，從而繞開了設(shè)備的進風(fēng)風(fēng)扇。我們甚至不止一次的見到，由于水平走線的原因，有些數(shù)據(jù)中心在地板墻壁上開了很大的孔，該孔造成了大量空調(diào)冷送風(fēng)向數(shù)據(jù)中心外部泄露。這些被浪費的冷送風(fēng)帶來高架地板靜壓箱的壓力下降，從而使得冷送風(fēng)往往不能送達關(guān)鍵的位置。

圖4 高架地板纜線開口造成冷空氣的浪費

Uptime通過實際測量很多數(shù)據(jù)中心，發(fā)現(xiàn)大多數(shù)的數(shù)據(jù)中心存在開孔導(dǎo)致浪費現(xiàn)象嚴(yán)重。如果將這些不正確的開孔密閉起來的話，我們可以大大提高數(shù)據(jù)中心空調(diào)制冷效果。如果我們能把這些浪費的冷量節(jié)省下來，數(shù)據(jù)中心的節(jié)能效果將有很大的改變。通過表1對同一數(shù)據(jù)中心做一個比較，在一個30個機柜的低熱密度的機房內(nèi)，如果我們將地板過線孔都密封起來，該數(shù)據(jù)中心空調(diào)運行每小時能節(jié)省262度電。

表1

（2）提高空調(diào)機熱回風(fēng)溫度來提高空調(diào)制冷性能

眾所周知，空調(diào)的制冷效率和性能與空調(diào)機熱回風(fēng)和冷送風(fēng)的溫差有關(guān)，如表2所示。

表2

但是對絕大多數(shù)的數(shù)據(jù)中心而言，它們給空調(diào)機的回風(fēng)溫度不高，這些可能是因為數(shù)據(jù)中心的布局不好或者是熱回風(fēng)在回流空調(diào)機時被旁路（浪費的）冷送風(fēng)降溫，從而使大多數(shù)數(shù)據(jù)中心的空調(diào)制冷效果未能達到空調(diào)機的性能值。我們拿Libert FH600C 30噸的空調(diào)機來看，大多冷熱通道布局的數(shù)據(jù)中心溫差為5.5℃，如果我們將回風(fēng)溫度從21℃提高到40.5℃度時，我們可以將空調(diào)額定制冷量翻倍，30噸冷量的空調(diào)機實際制冷效率為61.3噸。提高回風(fēng)溫度，不僅可以節(jié)省設(shè)備投資費用，同時在數(shù)據(jù)中心實際運行中也節(jié)省了很多電費。

那么我們?nèi)绾翁岣呋仫L(fēng)溫度？答案很簡單：使用煙囪機柜。這樣我們幾乎忽略設(shè)備熱回風(fēng)的路徑，所有熱空氣在天花板上方，冷熱空氣不在混合，所以也沒有熱空氣在向空調(diào)機回流時被冷卻的現(xiàn)象。

（3）提高空調(diào)機冷送風(fēng)溫度

采用冷熱通道布局的數(shù)據(jù)中心，房間內(nèi)部的溫度不一。由于冷熱空氣的相混合和避免機柜過熱的問題，空調(diào)機通常的冷送風(fēng)溫度在11℃～13℃之間，如5所示。

但是在煙囪機柜的數(shù)據(jù)中心中，機柜頂部的垂直排風(fēng)管將機柜內(nèi)部的熱回風(fēng)導(dǎo)流至天花板上方，從而使機房內(nèi)部再無冷熱空氣混合的現(xiàn)象，這樣，機房內(nèi)部空氣溫度幾乎一致。IT設(shè)備過熱的定義為設(shè)備進風(fēng)溫度不能超過25℃，對于空調(diào)機而言，24℃的冷送風(fēng)完全能夠冷卻數(shù)據(jù)中心。通過提高空調(diào)機的冷送風(fēng)溫度，我們也可提高冷凍水管的水溫和冷水機組的制冷效率。

圖5 冷熱通道布局?jǐn)?shù)據(jù)中心氣流圖

5 結(jié)束語

PUE（Power Utilization Effectiveness，數(shù)據(jù)中心用電使用效率）是全球用來衡量數(shù)據(jù)中心是否綠色節(jié)能的一個重要技術(shù)指標(biāo)。

美國高性能數(shù)據(jù)中心的PUE值大概為2.0左右，這代表了數(shù)據(jù)中心每用2度電，只有1度電是被IT設(shè)備用掉，另外1度電是用在管理該數(shù)據(jù)中心。通過對數(shù)據(jù)中心管理用電使用情況分析，我們知道空調(diào)和氣流管理大概占到40%左右，如圖6所示。

圖6 PUE2.0時，數(shù)據(jù)中心各設(shè)備用電情況

國內(nèi)數(shù)據(jù)中心的PUE值對比歐美發(fā)達國家要更大，這也意味著同樣的數(shù)據(jù)中心，我們使用了更多的能源，其中主要問題是管理人員對數(shù)據(jù)中心散熱的不熟悉。主要問題體現(xiàn)在如下幾個方面：一味購買更多的、更大的空調(diào)機來對數(shù)據(jù)中心制冷；空調(diào)冷送風(fēng)溫度過低；熱回風(fēng)回流空調(diào)機時，遇冷卻回風(fēng)的從而降低了空調(diào)的制冷效率；機房布局不合理，機柜冷熱空氣相混合現(xiàn)象嚴(yán)重；錯誤地板開孔導(dǎo)致大量冷送風(fēng)被浪費。

機柜的傳統(tǒng)概念正在被垂直排風(fēng)管系統(tǒng)慢慢改變，機柜不再是傳統(tǒng)意義上只是用來安裝設(shè)備的柜子，而使用垂直排風(fēng)管機柜可將冷熱空氣徹底隔離，從而成為數(shù)據(jù)中心空調(diào)系統(tǒng)密不可分的重要組成部分。

目前垂直排風(fēng)管機柜在國際數(shù)據(jù)中心散熱方案中逐步應(yīng)用。其中Intel在全球30個高熱密度數(shù)據(jù)中心都有廣泛使用，在實際應(yīng)用中，每機柜熱密度高達32kW，在機房中無任何機柜局部過熱現(xiàn)象。在高效的對IT設(shè)備進行散熱之外，該機柜還通過提高空調(diào)回風(fēng)溫度和提高空調(diào)機冷送風(fēng)溫度來節(jié)約數(shù)據(jù)中心能源，如圖7所示。

圖7 高密度刀片機柜中垂直排風(fēng)管系統(tǒng)機柜的應(yīng)用

使用垂直排風(fēng)管系統(tǒng)機柜，我們不僅可以做到機柜的高密度應(yīng)用，更可以做到：數(shù)據(jù)中心關(guān)鍵制冷量下降74%；冷凍水峰值用水量下降35%；要求的水箱24小時儲水量下降44%；發(fā)電機重啟所需的散熱箱容量下降74%；發(fā)電機、設(shè)施分配方面的HVAC負(fù)荷下降65%；三相部件連接要求下降78%；室內(nèi)HVAC設(shè)備的空間要求下降89%；HVAC用水成本下降63%；維護成本下降49%。從而建設(shè)成一個綠色節(jié)能的數(shù)據(jù)中心。