綠色模塊化數(shù)據(jù)中心構(gòu)建之道

陽(yáng)必飛，周德文

（華為技術(shù)有限公司，廣東 深圳518129）

0 引 言

隨著虛擬化、云計(jì)算、大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)中心的職能正在悄然發(fā)生變化，正在由業(yè)務(wù)支撐系統(tǒng)變成企業(yè)的核心競(jìng)爭(zhēng)力，甚至成為企業(yè)“生產(chǎn)中心”的重要組成部分。如何解決傳統(tǒng)機(jī)房存在的問(wèn)題，引領(lǐng)數(shù)據(jù)中心的發(fā)展趨勢(shì)，構(gòu)建新一代節(jié)能環(huán)保、柔性升級(jí)的模塊化數(shù)據(jù)中心成為業(yè)內(nèi)人士探討的熱門(mén)話題和追求目標(biāo)。

1 傳統(tǒng)機(jī)房存在的問(wèn)題

傳統(tǒng)機(jī)房存在如下幾方面問(wèn)題：

（1）冷熱混合，效率低下，圖1（a）；設(shè)備部署不均，局部熱點(diǎn)（圖1（b）。

圖1 傳統(tǒng)機(jī)房的散熱問(wèn)題

（2）多維受限（圖2）、無(wú)法擴(kuò)容

圖2 傳統(tǒng)機(jī)房的多維限制

2 “云計(jì)算”帶來(lái)的新挑戰(zhàn)

云計(jì)算帶來(lái)的新挑戰(zhàn)：

（1）密度提升、熱點(diǎn)出現(xiàn)：CPU利用率提升以及刀片服務(wù)器的使用，單機(jī)柜功率密度提升，服務(wù)器出現(xiàn)熱點(diǎn)，影響服務(wù)器的正常運(yùn)行和數(shù)據(jù)中心可靠性；

（2）熱點(diǎn)飄移、散熱困難：云計(jì)算、虛擬化使業(yè)務(wù)在服務(wù)器之間“飛來(lái)飛去”，熱點(diǎn)和溫度也隨業(yè)務(wù)“飄忽不定”，散熱困難。

3 數(shù)據(jù)中心的發(fā)展趨勢(shì)

3.1 密封通道、行級(jí)制冷的發(fā)展

密封通道實(shí)現(xiàn)了冷熱隔離，制冷利用率更高，比傳統(tǒng)機(jī)房更節(jié)能，可以支持更高的功率密度，避免局部熱點(diǎn)，具有更高的可靠性，對(duì)比見(jiàn)表1。

表1 傳統(tǒng)機(jī)房與密封通道對(duì)比

行級(jí)空調(diào)實(shí)現(xiàn)近端制冷，沒(méi)有傳輸路徑的損失、沒(méi)有機(jī)柜溫度梯度的缺陷，具備更高的效率，可以支持30 kW／R的功率密度，對(duì)比見(jiàn)表2。

表2 房間級(jí)制冷與行級(jí)制冷對(duì)比

行級(jí)空調(diào)可部署更多的機(jī)柜數(shù)量，功率密度5 kW／R以上優(yōu)勢(shì)更加明顯，對(duì)比見(jiàn)表3、表4、圖3。

以國(guó)內(nèi)某大型冷凍水?dāng)?shù)據(jù)中心的1個(gè)603 m2的機(jī)房分區(qū)為例做實(shí)例分析。

表3 機(jī)柜數(shù)量對(duì)比

表4 IT功率每kW的投資對(duì)比（主機(jī)房?jī)?nèi)設(shè)備，不含油機(jī)、冷凍水機(jī)組、UPS、電池等）

圖3 行級(jí)空調(diào)投資造價(jià)與機(jī)柜數(shù)量走勢(shì)圖

3.2 高回風(fēng)

根據(jù)GB 50174－2008對(duì)A／B級(jí)機(jī)房的要求（圖5），服務(wù)器進(jìn)風(fēng)溫度為23±1℃，普通機(jī)房1 kW制冷風(fēng)量按照270.5 m3／h＠△T＝11℃ 計(jì)算，空調(diào)回風(fēng)溫度達(dá)34±2℃，典型的高回風(fēng)（圖5）。

圖4 GB50174規(guī)定的A／B級(jí)主機(jī)房溫度即服務(wù)器進(jìn)風(fēng)溫度

圖5 A／B級(jí)普通機(jī)房氣流組織溫度示意圖

圖6 △T＝6℃時(shí)，A／B級(jí)傳統(tǒng)機(jī)房氣流組織溫度示意圖，符合GB50174－2008規(guī)定

A／B級(jí)普通機(jī)房地板下送風(fēng)設(shè)計(jì)中，習(xí)慣性將空調(diào)的回風(fēng)溫度設(shè)定在29±1℃（傳統(tǒng)房間級(jí)空調(diào)自身能力決定的）。也就是說(shuō)，要么服務(wù)器進(jìn)出風(fēng)溫度差△T＝6℃，如圖6所示。1kW制冷風(fēng)量從270.5 m3／h提升到495.9 m3／h，風(fēng)量增加83.3%即空調(diào)增加83.3%；要么違背GB50174－2008之規(guī)定將主機(jī)房溫度即服務(wù)器進(jìn)風(fēng)溫度從23±1℃降低至18±1℃，也就是直接將機(jī)房的建設(shè)等級(jí)從A／B級(jí)降至C級(jí)，保證服務(wù)器進(jìn)出風(fēng)溫度差△T＝11℃，如圖8所示。

圖7 △T＝11℃時(shí)，A／B級(jí)傳統(tǒng)機(jī)房氣流組織溫度示意圖，違背GB50174－2008規(guī)定

不管是從節(jié)能或減少空調(diào)投資還是從GB50174－2008的規(guī)定出發(fā)，高回風(fēng)設(shè)計(jì)都將是必然的趨勢(shì)。

3.3 低載高效，全功率段低PUE發(fā)展

數(shù)據(jù)中心規(guī)劃一般要考慮未來(lái)5～10年的業(yè)務(wù)發(fā)展，對(duì)于大型數(shù)據(jù)中心，根據(jù)業(yè)務(wù)發(fā)展按照模塊分步部署，小型數(shù)據(jù)中心服務(wù)器設(shè)備分期部署，初期業(yè)務(wù)的負(fù)載率都很低，部分機(jī)房初期負(fù)載率甚至低于10%，對(duì)國(guó)內(nèi)57個(gè)數(shù)據(jù)中心，容量40 kVA及以上、數(shù)量超300臺(tái)在線運(yùn)行的UPS調(diào)研，負(fù)載率小于30%的占比超過(guò)40%。

如果數(shù)據(jù)中心的PUE目標(biāo)值按照全負(fù)載去規(guī)劃，實(shí)際運(yùn)行PUE會(huì)大大高于目標(biāo)值，達(dá)不到節(jié)能的目的，這就要求數(shù)據(jù)中心在低載下，全負(fù)荷功率段低PUE的要求，如某運(yùn)營(yíng)商湖北基地項(xiàng)目標(biāo)書(shū)明確要求實(shí)際負(fù)載25%、50%、75%、100%下 PUE均＜1.7；同時(shí)在負(fù)載較低、濕度較大場(chǎng)景，空調(diào)運(yùn)行時(shí)間短，在通道外表面有凝露風(fēng)險(xiǎn)，對(duì)空調(diào)的運(yùn)行范圍提出了挑戰(zhàn)和要求。

4 如何構(gòu)筑綠色模塊化數(shù)據(jù)中心

4.1 全模塊化設(shè)計(jì)

圖8，圖9所示為從部件到IT模塊、機(jī)樓甚至園區(qū)的全模塊化設(shè)計(jì)。

圖8 全模塊化設(shè)計(jì)圖示

圖9 部件模塊化圖示

4.2 高效電源

高效電源包括兩個(gè)概念，一是效率高，減少有功損耗；二是負(fù)載率高，減少容量損失。高頻技術(shù)比工頻具備更高的效率，不管是模塊熱插拔的模塊化UPS、HVDC，還是模塊固定的高頻塔式UPS，均是高頻產(chǎn)品，同時(shí)也基于模塊化的設(shè)計(jì)理念。

大部分IT設(shè)備電源模塊采用過(guò)補(bǔ)償設(shè)計(jì)，功率因數(shù)均在0.99～1之間，實(shí)際運(yùn)行普遍達(dá)到0.95及以上，要想提升負(fù)載率，電源功率因數(shù)必須與其匹配（見(jiàn)表5）。工頻UPS功率因數(shù)0.8顯然是不合適的，即使高頻塔式UPS的功率因數(shù)0.9也算不上高效利用的電源。

表5 通用電源產(chǎn)品效率與功率因數(shù)參數(shù)表

同樣是模塊化高效電源產(chǎn)品，HVDC在運(yùn)維上擁有直流電的天然優(yōu)勢(shì)，不受頻率、相位制約，但當(dāng)前HVDC采用IT供電架構(gòu)，需考慮GB 50174－2008所默認(rèn)的TN－S供電架構(gòu)要求。

4.3 高效制冷

（1）大型機(jī)房高回風(fēng)設(shè)計(jì)

當(dāng)前行級(jí)空調(diào)的回風(fēng)設(shè)計(jì)溫度一般為37℃左右，實(shí)現(xiàn)了高回風(fēng)?？照{(diào)回風(fēng)溫度從32℃度提升到37℃，其制冷量提升28%；冷水機(jī)組出水溫度從7℃度提升到10℃，其能效比提升10%。表6為某司行級(jí)空調(diào)的參數(shù)表。表7為某司冷凍水機(jī)組的參數(shù)表。

表6 某司行級(jí)空調(diào)的參數(shù)表

目前房間級(jí)空調(diào)大部分廠家設(shè)計(jì)回風(fēng)溫度不高于32℃，需要提升回風(fēng)溫度。

（2）小型機(jī)房全直流變頻水平送風(fēng)一體化、模塊化設(shè)計(jì)

表7 某司冷凍水機(jī)組的參數(shù)表

如圖10所示，集成ATS、配電、UPS、機(jī)柜、密封通道、電池及管理系統(tǒng)，實(shí)現(xiàn)模塊化機(jī)房的一體化和產(chǎn)品化，能夠最大限度的減少現(xiàn)場(chǎng)工程，快速部署；智能管理系統(tǒng)具有支持遠(yuǎn)程管理，APP移動(dòng)運(yùn)維等特點(diǎn)。

圖10 一體化模塊化產(chǎn)品示意圖

全直流行級(jí)變頻水平送風(fēng)設(shè)計(jì)，直流變頻空調(diào)根據(jù)IT負(fù)載大小自動(dòng)調(diào)節(jié)運(yùn)行頻率，節(jié)能25%以上，如圖11所示。直流變頻空調(diào)可實(shí)現(xiàn)低載高效，全負(fù)荷段低PUE；兼有低載除濕功能，防止凝露及服務(wù)器工作在允許的濕度范圍內(nèi)，如圖12。

圖11 定變頻空調(diào)與熱負(fù)載的動(dòng)態(tài)曲線圖

圖12 某司定變頻空調(diào)效率曲線圖

4.4 智能管理

如圖13所示，DCIM實(shí)現(xiàn)數(shù)據(jù)中心自動(dòng)化管理，也能實(shí)現(xiàn)上下級(jí)數(shù)據(jù)中心集中統(tǒng)一管理、運(yùn)維、資源調(diào)配，減少管理人力，高效運(yùn)營(yíng)。

圖14 某企業(yè)數(shù)據(jù)中心管理邏輯圖

5 總 結(jié)

影響綠色模塊化數(shù)據(jù)中心構(gòu)建的因素很多，包括數(shù)據(jù)中心選址、自然冷源采用、建設(shè)等級(jí)等都是必須要考慮的因素，本文從總體全模塊化設(shè)計(jì)、高效制冷、高效電源及智能管理幾個(gè)方面進(jìn)行了闡述，更多的是從設(shè)備本身進(jìn)行挖潛如何實(shí)現(xiàn)綠色高效。隨著數(shù)據(jù)中心對(duì)綠色節(jié)能要求越來(lái)越高，供電、制冷設(shè)備的高效設(shè)計(jì)變的更加重要。