高功率密度數(shù)據(jù)機(jī)房無連續(xù)制冷的風(fēng)險(xiǎn)分析

（中國移動國際信息港建設(shè)中心，北京 102206）

高功率密度數(shù)據(jù)機(jī)房無連續(xù)制冷的風(fēng)險(xiǎn)分析

呂珂，李明江，李智剛

（中國移動國際信息港建設(shè)中心，北京 102206）

隨著高功率密度數(shù)據(jù)中心的發(fā)展，空調(diào)系統(tǒng)的持續(xù)制冷能力已成為決定高功率密度數(shù)據(jù)中心能否安全、穩(wěn)定運(yùn)行的重要因素之一。本文通過實(shí)驗(yàn)對高功率密度數(shù)據(jù)機(jī)房無連續(xù)制冷的風(fēng)險(xiǎn)進(jìn)行了分析，并結(jié)合實(shí)驗(yàn)結(jié)果對高功率密度數(shù)據(jù)中心的建設(shè)提出了一些建議。

高功率密度；數(shù)據(jù)中心；持續(xù)制冷；

1 引言

近年來隨著云計(jì)算技術(shù)的快速發(fā)展，全球數(shù)據(jù)中心開始向著大體量、巨型化的方向發(fā)展，單機(jī)柜功率密度不斷提高，國內(nèi)新建的數(shù)據(jù)中心中5 kW/機(jī)柜、7 kW/機(jī)柜甚至更高功率密度的機(jī)房不斷出現(xiàn)。高功率密度機(jī)房對空調(diào)系統(tǒng)提出了更高要求，空調(diào)系統(tǒng)短時(shí)間停止工作即會造成IT設(shè)備過熱宕機(jī)，從而引起業(yè)務(wù)中斷。數(shù)據(jù)中心空調(diào)系統(tǒng)的持續(xù)制冷能力已成為決定高功率密度數(shù)據(jù)中心能否安全、穩(wěn)定運(yùn)行的重要因素之一。

為模擬高功率密度數(shù)據(jù)機(jī)房無持續(xù)制冷條件下空調(diào)系統(tǒng)發(fā)生斷電故障后機(jī)房的溫升情況及存在的風(fēng)險(xiǎn)，筆者曾利用假負(fù)載對數(shù)據(jù)中心機(jī)房進(jìn)行大規(guī)模溫升測試。本文結(jié)合實(shí)驗(yàn)結(jié)果及筆者自身工作經(jīng)驗(yàn)對高功率密度數(shù)據(jù)中心的溫升、空調(diào)系統(tǒng)持續(xù)制冷、機(jī)柜的功率密度及氣流組織優(yōu)化措施之間相互影響進(jìn)行分析和探討。

2 高功率密度數(shù)據(jù)中心特點(diǎn)

數(shù)據(jù)機(jī)房內(nèi)的熱量主要由IT設(shè)備的功率決定，隨著數(shù)據(jù)中心的服務(wù)器、交換機(jī)、存儲器等IT設(shè)備集成度、精密性越來越高，使得數(shù)據(jù)中心的熱負(fù)荷明顯表現(xiàn)為：熱負(fù)荷大、濕負(fù)荷小、單位體積發(fā)熱量越來越大的特點(diǎn)。而IT設(shè)備功率密度的不斷提高，機(jī)房的熱量進(jìn)一步集中，由功率密度不均造成的熱點(diǎn)不均、局部過熱成為新的維護(hù)管理難點(diǎn)[1]；機(jī)房空間利用率提高使空間冷量相對減少，對不間斷制冷提出了更高要求[2]，空調(diào)系統(tǒng)短時(shí)間停止運(yùn)行都將造成機(jī)房內(nèi)熱量的快速堆積，并引發(fā)設(shè)備高溫宕機(jī)，因此空調(diào)系統(tǒng)已成為決定數(shù)據(jù)安全穩(wěn)定運(yùn)行的重要因素之一。

3 測試依據(jù)

根據(jù)ASHARE（美國采暖、制冷與空調(diào)工程師學(xué)會）的建議，服務(wù)器運(yùn)行時(shí)工作環(huán)境的推薦進(jìn)風(fēng)溫度為18℃～27℃，進(jìn)風(fēng)允許的最高溫度為32℃，超過最高運(yùn)行溫度服務(wù)器性能開始下降，故障率升高并存在發(fā)生宕機(jī)的風(fēng)險(xiǎn)[3]。目前市場主流服務(wù)器進(jìn)出風(fēng)溫差一般在10℃左右，溫差過大則表明服務(wù)器進(jìn)風(fēng)風(fēng)量不足，設(shè)備散熱不佳，發(fā)生高溫宕機(jī)風(fēng)險(xiǎn)較高。本次假負(fù)載模擬測試以服務(wù)器進(jìn)風(fēng)口溫度達(dá)到32℃和出風(fēng)口溫度達(dá)到42℃兩個(gè)指標(biāo)作為測試關(guān)鍵點(diǎn)。

4 數(shù)據(jù)機(jī)房溫升測試及分析

針對不同功率密度數(shù)據(jù)中心機(jī)房溫升情況，目前業(yè)界多采用流體力學(xué)計(jì)算（Computational Fluid Dynamics，CFD）軟件對機(jī)房內(nèi)的溫度場進(jìn)行模擬和仿真評估，仿真結(jié)果與機(jī)房實(shí)際運(yùn)行情況往往存在一定的差距。筆者工作中主要負(fù)責(zé)數(shù)據(jù)中心運(yùn)維管理，為了準(zhǔn)確掌握高功率密度數(shù)據(jù)中心機(jī)房無持續(xù)制冷條件下機(jī)房的溫升情況，曾利用假負(fù)載分別對3 kW、5 kW功率密度機(jī)房進(jìn)行模擬測試，以下將對測試結(jié)果進(jìn)行分析。

4.1 測試環(huán)境搭建

選擇IT設(shè)備安裝面積約350 m2(35 m×10 m)的數(shù)據(jù)機(jī)房一個(gè)，機(jī)房內(nèi)安裝有前門封閉的42 U機(jī)柜158個(gè)，分14列安裝，單機(jī)柜功率密度5kW。機(jī)房制冷采用冷水型空調(diào)雙側(cè)下送風(fēng)上回風(fēng)，地板高度650 mm，機(jī)房層高4.8 m?？照{(diào)系統(tǒng)冷凍水溫度設(shè)定值：供水10℃、回水15℃。為更接近服務(wù)器實(shí)際運(yùn)行狀態(tài)，機(jī)房中間位置3個(gè)機(jī)柜（圖1中黑框位置）均采用2 kW、1.5 kW、1.5 kW假負(fù)載組合方式安裝，并選擇最中間一個(gè)機(jī)柜作為試驗(yàn)監(jiān)測點(diǎn)；機(jī)房內(nèi)其他機(jī)柜均安裝機(jī)架式6 kW可調(diào)假負(fù)載1個(gè)，假負(fù)載詳細(xì)布局見圖1所示。

受條件所限機(jī)柜內(nèi)未安裝盲板對冷熱通道進(jìn)行隔離，假負(fù)載在機(jī)柜內(nèi)基本集中在中間位置，與服務(wù)器實(shí)際安裝情況也會有所不同。雖然本實(shí)驗(yàn)與機(jī)房機(jī)房后實(shí)際運(yùn)行情況有所差別，但對研究高功率密度機(jī)房的散熱及進(jìn)行空調(diào)系統(tǒng)設(shè)計(jì)仍具有一定的指導(dǎo)意義。

本次測試在樣本柜上設(shè)置12個(gè)采溫點(diǎn)，如圖2所示，其中機(jī)柜正面4個(gè)，背面8個(gè)（測點(diǎn)布局如圖2所示，1 U=4.445 cm），采集周期5秒/次。采用具備多路溫度采集的溫度測試儀對目標(biāo)機(jī)柜進(jìn)行溫度監(jiān)測。

4.2 5 kW機(jī)柜溫升測試

圖1 假負(fù)載安裝示意圖

圖2 測溫點(diǎn)位置

按照5 kW設(shè)計(jì)功率密度對機(jī)房溫升情況進(jìn)行測試，模擬末端空調(diào)、冷凍水泵均未配置不間斷電源條件下空調(diào)斷電后機(jī)房、機(jī)柜溫升。測試前將所有機(jī)柜假負(fù)載調(diào)整為5kW，機(jī)房空調(diào)回風(fēng)溫度設(shè)置23℃，機(jī)房外環(huán)境溫度23℃。通過一段時(shí)間運(yùn)行使機(jī)房進(jìn)風(fēng)口溫度穩(wěn)定在20℃左右，此時(shí)出風(fēng)溫度采集值穩(wěn)定在18℃～30℃之間，出風(fēng)口溫度與進(jìn)風(fēng)口溫度差值基本保持10℃左右。此時(shí)分?jǐn)鄼C(jī)房雙側(cè)空調(diào)供電，模擬空調(diào)系統(tǒng)斷電。測試數(shù)據(jù)如圖3所示。

從溫度曲線圖可以發(fā)現(xiàn)，雙側(cè)末端空調(diào)電源中斷后進(jìn)出風(fēng)口溫度均出現(xiàn)快速上升。末端空調(diào)停電125 s時(shí)出風(fēng)溫度已達(dá)到42℃，而此時(shí)進(jìn)風(fēng)溫度約22.5℃，溫差達(dá)19.5℃，已偏離10℃的建議值。13 min時(shí)進(jìn)風(fēng)溫度達(dá)到32℃，此時(shí)出風(fēng)溫度已達(dá)約56.4℃，溫差達(dá)24.4℃。由于筆者所選測試機(jī)房采用的機(jī)柜封閉了冷通道，當(dāng)末端空調(diào)斷電后冷通道阻斷了機(jī)房內(nèi)氣流循環(huán)，造成IT設(shè)備進(jìn)風(fēng)不足、散熱不佳?；謴?fù)供電后因冷凍水泵和冷水機(jī)組均正常運(yùn)行，溫度迅速下降。

根據(jù)測試結(jié)果，末端空調(diào)斷電125 s，出風(fēng)最高溫度即達(dá)到42℃，即可能導(dǎo)致IT設(shè)備運(yùn)行異常。一旦發(fā)生雙路市電停電事故，在如此短的時(shí)間內(nèi)維護(hù)人員根本來不及采取供電恢復(fù)措施。

4.3 3 kW機(jī)柜溫升測試

為對比不同裝機(jī)功率密度對機(jī)房溫升的影響，筆者對3 kW功率密度機(jī)房的溫升情況進(jìn)行測試，模擬末端空調(diào)、冷凍水泵均未配置不間斷電源條件下空調(diào)斷電后機(jī)房、機(jī)柜溫升。測試前將機(jī)房所有機(jī)柜的假負(fù)載調(diào)整為3 kW，機(jī)房空調(diào)回風(fēng)溫度設(shè)置23℃，機(jī)房外環(huán)境溫度23℃。通過一段時(shí)間運(yùn)行使機(jī)房進(jìn)風(fēng)口溫度穩(wěn)定在20℃左右，此時(shí)出風(fēng)溫度采集值穩(wěn)定在18℃～30℃之間，與進(jìn)風(fēng)溫度差值基本保持10℃左右。此時(shí)分?jǐn)鄼C(jī)房雙側(cè)空調(diào)供電，模擬空調(diào)系統(tǒng)斷電。測試數(shù)據(jù)如圖4所示。

從測試溫升曲線看，末端空調(diào)斷電后機(jī)柜進(jìn)出風(fēng)口溫度均出現(xiàn)明顯上升，但上升速度較5 kW機(jī)柜明顯放緩。末端空調(diào)停機(jī)狀況下3 kW機(jī)柜出風(fēng)溫度達(dá)到42℃的時(shí)長為10 min，而5 kW機(jī)柜僅為125 s，進(jìn)風(fēng)約28.2℃，進(jìn)出風(fēng)口溫差14.2℃，溫差偏離不大；停機(jī)1 095 s時(shí)進(jìn)風(fēng)溫度達(dá)32℃，出風(fēng)約47.8℃，進(jìn)出風(fēng)口溫差約15℃。

圖3 5 kW/機(jī)柜末端空調(diào)、冷凍水泵均無后備電源時(shí)機(jī)柜溫升曲線

圖4 3 kW/機(jī)柜末端空調(diào)、冷凍水泵均無后備電源時(shí)機(jī)柜溫升曲線

上述兩個(gè)模擬測試結(jié)果表明，不同功率密度機(jī)柜對空調(diào)系統(tǒng)制冷能力要求不同。在筆者實(shí)驗(yàn)機(jī)房環(huán)境下，功率密度為5 kW/機(jī)柜時(shí)若末端空調(diào)和冷凍水泵不配置不間斷電源，發(fā)生空調(diào)系統(tǒng)斷電時(shí)，125 s出風(fēng)溫度就達(dá)到42℃，已有出現(xiàn)IT設(shè)備熱保護(hù)宕機(jī)的風(fēng)險(xiǎn)；功率密度為3 kW/機(jī)柜時(shí)，若末端空調(diào)和冷凍水泵同樣不配置不間斷電源，發(fā)生空調(diào)系統(tǒng)斷電后服務(wù)器出風(fēng)溫度達(dá)到42℃的時(shí)長為10 min，留給維護(hù)人員處理時(shí)間相應(yīng)增長。由此可見，設(shè)計(jì)高功率密度數(shù)據(jù)機(jī)房的空調(diào)系統(tǒng)時(shí)必須考慮空調(diào)系統(tǒng)的不間斷制冷問題，為末端空調(diào)、冷凍水泵等空調(diào)系統(tǒng)關(guān)鍵設(shè)備配置不間斷電源，以保證供電中斷情況下空調(diào)系統(tǒng)可以為機(jī)房的IT設(shè)備提供持續(xù)的供冷能力。

4.4 氣流組織優(yōu)化措施對機(jī)房制冷影響測試

分析上述兩個(gè)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，位于機(jī)柜進(jìn)風(fēng)側(cè)靠近機(jī)柜下方進(jìn)風(fēng)口的兩個(gè)采溫點(diǎn)在整個(gè)測試過程中溫升幅度很小，筆者認(rèn)為造成這一結(jié)果的原因是本次測試所選的機(jī)房采取了封閉冷通道的氣流組織優(yōu)化措施。

機(jī)房安裝的機(jī)柜為封閉前門的機(jī)柜，封閉冷風(fēng)的前門組成了一個(gè)小容量的冷通道，在末端空調(diào)斷電停機(jī)的情況下封閉的前門阻斷了機(jī)房內(nèi)空氣流通。當(dāng)末端空調(diào)斷電停機(jī)后靜壓箱內(nèi)因末端空調(diào)風(fēng)機(jī)停轉(zhuǎn)造成無氣流補(bǔ)充，IT設(shè)備的風(fēng)扇仍在抽取地板下的冷風(fēng)，靜壓箱內(nèi)氣壓降低造成IT設(shè)備進(jìn)風(fēng)量不足，IT設(shè)備風(fēng)扇負(fù)荷加大、散熱條件進(jìn)一步惡化。IT設(shè)備進(jìn)、出風(fēng)口溫差嚴(yán)重偏離10℃的標(biāo)準(zhǔn)，增加了IT設(shè)備宕機(jī)的風(fēng)險(xiǎn)。因此在設(shè)計(jì)高功率密度機(jī)房的空調(diào)系統(tǒng)時(shí)應(yīng)同步考慮機(jī)房內(nèi)是否采取了氣流組織優(yōu)化措施，并對優(yōu)化措施在失去供冷時(shí)機(jī)房、機(jī)柜的溫升情況進(jìn)行充分評估。

基于以上分析，為了驗(yàn)證機(jī)房氣流組織優(yōu)化措施對機(jī)房、機(jī)柜溫升的影響，針對測試機(jī)房所采用的前門封閉機(jī)柜對制冷的影響筆者也進(jìn)行了相應(yīng)實(shí)驗(yàn)。在功率密度同樣為5 kW/機(jī)柜條件下，模擬為機(jī)房末端空調(diào)配置不間斷電源，使機(jī)房無氣流阻斷情況下發(fā)生雙路市電故障時(shí)機(jī)房、機(jī)柜溫升情況如圖5所示。

市電中斷前進(jìn)風(fēng)口溫度在20℃～22℃之間，出風(fēng)口溫度在28℃～ 37℃之間。從切斷冷凍水源開始計(jì)時(shí)，末端空調(diào)繼續(xù)運(yùn)行。測試15 min時(shí)，出風(fēng)口溫度達(dá)到42℃，此時(shí)進(jìn)風(fēng)溫度25℃。

模擬測試驗(yàn)證了在封閉冷通道情況下若末端空調(diào)無不間斷電源供電將進(jìn)一步導(dǎo)致IT設(shè)備散熱惡化，加劇高溫宕機(jī)風(fēng)險(xiǎn)。因此在對機(jī)房采取氣流組織優(yōu)化措施時(shí)應(yīng)同步考慮優(yōu)化措施對機(jī)房制冷造成的影響。

圖5 5 kW/機(jī)柜末端空調(diào)配置后備電源時(shí)機(jī)柜溫升曲線

5 結(jié)論

數(shù)據(jù)機(jī)房內(nèi)安裝的IT設(shè)備能長期、安全、可靠運(yùn)行的前提條件之一是：必須長期、連續(xù)、穩(wěn)定地確保這些設(shè)備的環(huán)境溫度和濕度被控制在合適的范圍內(nèi)。筆者的測試結(jié)果雖然因條件限制無法完全模擬機(jī)房裝機(jī)后運(yùn)行情況，但也盡可能真實(shí)地展示了高功率密度數(shù)據(jù)中心機(jī)房內(nèi)不同狀態(tài)下機(jī)柜環(huán)境溫度上升情況，進(jìn)一步證明了數(shù)據(jù)中心空調(diào)制冷與電力系統(tǒng)同等重要。

因此在進(jìn)行高功率密度數(shù)據(jù)機(jī)房規(guī)劃設(shè)計(jì)時(shí)應(yīng)充分考慮空調(diào)系統(tǒng)的不間斷供冷能力。尤其是機(jī)房末端空調(diào)不具備不間斷供電能力且配置了高壓發(fā)電機(jī)作為備用電源的數(shù)據(jù)中心，必須考慮當(dāng)?shù)毓╇姴块T對高壓油機(jī)自動投切的限制。目前許多地方電力部門不允許高壓油機(jī)向高壓母線自動投切，高壓油機(jī)并機(jī)后必須依靠維護(hù)人員通過手動方式將發(fā)電機(jī)供電投入高壓母線段。此狀態(tài)下外市電中斷后發(fā)電機(jī)供電尚未投入，機(jī)房內(nèi)的IT設(shè)備通過UPS供電正常運(yùn)行，但由于冷卻系統(tǒng)無后備電源需等待發(fā)電機(jī)恢復(fù)供電后重新啟動，而依靠維護(hù)人員的手動操作將很難在極短的時(shí)間內(nèi)完成。此段時(shí)間內(nèi)IT設(shè)備的溫度在較短的時(shí)間內(nèi)將因散熱能力不足而快速累積并超過限值，從而引起高溫宕機(jī)和業(yè)務(wù)中斷。

[1] 張廣明，陳冰，張彥和． 數(shù)據(jù)中心基礎(chǔ)設(shè)施設(shè)計(jì)與建設(shè)[M]．北京：電子工業(yè)出版社． 2012．

[2] 鐘景華，朱利偉，曹播等． 新一代綠色數(shù)據(jù)中心的規(guī)劃與設(shè)計(jì)[M]． 北京：電子工業(yè)出版社． 2010．

[3] ASHRAE TC 9．9．?dāng)?shù)據(jù)處理環(huán)境熱指南[M]． USA， 2010．

Risk analysis of high power density data room which without continuous cooling system

LV Ke, LI Ming-jiang, LI Zhi-gang
(Center of International Port Construction, China Mobile Communications Corporation, Beijing, 102206, China)

As the development of high power density data center, the continuous cooling capability has became the most important factor of whether the data center can safe and steady operation. In order to analyze the temperature increase when the cooling system lost power in 'high power density data center, the author has used dummy load to simulate. This article analyses the result of the test, and give some suggests for the design of high power density data center.

high power density; data center; continuous cooling

TN919.5

B

1008-5599（2014）07-0041－05

2014-06-10