A級(jí)數(shù)據(jù)中心制冷系統(tǒng)配電方案探討

朱 發(fā) 熙

(中通服咨詢?cè)O(shè)計(jì)研究院有限公司, 江蘇 南京 210019)

0 引 言

數(shù)據(jù)中心對(duì)安全可靠性要求很高,A級(jí)數(shù)據(jù)中心不能存在單點(diǎn)故障,在IT設(shè)備運(yùn)行期間,基礎(chǔ)設(shè)施應(yīng)在一次意外事故(操作失誤、設(shè)備故障、正常電源中斷等)后或單系統(tǒng)設(shè)備維護(hù)或檢修時(shí)仍能保證系統(tǒng)正常運(yùn)行[1]。這對(duì)數(shù)據(jù)中心各組成系統(tǒng)的可靠性提出了很高要求,而制冷系統(tǒng)是數(shù)據(jù)中心眾多子系統(tǒng)中的關(guān)鍵子系統(tǒng)[2]。A級(jí)數(shù)據(jù)中心制冷系統(tǒng)的冷凍機(jī)組、冷凍/卻水泵、冷卻塔以及機(jī)房專用空調(diào)都按照N+x冗余設(shè)置,其中x為冗余數(shù)量,x=1～N,即任意情況下只要不超過(guò)x臺(tái)設(shè)備同時(shí)故障,就不會(huì)影響IT設(shè)備的正常運(yùn)行[1]。

制冷系統(tǒng)的配電方案應(yīng)契合系統(tǒng)運(yùn)行邏輯,在滿足規(guī)范的前提下需要兼顧可靠性和經(jīng)濟(jì)性,既不能因節(jié)省投資造成單點(diǎn)故障,降低制冷系統(tǒng)的安全可靠性,也不能過(guò)度強(qiáng)調(diào)某個(gè)子項(xiàng)的安全性。因?yàn)閿?shù)據(jù)中心整體安全性是由各組成系統(tǒng)的“短板”決定的,單獨(dú)拔高某一個(gè)子項(xiàng)不增加整體可靠性,反而會(huì)因過(guò)度設(shè)計(jì)造成不必要的投資浪費(fèi)。

1 冷源系統(tǒng)配電方案

數(shù)據(jù)中心有多種冷卻方式,按照制冷方法可以分為機(jī)械制冷和自然冷卻,其中機(jī)械制冷又可以分為風(fēng)冷冷凍水系統(tǒng)、風(fēng)冷直膨空調(diào)系統(tǒng)、水冷冷凍水系統(tǒng)和集中冷卻水系統(tǒng)等架構(gòu);自然冷卻包括新風(fēng)、空氣板換、蒸發(fā)冷卻以及液體冷卻等技術(shù)。按制冷機(jī)組的電壓等級(jí)來(lái)劃分,又可分為10 kV和0.4 kV兩種[2-3]。不同冷源形式其制冷系統(tǒng)架構(gòu)不一樣,對(duì)應(yīng)的配電方案也不盡相同。

1.1 10 kV冷源配電方案

隨著數(shù)據(jù)中心單體規(guī)模越來(lái)越大,單臺(tái)制冷機(jī)組容量也在變大,當(dāng)單臺(tái)機(jī)組功率超過(guò)900 kW而又不高于1 200 kW時(shí),宜采用高壓供電;當(dāng)單臺(tái)機(jī)組功率大于1 200 kW時(shí),應(yīng)采用高壓供電[4]。

常用的10 kV制冷機(jī)組配電方案有兩種,為了闡述方便,下面以按3+1(3臺(tái)主用,1臺(tái)備用)空調(diào)系統(tǒng)進(jìn)行說(shuō)明。單臺(tái)冷機(jī)設(shè)1臺(tái)10 kV ATS方案如圖1所示。單段10 kV母線帶1臺(tái)冷機(jī)方案如圖2所示。

每臺(tái)10 kV制冷機(jī)組前端加一臺(tái)ATS,任意一段10 kV母線因故障退出運(yùn)行,通過(guò)制冷機(jī)組前的ATS切換,另外一段母線能帶全部10 kV制冷機(jī)組,不會(huì)影響10 kV制冷機(jī)組的正常供電,這種方案邏輯簡(jiǎn)單,但需要較多昂貴的10 kV ATS設(shè)備和10 kV出線柜,配電設(shè)備多了,相應(yīng)配電用房的面積也需要增加。

圖1 單臺(tái)冷機(jī)設(shè)1臺(tái)10 kV ATS方案

圖2 單段10 kV母線帶1臺(tái)冷機(jī)方案

另一種常用方案把每臺(tái)10 kV制冷機(jī)組分配到每一段10 kV母線上,這樣任何一段母線出現(xiàn)故障,只有1臺(tái)10 kV制冷機(jī)組會(huì)被影響,而由于空調(diào)按照N+1原則配置,任何1臺(tái)設(shè)備退出運(yùn)行,不影響系統(tǒng)正常運(yùn)行,因此同樣滿足規(guī)范。這種方案的好處是不需要10 kV ATS設(shè)備,同時(shí)10 kV母線高壓出線柜數(shù)量只需要前一種方案的一半,但是這種方案的應(yīng)用場(chǎng)合有限制條件,那就是高壓系統(tǒng)母線段的數(shù)量要超過(guò)10 kV制冷機(jī)組的臺(tái)數(shù),不然本方案無(wú)法采用。

對(duì)于N+1系統(tǒng)而言,1臺(tái)冷機(jī)退出運(yùn)行不影響整個(gè)系統(tǒng)正常運(yùn)行,是可以接受的,因此可以綜合前兩種方案的特點(diǎn),即單段母線帶1臺(tái)冷機(jī)和單臺(tái)機(jī)組前加ATS,改造出一種新的既滿足安全可靠性又降低投資的配電架構(gòu),N-1組設(shè)置10 kV ATS方案如圖3所示。由圖3可見(jiàn),一段母線故障只影響1臺(tái)冷機(jī),其他的冷機(jī)可以通過(guò)ATS切換轉(zhuǎn)到正常運(yùn)行的母線保障供電,因此不會(huì)影響數(shù)據(jù)中心的安全可靠性,但顯著減少了10 kV ATS的數(shù)量,相比圖1的方案,ATS和高壓出線柜減少了50%,3種10 kV冷機(jī)配電方案對(duì)比如表1所示。

圖3 N-1組設(shè)置10 kV ATS方案

表1 3種10 kV冷機(jī)配電方案對(duì)比表

從表1可知,無(wú)ATS是最經(jīng)濟(jì)的,但在條件有限制不能采用該方案時(shí),采用基于N-1原則配置ATS的方案相對(duì)較優(yōu)。

N+x(x>1)系統(tǒng)因?yàn)閤臺(tái)設(shè)備同時(shí)故障不影響系統(tǒng)運(yùn)行,可以將x臺(tái)冷機(jī)作為一個(gè)整體對(duì)待,比如單段母線下掛x臺(tái)冷機(jī)或者單臺(tái)ATS下掛x臺(tái)冷機(jī),其配電架構(gòu)與N+1系統(tǒng)類似。

1.2 低壓冷源配電方案

制冷系統(tǒng)內(nèi)有很多低壓設(shè)備,包括制冷機(jī)組、冷卻/凍水泵、冷卻塔等,同樣以3+1系統(tǒng)為例闡述這些設(shè)備的配電方案。

這類設(shè)備最常用的配電方案是單臺(tái)設(shè)備配置1臺(tái)ATS,單臺(tái)設(shè)備帶ATS方案如圖4所示。這種架構(gòu)有很多缺點(diǎn),投資大,需要很多ATS設(shè)備和電纜,大量的ATS會(huì)給后期運(yùn)維增加很大難度。因?yàn)槔渌畽C(jī)組、冷卻水泵和冷卻塔是成組運(yùn)行的,三者中任一設(shè)備因斷電退出運(yùn)行,整個(gè)循環(huán)就會(huì)中斷,剩下的設(shè)備即便有電源保障也沒(méi)有意義。因此如圖4所示的架構(gòu)可以采用成組配電的理念改進(jìn),單組設(shè)備帶ATS方案如圖5所示,由圖5可見(jiàn),這種方案可以大幅度減少ATS數(shù)量和電纜長(zhǎng)度,降低建設(shè)投資。

利用前述N-1策略,可以在圖5所示的基礎(chǔ)上進(jìn)一步改進(jìn),改進(jìn)后的N-1組設(shè)置0.4 kV ATS方案如圖6所示。由圖6可見(jiàn),在不影響整體安全可靠性的基礎(chǔ)上,供電系統(tǒng)被進(jìn)一步簡(jiǎn)化,ATS的數(shù)量被壓縮到極致。低壓冷源配電方案對(duì)比如表2所示。

圖4 單臺(tái)設(shè)備帶ATS方案

表2 低壓冷源配電方案對(duì)比

圖6 改進(jìn)后的N-1組設(shè)置0.4 kV ATS方案

從表2可知,成組配電理念可以簡(jiǎn)化配電架構(gòu),疊加N-1配置ATS策略,能在滿足可靠性要求的基礎(chǔ)上實(shí)現(xiàn)最大化節(jié)約建設(shè)成本,并降低后期運(yùn)維的難度和工作量。

2 末端系統(tǒng)配電方案

根據(jù)空調(diào)末端設(shè)置位置的不同,可以把空調(diào)末端分為房間級(jí)、列間級(jí)和機(jī)柜級(jí)[5-6]。不同空調(diào)末端型式配電方案不同,但不管哪種型式,都需要兩路獨(dú)立電源,其中一路為市電電源,另一路為不間斷電源,且這兩路電源需來(lái)自兩臺(tái)互相獨(dú)立且互為備用的變壓器。

2.1 房間級(jí)空調(diào)配電方案

房間級(jí)空調(diào)一般設(shè)置在機(jī)房一側(cè)或兩側(cè)專門的空調(diào)區(qū)域內(nèi),通過(guò)上送風(fēng)或下送風(fēng)方式給需要制冷的區(qū)域輸送冷量。

對(duì)N+x系統(tǒng),如果x取1,N+1配置的房間級(jí)空調(diào)配電架構(gòu)圖如圖7所示,不能有超過(guò)1臺(tái)空調(diào)同時(shí)斷電,因此每臺(tái)房間級(jí)空調(diào)需配置1臺(tái)ATS,ATS前端兩路電源要求分別來(lái)自本機(jī)房設(shè)置的市電總箱和UPS電總箱。有些房間級(jí)空調(diào)內(nèi)部集成雙電源轉(zhuǎn)換設(shè)備,對(duì)于這類空調(diào),直接送入一路市電和一路UPS電即可。

圖7 N+1配置的房間級(jí)空調(diào)配電架構(gòu)圖

對(duì)x大于1的系統(tǒng),采用單臺(tái)空調(diào)設(shè)置ATS的方案,雖然滿足規(guī)范,但這種配電架構(gòu)并不經(jīng)濟(jì)。因?yàn)樵试S有不超過(guò)x臺(tái)設(shè)備同時(shí)斷電,可以x臺(tái)設(shè)備共用1臺(tái)ATS,這樣可以有效減少ATS的數(shù)量,對(duì)于內(nèi)部集成雙電源轉(zhuǎn)換設(shè)備的房間級(jí)空調(diào),可以采用鏈?zhǔn)脚潆姺桨?將x臺(tái)設(shè)備串在一起配電,節(jié)省前端總箱的出線開(kāi)關(guān)和電纜。N+x(x>1)配置的房間級(jí)空調(diào)配電架構(gòu)圖如圖8所示。

圖8 N+x(x>1)配置的房間級(jí)空調(diào)配電架構(gòu)圖

2.2 列間級(jí)空調(diào)配電方案

不管是列間空調(diào)末端還是頂置空調(diào)末端,一般需要配套冷(熱)通道封閉措施。在每個(gè)通道內(nèi)配置N+x個(gè)末端,只要不超過(guò)x個(gè)列間級(jí)空調(diào)同時(shí)故障,就不影響單個(gè)通道內(nèi)IT設(shè)備的正常工作。N+x列間級(jí)空調(diào)配電架構(gòu)圖如圖9所示,單臺(tái)ATS可以給不同通道內(nèi)不大于x個(gè)設(shè)備同時(shí)供電,任何一臺(tái)ATS故障,最多影響單個(gè)通道x臺(tái)空調(diào),因此并不會(huì)影響整個(gè)通道的正常運(yùn)行。

圖9 N+x配置列間級(jí)空調(diào)配電架構(gòu)圖

行業(yè)內(nèi)最常用N+1系統(tǒng),對(duì)圖9的配電架構(gòu)圖進(jìn)行簡(jiǎn)化,N+1配置列間級(jí)空調(diào)配電架構(gòu)圖如圖10所示。

圖10 N+1配置列間級(jí)空調(diào)配電架構(gòu)圖

2.3 機(jī)柜級(jí)空調(diào)配電方案

機(jī)柜級(jí)空調(diào)末端將冷量深入單個(gè)機(jī)柜內(nèi),其或安裝于機(jī)柜前面或安裝于背面,且與機(jī)柜結(jié)合為一體。

當(dāng)前行業(yè)內(nèi)主流的機(jī)柜級(jí)空調(diào)末端均可接受雙路電源接入,因此只需在每個(gè)機(jī)房?jī)?nèi)設(shè)置2個(gè)相互獨(dú)立的電源總箱,1個(gè)市電總箱和1個(gè)UPS電總箱,每個(gè)空調(diào)末端分別從2個(gè)總箱接入1路電源即可,機(jī)柜級(jí)空調(diào)配電架構(gòu)圖如圖11所示。

圖11 機(jī)柜級(jí)空調(diào)配電架構(gòu)圖

3 群控系統(tǒng)配電方案

群控系統(tǒng)是制冷系統(tǒng)的大腦,負(fù)責(zé)對(duì)制冷系統(tǒng)進(jìn)行監(jiān)視和控制,不僅可以顯示系統(tǒng)內(nèi)設(shè)備的運(yùn)行狀態(tài),同時(shí)可以對(duì)各設(shè)備進(jìn)行控制。為了確保群控系統(tǒng)供電安全,行業(yè)內(nèi)目前的常用做法是采用一路市電加一路UPS電源保障,并在末端設(shè)置ATS,但實(shí)際上ATS切換的時(shí)間較長(zhǎng)(遠(yuǎn)超過(guò)控制設(shè)備容許的10 ms),單路電源故障時(shí)電源轉(zhuǎn)換過(guò)程中會(huì)影響控制系統(tǒng)運(yùn)行,因此建議采用雙路UPS保障,并在末端設(shè)置STS。

4 結(jié) 語(yǔ)

對(duì)于10 kV冷水主機(jī),采用單段10 kV母線帶1臺(tái)主機(jī)的方式是最經(jīng)濟(jì)的,避免采用昂貴的10 kV ATS并且減少。10 kV出線柜和電纜的數(shù)量,但在條件不具備時(shí),也可以采用N-1原則設(shè)置ATS的方式,減少10 kV ATS的數(shù)量,有效降低投資和運(yùn)維工作量。

可以把低壓的制冷機(jī)組、冷卻水泵以及冷卻塔等成組運(yùn)行的設(shè)備集中配電,并按照N-1的方式設(shè)置ATS,同樣可以有效地降低該部分的投資,并方便運(yùn)維。

對(duì)于N+x配置的空調(diào)系統(tǒng)而言,當(dāng)x大于1時(shí),可以將x臺(tái)設(shè)備編成一組共用1臺(tái)ATS,減少了ATS數(shù)量,降低建設(shè)投資和運(yùn)維工作量。

對(duì)于空調(diào)群控系統(tǒng)而言,建議采用雙路UPS電源保障,并在末端配電箱設(shè)置STS,避免電源轉(zhuǎn)換過(guò)程群控系統(tǒng)不能正常運(yùn)行。