（2020年江蘇省通信學(xué)會“華蘇杯”論文征集三等獎(jiǎng)）新型電冷量彈性應(yīng)用的數(shù)據(jù)中心建設(shè)方案的研究與實(shí)踐

李坤明 張 江 范晨靜 游 海 陳語霄 黎春鵬

1.中國電信股份有限公司蘇州分公司；2.中通服節(jié)能技術(shù)服務(wù)有限公司

0 引言

近年來，國家陸續(xù)出臺了多項(xiàng)政策，加快推動以數(shù)據(jù)中心為代表的新型基礎(chǔ)設(shè)施建設(shè)，各行業(yè)數(shù)字化轉(zhuǎn)型升級帶來的數(shù)據(jù)中心需求也在持續(xù)增長，數(shù)據(jù)中心正發(fā)揮其“一行帶百業(yè)”的特有作用。2022年3月，國家層面啟動“東數(shù)西算”工程，建設(shè)8個(gè)國家算力樞紐節(jié)點(diǎn)，規(guī)劃10個(gè)國家數(shù)據(jù)中心集群。2021年，中國電信明確了天翼云業(yè)務(wù)“2+4+31+X”云網(wǎng)融合資源布局，建設(shè)集團(tuán)、區(qū)域、省級數(shù)據(jù)中心園區(qū)。集群化建設(shè)數(shù)據(jù)中心，有利于實(shí)現(xiàn)算力集約化發(fā)展，有利于持續(xù)優(yōu)化數(shù)據(jù)中心能源使用效率，已成為業(yè)內(nèi)共識。

數(shù)據(jù)中心的發(fā)展已有20余年的歷史，1996年，美國Exodus公司最早提出IDC的理念和服務(wù)，同年度，中國電信開始提供最初的服務(wù)器托管業(yè)務(wù)。2004年以后，國內(nèi)基礎(chǔ)電信運(yùn)營商相繼加大IDC的投入，利用機(jī)樓面積、電力、冷量等設(shè)備環(huán)境資源，建設(shè)單機(jī)柜功耗3KW的中小型數(shù)據(jù)中心，國內(nèi)數(shù)據(jù)中心發(fā)展進(jìn)入快車道。在需求側(cè)的激勵(lì)下，單機(jī)柜電功率持續(xù)增長。持續(xù)增長的算力需求、更低的PUE、越發(fā)緊張的機(jī)房面積資源等因素，共同推動數(shù)據(jù)中心單機(jī)柜電功耗從3-6kW，普遍增長到6kW以上，數(shù)據(jù)中心建設(shè)逐漸走向高密度、客戶定制化、綠色化。

數(shù)據(jù)中心屬于重資產(chǎn)。數(shù)據(jù)中心投資密度大、定制化設(shè)計(jì)、建設(shè)周期較長，導(dǎo)致當(dāng)下的建設(shè)需求和長期的經(jīng)濟(jì)效益之間匹配的風(fēng)險(xiǎn)越來越高。本文著力于降低數(shù)據(jù)中心建設(shè)運(yùn)營過程中，現(xiàn)狀與未來不確定性之間的矛盾，兼顧雙碳時(shí)代綠色節(jié)能的需求，提出了一種新型電冷量彈性應(yīng)用的數(shù)據(jù)中心建設(shè)方案，并結(jié)合實(shí)踐案例，為數(shù)據(jù)中心建設(shè)提供參考和依據(jù)。

1 數(shù)據(jù)中心建設(shè)方案的現(xiàn)狀

安全、節(jié)能，已成為數(shù)據(jù)中心全生命周期內(nèi)關(guān)注的核心要點(diǎn)，在基礎(chǔ)設(shè)施層面，關(guān)鍵在于供配電、制冷方案的選擇應(yīng)用。近年來，數(shù)據(jù)中心電、冷技術(shù)不斷迭代，包括240V直流供電技術(shù)、水冷機(jī)組、列間空調(diào)（含氟泵）等試點(diǎn)推廣應(yīng)用。數(shù)據(jù)中心整體機(jī)房建設(shè)方案也在推陳出新，目前業(yè)內(nèi)廣泛使用的方案包括：運(yùn)營商DC化的微模塊（DC艙）、騰訊的T-block、百度的蜂巢系統(tǒng)、機(jī)柜級制冷方案、其他第三方數(shù)據(jù)中心的建設(shè)方案。

方案之間存在共同點(diǎn)。供配電部分采用傳統(tǒng)的“電源列柜+電纜布放+PDU”模式，單機(jī)柜電功率設(shè)計(jì)與當(dāng)前需求精確匹配；制冷部分采用“列間空調(diào)+冷熱通道封閉”或者“背板空調(diào)”、“機(jī)柜級空調(diào)”模式，核心思路均是縮短空調(diào)送回風(fēng)距離，提高空調(diào)工作能效，降低PUE值。當(dāng)前單機(jī)柜電功率需求對應(yīng)的數(shù)據(jù)中心機(jī)房建設(shè)方案，詳見表1。

表1 當(dāng)前數(shù)據(jù)機(jī)房建設(shè)方案

為提高資金使用效率，建設(shè)方在數(shù)據(jù)中心機(jī)房內(nèi)部建設(shè)時(shí)，基于當(dāng)前單機(jī)柜電功率需求，綜合考慮已有電力、空調(diào)資源，進(jìn)行機(jī)房的供配電、制冷方案的定制化規(guī)劃設(shè)計(jì)并實(shí)施，為保證節(jié)能效果，后期運(yùn)營時(shí)的單機(jī)柜功耗，需盡量貼近設(shè)計(jì)負(fù)荷，“需求-設(shè)計(jì)-運(yùn)營”之間是點(diǎn)對點(diǎn)的強(qiáng)耦合關(guān)系。

2 數(shù)據(jù)中心建設(shè)方案遇到的問題

隨著運(yùn)營商、第三方數(shù)據(jù)中心等服務(wù)商IDC租賃業(yè)務(wù)的發(fā)展，經(jīng)過對多個(gè)數(shù)據(jù)中心實(shí)地走訪及調(diào)研，當(dāng)前問題可總結(jié)為以下3個(gè)方面。

2.1 單機(jī)柜電功率難以根據(jù)需求動態(tài)調(diào)整

業(yè)內(nèi)數(shù)據(jù)中心的建設(shè)，分為可行性研究、設(shè)計(jì)、招標(biāo)、施工、調(diào)測5個(gè)階段，按照業(yè)內(nèi)平均建設(shè)速度，機(jī)電立項(xiàng)到投產(chǎn)需9個(gè)月，土建立項(xiàng)到投產(chǎn)需24個(gè)月，構(gòu)成詳見圖1。一般情況下，大客戶定制IDC租期6年，普通客戶租期2年，行業(yè)內(nèi)對于數(shù)據(jù)中心的靜態(tài)投資回收期的測算，一般不超過5年。

圖1 數(shù)據(jù)中心建設(shè)工期構(gòu)成

隨著5G、人工智能、云計(jì)算等技術(shù)的發(fā)展，我國各行各業(yè)都在加速數(shù)字化轉(zhuǎn)型，對于算力的需求逐漸變高，回顧2016、2017年，業(yè)內(nèi)還在試點(diǎn)建設(shè)4-5kW/柜的數(shù)據(jù)中心，現(xiàn)已迭代為建設(shè)7KW/柜的數(shù)據(jù)中心。展望6-7年后，客戶對于單機(jī)柜電功率的需求更高，存量數(shù)據(jù)中心難以直接匹配客戶的需求，業(yè)主需在機(jī)房閑置或者投資改造之間做出選擇。

2.2 設(shè)備環(huán)境電冷量資源池較淺

參考中國電信〔2017〕319號文件《關(guān)于印發(fā)中國電信通信機(jī)房基礎(chǔ)設(shè)施DC化重構(gòu)指導(dǎo)意見的通知》，變配電系統(tǒng)、不間斷電源系統(tǒng)容量測算時(shí)，網(wǎng)絡(luò)/IT設(shè)備負(fù)荷計(jì)算考慮0.80-0.95的綜合系數(shù)（同時(shí)系數(shù)和需要系數(shù)），制冷系統(tǒng)也逐漸開展冷凍（卻）水型空調(diào)系統(tǒng)的應(yīng)用。為保證數(shù)據(jù)中心的安全性，在規(guī)劃設(shè)計(jì)階段會留有一定的冗余或者擴(kuò)容空間，就數(shù)據(jù)機(jī)樓級而言，已經(jīng)形成初步電源池、冷量池，能高效響應(yīng)新建機(jī)房類需求。

而對于存量機(jī)房層面，未建立機(jī)房級的電源池、冷量池。目前的電、冷設(shè)計(jì)方案，單機(jī)柜電功率在設(shè)計(jì)功率下運(yùn)營，PUE貼近設(shè)計(jì)值，低于設(shè)計(jì)功率使用，會出現(xiàn)PUE高于建設(shè)預(yù)期、資源浪費(fèi)；高于設(shè)計(jì)功率使用，需要綜合考慮電冷系統(tǒng)擴(kuò)容安裝條件、工程實(shí)施風(fēng)險(xiǎn)、功能讓步接受等因素，重新評估、設(shè)計(jì)改造方案。一般情況下，工程實(shí)施耗時(shí)耗力、經(jīng)濟(jì)性不佳。

2.3 機(jī)房運(yùn)營時(shí)的技術(shù)問題

包括機(jī)房局部熱點(diǎn)，單機(jī)柜內(nèi)部溫度分層明顯，電冷量冗余配置在經(jīng)濟(jì)性、安全性之間的平衡等。

3 電冷量彈性應(yīng)用的數(shù)據(jù)中心建設(shè)方案的研究及實(shí)踐

3.1 方案思路

實(shí)現(xiàn)DC基礎(chǔ)設(shè)施靈活匹配需求，關(guān)鍵在于電、冷資源配套靈活、可靠響應(yīng)。本方案創(chuàng)新性地提出彈性DC整體機(jī)房建設(shè)方案，構(gòu)建機(jī)房級保障電源池、冷量池，實(shí)現(xiàn)單機(jī)柜電功率按需“彈性”分配。設(shè)定邊界范圍內(nèi)，不損失當(dāng)前節(jié)能效果的前提下，根據(jù)負(fù)載需求，單機(jī)柜電、冷資源的實(shí)時(shí)調(diào)整。有效地減少了當(dāng)下的建設(shè)需求和長期的經(jīng)濟(jì)效益之間匹配的風(fēng)險(xiǎn)。

方案設(shè)計(jì)了電力負(fù)荷彈性分配系統(tǒng)、冷量彈性分配系統(tǒng)，兩者整體承載于金屬框架結(jié)構(gòu)件上，綜合考慮機(jī)房層高、綜合布線、管路走向等，進(jìn)行整體機(jī)房工藝結(jié)構(gòu)設(shè)計(jì)，構(gòu)建“兩池”，電和冷是數(shù)據(jù)中心設(shè)備環(huán)境的核心要素，建設(shè)方案將顆粒度細(xì)化到每一列機(jī)柜，實(shí)現(xiàn)了電冷最末端池化的構(gòu)思（見圖2）。簡述如下：

圖2 彈性DC機(jī)房方案示意圖

電力負(fù)荷彈性分配系統(tǒng)，應(yīng)用列間配電母線技術(shù)，代替?zhèn)鹘y(tǒng)的電源列柜、電力電纜布放的實(shí)施方式。列間配電母線由始端箱、直線段、插接箱構(gòu)成，詳見圖3列間配電母線示意圖。機(jī)柜電源從插接箱內(nèi)引出，單個(gè)插接箱的負(fù)載取決于插接箱和直線段之間的導(dǎo)電材料接觸面積、插接箱內(nèi)的空氣斷路器和連接電纜的額定電流，對這兩個(gè)關(guān)鍵點(diǎn)合理設(shè)計(jì)冗余，極少的造價(jià)成本，可以實(shí)現(xiàn)電功率的動態(tài)實(shí)時(shí)調(diào)整。

圖3 列間配電母線示意圖

冷量彈性分配系統(tǒng)，應(yīng)用熱管背板+風(fēng)墻技術(shù)，以列為單位，構(gòu)建冷量池。在每列機(jī)柜的背后，用金屬框架結(jié)構(gòu)件構(gòu)建混風(fēng)墻，一側(cè)是機(jī)柜，一側(cè)是熱管背板，實(shí)現(xiàn)靜壓箱的效果，機(jī)柜無需購置后門?；谥亓π蜔峁鼙嘲宓墓ぷ髟?，工質(zhì)的蒸發(fā)量取決于服務(wù)器產(chǎn)生的熱量，即使同一列機(jī)柜之間電功率有差異，仍能精確制冷，實(shí)現(xiàn)冷量的按需實(shí)時(shí)調(diào)整，具有良好的節(jié)能效果。采用這樣的設(shè)計(jì)，一方面，每臺機(jī)柜可以獲得均勻的靜壓出風(fēng)，消除柜內(nèi)不同高度局部熱點(diǎn)效果良好；另一方面，實(shí)現(xiàn)物理上的柜間冷源備份。

機(jī)房的消防、動環(huán)、安防、能耗、設(shè)備監(jiān)控等系統(tǒng)的設(shè)置，仍采用原有建設(shè)思路即可。

以某運(yùn)營商的數(shù)據(jù)中心整體機(jī)房建設(shè)項(xiàng)目為例，涉及機(jī)房空調(diào)末端、機(jī)房配電、機(jī)柜配套工程，對比彈性DC方案與微模塊方案指標(biāo)，同等面積的機(jī)房建設(shè)方案指標(biāo)對比如表2所示。

彈性DC方案與微模塊方案相比，彈性DC方案采用背板空調(diào)替代微模塊的列間空調(diào)，且在背板空調(diào)與機(jī)柜之間，利用金屬框架構(gòu)建300mm混合風(fēng)墻，實(shí)現(xiàn)背板空調(diào)之間互為備用；另外，彈性DC方案用列間配電母線取消了電源列柜。從機(jī)房工藝角度分析，空調(diào)方案的變化，導(dǎo)致彈性DC單機(jī)柜深度高于微模塊，可能導(dǎo)致機(jī)柜列數(shù)量變少，同時(shí)，微模塊列間空調(diào)位置可用于部署機(jī)柜；電源方案的變化，列柜占用的空間從平面變成了立面，微模塊電源列柜位置可用于部署機(jī)柜。

綜上所述，由表2的實(shí)際案例分析可知，同等機(jī)房面積資源下，彈性DC方案可建設(shè)標(biāo)準(zhǔn)服務(wù)器機(jī)柜數(shù)量更多、單機(jī)柜電功率更高、單位功率造價(jià)更低、單位功率/單機(jī)柜面積占比更低。方案有著更優(yōu)的節(jié)能性、維護(hù)性和實(shí)用性。

表2 同等面積的機(jī)房建設(shè)方案指標(biāo)對比

3.2 方案的邊界點(diǎn)

建立機(jī)房級的電源池、冷量池，在邊界范圍內(nèi)提供一定的使用彈性，可顯著降低工程運(yùn)營風(fēng)險(xiǎn)。方案邊界范圍的確定，仍從電、冷系統(tǒng)的上下限著手。考慮數(shù)據(jù)中心末端2N冗余設(shè)計(jì)，單機(jī)柜電功率最大值受限于以下兩個(gè)因素：（1）配電母線插接箱內(nèi)的微型斷路器、接插件的截面積，單機(jī)柜額定電流最大值為62.5A（AC220V測算）；（2）背板空調(diào)的制冷量最大值12KW；最小值據(jù)相關(guān)模型分析，5KW以下并不具備技術(shù)、造價(jià)競爭力。綜上，彈性DC整體機(jī)房建設(shè)方案單機(jī)柜電功率的邊界區(qū)間，為5-12KW。

3.3 實(shí)踐情況

該項(xiàng)目位于某運(yùn)營商數(shù)據(jù)園區(qū)中，規(guī)劃單機(jī)柜電功率7KW，共1024臺標(biāo)準(zhǔn)服務(wù)器機(jī)柜，綜合評估單機(jī)柜功耗需求，構(gòu)建保障電源池、保障冷量池。效果圖如圖4、圖5所示。

圖4 整體建設(shè)效果圖

圖5 單列機(jī)柜頂部管線圖

經(jīng)測算，彈性DC方案將單機(jī)柜基礎(chǔ)功耗設(shè)定為7KW，最高可支持9kW，實(shí)際使用功耗向下兼容，實(shí)測PUE值1.13，低于國家工業(yè)和信息化部、國家機(jī)關(guān)事務(wù)管理局、國家能源局關(guān)于加強(qiáng)綠色數(shù)據(jù)中心建設(shè)的指導(dǎo)意見中，新建大型數(shù)據(jù)中心PUE 要達(dá)到1.4以下的要求。同比同一園區(qū)內(nèi)的微模塊數(shù)據(jù)中心，水冷空調(diào)模式，實(shí)測PUE值1.42；同一地區(qū)其他園區(qū)微模塊數(shù)據(jù)中心，風(fēng)冷空調(diào)模式，實(shí)測PUE值1.62，彈性DC方案有著顯著的優(yōu)勢。

在工程實(shí)踐中，踐行了模塊化、工程產(chǎn)品化的思路，取得了良好的效果。經(jīng)過整合設(shè)計(jì)，工廠預(yù)制結(jié)構(gòu)件；優(yōu)化現(xiàn)有工序，部分關(guān)鍵線路上的工作由串聯(lián)改為并聯(lián)，金屬框架結(jié)構(gòu)件7天內(nèi)進(jìn)場定位快速搭建，預(yù)制并先于設(shè)備到貨安排空調(diào)管路、綜合布線等分項(xiàng)工程進(jìn)場。本項(xiàng)目一期工程754臺機(jī)柜位，從簽訂合同到工程竣工，共用時(shí)40天，優(yōu)于行業(yè)平均水平。

4 結(jié)束語

數(shù)據(jù)中心建設(shè)的“多快好省”是從業(yè)者不斷追求的過程，也是一個(gè)不斷迭代的過程。筆者通過調(diào)研分析當(dāng)前數(shù)據(jù)中心建設(shè)過程中的痛點(diǎn)，綜合評估彈性使用、優(yōu)化工序、節(jié)約投資等方面，提出一種實(shí)用可行的彈性DC建設(shè)方案，分析對比目前主流方案并闡述實(shí)踐結(jié)果，功能、投資、工期、節(jié)能均滿足并優(yōu)于項(xiàng)目預(yù)期和行業(yè)平均水平，為行業(yè)內(nèi)數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)提供參考和依據(jù)。