微模塊數(shù)據(jù)中心的工程化應(yīng)用

趙麟杰

（中國(guó)鐵路通信信號(hào)上海工程局集團(tuán)有限公司，上海 200436）

以“互聯(lián)網(wǎng)+”和大數(shù)據(jù)業(yè)務(wù)為代表的新一代信息技術(shù)革命的到來(lái)，推動(dòng)企業(yè)生產(chǎn)和管理業(yè)務(wù)的飛速發(fā)展，各中小企業(yè)越來(lái)越重視信息化建設(shè)，數(shù)據(jù)中心的建設(shè)數(shù)量呈現(xiàn)飛速發(fā)展。服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備也越來(lái)越密集，給數(shù)據(jù)中心帶來(lái)了巨大挑戰(zhàn)?？焖僭黾拥脑O(shè)備使得機(jī)柜使用密度大大提高，高性能芯片巨大發(fā)熱量需要更高制冷量，對(duì)數(shù)據(jù)中心機(jī)房建設(shè)發(fā)起挑戰(zhàn)。

如圖1所示，微模塊數(shù)據(jù)中心的出現(xiàn)有效應(yīng)對(duì)了上述挑戰(zhàn)。以模塊化、標(biāo)準(zhǔn)化的架構(gòu)和高效高可靠的UPS、精密空調(diào)等靈活組合打造新一代模塊化數(shù)據(jù)中心基礎(chǔ)設(shè)施，快速部署、高效節(jié)省、智能管理等優(yōu)點(diǎn)成為近年來(lái)數(shù)據(jù)中心建設(shè)中的亮點(diǎn)。

1 微模塊數(shù)據(jù)中心的簡(jiǎn)介

微模塊數(shù)據(jù)中心一般由供配電系統(tǒng)、空調(diào)系統(tǒng)、IT機(jī)柜統(tǒng)、綜合布線系統(tǒng)、智能監(jiān)測(cè)系統(tǒng)、氣流組織管理系統(tǒng)等模塊組成。

圖1 微模塊數(shù)據(jù)中心示意圖Fig.1 Schematic of micro module data center

1.1 供電系統(tǒng)

不停電供電系統(tǒng)包括輸入輸出配電、UPS 主機(jī)、列頭柜、機(jī)架配電，電池系統(tǒng)，地線系統(tǒng)，配電保護(hù)(主要為防雷和電涌保護(hù)、各級(jí)保護(hù)斷路器)等，可根據(jù)需求配置交流或直流供電。

1.2 制冷系統(tǒng)

制冷系統(tǒng)主要為空調(diào)和配套的附屬設(shè)備如管道系統(tǒng)、管道和機(jī)架級(jí)冷氣配送設(shè)備等。為確保高密度機(jī)柜內(nèi)的散熱并降低制冷能源浪費(fèi)，可選用水平送風(fēng)方式，就近送風(fēng)、減少冷氣損失，可實(shí)現(xiàn)單機(jī)柜設(shè)備功率密度提高至20 kW以上的能力。

1.3 機(jī)架系統(tǒng)

機(jī)架是IT設(shè)備的支撐機(jī)構(gòu)和分配單元。包含機(jī)架的物理結(jié)構(gòu)，承重能力、進(jìn)風(fēng)、出風(fēng)、氣流等散熱管理、電源分配、和線纜管理等功能要素，是承載IT設(shè)備的物理實(shí)體。

1.4 電纜連接系統(tǒng)

電纜連接系統(tǒng)主要為負(fù)載電力所需的電源電纜和信息數(shù)據(jù)傳輸電纜，以及相配套的電纜連接器件等，是微模塊數(shù)據(jù)中心基礎(chǔ)設(shè)施其中之一，電纜布設(shè)和管理將直接影響到整個(gè)IT系統(tǒng)的可靠穩(wěn)定運(yùn)行。

1.5 智能管理系統(tǒng)

為確保微模塊數(shù)據(jù)中心各子系統(tǒng)的可靠運(yùn)行，需配屬必要的自動(dòng)監(jiān)視管理信息系統(tǒng)，如動(dòng)力設(shè)備監(jiān)視管理系統(tǒng)、網(wǎng)絡(luò)設(shè)備管理系統(tǒng)、環(huán)境管理系統(tǒng)、安防系統(tǒng)及其他監(jiān)測(cè)用的硬件和軟件。

1.6 氣流組織管理系統(tǒng)

微模塊數(shù)據(jù)中心采用獨(dú)立冷卻系統(tǒng)，來(lái)滿足此功能區(qū)制冷需求。微模塊機(jī)柜布局通常為冷/熱通道，若采用水平送風(fēng)空調(diào)， 95%左右的冷風(fēng)可以直接送到冷/熱通道內(nèi)而進(jìn)入服務(wù)器機(jī)柜，所有機(jī)柜空面板安裝盲板；機(jī)柜內(nèi)排出的熱風(fēng)會(huì)被空調(diào)機(jī)組吸回，熱風(fēng)不再返回進(jìn)機(jī)柜內(nèi)。全封閉式冷氣循環(huán)系統(tǒng)環(huán)境，有效提升空調(diào)使用率，從而實(shí)現(xiàn)高效節(jié)能降耗。

微模塊數(shù)據(jù)中心的頂部設(shè)置部分開(kāi)啟扇，開(kāi)啟面積為冷通道頂部面積的60%以上，由于機(jī)房一般采用氣體滅火設(shè)施，當(dāng)火災(zāi)發(fā)生時(shí)可觸發(fā)冷通道頂部開(kāi)啟扇快速打開(kāi)，氣體滅火系統(tǒng)可精準(zhǔn)對(duì)起火設(shè)備進(jìn)行滅火，同時(shí)聯(lián)動(dòng)設(shè)備把狀態(tài)信號(hào)反饋給消防中心。非緊急狀態(tài)下，也可通過(guò)消防控制中心信號(hào)讓冷通道的頂部開(kāi)啟扇部分打開(kāi)，利于擴(kuò)大散熱效果。

2 微模塊數(shù)據(jù)中心的優(yōu)勢(shì)

2.1 標(biāo)準(zhǔn)化部件、模塊化架構(gòu)、工廠預(yù)制、現(xiàn)場(chǎng)部署快捷

微模塊數(shù)據(jù)中心部件均在工廠預(yù)制完成，部件之間設(shè)計(jì)了標(biāo)準(zhǔn)化接口，抵達(dá)現(xiàn)場(chǎng)后按照預(yù)先設(shè)計(jì)的要求拼接而成。一體化集成UPS、精密空調(diào)、配電、機(jī)柜、智能管理等主要子系統(tǒng)，即插即用如同“搭積木”一樣便捷，這樣可實(shí)現(xiàn)快速部署，極簡(jiǎn)交付，部署速度較傳統(tǒng)可提升50%或以上。同樣，微模塊也可以簡(jiǎn)單復(fù)制、分期部署和按需擴(kuò)容，可有效提高機(jī)房負(fù)載率并降低能耗。

2.2 場(chǎng)景適應(yīng)性強(qiáng)

一般微模塊數(shù)據(jù)中心僅需2.6 m層高、 最低350 kg/m2樓板承重即可完成模塊部署，適應(yīng)絕大多數(shù)室內(nèi)環(huán)境?？梢圆捎盟剿惋L(fēng)方式，可直接在水泥地面部署，甚至無(wú)需架空地板。機(jī)柜排列方式靈活，支持單排、雙排兩種排列方式，避免面積浪費(fèi)，室內(nèi)空間利用率最大化；封閉與不封閉兩種部署方式，適應(yīng)低、中、高密不同業(yè)務(wù)需求。

2.3 模塊化架構(gòu)，滿足高能效低PUE

微模塊數(shù)據(jù)中心優(yōu)化了配電和制冷系統(tǒng)設(shè)計(jì)，采用密閉冷/熱通道和行間空調(diào)近端制冷技術(shù)，行級(jí)空調(diào)、高頻模塊化UPS、密閉通道、高集成配電柜的聯(lián)合應(yīng)用使PUE大大降低，可做到〈1.5，節(jié)省能耗30%以上。

2.4 智能化管理系統(tǒng)，實(shí)時(shí)監(jiān)控

微模塊數(shù)據(jù)中心一般配備智能化監(jiān)控系統(tǒng)，可以實(shí)時(shí)監(jiān)測(cè)柜內(nèi)的溫濕度、空調(diào)工作狀態(tài)，聯(lián)動(dòng)封閉冷通道上方天窗、火災(zāi)報(bào)警，視頻監(jiān)控、燈光感應(yīng)控制等功能。智能化運(yùn)維管理系統(tǒng)實(shí)現(xiàn)信息監(jiān)控、能效管理、3D虛擬展示等功能，顯著提升數(shù)據(jù)中心運(yùn)維效率與體驗(yàn)。

3 微模塊數(shù)據(jù)中心的工程應(yīng)用案例

以某企業(yè)新建設(shè)數(shù)據(jù)中心為例簡(jiǎn)單介紹微模塊數(shù)據(jù)中心的工程化應(yīng)用部署。為確保小型機(jī)、高容量存儲(chǔ)設(shè)備、云計(jì)算服務(wù)器等設(shè)備能夠穩(wěn)定高效的運(yùn)行，在數(shù)據(jù)中心主機(jī)房約450 m2的大廳中，部署了4組微模塊機(jī)柜，雙排密封冷部署方式。每組機(jī)柜包括22～24個(gè)IT機(jī)柜，機(jī)柜兩端分別為配電柜和網(wǎng)絡(luò)配線柜。1組高密機(jī)柜采用冷通道密封加內(nèi)置行級(jí)水冷水平送風(fēng)溫控系統(tǒng)，3組低密機(jī)柜采用通道密封下送風(fēng)方式制冷，如圖2所示。

3.1 供配電系統(tǒng)

供配電系統(tǒng)是保證計(jì)算機(jī)設(shè)備、場(chǎng)地設(shè)備和輔助設(shè)備安全可靠運(yùn)行的基礎(chǔ)。大樓內(nèi)為機(jī)房提供兩路完全獨(dú)立的市電電源，兩路市電電源在低壓配電房?jī)?nèi)進(jìn)行切換，切換后的電源引至UPS配電房?jī)?nèi)。機(jī)房?jī)?nèi)設(shè)置兩組共4臺(tái)320 KVA的UPS主機(jī)，32個(gè)40 KVA的UPS模塊組成2 N冗余系統(tǒng)，為IT設(shè)備提供雙路電源，兩套UPS組成雙總線系統(tǒng)，任意一路市電故障均不影響IT設(shè)備正常運(yùn)行。UPS主機(jī)通過(guò)電纜輸出至主機(jī)房微模塊機(jī)柜的配電柜內(nèi)，機(jī)柜供配電采用380 V/50/60 Hz三相供電, 同時(shí)具備ATS、UPS配電、空調(diào)配電、IT配電、配電監(jiān)控等功能。

3.2 微模塊機(jī)柜綜合布線

微模塊數(shù)據(jù)中心機(jī)柜頂部配有強(qiáng)弱電走線槽，實(shí)現(xiàn)強(qiáng)電電纜和弱電數(shù)據(jù)電纜的分隔。一般紅色標(biāo)簽線槽走強(qiáng)電，藍(lán)色標(biāo)簽線槽走弱電，電纜相交時(shí)分上下兩個(gè)通道走線互不干涉。這與其他機(jī)房?jī)?nèi)還要架設(shè)上走線架或下走線槽不同，可有效減少相應(yīng)的走線架槽的材料和工程量。在每個(gè)機(jī)柜頂部有電纜引下孔，方便線纜連接至機(jī)柜內(nèi)。

3.3 空調(diào)制冷系統(tǒng)

圖2 某企業(yè)數(shù)據(jù)中心平面空間示意圖Fig.2 Plane layout of an enterprise's data center

數(shù)據(jù)中心的空調(diào)制冷系統(tǒng)采用傳統(tǒng)的精密空調(diào)和微模塊行級(jí)空調(diào)就近制冷結(jié)合的方式。機(jī)房?jī)?nèi)集中采用水冷式精密空調(diào)下送風(fēng)方式如圖3所示，設(shè)置5臺(tái)150 kW水冷下送風(fēng)空調(diào)4+1備份方式用于房間制冷。微模塊機(jī)柜組中央封閉冷通道下方采用打孔式防靜電地板，冷通道內(nèi)的空氣與機(jī)柜外空間之間壓差從而形成氣流循環(huán)，從而有效將IT機(jī)柜內(nèi)服務(wù)器產(chǎn)生的熱量帶走。

圖3 封閉冷通道工作示意圖Fig.3 Working chart of closed cold air ducts

送風(fēng)密封冷通道模式的特點(diǎn)包括：

1）冷空氣在冷通道內(nèi)形成資源池，實(shí)現(xiàn)冷氣流的充分共享，可有效解決局部大功耗設(shè)備散熱問(wèn)題；

2）實(shí)現(xiàn)冷熱氣流高效隔離，提升冷氣利用效率。由于實(shí)現(xiàn)了冷熱氣流高效隔離，就可通過(guò)提升送風(fēng)溫度進(jìn)一步節(jié)省制冷所需能耗。

除基本的下送風(fēng)制冷措施外，高密微模塊機(jī)柜還輔助增加水冷水平送風(fēng)機(jī)房精密行間空調(diào)，將小型機(jī)、高密度存儲(chǔ)設(shè)備等重要IT資產(chǎn)部署在行間空調(diào)相鄰的IT機(jī)柜內(nèi)，可以緊靠冷媒精確制冷，有效解決了局部熱點(diǎn)問(wèn)題， 如圖4所示。

圖4 行級(jí)空調(diào)工作示意Fig.4 Row level air conditioning

3.4 密封冷通道

機(jī)柜的密封冷通道由天窗、端門與機(jī)柜連接組合而成，形成了相對(duì)密閉的中空空間。天窗采用平頂結(jié)構(gòu)，由兩塊側(cè)板、一塊頂板和一塊旋轉(zhuǎn)天窗組成。旋轉(zhuǎn)天窗利用電磁鎖與頂板連接，正常工作狀態(tài)下處于水平狀態(tài)；天窗實(shí)現(xiàn)消防氣滅系統(tǒng)與冷通道聯(lián)動(dòng)，消防狀態(tài)下電磁鎖通電打開(kāi)，旋轉(zhuǎn)天窗在自重力作用下自動(dòng)打開(kāi)，以確保保證滅火氣體可進(jìn)入密封冷通道內(nèi)，如圖5所示。

圖5 旋轉(zhuǎn)天窗外觀示意Fig.5 Aspect of rotating skylight

3.5 智能監(jiān)控系統(tǒng)

數(shù)據(jù)中心新建設(shè)了智能化監(jiān)控系統(tǒng)，包含動(dòng)力監(jiān)控（電力）子系統(tǒng)、環(huán)境監(jiān)控子系統(tǒng)、視頻監(jiān)控子系統(tǒng)和門禁監(jiān)控子系統(tǒng),如圖6所示，能對(duì)整個(gè)微模塊數(shù)據(jù)中心相關(guān)基礎(chǔ)設(shè)施進(jìn)行全面的管理。

圖6 微模塊數(shù)據(jù)中心智能監(jiān)控系統(tǒng)3D監(jiān)控效果和電力監(jiān)控?cái)?shù)據(jù)采集效果圖Fig.6 Effect diagrams of 3D intelligent monitoring system and power monitoring data acquisition of the micro module data center

該數(shù)據(jù)中心建筑工程完工后，供配電、空調(diào)、微模塊機(jī)房、綜合布線、接地、信息監(jiān)控等基礎(chǔ)設(shè)施僅用不到4個(gè)月時(shí)間就建設(shè)完成。小型機(jī)、服務(wù)器、存儲(chǔ)、交換等IT資產(chǎn)部署后運(yùn)行穩(wěn)定良好，PUE值長(zhǎng)期穩(wěn)定在1.5左右，實(shí)現(xiàn)了項(xiàng)目預(yù)期目標(biāo)，反響良好。

4 結(jié)束語(yǔ)

微模塊數(shù)據(jù)中心技術(shù)是傳統(tǒng)機(jī)房的又一大進(jìn)步，非常適用于傳統(tǒng)數(shù)據(jù)中心機(jī)房的局部高密部署和中小型機(jī)房的快速建設(shè)上，具有快速部署、安全可靠、靈活擴(kuò)展和綠色節(jié)能等特點(diǎn)，能夠有效應(yīng)對(duì)云計(jì)算、大數(shù)據(jù)產(chǎn)業(yè)對(duì)基礎(chǔ)設(shè)施快速建設(shè)的需要，是未來(lái)中小型數(shù)據(jù)中心發(fā)展的重要趨勢(shì)之一。