高校數(shù)據(jù)中心機(jī)房建設(shè)研究與實(shí)踐

文/魯學(xué)亮　陳平

高校數(shù)據(jù)中心機(jī)房建設(shè)研究與實(shí)踐

文/魯學(xué)亮陳平

圖1　機(jī)房平面圖

隨著高校信息化建設(shè)的不斷深入以及云計(jì)算、大數(shù)據(jù)、虛擬化的快速應(yīng)用，對(duì)IT基礎(chǔ)設(shè)施提出了更高的要求，尤其在數(shù)據(jù)的安全性、可靠性方面，因此建設(shè)一個(gè)安全、綠色、智能、高效的數(shù)據(jù)中心成為了高校信息化發(fā)展的重中之重。本文以北京師范大學(xué)IDC機(jī)房建設(shè)為例，探討高校IDC機(jī)房建設(shè)存在的問(wèn)題，總結(jié)經(jīng)驗(yàn)教訓(xùn)。

高校IDC機(jī)房服務(wù)于學(xué)校信息化建設(shè)中各種IT設(shè)備的托管，與商業(yè)IDC相比，高校IDC不以盈利為目的，投入少，運(yùn)維人員不足。在信息化建設(shè)過(guò)程中，大多數(shù)高校沒(méi)有建設(shè)專業(yè)化的IDC機(jī)房，而是采用與樓宇網(wǎng)絡(luò)設(shè)備共用的方式，這樣就造成了眾多小機(jī)房的出現(xiàn)，單一機(jī)房里容納包括網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)等眾多IT設(shè)備，這些機(jī)房規(guī)模不大，但承擔(dān)的任務(wù)眾多。同時(shí)這些機(jī)房在安全與節(jié)能方案幾乎未做規(guī)劃，供電、制冷等關(guān)鍵系統(tǒng)都沒(méi)有做冗余配置，管理維護(hù)非常困難。

隨著大數(shù)據(jù)、云計(jì)算、科研計(jì)算快速發(fā)展和應(yīng)用，對(duì)IT基礎(chǔ)設(shè)施的要求也越來(lái)越高，這種建設(shè)模式已經(jīng)嚴(yán)重阻礙了信息化的發(fā)展。由于信息化需求和技術(shù)的多變性，因此在建設(shè)前要充分做好規(guī)劃。高校數(shù)據(jù)中心投入資金普遍有限，應(yīng)采用模塊化的設(shè)計(jì)，做好充足資源預(yù)留。

模塊化、區(qū)域分級(jí)設(shè)計(jì)

鑒于學(xué)校數(shù)據(jù)中心各種業(yè)務(wù)需求的不斷發(fā)展與變化，各種新技術(shù)也在不斷出現(xiàn)，故在機(jī)房設(shè)計(jì)時(shí)需考慮這些變化對(duì)資源需求的改變，以確保整個(gè)系統(tǒng)可靈活的擴(kuò)展?？紤]到未來(lái)不斷發(fā)展的需要及投資效益，在機(jī)房面積、電力供應(yīng)、空調(diào)容量、通信點(diǎn)數(shù)等各個(gè)方面都應(yīng)預(yù)留合理的余量及可擴(kuò)充的靈活性，使計(jì)算機(jī)機(jī)房的投資及今后的發(fā)展都得到可靠的保障。因此本次選用的UPS、配電系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、制冷系統(tǒng)等都采用模塊化，在資金有限的前提下，為以后的擴(kuò)展做好充分的準(zhǔn)備。同時(shí)根據(jù)不同IT設(shè)備對(duì)配電和制冷量的需求，機(jī)房在建設(shè)時(shí)采用分區(qū)分級(jí)的設(shè)計(jì)模式，分為高密區(qū)、中密區(qū)、低密區(qū)三個(gè)區(qū)域，分別設(shè)計(jì)單機(jī)柜配電為15kW、6kW、3kW。高密區(qū)面向高性能計(jì)算、刀片柜等高用電量IT設(shè)備。中密區(qū)面向虛擬化、存儲(chǔ)等設(shè)備。低密區(qū)面向網(wǎng)絡(luò)設(shè)備、框架式服務(wù)器、安全設(shè)備等。中低密區(qū)PUE控制在1.8以內(nèi)，高密區(qū)PUE控制在1.5以內(nèi)。

機(jī)房子系統(tǒng)設(shè)計(jì)

北京師范大學(xué)2014年啟動(dòng)新IDC機(jī)房建設(shè)，以安全、綠色、高效、智能為設(shè)計(jì)理念，2015年全面投入使用。機(jī)房總建筑面積約465平方米，分為主機(jī)房區(qū)、監(jiān)控區(qū)、配電室、消防室等功能區(qū)，如圖1所示。機(jī)房設(shè)計(jì)定位為學(xué)校教學(xué)、科研服務(wù)器托管，要求建設(shè)一個(gè)布局合理、功能完備、設(shè)施先進(jìn)、運(yùn)行穩(wěn)定、使用靈活同時(shí)又能體現(xiàn)工藝精湛、美觀大方、綠色環(huán)保的符合國(guó)家相關(guān)機(jī)房標(biāo)準(zhǔn)的現(xiàn)代化計(jì)算機(jī)中心機(jī)房，反映出高性能綜合機(jī)房所有系統(tǒng)的安全性、功能性、先進(jìn)性、穩(wěn)定性、開(kāi)放性和可管理性。

電氣子系統(tǒng)

北京師范大學(xué)IDC機(jī)房配電系統(tǒng)采用國(guó)家A級(jí)機(jī)房建設(shè)標(biāo)準(zhǔn)，配電系統(tǒng)由大樓配電室引兩路市電電源至機(jī)房配電室，電源容量為每路800kW，機(jī)房配電柜總開(kāi)關(guān)采用1600A，配電室安裝兩臺(tái)400kVA UPS設(shè)備組成2N系統(tǒng)提供機(jī)房的電力保障。配電系統(tǒng)采用雙回路配電結(jié)構(gòu)，一臺(tái)列頭配電柜引自UPS1輸出配電柜，另一臺(tái)列頭柜引自UPS2輸出配電柜。兩臺(tái)列頭柜內(nèi)的兩個(gè)獨(dú)立電氣單元分別通過(guò)工業(yè)連接器連接至機(jī)柜內(nèi)的PUD。每個(gè)配電回路均能滿足計(jì)算機(jī)機(jī)柜100%的用電負(fù)荷，任何一路空開(kāi)或線路的故障均不影響另一路電源的正常使用。機(jī)房每個(gè)機(jī)柜的用電都經(jīng)過(guò)詳細(xì)測(cè)算，根據(jù)不同需求設(shè)計(jì)用電配制。設(shè)備配電表如表1所示。

UPS主要為網(wǎng)絡(luò)設(shè)備、計(jì)算機(jī)設(shè)備、監(jiān)控、門(mén)禁和應(yīng)急照明系統(tǒng)等提供電源。UPS系統(tǒng)能夠在任何市電故障、應(yīng)急發(fā)電機(jī)未啟動(dòng)之前，保證為計(jì)算機(jī)負(fù)荷設(shè)備等重要設(shè)備提供不間斷的供電，同時(shí)做到穩(wěn)壓改善供電質(zhì)量的作用。本工程設(shè)計(jì)采用2臺(tái)400kVA 模塊化UPS，電池按照系統(tǒng)滿載后備時(shí)間0.5小時(shí)配置。UPS主機(jī)、輸入輸出配電柜、蓄電池系統(tǒng)放置于數(shù)據(jù)中心配電室。UPS電源電纜采用專用屏蔽電力電纜沿機(jī)柜上的金屬橋架敷設(shè)到位，這種布線方式具有靈活方便、加線、改線、便于維修等功能，是機(jī)房?jī)?nèi)最為理想的一種布線方式。配電柜由自動(dòng)空氣開(kāi)關(guān)控制，設(shè)置過(guò)負(fù)荷、短路保護(hù)等功能，可實(shí)現(xiàn)遠(yuǎn)程對(duì)電壓、電流監(jiān)控功能。

數(shù)據(jù)處理中心供配電系統(tǒng)是機(jī)房安全運(yùn)行動(dòng)力保證，本項(xiàng)目采用數(shù)據(jù)中心專用配電柜來(lái)規(guī)范數(shù)據(jù)中心供配電系統(tǒng)，根據(jù)實(shí)際用電情況合理設(shè)計(jì)配電系統(tǒng)并配置相應(yīng)輸入輸出配電柜，保證數(shù)據(jù)中心供配電系統(tǒng)的安全、合理。在機(jī)房供配電系統(tǒng)中，采用熱插拔式開(kāi)關(guān)柜，減少由于調(diào)整變更帶來(lái)的不利影響。配電柜所設(shè)計(jì)的供電路數(shù)，能足夠提供主機(jī)和外部設(shè)備的使用，各配電柜均預(yù)留有一定數(shù)量的備用開(kāi)關(guān)，其中UPS輸出配電柜及主機(jī)房?jī)?nèi)UPS區(qū)域配電柜各規(guī)格的備用輸出開(kāi)關(guān)均不少于15%；

表1　設(shè)備配電計(jì)算表

制冷子系統(tǒng)

數(shù)據(jù)中心機(jī)房A區(qū)共安裝53臺(tái)設(shè)備機(jī)柜，其中16臺(tái)高密度機(jī)柜，采用風(fēng)冷冷凍水系統(tǒng)和行級(jí)精密空調(diào)，剩余為中低密度機(jī)柜，精密空調(diào)地板下送風(fēng)的制冷方式。B區(qū)機(jī)房安裝22臺(tái)設(shè)備機(jī)柜，采用精密空調(diào)地板下送風(fēng)的制冷方式。A區(qū)高密區(qū)采用兩臺(tái)風(fēng)冷冷凍水系統(tǒng)（1主1備），中低密區(qū)采用4臺(tái)精密空調(diào)（3主1備），B區(qū)采用4臺(tái)精密空調(diào)。

數(shù)據(jù)中心機(jī)房中低密區(qū)采用地板下送風(fēng)的方式，地板高度為450mm，地板下作為靜壓箱，通過(guò)機(jī)柜前的開(kāi)孔地板送風(fēng)，從而實(shí)現(xiàn)空調(diào)對(duì)機(jī)柜的冷卻。機(jī)柜布局雖然為冷熱通道方式，但還是會(huì)出現(xiàn)冷風(fēng)無(wú)效冷卻，而直接與熱風(fēng)混合的現(xiàn)象，因此把兩排機(jī)柜中間的冷通道進(jìn)行封閉，空調(diào)機(jī)組送出的冷風(fēng)可以直接送到冷通道內(nèi)而進(jìn)入服務(wù)器機(jī)柜，所有機(jī)柜排出的熱風(fēng)被空調(diào)機(jī)組吸回。從而提高空調(diào)機(jī)組的回風(fēng)溫度，提高空調(diào)機(jī)組的制冷能力，還可提高解決機(jī)柜更高功率密度的制冷能力。

高密區(qū)每機(jī)柜采用15kW的配電，對(duì)制冷要求極高，因此高密區(qū)采用冷通道封閉技術(shù)，制冷方式采用風(fēng)冷冷水機(jī)組和機(jī)柜行級(jí)空調(diào)，從而有效降低了冷熱風(fēng)的混合，優(yōu)化了氣流組織，機(jī)柜級(jí)空調(diào)的回風(fēng)溫度可由23℃提升到28℃甚至更高，而每提升1℃回風(fēng)溫度，空調(diào)散熱量約提高3%～5%，在提升5℃的回風(fēng)溫度下，空調(diào)制冷量將提升15%以上。

弱電子系統(tǒng)

本工程采用六類非屏蔽模塊化布線加多模光纖解決方案。綜合布線系統(tǒng)采用模塊化設(shè)計(jì)，機(jī)房均設(shè)置弱電列頭柜和網(wǎng)絡(luò)機(jī)柜，弱電列頭柜敷設(shè)銅纜和光纖至網(wǎng)絡(luò)機(jī)柜。數(shù)據(jù)中心機(jī)房共安裝有75臺(tái)設(shè)備機(jī)柜，其中9臺(tái)弱電列頭機(jī)柜和網(wǎng)絡(luò)機(jī)柜，其余66臺(tái)為服務(wù)器機(jī)柜，參考設(shè)備布置，設(shè)計(jì)線槽及信息點(diǎn)如下：普通服務(wù)器區(qū)每臺(tái)機(jī)柜設(shè)置36個(gè)銅纜信息點(diǎn)，其中24個(gè)網(wǎng)絡(luò)接口，12個(gè)KVM接口，匯集到弱電列頭柜。弱電列頭柜匯聚到本機(jī)房的網(wǎng)絡(luò)機(jī)柜。機(jī)房區(qū)域內(nèi)弱電線路采用機(jī)柜上走線方式，采用開(kāi)放式線槽。每排機(jī)柜配置48芯多模光纖至核心交換機(jī)機(jī)柜。網(wǎng)絡(luò)設(shè)備采用兩臺(tái)數(shù)據(jù)中心級(jí)三層交換機(jī)虛擬成一臺(tái)，其余二層換交機(jī)按照每排機(jī)柜進(jìn)行堆疊提高管理效率。二層交換機(jī)采用雙萬(wàn)兆上連核心交換機(jī)，核心交換機(jī)雙萬(wàn)兆上聯(lián)校園網(wǎng)核心交換機(jī)。為便于學(xué)校各單位遠(yuǎn)程管理托管的IT設(shè)備，IDC機(jī)房配套了KVM系統(tǒng)，使得每臺(tái)服務(wù)器可遠(yuǎn)程安裝系統(tǒng)、開(kāi)關(guān)機(jī)等操作，減少現(xiàn)場(chǎng)人員的運(yùn)維成本。

智能監(jiān)控運(yùn)維子系統(tǒng)

為保證數(shù)據(jù)中心機(jī)房安全穩(wěn)定工作，電氣系統(tǒng)、環(huán)境系統(tǒng)、制冷系統(tǒng)、安防系統(tǒng)等各子系統(tǒng)必須時(shí)時(shí)刻刻穩(wěn)定協(xié)調(diào)運(yùn)行。如果機(jī)房動(dòng)力及環(huán)境設(shè)備出現(xiàn)故障，輕則影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行，重則造成機(jī)房IT設(shè)備損壞、報(bào)廢，使系統(tǒng)陷入癱瘓，后果不堪設(shè)想，因此對(duì)IDC機(jī)房的各系統(tǒng)進(jìn)行實(shí)時(shí)集中的監(jiān)控極其必要。機(jī)房環(huán)境及動(dòng)力設(shè)備監(jiān)控系統(tǒng)主要是對(duì)機(jī)房設(shè)備，如配電系統(tǒng)、UPS電源、空調(diào)、消防系統(tǒng)、安防系統(tǒng)等的運(yùn)行狀態(tài)、溫濕度、供電電壓電流等的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控并記錄歷史數(shù)據(jù)，實(shí)現(xiàn)對(duì)機(jī)房遙測(cè)、遙控的管理功能，為機(jī)房高效、智能的管理和安全運(yùn)營(yíng)提供有力的保證。本項(xiàng)目使用智能監(jiān)控運(yùn)維系統(tǒng)將傳統(tǒng)的應(yīng)用監(jiān)控系統(tǒng)與環(huán)境動(dòng)力監(jiān)控系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)對(duì)服務(wù)器、交換機(jī)、存儲(chǔ)、UPS設(shè)備、空調(diào)、溫濕度、視頻、門(mén)禁、漏水等的實(shí)時(shí)監(jiān)控，大大減少了人員的工作量。

北京師范大學(xué)IDC機(jī)房以綠色、安全、智能、高效為設(shè)計(jì)理念，配電、機(jī)柜等設(shè)施采用模塊化設(shè)計(jì)，便于擴(kuò)展，同時(shí)進(jìn)行了區(qū)域分級(jí)建設(shè)，引入智能監(jiān)控系統(tǒng)，IDC機(jī)房的建成很好地滿足了學(xué)校教學(xué)、科研對(duì)IT基礎(chǔ)設(shè)施的需求。接下來(lái)學(xué)校將進(jìn)一步對(duì)IDC機(jī)房進(jìn)行節(jié)能方面進(jìn)行優(yōu)化。

為北京師范大學(xué)信息網(wǎng)絡(luò)中心 )