新基建背景下高校數(shù)據(jù)中心建設(shè)創(chuàng)新與實踐

王志強，李廣福，張學燕

1.山東工藝美術(shù)學院，山東濟南，250300；2.山東青年政治學院，山東濟南，250103

0 引言

隨著國家數(shù)字中國建設(shè)的持續(xù)推進，高等教育與信息技術(shù)高度融合，教育信息化為高等院校教學、科研、管理及服務(wù)提供了良好的支撐環(huán)境，為高等教育高質(zhì)量發(fā)展提供有力保障。教育部等六部門在2021年發(fā)布的《關(guān)于推進教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見》中指出：“構(gòu)建新型數(shù)據(jù)中心，為本地區(qū)教育機構(gòu)提供便捷可靠的計算存儲和災(zāi)備服務(wù)。[1]”2021年教育部印發(fā)《高等學校數(shù)字校園建設(shè)規(guī)范（試行）》，其中明確指出：“建設(shè)安全、高效、節(jié)能的數(shù)據(jù)中心基礎(chǔ)設(shè)施，構(gòu)建安全、穩(wěn)定、高效的網(wǎng)絡(luò)、計算（服務(wù)器）系統(tǒng)、存儲系統(tǒng)、基礎(chǔ)軟件系統(tǒng)、備份容災(zāi)系統(tǒng)等，為信息化應(yīng)用提供良好的支撐環(huán)境”[2]。從以上文件可知，構(gòu)建安全、穩(wěn)定、高效、節(jié)能的現(xiàn)代化數(shù)據(jù)中心，為計算、存儲及備份容災(zāi)系統(tǒng)等提供良好穩(wěn)定的運行環(huán)境，是教育信息化的基礎(chǔ)，是教育信息化的支撐和保障。

本文以山東工藝美術(shù)學院數(shù)據(jù)中心機房建設(shè)為例，主要介紹新一代數(shù)據(jù)中心機房建設(shè)中供配電系統(tǒng)、模塊化布線系統(tǒng)、新網(wǎng)絡(luò)技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡(luò)四個方面的實踐與經(jīng)驗，及它們與傳統(tǒng)數(shù)據(jù)中心機房相比所具有的優(yōu)勢。

1 增程式節(jié)能高效配電模式，為數(shù)據(jù)中心機房電力保駕護航

供配電系統(tǒng)是保證數(shù)據(jù)中心機房中計算、網(wǎng)絡(luò)、存儲及輔助設(shè)備等可靠運行的基本條件，現(xiàn)代數(shù)據(jù)中心機房電力系統(tǒng)以節(jié)能環(huán)保、穩(wěn)定可靠為基本原則，建設(shè)一個安全、穩(wěn)定、節(jié)能、環(huán)保的供配電系統(tǒng)對數(shù)據(jù)中心機房顯得尤為重要。山東工藝美術(shù)學院在數(shù)據(jù)中心機房建設(shè)時，對不間斷電源配電模式進行了更加穩(wěn)定與節(jié)能的新模式探索，除常規(guī)的市電接入之外，采用了柴油發(fā)電機和UPS延時相結(jié)合的新方式，它的工作原理是：當市電停電時，機房配電系統(tǒng)自動切換至UPS供電，并確保UPS供電啟用2分鐘之內(nèi)自動啟動應(yīng)急發(fā)電機供電。這種新模式與傳統(tǒng)的供電模式相比，具有許多優(yōu)勢。

1.1 持續(xù)動力輸出，不再為供電時長擔憂

傳統(tǒng)的鉛酸蓄電池單位內(nèi)聚能量偏低，不能為數(shù)據(jù)中心設(shè)備提供長時間的電能。蓄電池只能短時間內(nèi)為機房提供電力輸出，若遇到市電較長時間停止供電，這種情況下鉛酸蓄電池很難為機房提供長時間供電。而使用柴油發(fā)電機和UPS延時配合為數(shù)據(jù)中心機房進行電力輸出，不用再擔心供電時長的問題，只要確保發(fā)電機有足夠的柴油，就可以持續(xù)為機房提供電能。

1.2 投資回報率高，機房空間占比小

傳統(tǒng)的不間斷電源供電模式大多采用UPS主機配備大量鉛酸蓄電池的方式，若想增加供電時長，需要串聯(lián)大量的蓄電池，供電時長是與電池的數(shù)量成正比的，電池數(shù)量越多供電時間就會越長。目前鉛酸蓄電池的價格偏高，大量的電池采購會增加機房的建設(shè)成本，并且電池的循環(huán)使用壽命是有限的，每隔幾年需要更換一次電池，這無疑也增加了成本。由于電池的能量密度低，大量的電池會占用機房很大的一部分空間。新供電模式只需一臺柴油發(fā)電機，從目前的市場行情看，發(fā)電機的價格不是太高，并且使用期間定期對發(fā)電機進行保養(yǎng)，可以使用十幾甚至幾十年，一般不用為使用壽命問題而擔憂。這種模式的選擇，降低了機房建設(shè)的投資成本。

1.3 節(jié)能高效，供電性能不再受限

鉛酸蓄電池電解液含有大量的硫酸及硫酸鉛，大量的廢棄電池需要專業(yè)部門才能夠處理，每年需要回收處理的廢電池消耗了一定的能源，不利于國家倡導(dǎo)的節(jié)能減排。如果對電池處理不當致使廢液進入環(huán)境，大量的重金屬廢水會對環(huán)境造成污染。并且UPS供配電系統(tǒng)只能為計算機設(shè)備、網(wǎng)絡(luò)設(shè)備及存儲設(shè)備等供電，不能為機房內(nèi)精密空調(diào)提供電力。當市電停電時間過久，由于機房內(nèi)的設(shè)備會產(chǎn)生大量的熱量無法排出，致使室內(nèi)溫度急劇升高，持續(xù)高溫的環(huán)境容易使設(shè)備發(fā)生宕機。柴油發(fā)電機和UPS延時的新模式，只需配備少量的鉛酸蓄電池，用于保障市電停電后、發(fā)電機啟動之前的幾分鐘的供電時間。這樣減少了大量被替換下來的電池的處理成本，也減少了廢棄電池污染物對環(huán)境的排放，符合國家節(jié)能減排的政策。發(fā)電機不僅能夠給計算機、網(wǎng)絡(luò)及存儲等設(shè)備供電，同時也可以給機房內(nèi)精密空調(diào)供電。

2 模塊化高性能光纖配線系統(tǒng)，拓寬5G時代信息高速公路

學校在進行數(shù)據(jù)中心綜合布線系統(tǒng)建設(shè)時，充分考慮到云計算、大數(shù)據(jù)、虛擬化和物聯(lián)網(wǎng)等業(yè)務(wù)對網(wǎng)絡(luò)傳輸基礎(chǔ)設(shè)施的高標準要求，它需要具備傳輸帶寬高、傳輸速度快、吞吐量大和低延時等特點，同時滿足學校線上教育教學、網(wǎng)絡(luò)視頻業(yè)務(wù)爆發(fā)式增長及智慧校園系統(tǒng)等業(yè)務(wù)需求，以及考慮到后期維護成本，采用了基于MPO連接器的高密度光纖配線系統(tǒng)，它與傳統(tǒng)的布線系統(tǒng)相比優(yōu)勢比較明顯。

2.1 可擴展性強，系統(tǒng)部署靈活

基于模塊化光纖配線系統(tǒng)，可以根據(jù)業(yè)務(wù)需求量進行動態(tài)配置，1U高度的高密度光纖箱滿配可安裝12個MPO預(yù)端接盒，每個預(yù)端接盒可配備12個LC適配器，這樣一個1U高度的光纖箱滿額可管理144芯光纖。根據(jù)業(yè)務(wù)的需求量，只需配備當前數(shù)量的MPO預(yù)端接盒即可，若后期隨著需求量的增加，隨時可以增加MPO預(yù)端接盒的數(shù)量，既可以做到按需配備，又可以緩解因資金緊張而帶來的問題。MTP連接器的特點是即插即用，當有新的模塊盒需要接入配線箱時，只需將安裝有MTP連接器（母端）的MPO-MPO集束光纖跳線插入MTP連接器（公端）即可，從而實現(xiàn)了系統(tǒng)部件的快捷連接。而傳統(tǒng)的布線系統(tǒng)就很難做到快速、便捷連接，部署的靈活性及可擴展性都要比高密度模塊化MPO光纖配線系統(tǒng)弱。

2.2 高密度配線管理，節(jié)約機柜空間

高密度模塊化的MPO預(yù)端接盒設(shè)計，具有大容量、低空間占用量的特點，節(jié)約了機柜的占用空間，從而大大提高了機柜的利用率。譬如，1U高度的高密度MPO光纖配線架可端接光纖芯數(shù)達144芯，而普通ODF光纖配線箱若端接144芯光纖，則需要12個熔接盤，箱體高度大約為35厘米，標準機柜1U的高度約為4.445厘米，35厘米高度大約是8U的高度。也就是說，同樣是144芯的光纖端接，普通ODF光纖配線架占用的空間是高密度MPO光纖配線架的8倍。

2.3 數(shù)據(jù)傳輸速度快，數(shù)據(jù)傳輸性能好

隨著網(wǎng)絡(luò)帶寬的提升及數(shù)據(jù)交換量的劇增，萬兆傳輸已成為數(shù)據(jù)中心布線的主流趨勢，MPO連接器支持100G/s數(shù)據(jù)傳輸速率，避免了數(shù)據(jù)交換、傳輸瓶頸的問題，并且配備多芯帶狀或束狀光纜，鏈接穩(wěn)定可靠，保證了數(shù)據(jù)在傳輸過程中的穩(wěn)定性。由于光纖布線系統(tǒng)具有高帶寬、高速率、抗干擾能力強等優(yōu)點，現(xiàn)代數(shù)據(jù)中心機房設(shè)備大多配備光纖接口，傳統(tǒng)的雙絞線接口已很少使用，因為傳統(tǒng)的雙絞線布線系統(tǒng)已經(jīng)很難滿足現(xiàn)代數(shù)據(jù)中心高密度設(shè)備接入和對傳輸介質(zhì)高性能的要求。

3 基于網(wǎng)絡(luò)新技術(shù)架構(gòu)，助力數(shù)據(jù)中心飛速發(fā)展

學校在新數(shù)據(jù)中心機房建設(shè)時，采用分布式VxLAN和EVPN技術(shù)方案，基于Spine-Leaf物理網(wǎng)絡(luò)拓撲架構(gòu)，實現(xiàn)校園網(wǎng)的扁平化，滿足數(shù)據(jù)中心對網(wǎng)絡(luò)的性能可靠、數(shù)據(jù)轉(zhuǎn)發(fā)高效、可擴展性強等需求，很好地解決了傳統(tǒng)三層網(wǎng)絡(luò)模式存在的虛擬化部署、資源調(diào)整等業(yè)務(wù)不靈活等問題，減少了資源浪費，提高了信息的傳播效率。

3.1 業(yè)務(wù)部署靈活，可擴展性強

隨著服務(wù)器、虛擬機數(shù)量不斷增加，網(wǎng)絡(luò)規(guī)模越來越大，數(shù)據(jù)中心數(shù)據(jù)流量成倍增長，傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)已無法滿足云計算、大數(shù)據(jù)等新業(yè)務(wù)對網(wǎng)絡(luò)承載的需求，基于路由協(xié)議的傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)VLAN無法突破物理二層的限制，不能滿足大規(guī)模虛擬化部署，虛擬機遷移受物理網(wǎng)絡(luò)架構(gòu)限制，新業(yè)務(wù)上線網(wǎng)絡(luò)配置煩瑣、擴展性差?；谝陨蠁栴}，采用分布式VxLAN+EVPN技術(shù)方案構(gòu)建邏輯大二層扁平化網(wǎng)絡(luò)，以解決資源整合、業(yè)務(wù)備份、負載均衡等需要，以及虛擬機部署遷移的需要[3]。

3.2 數(shù)據(jù)傳輸速率高，網(wǎng)絡(luò)可靠性高

傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)業(yè)務(wù)與網(wǎng)絡(luò)耦合性高，如果網(wǎng)絡(luò)出現(xiàn)問題對業(yè)務(wù)影響大，并且傳統(tǒng)網(wǎng)絡(luò)VLAN中存在廣播數(shù)據(jù)包容易在整網(wǎng)中泛洪占用網(wǎng)絡(luò)資源等問題。針對數(shù)據(jù)中心數(shù)據(jù)大流量、無阻塞傳輸，學校在新數(shù)據(jù)中心建設(shè)時，配備了支持VSU虛擬化技術(shù)的高性能交換機，上聯(lián)端口線速交換能力可達100G?；赩xLAN+EVPN技術(shù)部署的網(wǎng)絡(luò)架構(gòu)，將VxLAN二層、三層網(wǎng)關(guān)部署在Leaf交換機上，Spine交換機只負責IP的高速轉(zhuǎn)發(fā)，Spine-Leaf物理組網(wǎng)架構(gòu)是一種新型的邏輯二層網(wǎng)絡(luò)架構(gòu)，實現(xiàn)了業(yè)務(wù)與網(wǎng)絡(luò)的解耦，能夠很好地應(yīng)對網(wǎng)絡(luò)中激增的數(shù)據(jù)流量，提高網(wǎng)絡(luò)傳輸效率，降低對網(wǎng)絡(luò)資源的占用率，并且有效阻止了廣播風暴的產(chǎn)生[4]。VSU虛擬化技術(shù)能夠?qū)⒍嗯_物理設(shè)備虛擬為一臺邏輯設(shè)備，進行統(tǒng)一的運行管理，從而實現(xiàn)了網(wǎng)絡(luò)的可靠性。借助交換機自帶的虛擬化特性，在Leaf交換機與服務(wù)器鏈路上做跨設(shè)備鏈路聚合，將多設(shè)備進行跨設(shè)備鏈路聚合，通過VSU虛擬化技術(shù)將多臺Spine交換機邏輯上虛擬成一臺設(shè)備，同時將串接在核心鏈路中的安全設(shè)備旁掛在按“東西”向流量和“南北”向流量的Leaf交換機下，提高了網(wǎng)絡(luò)鏈路及網(wǎng)絡(luò)出口的可靠性。

3.3 網(wǎng)絡(luò)配置自動化程度高，網(wǎng)絡(luò)運維更加智能化

新的網(wǎng)絡(luò)技術(shù)架構(gòu)中的網(wǎng)絡(luò)設(shè)備會根據(jù)網(wǎng)絡(luò)全局配置、交換機模板配置自動生成設(shè)備配置，實現(xiàn)了設(shè)備即插即用，設(shè)備配置自動生成等網(wǎng)絡(luò)自動化構(gòu)建與配置，做到了網(wǎng)絡(luò)業(yè)務(wù)調(diào)整按需下發(fā)、自動化部署等。例如，當網(wǎng)絡(luò)中交換機出現(xiàn)硬件故障后，使用相同型號的交換機進行替換后，新入網(wǎng)交換機的配置會根據(jù)自身業(yè)務(wù)需要自動下發(fā)，從而使既有業(yè)務(wù)不受設(shè)備的調(diào)整影響。傳統(tǒng)的網(wǎng)絡(luò)技術(shù)架構(gòu)則很難實現(xiàn)新入網(wǎng)設(shè)備自動化部署等功能，在進行網(wǎng)絡(luò)業(yè)務(wù)調(diào)整時需要對設(shè)備進行流程比較煩瑣的配置。

4 EoR+MPO數(shù)據(jù)交換網(wǎng)絡(luò)搭建，實現(xiàn)低投入、高效率

現(xiàn)代數(shù)據(jù)中心機房建設(shè)過程中，考慮到數(shù)據(jù)業(yè)務(wù)的可變性、云計算和虛擬化大量部署對數(shù)據(jù)交換的高效性、以脊葉網(wǎng)絡(luò)拓撲架構(gòu)為代表的大二層網(wǎng)絡(luò)結(jié)構(gòu)的新趨勢，數(shù)據(jù)交換網(wǎng)絡(luò)搭建需要充分考慮以上各種業(yè)務(wù)的需求。

4.1 EoR與ToR數(shù)據(jù)交換網(wǎng)絡(luò)架構(gòu)對照

EoR布線架構(gòu)是傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)布線架構(gòu)，是在每排機柜邊端配置網(wǎng)絡(luò)機柜，俗稱網(wǎng)絡(luò)列頭柜，數(shù)據(jù)交換機放置在網(wǎng)絡(luò)列頭柜內(nèi)提供網(wǎng)絡(luò)統(tǒng)一接入點，每個IT機柜里的服務(wù)器等設(shè)備通過光纖等最終跳接的網(wǎng)絡(luò)列頭柜與交換機連接。ToR布線架構(gòu)是在每個IT機柜頂部配置一臺或兩臺數(shù)據(jù)交換機，機柜內(nèi)的服務(wù)器等設(shè)備通過跳線直連到機柜內(nèi)的交換機上面，每個機柜內(nèi)的交換機通過上聯(lián)口最終連接到匯聚交換機。

4.2 EoR+MPO技術(shù)組合與ToR相比性價比更高

EoR+MPO技術(shù)組合是將傳統(tǒng)的EoR布線構(gòu)架與高密度MPO光纖配線架相結(jié)合的方式，在每個IT機柜頂端安裝一臺MPO光纖配線架用于本機柜內(nèi)服務(wù)器等設(shè)備的連接，MPO光纖配線架通過光纖與列頭機柜里的數(shù)據(jù)交換機連接，這種技術(shù)方案避免了EoR布線架構(gòu)后期線纜可擴展性不強、管理較復(fù)雜的現(xiàn)象，又具備了ToR布線架構(gòu)的分布式網(wǎng)絡(luò)接入、可擴展性強、高速率等優(yōu)點，并且與ToR架構(gòu)每個機柜內(nèi)配置數(shù)據(jù)交換機相比，在機房建設(shè)時資金投入低很多。

5 結(jié)語

數(shù)據(jù)中心機房建設(shè)是一項復(fù)雜的系統(tǒng)工程，是計算、存儲及通信的重要基礎(chǔ)設(shè)施，是教育信息化的重要支撐和保障。本文重點從數(shù)據(jù)中心機房建設(shè)的供配電方案、模塊化配線系統(tǒng)、新的網(wǎng)絡(luò)技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡(luò)四個方面，以及與傳統(tǒng)的數(shù)據(jù)中心機房優(yōu)劣對比，分享了學校在數(shù)據(jù)中心機房建設(shè)方面的實際經(jīng)驗。