高校網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)探討與實(shí)踐

李四軍

摘要：信息技術(shù)飛速發(fā)展，智慧校園已經(jīng)在各高校中建設(shè)，而智慧校園建設(shè)的基礎(chǔ)建設(shè)之一是網(wǎng)絡(luò)數(shù)據(jù)中心。該文是以南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)為例，闡述網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)過程中的一些經(jīng)驗(yàn)與心得。

關(guān)鍵詞：智慧校園；網(wǎng)絡(luò)數(shù)據(jù)中心；虛擬化

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）30-0029-04

Discussion and Practice on Construction of University Network Data Center

LI Si-jun

（Network Information Center， Jinling College， Nanjing University， Nanjing 210089， China）

Abstract： The rapid development of information technology， the wisdom of the campus has been built in various colleges and universities， and the wisdom of campus construction is one of the basic network data center. This article takes the construction of the network data center of Jinling college in Nanjing University as an example， and expounds some experiences and experiences in the construction of network data center.

Key words： intelligent campus； network data center； virtual

1 南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)背景

南京大學(xué)金陵大學(xué)基礎(chǔ)網(wǎng)絡(luò)轉(zhuǎn)型后，面對學(xué)校各部門不斷增長的信息需求，應(yīng)用系統(tǒng)建設(shè)和增加，為進(jìn)一步提升金陵學(xué)院智慧校園建設(shè)，通過建設(shè)智慧校園推棟金陵學(xué)院部門梳理工作流程，規(guī)范業(yè)務(wù)改革，需要建設(shè)新一代金陵學(xué)院高性能網(wǎng)絡(luò)數(shù)據(jù)中心。

2 南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心現(xiàn)狀以及存在的問題

金陵學(xué)院現(xiàn)有網(wǎng)絡(luò)數(shù)據(jù)中心網(wǎng)絡(luò)采用傳統(tǒng)以太網(wǎng)技術(shù)和X86機(jī)架式服務(wù)器構(gòu)建，隨著學(xué)校應(yīng)用系統(tǒng)的建設(shè)，數(shù)據(jù)量不斷擴(kuò)大，各部門對數(shù)據(jù)需求的爆發(fā)性增長 傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)一直無法滿足業(yè)務(wù)的需求，也給管理員帶來了很大的挑戰(zhàn)。 具體問題如下：

管理復(fù)雜、維護(hù)困難：傳統(tǒng)的數(shù)據(jù)中心體系結(jié)構(gòu)的存儲(chǔ)擴(kuò)展，遷移，新業(yè)務(wù)服務(wù)的難度越來越大，每一次變化都會(huì)涉及網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)等物理設(shè)施，涉及一些不同的硬件，軟件有要調(diào)整到同一個(gè)方向，復(fù)雜，繁瑣，維護(hù)困難，容易出現(xiàn)錯(cuò)誤和漏洞。例如，網(wǎng)絡(luò)數(shù)據(jù)中心需要添加一個(gè)新的服務(wù)器，需要首先選擇，然后通過公開招標(biāo)購買，這需要較長的流程。新服務(wù)器購買后，必須進(jìn)行配置，根據(jù)需要安裝操作系統(tǒng)，補(bǔ)丁，各種應(yīng)用軟件，也是一個(gè)過程。一個(gè)服務(wù)器上線，要求網(wǎng)絡(luò)管理員配置新的應(yīng)用程序訪問策略，這要求管理員不僅要知道新的業(yè)務(wù)邏輯訪問策略，還要知道防火墻的硬件部署，配置，連接，還考慮新的防火墻還是只是添加防火墻策略，還要考慮如何訪問，是否有對應(yīng)的端口跳線，如何跳轉(zhuǎn)，VLAN，如何配置路由等，如果網(wǎng)絡(luò)中有NAT，7層交換服務(wù)等配置是很復(fù)雜在短時(shí)間內(nèi)構(gòu)建良好的環(huán)境將使整個(gè)數(shù)據(jù)中心的安全性和穩(wěn)定性都有所下降，增加了系統(tǒng)維護(hù)的工作量，以及每個(gè)應(yīng)用系統(tǒng)部署進(jìn)度的影響，阻礙了學(xué)校的智慧校園建設(shè)進(jìn)度和發(fā)展。

資源浪費(fèi)、維護(hù)成本高：數(shù)據(jù)中心的傳統(tǒng)架構(gòu)硬件資源和應(yīng)用系統(tǒng)的成本收到的業(yè)務(wù)表現(xiàn)往往很難形成一個(gè)正比，最常見的現(xiàn)象是繁忙的設(shè)備長時(shí)間運(yùn)轉(zhuǎn)，空閑設(shè)備儲(chǔ)備多，兩個(gè)不能互用。最常見的現(xiàn)象是部分服務(wù)器CPU利用率高速運(yùn)行，部分服務(wù)器長時(shí)間閑置，使得整個(gè)數(shù)據(jù)中心的資源不能合理，有效的分配和利用。由于傳統(tǒng)的數(shù)據(jù)中心是構(gòu)建單元是應(yīng)用系統(tǒng)，不考慮使用對整個(gè)業(yè)務(wù)系統(tǒng)的硬件資源的調(diào)用，不考慮硬件資源的利用，硬件資源浪費(fèi)很多資源，硬件成本和實(shí)際效果與施工成本增加成反比，浪費(fèi)大量資源，維護(hù)成本高。

策略繁瑣、難以統(tǒng)一：數(shù)據(jù)中心的傳統(tǒng)架構(gòu)是的單功能設(shè)備構(gòu)建數(shù)據(jù)中心，這是最大的問題，不能從設(shè)備層面構(gòu)建統(tǒng)一的服務(wù)策略，如安全策略，高可用性策略，業(yè)務(wù)優(yōu)化策略等，從而 在不同的系統(tǒng)平臺(tái)策略上是不一樣的，不是統(tǒng)一的策略，使系統(tǒng)理想的服務(wù)規(guī)則和策略達(dá)不到，不能為各種應(yīng)用系統(tǒng)提供強(qiáng)大的安全服務(wù)。

因此，根據(jù)傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)提供的服務(wù)能力，無法適應(yīng)當(dāng)前的應(yīng)用系統(tǒng)，數(shù)據(jù)對硬件資源的需求，網(wǎng)絡(luò)數(shù)據(jù)中心的建設(shè)必須改變傳統(tǒng)的架構(gòu)模式，用新的設(shè)計(jì)理念，結(jié)構(gòu)新思路構(gòu)建新的數(shù)據(jù)中心，計(jì)算資源，網(wǎng)絡(luò)資源，存儲(chǔ)資源，虛擬化與其高度結(jié)合，管理簡單，高效利用，符合新平臺(tái)的戰(zhàn)略。

3 南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心改造升級(jí)的整體目標(biāo)

金陵學(xué)院將網(wǎng)絡(luò)數(shù)據(jù)中心是下一代解決設(shè)備單一功能建設(shè)的數(shù)據(jù)中心，通過高度可用的系統(tǒng)，結(jié)合計(jì)算資源，存儲(chǔ)資源和網(wǎng)絡(luò)資源，結(jié)合虛擬數(shù)據(jù)中心，高度自動(dòng)化，管理簡單，使用效率高，策略一致，降低施工成本，提高數(shù)據(jù)中心靈活性。減少管理節(jié)點(diǎn)，將多臺(tái)服務(wù)器整合成一臺(tái)服務(wù)器，通過構(gòu)建大量虛擬機(jī)，實(shí)現(xiàn)擴(kuò)容，提升服務(wù)器利用率，降低運(yùn)營成本，提高管理效率，縮短部署時(shí)間，停機(jī)升級(jí)零維護(hù)，服務(wù)器資源管理，動(dòng)態(tài)分配，不間斷擴(kuò)展，提高服務(wù)水平。

在上述設(shè)計(jì)理念框架下，金陵學(xué)院新一代網(wǎng)絡(luò)數(shù)據(jù)中心應(yīng)實(shí)現(xiàn)以下目標(biāo)：

簡化管理，易維護(hù)：網(wǎng)絡(luò)數(shù)據(jù)中心服務(wù)器，存儲(chǔ)擴(kuò)展，遷移，新業(yè)務(wù)服務(wù)越來越簡單，每一個(gè)變化的網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)等物理設(shè)施，無需調(diào)整，工作簡單，維護(hù)方便，錯(cuò)誤和漏洞并不易出現(xiàn)。直接調(diào)度硬件資源，降低管理和維護(hù)難度，降低成本。endprint

有效重用并降低數(shù)據(jù)中心的成本：在業(yè)務(wù)上收到硬件資源成本和應(yīng)用系統(tǒng)的影響，形成整個(gè)數(shù)據(jù)中心與資源的配置和使用成正比，合理，有效，硬件共享。硬件資源按需使用，高效重復(fù)使用，降低成本投入，提高產(chǎn)值，減少資源浪費(fèi)，降低維護(hù)成本。

一致的策略，統(tǒng)一部署：取消單個(gè)設(shè)備功能的數(shù)據(jù)中心的建設(shè)思路，從整個(gè)設(shè)備層面構(gòu)建統(tǒng)一的服務(wù)策略，制定統(tǒng)一的安全策略，高可用性策略，業(yè)務(wù)優(yōu)化策略，統(tǒng)一系統(tǒng)平臺(tái)引起的不同策略，使系統(tǒng)達(dá)到理想的服務(wù)規(guī)則和策略。為各種應(yīng)用系統(tǒng)提供強(qiáng)大的服務(wù)。具體設(shè)備簡化，建立統(tǒng)一高效的戰(zhàn)略。

4 南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)方案

4.1 設(shè)計(jì)目標(biāo)

南京大學(xué)金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)采用CISCO統(tǒng)一計(jì)算系統(tǒng)（UCS）。 系統(tǒng)結(jié)構(gòu)簡單，管理簡單，維護(hù)方便，重復(fù)利用效率高，成本低，策略一致，統(tǒng)一部署。

4.2 網(wǎng)絡(luò)數(shù)據(jù)中心架構(gòu)拓?fù)?/p>

金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心基于FlexPod模式，以兩臺(tái)CISCO N5K核心數(shù)據(jù)交換為核心的網(wǎng)絡(luò)，出口部署了兩臺(tái)天融信NGFW4000-UF防火墻，以主備模式下建立，確保安全，兩臺(tái)CISCO FI6248以“雙活”的模式部署，F(xiàn)I6248交叉連接CISCO兩個(gè)刀箱，每個(gè)刀箱可以安裝8個(gè)半刀CISCO刀片，數(shù)據(jù)交換機(jī)同時(shí)以“雙活”模式連接兩臺(tái)NetApp Fa3220存儲(chǔ)控制器，存儲(chǔ)控制器以交叉方式連接存儲(chǔ)柜，各設(shè)備采用萬兆以太網(wǎng)的方式互聯(lián)，全部做到“雙活”，大大減少整個(gè)數(shù)據(jù)中心宕機(jī)風(fēng)險(xiǎn)，采用VMware虛擬化軟件，ESXi架構(gòu)獨(dú)立于任何操作系統(tǒng)，其安全可靠性高，易于管理和簡單。服務(wù)器在硬件上進(jìn)行虛擬化，實(shí)現(xiàn)系統(tǒng)的快速安裝，配置和部署。整個(gè)網(wǎng)絡(luò)數(shù)據(jù)中心高效安全，簡化了服務(wù)器架構(gòu)，管理難度和高可用性。

4.3 網(wǎng)絡(luò)數(shù)據(jù)中心幾點(diǎn)優(yōu)勢

4.3.1 簡化服務(wù)器架構(gòu)

采用此架構(gòu)具有以下優(yōu)點(diǎn)：

統(tǒng)一管理：所有計(jì)算資源管理區(qū)域配置發(fā)生變化，并對網(wǎng)絡(luò)VLAN和VSAN進(jìn)行配置和更改，都在一個(gè)模塊界面管理下，也可以監(jiān)控整個(gè)平臺(tái)服務(wù)器，所有交換模塊的操作。

擴(kuò)展簡單：添加新服務(wù)器，服務(wù)器只需要插入機(jī)箱，UCSM將根據(jù)網(wǎng)卡，HBA配置自動(dòng)或手動(dòng)發(fā)現(xiàn)新服務(wù)器，并將相應(yīng)的規(guī)則自動(dòng)發(fā)送到新服務(wù)器，并建立相應(yīng)的VLAN和VSAN。

設(shè)備冗余：所有設(shè)備都是冗余的，整個(gè)系統(tǒng)不存在單點(diǎn)故障，不僅要保證系統(tǒng)的簡單性，還要保證系統(tǒng)的安全。

本次設(shè)計(jì)：數(shù)據(jù)庫服務(wù)器用兩個(gè)E5-2680半刀，每個(gè)機(jī)箱各1把；統(tǒng)一認(rèn)證兩半刀； 另外五把半刀虛擬化作為門戶等應(yīng)用，一把半刀備份。

圖2 思科刀片機(jī)箱

4.3.2 統(tǒng)一計(jì)算系統(tǒng)結(jié)構(gòu)

統(tǒng)一交換陣列：由CISCO FI6248組成的統(tǒng)一交換陣列，它是整個(gè)數(shù)據(jù)中心的數(shù)據(jù)交換核心，它管理刀箱的所有刀片服務(wù)器。 FI6248具有32個(gè)全萬兆端口，全線速度，無數(shù)據(jù)阻塞，無數(shù)據(jù)丟失交換陣列。

刀片服務(wù)器機(jī)箱：5108和CISCO刀片服務(wù)器機(jī)箱可以安裝8個(gè)刀片服務(wù)器，F(xiàn)I2104光纖到FI6248，每個(gè)FI2104 4個(gè)10G上行端口，支持40G帶寬，每個(gè)刀片機(jī)箱安裝2個(gè)，總共80G帶寬。 2 FI2104可以形成冗余鏈路。

統(tǒng)一交換陣列擴(kuò)展模塊：FI6248可以安裝各種擴(kuò)展模塊，訪問現(xiàn)有的傳統(tǒng)數(shù)據(jù)中心架構(gòu)，現(xiàn)有設(shè)備，如SAN交換機(jī)等，保護(hù)用戶以往的投資。

圖3 統(tǒng)一計(jì)算系統(tǒng)結(jié)構(gòu)

4.3.3 數(shù)據(jù)中心高擴(kuò)張性

金陵學(xué)院的業(yè)務(wù)應(yīng)用特點(diǎn)確定網(wǎng)絡(luò)數(shù)據(jù)中心必須具有較強(qiáng)的擴(kuò)展能力，但系統(tǒng)管理應(yīng)簡便，易用。 CISCO統(tǒng)一計(jì)算平臺(tái)在這個(gè)問題上已經(jīng)有了很好的解決。當(dāng)?shù)镀瑱C(jī)箱需要增加時(shí)，只需要新的刀片機(jī)箱接入FI6248，F(xiàn)I6248管理軟件就會(huì)自動(dòng)找到新機(jī)箱，根據(jù)服務(wù)配置腳本配置服務(wù)器，如服務(wù)器應(yīng)該訪問VLAN， VSAN，在短時(shí)間內(nèi)配置HBA卡。系統(tǒng)變得簡單易管理，并沒有增加難度和復(fù)雜性，服務(wù)器和刀片機(jī)箱數(shù)量將會(huì)增加，但是整個(gè)架構(gòu)沒有任何變化，所有的服務(wù)器和刀片機(jī)箱都可以訪問統(tǒng)一的交換平臺(tái)，配置和管理均來自統(tǒng)一交換平臺(tái)與自帶管理軟件，同時(shí)全面整合現(xiàn)有網(wǎng)絡(luò)和存儲(chǔ)環(huán)境。

4.3.4 數(shù)據(jù)中心虛擬化，提高資源利用

使用VMware虛擬化軟件，將分布式硬件虛擬化為共享資源池，共享資源，包括服務(wù)器，網(wǎng)絡(luò)，存儲(chǔ)等。動(dòng)態(tài)資源配置，提高資源利用率。

現(xiàn)有的數(shù)據(jù)中心通過vSphere向云計(jì)算，為混合云模型奠定了基礎(chǔ)。 VSphere也被稱為“ESXi”，這是基礎(chǔ)的虛擬機(jī)管理程序體系結(jié)構(gòu)，是具有裸機(jī)管理程序的尖端技術(shù)。

VMware vSphere的虛擬數(shù)據(jù)中心包括基本物理構(gòu)建塊（如x86虛擬化服務(wù)器，存儲(chǔ)、網(wǎng)絡(luò)和陣列，IP網(wǎng)絡(luò)，管理服務(wù)器和桌面客戶端）。

圖4 vSphere 數(shù)據(jù)中心的物理拓?fù)?/p>

vSphere Infrastructure內(nèi)核的虛擬化管理器是ESXi，可以直接部署在物理服務(wù)器上，允許多個(gè)虛擬機(jī)在虛擬化層上運(yùn)行。虛擬機(jī)共享相同的物理資源，并且每個(gè)虛擬機(jī)可以同時(shí)運(yùn)行。通過遠(yuǎn)程管理工具管理所有ESXi管理功能。由于沒有底層的操作系統(tǒng)，可用的安裝空間可以減少到150 MB以下。

ESXi可以獨(dú)立于任何常見的操作系統(tǒng)運(yùn)行，安全可靠，簡單易于管理。它可以在服務(wù)器的硬件中快速安裝，配置和部署，大大提高了工作效率。

如下圖所示，從架構(gòu)中，ESXi包含虛擬化層和虛擬機(jī)，虛擬化層由虛擬化管理程序VMkernel和虛擬機(jī)監(jiān)視器VMM組成。 ESXi通過vSphere，Client，vCLI，API / SDK和CIM接口進(jìn)行訪問管理。

圖5 ESXi體系結(jié)構(gòu)

4.3.5 “雙活”模式存儲(chǔ)，安全高可靠

金陵學(xué)院數(shù)據(jù)中心由服務(wù)器虛擬化環(huán)境和數(shù)據(jù)庫集群數(shù)據(jù)部署在NetApp統(tǒng)一存儲(chǔ)系統(tǒng)中，具有效率高，性能高，可用性高的特點(diǎn)，硬件資源，應(yīng)用系統(tǒng)，統(tǒng)一管理，統(tǒng)一存儲(chǔ)數(shù)據(jù)存儲(chǔ) ，數(shù)據(jù)備份和管理，通過 “雙活”模式模式，提高數(shù)據(jù)安全性。

圖6 “雙活” 存儲(chǔ)模式

4.4 新數(shù)據(jù)中心技術(shù)方案的綜合對比

通過比較傳統(tǒng)的數(shù)據(jù)中心與FlexPod方案，我們發(fā)現(xiàn)新數(shù)據(jù)中心的性能，安全性，可擴(kuò)展性，穩(wěn)定性和管理性能優(yōu)于傳統(tǒng)的數(shù)據(jù)中心，新的數(shù)據(jù)中心具有統(tǒng)一的部署，自動(dòng)配置，虛擬化等能力。

各項(xiàng)技術(shù)領(lǐng)域?qū)Ρ龋?/p>

4.5 總結(jié)

從上述比較來看，CISCO統(tǒng)一計(jì)算平臺(tái)可以提供多個(gè)10Gigabit服務(wù)器，支持FCoE，提供高性能網(wǎng)絡(luò)、存儲(chǔ)，虛擬化，簡單的VMware服務(wù)器部署密度增加，大規(guī)模數(shù)據(jù)中心升級(jí)而不改變架構(gòu)，大大簡化了管理難度，易于配置，采用配置相匹配，數(shù)據(jù)中心配置簡單，縮短配置時(shí)間，實(shí)現(xiàn)統(tǒng)一部署，避免投機(jī)；垂直或水平擴(kuò)展的高度，從基礎(chǔ)虛擬化到IT服務(wù)，以滿足當(dāng)前的需求和未來的增長；適合各種云架構(gòu)，滿足公共云，私有云，混合云環(huán)境，實(shí)現(xiàn)集中管理，管理服務(wù)器網(wǎng)絡(luò)存儲(chǔ)在控制臺(tái)中；通過對現(xiàn)有業(yè)務(wù)流程的API第三方管理，基于FlexPod框架的ITSM管理結(jié)構(gòu)：符合最大數(shù)據(jù)中心的標(biāo)準(zhǔn)化統(tǒng)一平臺(tái)，不會(huì)導(dǎo)致中斷和未來架構(gòu)變更，從而保護(hù)投資。

5 金陵學(xué)院網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)后的成效

金陵學(xué)院建設(shè)新一代面向服務(wù)的業(yè)務(wù)架構(gòu)網(wǎng)絡(luò)數(shù)據(jù)中心，計(jì)算部分由服務(wù)器虛擬化環(huán)境和數(shù)據(jù)庫集群，數(shù)據(jù)部署在NetApp統(tǒng)一存儲(chǔ)系統(tǒng)中，效率高，性能高， 可用性數(shù)據(jù)構(gòu)建平臺(tái)，硬件資源實(shí)現(xiàn)統(tǒng)一管理和應(yīng)用系統(tǒng)統(tǒng)一管理，統(tǒng)一數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)備份和管理。 網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè)已成為金陵大學(xué)智慧校園建設(shè)的堅(jiān)實(shí)基礎(chǔ)。

參考文獻(xiàn)：

[1] 郭靜. 對高校_數(shù)字化校園_數(shù)據(jù)中心建設(shè)的研究和實(shí)踐[J].中國教育信息化，2007（8）.

[2] 王德才. 高校數(shù)據(jù)中心建設(shè)方案與體會(huì)[J].中國教育信息化，2008（8）.

[3] 唐蓉君. 高校數(shù)據(jù)中心建設(shè)探索與實(shí)踐[J].中山大學(xué)學(xué)報(bào)，2009（8）.

[4] 劉剛. 思科統(tǒng)一計(jì)算UCS系統(tǒng)構(gòu)造虛擬化數(shù)據(jù)中心的實(shí)踐[J].電腦知識(shí)與技術(shù)，2016（22）.

[5] 張彬，吳姣，劉勁松，柴文磊. 基于VMware的高校數(shù)據(jù)中心虛擬化設(shè)計(jì)[J].信息安全與技術(shù)，2011（12）.

[6] 蔣尚亭. 基于ESXi的PC服務(wù)器虛擬化解決方案[J].山東輕工業(yè)學(xué)院學(xué)報(bào)，2012（7）.

[7] 辛?xí)F.企業(yè)云計(jì)算的基石之存儲(chǔ)虛擬化技術(shù)及其企業(yè)應(yīng)用的探討[J].寶鋼技術(shù)，2012（9）.