基于SDN架構(gòu)的高校數(shù)據(jù)中心設(shè)計方案

作者簡介：邱華（1984— ），女，高級工程師，碩士；研究方向：網(wǎng)絡(luò)規(guī)劃設(shè)計與網(wǎng)絡(luò)管理。

摘要：某高校隨著規(guī)模的擴(kuò)大，多元化的業(yè)務(wù)系統(tǒng)對服務(wù)器和存儲資源需求增多。當(dāng)前高校各業(yè)務(wù)系統(tǒng)獨(dú)占服務(wù)器和存儲，無法共享資源，擴(kuò)容成本高，運(yùn)維管理難度大。文章基于SDN架構(gòu)，從核心區(qū)、DMZ區(qū)、運(yùn)維管理區(qū)、網(wǎng)絡(luò)安全管理區(qū)闡述了數(shù)據(jù)中心的設(shè)計方案，該方案充分利用物理資源，實(shí)現(xiàn)業(yè)務(wù)快速上線，提升了數(shù)據(jù)中心的可靠性和安全性，可視化的管理運(yùn)維降低了運(yùn)維難度。該項目實(shí)施后，縮短了新業(yè)務(wù)部署周期，降低了擴(kuò)容成本和人工運(yùn)維成本。

關(guān)鍵詞：SDN；DMZ區(qū)；運(yùn)維管理區(qū)；網(wǎng)絡(luò)安全管理區(qū)

中圖分類號：TP311" 文獻(xiàn)標(biāo)志碼：A

0" 引言

當(dāng)前高校數(shù)字化的發(fā)展越來越迅速，某高校也緊跟時代步伐，加快建設(shè)本校的信息化。某高校當(dāng)前已投入使用了的業(yè)務(wù)信息系統(tǒng)有一卡通系統(tǒng)、教務(wù)系統(tǒng)、數(shù)字圖書館、智慧校園App等，隨著高校規(guī)模的擴(kuò)大，在校人數(shù)的增多，數(shù)據(jù)量越來越大，各業(yè)務(wù)系統(tǒng)會不時出現(xiàn)頁面無法打開、登錄頁面長時間緩沖、頁面刷新慢等問題。因此各業(yè)務(wù)系統(tǒng)對計算、存儲、網(wǎng)絡(luò)等資源的需求量也隨之增加；而某高校數(shù)據(jù)中心在前期建設(shè)時缺少統(tǒng)一的規(guī)劃，導(dǎo)致各業(yè)務(wù)系統(tǒng)獨(dú)享網(wǎng)絡(luò)、服務(wù)器和存儲等物理資源，如果每個業(yè)務(wù)系統(tǒng)都增加物理資源，不僅占用數(shù)據(jù)中心物理空間，也會增加能耗，且各系統(tǒng)間無法共享資源，資源利用率低，不利于未來校園網(wǎng)擴(kuò)展，擴(kuò)容成本高。龐大復(fù)雜的數(shù)據(jù)中心組網(wǎng)增加了網(wǎng)絡(luò)管理員的運(yùn)維難度，無法快速定位和解決問題。本項目采用軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）架構(gòu)對數(shù)據(jù)中心進(jìn)行優(yōu)化升級［1］，方案中劃分了核心區(qū)、非軍事化區(qū)（Demilitarized Zone，DMZ）、運(yùn)維管理區(qū)、網(wǎng)絡(luò)安全管理區(qū)，采用SDN控制器對網(wǎng)絡(luò)設(shè)備集中管理，數(shù)據(jù)中心交換機(jī)零配置上線，動態(tài)識別DMZ區(qū)的服務(wù)器接入節(jié)點(diǎn)（Server leaf）服務(wù)器，自動化完成服務(wù)器各網(wǎng)絡(luò)平面的接入配置，SDN可視化的運(yùn)維方式降低了網(wǎng)絡(luò)管理員的運(yùn)維難度。在數(shù)據(jù)中心的優(yōu)化設(shè)計方案上，在充分考慮了學(xué)校實(shí)際使用的基礎(chǔ)上，力求滿足整個校園網(wǎng)的可靠性、先進(jìn)性、兼容性、安全性以及擴(kuò)展性。

1" 數(shù)據(jù)中心架構(gòu)設(shè)計

當(dāng)前某高校數(shù)據(jù)中心采用傳統(tǒng)的3層網(wǎng)絡(luò)架構(gòu)：核心層、匯聚層和接入層。核心區(qū)骨干網(wǎng)部署了天融信防火墻、華為核心交換機(jī)和深信服上網(wǎng)行為管理等設(shè)備，校園網(wǎng)出口使用了中國移動和中國電信2條專線鏈路，線路帶寬共1.5 Gbps，骨干網(wǎng)鏈路的核心設(shè)備存在單臺設(shè)備故障的可靠性隱患。

本次數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)在設(shè)計時依然采用3層架構(gòu)，同時充分考慮骨干核心網(wǎng)絡(luò)設(shè)備的可靠性，增加防火墻、上網(wǎng)行為管理和核心交換機(jī)各1臺作為冗余設(shè)備，任意2臺雙機(jī)設(shè)備間都采用鏈路聚合，以防單鏈路故障引發(fā)雙機(jī)設(shè)備間心跳不通；2臺核心交換機(jī)采用集群冗余技術(shù)，將2臺設(shè)備從邏輯上虛擬成1臺交換設(shè)備。本次優(yōu)化不改變原本的匯聚層和接入層，新增了數(shù)據(jù)中心DMZ區(qū)、網(wǎng)絡(luò)運(yùn)維管理區(qū)和網(wǎng)絡(luò)安全管理區(qū)，匯聚層和新增的3個區(qū)域通過雙上行鏈路連接到核心交換機(jī)，其中網(wǎng)絡(luò)安全管理區(qū)旁掛部署，優(yōu)化方案中的網(wǎng)絡(luò)架構(gòu)如圖1所示。

2" DMZ區(qū)設(shè)計

當(dāng)前某高校各業(yè)務(wù)系統(tǒng)獨(dú)占服務(wù)器和存儲，資源利用率低，后續(xù)擴(kuò)容成本高；新增信息（應(yīng)用）系統(tǒng)如果按照傳統(tǒng)方式部署，需要重新采購物理資源，建設(shè)成本高，系統(tǒng)上線周期長。本次數(shù)據(jù)中心優(yōu)化方案增加了基于SDN架構(gòu)的DMZ區(qū)。SDN是一種新型網(wǎng)絡(luò)管理方法，其架構(gòu)具有控制平面和數(shù)據(jù)平面分離、集中控制管理以及開放可編程接口等特點(diǎn)［2］，可以實(shí)現(xiàn)運(yùn)維自動化可視化、流量分析可視化以及網(wǎng)絡(luò)資源整合，本次設(shè)計方案采用華為SDN解決方案，在網(wǎng)絡(luò)管控層部署網(wǎng)絡(luò)管控和分析軟件iMaster NCE-Fabric，該軟件部署在運(yùn)維管理區(qū)的服務(wù)器上，包含了網(wǎng)絡(luò)管理軟件、流量分析軟件以及SDN控制器等。

新增的DMZ區(qū)整合了數(shù)據(jù)中心的計算資源（服務(wù)器）、存儲資源（CPU、內(nèi)存、硬盤等）和網(wǎng)絡(luò)資源（邏輯分區(qū)、帶寬、網(wǎng)絡(luò)地址、虛擬交換機(jī)等），為了兼容華為SDN控制器，新增一批華為交換機(jī)和服務(wù)器。DMZ區(qū)采用葉脊（Spine-Leaf）架構(gòu)，Spine和Server Leaf節(jié)點(diǎn)設(shè)備均支持SDN，為了充分利舊，將原數(shù)據(jù)中心不支持SDN的網(wǎng)絡(luò)設(shè)備放在運(yùn)維管理區(qū)使用。DMZ區(qū)的Spine節(jié)點(diǎn)與Server Leaf節(jié)點(diǎn)通過動態(tài)路由協(xié)議開放最短通路優(yōu)先協(xié)議（Open Shortest Path First，OSPF）實(shí)現(xiàn)全互聯(lián)，構(gòu)建Underlay（底層）網(wǎng)絡(luò)，并在此基礎(chǔ)上創(chuàng)建虛擬的OverLay（覆蓋）網(wǎng)絡(luò)。本次優(yōu)化在OverLay網(wǎng)絡(luò)中使用虛擬可擴(kuò)展局域網(wǎng)（Virtual Extensible Local Area Network，VXLAN）隧道技術(shù)，在Spine節(jié)點(diǎn)和Server Leaf節(jié)點(diǎn)之間建立隧道，Spine節(jié)點(diǎn)作為隧道的網(wǎng)關(guān)設(shè)備，2臺Leaf節(jié)點(diǎn)為1組，2臺節(jié)點(diǎn)間組成多鏈路聚合（Multi-Link Aggregation Group，MLAG），向服務(wù)器提供雙歸負(fù)載分擔(dān)接入能力，Overlay網(wǎng)絡(luò)的業(yè)務(wù)配置及網(wǎng)絡(luò)設(shè)備的相關(guān)接入配置由SDN控制器自動下發(fā)完成。除此之外，在DMZ區(qū)部署2臺防火墻和服務(wù)器負(fù)載均衡設(shè)備，用來提升安全防護(hù)能力和服務(wù)器利用率。

本次優(yōu)化將一卡通系統(tǒng)、教務(wù)系統(tǒng)、數(shù)字圖書館系統(tǒng)、選課系統(tǒng)等信息系統(tǒng)部署在DMZ區(qū)，當(dāng)業(yè)務(wù)所需服務(wù)器上架、上電后，運(yùn)維人員先配置服務(wù)器管理IP Address，并根據(jù)信息系統(tǒng)的擴(kuò)容需求，通過iMaster NCE-Fabric控制器自動部署其所需要的CPU、內(nèi)存、存儲以及網(wǎng)絡(luò)資源，實(shí)現(xiàn)硬件設(shè)備的快速部署。比如數(shù)字圖書館系統(tǒng)需要存儲大量的數(shù)字文獻(xiàn)，對存儲容量要求比較高，在通過iMaster NCE-Fabric控制器部署時為其分配足夠的存儲空間，若后續(xù)物理空間容量不足，可根據(jù)容量需求將物理服務(wù)器接入到指定交換機(jī)上，同時自動完成接入側(cè)配置下發(fā)［3］。本次優(yōu)化方案需要同步上線智慧校園App業(yè)務(wù)，在對某高校實(shí)際使用人數(shù)、業(yè)務(wù)量以及可靠性進(jìn)行分析的基礎(chǔ)上，得出智慧校園App需要19臺服務(wù)器（本方案實(shí)際采用虛擬機(jī)），每臺虛擬機(jī)至少需要200 G硬盤，CPU核數(shù)和內(nèi)存大小根據(jù)業(yè)務(wù)應(yīng)用不同，比如數(shù)據(jù)庫虛擬機(jī)需要16顆CPU核和64 G內(nèi)存；為了保證關(guān)鍵業(yè)務(wù)應(yīng)用的可靠性，部署2臺虛擬機(jī)進(jìn)行主備備份，比如應(yīng)用服務(wù)平臺的身份認(rèn)證虛擬機(jī)；為了數(shù)據(jù)間正常交互，虛擬機(jī)之間需要互訪且能夠訪問外網(wǎng)（數(shù)據(jù)庫虛擬機(jī)不訪問外網(wǎng)）。使用iMaster NCE-Fabric對智慧校園App的業(yè)務(wù)意圖進(jìn)行在線網(wǎng)絡(luò)規(guī)劃設(shè)計，因新增業(yè)務(wù)要對硬件設(shè)備進(jìn)行擴(kuò)容，首先將交換機(jī)設(shè)備信息和互聯(lián)信息導(dǎo)入iMaster NCE-Fabric，并自動完成零配置上線；其次將服務(wù)器連接至交換機(jī)，并自動完成配置；最后自動創(chuàng)建所需資源、網(wǎng)絡(luò)節(jié)點(diǎn)，基于此，部署智慧校園App大大縮短了App部署和上線周期。

3" 網(wǎng)絡(luò)運(yùn)維管理區(qū)設(shè)計

為了給師生提供高質(zhì)量的網(wǎng)絡(luò)服務(wù)和降低網(wǎng)絡(luò)運(yùn)維人員的業(yè)務(wù)部署和運(yùn)維復(fù)雜度，本次優(yōu)化方案在運(yùn)維管理區(qū)部署iMaster NCE-Fabric管理平臺、帶外接入?yún)^(qū)以及運(yùn)維接入?yún)^(qū)。為了節(jié)約項目成本，該區(qū)域采用已有網(wǎng)絡(luò)架構(gòu)，包含匯聚層和接入層，且本區(qū)域內(nèi)的網(wǎng)絡(luò)交換設(shè)備均為利舊設(shè)備。

為了進(jìn)行區(qū)域邊界防護(hù)，在管理區(qū)邊界部署2臺防火墻，2臺防火墻之間通過1條獨(dú)立的“心跳線”連接，組成雙機(jī)熱備。為了使用管理區(qū)的iMaster NCE-Fabric能夠管理DMZ區(qū)，本區(qū)域的匯聚交換機(jī)與核心交換機(jī)間運(yùn)行OSPF動態(tài)路由協(xié)議［4］，實(shí)現(xiàn)區(qū)域間網(wǎng)絡(luò)互通。iMaster NCE-Fabric提供了可視化流量監(jiān)測和分析功能，運(yùn)維人員可根據(jù)不同設(shè)備的問題發(fā)生次數(shù)、受影響用戶數(shù)和問題變化趨勢快速聚焦故障，對故障進(jìn)行定界分析，同時能對校園網(wǎng)的網(wǎng)絡(luò)質(zhì)量進(jìn)行預(yù)判和優(yōu)化。比如根據(jù)無線接入耗時、信號與干擾、吞吐達(dá)標(biāo)率等指標(biāo)監(jiān)測辦公區(qū)、宿舍區(qū)、食堂等不同場景下的無線網(wǎng)運(yùn)行情況，及時顯示高校的無線網(wǎng)健康度；同時開啟智能無線射頻調(diào)優(yōu)，根據(jù)無線接入點(diǎn)AP信道、功率以及頻寬使用情況自動調(diào)優(yōu)，提升物理帶寬利用率，降低信道利用率［5］。本次優(yōu)化方案增設(shè)了帶外接入?yún)^(qū)，將DMZ區(qū)的Spine節(jié)點(diǎn)、Server Leaf節(jié)點(diǎn)、服務(wù)器以及核心區(qū)設(shè)備和網(wǎng)絡(luò)安全管理區(qū)設(shè)備的智能平臺管理接口（Intelligent Platform Management Interface，IPMI）連接至該區(qū)域，帶外接入?yún)^(qū)不占用業(yè)務(wù)系統(tǒng)帶寬，不會干擾正常業(yè)務(wù)流量，運(yùn)維人員即使在互聯(lián)網(wǎng)擁塞無法正常訪問時，也可以維護(hù)網(wǎng)絡(luò)設(shè)備，提高了網(wǎng)絡(luò)的可靠性和運(yùn)營效率。

4" 網(wǎng)絡(luò)安全管理區(qū)設(shè)計

為了進(jìn)一步為師生提供安全高效的網(wǎng)絡(luò)環(huán)境，本次優(yōu)化方案增設(shè)了網(wǎng)絡(luò)安全管理區(qū)。該區(qū)域旁掛在核心交換機(jī)，為了隔離區(qū)域和邊界防護(hù)，管理區(qū)邊界部署2臺防火墻組成雙機(jī)熱備；為了提高管理區(qū)可靠性，2臺交換機(jī)組成堆疊系統(tǒng)。

在該區(qū)域部署了支持SDN功能的網(wǎng)絡(luò)安全設(shè)備，如數(shù)據(jù)庫審計、防毒墻、入侵防御系統(tǒng)（Intrusion Prevention Systems，IPS）、漏洞掃描、日志審計、堡壘機(jī)、Web應(yīng)用防火墻（Web Application Firewall，WAF）。傳統(tǒng)的引流策略需要使用策略路由和訪問控制列表（Access Control List，ACL），當(dāng)業(yè)務(wù)流量多時，ACL配置量大且復(fù)雜。為了簡化部署和實(shí)現(xiàn)業(yè)務(wù)流量高效轉(zhuǎn)發(fā)，iMaster NCE-Fabric控制器根據(jù)業(yè)務(wù)流量標(biāo)識［6］，可靈活編排其所經(jīng)過的安全設(shè)備路徑進(jìn)行安全防護(hù)。比如學(xué)生通過外網(wǎng)訪問選課系統(tǒng)時，可設(shè)置流量由外網(wǎng)經(jīng)過骨干路由器、防火墻、核心交換機(jī)，通過隧道到安全管理區(qū)的WAF防火墻、日志審計、漏洞掃描、數(shù)據(jù)庫審計最終到DMZ區(qū)的業(yè)務(wù)系統(tǒng)。運(yùn)維人員通過外網(wǎng)對校園網(wǎng)設(shè)備進(jìn)行運(yùn)維時，訪問流量從核心交換機(jī)通過隧道到安全管理區(qū)的堡壘機(jī)、日志審計再到相應(yīng)的網(wǎng)絡(luò)設(shè)備。本次優(yōu)化方案可以使校園網(wǎng)網(wǎng)絡(luò)安全達(dá)到等級保護(hù)二級標(biāo)準(zhǔn)。

5" 結(jié)語

本文主要講述了某高校網(wǎng)絡(luò)架構(gòu)設(shè)計、DMZ區(qū)設(shè)計、網(wǎng)絡(luò)運(yùn)維管理區(qū)設(shè)計以及網(wǎng)絡(luò)安全管理區(qū)設(shè)計方面進(jìn)行數(shù)據(jù)中心優(yōu)化設(shè)計。在網(wǎng)絡(luò)架構(gòu)設(shè)計方面，根據(jù)高校數(shù)據(jù)中心實(shí)際情況，本次優(yōu)化繼續(xù)采用3層網(wǎng)絡(luò)架構(gòu)并部署核心設(shè)備的雙機(jī)熱備，節(jié)約了項目成本，提高了校園網(wǎng)核心區(qū)的可靠性；增設(shè)的DMZ區(qū)設(shè)計采用了基于SDN架構(gòu)，整合了數(shù)據(jù)中心的計算資源、存儲資源和網(wǎng)絡(luò)資源進(jìn)行池化，部署底層網(wǎng)絡(luò)和覆蓋網(wǎng)絡(luò)，實(shí)現(xiàn)了網(wǎng)絡(luò)設(shè)備的即插即用上線和網(wǎng)絡(luò)的靈活部署，縮短了網(wǎng)絡(luò)部署時間和業(yè)務(wù)上線周期，節(jié)約了人工成本。網(wǎng)絡(luò)運(yùn)維管理區(qū)部署的iMaster NCE-Fabric控制器，提供了業(yè)務(wù)應(yīng)用到物理網(wǎng)絡(luò)的自動映射和可視化的管理和運(yùn)維，提升了運(yùn)維人員的運(yùn)維效率，降低了其管理復(fù)雜度。網(wǎng)絡(luò)安全管理區(qū)增設(shè)了可滿足等級保護(hù)二級標(biāo)準(zhǔn)的網(wǎng)絡(luò)安全設(shè)備，通過iMaster NCE-Fabric可視化編排流量路徑，不僅提升了校園網(wǎng)的安全性，同時實(shí)現(xiàn)了流量高效轉(zhuǎn)發(fā)，節(jié)約了帶寬。數(shù)據(jù)中心優(yōu)化項目交付運(yùn)行以來，校園網(wǎng)能夠安全、穩(wěn)定運(yùn)行，提升了物理資源利用率，實(shí)現(xiàn)了網(wǎng)絡(luò)設(shè)備的自動化部署，降低了擴(kuò)容成本，優(yōu)化后的網(wǎng)絡(luò)架構(gòu)及設(shè)備選型均可滿足校園網(wǎng)日后擴(kuò)展。

參考文獻(xiàn)

［1］陳顯輝，蔡怡挺，陳夢嫻，等.SDN技術(shù)架構(gòu)的適用性研究［J］.工程與應(yīng)用，2023（10）：166-176.

［2］李繼先.基于敏捷網(wǎng)絡(luò)的校園網(wǎng)升級改造方法研究：以北京開放大學(xué)為例［J］.電腦知識與技術(shù)，2020（35）：36-38.

［3］饒琰.基于SDN的校園網(wǎng)部署設(shè)計與應(yīng)用［J］.通信設(shè)計與應(yīng)用，2021（2）：63-64.

［4］劉波林.基于SDN的校園網(wǎng)升級改造方案研究與實(shí)現(xiàn)［J］.贛南師范大學(xué)學(xué)報，2022（3）：121-124.

［5］張皛.軟件定義網(wǎng)絡(luò)（SDN）架構(gòu)下的網(wǎng)絡(luò)管理與優(yōu)化研究［J］.現(xiàn)代計算機(jī)，2023（15）：100-103.

［6］柏東明，曾麗花，李青，等.基于軟件定義網(wǎng)絡(luò)的園區(qū)組網(wǎng)及準(zhǔn)入技術(shù)研究與實(shí)現(xiàn)［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（11）：3-6.

（編輯" 沈" 強(qiáng)）

Design scheme of university data center based on SDN architecture

QIU" Hua

（Nanjing Branch of Chinese Academy of Sciences， Nanjing 210008， China）

Abstract：" With the expansion of the scale of a university， the diversified business system has the university data center monopolize the servers anan increasing demand for servers and storage resources. At present， the business systems of d storage resources which can not be shared between the systems， so the expansion cost is high. Operation and maintenance management is difficult and problem-solving efficiency is low. Based on the SDN architecture， this paper expounds the design scheme of a university data center from the core area， DMZ area， operation and maintenance management area and network security management area. This scheme makes full use of physical resources， reduces the cost of expansion， realizes the rapid online of business system， improves the efficiency of business deployment and the security of data center， and visual operation and maintenance and centralized management reduce the difficulty of operation and maintenance. After the completion of the project， the new business deployment cycle is shortened， and the expansion cost and manual operation and maintenance cost are reduced.

Key words： SDN; DMZ area; operation and maintenance management area; network security management area