基于SDN技術(shù)的塔里木油田數(shù)據(jù)中心機(jī)房設(shè)計(jì)與應(yīng)用

宋星潤

（大慶油田工程有限公司，黑龍江 大慶 163712）

1 背景

塔里木油田公共信息網(wǎng)絡(luò)作為油田重要的業(yè)務(wù)網(wǎng)絡(luò)承載的業(yè)務(wù)包括DNS（域名服務(wù)器）、DHCP（動(dòng)態(tài)主機(jī)配置協(xié)議）等，因此，對(duì)油田配套業(yè)務(wù)至關(guān)重要，目前，考慮網(wǎng)內(nèi)服務(wù)器、應(yīng)用數(shù)量不斷增加，對(duì)網(wǎng)絡(luò)管理能力、業(yè)務(wù)、安全、運(yùn)行維護(hù)等都提出了更高的要求。

當(dāng)前，公共信息網(wǎng)是傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)，存在以下問題：

（1）網(wǎng)絡(luò)業(yè)務(wù)開通效率低下，需要大量人工參與，網(wǎng)絡(luò)設(shè)計(jì)與調(diào)試過程煩瑣。

（2）網(wǎng)絡(luò)結(jié)構(gòu)固化，無法按照業(yè)務(wù)需求靈活部署，網(wǎng)絡(luò)變更頻繁時(shí)需要人工介入，人力投入高，且?guī)碚`操作的故障風(fēng)險(xiǎn)。

（3）傳統(tǒng)LAN網(wǎng)絡(luò)基于VLAN協(xié)議部署，二層網(wǎng)絡(luò)限制在一個(gè)VLAN內(nèi)，無法跨越三層網(wǎng)關(guān)。網(wǎng)絡(luò)無法支持大規(guī)模二層環(huán)境，導(dǎo)致虛擬機(jī)遷移網(wǎng)絡(luò)范圍受限。

（4）隨著數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備和IT資源呈現(xiàn)數(shù)量大、廠商多、運(yùn)行配置復(fù)雜的變化趨勢，對(duì)網(wǎng)絡(luò)狀態(tài)進(jìn)行可視化，網(wǎng)絡(luò)業(yè)務(wù)精細(xì)化，網(wǎng)絡(luò)狀態(tài)智能分析化提出了更高的要求。

基于以上項(xiàng)目背景，本次數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)運(yùn)用VXLAN、SDN主流技術(shù)，針對(duì)當(dāng)前問題和需求，進(jìn)行結(jié)構(gòu)優(yōu)化并進(jìn)行了實(shí)際應(yīng)用，適應(yīng)未來網(wǎng)絡(luò)發(fā)展的需求。

2 SDN技術(shù)研究

基于SDN技術(shù)的網(wǎng)絡(luò)架構(gòu)方案采用VXLAN的網(wǎng)絡(luò)虛擬化，和計(jì)算/存儲(chǔ)等虛擬化技術(shù)一起構(gòu)筑數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬化。通過VxLAN技術(shù)構(gòu)建彈性的Overlay網(wǎng)絡(luò)，以實(shí)現(xiàn)數(shù)據(jù)中心的彈性擴(kuò)展?？刂破矫娌捎脴I(yè)界標(biāo)準(zhǔn)的EVPN（MP-BGP）協(xié)議，可支持多個(gè)數(shù)據(jù)中心的虛擬資源池連接，可以綜合管理和分配位于多個(gè)數(shù)據(jù)中心的邏輯資源或物理資源。

SDN控制器（SeerEngine）是可編程的數(shù)據(jù)中心真正的執(zhí)行者和核心。SDN控制器支持Fabric自動(dòng)化，可以基于角色自動(dòng)化完成Underlay物理Fabric的自動(dòng)化構(gòu)建，并借助SDN控制器實(shí)現(xiàn)Overlay邏輯網(wǎng)絡(luò)的自動(dòng)化構(gòu)建，實(shí)現(xiàn)資源（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)）的統(tǒng)一管理，為客戶減輕初始化部署工作量。

SDN控制器對(duì)網(wǎng)絡(luò)模型進(jìn)行抽象，以實(shí)現(xiàn)基于業(yè)務(wù)的網(wǎng)絡(luò)配置下發(fā)，滿足業(yè)務(wù)快速上線的需求?？刂破髋c設(shè)備通過標(biāo)準(zhǔn)南向協(xié)議（Netconf、OVSDB等）與設(shè)備通信，IT管理人員上線新業(yè)務(wù)時(shí)，可迅速將抽象后的邏輯網(wǎng)絡(luò)下發(fā)到物理設(shè)備，實(shí)現(xiàn)業(yè)務(wù)的快速上線，提高90%以上部署效率。

SDN網(wǎng)絡(luò)架構(gòu)方案采用VXLAN的網(wǎng)絡(luò)虛擬化技術(shù)，可以對(duì)接OpenStack的VLAN模型和基于層次化端口綁定的VxLAN模型，可完成和KVM、VMware、CAS等業(yè)內(nèi)主流的計(jì)算虛擬化平臺(tái)對(duì)接。

3 SDN網(wǎng)絡(luò)設(shè)計(jì)

SDN網(wǎng)絡(luò)一般采用層次化、模塊化的網(wǎng)絡(luò)架構(gòu)方式，將網(wǎng)絡(luò)分為VxLAN Fabric網(wǎng)絡(luò)區(qū)和管理區(qū)。

3.1 VxLAN Fabric網(wǎng)絡(luò)區(qū)

VxLAN Fabric網(wǎng)絡(luò)區(qū)改變了傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的架構(gòu)和運(yùn)維模式，采用成熟的Spine-Leaf架構(gòu)，滿足云計(jì)算中大規(guī)模東西向流量的承載?；贠verlay（VxLAN）的SDN技術(shù)實(shí)現(xiàn)了從物理網(wǎng)絡(luò)到邏輯網(wǎng)絡(luò)的抽象，滿足云計(jì)算對(duì)網(wǎng)絡(luò)快速交付的需求。

VXLAN組網(wǎng)采用的Spine/Leaf架構(gòu)，作為VXLAN網(wǎng)關(guān)直接接入vSwitch下的VM。OpenStack、SeerEngine均采用帶外管理部署，Spine和Leaf的管理IP從DHCP服務(wù)器獲取，VTEP IP由spine設(shè)備分配，Underlay網(wǎng)絡(luò)的接口IP借用VTEP IP。

3.2 管理區(qū)

管理區(qū)各業(yè)務(wù)系統(tǒng)管理接入交換機(jī)管理接入交換機(jī)通過雙絞線連接所需要管理的各網(wǎng)絡(luò)設(shè)備網(wǎng)元，管理接入交換機(jī)通過管理核心交換機(jī)匯總。

SeerEngine部署在管理區(qū)的SDN控制器集群服務(wù)器中，支持Underlay的自動(dòng)部署，納管Spine、Leaf和Border設(shè)備，獲取Underlay拓?fù)浼霸O(shè)備角色與連接關(guān)系，也可獲取Overlay拓?fù)洌琕xLAN信息及狀態(tài)，同時(shí)，還可以同步到管理信息。

4 SDN技術(shù)應(yīng)用

塔里木油田數(shù)據(jù)中心采用SDN技術(shù)，搭建模塊化分層的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)區(qū)使用接入-核心物理雙層網(wǎng)絡(luò)架構(gòu)，管理區(qū)采用一層網(wǎng)絡(luò)架構(gòu)。

4.1 接入?yún)^(qū)

接入交換機(jī)采用H3C6800系列交換機(jī)，根據(jù)業(yè)務(wù)服務(wù)器的服務(wù)器性能需求采用通過萬兆光鏈路或千兆雙絞線不同的上聯(lián)方式，上聯(lián)SDN網(wǎng)絡(luò)接入交換機(jī)，并將接入交換機(jī)通過千兆雙絞線上聯(lián)管理網(wǎng)核心交換機(jī)，通過HBA卡連接FC SAN存儲(chǔ)網(wǎng)絡(luò)；SDN網(wǎng)絡(luò)接入交換均通過2條40G光纖鏈路堆疊，上行通過雙40G鏈路上聯(lián)2臺(tái)堆疊S12508X系列高性能交換機(jī)。

4.2 核心區(qū)

核心區(qū)采用S12508X系列高性能交換機(jī)，兩臺(tái)SDN網(wǎng)絡(luò)核心交換機(jī)通過2條40G光纖鏈路堆疊，由于上聯(lián)外網(wǎng)核心并不支持40G，故上行通過4條10G鏈路捆綁上聯(lián)外網(wǎng)。此高性能核心交換機(jī)同時(shí)支持VXLAN L2和L3功能，可以對(duì)內(nèi)網(wǎng)VXLAN解封裝和外網(wǎng)訪問數(shù)據(jù)中心內(nèi)虛擬機(jī)時(shí)的VXLAN加封裝，并具有強(qiáng)大的路由功能，所以，本項(xiàng)目未建Border路由器。

4.3 管理區(qū)

管理區(qū)各業(yè)務(wù)系統(tǒng)通過2臺(tái)管理核心交換機(jī)S5560X匯總，管理接入?yún)^(qū)及核心區(qū)內(nèi)的所有網(wǎng)絡(luò)設(shè)備，各網(wǎng)絡(luò)設(shè)備通過雙絞線或跳纖連接至管理核心交換機(jī)。

SDN控制器部署在管理區(qū)的SDN3臺(tái)高性能集群服務(wù)器中，每臺(tái)服務(wù)器使用雙萬兆光口直連至管理核心交換機(jī)，此管理核心交換機(jī)支持Underlay的自動(dòng)部署，納管Spine、Leaf和Border等網(wǎng)絡(luò)設(shè)備，從而實(shí)現(xiàn)高速部署和智能管理。

5 應(yīng)用價(jià)值

5.1 彈性可靠的網(wǎng)絡(luò)架構(gòu)

SDN技術(shù)秉承開放性的理念，提供了對(duì)于標(biāo)準(zhǔn)協(xié)議的廣泛支持，包括EVPN、VxLAN、OVSDB、OpenFlow、NETCONF、INT、gRPC、ERSPAN等協(xié)議，并可按需對(duì)接任意資源管理平臺(tái)或云平臺(tái)，具備良好開放性。

（1）數(shù)據(jù)中心內(nèi)互聯(lián)。S12500、S6800等系列數(shù)據(jù)中心交換機(jī)可提供業(yè)界主流的10GE、25GE、40GE、100GE和400GE的互聯(lián)，通過EVPN、VxLAN技術(shù)構(gòu)建彈性的Overlay網(wǎng)絡(luò)，以實(shí)現(xiàn)數(shù)據(jù)中心的彈性擴(kuò)展。

（2）數(shù)據(jù)中心間互聯(lián)。通過大二層數(shù)據(jù)互聯(lián)技術(shù)實(shí)現(xiàn)多數(shù)據(jù)中心的分布式部署，大二層數(shù)據(jù)互聯(lián)采用VxLAN，控制平面采用業(yè)界標(biāo)準(zhǔn)的EVPN(MP-BGP)協(xié)議，可支持多個(gè)數(shù)據(jù)中心的虛擬資源池連接，可以綜合管理和分配位于多個(gè)數(shù)據(jù)中心的邏輯資源或物理資源。

5.2 端到端自動(dòng)化

（1）基礎(chǔ)設(shè)施自動(dòng)化交付。SeerEngine支持Fabric自動(dòng)化，可以基于角色自動(dòng)化完成Underlay物理Fabric的自動(dòng)化構(gòu)建，并借助SeerEngine實(shí)現(xiàn)Overlay邏輯網(wǎng)絡(luò)的自動(dòng)化構(gòu)建，實(shí)現(xiàn)資源(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))的統(tǒng)一管理，為客戶減輕初始化部署工作量。

（2）業(yè)務(wù)上線自動(dòng)化交付。SeerEngine對(duì)網(wǎng)絡(luò)模型進(jìn)行抽象，以實(shí)現(xiàn)基于業(yè)務(wù)的網(wǎng)絡(luò)配置下發(fā)，滿足業(yè)務(wù)快速上線的需求?？刂破髋c設(shè)備通過標(biāo)準(zhǔn)南向協(xié)議(Netconf、OVSDB等)與設(shè)備通信，IT管理人員上線新業(yè)務(wù)時(shí)，可迅速將抽象后的邏輯網(wǎng)絡(luò)下發(fā)到物理設(shè)備，實(shí)現(xiàn)業(yè)務(wù)的快速上線，提高90%以上部署效率。

5.3 計(jì)算聯(lián)動(dòng)

數(shù)據(jù)中心網(wǎng)絡(luò)作為運(yùn)送數(shù)據(jù)的管道，需要和計(jì)算資源無縫對(duì)接兼容，H3C AD-DC基于OpenStack的標(biāo)準(zhǔn)架構(gòu)和項(xiàng)目，可提供裸金屬、虛擬化、容器化等全計(jì)算形態(tài)的自動(dòng)化入網(wǎng)能力，計(jì)算入網(wǎng)效率顯著提升。

網(wǎng)絡(luò)虛擬化可以對(duì)接OpenStack的VLAN模型和基于層次化端口綁定的VxLAN模型，在采用虛擬化技術(shù)后，數(shù)據(jù)中心網(wǎng)絡(luò)延伸到服務(wù)器內(nèi)部，如何對(duì)包括虛擬設(shè)備在內(nèi)的多類設(shè)備進(jìn)行統(tǒng)一管理、實(shí)現(xiàn)網(wǎng)絡(luò)流量的精細(xì)化管理和網(wǎng)絡(luò)故障的快速定位，都是對(duì)云計(jì)算時(shí)代數(shù)據(jù)中心運(yùn)維的基本需求。