金融大客戶全冗余動態(tài)BGP專網(wǎng)建設(shè)案例

摘要：本案例通過介紹PF_BANK在合肥市濱湖建設(shè)數(shù)據(jù)災(zāi)備核心節(jié)點，和聯(lián)通、電信、移動互聯(lián)網(wǎng)骨干節(jié)點通過動態(tài) EBGP方式對接，案例中針對該用戶業(yè)務(wù)做的一些BGP路由調(diào)整策略和全冗余的接入設(shè)計，滿足了PF_BANK提出的“ 鏈路冗余、設(shè)備冗余、端口冗余、路由冗余”的全冗余動態(tài)BGP互聯(lián)網(wǎng)全穿透接入要求。為以后相關(guān)業(yè)務(wù)接入起到了示范接入的作用。

關(guān)鍵詞： 全冗余、穿透；EBGP；BFD；路由策略

一、案例背景

合肥依托加入長三角經(jīng)濟(jì)圈成為副中心城市，與依托長三角數(shù)據(jù)備份基地建設(shè)互聯(lián)網(wǎng)核心節(jié)點，是加快合肥長三角副中心城市群的經(jīng)濟(jì)發(fā)展，落實網(wǎng)絡(luò)經(jīng)濟(jì)強(qiáng)市目標(biāo)的有力支撐。PF_BANK目前租用我公司互聯(lián)網(wǎng)BGP帶寬 4000M，2021 年貢獻(xiàn)收入超千萬元，是我公司金牌金融大客戶。PF_BANK提出在合肥市濱湖數(shù)據(jù)中心基地建設(shè)自身銀行系統(tǒng)的全球災(zāi)備中心，需要同是與聯(lián)通、電信、移動三家運(yùn)營商進(jìn)行動態(tài)BGP互聯(lián)，提出了全冗余的網(wǎng)絡(luò)設(shè)計要求暨“ 鏈路冗余、設(shè)備冗余、端口冗余、路由冗余”，三家運(yùn)營商所有用戶訪問該節(jié)點，將通過各自運(yùn)營商本網(wǎng)系統(tǒng)內(nèi)訪問避免進(jìn)行跨網(wǎng)訪問以減小網(wǎng)絡(luò)時延，提升客戶感知。開通動態(tài)BGP接入方式是的該數(shù)據(jù)備份基地成為PF_BANK業(yè)務(wù)核心備份節(jié)點的必要條件，該業(yè)務(wù)的開通也是安徽省內(nèi)三家運(yùn)營商在數(shù)據(jù)中心項目上第一次的合作，為鞏固合肥數(shù)據(jù)災(zāi)備基地核心節(jié)點地位，進(jìn)一步拉動 IDC 機(jī)柜、云計算業(yè)務(wù)增長，起到了重要的作用。

二、案例描述

（一）網(wǎng)絡(luò)現(xiàn)狀

安徽聯(lián)通 169 IP網(wǎng)骨干網(wǎng)路由器由兩臺 NE5000E-X16A 設(shè)備組成，分別部署在合肥市的濱湖新區(qū)、政務(wù)新區(qū)兩個骨干核心機(jī)房，地市核心設(shè)備分別與集團(tuán)國干設(shè)備之間口子型互聯(lián)。合肥城域網(wǎng) CR有2臺NE5000E-20組成、BRAS（合肥SR和BRAS屬于合設(shè)） 有16臺華為ME60-X8設(shè)備組成，分別雙上行至合肥本地出口路由器上，承載本地市的IP網(wǎng)業(yè)務(wù)，包括互聯(lián)網(wǎng)業(yè)務(wù)， MPLS_VPN業(yè)務(wù)等。

（二）接入需求

1. PF_BANK采用自身公有AS號與聯(lián)通公有AS號進(jìn)行動態(tài) EBGP 互聯(lián)，要求接收互聯(lián)網(wǎng)全部路由條目（83萬條左右），保證接入類型是全穿透模式。2. BGP協(xié)議本身具有冗余備份、消除環(huán)路的特點，所以要求本次2條BGP互聯(lián)線路可以實現(xiàn)路由的相互備份并且負(fù)載均攤，在一條線路出現(xiàn)故障時路由會快速檢測自動切換到其他線路。3.要求同時打開BGP協(xié)議，靜態(tài)路由、對接口的BFD快速檢測能力用于加快路由收斂。4.在本地傳輸層面提出了全冗余的網(wǎng)絡(luò)設(shè)計要求暨“ 鏈路冗余、設(shè)備冗余、端口冗余、路由冗余”接入拓?fù)淙鐖D2所示。

（三）接入要點

1. EBGP 接入類型全穿透

合肥CR路由器收到PF_BANK路由向169國干網(wǎng)轉(zhuǎn)發(fā)，再由169骨干網(wǎng)傳播至國內(nèi)其他運(yùn)營商和全球互聯(lián)網(wǎng)。雖然合肥CR路由器與省內(nèi)其他CR路由器存在互聯(lián)但是本次由于客戶沒有特殊要求不向其他地址之間發(fā)送PF_BANK的路由，其他地市CR還是通過集團(tuán)骨干網(wǎng)的AR路由器學(xué)習(xí)PF_BANK路由。合肥CR路由器與PF_BANK對接時出于安全考慮需要采用協(xié)議對接加密方式，并采用BFD對BGP協(xié)議時刻進(jìn)行監(jiān)控。

2.用戶路由選擇問題

正常情況下省內(nèi)用戶訪問PF_BANK業(yè)務(wù)通過各地市 CR 到國干的鏈路訪問省外PF_BANK服務(wù)器相關(guān)業(yè)務(wù)，PF_BANK省內(nèi)采用 AS56006和合肥CR 2.9654建立 EBGP鄰居后，其他地市由于合肥市CR在與地市互聯(lián)口過濾了AS-path路徑，所以其他CR上只會從骨干學(xué)習(xí)到PF_BANK路由，不需要做地址優(yōu)選策略路由。當(dāng)PF_BANK與聯(lián)通的BGP互聯(lián)存在問題時，在BFD的幫助下BGP會快速地將聯(lián)通本地PF_BANK路由失效，從而地市CR會從169骨干學(xué)習(xí)到其他運(yùn)營商發(fā)布過來的PF_BANK路由信息。

3.合肥本地網(wǎng)與PF_BANK設(shè)備對接問題

合肥聯(lián)通城域網(wǎng)CR除了和國干直連以外還兼做省干，并在本次項目中與PF_BANK做BGP PEER 由于合肥聯(lián)通城域網(wǎng)CR路由器從網(wǎng)絡(luò)安全方面考慮不能與用戶直接進(jìn)行對接，但是我們大客戶專屬的SR路由器沒有全量的互聯(lián)網(wǎng)路由，所以在EBGP對接時我們采用的是客戶與合肥聯(lián)通城域網(wǎng)CR（AS2.9654）建立multi-hop BGP連接，交換IPV4/IPV6雙棧路由信息。廣播方式為全穿透方式，合肥城域網(wǎng)將PF_BANK自帶IPv4/IPv6地址廣播至China169骨干網(wǎng)，由169骨干網(wǎng)根據(jù)既定策略對外廣播，同時合肥聯(lián)通城域網(wǎng)CR將從169骨干網(wǎng)學(xué)習(xí)到的全網(wǎng)絡(luò)由表廣播給PF_BANK。

4. BGP路由策略發(fā)布問題

本次與PF_BANK對接是采用公有AS的動態(tài)BGP對接，客戶IP地址是采用自己的BGP路由器發(fā)布，并且PF_BANK本次還同時接入了電信、移動的公有AS，所以有可能存在其他運(yùn)營商路由信息的泄漏風(fēng)險。所以接收PF_BANK的路由信息時只接收客戶在我們這里申請的IPV4/IPV6地址表，并對as-path-filter進(jìn)行正則表達(dá)式過濾^56006$，并將local-preference 設(shè)置成800。

5. PF_BANK內(nèi)部路由問題

PF_BANK和合肥聯(lián)通CR路由器建立公有AS的EBGP鄰居后會收到169網(wǎng)傳遞過來的所有互聯(lián)網(wǎng)的路由信息，需考慮業(yè)務(wù)來回路徑一致問題，只有聯(lián)通用戶訪問PF_BANK的業(yè)務(wù)路由才會走在這條 EBGP 鏈路上。

（四）配置部署

1.部署原則

按照PF_BANK的全冗余的互聯(lián)要求合肥聯(lián)通采用傳輸系統(tǒng)用兩個方向的兩套獨立設(shè)備與用戶的前置兩臺路由器對接，分別上聯(lián)到合肥聯(lián)通城域網(wǎng)的兩個核心局點的SR路由器。兩臺SR路由器平時對用戶流量采用負(fù)載均攤的方式進(jìn)行流量轉(zhuǎn)發(fā)，在一個方向出現(xiàn)問題時可以將用戶流量迅速切換到另一個方向，網(wǎng)絡(luò)拓?fù)淙鐖D3所示。

2. 部署配置

（1）CR路由器與PF_BANK的peer配置

CR與PF_BANK之間由于不是直接對接所以需要采用muilt-hop在數(shù)據(jù)基地設(shè)備到省干 CR 和鄭州 CR 的 export 方向添加策略，確保只有PF_BANK IP 網(wǎng)段 且下一跳為與PF_BANK本地設(shè)備互聯(lián)的 IP 的路由、數(shù)據(jù)基地始發(fā)的路由可以發(fā)給省干、鄭州CR，保證只有在下一跳生效的情況下業(yè)務(wù)路由才生效。IPV4 BGP鄰居對接配置：

group PFBANK external? //EBGP對接

peer PFBANK connect-interface LoopBack0? //BGP對接口采用LoopBack0口

peer PFBANK password cipher XXXXXXX? //BGP對接是采用密碼驗證

peer 58.242.194.xx4 as-number 56006//與浦發(fā)西開發(fā)方向設(shè)備對接

peer 58.242.194.xx4 group PFBANK

peer 58.242.194.xx4 description to PFBANK

peer 58.242.194.xx4 ebgp-max-hop 3? ?//multi-hop BGP 對接是最大跳數(shù)為3

peer 58.242.194.xx4 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx4 bfd enable? //打開BGP的BFD檢測功能，和300毫秒雙向檢測

peer 58.242.194.xx0 as-number 56006//與浦發(fā)濱湖方向設(shè)備對接

peer 58.242.194.xx0 group PFBANK

peer 58.242.194.xx0 description to PFBANK

peer 58.242.194.xx0 ebgp-max-hop 3//multi-hop BGP 對接是最大跳數(shù)為3

peer 58.242.194.xx0 bfd min-tx-interval 300 min-rx-interval 300 detect-multiplier 5

peer 58.242.194.xx0 bfd enable//打開BGP的BFD檢測功能，和300毫秒雙向檢測

（2）BGP對接相關(guān)安全過濾策略設(shè)置

確保合肥市CR與PF_BANK動態(tài)公有BGP對接安全相關(guān)策略。

import方向PF_BANK地址段前綴列表

ip ip-prefix pfx_from_PFBANK index 10 permit 103.142.9X.0 24

import方向PF_BANK地址段本地優(yōu)先級調(diào)大

route-policy rp_PFBANK_IN permit node 10

apply local-preference 800

import方向PF_BANK AS_path 過濾：

ip as-path-filter aspath_from_PFBANK index 10 permit ^（5600X_）+$

export方向PF_BANK AS_path 過濾：

ip as-path-filter aspath_to_PFBANK index 10 deny ^6451[2-9]_

ip as-path-filter aspath_to_PFBANK index 20 deny ^645[2-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 30 deny ^64[6-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 40 deny ^65[0-9][0-9][0-9]_

ip as-path-filter aspath_to_PFBANK index 50 permit .*

（3） 合肥接入SR路由器設(shè)置

SR 路由器與PF_BANK之間采用傳輸系統(tǒng)對接，2個接口分布在兩個不通板卡上，使用靜態(tài)路由將PF_BANK的路由表指向PF_BANK，為了網(wǎng)絡(luò)的快速倒換加持了BFD協(xié)議，其協(xié)商時間與BGP的協(xié)商時間保持一致。

對接口的配置：

interface Eth-Trunk9.112

vlan-type dot1q 112

description DDK-PF_BANK-DIA

ipv6 enable

ip address 58.242.194.XXX 255.255.255.252

ipv6 address 2408：8000：C03C：1：：4：XXX/127

BFD的配置

bfd PuFa2 bind peer-ip 58.242.194.XX4 interface Eth-Trunk9.112 source-ip 58.242.194.113 auto

detect-multiplier 5

min-tx-interval 300

min-rx-interval 300

ip route-static 103.142.96.0 255.255.255.0 58.242.194.xx4 track bfd-session PuFa2 description to-PuFa2_BANK-1000M-DIA-BGP_AS 56006

三、結(jié)束語

本業(yè)務(wù) EBGP 接入在安徽省內(nèi)首次部署， 因該用戶三網(wǎng)接入的特殊性，網(wǎng)絡(luò)存在一定接入復(fù)雜度，在 EBGP 接入時需要考慮國干、地市等各場景路由情況外加多層BFD的安全檢測和流量負(fù)載分擔(dān)，該方案采取嚴(yán)格匹配 AS_path、地址前綴、下一跳等參數(shù)控制路由收發(fā)策略， 更精準(zhǔn)確控制業(yè)務(wù)路由。隨著云計算、 物聯(lián)網(wǎng)、大數(shù)據(jù)業(yè)務(wù)的不斷發(fā)展，本地化接入的需求也越來越大，該案例對以后BGP接入的用戶起到了重要的示范及指導(dǎo)作用，也讓城域網(wǎng)內(nèi)省內(nèi)業(yè)務(wù)路由策略控制更加靈活。

作者單位：夏煒煒? ? 中國聯(lián)合網(wǎng)絡(luò)通訊有限公司合肥分公司

參? 考? 文? 獻(xiàn)

[1]蘇申. Internet 域間路由建模與分析研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016．

[2]賀聿志，章勇，柳斌.多鏈路 BGP 接入方法的探討[J].華中科技大學(xué)學(xué)報（ 自然科學(xué)版） ，2016.

[3]Karl Solie． CCIE 實驗指南[M]．北京：人民郵電出版社，2010.