基于E通VPN跨域CN2備份組網(wǎng)設(shè)計(jì)

華 靜

（中國(guó)電信股份有限公司上海分公司 上海 200210）

1 引言

中國(guó)電信股份有限公司（簡(jiǎn)稱中國(guó)電信）上海分公司（簡(jiǎn)稱上海電信）新業(yè)務(wù)網(wǎng)絡(luò)平臺(tái)是為適應(yīng)上海電信轉(zhuǎn)型新業(yè)務(wù)網(wǎng)絡(luò)承載要求而建設(shè)運(yùn)營(yíng)。目前承載了“全球眼”、ITMS、E通VPN、VIP網(wǎng)管、動(dòng)態(tài)DNS和安全殺毒中心等業(yè)務(wù)。全網(wǎng)以扁平化設(shè)計(jì)原則部署，滿足轉(zhuǎn)型新業(yè)務(wù)高性能、高可靠性和高冗余性需求[1]。上海電信E通VPN平臺(tái)依托于新業(yè)務(wù)網(wǎng)絡(luò)平臺(tái)，提供用戶快速便捷的SSL和IPSec遠(yuǎn)程VPN部署接入技術(shù)，通過合理分布來控制客戶節(jié)點(diǎn)間互訪網(wǎng)絡(luò)流量，以滿足客戶多業(yè)務(wù)承載運(yùn)營(yíng)要求。

中國(guó)電信長(zhǎng)途路由型MPLS VPN業(yè)務(wù)采用CN2（China Telecom next carrying network，中國(guó)電信下一代承載網(wǎng)）+城域兩級(jí)架構(gòu)。用戶終端可直接通過CN2網(wǎng)絡(luò)或城域接入。用戶接入支持以太、數(shù)字電路等多種接入方式。CN2和城域MPLS VPN跨域?qū)觾?yōu)先采用Option A方式，采用兩對(duì)PE-ASBR背對(duì)背互為CE進(jìn)行對(duì)接。

單看CN2和E通VPN平臺(tái)所采用的每一個(gè)IP技術(shù)元素，都沒有太大的問題，但是如何把這些技術(shù)集成，以跨域Option A方式通過E通VPN平臺(tái)和CN2對(duì)接，為客戶提供主備網(wǎng)秒級(jí)故障自動(dòng)切換恢復(fù)的整體解決方案，目前CN2業(yè)務(wù)部署應(yīng)用未有先例。

因此，本文重點(diǎn)論證了一種適合CN2環(huán)境下長(zhǎng)途MPLS VPN路由自動(dòng)備份切換的業(yè)務(wù)模式的互聯(lián)實(shí)現(xiàn)方式和路由實(shí)施策略，通過現(xiàn)網(wǎng)的測(cè)試案例證實(shí)了它的工程實(shí)施的可行性，并提供了一個(gè)業(yè)務(wù)推廣的典型案例。

2 業(yè)務(wù)模式分析

2.1 CN2長(zhǎng)途MPLS VPN業(yè)務(wù)現(xiàn)狀

CN2是同時(shí)支持語音、數(shù)據(jù)、視頻等業(yè)務(wù)的中國(guó)電信下一代多業(yè)務(wù)核心承載平臺(tái)，通過采用全網(wǎng)集中管理和集中操作的維護(hù)模式進(jìn)行日常的CN2網(wǎng)絡(luò)的運(yùn)行維護(hù)工作，保障CN2網(wǎng)絡(luò)協(xié)調(diào)高效、穩(wěn)定可靠運(yùn)行。狹義上，CN2網(wǎng)絡(luò)是指如圖1所示的4809自治域內(nèi)的所有路由器、業(yè)務(wù)延伸設(shè)備及其中繼電路[2]。

目前上海城域網(wǎng)具備與CN2跨域互聯(lián)的能力，城域MPLS網(wǎng)具備兩臺(tái)獨(dú)立 PE-ASBR（可兼作PE／SR），與上海2臺(tái)CN2 PE-ASBR設(shè)備分別互聯(lián)，互聯(lián)端口采用GE電路。上海城域MPLS網(wǎng)要求具備較好的冗余組網(wǎng)結(jié)構(gòu)，PE設(shè)備具備較強(qiáng)的路由能力（具有超過15萬VPN路由轉(zhuǎn)發(fā)能力），可保證城域MPLS VPN業(yè)務(wù)可靠運(yùn)行。

對(duì)于用戶路由總條數(shù)達(dá)到1 500條以上，站點(diǎn)分布在多個(gè)城市的VPN用戶，建議直接接入CN2 SR或者通過二層VLL方式跨域接入CN2。針對(duì)跨域二層接入采用VLL方式，為保證二層VLL接入電路的質(zhì)量，要求承載VLL的城域MPLS網(wǎng)絡(luò)具備QoS能力。如圖2所示的業(yè)務(wù)模型中VLL終結(jié)在城域網(wǎng)側(cè)PE，VLL兩側(cè)盡量采用一致的接口，避免使用橋接協(xié)議轉(zhuǎn)換；連接的MTU要求大于1 500 byte。CN2和城域MPLSVPN跨域?qū)觾?yōu)先采用OptionA方式，采用兩對(duì)PE-ASBR背對(duì)背進(jìn)行對(duì)接。中國(guó)電信設(shè)置3個(gè)出口局（北京、上海、廣州），各部署2臺(tái)ISR與合作運(yùn)營(yíng)商MPLS VPN對(duì)接，對(duì)接方式優(yōu)先采用Option A。此外通過海外POP節(jié)點(diǎn)，也可以提供跨運(yùn)營(yíng)商MPLS VPN對(duì)接。

2.2 E通VPN現(xiàn)狀

相對(duì)于MPLS VPN、VPDN等運(yùn)營(yíng)商局端部署實(shí)施的PP-VPN技術(shù)，通過在用戶端設(shè)置、管理并維護(hù)VPN網(wǎng)關(guān)設(shè)備，不需要調(diào)整或改變運(yùn)營(yíng)商網(wǎng)絡(luò)的結(jié)構(gòu)與性能的CPE-VPN技術(shù)也隨Internet而蓬勃發(fā)展。部分海外運(yùn)營(yíng)商也在嘗試通過SSL和IPSec等基于Internet的虛擬專網(wǎng)技術(shù)給用戶提供安全便捷的VPN接入，作為其在中國(guó)境內(nèi)“最后一公里”固網(wǎng)接入的補(bǔ)充方式。

雖然SSL或IPSec作為CPE-VPN用戶可以自行部署，但是對(duì)企業(yè)來講，部署一套完備的安全專網(wǎng)將要付出很大的人力、財(cái)力。然而，作為運(yùn)營(yíng)商，上海電信在這方面有著得天獨(dú)厚的優(yōu)勢(shì)，“E通VPN”業(yè)務(wù)的組網(wǎng)方式讓運(yùn)營(yíng)商能為用戶提供安全的整體解決方案。通過局端PE部署MPLS VPN，用戶端CE部署IPSec技術(shù)的E通VPN，同時(shí)上海電信E通VPN平臺(tái)又擁有從傳統(tǒng)專線到MPLS VPN業(yè)務(wù)各類專線接口，使兩個(gè)不同技術(shù)架構(gòu)的虛擬專網(wǎng)技術(shù)可以有效地集成在一起，滿足用戶自動(dòng)切換需求，提供端到端的整體解決方案，實(shí)現(xiàn)了用戶自行部署或采用第三方運(yùn)營(yíng)商獨(dú)自建設(shè)都難以解決的網(wǎng)絡(luò)間的無縫融合。

圖1 CN2 MPLS VPN業(yè)務(wù)參考模型

圖2 CN2跨域VLL接入MPLS VPN業(yè)務(wù)模型

上海電信通過在轉(zhuǎn)型新業(yè)務(wù)網(wǎng)絡(luò)平臺(tái)下部署Netscreen 500、ISG1000和SA3000，滿足用戶端多種認(rèn)證計(jì)費(fèi)方式的IPSec或SSL接入E通VPN平臺(tái)。圖3所示的E通VPN業(yè)務(wù)模型中用戶數(shù)據(jù)通過加密隧道方式聯(lián)入E通VPN平臺(tái)后，由平臺(tái)內(nèi)3層交換機(jī)經(jīng)城域網(wǎng)以EDSL、以太專線和MPLS VPN等方式轉(zhuǎn)發(fā)至用戶總頭。

2.3 功能分析

2.3.1 自動(dòng)倒換

用戶分點(diǎn)MPLS VPN鏈路故障時(shí)，用戶節(jié)點(diǎn)路由自動(dòng)切換到備份線路訪問用戶總頭數(shù)據(jù)中心內(nèi)數(shù)據(jù)，用戶請(qǐng)求到達(dá)數(shù)據(jù)中心后，若用戶端故障，用戶總頭能感知，回復(fù)的數(shù)據(jù)能從備份路由發(fā)送到用戶端。全部切換時(shí)間必須在40 s內(nèi)完成，故障時(shí)所有路由切換功能自動(dòng)實(shí)現(xiàn)，無需人工干預(yù)。

目前CN2 VPN用戶接入主要以eBGP或靜態(tài)方式，通過eBGP方式接入的用戶端路由故障，用戶總頭可以通過BGP表項(xiàng)自動(dòng)更新感知，針對(duì)靜態(tài)路由方式接入的CE用戶端，用戶總頭無法有效感知，會(huì)導(dǎo)致路由黑洞的存在。

兼顧eBGP和靜態(tài)路由2種接入方式，在E通VPN網(wǎng)絡(luò)平臺(tái)接入CN2時(shí)采取較高管理距離的匯聚路由方式進(jìn)行路由備份倒換。E通VPN平臺(tái)作為上海電信城域網(wǎng)局端設(shè)備中的一個(gè)比較特殊的節(jié)點(diǎn)，在某種意義上，E通VPN對(duì)用戶端來說就是一個(gè)PE，E通VPN和CN2對(duì)接方式采用Option A模式，針對(duì)目前集團(tuán)大客戶路由總量會(huì)超過1 500條的情況，采取VLL方式跨域接入CN2，以避免對(duì)城域網(wǎng)SR性能壓力。

圖3 E通VPN業(yè)務(wù)模型

2.3.2 安全性

用戶路由不暴露于公網(wǎng)，用戶網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)不可被公網(wǎng)訪問,E通VPN平臺(tái)上各不同用戶組之間路由互相隔離。

針對(duì)用戶內(nèi)部的數(shù)據(jù)安全，在CN2 PE上用戶數(shù)據(jù)通過MPLS標(biāo)記交換方式轉(zhuǎn)發(fā)，用戶間路由互相隔離，保證安全性?？缬驎r(shí)通過VLL方式保證用戶數(shù)據(jù)二層隔離，用戶數(shù)據(jù)到打E通VPN平臺(tái)后，通過在E通VPN平臺(tái)上開啟VR方式，根據(jù)不同用戶組的不同VLL VLAN進(jìn)入各自的VR，保證用戶數(shù)據(jù)和路由的隔離，從E通VPN平臺(tái)到用戶端，采用SSL或IPSec技術(shù)通過ESP方式加密封裝后以密文方式傳送到用戶端。

2.3.3 可靠性

用戶備份網(wǎng)絡(luò)和主用的CN2 MPLS VPN網(wǎng)絡(luò)必須采用異構(gòu)網(wǎng)架構(gòu)，避免因局端設(shè)備故障導(dǎo)致主備網(wǎng)同時(shí)失效的隱患。

由于大部分用戶主用網(wǎng)絡(luò)是通過DDN或FR方式接入CN2 MPLS VPN，因此組建備份網(wǎng)絡(luò)時(shí)，MPLS VPN和DDN不在考慮之列。E通VPN平臺(tái)到用戶終端采用的是Internet承載ESP報(bào)文方式，與CN2 PE物理隔離。VLL跨域透?jìng)鲿r(shí)數(shù)據(jù)基于上海城域網(wǎng)優(yōu)化平面?zhèn)鬏?，與負(fù)責(zé)本地Internet主要接入的IPMAN和上海熱線屬于不同網(wǎng)絡(luò)，也能實(shí)現(xiàn)物理設(shè)備的隔離?？紤]到冗余性，E通VPN平臺(tái)會(huì)通過2條不同局向的光纖以VLL方式接入到CN2不同PE，因此PE端也排除了單點(diǎn)故障。

2.3.4 可管理性

備份網(wǎng)絡(luò)需作為可管理型網(wǎng)絡(luò)，網(wǎng)絡(luò)終端需要支持標(biāo)準(zhǔn)的SNMP協(xié)議進(jìn)行管理和流量監(jiān)控。同時(shí)網(wǎng)絡(luò)終端需要同時(shí)上聯(lián)MPLS VPN和承載IPSec的Internet，可以提供2條WAN線路，具有“雙網(wǎng)雙待”功能，保障線路安全。

定制終端作為集團(tuán)商務(wù)領(lǐng)航的品牌旗下信息化產(chǎn)品，恰好可以滿足用戶的上述需求。通過在用戶端部署實(shí)現(xiàn)中國(guó)電信專門為品牌客戶定制的可遠(yuǎn)程實(shí)時(shí)監(jiān)控、遠(yuǎn)程配置、遠(yuǎn)程診斷、遠(yuǎn)程升級(jí)，具有路由器和基本安全功能的定制終端B2-1，利用中國(guó)電信專業(yè)維護(hù)體系及自動(dòng)化管理平臺(tái)（BBMS），提供零配置快速安裝、專家監(jiān)控值守、快速故障處理、主動(dòng)維護(hù)保障、定期運(yùn)行分析報(bào)告等服務(wù)，可以滿足客戶互聯(lián)網(wǎng)寬帶接入、WLAN無線組網(wǎng)、基本安全防護(hù)、降低維護(hù)成本、提高維護(hù)質(zhì)量等方面需求。

通過部署中國(guó)電信商務(wù)領(lǐng)航B2-1定制終端，在網(wǎng)絡(luò)運(yùn)行監(jiān)控方面，提供7×24 h專家值守、5×8 h主動(dòng)發(fā)現(xiàn)上網(wǎng)線路故障，快速響應(yīng)、故障主動(dòng)發(fā)現(xiàn)，并能每月提供網(wǎng)絡(luò)運(yùn)行月報(bào)，保障網(wǎng)絡(luò)運(yùn)行狀況。

考慮備份網(wǎng)組網(wǎng)成本所限，用戶各分點(diǎn)可以迅速且安全地?cái)U(kuò)展網(wǎng)絡(luò)。同時(shí)，備份網(wǎng)絡(luò)接口最好能以支持以太網(wǎng)接口為主，避免用戶另行購(gòu)置昂貴的G703、V35等傳統(tǒng)數(shù)據(jù)模塊。

E通VPN通過承載用戶原有的Internet線路作為MPLS VPN備份線路，用戶線路投入成本可控制，通過在定制終端B2-1配置QoS功能，可以保證故障發(fā)生時(shí)，用戶Internet線路優(yōu)先保證轉(zhuǎn)發(fā)IPSec應(yīng)用報(bào)文。定制終端B2-1豐富的以太網(wǎng)接口，避免了用戶采用DDN傳統(tǒng)數(shù)據(jù)服務(wù)時(shí)需另行購(gòu)置模塊板卡的投入。

3 網(wǎng)絡(luò)設(shè)計(jì)部署

3.1 概述拓?fù)?/h3>

某國(guó)際跨國(guó)集團(tuán)用戶，通過CN2長(zhǎng)途MPLS VPN互聯(lián)其在中國(guó)的106個(gè)CE節(jié)點(diǎn)，用戶總路由條目超過1 500條，用戶部分CE節(jié)點(diǎn)采用BGP方式接入，部分采用靜態(tài)路由接入。用戶嘗試采取另建一個(gè)備份網(wǎng)絡(luò)，但因?yàn)橹饕狹PLS VPN部分節(jié)點(diǎn)靜態(tài)路由接入導(dǎo)致備份網(wǎng)絡(luò)的路由黑洞問題而不能自動(dòng)切換，或者采用模擬線路DDR撥號(hào)幾分鐘的切換時(shí)間長(zhǎng)問題，效果都不能令其滿意。成本和組網(wǎng)的部署便捷性也是其組網(wǎng)考慮的一個(gè)主要因素。

針對(duì)用戶提出的40 s內(nèi)自動(dòng)切換，充分利用其現(xiàn)有的網(wǎng)絡(luò)線路 （各分點(diǎn)一條MPLS VPN線路和一條Internet上網(wǎng)線路）不再追加任何線路工程投入的要求，提出以下方案：通過在用戶端部署定制終端B2-1，建立到E通VPN的IPSec隧道，當(dāng)用戶端MPLS VPN線路發(fā)生故障時(shí)，用戶路由自動(dòng)切換到IPSec備份路由上，同時(shí)局端CN2 PE配置靜態(tài)備份路由（加大AD值，匯總用戶路由后較短掩碼的出路由）以O(shè)ption A方式VLL跨域打通MPLS VPN到E通VPN的平臺(tái)通路。測(cè)試拓?fù)淙鐖D4所示。

3.2 CN2路由實(shí)施策略

用戶CE直接上聯(lián)CN2 PE組網(wǎng)，經(jīng)用戶授權(quán)后，在用戶測(cè)試點(diǎn)Branch1上聯(lián)的CN2 PE上 （資源庫(kù)中查出是SH-SH-MS-S-1.CN2設(shè)備），通過上海本地城域網(wǎng)優(yōu)化平面與CN2的互聯(lián)接口，以二層Martini技術(shù)的VLL方式互聯(lián)至上海電信E通VPN平臺(tái)，互聯(lián)地址遵循局端規(guī)劃，用戶測(cè)試點(diǎn)路由地址為10.152.141.0/24，通過局端CN2 PE上觀察用戶VPN內(nèi)路由表，經(jīng)匯總歸并成10.152.0.0/16，加大管理距離為220，作為用戶備份路由指向E通VPN平臺(tái)。

3.3 城域網(wǎng)以太透?jìng)鲗?shí)施策略

E通VPN平臺(tái)通過Option A方式VLL跨域接入CN2，上海電信本地城域網(wǎng)只承載用戶二層數(shù)據(jù)報(bào)文，用戶路由在城域段內(nèi)透明，只需要在優(yōu)化平面內(nèi)以Martini技術(shù)建立點(diǎn)對(duì)點(diǎn)的LDP鄰居連接，互聯(lián)E通VPN平臺(tái)和CN2接口，兩端用戶報(bào)文封裝以VLAN方式一致，避免dot1q和Bridge1483的橋接協(xié)議轉(zhuǎn)換。

3.4 E通VPN平臺(tái)部署

E通VPN平臺(tái)通過不同的密鑰和各用戶終端建立IPSec隧道，用戶對(duì)端可以通過IP或者用戶名方式識(shí)別。通常如果用戶端直接獲得公網(wǎng)IP上網(wǎng)，可以直接采用IP方式，如果是通過防火墻NAT上網(wǎng)，則需用戶名方式建立連接，同時(shí)考慮穿透防火墻問題，E通VPN為IPSec隧道建立提供了NAT穿透功能，針對(duì)SSL隧道加密，因?yàn)檫\(yùn)行于HTTPS應(yīng)用層，不存在NAT穿透問題。

35歲以上的女性，孕育胎兒時(shí)的心理負(fù)擔(dān)要比適齡孕婦增大，加之社會(huì)和家庭的各種壓力，容易使精神處于緊張狀態(tài)，不利于自身的健康和胎兒的生長(zhǎng)發(fā)育。

針對(duì)用戶間路由隔離安全性要求，E通VPN平臺(tái)支持VR（虛擬路由器）功能，各用戶組獨(dú)享一個(gè)VR，通過VLL透?jìng)魍鈱覸LAN來區(qū)分各用戶所屬VR。E通VPN通過Option A方式互聯(lián)CN2，默認(rèn)情況類似本次測(cè)試以靜態(tài)接入為主。如將來有用戶BGP接入需求，E通VPN平臺(tái)所采用的Juniper ISG1000和Netscreen 500都可以支持BGP路由需求。

圖4 E通VPN平臺(tái)熱備CN2 MPLS VPN業(yè)務(wù)模型

此外，E通VPN平臺(tái)還可以根據(jù)用戶的需求基于Juniper Netscreen OS環(huán)境進(jìn)行訪問策略設(shè)置，大大增強(qiáng)了用戶訪問的安全性。

3.5 用戶CE路由實(shí)施策略

用戶端部署集團(tuán)定制終端B2-1，通過用戶原Internet出口建立和E通VPN的IPSec通道。定制終端開啟SNMP功能供遠(yuǎn)程采集流量，同時(shí)通過TR069協(xié)議，支持BBMS遠(yuǎn)程管理功能。通過雙網(wǎng)口策略，通往CN2內(nèi)部路由，建立高管理值的備份路由指向IPSec接口，當(dāng)主用失效后，可自動(dòng)切換。用戶Internet出口配置QoS帶寬保留策略，以供故障時(shí)IPSec優(yōu)先轉(zhuǎn)發(fā)，如果用戶日常Internet訪問，流量不高，輕載條件下，QoS部署可以簡(jiǎn)化。

3.6 用戶端測(cè)試

配置部署完畢后，用戶正常情況下，通過DDN主用線路接入CN2長(zhǎng)途 MPLS VPN訪問用戶總頭10.152.114.2：

Tracing the route to 10.152.114.2

1 10.152.128.53 8 msec 8 msec 12 msec

2 10.152.62.210[AS 4809]12 msec 12 msec 11 msec

模擬用戶DDN線路故障，當(dāng)用戶DDN線路發(fā)生中斷時(shí)，經(jīng)30 s左右的中斷時(shí)間，路由自動(dòng)切換IPSec備份網(wǎng)絡(luò)。通過E通VPN訪問用戶總頭的traceroute路徑如下：

Tracing the route to 10.152.114.2

1 173.73.73.2 0 msec 0 msec 0 msec

2 61.152.231.114 4 msec 0 msec 0 msec

3 172.210.210.3 4 msec 4 msec 4 msec

4 202.96.218.1 4 msec 4 msec 4 msec

5 222.66.240.57 4 msec 4 msec 4 msec

6 10.152.64.210 8 msec×12 msec

測(cè)試結(jié)論：經(jīng)用戶現(xiàn)場(chǎng)演示測(cè)試，通過E通VPN線路備份MPLS VPN的技術(shù)方案可以滿足用戶路由自動(dòng)切換的需求。DDN鏈路故障時(shí)，E通VPN切換時(shí)間在30 s左右。DDN鏈路恢復(fù)后，路由自動(dòng)倒回，基本不中斷。實(shí)用EVPN備份方式，用戶內(nèi)網(wǎng)應(yīng)用正常。

4 結(jié)束語

CN2是中國(guó)電信集團(tuán)奠定未來10～20年里中國(guó)電信頂級(jí)運(yùn)營(yíng)商基礎(chǔ)的戰(zhàn)略級(jí)網(wǎng)絡(luò)平臺(tái)，E通VPN通過立足于CN2長(zhǎng)途MPLS VPN業(yè)務(wù)，結(jié)合部署轉(zhuǎn)型業(yè)務(wù)的創(chuàng)新模式，有效貫穿了中國(guó)電信集團(tuán)“把握整體和方向，充分發(fā)揮資源優(yōu)勢(shì)”的轉(zhuǎn)型策略。

CN2、IPMAN、E通VPN和定制終端等一系列業(yè)務(wù)，通過組網(wǎng)方案的高度整合，為高端客戶提供端到端的整體解決方案，大大提升了數(shù)據(jù)產(chǎn)品的競(jìng)爭(zhēng)能力，也反映了IP技術(shù)驅(qū)動(dòng)力下運(yùn)營(yíng)商業(yè)務(wù)發(fā)展的趨勢(shì)。

1 James D McCabe（美）.秦亞紅等譯.網(wǎng)絡(luò)分析、體系結(jié)構(gòu)與設(shè)計(jì)（第二版）.北京：電子工業(yè)出版社，2005

2 中國(guó)電信集團(tuán)運(yùn)維[2006]30號(hào).中國(guó)電信下一代承載網(wǎng)（CN2）網(wǎng)絡(luò)運(yùn)行維護(hù)管理辦法（試行）