MPLS L3VPN實(shí)例默認(rèn)路由問題分析

項(xiàng)目背景

本文中所涉及項(xiàng)目為某能源集團(tuán)互聯(lián)網(wǎng)出口整合項(xiàng)目。該項(xiàng)目主要是將其下屬子、分公司自有互聯(lián)網(wǎng)出口按所屬地址區(qū)域整合至4個(gè)區(qū)域中心，本例即為4區(qū)域中心之一，該區(qū)域中心示例拓?fù)淙鐖D1。

區(qū)域中心互聯(lián)網(wǎng)接入核心設(shè)備連接情況及路由走向說明

1.該區(qū)域中心互聯(lián)網(wǎng)接入核心設(shè)備邏輯連接情況如圖2所示，各子、分公司通過租用專線、自有傳輸、集團(tuán)廣域網(wǎng)方式連接區(qū)域中心匯聚交換機(jī)，并通過上網(wǎng)行為管理設(shè)備、防火墻、負(fù)載均衡設(shè)備進(jìn)行NAT（網(wǎng)絡(luò)地址轉(zhuǎn)換）后訪問互聯(lián)網(wǎng)。

2.相關(guān)設(shè)備主要路由配置示例

圖1 區(qū)域中心示例拓?fù)?/p>

圖2 互聯(lián)網(wǎng)接入核心區(qū)域拓?fù)?/p>

圖3 匯聚交換機(jī)下一跳指向靜態(tài)路由

（1） 匯 聚交換機(jī)下一跳指向廣域網(wǎng)匯聚路由器互聯(lián)接口地址的10.0.0.0/8前綴靜態(tài)路由，以保證通過集團(tuán)廣域網(wǎng)接入的分、子公司業(yè)務(wù)網(wǎng)段回程路由可達(dá)，如圖3。

（2）匯聚交換機(jī)配置下一跳指向分、子公司互聯(lián)設(shè)備接口地址的靜態(tài)路由，從而保證通過點(diǎn)對(duì)點(diǎn)專線接入的分、子公司業(yè)務(wù)網(wǎng)段回程路由可達(dá)（僅顯示一條）；

（3）在匯聚交換機(jī)上配置下一跳指向出口防火墻內(nèi)網(wǎng)接口的默認(rèn)路由；

（5）出口負(fù)載均衡器路由配置如圖5，其中10、192路由指向防火墻外網(wǎng)接口保證下行流量正常返回，默認(rèn)路由指向網(wǎng)關(guān)池保證互聯(lián)網(wǎng)上行流量轉(zhuǎn)發(fā)至相應(yīng)運(yùn)營(yíng)商鏈路。

問題描述及解決過程

1.路由調(diào)整及問題描述

（1）本次割接涉及單位為集團(tuán)二級(jí)能源公司下屬某露天礦，其接入方式為利用集團(tuán)原有MPLS廣域網(wǎng)，接入?yún)^(qū)域中心廣域網(wǎng)匯聚路由器（接入方式如圖6右側(cè)所示）。

圖4 出口防火墻配置3條靜態(tài)路由

圖5 出口負(fù)載均衡器路由配置

圖6 接入?yún)^(qū)域中心廣域網(wǎng)匯聚路由器

圖7 可以ping通區(qū)域中心側(cè)廣域網(wǎng)匯聚路由器

（2）路由切換主要是通過調(diào)整露天礦側(cè)路由器與交換機(jī)的默認(rèn)路由，使互聯(lián)網(wǎng)流量切換至集團(tuán)廣域網(wǎng)傳送，配置示例如下：

ip route vrf vpn_temp 0.0.0.0 0.0.0.0 10.255.9.2 //在路由器vpn_temp實(shí)例中增加一條下一跳指向區(qū)域中心廣域網(wǎng)匯聚路由器上聯(lián)還匯聚交換機(jī)接口地址的默認(rèn)路由；

ip route 0.0.0.0 0.0.0.0 10.26.96.2 //在露天礦核心交換機(jī)配置下一跳地址為路由器互聯(lián)地址的默認(rèn)路由。

（3）經(jīng)過上述路由配置調(diào)整后，在露天礦核心交換機(jī)上使用各業(yè)務(wù)網(wǎng)段網(wǎng)關(guān)地址作為源地址ping省聯(lián)通DNS服務(wù)器地址，結(jié)果無法ping通；但可以ping通區(qū)域中心側(cè)廣域網(wǎng)匯聚路由器上聯(lián)接口地址及下一跳地址（默認(rèn)路由下一跳地址），說明從露天礦至區(qū)域中心數(shù)據(jù)傳輸正常，如圖7。

對(duì)于影像學(xué)檢查和介入超聲技術(shù)仍無法做出準(zhǔn)確診斷，且患者癥狀較重、體征明顯，而患者本人又有強(qiáng)烈治療愿望時(shí)，可試行剖腹探查術(shù)或腹腔鏡探查術(shù)。手術(shù)可以直接對(duì)囊腫組織進(jìn)行觀察，并可在直視下進(jìn)行活體組織檢查，外科醫(yī)師可以對(duì)病變組織進(jìn)行初步評(píng)估，又可以在病理結(jié)果出來后直接行外科干預(yù)[19]。相對(duì)于傳統(tǒng)的剖腹探查術(shù)，微創(chuàng)手術(shù)并發(fā)癥少，患者疼痛較輕，體表無明顯手術(shù)瘢痕，心理打擊小，術(shù)后恢復(fù)較快，目前已廣泛應(yīng)用于臨床，并取得了良好的診療效果[20]。但需注意的是，剖腹探查術(shù)或腹腔鏡探查術(shù)存在一定的麻醉和手術(shù)風(fēng)險(xiǎn)及陰性探查的可能性，應(yīng)用時(shí)應(yīng)充分評(píng)估患者情況，向患者及家屬做好解釋工作，嚴(yán)格把握適應(yīng)證。

（4）由于集團(tuán)核心廣域網(wǎng)為MPLS L3VPN環(huán)境，按照控制平面、數(shù)據(jù)平面分別排查的思路進(jìn)行后續(xù)測(cè)試、分析。首先，查看露天礦側(cè)PE與區(qū)域中心側(cè)PE的MP-BGP鄰居，由于現(xiàn)網(wǎng)中為了增強(qiáng)擴(kuò)展性，部署了2臺(tái)BGP RR（路由反射器），所有PE路由器僅與2臺(tái)RR路由建立BGP鄰居關(guān)系，PE路由器的路由均是通過RR進(jìn)行反射的，根據(jù)調(diào)試信息可以判斷礦區(qū)側(cè)PE、區(qū)域中心側(cè)PE均與2臺(tái)RR建立的正常的BGP鄰居關(guān)系，如圖8。

（5）接著查看礦區(qū)側(cè)與區(qū)域中心側(cè)PE路由器的VPN實(shí)例相關(guān)路由表項(xiàng)，其中礦區(qū)側(cè) PE VRF中到10.255.9.0/28前綴是通過RR 10.60.7.254反射后學(xué)到的，由于RR默認(rèn)不會(huì)修改路由的下一跳屬性，且路由器間都是使用loopback 0接口作為源地址，建立的BGP鄰居關(guān)系，并作為update源，因此路由的下一跳地址為區(qū)域中心匯聚PE路由器loopback0接口地址10.224.7.246。

slq#show ip route vrf vpn_temp 10.255.9.0 //查看礦區(qū)PE路由器VRF中10.255.9.0的路由

圖8 根據(jù)調(diào)試信息判斷的結(jié)果

圖9 查看區(qū)域中心廣域網(wǎng)匯聚PE路由器路由信息

區(qū)域中心側(cè)PE相應(yīng)vpn-instance中到達(dá)礦區(qū)側(cè)業(yè)務(wù)網(wǎng)段路由，也是通過RR反射的，下一跳為礦區(qū)側(cè)PE loopback 0接口地址10.28.7.251；如圖9。

（6）由于BGP路由下一跳最終需要遞歸到IGP物理下一跳及相應(yīng)出接口才能完成數(shù)據(jù)轉(zhuǎn)發(fā)，因此查看了礦區(qū)側(cè)與區(qū)域中心側(cè)PE到達(dá)對(duì)端loopback 0接口的IGP路由（本例中為ISIS協(xié)議）。通過如下信息可以判斷兩端的PE已都通過ISIS協(xié)議學(xué)習(xí)到了對(duì)端loopback 0接口的32位前綴主機(jī)路由，如圖10。

圖10 兩端的PE都已學(xué)習(xí)到loopback 0接口的主機(jī)路由

（7）經(jīng)過上述驗(yàn)證過程基本可證明MPLS L3VPN環(huán)境，控制平面（路由平面）不存在問題，下面繼續(xù)對(duì)轉(zhuǎn)發(fā)平面進(jìn)行測(cè)試?；贛PLS L3VPN工作原理，各PE路由器保存VPN實(shí)例路由表并分配MPLS服務(wù)標(biāo)簽（內(nèi)層標(biāo)簽），而P路由器僅保存全局路由，并僅將外層標(biāo)簽做轉(zhuǎn)發(fā)依據(jù)。因此，要實(shí)現(xiàn)端到端VPN數(shù)據(jù)正常轉(zhuǎn)發(fā)，首先要保證PE到PE的雙向LSP（標(biāo)簽交換路徑）正常，因此需要在兩臺(tái)PE上通過tracert結(jié)合觀察標(biāo)簽轉(zhuǎn)發(fā)表進(jìn)行測(cè)試，如圖11。

（8）在Cisco路由器中MPLS轉(zhuǎn)發(fā)需依靠CEF（Cisco快速轉(zhuǎn)發(fā)）表解析下一跳、出接口、出標(biāo)簽信息，因此進(jìn)一步查看VRF中 0.0.0.0 0.0.0.0路由所對(duì)應(yīng)的CEF表項(xiàng),由下面結(jié)果可知路由可正常遞歸出接口與下一跳，但是沒有出標(biāo)簽信息。

圖11 對(duì)轉(zhuǎn)發(fā)平面進(jìn)行測(cè)試

對(duì)于一個(gè)VPN實(shí)例內(nèi)的路由項(xiàng)，只有在CEF中有出接口、下一跳、和出標(biāo)簽（內(nèi)、外層標(biāo)簽）才能正常轉(zhuǎn)發(fā)，例如下面的相應(yīng)示例就具備上述說有信息。

基于上述的調(diào)試信息，造成目前問題的主要原因主要是當(dāng)?shù)V區(qū)側(cè)PE在VPN實(shí)例中接收到目的地址沒有預(yù)支對(duì)應(yīng)轉(zhuǎn)發(fā)表項(xiàng)的數(shù)據(jù)包時(shí)，會(huì)根據(jù)默認(rèn)路由進(jìn)行轉(zhuǎn)發(fā)。但在CEF表象中沒有與默認(rèn)路由匹配的出標(biāo)簽信息，數(shù)據(jù)將按照普通IP轉(zhuǎn)發(fā)而MPLS標(biāo)簽轉(zhuǎn)發(fā)。這樣當(dāng)數(shù)據(jù)到達(dá)P路由器后，P路由器的路由表中并不存在221.11.1.67的路由表項(xiàng)，數(shù)據(jù)包將被直接丟棄，從而產(chǎn)生控制平面存在路由表項(xiàng)，轉(zhuǎn)發(fā)平面無法轉(zhuǎn)發(fā)的路由黑洞問題。

如果需要解決該問題，必須使CEF表項(xiàng)中默認(rèn)路由同時(shí)具備下一跳、出接口、出標(biāo)簽信息。對(duì)于Cisco IOS而言，對(duì)于全局路由表中的0.0.0.0/0路由默認(rèn)不會(huì)分配MPLS標(biāo)簽，可通過“slq(config)#mpls ip default-route”改變?cè)撃J(rèn)行為， 但該配置僅能影響全局路由表對(duì)應(yīng)的默認(rèn)路由CEF表項(xiàng)，并不能影響VRF中的默認(rèn)路由CEF項(xiàng)，因此無法使用該特性解決問題。

MPLS技術(shù)有一個(gè)重要的應(yīng)用場(chǎng)景就是僅在AS（自制系統(tǒng)）邊緣路由器運(yùn)行BGP的前提下，使Internet穿越流量正常轉(zhuǎn)發(fā)，中間的經(jīng)過的P節(jié)點(diǎn)既不需要開啟BGP協(xié)議，也不需要保存互聯(lián)網(wǎng)路由表?；诖怂枷爰霸O(shè)備特性，做了如下調(diào)整：

首先，在礦區(qū)側(cè)PE的VRF配置默認(rèn)路由時(shí)，將下一跳指向中心側(cè)PE loopback 0接口。同時(shí)，在配置下一跳時(shí)，在全局路由表中進(jìn)行解耦。完成下面改配置后，觀察對(duì)應(yīng)CEF表項(xiàng)，可以看到VRF中默認(rèn)路由已經(jīng)有了相應(yīng)的出接口、下一跳、出標(biāo)簽信息，壓入標(biāo)簽與MPLS轉(zhuǎn)發(fā)表中，到中心側(cè)BGP下一跳loopback0地址標(biāo)簽一致。

ip route vrf vpn_temp 0.0.0.0 0.0.0.0 10.224.7.246 global //在vrf中配置一條指向全局下一跳地址的默認(rèn)路由

slq#show ip cef vrf vpn_temp 0.0.0.0 0.0.0.0//查看vrf默認(rèn)路由對(duì)應(yīng)的cef表項(xiàng)

完成上述配置后，進(jìn)行ping聯(lián)通DNS地址，依舊無法ping通，tracert也沒有路徑信息，由于前面已經(jīng)進(jìn)行了端到端LSP檢測(cè)，524標(biāo)簽交換路徑是正常的，問題應(yīng)該在中心側(cè)PE。

s l q#

進(jìn)一步分析，根據(jù)MPLS的轉(zhuǎn)發(fā)邏輯，到達(dá)中心側(cè)PE路由器loopback 0接口的標(biāo)簽數(shù)據(jù)包會(huì)在倒數(shù)第二跳P設(shè)備執(zhí)行PHP（倒數(shù)第二條彈出），中心側(cè)PE接收到的將是目的地址為211.11.1.67的IP數(shù)據(jù)包，PE路由器將查找全局路由表做基本的IP轉(zhuǎn)發(fā)。但區(qū)域中心PE的全局路由表中并不存在默認(rèn)路由表項(xiàng)，因此將數(shù)據(jù)包丟棄了。解決方法顯而易見，應(yīng)增加一條默認(rèn)路由，本例中的特殊之處在于，PE的上行接口在vpn-instance中，因此在配置全局路由表默認(rèn)路由時(shí)，應(yīng)指定在vpninstance中解析下一跳，示例配置如下：

完成上述配置后，在礦區(qū)側(cè)PE ping和tracert驗(yàn)證均已正常，礦區(qū)側(cè)交換機(jī)使用各業(yè)務(wù)網(wǎng)段網(wǎng)關(guān)地址作為源地址，可正常ping通聯(lián)通DNS地址，用戶可以正常接入互聯(lián)網(wǎng)，至此問題解決。