運(yùn)營(yíng)商間網(wǎng)絡(luò)無法互通問題

■ 遼寧 劉嘉琦

編者按：不同運(yùn)營(yíng)商網(wǎng)絡(luò)之間的有效連接與通信對(duì)于企業(yè)網(wǎng)絡(luò)連接與業(yè)務(wù)系統(tǒng)的平穩(wěn)運(yùn)行至關(guān)重要。本文講解了筆者單位出現(xiàn)的不同運(yùn)營(yíng)商之間的網(wǎng)絡(luò)出現(xiàn)無法互通的問題，給單位造成不小的影響。筆者針對(duì)這一問題進(jìn)行了詳細(xì)探討，并給出了相關(guān)解決方案和建議。

由于筆者單位信息化業(yè)務(wù)發(fā)展的需要，現(xiàn)有公網(wǎng)地址已不能滿足當(dāng)前需求。因此公司向中國電信購買了8 個(gè)公網(wǎng)地址，為106.38.72.48/29。單位將其中的106.38.72.49 分配給新上線的VPN 使用，作為公網(wǎng)訪問的地址。

網(wǎng)絡(luò)出口基本架構(gòu)

單位的互聯(lián)網(wǎng)網(wǎng)絡(luò)邊界定義為邊界接入?yún)^(qū)，邊界接入?yún)^(qū)由一臺(tái)分帶寬交換機(jī)、兩臺(tái)負(fù)載均衡和兩臺(tái)防火墻組成。電信和聯(lián)通的線路被分帶寬交換機(jī)一分為二，分別連接鏈路負(fù)載均衡設(shè)備。負(fù)載均衡設(shè)備連接兩臺(tái)防火墻，防火墻采用雙機(jī)方式部署。防火墻負(fù)責(zé)出口的安全策略控制及部分應(yīng)用服務(wù)器的地址轉(zhuǎn)換，利用靜態(tài)路由與NAT 技術(shù)，均衡雙出口流量。配置好出接口與區(qū)域、NAT 轉(zhuǎn)換與路由通信。防火墻的e0/1 口設(shè)置為電信的出口，e0/3 口設(shè)置為聯(lián)通的出口，防火墻的對(duì)外接口連接2 個(gè)ISP(電信和聯(lián)通)。

與邊界交換區(qū)相連的是核心交換區(qū)，核心交換區(qū)由兩臺(tái)核心交換機(jī)組成，交換機(jī)采用雙機(jī)方式部署，VPN 設(shè)備以雙活模式旁路方式部署在核心交換機(jī)上，作為在公司外訪問公司業(yè)務(wù)系統(tǒng)的通道，如圖1 所示。

故障描述

VPN 設(shè)備部署完成后，在邊界墻上設(shè)置地址轉(zhuǎn)換策略通過公網(wǎng)可正常使用。在業(yè)務(wù)使用過程中，筆者發(fā)現(xiàn)接入聯(lián)通網(wǎng)絡(luò)（3G、4G、ADSL 等）的終端設(shè)備包括電腦、手機(jī)、Pad 等無法訪問VPN 的電信地址，在接入聯(lián)通網(wǎng)絡(luò)的設(shè)備上對(duì)電信公網(wǎng)地址進(jìn)行Ping 測(cè)試發(fā)現(xiàn)不通，路由測(cè)試也不可達(dá)，如圖2 所示。

同時(shí)通過對(duì)邊界防火墻的抓包發(fā)現(xiàn)，在聯(lián)通公網(wǎng)訪問此電信公網(wǎng)地址時(shí)防火墻上相應(yīng)端口抓包并無相關(guān)數(shù)據(jù)流量。因此，筆者初步判定運(yùn)營(yíng)商間互聯(lián)互通有問題，此后協(xié)調(diào)聯(lián)通和電信兩家運(yùn)行商一起對(duì)故障進(jìn)行了排查。

圖1 網(wǎng)絡(luò)出口拓?fù)鋱D

1.聯(lián)通運(yùn)營(yíng)商故障排查

登錄聯(lián)通的網(wǎng)管的局端設(shè)備進(jìn)行查看，可以看到去往目的地址106.38.72.49的下一跳為202.97.32.120，如圖3 所示。

通過地址排查，可以看出從202.97.32.120 已進(jìn)入電信網(wǎng)內(nèi)，區(qū)域?yàn)锳S 4134，如圖4 所示。

繼續(xù)對(duì)電信設(shè)備地址202.97.32.120 進(jìn)行Ping 包測(cè)試，在發(fā)送500 個(gè)數(shù)據(jù)包不丟包后，可以判斷數(shù)據(jù)包已到達(dá)電信網(wǎng)內(nèi)。

2.電信運(yùn)營(yíng)商故障排查

經(jīng)聯(lián)通確認(rèn)斷點(diǎn)202.97.57.101 下一跳進(jìn)入北京電信城域網(wǎng)，在電信的斷點(diǎn)路由器上運(yùn)行trace 命令對(duì)106.38.72.49 進(jìn)行測(cè)試。查看斷點(diǎn)下一跳已進(jìn)入互聯(lián)網(wǎng)出口專線的網(wǎng)內(nèi)，如圖5 所示。由此可以判斷電信網(wǎng)內(nèi)路由正常。

通過以上排查可以判斷運(yùn)營(yíng)商的ISP 路由沒有問題，數(shù)據(jù)的流向從聯(lián)通到電信是有路由可達(dá)，但實(shí)際數(shù)據(jù)卻無法訪問。因此需要進(jìn)一步查看設(shè)備的回程路由是否正確，即從VPN 返回的數(shù)據(jù)包是否正確的從電信網(wǎng)絡(luò)到達(dá)聯(lián)通網(wǎng)絡(luò)。

圖2 路由跟蹤圖

圖3 聯(lián)通局端設(shè)備路由跟蹤圖

圖4 聯(lián)通跨越電信路由跟蹤圖

圖5 電信設(shè)備路由跟蹤圖

圖6 防火墻地址轉(zhuǎn)換日志圖

3.邊界防火墻排查

由于單位所使用的VPN在功能上無法進(jìn)行回包測(cè)試，同時(shí)屬于生產(chǎn)業(yè)務(wù)系統(tǒng)，不能進(jìn)行斷路測(cè)試。

因此，為了進(jìn)一步確認(rèn)問題，筆者用筆記本電腦搭建測(cè)試環(huán)境，將筆記本旁路部署在核心交換機(jī)上，分配內(nèi)網(wǎng)地址100.100.1.14，在出口防火墻上做地址轉(zhuǎn)換，轉(zhuǎn)換為公網(wǎng)地址106.38.72.51。此時(shí)在防火墻上能查看到目的地址轉(zhuǎn)換的記錄，說明已有數(shù)據(jù)包到達(dá)防火墻，如圖6 所示。

在筆記本上對(duì)目標(biāo)聯(lián)通地址進(jìn)行路由測(cè)試，發(fā)現(xiàn)訪問聯(lián)通的地址數(shù)據(jù)包直接從聯(lián)通的出口發(fā)出，訪問電信的地址數(shù)據(jù)包直接就從電信的出口發(fā)出，因此無法直接模擬從電信跨越聯(lián)通的回程路由。

圖7 防火墻數(shù)據(jù)出入抓包圖

筆者由此聯(lián)想到是不是也是同樣的原因?qū)е铝藬?shù)據(jù)回包不對(duì)而造成網(wǎng)絡(luò)訪問不通。為了進(jìn)一步驗(yàn)證，筆者在防火墻出口上進(jìn)行抓包，發(fā)現(xiàn)了問題所在：從聯(lián)通訪問電信公網(wǎng)地址的數(shù)據(jù)來包在eth0/1 口進(jìn)入（電信出口），但回包在eth0/3 口上（聯(lián)通出口），如圖7 所示。

解決方案

最終確認(rèn)問題是由于數(shù)據(jù)包的進(jìn)出口不一致導(dǎo)致，因此筆者在防火墻的配置上取消逆向路由設(shè)置，問題得以解決。

防火墻設(shè)備會(huì)話表會(huì)保存會(huì)話信息，并根據(jù)會(huì)話表進(jìn)行包轉(zhuǎn)發(fā)及安全控制。如果開啟了逆向路由功能則返回的會(huì)話進(jìn)入防火墻路由查找模塊后需要查返回會(huì)話發(fā)起的源地址的路由，如策略路由、ISP 路由、目的路由等。此案例中根據(jù)ISP 路由查到從eth0/3 路由出去，則該返回會(huì)話就會(huì)從eth0/3 出去，如果沒有查到，再按照原路返回，即從eth0/1 轉(zhuǎn)發(fā)出去。如果關(guān)閉逆向路由功能則返回會(huì)話不進(jìn)行路由查詢，直接按照會(huì)話發(fā)起的原始方向進(jìn)行返回，即從eth0/1 轉(zhuǎn)發(fā)出去。因此在取消了逆向路由后，數(shù)據(jù)包的回包直接從進(jìn)入的端口返回，這樣就解決了數(shù)據(jù)包的出入端口不一致而導(dǎo)致的網(wǎng)絡(luò)不通的問題。

思考與建議

隨著單位信息化的逐步深入，如何發(fā)現(xiàn)、定位并快速解決網(wǎng)絡(luò)故障尤為重要。因此首先需要確定網(wǎng)絡(luò)故障點(diǎn)，恢復(fù)網(wǎng)絡(luò)的正常運(yùn)行；然后發(fā)現(xiàn)網(wǎng)絡(luò)規(guī)劃和配置中的欠佳之處，改善優(yōu)化網(wǎng)絡(luò)性能；最后觀察網(wǎng)絡(luò)的運(yùn)行狀況，及時(shí)預(yù)測(cè)網(wǎng)絡(luò)通信質(zhì)量。

對(duì)于企業(yè)網(wǎng)絡(luò)故障問題的排查解決，筆者提出以下建議：

對(duì)于可能出現(xiàn)的故障，應(yīng)堅(jiān)持每天例行巡檢制度。相關(guān)巡檢人員反饋巡檢結(jié)果，對(duì)當(dāng)前的狀態(tài)進(jìn)行記錄，對(duì)未來可能發(fā)生的問題進(jìn)行預(yù)測(cè)。

每周重要時(shí)段負(fù)責(zé)系統(tǒng)與負(fù)責(zé)網(wǎng)絡(luò)的相關(guān)人員同時(shí)巡檢，以便遇到故障時(shí)及時(shí)協(xié)調(diào)處理。

積累運(yùn)維經(jīng)驗(yàn)。單個(gè)系統(tǒng)遇訪問故障，重點(diǎn)巡查系統(tǒng)本身及其所在服務(wù)器；全局性問題時(shí)重點(diǎn)排查交換機(jī)、防火墻等網(wǎng)絡(luò)和安全設(shè)備。

建立知識(shí)共享機(jī)制。網(wǎng)絡(luò)設(shè)備、服務(wù)器等相關(guān)設(shè)備和系統(tǒng)的簡(jiǎn)易操作進(jìn)行共享，便于及時(shí)診斷故障。

建立與設(shè)備廠商的溝通聯(lián)絡(luò)機(jī)制。運(yùn)維人員由于自身的局限性，對(duì)于設(shè)備較為底層的深入操作并不太深入，有時(shí)需要廠商介入指導(dǎo)，可以針對(duì)緊急情況進(jìn)行協(xié)調(diào)處理，減少故障恢復(fù)時(shí)間。

建立短信告警機(jī)制，維護(hù)運(yùn)維人員名單，導(dǎo)入短信發(fā)布模板，遇信息系統(tǒng)故障時(shí)及時(shí)向受影響的用戶發(fā)布通知。

部署網(wǎng)絡(luò)監(jiān)控系統(tǒng)，針對(duì)網(wǎng)絡(luò)出現(xiàn)的故障能及時(shí)報(bào)警，為排查解決問題爭(zhēng)取寶貴時(shí)間

建立良好的運(yùn)營(yíng)商關(guān)系。有些互聯(lián)網(wǎng)故障需要電信運(yùn)營(yíng)商共同解決，而電信運(yùn)營(yíng)商所管轄網(wǎng)絡(luò)運(yùn)維人員有時(shí)并不一定了解，因此在出現(xiàn)故障時(shí)可以及時(shí)與運(yùn)營(yíng)商一起針對(duì)業(yè)務(wù)進(jìn)行排查，而不至于出現(xiàn)盲區(qū)。

結(jié)語

企業(yè)信息化越來越深入，所涉及的應(yīng)用系統(tǒng)和管理的網(wǎng)絡(luò)也會(huì)越來越多，建立故障處置機(jī)制以及規(guī)范網(wǎng)絡(luò)建設(shè)尤為重要。

從技術(shù)上來講，公司應(yīng)當(dāng)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)展網(wǎng)絡(luò)帶寬，更換核心網(wǎng)絡(luò)設(shè)備；構(gòu)建信息安全縱深防御，加強(qiáng)網(wǎng)絡(luò)安全防護(hù)技術(shù)手段；優(yōu)化在公網(wǎng)環(huán)境下的便攜式計(jì)算機(jī)使用方式；構(gòu)建基于公鑰基礎(chǔ)密碼設(shè)施，部署VPN 系統(tǒng)等，建立安全防護(hù)體系；逐步按照國家信息安全相關(guān)法規(guī)、標(biāo)準(zhǔn)，對(duì)系統(tǒng)進(jìn)行定級(jí)、備案、改造、測(cè)評(píng)和整改。在此基礎(chǔ)上，建立信息化故障響應(yīng)處理機(jī)制，確保信息化系統(tǒng)高效而安全的運(yùn)行。

從管理上來講，對(duì)照技術(shù)建設(shè)情況，構(gòu)建符合標(biāo)準(zhǔn)要求和實(shí)際管理需要的網(wǎng)絡(luò)與信息安全保障體系，編制并出臺(tái)信息安全等級(jí)保護(hù)頂層制度和安全防護(hù)策略文件；逐步建立應(yīng)用系統(tǒng)、基礎(chǔ)設(shè)施、信息安全、應(yīng)急處置等多層次的管理細(xì)則，完善信息化運(yùn)行維護(hù)管理體系，落實(shí)定期演練要求，滿足網(wǎng)絡(luò)運(yùn)行基本要求。