處理交換機端口故障

引言： 近期，單位的局域網(wǎng)出現(xiàn)兩個樓層辦公室無法訪問網(wǎng)絡(luò)的現(xiàn)象，經(jīng)過排查，是因為交換機端口出現(xiàn)errdisable故障，導(dǎo)致端口不能正常工作。這種故障不是常見的網(wǎng)絡(luò)故障，因此排除故障需要針對具體情況來處理。

故障現(xiàn)象

周一上班時，正是網(wǎng)絡(luò)使用高峰時段，有兩個樓層的辦公室人員反映上不了網(wǎng)。通過Ping兩個樓層的交換機管理地址，不通。到現(xiàn)場檢查，這兩個樓層的其他設(shè)備工作正常，故障樓層各有一臺交換機上聯(lián)的光端口指示燈熄滅，懷疑近期單位安裝樓道監(jiān)控設(shè)備，在施工時不小心將機柜中光纖配線架上其中的一對光纖扯斷，導(dǎo)致中心機房到樓層的光纖線路中斷，或是因為光模塊故障，導(dǎo)致設(shè)備上聯(lián)鏈路不通，與此相連的終端無法訪問局域網(wǎng)。

由于是網(wǎng)絡(luò)使用高峰時間，必須盡快使網(wǎng)絡(luò)恢復(fù)暢通。筆者采用了應(yīng)急的辦法，到現(xiàn)場用網(wǎng)線或Console線登錄到故障交換機，將其中一個以太網(wǎng)端口設(shè)為Trunk口作為上聯(lián)端口，將原來的上聯(lián)光模塊的端口Shutdown防止環(huán)路產(chǎn)生，并將同一樓層的另一臺正常上網(wǎng)交換機其中一個以太網(wǎng)端口設(shè)為Trunk口，兩個端口用一根網(wǎng)線連接，將故障交換機的業(yè)務(wù)流量合并到另外一臺交換機上，訪問局域網(wǎng)。另外一個樓層也采取同樣方法，設(shè)定好以后，兩個樓層辦公室都能正常上網(wǎng)。

圖1 端口故障

隨后，請專業(yè)的光纖施工人員到現(xiàn)場檢查光纖，從中心機房的光纖配線架到故障樓層機柜的光纖配線架，找出故障的一對光纖。這是一對多模光纖，跳線為62.5/125 3M ST-SC光纖,通過一邊打光，另一端用肉眼能看到對端發(fā)過來的光，測量光衰為15.4db，屬正常。樓層交換機光模塊是Cisco的GLC-SX-MM的SFP模塊，波長850NM,傳輸距離550m，用備份同型號光模塊替換后，在非生產(chǎn)時間打開交換機端口測試，故障依舊。初步可以排除中心機房至樓層配線間的光纖線路問題和樓層交換機及上聯(lián)光模塊問題。

到中心機房核心交換機處，檢查連接以上兩個故障樓層的光纖連接的交換機端口，發(fā)現(xiàn)這兩個端口 為tenGigabitEthernet 2/2/5和tenGigabit Ethernet2/2/6，它們都在同一個交換機模塊上（Cisco DCEF2T4port 40GE/16 port 10GE WS-X6904-40G），端口指示燈顯示橙色，而連接其他樓層交換機的端口指示燈為綠色，說明這兩個交換機端口處于errdisable狀態(tài)（如圖 1）。

故障分析

通過查閱資料，交換機端口出現(xiàn)errdisable有以下幾個常見的原因：

1.Ether Channelmisconfiguration，當(dāng)FEC兩端配置不匹配的時候就會出現(xiàn)err-disable。假設(shè)一端交換機把FEC模式配置為on，這時它不會發(fā)送PAgP包和相連的另一臺交換機去協(xié)商FEC的，如果另一臺交換機沒有配置FEC，當(dāng)超過1分鐘后，這臺交換機的STP就認(rèn)為有環(huán)路出現(xiàn)，因此也就出現(xiàn)了err-disable。解決辦法是，把FEC的模式配置為channel-group1mode desirable non-silent，這個意思是只有當(dāng)雙方的FEC協(xié)商成功后才建立channel，否則接口還處于正常狀態(tài)。

2.Duplex mismatch，就是由于兩端雙工模式不匹配，導(dǎo)致鏈路errdisable。解決方法是，將兩端設(shè)置雙工模式一致，如都設(shè)成fullduplex。

3.BPDU port guard。與portfast和BPDU guard有關(guān)。如果一個接口配置了portfast，那也就是說這個接口應(yīng)該和一個PC連接，PC是不會發(fā)送spanningtree的BPDU幀，管理員又在同一接口上配置了BPDU guard來防止未知的BPDU幀以增強安全性，如果把一臺交換機接到這個同時配置了portfast和BPDU guard接口上，于是這個接口接到了BPDU幀，因為配置了BPDU guard，這個接口自然要進(jìn)入到err-disable狀態(tài)。解決辦法是 ：no spanningtree portfast bpduguard default，或者直接把portfast關(guān)掉。

4.UDLD UDLD是Cisco的私有二層協(xié)議，用于監(jiān)聽利用光纖或雙絞線連接的以太鏈路的物理配置，當(dāng)出現(xiàn)單向鏈路（只能向一個方向傳輸，比如我能把數(shù)據(jù)發(fā)給對端，對端也能收到，但是對端發(fā)給我的數(shù)據(jù)收不到）時，UDLD可以檢測出這一狀況，關(guān)閉相應(yīng)接口并發(fā)送警告信息。當(dāng)AB兩端都配置好UDLD后，A給B發(fā)送一個包含自己port id的UDLD幀，B收到后會返回一個UDLD幀，并在其中包含了收到的A的port id，當(dāng)A接收到這個幀并發(fā)現(xiàn)自己的port id也在其中后，認(rèn)為這鏈路是好的。反之就變成err-disable狀態(tài)了。假設(shè)A配置了UDLD，而B沒有配置UDLD：A給B發(fā)送一個包含自己 port id的幀，B收到后并不知道這個幀是什么，也就不會返回一個包含A的port id的UDLD幀，那么這時候A就認(rèn)為這條鏈路是一個單向鏈路，自然也就變成errdisable狀態(tài)了。

5.Link-flap error就是鏈路的抖動，當(dāng)鏈路在10秒內(nèi)反復(fù)Up、Down五次，那么就進(jìn)入err-disable狀態(tài)。

6.Loopback error在12.1EA之前，默認(rèn)情況下交換機會在所有接口都發(fā)送keepalive信息，如果一個接口又收到了自己發(fā)出的keepalive，說明存在環(huán)路，這個接口就會變成errdisable了。解決辦法是，把keepalive關(guān)掉，或者把iOS升到12.2SE。

7.Portsecurity violation Cisco port security violation有三種模式：(1)protect(2)restrict(3)shutdown，前兩種模式只丟棄違規(guī)的數(shù)據(jù)流量，不違規(guī)的正常轉(zhuǎn)發(fā)，shutdown是默認(rèn)模式，當(dāng)違規(guī)時，將接口變成error-disabled并shut down，并且接口指示燈會關(guān)閉，也 會發(fā) SNMP trap，并會記錄syslog。如果端口errdisable，就是由于配置了port-security violation shutdown。

發(fā)生端口errdisable后，可以通過show interfaces status err-disabled查找產(chǎn)生的具體原因，比如是loopback造成的，在排除環(huán)路后，可在配置模式下errdisable recovery cause loopback，恢復(fù)時間一般為300秒，不用重啟交換機的情況下，使交換機端口恢復(fù)到正常狀態(tài)。

但是，當(dāng)輸入命令sh interface status errdisabled時，顯示兩個端口故障原因是diagnostics（如圖2），不能使用命令errdisable recovery cause ？來恢復(fù)端口，輸入命令sh logging查看日志，結(jié)果顯示有兩個端口進(jìn)入errdisable狀態(tài)，再輸入命令sh diagnostic result switch all failure detail和 sh module switch 2，結(jié)果如圖3所示。

圖2 err-disable原因及系統(tǒng)日志

圖3 診斷信息

由此可見，由于兩臺Mar 05 2017 17:08:28做TestPortTxMonitoring在線監(jiān)測時，由于switch2module 2（DCEF2T4port 40GE/16 port 10GE），其中switch2的WS-X6904-40G模塊硬件故障，導(dǎo)致Switch2Module 2的Te2/2/5和Te2/2/6端口測試首次失敗。在連續(xù)進(jìn)行了5次測試都失敗后，系統(tǒng)將Te2/2/5和Te2/2/6兩端口設(shè)成errdisable狀態(tài)。Cisco 6506E組成一個VSS虛擬交換機系統(tǒng)，系統(tǒng)于

圖4 修復(fù)后VSS狀態(tài)

故障解決

知道了故障產(chǎn)生的原因后，問題就迎刃而解。分別進(jìn)入核心交換機tenGigabitEthernet 2/2/5和tenGigabitEthernet 2/2/6接口，在接口配置模式下，shut，no shut，然后輸入命令 ：sh interface status err-disabled，發(fā)現(xiàn)沒有端口處于errdisable狀態(tài)了，輸入sh diagnostic result switch2module2failure，結(jié)果顯示 PASS，輸入 sh module switch 2，結(jié)果顯示switch2的模塊1、2、5的在線診斷狀態(tài)均為Pass（如圖4），說明模塊和端口故障解除。當(dāng)樓層交換機上聯(lián)光端口no shut恢復(fù)后，發(fā)現(xiàn)在核心交換機端仍然不能Ping通樓層交換機管理地址，于是將核心交換機重啟，問題徹底解決，核心及兩個故障的樓層交換機均能正常通信。

經(jīng)驗總結(jié)

出現(xiàn)交換機端口errdisable狀態(tài)時，不能按照常規(guī)思路去排查問題，而要從實際情況入手，查明原因，再排除故障。上面一例既不是因為網(wǎng)絡(luò)中出現(xiàn)環(huán)路，也不是因為端口抖動等原因?qū)е耬rrdisable，如果一味地查找網(wǎng)絡(luò)有無環(huán)路，或有無抖動，就會誤入歧途。要充分利用Cisco設(shè)備提供的sh命令和日志功能查找故障原因，做到有的放矢，針對不同的故障采取不同的辦法，使問題盡快解決。