一起網(wǎng)絡(luò)故障的處理與分析

一、故障分析及處理

現(xiàn)象為信息網(wǎng)絡(luò)出現(xiàn)多次網(wǎng)絡(luò)規(guī)律性反復(fù)閃斷故障，而且影響面較廣:互聯(lián)網(wǎng)、辦公自動化系統(tǒng)、生產(chǎn)MIS系統(tǒng)網(wǎng)絡(luò)通訊故障，有時一天內(nèi)中斷數(shù)十次;其他應(yīng)用系統(tǒng)，如可靠性管理、投資統(tǒng)計等系統(tǒng)也被涉及，對于我公司生產(chǎn)經(jīng)營工作造成了嚴重的影響。

總結(jié)這次網(wǎng)絡(luò)故障，有以下幾個特征：

第一，規(guī)律性。上班時段每10分鐘左右出現(xiàn)一次，下班時間則很少出現(xiàn)。

第二，反復(fù)性。如果重起中心交換機可以保持短時正常，然后重新出現(xiàn)該故障。

第三，短時性。每次中斷10秒～60秒自動恢復(fù)。

第四，分時性。因特網(wǎng)和內(nèi)網(wǎng)不同時中斷，各個應(yīng)用系統(tǒng)也不同時中斷。

我們最先發(fā)現(xiàn)的是因特網(wǎng)的定時中斷，首先懷疑是我公司互聯(lián)網(wǎng)防火墻出現(xiàn)故障，采用排除法進行排除，更換為一臺備用防火墻后故障現(xiàn)象仍然出現(xiàn)，于是懷疑是移動公司設(shè)備故障（我們的因特網(wǎng)使用河南移動公司服務(wù)，曾經(jīng)出現(xiàn)過因他們設(shè)備故障因特網(wǎng)不通），經(jīng)過和移動公司協(xié)調(diào)，檢查后移動公司方設(shè)備無故障，我們就用一臺計算機直接接到因特網(wǎng)入口上，發(fā)現(xiàn)因特網(wǎng)的定時中斷現(xiàn)象解除，于是首先排除了互聯(lián)網(wǎng)設(shè)備的因素。

其次，基層部門反映生產(chǎn)MIS總是不定時中斷，頻繁的時候十幾分鐘就中斷一李小永 張 嵐 河南省電力公司平頂山供電公司 次，調(diào)度值班記錄、工作票系統(tǒng)提示發(fā)生通訊故障，我們懷疑是內(nèi)部交換機故障，就要求運行工區(qū)、調(diào)度中心進行配合，共同調(diào)查故障現(xiàn)象發(fā)生時間和頻率，變電站反映下班時間網(wǎng)絡(luò)很穩(wěn)定，上班時間中斷厲害，因此我們懷疑是中心交換機處理能力不夠，但是經(jīng)過我們測試，中心交換機CPU板負荷很小。于是我們就向兩個方面懷疑：第一是中心交換機CPU板故障；第二是新上的財務(wù)FMIS系統(tǒng)用的VPN網(wǎng)絡(luò)設(shè)備干擾了我們網(wǎng)絡(luò)的正常運行。將財務(wù)FMIS斷開后，運行一個工作日之后，故障現(xiàn)象仍然出現(xiàn)，判斷該故障與FMIS無關(guān)。于是懷疑中心交換機CPU板故障。由于故障原因不明，一塊中心交換機CPU板費用又太貴（約6萬元），我們不能貿(mào)然購買，經(jīng)過和設(shè)備提供商多次協(xié)商，同意借一塊CPU板給我們測試，一周后收到CPU板，我們馬上進行替換，但是在十幾分鐘后故障現(xiàn)象再次出現(xiàn)。

后來在網(wǎng)絡(luò)維護工程師的幫助下，通過分析主交換機的計算機用戶地址列表，發(fā)現(xiàn)有幾臺計算機頻繁的循環(huán)占用，出現(xiàn)一個MAC對應(yīng)多個IP地址的現(xiàn)象。在主網(wǎng)段發(fā)現(xiàn)兩臺這樣的計算機，循環(huán)占用各個服務(wù)器和交換機、防火墻的地址，造成這些設(shè)備不定期的網(wǎng)絡(luò)通訊故障，并且經(jīng)確定為感染病毒所致。

我們通過MAC地址找到這兩臺感染病毒的計算機，將計算機和網(wǎng)絡(luò)斷開后，網(wǎng)絡(luò)立即恢復(fù)正常。我們根據(jù)MAC地址依次找到其他有問題的計算機，處理后網(wǎng)絡(luò)恢復(fù)正常。經(jīng)過查詢所知病毒名稱為：“網(wǎng)絡(luò)傳奇殺手（Trojan.PSW.LMir.qh）”病毒。

二、網(wǎng)吧傳奇殺手（Trojan.PSW.LMir.qh）”病毒分析

1.“網(wǎng)吧傳奇殺手“木馬病毒工作過程

“網(wǎng)吧傳奇殺手”病毒工作時，首先在將安裝有“網(wǎng)吧傳奇殺手”機器的網(wǎng)卡MAC地址通過Arp欺騙廣播至整個局域網(wǎng)，使局域網(wǎng)中的工作站誤認為安裝“網(wǎng)吧傳奇殺手”的機器是該局域網(wǎng)的網(wǎng)關(guān)。由于局域網(wǎng)中的所有信息，都必須通過網(wǎng)關(guān)來中轉(zhuǎn)，當網(wǎng)絡(luò)有此病毒在運行時，就造成了網(wǎng)絡(luò)故障。

2.“網(wǎng)吧傳奇殺手”木馬病毒發(fā)作特征

(1)網(wǎng)絡(luò)連接短暫中斷。當“網(wǎng)吧傳奇殺手”病毒發(fā)作時，網(wǎng)絡(luò)所有的機器由于失去了真正的網(wǎng)關(guān)地址，網(wǎng)絡(luò)連接會出現(xiàn)短暫中斷，當病毒搜集《傳奇2》玩家信息操作完成后，網(wǎng)絡(luò)便恢復(fù)正常。網(wǎng)絡(luò)中斷時間，一般會在30秒到幾分鐘之間，持續(xù)時間不會太長。

(2)網(wǎng)絡(luò)中出現(xiàn)相同的MAC地址。病毒發(fā)作時，使用“IPbook超級網(wǎng)上鄰居”、“網(wǎng)絡(luò)過濾王實名制管理軟件”等網(wǎng)絡(luò)管理軟件查看網(wǎng)絡(luò)時，會發(fā)現(xiàn)局域網(wǎng)中存在著相同的MAC地址。如果有多臺機器安裝了“網(wǎng)吧傳奇殺手”木馬病毒，局域網(wǎng)中則會出現(xiàn)不同的IP地址中卻存在相同的MAC地址。

三、經(jīng)驗教訓(xùn)

通過本次網(wǎng)絡(luò)故障及處理的過程，我們總結(jié)以下幾點經(jīng)驗教訓(xùn):

1.對于各網(wǎng)絡(luò)用戶，提請注意以下問題

(1)加強網(wǎng)絡(luò)安全管理，建立健全防病毒安全系統(tǒng)。經(jīng)檢查發(fā)現(xiàn)，造成這次網(wǎng)絡(luò)故障的幾臺計算機，都沒有按照公司要求安“趨勢”防病毒系統(tǒng)，造成了系統(tǒng)病毒感染。同時對于已安裝防病毒系統(tǒng)的計算機，應(yīng)及時對操作系統(tǒng)進行補丁升級，避免因系統(tǒng)漏洞給類似病毒以可乘之機。

(2)加強互聯(lián)網(wǎng)應(yīng)用的監(jiān)控和管理。造成這次網(wǎng)絡(luò)故障的病毒——“網(wǎng)吧傳奇殺手”是專門針對網(wǎng)絡(luò)游戲“傳奇”而攻擊系統(tǒng)的病毒，因此增設(shè)了互聯(lián)網(wǎng)日志管理系統(tǒng)，屏蔽掉網(wǎng)絡(luò)游戲、流媒體播放等安全隱患大、流量高的訪問，盡量避免訪問易感染病毒的游戲網(wǎng)站等，避免對我們的網(wǎng)絡(luò)安全造成隱患。

2.信息管理部門需進一步改進的工作

(1)把重要的服務(wù)器IP地址和MAC地址綁定，使其他計算機不能夠占用。

(2)應(yīng)建立互聯(lián)網(wǎng)訪問日志管理系統(tǒng)，加強對互聯(lián)網(wǎng)使用的監(jiān)控和管理，并制定相應(yīng)的規(guī)章制度，對互聯(lián)網(wǎng)使用進行規(guī)范管理，避免類似情況的發(fā)生。

(3)合理規(guī)劃網(wǎng)絡(luò)，盡量避免因PC機故障影響網(wǎng)絡(luò)運行。

我公司中心交換機使用的是北電網(wǎng)絡(luò)的passpor8610，按二級交換劃分了多個VLAN，使用靜態(tài)IP，主交換機、服務(wù)器和重要部門設(shè)在一個網(wǎng)段。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

造成這次網(wǎng)絡(luò)故障的幾臺PC機都位于信息網(wǎng)絡(luò)主網(wǎng)段（圖中紅色部分），而重要的服務(wù)器和交換機都在這個網(wǎng)段，由于目前主交換機光纖口已經(jīng)用完，因此這個網(wǎng)段計算機較多，也形成了安全隱患。計劃對主交換機進行擴容，增加千兆光纖口，屆時可將部分PC機調(diào)整出主網(wǎng)段，將服務(wù)器和交換機等核心設(shè)備規(guī)劃到獨立網(wǎng)段，以避免類似情況發(fā)生，其他計算機按機構(gòu)劃分一些虛網(wǎng)，減少主網(wǎng)設(shè)備數(shù)量，降低故障率，出現(xiàn)網(wǎng)絡(luò)故障時候，也比較容易查找故障設(shè)備。