回溯分析追查網(wǎng)絡卡頓

故障現(xiàn)象

筆者單位自搬遷以來，網(wǎng)絡有時會出現(xiàn)卡頓，癥狀下午尤其明顯。具體表現(xiàn)是，訪問網(wǎng)站出現(xiàn)卡慢現(xiàn)象，但卡頓時間并不長，最多持續(xù)兩分鐘。單位網(wǎng)絡拓撲結構如圖1所示。

網(wǎng)絡測試

經(jīng)過仔細思考，決定采取以下三種方法進行網(wǎng)絡測試：

1.使用Ping包測試

在網(wǎng)絡出現(xiàn)卡頓情況下Ping終端網(wǎng)關地址，比如終端的IP是192.168.10.3，那 就 ping 192.168.10.254，看 網(wǎng) 絡會不會丟包。經(jīng)過測試，網(wǎng)絡不丟包。

2.抓包測試

核心三層交換機進行抓包，未發(fā)現(xiàn)異常情況。

3.部署網(wǎng)絡回溯分析系統(tǒng)測試

圖1 單位辦公網(wǎng)絡拓撲圖

圖2 網(wǎng)絡回溯系統(tǒng)部署示意圖

由于網(wǎng)絡中缺少了可以對網(wǎng)絡直觀分析的設備，同時也有懷疑網(wǎng)絡安全設備（比如內(nèi)網(wǎng)核心三層交換機、防火墻）的網(wǎng)絡瓶頸問題，于是決定使用網(wǎng)絡回溯分析系統(tǒng)進行部署測試分析網(wǎng)內(nèi)流量，具體部署如圖2所示。

故障分析

部署在內(nèi)外網(wǎng)的三層交換機通過鏡像端口實現(xiàn)獲取數(shù)據(jù)，在網(wǎng)絡安全管理員PC上安裝網(wǎng)絡回溯分析控制臺軟件，通過內(nèi)部網(wǎng)絡訪問回溯分析服務器，監(jiān)控和分析服務器采集到的數(shù)據(jù)。

1.鏈路流量分析

利用網(wǎng)絡回溯分析系統(tǒng)的數(shù)據(jù)回溯功能，對一周內(nèi)的流量進行統(tǒng)計。外網(wǎng)鏈路總流量為1.23TB，峰值流量為638.97Mbps；內(nèi)網(wǎng)鏈路總量流量為1.24TB，峰值流量為654.87Mbps。網(wǎng)絡帶寬利用較規(guī)律，工作日的網(wǎng)絡帶寬占用率遠高于休息日，流量趨勢規(guī)律。

2.流量可視化展現(xiàn)

網(wǎng)絡回溯系統(tǒng)提供流量可視化分析能力，能夠透視被監(jiān)控鏈路的所有流量成份，鏈路中主要的應用流量為：Web、未知UDP應用、未知TCP應 用、BitTorrent、Multimedia。

3.TOP主機流量分布

查詢具體IP的應用信息，可以查詢IP終端是因為下載或是某種異常應用占用大帶寬（如圖3）。

4.鏈路流量比對

選取相同的時間段，發(fā)現(xiàn)兩條鏈路的流量趨勢及進出網(wǎng)流量解一致，無異常流量的發(fā)生，詳情如圖4所示。

5.IP流量比對

選取相應的IP地址，數(shù)據(jù)流量在經(jīng)過防火墻前期基本一致，無異常。

6.數(shù)據(jù)包比對

通過網(wǎng)絡回溯分析功能，可詳細看到IP的其中一段數(shù)據(jù)會話完成過程，響應時間、鏈路延時過程都能得到詳細的體現(xiàn)。經(jīng)分析流量大小、帶寬速率，數(shù)據(jù)包響應時間在經(jīng)過防火墻前后一致，網(wǎng)絡訪問行為無異常。

圖3 TOP主機流量分布

圖4 鏈路流量比對

圖5 可疑通訊流量分析

7.可疑通訊流量分析

在回溯分析期間，出現(xiàn)了大量的TCP通訊異常及SYN FLOOD告警，通過對該可疑通訊進一步回溯分析，判斷該通訊行為是蠕蟲掃描攻擊（如圖5）。

經(jīng)驗及思考

1.監(jiān)控鏈路流量趨勢正常，網(wǎng)絡帶寬利用較規(guī)律，不存在長時間的網(wǎng)絡阻塞、丟包等情況。內(nèi)網(wǎng)流量組成正常，未見明顯會對網(wǎng)絡造成危害的應用。

2.網(wǎng)絡經(jīng)過防火墻前后，流量大小、帶寬速率、數(shù)據(jù)包響應時間基本一致，網(wǎng)絡訪問行為無異常。

3.網(wǎng)內(nèi)存在疑似蠕蟲掃描攻擊行為，疑似受到APT攻擊。APT攻擊的原理相對于其他攻擊形式更為高級和先進，隱蔽性高。攻擊者長期挖掘內(nèi)網(wǎng)中的受信系統(tǒng)及應用程序，并利用0day漏洞進行攻擊和侵襲行為。因單位內(nèi)使用的個人版本殺毒軟件，筆者根據(jù)提供的IP地址信息逐一進行終端處理，并擬同意購置網(wǎng)絡版防殺病毒軟件統(tǒng)一全網(wǎng)安全防護。

總之，網(wǎng)絡回溯分析系統(tǒng)是一款集成大容量存儲的高性能數(shù)據(jù)包采集和智能分析硬件平臺，可以分布部署在網(wǎng)絡的關鍵節(jié)點，實現(xiàn)了對網(wǎng)絡通訊數(shù)據(jù)包級的高性能實時智能分析。實現(xiàn)對關鍵業(yè)務系統(tǒng)中的網(wǎng)絡異常、應用性能異常和網(wǎng)絡行為異常的實時發(fā)現(xiàn)、以及異常原因的智能回溯分析，從而提升了單位對關鍵業(yè)務系統(tǒng)的運行保障能力和問題處置效率。