基于流量監(jiān)測的通信網(wǎng)故障分析技術(shù)研究

侯 浩，李偉娜，朱小朋，劉 丹

（西安衛(wèi)星測控中心，陜西 西安 710043）

0 引 言

傳統(tǒng)的網(wǎng)絡(luò)性能評估指標(biāo)[1]主要是IETF IPPM工作組定義的IP網(wǎng)絡(luò)性能指標(biāo)，包括：連通性、吞吐量、帶寬、時延、時延抖動和丟包率等，常見的指標(biāo)數(shù)據(jù)采集手段包括：基于ICMP協(xié)議的ping命令測試，可以得到連通性、時延、丟包率等指標(biāo)數(shù)據(jù)；利用網(wǎng)絡(luò)設(shè)備支持的SNMP MIB庫可得到連通性、吞吐量、帶寬等指標(biāo)數(shù)據(jù)；利用網(wǎng)絡(luò)測試儀可得到網(wǎng)絡(luò)鏈路的連通性、帶寬、丟包率、時延、抖動等指標(biāo)數(shù)據(jù)。但是，上述性能測量方法缺少對特定業(yè)務(wù)場景流量特點(diǎn)的具體分析，性能評估的粒度粗，對實(shí)際業(yè)務(wù)傳輸質(zhì)量進(jìn)行評估時的指導(dǎo)性較弱[2]。

本文從網(wǎng)絡(luò)流量特點(diǎn)出發(fā)，提取面向業(yè)務(wù)流的網(wǎng)絡(luò)性能評估指標(biāo)，采用關(guān)鍵節(jié)點(diǎn)設(shè)備的鏡像監(jiān)測網(wǎng)絡(luò)流量，通過協(xié)議分析對業(yè)務(wù)流各指標(biāo)項(xiàng)進(jìn)行監(jiān)測，進(jìn)而實(shí)現(xiàn)通信網(wǎng)絡(luò)中常見的UDP分片數(shù)據(jù)丟包、TCP高速數(shù)據(jù)速率下降等故障場景的監(jiān)測告警[3]。

1 通信網(wǎng)絡(luò)流量基線要素分析

1.1 企業(yè)通信網(wǎng)流量特點(diǎn)

目前，企業(yè)對網(wǎng)絡(luò)的穩(wěn)定性、時延、抖動等各項(xiàng)指標(biāo)要求都比較高，特別是對于一些十分重要的業(yè)務(wù)，網(wǎng)絡(luò)實(shí)時性、安全性顯得十分重要且特別突出。根據(jù)企業(yè)網(wǎng)絡(luò)運(yùn)行的狀況和業(yè)務(wù)數(shù)據(jù)，目前，大部分企業(yè)的網(wǎng)絡(luò)流量多為基于UDP的業(yè)務(wù)和基于TCP的文件傳輸類型業(yè)務(wù)?；赨DP和TCP的業(yè)務(wù)，根據(jù)其工作原理和收發(fā)數(shù)據(jù)的機(jī)制來看，其網(wǎng)絡(luò)流量類型都會表現(xiàn)出較強(qiáng)的規(guī)律性，使我們有章可循，能夠通過發(fā)現(xiàn)內(nèi)在規(guī)律判斷網(wǎng)絡(luò)的實(shí)時運(yùn)行狀況。目前，由于市場上企業(yè)類型的不同，網(wǎng)絡(luò)要求也不同，企業(yè)通信網(wǎng)絡(luò)流量監(jiān)測的監(jiān)視點(diǎn)、數(shù)據(jù)流顆粒度、業(yè)務(wù)測試內(nèi)容和應(yīng)用要求等方面關(guān)注點(diǎn)差異比較大，常規(guī)的網(wǎng)絡(luò)性能評估指標(biāo)對企業(yè)業(yè)務(wù)數(shù)據(jù)而言顆粒度過粗，如何精確、精細(xì)識別，需要我們一步研究[4]。

通過查詢文獻(xiàn)，邵國林等人研究提出了基于統(tǒng)計(jì)的流量結(jié)構(gòu)的定義以及流量結(jié)構(gòu)穩(wěn)定性的相關(guān)描述，值得借鑒流量結(jié)構(gòu)一定期間網(wǎng)絡(luò)流量各屬性值的大小、規(guī)模、分布及變化的綜合狀態(tài)，說明網(wǎng)絡(luò)流量在特定時間內(nèi)的統(tǒng)計(jì)特性和綜合表現(xiàn)情況。流量和結(jié)構(gòu)主要包括兩層含義：各流量屬性以及各屬性的構(gòu)成關(guān)系，對特定時間窗口內(nèi)的流量統(tǒng)計(jì)屬性進(jìn)行描述，綜合各屬性值以及各屬性在系統(tǒng)中的構(gòu)成（所占比重）。流量結(jié)構(gòu)穩(wěn)定性，是對于一定時期網(wǎng)絡(luò)流量結(jié)構(gòu)的變動程度的刻畫，表現(xiàn)了網(wǎng)絡(luò)流量層面的穩(wěn)定情況。該思路為我們提供了解決問題的辦法[5]。

本文通過分析企業(yè)通信網(wǎng)絡(luò)內(nèi)業(yè)務(wù)的白名單，并利用基于時間序列的流量統(tǒng)計(jì)方法，對通信網(wǎng)內(nèi)業(yè)務(wù)通信流量進(jìn)行抓包監(jiān)測，可發(fā)現(xiàn)其網(wǎng)絡(luò)流量具有流量結(jié)構(gòu)穩(wěn)定性的屬性，具體表現(xiàn)為數(shù)據(jù)包的包長分布、平均速率、TTL分布、端口分布、協(xié)議分布等方面，可據(jù)此構(gòu)建網(wǎng)絡(luò)基線[6]。

1.2 網(wǎng)絡(luò)流量基線要素分析

網(wǎng)絡(luò)基線包含來自不同終端設(shè)備的流量樣本及統(tǒng)計(jì)屬性，梳理網(wǎng)絡(luò)流量白名單，構(gòu)建網(wǎng)絡(luò)流量基線，進(jìn)而獲得網(wǎng)絡(luò)上每個設(shè)備節(jié)點(diǎn)的整體流量快照，在網(wǎng)絡(luò)或設(shè)備工作不正常時作為比較的基準(zhǔn)，成為監(jiān)測網(wǎng)絡(luò)故障的重要支撐數(shù)據(jù)[7]。

（1）使用的協(xié)議

在出口路由器上捕獲網(wǎng)段所有設(shè)備的流量，對照流量白名單，分析是否缺少本應(yīng)出現(xiàn)的協(xié)議，或者網(wǎng)絡(luò)上是否出現(xiàn)了新的協(xié)議，從而發(fā)現(xiàn)高于正常數(shù)量的特定類型的流量。

（2）身份驗(yàn)證序列

各類應(yīng)用程序的協(xié)議交互中，通常包括任意客戶端到所有服務(wù)的身份驗(yàn)證過程的流量，比如Web應(yīng)用程序、C/S消息交互軟件，身份驗(yàn)證過程中通常包括豐富的通信參數(shù)協(xié)商信息，可用于協(xié)助定位該驗(yàn)證過程是否是通信緩慢的原因。

（3）數(shù)據(jù)傳輸率

在網(wǎng)絡(luò)節(jié)點(diǎn)位置測量發(fā)送/接收的業(yè)務(wù)傳輸流量數(shù)據(jù)，確定傳輸速率和連接的一致性，每當(dāng)在網(wǎng)段上建立或拆除連接速度很慢時，可以運(yùn)行與基線同樣的數(shù)據(jù)并比較結(jié)果，用于協(xié)助定位通信緩慢的原因。

（4）關(guān)聯(lián)/依賴關(guān)系

通過特定場景的流量捕獲構(gòu)建網(wǎng)絡(luò)基線，梳理各終端的業(yè)務(wù)關(guān)聯(lián)/依賴關(guān)系，以及同一業(yè)務(wù)流上不同數(shù)據(jù)包的關(guān)聯(lián)關(guān)系，利用關(guān)聯(lián)關(guān)系基線協(xié)助定位終端引起的網(wǎng)絡(luò)性能問題[8]。

2 面向業(yè)務(wù)層傳輸性能監(jiān)測指標(biāo)體系

2.1 網(wǎng)絡(luò)性能指標(biāo)體系構(gòu)建

2.1.1 基于五元組的業(yè)務(wù)流描述

TCP和UDP流的定義可用如下定義進(jìn)行描述。

定義1 擁有相同的四元組（源地址、目的地址、源端口、目的端口）的一系列在一定超時時間內(nèi)（Ns）連續(xù)到達(dá)的TCP數(shù)據(jù)包，或以建立連接、斷開連接為標(biāo)記的區(qū)間時段內(nèi)，稱為一個TCP流。

定義2 在兩個終端之間且擁有相同端口號的一系列在一定超時時間內(nèi)（Ns）連續(xù)到達(dá)的UDP數(shù)據(jù)包，或以應(yīng)用層開始、結(jié)束字段為標(biāo)志的區(qū)間時段內(nèi)，稱為一個UDP流。

根據(jù)網(wǎng)絡(luò)的業(yè)務(wù)傳輸特性，TCP流可以取建立連接、斷開連接為標(biāo)記的區(qū)間時段內(nèi)的TCP數(shù)據(jù)包，UDP流可以取應(yīng)用層開始、結(jié)束字段為標(biāo)志的區(qū)間時段內(nèi)的UDP數(shù)據(jù)包，基于五元組（源地址、目的地址、源端口、目的端口、協(xié)議）對不同的業(yè)務(wù)流進(jìn)行分析[9]。

2.1.2 基于特定業(yè)務(wù)場景的流量性能評估指標(biāo)分析

根據(jù)協(xié)議交互流程，按照TCP和UDP協(xié)議，可提取出如下指標(biāo)，具體見表1～表3所列。

表1 UDP業(yè)務(wù)流中采集的指標(biāo)

表2 TCP三次握手采集的指標(biāo)

表3 TCP業(yè)務(wù)數(shù)據(jù)交互采集的指標(biāo)

2.2 基于性能監(jiān)測指標(biāo)的故障分析

2.2.1 基于UDP協(xié)議的業(yè)務(wù)流丟包或丟失數(shù)據(jù)包分片算法

（1）算法概述

從UDP數(shù)據(jù)包中提取標(biāo)識符（Identification）、標(biāo)識（Flags）和分片偏移（Fragment Offset）。

（a）對于未分片的UDP數(shù)據(jù)包

比較同一網(wǎng)絡(luò)路徑上不同節(jié)點(diǎn)位置的抓包進(jìn)行比較分析，判斷同一標(biāo)識符（Identification）是否均按預(yù)期路由出現(xiàn)，進(jìn)而判斷是否丟包。

在應(yīng)用層數(shù)據(jù)字段中，存在用于標(biāo)識數(shù)據(jù)包序號的字段，該字段值為遞增取值，此種情況下，可通過同一節(jié)點(diǎn)位置的抓包數(shù)據(jù)進(jìn)行該流前后數(shù)據(jù)包的對比，進(jìn)而判斷是否丟包。

（b）對于分片的UDP數(shù)據(jù)包

可采集標(biāo)識（Flags），若為分片字段，則判斷分片偏移（Fragment Offset）是否連續(xù)，進(jìn)而判斷是否丟失數(shù)據(jù)包分片。

（2）輸入

接入設(shè)備入口、出口抓包流量；業(yè)務(wù)及鏈路已知參數(shù)：鏈路流量監(jiān)管限速參數(shù)CIR、PIR、CBS（或令牌桶經(jīng)驗(yàn)值），業(yè)務(wù)流參數(shù)源地址、目的地址、目的端口號、協(xié)議等。

（3）輸出

通過分析，定位丟包的位置（時間，id，off），判斷丟包的原因，歸納為以下3種：

①突發(fā)流量丟包：通過流量監(jiān)管的限速參數(shù)CIR、PIR、CBS判定是否發(fā)生突發(fā)流量；

②設(shè)備已知缺陷：觸發(fā)高危端口封控策略丟包；

③隨機(jī)丟包：列出丟失IP數(shù)據(jù)包，進(jìn)行人工分析。

（4）模型描述

①根據(jù)業(yè)務(wù)及鏈路約束參數(shù)（源地址、目的地址、目的端口號、協(xié)議；監(jiān)管限速參數(shù)CIR、PIR、CBS）輸入，提取UDP業(yè)務(wù)流Flow（time，id，off）信息。

②利用time和id修訂兩條UDP業(yè)務(wù)流Flow1和Flow2的抓包時間，time為抓包終端的時間；由于id最大值為65 535，因此同一條業(yè)務(wù)流在不同時間段存在id相同的情況，因此需要time和id兩個參數(shù)來定位特定IP數(shù)據(jù)包。

③對比兩條業(yè)務(wù)流的IP數(shù)據(jù)包id，判斷Flow1（id，time）∈Flow2（id，time），若不成立，則說明存在丟包，轉(zhuǎn)入⑤。

④對于分片數(shù)據(jù)包，判斷 Flow1（id，，time，off）∈Flow2（id，time，off），若不成立，則說明有丟失分片，通過時間time、標(biāo)示符id、偏移off判斷IP數(shù)據(jù)包分片丟失發(fā)生的時間范圍以及具體的數(shù)據(jù)包，轉(zhuǎn)入⑤。

⑤判斷是否為突發(fā)流量超過流量監(jiān)管引發(fā)的丟包，若短時間（如20 ms）丟失多個分片，初步分析為突發(fā)流量丟包，可通過流量監(jiān)管的限速參數(shù)CIR、PIR、CBS進(jìn)一步判定是否發(fā)生突發(fā)流量，結(jié)束分析。

⑥判斷是否為設(shè)備已知缺陷：觸發(fā)高危端口封控策略丟包，若丟失的為IP分片包且第37、38字節(jié)與高危端口值相同，則為設(shè)備已知缺陷引發(fā)的丟包，否則轉(zhuǎn)入⑦。

⑦判斷為隨機(jī)丟包，列出丟失IP數(shù)據(jù)包，進(jìn)行人工分析。

UDP丟包問題分析算法流程如圖1所示。

圖1 UDP丟包問題分析算法流程

2.2.2 基于TCP協(xié)議的業(yè)務(wù)流降速算法

（1）算法概述

從TCP三次握手環(huán)節(jié)以及業(yè)務(wù)數(shù)據(jù)過程中可采集業(yè)務(wù)流相關(guān)性能指標(biāo)，監(jiān)測各指標(biāo)值，與基準(zhǔn)取值范圍進(jìn)行比較，分析線路側(cè)、客戶端、服務(wù)端引發(fā)故障的可能性。

（a）線路延遲導(dǎo)致降速故障監(jiān)測

分析關(guān)聯(lián)包時間間隔中的服務(wù)端發(fā)包間隔A（接收客戶端SYN和發(fā)送SYN/ACK的時間間隔），當(dāng)服務(wù)端收到客戶端SYN數(shù)據(jù)包時，由于不涉及任何傳輸層以上的處理，因此發(fā)送一個響應(yīng)只需要非常小的處理量。即使服務(wù)器正承受巨大的流量負(fù)載，通常也會迅速向SYN數(shù)據(jù)包響應(yīng)一個SYN/ACK。這排除了服務(wù)器導(dǎo)致高延遲的可能性。因此基本可推斷，延遲是因?yàn)榫€路中的一些設(shè)備出了問題。

往返時間（未啟用延時確認(rèn)情況下），若干秒內(nèi)持續(xù)超過基準(zhǔn)值，基本可推斷線路或客戶端存在問題；結(jié)合ICMP包采集往返時間（啟用延時確認(rèn)情況下），若干秒內(nèi)持續(xù)超過基準(zhǔn)值，基本可推斷線路或客戶端存在問題。

（b）客戶端故障導(dǎo)致降速故障監(jiān)測

分析關(guān)聯(lián)包時間間隔中的服務(wù)端發(fā)包間隔A（接收客戶端SYN和發(fā)送SYN/ACK的時間間隔），當(dāng)客戶端接收到三次握手的ACK后，應(yīng)該很快就發(fā)送數(shù)據(jù)包，因?yàn)樗袆幼鞫际且钥蛻舳藶橹行牡?。延遲超過基準(zhǔn)值，表明客戶端無法及時執(zhí)行該動作，基本可推斷延遲的根源在于客戶端自身[10]。

客戶端接收到服務(wù)端發(fā)送的重復(fù)ACK后，未及時發(fā)送對應(yīng)數(shù)據(jù)包，基本可推斷客戶端存在問題；網(wǎng)絡(luò)未擁塞且服務(wù)端接收窗口足夠大時，客戶端仍未加大發(fā)送窗口時，基本可推斷客戶端存在問題。

（c）服務(wù)端故障導(dǎo)致降速故障監(jiān)測

分析TCP業(yè)務(wù)數(shù)據(jù)交互過程中的接收窗口大小（服務(wù)端接收窗口*窗口擴(kuò)大因子），當(dāng)接收窗口若干秒內(nèi)遠(yuǎn)低于基準(zhǔn)取值范圍時，基本可推斷服務(wù)器端存在問題；若服務(wù)端可以同步抓包，通過分析服務(wù)端關(guān)聯(lián)數(shù)據(jù)包的發(fā)包間隔A，同樣可以判斷是否為服務(wù)器端的問題[11]。

（2）輸入

接入入口抓包流量；出口抓包流量；業(yè)務(wù)及鏈路已知參數(shù)：鏈路流量監(jiān)管限速參數(shù)CIR、PIR、CBS（或令牌桶經(jīng)驗(yàn)值），業(yè)務(wù)流參數(shù)源地址、目的地址、目的端口號、協(xié)議等[12]。

（3）輸出

通過服務(wù)器端重復(fù)的ACK確認(rèn)數(shù)量以及客戶端發(fā)送的數(shù)據(jù)包id，統(tǒng)計(jì)丟包數(shù)量，通過分析定位丟包的位置（時間，id，off），判斷丟包的原因，歸納為以下4種：

①抓包區(qū)間，定位引發(fā)丟包的單點(diǎn)設(shè)備；

②傳輸層或服務(wù)器端網(wǎng)絡(luò)質(zhì)量問題：與服務(wù)器端測試傳輸層鏈路質(zhì)量，協(xié)調(diào)應(yīng)用方協(xié)助定位丟包位置；

③客戶端數(shù)傳軟件存在問題：服務(wù)器端接口窗口正常，但客戶端仍未加大發(fā)送窗口時，基本可推斷客戶端數(shù)傳軟件存在問題；

④服務(wù)器端數(shù)傳軟件存在問題：網(wǎng)絡(luò)空閑但服務(wù)器端接收窗口若干秒內(nèi)遠(yuǎn)低于基準(zhǔn)取值范圍時，或ACK確認(rèn)不及時，基本可推斷服務(wù)器端存在問題。

（4）模型描述

①根據(jù)業(yè)務(wù)及鏈路約束參數(shù)（源地址、目的地址、目的端口號、協(xié)議；監(jiān)管限速參數(shù)CIR、PIR、CBS）輸入，提取TCP業(yè)務(wù)流Flow（time，id）信息。

②若Flow1中，服務(wù)端發(fā)送的重復(fù)ACK超過閾值，初步判斷鏈路中存在丟包，轉(zhuǎn)入③。

③客戶端發(fā)送重復(fù)對應(yīng)ACK數(shù)據(jù)包，則判定為客戶端軟件問題，結(jié)束判斷。

④若服務(wù)器端不再發(fā)送對應(yīng)ACK，則判斷為網(wǎng)絡(luò)偶發(fā)丟包，若丟包次數(shù)未超過閾值，則為偶發(fā)丟包，轉(zhuǎn)入⑤，反之判斷為網(wǎng)絡(luò)頻發(fā)丟包，轉(zhuǎn)入⑦，繼續(xù)分析。

⑤判斷是否為網(wǎng)內(nèi)存在丟包問題，若Flow1（id，time）∈Flow2（id，time）不成立，則為網(wǎng)內(nèi)丟包，縮小測抓包區(qū)間，定位引發(fā)丟包的單點(diǎn)設(shè)備，否則轉(zhuǎn)入⑥。

⑥判斷為傳輸層鏈路存在丟包問題，協(xié)調(diào)應(yīng)用中心協(xié)助定位丟包位置，結(jié)束分析。

⑦網(wǎng)絡(luò)質(zhì)量問題，與應(yīng)用方測試傳輸層鏈路質(zhì)量，結(jié)束分析。

⑧判斷是否已降速：“數(shù)傳速率＜經(jīng)驗(yàn)值”且“鏈路利用率＜經(jīng)驗(yàn)值”，若重復(fù)ACK超過閾值，則轉(zhuǎn)入②；反之轉(zhuǎn)入網(wǎng)絡(luò)質(zhì)量正常，初步判定數(shù)傳軟件功能故障，轉(zhuǎn)入⑨。

⑨判斷是否為客戶端數(shù)傳軟件存在問題：若服務(wù)器端反饋的接收窗口正常，但客戶端仍未加大發(fā)送窗口時，基本可推斷客戶端存在問題，結(jié)束分析，反之轉(zhuǎn)入⑩。

⑩判斷是否為服務(wù)器端數(shù)傳軟件存在問題：網(wǎng)絡(luò)空閑但服務(wù)器端接收窗口若干秒內(nèi)遠(yuǎn)低于基準(zhǔn)取值范圍時，或ACK確認(rèn)不及時，基本可推斷服務(wù)器端存在問題，協(xié)調(diào)應(yīng)用中心進(jìn)行進(jìn)一步定位[13-15]。

TCP降速問題分析算法流程如圖2所示。

圖2 TCP降速問題分析算法流程

3 結(jié) 語

本文首先對網(wǎng)絡(luò)性能評估指標(biāo)研究現(xiàn)狀進(jìn)行闡述，結(jié)合網(wǎng)絡(luò)流量特點(diǎn)，構(gòu)建面向業(yè)務(wù)層傳輸性能監(jiān)測指標(biāo)體系，以UDP業(yè)務(wù)流丟包、TCP業(yè)務(wù)流降速等常見故障為案例，實(shí)現(xiàn)故障監(jiān)測機(jī)理分析與故障監(jiān)測告警[16-17]。