網(wǎng)絡(luò)數(shù)據(jù)自適應(yīng)組包傳輸方法

石彬 黎剛果

摘要：網(wǎng)絡(luò)IP報(bào)文的大小受鏈路層最大傳輸單元（MTU）限制，當(dāng)報(bào)文長(zhǎng)度超過(guò)MTU時(shí)，IP數(shù)據(jù)報(bào)文會(huì)被分成若干較小的部分進(jìn)行分片傳輸，對(duì)網(wǎng)絡(luò)通信各傳輸節(jié)點(diǎn)的承載能力以及整個(gè)傳輸鏈路的可靠性和適應(yīng)性提出了嚴(yán)峻挑戰(zhàn)。針對(duì)IP分片現(xiàn)象，介紹了超長(zhǎng)數(shù)據(jù)包網(wǎng)絡(luò)傳輸過(guò)程中會(huì)存在的問(wèn)題，提出了基于網(wǎng)絡(luò)數(shù)據(jù)包的自適應(yīng)組包方法，并通過(guò)案例進(jìn)行了測(cè)試分析，證明了該方法的可行性。

關(guān)鍵詞：網(wǎng)絡(luò)；分片；自適應(yīng)

中圖分類號(hào)：TP393文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2022）04-62-4

0引言

網(wǎng)絡(luò)協(xié)議的主要作用是在網(wǎng)絡(luò)上的設(shè)備之間傳輸和傳遞數(shù)據(jù)，為了完成任務(wù)，數(shù)據(jù)經(jīng)常被封裝成特殊的包———IP數(shù)據(jù)包，這樣數(shù)據(jù)能夠以這種特殊的形式從源地址經(jīng)過(guò)多個(gè)不同的路由器或者網(wǎng)關(guān)傳輸?shù)侥康牡刂?。為了使IP數(shù)據(jù)包能完成這樣的傳輸過(guò)程且確保正確安全地到達(dá)到目的地，每個(gè)數(shù)據(jù)包的頭部都進(jìn)行了特殊的字段定義。以IPv4協(xié)議為例，所有數(shù)據(jù)包都具有相同的結(jié)構(gòu)，每個(gè)數(shù)據(jù)包含有一個(gè)頭部，后接一個(gè)數(shù)據(jù)字段，而一般來(lái)說(shuō)頭部的長(zhǎng)度為20～60 byte，數(shù)據(jù)包的總長(zhǎng)度最多可以有65 535 byte，但是大多數(shù)網(wǎng)絡(luò)不能處理最大長(zhǎng)度的數(shù)據(jù)包，而這個(gè)最大長(zhǎng)度便稱為最大傳輸單元（MTU），以以太網(wǎng)為例，MTU為1 500 byte[2]，當(dāng)一個(gè)IP數(shù)據(jù)包的長(zhǎng)度只有小于或者等于網(wǎng)絡(luò)的MTU時(shí)，才能在這個(gè)網(wǎng)絡(luò)中傳輸。

當(dāng)需要傳輸?shù)臄?shù)據(jù)包字節(jié)數(shù)大于這個(gè)MTU值時(shí)就會(huì)分片。在IP協(xié)議中，分片重組機(jī)制被列為主要功能之一[3]，分片發(fā)生在發(fā)送主機(jī)和傳輸途中的網(wǎng)關(guān)設(shè)備上，重組由目的主機(jī)實(shí)現(xiàn)[4]。IP數(shù)據(jù)包的包頭包含若干標(biāo)識(shí)域，用于分片的標(biāo)識(shí)和控制。發(fā)送主機(jī)或傳輸途中的網(wǎng)關(guān)通過(guò)填充這些標(biāo)識(shí)域進(jìn)行分片，目的主機(jī)則根據(jù)這些標(biāo)識(shí)域的內(nèi)容對(duì)收到的分片進(jìn)行重組，恢復(fù)數(shù)據(jù)。

本文針對(duì)網(wǎng)絡(luò)協(xié)議分片重組機(jī)制，介紹了超長(zhǎng)數(shù)據(jù)包分片后在網(wǎng)絡(luò)傳輸過(guò)程中會(huì)出現(xiàn)數(shù)據(jù)包丟失，嚴(yán)重時(shí)可導(dǎo)致全部數(shù)據(jù)堵塞的問(wèn)題，并為解決此問(wèn)題提出了基于網(wǎng)絡(luò)數(shù)據(jù)包的自適應(yīng)組包方法，且通過(guò)案例進(jìn)行了測(cè)試分析，證明了該方法的可行性。

1報(bào)文分片對(duì)數(shù)據(jù)傳輸?shù)挠绊?/p>

在很多鏈路層網(wǎng)絡(luò)中，攜帶高層協(xié)議PDU的幀大小是有限制的。當(dāng)2臺(tái)主機(jī)進(jìn)行通信時(shí)，它們之間的鏈路跨越多個(gè)通信子網(wǎng)絡(luò)，每個(gè)通信子網(wǎng)絡(luò)可能有大小不同的MTU，在包含所有鏈路的整個(gè)網(wǎng)絡(luò)路徑上最小的MTU被稱為路徑MTU，因此MTU在會(huì)話期間會(huì)對(duì)數(shù)據(jù)包大小有非常大的影響。網(wǎng)絡(luò)傳輸數(shù)據(jù)時(shí)，其長(zhǎng)度可達(dá)數(shù)千甚至數(shù)萬(wàn)字節(jié)，遠(yuǎn)遠(yuǎn)超過(guò)了MTU的長(zhǎng)度。為了解決這個(gè)問(wèn)題，數(shù)據(jù)包會(huì)在傳輸過(guò)程中多次被原始發(fā)送方主機(jī)和端到端路徑上的任何中間路由器分片，再由目的主機(jī)進(jìn)行重組，但是如果目的主機(jī)無(wú)法重組數(shù)據(jù)包，則將拋棄所有分片，對(duì)網(wǎng)絡(luò)通信各傳輸節(jié)點(diǎn)的承載能力以及整個(gè)傳輸鏈路的可靠性和適應(yīng)性提出了嚴(yán)峻挑戰(zhàn)[5]。

UDP是一種保留消息邊界的、簡(jiǎn)單的、面向數(shù)據(jù)包的傳輸層協(xié)議，不提供差錯(cuò)糾正、隊(duì)列管理、重復(fù)消除、流量控制和擁塞控制等功能，即該協(xié)議只保證把數(shù)據(jù)包發(fā)出去，不保證是否能送達(dá)目的地，同樣當(dāng)鏈路中突發(fā)大量數(shù)據(jù)包傳送時(shí)不能進(jìn)行擁塞控制，傳輸?shù)目煽啃院捅Ｗo(hù)性缺失。在實(shí)際應(yīng)用中發(fā)現(xiàn)，傳輸超長(zhǎng)UDP數(shù)據(jù)包時(shí)易發(fā)生丟包現(xiàn)象，嚴(yán)重時(shí)可能發(fā)生數(shù)據(jù)堵塞故障，經(jīng)過(guò)分析和排查，發(fā)現(xiàn)丟包問(wèn)題與超長(zhǎng)UDP數(shù)據(jù)包的分片和重組密切相關(guān)[6]。

設(shè)備端主機(jī)以固定頻率發(fā)送一系列超長(zhǎng)UDP遙測(cè)數(shù)據(jù)包，經(jīng)通信網(wǎng)傳輸，當(dāng)鏈路上的路由器出口限速后，發(fā)現(xiàn)丟包現(xiàn)象，而增大限速值至一定程度或取消限速后，丟包現(xiàn)象消失[7]。經(jīng)分析，當(dāng)發(fā)送超長(zhǎng)UDP數(shù)據(jù)包時(shí)，超長(zhǎng)UDP數(shù)據(jù)包被分成幾個(gè)緊密相連的IP分片，在很短時(shí)間內(nèi)連續(xù)到達(dá)的多個(gè)分片引起了突發(fā)流量，短時(shí)間內(nèi)消耗了大量令牌（路由器的限速機(jī)制采用了令牌桶算法），大大超出了路由器補(bǔ)充令牌的速度[8]。在這種情況下，令牌桶中的令牌很可能被耗盡，導(dǎo)致令牌數(shù)量不足，溢出的分片將被丟棄，從而導(dǎo)致丟包。

該遙測(cè)數(shù)據(jù)網(wǎng)絡(luò)傳輸采用UDP/IP協(xié)議，MTU為1500byte。根據(jù)IP協(xié)議的分片重組機(jī)制，對(duì)于大于MTU值的數(shù)據(jù)包（超長(zhǎng)包）在發(fā)送端進(jìn)行分片，在接收端進(jìn)行分片重組，當(dāng)傳輸過(guò)程發(fā)生分片丟失時(shí)，接收端無(wú)法進(jìn)行分片重組；對(duì)于小于MTU值的數(shù)據(jù)包（小包）不做分片處理。

2臺(tái)設(shè)備從不同的地域同時(shí)向中心發(fā)送超長(zhǎng)遙測(cè)數(shù)據(jù)包（約70子幀/包，傳輸?shù)钠骄L(zhǎng)約為8 000 byte），數(shù)據(jù)流量約11 MHz。中心通過(guò)服務(wù)器接收數(shù)據(jù)，采用雙機(jī)熱備份方式工作，2臺(tái)服務(wù)器狀態(tài)一致，每臺(tái)服務(wù)器通過(guò)一個(gè)網(wǎng)卡接收2臺(tái)設(shè)備發(fā)送的數(shù)據(jù)。當(dāng)其中一個(gè)地域路由器故障，只能工作在10 MHz狀態(tài)時(shí)，信息流量超出了故障狀態(tài)路由器的傳輸能力，造成該地域至中心的網(wǎng)絡(luò)擁塞，遙測(cè)數(shù)據(jù)大量丟包。

由于遙測(cè)數(shù)據(jù)包長(zhǎng)大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進(jìn)行了分片處理；由于其中一個(gè)地域路由器故障，造成網(wǎng)絡(luò)傳輸過(guò)程中出現(xiàn)了大量數(shù)據(jù)分片丟失，所以接收端分片重組不成功。當(dāng)重組不成功現(xiàn)象大量出現(xiàn)時(shí)，接收端緩沖區(qū)填滿導(dǎo)致接收堵塞，表現(xiàn)為服務(wù)器無(wú)法接收2個(gè)地域設(shè)備數(shù)據(jù)。當(dāng)重組超時(shí)后，對(duì)接收端緩沖區(qū)中重組不成功的分片數(shù)據(jù)進(jìn)行丟棄，此時(shí)接收端恢復(fù)正常工作，可重新接收設(shè)備數(shù)據(jù)。由于大量數(shù)據(jù)分片丟失依然存在，在接收端緩沖區(qū)再次堵塞時(shí)，又無(wú)法接收遙測(cè)數(shù)據(jù)，如此循環(huán)下去，最終導(dǎo)致接收數(shù)據(jù)因大量丟包而無(wú)法使用。

綜上所述，源主機(jī)發(fā)送一個(gè)數(shù)據(jù)包大于網(wǎng)絡(luò)的路徑MTU值，將會(huì)進(jìn)行分片處理，如果源主機(jī)和目的主機(jī)之間鏈路上的路由器有故障，導(dǎo)致一部分分片無(wú)法傳輸?shù)侥康闹鳈C(jī)，且因UDP協(xié)議是面向數(shù)據(jù)包，不具有差錯(cuò)糾正、隊(duì)列管理、重復(fù)消除、流量控制和擁塞控制等功能，目的主機(jī)的接收重組分片不成功，緩沖區(qū)被填滿，接收阻塞，直到當(dāng)重組超時(shí)后目的主機(jī)將重組不成功的數(shù)據(jù)包丟棄，接著進(jìn)行下一次接收輪回，但仍然不能接收到已丟失的分片，致使數(shù)據(jù)包所有的分片全部被目的主機(jī)丟棄，造成數(shù)據(jù)損失非常大。gzslib202204041356

2網(wǎng)絡(luò)數(shù)據(jù)自適應(yīng)組包方法

針對(duì)網(wǎng)絡(luò)IP分片所帶來(lái)的數(shù)據(jù)丟包、數(shù)據(jù)堵塞的問(wèn)題，必須研究對(duì)應(yīng)解決方法。經(jīng)過(guò)研究，提出以下2種解決方法：

①在數(shù)據(jù)發(fā)送端和接收端增加數(shù)據(jù)包處理環(huán)節(jié)，仿照IP分片機(jī)理，在軟件應(yīng)用層處理超長(zhǎng)數(shù)據(jù)包的分割與重組，優(yōu)點(diǎn)是適應(yīng)性強(qiáng)，在應(yīng)用層實(shí)現(xiàn)了數(shù)據(jù)包的分片與重組。但是由于增加了處理環(huán)節(jié)，增加了數(shù)據(jù)處理時(shí)延，并且超長(zhǎng)的數(shù)據(jù)包也增大了數(shù)據(jù)的積壓時(shí)延；當(dāng)網(wǎng)絡(luò)發(fā)生丟包現(xiàn)象時(shí)，將會(huì)損失一個(gè)超長(zhǎng)的數(shù)據(jù)包，可能導(dǎo)致丟掉關(guān)鍵數(shù)據(jù)，帶來(lái)較大損失。

②以遙測(cè)數(shù)據(jù)子幀長(zhǎng)度為最小長(zhǎng)度單元，取其整數(shù)倍組包，使遙測(cè)數(shù)據(jù)傳輸發(fā)送的每包數(shù)據(jù)總長(zhǎng)度不大于網(wǎng)絡(luò)的MTU，優(yōu)點(diǎn)是針對(duì)遙測(cè)數(shù)據(jù)格式適應(yīng)性好，接收端數(shù)據(jù)處理軟件可以按照一般遙測(cè)數(shù)據(jù)實(shí)時(shí)處理方式進(jìn)行緩沖處理。由于包長(zhǎng)小，處理時(shí)延與數(shù)據(jù)積壓時(shí)延??；當(dāng)網(wǎng)絡(luò)發(fā)生丟包現(xiàn)象時(shí)，只損失若干個(gè)遙測(cè)子幀數(shù)據(jù)，數(shù)據(jù)損失較小；但是由于數(shù)據(jù)包頻較高，對(duì)數(shù)據(jù)接收端設(shè)備處理性能要求較高。

綜合對(duì)比分析以上2種方式，確定采用第2種方法解決超長(zhǎng)數(shù)據(jù)包問(wèn)題，并形成了遙測(cè)數(shù)據(jù)自適應(yīng)組包方法[9]。

網(wǎng)絡(luò)數(shù)據(jù)傳輸包含發(fā)送和接收兩部分。發(fā)送端主要功能為：①采用數(shù)據(jù)驅(qū)動(dòng)方式，從遙測(cè)原始數(shù)據(jù)緩沖區(qū)中讀取數(shù)據(jù)，以遙測(cè)子幀為單位進(jìn)行組包[10]，填寫(xiě)數(shù)據(jù)狀態(tài)及子幀數(shù)量，并為數(shù)據(jù)包添加包頭信息，發(fā)送到指定的網(wǎng)絡(luò)組播地址上；②采用數(shù)據(jù)驅(qū)動(dòng)方式，從設(shè)備狀態(tài)數(shù)據(jù)緩沖區(qū)中讀取數(shù)據(jù)，并為數(shù)據(jù)包添加包頭信息，發(fā)送到指定的網(wǎng)絡(luò)組播地址上。接收端主要功能是通過(guò)指定的網(wǎng)絡(luò)組播地址接收遙測(cè)數(shù)據(jù)，將網(wǎng)絡(luò)數(shù)據(jù)包的原始數(shù)據(jù)放到接收緩沖區(qū)中，并對(duì)數(shù)據(jù)包頭進(jìn)行解析統(tǒng)計(jì)，數(shù)據(jù)發(fā)送—接收流程如圖1所示。

3測(cè)試驗(yàn)證

選取3臺(tái)計(jì)算機(jī)設(shè)備、1臺(tái)中心服務(wù)器和路由器、交換機(jī)等組成局域網(wǎng)，其中路由器和交換機(jī)帶寬為10 M/100 M自適應(yīng)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。3臺(tái)設(shè)備同時(shí)向中心服務(wù)器發(fā)送遙測(cè)數(shù)據(jù)。實(shí)驗(yàn)分2個(gè)階段進(jìn)行，第1階段遙測(cè)數(shù)據(jù)包采用超長(zhǎng)包（大于MTU值）方式傳輸；第2階段遙測(cè)數(shù)據(jù)包采用自適應(yīng)組包方式傳輸。

3.1超長(zhǎng)包傳輸方式

3臺(tái)設(shè)備分別同時(shí)發(fā)送2個(gè)流的測(cè)試數(shù)據(jù)，遙測(cè)數(shù)據(jù)子幀長(zhǎng)72 byte，數(shù)據(jù)碼率5.5 Mbps，以每包70幀長(zhǎng)度（5 636 byte）組播方式發(fā)送到網(wǎng)絡(luò)上，共進(jìn)行3次數(shù)據(jù)回放。當(dāng)通信系統(tǒng)采用100 MHz帶寬鏈路傳輸時(shí)，由于遙測(cè)數(shù)據(jù)包長(zhǎng)大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進(jìn)行了分片處理，中心服務(wù)器在接收數(shù)據(jù)時(shí)，首先完成對(duì)分片數(shù)據(jù)的重新組包，表征的現(xiàn)象為服務(wù)器接收3個(gè)設(shè)備的遙測(cè)數(shù)據(jù)不丟幀。當(dāng)以備用10 MHz帶寬鏈路傳輸時(shí)，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包分片傳輸機(jī)理，由于遙測(cè)數(shù)據(jù)包長(zhǎng)大于網(wǎng)絡(luò)的MTU值，在發(fā)送端進(jìn)行了分片處理；由于設(shè)備端發(fā)送的數(shù)據(jù)量大于通信帶寬，造成網(wǎng)絡(luò)傳輸過(guò)程中出現(xiàn)了數(shù)據(jù)分片丟失。由于分片丟失，接收端分片重組不成功，當(dāng)重組不成功現(xiàn)象大量出現(xiàn)時(shí)，接收端緩沖區(qū)填滿，導(dǎo)致服務(wù)器接收數(shù)據(jù)出現(xiàn)斷續(xù)現(xiàn)象。此時(shí)，服務(wù)器不能連續(xù)接收處理遙測(cè)數(shù)據(jù)。

3.2自適應(yīng)組包傳輸方式

3臺(tái)設(shè)備分別同時(shí)發(fā)送2個(gè)流的測(cè)試數(shù)據(jù)，遙測(cè)數(shù)據(jù)子幀長(zhǎng)72 byte，數(shù)據(jù)碼率5.5 Mbps，根據(jù)遙測(cè)數(shù)據(jù)幀長(zhǎng)完成數(shù)據(jù)的自適應(yīng)組包，本次實(shí)驗(yàn)測(cè)試數(shù)據(jù)子幀長(zhǎng)為72 byte，經(jīng)與MTU值比對(duì)計(jì)算，數(shù)據(jù)以17個(gè)子幀長(zhǎng)（1 396 byte）進(jìn)行組包，并采用組播方式發(fā)送到網(wǎng)絡(luò)上，共進(jìn)行3次數(shù)據(jù)回放。當(dāng)通信系統(tǒng)采用主用100 MHz帶寬鏈路傳輸時(shí)，服務(wù)器接收2套設(shè)備發(fā)送的遙測(cè)數(shù)據(jù)不丟幀；當(dāng)以備用10 MHz帶寬鏈路傳輸時(shí)，設(shè)備端發(fā)送的數(shù)據(jù)量大于通信帶寬，雖然造成網(wǎng)絡(luò)傳輸過(guò)程中出現(xiàn)了丟包現(xiàn)象，但由于沒(méi)有采用分片方式傳輸，中心服務(wù)器端能夠正常接收數(shù)據(jù)包，丟包數(shù)較少，中心服務(wù)器工作正常。

數(shù)據(jù)統(tǒng)計(jì)情況如表1所示，10 M帶寬超長(zhǎng)包數(shù)據(jù)丟片統(tǒng)計(jì)如圖1所示。

實(shí)驗(yàn)結(jié)果表明，當(dāng)網(wǎng)絡(luò)帶寬滿足數(shù)據(jù)傳輸流量時(shí)，采用超長(zhǎng)數(shù)據(jù)包和自適應(yīng)組包方式均能實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的正常傳輸，當(dāng)網(wǎng)絡(luò)帶寬低于數(shù)據(jù)傳輸流量時(shí)，遙測(cè)數(shù)據(jù)自適應(yīng)組包方法可以有效解決網(wǎng)絡(luò)數(shù)據(jù)傳輸過(guò)程中因分片丟失導(dǎo)致的網(wǎng)絡(luò)堵塞問(wèn)題，確保超長(zhǎng)UDP數(shù)據(jù)包傳輸暢通、可靠、高效。

4結(jié)束語(yǔ)

本文針對(duì)網(wǎng)絡(luò)IP分片所帶來(lái)的數(shù)據(jù)丟包，嚴(yán)重時(shí)可導(dǎo)致全部數(shù)據(jù)堵塞問(wèn)題，提出了自適應(yīng)組包方法，利用遙測(cè)數(shù)據(jù)按子幀傳輸?shù)奶攸c(diǎn)，采用整數(shù)遙測(cè)子幀組包的方式，避免了IP傳輸時(shí)的分片。經(jīng)過(guò)大量實(shí)驗(yàn)與驗(yàn)證，當(dāng)單一方向通信設(shè)備故障、信道容量不夠?qū)е戮W(wǎng)絡(luò)大量丟包現(xiàn)象發(fā)生時(shí)，可以將數(shù)據(jù)傳輸損失降至最低，且只影響單臺(tái)裝備數(shù)據(jù)，不會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)癱瘓，極大地增加了數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

參考文獻(xiàn)

[1]張明.淺析IP分片對(duì)網(wǎng)絡(luò)的影響[J].計(jì)算機(jī)與網(wǎng)絡(luò)，2014，40（9）：64-67.

[2]褚建立.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)實(shí)用教程[M].北京：清華大學(xué)出版社，2007.

[3]李響，王清賢，羅軍勇.IP分片重組算法的研究和改進(jìn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008（14）：3555-3557.

[4]趙景磊，李康，葉勇，等.超長(zhǎng)UDP數(shù)據(jù)包預(yù)分片與重組技術(shù)研究[J].遙測(cè)遙控，2016，37（2）：67-74.

[5]張基溫.計(jì)算機(jī)網(wǎng)絡(luò)原理[M].北京：高等教育出版社，2009.

[6]劉喜作，周晶，梁德清.基于UDP的大數(shù)據(jù)包可靠傳輸[J].電訊技術(shù)，2012，52（1）：96-100.

[7]李旺.電力通信網(wǎng)傳輸網(wǎng)絡(luò)優(yōu)化[J].中國(guó)新通信，2015，17（2）： 33-34.

[8]樊昌信.通信原理：第5版[M].北京：國(guó)防工業(yè)出版社，2012.

[9]張吉敏.測(cè)控信息網(wǎng)傳輸協(xié)議研究[D].西安：西安電子科技大學(xué)，2010.