國際互聯(lián)網(wǎng)視頻回傳加速技術(shù)在新華社的應(yīng)用

■文/牛帆

國際互聯(lián)網(wǎng)視頻回傳加速技術(shù)在新華社的應(yīng)用

■文/牛帆

隨著數(shù)字化時(shí)代的到來，新華社每天在全球記者站有大量視頻資料回傳，而國際互聯(lián)網(wǎng)受限于基礎(chǔ)環(huán)境和各種技術(shù)問題無法保證視頻文件穩(wěn)定高效地傳輸，因此需要設(shè)計(jì)一套系統(tǒng)來解決此問題。本文分析了市場(chǎng)上成熟的傳輸加速技術(shù)，并做了測(cè)試驗(yàn)證。結(jié)合測(cè)試結(jié)果設(shè)計(jì)了一套傳輸系統(tǒng)，對(duì)于有類似需求的項(xiàng)目有借鑒意義。

國際互聯(lián)網(wǎng)；傳輸加速；TCP；UDP；離線傳輸；節(jié)點(diǎn)轉(zhuǎn)發(fā)

隨著互聯(lián)網(wǎng)時(shí)代的到來，信息量呈爆炸式增長(zhǎng)。人們已經(jīng)不滿足于僅僅獲得文字和圖片形式的資訊，視頻的需求量越來越大。而視頻拍攝設(shè)備也不再局限于專業(yè)攝像機(jī)，各種移動(dòng)終端均可以作為突發(fā)新聞的采集端，記者可以隨時(shí)隨地發(fā)送視頻資料。視頻越來越多，文件越來越大，但是國際互聯(lián)網(wǎng)聯(lián)通性受限于各種問題并無法保證海量視頻文件的快速穩(wěn)定傳輸，本文旨在尋找此問題的解決方案。

1.新華社國際互聯(lián)網(wǎng)視頻回傳的現(xiàn)狀

新華社作為國家通訊社，是中國最大的新聞信息采集和發(fā)布中心。新華社記者遍布全球，目前主要利用互聯(lián)網(wǎng)、專線向國內(nèi)傳輸視頻文件。專線網(wǎng)絡(luò)狀況雖好，但成本高，架設(shè)難度大，無法在全球記者站點(diǎn)部署，遇到突發(fā)事件也難以使用，所以絕大多數(shù)記者還是通過互聯(lián)網(wǎng)的方式傳輸視頻文件。而目前的互聯(lián)網(wǎng)環(huán)境存在以下幾個(gè)問題：

1.1基礎(chǔ)網(wǎng)絡(luò)環(huán)境復(fù)雜，差異很大

通過第三方工具模擬測(cè)試世界各地傳輸視頻回北京的速率圖（使用FTP協(xié)議，不做任何加速）。

1.2個(gè)別地區(qū)國家禁止部分網(wǎng)絡(luò)協(xié)議

根據(jù)以往的傳輸經(jīng)驗(yàn)發(fā)現(xiàn)個(gè)別地區(qū)國家會(huì)禁止部分網(wǎng)絡(luò)協(xié)議，例如：緬甸不支持FTP協(xié)議。

1.3采集終端的復(fù)雜性

新華社記者遍布全球200多個(gè)記者站點(diǎn)，有中國員工還有各國雇員。他們除了在記者站點(diǎn)發(fā)稿，也經(jīng)常奔赴重大、突發(fā)事件前方報(bào)道。手持設(shè)備各異，習(xí)慣的應(yīng)用軟件也五花八門：有使用電腦、也有移動(dòng)終端的；有使用wifi，也有3/4G網(wǎng)絡(luò)的；有使用專用傳輸軟件，也有通過QQ或者微信傳輸?shù)?；更遑論各種各樣的軟件、操作系統(tǒng)版本之分。

面對(duì)如此復(fù)雜的環(huán)境，需要找到一個(gè)穩(wěn)定而高效的傳輸方案才能解決新華社記者即時(shí)發(fā)稿的問題。

2.互聯(lián)網(wǎng)視頻回傳加速技術(shù)分析

眾所周知互聯(lián)網(wǎng)傳輸協(xié)議有TCP （FTP、HTTP）、UDP，本文不再做詳盡分析。基于此類傳統(tǒng)的協(xié)議，目前已有相對(duì)應(yīng)成熟的傳輸加速技術(shù)產(chǎn)生，并且在這些加速技術(shù)的基礎(chǔ)上還衍生出基于公有云資源的離線傳輸技術(shù)。

另外考慮部分地區(qū)互聯(lián)網(wǎng)狀況優(yōu)質(zhì)，還可以自行搭建節(jié)點(diǎn)轉(zhuǎn)發(fā)傳輸，以“另辟蹊徑”的方式實(shí)現(xiàn)視頻文件的快速傳輸。下面就這四類方式做詳細(xì)介紹：

2.1基于TCP的傳輸加速技術(shù)

諸多CDN公司在傳統(tǒng)的TCP （HTTP、FTP）傳輸技術(shù)上做了類似優(yōu)化工作：

◎增加加速節(jié)點(diǎn)

在傳輸加速需求量比較大的國家布設(shè)數(shù)據(jù)加速節(jié)點(diǎn)。

◎路由探測(cè)

通過探測(cè)互聯(lián)網(wǎng)線路，實(shí)時(shí)掌握網(wǎng)絡(luò)狀況，幫助用戶選擇最快的網(wǎng)絡(luò)訪問線路，提高訪問速度和體驗(yàn)。

◎傳輸協(xié)議優(yōu)化

通過對(duì)傳輸協(xié)議的優(yōu)化，解決傳統(tǒng)協(xié)議在數(shù)據(jù)傳輸上存在的缺陷，提高傳輸效率，并且對(duì)用戶終端無任何感知和影響。

◎鏈路優(yōu)化技術(shù)

通過鏈路并行的方式提高數(shù)據(jù)傳輸速度和效率，增加穩(wěn)定性，增強(qiáng)抗抖動(dòng)能力。

◎字節(jié)優(yōu)化

通過對(duì)傳輸字節(jié)流的簡(jiǎn)化，在用戶無感知，內(nèi)容無損耗的情況下，大幅提升訪問速度，提升用戶體驗(yàn)。

2.2基于UDP的fasp傳輸加速技術(shù)［1］

傳統(tǒng)的TCP協(xié)議存在一些僅僅通過優(yōu)化也不能解決的局限性。當(dāng)部署在低延遲和低數(shù)據(jù)包丟失的網(wǎng)絡(luò)上時(shí)，它可提供可靠的數(shù)據(jù)傳遞，但是，隨著數(shù)據(jù)包丟失和延遲的增加（通常出現(xiàn)在遠(yuǎn)距離WAN上），它很快就變得非常緩慢且不可靠。增加更多帶寬無法改變有效的吞吐量。文件傳輸速度無法提高，昂貴的帶寬未得到充分利用。

吞吐量瓶頸的根源在于TCP流速率控制機(jī)制，在該機(jī)制中，發(fā)送方需要確認(rèn)每一個(gè)發(fā)送至接收方的數(shù)據(jù)包。如果某一接收確認(rèn)因高網(wǎng)絡(luò)延遲或數(shù)據(jù)包丟失而未準(zhǔn)時(shí)返回，發(fā)送方即認(rèn)為相比接收方的處理能力其發(fā)送速率過快，因而大幅降低速率并緩慢恢復(fù)。結(jié)果，傳輸速率減慢到像是在爬行，而現(xiàn)代化的高帶寬WAN通道卻沒有得到充分利用。

與TCP形成鮮明對(duì)比的是，fasp的吞吐量不受洲際WAN和衛(wèi)星、Wi-Fi 或蜂窩連接上出現(xiàn)的網(wǎng)絡(luò)延遲和極端數(shù)據(jù)包丟失的影響。因而，其傳輸時(shí)間比標(biāo)準(zhǔn) FTP 快數(shù)百倍且可預(yù)測(cè)性強(qiáng)，不受網(wǎng)絡(luò)條件影響。

fasp 之所以能實(shí)現(xiàn)這一性能，是因?yàn)樗饤壛薚CP對(duì)速度控制和可靠性的捆綁，采用獨(dú)特的專利方法使傳輸速度達(dá)到最大，且不影響對(duì)擁塞的回避，實(shí)現(xiàn)了理想高效和對(duì)帶寬的充分利用。不受網(wǎng)絡(luò)條件影響。最大傳輸速率僅受端點(diǎn)電腦資源的限制（通常為磁盤吞吐量）。

盡管 fasp 可填充任何可用帶寬，但它也包含一個(gè)智能自適應(yīng)傳輸速率控制機(jī)制，該機(jī)制可調(diào)節(jié)速率，精確控制與標(biāo)準(zhǔn) TCP 流量間的公平性，可自動(dòng)蔓延，充分利用未使用的帶寬。這確保了關(guān)鍵業(yè)務(wù) TCP 流量可正常工作，如電子郵件、網(wǎng)絡(luò)和業(yè)務(wù)應(yīng)用，同時(shí)也允許 fasp 利用未使用的帶寬。

2.3離線傳輸

除了上述加速方式在傳輸協(xié)議上做文章，還有一些基于公有云資源的離線傳輸技術(shù)也可以使用。發(fā)起方先將文件傳輸?shù)骄徒脑乒?jié)點(diǎn)，文件在云內(nèi)的高速流轉(zhuǎn)交由云廠商自己解決，接收方就近提取文件即可。提供此類技術(shù)的公司主要工作就是如何提高數(shù)據(jù)文件在云內(nèi)的流轉(zhuǎn)速度。

2.4節(jié)點(diǎn)轉(zhuǎn)發(fā)加速

根據(jù)以往傳輸經(jīng)驗(yàn)，考慮到各國防火墻等安全設(shè)備的限制，有時(shí)候從A節(jié)點(diǎn)傳輸文件到C節(jié)點(diǎn)不如從A節(jié)點(diǎn)經(jīng)過B節(jié)點(diǎn)再傳輸?shù)紺節(jié)點(diǎn)。特別是如果中轉(zhuǎn)線路是專線效果會(huì)更好，這樣可以利用少量專線實(shí)現(xiàn)更大范圍的快速傳輸。

3.技術(shù)方案驗(yàn)證

3.1技術(shù)方案設(shè)計(jì)

針對(duì)上述各類傳輸技術(shù)，設(shè)計(jì)如下場(chǎng)景進(jìn)行驗(yàn)證。驗(yàn)證系統(tǒng)搭建在新華社云平臺(tái)上，測(cè)試用的服務(wù)器為虛擬機(jī)，在同一局域網(wǎng)中，所有服務(wù)器共享新華社互聯(lián)網(wǎng)接入。

其中TCP加速方式選擇了五家產(chǎn)品進(jìn)行驗(yàn)證；UDP加速方式選擇了三家產(chǎn)品進(jìn)行驗(yàn)證；節(jié)點(diǎn)轉(zhuǎn)發(fā)則在位于美國的虛擬機(jī)上部署轉(zhuǎn)發(fā)應(yīng)用進(jìn)行驗(yàn)證，這里選擇了三家不同平臺(tái)的虛擬機(jī)，以驗(yàn)證平臺(tái)的影響；離線傳輸選取兩家產(chǎn)品進(jìn)行驗(yàn)證。

圖1　互聯(lián)網(wǎng)傳輸測(cè)試示意圖

3.2驗(yàn)證方法與結(jié)果

本次驗(yàn)證使用了自動(dòng)工具測(cè)試和人工測(cè)試兩種方式，互為補(bǔ)充。

3.2.1自動(dòng)工具測(cè)試

優(yōu)點(diǎn)：自動(dòng)工具通過在海外的眾多注冊(cè)會(huì)員，可以真實(shí)PC發(fā)起視頻傳輸。本次測(cè)試點(diǎn)分布五大洲，共27個(gè)城市。測(cè)試過程穩(wěn)定可靠，報(bào)表數(shù)據(jù)詳盡。

缺點(diǎn)：目前只能針對(duì)TCP加速方式（HTTP、FTP）做測(cè)試。

結(jié)果如下圖所示：

圖2　各產(chǎn)品HTTP傳輸速率測(cè)試結(jié)果

各產(chǎn)品的HTTP傳輸速率：

圖中綠色是不做任何加速的原始效果，其他五種顏色表示五家產(chǎn)品，雖然加速效果各異。但可以看出加速效果好的能比源站提高3-4倍（詳細(xì)數(shù)據(jù)顯示，如果能在需要的傳輸點(diǎn)部署加速節(jié)點(diǎn)效果更佳）。

各產(chǎn)品的FTP傳輸速率：

圖3　各產(chǎn)品FTP傳輸速率測(cè)試結(jié)果

FTP加速效果與HTTP相仿，最佳效果能平均提高4倍左右。由于五家CDN廠商中只有兩家能做FTP加速，所以此處加上綠色未加速結(jié)果后只有三條曲線。

3.2.2人工測(cè)試——美國、肯尼亞

優(yōu)點(diǎn)：各種傳輸模式都能測(cè)試到。這里通過人工方式驗(yàn)證UDP加速、離線傳輸和節(jié)點(diǎn)轉(zhuǎn)發(fā)加速。

缺點(diǎn)：人工的隨機(jī)性相對(duì)難以控制。測(cè)試點(diǎn)少，可測(cè)試的數(shù)據(jù)相對(duì)較少。

因?yàn)槿斯y(cè)試環(huán)境的不穩(wěn)定性，在選擇測(cè)試點(diǎn)的時(shí)候充分考慮網(wǎng)絡(luò)和地區(qū)因素，選擇具有代表性的地點(diǎn)。本次測(cè)試選擇了美國和肯尼亞。

測(cè)試安排2輪，每輪測(cè)試周期一天，一天選擇9：00和16：00兩個(gè)時(shí)間點(diǎn)，由于時(shí)差的原因，測(cè)試的時(shí)間點(diǎn)安排為當(dāng)?shù)貢r(shí)間。

前方測(cè)試人員在海外發(fā)送視頻文件，每次測(cè)試時(shí)，需要連續(xù)傳輸5次文件，求平均來避免偶然網(wǎng)絡(luò)波動(dòng)。

表1　各產(chǎn)品UDP傳輸速率測(cè)試結(jié)果

由上表可見非洲地區(qū)網(wǎng)絡(luò)連通性較差，美國較好。但通過UDP加速方式均能提高2-3倍。其加速上限受限于用戶端帶寬。

表2　各產(chǎn)品節(jié)點(diǎn)轉(zhuǎn)發(fā)傳輸速率測(cè)試結(jié)果

由上表可見通過節(jié)點(diǎn)轉(zhuǎn)發(fā)部署在不同公有云平臺(tái)上效果各異，但總體來說都有提高，最高能到4-5倍。因?yàn)橹皇亲龇桨蛤?yàn)證，本次測(cè)試的中轉(zhuǎn)線路線路仍然使用的是互聯(lián)網(wǎng)，如果能夠使用專線效果理應(yīng)更佳。

表3　各產(chǎn)品離線傳輸速率測(cè)試結(jié)果

由上表可見離線傳輸加速效果不明顯，使用A工具甚至有所下降。經(jīng)分析與離線傳輸?shù)脑破脚_(tái)自身內(nèi)部流轉(zhuǎn)效率有關(guān)，所以本文認(rèn)為，離線傳輸只能作為線路的備份，暫無法作為加速工具使用。

綜合以上測(cè)試結(jié)果，得出以下結(jié)論：

◎其一，使用TCP加速的方式全球五大洲測(cè)試平均能提高4倍左右。若在臨近區(qū)域有數(shù)據(jù)節(jié)點(diǎn)甚至可以取得10倍以上的提高效果。

◎其二，UDP傳輸由于其協(xié)議特點(diǎn)可以提高帶寬占用率，在網(wǎng)絡(luò)連通性好的地方（比如美國），效果更佳。在網(wǎng)絡(luò)連通性較差的地方（比如非洲），UDP提升空間有限，節(jié)點(diǎn)轉(zhuǎn)發(fā)效果更好。

◎其三，離線傳輸可以作為備份手段，加速效果并不明顯。◎其四，互聯(lián)網(wǎng)環(huán)境千變?nèi)f化，實(shí)測(cè)多次不同時(shí)間，不同地區(qū)均有不小波動(dòng)，也出現(xiàn)過瞬斷現(xiàn)象。為保證傳輸建議多種方式并用。

4.互聯(lián)網(wǎng)視頻回傳加速系統(tǒng)設(shè)計(jì)思路

基于上述驗(yàn)證分析，在不考慮成本的基礎(chǔ)上，最好建立一個(gè)完備的技術(shù)系統(tǒng)集合上述方案，并且能夠自動(dòng)探測(cè)效果最好的線路。這樣才能保證視頻文件穩(wěn)定而高效的回傳。

圖4　互聯(lián)網(wǎng)傳輸系統(tǒng)設(shè)計(jì)圖

因此設(shè)計(jì)了自動(dòng)化控制的方式選擇最優(yōu)線路。

為了減少系統(tǒng)開銷，本方案在傳輸初始會(huì)查詢以前的傳輸記錄，如果曾經(jīng)高效傳輸過則默認(rèn)使用之前的通路。如果沒有傳輸過則發(fā)送測(cè)試包檢測(cè)網(wǎng)絡(luò)延遲和丟包率再做判斷。

記者如果定點(diǎn)辦公建議使用本方案，如果經(jīng)常移動(dòng)辦公，方案可簡(jiǎn)化為傳輸前必須探測(cè)線路。

通過此方案可以高效使用到各種傳輸加速技術(shù)，并保證鏈路的穩(wěn)定可靠。

5.結(jié)論

本文從新華社在國際互聯(lián)網(wǎng)條件下傳輸視頻遇到的困難入手，分析了目前市場(chǎng)上比較成熟的傳輸加速技術(shù)，并且分別做了實(shí)際測(cè)試驗(yàn)證，最后提出穩(wěn)定高效傳輸系統(tǒng)設(shè)計(jì)思路，對(duì)于有類似需求的項(xiàng)目有推廣和借鑒意義。

［1］IBM-Aspera，http∶//asperasoft.com/ zh/site/technology/fasp-transporttechnology/

［2］網(wǎng)宿 -Appa，http∶//www. chinanetcenter.com/products/cdn/ appa/

［3］博睿-傳輸，http∶//www.bonree. com/439/2015-11-24/1684.htm

（作者單位：新華通訊社通信技術(shù)局）

TN919.85

A