基于廣域網(wǎng)的海量數(shù)據(jù)加速傳輸方式的研究

◆韓會(huì)雯

（中國飛行試驗(yàn)研究院信息化與檔案中心陜西 710089）

由于飛行研制需要，飛行任務(wù)需要進(jìn)行異地傳輸協(xié)同設(shè)計(jì)工作，飛行數(shù)據(jù)需進(jìn)行異地傳輸。為確保飛行試驗(yàn)設(shè)計(jì)質(zhì)量及任務(wù)進(jìn)度，海量飛行數(shù)據(jù)快速、安全、準(zhǔn)確的傳輸具有至關(guān)重要的意義。

1 數(shù)據(jù)傳輸現(xiàn)狀

某型號飛行任務(wù)每架次大約產(chǎn)生 30-150G數(shù)據(jù)量，每天兩次飛行任務(wù)大約產(chǎn)生 60-300G，隨著信息系統(tǒng)的發(fā)展和飛行任務(wù)等增加，此數(shù)據(jù)量在未來呈持續(xù)增長的狀態(tài)，目前上海、西安兩地通過飛行專網(wǎng)、人工擺渡等方式對這些數(shù)據(jù)進(jìn)行傳輸。

1.1 遇到的問題

隨著數(shù)據(jù)量不斷增長現(xiàn)有的數(shù)據(jù)傳遞方式的缺點(diǎn)也不斷浮現(xiàn)，具體如下：

（1）網(wǎng)絡(luò)層

上海、西安兩地通過100Mbps互聯(lián)網(wǎng)鏈路通過IPSECVPN進(jìn)行連接，VPN通過數(shù)據(jù)加密算法實(shí)現(xiàn)虛擬鏈路安全，加密的同時(shí)造成了數(shù)據(jù)傳輸開銷大，另一方面大文件、數(shù)據(jù)量大、帶寬低、傳輸耗時(shí)，需要等待的時(shí)間久，上海和西安兩地通過廣域網(wǎng)協(xié)議傳輸，降低了鏈路的傳輸效率。

針對目前的情況計(jì)算，若使傳輸速度保持在一個(gè)可以接受的閾值，至少需要將現(xiàn)有兩地網(wǎng)絡(luò)帶寬升級到1Gbps。而專線的租用費(fèi)用普遍高昂，大容量數(shù)據(jù)傳輸在廣域網(wǎng)環(huán)境下也無法充分發(fā)揮帶寬性能，若是依靠專線升級實(shí)現(xiàn)網(wǎng)絡(luò)容量的擴(kuò)容，每年僅在線路上需要新增的投資就達(dá)數(shù)百萬，性價(jià)比難以得到保障，速率也無法線性提升。

隨著飛行數(shù)據(jù)和規(guī)模不斷擴(kuò)大，傳輸效率低下成為兩地協(xié)作的最大瓶頸，全國各地分支機(jī)構(gòu)的快速、安全、高質(zhì)量組網(wǎng)和大容量數(shù)據(jù)的傳輸成為亟須考慮的問題。

（2）應(yīng)用層

目前使用的應(yīng)用傳輸工具為即時(shí)通訊軟件，并進(jìn)行點(diǎn)對點(diǎn)傳輸，傳輸效率較低，傳輸文件后沒有日志記錄、不可追溯，無法單次傳輸超大容量文件，由于數(shù)據(jù)不集中，沒有對應(yīng)的權(quán)限管理機(jī)制，造成數(shù)據(jù)管理風(fēng)險(xiǎn)較高，共享效率較低，這些寶貴數(shù)據(jù)沒有產(chǎn)生應(yīng)有的價(jià)值。

（3）存儲(chǔ)層

飛行數(shù)據(jù)卸載后存儲(chǔ)到服務(wù)器本機(jī)的硬盤中數(shù)據(jù)資源比較分散，專網(wǎng)日常工作中也會(huì)產(chǎn)生較多的工作資料、文檔、視頻數(shù)據(jù)（按照每天150G計(jì)算，每年大約55TB）這些數(shù)據(jù)均存儲(chǔ)到本機(jī)硬盤中，無法長期保存、也無法大容量存儲(chǔ)，并且傳輸速度受硬盤、存儲(chǔ)設(shè)備的性能所影響，造成數(shù)據(jù)無法滿載傳輸，影響傳輸效率。

1.2 傳輸效率預(yù)估

在現(xiàn)有情況下，按照飛行數(shù)據(jù)平均值分別在帶寬 100、200、300Mbps下推算出文件兩地傳輸所需要的時(shí)間如表1：

表1 理論文件傳輸時(shí)間表

可以看出在理論平均速率的情況下，傳輸大容量文件較為吃力，傳輸效率較低。

2 建設(shè)目標(biāo)及要求

2.1 建設(shè)目標(biāo)

（1）容量數(shù)據(jù)傳輸優(yōu)化、加速

兩地互聯(lián)數(shù)據(jù)匯集，西安節(jié)點(diǎn)處于應(yīng)用的中心，數(shù)據(jù)交互量之大可想而知。而從目前使用的應(yīng)用來看，往往文件較大、冗余度又高、需要多次傳輸?shù)臄?shù)據(jù)。在網(wǎng)絡(luò)傳輸層需要完成廣域網(wǎng)的協(xié)議加速、流壓縮、重復(fù)數(shù)據(jù)消重等目標(biāo)，最大化提升廣域網(wǎng)傳輸速度，降低帶寬損耗和無限制擴(kuò)容帶寬帶來的長期開支。

（2）大容量數(shù)據(jù)安全共享、管理

本次的網(wǎng)絡(luò)傳輸建設(shè)安全是基本要求。通過集中管理、統(tǒng)一運(yùn)維、統(tǒng)一VPN商密算法進(jìn)行加密，使文件傳輸兩端通過唯一的密鑰進(jìn)行加解密，通過專用文件系統(tǒng)搭配系統(tǒng)實(shí)現(xiàn)上海、西安、移動(dòng)系統(tǒng)的文件傳輸安全。

飛行數(shù)據(jù)和工作中產(chǎn)生的技術(shù)文檔、圖紙等資料分散存儲(chǔ)于各個(gè)電腦和服務(wù)器中，設(shè)備使用過程容易造成硬件損壞使重要資料丟失，沒有專業(yè)的文件管理系統(tǒng)，因此需要一套專業(yè)的文件資源管理系統(tǒng)將分散的資源集中存儲(chǔ)起來。通過技術(shù)手段實(shí)現(xiàn)大容量數(shù)據(jù)的分類管理、權(quán)限管理、分享管理、日志可追溯。

（3）大容量數(shù)據(jù)極速存儲(chǔ)、擴(kuò)展

網(wǎng)絡(luò)傳輸速度加快的同時(shí)也需考慮底層存儲(chǔ)系統(tǒng)的速度，考慮未來數(shù)據(jù)量不斷提高和長期保存需要，建設(shè)一套可橫向擴(kuò)展的高速分布式存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和高速讀取。

2.2 建設(shè)要求

完整的大容量數(shù)據(jù)傳輸專網(wǎng)構(gòu)建，需要從安全性、快速性、可靠性、管理便利、建設(shè)成本等全方面考慮。

（1）安全要求

本次的網(wǎng)絡(luò)建設(shè)是承載上海到西安的業(yè)務(wù)傳輸，安全是基本要求，除了需要保障接入、傳輸、權(quán)限等安全性要求外，系統(tǒng)應(yīng)能提供國家相關(guān)政策，能夠支持國密加密算法。

（2）快速性要求

兩地、多地網(wǎng)絡(luò)間應(yīng)用訪問速度是最直觀的體驗(yàn)，需要兼顧安全的同時(shí)考慮傳輸速度和質(zhì)量。

A：提高兩地傳輸吞吐量、提高傳輸效率；

B：提高專網(wǎng)接入帶寬速率到300Mbps；

C：由于VPN網(wǎng)絡(luò)是基于普通公網(wǎng)線路構(gòu)建的，網(wǎng)絡(luò)本身質(zhì)量、跨網(wǎng)傳輸導(dǎo)致丟包等現(xiàn)象都會(huì)對VPN的使用狀況產(chǎn)生影響。勢必造成訪問速度下降，甚至無法建立VPN連接。因此要求能實(shí)現(xiàn)廣域網(wǎng)的線路優(yōu)化。

（3）可靠性要求

要求有完備的機(jī)制能保障網(wǎng)絡(luò)時(shí)時(shí)暢通，要求遭遇特殊情況導(dǎo)致設(shè)備、線路、VPN隧道瞬時(shí)不可用時(shí)，能在短時(shí)間內(nèi)恢復(fù)，避免導(dǎo)致大規(guī)模的業(yè)務(wù)中斷。

（4）可管理要求

此次建設(shè)涉及 2個(gè)分支互聯(lián)節(jié)點(diǎn)，后續(xù)勢必會(huì)增加其余分支的組網(wǎng)。網(wǎng)絡(luò)建設(shè)需要采用一套完善的管理機(jī)制，對整網(wǎng)的分支互聯(lián)進(jìn)行統(tǒng)一管理、配置、升級等，并可對各點(diǎn)設(shè)備進(jìn)行健康狀況的實(shí)時(shí)監(jiān)控、異常報(bào)警，遠(yuǎn)程維護(hù)。

（5）集中存儲(chǔ)需求

根據(jù)飛行數(shù)據(jù)產(chǎn)生的數(shù)據(jù)量計(jì)算，測試數(shù)據(jù)需要長期存儲(chǔ)，要求數(shù)據(jù)存儲(chǔ)容量至少60TB，并能實(shí)現(xiàn)大容量文件的集中管理、快速存儲(chǔ)和后期歸檔，最終實(shí)現(xiàn)熱數(shù)據(jù)存儲(chǔ)到較為昂貴的高速存儲(chǔ)上，冷數(shù)據(jù)存儲(chǔ)到廉價(jià)的歸檔設(shè)備上。

3 網(wǎng)絡(luò)建設(shè)

3.1 整體網(wǎng)絡(luò)拓?fù)?/h3>

在專網(wǎng)核心交換機(jī)旁路部署管理控制臺(tái)，廣域網(wǎng)加速系統(tǒng)、數(shù)字網(wǎng)盤、分布式存儲(chǔ)等應(yīng)用系統(tǒng)；分支機(jī)構(gòu)網(wǎng)絡(luò)端出口或網(wǎng)橋模式部署廣域網(wǎng)加速系統(tǒng)；同時(shí)對商務(wù)互聯(lián)網(wǎng)線路進(jìn)行優(yōu)化擴(kuò)容，通過以上各系統(tǒng)的功能實(shí)現(xiàn)兩地之間數(shù)據(jù)傳輸效率提高，安全性提高、大容量數(shù)據(jù)的有效統(tǒng)一管理和存儲(chǔ)。網(wǎng)絡(luò)拓?fù)鋱D如圖1：

圖1 網(wǎng)絡(luò)拓?fù)鋱D

3.2 網(wǎng)絡(luò)層建設(shè)

（1）通過將專網(wǎng)出口原有100Mbps帶寬提升到200~300Mbps來增加網(wǎng)絡(luò)傳輸容量，具體提升數(shù)值測試后選擇最具有性價(jià)比的速率；

（2）上海和西安兩端網(wǎng)絡(luò)增加分支加速節(jié)點(diǎn)設(shè)備，通過加速設(shè)備的廣域網(wǎng)協(xié)議優(yōu)化、應(yīng)用緩存優(yōu)化、VPN加速、代理加速、流量壓縮技術(shù)提高兩地大容量數(shù)據(jù)的傳輸效率，理論加速效率提升60~100%；

（3）西安本端部署管理平臺(tái)，實(shí)現(xiàn)加速器之間的統(tǒng)一管理、協(xié)作、策略分發(fā)以及加速效果監(jiān)測，后續(xù)分支需要擴(kuò)容可再分支機(jī)構(gòu)增加加速節(jié)點(diǎn)，移動(dòng)辦公加速可采用桌面級加速節(jié)點(diǎn)進(jìn)行快速部署；

（4）為了提升兩個(gè)分支系統(tǒng)的穩(wěn)定性和可靠性，目前部署的20M 專線和新增虛擬專線可以改為互相備份的模式，在出現(xiàn)鏈路擁塞或者故障時(shí)候，可以通過負(fù)載均衡設(shè)備進(jìn)行智能地檢測并自動(dòng)切換到另外一條鏈路，減少停機(jī)時(shí)間。

3.3 應(yīng)用層建設(shè)

通過部署文件統(tǒng)一管理系統(tǒng)網(wǎng)盤，對飛行產(chǎn)生的數(shù)據(jù)進(jìn)行統(tǒng)一的管理，實(shí)現(xiàn)大容量數(shù)據(jù)集中存儲(chǔ)、共享、協(xié)作及歸檔等功能，根據(jù)不同使用場景，提供個(gè)人空間、群組空間、公共空間等三種空間應(yīng)用方式，滿足高并發(fā)和快速響應(yīng)的實(shí)時(shí)訪問服務(wù)。

網(wǎng)盤系統(tǒng)提供目錄權(quán)限分配、上傳審批、動(dòng)態(tài)配額、文件夾新增、批量上傳、批量下載、共享（可設(shè)置權(quán)限）、文件轉(zhuǎn)移、外鏈分享、多版本管理、使用軌跡、office/視音頻在線預(yù)覽、全文檢索等功能，提高對數(shù)據(jù)的利用和使用效率。

3.4 存儲(chǔ)層建設(shè)

通過增加大容量數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，降低由于底層存儲(chǔ)系統(tǒng)造成的硬件傳輸瓶頸，解決海量數(shù)據(jù)的長期存儲(chǔ)和歸檔需要。

建設(shè)3-4節(jié)點(diǎn)的分布式存儲(chǔ)系統(tǒng)，通過多節(jié)點(diǎn)鏡像、高速緩存、橫向無線擴(kuò)展等技術(shù)機(jī)制滿足院里大容量數(shù)據(jù)的長期和快速存儲(chǔ)。

對于需要高效傳輸?shù)臄?shù)據(jù)通過SSD高速硬盤進(jìn)行臨時(shí)存放，數(shù)據(jù)傳輸完畢后不需要隨時(shí)使用的數(shù)據(jù)使用相對廉價(jià)的機(jī)械大容量硬盤進(jìn)行存儲(chǔ)，降低整體成本。

最終從網(wǎng)絡(luò)層、應(yīng)用層、存儲(chǔ)底層三個(gè)方面實(shí)現(xiàn)大容量數(shù)據(jù)的傳輸、加速、存儲(chǔ)和管理。

3.5 加速后的效果

啟用加速后的效果預(yù)估，理論提速50-100%，如表2：

表2 加速后文件傳輸時(shí)間表

4 風(fēng)險(xiǎn)分析

由于大容量數(shù)據(jù)的傳輸受到存儲(chǔ)介質(zhì)、文件類型、傳輸應(yīng)用、網(wǎng)絡(luò)鏈路等多方面數(shù)值影響，存在較多不確定因素，需要展開后續(xù)更多測試工作，對各項(xiàng)數(shù)據(jù)進(jìn)行測試后得出更準(zhǔn)確的結(jié)論，從而避免項(xiàng)目風(fēng)險(xiǎn)。