一種基于隔離網(wǎng)閘的大文件高效傳輸方案

任晨 劉立 陳鵬

為保障網(wǎng)絡(luò)安全，通常會(huì)把網(wǎng)絡(luò)分為內(nèi)、外兩個(gè)不同安全級(jí)別的網(wǎng)絡(luò)環(huán)境。內(nèi)網(wǎng)為一般企事業(yè)單位內(nèi)部使用網(wǎng)絡(luò)，安全等級(jí)較高，是防控嚴(yán)格的可信網(wǎng)絡(luò);外網(wǎng)擁有開放而豐富的資源，但是安全等級(jí)比較低，為不可信的網(wǎng)絡(luò)。為保證2個(gè)不同安全等級(jí)網(wǎng)絡(luò)的物理連接和網(wǎng)絡(luò)協(xié)議互聯(lián)互通，通常會(huì)采用隔離網(wǎng)閘，以信息“擺渡”的方式，實(shí)現(xiàn)2個(gè)網(wǎng)絡(luò)間的數(shù)據(jù)交換。然而基于安全考慮，網(wǎng)閘通常會(huì)對(duì)傳輸速度和內(nèi)容進(jìn)行限制，對(duì)于數(shù)據(jù)量較小的信息交換一般問題不大，但是對(duì)于數(shù)據(jù)量較大的大文件，傳輸耗費(fèi)時(shí)間較長，而網(wǎng)閘使用的實(shí)際情況是多個(gè)應(yīng)用共同使用，網(wǎng)絡(luò)環(huán)境取決于各個(gè)應(yīng)用共同作用的結(jié)果，如果長時(shí)間傳輸，碰到網(wǎng)絡(luò)比較擁堵的時(shí)候，會(huì)對(duì)傳輸造成影響，嚴(yán)重的時(shí)候甚至?xí)?dǎo)致連接主動(dòng)斷開，進(jìn)而造成數(shù)據(jù)重傳風(fēng)險(xiǎn)，影響傳輸效率。

為此，基于隔離網(wǎng)閘的實(shí)際使用情況，筆者提出一種基于隔離網(wǎng)閘的大文件傳輸方案。方案從兩個(gè)方面改進(jìn)傳輸效率，首先盡可能減少傳輸?shù)臄?shù)據(jù)量，采用壓縮率最高的改進(jìn)LZMA算法，最大限度減少傳輸數(shù)據(jù)量;然后盡可能減少或規(guī)避連接斷開帶來的數(shù)據(jù)重傳風(fēng)險(xiǎn)，采用文件切片和動(dòng)態(tài)反饋傳輸算法，把原有整個(gè)大文件重傳變?yōu)榍衅貍?，大大減少重傳量，同時(shí)利用動(dòng)態(tài)反饋傳輸算法盡量避免文件過快傳輸帶來的斷開風(fēng)險(xiǎn)。經(jīng)過實(shí)際驗(yàn)證，該方案能夠動(dòng)態(tài)適應(yīng)網(wǎng)絡(luò)變化情況，大大提高傳輸大文件的效率。

隔離網(wǎng)閘

隔離網(wǎng)閘是內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)之間的一個(gè)安全防護(hù)裝置，可以識(shí)別非法請求并阻止超越權(quán)限的數(shù)據(jù)訪問和操作，從而有效地抵御病毒、黑客等惡意破壞和攻擊活動(dòng)。隔離網(wǎng)閘由外網(wǎng)處理單元、內(nèi)網(wǎng)處理單元和安全隔離模塊3個(gè)部分組成，內(nèi)網(wǎng)和外網(wǎng)處理單元分別處理內(nèi)外網(wǎng)的連接請求，安全隔離模塊包含了控制單元和存儲(chǔ)介質(zhì)，控制單元從硬件層面上實(shí)現(xiàn)了數(shù)據(jù)交換區(qū)在任一時(shí)刻只與內(nèi)網(wǎng)系統(tǒng)或外網(wǎng)系統(tǒng)相連，這樣便能保證在任一時(shí)刻內(nèi)網(wǎng)與外網(wǎng)沒有連通，從而實(shí)現(xiàn)了鏈路的物理隔離。存儲(chǔ)介質(zhì)用于在隔離網(wǎng)閘進(jìn)行數(shù)據(jù)通信過程中，臨時(shí)保存內(nèi)外網(wǎng)的連接數(shù)據(jù)，在發(fā)送方斷開后，從存儲(chǔ)介質(zhì)中取出發(fā)送給接受方。由于一次數(shù)據(jù)交互需要進(jìn)行連接一方控制單元、傳輸數(shù)據(jù)、保存數(shù)據(jù)到存儲(chǔ)介質(zhì)、斷開原有連接控制單元、再使用另外一方連接控制單元、從存儲(chǔ)介質(zhì)取出數(shù)據(jù)并傳輸?shù)?個(gè)步驟，隔離網(wǎng)閘相較于其他一些用于安全防護(hù)設(shè)備，性能在傳輸過程中損耗較大?；诖笪募旧淼奶匦院透綦x網(wǎng)閘的情況，大文件傳輸會(huì)長時(shí)間占用隔離網(wǎng)閘帶寬，同時(shí)對(duì)存儲(chǔ)介質(zhì)中的數(shù)據(jù)流轉(zhuǎn)也帶來巨大挑戰(zhàn)，會(huì)給隔離網(wǎng)閘的數(shù)據(jù)傳輸帶來風(fēng)險(xiǎn)，進(jìn)而影響傳輸效率。如何保證傳輸效率，筆者結(jié)合國標(biāo)《GB/T20279-2015信息安全技術(shù)網(wǎng)絡(luò)和終端隔離產(chǎn)品安全技術(shù)要求》對(duì)隔離網(wǎng)閘提出的吞吐量和性能延遲要求，對(duì)大文件進(jìn)行分割傳輸。

在實(shí)際使用過程中，一般采用圖1所示網(wǎng)絡(luò)架構(gòu)。圖1中外網(wǎng)想要請求內(nèi)網(wǎng)服務(wù)器，必須通過隔離網(wǎng)閘，隔離網(wǎng)閘安全檢驗(yàn)通過后，再通過路由等方式發(fā)送給對(duì)應(yīng)內(nèi)網(wǎng)服務(wù)器，外網(wǎng)會(huì)有多個(gè)應(yīng)用同時(shí)請求數(shù)據(jù)通過隔離網(wǎng)閘并發(fā)送到不同的內(nèi)網(wǎng)服務(wù)器，內(nèi)網(wǎng)服務(wù)器收到請求后，根據(jù)請求類型和內(nèi)容進(jìn)行回復(fù)。

結(jié)合隔離網(wǎng)閘的物理特性和實(shí)際應(yīng)用情況，為保證大文件的傳輸效率，需要根據(jù)隔離網(wǎng)閘的實(shí)際情況進(jìn)行測試，把測試結(jié)果作為方案的輸入項(xiàng)。測試過程中，把吞吐量和性能延遲指標(biāo)綜合為傳輸速率，結(jié)合切片文件的傳輸過程，得到切片大小相對(duì)的傳輸效率值。具體做法為準(zhǔn)備不同大小的切片文件，每次測試使用一種大小的切片文件進(jìn)行反復(fù)持續(xù)傳輸，根據(jù)傳輸?shù)臄?shù)據(jù)總量和傳輸?shù)目倳r(shí)間得到平均傳輸速率，多次測試后，得到以文件大小為橫軸、傳輸速率為縱軸的負(fù)債測試結(jié)果，取傳輸速率最高值作為推薦帶寬值，同時(shí)相對(duì)應(yīng)的切片文件大小則為推薦的切片文件大小。

數(shù)據(jù)壓縮

隔離網(wǎng)閘基于安全考慮，對(duì)網(wǎng)絡(luò)流量有非常嚴(yán)格的限制。大文件如果想在內(nèi)外網(wǎng)通過隔離網(wǎng)閘傳播，必須盡可能減少傳輸文件的大小。如何在保證文件完整的情況下，盡量減少傳輸文件的大??？針對(duì)這種情況，一般會(huì)采用對(duì)文件進(jìn)行無損壓縮后再傳輸?shù)姆绞?，文件壓縮算法一般有RLE、LZW、LZSS、bzip2、gzip等。LZMA是通過Deflate和LZ77算法改良和優(yōu)化后的壓縮算法，該算法壓縮率相較于RLE、LZW、LZSS、bzip2（-9）、gzip（-9）等壓縮算，表現(xiàn)更優(yōu)異。為了更大提高壓縮率和安全性，采用LZMA算法進(jìn)行實(shí)驗(yàn)，根據(jù)該算法設(shè)計(jì)LzmaDeal壓縮類，核心內(nèi)容如圖2所示。

該類中包含兩個(gè)成員變量，key表示用于加密密鑰、sMap表示壓縮字典，采用字典格式，字典key為整形，value值使用類WsData，類中包含權(quán)值和二進(jìn)制串。類中一共包含5個(gè)核心方法，其中Init是在類實(shí)例化的時(shí)候使用，主要作用是初始sMap成員變量;Encryption方法用來加密數(shù)據(jù)，傳入src表示需要加密的數(shù)據(jù)，dst表示加密后的數(shù)據(jù)，方法返回值為bool類型，表示加密是否成功;Compress方法用來壓縮文件，該方法中可以分多個(gè)線程進(jìn)行壓縮，src表示帶壓縮數(shù)據(jù)，dst表示壓縮結(jié)果，threads表示使用線程數(shù)據(jù)。SmapSearch是sMap字典搜索方法，src表示待編碼字符串，dst返回src編碼結(jié)果;CompressFile功能為實(shí)現(xiàn)文件壓縮，傳入?yún)?shù)為源文件和壓縮文件地址，該方法中會(huì)調(diào)用其他幾個(gè)方法完成文件的加密和壓縮。經(jīng)過測試，該壓縮算法的壓縮率一般能達(dá)到35%左右，有些文件甚至能達(dá)到20%。按照該效率計(jì)算，傳輸數(shù)據(jù)量能夠減少65%—80%，對(duì)于網(wǎng)閘的壓力減少和傳輸效率的提高都有很大的幫助，同時(shí)該算法使用了加密算法，兼顧了網(wǎng)絡(luò)數(shù)據(jù)安全。

切片及動(dòng)態(tài)反饋

使用網(wǎng)閘時(shí)會(huì)給使用網(wǎng)閘的應(yīng)用分配一定大小帶寬，在內(nèi)外網(wǎng)傳輸過程中，這個(gè)帶寬是傳輸文件時(shí)能夠達(dá)到的最大帶寬。但是網(wǎng)閘在實(shí)際使用中，經(jīng)常是大量應(yīng)用共同使用同一個(gè)網(wǎng)閘。當(dāng)其他應(yīng)用比較忙、對(duì)網(wǎng)閘的使用率比較高的時(shí)候，傳輸應(yīng)用在使用網(wǎng)閘時(shí)無法達(dá)到最大帶寬，如果對(duì)傳輸速率不進(jìn)行限制，網(wǎng)閘會(huì)基于安全考慮，主動(dòng)斷開連接。為了防止出現(xiàn)斷開連接導(dǎo)致的數(shù)據(jù)重傳，同時(shí)最大利用網(wǎng)閘帶寬，筆者采用對(duì)文件進(jìn)行切片的方式進(jìn)行傳輸，同時(shí)在傳輸時(shí)利用動(dòng)態(tài)反饋的傳輸機(jī)制，調(diào)整傳輸速率。

傳輸切片文件時(shí)首先需要網(wǎng)絡(luò)連接請求操作，如果切片太小，連接操作會(huì)耗費(fèi)大量時(shí)間，如果切片過大，動(dòng)態(tài)反饋機(jī)制會(huì)延遲，有被強(qiáng)制斷開連接的風(fēng)險(xiǎn)，所以切片必須根據(jù)實(shí)際傳輸情況進(jìn)行調(diào)整。假定X（n），n=1，2，3…N代表每次切片的大小， 假定P（n），n=1，2，3…N代表每次切片傳輸?shù)臅r(shí)間，T代表推薦調(diào)整間隔。為保證調(diào)整間隔接近T，采用前n-1次傳輸?shù)那闆r按照公式求取最佳切片文件大?。?/p>

該公式先求得第1到n-2次的傳輸平均速率，然后與n-1次的速率求平均速率，得到結(jié)果乘以T得到切片文件大小。其中X（1）和X（2）的值為T與最大帶寬的乘積。其中T作為可變參數(shù)，可根據(jù)實(shí)際情況調(diào)整該參數(shù)。

切片完成后進(jìn)行數(shù)據(jù)傳輸，為保證傳輸數(shù)據(jù)效率，使用如圖3所示流程進(jìn)行數(shù)據(jù)傳輸。

第一步，對(duì)數(shù)據(jù)進(jìn)行切片，按照切片節(jié)中的X（n）進(jìn)行計(jì)算切片大小。若文件傳輸完成，則結(jié)束傳輸。第二步，傳輸切片文件，并記錄傳輸?shù)拈_始和結(jié)束時(shí)間。第三步，判斷傳輸過程是否正常，如果正常跳到第四步，如果傳輸錯(cuò)誤則跳到第五步。第四步，使用動(dòng)態(tài)反饋算法計(jì)算確定傳輸速率是否過快，如果正常則跳到第一步，如果速率過快，則根據(jù)動(dòng)態(tài)反饋算法計(jì)算結(jié)果，使用睡眠的方式暫停指定時(shí)間，然后再回到第一步，抑制傳輸速率過快。第五步，標(biāo)記當(dāng)前切片傳輸失敗，然后把當(dāng)前切片作為下一次的傳輸切片數(shù)據(jù)。在重新傳輸前，需要先判斷該切片是否已經(jīng)失敗過3次或3次以上，如果不是則直接回到第一步，如果是則需要長時(shí)間睡眠等待。該睡眠等待時(shí)間作為可變參數(shù)，可以根據(jù)實(shí)際情況調(diào)整。

動(dòng)態(tài)反饋算法根據(jù)傳輸速率動(dòng)態(tài)調(diào)整傳輸過程，通過睡眠方式抑制傳輸過快帶來的風(fēng)險(xiǎn)。動(dòng)態(tài)反饋算法結(jié)合切片文件大小、傳輸時(shí)間、分配帶塊、上一次傳輸速率等因素。假定使用X（n），n=1，2，3…N代表每次切片的大小，使用T1（n），n=1，2，3…N表示每次傳輸開始時(shí)間，使用T2（n），n=1，2，3…N表示傳輸結(jié)束時(shí)間，則可以使用公式X（n）/（T2（n）-T1（n））計(jì)算出當(dāng)前文件的傳輸速率，假定網(wǎng)閘分配最大帶寬為R，使用D（n），n=1，2，3…N表示第n次傳輸速率偏差值，結(jié)合上一次切片傳輸偏差值使用公式（X（n）/（T2（n）-T1（n））-R+D（n-1））/2得到當(dāng)次實(shí)際偏差值，為避免偏差值多余強(qiáng)烈變化，使用P表示單次最大偏差值，使用MIN表示取最小值，使用如下公式表示速率偏差值的求?。?/p>

其中R，P值為可變參數(shù)，其中R值在實(shí)際測試過程中，可以不必寫理論值，推薦為理論值的90%。D（0）=0，若D（n）<0，則D（n）=0。得到速率偏差之后，如果速率偏差值大于0，則需要做睡眠處理，睡眠時(shí)間使用如下公式計(jì)算：

本方案通過實(shí)際環(huán)境測試，在保證文件正常傳輸?shù)那闆r下，能夠以接近最大帶寬的速率進(jìn)行傳輸。

隔離網(wǎng)閘廣泛應(yīng)用于內(nèi)外網(wǎng)數(shù)據(jù)通信，而大文件以其特殊性，在經(jīng)過隔離網(wǎng)閘時(shí)需要特別予以關(guān)注。本文所提出的解決方案，能夠基于隔離網(wǎng)閘情況下，保證大文件的傳輸效率，進(jìn)而保證業(yè)務(wù)的正常進(jìn)行。同時(shí)該方案還可以擴(kuò)展到類似大文件數(shù)據(jù)交互的限速環(huán)境中，通過應(yīng)用本文所提供的單個(gè)或者所有方法結(jié)合的方式，能夠有效減少因?yàn)榇笪募鬏斝蔬^慢帶來的影響。

（作者單位：國網(wǎng)新疆電力有限公司物資公司）