批量文件加密實(shí)時(shí)傳輸及存儲(chǔ)的方法分析

◆楊志博 張彥林

批量文件加密實(shí)時(shí)傳輸及存儲(chǔ)的方法分析

◆楊志博 張彥林

（甘肅省軍區(qū) 甘肅 730000）

針對(duì)當(dāng)前復(fù)雜的文件加密傳輸與信息存儲(chǔ)，本文在了解傳統(tǒng)批量文件加密實(shí)時(shí)傳輸方案弊端的基礎(chǔ)上，提出了一種新型的文件加密傳輸與存儲(chǔ)方法，希望為進(jìn)一步增強(qiáng)系統(tǒng)功能奠定基礎(chǔ)。

批量文件；實(shí)時(shí)傳輸；數(shù)據(jù)存儲(chǔ)；Storm

針對(duì)現(xiàn)階段頻繁發(fā)生的信息系統(tǒng)安全問題，對(duì)批量文件的加密成為避免信息泄漏的關(guān)鍵，在此基礎(chǔ)上進(jìn)行有效的信息數(shù)據(jù)傳遞有助于提高信息傳遞水平，滿足社會(huì)對(duì)各類信息資源的需求。但是就目前而言，批量文件加密實(shí)時(shí)傳輸與存儲(chǔ)在技術(shù)設(shè)計(jì)以及功能設(shè)置上還存在諸多不足，為了能夠有效解決此類問題發(fā)生，就必須要對(duì)其中的關(guān)鍵技術(shù)進(jìn)行完善，這也是本文研究的主要目的。

1 傳統(tǒng)技術(shù)的缺陷

從技術(shù)發(fā)展現(xiàn)狀來看，關(guān)于批量文件加密以及數(shù)據(jù)實(shí)時(shí)傳輸已經(jīng)被廣泛應(yīng)用在大數(shù)據(jù)與云計(jì)算領(lǐng)域，就目前而言，隨著企業(yè)生產(chǎn)規(guī)模的不斷擴(kuò)大，傳統(tǒng)的信息傳輸模式已經(jīng)不再適用于企業(yè)發(fā)展需求，關(guān)于批量加密數(shù)據(jù)的存儲(chǔ)與傳輸成為影響企業(yè)可持續(xù)發(fā)展水平的重要因素。為了能夠適應(yīng)未來生產(chǎn)需求，相關(guān)企業(yè)必須要在信息技術(shù)管理手段上進(jìn)行創(chuàng)新，在不斷拓展信息存儲(chǔ)空間的基礎(chǔ)上，最大限度上的保證信息系統(tǒng)安全。但是就目前而言，在批量文件的實(shí)時(shí)傳輸與數(shù)據(jù)存儲(chǔ)中還存在諸多問題，主要表現(xiàn)為以下幾方面：（1）傳統(tǒng)模式下的批量文件傳出以及存儲(chǔ)主要選擇主備模式接口機(jī)組網(wǎng)，所以為了能夠?qū)崿F(xiàn)數(shù)據(jù)的同時(shí)同步則需要部署充足的SFTP服務(wù)，這種模式會(huì)顯著增加部署的難度，并且一旦系統(tǒng)主機(jī)出現(xiàn)故障之后將會(huì)直接影響系統(tǒng)運(yùn)行，備機(jī)所存儲(chǔ)的數(shù)據(jù)不能保證信息的一致性，容易引發(fā)信息失真問題。接口機(jī)在存儲(chǔ)信息期間通常會(huì)通過內(nèi)置盤劃分raid，這種模式缺乏必要的數(shù)據(jù)保護(hù)功能，導(dǎo)致數(shù)據(jù)可靠性較低，尤其是在單臺(tái)服務(wù)器運(yùn)行過程中會(huì)受到磁盤IO的限制[1]。（2）在接口機(jī)運(yùn)行中采用了主備模式，導(dǎo)致在系統(tǒng)運(yùn)行過程中可能會(huì)出現(xiàn)大量的閑置備機(jī)，不僅造成資源的浪費(fèi)，而且也無法針對(duì)接口機(jī)的運(yùn)行狀態(tài)做有效的業(yè)務(wù)分配，不滿足未來信息資源管理要求。

2 批量文件加密實(shí)時(shí)傳輸及存儲(chǔ)技術(shù)研究

2.1 框架設(shè)計(jì)

針對(duì)批量文件加密傳輸?shù)男阅芤?，本文在框架設(shè)計(jì)中結(jié)合大數(shù)據(jù)技術(shù)，結(jié)合相關(guān)單位（或個(gè)人）針對(duì)需求的分析來完善系統(tǒng)的架構(gòu)，通過大數(shù)據(jù)流式框架對(duì)批量文件做采集、切分、壓縮等一系列操作之后，最終將其存儲(chǔ)到系統(tǒng)服務(wù)器中。在本次框架設(shè)計(jì)階段，需要重點(diǎn)考慮以下幾方面問題：（1）為保障有效的信息傳遞，則需要打造專屬服務(wù)器以及相對(duì)應(yīng)的傳輸協(xié)議。從現(xiàn)有技術(shù)發(fā)展情況來看，本文在框架設(shè)計(jì)中可以采用HTTP/TCP模式傳輸系統(tǒng)控制信息，使用RTP/UDP模協(xié)議傳輸加密批量文件數(shù)據(jù)，期間為確保服務(wù)器輸出的信息能夠直接傳遞到目標(biāo)地址，則需要通過上述兩種協(xié)議與服務(wù)器之間構(gòu)建聯(lián)系。（2）在批量文件傳輸過程中需要使用壓縮技術(shù)，在將文件壓縮成特定的格式之后再進(jìn)行信息傳輸。在這個(gè)過程中，由于批量文件傳輸過程需要耗費(fèi)大量的時(shí)間，在壓縮后可以減少批量文件傳輸過程中所占據(jù)的帶寬。（3）在框架內(nèi)傳遞的數(shù)據(jù)是結(jié)構(gòu)化的，為強(qiáng)化傳輸效果，可以在原有結(jié)構(gòu)的基礎(chǔ)上增設(shè)一個(gè)序列化封裝結(jié)構(gòu)，能夠?qū)崿F(xiàn)批量文件的數(shù)據(jù)采集與分組，保證了批量文件可以實(shí)現(xiàn)有效的信息傳遞。

在上述功能設(shè)定后，本文設(shè)計(jì)了該系統(tǒng)的基本框架，框架的結(jié)構(gòu)如圖1所示。

2.2 系統(tǒng)搭建

根據(jù)前文介紹的內(nèi)容可知，在本文所介紹的系統(tǒng)結(jié)構(gòu)中采用了結(jié)構(gòu)化模式，所以在搭建系統(tǒng)中重點(diǎn)圍繞這一數(shù)據(jù)處理要求來妥善處理各種處理數(shù)據(jù)，通過在main函數(shù)中配置批量文件的地址以及推流地址后，將加密文件傳輸業(yè)務(wù)提交到網(wǎng)絡(luò)集群環(huán)境中并進(jìn)行運(yùn)行。在這個(gè)過程中，網(wǎng)絡(luò)平臺(tái)實(shí)現(xiàn)批量文件數(shù)據(jù)接收、分析以及壓縮、推流等工作后，實(shí)現(xiàn)系統(tǒng)集中處理；在批量文件加密處理后的數(shù)據(jù)發(fā)送至Bolt模塊做數(shù)據(jù)的壓縮與加密，這個(gè)過程每個(gè)系統(tǒng)處理行為均由相應(yīng)的Bolt負(fù)責(zé)，因此可以有效改善任務(wù)之間的耦合度，保證數(shù)據(jù)傳輸效果。

圖1 系統(tǒng)結(jié)構(gòu)

2.3 部署Storm

與傳統(tǒng)技術(shù)相比，Storm框架在數(shù)據(jù)傳輸中具有可靠性高、低延遲等優(yōu)點(diǎn)，尤其滿足視頻、圖片等大容批量文件的傳輸要求，是一種可行技術(shù)，所以在本文中介紹將以Storm為基礎(chǔ)搭設(shè)系統(tǒng)環(huán)境，其硬件環(huán)境的配置方案為：選擇華為彈性云服務(wù)器，在該服務(wù)器上打造Ubuntu64位系統(tǒng)，該系統(tǒng)為本次批量文件加密傳輸?shù)拇鎯?chǔ)庫；同時(shí)針對(duì)Storm可視化需求，在主節(jié)點(diǎn)上選擇雙單核處理器。

Storm的軟件開發(fā)環(huán)境為：JDK版本：JDK1.8.0_231；（2）Maven版本：Apache-maven-2.5.5；（3）Python版本：Python2.7.2。

在上述軟件開發(fā)環(huán)境中，Maven作為項(xiàng)目管理工具能夠用于系統(tǒng)項(xiàng)目代碼管理，管理功能包括：程序“jar”打包、充當(dāng)bug調(diào)試工具等。在Storm的Supervisor節(jié)點(diǎn)中需部署Zookeeper分布式應(yīng)用程序，該程序發(fā)揮著服務(wù)協(xié)調(diào)的作用，在整個(gè)系統(tǒng)中的功能包括：（1）在Supervisor與Nimbus之間無信息傳遞，所以當(dāng)Nimbus接收Storm的任務(wù)拓?fù)浜罂梢灾苯訉⑷蝿?wù)信息錄入Zookeeper中，方便系統(tǒng)快速讀取對(duì)應(yīng)節(jié)點(diǎn)的狀態(tài)信息并快速完成資源分配。（2）當(dāng)Task執(zhí)行失敗時(shí)Zookeeper能夠獲取失敗信息，確保Nimbus主節(jié)點(diǎn)可以按照運(yùn)行信息重啟Task等。

2.4 批量文件加密傳輸?shù)娜蝿?wù)提交

為滿足加密狀況下的特殊信息處理需求，本文所介紹的系統(tǒng)在加密中主要是在JDK環(huán)境下實(shí)現(xiàn)的，方便監(jiān)控整個(gè)Storm的狀態(tài)信息，并從中提取數(shù)據(jù)傳輸與存儲(chǔ)過程中的異常信息，判斷批量文件是否遭受安全威脅。在Storm框架以及對(duì)應(yīng)的軟件環(huán)境開發(fā)結(jié)束后即可選擇啟動(dòng)Storm，期間需先運(yùn)行Zookeeper服務(wù)模式，在安裝目錄下執(zhí)行操作命令查看系統(tǒng)的運(yùn)行狀態(tài)，當(dāng)Zookeeper運(yùn)行成功后即可進(jìn)入Storm的bin目錄下，完成系統(tǒng)框架啟動(dòng)[2]。

系統(tǒng)框架啟動(dòng)之后，基于Storm框架的批量文件加密傳輸執(zhí)行過程為：用戶在客戶端建立Topology后，可以直接定義Bolt與Spout的初始并發(fā)度（初始Executors數(shù)量）并定義組件分流策略；之后將Topology提交到Nimbus中，由Nimbus按照系統(tǒng)設(shè)定內(nèi)容分配批量文件傳輸任務(wù)，下載依賴包源代碼數(shù)據(jù)，分配到對(duì)應(yīng)的Zookeeper上；最后子節(jié)點(diǎn)可以通過查詢Zookeeper的信息分配詳細(xì)，執(zhí)行Tasks。

2.5 網(wǎng)關(guān)實(shí)現(xiàn)

2.5.1網(wǎng)關(guān)關(guān)鍵業(yè)務(wù)節(jié)點(diǎn)以及邏輯流程

在批量文件加密實(shí)時(shí)傳輸及存儲(chǔ)中，網(wǎng)關(guān)的功能也是影響系統(tǒng)性能的關(guān)鍵，本文采用分布式SFTP網(wǎng)關(guān)方法，在該網(wǎng)關(guān)下的關(guān)鍵業(yè)務(wù)節(jié)點(diǎn)包括：網(wǎng)關(guān)模塊、驗(yàn)證服務(wù)器、云陣對(duì)象存儲(chǔ)、后端DB2數(shù)據(jù)庫、大數(shù)據(jù)平臺(tái)等，網(wǎng)關(guān)的邏輯流程為：（1）業(yè)務(wù)系統(tǒng)通過批量采集數(shù)據(jù)文件，并通過加密SFTP上傳，此時(shí)系統(tǒng)開始記錄對(duì)應(yīng)的批量文件數(shù)量（1～n）；（2）業(yè)務(wù)系統(tǒng)上的批量文件局按照SFTP加密協(xié)議上傳到對(duì)應(yīng)的網(wǎng)關(guān)模塊后，由SFTP網(wǎng)關(guān)模塊按照協(xié)議內(nèi)容向存儲(chǔ)模塊做轉(zhuǎn)換；（3）批量文件數(shù)據(jù)在SFTP網(wǎng)關(guān)模塊上將接收的數(shù)據(jù)通過透傳的方法直接將文件存儲(chǔ)值云平臺(tái)上，該平臺(tái)上能夠完成數(shù)據(jù)保護(hù)；（4）驗(yàn)證服務(wù)模塊可以直接從SFTP網(wǎng)關(guān)中拉取業(yè)務(wù)數(shù)據(jù)并下載到本地；（5）通過數(shù)據(jù)驗(yàn)證的方法提取批量文件傳輸?shù)娜罩疚募?/p>

2.5.2網(wǎng)關(guān)實(shí)現(xiàn)策略

在網(wǎng)關(guān)實(shí)現(xiàn)策略中，主要采用應(yīng)用組件以及數(shù)據(jù)組件等，其中應(yīng)用組件主要被部署在DMZ區(qū)，數(shù)據(jù)組件布置在內(nèi)網(wǎng)核心區(qū)，在上述架構(gòu)的基礎(chǔ)上，SFTP網(wǎng)關(guān)模塊具有負(fù)載低、性能消耗低、易拓展等優(yōu)勢，其實(shí)現(xiàn)步驟包括：

（1）SFTP與S3的協(xié)議轉(zhuǎn)換。該功能的主要功能就是要將SFTP協(xié)議轉(zhuǎn)化為云存儲(chǔ)的S3協(xié)議，經(jīng)外委業(yè)務(wù)系統(tǒng)將需要存儲(chǔ)的批量文件加密數(shù)據(jù)存儲(chǔ)在系統(tǒng)后，通過SFTP網(wǎng)關(guān)模塊實(shí)現(xiàn)協(xié)議轉(zhuǎn)換后，需要摒棄現(xiàn)行方案的協(xié)議模式，先將批量文件數(shù)據(jù)上傳至接口機(jī)內(nèi)置盤，再經(jīng)接口機(jī)客戶端軟件推送至云計(jì)算平臺(tái)上。在該方案中批量文件在SFTP網(wǎng)關(guān)下能夠?qū)崿F(xiàn)透明傳輸，其中的數(shù)據(jù)經(jīng)過協(xié)議轉(zhuǎn)換后可直接傳輸?shù)皆破脚_(tái)存儲(chǔ)系統(tǒng)中。

（2）SFTP網(wǎng)關(guān)的多服務(wù)多活。為滿足批量文件加密傳輸需求，SFTP網(wǎng)關(guān)需采用多服務(wù)多活的模式，在現(xiàn)有的網(wǎng)絡(luò)架構(gòu)下，該功能的實(shí)現(xiàn)策略為：（1）SFTP網(wǎng)關(guān)中的Server根據(jù)承載服務(wù)器的承載性能比例情況，可以直接在對(duì)應(yīng)的服務(wù)商啟動(dòng)SFTP網(wǎng)關(guān)服務(wù)進(jìn)程，這個(gè)過程中會(huì)通過均勻分布的方法來盡可能提升整個(gè)系統(tǒng)結(jié)構(gòu)的性能。（2）通過對(duì)后端云陣系統(tǒng)存儲(chǔ)庫做節(jié)點(diǎn)標(biāo)識(shí)，可以提供對(duì)應(yīng)的S3協(xié)議接口，簡化數(shù)據(jù)傳出過程。（3）根據(jù)底層服務(wù)器的分配方案，能夠?qū)FTP網(wǎng)關(guān)服務(wù)進(jìn)程與存儲(chǔ)節(jié)點(diǎn)一一對(duì)應(yīng)，并采用分散部署的方法，分別對(duì)應(yīng)存儲(chǔ)數(shù)據(jù)庫節(jié)點(diǎn)與SFTP網(wǎng)關(guān)服務(wù)。

3 結(jié)束語

本文介紹的技術(shù)手段能夠有效解決批量文件加密實(shí)時(shí)傳輸以及存儲(chǔ)過程中存在的問題，是一種科學(xué)的技術(shù)手段，與傳統(tǒng)技術(shù)相比，本文采用了Storm框架結(jié)構(gòu)，該結(jié)構(gòu)能夠提供更穩(wěn)定的批量文件傳輸支持策略，滿足不同工況下的數(shù)據(jù)傳輸需求。同時(shí)本文所使用的SFTP網(wǎng)關(guān)技術(shù)進(jìn)一步增強(qiáng)了整個(gè)系統(tǒng)的功能，具有技術(shù)先進(jìn)性，值得推廣。

[1]龍笑.無人機(jī)貨運(yùn)大數(shù)據(jù)實(shí)時(shí)傳輸及管理技術(shù)研究[D].南京航空航天大學(xué)，2019.

[2]閆亞玲，李博，孟祥飛.基于DSP+ARM的音視頻同步壓縮存儲(chǔ)實(shí)時(shí)傳輸系統(tǒng)設(shè)計(jì)[J].實(shí)驗(yàn)室研究與探索，2019，38（01）：69-72+90.