淺述一種分布式環(huán)境下多服務(wù)器數(shù)據(jù)報(bào)送方法

摘 要 本文針對(duì)在多節(jié)點(diǎn)服務(wù)器上報(bào)數(shù)據(jù)時(shí)容易存在文件重名的問(wèn)題，提出了一種分布式環(huán)境下多服務(wù)器數(shù)據(jù)報(bào)送方法，通過(guò)分布式鎖服務(wù)器和統(tǒng)一編號(hào)服務(wù)器，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行了統(tǒng)一命名，避免了報(bào)送目的端文件服務(wù)器上的文件重名和簡(jiǎn)化了文件出錯(cuò)重傳機(jī)制，并對(duì)傳送的數(shù)據(jù)文件進(jìn)行二進(jìn)制的壓縮和多重加密，通過(guò)sftp途徑將數(shù)據(jù)文件傳輸和上傳至服務(wù)器，提高數(shù)據(jù)傳輸安全性。

關(guān)鍵詞 分布式環(huán)境;數(shù)據(jù)報(bào)送;數(shù)據(jù)傳輸安全

引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)應(yīng)用越來(lái)越復(fù)雜，數(shù)據(jù)交互越來(lái)越頻繁，一個(gè)大型的業(yè)務(wù)系統(tǒng)通常由多個(gè)業(yè)務(wù)子系統(tǒng)組成，通過(guò)分布式部署的方式共同完成業(yè)務(wù)服務(wù)[1]。在這個(gè)背景下，不同的業(yè)務(wù)子系統(tǒng)之間必然會(huì)存在數(shù)據(jù)交互，考慮到業(yè)務(wù)子系統(tǒng)的健康穩(wěn)定運(yùn)行，而同一功能的業(yè)務(wù)子系統(tǒng)通常又會(huì)部署多個(gè)主從節(jié)點(diǎn)服務(wù)器以分擔(dān)性能壓力，由于相同的節(jié)點(diǎn)服務(wù)器部署的都是同一個(gè)應(yīng)用，運(yùn)行和產(chǎn)生數(shù)據(jù)的方式都是完全一致的，為了便于分析和查找，通常數(shù)據(jù)文件都會(huì)在命名中添加時(shí)間戳，這樣在多臺(tái)節(jié)點(diǎn)服務(wù)器上就有一定概率會(huì)產(chǎn)生相同名稱(chēng)的數(shù)據(jù)文件，當(dāng)將這些數(shù)據(jù)文件進(jìn)行報(bào)送的時(shí)候，可能因?yàn)槲募貜?fù)問(wèn)題造成報(bào)送失敗或文件覆蓋，從而丟失數(shù)據(jù)[2]。另外，多個(gè)業(yè)務(wù)子系統(tǒng)可能由不同的公司、開(kāi)發(fā)組承建，由于共享一些網(wǎng)絡(luò)資源，需要保證數(shù)據(jù)傳輸?shù)陌踩院涂煽啃訹3]。

針對(duì)以上情況，本文提出了一種分布式環(huán)境下多服務(wù)器數(shù)據(jù)報(bào)送方法，通過(guò)分布式鎖服務(wù)器和統(tǒng)一編號(hào)服務(wù)器，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行了統(tǒng)一命名，避免同一時(shí)間多個(gè)業(yè)務(wù)節(jié)點(diǎn)服務(wù)器向統(tǒng)一編號(hào)服務(wù)器同時(shí)申請(qǐng)編號(hào)，不僅避免了報(bào)送目的端文件服務(wù)器上的文件重名，也簡(jiǎn)化了文件出錯(cuò)重傳機(jī)制，傳送出錯(cuò)的文件無(wú)須再重新進(jìn)行錯(cuò)誤流程的特殊處理。另外，為提高數(shù)據(jù)傳輸?shù)陌踩?，本方法?duì)數(shù)據(jù)文件進(jìn)行AES和openssql雙重加密，只有擁有私鑰的文件接收服務(wù)器才能正確解密，即使數(shù)據(jù)文件被其他惡意應(yīng)用截獲，也無(wú)法正確解密讀取數(shù)據(jù)。

1多服務(wù)器數(shù)據(jù)報(bào)送基本處理流程

由于存在多臺(tái)業(yè)務(wù)服務(wù)器，且都產(chǎn)生同質(zhì)數(shù)據(jù)，不同業(yè)務(wù)服務(wù)器上產(chǎn)生的數(shù)據(jù)有存在重名的可能性。如果直接向文件服務(wù)器進(jìn)行報(bào)送，在文件服務(wù)器上會(huì)收到相同命名的文件，可能會(huì)產(chǎn)生數(shù)據(jù)的覆蓋或丟失。為此本文方法從統(tǒng)一編號(hào)服務(wù)器獲取唯一的編號(hào)，可以附加在原文件名后，避免造成文件重名。為防止多個(gè)業(yè)務(wù)服務(wù)器同時(shí)報(bào)送數(shù)據(jù)導(dǎo)致報(bào)送沖突，本文引入分布式鎖服務(wù)器，加鎖并攔截其他業(yè)務(wù)節(jié)點(diǎn)服務(wù)器訪(fǎng)問(wèn)，多服務(wù)器數(shù)據(jù)報(bào)送基本處理流程。

（1）業(yè)務(wù)節(jié)點(diǎn)服務(wù)器按照業(yè)務(wù)邏輯生成數(shù)據(jù)文件，數(shù)據(jù)文件按照生成時(shí)間進(jìn)行命名;

（2）對(duì)數(shù)據(jù)文件進(jìn)行壓縮和加密，加密時(shí)使用對(duì)外公布的公鑰對(duì)壓縮文件進(jìn)行openssql加密，生成加密后的數(shù)據(jù)文件;

（3）向分布式鎖服務(wù)器申請(qǐng)?jiān)L問(wèn)統(tǒng)一編號(hào)服務(wù)器，如果當(dāng)前有其他業(yè)務(wù)節(jié)點(diǎn)服務(wù)器正在連接統(tǒng)一編號(hào)服務(wù)器，則拒絕請(qǐng)求并告知業(yè)務(wù)服務(wù)器短暫等待之后再重新發(fā)起申請(qǐng);

（4）分布式鎖服務(wù)器允許訪(fǎng)問(wèn)統(tǒng)一編號(hào)服務(wù)器，加鎖并攔截其他業(yè)務(wù)節(jié)點(diǎn)服務(wù)器訪(fǎng)問(wèn);

（5）訪(fǎng)問(wèn)統(tǒng)一編號(hào)服務(wù)器，由統(tǒng)一編號(hào)服務(wù)器根據(jù)資源類(lèi)型、時(shí)間等參數(shù)自動(dòng)計(jì)算生成新編號(hào)，并將最新編號(hào)更新到數(shù)據(jù)存儲(chǔ)中;

（6）業(yè)務(wù)節(jié)點(diǎn)服務(wù)器拿到申請(qǐng)的編號(hào)，對(duì)加密文件進(jìn)行重命名，附加上統(tǒng)一編號(hào)，確保加密文件全網(wǎng)唯一;

（7）通過(guò)sftp上傳至文件服務(wù)器指定目錄;

（8）出錯(cuò)重傳：重復(fù)3-8步驟即可。

2業(yè)務(wù)服務(wù)器數(shù)據(jù)文件壓縮加密上傳流程

傳送的數(shù)據(jù)文件進(jìn)行了二進(jìn)制的壓縮和多重加密，確保數(shù)據(jù)文件被非法截獲后無(wú)法正常解析，并且通過(guò)sftp途徑將數(shù)據(jù)文件傳輸和上傳至服務(wù)器，提高數(shù)據(jù)傳輸?shù)陌踩浴?/p>

（1）業(yè)務(wù)節(jié)點(diǎn)服務(wù)器產(chǎn)生新的數(shù)據(jù)文件，同時(shí)隨機(jī)生成n位的密碼文件.txt;

（2）對(duì)數(shù)據(jù)文件名稱(chēng)、原始大小、數(shù)據(jù)條數(shù)、生成時(shí)間生成一個(gè)校驗(yàn)文件;

（3）將數(shù)據(jù)文件和校驗(yàn)文件壓縮到一個(gè)壓縮包中，壓縮算法使用tar和gz方式;

（4）用第一步生成的密碼文件對(duì)壓縮文件進(jìn)行AES對(duì)稱(chēng)加密，得到加密數(shù)據(jù)文件;

（5）用文件服務(wù)器對(duì)外開(kāi)放的公鑰，使用openssl非對(duì)稱(chēng)算法對(duì)密碼文件進(jìn)行加密，得到.sha1加密密碼文件;

（6）將加密數(shù)據(jù)文件和加密密碼文件通過(guò)sftp途徑上傳至文件服務(wù)器[4]。

3結(jié)束語(yǔ)

本方法采用分布式鎖服務(wù)器和統(tǒng)一編號(hào)服務(wù)器對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行了統(tǒng)一命名，傳送的數(shù)據(jù)文件進(jìn)行了二進(jìn)制的壓縮和多重加密，并通過(guò)sftp途徑傳輸和上傳至服務(wù)器，相比于分布式環(huán)境下常規(guī)數(shù)據(jù)報(bào)送方法具備以下優(yōu)點(diǎn)如下：

3.1 數(shù)據(jù)文件防重名

本文采用統(tǒng)一編號(hào)服務(wù)器獲取唯一的編號(hào)，不會(huì)造成文件重名;同時(shí)引入分布式鎖服務(wù)器，避免同一時(shí)間多個(gè)業(yè)務(wù)節(jié)點(diǎn)服務(wù)器向統(tǒng)一編號(hào)服務(wù)器同時(shí)申請(qǐng)編號(hào)，防止多個(gè)業(yè)務(wù)服務(wù)器數(shù)據(jù)上報(bào)沖突。

3.2 出錯(cuò)文件易重傳

由于引入了統(tǒng)一編號(hào)服務(wù)器，傳送出錯(cuò)的文件不需要再重新進(jìn)行錯(cuò)誤流程的特殊處理，只需要重新向統(tǒng)一編號(hào)服務(wù)器申請(qǐng)新編號(hào)即可按照正常報(bào)送流程進(jìn)行報(bào)送，一定程度簡(jiǎn)化了文件出錯(cuò)重傳機(jī)制。

3.3 數(shù)據(jù)傳輸更安全

本文采用了一系列數(shù)據(jù)安全校驗(yàn)方法，包括生成數(shù)據(jù)文件、校驗(yàn)文件、壓縮文件、對(duì)稱(chēng)加密/解密、非對(duì)稱(chēng)加密/解密等過(guò)程，并通過(guò)sftp途徑將數(shù)據(jù)文件上傳至文件服務(wù)器，提高了數(shù)據(jù)傳輸?shù)陌踩浴?/p>

3.4 業(yè)務(wù)節(jié)點(diǎn)服務(wù)器易擴(kuò)展

由于數(shù)據(jù)報(bào)送時(shí)都從編號(hào)服務(wù)器獲取統(tǒng)一編號(hào)，當(dāng)新增加一臺(tái)業(yè)務(wù)節(jié)點(diǎn)服務(wù)器時(shí)，新服務(wù)器所多產(chǎn)生的數(shù)據(jù)文件采用相同的流程獲取編號(hào)，文件服務(wù)器仍然可以按照原定業(yè)務(wù)邏輯進(jìn)行數(shù)據(jù)處理。

參考文獻(xiàn)

[1] 張群，熊英，黃慶炬. 分布式教學(xué)系統(tǒng)中數(shù)據(jù)交互的實(shí)現(xiàn)[J]. 軟件導(dǎo)刊，2006，（17）：95-97.

[2] 王磊，劉曉鵬. 海量文件傳輸重名避規(guī)的研究和實(shí)現(xiàn)[J]. 科技資訊，2008，（34）：227.

[3] 胡曉婷，覃中平，張紅，等. OpenSSL中AES算法的研究與優(yōu)化[J]. 微計(jì)算機(jī)信息，2009，（12）：89-91.

[4] 謝長(zhǎng)生，李曉鈺. 基于網(wǎng)絡(luò)備份系統(tǒng)的SFTP性能優(yōu)化分析與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與科學(xué)，2003，（5）：5-8，13.

作者簡(jiǎn)介

陳龍（1988-），男，四川成都人;研究方向：數(shù)字家庭、智能組網(wǎng)。