提高云存儲效率的并行處理策略

陳欣++孫東平

摘 要在使用云存儲的過程中，服務(wù)器端將本地需要傳送的大量文件利用打包的方式傳輸，只有文件包接收完整后接收端才能進行解包工作。打包和解包都會耗用很長的時間，這一過程非常影響文件傳輸?shù)男?。針對這一情況，有關(guān)人員研究了一種提高傳輸效率的并行處理策略，其工作原理是將需要傳輸?shù)奈募跊]有破損的前提下壓縮好后，按一定的大小比例分多次進行打包，這樣在傳輸時，接收端一邊接收一邊對之前接收的文件包進行解包，這樣打包和解包同時操作并行處理，實踐證明這種操作方式并沒有延長傳輸時間，還提高了存儲效率。

【關(guān)鍵詞】云存儲 效率 并行處理

對云存儲技術(shù)的研究主要一部分是對傳輸效率方面的研究，目的在于節(jié)省傳輸時間的基礎(chǔ)上降低對物理機和服務(wù)器各方面的損耗。需要傳輸?shù)奈募ㄟ^互聯(lián)網(wǎng)從客戶端上傳到存儲服務(wù)器的方式一般包括直接上傳和打包解包這兩種方式。研究表明，直接上傳在鎖定文件位置的過程中會使用較長的時間。而將所有待傳輸文件打包成一個大的文件包上傳的方式雖然避免了很多對文件進行磁道索引查找的工作，但在完成傳輸之前接收端是無法進行解包的，而且解包工作也會損耗比較長的傳輸時間。合適的云平臺和打包大小的文件系統(tǒng)，會節(jié)省一定的存儲時間，就是能夠縮短打包、解包和傳輸時所用的時長，最終做到提高存儲效率。

1 云存儲概述

1.1 云存儲的定義

云存儲是在云計算的概念基礎(chǔ)上延展出來的一個名詞，指的是通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)和分布式文件系統(tǒng)，將網(wǎng)絡(luò)中大量的不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供文件存儲和業(yè)務(wù)訪問功能的系統(tǒng)。云存儲是云計算的存儲部分，當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)文件的存儲和管理時，云計算系統(tǒng)就需要配備大量的存儲設(shè)備，那么云計算系統(tǒng)就成為一個云存儲系統(tǒng)，因此云存儲是一個以文件存儲和管理為核心的云計算系統(tǒng)。也就是說，云存儲就是將需要存儲的數(shù)據(jù)上傳到網(wǎng)絡(luò)上供用戶隨時存取的一種新興存儲方式。用戶可以在任何時間地點，通過任何可以連接的裝置到網(wǎng)上存取數(shù)據(jù)。

1.2 云存儲的種類

云存儲不是一種簡單的數(shù)據(jù)存儲方式，而是以互聯(lián)網(wǎng)為基礎(chǔ)的一種存儲服務(wù)，具有以下特點：存儲大量數(shù)據(jù)、擴容容易、統(tǒng)一管理、成本較低、方便存取等等。對于廣大用戶來說，云存儲設(shè)備是方便透明的，通過網(wǎng)絡(luò)與云端服務(wù)器相連接，用戶可以隨時隨地存取數(shù)據(jù)。云存儲可以分為以下三類：公共云存儲，供應(yīng)商可以保持每個客戶的存儲，應(yīng)用保持私有獨立。公共云存儲可以劃出一部分作為私有云存儲。私有云存儲可以由公司的IT部門自己管理，也可以通過云存儲服務(wù)商管理；內(nèi)部云存儲，和私有云存儲比較相似，不同之處在于內(nèi)部云存儲位于企業(yè)防火墻的內(nèi)部。還有一種是混合云存儲，將公共云存儲和內(nèi)部云存儲結(jié)合在一起，按照用戶的要求進行訪問。尤其是用于要臨時配置容量的時候。在公共云存儲上劃出一部分來配置內(nèi)部云存儲，這種方式有助于公司處理增長迅速的負(fù)載波動或高峰。但是，混合云存儲這種方式在分配應(yīng)用上相對比較復(fù)雜。

2 提高云存儲效率的策略研究

2.1 并行處理策略

針對接收端只有在待傳輸文件全部打包傳輸完成之后才能進行解包操作的問題，有關(guān)人員研究了一種并行處理策略，這種策略是將需要傳輸存儲的大量文件按照一定的大小比例分次打包和上傳，而服務(wù)器接收端同時進行之前批次文件包的解包操作，這樣并行處理，能大量節(jié)省傳輸時間，提高傳輸效率。并行處理策略的本質(zhì)是并行處理和文件完整性的驗證，即文件完整性驗證并行處理技術(shù)。并行處理策略的是在服務(wù)器發(fā)送端按一定的大小比例將待傳輸文件打包，將打包好的文件名和文件包的MD5值保存到相應(yīng)的文件中；發(fā)送日志文件和打包好的文件，然后再進行下一個批次的文件打包工作；服務(wù)器提取文件名，將其與日志文件比對，在確定打包文件的完整性后開始進行解包工作；服務(wù)器接收端接收完最后一個批次打包文件日志文件時確定其為最后一個批次的文件包，服務(wù)器接收端的解包程序操作完成后退出操作。

2.2 并行處理技術(shù)

并行處理策略的并行指的是在同一時間內(nèi)進行兩種或兩種以上的工作，只要是同時進行的操作，都存在著并行性。云存儲文件的數(shù)量一般都比較大，而且需要進行多個打包，服務(wù)器接收端進行的打包和解包操作在一定程度上是同時進行的，采用并行處理技術(shù)能夠節(jié)省存儲時間提高存儲效率。使用并行處理技術(shù)進行傳輸?shù)臅r候，一個批次的文件在服務(wù)器接收端進行解包的同時在發(fā)送端進行著打包和傳輸操作，在一定程度上節(jié)省時間，提高傳輸效率。

2.3 文件完整性驗證

在文件傳輸操作時，只有文件完整的傳輸?shù)椒?wù)器接收端后才能進行解包操作，恢復(fù)到打包前的文件。為了保障文件能夠完整到達服務(wù)器接收端進行解包工作，在服務(wù)器的發(fā)送端和接收端應(yīng)該采用文件完整性驗證技術(shù)，確保文件在發(fā)送端和接收端的校驗值相同，才能進行解包操作，如果校驗值不同，那么會生成錯誤日志要求重發(fā)。

3 結(jié)語

綜上所述，在云存儲時使用并行處理策略，利用了文件包不同大小會產(chǎn)生不同的傳輸速度，文件打包和解包操作同時進行能有效縮短文件傳輸?shù)臅r間，大大提高了傳輸和存儲效率。在這個過程中應(yīng)確保傳輸文件的完整性。

參考文獻

[1]魏曉輝，周芹芹，李洪亮.支持多集群數(shù)據(jù)并行的On-de-mand文件傳輸算法[J].計算機科學(xué)，2013，40（03）：77-78.

[2]余思，桂小林，黃汝維等.一種提高云存儲中小文件存儲效率的方案[J].西安交通大學(xué)學(xué)報，2011，45（06）：59-63.

[3]周蘭鳳，孟馳，彭俊杰.一種基于云環(huán)境的文件存儲策略研究[J].計算機工程與科學(xué)，2016，38（02）：262-268.

[4]彭紅.基于CloudStack云管理平臺的關(guān)鍵技術(shù)研究與應(yīng)用[D].上海：華東理工大學(xué)，2013.

作者簡介

陳欣（1984-），女。工程師，碩士研究生。主要研究方向為系統(tǒng)分析與集成、地震信息技術(shù)。

孫東平（1963-），男。高級工程師，大學(xué)。主要研究方向為網(wǎng)絡(luò)管理、信息技術(shù)。

作者單位

中國地震局第一監(jiān)測中心 天津市 300180endprint