基于海量數(shù)據(jù)優(yōu)化管理的分布式文件存儲系統(tǒng)應(yīng)用研究

高尚建　魏國　楊功

摘? 要：大數(shù)據(jù)時代數(shù)據(jù)成為了企業(yè)非常有價值的資源，對實時產(chǎn)生的海量大數(shù)據(jù)進(jìn)行價值最大化挖掘成為了企業(yè)當(dāng)前非常重要的一項工作和追求目標(biāo)。而針對如此海量的數(shù)據(jù)，首先要解決的一個問題就是采取何種方式進(jìn)行存儲?；诖耍恼陆Y(jié)合當(dāng)前大數(shù)據(jù)時代企業(yè)經(jīng)營數(shù)據(jù)信息的實際，就如何管理好這些海量大數(shù)據(jù)進(jìn)行了分布式文件存儲系統(tǒng)的應(yīng)用研究，以期通過充分發(fā)揮分布式文件存儲系統(tǒng)的優(yōu)勢實現(xiàn)對海量數(shù)據(jù)資源處理的水平和能力，讓企業(yè)數(shù)據(jù)資源發(fā)揮了最有效的價值。

關(guān)鍵詞：海量數(shù)據(jù);分布式文件存儲;優(yōu)化管理

中圖分類號：TP311.1? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號：2095-2945（2020）18-0181-02

Abstract： The data of big data era has become a very valuable resource for enterprises， and it has become a very important work and goal for enterprises to maximize the value of the massive big data generated in real time. In view of such a large amount of data， the first problem to be solved is how to store it. Based on this， combined with the reality of enterprise management data information in big data era， this paper makes a research on the application of distributed file storage system on how to manage these massive big data well. In order to achieve the level and ability to deal with massive data resources by giving full play to the advantages of distributed file storage system， so that enterprise data resources play the most effective value.

Keywords： massive data; distributed file storage; optimal management

前言

對于企業(yè)信息化數(shù)據(jù)的存儲來說，以往由于企業(yè)的數(shù)據(jù)量不是很大，傳統(tǒng)的集中式存儲以其功能豐富、穩(wěn)定可靠性高優(yōu)勢就可以很好的實現(xiàn)數(shù)據(jù)存儲，然而隨著數(shù)字化時代的到來，企業(yè)每天都實時產(chǎn)生了相當(dāng)?shù)臄?shù)據(jù)，這些數(shù)據(jù)海量冗雜且實時更新，數(shù)據(jù)量也從GB級一直往ZB級上飆升，再用傳統(tǒng)的集中式存儲就出現(xiàn)了各種問題，主要表現(xiàn)為存儲系統(tǒng)難以橫向擴(kuò)展、硬件成本居高不下、數(shù)據(jù)有效連通性不足等，導(dǎo)致企業(yè)數(shù)據(jù)存在諸多孤島，難以有效實現(xiàn)數(shù)據(jù)管理。而以云存儲為代表的分部署存儲則有效避免了因為常規(guī)集中式存儲難以高效的處理海量數(shù)據(jù)所出現(xiàn)的問題，不僅實現(xiàn)了數(shù)據(jù)管理的高效化，也大大降低了企業(yè)數(shù)據(jù)管理運行成本。因此，針對當(dāng)前大數(shù)據(jù)時代企業(yè)的數(shù)據(jù)管理應(yīng)用分布式文件存儲系統(tǒng)非常合適且必要。

1 分布式存儲的定義

數(shù)據(jù)的存儲按照物理存儲形態(tài)的分類來說在應(yīng)用中最多的就是集中式存儲以及分布式存儲。作為一種數(shù)據(jù)存儲的技術(shù)，兩種存儲的實現(xiàn)方式完全不同，傳統(tǒng)的集中式存儲主要是通過設(shè)備的增加來增大數(shù)據(jù)容量，而分布式存儲則主要以軟件服務(wù)的方式來完成，是服務(wù)器、服務(wù)、軟件的綜合體，它是通過非標(biāo)準(zhǔn)協(xié)議的方式整合企業(yè)各類服務(wù)器上的存儲資源，并進(jìn)行存儲資源池化和虛擬化處理，最后呈現(xiàn)給用戶某種形式（塊存儲或者文件存儲）的存儲空間。具體來說就是將企業(yè)中分散在每臺機(jī)器設(shè)備上的磁盤空間數(shù)據(jù)通過網(wǎng)絡(luò)和運行存儲軟件的形式整合起來形成一個可以擴(kuò)展的結(jié)構(gòu)系統(tǒng)在進(jìn)行的一種存儲服務(wù)，其可以讓這些服務(wù)器都可以對數(shù)據(jù)存儲進(jìn)行負(fù)荷承擔(dān)，這樣不僅對數(shù)據(jù)的處理能力大大提高，而且更加高效更加實用更加節(jié)約成本。

2 分布式文件存儲系統(tǒng)的主要特征分析

傳統(tǒng)的集中式存儲主要是通過存儲矩陣來實現(xiàn)數(shù)據(jù)存儲管理，其雖然功能豐富，穩(wěn)定性和可靠性也都很不錯，但是在應(yīng)對海量數(shù)據(jù)時卻缺陷明顯，不僅無法針對各類數(shù)據(jù)進(jìn)行有機(jī)銜接，同時需要花更多的成本來進(jìn)行硬件存儲設(shè)備的購置，這些都導(dǎo)致了數(shù)據(jù)處理的效率低下和成本居高不小。然而分布式文件存儲系統(tǒng)就很好的避免了這些問題的出現(xiàn)，因為分布式文件存儲系統(tǒng)并不是完全靠存儲設(shè)備來實現(xiàn)對數(shù)據(jù)的管理的，它主要是以非標(biāo)準(zhǔn)協(xié)議的方式來對企業(yè)各類設(shè)備上的數(shù)據(jù)進(jìn)行有效的資源整合，并通過專業(yè)的存儲軟件來實現(xiàn)數(shù)據(jù)的有效存儲和管理，徹底解決了數(shù)據(jù)孤島和設(shè)備硬件成本高的問題。

總結(jié)起來說，分布式文件存儲系統(tǒng)具有以下幾個方面的特性：

2.1 可拓展性

分布式文件存儲系統(tǒng)的一個顯著特點就是可拓展，這是傳統(tǒng)集中式存儲系統(tǒng)無法比擬的，它通過將企業(yè)內(nèi)所有的存儲有數(shù)據(jù)的設(shè)備有機(jī)連接起來，其可以通過擴(kuò)展性將數(shù)據(jù)存儲資源擴(kuò)展形成數(shù)百臺甚至幾千臺的設(shè)備存儲集群，并且通過擴(kuò)展性讓存儲系統(tǒng)性能呈線性增長。

2.2 成本較低

一般的常規(guī)服務(wù)器就可以滿足分布式文件存儲系統(tǒng)的需要，存儲設(shè)備要求比較低，常規(guī)的就能有效利用，這也是分布式存儲系統(tǒng)優(yōu)勢的具體體現(xiàn)，那就是具有的自動負(fù)載均衡、自動容錯機(jī)制。由于在常規(guī)的普通服務(wù)器上既可有效的運行分布式存儲系統(tǒng)，那么數(shù)據(jù)存儲運行成本就大大降低了。此外，擴(kuò)展性的優(yōu)勢也降低了分布式存儲系統(tǒng)對設(shè)備服務(wù)器的需求，進(jìn)一步降低了成本。

2.3 性能優(yōu)越

分布式文件存儲系統(tǒng)高性能是其運行的一個顯著特點，在企業(yè)數(shù)據(jù)管理中，無論是單一的服務(wù)器應(yīng)用還是整個企業(yè)數(shù)據(jù)集群存儲應(yīng)用，分布式文件存儲系統(tǒng)數(shù)據(jù)存儲能力及效果都非常明顯。

2.4 實用性強(qiáng)

對于用戶來說，實現(xiàn)分布式存儲系統(tǒng)的應(yīng)用簡單便捷是其性能發(fā)揮的又一特點，但是要想使這個系統(tǒng)使用起來非常實用便捷高效，對外接口的設(shè)計非常重要，在進(jìn)行分布式存儲系統(tǒng)選擇使用時需要對用戶提供簡單好用的接口。此外，為了更好的與其它系統(tǒng)進(jìn)行集成，可以提前設(shè)置好監(jiān)控、運維等工具系統(tǒng)。

2.5 容錯性

對服務(wù)器故障能夠?qū)崿F(xiàn)快速的檢測，并且能夠?qū)崿F(xiàn)對發(fā)生故障服務(wù)器上的數(shù)據(jù)進(jìn)行自動化遷移。

分布式文件存儲系統(tǒng)雖然具有諸多的優(yōu)勢，但是在文件數(shù)據(jù)存儲管理過程中也面臨著一定調(diào)整，那就是持久化的保持?jǐn)?shù)據(jù)和數(shù)據(jù)信息狀態(tài)，這是因為分布式存儲系統(tǒng)比較復(fù)雜的存儲拓?fù)浣Y(jié)構(gòu)，這樣就會增加系統(tǒng)出現(xiàn)故障的機(jī)率。要避免這樣的問題發(fā)生，數(shù)據(jù)一致性是首先要解決的問題，而要確保數(shù)據(jù)的一致性，需要系統(tǒng)在自動容錯、自動遷移以及并發(fā)讀寫的過程中來實現(xiàn)，并且要提前實現(xiàn)基于網(wǎng)絡(luò)控制下的數(shù)據(jù)保護(hù)、數(shù)據(jù)冗雜、數(shù)據(jù)容錯等功能，這就可以確保在企業(yè)設(shè)備各種服務(wù)器、磁盤或者交換機(jī)等出現(xiàn)故障或者某些異常情況時存儲系統(tǒng)仍能保持非常好的可靠性和可用性。

3 常用的分布式文件存儲系統(tǒng)

目前在用的分布式文件存儲系統(tǒng)比較多，它們在各個領(lǐng)域的應(yīng)用中其側(cè)重的點不盡相同，在市場中應(yīng)用中較多的為企業(yè)應(yīng)用級，系統(tǒng)級的相對不多，主要的有GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等等。

4 典型的分布式文件存儲的架構(gòu)

在眾多的分布式文件存儲系統(tǒng)的應(yīng)用中，開源的應(yīng)用最為廣泛，本文以hadoop的HDFS為例，就其系統(tǒng)結(jié)構(gòu)的設(shè)計進(jìn)行了詳細(xì)闡述。

Hadoop是當(dāng)前應(yīng)用非常廣泛的一種文本搜索庫系統(tǒng)之一，它的來源是Apache Nutch，由Doug Cutting開發(fā)，其是Doug Cutting開發(fā)的Apache Lucene項目中的一部分，作為Google系統(tǒng)的重要組成部分，其實現(xiàn)的是網(wǎng)絡(luò)搜索引擎開源化。其中的Aapche Hadoop架構(gòu)作為一種開源應(yīng)用，其根本算法是MapReduce。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。作為一個容錯性非常高的分布式文件系統(tǒng)，其一般會被優(yōu)化設(shè)計而在常規(guī)的機(jī)器設(shè)備上就可以運行的，特別是一些同樣的硬件設(shè)備都可以高效的運行，其性能的發(fā)揮主要體現(xiàn)在通過應(yīng)用在規(guī)模龐大的數(shù)據(jù)集上而表現(xiàn)出訪問吞吐量非常高的價值體現(xiàn)。

4.1 大規(guī)模數(shù)據(jù)集

在HDFS系統(tǒng)上進(jìn)行文件存儲系統(tǒng)的運行，數(shù)據(jù)集規(guī)模龐大是最顯著的特點，特別是對于大文件的存儲尤其為特點，并且能有效實現(xiàn)高數(shù)據(jù)帶寬的功能。一個單一的HDFS就可以支持以千萬量級計的文件，這些文件的大小通常都在G字節(jié)至T字節(jié)。

4.2 簡單的一致性模型

為確保HDFS系統(tǒng)進(jìn)行文件存儲時進(jìn)行海量數(shù)據(jù)的訪問，文件訪問模型的建立非常關(guān)鍵，模型形式具體是“一次寫入多次讀取”，而且這個模型通常在進(jìn)行了創(chuàng)建、寫入和關(guān)閉操作之后就不需要進(jìn)行改變了，同時這個模型是一個相對簡化的模型?，F(xiàn)在各分布式文件存儲系統(tǒng)都進(jìn)一步提升了這個模型的實用性，可以在此基礎(chǔ)上對模型進(jìn)行優(yōu)化，使之可以對支持的文件進(jìn)行寫操作處理。

4.3 異構(gòu)軟硬件平臺間的可移植性

文件存儲系統(tǒng)對文件數(shù)據(jù)進(jìn)行存儲時就對平臺的可移植性進(jìn)行了結(jié)構(gòu)設(shè)計，這樣的功能就對于提高HDFS系統(tǒng)的應(yīng)用具有明顯的優(yōu)勢，特別是在海量大數(shù)據(jù)的存儲方面具有突出的優(yōu)勢。

5 結(jié)束語

通過分布式文件存儲系統(tǒng)的應(yīng)用，有效的實現(xiàn)了企業(yè)海量數(shù)據(jù)的管理和利用，避免了數(shù)據(jù)孤島及數(shù)據(jù)分散的問題，同時由于可以彈性擴(kuò)展使數(shù)據(jù)儲存空間的利用率大大提高，大大降低了軟硬件運行成本，非常適合數(shù)字化時代企業(yè)大數(shù)據(jù)存儲。

參考文獻(xiàn)：

[1]王梅，張四平.基于分布式系統(tǒng)的大數(shù)據(jù)管理平臺技術(shù)架構(gòu)研究[J].電腦與電信，2019（10）：10-13.

[2]喬萌萌.基于Hadoop的云存儲技術(shù)在檔案館的應(yīng)用研究[J].信息與電腦，2019（24）：163.

[3]王大志.基于HDFS的跨集群分布式文件系統(tǒng)研究[J].信息技術(shù)與信息化，2018（08）：230.