數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術研究

洪成斌

（銅陵職業(yè)技術學院 安徽 銅陵 244061）

0.引言

數(shù)據(jù)庫是存儲數(shù)據(jù)的主要載體，也是管理數(shù)據(jù)的主要工具。 在大數(shù)據(jù)時代，數(shù)據(jù)量快速增長，傳統(tǒng)數(shù)據(jù)庫和集中式存儲技術已經不能適應現(xiàn)代信息數(shù)據(jù)處理的需要，數(shù)據(jù)處理效率較低，數(shù)據(jù)處理速度較慢，大數(shù)據(jù)分布式存儲技術應運而生，解決了大數(shù)據(jù)處理中的種種問題，滿足了大數(shù)據(jù)處理的特殊需求。由于分布式存儲技術的多種優(yōu)點，使得其受到眾多企業(yè)的歡迎， 已經成為了主要的大數(shù)據(jù)存儲技術，推動了大數(shù)據(jù)技術的發(fā)展。

1.分布式存儲技術簡述

1.1 分布式存儲技術概念

分布式存儲技術是一種新型的數(shù)據(jù)處理技術，主要是將數(shù)據(jù)分布存儲，同時在分布存儲的數(shù)據(jù)之間構建聯(lián)系，從而構建一個虛擬的存儲設備。 這種技術將數(shù)據(jù)分布存儲到網絡之中，并將網絡中分散的數(shù)據(jù)連為一個整體，有效的節(jié)約了存儲空間。 分布式存儲技術最早應用于氣候研究和物理研究，由于研究人員的地理位置分布的不同，所以數(shù)據(jù)存儲也呈現(xiàn)出分布式特征。 隨著互聯(lián)網技術的發(fā)展，分布式存儲技術的應用范圍也越來越廣，提升了網絡存儲資源的利用率，滿足了人們存儲數(shù)據(jù)的需求，同時為人們提供了數(shù)據(jù)共享通道，方便了人們之間的數(shù)據(jù)交換。

1.2 分布式存儲技術與集中式存儲技術的區(qū)別

分布式存儲技術是相對于集中式存儲技術來說的數(shù)據(jù)存儲技術，兩者主要有三個不同之處：第一個不同之處是數(shù)據(jù)存儲量。 集中式存儲技術將信息數(shù)據(jù)存儲在一個數(shù)據(jù)庫中，數(shù)據(jù)存儲量相當有限，只能存儲T 級別以下的數(shù)據(jù)，不能滿足高級別數(shù)據(jù)存儲的需求。 分布式存儲技術將數(shù)據(jù)存儲在零散的網絡空間中，可以存儲海量數(shù)據(jù)，能夠滿足多種級別的數(shù)據(jù)存儲需求。 第二個不同之處是防御性。 集中式存儲技術的防御性低，這是因為信息數(shù)據(jù)全部集中存儲在服務器中，而服務器一旦遭受黑客攻擊或是感染網絡病毒， 全部的數(shù)據(jù)就會丟失、損壞。分布式存儲技術的防御性高，這是因為數(shù)據(jù)分布存儲在網絡之中，部分數(shù)據(jù)受損不會影響其他數(shù)據(jù)的使用，有效保證了信息安全。 第三個是并發(fā)性能。 集中式存儲技術的并發(fā)性能低，不能同時讀寫信息數(shù)據(jù)，在查詢大量數(shù)據(jù)時速度非常慢。分布式存儲技術的并發(fā)性能好，能夠同時對海量數(shù)據(jù)進行讀寫操作。

1.3 分布式存儲系統(tǒng)

分布式存儲系統(tǒng)是應用分布式存儲技術的數(shù)據(jù)存儲系統(tǒng)，主要是將數(shù)據(jù)存儲在多臺設備當中，而且多臺設備互相并不干擾，每臺設備都能獨立工作。 相對于傳統(tǒng)的存儲系統(tǒng)來說，分布式存儲系統(tǒng)的可靠性更高，安全性更好，擴展性更強，能夠滿足大數(shù)據(jù)時代人們存儲管理數(shù)據(jù)的需求。 分布式存儲系統(tǒng)當中主要應用了兩種技術:第一種技術是彈性擴展技術。可擴展性是存儲系統(tǒng)的首要特性。在大數(shù)據(jù)時代，一個存儲系統(tǒng)的性能主要取決于系統(tǒng)的可擴展性。分布式存儲系統(tǒng)的可擴展性非常好，這主要得益于彈性擴展技術。 第二種技術是元數(shù)據(jù)管理技術。元數(shù)據(jù)即描述數(shù)據(jù)的數(shù)據(jù)，隨著信息數(shù)據(jù)量的不斷增長，元數(shù)據(jù)量也在不斷增加。 元數(shù)據(jù)管理是存儲系統(tǒng)首先要完成的工作，因此存儲系統(tǒng)必須要有良好的元數(shù)據(jù)管理能力。分布式存儲系統(tǒng)具有一流的元數(shù)據(jù)管理能力，并且不需要專門的元數(shù)據(jù)服務器，減輕了企業(yè)的成本開支。

2.數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術

2.1 低成本分布式存儲技術

在大數(shù)據(jù)時代，信息數(shù)據(jù)飛速增長，致使存儲成本不斷提高。低成本分布式存儲技術的出現(xiàn)解決了存儲成本過高的問題，有效的節(jié)約了存儲成本。 在多種低成本分布式存儲技術中，節(jié)約效果最好的當屬基于對象的分布式存儲技術， 這種存儲技術主要通過使用Web 協(xié)議實現(xiàn)數(shù)據(jù)傳輸通道與數(shù)據(jù)控制通道的分離，提升了數(shù)據(jù)傳輸?shù)男省?基于對象的分布式存儲系統(tǒng)為用戶提供兩個ID，一個為存儲對象ID，一個為存儲空間ID，兩個ID 互相對應，實現(xiàn)了數(shù)據(jù)的定向存儲，同時系統(tǒng)的存儲空間處于平級，互不干擾，不會發(fā)生連帶故障現(xiàn)象，有效防止了數(shù)據(jù)的丟失。 除此之外，基于對象的分布式存儲系統(tǒng)還壓縮了硬件存儲成本，主要通過網絡來實現(xiàn)數(shù)據(jù)的存儲和管理，可靠性非常高，能夠保障用戶的信息安全。 最為經典的低成本分布式存儲系統(tǒng)為Swift，這個系統(tǒng)主要有兩部分組成，一部分是數(shù)據(jù)訪問，一部分是數(shù)據(jù)管理，能夠多節(jié)點查詢信息，節(jié)省了查詢時間。

2.2 極限數(shù)據(jù)分布式存儲技術

在大數(shù)據(jù)時代，極限數(shù)據(jù)出現(xiàn)的次數(shù)越來越頻繁，需要數(shù)據(jù)庫存儲系統(tǒng)有非常良好的極限數(shù)據(jù)處理能力。極限數(shù)據(jù)分布式存儲技術滿足了極限數(shù)據(jù)處理需求，能夠同時處理多樣的、大量的數(shù)據(jù)，主要應用于各類購物網站和購票網站的存儲系統(tǒng)之中。在現(xiàn)有的極限數(shù)據(jù)分布式存儲系統(tǒng)中，最為主要的有三種：Hadoop、NoSQL、NewSQL，這三種處理系統(tǒng)的核心原理是一致的， 都是通過零散的存儲空間來存儲數(shù)據(jù)，以此實現(xiàn)存儲資源的優(yōu)化配置。 NewSQL 存儲系統(tǒng)相對于其他兩種存儲系統(tǒng)來說，兼容性更好，能夠滿足用戶的多種存儲需求，數(shù)據(jù)處理速度更塊，是傳統(tǒng)數(shù)據(jù)的十倍，為用戶提供了優(yōu)質的信息存儲管理服務。 除此之外，GemFire 系統(tǒng)也是一種非常受歡迎的極限數(shù)據(jù)分布式存儲系統(tǒng)，已經應用到我國的12306 鐵路訂票網站之中。

3.大數(shù)據(jù)分布式存儲技術面臨的難題和解決措施

3.1 大數(shù)據(jù)管理人才缺乏問題和解決措施

大數(shù)據(jù)管理人才是大數(shù)據(jù)的主要管理者，直接影響著大數(shù)據(jù)的管理和使用。目前，我國普遍缺乏大數(shù)據(jù)管理人才，許多大數(shù)據(jù)管理人員對大數(shù)據(jù)分布式存儲技術了解不足，認識不深，不能主動的應用大數(shù)據(jù)分布式存儲技術，大數(shù)據(jù)管理效率較低，讓信息數(shù)據(jù)失去了使用價值。為了解決這個問題，我國就要重視大數(shù)據(jù)分布式存儲技術的應用，引導我國高校開設大數(shù)據(jù)相關專業(yè)，增強學生大數(shù)據(jù)分布式存儲技術的使用能力。 企業(yè)要做好員工招聘和培訓工作，不僅要通過多種考核挑選能力最優(yōu)的應聘者，還要通過多種培訓提升員工的技術水平和綜合素質，最終促進企業(yè)的發(fā)展。大數(shù)據(jù)管理人員要端正工作態(tài)度，主動學習大數(shù)據(jù)分布式存儲技術，提升數(shù)據(jù)管理效率，提升自身工作水平，深度挖掘信息數(shù)據(jù)，發(fā)揮出大數(shù)據(jù)的作用。

3.2 大數(shù)據(jù)分布式存儲系統(tǒng)的安全性問題和解決措施

在大數(shù)據(jù)時代，信息數(shù)據(jù)的重要性逐漸凸顯，但是網絡威脅也隨之出現(xiàn)。黑客攻擊、病毒感染都威脅著用戶的數(shù)據(jù)安全，而現(xiàn)有的大數(shù)據(jù)分布式存儲系統(tǒng)還不能完全抵擋病毒、黑客，也就無法全面保障用戶的信息數(shù)據(jù)，因此，信息數(shù)據(jù)安全問題是使用大數(shù)據(jù)的各行各業(yè)首先要解決的問題，也是必須要解決的問題。為了解決這個問題，大數(shù)據(jù)存儲系統(tǒng)的開發(fā)者就要加強研究力度，增強系統(tǒng)的防御能力，同時提升系統(tǒng)的內部自檢能力，以此來應付外部黑客的攻擊和內部病毒的感染。 大數(shù)據(jù)存儲系統(tǒng)的使用者要做好兩方面工作：一方面要提升信息保護意識，要自覺主動的保護信息數(shù)據(jù)，要為系統(tǒng)設置密碼，為使用者劃分等級，以此來確保信息的安全性。另一方面要制定系統(tǒng)使用守則，以此來規(guī)范使用者的行為，確保使用者能夠正確使用系統(tǒng)，防止信息數(shù)據(jù)外泄。

3.3 大數(shù)據(jù)分布式存儲系統(tǒng)的適用性問題和解決措施

大數(shù)據(jù)分布式存儲系統(tǒng)的適用性是系統(tǒng)使用價值的具體體現(xiàn)，適用性越高，使用價值越高。 但是我國目前的大數(shù)據(jù)分布式存儲系統(tǒng)都還存在一些問題，也就是說系統(tǒng)還有可以提升的空間。 為了提升大數(shù)據(jù)分布式存儲系統(tǒng)的適用性，系統(tǒng)的開發(fā)者首先要了解用戶需求和市場需求，通過分析得出用戶和市場實際需要的系統(tǒng)類型和功能，然后制定出完整的系統(tǒng)設計計劃。 在設計系統(tǒng)時，要不斷的增加系統(tǒng)的功能，提升系統(tǒng)的數(shù)據(jù)處理能力，提升系統(tǒng)的數(shù)據(jù)處理效率，提升用戶喜愛度。 在系統(tǒng)銷售之后，還要對系統(tǒng)定期維護，確保系統(tǒng)能夠正常運行，保證系統(tǒng)中的信息不被竊取，同時要根據(jù)用戶的需求優(yōu)化系統(tǒng)，提升用戶的忠誠度。

4.結語

數(shù)據(jù)庫大數(shù)據(jù)分布式存儲技術是一種新型的大數(shù)據(jù)存儲技術，主要通過零散的網絡空間分布存儲數(shù)據(jù)，有效的節(jié)約了存儲成本，提升了數(shù)據(jù)管理效率。大數(shù)據(jù)分布式存儲系統(tǒng)是以大數(shù)據(jù)分布式存儲技術為基礎的存儲系統(tǒng)，能夠滿足用戶的多樣化需求，加快了信息數(shù)據(jù)的處理速度，提升了數(shù)據(jù)管理人員的工作水平，具有非常高的應用價值。大數(shù)據(jù)分布式存儲技術和存儲系統(tǒng)應當受到人們的歡迎和使用，這樣才能帶動大數(shù)據(jù)的發(fā)展，才能讓大數(shù)據(jù)的價值得以顯現(xiàn)。