分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

陳　雪91550部隊(duì)，遼寧大連　110623

?

分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

陳雪
91550部隊(duì)，遼寧大連110623

摘要隨著當(dāng)前運(yùn)營商對(duì)數(shù)據(jù)管理和應(yīng)用需求的不斷增加，分布式數(shù)據(jù)庫技術(shù)得到極大的發(fā)展。在本文中首先對(duì)當(dāng)前大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)庫技術(shù)進(jìn)行介紹，然后分析分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的具體應(yīng)用。

關(guān)鍵詞分布式數(shù)據(jù)庫；數(shù)據(jù)管理；數(shù)據(jù)處理

隨著當(dāng)前移動(dòng)互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，數(shù)據(jù)的種類和數(shù)量呈現(xiàn)快速的增長，傳統(tǒng)的處理方式逐漸的不能夠適應(yīng)當(dāng)前的發(fā)展需要，基于此種背景下，分布式數(shù)據(jù)庫技術(shù)需要得到更快的發(fā)展，以達(dá)到對(duì)大數(shù)據(jù)的存儲(chǔ)、管理以及分析等處理要求。

1　大數(shù)據(jù)中發(fā)展分布式數(shù)據(jù)庫的意義

在面對(duì)當(dāng)前的大數(shù)據(jù)時(shí)代，傳統(tǒng)的集中式數(shù)據(jù)庫已經(jīng)逐漸的不能夠滿足人們的使用要求，需要找到新的處理方式來進(jìn)行更新，分布式數(shù)據(jù)庫就是在這樣的背景下逐漸的被發(fā)展和應(yīng)用。分布式數(shù)據(jù)庫在使用中有著許多傳統(tǒng)集中式數(shù)據(jù)庫不具備的優(yōu)點(diǎn)：第一，分布式數(shù)據(jù)庫有著極為強(qiáng)大的擴(kuò)展能力，這是傳統(tǒng)數(shù)據(jù)庫所不具備的，在數(shù)據(jù)的存儲(chǔ)方面表現(xiàn)出巨大的優(yōu)勢(shì)；第二，來自于成本上的優(yōu)勢(shì)。在大數(shù)據(jù)中，如果仍舊采用原有的數(shù)據(jù)庫，在進(jìn)行擴(kuò)容的時(shí)候，會(huì)花費(fèi)大量的資金，使得成本上花費(fèi)巨大，而且所取得的效果也是有限的。分布式數(shù)據(jù)庫則只需要較少的資金就能夠完成擴(kuò)容處理，占據(jù)著特別大的優(yōu)勢(shì)［1］；第三，分布式數(shù)據(jù)庫在用戶上有著很大的優(yōu)勢(shì)，分布式數(shù)據(jù)庫讓人們對(duì)大數(shù)據(jù)的存儲(chǔ)、分析和處理變得容易和快捷。

2　分布式數(shù)據(jù)庫技術(shù)分析

在大數(shù)據(jù)中，分布式數(shù)據(jù)庫技術(shù)得到極大的發(fā)展，也正是由于分布式數(shù)據(jù)庫技術(shù)表現(xiàn)出來的先進(jìn)性能，才使得分布式數(shù)據(jù)庫得到廣泛的使用。在分布式數(shù)據(jù)庫中，其由很多個(gè)并行的處理單元組成，而且每個(gè)處理單元都是一個(gè)完整的系統(tǒng)，其中包括數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)的分析等，對(duì)于每一個(gè)處理單元來說，其所處的位置和作用都是對(duì)等的，而且是相對(duì)獨(dú)立的。混合存儲(chǔ)技術(shù)：突破傳統(tǒng)行存的限制，實(shí)現(xiàn)行列混合存儲(chǔ)。該項(xiàng)技術(shù)對(duì)于分布式數(shù)據(jù)庫的性能有著很大的提升，使得分布式數(shù)據(jù)庫在運(yùn)行速度和運(yùn)行的靈活性上都有很大的提高。再就是智能索引技術(shù)，該種技術(shù)所占用的空間減少，并且能夠很好的解決后面數(shù)據(jù)庫慢的問題，不會(huì)對(duì)后面的索引數(shù)據(jù)造成影響［2］。除此之外，分布式數(shù)據(jù)庫中還具有許多先進(jìn)的技術(shù)，如并行處理技術(shù)、高效透明壓縮技術(shù)等，都是傳統(tǒng)數(shù)據(jù)庫中所不具備的先進(jìn)技術(shù)，使得分布式數(shù)據(jù)庫的性能表現(xiàn)得更加的優(yōu)秀。

3　分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

在大數(shù)據(jù)中，分布式數(shù)據(jù)庫技術(shù)已經(jīng)成為當(dāng)前最為主要的數(shù)據(jù)存儲(chǔ)、分析處理技術(shù)。分布式數(shù)據(jù)庫技術(shù)得到極為廣泛的使用，下面是當(dāng)前分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的具體應(yīng)用。

3.1分布式數(shù)據(jù)庫技術(shù)在混合應(yīng)用中的負(fù)載支撐

在當(dāng)前的大數(shù)據(jù)環(huán)境下，各種類型的業(yè)務(wù)需要變得越來越多，如數(shù)據(jù)的裝載、數(shù)據(jù)加工數(shù)據(jù)的計(jì)算等，需要使用到分布式數(shù)據(jù)庫的地方越來越多。大數(shù)據(jù)時(shí)代下，對(duì)于數(shù)據(jù)的使用不再局限于單一數(shù)據(jù)庫，而分布式數(shù)據(jù)庫技術(shù)在此得到良好的體現(xiàn)。分布式數(shù)據(jù)庫技術(shù)可以完美的實(shí)現(xiàn)混合應(yīng)用，對(duì)此提供支撐的作用。分布式數(shù)據(jù)庫技術(shù)可以很好的對(duì)數(shù)據(jù)進(jìn)行篩選，對(duì)所需要的數(shù)據(jù)進(jìn)行加工處理［3］，并且按照特定的程序進(jìn)行相關(guān)的計(jì)算，滿足當(dāng)前各行業(yè)業(yè)務(wù)上的需要。

3.2分布式數(shù)據(jù)庫技術(shù)在大量業(yè)務(wù)中的應(yīng)用

隨著當(dāng)前互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，各行業(yè)從實(shí)體經(jīng)濟(jì)向著虛擬經(jīng)濟(jì)發(fā)展的同時(shí)，也使得各行業(yè)的業(yè)務(wù)量大幅度提升，相應(yīng)的為各行業(yè)的業(yè)務(wù)管理帶來極大的不便。分布式數(shù)據(jù)庫技術(shù)正好符合各行業(yè)業(yè)務(wù)辦理的需要，在實(shí)際當(dāng)中有著許多的業(yè)務(wù)用戶使用。分布式數(shù)據(jù)庫以其高效的負(fù)載管理能力，在面對(duì)大量業(yè)務(wù)和大量數(shù)據(jù)的時(shí)候，能夠非常順利的完成相關(guān)的作業(yè)要求，表現(xiàn)出非常高的業(yè)務(wù)辦理能力。在進(jìn)行這些業(yè)務(wù)的辦理時(shí)，分布式數(shù)據(jù)庫技術(shù)可以實(shí)現(xiàn)優(yōu)先級(jí)的管理，如具有優(yōu)先權(quán)或者VIP用戶可以占用較多的資源，對(duì)于相關(guān)的數(shù)據(jù)，可以從大數(shù)據(jù)中提取當(dāng)前的熱點(diǎn)數(shù)據(jù)，并設(shè)置其為優(yōu)先級(jí)數(shù)據(jù)。通過這樣的一種方式，成功的實(shí)現(xiàn)分布式數(shù)據(jù)庫在辦理大量業(yè)務(wù)時(shí)保持其仍然具備高效性。

3.3分布式數(shù)據(jù)庫技術(shù)在查詢功能中的應(yīng)用

分布式的數(shù)據(jù)庫技術(shù)在查詢功能中也表現(xiàn)出一定的優(yōu)越性，有著巨大的使用量。當(dāng)實(shí)際當(dāng)中會(huì)遇到這樣的一種平臺(tái)：提供自助服務(wù)的數(shù)據(jù)分析平臺(tái)。這種類型的數(shù)據(jù)分析平臺(tái)通常面對(duì)的客戶基數(shù)較大，這也就使得出現(xiàn)同時(shí)訪問的幾率加大，而且會(huì)出現(xiàn)同時(shí)具有很多人訪問的現(xiàn)象，為此使用到分布式數(shù)據(jù)庫技術(shù)當(dāng)中的并發(fā)度控制。通過相關(guān)實(shí)際的情況調(diào)查可以知道，在分布式數(shù)據(jù)庫中，可以實(shí)現(xiàn)同時(shí)超過200個(gè)人進(jìn)行相關(guān)數(shù)據(jù)的查詢［4］。在對(duì)小于1億條數(shù)據(jù)進(jìn)行查詢的時(shí)候，分布式數(shù)據(jù)庫技術(shù)可以將處理的時(shí)間限制在2個(gè)小時(shí)的時(shí)間之內(nèi)，如果是對(duì)兩億條左右的數(shù)據(jù)進(jìn)行查詢時(shí)，分布式數(shù)據(jù)庫

技術(shù)則可以將查詢的時(shí)間限制在40min以內(nèi)。對(duì)于這一數(shù)據(jù)，分布式數(shù)據(jù)庫在查詢功能中占據(jù)非常領(lǐng)先的地位。

3.4分布式數(shù)據(jù)庫技術(shù)在大量數(shù)據(jù)中的加載應(yīng)用

分布式數(shù)據(jù)庫技術(shù)在當(dāng)前的實(shí)際應(yīng)用之中，表現(xiàn)在具有超強(qiáng)的數(shù)據(jù)加載能力。在當(dāng)前的大數(shù)據(jù)背景下，對(duì)于數(shù)據(jù)的加載處理能力顯得尤為的重要，分布式數(shù)據(jù)庫技術(shù)正好在這方面表現(xiàn)出卓越的性能，這也是其能夠得到廣泛運(yùn)用的重要原因之一。據(jù)相關(guān)的數(shù)據(jù)統(tǒng)計(jì)顯示，分布式數(shù)據(jù)庫技術(shù)可以實(shí)現(xiàn)日匯總數(shù)據(jù)近30億條，平均每個(gè)單節(jié)點(diǎn)加載的效率可以達(dá)到每秒15 000條。按月進(jìn)行統(tǒng)計(jì)，每月可以達(dá)到300億條左右，單節(jié)點(diǎn)的加載數(shù)據(jù)效率最高可以達(dá)到每秒55 000條，這是一個(gè)非?？植赖臄?shù)字，也正是分布式數(shù)據(jù)庫技術(shù)卓越性能的又一良好的體現(xiàn)。

3.5分布式數(shù)據(jù)庫技術(shù)在擴(kuò)容上的應(yīng)用

在大數(shù)據(jù)時(shí)代下，數(shù)據(jù)是一種非常寶貴的財(cái)富，因此對(duì)于數(shù)據(jù)的存儲(chǔ)顯得特別的重要。而在原有設(shè)備的存儲(chǔ)空間不夠的情況下，需要進(jìn)行擴(kuò)容的處理，如果是傳統(tǒng)的集中式數(shù)據(jù)處理，在進(jìn)行擴(kuò)容的時(shí)候會(huì)使得成本非常的昂貴，而且擴(kuò)容后會(huì)影響到使用的效果。當(dāng)前被廣泛使用的分布式數(shù)據(jù)庫技術(shù)在此點(diǎn)上的應(yīng)用在顯得相對(duì)要簡單很多，只需要在分布式數(shù)據(jù)庫技術(shù)增加上新的處理節(jié)點(diǎn)，就可以很輕松的實(shí)現(xiàn)擴(kuò)容處理。并且分布式數(shù)據(jù)庫技術(shù)在面對(duì)擴(kuò)容時(shí)可以達(dá)到擴(kuò)容1 000個(gè)節(jié)點(diǎn)以上，在此情況下，完全能夠適應(yīng)當(dāng)前的數(shù)據(jù)存儲(chǔ)。

4　結(jié)論

在本文中對(duì)大數(shù)據(jù)環(huán)境下，分布式數(shù)據(jù)庫的意義和相關(guān)技術(shù)進(jìn)行了簡單的分析，并著重對(duì)分布式數(shù)據(jù)庫的具體應(yīng)用進(jìn)行具體的分析。通過此次分析，對(duì)分布式數(shù)據(jù)庫技術(shù)有了更加深入的了解，在今后將繼續(xù)對(duì)分布式數(shù)據(jù)庫技術(shù)的相關(guān)知識(shí)進(jìn)行研究和學(xué)習(xí)，希望通過自身的一些研究，能夠?yàn)楫?dāng)前的大數(shù)據(jù)提供一些幫助。

參考文獻(xiàn)

［1］劉應(yīng)波.太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究［D］.中國科學(xué)院研究生院（云南天文臺(tái)），2014.

［2］宋杰，郭朝鵬，王智，等.大數(shù)據(jù)分析的分布式MOLAP技術(shù)［J］.軟件學(xué)報(bào)，2014（4）：731-752.

［3］宋長青，吳麗平，郭銳，等.分布式數(shù)據(jù)庫數(shù)據(jù)同步技術(shù)及其在氣象行業(yè)中的應(yīng)用［J］.信息安全與技術(shù)，2012 （12）：88-90.

［4］魏荃立.Oracle分布式數(shù)據(jù)庫技術(shù)在油田數(shù)據(jù)中心建設(shè)中的應(yīng)用［J］.電腦知識(shí)與技術(shù)（學(xué)術(shù)交流），2007（10）：891-901.

中圖分類號(hào)TP3

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1674-6708（2016）165-0108-01