面向大數(shù)據(jù)的分布式系統(tǒng)設(shè)計(jì)關(guān)鍵技術(shù)研究

毛文彬

摘 要：隨著云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展，異構(gòu)數(shù)據(jù)源越來(lái)越多，數(shù)據(jù)信息量在飛速增長(zhǎng)，數(shù)據(jù)的類型也復(fù)雜多樣，不僅使得信息系統(tǒng)規(guī)模日益龐大，也導(dǎo)致海量非結(jié)構(gòu)化數(shù)據(jù)管理復(fù)雜、異構(gòu)數(shù)據(jù)存儲(chǔ)利用率低下、資源不易擴(kuò)展等問(wèn)題。

關(guān)鍵詞：大數(shù)據(jù)；云存儲(chǔ)

1 大數(shù)據(jù)的特點(diǎn)及存儲(chǔ)要求

海量非確定性異構(gòu)數(shù)據(jù)產(chǎn)生的原因復(fù)雜多樣，在應(yīng)用中也具有新的特點(diǎn)：隨著各種應(yīng)用規(guī)模及領(lǐng)域的擴(kuò)大，數(shù)據(jù)量會(huì)呈現(xiàn)爆炸性增長(zhǎng)及海量數(shù)據(jù)存儲(chǔ)的趨勢(shì)和特點(diǎn)；在非確定數(shù)據(jù)的典型應(yīng)用中數(shù)據(jù)源很多，數(shù)據(jù)種類也繁多，數(shù)據(jù)資源具有異構(gòu)性特點(diǎn)；數(shù)據(jù)還呈現(xiàn)數(shù)據(jù)塊大小、數(shù)據(jù)類型和數(shù)據(jù)訪問(wèn)方式等不確定的特點(diǎn)；云計(jì)算、物聯(lián)網(wǎng)等應(yīng)用的不斷豐富，數(shù)據(jù)產(chǎn)生、應(yīng)用、訪問(wèn)方式十分復(fù)雜，還使得數(shù)據(jù)具有時(shí)效性和空間性，高頻度訪問(wèn)和高并發(fā)的特點(diǎn)。

非確定數(shù)據(jù)應(yīng)用中的海量數(shù)據(jù)對(duì)數(shù)據(jù)的存儲(chǔ)體系結(jié)構(gòu)帶來(lái)了很大的挑戰(zhàn)。首先，海量數(shù)據(jù)的組織必然采用分布式數(shù)據(jù)組織與管理策略，這需要實(shí)現(xiàn)適合于非確定數(shù)據(jù)應(yīng)用的（元）數(shù)據(jù)和數(shù)據(jù)組織方式；其次，由于海量數(shù)據(jù)是通過(guò)持續(xù)增長(zhǎng)積累而成，而積累的過(guò)程需要很長(zhǎng)的時(shí)間，因此需要存儲(chǔ)支持可保證規(guī)模與性能同時(shí)擴(kuò)展的存儲(chǔ)組織模式以及相應(yīng)的索引機(jī)制。

針對(duì)海量不確定性數(shù)據(jù)，使用基于傳統(tǒng)的信息存儲(chǔ)結(jié)構(gòu)和對(duì)象查詢方法的實(shí)際運(yùn)行效率呈現(xiàn)下降趨勢(shì)，因此必須采用新的元數(shù)據(jù)組織結(jié)構(gòu)和查詢方法來(lái)提高效率，為用戶提供高性能的多并發(fā)數(shù)據(jù)查詢服務(wù)。

由于在分布式環(huán)境中，數(shù)據(jù)源分布在不同的網(wǎng)絡(luò)結(jié)點(diǎn)，這就存在網(wǎng)絡(luò)傳輸性能低的問(wèn)題。而各個(gè)數(shù)據(jù)源有很強(qiáng)的自治性，它們可以自治地改變自身的結(jié)構(gòu)和更新數(shù)據(jù)，這就會(huì)給數(shù)據(jù)集成系統(tǒng)的一致性帶來(lái)了困難。由于數(shù)據(jù)存在非確定性，針對(duì)海量非確定性異構(gòu)數(shù)據(jù)的集成工作將變得更為復(fù)雜，可以采用分布式并行處理技術(shù)實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的全局最優(yōu)化的管理。

數(shù)據(jù)的海量性、非確定性以及異構(gòu)性為傳統(tǒng)的數(shù)據(jù)挖掘算法提出了挑戰(zhàn)。由于數(shù)據(jù)的異構(gòu)、海量、分布性和決策控制的實(shí)時(shí)性，需要調(diào)整數(shù)據(jù)挖掘引擎的布局及多引擎的調(diào)度策略。結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù)都涉及數(shù)據(jù)的存儲(chǔ)、管理（索引、并發(fā)、一致性、查詢等）等，這是因?yàn)橛脩魧?duì)大數(shù)據(jù)使用方面的要求（對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)查詢?nèi)匀灰獪?zhǔn)確和快速），導(dǎo)致對(duì)數(shù)據(jù)邏輯結(jié)構(gòu)和物理存儲(chǔ)方式的新要求。

2 面向大數(shù)據(jù)的分布式系統(tǒng)關(guān)鍵技術(shù)

2.1 分布式文件管理技術(shù)

在大數(shù)據(jù)應(yīng)用過(guò)程中，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)已經(jīng)無(wú)法滿足需求，因此，諸多科學(xué)工作者對(duì)其文件管理技術(shù)進(jìn)行了研究。2010年，馮幼樂(lè)等人在文件管理系統(tǒng)中提出了CEPH動(dòng)態(tài)元數(shù)據(jù)管理技術(shù)，該方法可以有效地改進(jìn)異構(gòu)元數(shù)據(jù)服務(wù)器和網(wǎng)絡(luò)延遲較大時(shí)存在的問(wèn)題，提高文件管理系統(tǒng)的使用范圍和性能。方君等人詳細(xì)的分析了國(guó)外分布式文件系統(tǒng)的研究和應(yīng)用現(xiàn)狀，開(kāi)發(fā)設(shè)計(jì)了一個(gè)較好的分布式文件系統(tǒng)K-DFS，該系統(tǒng)可以解決大數(shù)據(jù)中多存儲(chǔ)節(jié)點(diǎn)訪問(wèn)和同步的問(wèn)題，實(shí)現(xiàn)負(fù)載均衡，避免部分?jǐn)?shù)據(jù)集中于少量存儲(chǔ)服務(wù)器中，使用冗余存儲(chǔ)技術(shù)，保障遠(yuǎn)程文件的安全性，防止存儲(chǔ)節(jié)點(diǎn)因宕機(jī)導(dǎo)致文件丟失，更好的提高了文件系統(tǒng)的高安全性，并且該系統(tǒng)已經(jīng)在金融數(shù)據(jù)分析、電信數(shù)據(jù)分析和網(wǎng)絡(luò)電商數(shù)據(jù)分析中得到了廣泛的使用。目前，文件系統(tǒng)已經(jīng)在實(shí)際應(yīng)用中得到了廣泛的發(fā)展和進(jìn)步，尤其是具有海量用戶和數(shù)據(jù)存儲(chǔ)訪問(wèn)的互聯(lián)網(wǎng)企業(yè)中，比如Google提出了GFS文件管理系統(tǒng)，該系統(tǒng)集成數(shù)據(jù)文件地管理、存儲(chǔ)和應(yīng)用，并且構(gòu)建過(guò)程中服務(wù)器較為廉價(jià)，同時(shí)具有極強(qiáng)的可擴(kuò)展性，數(shù)據(jù)被存儲(chǔ)于不同的服務(wù)器中，通過(guò)關(guān)聯(lián)鏈接、分塊存儲(chǔ)、追加更新等技術(shù)保障文件管理系統(tǒng)的正常運(yùn)行和傳輸，同時(shí)引入了緩沖層、內(nèi)存加載部分元數(shù)據(jù)等新理念，提升了文件管理系統(tǒng)存儲(chǔ)和讀取的效率，促進(jìn)大數(shù)據(jù)文件管理步入集群管理階段，有效的提高了分布式文件管理系統(tǒng)的應(yīng)用效能。

2.2 分布式數(shù)據(jù)處理技術(shù)

大數(shù)據(jù)應(yīng)用系統(tǒng)中，信息處理方式包括兩種，分別是批處理方式和流處理方式。批處理方式是指將待處理的邏輯事務(wù)執(zhí)行存儲(chǔ)操作之后，再對(duì)其實(shí)施業(yè)務(wù)處理操作，因此批處理方式可以使用某種分割方式，將數(shù)據(jù)分割為不同的數(shù)據(jù)塊，這些數(shù)據(jù)庫(kù)邏輯獨(dú)立，其可以在不同的終端上操作執(zhí)行，增強(qiáng)了大數(shù)據(jù)系統(tǒng)中共享服務(wù)資源的優(yōu)勢(shì)，淡化了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，有效的提升了數(shù)據(jù)的集群性、可調(diào)度性，目前，批處理方式應(yīng)用的難點(diǎn)和關(guān)鍵是數(shù)據(jù)的分割、分發(fā)和實(shí)時(shí)處理。流處理方式將用戶需要的海量數(shù)據(jù)看做是一個(gè)不間斷的數(shù)據(jù)流，數(shù)據(jù)流可以實(shí)時(shí)的進(jìn)入大數(shù)據(jù)應(yīng)用系統(tǒng)中，并且能夠得到快速的響應(yīng)和反饋，獲得數(shù)據(jù)處理的結(jié)果，該分布式數(shù)據(jù)處理方式極大的提高了系統(tǒng)的實(shí)時(shí)性，已經(jīng)在許多金融數(shù)據(jù)挖掘、電信數(shù)據(jù)挖掘過(guò)程中得到了廣泛的應(yīng)用。

2.3 分布式數(shù)據(jù)庫(kù)技術(shù)

傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)通常采用關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，該數(shù)據(jù)庫(kù)在大數(shù)據(jù)處理過(guò)程中存在多樣性弱、規(guī)模性小、處理過(guò)程邏輯關(guān)聯(lián)性強(qiáng)等弱點(diǎn)，提出在大數(shù)據(jù)應(yīng)用系統(tǒng)中采用分布式數(shù)據(jù)庫(kù)管理技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)的易用性和易擴(kuò)充性，同時(shí)增強(qiáng)分布式數(shù)據(jù)庫(kù)管理能力。目前，分布式數(shù)據(jù)庫(kù)管理技術(shù)已經(jīng)得到了廣泛的研究和應(yīng)用，Bigtable技術(shù)在實(shí)施操作和管理過(guò)程中，將數(shù)據(jù)訪問(wèn)信息作為字符串進(jìn)行管理，并且其不直接解釋字符串的含義，使得分布式數(shù)據(jù)具有半結(jié)構(gòu)化或者結(jié)構(gòu)化特征，可以提高數(shù)據(jù)庫(kù)存儲(chǔ)類型，比如視頻數(shù)據(jù)、圖像數(shù)據(jù)、文本數(shù)據(jù)等，同樣大大地簡(jiǎn)化了數(shù)據(jù)庫(kù)管理系統(tǒng)操作方法。

Dynamo技術(shù)在分布式數(shù)據(jù)庫(kù)應(yīng)用過(guò)程中，采用分布式哈希表、鍵值存儲(chǔ)和向量時(shí)鐘等關(guān)鍵技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)庫(kù)管理系統(tǒng)的高效運(yùn)行和管理，推動(dòng)了關(guān)系型數(shù)據(jù)庫(kù)的前進(jìn)和發(fā)展。隨著智能技術(shù)的發(fā)展，分布式數(shù)據(jù)庫(kù)引入了模式識(shí)別、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法，有效的促進(jìn)了數(shù)據(jù)一致性、業(yè)務(wù)處理快速化。

3 云存儲(chǔ)在大數(shù)據(jù)存儲(chǔ)中的應(yīng)用

針對(duì)數(shù)據(jù)的飛速發(fā)展和數(shù)據(jù)安全要求的不斷提高，如何建立安全、性價(jià)比高的存儲(chǔ)成為業(yè)界的普遍需求。云存儲(chǔ)成為首要選擇，因?yàn)樗軌蚋鶕?jù)所需容量大小對(duì)用戶進(jìn)行定制，用戶不需要進(jìn)行硬件的管理維護(hù)，縮減了用戶成本和人力投入。而且云存儲(chǔ)具有易擴(kuò)容、易管理、價(jià)格低、數(shù)據(jù)安全、服務(wù)不中斷等優(yōu)點(diǎn)。

3.1 大規(guī)模級(jí)別存儲(chǔ)系統(tǒng)的構(gòu)建

大規(guī)模的存儲(chǔ)需要跨數(shù)據(jù)中心，跨城市、省、甚至國(guó)家進(jìn)行存儲(chǔ)設(shè)備、存儲(chǔ)數(shù)據(jù)、存儲(chǔ)服務(wù)的組織和管理，并支持跨域的訪問(wèn)、備份、容災(zāi)等功能。同時(shí)大規(guī)模的存儲(chǔ)要求存儲(chǔ)提供不同等級(jí)的管理和服務(wù)權(quán)限，并按照區(qū)域、級(jí)別分配不同的權(quán)限。系統(tǒng)對(duì)資源的訪問(wèn)必須經(jīng)過(guò)嚴(yán)格的權(quán)限控制。只有用戶確認(rèn)共享的資源才能被其他用戶或業(yè)務(wù)進(jìn)行訪問(wèn)，即使是被授權(quán)的訪問(wèn)也會(huì)根據(jù)不同的權(quán)限控制方式受到訪問(wèn)權(quán)限控制。

云存儲(chǔ)就是將不同種類的存儲(chǔ)設(shè)備協(xié)調(diào)起來(lái)進(jìn)行工作。這些存儲(chǔ)設(shè)備使用的存儲(chǔ)介質(zhì)也是多種多樣的，而且隨著技術(shù)的發(fā)展，設(shè)備種類和存儲(chǔ)介質(zhì)種類會(huì)越來(lái)越多，如何調(diào)度這些設(shè)備和存儲(chǔ)介質(zhì)協(xié)調(diào)工作，需要在云存儲(chǔ)管理軟件上考慮和優(yōu)化，以保證組織好的資源被高效利用。

3.2 存儲(chǔ)設(shè)備在線擴(kuò)展和收縮

在存儲(chǔ)設(shè)備的使用過(guò)程中，會(huì)遇到調(diào)整存儲(chǔ)資源池的需求，要求存儲(chǔ)資源池根據(jù)業(yè)務(wù)的需求增加或者減少存儲(chǔ)設(shè)備。在調(diào)整的過(guò)程中，業(yè)務(wù)不能被中斷，也不能使上層業(yè)務(wù)感受存儲(chǔ)資源池的變化，同時(shí)被裁剪設(shè)備的數(shù)據(jù)要在較短的時(shí)間內(nèi)在其他設(shè)備上恢復(fù)、備份，并在較短的時(shí)間內(nèi)完成增加存儲(chǔ)設(shè)備和原有存儲(chǔ)你設(shè)備的數(shù)據(jù)均衡。

云存儲(chǔ)系統(tǒng)要優(yōu)化和調(diào)整數(shù)據(jù)組織和管理方法，即使存儲(chǔ)規(guī)模增加后，性能要隨之線性增加。數(shù)據(jù)變得龐大后，元數(shù)據(jù)管理要考慮中心化或多節(jié)點(diǎn)方式，以降低元數(shù)據(jù)管理對(duì)整個(gè)系統(tǒng)讀寫性能的影響。對(duì)于熱點(diǎn)數(shù)據(jù)支持自動(dòng)的多副本復(fù)制，則會(huì)在多個(gè)存儲(chǔ)節(jié)點(diǎn)提供讀能力，以降低硬盤、網(wǎng)口、處理器對(duì)性能能力的限制。采用多級(jí)緩存技術(shù)，熱點(diǎn)數(shù)據(jù)則會(huì)先讀入智能加速卡，并由智能加速卡對(duì)外提供讀服務(wù)，在寫數(shù)據(jù)時(shí)，也是先寫入到智能加速卡，由加速卡組織分發(fā)到存儲(chǔ)設(shè)備上。

4 結(jié)語(yǔ)

隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展，“大數(shù)據(jù)”逐漸成為發(fā)展的趨勢(shì)，數(shù)據(jù)產(chǎn)生的原因復(fù)雜多樣，在應(yīng)用中也具有新的特點(diǎn)。隨著各種應(yīng)用規(guī)模的擴(kuò)大，數(shù)據(jù)量會(huì)呈現(xiàn)爆炸性增長(zhǎng)的趨勢(shì)及海量數(shù)據(jù)存儲(chǔ)的特點(diǎn)。新業(yè)務(wù)環(huán)境和應(yīng)用場(chǎng)景對(duì)海量云存儲(chǔ)需求越來(lái)越迫切，這需要海量存儲(chǔ)平臺(tái)打破原有的框架，改變組網(wǎng)和管理方式，滿足業(yè)務(wù)需求。

[參考文獻(xiàn)]

[1]王珊，王會(huì)舉，覃雄派，周烜.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào).2011（10）.

[2]覃雄派，王會(huì)舉，杜小勇，王珊.大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào).2012（01）.

[3]姜奇平.大數(shù)據(jù)與信息社會(huì)的意義結(jié)構(gòu)[J].互聯(lián)網(wǎng)周刊.2012（12）.