面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)研究

摘 要：作為一種先進(jìn)計(jì)算方式的云計(jì)算，不斷在信息服務(wù)與科研領(lǐng)域升溫，并且影響了存儲(chǔ)和運(yùn)算大規(guī)模數(shù)據(jù)。本文主要分析了云存儲(chǔ)技術(shù)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方式，面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)，面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)和實(shí)現(xiàn)。

關(guān)鍵詞：云存儲(chǔ)；非結(jié)構(gòu)化數(shù)據(jù)；存儲(chǔ)

中圖分類號(hào)：TP333

1 云存儲(chǔ)技術(shù)

云存儲(chǔ)主要對(duì)云計(jì)算中存儲(chǔ)海量數(shù)據(jù)問(wèn)題積極解決，它不但能夠提供專業(yè)化的存儲(chǔ)解決方案，還可以單獨(dú)發(fā)布存儲(chǔ)業(yè)務(wù)。云存儲(chǔ)是一種基于Web的獨(dú)特模式的應(yīng)用模型，其特點(diǎn)為成本低廉、可擴(kuò)展等，屬于一種服務(wù)觀念，并不是真實(shí)的存儲(chǔ)，也不是具體的設(shè)備。利用連接互聯(lián)網(wǎng)，用戶通過(guò)云存儲(chǔ)享有共享訪問(wèn)存儲(chǔ)池的功能。用戶并不需要對(duì)系統(tǒng)內(nèi)容進(jìn)行了解，也不需要知道怎樣進(jìn)行存儲(chǔ)，對(duì)于用戶來(lái)說(shuō)全部設(shè)備都是透明的，在任何時(shí)間和空間一個(gè)合法授權(quán)的用戶都能夠利用網(wǎng)絡(luò)連接云存儲(chǔ)，使用云服務(wù)。隨著迅速發(fā)展的現(xiàn)代化網(wǎng)絡(luò)信息技術(shù)，數(shù)據(jù)信息數(shù)量不斷增長(zhǎng)了指數(shù)級(jí)，在形成大規(guī)模數(shù)據(jù)的時(shí)代，用戶產(chǎn)生了存儲(chǔ)數(shù)據(jù)的更高要求，在云環(huán)境下對(duì)用戶存儲(chǔ)數(shù)據(jù)需求進(jìn)行了解決：（1）高效存儲(chǔ)與訪問(wèn)海量數(shù)據(jù)需求，例如新浪微博，每個(gè)月出現(xiàn)的用戶動(dòng)態(tài)高達(dá)幾億條，在關(guān)系數(shù)據(jù)庫(kù)中，利用SQL查詢上億條數(shù)據(jù)記錄表，效率很低，在大數(shù)據(jù)時(shí)代下，迫切需要解決高效存儲(chǔ)與訪問(wèn)大量數(shù)據(jù)的問(wèn)題；（2）高并發(fā)讀寫數(shù)據(jù)庫(kù)需求，互聯(lián)網(wǎng)的積極發(fā)展，Web重視將用戶作為中心，需要按照用戶個(gè)性化信息產(chǎn)生動(dòng)態(tài)頁(yè)面和信息，例如當(dāng)前的微博，這一應(yīng)用形成了極高的并發(fā)訪問(wèn)數(shù)據(jù)負(fù)載要求，通常形成了每秒上萬(wàn)次的讀寫需求；（3）高可用性和高擴(kuò)展性的數(shù)據(jù)庫(kù)要求，在基于Web的架構(gòu)中，很難水平擴(kuò)展數(shù)據(jù)庫(kù)，當(dāng)迅速增加用戶量和訪問(wèn)量時(shí)，數(shù)據(jù)庫(kù)服務(wù)器不能簡(jiǎn)單的利用硬件與服務(wù)節(jié)點(diǎn)擴(kuò)展性能與均衡負(fù)載，針對(duì)一些要求提供不間斷服務(wù)的網(wǎng)站來(lái)講，升級(jí)形成的維護(hù)停機(jī)與遷移數(shù)據(jù)，將減少用戶體驗(yàn)；（4）支持處理非結(jié)構(gòu)數(shù)據(jù)要求，關(guān)系型數(shù)據(jù)庫(kù)顯著約束了處理數(shù)據(jù)和數(shù)據(jù)類型，不能達(dá)到將來(lái)用戶對(duì)各種數(shù)據(jù)類型的要求。

2 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方式

2.1 文件系統(tǒng)存儲(chǔ)方式。利用文件系統(tǒng)在文件服務(wù)器中直接存儲(chǔ)。很多不存儲(chǔ)在應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)，例如研發(fā)的應(yīng)用系統(tǒng)軟件、信息管理部門利用的軟件工具、文檔開(kāi)發(fā)過(guò)程等，一般都是直接將新聞中心材料存儲(chǔ)至文件系統(tǒng)中。數(shù)據(jù)資源利用文化模式存儲(chǔ)在計(jì)算機(jī)目標(biāo)下，僅是利用人工簡(jiǎn)單分類文件夾，所以通常都是無(wú)序的數(shù)據(jù)存儲(chǔ)。對(duì)數(shù)據(jù)需求訪問(wèn)時(shí)，通過(guò)程序直接利用存儲(chǔ)文件路徑對(duì)文件進(jìn)行讀取。計(jì)算機(jī)初期主要工作是計(jì)算，對(duì)存儲(chǔ)數(shù)據(jù)幾乎無(wú)要求，文件系統(tǒng)能夠符合管理數(shù)據(jù)要求。

2.2 數(shù)據(jù)庫(kù)存儲(chǔ)方式。自從產(chǎn)生關(guān)系數(shù)據(jù)庫(kù)之后，迅速發(fā)展功能，不斷完善。當(dāng)前很多應(yīng)用系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，都是采取二進(jìn)制格式在關(guān)系數(shù)據(jù)庫(kù)字段中存儲(chǔ)。用戶向數(shù)據(jù)庫(kù)系統(tǒng)直接發(fā)出請(qǐng)求操作數(shù)據(jù)，不需要應(yīng)用程序。在BLOB字段中存儲(chǔ)的特點(diǎn)是可以迅速訪問(wèn)文件，因?yàn)闆](méi)有關(guān)系到其他應(yīng)用系統(tǒng)，所以便于管理與維護(hù)；但是在BLOB字段中存儲(chǔ)也有不足：第一是非結(jié)構(gòu)化數(shù)據(jù)文件龐大，隨著不斷增加的數(shù)據(jù)量，會(huì)快速膨脹關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)量，對(duì)數(shù)據(jù)庫(kù)性能造成了影響，進(jìn)一步降低了整個(gè)應(yīng)用系統(tǒng)的功能；第二是各個(gè)應(yīng)用系統(tǒng)之間彼此獨(dú)立，沒(méi)有共享有關(guān)資料。

2.3 數(shù)據(jù)庫(kù)和文件系統(tǒng)綜合的存儲(chǔ)方式。該方式是把非結(jié)構(gòu)化數(shù)據(jù)通過(guò)文件途徑在計(jì)算機(jī)中存儲(chǔ)，在數(shù)據(jù)庫(kù)中放置存儲(chǔ)數(shù)據(jù)文件的路徑。在這一方式下非結(jié)構(gòu)化數(shù)據(jù)源文件在文件系統(tǒng)中存放，方便瀏覽、傳輸數(shù)據(jù)。而非結(jié)構(gòu)化數(shù)據(jù)文件的特點(diǎn)則是通過(guò)數(shù)據(jù)庫(kù)中的數(shù)據(jù)表字段實(shí)施表達(dá)，便于檢索、分類數(shù)據(jù)，更好的對(duì)數(shù)據(jù)文件進(jìn)行存儲(chǔ)。數(shù)據(jù)庫(kù)和文件系統(tǒng)互相結(jié)合的典型應(yīng)用模式作為內(nèi)容管理系統(tǒng)。內(nèi)容比數(shù)據(jù)更加廣泛，突出了對(duì)象，可以是任意結(jié)構(gòu)的數(shù)據(jù)類型，不但包括了結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化信息，還關(guān)系到知識(shí)?？梢哉J(rèn)為，相較于數(shù)據(jù)、文檔來(lái)說(shuō)內(nèi)容擁有更加全面的含義，聚合了全部結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)信息。

3 面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)

3.1 存儲(chǔ)服務(wù)層次模型。通過(guò)上述研究奠定了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)研究的基礎(chǔ)，還需要設(shè)計(jì)一套存儲(chǔ)架構(gòu)方案。本文采用分層的網(wǎng)絡(luò)結(jié)構(gòu)管理非結(jié)構(gòu)化數(shù)據(jù)，從上到下劃分為5個(gè)功能層，依次為應(yīng)用層、會(huì)話層、數(shù)據(jù)層、路由層以及物理層。

上述5個(gè)層次中，應(yīng)用層提出了非結(jié)構(gòu)化數(shù)據(jù)運(yùn)用接口，通過(guò)存儲(chǔ)數(shù)據(jù)服務(wù)商研發(fā)的各種存儲(chǔ)應(yīng)用對(duì)這些接口實(shí)行展示，例如各類在線存儲(chǔ)、網(wǎng)絡(luò)磁盤、托管視頻數(shù)據(jù)以及下載軟件服務(wù)等。這時(shí)，用戶所面對(duì)的云存儲(chǔ)空間特點(diǎn)為虛擬的、無(wú)限擴(kuò)展容量，用戶對(duì)數(shù)據(jù)進(jìn)行提交時(shí)不需要考慮存儲(chǔ)空間以及數(shù)據(jù)的物理位置。

會(huì)話層具體對(duì)用戶管理、分配權(quán)限空間以及安全存儲(chǔ)策略積極負(fù)責(zé)，該層按照不同的安全級(jí)別，制定不同的安全方案保證數(shù)據(jù)的安全性。

數(shù)據(jù)層的功能是對(duì)非結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)統(tǒng)一管理。非結(jié)構(gòu)化數(shù)據(jù)體積為大小不等的MB級(jí)到GB級(jí)，而元數(shù)據(jù)信息總長(zhǎng)度不會(huì)超過(guò)1KB，二者形成了懸殊的數(shù)據(jù)量。因此存儲(chǔ)BLOB數(shù)據(jù)與元數(shù)據(jù)對(duì)網(wǎng)絡(luò)帶寬和計(jì)算資源形成了不同需求，兩類數(shù)據(jù)應(yīng)當(dāng)采取不同的存儲(chǔ)對(duì)策。

路由層主要對(duì)云端節(jié)點(diǎn)、訪問(wèn)接口與后臺(tái)存儲(chǔ)設(shè)備制方案的互通性以及計(jì)算存儲(chǔ)路徑積極負(fù)責(zé)。由于云存儲(chǔ)系統(tǒng)是一個(gè)擁有多個(gè)子網(wǎng)的存儲(chǔ)自治體系，主要采用內(nèi)部網(wǎng)關(guān)協(xié)議作為路由協(xié)議，在存儲(chǔ)系統(tǒng)的底層應(yīng)用路由協(xié)議，充分保證了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)的可擴(kuò)展性與極高的存儲(chǔ)效率。

物理層主要是為非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)提供所需空間以及計(jì)算資源，并且對(duì)存儲(chǔ)節(jié)點(diǎn)的物理通路進(jìn)行維護(hù)。對(duì)于本系統(tǒng)來(lái)說(shuō)，可以對(duì)目前通信子網(wǎng)設(shè)備充分應(yīng)用，而不需要過(guò)多投資硬件。

3.2 非結(jié)構(gòu)化數(shù)據(jù)分離式存儲(chǔ)通路。當(dāng)前，一些關(guān)系數(shù)據(jù)庫(kù)都可以有效支持BLOB數(shù)據(jù)，通過(guò)RDBMS群集成為非結(jié)構(gòu)化數(shù)據(jù)的物理存儲(chǔ)底層。用戶利用Web應(yīng)用程序或者客戶端將數(shù)據(jù)提供給存儲(chǔ)系統(tǒng)，利用BLOB存取接口把數(shù)據(jù)存儲(chǔ)到關(guān)系表中。具體表現(xiàn)出下列優(yōu)點(diǎn)：1BLOB數(shù)據(jù)通過(guò)二進(jìn)制流形式在關(guān)系表中直接進(jìn)行存儲(chǔ)，而不需要利用管理文件系統(tǒng)方式。2分離式管理兩類數(shù)據(jù)，有利于優(yōu)化配置存儲(chǔ)資源?？梢苑峙漭^大容量、較強(qiáng)計(jì)算能力的資源給BLOB數(shù)據(jù)存儲(chǔ)區(qū)，而把較高相應(yīng)效率的資源分配給Metadatr存儲(chǔ)區(qū)。3分離式的存儲(chǔ)通路實(shí)現(xiàn)了存取BLOB數(shù)據(jù)和元數(shù)據(jù)的功能分離，合理分配了網(wǎng)絡(luò)寬帶，可以對(duì)由于高并發(fā)訪問(wèn)對(duì)系統(tǒng)造成的壓力有效分擔(dān)。

4 面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)和實(shí)現(xiàn)

4.1 存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)。存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)包括兩方面內(nèi)容：其一是設(shè)計(jì)管理元數(shù)據(jù)區(qū)結(jié)構(gòu)；其二是設(shè)計(jì)BLOB數(shù)據(jù)存儲(chǔ)區(qū)結(jié)構(gòu)，具體內(nèi)容為設(shè)計(jì)應(yīng)用存儲(chǔ)BLOB數(shù)據(jù)和元數(shù)據(jù)的二維表。其中：全部BLOB數(shù)據(jù)序號(hào)由MA統(tǒng)一進(jìn)行管理，而其他服務(wù)器則在對(duì)詳細(xì)元數(shù)據(jù)信息分散且不重復(fù)的進(jìn)行存儲(chǔ)。BLOB存儲(chǔ)節(jié)點(diǎn)中擁有比較簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)，具體包括了一個(gè)image類型的資源，具體作用是對(duì)BLOB數(shù)據(jù)流進(jìn)行存儲(chǔ)。

4.2 分布式存數(shù)算法實(shí)現(xiàn)。存取算法非結(jié)構(gòu)化數(shù)據(jù)涉及兩方面內(nèi)容：第一，在RDBMS下存入、刪除、讀取BLOB數(shù)據(jù)方式與文件系統(tǒng)存在區(qū)別；第二，多用戶并發(fā)式訪問(wèn)擁有極高頻度，需要著重分析均衡負(fù)載、容錯(cuò)性以及魯棒性。

5 結(jié)束語(yǔ)

由于人工處理較大程度上限制了數(shù)據(jù)結(jié)構(gòu)化，增加非結(jié)構(gòu)化數(shù)據(jù)的速度遠(yuǎn)比結(jié)構(gòu)化數(shù)據(jù)大。怎樣將非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在應(yīng)用系統(tǒng)中，面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)成為系統(tǒng)設(shè)計(jì)人員研究的重要課題。云存儲(chǔ)很好發(fā)展與延伸了網(wǎng)格、并行與分布計(jì)算等大量技術(shù)，實(shí)現(xiàn)了完全虛擬化的存儲(chǔ)，提供了更加巨大的共享存儲(chǔ)性能。

參考文獻(xiàn)：

[1]于戈，王志剛.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2011（06）.

[2]謝華成，劉道華.基于文件分割的二進(jìn)制大對(duì)象存取算法[J].計(jì)算機(jī)應(yīng)用，2011（10）.

作者簡(jiǎn)介：于成龍，男，遼寧鐵嶺人，本科在讀，研究方向：信息管理與信息系統(tǒng)；王梓涵，女，遼寧撫順人，本科在讀，研究方向：信息管理與信息系統(tǒng)。

作者單位：大連外國(guó)語(yǔ)大學(xué) 軟件學(xué)院，遼寧大連 116044