云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)思考

吳東榮

摘要：云計(jì)算作為一種新型互聯(lián)網(wǎng)相互的應(yīng)用模式，云計(jì)算的應(yīng)用革新了IT產(chǎn)業(yè)，為推動(dòng)IT產(chǎn)業(yè)良好奠定基礎(chǔ)。而近些年迅速崛起的生物信息網(wǎng)絡(luò)、Web分析網(wǎng)絡(luò)等新型網(wǎng)絡(luò)的推出，對(duì)大規(guī)模圖數(shù)據(jù)處理功能提出更高的要求。此種情況下，需要在云計(jì)算環(huán)境下，優(yōu)化運(yùn)用大規(guī)模圖數(shù)據(jù)處理技術(shù)，提高大規(guī)模圖數(shù)據(jù)處理功能?；诖它c(diǎn)，筆者將從概述云計(jì)算展開(kāi)，就云計(jì)算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用優(yōu)勢(shì)進(jìn)行分析，從而探究云計(jì)算大環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的有效應(yīng)用。

關(guān)鍵詞：云計(jì)算環(huán)境；大規(guī)模圖數(shù)據(jù)；處理技術(shù)；應(yīng)用優(yōu)勢(shì)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）28-0020-02

圖是計(jì)算機(jī)科學(xué)中最常用的一類抽象數(shù)據(jù)結(jié)構(gòu)，在結(jié)構(gòu)和語(yǔ)義方面比線性表更加復(fù)雜，更具有一般性表述能力。因此，當(dāng)前所推出的新型網(wǎng)絡(luò)社交網(wǎng)絡(luò)分析、語(yǔ)義Web分析、生物信息網(wǎng)絡(luò)分析等，對(duì)大規(guī)模圖數(shù)據(jù)處理提出更高的要求。要想使新型網(wǎng)絡(luò)可以高效、靈活的運(yùn)用，需要優(yōu)化運(yùn)用大規(guī)模圖數(shù)據(jù)處理技術(shù)，使其可以對(duì)大規(guī)模圖進(jìn)行高效的處理。所以，在云計(jì)算環(huán)境下，優(yōu)化運(yùn)用大規(guī)模圖數(shù)據(jù)處理技術(shù)是非常有意義的。

1云計(jì)算概述

1.1云計(jì)算

云計(jì)算是于2007年美國(guó)IBM公司在互聯(lián)網(wǎng)技術(shù)高速發(fā)展背景下提出的，將其定義為：可以同時(shí)描述一個(gè)系統(tǒng)平臺(tái)或是一種類型的應(yīng)用程序，核心為互聯(lián)網(wǎng)。由此總結(jié)的云計(jì)算的技術(shù)特點(diǎn)為：

1） 虛擬化。云計(jì)算的運(yùn)用是通過(guò)云計(jì)算服務(wù)器來(lái)實(shí)現(xiàn)的，它是不具備有形的實(shí)體。對(duì)于云計(jì)算服務(wù)器的運(yùn)用，則是用戶的網(wǎng)絡(luò)工具，如計(jì)算機(jī)、手機(jī)等在網(wǎng)絡(luò)環(huán)境下，與云計(jì)算的服務(wù)器連接，進(jìn)而利用云計(jì)算完成各種計(jì)算任務(wù)。

2）通用性和可擴(kuò)展性。因云計(jì)算具有多種功能，使得云計(jì)算平臺(tái)可以支持不同的應(yīng)用程序同時(shí)運(yùn)行。而使云計(jì)算可以如此應(yīng)用的原因是云計(jì)算集群規(guī)模具有動(dòng)態(tài)伸縮性，可以滿足各種應(yīng)用程序的應(yīng)用需求，同時(shí)也可以擴(kuò)展應(yīng)用。所以，云計(jì)算具有通用性和可擴(kuò)展性。

3）經(jīng)濟(jì)性高。因?yàn)樵朴?jì)算本身就具有超強(qiáng)的容錯(cuò)能力，所以利用廉價(jià)的云計(jì)算集群服務(wù)器就可以支撐大規(guī)模的云計(jì)算集群，促使云計(jì)算機(jī)集群發(fā)揮作用。由此可以說(shuō)明，云計(jì)算占據(jù)了低成本優(yōu)勢(shì)。這也是云計(jì)算能夠廣泛應(yīng)用的原因之一[1]。

1.2 云計(jì)算的相關(guān)技術(shù)

為了使云計(jì)算可以更加廣泛且有效的應(yīng)用，利用科學(xué)技術(shù)研究的云計(jì)算相關(guān)技術(shù)，在云計(jì)算應(yīng)用的過(guò)程中起到非常重要的作用。

1.2.1 海量分布式存儲(chǔ)技術(shù)

此項(xiàng)技術(shù)是云計(jì)算存儲(chǔ)數(shù)據(jù)的主要手段。海量分布是存儲(chǔ)技術(shù)具有經(jīng)濟(jì)性高、安全性高、可用性高等特點(diǎn)，利用此項(xiàng)技術(shù)并采用冗余存儲(chǔ)的方式，可以提高云計(jì)算數(shù)據(jù)存儲(chǔ)量和數(shù)據(jù)存儲(chǔ)的安全性。

1.2.2 數(shù)據(jù)管理技術(shù)

云計(jì)算在高度運(yùn)行的過(guò)程中需要對(duì)大量數(shù)據(jù)進(jìn)行提取、分析、比較、存儲(chǔ)等。這一過(guò)程中，如若不能有效地管理數(shù)據(jù)，容易造成云計(jì)算數(shù)據(jù)丟失，給用戶帶來(lái)嚴(yán)重的損失。所以，云計(jì)算數(shù)據(jù)管理技術(shù)的應(yīng)用是非常有必要的，可以對(duì)云計(jì)算中大量數(shù)據(jù)進(jìn)行高效管理。

1.2.3 并行編程模式

云計(jì)算并行編程模式的有效運(yùn)用，可以對(duì)云計(jì)算并列運(yùn)行的各種應(yīng)用服務(wù)予以合理編程，促使云計(jì)算可以正確的執(zhí)行多個(gè)并列程序，提高云計(jì)算運(yùn)行質(zhì)量、效率。所以，云計(jì)算并列編程模式有效實(shí)施也很有必要[2]。

2 云計(jì)算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用優(yōu)勢(shì)

基于以上對(duì)云計(jì)算的了解，筆者將重點(diǎn)分析和了解大規(guī)模圖數(shù)據(jù)處理技術(shù)在云計(jì)算環(huán)境下運(yùn)用的優(yōu)勢(shì)。

2.1有利于海量圖數(shù)據(jù)存儲(chǔ)和維護(hù)

由于大規(guī)模圖數(shù)據(jù)處理技術(shù)可以處理GB級(jí)別甚至是PB級(jí)別的圖數(shù)據(jù)量。這遠(yuǎn)遠(yuǎn)大于傳統(tǒng)的文件系統(tǒng)和數(shù)據(jù)庫(kù)內(nèi)存，使其無(wú)法在傳統(tǒng)文件系統(tǒng)或數(shù)據(jù)庫(kù)中運(yùn)用。但云計(jì)算采用的是分布式存儲(chǔ)模式，可以存儲(chǔ)大規(guī)模的圖數(shù)據(jù)。在云計(jì)算環(huán)境下利用大規(guī)模圖數(shù)據(jù)處理技術(shù)，可以根據(jù)實(shí)際需要，集中進(jìn)行海量圖數(shù)據(jù)的存儲(chǔ)、一致性的圖數(shù)據(jù)維護(hù)、統(tǒng)一的圖數(shù)據(jù)備份等處理，提高海量圖數(shù)據(jù)的安全性。

2.2提高大規(guī)模圖數(shù)據(jù)應(yīng)用性

大規(guī)模圖數(shù)據(jù)處理技術(shù)除了具有以上優(yōu)點(diǎn)之外，還可以在云計(jì)算環(huán)境下，依據(jù)云計(jì)算分布平行處理特點(diǎn)，對(duì)圖數(shù)據(jù)進(jìn)行分割處理，將圖數(shù)據(jù)分割成若干子圖，以便各個(gè)子圖可以有效應(yīng)用，提高圖數(shù)據(jù)應(yīng)用效果。所以，在云計(jì)算環(huán)境下利用大規(guī)模圖數(shù)據(jù)處理技術(shù)來(lái)分割圖數(shù)據(jù)，可以大大提高圖數(shù)據(jù)應(yīng)用性。

2.3根據(jù)不同情況，合理處理大規(guī)模圖數(shù)據(jù)

從技術(shù)角度和經(jīng)濟(jì)角度講，云計(jì)算環(huán)境具有良好的可伸縮性和靈活性，非常適合處理數(shù)據(jù)量彈性變化大的大規(guī)模圖數(shù)據(jù)。而大規(guī)模圖數(shù)據(jù)處理技術(shù)也具有可伸縮性和靈活性的特點(diǎn)，利用此項(xiàng)技術(shù)來(lái)處理大規(guī)模圖數(shù)據(jù)，可以根據(jù)云中動(dòng)態(tài)添加節(jié)點(diǎn)來(lái)擴(kuò)展存儲(chǔ)容量和計(jì)算資源，從而有效地處理大規(guī)模圖數(shù)據(jù)[3]。

3云計(jì)算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用

圖屬于一種非線性數(shù)據(jù)結(jié)構(gòu)，具有十分鮮明的多對(duì)多結(jié)構(gòu)關(guān)系，合理利用大規(guī)模圖數(shù)據(jù)處理技術(shù)來(lái)對(duì)大規(guī)模圖數(shù)據(jù)進(jìn)行處理，才能使圖數(shù)據(jù)所表達(dá)的語(yǔ)義更加清晰、準(zhǔn)確、豐富。

3.1基于云計(jì)算的圖數(shù)據(jù)存儲(chǔ)方式，合理存儲(chǔ)圖數(shù)據(jù)

目前，大規(guī)模圖數(shù)據(jù)的管理應(yīng)用中，所應(yīng)用的數(shù)據(jù)模型主要為單圖數(shù)據(jù)模型和超圖數(shù)據(jù)模型。兩者唯一的區(qū)別是存儲(chǔ)格式不同。在云計(jì)算分布式存儲(chǔ)系統(tǒng)中，基于以上兩種數(shù)據(jù)模型進(jìn)行圖數(shù)據(jù)存儲(chǔ)，形成分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)。基于云計(jì)算圖數(shù)據(jù)存儲(chǔ)方式，利用大規(guī)模圖數(shù)據(jù)存儲(chǔ)技術(shù)來(lái)對(duì)大規(guī)模圖形，則是根據(jù)數(shù)據(jù)模型的特點(diǎn)，對(duì)圖數(shù)據(jù)進(jìn)行合并、遷移處理，從而提高圖數(shù)據(jù)的讀取效率[4]。

3.2基于云計(jì)算的圖數(shù)據(jù)分割，對(duì)圖數(shù)據(jù)進(jìn)行分割處理

由于圖數(shù)據(jù)具有連通性特點(diǎn)，這使得圖數(shù)據(jù)計(jì)算的耦合性較強(qiáng)。為了能利用大規(guī)模圖數(shù)據(jù)處理技術(shù)來(lái)有效處理圖數(shù)據(jù)，應(yīng)當(dāng)基于云計(jì)算圖數(shù)據(jù)分割來(lái)進(jìn)行。具體的做法是根據(jù)云計(jì)算分布式存儲(chǔ)系統(tǒng)各個(gè)工作節(jié)點(diǎn)，對(duì)邏輯結(jié)構(gòu)較強(qiáng)的、相對(duì)完整的大圖進(jìn)行分割處理，并且在分割過(guò)程中考慮圖數(shù)據(jù)的連通性及均衡性，確保所分割的子圖之間可以有效連通，并且各個(gè)子圖比較均衡。

3.3 基于云計(jì)算圖數(shù)據(jù)計(jì)算模型，對(duì)圖數(shù)據(jù)進(jìn)行計(jì)算處理

目前，云計(jì)算環(huán)境中，圖數(shù)據(jù)計(jì)算的模型有兩種，即Map Reduce模型和BSP模型。利用大規(guī)模圖數(shù)據(jù)處理技術(shù)來(lái)進(jìn)行圖數(shù)據(jù)計(jì)算則是：1）Map Reduce模型。根據(jù)大規(guī)模圖數(shù)據(jù)特點(diǎn)及Map Reduce模型特點(diǎn)，利用此模型搭建大規(guī)模圖數(shù)據(jù)的Map Reduce模型，從而將大規(guī)模圖數(shù)據(jù)計(jì)算分為Map任務(wù)和Reduce任務(wù)。在Map任務(wù)環(huán)境中，對(duì)圖數(shù)據(jù)進(jìn)行合理計(jì)算，輸出key值。在Reduce任務(wù)環(huán)境中，將每個(gè)數(shù)據(jù)進(jìn)行計(jì)算和處理，獲得輸出結(jié)果。2）BSP模型。大規(guī)模圖數(shù)據(jù)處理技術(shù)基于BSP模型來(lái)進(jìn)行大規(guī)模圖數(shù)據(jù)計(jì)算，則是了解圖數(shù)計(jì)算可能出現(xiàn)死鎖或數(shù)據(jù)競(jìng)爭(zhēng)情況，進(jìn)而從消息通信的角度出發(fā)合理計(jì)算大規(guī)模圖數(shù)據(jù)，獲得輸出值[5]。

4 結(jié)束語(yǔ)

綜合以上內(nèi)容，可以充分說(shuō)明云計(jì)算環(huán)境下，基于云計(jì)算圖數(shù)據(jù)存儲(chǔ)方式、計(jì)算模型、分割方式等來(lái)利用大規(guī)模圖數(shù)據(jù)處理技術(shù)，可以充分發(fā)揮此項(xiàng)技術(shù)優(yōu)點(diǎn)，有效處理大規(guī)模圖數(shù)據(jù)，提高圖數(shù)據(jù)應(yīng)用性。所以，云計(jì)算環(huán)境下，合理運(yùn)用大規(guī)模圖數(shù)據(jù)處理技術(shù)是非常有意義。

參考文獻(xiàn)：

[1]于戈，谷峪，鮑玉斌等.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2011，34（10）：1753-1767.

[2] 李淵.淺析云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].中國(guó)高新技術(shù)企業(yè)，2014（6）：53-54.

[3] 于戈，谷峪，鮑玉斌等.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[C].第28屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集，2011：1753-1767.

[4] 趙小換.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)分析[J].中國(guó)外資（下半月），2012（5）：275.

[5] 李東升.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].信息與電腦，2015（8）：35-35，40.