淺談云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)

劉瑞玲

【摘 要】本文著手于大規(guī)模圖數(shù)據(jù)處理技術(shù)在云計算環(huán)境下的應(yīng)用優(yōu)勢，通過對大規(guī)模圖數(shù)據(jù)處理技術(shù)的實踐應(yīng)用情況進行分析，結(jié)合云計算環(huán)境心愛的大規(guī)模圖數(shù)據(jù)處理問題情況進行研究，總結(jié)出大規(guī)模圖數(shù)據(jù)處理技術(shù)在云計算環(huán)境下的關(guān)鍵性技術(shù)實施情況，為我國今后的大規(guī)模圖數(shù)據(jù)處理技術(shù)創(chuàng)新提供可行性參考。

【關(guān)鍵詞】云計算環(huán)境；大規(guī)模圖數(shù)據(jù)；處理技術(shù)

在計算機技術(shù)中圖形結(jié)構(gòu)屬于用的較多的抽象數(shù)據(jù)結(jié)構(gòu)，和樹及其線性表相比，圖形結(jié)構(gòu)更加復(fù)雜，它具有一定的表示能力，在我們的實際生活領(lǐng)域中都在合理而高效的使用圖結(jié)構(gòu)，和圖有關(guān)的處理及應(yīng)用方式隨處可見，例如圖在科技文獻中的引用，傳統(tǒng)領(lǐng)域中的應(yīng)用，利用圖預(yù)測疾病突發(fā)的路徑、確定最優(yōu)的運輸線路等。新應(yīng)用，分析生物信息網(wǎng)、語義Web分析、社交網(wǎng)路分析等。雖然經(jīng)過了較長時間的發(fā)展及其應(yīng)用，但隨著科學(xué)技術(shù)的飛速發(fā)展，更多、更大的圖規(guī)模相繼涌現(xiàn)，我們就要不斷將理論基礎(chǔ)進行完善，來確保能夠高效有力的對大規(guī)模圖進行處理[1]。

1 云計算簡介

云計算（Cloud Computing）是分布式處理（Distributed Computing）、并行處理（Parallel Computing）和網(wǎng)格計算（Grid Computing）的發(fā)展，或者說是這些計算機科學(xué)概念的商業(yè)實現(xiàn)。云計算是虛擬化（Virtualization）、公用計算（Utility Computing）、IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）、SaaS（軟件即服務(wù)）等概念混合演進并躍升的結(jié)果。云計算的基本原理是，通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計算機和存儲系統(tǒng)[2]。

2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)

圖是一種典型的非線性數(shù)據(jù)結(jié)構(gòu)，具備一定多對多關(guān)系，它也是一種復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)元素間的關(guān)系是任意的。其他數(shù)據(jù)結(jié)構(gòu)（如樹、線性表等）都有明確的條件限制，而圖形結(jié)構(gòu)中任意兩個數(shù)據(jù)元素間均可相關(guān)聯(lián)。常用來研究生產(chǎn)流程、施工計劃、各種網(wǎng)絡(luò)建設(shè)等問題。因為大規(guī)模的圖具備的數(shù)據(jù)量非常繁多，所以，分析及其研究對大規(guī)模的圖的數(shù)據(jù)處理技術(shù)逐漸成為人們廣泛關(guān)注的重點。通過深入的研究以及分析，已經(jīng)具備有一定層次水平的圖形圖像處理技術(shù)，對相關(guān)技術(shù)理論進行日益完善，為處理大規(guī)模的圖形技術(shù)提供基礎(chǔ)及其保障，但是因為信息技術(shù)的飛躍發(fā)展，促使各式各樣的信息發(fā)展較快，導(dǎo)致圖數(shù)據(jù)處理的規(guī)模越來越大，因此，加強對大規(guī)模圖數(shù)據(jù)處理技術(shù)的研究力度，為了能高效處理大規(guī)模的圖數(shù)據(jù)提供良好的平臺[3]。從以下幾個方面進行深入分析：

2.1 云計算環(huán)境下存儲圖數(shù)據(jù)的方式

在充分研究和分析大量資料和文獻之后得到，目前，在應(yīng)用以及管理大規(guī)模圖數(shù)據(jù)處理技術(shù)的時候，其中主要包括超圖數(shù)據(jù)模型、單圖數(shù)據(jù)模型兩種常用數(shù)據(jù)模型，上述兩種數(shù)據(jù)模型都可以在一定程度上對無向圖和有向圖進行相應(yīng)處理，但是兩種方式最根本區(qū)別就是不同的存儲格式。大規(guī)模體數(shù)據(jù)進行存儲的時候，最基本的就是云計算分布式存儲系統(tǒng)，可以把云計算分布系統(tǒng)分為分布式數(shù)據(jù)庫以及分布式文件系統(tǒng)兩種形式。分布式文件系統(tǒng)中最重要就是HDFS和GFS，能夠直接存放臨接矩陣和對接表；分布式數(shù)據(jù)庫，也就是說NoSQL，其中最重要的就是Hbase和Big Tabl。分布式數(shù)據(jù)庫可以分為以下將基本數(shù)據(jù)模型：主要包括KV存儲模型、CFS列族存儲模型、DS文檔存儲模型。DS模型具備方便、靈活的優(yōu)勢，比較適合使用存儲結(jié)構(gòu)化數(shù)據(jù)，此模型不適合對圖數(shù)據(jù)進行存儲。經(jīng)過大量數(shù)據(jù)分析研究表明，KV存儲模型十分適合存儲大規(guī)模圖數(shù)據(jù)，KV存儲模型存在支持哈量存儲、高并發(fā)查詢以及模式結(jié)構(gòu)簡單的特點，在處理Page Rank等圖數(shù)據(jù)的時候，一般情況不會出現(xiàn)復(fù)雜操作，能夠符合數(shù)據(jù)處理的基本需求，如果是利用鄰接表的方式形成圖數(shù)據(jù)，Key就是圖的源頂點，Value就是出邊信息和點的值，可以更加方便的遷移和合并數(shù)據(jù)，增加空間局部性，大幅度降低處理查詢過程中讀取數(shù)據(jù)的次數(shù)，可以在一定程度上提高效率。

2.2 云計算環(huán)境下分割圖數(shù)據(jù)

一般來說，云計算環(huán)境中處理大規(guī)模圖數(shù)據(jù)，處理方式應(yīng)該是分布式并行，因為圖計算存在一定強耦合性、圖數(shù)據(jù)具備連通性，為了能夠更加高效的處理圖數(shù)據(jù)，應(yīng)該適當(dāng)降低子圖數(shù)據(jù)之間耦合度，圖分割是有效實現(xiàn)目標(biāo)的主要方式。基本流程是：首先需要分給具備相對比較完整邏輯結(jié)構(gòu)的大圖，然后在分布存儲系統(tǒng)節(jié)點中分別放置分割部分，進行適當(dāng)處理，并且每個子圖啟動以后都需要能夠具備與之對應(yīng)的計算服務(wù)，在處理完子圖以后，就達到處理大圖的目的。在上述處理過程總，分割大圖以后，能夠得到相對比較好的分割效果，但是在對大圖進行分割的時候，需要重合分析圖規(guī)模均衡性以及內(nèi)部連通性，保證能夠降低子圖連通性，增加內(nèi)部連通性，可以在一定程度上影響分布并行處理大數(shù)據(jù)機制的運行。此外，也應(yīng)該降低子圖規(guī)模均衡性，不能形成比較大的偏斜，避免由于過大時間差距影響系統(tǒng)同步性[4]。

2.3 云計算環(huán)境下的圖數(shù)據(jù)計算模型

現(xiàn)階段，基于云計算基礎(chǔ)上具備兩種應(yīng)用廣泛的模型，包括BSP模型以及Map Reduce模型。

2.3.1 Map Reduce模型

Map Reduce模型主要包括由多個reduce、map共同形成的并行處理方式，可以把執(zhí)行任務(wù)階段分為兩部分：一是，Reduce階段，在此過程中，Reduce任務(wù)會聚集處理接收到的數(shù)據(jù)，從而得到相關(guān)輸出結(jié)果，并且能夠在分布式文件中保存數(shù)據(jù)。二是，Map階段，此過程中，Map任務(wù)會合理計算分配到系統(tǒng)的數(shù)據(jù)，輸出與之對應(yīng)的key值，然后在reduce任務(wù)中映射出相對應(yīng)的數(shù)據(jù)信息。

2.3.2 BSP模型

BSP模型主要就是說在并行執(zhí)行消息通信的時候，具備好、數(shù)據(jù)競爭以及免鎖死的運行特點，在云計算環(huán)境下處理大規(guī)模圖數(shù)據(jù)需要合理使用上述模型，在迭代處理的時候，相比較Map Reduce模型來說，BSP模型具備相對比較高的執(zhí)行效率。

2.4 云計算環(huán)境下處理查詢圖數(shù)據(jù)

基于云計算基礎(chǔ)上，主要存在兩種能夠支持處理查詢大規(guī)模圖數(shù)據(jù)的驅(qū)動模式，也就是被動遍歷模式和主動遍歷模式。上述兩種模式具存在圖頂點是操作對象的共同特點，也就是說操作處理技術(shù)的基本關(guān)鍵就是圖頂點。第一，被動模式。上述處理模式能夠不進行調(diào)用處理函數(shù)，可以適當(dāng)降低處理不必要頂點，大量節(jié)約資源。第二，主動遍歷模式。上述處理模式，具備比較強實用性，但是應(yīng)用在特定情況下，會形成浪費資源的問題。

3 結(jié)束語

總之，依據(jù)云計算為基礎(chǔ)，充分分析和研究大規(guī)模圖數(shù)據(jù)處理技術(shù)，可以發(fā)現(xiàn)，在處理大規(guī)模圖數(shù)據(jù)中應(yīng)用云計算技術(shù)，能夠有效提高處理效率。

【參考文獻】

[1]于戈，谷峪，鮑玉斌，等.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計算機學(xué)報，2011，34（10）：1753-1767.

[2]李健，黃慶佳，劉一陽，等.云計算環(huán)境下基于粒子群優(yōu)化的大規(guī)模圖處理任務(wù)調(diào)度算法[C]//2012年第三屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集，2012：1-8.

[3]趙小換.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)分析[J].中國外資（下半月），2012（5）：275.

[4]李東升.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].信息與電腦，2015（8）：35-35，40.

[責(zé)任編輯：王偉平]