試論云計(jì)算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)

任梁

摘 要

隨著云計(jì)算技術(shù)的不斷完善，為了促進(jìn)大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計(jì)算技術(shù)在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應(yīng)用。本文重點(diǎn)研究了在多元因素的影響下的數(shù)據(jù)模型對(duì)大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構(gòu)以及分散處理的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關(guān)鍵詞】云計(jì)算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以及智能設(shè)備的普及，當(dāng)前的數(shù)據(jù)增長(zhǎng)速度已經(jīng)呈現(xiàn)爆炸式增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來臨。目前專家對(duì)大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡(luò)架構(gòu)的融合和動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)處理這三個(gè)方面。同時(shí)也取得了一定的研究成果，對(duì)于當(dāng)前的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實(shí)踐基礎(chǔ)。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計(jì)算技術(shù)模式下，人機(jī)交互和數(shù)據(jù)處理以及網(wǎng)絡(luò)邏輯處理技術(shù)等都相對(duì)交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計(jì)算技術(shù)模式下的各種分散的網(wǎng)絡(luò)資源進(jìn)行協(xié)同組織，然后再進(jìn)行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢(shì)，形成一種整體性的比較優(yōu)勢(shì)，因此這種融合式的大數(shù)據(jù)處理方案的應(yīng)用前景十分廣闊。

在云計(jì)算技術(shù)模式下，大數(shù)據(jù)處理研究更多的著力點(diǎn)放在了大數(shù)據(jù)處理系統(tǒng)的構(gòu)建、分散資源的協(xié)同以及相關(guān)的輔助技術(shù)等。從宏觀角度來看，可以氛圍內(nèi)混合處理和混合管理兩個(gè)方面。其中混合管理的核心就是研究各種無線以及有線的處理機(jī)制和數(shù)據(jù)共享、資源共享機(jī)制的管理，同時(shí)還包括了分散數(shù)據(jù)管理機(jī)制和協(xié)同機(jī)制管理等。而混合處理的研究核心則是著力于系統(tǒng)運(yùn)行模型和相關(guān)輔助技術(shù)上。

3 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用

大數(shù)據(jù)處理系統(tǒng)的應(yīng)用主要包括三個(gè)方面：

（1）基于融合式架構(gòu)的應(yīng)用。這實(shí)際上就是一種客戶機(jī)/服務(wù)器架構(gòu)模式，其中服務(wù)器主要負(fù)責(zé)應(yīng)用系統(tǒng)的管理和控制以及相關(guān)應(yīng)用的邏輯處理和數(shù)據(jù)調(diào)度等。而客戶端則是專門進(jìn)行人機(jī)交互，當(dāng)用戶想要執(zhí)行數(shù)據(jù)處理分析人物時(shí)，通過客戶機(jī)向服務(wù)器發(fā)送請(qǐng)求，然后有服務(wù)器完成并返回給客戶端。這個(gè)融合式架構(gòu)相對(duì)簡(jiǎn)單，且容易維護(hù)，但是服務(wù)器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應(yīng)用的瓶頸。

（2）分散式架構(gòu)。這種架構(gòu)的特點(diǎn)就是協(xié)同控制的節(jié)點(diǎn)都是平等地位，并且和處理系統(tǒng)有關(guān)的控制和管理模塊都是分散在各個(gè)客戶端上?？蛻舳藫碛幸欢ǖ淖灾螌傩?，因此具有通用性和靈活性和可擴(kuò)展性等諸多優(yōu)勢(shì)。但是由于數(shù)據(jù)采用分布存儲(chǔ)和分布操作，這樣在維護(hù)方面就變得較為困難，而且節(jié)點(diǎn)之間的實(shí)時(shí)同步和用戶動(dòng)態(tài)注冊(cè)的應(yīng)用也難以實(shí)現(xiàn)。

（3）混合式結(jié)構(gòu)。這種結(jié)構(gòu)擁有前兩兩種結(jié)構(gòu)有點(diǎn)，通過服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護(hù)，而客戶端一方面實(shí)現(xiàn)信息傳輸功能，同時(shí)也能夠和用戶在某些應(yīng)用方面進(jìn)行充分的交互，因此能夠有效減輕服務(wù)器端的壓力，這樣也能夠消除服務(wù)器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計(jì)算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構(gòu)

云計(jì)算技術(shù)環(huán)境下的大數(shù)據(jù)處理平臺(tái)的節(jié)點(diǎn)主要體現(xiàn)下面幾個(gè)特點(diǎn)：其一是節(jié)點(diǎn)分散性；其二是數(shù)據(jù)處理動(dòng)態(tài)性；其三是數(shù)據(jù)來源混構(gòu)性。

這個(gè)處理平臺(tái)架構(gòu)采用了融合式的調(diào)度執(zhí)行層和任務(wù)融合調(diào)度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調(diào)整處理引擎的數(shù)據(jù)和算法組合以及計(jì)算資源。對(duì)大數(shù)據(jù)資源的數(shù)據(jù)交互和任務(wù)分工工作進(jìn)行了有效融合。同時(shí)在管理層，也對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，提升了容錯(cuò)處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對(duì)分散狀態(tài)數(shù)據(jù)進(jìn)行處理，其關(guān)鍵就是對(duì)分散的數(shù)據(jù)進(jìn)行提取，因此首先給其他應(yīng)用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎(chǔ)下，對(duì)不同的數(shù)據(jù)處理機(jī)制進(jìn)行比較，進(jìn)而優(yōu)勢(shì)融合。最后數(shù)據(jù)處理中心則是對(duì)數(shù)據(jù)進(jìn)行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對(duì)現(xiàn)有分散數(shù)據(jù)資源進(jìn)行挖掘，比如企業(yè)內(nèi)部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對(duì)這些數(shù)據(jù)進(jìn)行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個(gè)部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務(wù)器處理之后，分布到n個(gè)數(shù)據(jù)庫，然后進(jìn)行合并進(jìn)入到大數(shù)據(jù)管理模塊，最終能夠?qū)崿F(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務(wù)。

4 結(jié)語

總而言之，目前采用融合式思想，在云計(jì)算技術(shù)條件下，對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行部署的研究相對(duì)較少，特別是當(dāng)前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠?qū)崿F(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢(shì)，所以本文提出的融合式的大數(shù)據(jù)處理技術(shù)，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應(yīng)用范圍。

參考文獻(xiàn)

[1]于戈，谷峪，鮑玉斌，王志剛.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2011（10）.

[2]程苗基于云計(jì)算的Web數(shù)據(jù)挖掘[J].計(jì)算機(jī)科學(xué)，2011（S1）.

作者單位

中國科學(xué)院信息技術(shù)應(yīng)用研究院 浙江省寧波市 315040

摘 要

隨著云計(jì)算技術(shù)的不斷完善，為了促進(jìn)大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計(jì)算技術(shù)在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應(yīng)用。本文重點(diǎn)研究了在多元因素的影響下的數(shù)據(jù)模型對(duì)大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構(gòu)以及分散處理的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關(guān)鍵詞】云計(jì)算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以及智能設(shè)備的普及，當(dāng)前的數(shù)據(jù)增長(zhǎng)速度已經(jīng)呈現(xiàn)爆炸式增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來臨。目前專家對(duì)大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡(luò)架構(gòu)的融合和動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)處理這三個(gè)方面。同時(shí)也取得了一定的研究成果，對(duì)于當(dāng)前的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實(shí)踐基礎(chǔ)。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計(jì)算技術(shù)模式下，人機(jī)交互和數(shù)據(jù)處理以及網(wǎng)絡(luò)邏輯處理技術(shù)等都相對(duì)交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計(jì)算技術(shù)模式下的各種分散的網(wǎng)絡(luò)資源進(jìn)行協(xié)同組織，然后再進(jìn)行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢(shì)，形成一種整體性的比較優(yōu)勢(shì)，因此這種融合式的大數(shù)據(jù)處理方案的應(yīng)用前景十分廣闊。

在云計(jì)算技術(shù)模式下，大數(shù)據(jù)處理研究更多的著力點(diǎn)放在了大數(shù)據(jù)處理系統(tǒng)的構(gòu)建、分散資源的協(xié)同以及相關(guān)的輔助技術(shù)等。從宏觀角度來看，可以氛圍內(nèi)混合處理和混合管理兩個(gè)方面。其中混合管理的核心就是研究各種無線以及有線的處理機(jī)制和數(shù)據(jù)共享、資源共享機(jī)制的管理，同時(shí)還包括了分散數(shù)據(jù)管理機(jī)制和協(xié)同機(jī)制管理等。而混合處理的研究核心則是著力于系統(tǒng)運(yùn)行模型和相關(guān)輔助技術(shù)上。

3 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用

大數(shù)據(jù)處理系統(tǒng)的應(yīng)用主要包括三個(gè)方面：

（1）基于融合式架構(gòu)的應(yīng)用。這實(shí)際上就是一種客戶機(jī)/服務(wù)器架構(gòu)模式，其中服務(wù)器主要負(fù)責(zé)應(yīng)用系統(tǒng)的管理和控制以及相關(guān)應(yīng)用的邏輯處理和數(shù)據(jù)調(diào)度等。而客戶端則是專門進(jìn)行人機(jī)交互，當(dāng)用戶想要執(zhí)行數(shù)據(jù)處理分析人物時(shí)，通過客戶機(jī)向服務(wù)器發(fā)送請(qǐng)求，然后有服務(wù)器完成并返回給客戶端。這個(gè)融合式架構(gòu)相對(duì)簡(jiǎn)單，且容易維護(hù)，但是服務(wù)器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應(yīng)用的瓶頸。

（2）分散式架構(gòu)。這種架構(gòu)的特點(diǎn)就是協(xié)同控制的節(jié)點(diǎn)都是平等地位，并且和處理系統(tǒng)有關(guān)的控制和管理模塊都是分散在各個(gè)客戶端上?？蛻舳藫碛幸欢ǖ淖灾螌傩?，因此具有通用性和靈活性和可擴(kuò)展性等諸多優(yōu)勢(shì)。但是由于數(shù)據(jù)采用分布存儲(chǔ)和分布操作，這樣在維護(hù)方面就變得較為困難，而且節(jié)點(diǎn)之間的實(shí)時(shí)同步和用戶動(dòng)態(tài)注冊(cè)的應(yīng)用也難以實(shí)現(xiàn)。

（3）混合式結(jié)構(gòu)。這種結(jié)構(gòu)擁有前兩兩種結(jié)構(gòu)有點(diǎn)，通過服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護(hù)，而客戶端一方面實(shí)現(xiàn)信息傳輸功能，同時(shí)也能夠和用戶在某些應(yīng)用方面進(jìn)行充分的交互，因此能夠有效減輕服務(wù)器端的壓力，這樣也能夠消除服務(wù)器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計(jì)算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構(gòu)

云計(jì)算技術(shù)環(huán)境下的大數(shù)據(jù)處理平臺(tái)的節(jié)點(diǎn)主要體現(xiàn)下面幾個(gè)特點(diǎn)：其一是節(jié)點(diǎn)分散性；其二是數(shù)據(jù)處理動(dòng)態(tài)性；其三是數(shù)據(jù)來源混構(gòu)性。

這個(gè)處理平臺(tái)架構(gòu)采用了融合式的調(diào)度執(zhí)行層和任務(wù)融合調(diào)度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調(diào)整處理引擎的數(shù)據(jù)和算法組合以及計(jì)算資源。對(duì)大數(shù)據(jù)資源的數(shù)據(jù)交互和任務(wù)分工工作進(jìn)行了有效融合。同時(shí)在管理層，也對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，提升了容錯(cuò)處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對(duì)分散狀態(tài)數(shù)據(jù)進(jìn)行處理，其關(guān)鍵就是對(duì)分散的數(shù)據(jù)進(jìn)行提取，因此首先給其他應(yīng)用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎(chǔ)下，對(duì)不同的數(shù)據(jù)處理機(jī)制進(jìn)行比較，進(jìn)而優(yōu)勢(shì)融合。最后數(shù)據(jù)處理中心則是對(duì)數(shù)據(jù)進(jìn)行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對(duì)現(xiàn)有分散數(shù)據(jù)資源進(jìn)行挖掘，比如企業(yè)內(nèi)部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對(duì)這些數(shù)據(jù)進(jìn)行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個(gè)部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務(wù)器處理之后，分布到n個(gè)數(shù)據(jù)庫，然后進(jìn)行合并進(jìn)入到大數(shù)據(jù)管理模塊，最終能夠?qū)崿F(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務(wù)。

4 結(jié)語

總而言之，目前采用融合式思想，在云計(jì)算技術(shù)條件下，對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行部署的研究相對(duì)較少，特別是當(dāng)前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠?qū)崿F(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢(shì)，所以本文提出的融合式的大數(shù)據(jù)處理技術(shù)，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應(yīng)用范圍。

參考文獻(xiàn)

[1]于戈，谷峪，鮑玉斌，王志剛.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2011（10）.

[2]程苗基于云計(jì)算的Web數(shù)據(jù)挖掘[J].計(jì)算機(jī)科學(xué)，2011（S1）.

作者單位

中國科學(xué)院信息技術(shù)應(yīng)用研究院 浙江省寧波市 315040

摘 要

隨著云計(jì)算技術(shù)的不斷完善，為了促進(jìn)大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計(jì)算技術(shù)在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應(yīng)用。本文重點(diǎn)研究了在多元因素的影響下的數(shù)據(jù)模型對(duì)大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構(gòu)以及分散處理的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關(guān)鍵詞】云計(jì)算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以及智能設(shè)備的普及，當(dāng)前的數(shù)據(jù)增長(zhǎng)速度已經(jīng)呈現(xiàn)爆炸式增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來臨。目前專家對(duì)大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡(luò)架構(gòu)的融合和動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)處理這三個(gè)方面。同時(shí)也取得了一定的研究成果，對(duì)于當(dāng)前的云計(jì)算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實(shí)踐基礎(chǔ)。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計(jì)算技術(shù)模式下，人機(jī)交互和數(shù)據(jù)處理以及網(wǎng)絡(luò)邏輯處理技術(shù)等都相對(duì)交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計(jì)算技術(shù)模式下的各種分散的網(wǎng)絡(luò)資源進(jìn)行協(xié)同組織，然后再進(jìn)行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢(shì)，形成一種整體性的比較優(yōu)勢(shì)，因此這種融合式的大數(shù)據(jù)處理方案的應(yīng)用前景十分廣闊。

在云計(jì)算技術(shù)模式下，大數(shù)據(jù)處理研究更多的著力點(diǎn)放在了大數(shù)據(jù)處理系統(tǒng)的構(gòu)建、分散資源的協(xié)同以及相關(guān)的輔助技術(shù)等。從宏觀角度來看，可以氛圍內(nèi)混合處理和混合管理兩個(gè)方面。其中混合管理的核心就是研究各種無線以及有線的處理機(jī)制和數(shù)據(jù)共享、資源共享機(jī)制的管理，同時(shí)還包括了分散數(shù)據(jù)管理機(jī)制和協(xié)同機(jī)制管理等。而混合處理的研究核心則是著力于系統(tǒng)運(yùn)行模型和相關(guān)輔助技術(shù)上。

3 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應(yīng)用

大數(shù)據(jù)處理系統(tǒng)的應(yīng)用主要包括三個(gè)方面：

（1）基于融合式架構(gòu)的應(yīng)用。這實(shí)際上就是一種客戶機(jī)/服務(wù)器架構(gòu)模式，其中服務(wù)器主要負(fù)責(zé)應(yīng)用系統(tǒng)的管理和控制以及相關(guān)應(yīng)用的邏輯處理和數(shù)據(jù)調(diào)度等。而客戶端則是專門進(jìn)行人機(jī)交互，當(dāng)用戶想要執(zhí)行數(shù)據(jù)處理分析人物時(shí)，通過客戶機(jī)向服務(wù)器發(fā)送請(qǐng)求，然后有服務(wù)器完成并返回給客戶端。這個(gè)融合式架構(gòu)相對(duì)簡(jiǎn)單，且容易維護(hù)，但是服務(wù)器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應(yīng)用的瓶頸。

（2）分散式架構(gòu)。這種架構(gòu)的特點(diǎn)就是協(xié)同控制的節(jié)點(diǎn)都是平等地位，并且和處理系統(tǒng)有關(guān)的控制和管理模塊都是分散在各個(gè)客戶端上?？蛻舳藫碛幸欢ǖ淖灾螌傩裕虼司哂型ㄓ眯院挽`活性和可擴(kuò)展性等諸多優(yōu)勢(shì)。但是由于數(shù)據(jù)采用分布存儲(chǔ)和分布操作，這樣在維護(hù)方面就變得較為困難，而且節(jié)點(diǎn)之間的實(shí)時(shí)同步和用戶動(dòng)態(tài)注冊(cè)的應(yīng)用也難以實(shí)現(xiàn)。

（3）混合式結(jié)構(gòu)。這種結(jié)構(gòu)擁有前兩兩種結(jié)構(gòu)有點(diǎn)，通過服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護(hù)，而客戶端一方面實(shí)現(xiàn)信息傳輸功能，同時(shí)也能夠和用戶在某些應(yīng)用方面進(jìn)行充分的交互，因此能夠有效減輕服務(wù)器端的壓力，這樣也能夠消除服務(wù)器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計(jì)算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構(gòu)

云計(jì)算技術(shù)環(huán)境下的大數(shù)據(jù)處理平臺(tái)的節(jié)點(diǎn)主要體現(xiàn)下面幾個(gè)特點(diǎn)：其一是節(jié)點(diǎn)分散性；其二是數(shù)據(jù)處理動(dòng)態(tài)性；其三是數(shù)據(jù)來源混構(gòu)性。

這個(gè)處理平臺(tái)架構(gòu)采用了融合式的調(diào)度執(zhí)行層和任務(wù)融合調(diào)度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調(diào)整處理引擎的數(shù)據(jù)和算法組合以及計(jì)算資源。對(duì)大數(shù)據(jù)資源的數(shù)據(jù)交互和任務(wù)分工工作進(jìn)行了有效融合。同時(shí)在管理層，也對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，提升了容錯(cuò)處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對(duì)分散狀態(tài)數(shù)據(jù)進(jìn)行處理，其關(guān)鍵就是對(duì)分散的數(shù)據(jù)進(jìn)行提取，因此首先給其他應(yīng)用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎(chǔ)下，對(duì)不同的數(shù)據(jù)處理機(jī)制進(jìn)行比較，進(jìn)而優(yōu)勢(shì)融合。最后數(shù)據(jù)處理中心則是對(duì)數(shù)據(jù)進(jìn)行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對(duì)現(xiàn)有分散數(shù)據(jù)資源進(jìn)行挖掘，比如企業(yè)內(nèi)部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對(duì)這些數(shù)據(jù)進(jìn)行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個(gè)部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務(wù)器處理之后，分布到n個(gè)數(shù)據(jù)庫，然后進(jìn)行合并進(jìn)入到大數(shù)據(jù)管理模塊，最終能夠?qū)崿F(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務(wù)。

4 結(jié)語

總而言之，目前采用融合式思想，在云計(jì)算技術(shù)條件下，對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行部署的研究相對(duì)較少，特別是當(dāng)前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠?qū)崿F(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢(shì)，所以本文提出的融合式的大數(shù)據(jù)處理技術(shù)，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應(yīng)用范圍。

參考文獻(xiàn)

[1]于戈，谷峪，鮑玉斌，王志剛.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2011（10）.

[2]程苗基于云計(jì)算的Web數(shù)據(jù)挖掘[J].計(jì)算機(jī)科學(xué)，2011（S1）.

作者單位

中國科學(xué)院信息技術(shù)應(yīng)用研究院 浙江省寧波市 315040