基于云計(jì)算技術(shù)的大數(shù)據(jù)處理系統(tǒng)的研究

李曉飛

（遼寧石化職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系，遼寧 錦州121001）

0 引言

在寬帶互聯(lián)網(wǎng)接入技術(shù)及智能終端高速普及的今天，網(wǎng)絡(luò)數(shù)據(jù)容量以及處理數(shù)據(jù)量／數(shù)據(jù)強(qiáng)度的增加速度大大快于任何一個(gè)時(shí)期；大數(shù)據(jù)時(shí)代已經(jīng)悄然來臨。大數(shù)據(jù)時(shí)代是伴隨著云技術(shù)的發(fā)展而來的，如何在云環(huán)境下進(jìn)行安全、有效、準(zhǔn)確的大數(shù)據(jù)處理，成為人們研究的一個(gè)熱點(diǎn)領(lǐng)域［1－3］。

當(dāng)前人們對(duì)大數(shù)據(jù)處理問題的研究，主要是基于云環(huán)境的大規(guī)模分布式部署、網(wǎng)絡(luò)架構(gòu)深度融合以及動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)處理這三大云技術(shù)研究方向展開，也取得了一定的成果，對(duì)當(dāng)前云環(huán)境下大數(shù)據(jù)處理問題的解決亦有裨益。但是由于云環(huán)境的復(fù)雜性以及面臨的問題往往是互相交織的，研究過程中也遇到了巨大的困難，主要集中在如下的3個(gè)方面［4－5］：（1）云環(huán)境下的數(shù)據(jù)結(jié)構(gòu)十分復(fù)雜，處理方式不統(tǒng)一，需要進(jìn)行并行處理；（2）大數(shù)據(jù)的處理問題，要求以動(dòng)態(tài)的方式處理事實(shí)數(shù)據(jù)，按照事實(shí)需求改善系統(tǒng)的實(shí)時(shí)性和處理資源的安全性、有效性、準(zhǔn)確性；（3）系統(tǒng)面向開發(fā)人員與使用者，為改善系統(tǒng)的靈活性，需要透明地向開發(fā)者以及使用者開放，而現(xiàn)有的系統(tǒng)，僅僅提供有限的接口供開發(fā)者及使用者享用，從而也間接地影響到數(shù)據(jù)的處理性能。

對(duì)此，本文采用技術(shù)融合思想對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行研究，提出了一種新的大數(shù)據(jù)流處理模型，嘗試將該模型用于大數(shù)據(jù)處理平臺(tái)的構(gòu)造中，為解決云環(huán)境下的大數(shù)據(jù)處理問題提供了一套新的思考方式及解決方案。

1 基于融合思想的大數(shù)據(jù)整合方案

在云計(jì)算環(huán)境下，人機(jī)交互技術(shù)、數(shù)據(jù)處理技術(shù)、網(wǎng)絡(luò)處理技術(shù)等，始終處于一種深度融合的狀態(tài)。融合思想的出發(fā)點(diǎn)就是將云環(huán)境下的處于分散狀態(tài)的網(wǎng)絡(luò)資源以協(xié)同的方式組織起來，然后進(jìn)行融合，充分發(fā)揮各種分散狀態(tài)下資源的比較優(yōu)勢(shì)。作為一種有機(jī)整合各種比較優(yōu)勢(shì)的思想，融合式的整合方案具有廣闊的應(yīng)用前景［6］。

在云計(jì)算環(huán)境之下，大數(shù)據(jù)處理的研究主要著眼于大數(shù)據(jù)處理系統(tǒng)的建設(shè)、分散式數(shù)據(jù)的協(xié)同方式以及附屬關(guān)鍵技術(shù)等。從宏觀而言，可以簡(jiǎn)單地把上述著眼點(diǎn)劃分為混合處理以及混合管理2個(gè)方面［7－8］：

混合管理的研究點(diǎn)主要基于各種有線無線的處理機(jī)制、數(shù)據(jù)共享機(jī)制、處理資源共享機(jī)制、分散數(shù)據(jù)管理機(jī)制、處理同步機(jī)制等，而混合處理主要著眼于系統(tǒng)運(yùn)行模型及相關(guān)的支持技術(shù)上。

融合思想是解決當(dāng)前云計(jì)算相關(guān)問題的一種前沿性思想，在大數(shù)據(jù)處理模型上，主要研究大數(shù)據(jù)組成因子的協(xié)作、共同完成大數(shù)據(jù)處理的一種模式。涉及到成員間如何開展工作，協(xié)作時(shí)如何進(jìn)行交互、操作協(xié)調(diào)、協(xié)作推進(jìn)和結(jié)束協(xié)作等，主要有會(huì)話模型、會(huì)議模型、過程模型、活動(dòng)模型和層次模型。

會(huì)話模型是各因子間溝通和動(dòng)作協(xié)調(diào)的基礎(chǔ)，通過特定的言語行為（如請(qǐng)求、許諾等）的執(zhí)行來完成。會(huì)議模型是群體進(jìn)行協(xié)同工作的另一種基本形式，參與者通過共享的信息空間彼此溝通，共同完成任務(wù)。過程模型將復(fù)雜的任務(wù)分成一個(gè)個(gè)小的操作步驟，活動(dòng)模型對(duì)過程模型進(jìn)一步擴(kuò)充，將任務(wù)分成目標(biāo)明確的子任務(wù)，定義子任務(wù)之間的關(guān)系，并通過任務(wù)的協(xié)同處理來完成任務(wù)。一般而言，解決大數(shù)據(jù)處理問題只能通過組成因子之間的融合式協(xié)調(diào)來解決；要采用多種模型的混合，通過融合式的思想加以整合，往往必須用劃片、分級(jí)的辦法加以描述。

2 大數(shù)據(jù)處理的應(yīng)用分析

在云環(huán)境中，由于大數(shù)據(jù)在云環(huán)境下的組成因子間的架構(gòu)、大小等可能有著巨大的差異。抽象后的處理架構(gòu)包含的基本組成因子有：處理成員的權(quán)限、公用處理資源、處理事件和處理活動(dòng)。處理成員的權(quán)限描述了某一處理數(shù)據(jù)流在系統(tǒng)內(nèi)部的操作和處理權(quán)限，根據(jù)處理需要對(duì)數(shù)據(jù)流進(jìn)行合流的劃片和分級(jí)來賦予相應(yīng)的權(quán)限；公用處理資源描述了云環(huán)境下的各子云所共用的處理信道、信令以及指揮處理機(jī)制；處理活動(dòng)描述了處理過程中的發(fā)送、處理、接收過程中的全部動(dòng)態(tài)行為的總體性特征；處理事件描述了處理活動(dòng)中的處理進(jìn)度、指標(biāo)的集合，用于協(xié)調(diào)各因子間的行為。

對(duì)于應(yīng)用而言，大數(shù)據(jù)處理主要著眼于應(yīng)用系統(tǒng)的建設(shè)，當(dāng)前主要解決思路圍繞著以下的3點(diǎn)展開［9－12］：

（1）融合式架構(gòu)實(shí)際上是一種客戶／服務(wù)器架構(gòu)。服務(wù)器集中負(fù)責(zé)整個(gè)應(yīng)用系統(tǒng)的管理、控制和調(diào)度，以及所有與具體應(yīng)用相關(guān)的程序邏輯、數(shù)據(jù)等，客戶端指用戶交互的輸入輸出。當(dāng)用戶要執(zhí)行相關(guān)任務(wù)時(shí)，需要通過客戶點(diǎn)向服務(wù)器發(fā)出請(qǐng)求，由服務(wù)器完成。融合式的協(xié)同應(yīng)用架構(gòu)實(shí)現(xiàn)簡(jiǎn)單、易維護(hù)，但協(xié)同應(yīng)用對(duì)服務(wù)器有較強(qiáng)的依賴，很容易成為整個(gè)系統(tǒng)的瓶頸。

（2）分散式架構(gòu)中，協(xié)同控制的節(jié)點(diǎn)均處于同等地位，與系統(tǒng)相關(guān)的控制和管理模塊分散在客戶端?？蛻舳溯^好地實(shí)現(xiàn)了系統(tǒng)的自治，其魯棒性、靈活性、開放性和通用性都比較好，但數(shù)據(jù)的分布存儲(chǔ)和操作的各自處理，使得全局的一致性較難維護(hù)，節(jié)點(diǎn)間的實(shí)時(shí)性同步以及用戶的動(dòng)態(tài)注冊(cè)也較難實(shí)現(xiàn)。

（3）混合式結(jié)構(gòu)結(jié)合了前兩種結(jié)構(gòu)的優(yōu)點(diǎn)，由服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信息的一致性維護(hù)、用戶管理和信息的轉(zhuǎn)發(fā)與分發(fā)等功能，由客戶端實(shí)現(xiàn)與用戶的交互。這種結(jié)構(gòu)充分利用了客戶端的計(jì)算機(jī)資源，極大地減輕了服務(wù)器的工作壓力，減輕了服務(wù)器的“瓶頸”效應(yīng)，既能使系統(tǒng)具有較好的靈活性、魯棒性和較短的響應(yīng)時(shí)間，又保證了系統(tǒng)信息的一致性。

3 基于云計(jì)算的大數(shù)據(jù)處理系統(tǒng)研究

3.1 系統(tǒng)架構(gòu)

云環(huán)境下的大數(shù)據(jù)處理平臺(tái)呈現(xiàn)節(jié)點(diǎn)分散式、數(shù)據(jù)處理動(dòng)態(tài)性、數(shù)據(jù)來源混構(gòu)性三大特點(diǎn)。結(jié)合融合式大數(shù)據(jù)處理模型可知，在建設(shè)云環(huán)境下的大數(shù)據(jù)處理平臺(tái)中必須結(jié)合處理成員的權(quán)限、公用處理資源、處理事件和處理活動(dòng)等基礎(chǔ)性因子進(jìn)行建設(shè)，使用融合思想部署系統(tǒng)架構(gòu)，從而實(shí)現(xiàn)云環(huán)境下的大數(shù)據(jù)混合處理和大數(shù)據(jù)混合管理。如圖1所示。

圖1 云計(jì)算大數(shù)據(jù)處理平臺(tái)架構(gòu)

從圖1可知，處理平臺(tái)架構(gòu)采取融合式的調(diào)度執(zhí)行層，采用融合式的任務(wù)融合調(diào)度管理，根據(jù)規(guī)則和參數(shù)來調(diào)整數(shù)據(jù)處理引擎使用的數(shù)據(jù)、算法組合以及計(jì)算資源，對(duì)大數(shù)據(jù)資源之間的數(shù)據(jù)交互、參數(shù)同步、任務(wù)分工進(jìn)行融合。在數(shù)據(jù)融合管理層，對(duì)融合環(huán)境中業(yè)務(wù)數(shù)據(jù)和規(guī)則數(shù)據(jù)等進(jìn)行分布式的存儲(chǔ)，融合整個(gè)過程的數(shù)據(jù)冗余備份及容錯(cuò)處理，在數(shù)據(jù)處理過程中融合數(shù)據(jù)并提供給各數(shù)據(jù)處理應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)訪問的負(fù)載均衡。

3.2 系統(tǒng)處理流程

系統(tǒng)對(duì)數(shù)據(jù)處理的核心思想是對(duì)分散狀態(tài)的數(shù)據(jù)進(jìn)行處理，關(guān)鍵實(shí)施因素是對(duì)數(shù)據(jù)資源進(jìn)行分布式提取以及分布式管理。首先需要給外部應(yīng)用提供接口，數(shù)據(jù)管理部分提供應(yīng)用數(shù)據(jù)接口給數(shù)據(jù)資源，然后融合數(shù)據(jù)資源；在一定容忍度的前提下，融合各數(shù)據(jù)處理機(jī)制的比較優(yōu)勢(shì)。此外，數(shù)據(jù)處理中心的數(shù)據(jù)處理部分應(yīng)采用集中模式，統(tǒng)一分配數(shù)據(jù)資源，從而實(shí)現(xiàn)數(shù)據(jù)處理上的融合。詳細(xì)流程圖如2所示。

圖2 系統(tǒng)處理流程圖

3.3 系統(tǒng)部署

作者從某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)實(shí)踐，結(jié)合信息企業(yè)集群的需求，對(duì)現(xiàn)有的分散數(shù)據(jù)資源進(jìn)行挖掘（主要是ERP、SCM系統(tǒng)），為產(chǎn)業(yè)園下一步的發(fā)展提供戰(zhàn)略咨詢。

本文提出的系統(tǒng)部署采用融合思想，結(jié)合云環(huán)境下的數(shù)據(jù)融合處理及數(shù)據(jù)融合管理，來實(shí)現(xiàn)對(duì)大數(shù)據(jù)資源的處理，系統(tǒng)部署架構(gòu)如下：

由圖3可知：數(shù)據(jù)源是信息企業(yè)的ERP、SCM等應(yīng)用數(shù)據(jù)系統(tǒng)，經(jīng)過服務(wù)器處理之后進(jìn)入分布式的n個(gè)數(shù)據(jù)庫，隨后合并進(jìn)入大數(shù)據(jù)管理模塊，最后提供數(shù)據(jù)查詢、數(shù)據(jù)決策等服務(wù)。

4 結(jié)語

針對(duì)在當(dāng)前的云環(huán)境下的大數(shù)據(jù)處理系統(tǒng)研究中，采用融合式思想對(duì)大數(shù)據(jù)處理系統(tǒng)部署的研究很少，特別是信息產(chǎn)業(yè)，往往各自的解決方案沒有實(shí)現(xiàn)對(duì)大數(shù)據(jù)處理上的比較優(yōu)勢(shì)。本文首先分析了云環(huán)境下大數(shù)據(jù)處理問題中的重點(diǎn)和難點(diǎn)；隨后從模型角度對(duì)大數(shù)據(jù)處理進(jìn)行了分析，特別是研究了系統(tǒng)架構(gòu)對(duì)大數(shù)據(jù)處理上的影響；最后結(jié)合作者的實(shí)踐，部署了一套較為成熟的大數(shù)據(jù)處理解決方案，較好地實(shí)現(xiàn)了云環(huán)境下的大數(shù)據(jù)處理。

［1］于戈，谷峪，鮑玉斌，等.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)［J］.計(jì)算機(jī)學(xué)報(bào)，2011，34（10）：1754－1765.

［2］程苗.基于云計(jì)算的 Web數(shù)據(jù)挖掘［J］.計(jì)算機(jī)科學(xué)，2011，38（10）：146－149.

［3］王鵬，孟丹，詹劍鋒，等.數(shù)據(jù)密集型計(jì)算編程模型研究進(jìn)展 ［J］.計(jì) 算 機(jī) 研 究 與 發(fā) 展，2010，47（10）：1993－2002.

［4］Sang Woo Han，Jong Won Kim，Prinz W.A multi－agent－based management system for pervasive collaborative computing environment［C］／／IEEE International Conference on Computing and Communications（PerCom 2009）.USA：Institute of Electrical and Electronics Engineers，2009：1－6.

［5］屈正庚.基于CSCW的協(xié)同設(shè)計(jì)系統(tǒng)的研究與應(yīng)用［D］.西安：西北大學(xué)，2011.

［6］Han Xu，Cao Yongcun.The application of Computer－Supported Collaborative Technologies in web－based teachers Professional Development System［C］／／The 5th International Conference on Computer Science and Education（ICCSE）.USA：Institute of Electrical and Electronics Engineers，2010，30（9）：842－845.

［7］王鑫印.基于多Agent的數(shù)據(jù)挖掘系統(tǒng)任務(wù)協(xié)同研究［D］.蘇州：蘇州大學(xué)，2004.

［8］程苗.基于云計(jì)算的 Web數(shù)據(jù)挖掘［J］.計(jì)算機(jī)科學(xué)，2011，38（10）：146－149.

［9］李伯虎，張霖，王時(shí)龍，等.云制造——面向服務(wù)的網(wǎng)絡(luò)化制造新模式［J］.計(jì)算機(jī)集成制造系統(tǒng)，2010，16（1）：1－7.

［10］Han J，Kamber M.Data Mining Concepts and Techniques［M］.San Francisco：Morgan Kaufmann，2006.

［11］Manku G S，Motwani R.Approximate frequency counts over data streams［C］／／Proceedings of the 28th international conference on very large data bases，Hong Kong：VLDB Endowment，2002：346－357.

［12］Giannella C，Han J，Pei J，etc.Mining frequent patterns in data streams at multiple time granularities［C］／／Data Mining：Next Generation Challenges and Future Directions.Massachusetts：MIT Press，2004：191－211.