基于云計算技術的大數(shù)據處理系統(tǒng)的研究

李曉飛

（遼寧石化職業(yè)技術學院計算機系，遼寧 錦州121001）

0 引言

在寬帶互聯(lián)網接入技術及智能終端高速普及的今天，網絡數(shù)據容量以及處理數(shù)據量／數(shù)據強度的增加速度大大快于任何一個時期；大數(shù)據時代已經悄然來臨。大數(shù)據時代是伴隨著云技術的發(fā)展而來的，如何在云環(huán)境下進行安全、有效、準確的大數(shù)據處理，成為人們研究的一個熱點領域［1－3］。

當前人們對大數(shù)據處理問題的研究，主要是基于云環(huán)境的大規(guī)模分布式部署、網絡架構深度融合以及動態(tài)實時數(shù)據處理這三大云技術研究方向展開，也取得了一定的成果，對當前云環(huán)境下大數(shù)據處理問題的解決亦有裨益。但是由于云環(huán)境的復雜性以及面臨的問題往往是互相交織的，研究過程中也遇到了巨大的困難，主要集中在如下的3個方面［4－5］：（1）云環(huán)境下的數(shù)據結構十分復雜，處理方式不統(tǒng)一，需要進行并行處理；（2）大數(shù)據的處理問題，要求以動態(tài)的方式處理事實數(shù)據，按照事實需求改善系統(tǒng)的實時性和處理資源的安全性、有效性、準確性；（3）系統(tǒng)面向開發(fā)人員與使用者，為改善系統(tǒng)的靈活性，需要透明地向開發(fā)者以及使用者開放，而現(xiàn)有的系統(tǒng)，僅僅提供有限的接口供開發(fā)者及使用者享用，從而也間接地影響到數(shù)據的處理性能。

對此，本文采用技術融合思想對大數(shù)據處理系統(tǒng)進行研究，提出了一種新的大數(shù)據流處理模型，嘗試將該模型用于大數(shù)據處理平臺的構造中，為解決云環(huán)境下的大數(shù)據處理問題提供了一套新的思考方式及解決方案。

1 基于融合思想的大數(shù)據整合方案

在云計算環(huán)境下，人機交互技術、數(shù)據處理技術、網絡處理技術等，始終處于一種深度融合的狀態(tài)。融合思想的出發(fā)點就是將云環(huán)境下的處于分散狀態(tài)的網絡資源以協(xié)同的方式組織起來，然后進行融合，充分發(fā)揮各種分散狀態(tài)下資源的比較優(yōu)勢。作為一種有機整合各種比較優(yōu)勢的思想，融合式的整合方案具有廣闊的應用前景［6］。

在云計算環(huán)境之下，大數(shù)據處理的研究主要著眼于大數(shù)據處理系統(tǒng)的建設、分散式數(shù)據的協(xié)同方式以及附屬關鍵技術等。從宏觀而言，可以簡單地把上述著眼點劃分為混合處理以及混合管理2個方面［7－8］：

混合管理的研究點主要基于各種有線無線的處理機制、數(shù)據共享機制、處理資源共享機制、分散數(shù)據管理機制、處理同步機制等，而混合處理主要著眼于系統(tǒng)運行模型及相關的支持技術上。

融合思想是解決當前云計算相關問題的一種前沿性思想，在大數(shù)據處理模型上，主要研究大數(shù)據組成因子的協(xié)作、共同完成大數(shù)據處理的一種模式。涉及到成員間如何開展工作，協(xié)作時如何進行交互、操作協(xié)調、協(xié)作推進和結束協(xié)作等，主要有會話模型、會議模型、過程模型、活動模型和層次模型。

會話模型是各因子間溝通和動作協(xié)調的基礎，通過特定的言語行為（如請求、許諾等）的執(zhí)行來完成。會議模型是群體進行協(xié)同工作的另一種基本形式，參與者通過共享的信息空間彼此溝通，共同完成任務。過程模型將復雜的任務分成一個個小的操作步驟，活動模型對過程模型進一步擴充，將任務分成目標明確的子任務，定義子任務之間的關系，并通過任務的協(xié)同處理來完成任務。一般而言，解決大數(shù)據處理問題只能通過組成因子之間的融合式協(xié)調來解決；要采用多種模型的混合，通過融合式的思想加以整合，往往必須用劃片、分級的辦法加以描述。

2 大數(shù)據處理的應用分析

在云環(huán)境中，由于大數(shù)據在云環(huán)境下的組成因子間的架構、大小等可能有著巨大的差異。抽象后的處理架構包含的基本組成因子有：處理成員的權限、公用處理資源、處理事件和處理活動。處理成員的權限描述了某一處理數(shù)據流在系統(tǒng)內部的操作和處理權限，根據處理需要對數(shù)據流進行合流的劃片和分級來賦予相應的權限；公用處理資源描述了云環(huán)境下的各子云所共用的處理信道、信令以及指揮處理機制；處理活動描述了處理過程中的發(fā)送、處理、接收過程中的全部動態(tài)行為的總體性特征；處理事件描述了處理活動中的處理進度、指標的集合，用于協(xié)調各因子間的行為。

對于應用而言，大數(shù)據處理主要著眼于應用系統(tǒng)的建設，當前主要解決思路圍繞著以下的3點展開［9－12］：

（1）融合式架構實際上是一種客戶／服務器架構。服務器集中負責整個應用系統(tǒng)的管理、控制和調度，以及所有與具體應用相關的程序邏輯、數(shù)據等，客戶端指用戶交互的輸入輸出。當用戶要執(zhí)行相關任務時，需要通過客戶點向服務器發(fā)出請求，由服務器完成。融合式的協(xié)同應用架構實現(xiàn)簡單、易維護，但協(xié)同應用對服務器有較強的依賴，很容易成為整個系統(tǒng)的瓶頸。

（2）分散式架構中，協(xié)同控制的節(jié)點均處于同等地位，與系統(tǒng)相關的控制和管理模塊分散在客戶端?？蛻舳溯^好地實現(xiàn)了系統(tǒng)的自治，其魯棒性、靈活性、開放性和通用性都比較好，但數(shù)據的分布存儲和操作的各自處理，使得全局的一致性較難維護，節(jié)點間的實時性同步以及用戶的動態(tài)注冊也較難實現(xiàn)。

（3）混合式結構結合了前兩種結構的優(yōu)點，由服務器實現(xiàn)數(shù)據信息的一致性維護、用戶管理和信息的轉發(fā)與分發(fā)等功能，由客戶端實現(xiàn)與用戶的交互。這種結構充分利用了客戶端的計算機資源，極大地減輕了服務器的工作壓力，減輕了服務器的“瓶頸”效應，既能使系統(tǒng)具有較好的靈活性、魯棒性和較短的響應時間，又保證了系統(tǒng)信息的一致性。

3 基于云計算的大數(shù)據處理系統(tǒng)研究

3.1 系統(tǒng)架構

云環(huán)境下的大數(shù)據處理平臺呈現(xiàn)節(jié)點分散式、數(shù)據處理動態(tài)性、數(shù)據來源混構性三大特點。結合融合式大數(shù)據處理模型可知，在建設云環(huán)境下的大數(shù)據處理平臺中必須結合處理成員的權限、公用處理資源、處理事件和處理活動等基礎性因子進行建設，使用融合思想部署系統(tǒng)架構，從而實現(xiàn)云環(huán)境下的大數(shù)據混合處理和大數(shù)據混合管理。如圖1所示。

圖1 云計算大數(shù)據處理平臺架構

從圖1可知，處理平臺架構采取融合式的調度執(zhí)行層，采用融合式的任務融合調度管理，根據規(guī)則和參數(shù)來調整數(shù)據處理引擎使用的數(shù)據、算法組合以及計算資源，對大數(shù)據資源之間的數(shù)據交互、參數(shù)同步、任務分工進行融合。在數(shù)據融合管理層，對融合環(huán)境中業(yè)務數(shù)據和規(guī)則數(shù)據等進行分布式的存儲，融合整個過程的數(shù)據冗余備份及容錯處理，在數(shù)據處理過程中融合數(shù)據并提供給各數(shù)據處理應用，實現(xiàn)數(shù)據訪問的負載均衡。

3.2 系統(tǒng)處理流程

系統(tǒng)對數(shù)據處理的核心思想是對分散狀態(tài)的數(shù)據進行處理，關鍵實施因素是對數(shù)據資源進行分布式提取以及分布式管理。首先需要給外部應用提供接口，數(shù)據管理部分提供應用數(shù)據接口給數(shù)據資源，然后融合數(shù)據資源；在一定容忍度的前提下，融合各數(shù)據處理機制的比較優(yōu)勢。此外，數(shù)據處理中心的數(shù)據處理部分應采用集中模式，統(tǒng)一分配數(shù)據資源，從而實現(xiàn)數(shù)據處理上的融合。詳細流程圖如2所示。

圖2 系統(tǒng)處理流程圖

3.3 系統(tǒng)部署

作者從某信息產業(yè)園的大數(shù)據處理系統(tǒng)實踐，結合信息企業(yè)集群的需求，對現(xiàn)有的分散數(shù)據資源進行挖掘（主要是ERP、SCM系統(tǒng)），為產業(yè)園下一步的發(fā)展提供戰(zhàn)略咨詢。

本文提出的系統(tǒng)部署采用融合思想，結合云環(huán)境下的數(shù)據融合處理及數(shù)據融合管理，來實現(xiàn)對大數(shù)據資源的處理，系統(tǒng)部署架構如下：

由圖3可知：數(shù)據源是信息企業(yè)的ERP、SCM等應用數(shù)據系統(tǒng)，經過服務器處理之后進入分布式的n個數(shù)據庫，隨后合并進入大數(shù)據管理模塊，最后提供數(shù)據查詢、數(shù)據決策等服務。

4 結語

針對在當前的云環(huán)境下的大數(shù)據處理系統(tǒng)研究中，采用融合式思想對大數(shù)據處理系統(tǒng)部署的研究很少，特別是信息產業(yè)，往往各自的解決方案沒有實現(xiàn)對大數(shù)據處理上的比較優(yōu)勢。本文首先分析了云環(huán)境下大數(shù)據處理問題中的重點和難點；隨后從模型角度對大數(shù)據處理進行了分析，特別是研究了系統(tǒng)架構對大數(shù)據處理上的影響；最后結合作者的實踐，部署了一套較為成熟的大數(shù)據處理解決方案，較好地實現(xiàn)了云環(huán)境下的大數(shù)據處理。

［1］于戈，谷峪，鮑玉斌，等.云計算環(huán)境下的大規(guī)模圖數(shù)據處理技術［J］.計算機學報，2011，34（10）：1754－1765.

［2］程苗.基于云計算的 Web數(shù)據挖掘［J］.計算機科學，2011，38（10）：146－149.

［3］王鵬，孟丹，詹劍鋒，等.數(shù)據密集型計算編程模型研究進展 ［J］.計 算 機 研 究 與 發(fā) 展，2010，47（10）：1993－2002.

［4］Sang Woo Han，Jong Won Kim，Prinz W.A multi－agent－based management system for pervasive collaborative computing environment［C］／／IEEE International Conference on Computing and Communications（PerCom 2009）.USA：Institute of Electrical and Electronics Engineers，2009：1－6.

［5］屈正庚.基于CSCW的協(xié)同設計系統(tǒng)的研究與應用［D］.西安：西北大學，2011.

［6］Han Xu，Cao Yongcun.The application of Computer－Supported Collaborative Technologies in web－based teachers Professional Development System［C］／／The 5th International Conference on Computer Science and Education（ICCSE）.USA：Institute of Electrical and Electronics Engineers，2010，30（9）：842－845.

［7］王鑫印.基于多Agent的數(shù)據挖掘系統(tǒng)任務協(xié)同研究［D］.蘇州：蘇州大學，2004.

［8］程苗.基于云計算的 Web數(shù)據挖掘［J］.計算機科學，2011，38（10）：146－149.

［9］李伯虎，張霖，王時龍，等.云制造——面向服務的網絡化制造新模式［J］.計算機集成制造系統(tǒng)，2010，16（1）：1－7.

［10］Han J，Kamber M.Data Mining Concepts and Techniques［M］.San Francisco：Morgan Kaufmann，2006.

［11］Manku G S，Motwani R.Approximate frequency counts over data streams［C］／／Proceedings of the 28th international conference on very large data bases，Hong Kong：VLDB Endowment，2002：346－357.

［12］Giannella C，Han J，Pei J，etc.Mining frequent patterns in data streams at multiple time granularities［C］／／Data Mining：Next Generation Challenges and Future Directions.Massachusetts：MIT Press，2004：191－211.