基于云計算的體系架構與關鍵技術

文/張曉海 王蔚（廈門大學嘉庚學院）

一、云計算的內涵

現今,對于云計算還沒有普遍一致認同的定義,業(yè)界對于云計算的認識一直都在不斷變化及發(fā)展著。從普通應用的觀點來認定,云計算是針對互聯網的超級計算模式,在計算機應用過程中,云計算是經過商業(yè)運籌來實現計算機技術處理,從而達到并行運算操作、分布式操作及實現網格計算,在互聯網基礎上進行的更超級的計算處理模式。云計算實現了把所有存儲在終端設備上的超大量信息與資源整合起來,以協作的形式,給外端用戶人群提供可擴展的極大規(guī)模信息技術處理運算的能力。云計算的本質是構成了可以實現智能控制的數據中心。

在網絡服務領域里,可以實現最直接簡單的云計算技術,比較常用的搜索引擎、網盤服務、網絡信箱,用戶們可以通過設定的門戶指令與密碼直接進入云端提取相關信息。在未來,常見的便攜移動設備都可以利用云計算技術開發(fā)出更多更便捷的應用服務,我們可以不只局限于應用移動設備,就可以通過網址相關界面URL,直接編輯文檔,并實現分享給需要傳遞的對方,對方也可以直接通過瀏覽器打開直接訪問URL,不依賴傳統(tǒng)意義上的硬盤,增加了安全可靠性。

二、云計算體系架構

云計算通過把一系列服務集合起來,按照客戶需要提供相應的資源。按照現今對于云計算的應用與研究,可以把云計算的體系架構分為三層模式。

（一）核心服務層

該層分為三個子層，分別在硬件、實體、運算及資源方面提供服務。用戶通過服務程序過程中，按照自己的需要提供相關配置信息。在這個層面將硬件與軟件及應用程序按應用需求的多樣化實現可變規(guī)模化,達到可靠性及實用性強的效果。

（二）服務管理層

這一層提供給核心服務層足夠的技術支持,保障核心服務能夠安全、可靠的應用。在服務管理過程中，會因為云計算的平臺本身運作的復雜結構及其具有的超大平臺規(guī)模等困難，難以在各個層面上都能滿足客戶的所有精確需要，因此要在服務管理過程中，應對用戶的不同需要，根據供應商能提供的服務，制訂出具體的服務質量需求協議，當與協議出現分歧時，或達不到協議要求的質量狀態(tài)下，用戶將按協議得到相應的補償。

（三）用戶訪問接口層

第三層為用戶訪問接口層,這一層面可以實現用戶端到云計算的訪問。web門戶和命令行是可以在絡端設備實現訪問數據及程序,同時可以實現服務不同形式的組合。

三、資源管理

在本地資源管理過程中，一般通過計算機處理實現三個層面。

（一）計算模型

在對資源的調度處理策略過程中，針對網格實行的都是批處理作業(yè)來實現，針對用戶的要求進行識別，按照用戶需要的資源運行，在數據數量、處理器的類別數目、安全性及運行時間進行認證。

（二）數據模型

在云計算平臺的運行過程中，數據處理與傳輸都是通過互聯網平臺進行，用戶在共享及使用過程中，必然會面臨公共渠道下的安全性缺失及風險性高的弊端。在進行數據模型開發(fā)過程中，要時刻考慮云計算平臺、資源數據及用戶計算，在這三個方面間進行三角模型的開發(fā)。

四、云計算的關鍵技術

提供個性化服務是云計算的目標,注重低成本的開發(fā)及應用,實現可靠、規(guī)模應對、可訂制服務。為了實現這個個性化的目標,需要若干關鍵技術加以支持。

（一）數據中心的相關技術

云計算數據中心的相關研究工作主要在以下兩個方面展開,一個是為了提高產業(yè)效能比,減少環(huán)境污染,迫切需要有效的綠色節(jié)能產品及技術;還有一個就是要通過大規(guī)模計算節(jié)點來實現低成本、高可靠、高寬帶的方式,就需要研究新型數據中心網絡拓撲。

（二）虛擬化技術

虛擬化技術現今有兩種典型的代表技術，一個就是虛擬機在線遷移技術，實現有效的訂制資源及資源共享，另一個就是虛擬機部署技術，在云計算的服務過程中，能實現有效的彈性服務，按照數據中心的實際需要與工作要求，進行合理化應用，按需服務。

（三）典型的laaS層平臺

有三種典型的層平臺,分別是東南大學云計算平臺、亞馬遜彈性計算云EC2以及加州大學圣巴巴拉分校開發(fā)的開源平臺。不同的平臺都有自己的特色,可以承擔數據分析處理、用戶定義彈性規(guī)則等科學計算任務。

（四）海量數據存儲與處理技術

在云計算海量數據存儲過程中,要考慮兩方面的指標,一個就是存儲系統(tǒng)的輸入/輸出性能,另一個就是實現還原儲備資源，達到資源文件的可靠度，并實現資源應用的實用性。針對這個指標要求,數據處理專家學者不斷地研究數據存儲技術創(chuàng)新及突破，針對系統(tǒng)的問題，設計簡化數據模型，在一致性模型及多樣化模型方面下功夫，滿足指標要求，提高數據存儲與處理技術的性能。同時加強研發(fā)分析數據的功能開發(fā)，實現云計算的有效編程處理，開發(fā)編程模型技術。

五、基于云計算數據挖掘的關鍵技術

（一）數據匯集調度技術

數據源對接平臺為云計算服務提供必要的技術支持，在數據的調度過程中，要匯集源數據，按照不同類型，不同格式，進行甄別及校驗，解決數據違約的主要技術是數據匯集的關鍵，要符合網絡上不同的系統(tǒng)平臺，多種系統(tǒng)下生成的不同格式，實現數據匯集調度技術。對于聯機數據的處理也要分門別類，處理和分析聯機數據才能實現數據匯集調度技術。

（二）服務調度管理技術

平臺建設是為公共端業(yè)務系統(tǒng)提供服務，在利用資源進行服務的過程中，要把服務的資源及服務的質量與服務用戶的需求根據不同層次分理出優(yōu)先次序，在服務過程中，防止平行用戶互相擠壓與平行排斥，保證服務管控有效進行，云計算服務管控按照在冊方案進行統(tǒng)一管控，在本地管控服務的支持前提下，接納其他三方的提供數據挖掘的流入，更好地提高及有效擴展整個數據平臺的服務調度管理能力。

（三）并行化算法技術

在數據挖掘技術中，如何在非常大量的數據源中，最快地找尋、分類、整理并歸納完整的數據結果，完全依賴于云計算的算法技術研究，在多種算法中快速尋找最佳技術關鍵解決用戶實際問題，就變得尤為重要，而并行策略及其算法是平臺有效提供云計算服務的關鍵技術。

現今的分布式計算框架，在整個云計算技術環(huán)節(jié)及架構上做了統(tǒng)籌的處理與計算，并對平行分布式計算算法的技術細節(jié)進行梳理與封裝，用戶可以在使用時不用再注意分布式算法的細節(jié)問題，而是直接切入正題，只需要考慮用戶需求的問題并尋求解決問題的思路方法，提高了解決問題的能力及速度，極大地減少了平臺系統(tǒng)的消耗及成本。

六、基于云計算的數據挖掘技術面臨問題和挑戰(zhàn)

云計算在長期發(fā)展情況下，出現了很多應用成果，為各行各業(yè)及專業(yè)領域解決關鍵問題。但不得不提的是，針對現行的云計算的發(fā)展而言，云計算的研究還是處于入門的階段。在數據處理過程中使用云計算技術還有著現實的挑戰(zhàn)及難點需要突破及研究。

（一）并行性挖掘算法研究

在云計算過程中，要對眾多算法進行甄別及選擇，云計算的方式并不是所有的算法都合適其中的每項任務的要求，要采取最合適的算法策略，云計算并行效率才能真正提高。

（二）數據挖掘結果的不確定性

在數據采集過程中，面對多樣繁雜的數據，要采用預處理的方式來判別，這其中就加入了許多的不確定性。數據挖掘過程中，采用何種方法進行運算及處理，最后獲得的結果是否符合目標的要求，都有著不確定性。用戶需求的挖掘目標都有自身的特點及相關性，當云計算的數據挖掘結果出來后，結果的評價指標的判定因素也就成了最不確定的影響。

（三）可信性問題

在云計算的過程中，必然接觸到互聯網的大環(huán)境，數據挖掘在這種云環(huán)境下，軟件的信任性就成為很重要的問題。真正檢驗效果，云計算的數據挖掘服務要滿足以下幾個要求，是否符合用戶的要求、是否滿足云計算門戶的安全性問題、是否達到了客戶的質量要求、是否實現了服務效果的準確性。

七、面對云計算數據挖掘的問題與挑戰(zhàn)的對策

（一）注重云計算基礎平臺建設

按照不同領域及服務種類、行業(yè)來規(guī)劃平臺的分類建設，鼓勵百家齊放，百家爭鳴，在發(fā)揚多樣化的同時，注重個性化及特殊需求的培養(yǎng)與建設。

（二）數據挖掘技術支持重要性

數據挖掘云計算服務注重的是資源的積累、收集及計算，在云計算處理的過程中，按照虛擬化的數據處理技術，來調度及處理數據資源，并進行分配，強力支撐著數據的挖掘云計算。

（三）算法信任性問題

在云計算挖掘的建設過程中，有多種技術及算法支持用戶需要，選擇哪種方法及技術手段就顯得尤為重要，確認最合適的技術手段，并成為平臺通用手段，可以調查相關證據，隨時整理、分析與調試，并經過有效檢驗。這點也是在云計算數據挖掘技術中最致命的關鍵點。

（四）算法安全

在云計算平臺提供的數據中，采集、整理并歸納，通過算法及相關云計算服務實現用戶要求，必然會在平臺中，涉及到大量的用戶隱私及不可宣的秘密，因此，在運用云計算技術來進行數據挖掘時，要提前進行加密技術及算法的處理，采用可靠的安全手段來實現用戶安全性保護，實現安全的算法研究，也是面對問題與挑戰(zhàn)最關鍵的技術要求。

八、結語

大數據的處理技術實際上針對數據源的整理及分析歸納，并要求效率提高，在數據時效性數理方面有著很高的追求。而云計算就不只局限于這個概念上，而是在硬件配套構建中，運用程序算法及關鍵技術，尤其是資源虛擬化技術的應用，云計算作為支持上層的處理大數據的最下層，在交互的狀態(tài)下查詢及實時處理和分析數據。云計算的數據存儲技術研究發(fā)展過程中，不斷有新的方法及技術手段研發(fā)出來，為云計算平臺提供了延展的應用機會，在數據挖掘技術的發(fā)展過程中提供新的理論與支撐?；谠朴嬎愕臄祿诰騿栴}及相關技術的研究過程中將積極推動互聯網技術的蓬勃發(fā)展，實現新技術、新方法、新理論的突破。本論文研究由廈門大學嘉庚學院大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目支持。