基于云計算的體系架構(gòu)與關(guān)鍵技術(shù)

文/張曉海 王蔚（廈門大學嘉庚學院）

一、云計算的內(nèi)涵

現(xiàn)今,對于云計算還沒有普遍一致認同的定義,業(yè)界對于云計算的認識一直都在不斷變化及發(fā)展著。從普通應用的觀點來認定,云計算是針對互聯(lián)網(wǎng)的超級計算模式,在計算機應用過程中,云計算是經(jīng)過商業(yè)運籌來實現(xiàn)計算機技術(shù)處理,從而達到并行運算操作、分布式操作及實現(xiàn)網(wǎng)格計算,在互聯(lián)網(wǎng)基礎上進行的更超級的計算處理模式。云計算實現(xiàn)了把所有存儲在終端設備上的超大量信息與資源整合起來,以協(xié)作的形式,給外端用戶人群提供可擴展的極大規(guī)模信息技術(shù)處理運算的能力。云計算的本質(zhì)是構(gòu)成了可以實現(xiàn)智能控制的數(shù)據(jù)中心。

在網(wǎng)絡服務領域里,可以實現(xiàn)最直接簡單的云計算技術(shù),比較常用的搜索引擎、網(wǎng)盤服務、網(wǎng)絡信箱,用戶們可以通過設定的門戶指令與密碼直接進入云端提取相關(guān)信息。在未來,常見的便攜移動設備都可以利用云計算技術(shù)開發(fā)出更多更便捷的應用服務,我們可以不只局限于應用移動設備,就可以通過網(wǎng)址相關(guān)界面URL,直接編輯文檔,并實現(xiàn)分享給需要傳遞的對方,對方也可以直接通過瀏覽器打開直接訪問URL,不依賴傳統(tǒng)意義上的硬盤,增加了安全可靠性。

二、云計算體系架構(gòu)

云計算通過把一系列服務集合起來,按照客戶需要提供相應的資源。按照現(xiàn)今對于云計算的應用與研究,可以把云計算的體系架構(gòu)分為三層模式。

（一）核心服務層

該層分為三個子層，分別在硬件、實體、運算及資源方面提供服務。用戶通過服務程序過程中，按照自己的需要提供相關(guān)配置信息。在這個層面將硬件與軟件及應用程序按應用需求的多樣化實現(xiàn)可變規(guī)模化,達到可靠性及實用性強的效果。

（二）服務管理層

這一層提供給核心服務層足夠的技術(shù)支持,保障核心服務能夠安全、可靠的應用。在服務管理過程中，會因為云計算的平臺本身運作的復雜結(jié)構(gòu)及其具有的超大平臺規(guī)模等困難，難以在各個層面上都能滿足客戶的所有精確需要，因此要在服務管理過程中，應對用戶的不同需要，根據(jù)供應商能提供的服務，制訂出具體的服務質(zhì)量需求協(xié)議，當與協(xié)議出現(xiàn)分歧時，或達不到協(xié)議要求的質(zhì)量狀態(tài)下，用戶將按協(xié)議得到相應的補償。

（三）用戶訪問接口層

第三層為用戶訪問接口層,這一層面可以實現(xiàn)用戶端到云計算的訪問。web門戶和命令行是可以在絡端設備實現(xiàn)訪問數(shù)據(jù)及程序,同時可以實現(xiàn)服務不同形式的組合。

三、資源管理

在本地資源管理過程中，一般通過計算機處理實現(xiàn)三個層面。

（一）計算模型

在對資源的調(diào)度處理策略過程中，針對網(wǎng)格實行的都是批處理作業(yè)來實現(xiàn)，針對用戶的要求進行識別，按照用戶需要的資源運行，在數(shù)據(jù)數(shù)量、處理器的類別數(shù)目、安全性及運行時間進行認證。

（二）數(shù)據(jù)模型

在云計算平臺的運行過程中，數(shù)據(jù)處理與傳輸都是通過互聯(lián)網(wǎng)平臺進行，用戶在共享及使用過程中，必然會面臨公共渠道下的安全性缺失及風險性高的弊端。在進行數(shù)據(jù)模型開發(fā)過程中，要時刻考慮云計算平臺、資源數(shù)據(jù)及用戶計算，在這三個方面間進行三角模型的開發(fā)。

四、云計算的關(guān)鍵技術(shù)

提供個性化服務是云計算的目標,注重低成本的開發(fā)及應用,實現(xiàn)可靠、規(guī)模應對、可訂制服務。為了實現(xiàn)這個個性化的目標,需要若干關(guān)鍵技術(shù)加以支持。

（一）數(shù)據(jù)中心的相關(guān)技術(shù)

云計算數(shù)據(jù)中心的相關(guān)研究工作主要在以下兩個方面展開,一個是為了提高產(chǎn)業(yè)效能比,減少環(huán)境污染,迫切需要有效的綠色節(jié)能產(chǎn)品及技術(shù);還有一個就是要通過大規(guī)模計算節(jié)點來實現(xiàn)低成本、高可靠、高寬帶的方式,就需要研究新型數(shù)據(jù)中心網(wǎng)絡拓撲。

（二）虛擬化技術(shù)

虛擬化技術(shù)現(xiàn)今有兩種典型的代表技術(shù)，一個就是虛擬機在線遷移技術(shù)，實現(xiàn)有效的訂制資源及資源共享，另一個就是虛擬機部署技術(shù)，在云計算的服務過程中，能實現(xiàn)有效的彈性服務，按照數(shù)據(jù)中心的實際需要與工作要求，進行合理化應用，按需服務。

（三）典型的laaS層平臺

有三種典型的層平臺,分別是東南大學云計算平臺、亞馬遜彈性計算云EC2以及加州大學圣巴巴拉分校開發(fā)的開源平臺。不同的平臺都有自己的特色,可以承擔數(shù)據(jù)分析處理、用戶定義彈性規(guī)則等科學計算任務。

（四）海量數(shù)據(jù)存儲與處理技術(shù)

在云計算海量數(shù)據(jù)存儲過程中,要考慮兩方面的指標,一個就是存儲系統(tǒng)的輸入/輸出性能,另一個就是實現(xiàn)還原儲備資源，達到資源文件的可靠度，并實現(xiàn)資源應用的實用性。針對這個指標要求,數(shù)據(jù)處理專家學者不斷地研究數(shù)據(jù)存儲技術(shù)創(chuàng)新及突破，針對系統(tǒng)的問題，設計簡化數(shù)據(jù)模型，在一致性模型及多樣化模型方面下功夫，滿足指標要求，提高數(shù)據(jù)存儲與處理技術(shù)的性能。同時加強研發(fā)分析數(shù)據(jù)的功能開發(fā)，實現(xiàn)云計算的有效編程處理，開發(fā)編程模型技術(shù)。

五、基于云計算數(shù)據(jù)挖掘的關(guān)鍵技術(shù)

（一）數(shù)據(jù)匯集調(diào)度技術(shù)

數(shù)據(jù)源對接平臺為云計算服務提供必要的技術(shù)支持，在數(shù)據(jù)的調(diào)度過程中，要匯集源數(shù)據(jù)，按照不同類型，不同格式，進行甄別及校驗，解決數(shù)據(jù)違約的主要技術(shù)是數(shù)據(jù)匯集的關(guān)鍵，要符合網(wǎng)絡上不同的系統(tǒng)平臺，多種系統(tǒng)下生成的不同格式，實現(xiàn)數(shù)據(jù)匯集調(diào)度技術(shù)。對于聯(lián)機數(shù)據(jù)的處理也要分門別類，處理和分析聯(lián)機數(shù)據(jù)才能實現(xiàn)數(shù)據(jù)匯集調(diào)度技術(shù)。

（二）服務調(diào)度管理技術(shù)

平臺建設是為公共端業(yè)務系統(tǒng)提供服務，在利用資源進行服務的過程中，要把服務的資源及服務的質(zhì)量與服務用戶的需求根據(jù)不同層次分理出優(yōu)先次序，在服務過程中，防止平行用戶互相擠壓與平行排斥，保證服務管控有效進行，云計算服務管控按照在冊方案進行統(tǒng)一管控，在本地管控服務的支持前提下，接納其他三方的提供數(shù)據(jù)挖掘的流入，更好地提高及有效擴展整個數(shù)據(jù)平臺的服務調(diào)度管理能力。

（三）并行化算法技術(shù)

在數(shù)據(jù)挖掘技術(shù)中，如何在非常大量的數(shù)據(jù)源中，最快地找尋、分類、整理并歸納完整的數(shù)據(jù)結(jié)果，完全依賴于云計算的算法技術(shù)研究，在多種算法中快速尋找最佳技術(shù)關(guān)鍵解決用戶實際問題，就變得尤為重要，而并行策略及其算法是平臺有效提供云計算服務的關(guān)鍵技術(shù)。

現(xiàn)今的分布式計算框架，在整個云計算技術(shù)環(huán)節(jié)及架構(gòu)上做了統(tǒng)籌的處理與計算，并對平行分布式計算算法的技術(shù)細節(jié)進行梳理與封裝，用戶可以在使用時不用再注意分布式算法的細節(jié)問題，而是直接切入正題，只需要考慮用戶需求的問題并尋求解決問題的思路方法，提高了解決問題的能力及速度，極大地減少了平臺系統(tǒng)的消耗及成本。

六、基于云計算的數(shù)據(jù)挖掘技術(shù)面臨問題和挑戰(zhàn)

云計算在長期發(fā)展情況下，出現(xiàn)了很多應用成果，為各行各業(yè)及專業(yè)領域解決關(guān)鍵問題。但不得不提的是，針對現(xiàn)行的云計算的發(fā)展而言，云計算的研究還是處于入門的階段。在數(shù)據(jù)處理過程中使用云計算技術(shù)還有著現(xiàn)實的挑戰(zhàn)及難點需要突破及研究。

（一）并行性挖掘算法研究

在云計算過程中，要對眾多算法進行甄別及選擇，云計算的方式并不是所有的算法都合適其中的每項任務的要求，要采取最合適的算法策略，云計算并行效率才能真正提高。

（二）數(shù)據(jù)挖掘結(jié)果的不確定性

在數(shù)據(jù)采集過程中，面對多樣繁雜的數(shù)據(jù)，要采用預處理的方式來判別，這其中就加入了許多的不確定性。數(shù)據(jù)挖掘過程中，采用何種方法進行運算及處理，最后獲得的結(jié)果是否符合目標的要求，都有著不確定性。用戶需求的挖掘目標都有自身的特點及相關(guān)性，當云計算的數(shù)據(jù)挖掘結(jié)果出來后，結(jié)果的評價指標的判定因素也就成了最不確定的影響。

（三）可信性問題

在云計算的過程中，必然接觸到互聯(lián)網(wǎng)的大環(huán)境，數(shù)據(jù)挖掘在這種云環(huán)境下，軟件的信任性就成為很重要的問題。真正檢驗效果，云計算的數(shù)據(jù)挖掘服務要滿足以下幾個要求，是否符合用戶的要求、是否滿足云計算門戶的安全性問題、是否達到了客戶的質(zhì)量要求、是否實現(xiàn)了服務效果的準確性。

七、面對云計算數(shù)據(jù)挖掘的問題與挑戰(zhàn)的對策

（一）注重云計算基礎平臺建設

按照不同領域及服務種類、行業(yè)來規(guī)劃平臺的分類建設，鼓勵百家齊放，百家爭鳴，在發(fā)揚多樣化的同時，注重個性化及特殊需求的培養(yǎng)與建設。

（二）數(shù)據(jù)挖掘技術(shù)支持重要性

數(shù)據(jù)挖掘云計算服務注重的是資源的積累、收集及計算，在云計算處理的過程中，按照虛擬化的數(shù)據(jù)處理技術(shù)，來調(diào)度及處理數(shù)據(jù)資源，并進行分配，強力支撐著數(shù)據(jù)的挖掘云計算。

（三）算法信任性問題

在云計算挖掘的建設過程中，有多種技術(shù)及算法支持用戶需要，選擇哪種方法及技術(shù)手段就顯得尤為重要，確認最合適的技術(shù)手段，并成為平臺通用手段，可以調(diào)查相關(guān)證據(jù)，隨時整理、分析與調(diào)試，并經(jīng)過有效檢驗。這點也是在云計算數(shù)據(jù)挖掘技術(shù)中最致命的關(guān)鍵點。

（四）算法安全

在云計算平臺提供的數(shù)據(jù)中，采集、整理并歸納，通過算法及相關(guān)云計算服務實現(xiàn)用戶要求，必然會在平臺中，涉及到大量的用戶隱私及不可宣的秘密，因此，在運用云計算技術(shù)來進行數(shù)據(jù)挖掘時，要提前進行加密技術(shù)及算法的處理，采用可靠的安全手段來實現(xiàn)用戶安全性保護，實現(xiàn)安全的算法研究，也是面對問題與挑戰(zhàn)最關(guān)鍵的技術(shù)要求。

八、結(jié)語

大數(shù)據(jù)的處理技術(shù)實際上針對數(shù)據(jù)源的整理及分析歸納，并要求效率提高，在數(shù)據(jù)時效性數(shù)理方面有著很高的追求。而云計算就不只局限于這個概念上，而是在硬件配套構(gòu)建中，運用程序算法及關(guān)鍵技術(shù)，尤其是資源虛擬化技術(shù)的應用，云計算作為支持上層的處理大數(shù)據(jù)的最下層，在交互的狀態(tài)下查詢及實時處理和分析數(shù)據(jù)。云計算的數(shù)據(jù)存儲技術(shù)研究發(fā)展過程中，不斷有新的方法及技術(shù)手段研發(fā)出來，為云計算平臺提供了延展的應用機會，在數(shù)據(jù)挖掘技術(shù)的發(fā)展過程中提供新的理論與支撐?；谠朴嬎愕臄?shù)據(jù)挖掘問題及相關(guān)技術(shù)的研究過程中將積極推動互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，實現(xiàn)新技術(shù)、新方法、新理論的突破。本論文研究由廈門大學嘉庚學院大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目支持。