基于校園網(wǎng)格技術(shù)的新型集群系統(tǒng)的構(gòu)建

　　網(wǎng)格技術(shù)是推動互聯(lián)網(wǎng)資源有效使用的重要環(huán)節(jié)，而基于網(wǎng)格技術(shù)的校園網(wǎng)格是學(xué)校用來實(shí)現(xiàn)校園整體IT資源共享、挖掘潛能，從而提高其研究能力的一個強(qiáng)有力的手段。本文論述了網(wǎng)格計(jì)算這種新型的分布式計(jì)算技術(shù)，并分析了網(wǎng)格技術(shù)與校園網(wǎng)相結(jié)合的重要意義，進(jìn)而根據(jù)校園網(wǎng)格框架結(jié)構(gòu)和建立原則，提出了一種新的校園網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型，實(shí)現(xiàn)了資源共享，提高了資源利用率，從而促進(jìn)學(xué)校信息化的發(fā)展。
　　校園網(wǎng)格可以使共享的資源合理分配，同時兼顧到各個部門對于資源的不同需求，并根據(jù)不同需求設(shè)立不同的優(yōu)先級以利于管理、維護(hù)。同時，校園網(wǎng)格還可以為資源擁有者提供一種交易方法，即將目前閑置的資源貢獻(xiàn)出去，以此換回將來自己在資源需求峰值時能夠利用其他限制資源的權(quán)力。與此同時，校園網(wǎng)格的建立可以改變學(xué)校傳統(tǒng)意義上對IT資源構(gòu)建和管理上的分散模式，取而代之的是將主要投入集中在學(xué)校共享資源上，如可以共享的網(wǎng)絡(luò)設(shè)備、計(jì)算中心、數(shù)據(jù)中心等等，這樣將使學(xué)校對于各種資源的投資最大化，并使IT資源的管理更趨合理化。
　　
　　一、校園網(wǎng)格概述
　　
　　1.網(wǎng)格計(jì)算
　　網(wǎng)格計(jì)算是伴隨著互聯(lián)網(wǎng)而迅速發(fā)展起來的，是專門針對復(fù)雜科學(xué)計(jì)算的新型計(jì)算模式。這種計(jì)算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個“虛擬的超級計(jì)算機(jī)”，其中每一臺參與計(jì)算的計(jì)算機(jī)就是一個“節(jié)點(diǎn)”，而整個計(jì)算機(jī)是由成千上萬個“節(jié)點(diǎn)”組成的“一張網(wǎng)格”，所以這種計(jì)算方式叫網(wǎng)格計(jì)算。這樣組織起來的“虛擬的超級計(jì)算機(jī)”有兩個優(yōu)勢：一是數(shù)據(jù)處理能力超強(qiáng)。二是能充分利用網(wǎng)上的閑置處理能力[1]。
　　實(shí)際上，網(wǎng)格計(jì)算是分布式計(jì)算（Distributed Computing）的一種，如果我們說某項(xiàng)工作是分布式的，那么，參與這項(xiàng)工作的一定不只是一臺計(jì)算機(jī)，而是一個計(jì)算機(jī)網(wǎng)絡(luò)，顯然這種“螞蟻搬山”的方式將具有很強(qiáng)的數(shù)據(jù)處理能力[2]。
　　2.網(wǎng)格的基本要素
　　一個良好的網(wǎng)格系統(tǒng)需要一些最基本的功能部件來保證其正常運(yùn)行。功能部件可以被用來滿足特定的需求，根據(jù)網(wǎng)格應(yīng)用的不同，功能部件也會不盡相同，但是作為網(wǎng)格的公共基礎(chǔ)部分，有些功能部件是必不可少的。
　?。?）用戶界面（Portal）
　　用戶界面（Portal）是為那些專業(yè)用戶使用網(wǎng)格資源，提交其需要執(zhí)行的作業(yè)而設(shè)計(jì)的簡單易用的工具。
　?。?）數(shù)據(jù)移動
　　數(shù)據(jù)移動的目的是解決作業(yè)在異地運(yùn)行時的數(shù)據(jù)上傳和結(jié)果數(shù)據(jù)下載的問題。數(shù)據(jù)的移動有如下幾種情況。
　　獨(dú)立方式：獨(dú)立的數(shù)據(jù)傳遞方式，獨(dú)立于作業(yè)的提交。例如隨機(jī)文件的傳遞或一個預(yù)定的數(shù)據(jù)傳遞可通過特定的傳輸工具或數(shù)據(jù)網(wǎng)格。
　　分段傳輸：用手工上傳方式將數(shù)據(jù)傳遞到集群。
　　傳遞計(jì)算的結(jié)果：將最終的運(yùn)算結(jié)果傳遞給用戶以及底層作業(yè)日志存儲系統(tǒng)。
　　傳遞計(jì)算的中間結(jié)果：將作業(yè)處理過程的中間信息傳遞給用戶，供用戶根據(jù)這些信息調(diào)整作業(yè)處理進(jìn)程。
　　（3）資源管理
　　資源管理的主要任務(wù)就是充當(dāng)資源的供應(yīng)方，并為那些需要資源的作業(yè)或任務(wù)分配資源。
　　（4）作業(yè)提交
　　最終用戶需要一種方法來提交、定義它的作業(yè)以及作業(yè)的工作參數(shù)，比如數(shù)據(jù)的位置路徑，計(jì)算資源組、觸發(fā)機(jī)制、認(rèn)證信息等等。
　　（5）作業(yè)監(jiān)控
　　最終用戶可以通過界面來監(jiān)控、管理其作業(yè)。
　?。?）網(wǎng)格系統(tǒng)的管理
　　網(wǎng)格系統(tǒng)管理在于控制身份認(rèn)證、授權(quán)，網(wǎng)格系統(tǒng)管理的真正目標(biāo)是允許系統(tǒng)管理員異地控制和操作[3]。
　　3.校園網(wǎng)格的定義
　　校園網(wǎng)格是網(wǎng)格技術(shù)在校園中的一種應(yīng)用，與其他的計(jì)算網(wǎng)格、信息網(wǎng)格不同，它的資源提供者是各部門的各類資源，包括集群、數(shù)據(jù)庫、高性能計(jì)算機(jī)、個人PC機(jī)、存儲設(shè)備等，而用戶一般是學(xué)校的教職員工和學(xué)生，他們通過校園網(wǎng)格共享計(jì)算、信息、存儲、教學(xué)等資源。
　　作為一個優(yōu)良的校園網(wǎng)格需要滿足以下條件：
　　（1）集中管理用戶的身份認(rèn)證和授權(quán)。
　?。?）支持異構(gòu)計(jì)算機(jī)資源，對于不同的硬件、操作系統(tǒng)的支持。
　?。?）允許不同的最終用戶對資源的不同需求。
　　（4）允許計(jì)算資源共享。
　?。?）校園網(wǎng)格能提供資源的整合能力，同時能夠調(diào)配網(wǎng)格上的資源解決單個問題的需求。
　　（6）校園網(wǎng)格必須能為學(xué)校的IT建設(shè)、資源使用、系統(tǒng)資源瓶頸分析提供有力的數(shù)據(jù)。
　?。?）校園網(wǎng)格不應(yīng)該是一個封閉的系統(tǒng)，它有能力和兄弟學(xué)校的網(wǎng)格系統(tǒng)互聯(lián)、互通。
　　
　　二、校園網(wǎng)格的設(shè)計(jì)原則
　　
　?。?）與網(wǎng)格框架兼容。網(wǎng)格作為廣域異構(gòu)分布資源互聯(lián)的基礎(chǔ)設(shè)施，為上層提供了許多基礎(chǔ)服務(wù)，校園網(wǎng)格的設(shè)計(jì)應(yīng)基于網(wǎng)格框架，并與底層網(wǎng)格機(jī)制相兼容。
　?。?）一致的信息結(jié)構(gòu)。用戶以一致的方式訪問資源的結(jié)構(gòu)信息和狀態(tài)信息。
　?。?）與底層實(shí)現(xiàn)機(jī)制無關(guān)性，包括資源的存儲、訪問方式等。系統(tǒng)可以定義一些界面或接口，以封裝不同系統(tǒng)在資源存儲、管理等方面的異構(gòu)性。
　　（4）與應(yīng)用策略無關(guān)性。應(yīng)將與性能無關(guān)的一些重要功能的實(shí)現(xiàn)方式留給用戶或是應(yīng)用程序來選擇，而不是由系統(tǒng)封裝執(zhí)行[4]。
　　
　　三、校園網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型
　　
　　1.網(wǎng)格集群系統(tǒng)結(jié)構(gòu)模型
　　根據(jù)前文提到的校園網(wǎng)格設(shè)計(jì)的一般原則，校園網(wǎng)格集群系統(tǒng)應(yīng)包括三個部分：用戶訪問部分、作業(yè)調(diào)度和高性能計(jì)算部分、報(bào)表統(tǒng)計(jì)分析部分。如圖1所示。
　　
　　
　?。?）用戶訪問部分應(yīng)包括多種方式，用戶可通過瀏覽器、命令行、集成后的應(yīng)用程序訪問高性能計(jì)算開放式平臺和計(jì)算服務(wù)器的資源。根據(jù)用戶不同的需要在多種訪問方式中進(jìn)行切換。
　?。?）作業(yè)調(diào)度和高性能計(jì)算部分應(yīng)支持異構(gòu)的分布式Unix/Linux，Windows計(jì)算環(huán)境，提供可靠的集群管理、負(fù)載共享、復(fù)雜作業(yè)管理及調(diào)度功能和大規(guī)模并行計(jì)算的能力，可以有效提高大型計(jì)算任務(wù)的資源利用率。
　?。?）報(bào)表統(tǒng)計(jì)分析部分，針對高性能計(jì)算部分的作業(yè)信息，報(bào)表統(tǒng)計(jì)部分應(yīng)支持大型的數(shù)據(jù)分析和數(shù)據(jù)挖掘。網(wǎng)格使用過程中的資源使用信息、作業(yè)信息、記賬信息存儲到數(shù)據(jù)庫中，數(shù)據(jù)分析系統(tǒng)根據(jù)這些信息提供出校園網(wǎng)格IT系統(tǒng)全面的負(fù)載和運(yùn)行狀況分析報(bào)表。利用這些報(bào)表，網(wǎng)格管理人員可以有效地針對系統(tǒng)性能，優(yōu)化系統(tǒng)使用，優(yōu)化項(xiàng)目或人員的管理，從而減少運(yùn)營和IT基礎(chǔ)建設(shè)的成本，并為下一步的投資提供決策依據(jù)，以實(shí)現(xiàn)投資回報(bào)的最大化。
　　2．校園網(wǎng)格集群系統(tǒng)解決的問題
　?。?）統(tǒng)一規(guī)劃的提交與管理界面
　　通過提供Web門戶的方式及應(yīng)用軟件的集成，為用戶提供了統(tǒng)一的作業(yè)提交和管理界面。用戶只需提交自己的作業(yè)任務(wù)即可，無需關(guān)心其任務(wù)去哪些計(jì)算機(jī)運(yùn)行，這種方式大大降低了最終用戶的使用軟件的門檻。
　?。?）資源在集群層面的共享
　　整合整個校園的異構(gòu)資源，包括異構(gòu)的硬件資源（如CPU、內(nèi)存等）和異構(gòu)的軟件資源（Windows，Linux，Solaris），屏蔽資源差異。匯集本地集群的計(jì)算資源，為大規(guī)模計(jì)算任務(wù)提供更多的資源。
　?。?）優(yōu)先級控制
　　作業(yè)調(diào)度部分應(yīng)提供多種調(diào)度方式，以保證用戶使用上的優(yōu)先級，使計(jì)算資源（CPU，內(nèi)存等）根據(jù)用戶的需要，進(jìn)行合理的優(yōu)化，使用戶在項(xiàng)目管理中總能迅速地獲得所需要的計(jì)算資源。
　　網(wǎng)格技術(shù)的目標(biāo)是實(shí)現(xiàn)互聯(lián)網(wǎng)上資源的全面共享與協(xié)同合作，為用戶提供便捷、高效的計(jì)算服務(wù)，網(wǎng)格將會成為未來的計(jì)算模式。而校園網(wǎng)格的構(gòu)建是網(wǎng)格普及化的關(guān)鍵一步。本文對網(wǎng)格技術(shù)在校園信息化建設(shè)中的應(yīng)用進(jìn)行了探討和研究，提出了一種校園網(wǎng)格的框架結(jié)構(gòu)。網(wǎng)格技術(shù)必將會大大促進(jìn)校園信息化的發(fā)展。
　　
　　參考文獻(xiàn)
　　[1]