網(wǎng)格計(jì)算

何海丹

內(nèi)容摘要：本文對(duì)網(wǎng)格定義、現(xiàn)狀、特點(diǎn)作了闡述，介紹了網(wǎng)格協(xié)議Globus體系結(jié)構(gòu)，并將網(wǎng)格與因特做了比較和分析

關(guān)鍵詞：網(wǎng)格計(jì)算、資源共享、 Globus體系、廣域緩存技術(shù)

1．引言

二十世紀(jì)六十年代末，人類采用信息包傳輸和開放式整體結(jié)構(gòu)技術(shù)，組建了ARPAnet，從而誕生了Internet。到了九十年代初，萬維網(wǎng)應(yīng)運(yùn)而生。就在中國這樣一個(gè)發(fā)展中國家，網(wǎng)絡(luò)的跡象也隨處可見。可是，當(dāng)技術(shù)發(fā)展到了一個(gè)瓶頸，我們不禁疑惑：“因特網(wǎng)后面是什么？萬維網(wǎng)后面是什么？什么是信息技術(shù)的下一個(gè)大浪潮？” Grid Computing（網(wǎng)格計(jì)算）的呼聲越來越高，國外媒體常用“下一代Internet”、“Internet2”、“下一代Web”等詞語來稱呼與網(wǎng)格相關(guān)的技術(shù)。中國科學(xué)院計(jì)算所所長李國杰院士認(rèn)為，網(wǎng)格實(shí)際上是繼傳統(tǒng)因特網(wǎng)、Web之后的第三個(gè)大浪潮。

2．網(wǎng)格計(jì)算的定義

網(wǎng)格計(jì)算是伴隨著互聯(lián)網(wǎng)而迅速發(fā)展起來的，專門針對(duì)復(fù)雜科學(xué)計(jì)算的新型計(jì)算模式。這種計(jì)算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”，其中每一臺(tái)參與計(jì)算的計(jì)算機(jī)就是一個(gè)“節(jié)點(diǎn)”，而整個(gè)計(jì)算是由成千上萬個(gè)“節(jié)點(diǎn)”組成的“一張網(wǎng)格”，所以這種計(jì)算方式叫網(wǎng)格計(jì)算。

Grid Computing（網(wǎng)格計(jì)算）的構(gòu)想來源于另一專業(yè)“Power Grid（電力供應(yīng)網(wǎng)）”。Power Grid的原意是電力供應(yīng)商根據(jù)用戶的需要供應(yīng)電力，消費(fèi)者只需支付自己使用的那部分電費(fèi)。網(wǎng)格計(jì)算的基本思想也因此被引申為，就像人們?nèi)粘Ｉ钪袕碾娋W(wǎng)中獲取電能一樣獲取高性能的計(jì)算能力。

最“正統(tǒng)”的網(wǎng)格研究來源于美國聯(lián)邦政府過去10年來資助的高性能計(jì)算項(xiàng)目。這類研究使用的名詞就是“網(wǎng)格”（Grid）或“計(jì)算網(wǎng)格”，早期還使用過另一個(gè)名詞—“元計(jì)算”（Metacomputing）。元計(jì)算被定義為通過網(wǎng)絡(luò)連接強(qiáng)力計(jì)算資源，形成對(duì)用戶透明的超級(jí)計(jì)算環(huán)境。目前用得較多的術(shù)語“網(wǎng)格計(jì)算（grid computing）”更系統(tǒng)化地發(fā)展了最初元計(jì)算的概念，它通過網(wǎng)絡(luò)連接地理上分布的各類計(jì)算機(jī)（包括機(jī)群）、數(shù)據(jù)庫、存儲(chǔ)系統(tǒng)和可視化系統(tǒng)等，形成對(duì)用戶相對(duì)透明的虛擬的高性能資源共享的計(jì)算環(huán)境，應(yīng)用包括了分布式計(jì)算、高吞吐量計(jì)算、協(xié)同工程和數(shù)據(jù)查詢等諸多功能。

3．網(wǎng)格計(jì)算的發(fā)展現(xiàn)狀

網(wǎng)格計(jì)算的發(fā)展將是一個(gè)很長的過程，據(jù)《Forbes ASAP》預(yù)測(cè)，網(wǎng)格技術(shù)將在2005年達(dá)到高峰，并帶來因特網(wǎng)的新生。如果網(wǎng)格技術(shù)能促使市場(chǎng)按預(yù)期的17%年增長率持續(xù)成長的話，那么在2020年將會(huì)形成一個(gè)年產(chǎn)值20萬億美元的大產(chǎn)業(yè)。

面對(duì)這樣一個(gè)極具誘惑的利潤源，很多發(fā)達(dá)國家都投入了大量研究資金，希望能抓住機(jī)遇，掌握未來的命運(yùn)。美國的“全球信息網(wǎng)格”和英國的“英國國家網(wǎng)格”等，都是雄心勃勃的網(wǎng)格戰(zhàn)略。目前很多大公司開始投入其中，如“藍(lán)色巨人”IBM正在構(gòu)筑一項(xiàng)名為“Grid Computing”的計(jì)劃，旨在通過因特網(wǎng)，向每一臺(tái)個(gè)人電腦提供超級(jí)的處理能力。 2001年11月，Sun推出了Sun Grid Engine企業(yè)版軟件的β版，旨在促進(jìn)網(wǎng)格計(jì)算的發(fā)展。

“眾人拾柴火焰高”，中國的這句老話成了網(wǎng)格計(jì)算出現(xiàn)并蓬勃發(fā)展的最好注腳。目前，我國已開展了“國家高性能計(jì)算環(huán)境”和“先進(jìn)計(jì)算基礎(chǔ)設(shè)施北京上海試點(diǎn)工程”兩個(gè)項(xiàng)目，對(duì)網(wǎng)格計(jì)算進(jìn)行研究，這兩個(gè)項(xiàng)目分別由中國科學(xué)院和清華大學(xué)牽頭。中科院計(jì)算所正在進(jìn)行的“織女星計(jì)劃”（Vega 計(jì)劃）正是以元數(shù)據(jù)、構(gòu)件框架、智能體、網(wǎng)格公共信息協(xié)議和網(wǎng)格計(jì)算協(xié)議為主要突破點(diǎn)對(duì)網(wǎng)格計(jì)算進(jìn)行的研究。

4．網(wǎng)格計(jì)算的特點(diǎn)和基本功能

簡(jiǎn)單的說，網(wǎng)格是把整個(gè)因特網(wǎng)整合成一臺(tái)巨大的超級(jí)計(jì)算機(jī)，實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、數(shù)據(jù)資源、信息資源、知識(shí)資源、專家資源的全面共享，因此網(wǎng)格的根本特征不是它的規(guī)模，而是資源共享，消除資源孤島。網(wǎng)格最突出的兩個(gè)優(yōu)勢(shì)，一個(gè)是數(shù)據(jù)處理能力超強(qiáng)；另一個(gè)是能充分利用網(wǎng)上的閑置處理能力。

實(shí)際上，網(wǎng)格計(jì)算是分布式計(jì)算（Distributed Computing）的一種，這種“螞蟻搬山”式的網(wǎng)格計(jì)算，看似普通，但卻有過及其出色的表現(xiàn)。1999年，SETI@HOME項(xiàng)目是網(wǎng)格計(jì)算的一個(gè)成功典范。該項(xiàng)目在1999年初開始將分布于世界各地的200萬臺(tái)個(gè)人電腦組成計(jì)算機(jī)陣列，用于搜索射電天文望遠(yuǎn)鏡信號(hào)中的外星文明跡象。該項(xiàng)目組稱，在不到兩年的時(shí)間里，這種計(jì)算方法已經(jīng)完成了單臺(tái)計(jì)算機(jī)345000年的計(jì)算量?？梢姡@種“螞蟻搬山”式的分布式計(jì)算的處理能力十分強(qiáng)大，正所謂“泰山不辭抔土，故能成其大”。

充分利用網(wǎng)上的閑置處理能力則是網(wǎng)格計(jì)算的又一個(gè)優(yōu)勢(shì)，網(wǎng)格計(jì)算模式首先把要計(jì)算的數(shù)據(jù)分割成若干“小片”，而計(jì)算這些“小片”的軟件通常是一個(gè)預(yù)先編制好的屏幕保護(hù)程序，然后不同節(jié)點(diǎn)的計(jì)算機(jī)可以根據(jù)自己的處理能力下載一個(gè)或多個(gè)數(shù)據(jù)片斷和這個(gè)屏幕保護(hù)程序。只要，節(jié)點(diǎn)的計(jì)算機(jī)的用戶不使用計(jì)算機(jī)時(shí)，屏保程序就會(huì)工作，這樣這臺(tái)計(jì)算機(jī)的閑置計(jì)算能力就被充分地調(diào)動(dòng)起來了。眾所周知，在使用壽命周期中，大多數(shù)桌面電腦僅僅用到了其工作能力的5%～10%，多數(shù)服務(wù)器應(yīng)用峰值只有20%，而網(wǎng)格技術(shù)正是我們?cè)趯で蟮囊环N非常充裕的、時(shí)刻可以使用的計(jì)算能力。

網(wǎng)格計(jì)算一般具備三種基本功能：任務(wù)管理、任務(wù)調(diào)度和資源管理。任務(wù)管理即用戶提交任務(wù)、為任務(wù)指定所需資源、刪除任務(wù)并監(jiān)測(cè)任務(wù)運(yùn)行狀態(tài)。任務(wù)調(diào)度是指用戶提交的任務(wù)由該功能按照任務(wù)類型、所需資源、可用資源等安排運(yùn)行日程和策略。 資源管理是確定并監(jiān)測(cè)網(wǎng)格資源狀況，收集任務(wù)運(yùn)行時(shí)的資源占用數(shù)據(jù)。

5．網(wǎng)格協(xié)議Globus體系結(jié)構(gòu)

Globus的網(wǎng)格計(jì)算協(xié)議建立在互聯(lián)網(wǎng)協(xié)議之上，以互聯(lián)網(wǎng)協(xié)議中的通信、路由、名字解析等功能為基礎(chǔ)。Globus的協(xié)議分為五層：構(gòu)造層、連接層、資源層、匯集層和應(yīng)用層。每層都有自已的服務(wù)、API和SDK，上層協(xié)議調(diào)用下層協(xié)議的服務(wù)。網(wǎng)格內(nèi)的全局應(yīng)用都通過協(xié)議提供的服務(wù)調(diào)用操作系統(tǒng)。

構(gòu)造層（Fabric） 它的功能是向上提供網(wǎng)格中可供共享的資源，它們是物理或邏輯實(shí)體。常用的資源包括處理能力、存儲(chǔ)系統(tǒng)、目錄、網(wǎng)格資源、分布式文件系統(tǒng)、分布式計(jì)算機(jī)池、計(jì)算機(jī)集群等。Toolkit中相應(yīng)組件負(fù)責(zé)偵測(cè)可用的軟硬件資源的特性、當(dāng)前負(fù)荷、狀態(tài)等信息，并將其打包供上層協(xié)議調(diào)用。

連接層（Connectivity） 它是網(wǎng)格中網(wǎng)絡(luò)事務(wù)處理通信與授權(quán)控制的核心協(xié)議。構(gòu)造層提交的各種資源間的數(shù)據(jù)交換都在這一層的控制下實(shí)現(xiàn)。各資源間的授權(quán)驗(yàn)證、安全控制也在這里實(shí)現(xiàn)。在Toolkit中，相應(yīng)組件采用基于公鑰的網(wǎng)格安全基礎(chǔ)協(xié)議（GSI）。在此協(xié)議中提供一次登錄、委托授權(quán)、局域安全方案整合、基于用戶的信任關(guān)系等功能。資源間的數(shù)據(jù)交換通過傳輸、路由及名字解析實(shí)現(xiàn)。

資源層(Resource) 這一層的作用是對(duì)單個(gè)資源實(shí)施控制，與可用資源進(jìn)行安全握手、對(duì)資源做初始化、監(jiān)測(cè)資源運(yùn)行狀況、統(tǒng)計(jì)與付費(fèi)有關(guān)的資源使用數(shù)據(jù)。在Toolkit中有一系列組件用來實(shí)現(xiàn)資源注冊(cè)、資源分配和資源監(jiān)視。Toolkit還在這一層定義了客戶端的C、Java的API和SDK。

匯集層(Collective) 這層的作用是將資源層提交的受控資源匯集在一起，供虛擬組織的應(yīng)用程序共享、調(diào)用。為了對(duì)來自應(yīng)用的共享進(jìn)行管理和控制，匯集層提供目錄服務(wù)、資源分配、日程安排、資源代理、資源監(jiān)測(cè)診斷、網(wǎng)格啟動(dòng)、負(fù)荷控制、賬戶管理等多種功能。

應(yīng)用層（Applications） 這層是網(wǎng)格上用戶的應(yīng)用程序。應(yīng)用程序通過各層的API調(diào)用相應(yīng)的服務(wù)，再通過服務(wù)調(diào)用網(wǎng)格上的資源來完成任務(wù)。應(yīng)用程序的開發(fā)涉及大量庫函數(shù)。為便于網(wǎng)格應(yīng)用程序的開發(fā)，需要構(gòu)建支持網(wǎng)格計(jì)算的庫函數(shù)。

目前，Globus體系結(jié)構(gòu)已為一些大型網(wǎng)格應(yīng)用所采用。研究人員已經(jīng)在天氣預(yù)報(bào)、高能物理實(shí)驗(yàn)、航空器研究等領(lǐng)域已開發(fā)了一些基于Globus網(wǎng)格計(jì)算的應(yīng)用程序，較果較好。

6．網(wǎng)格與因特之比較

盡管當(dāng)前因特網(wǎng)已經(jīng)很時(shí)髦了，專家們還是對(duì)它提出了很多批評(píng)。最主要的批評(píng)有兩個(gè)。一個(gè)批評(píng)是，因特網(wǎng)實(shí)際上是一個(gè)大垃圾山。人們不停地往上倒東西，結(jié)果使得它包含很多重復(fù)、過時(shí)、零散、混亂的數(shù)據(jù)和信息，人們很難找到所需要的東西。萬維網(wǎng)的企圖是把垃圾變成金子，用一些簡(jiǎn)單的辦法把數(shù)據(jù)和信息組織起來，讓人們更方便地獲得信息。但是萬維網(wǎng)出來后，反面更加速了人們往上倒垃圾的趨勢(shì)。另一個(gè)批評(píng)是，因特網(wǎng)就像一個(gè)只有神經(jīng)細(xì)胞的低等生物，它沒有大腦。如果一個(gè)網(wǎng)站的負(fù)載太高，今天的因特網(wǎng)還不能做自動(dòng)的負(fù)載平衡，不能讓別的網(wǎng)站分擔(dān)一部分工作，也很難做到“廣域并行計(jì)算” 。

阿崗國家實(shí)驗(yàn)室的資深科學(xué)家、美國計(jì)算網(wǎng)格項(xiàng)目的領(lǐng)導(dǎo)人伊安·福斯特（Ian Foster）曾這樣描述網(wǎng)格：“網(wǎng)格是構(gòu)筑在因特網(wǎng)上的一組新興技術(shù)，它將高速互聯(lián)網(wǎng)、高性能計(jì)算機(jī)、大型數(shù)據(jù)庫、傳感器、遠(yuǎn)程設(shè)備等融為一體，為科技人員和普通老百姓提供更多的資源、功能和交互性。因特網(wǎng)主要為人們提供電子郵件、網(wǎng)頁瀏覽等通信功能，而網(wǎng)格功能更多更強(qiáng)，能讓人們透明地使用計(jì)算、存儲(chǔ)等其他資源?！?在網(wǎng)格上做計(jì)算，就像下圍棋一樣，不是單個(gè)棋子完成的，而是所有棋子互相配合形成合力完成的。簡(jiǎn)單地講，傳統(tǒng)因特網(wǎng)實(shí)現(xiàn)了計(jì)算機(jī)硬件的連通，Web實(shí)現(xiàn)了網(wǎng)頁的連通，而網(wǎng)格試圖實(shí)現(xiàn)將互聯(lián)網(wǎng)上所有信息和知識(shí)孤島聯(lián)為一體，包括計(jì)算資源、存儲(chǔ)資源、通信資源、軟件資源、信息資源、知識(shí)資源等。

因特網(wǎng)終端的種類還很少（主要是微機(jī)，其次是手機(jī)）。它們的功能也還很弱，主要是網(wǎng)頁瀏覽，電子商務(wù)、計(jì)算、多媒體信息服務(wù)的應(yīng)用還遠(yuǎn)沒有普及。網(wǎng)格則比因特網(wǎng)具有更強(qiáng)的功能和性能，主要表現(xiàn)在四個(gè)方面。第一，網(wǎng)格的互聯(lián)網(wǎng)絡(luò)比因特網(wǎng)具有更大的帶寬。CERN的科學(xué)家這樣形容網(wǎng)格的帶寬：“它就像用100條車道的高速公路取代今天的道路。”第二，網(wǎng)格上將有更多高性能計(jì)算機(jī)，因此網(wǎng)格的計(jì)算速度、數(shù)據(jù)處理速度可以大幅度提高。第三，網(wǎng)格的體系結(jié)構(gòu)將比因特網(wǎng)更能有效地利用這些資源。比如，網(wǎng)格將采用一種所謂的“廣域緩存技術(shù)”，它自動(dòng)地把用戶最需要的信息放在離用戶最近的服務(wù)器上。第四，網(wǎng)格將促進(jìn)更多、更大的網(wǎng)上社區(qū)的出現(xiàn)。根據(jù)網(wǎng)絡(luò)的麥特考夫定律，網(wǎng)格的價(jià)值與網(wǎng)格用戶數(shù)的平方成正比。

如果說高性能只是反映了網(wǎng)格和因特網(wǎng)數(shù)量上的區(qū)別，那么網(wǎng)格的知識(shí)生產(chǎn)特性就反映了質(zhì)的區(qū)別。因特網(wǎng)本身不創(chuàng)造或生產(chǎn)知識(shí)。人們都是先把信息或者是知識(shí)用其他方式生產(chǎn)出來以后，再“放到網(wǎng)上”，供用戶查找。網(wǎng)格不應(yīng)該像因特網(wǎng)那樣，提供幾百萬個(gè)網(wǎng)站，讓用戶去費(fèi)盡心思尋找合適的地方，而是能根據(jù)用戶的要求自動(dòng)地生產(chǎn)知識(shí)。在知識(shí)生產(chǎn)的過程中，高性能計(jì)算機(jī)將起到關(guān)鍵的作用，它把從數(shù)據(jù)源（傳感器、貴重設(shè)備、數(shù)據(jù)庫、信息庫等等）得到的原始數(shù)據(jù)，運(yùn)行特定的程序加工成信息和知識(shí)。

網(wǎng)格并不是要取代因特技術(shù)，而是試圖在因特之上創(chuàng)造出更高的技術(shù)。

7．網(wǎng)格存在的問題

任何一項(xiàng)嶄新的技術(shù)，都一定會(huì)存在相應(yīng)的問題和挑戰(zhàn)，網(wǎng)格當(dāng)然也不例外。

（1）異構(gòu)性：由于網(wǎng)格由分布在廣域網(wǎng)上不同管理域的各種計(jì)算資源組成，怎樣實(shí)現(xiàn)異構(gòu)機(jī)器間的合作和轉(zhuǎn)換是首要問題。

（2）動(dòng)態(tài)自適應(yīng)性：要在網(wǎng)格資源規(guī)模不斷擴(kuò)大、應(yīng)用不斷增長的情況下，不因一個(gè)低速或者落伍的系統(tǒng)而降低整體速度和性能，資源管理必須能動(dòng)態(tài)監(jiān)視和管理網(wǎng)格資源，從可利用的資源中選取最佳資源服務(wù)，避開“最小公分母”問題。

（3）因特帶寬：如今的因特帶寬始終無法承載網(wǎng)格。

（4）統(tǒng)一標(biāo)準(zhǔn)：網(wǎng)格的技術(shù)標(biāo)準(zhǔn)需國際化，統(tǒng)一標(biāo)準(zhǔn)意味著網(wǎng)格可以使接入設(shè)備像電話一樣易用。

（5）網(wǎng)絡(luò)安全性和知識(shí)產(chǎn)權(quán)問題：一旦資源被整合到網(wǎng)格環(huán)境下實(shí)現(xiàn)共享，我們就不得不擔(dān)心這些數(shù)據(jù)如何分享、分割、過濾、移動(dòng)、確保安全和有效管理利用。

8．結(jié)束語

網(wǎng)格憑借其獨(dú)特的優(yōu)勢(shì)和魅力，在學(xué)科研究、企業(yè)信息處理、電子政務(wù)、個(gè)人娛樂方面擁有廣泛的應(yīng)用前景。我國的許多行業(yè)，如能源、交通、氣象、水利、農(nóng)林、教育、環(huán)保等對(duì)信息網(wǎng)格的需求也是非常巨大的。網(wǎng)格已從一個(gè)新興名詞逐漸融入到各行各業(yè)，未來幾年中網(wǎng)格將在全球掀起一股新的大潮，互聯(lián)網(wǎng)的前兩次浪潮，中國都沒有參與世界上核心技術(shù)的創(chuàng)新工作，我國的計(jì)算機(jī)產(chǎn)業(yè)，在總體上一直落后于西方國家。那么這次網(wǎng)格所帶來的將是中國實(shí)現(xiàn)跨越式發(fā)展的一個(gè)絕好機(jī)會(huì)，我們必須抓住機(jī)遇，加入到世界同行的隊(duì)伍中，一起創(chuàng)造網(wǎng)格。

參考文獻(xiàn)：

（1）伊安·福斯特（Ian Foster）. 《網(wǎng)格：21世紀(jì)信息技術(shù)基礎(chǔ)設(shè)施的藍(lán)圖》. 1998年版

（2）商務(wù)應(yīng)用.《什么是網(wǎng)格計(jì)算》. http://www.zdnet.com.cn/biztech/tech-trend/ story/0,2000068130,39034787,00.htm. Friday, May 17 2002

（3）中國網(wǎng)格.《網(wǎng)格計(jì)算》.www.chinagrid.com

（4）劉鵬.《網(wǎng)格應(yīng)用研究現(xiàn)狀》. 清華大學(xué)計(jì)算機(jī)系高性能所網(wǎng)格研究組

（5）金凡.《網(wǎng)格計(jì)算技術(shù)的魅力在哪里？》. 中國計(jì)算機(jī)報(bào).2004-5-10

（6）徐志偉. 《互聯(lián)網(wǎng)涅槃—正在浮現(xiàn)的網(wǎng)格技術(shù)》.《互聯(lián)網(wǎng)世界》.陳麗英主編

（7）都志輝、陳渝、劉鵬編.《網(wǎng)格計(jì)算》.清華大學(xué)出版社.2002年11月出版

（8）Ian Foster (Editor), Carl Kesselman (Editor). 《TheGrid》.first edition. published November, 1998