并行機(jī)群環(huán)境在網(wǎng)絡(luò)資源平臺(tái)建設(shè)中的應(yīng)用

武亮亮，薛業(yè)，吳毅松，王德健

（大連民族學(xué)院網(wǎng)絡(luò)與信息技術(shù)中心，遼寧大連， 116605）

并行機(jī)群環(huán)境在網(wǎng)絡(luò)資源平臺(tái)建設(shè)中的應(yīng)用

武亮亮，薛業(yè)，吳毅松，王德健

（大連民族學(xué)院網(wǎng)絡(luò)與信息技術(shù)中心，遼寧大連， 116605）

引入廣泛應(yīng)用于并行計(jì)算領(lǐng)域的機(jī)群環(huán)境，采用多服務(wù)器分布式并行任務(wù)處理模式，組合NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備，提出了一種新的解決方案，使資源平臺(tái)的管理和使用更加實(shí)用、穩(wěn)定和高效。

并行，機(jī)群，網(wǎng)絡(luò)存儲(chǔ)，共享分布

隨著網(wǎng)絡(luò)應(yīng)用的不斷發(fā)展，多業(yè)務(wù)、多網(wǎng)絡(luò)不斷普及，高校網(wǎng)絡(luò)資源平臺(tái)的建設(shè)和使用勢(shì)在必行，目前平臺(tái)建設(shè)和使用多基于Ftp服務(wù)，F(xiàn)tp是一種文件傳輸協(xié)議，在校園網(wǎng)內(nèi)可使用戶(hù)可靠高效地傳送數(shù)據(jù)。隨著平臺(tái)建設(shè)廣域發(fā)展，訪(fǎng)問(wèn)量日益增多，傳統(tǒng)的單處理機(jī)模式已不能滿(mǎn)足對(duì)平臺(tái)使用的高效性和穩(wěn)定性的要求，當(dāng)在線(xiàn)人數(shù)達(dá)到超負(fù)荷時(shí)，則可能出現(xiàn)無(wú)限延遲等待甚至宕機(jī)。因此如何搭建更加安全穩(wěn)定的網(wǎng)絡(luò)資源平臺(tái)，以方便師生高速有效地訪(fǎng)問(wèn)使用越顯重要［1］。本文引入廣泛應(yīng)用于并行計(jì)算領(lǐng)域的機(jī)群環(huán)境，采用多服務(wù)器分布式并行任務(wù)處理模式，實(shí)現(xiàn)負(fù)載均衡高效的運(yùn)行模式。

1 多處理機(jī)模式——并行機(jī)群環(huán)境

基于分布式存儲(chǔ)技術(shù)的機(jī)群環(huán)境，通過(guò)提高局部節(jié)點(diǎn)的處理能力而使其成為所謂的超結(jié)點(diǎn)，廣泛應(yīng)用于高性能計(jì)算領(lǐng)域，例如石油勘探、氣候模擬等，是滿(mǎn)足高性能數(shù)據(jù)處理要求的有效途徑，是目前計(jì)算機(jī)科學(xué)領(lǐng)域研究的熱點(diǎn)之一［2］。機(jī)群系統(tǒng)較之傳統(tǒng)的并行處理系統(tǒng)，具有成本低、開(kāi)發(fā)周期短、投資風(fēng)險(xiǎn)低、系統(tǒng)擴(kuò)展性好等優(yōu)點(diǎn)。性能對(duì)比如圖1。

圖1 優(yōu)化的機(jī)群系統(tǒng)性能

1.1 負(fù)載均衡策略

機(jī)群環(huán)境由分布在高速局域網(wǎng)上的多臺(tái)服務(wù)器節(jié)點(diǎn)組成，通過(guò)將用戶(hù)的Ftp請(qǐng)求按特定的分發(fā)策略重定向到不同的節(jié)點(diǎn)以達(dá)到負(fù)載平衡［3］。單個(gè)服務(wù)器節(jié)點(diǎn)往往采用基于進(jìn)程調(diào)度的資源分配方法，根據(jù)應(yīng)用的需求將Ftp請(qǐng)求劃分為若干個(gè)子類(lèi)，調(diào)整各子類(lèi)的進(jìn)程數(shù)量，從而達(dá)到服務(wù)分級(jí)的目的，如圖2。在機(jī)群環(huán)境下，可以將所有服務(wù)節(jié)點(diǎn)的進(jìn)程資源統(tǒng)一分配，同時(shí)在請(qǐng)求分發(fā)時(shí)，保證每臺(tái)節(jié)點(diǎn)的同類(lèi)資源被公平消耗。

圖2 傳統(tǒng)網(wǎng)絡(luò)資源訪(fǎng)問(wèn)——多對(duì)多形式

網(wǎng)絡(luò)資源平臺(tái)前端是采用Web服務(wù)，影響用戶(hù)使用感受最直接的因素是延遲等待，即排隊(duì)時(shí)間和服務(wù)時(shí)間之和，是指從前端節(jié)點(diǎn)建立TCP連接，開(kāi)始接受Ftp請(qǐng)求直到將應(yīng)答響應(yīng)移交給TCP連接的傳輸層協(xié)議所經(jīng)歷的時(shí)間。鑒于此，考慮采用最大空閑節(jié)點(diǎn)優(yōu)先的負(fù)載均衡策略，以保證各服務(wù)節(jié)點(diǎn)能夠協(xié)同合作、公平消耗，提高系統(tǒng)資源的利用率。

機(jī)群中的服務(wù)節(jié)點(diǎn)P0，是整個(gè)機(jī)群系統(tǒng)的核心，需要同時(shí)和客戶(hù)端以及其他服務(wù)節(jié)點(diǎn)建立TCP連接，系統(tǒng)開(kāi)銷(xiāo)較大，實(shí)際應(yīng)用中優(yōu)先采用性能相對(duì)較高的硬件設(shè)備，避免成為系統(tǒng)瓶頸。所有節(jié)點(diǎn)采用進(jìn)程每連接結(jié)構(gòu)，為了實(shí)現(xiàn)不同優(yōu)先級(jí)的業(yè)務(wù)子類(lèi)，各節(jié)點(diǎn)的進(jìn)程池相應(yīng)地劃分為若干個(gè)部分，進(jìn)程池能容納服務(wù)進(jìn)程的個(gè)數(shù)稱(chēng)為進(jìn)程配額，不同子類(lèi)在相互隔離的池中接受服務(wù)。每個(gè)節(jié)點(diǎn)按照一致的分類(lèi)準(zhǔn)則，相同部署，可處理機(jī)群定義的所有業(yè)務(wù)子類(lèi)，以FIFO的方式等待進(jìn)程服務(wù)。前后節(jié)點(diǎn)通過(guò)心跳檢測(cè)原理實(shí)現(xiàn)可靠的消息通訊，在每個(gè)心跳時(shí)刻，后續(xù)節(jié)點(diǎn)通過(guò)狀態(tài)向前繼節(jié)點(diǎn)報(bào)告，返回自己的狀態(tài)信息，進(jìn)程調(diào)度器根據(jù)前繼節(jié)點(diǎn)返回的控制命令，調(diào)整當(dāng)前服務(wù)節(jié)點(diǎn)各個(gè)業(yè)務(wù)類(lèi)的進(jìn)程配額，如圖3。

圖3 機(jī)群環(huán)境下超節(jié)點(diǎn)多處理器共享存儲(chǔ)訪(fǎng)問(wèn)

將分布式共享的并行機(jī)群應(yīng)用于網(wǎng)絡(luò)資源平臺(tái)的使用特點(diǎn)是:

（1）多節(jié)點(diǎn)多處理單元可負(fù)載均衡、安全高效地處理同時(shí)在線(xiàn)多用戶(hù)提出的訪(fǎng)問(wèn)申請(qǐng)，減少用戶(hù)延遲等待的時(shí)間，用戶(hù)可在節(jié)點(diǎn)內(nèi)進(jìn)行任意的瀏覽和選擇操作，將下載任務(wù)計(jì)入隊(duì)列。

（2）下載任務(wù)順次啟動(dòng)，根據(jù)最大空閑節(jié)點(diǎn)策略，可觸發(fā)多節(jié)點(diǎn)并行下載，使得單用戶(hù)下載速度成倍增長(zhǎng)，整體訪(fǎng)問(wèn)速度大大提升。

1.2 機(jī)群環(huán)境搭建

?

相關(guān)操作:

（1）所有節(jié)點(diǎn)機(jī)均安裝同一版本的Debian操作系統(tǒng)，最好采用相同的分區(qū)結(jié)構(gòu);

（2）統(tǒng)一設(shè)置用戶(hù)（node0，node1，node2…）和根口令;

（3）關(guān)閉系統(tǒng)防火墻，開(kāi)啟apache，ftp，echo，rsh，nfs，netfs，telnet等相應(yīng)的系統(tǒng)服務(wù)，并修改主機(jī)名:vim/etc/sysconfig/network例:HOSTNAME =node0（node1，node2…）;

（4）對(duì)所有節(jié)點(diǎn)進(jìn)行同網(wǎng)段的IP網(wǎng)絡(luò)設(shè)置，修改IP地址、網(wǎng)關(guān)等信息。

2 多存儲(chǔ)模式——NAS網(wǎng)絡(luò)存儲(chǔ)

網(wǎng)絡(luò)存儲(chǔ)，是基于數(shù)據(jù)存儲(chǔ)的通用網(wǎng)絡(luò)術(shù)語(yǔ)，分為直連式存儲(chǔ)DAS、網(wǎng)絡(luò)存儲(chǔ)設(shè)備N(xiāo)AS和存儲(chǔ)網(wǎng)絡(luò)SAN三種。其中NAS是一種專(zhuān)用數(shù)據(jù)存儲(chǔ)設(shè)備，直接采用網(wǎng)絡(luò)介質(zhì)相連實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)機(jī)制，避免增加服務(wù)器的I/O負(fù)載。如圖4，NAS內(nèi)嵌系統(tǒng)軟件，提供跨平臺(tái)文件共享，實(shí)現(xiàn)數(shù)據(jù)集中管理，不但具有SAN的共享數(shù)據(jù)和集中管理的優(yōu)點(diǎn)，同時(shí)具有接入快捷、成本低、兼容性好、管理方便等特點(diǎn)，因此NAS已經(jīng)逐漸成為企事業(yè)單位網(wǎng)絡(luò)存儲(chǔ)方案的主要選擇之一［4］。

管道輸水灌溉和滴灌的單井控制面積應(yīng)根據(jù)公式（1）計(jì)算，并結(jié)合片區(qū)的空間分布確定，原則上采用的單井控制灌溉面積不小于計(jì)算值的10畝。噴灌工程的單井控制面積的確定還應(yīng)結(jié)合噴灌機(jī)的選型確定。審查中要嚴(yán)格控制單井控制面積，一方面盡量少打井減少投資，另一方面可促進(jìn)節(jié)水，避免水資源的浪費(fèi)。

圖4 NAS存儲(chǔ)結(jié)構(gòu)

2.1 共享分配策略

并行機(jī)群具有多種樣式，這里采用的是分布式共享模式。由多個(gè)節(jié)點(diǎn)計(jì)算機(jī)通過(guò)消息傳遞網(wǎng)絡(luò)互相連接，各個(gè)處理單元雖然擁有自己獨(dú)立的局部存儲(chǔ)器，但是信息資源主要存放于NAS網(wǎng)絡(luò)共享存儲(chǔ)空間，每個(gè)進(jìn)程都有權(quán)利對(duì)共享地址空間進(jìn)行存儲(chǔ)訪(fǎng)問(wèn)，如果多個(gè)進(jìn)程同時(shí)訪(fǎng)問(wèn)一個(gè)地址時(shí)，通過(guò)鎖機(jī)制來(lái)協(xié)調(diào)處理。各個(gè)處理單元之間通過(guò)消息傳遞來(lái)交換信息和協(xié)調(diào)控制各個(gè)處理器的執(zhí)行。

要實(shí)現(xiàn)機(jī)群服務(wù)的高可用性，就要確保服務(wù)進(jìn)程在失效后能夠快速重啟，并且可靠恢復(fù)。經(jīng)分析引入機(jī)群環(huán)境中的檢查點(diǎn)機(jī)制［5］，其核心目標(biāo)是:檢查點(diǎn)信息的高效讀寫(xiě)，提高機(jī)群服務(wù)的可用性;檢查點(diǎn)信息的一致性，確保機(jī)群服務(wù)失效后能夠根據(jù)檢查點(diǎn)信息可靠地恢復(fù)服務(wù)狀態(tài)。

如圖5，根據(jù)機(jī)群檢查點(diǎn)機(jī)制服務(wù)的核心目標(biāo)，基于共享內(nèi)存的并行機(jī)群環(huán)境設(shè)計(jì)思路是:

（1）基于共享內(nèi)存的檢查點(diǎn)信息讀寫(xiě)。在機(jī)群系統(tǒng)的每個(gè)服務(wù)節(jié)點(diǎn)上啟動(dòng)一個(gè)檢查點(diǎn)進(jìn)程，維護(hù)本服務(wù)端和檢查點(diǎn)進(jìn)程都可以訪(fǎng)問(wèn)的共享內(nèi)存;在此節(jié)點(diǎn)上運(yùn)行的服務(wù)將其關(guān)鍵信息保存在該共享內(nèi)存中，并在機(jī)群某一服務(wù)進(jìn)程失效重啟后，能夠迅速通過(guò)檢查點(diǎn)進(jìn)程讀出該服務(wù)的檢查點(diǎn)信息，恢復(fù)服務(wù)狀態(tài)。

（2）基于單向環(huán)狀的檢查點(diǎn)備份結(jié)構(gòu)。將機(jī)群內(nèi)所有檢查點(diǎn)進(jìn)程組成一個(gè)單向邏輯環(huán)結(jié)構(gòu)，在該邏輯環(huán)中，檢查點(diǎn)進(jìn)程按照順時(shí)針?lè)较颍蚱淝袄^節(jié)點(diǎn)備份檢查點(diǎn)信息，當(dāng)檢查點(diǎn)進(jìn)程失效重新啟動(dòng)后，檢查點(diǎn)進(jìn)程可根據(jù)在邏輯環(huán)中的備份信息，恢復(fù)失效前所維護(hù)的服務(wù)檢查點(diǎn)信息。檢查點(diǎn)進(jìn)程T1將檢查點(diǎn)信息備份到進(jìn)程T2，進(jìn)程T2將檢查點(diǎn)信息備份到進(jìn)程T3，依此類(lèi)推。

圖5 共享內(nèi)存的并行機(jī)群環(huán)狀檢查點(diǎn)機(jī)制

由此，基于共享內(nèi)存和檢查點(diǎn)機(jī)制的機(jī)群環(huán)境，設(shè)計(jì)的核心思想是通過(guò)基于共享內(nèi)存訪(fǎng)問(wèn)提高檢查點(diǎn)的執(zhí)行效率，并通過(guò)檢查點(diǎn)間的備份結(jié)構(gòu)降低內(nèi)存作為非穩(wěn)定存儲(chǔ)帶來(lái)的信息可靠性風(fēng)險(xiǎn)維護(hù)。根據(jù)機(jī)群可靠性理論，短時(shí)間內(nèi)出現(xiàn)2次或更多次故障的概率近似為零。

2.2 網(wǎng)絡(luò)存儲(chǔ)搭建

2.2.2 具體操作:

（1）存儲(chǔ)端

配置存儲(chǔ)端網(wǎng)絡(luò)

管理磁盤(pán)組，建立ISCSI和NAS兩種類(lèi)型的虛擬磁盤(pán)

Debian下調(diào)用的是ISCSI盤(pán)，選擇local user驗(yàn)證模式，建立用戶(hù)組和共享目錄

（2）服務(wù)器節(jié)點(diǎn)終端

更新Debian系統(tǒng)資源獲取列表sources.list，安裝open－iscsi

添加相應(yīng)存儲(chǔ)節(jié)點(diǎn)iscsiadm–m discovery–t sendtargets–p 210.30.1.41:3260

磁盤(pán)分驅(qū)，設(shè)定文件格式fdisk/dev/sdb

掛接本地文件夾mount/dev/sdb1//var/ftp/開(kāi)啟iscsi服務(wù)/etc/init.d/open－iscsi start修改開(kāi)機(jī)啟動(dòng)項(xiàng)/etc/rc.local

3 測(cè)試結(jié)果

網(wǎng)絡(luò)中心并行機(jī)群環(huán)境根據(jù)實(shí)際情況搭建，網(wǎng)絡(luò)資源平臺(tái)建設(shè)小具規(guī)模，現(xiàn)供全校師生訪(fǎng)問(wèn)，運(yùn)行一段時(shí)間以來(lái)，安全平穩(wěn)，用戶(hù)延遲等待和宕機(jī)現(xiàn)象明顯改善，具體參考數(shù)據(jù)如下。

表1 機(jī)群共享存儲(chǔ)環(huán)境下訪(fǎng)問(wèn)速度對(duì)比

表2 機(jī)群共享存儲(chǔ)環(huán)境下服務(wù)性能對(duì)比

4 結(jié)語(yǔ)

通過(guò)測(cè)試結(jié)果來(lái)看，機(jī)群環(huán)境在網(wǎng)絡(luò)資源平臺(tái)中的應(yīng)用得到了很好的效果，各方面性能都有所提升，基本解決了現(xiàn)階段存在的問(wèn)題，但是隨著信息資源量和訪(fǎng)問(wèn)人數(shù)的日益增大，則還需要通過(guò)增加更多服務(wù)節(jié)點(diǎn)，優(yōu)化負(fù)載均衡等方法，以達(dá)到最佳效果，有待于進(jìn)一步研究。

［1］孫進(jìn)康，陳章其.高校網(wǎng)絡(luò)教學(xué)資源的建設(shè)與共享［J］.中國(guó)電化教育，2008（1）:60－63.

［2］鄭曉薇，武亮亮.機(jī)群下基于網(wǎng)格的并行任務(wù)分配策略研究［J］.微電子學(xué)與計(jì)算機(jī)，2008（3）:134－136.

［3］郭成城，晏蒲柳.一種異構(gòu)Web服務(wù)器集群動(dòng)態(tài)負(fù)載均衡算法［J］.計(jì)算機(jī)學(xué)報(bào)，2005（2）:179－183.

［4］GAO Wen，CHEN Mingyu.A faster checkpointing and recovery algorithm with a hierarchical storage approach，Proc of the 8th Int conf on High—Performance computing inAsia.Pacific Region.Los Alamitos，CA:IEEE，ComputerSociety，2005:78－86。

［5］梁祿金，喬強(qiáng).NAS存儲(chǔ)技術(shù)在現(xiàn)代數(shù)字圖書(shū)館中的應(yīng)用研究［J］.現(xiàn)代情報(bào)，2008（12）:99－101.

Application of Parallel Cluster in Network Resource Construction

WU Liang－liang，XUE Ye，WU Yi－song，WANG De－jian
（Network and Information Technology Center，Dalian Nationalities University，Dalian Liaoning 116600，China）

In this paper，we introduce the cluster environment，which widely applies in parallel computing field，into network resource construction.Adoptting mutiserver distributed parallel task treatment mode and NAS network memory equipment，we propose a kind of new solution which brings the administration and usage of resource platform more practicality，stability，and high－effect.

parallel;cluster;network memory;shared distribution

TP393

A

1009－315X（2012）03－0272－03

2011－12－13;最后

2012－03－26

武亮亮（1982－），女，遼寧錦州人，助理工程師，主要從事并行機(jī)群、數(shù)據(jù)安全研究。

（責(zé)任編輯 劉敏）