基于PC集群的MPI并行環(huán)境的搭建

希潤高娃

內(nèi)蒙古師范大學(xué)計算機(jī)與信息工程學(xué)院 內(nèi)蒙古 010022

0 引言

高性能仍是計算機(jī)領(lǐng)域的重要目標(biāo)。并行計算的不斷發(fā)展推動著高性能計算的發(fā)展，利用集群系統(tǒng)的并行計算技術(shù)已被認(rèn)為是未來解決大數(shù)據(jù)量問題或商業(yè)計算的導(dǎo)向。集群能夠充分利用現(xiàn)有的閑置計算機(jī)資源，而且還能夠使用較低配置的軟硬件，來實現(xiàn)較高性能的計算。隨著處理器技術(shù)和高性能網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，以及軟件工具的改善，PC的性能不斷的提高，價格越來越廉價，性價比已遠(yuǎn)遠(yuǎn)優(yōu)于工作站，而PC集群也成為了高性價比的并行計算資源。所以基于PC的并行計算環(huán)境及其上的并行算法的研究是很有價值和意義的。

MPI(Message Passing Interface)是基于消息傳遞編寫并行程序的一種用戶界面，是一個并行函數(shù)庫的標(biāo)準(zhǔn)，是可移植的標(biāo)準(zhǔn)平臺。MPI具有內(nèi)定和用戶自定義的數(shù)據(jù)匯集操作功能，可以把大量數(shù)據(jù)進(jìn)行打包后傳輸；能有效地管理消息、緩存區(qū)，具有結(jié)構(gòu)化緩存，擴(kuò)充數(shù)據(jù)類型及異構(gòu)性，能實現(xiàn)完全異步的點對點通信，發(fā)送與接收操作可以完全與計算操作交叉進(jìn)行。MP移植性好、功能強(qiáng)大、效率高、硬件平臺支持度高等多種優(yōu)點，使它成為了研究和應(yīng)用的重要并行環(huán)境。

1 集群

1.1 集群系統(tǒng)結(jié)構(gòu)

集群是一組協(xié)同工作的服務(wù)實體，用以提供比單一服務(wù)實體更具擴(kuò)展性和可用性的服務(wù)平臺，屬于分布式存儲的并行計算機(jī)結(jié)構(gòu)，典型的集群系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 集群系統(tǒng)結(jié)構(gòu)圖

集群通過計算機(jī)高速網(wǎng)絡(luò)將一群工作節(jié)點連接起來，充分利用各個節(jié)點的各種資源，統(tǒng)一調(diào)度，協(xié)調(diào)處理，以實現(xiàn)高效率的并行計算。其高速網(wǎng)絡(luò)可以是普通的局域網(wǎng)也可以是高速網(wǎng)絡(luò)，而通信協(xié)議一般是TCP/IP協(xié)議。集群的節(jié)點可以是高端微機(jī)也可以是低端微機(jī)，而且可以是單機(jī)也可以是多處理器系統(tǒng)。每個節(jié)點都有獨立的存儲器、I/O設(shè)備和操作系統(tǒng)，各節(jié)點除了可以作為單一的計算資源供交互式用戶使用外，還可以協(xié)同工作表現(xiàn)為單一、集中的計算資源供并行計算任務(wù)使用。

1.2 集群系統(tǒng)分類

根據(jù)不同的標(biāo)準(zhǔn)，集群系統(tǒng)可有多種分類方式。其中針對集群系統(tǒng)的使用目的可分為三類。

(l) 高性能計算集群(High Performance Compute clustering)：以高性價比替代用于并行計算的傳統(tǒng)超級計算機(jī)。使用高速商用互聯(lián)網(wǎng)絡(luò)；可以包含數(shù)十個至上萬個PC機(jī)或工作站；可以提供接近甚至超過傳統(tǒng)超級計算機(jī)的計算能力。但是價格只是具有同等計算能力的超級計算機(jī)的幾十分之一。

(2) 高可用性集群(High-availability clustering)：掩蓋硬件以及軟件的易錯性，對外提供不間斷的服務(wù)。高可用性集群致力于使服務(wù)器系統(tǒng)的運行速度和響應(yīng)速度盡可能快。

(3) 負(fù)載均衡集群(Load-balance clustering)：在多個節(jié)點間分配網(wǎng)絡(luò)或計算負(fù)載。

這三種類型的集群通常會發(fā)生混合與重疊。本文主要圍繞高性能計算集群進(jìn)行介紹。

2 PC集群的建立與MPI環(huán)境的安裝

2.1 硬件選擇與安裝

硬件是集群系統(tǒng)的物理基礎(chǔ)，硬件的安裝比軟件安裝較為標(biāo)準(zhǔn)化。如何選擇適合于搭建集群系統(tǒng)的硬件，主要取決于對集群的功能、性能以及價格等因素的要求。

單個節(jié)點構(gòu)建，包括CPU、內(nèi)存、總線和I/O系統(tǒng)等；節(jié)點連接包括網(wǎng)卡、交換機(jī)等。

PC節(jié)點跟普通PC并沒有很大的區(qū)別，只是性能上可能有所差別，如CPU的主頻較高，內(nèi)存容量較大，I/O系統(tǒng)速度較快等。

節(jié)點連接時，連接各節(jié)點的通信子系統(tǒng)是整個集群系統(tǒng)的性能瓶頸。集群系統(tǒng)中使用的網(wǎng)絡(luò)技術(shù)有很多，包括以太網(wǎng)、光纖分布式數(shù)據(jù)接口FDDI(Fiber Distributed Data Interface)、異步傳輸模式ATM(Asynchronous Transfer Model)、Myrinet、高性能并行接口HiPPI(High Performance Parallel Interface)以及可擴(kuò)展一致性接口SCI(Scalable Coherent Interface)等，但由于高速以太網(wǎng)的普及，采用以太網(wǎng)會帶來較高的性價比。以太網(wǎng)系統(tǒng)包括網(wǎng)線、網(wǎng)卡及交換機(jī)等。選擇網(wǎng)卡主要考慮帶寬、接口類型、總線類型等。交換機(jī)的技術(shù)參數(shù)較多，主要考慮機(jī)架插槽數(shù)和擴(kuò)展槽數(shù)、最大可堆疊數(shù)、背板吞吐量、緩沖區(qū)大小和MAC地址表大小等。

本文中的實例是包含四個PC節(jié)點的小型集群，每個節(jié)點的配置有，CPU：Pentium Ⅳ 2.0G、內(nèi)存：2G 、硬盤：160G IDE、主板：ASUS P4T Socket 423 網(wǎng)卡：100Mbps Ethernet，在一個網(wǎng)段的局域網(wǎng)中，四臺PC機(jī)可以互相Ping的通，通過DHCP獲得IP地址，互相可以ssh；節(jié)點連接沒有使用交換設(shè)備。

2.2 軟件的選擇與安裝

2.2.1 軟件選擇

目前，流行的操作系統(tǒng)大致分為如下幾類：Windows系列、各種UNIX、Linux以及Mac OS。對構(gòu)建高性能計算集群，Linux是最佳的選擇。本文中所創(chuàng)建的集群中使用的是Red Hat Enterprise Linux-5U4。

Linux是目前兼容硬件平臺及各種文件系統(tǒng)最為完備的操作系統(tǒng)，良好的軟硬件兼容性保證了Linux系統(tǒng)能夠使用于異構(gòu)集群，同時開放源碼的發(fā)展模式也保證了現(xiàn)有集群軟件方便地遷移至Linux下運行。Linux系統(tǒng)對UNIX系統(tǒng)的兼容使得目前基于UNIX的集群系統(tǒng)可以在很小的修改下就能夠成功運行于Linux。

MPICH是最重要的一種MPI實現(xiàn)，是一個與MPI規(guī)范同步發(fā)展的版本。本文將采用MPI的一個成熟和廣泛使用的版本mpich2-1.3.2p1來構(gòu)造MPI并行環(huán)境。

2.2.2 軟件安裝

四個節(jié)點的操作相同，下面以節(jié)點1的操作為例進(jìn)行說明。

(1) 配置IP地址及網(wǎng)絡(luò)環(huán)境

如表1所示，設(shè)置IP地址與主機(jī)名。

表1 節(jié)點主機(jī)名與IP地址分配表

① 通過編輯/etc/sysconfig/network文件永久修改主機(jī)名。編輯內(nèi)容為：

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=node1

② 在其中一臺機(jī)器上修改/etc/hosts文件，將每個機(jī)器的IP地址與主機(jī)名關(guān)聯(lián)起來，然后把該hosts文件拷貝到其他三臺機(jī)器的相應(yīng)目錄下。hosts文件更改如下：

127.0.0.1 localhost.localdomain localhost

192.168.0.164 node1

192.168.0.145 node2

192.168.0.151 node3

192.168.0.118 node4。

(2) 創(chuàng)建SSH信任連接

① 在一臺機(jī)器上生成SSH密鑰對，命令為：#ssh-keygen-t dsa。

② 進(jìn)入ssh目錄，生成authorized_keys文件，命令為：#mv id_rsa.pub authorized_keys ；authorized_keys文件用于保存所有允許以當(dāng)前用戶身份登錄的ssh客戶端用戶的公鑰內(nèi)容。

③ 建立本身的信任連接，命令為：#ssh node1，按提示輸入YES。

④ 把生成的authorized_keys文件拷貝到其它機(jī)器的ssh目錄下。

⑤ 對每個機(jī)器執(zhí)行ssh命令來確認(rèn)每臺機(jī)器的信任連接已建立。

(3) 安裝MPICH2

① 從MPICH官方網(wǎng)站下載源代碼包，解壓縮，創(chuàng)建安裝目錄，進(jìn)入mpich2解壓目錄，編譯并且設(shè)置安裝目錄/usr/loca/mpi，進(jìn)行安裝。

② 進(jìn)入mpd目錄，安裝進(jìn)程管理器，最新版的MPICH2的默認(rèn)進(jìn)程管理器為hydra，本文中使用的是mpd。

#cd src/pm/mpd

#./configure –prefix=/usr/local/mpi

#make && make install

③ 通過編輯.bashrc文件修改環(huán)境變量，修改后的.bashrc文件如下：

# User specific aliases and functions

alias rm='rm -i'

alias cp='cp -i'

alias mv='mv -i'

PATH="$PATH:/usr/local/mpi/bin"

#Source global definitions

if [ -f /etc/bashrc ]; then

. /etc/bashrc

fi

④ 修改/usr/local/mpi/etc/mpd.conf文件，設(shè)置密碼，內(nèi)容為：secretword=myword；設(shè)置文件讀取權(quán)限和修改時間。

#touch /usr/local/mpi/etc/mpd.conf

#chmod 600 /usr/local/mpi/etc/mpd.conf

⑤ 最后創(chuàng)建主機(jī)名稱集合文件etc/mpd.hosts，文件內(nèi)容為四個主機(jī)名。

(4) 查錯

啟動單節(jié)點和集群，上面運行測試程序，運行正常的話，利用mpdcheck，對每個節(jié)點和每兩個節(jié)點進(jìn)行查錯。

3 測試

在建立的集群上運行了MPICH的圓周率程序和分塊矩陣乘法程序，運行結(jié)果如表2所示。

表2 測試結(jié)果對照表

4 結(jié)論

利用集群系統(tǒng)的研究與應(yīng)用已成為熱點，它具有高性價比、高可擴(kuò)展性、靈活的系統(tǒng)結(jié)構(gòu)等其它并行系統(tǒng)不可代替的優(yōu)勢。而在PC普及的今天，PC集群具有很多的優(yōu)點及很大的發(fā)展空間。本文的實例表明，基于PC集群的MPI并行環(huán)境是易構(gòu)建的，對于大量數(shù)據(jù)計算，性能更佳。由于參與運算的機(jī)器需要通過網(wǎng)絡(luò)傳遞一些消息，如果計算量不大的話，通信開銷影響會比較明顯，反不如單機(jī)來得快。

[1] 徐巍,.李玉榕.MPICH在集群系統(tǒng)中的運用.福建工程學(xué)院學(xué)報.

[2] 鎮(zhèn)方雄.PC集群的建立和MPI并行環(huán)境的實現(xiàn)與編程.咸寧學(xué)院學(xué)報.

[3] 鄒凱.Linux Cluster and Storage.

[4] 都志輝,李三立,陳渝等.高性能計算之并行編程技術(shù)-MPI并行程序設(shè)計.清華大學(xué)出版社.