基于異構(gòu)網(wǎng)絡(luò)機(jī)群環(huán)境下NPB性能分析*

苑 野， 于永澔

(哈爾濱工業(yè)大學(xué))

?

基于異構(gòu)網(wǎng)絡(luò)機(jī)群環(huán)境下NPB性能分析*

苑 野， 于永澔

(哈爾濱工業(yè)大學(xué))

在異構(gòu)網(wǎng)絡(luò)機(jī)群環(huán)境下，使用NPB基準(zhǔn)測(cè)試程序?qū)Σ⑿邢到y(tǒng)的性能進(jìn)行了評(píng)測(cè)與分析.實(shí)驗(yàn)表明, 在64個(gè)處理器Class D規(guī)模下，NPB程序在TCP/IP協(xié)議下的整體性能優(yōu)于在Infiniband協(xié)議下的整體性能.隨著處理器數(shù)目的提高，其可擴(kuò)展性在TCP/IP協(xié)議和Infiniband協(xié)議中表現(xiàn)的各不相同，并行系統(tǒng)的可擴(kuò)展性和應(yīng)用程序的硬件性能利用率還需進(jìn)一步提高.

NPB;性能評(píng)測(cè);并行基準(zhǔn)測(cè)試程序

0 引言

并行計(jì)算機(jī)系統(tǒng)性能評(píng)測(cè)是指通過(guò)并行基準(zhǔn)測(cè)試程序[1-2]對(duì)并行計(jì)算機(jī)系統(tǒng)運(yùn)行一定量并行程序集時(shí)獲得的性能特征，其性能分析結(jié)果可以發(fā)現(xiàn)系統(tǒng)瓶頸，并做出相關(guān)的系統(tǒng)設(shè)計(jì)和改進(jìn).在科學(xué)與工程計(jì)算領(lǐng)域, Linpack測(cè)試和NPB基準(zhǔn)測(cè)試是兩種最重要的測(cè)試方法，其測(cè)試結(jié)果通常用于評(píng)價(jià)并行計(jì)算機(jī)系統(tǒng)的性能優(yōu)劣.Linpack測(cè)試是衡量計(jì)算機(jī)系統(tǒng)性能的重要指標(biāo)，用于測(cè)試并行計(jì)算機(jī)系統(tǒng)的整體浮點(diǎn)計(jì)算性能.一般情況下，用戶在實(shí)際應(yīng)用并不能得到計(jì)算機(jī)系統(tǒng)硬件的理論峰值計(jì)算能力.而NPB測(cè)試主要用于評(píng)價(jià)CFD應(yīng)用的實(shí)際計(jì)算性能.該文使用NPB程序集對(duì)本單位面向科學(xué)計(jì)算與海量數(shù)據(jù)處理計(jì)算平臺(tái)進(jìn)行了性能評(píng)測(cè)與分析.

1 測(cè)試環(huán)境

該文的硬件測(cè)試環(huán)境為2套IBM面向科學(xué)計(jì)算和海量數(shù)據(jù)處理的高性能計(jì)算平臺(tái).IBM C1000并行機(jī)群系統(tǒng)和IBM C2000并行機(jī)群系統(tǒng)均是64位系統(tǒng)，NPB版本為NPB3.3，GPFS共享文件系統(tǒng)，其優(yōu)化選項(xiàng)均為-O3、隨機(jī)數(shù)發(fā)生器為randi8.

1.1 NPB簡(jiǎn)介

NPB[3-7]是一套用于評(píng)估并行計(jì)算機(jī)系統(tǒng)性能的程序集.該程序集算法主要來(lái)源于計(jì)算流體力學(xué)(CFD)應(yīng)用，它包括5個(gè)核心程序和3個(gè)模擬應(yīng)用程序.主要特點(diǎn)見(jiàn)表1所示.

1.2 IBM C1000機(jī)群系統(tǒng)

IBM C1000并行機(jī)群系統(tǒng)由200個(gè)計(jì)算節(jié)點(diǎn)組成，10G高速以太網(wǎng)互聯(lián)，每個(gè)計(jì)算節(jié)點(diǎn)配有1顆Intel Xeon 2.5G處理器，6M Cache, 16G內(nèi)存，1T SAS磁盤，軟件環(huán)境是64位Red hat Linux 6.2操作系統(tǒng)、MPI版本為MPICH2、編譯器為GNU g77.

表1

1.3 IBM C2000機(jī)群系統(tǒng)

IBM C2000并行機(jī)群系統(tǒng)由50個(gè)計(jì)算節(jié)點(diǎn)組成，Infiniband高速網(wǎng)絡(luò)互聯(lián)，每個(gè)計(jì)算節(jié)點(diǎn)配有1顆Intel Xeon 2.4G處理器，12M Cache, 32G內(nèi)存，1T SAS磁盤，軟件環(huán)境是64位Red hat Linux 6.2操作系統(tǒng)、MPI版本為Intel MPI 4.1、編譯器為Intel C/C++/Fortran 13.0.

2 性能分析

2.1 性能測(cè)試

單節(jié)點(diǎn)的計(jì)算能力和節(jié)點(diǎn)間的通訊能力是決定機(jī)群系統(tǒng)整體性能的主要因素.CPU的速度和內(nèi)存儲(chǔ)器的大小決定單節(jié)點(diǎn)的計(jì)算性能.節(jié)點(diǎn)間的通信性能影響整個(gè)機(jī)群系統(tǒng)的計(jì)算性能，并且節(jié)點(diǎn)間的網(wǎng)絡(luò)通信協(xié)議類型也對(duì)機(jī)群系統(tǒng)的計(jì)算性能有一定程度的影響.在2套基于相同處理器和不同通信網(wǎng)絡(luò)協(xié)議的IBM并行機(jī)群系統(tǒng)上，在Class D規(guī)模上用64個(gè)處理器對(duì)NPB測(cè)試程序集中的IS測(cè)試程序、EP測(cè)試程序、CG測(cè)試程序、MG測(cè)試程序、FT測(cè)試程序、BT測(cè)試程序、SP測(cè)試程序、LU測(cè)試程序，進(jìn)行了系統(tǒng)性能評(píng)測(cè)[8-10]，具體結(jié)果如圖1所示.

圖1 兩套機(jī)群上64個(gè)處理器Class D性能測(cè)試對(duì)比

具體數(shù)據(jù)比較結(jié)果見(jiàn)表2.

機(jī)群C2000的CPU緩存大小、內(nèi)存大小及交換機(jī)的點(diǎn)對(duì)點(diǎn)交換性能指標(biāo)均高于機(jī)群C1000，但是從表2中的兩套機(jī)群系統(tǒng)的比值可以看出，所有測(cè)試程序的Mflop/s/processor比值都大于1，這說(shuō)明C1000系統(tǒng)的整體性能優(yōu)于C2000.也就是說(shuō)NPB測(cè)試程序在TCP/IP協(xié)議下的運(yùn)算性能優(yōu)于在Infiniband協(xié)議下的運(yùn)算性能.

CG、MG和FT主要測(cè)試通信性能，CG、MG和FT的Mflop/s/processor測(cè)試值基本相同，這說(shuō)明C1000可以比較均衡的處理不規(guī)則通信、長(zhǎng)距離通信和內(nèi)存密集訪問(wèn)型通信.EP是密集型并行計(jì)算，幾乎沒(méi)有節(jié)點(diǎn)間處理器通信，主要用于評(píng)估硬件系統(tǒng)的上限浮點(diǎn)計(jì)算性能.EP測(cè)試的比值是2.77，這說(shuō)明Intel Xeon 2.5GHz處理器比Intel Xeon 2.4GHz處理器發(fā)揮了更好的浮點(diǎn)計(jì)算性能.通過(guò)對(duì)處理的主頻和Cache容量的比較，可以得出在EP測(cè)試中Cache的大小對(duì)處理器的浮點(diǎn)計(jì)算性能影響較小.

BT、SP和LU主要測(cè)試點(diǎn)到點(diǎn)的消息傳遞.BT測(cè)試的比值、SP測(cè)試的比值和LU測(cè)試的比值均大于1，這說(shuō)明C1000在處理點(diǎn)到點(diǎn)的消息傳遞上，其性能幾乎是C2000的1.5倍到2.5倍.

IS主要測(cè)試整數(shù)運(yùn)算性能和聚集通信性能.IS的Mflop/s/processor測(cè)試值基本相等，這說(shuō)明兩套機(jī)群系統(tǒng)在處理需要大量通信的二維大整數(shù)桶排序方面的運(yùn)算性能相差不大.

2.2 可擴(kuò)展性測(cè)試

研究NPB中不同類型基準(zhǔn)測(cè)試程序的可擴(kuò)展性對(duì)并行算法優(yōu)化與機(jī)群系統(tǒng)結(jié)構(gòu)改進(jìn)具有重要意義.在理想情況下，并行計(jì)算機(jī)的系統(tǒng)性能隨著處理機(jī)數(shù)量的增加而逐漸變好.

在2套基于相同處理器和不同通信網(wǎng)絡(luò)協(xié)議的IBM并行機(jī)群系統(tǒng)上，對(duì)NPB測(cè)試程序集中的IS測(cè)試程序、EP測(cè)試程序、CG測(cè)試程序、MG測(cè)試程序、FT測(cè)試程序、BT測(cè)試程序、SP測(cè)試程序、LU測(cè)試程序，進(jìn)行了可擴(kuò)展性測(cè)試比較.具體結(jié)果如圖2所示.

圖2 TCP/IP和Infiniband協(xié)議下可擴(kuò)展性比較

由圖2可知，IS程序的Mflop/s/processor測(cè)試值在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為隨著處理器數(shù)量的快速增加而變小，可擴(kuò)展性變差.在TCP/IP協(xié)議下，EP程序的Mflop/s/processor測(cè)試值隨著處理器數(shù)量的增加無(wú)明顯變化，可擴(kuò)展性較好，但在Infiniband協(xié)議下隨著處理器數(shù)量的增加，可擴(kuò)展性很差.

CG和MG程序的Mflop/s/processor測(cè)試值在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為隨著處理器數(shù)量的增加逐漸減小，可擴(kuò)展性很差，主要原因是隨著計(jì)算節(jié)點(diǎn)數(shù)目的增加，系統(tǒng)整體通信能力變?nèi)?CG程序在Infiniband協(xié)議下的可擴(kuò)展性優(yōu)于其在TCP/IP協(xié)議下的可擴(kuò)展性，而MG程序在TCP/IP協(xié)議下的可擴(kuò)展性優(yōu)于其在Infiniband協(xié)議下的可擴(kuò)展性.FT程序的Mflop/s/processor測(cè)試值在兩個(gè)環(huán)境下表現(xiàn)的各異，在TCP/IP協(xié)議下隨著處理器數(shù)量的增加線性增加，可擴(kuò)展性非常好，而在Infiniband協(xié)議下隨著處理器數(shù)量的增加逐漸減小，可擴(kuò)展性很差.

BT、SP和LU程序主要用于測(cè)試計(jì)算能力和通信能力之間的動(dòng)態(tài)變化，在TCP/IP協(xié)議和Infiniband協(xié)議下，BT和SP程序的Mflop/s/processor測(cè)試值均表現(xiàn)為隨著處理器數(shù)量的增加逐漸減小，擴(kuò)展性比較差.而LU程序的Mflop/s/processor測(cè)試值在兩個(gè)協(xié)議下差異較大，在TCP/IP協(xié)議下隨著處理器數(shù)量的增加線性變大，可擴(kuò)展性非常好.而在Infiniband協(xié)議下隨著處理器數(shù)量的增加迅速變小，可擴(kuò)展性非常差.

3 結(jié)論

通過(guò)上述NPB評(píng)測(cè)結(jié)果分析可知，測(cè)試的兩套并行機(jī)群系統(tǒng)，NPB程序在TCP/IP協(xié)議下的整體性能優(yōu)于在Infiniband協(xié)議下的整體性能.可擴(kuò)展性在兩套環(huán)境中表現(xiàn)的各不相同，隨著處理器數(shù)量的增加，IS、MG、CG、BT和SP程序在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為可擴(kuò)展性逐漸變差.EP程序可擴(kuò)展性在TCP/IP協(xié)議下表現(xiàn)為幾乎恒定不變，而在Infiniband協(xié)議下卻表現(xiàn)為逐漸變差.FT和LU程序均呈現(xiàn)在TCP/IP協(xié)議下可擴(kuò)展性逐漸變好，在Infiniband協(xié)議下可擴(kuò)展性變差.

[1] 張亞棣. 計(jì)算機(jī)性能評(píng)測(cè)[J]. 航空計(jì)算技術(shù),1996(4)：38-45

[2] 呂超，戴晨，張為華. 計(jì)算機(jī)體系結(jié)構(gòu)基準(zhǔn)測(cè)試程序集的研究[J]. 計(jì)算機(jī)應(yīng)用與軟件,2013,30(10):189-194.

[3] NAS Parallel Benchmarks, Available on-line from: http://science.nas.nasa.gov/Software/NPB.

[4] 張國(guó)路，王銳，錢德沛. 計(jì)算流體力學(xué)并行程序在多核處理器環(huán)境的Cache性能分析[J]. 高性能計(jì)算機(jī)發(fā)展與應(yīng)用,2013，42(1):26-33.

[5] Sunderam V S, Geist G A. Heterogeneous parallel and distributed computing[J]. Parallel Computing. 1999, 25:1699-1721.

[6] Bailey D H,et al. The NAS parallel benchmarks[J]. International Journal of Supercomputer Application, 1991, 5(3):63-73.

[7] 苑野，于永澔. 基于NPB的并行機(jī)群系統(tǒng)可擴(kuò)展性研究[J]. 哈爾濱商業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版, 2016，32(1):60-63.

[8] 袁偉，張?jiān)迫?，孫家昶. 國(guó)產(chǎn)萬(wàn)億次機(jī)群系統(tǒng)NPB性能測(cè)試分析[J]. 計(jì)算機(jī)研究與發(fā)展,2005，42(6):1079-1084.

[9] 李春艷，張學(xué)杰. 基于高性能計(jì)算的開(kāi)源云平臺(tái)性能評(píng)估[J]. 計(jì)算機(jī)應(yīng)用,2013, 33(12):3580-3585.

[10] 唐淵，孫家昶，張?jiān)迫? 集群網(wǎng)絡(luò)評(píng)測(cè)模型的新探索[J]. 軟件學(xué)報(bào),2005, 16(6):1131-1139.

(責(zé)任編輯：李家云)

Performance Analysis of NPB Based on Heterogeneous Network Cluster Environment

Yuan Ye, Yu Yonghao

(Harbin Institute of Technology)

Using NPB benchmark test program, the performance of parallel system is evaluated and analyzed in heterogeneous network cluster. The experiment shows that the performance of the NPB program is better than the performance of the Infiniband protocol under the D Class protocol in the TCP/IP protocol. With the increase of the number of processors, it can be extended differently in the TCP/IP protocol and infiniband protocol. The parallel scalability and application program of hardware performance of the application need to be further expanded.

NPB; Performance evaluation; Parallel benchmark

2016-02-11

*國(guó)家自然科學(xué)基金項(xiàng)目(51201051)

TP311

A

1000-5617(2016)02-0075-04