高性能計(jì)算集群中的網(wǎng)絡(luò)技術(shù)研究與實(shí)踐

劉 穎，陳 煜，林 林，段媛媛

（中國(guó)水利水電科學(xué)研究院 信息中心，北京 100038）

高性能計(jì)算集群中的網(wǎng)絡(luò)技術(shù)研究與實(shí)踐

劉 穎，陳 煜，林 林，段媛媛

（中國(guó)水利水電科學(xué)研究院 信息中心，北京 100038）

隨著高性能計(jì)算技術(shù)及計(jì)算規(guī)模的快速發(fā)展，網(wǎng)絡(luò)通信速度的發(fā)展已遠(yuǎn)遠(yuǎn)落后于CPU的發(fā)展，網(wǎng)絡(luò)性能已成為高性能計(jì)算集群發(fā)展的瓶頸。全國(guó)山洪災(zāi)害防治管理平臺(tái)，需要海量數(shù)據(jù)存儲(chǔ)能力和高速度、大容量、高精度計(jì)算處理能力，為了打破網(wǎng)絡(luò)通信速度對(duì)高性能計(jì)算集群速度的制約，采用InfiniBand互連結(jié)構(gòu)有效的縮短網(wǎng)絡(luò)和CPU之間的性能差距，使高性能計(jì)算集群的整體性能趨于平衡。本文結(jié)合全國(guó)山洪災(zāi)害防治管理平臺(tái)高性能計(jì)算集群的建設(shè)實(shí)踐，針對(duì)其中的專用網(wǎng)絡(luò)技術(shù)研究及網(wǎng)絡(luò)環(huán)境的搭建作了重點(diǎn)闡述。

高性能計(jì)算；高性能計(jì)算集群；并行計(jì)算；網(wǎng)絡(luò)技術(shù)；InfiniBand

1 研究背景

高性能計(jì)算集群是當(dāng)前較為先進(jìn)的計(jì)算體系，是融合了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和軟件的綜合體［1］。在構(gòu)建整個(gè)系統(tǒng)的過(guò)程中，要保證架構(gòu)的每個(gè)環(huán)節(jié)采用先進(jìn)且成熟的產(chǎn)品與技術(shù)，要均衡各環(huán)節(jié)之間的關(guān)系，消除系統(tǒng)構(gòu)架的瓶頸，保證整個(gè)系統(tǒng)的高效率運(yùn)行，可以滿足未來(lái)數(shù)年技術(shù)和應(yīng)用發(fā)展的需要。集群系統(tǒng)的主要考核指標(biāo)是整體性能，即計(jì)算、存儲(chǔ)、I/O能力與智能管理的體現(xiàn)［2］。

Infiniband網(wǎng)絡(luò)通過(guò)一套中心Infiniband交換機(jī)在存儲(chǔ)、網(wǎng)絡(luò)以及服務(wù)器等設(shè)備之間建立一個(gè)單一的連接鏈路［3］。由中心Infiniband交換機(jī)來(lái)控制流量，提高系統(tǒng)性能、可靠性和有效性，緩解各硬件設(shè)備之間的數(shù)據(jù)流量擁塞，有效的解決傳統(tǒng)I/O結(jié)構(gòu)的通信傳輸瓶頸。

全國(guó)山洪災(zāi)害防治管理平臺(tái)支撐2 058個(gè)縣的山洪災(zāi)害預(yù)警預(yù)報(bào)，需要海量的數(shù)據(jù)存儲(chǔ)能力和計(jì)算處理能力，高性能計(jì)算集群是提高全國(guó)山洪災(zāi)害防治管理研究水平的重要基礎(chǔ)設(shè)施。集群中所有節(jié)點(diǎn)均保證充足的計(jì)算能力，節(jié)點(diǎn)間使用56Gb/s的Infiniband網(wǎng)絡(luò)高速互連，以保證通信密集型并行應(yīng)用對(duì)互連網(wǎng)絡(luò)的性能要求。

2 高性能計(jì)算集群網(wǎng)絡(luò)通信技術(shù)

高性能計(jì)算（High performance computing，HPC）指通常使用多個(gè)處理器或者某一集群中組織的幾臺(tái)計(jì)算機(jī)的計(jì)算系統(tǒng)和環(huán)境。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互連［4］。高性能計(jì)算集群（High performance computing cluster，HPCC）主要應(yīng)用于科學(xué)計(jì)算、氣象分析、地質(zhì)勘探等領(lǐng)域。這一類應(yīng)用計(jì)算量大，中間計(jì)算結(jié)果多，要求有高效的消息傳遞機(jī)制和海量數(shù)據(jù)存儲(chǔ)訪問(wèn)能力，而這兩者的效率，很大程度上取決于網(wǎng)絡(luò)速度［5］。目前絕大部分的應(yīng)用課題都采用MPI（Multi Point Interface，多點(diǎn)接口）傳遞消息和并行處理。在傳統(tǒng)網(wǎng)絡(luò)上運(yùn)行MPI課題時(shí)有兩個(gè)顯著的問(wèn)題：消息傳遞慢、系統(tǒng)CPU占用率高。而海量數(shù)據(jù)存儲(chǔ)訪問(wèn)在HPCC中一般是通過(guò)共享文件系統(tǒng)來(lái)實(shí)現(xiàn)的，傳統(tǒng)網(wǎng)絡(luò)上的共享文件系統(tǒng)也有兩個(gè)顯著的缺點(diǎn)，即速度慢和并發(fā)訪問(wèn)能力差。而使用Infiniband技術(shù)的主要目的就是解決這兩個(gè)方面的問(wèn)題。并行計(jì)算（Parallel computing）基本思想是用多個(gè)處理器來(lái)協(xié)同求解同一問(wèn)題，即將被求解的問(wèn)題分解成若干個(gè)部分，各部分均由一個(gè)獨(dú)立的處理器來(lái)計(jì)算。并行計(jì)算既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級(jí)計(jì)算機(jī)，也可以是以某種方式互連的若干臺(tái)的獨(dú)立計(jì)算機(jī)構(gòu)成的集群。

Infiniband技術(shù)是一種基于全雙工、交換式串行傳輸?shù)男滦虸/O總線網(wǎng)絡(luò)技術(shù)。簡(jiǎn)化并且提高了服務(wù)器間連接的速度，還能與遠(yuǎn)程存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備相連接。該項(xiàng)技術(shù)具有延時(shí)低、帶寬高、互操作性、可靠性和可擴(kuò)展等特性。

2.1 In finiband的層次結(jié)構(gòu) 與傳統(tǒng)的TCP/IP網(wǎng)絡(luò)相同，Infiniband網(wǎng)絡(luò)也采用多層次結(jié)構(gòu)［6］。每層協(xié)議均不相同并且相互獨(dú)立。在消息傳送過(guò)程中，各層負(fù)責(zé)不同的任務(wù)，下層為上層提供服務(wù)，上層依賴于下層實(shí)現(xiàn)功能。Infiniband采用IPv6報(bào)頭格式，其數(shù)據(jù)包報(bào)頭包括全局路由標(biāo)識(shí)符（Global Routing Header，GRH）、本地路由標(biāo)識(shí)符（Local Routing Header，LRH）和基本的傳輸標(biāo)識(shí)符（Base TransportHeader，BTH）等。Infiniband的層次結(jié)構(gòu)如圖1所示。

圖1 Infiniband的層次結(jié)構(gòu)

2.2 In finiband的通信機(jī)制 Infiniband借鑒了虛擬接口結(jié)構(gòu)（Virtual Interface Architecture，VIA）標(biāo)準(zhǔn)實(shí)現(xiàn)網(wǎng)絡(luò)通信。VIA是由Intel、Microsoft和Compaq共同開發(fā)的用戶層互連協(xié)議標(biāo)準(zhǔn)，目的是避免傳統(tǒng)網(wǎng)絡(luò)協(xié)議的過(guò)度開銷和延時(shí)。VIA由4個(gè)基本部分組成，包括虛擬接口、完成隊(duì)列、VI提供者和VI用戶。虛擬接口由一對(duì)工作隊(duì)列組成，即發(fā)送隊(duì)列和接收隊(duì)列。VI提供者由一個(gè)物理網(wǎng)絡(luò)適配器和一個(gè)軟件核心代理組成。VI用戶由一個(gè)應(yīng)用程序和一個(gè)操作系統(tǒng)通信基礎(chǔ)設(shè)施組成。VI用戶將請(qǐng)求以描述符的形式發(fā)送至工作隊(duì)列中，以達(dá)到發(fā)送或接收數(shù)據(jù)的目的。VI提供者異步處理工作隊(duì)列中的描述符。每一個(gè)工作隊(duì)列都有一個(gè)相關(guān)的提醒機(jī)制，提醒機(jī)制會(huì)通知VI提供者工作隊(duì)列中有新的描述符等待處理，提醒機(jī)制由適配器直接實(shí)現(xiàn)而不需要操作系統(tǒng)的介入。完成隊(duì)列則允許VI用戶將多個(gè)工作隊(duì)列中描述符的完成情況進(jìn)行合并報(bào)告。

作為VI用戶，應(yīng)用程序通過(guò)操作系統(tǒng)的通信接口與VI用戶代理進(jìn)行交互。VI用戶訪問(wèn)網(wǎng)絡(luò)硬件資源時(shí)，由VI用戶代理先向內(nèi)核登記用戶緩存，隨后將控制轉(zhuǎn)給VI核心代理。VI核心代理作為VI的提供者，將應(yīng)用程序所劃出的緩存控制交給網(wǎng)絡(luò)適配器。這些緩存通過(guò)隊(duì)列進(jìn)行分配，而隊(duì)列則通過(guò)驅(qū)動(dòng)程序和網(wǎng)絡(luò)適配器進(jìn)行管理，應(yīng)用程序使用這些隊(duì)列在系統(tǒng)之間讀寫數(shù)據(jù)。VI應(yīng)用程序要發(fā)送數(shù)據(jù)，首先將數(shù)據(jù)存儲(chǔ)位置的指針等信息組成一個(gè)描述符送進(jìn)VI隊(duì)列對(duì)中，網(wǎng)絡(luò)適配器在后臺(tái)對(duì)其進(jìn)行讀、寫和RDMA等操作［7］。這樣就避免了傳統(tǒng)協(xié)議在數(shù)據(jù)通過(guò)網(wǎng)絡(luò)協(xié)議棧時(shí)所做的多次數(shù)據(jù)拷貝和上下文切換的開銷，實(shí)現(xiàn)零拷貝，大幅度節(jié)省了數(shù)據(jù)傳輸響應(yīng)時(shí)間。

3 高性能計(jì)算集群網(wǎng)絡(luò)通信模型

高性能計(jì)算集群主要由并行計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、I/O節(jié)點(diǎn)、網(wǎng)絡(luò)互聯(lián)系統(tǒng)及其他輔助設(shè)施組成。高性能計(jì)算集群具有優(yōu)異的可擴(kuò)展性，用戶可以根據(jù)自己的需求隨時(shí)增減系統(tǒng)中節(jié)點(diǎn)的數(shù)量［8］。在將來(lái)計(jì)算能力需要擴(kuò)充時(shí)，只需要增加一定數(shù)量的節(jié)點(diǎn)數(shù)目，即可在不影響當(dāng)前應(yīng)用的情況下，擴(kuò)展整個(gè)系統(tǒng)的計(jì)算與存儲(chǔ)能力［9］。

全國(guó)山洪災(zāi)害防治管理平臺(tái)高性能計(jì)算集群使用刀片集群架構(gòu)，提供64個(gè)刀片節(jié)點(diǎn)，配置并行存儲(chǔ)系統(tǒng)。網(wǎng)絡(luò)互聯(lián)采用InfiniBand技術(shù)，提高網(wǎng)絡(luò)性能，保證計(jì)算集群數(shù)據(jù)通信的需求。

3.1 并行計(jì)算網(wǎng)絡(luò) 以MPI為代表的高性能計(jì)算程序，在多節(jié)點(diǎn)并行運(yùn)行時(shí)將產(chǎn)生有頻繁大量的網(wǎng)絡(luò)數(shù)據(jù)通信，計(jì)算網(wǎng)絡(luò)的性能對(duì)于并行程序的計(jì)算性能、并行加速比以及可擴(kuò)展性都具有決定性的影響。因此，在實(shí)際應(yīng)用中，大部分并行應(yīng)用程序?qū)τ?jì)算網(wǎng)絡(luò)的帶寬和延遲性能都非常依賴，低延遲、高帶寬的計(jì)算網(wǎng)絡(luò)是大規(guī)模并行計(jì)算必不可少的要素之一。

目前大規(guī)模高性能計(jì)算集群均采用分布式并行存儲(chǔ)架構(gòu)，集群的規(guī)模越大，應(yīng)用程序?qū)Υ鎯?chǔ)I/O性能要求越高，則對(duì)并行存儲(chǔ)系統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)性能要求越高。

為了降低網(wǎng)絡(luò)延遲，提高并行和存儲(chǔ)I/O性能，全國(guó)山洪災(zāi)害防治管理平臺(tái)高性能計(jì)算集群采用了目前性能較高的56Gb/s FDR InfiniBand高速網(wǎng)絡(luò)，用作并行計(jì)算程序的計(jì)算網(wǎng)絡(luò)以及并行存儲(chǔ)系統(tǒng)的存儲(chǔ)網(wǎng)絡(luò)。并行計(jì)算網(wǎng)絡(luò)配置3臺(tái)36端口FDR InfiniBand交換機(jī)，共108個(gè)FDR端口。InfiniBand網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖2所示。

圖2 InfiniBand并行計(jì)算網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

56Gb/s FDR Infiniband是目前帶寬較高、延遲較低的產(chǎn)品，網(wǎng)絡(luò)帶寬是QDR的兩倍，延遲只有0.7μs，是QDR的一半。FDR InfiniBand的56Gb/s帶寬和64位/66位編碼方式實(shí)現(xiàn)了接近100%的傳輸效率，700納秒的點(diǎn)對(duì)點(diǎn)延時(shí)，第一次將通用網(wǎng)絡(luò)的帶入了納秒時(shí)代，實(shí)現(xiàn)了在應(yīng)用延時(shí)上的數(shù)量級(jí)革新。

56Gb/s FDR Infini Band網(wǎng)絡(luò)相比其上一代的40Gb/s QDR Infiniband網(wǎng)絡(luò)，性能得到了非常大的提升。主要體現(xiàn)在網(wǎng)絡(luò)傳輸性能的提高、網(wǎng)絡(luò)編碼效率的提升和PCI-E 3.0編碼效率的提升。FDR InfiniBand網(wǎng)絡(luò)與QDR InfiniBand網(wǎng)絡(luò)的性能對(duì)比如表1所示。由表1可見，QDR InfiniBand網(wǎng)絡(luò)由于編碼效率的影響，帶寬僅能達(dá)到3.2 GBps；而FDR InfiniBand網(wǎng)絡(luò)帶寬可達(dá)到6.6 GBps。

表1 FDR InfiniBand網(wǎng)絡(luò)與QDR InfiniBand網(wǎng)絡(luò)的性能對(duì)比

3.2 并行存儲(chǔ)網(wǎng)絡(luò) 計(jì)算分析任務(wù)會(huì)讀寫大量數(shù)據(jù)文件，從而對(duì)存儲(chǔ)系統(tǒng)的讀寫性能要求很高，如果使用集群外部的NAS存儲(chǔ)，其性能完全不能滿足高性能計(jì)算的存儲(chǔ)I/O需求，會(huì)形成為業(yè)務(wù)運(yùn)行的要害瓶頸。因此全國(guó)山洪災(zāi)害防治管理平臺(tái)為高性能計(jì)算集群建立并行存儲(chǔ)系統(tǒng)，存儲(chǔ)介質(zhì)也有針對(duì)性的采用SSD+SAS結(jié)構(gòu)，大幅度提高了存儲(chǔ)系統(tǒng)的I/O能力。

存儲(chǔ)系統(tǒng)包含2臺(tái)索引控制器和3臺(tái)數(shù)據(jù)控制器。2臺(tái)索引控制器雙活冗余，負(fù)責(zé)存儲(chǔ)系統(tǒng)的監(jiān)控管理。3臺(tái)數(shù)據(jù)控制器負(fù)責(zé)數(shù)據(jù)訪問(wèn)請(qǐng)求，每臺(tái)配置18.96 TB裸容量（包括20塊900GB SAS硬盤和4塊240GB SSD硬盤）。系統(tǒng)控制節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)等客戶端通過(guò)FDR InfiniBand網(wǎng)絡(luò)訪問(wèn)并行存儲(chǔ)系統(tǒng)。InfiniBand網(wǎng)絡(luò)連通計(jì)算集群和存儲(chǔ)集群，提高網(wǎng)絡(luò)存儲(chǔ)效率、I/O能力以及網(wǎng)絡(luò)通信性能，以保證全國(guó)山洪災(zāi)害防治管理平臺(tái)通信密集型并行應(yīng)用對(duì)互連網(wǎng)絡(luò)的性能要求。InfiniBand網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3所示。

圖3 InfiniBand網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

3.3 管理網(wǎng)絡(luò) 管理網(wǎng)絡(luò)連接并行計(jì)算控制節(jié)點(diǎn)、并行計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)等設(shè)備，實(shí)現(xiàn)系統(tǒng)中所有節(jié)點(diǎn)的連通［10］。管理網(wǎng)絡(luò)用于系統(tǒng)管理控制、系統(tǒng)監(jiān)控、作業(yè)的遞交、作業(yè)監(jiān)控管理等方面的數(shù)據(jù)通訊。

全國(guó)山洪災(zāi)害防治管理平臺(tái)的管理網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)性能和網(wǎng)絡(luò)存儲(chǔ)的要求較低，沒(méi)有大量的I/O操作，因此搭建管理網(wǎng)絡(luò)，使用普通的48口千兆交換機(jī)搭建千兆管理網(wǎng)，而不采用InfiniBand網(wǎng)絡(luò)，以減少平臺(tái)搭建費(fèi)用。高性能科學(xué)計(jì)算集群拓?fù)淙鐖D4所示。

圖4 高性能科學(xué)計(jì)算集群拓?fù)?/p>

4 高性能計(jì)算集群性能分析

高性能計(jì)算集群性能主要由InfiniBand網(wǎng)絡(luò)性能和集群計(jì)算效率決定。本文通過(guò)雙向帶寬和網(wǎng)絡(luò)延遲兩個(gè)主要指標(biāo)測(cè)試網(wǎng)絡(luò)性能；實(shí)用linpack測(cè)試集群計(jì)算效率。

4.1 In finiBand網(wǎng)絡(luò)性能測(cè)試 InfiniBand網(wǎng)絡(luò)性能測(cè)試主要從雙向網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)延遲兩方面進(jìn)行測(cè)試。

雙向網(wǎng)絡(luò)帶寬測(cè)試。在網(wǎng)絡(luò)中選取兩個(gè)節(jié)點(diǎn)node1和node2。在節(jié)點(diǎn)node2上啟動(dòng)ib_w rite_bw命令服務(wù)端，具體命令及參數(shù)為：ib_write_bw-b-s 2，參數(shù)中的2為測(cè)試帶寬時(shí)所用傳輸數(shù)據(jù)塊大小。在node1啟動(dòng)ib_w rite_bw命令客戶端，具體命令及參數(shù)為：ib_write_bw-b-s 2 inode2。

雙向帶寬測(cè)試結(jié)果如表2所示。

表2 雙向帶寬測(cè)試

通過(guò)上面的測(cè)試結(jié)果可以看出，節(jié)點(diǎn)間的雙向帶寬為11663MB×8bit/Byte=93.3Gb，單向帶寬約為46.65Gb/s。

網(wǎng)絡(luò)延遲測(cè)試。在網(wǎng)絡(luò)中選取兩個(gè)節(jié)點(diǎn)node1和node2。在節(jié)點(diǎn)node2上啟動(dòng)ib_write_lat命令服務(wù)端，具體命令及參數(shù)為：ib_w rite_lat-s 2，參數(shù)中的2為測(cè)試帶寬時(shí)所用傳輸數(shù)據(jù)塊大小。在node1啟動(dòng)ib_write_lat命令客戶端，具體命令及參數(shù)為：ib_write_lat-s 2 inode2。

網(wǎng)絡(luò)延遲測(cè)試結(jié)果如表3所示。

表3 網(wǎng)絡(luò)延遲測(cè)試

兩節(jié)點(diǎn)間的網(wǎng)絡(luò)延遲約為1μs。

4.2 linpack測(cè)試 Linpack是國(guó)際上最流行的用于測(cè)試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的標(biāo)準(zhǔn)。通過(guò)對(duì)高性能計(jì)算機(jī)采用高斯消元法求解一元N次稠密線性代數(shù)方程組的測(cè)試，評(píng)價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。Linpack測(cè)試包括三類，Linpack100、Linpack1000和HPL。Linpack100求解規(guī)模為100階的稠密線性代數(shù)方程組，只允許采用編譯優(yōu)化選項(xiàng)進(jìn)行優(yōu)化，不得更改代碼和注釋。Linpack1000要求求解1000階的線性代數(shù)方程組，達(dá)到指定的精度要求，允許在不改變計(jì)算量的前提下在算法和代碼上進(jìn)行優(yōu)化。HPL（H igh Performance Linpack，高度并行計(jì)算基準(zhǔn)測(cè)試）對(duì)數(shù)組大小沒(méi)有限制，求解問(wèn)題的規(guī)?？梢愿淖儯舅惴ú豢筛淖兺?，允許采用其它任何優(yōu)化方法。

全國(guó)山洪災(zāi)害防治管理平臺(tái)的HPC集群總共配置64個(gè)刀片計(jì)算節(jié)點(diǎn)，通過(guò)不斷調(diào)整和優(yōu)化相關(guān)測(cè)試參數(shù)，測(cè)試得到HPC集群linpack效率較高時(shí)的運(yùn)行參數(shù)和結(jié)果數(shù)據(jù)如表4所示。HPC集群linpack效率為101.36%，計(jì)算效率表現(xiàn)優(yōu)良。

表4 HPC集群linpack測(cè)試結(jié)果

5 結(jié)論

全國(guó)山洪災(zāi)害防治管理平臺(tái)高性能科學(xué)計(jì)算集群，采用InfiniBand網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)間的數(shù)據(jù)通信，集成后的集群整體計(jì)算能力經(jīng)Linpack測(cè)試達(dá)到雙精度浮點(diǎn)12萬(wàn)億次/s；計(jì)算網(wǎng)絡(luò)節(jié)點(diǎn)間的單向帶寬約為46.65 Gb/s，網(wǎng)絡(luò)延遲約為1μs，數(shù)據(jù)通信效率明顯提升，有效的保證了全國(guó)山洪災(zāi)害防治管理平臺(tái)計(jì)算密集、存儲(chǔ)密集、通信密集型應(yīng)用對(duì)集群內(nèi)部各節(jié)點(diǎn)互連網(wǎng)絡(luò)通信性能的特殊要求。

［1］ Rajkumar Buyya.High Performance Cluster Computing：Architectures and Systems，Volume I［M］.Architectures&Systems，1999.

［2］ 張軍華，臧勝濤，單聯(lián)瑜，等 .高性能計(jì)算的發(fā)展現(xiàn)狀及趨勢(shì)［J］.石油地球物理勘探，2010，45（6）：18-20.

［3］ 謝向輝，彭龍根，吳志兵，等.基于InfiniBand的高性能計(jì)算機(jī)技術(shù)研究［J］.計(jì)算機(jī)研究與發(fā)展，2005，42（6）：906-908.

［4］ 周興銘.高性能計(jì)算技術(shù)發(fā)展［J］.自然雜志，2011，33（5）：249.

［5］ 何素貞，李書平，吳晨旭.高性能計(jì)算集群系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)［J］.廈門大學(xué)學(xué)報(bào)，2004，43（6）：880-881.

［6］ 沈利.Infiniband網(wǎng)絡(luò)接口的研究和實(shí)現(xiàn)［D］.長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2010.

［7］ 徐志斌.基于Infiniband體系架構(gòu)的集群計(jì)算機(jī)互聯(lián)系統(tǒng)的研究［D］.上海：上海大學(xué)，2007.

［8］ 顧夢(mèng)非，徐煒民.一個(gè)基于Linux的集群部署方案［J］.計(jì)算機(jī)應(yīng)用與軟件，2008，25（1）：103.

［9］ 孫超.高性能計(jì)算平臺(tái)的設(shè)計(jì)與應(yīng)用［D］.天津：天津大學(xué)，2013.

［10］ 王勇超.高性能計(jì)算集群技術(shù)應(yīng)用研究［D］.西安：西安理工大學(xué)，2007.

Research and practice of high performance computing cluster network technology

LIU Ying，CHEN Yu，LIN Lin，DUAN Yuanyuan
（Information Center，IWHR，Beijing 100038，China）

With the development of technologies and scale of high performance computing，the improvement of communication speed is far behind the evolution of CPUs，and network capability becomes a significant restriction for the development of technologies of high performance computing cluster.National mountain flood prevention and management plat form demands a huge amount of capability of both storage and computing.In order to break the constraints on the performance of high-performance computing cluster，which originated in network communication speeds，applying the interconnect structure of InfiniBand that effectively diminishes the performance gap between the network and CPU and makes the performance of high performance computing tend to the balance.In this paper，the construction practice of high performance computing cluster is combined with the National mountain flood prevention and management platform.The network technology and construction of network environment is elaborated.

high performance computing；high performance computing cluster；parallel computing；network technology；InfiniBand

TP311.13

A

10.13244/j.cnki.jiwhr.2016.02.002

1672-3031（2016）02-0090-06

（責(zé)任編輯：王冰偉）

2015-08-28

資金項(xiàng)目：中國(guó)水利水電科學(xué)研究院專項(xiàng)（IT0145C01201500000）

劉穎（1986-），女，河北正定人，碩士生，工程師，主要從事網(wǎng)絡(luò)通信技術(shù)、高性能計(jì)算等研究。E-mail：liuying@iwhr.com