Windows HPC Server 2008新特性解讀

劉 琦

在推動HPC普及的道路上,微軟終于邁出了堅實一步,推出寄予厚望的Windows HPC Server 2008。這款產(chǎn)品究竟融合了哪些新特性,才使得它成為微軟這一HPC新兵向Linux和Unix發(fā)起挑戰(zhàn)的底牌?

過去只有國防和科研才會用到的高性能計算(HPC)已經(jīng)成為近年來成長最快的領(lǐng)域之一,而且普及化趨勢日漸明顯。在微軟推出HPC產(chǎn)品前,這一領(lǐng)域一直都是Linux和Unix的天下。作為HPC領(lǐng)域的新入局者,微軟在2006年以面向集群服務(wù)器的Windows Compute Cluster Server 2003(WCCS)試水。而在2008年,微軟明確地為自己的企業(yè)級產(chǎn)品加入一款具有標(biāo)志性意義的產(chǎn)品——Windows HPC Server 2008(HPCS),這絕對稱得上微軟在HPC領(lǐng)域中的重大突破。

誰在青睞HPCS

Windows HPC Server 2008將提供新的高速網(wǎng)絡(luò)、高效靈活的集群管理工具、面向服務(wù)的體系結(jié)構(gòu)(SOA)任務(wù)調(diào)度,可用于計算流體力學(xué)、水利樞紐模擬等大規(guī)模并行項目,或BLAST、蒙特卡羅模擬等復(fù)雜的并行項目。

Altair Engineering、Cluster Resources、Platform Computing等多家相關(guān)行業(yè)的企業(yè)都已宣布支持Windows HPC Server 2008。美國內(nèi)布拉斯加大學(xué)PKI研究院的計算中心已經(jīng)將Windows HPC Server 2008部署到一套擁有1151個節(jié)點(diǎn)的大型集群上,為政府、科研和工業(yè)用戶提供服務(wù)。愛荷華大學(xué)、劍橋大學(xué)、3M、Baker Hughes也都已經(jīng)著手部署此套Windows HPC Server 2008。而沖進(jìn)Top500前十名的曙光5000系統(tǒng),更是以1920個節(jié)點(diǎn)成為目前成功部署該系統(tǒng)的最大的通用高性能計算平臺。

與此同時,一些大型金融投資公司,比如摩根斯坦利也在越來越多地使用HPC技術(shù)。微軟稱,HPC Server 2008允許用戶運(yùn)行復(fù)雜的算法,例如確定投資組合的風(fēng)險程度。這種復(fù)雜的應(yīng)用程序可在多個服務(wù)器內(nèi)核的并行環(huán)境中運(yùn)行,不必重新編寫應(yīng)用程序的代碼。對于金融服務(wù)公司來說,不用重新編寫代碼支持消息傳遞接口(MPI)協(xié)議就可以運(yùn)行現(xiàn)有程序的能力或許是HPC Server 2008最重要的功能。

開發(fā)與部署兩不誤

Windows HPC Server 2008是以Windows Server 2008為基礎(chǔ)設(shè)計出的產(chǎn)品,提供了企業(yè)級的工具、性能和擴(kuò)展性。這款操作系統(tǒng)由Windows Server 2008和Microsoft HPC Pack兩個部分組成,結(jié)合了集成式HPC解決方案與高效的開發(fā)環(huán)境,并集成了大量Windows Server平臺所具備的即插即用功能,幫助用戶提高工作效率和降低所使用的 HPC 環(huán)境的復(fù)雜性。與WCCS 相比,該產(chǎn)品的易用性,穩(wěn)定性等都有了很大提高。比如在很短時間內(nèi)在成百上千臺的裸機(jī)上部署好Windows HPC Server 2008,運(yùn)行診斷程序測試現(xiàn)有機(jī)器的連通性等。

Windows HPC Server 2008提供全面的部署、管理與監(jiān)控工具,并能夠集成于現(xiàn)有的基礎(chǔ)設(shè)施之中。Microsoft HPC Pack提供了集群管理、任務(wù)調(diào)度、MPI編程環(huán)境等一系列工具。由于開發(fā)并行程序需要集成的開發(fā)環(huán)境以及對分布式計算標(biāo)準(zhǔn)的支持,Visual Studio 2008為Windows HPC Server 2008提供了一個全面的并行程序環(huán)境。

除了提供對OpenMP、MPI以及Web Services的支持,Windows HPC Server 2008同樣支持第三方數(shù)值庫提供者,性能優(yōu)化器、編譯器,以及為開發(fā)和糾錯并行程序所提供的調(diào)試程序。此外,Windows HPC Server 2008還內(nèi)建了與Linux協(xié)同合作的能力,以Linux代碼編寫的應(yīng)用程序可以通過“Windows Service for UNIX”技術(shù),被Windows HPC Server 2008編譯并運(yùn)行。其統(tǒng)一的管理部署界面則可以有效降低大型、小型計算機(jī)集群部署的復(fù)雜度,并且提供了一個全新且簡單高效的管理體驗來提升集群管理員的效率。

增強(qiáng)性能與可擴(kuò)展性

Windows HPC Server 2008通過增強(qiáng)用戶現(xiàn)有的功能特性以及整合企業(yè)內(nèi)部已有的工具,可以使用戶在更短時間里進(jìn)行更多操作,從而提高效率。管理員和開發(fā)人員可以利用公共的效率平臺和開發(fā)平臺,通過技術(shù)工作站和集群節(jié)省時間。

管理員能夠使用現(xiàn)有的微軟管理工具集中管理控制企業(yè)整個Windows Server結(jié)構(gòu)。命令行接口向管理員完全開放,普通端用戶并不需要掌握命令行方式就可以使用性能強(qiáng)大的HPC。程序開發(fā)人員能夠利用熟悉的開發(fā)工具,比如Visual Studio提供的本地并行調(diào)試程序進(jìn)行開發(fā)或調(diào)試并行程序。此外,開發(fā)團(tuán)隊可以使用Microsoft Office SharePoint Server 2007管理他們的項目并進(jìn)行合作。

Windows HPC Server 2008與其它微軟產(chǎn)品的整合也更好地提升了HPC的生產(chǎn)效率,同時增強(qiáng)了終端用戶的使用體驗,這其中就包括與Microsoft Office SharePoint Server 以及Windows Workflow Foundation的聯(lián)合使用,以及能夠更好增強(qiáng)管理有效性的Microsoft System Center 解決方案。通過與 Windows Communication Foundation (WCF)的整合,Windows HPC Server 2008使面向服務(wù)架構(gòu)(SOA)程序的開發(fā)者可以更好地利用HPC解決方案所提供的全新特性。來自各個領(lǐng)域大量的軟件供應(yīng)商也紛紛對他們的應(yīng)用做出進(jìn)一步調(diào)整從而實現(xiàn)與 Windows HPC Server 2008 的無縫銜接。用戶在依然使用熟悉的應(yīng)用程序的同時可以進(jìn)行業(yè)務(wù)的提交和監(jiān)控,而不必學(xué)習(xí)新的更復(fù)雜的用戶界面。

這一高擴(kuò)展性平臺的發(fā)布使曾經(jīng)受困于Windows平臺限制的高性能開發(fā)者們打破了限制。Windows HPC Server 2008搭建在已經(jīng)成熟的Windows Server 2008 x64-bit技術(shù)平臺之上,能有效地擴(kuò)展到幾千個處理內(nèi)核,同時還包含能幫助系統(tǒng)管理員監(jiān)控系統(tǒng)實時狀況并保持系統(tǒng)穩(wěn)定性的管理工具。該產(chǎn)品與Windows Server 2008企業(yè)版和Microsoft Windows SQL Server整合,還可以提供恢復(fù)服務(wù)器級故障的能力并且通過系統(tǒng)級的冗余提供其固有的可靠性和可用性。

系統(tǒng)快速部署可管理

Windows HPC Server 2008包括配置向?qū)?、工具、?nèi)建管理控制臺以及任務(wù)列表,以在增強(qiáng)Windows Server 2008部署服務(wù)的基礎(chǔ)上簡化計算節(jié)點(diǎn)的供給,從而使用戶可以在一個集群中建立、修改并且部署系統(tǒng)鏡像。

系統(tǒng)模板是新增加的一項功能,通過使用系統(tǒng)模板,減少安裝和配置系統(tǒng)時所花費(fèi)的時間和人力。模板的使用能夠使IT專家建立標(biāo)準(zhǔn)化系統(tǒng)的鏡像并且隨時為集群系統(tǒng)打補(bǔ)丁。另兩項則是增強(qiáng)的功能,一項是Windows Deployment Services(WDS),使用它可以快速地部署操作系統(tǒng)鏡像,通過全新的HPC Pack Administration控制臺可以對進(jìn)程進(jìn)行實時監(jiān)控。另一項是可以通過命令行方式、PowerShell,或者其它諸如Perl之類的腳本語言進(jìn)行編程,管理集群。

新增監(jiān)控與安全特性

建立在Windows Server 2008 64-bit技術(shù)之上的Windows HPC Server 2008包括可擴(kuò)展的管理工具。該工具使用全新的系統(tǒng)界面,它所提供的熱點(diǎn)地圖(Heat map)可以顯示出系統(tǒng)利用率的整體概況。

在監(jiān)控與系統(tǒng)安全方面,以下三項均為全新特性。第一,Windows Server 2008企業(yè)版包含了恢復(fù)服務(wù)器級故障服務(wù),一旦硬件出現(xiàn)問題,Windows Failover Services和SQL Server數(shù)據(jù)庫集群可以提供頭節(jié)點(diǎn)冗余,從而提高系統(tǒng)的可靠性和可用性。第二,管理員可以根據(jù)硬件、軟件或者網(wǎng)絡(luò)特征的不同建立不同的群組,所建立的群組可以簡化管理,并且可以通過映射任務(wù)需求分配給適合的服務(wù)器,從而實現(xiàn)對資源利用率進(jìn)行優(yōu)化。第三,內(nèi)建的診斷工具使管理員可以快速識別并診斷集群中硬件、軟件或者網(wǎng)絡(luò)故障。此外,系統(tǒng)中心操作管理器(System Center Operations Manager 2007)還有自動化執(zhí)行常規(guī)任務(wù)、冗余任務(wù)、智能報告、智能監(jiān)控等功能。

支持SOA工作負(fù)載

Microsoft HPC Pack 2008包括靈活的任務(wù)調(diào)度器,調(diào)度器包括了命令行和圖形式的用戶界面以及向集群遞交任務(wù)的應(yīng)用程序接口。任務(wù)調(diào)度器可以定位批處理及最新的面向服務(wù)的應(yīng)用,用戶也可將其部署為與其他任務(wù)調(diào)度器相互配合的方式,以適應(yīng)混合模式和其他高級策略的要求。

任務(wù)調(diào)度支持全新的SOA工作負(fù)載,這是一項全新的功能。計算結(jié)點(diǎn)能夠通過Windows Communication Foundation(WCF)代理與提交系統(tǒng)之間進(jìn)行通信。WCF代理是一組專用節(jié)點(diǎn),它用于擴(kuò)展集群的性能并充當(dāng)代理,促進(jìn)公用網(wǎng)絡(luò)客戶端和私有網(wǎng)絡(luò)計算節(jié)點(diǎn)間的通信。其他的WCF代理可以根據(jù)需求隨時加入系統(tǒng)以進(jìn)行擴(kuò)展。

HPC Pack任務(wù)調(diào)度器進(jìn)行了功能增強(qiáng),可以實現(xiàn)復(fù)雜的內(nèi)核調(diào)度、端口調(diào)度、服務(wù)器調(diào)度。任務(wù)調(diào)度器支持現(xiàn)存的策略,如基于優(yōu)先級的先來先服務(wù)、回填、非搶占式調(diào)度等策略,此外還包括采用新的策略進(jìn)行任務(wù)搶占、任務(wù)擴(kuò)充與縮減。

HPC Pack降低了與現(xiàn)存集群整合的復(fù)雜性也是一項新特性。這是為了增加任務(wù)調(diào)度的協(xié)同性,通過支持諸如OGF HPC Profile等業(yè)界標(biāo)準(zhǔn)實現(xiàn)的。此外,與基于Unix程序子系統(tǒng)(SUA)的整合可以最大化地利用用戶當(dāng)前的成本投入,同時增強(qiáng)Unix和Linux代碼編寫的程序擴(kuò)展到HPCS平臺的能力。

加強(qiáng)網(wǎng)絡(luò)與高速互聯(lián)

Windows HPC Server 2008通過提供最新的網(wǎng)絡(luò)配置向?qū)?、全新的網(wǎng)絡(luò)診斷工具以及網(wǎng)絡(luò)驅(qū)動器管理的簡化方式,可以明顯降低部署集群中多種網(wǎng)絡(luò)的復(fù)雜性。微軟消息傳遞接口(MS MPI)進(jìn)行了功能增強(qiáng),它基于ANL所實現(xiàn)的MPI2標(biāo)準(zhǔn)編寫而成,可以利用任何Windows Server 2008提供的互連方式,包含支持全新網(wǎng)絡(luò)路徑,是一種更快的接口。

NetDirect是微軟為高速、低延遲網(wǎng)絡(luò)所設(shè)計的全新RDMA接口,例如Infiniband、10G以太網(wǎng)和Myrinet網(wǎng)絡(luò)。通過利用可直接避開OS 和 TCP/IP的架構(gòu),NetDirect可以在大規(guī)模并行程序上發(fā)揮更好的性能,因為它具有極低的延遲、高帶寬以及有效調(diào)節(jié)CPU利用率的能力。

頭節(jié)點(diǎn)是突出特點(diǎn)

Windows HPC Server 2008 設(shè)計了頭節(jié)點(diǎn)是一個突出的特點(diǎn)。頭節(jié)點(diǎn)是對集群進(jìn)行管理、部署以及任務(wù)調(diào)度的單一節(jié)點(diǎn),可以控制并協(xié)調(diào)所有對集群資源的訪問。一旦系統(tǒng)出現(xiàn)故障,頭節(jié)點(diǎn)借助該系統(tǒng)中的故障轉(zhuǎn)移服務(wù),能夠轉(zhuǎn)移到其他備援節(jié)點(diǎn),從而進(jìn)行故障恢復(fù)。

Windows HPC Server 2008 使用企業(yè)現(xiàn)有的基礎(chǔ)架構(gòu)以及Microsoft Active Directory是考慮到安全性、賬戶管理以及使用諸如Systems Center Operations Manager 2007端到端的服務(wù)管理解決方案。

WCF應(yīng)用模式也是該系統(tǒng)的一個特色,面向不同服務(wù)的客戶端應(yīng)用。WCF可以發(fā)起交互式會話,它包括了以下幾個步驟:1.客戶端生成一個會話,該會話用于指定執(zhí)行一個計算的WCF服務(wù)。2.任務(wù)調(diào)度器將任務(wù)交給代理并啟動服務(wù)實例池。3.客戶端連接到代理端,任務(wù)調(diào)度器提供代理端到客戶端的端點(diǎn)引用(EPR)。4.客戶端連接到EPR.。5.標(biāo)準(zhǔn)WCF請求/響應(yīng)消息發(fā)出。