企業(yè)是否需要高性能計(jì)算

John Edwards

在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中，高性能計(jì)算（HPC）成為組織的首選平臺(tái)，很多組織希望深入了解基因組學(xué)、計(jì)算化學(xué)、財(cái)務(wù)風(fēng)險(xiǎn)建模、地震成像等領(lǐng)域。最初由需要執(zhí)行復(fù)雜數(shù)學(xué)計(jì)算的研究科學(xué)家所采用，高性能計(jì)算（HPC）現(xiàn)在引起了各個(gè)領(lǐng)域組織和企業(yè)的關(guān)注。

高性能計(jì)算（HPC）數(shù)據(jù)存儲(chǔ)系統(tǒng)Panasas公司系統(tǒng)工程總監(jiān)Dale Brantly說：“我們依靠數(shù)據(jù)的收集、分析、分發(fā)而蓬勃發(fā)展的環(huán)境，并依靠可靠的高性能計(jì)算來支持具有強(qiáng)大計(jì)算能力的簡(jiǎn)化工作流程?！?/p>

雖然中小型企業(yè)采用高性能計(jì)算技術(shù)仍然相對(duì)較少，但對(duì)于愿意投資于這種技術(shù)和專業(yè)知識(shí)的組織來說，高性能計(jì)算（HPC）具有巨大的潛力。

通常，高性能計(jì)算用例專注于某種類型的仿真。谷歌云首席技術(shù)官辦公室高性能計(jì)算和量子計(jì)算技術(shù)總監(jiān)Kevin Kissell說：“高性能計(jì)算可以模擬機(jī)翼上的氣流、發(fā)動(dòng)機(jī)燃燒、行星氣象系統(tǒng)、核反應(yīng)以及投資組合的估值?！逼渌美齽t以分析為目的，例如統(tǒng)計(jì)廣告投資回報(bào)率或評(píng)估業(yè)務(wù)部門的績(jī)效。仍然可以將其他用例歸類為翻譯或轉(zhuǎn)換。他說：“就像視頻的渲染一樣。”

無需超級(jí)計(jì)算機(jī)的高性能計(jì)算

許多企業(yè)和IT領(lǐng)導(dǎo)者都誤以為高性能計(jì)算系統(tǒng)都是基于超級(jí)計(jì)算機(jī)的。實(shí)際上，雖然由Atos、IBM、HPE、Cray和Fujitsu等公司生產(chǎn)的超級(jí)計(jì)算機(jī)是眾多專用高性能計(jì)算系統(tǒng)的核心，但一種更廣泛使用的方法是將多臺(tái)小型計(jì)算機(jī)集成到互連的集群中以提供高性能計(jì)算功能。在這種安排下，集群中的每臺(tái)計(jì)算機(jī)都充當(dāng)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)通常配備有多個(gè)處理器（稱之為計(jì)算核心）用于處理計(jì)算任務(wù)。每個(gè)節(jié)點(diǎn)內(nèi)的處理器、圖形處理單元（GPU）和內(nèi)存資源相互連接以創(chuàng)建高性能計(jì)算系統(tǒng)。

由于采購和運(yùn)行超級(jí)計(jì)算機(jī)及其定制軟件的成本高達(dá)數(shù)百萬美元，其成本遠(yuǎn)遠(yuǎn)超出了大多數(shù)企業(yè)的財(cái)務(wù)承受能力。使用運(yùn)行現(xiàn)成軟件的相對(duì)便宜的互連計(jì)算機(jī)，集群型高性能計(jì)算通常更易于部署和運(yùn)行。盡管如此，對(duì)于大多數(shù)企業(yè)來說，即使是規(guī)模適中的基于集群的高性能計(jì)算都是一筆巨大的投資，尤其是那些高性能計(jì)算需求有限的企業(yè)。

現(xiàn)在這種情況正在改變。希望在不破壞IT預(yù)算的情況下獲得高性能計(jì)算訪問權(quán)限的企業(yè)現(xiàn)在可以選擇使用公共云服務(wù)，例如谷歌云、Microsoft Azure、AWS和IBM Cloud。

數(shù)字服務(wù)和軟件工程商Ciklum公司的.NET技術(shù)負(fù)責(zé)人Maksym Pavlov說：“這些服務(wù)使企業(yè)能夠訪問高性能計(jì)算功能來滿足其業(yè)務(wù)需求，而無需大量投資高性能計(jì)算集群的硬件基礎(chǔ)設(shè)施?！盜BM公司云計(jì)算副總裁David Turek補(bǔ)充道：“云計(jì)算的出現(xiàn)在一定程度上平衡了小公司和大公司之間的競(jìng)爭(zhēng)環(huán)境?！?/p>

從高性能計(jì)算集群遷移到云計(jì)算高性能計(jì)算

北卡羅來納大學(xué)教堂山分校（UNC-Chapel Hill）長(zhǎng)期以來一直依靠其本地高性能計(jì)算集群來支持多個(gè)科學(xué)、工程和醫(yī)學(xué)領(lǐng)域的研究活動(dòng)。然而，隨著研究計(jì)算需求的持續(xù)增長(zhǎng)，用戶需求開始超過當(dāng)前系統(tǒng)的計(jì)算資源和容量。該大學(xué)并沒有增加現(xiàn)有的高性能計(jì)算投資，而是決定采用云計(jì)算技術(shù)提供按需的高性能計(jì)算環(huán)境。

實(shí)踐證明，該方法既具有成本效益，又具有高度靈活性。北卡羅來納大學(xué)教堂山分校首席信息官M(fèi)ichael Barker表示：“采用云計(jì)算，我們就可以提供完成所要求工作所需的計(jì)算工作。這是一種滿足運(yùn)行計(jì)算工作的需求非常有效的方式。”

該校高級(jí)研究助理Jeff Roach指出，高性能計(jì)算向云端遷移既是必要的，也是受歡迎的。他說：“我們有一個(gè)非常傳統(tǒng)的本地集群。然而隨著時(shí)間的推移，該系統(tǒng)逐漸無法跟上越來越多的需要領(lǐng)先計(jì)算能力和更快性能的用戶的步伐。我們發(fā)現(xiàn)，本地集群對(duì)于設(shè)計(jì)該集群的人員確實(shí)非常有效，但是他們的一些案例正變得越來越少?！?/p>

隨著需要計(jì)算的用例迅速成為規(guī)范，北卡羅來納大學(xué)教堂山分校開始與谷歌云以及仿真和分析軟件提供商Techila科技公司合作，以規(guī)劃其進(jìn)入云計(jì)算高性能計(jì)算的旅程。其規(guī)劃之后的第一步是概念評(píng)估的證明。

英國(guó)約克大學(xué)也在研究中采用了基于云計(jì)算的高性能計(jì)算方法。英國(guó)皇家學(xué)會(huì)行業(yè)研究員、約克大學(xué)生物系教授James Chong指出，高性能計(jì)算可以應(yīng)用在生物學(xué)、物理、化學(xué)和計(jì)算機(jī)科學(xué)等科學(xué)系以及語言學(xué)和其他幾個(gè)學(xué)科的研究工作。

Chong所在的研究部門目前正在使用谷歌云平臺(tái)分析DNA序列數(shù)據(jù)。他解釋說：“我的團(tuán)隊(duì)對(duì)微生物群感興趣，這些微生物群涉及將廢物轉(zhuǎn)化為沼氣的混合微生物。我們使用高性能計(jì)算將短小的DNA序列一起組合為一個(gè)基因組，然后分離出不同微生物的基因組，以便我們能了解這些生物如何響應(yīng)其生長(zhǎng)條件的變化?！?/p>

就像北卡羅來納大學(xué)教堂山分校的研究人員一樣，Chong對(duì)高性能計(jì)算云計(jì)算服務(wù)可以提供的強(qiáng)大功能和靈活性表示贊賞。他說：“我們的高性能計(jì)算需要滿足一系列要求，有些用戶希望采用大量的處理器，而其他用戶則需要采用高內(nèi)存。作為生物學(xué)家，我們使用的一些應(yīng)用程序很快就會(huì)綁定到I/O，因此通過超高速磁盤訪問也很有用?！?/p>

約克大學(xué)使用的云計(jì)算高性能計(jì)算還具有適應(yīng)不斷變化的需求的能力。Chong指出：“我們中的許多人開始使用機(jī)器學(xué)習(xí)技術(shù)，并希望能夠利用不同的體系結(jié)構(gòu)。約克大學(xué)的廣泛用戶意味著我們還需要訪問一系列不同的軟件包?！迸c大多數(shù)云計(jì)算高性能計(jì)算一樣，約克大學(xué)使用的服務(wù)允許各種類型的研究人員輕松快速地在軟件工具之間切換，而不會(huì)將時(shí)間浪費(fèi)在獲取、部署或配置問題上。

配備超級(jí)計(jì)算機(jī)的高性能計(jì)算

盡管云計(jì)算高性能計(jì)算服務(wù)具有某些優(yōu)勢(shì)，但對(duì)于關(guān)注安全性和隱私的企業(yè)而言，它并不總是最佳或最合乎邏輯的選擇。Turek指出：“數(shù)據(jù)存放位置非常敏感。特別是當(dāng)受到歐洲的GDPR法規(guī)限制時(shí)。”通用數(shù)據(jù)保護(hù)條例（GDPR）是歐盟發(fā)布的隱私法規(guī)。

為了解決隱私問題和對(duì)強(qiáng)大計(jì)算能力的需求，邁阿密大學(xué)最近選擇投資于基于本地的超級(jí)計(jì)算機(jī)的高性能計(jì)算系統(tǒng)。最關(guān)鍵的是，該大學(xué)認(rèn)為，擁有大量多維數(shù)據(jù)集的研究項(xiàng)目可以在專門設(shè)計(jì)的高性能超級(jí)計(jì)算機(jī)上運(yùn)行得更快。

去年8月，邁阿密大學(xué)推出了基于Power Systems AC922服務(wù)器的新型IBM Triton超級(jí)計(jì)算機(jī)。邁阿密大學(xué)計(jì)算科學(xué)中心主任、數(shù)據(jù)和研究計(jì)算副教務(wù)長(zhǎng)Nicholas Tsinoremas指出，已有2000多名學(xué)生和教員使用該系統(tǒng)從事氣候預(yù)測(cè)、基因組學(xué)、生物信息學(xué)、計(jì)算機(jī)視覺和人工智能等項(xiàng)目。

其部署雖然成功，但在初期卻遇到了一些障礙，幾乎所有采用高性能計(jì)算的用戶都能遇到這種情況，無論其規(guī)模、領(lǐng)域或計(jì)算需求如何。Tsinoremas說：“遷移問題始終是一個(gè)問題，還必須解決用戶培訓(xùn)和再培訓(xùn)問題。新系統(tǒng)與傳統(tǒng)存儲(chǔ)系統(tǒng)的集成是另一個(gè)挑戰(zhàn)。”

所有這些問題都凸顯了一個(gè)事實(shí)，即高性能計(jì)算系統(tǒng)是基于內(nèi)部部署還是基于云計(jì)算，其采用需要大量的計(jì)劃和準(zhǔn)備。Tsinoremas警告說：“企業(yè)具有專業(yè)知識(shí)是必要的，并且必須有一個(gè)計(jì)劃。了解工作負(fù)載的性質(zhì)和要求也很重要。換句話說，采用者需要了解他們?cè)噲D解決的問題以及希望高性能計(jì)算如何幫助解決這些問題?！?/p>

高性能計(jì)算工作負(fù)載入門另一個(gè)要點(diǎn)是選擇正確的資源管理工具，該工具使組織能夠訪問和優(yōu)化高性能計(jì)算環(huán)境。Altair公司高級(jí)產(chǎn)品管理主管Jérémie Bourdoncle說：“無論是購買傳統(tǒng)的高性能計(jì)算硬件環(huán)境，還是利用云中的高性能計(jì)算或同時(shí)使用這兩者，選擇最適合組織的工作類型和吞吐量要求的高性能計(jì)算工作負(fù)載管理器都是至關(guān)重要的?！?/p>

Kissell建議采用一種注重知識(shí)、簡(jiǎn)單、選擇和謹(jǐn)慎的采納策略。他說：“這可能是一段漫長(zhǎng)的旅程，因此需要規(guī)劃行程，但要給自己機(jī)會(huì)進(jìn)行調(diào)整。組織需要選擇一個(gè)簡(jiǎn)單但具有代表性的測(cè)試用例，并且可以清楚地識(shí)別從高性能計(jì)算仿真或分析中獲得的知識(shí)和見解。然后選擇針對(duì)自己的問題類別設(shè)計(jì)的軟件包的簡(jiǎn)短列表，并進(jìn)行更多的嘗試?！?/p>