Graphcore：將創(chuàng)新權(quán)利移交給AI開發(fā)者

王永

“四年前成立Graphcore時，我們認(rèn)識到了機(jī)器智能飛快的發(fā)展速度以及它所能企及的成就并有幸與人工智能領(lǐng)域的許多領(lǐng)先創(chuàng)新者合作，然而在合作過程中，工作受到了當(dāng)前硬件的桎梏?！盙raphcore聯(lián)合創(chuàng)始人兼首席執(zhí)行官Nigel Toon在中關(guān)村論壇上發(fā)表演講時表示，CPU和GPU并非為AI計算完全不同的需求而設(shè)計，雖然它們可以構(gòu)建第一波AI解決方案，但顯而易見的是，當(dāng)今的架構(gòu)無法擴(kuò)展以及支持引領(lǐng)我們進(jìn)入未來所需的更為復(fù)雜的模型和技術(shù)。

人類的進(jìn)步總是與新工具的創(chuàng)造齊頭并進(jìn)，這一點在機(jī)器智能時代也不會改變。因此，在技術(shù)進(jìn)步的驅(qū)動下智能處理器IPU應(yīng)運而生，它的出現(xiàn)旨在支持機(jī)器智能的新計算需求?！霸贕raphcore的第一代IPU產(chǎn)品中，其1200多個處理器內(nèi)核可以分別處理完成獨立的任務(wù)，并且能夠彼此通信以支持完整的多指令多數(shù)據(jù)并行操作，這正是下一代機(jī)器智能的基本要求?！?/p>

作為一家英國公司，在創(chuàng)業(yè)初期，Graphcore就受到了來自ARM聯(lián)合創(chuàng)始人Hermann Hauser和Deepmind聯(lián)合創(chuàng)始人Demis Hassabis的青睞和關(guān)注。隨著業(yè)務(wù)的增長，Graphcore吸引了很多全球知名的投資者的支持（如Atomico、紅杉資本），以及很多戰(zhàn)略投資者的支持（如寶馬、博世、戴爾、微軟、三星等）。

據(jù)了解，目前Graphcore總共融資額超過4.5億美金，現(xiàn)存超過2.5億美金的現(xiàn)金。

在業(yè)務(wù)層面，Graphcore更是憑借著首款I(lǐng)PU系統(tǒng)震驚了整個行業(yè)——該系統(tǒng)的性能大大超越了其他技術(shù)，包括目前最快的GPU。

“我們的一位早期客戶，Carmot Capital在使用我們的產(chǎn)品訓(xùn)練其金融市場預(yù)測模型時，性能提升了26倍。微軟在使用IPU幫助診斷肺炎和COVID-19的胸部X光影像時，速度提高了10倍，并且其準(zhǔn)確性大大超過GPU?！盢igel Toon認(rèn)為，即使性能只提高2倍，也足以改變競爭格局。微軟作為Graphcore的一位早期合作者，不僅將Graphcore的IPU技術(shù)用于其內(nèi)部的AI工作負(fù)載，在去年11月還將Graphcore的IPU提供給其Azure云計算平臺的用戶，助力AI創(chuàng)新者的工作。

2020年7月，Graphcore推出第二代IPU（Mk2 IPU）——第二代IPU擁有594億個晶體管，1472個完全并行的處理器內(nèi)核，以及近1 GB的超高速處理器內(nèi)存儲。同時，Graphcore還推出了IPU-Machine：M2000（IPU-M2000）。這是一款易于部署的即插即用的機(jī)器智能計算刀片，能夠提供1PFLOP的AI計算能力，并通過專用IPU內(nèi)置AI橫向擴(kuò)展網(wǎng)絡(luò)架構(gòu)。

對于AI創(chuàng)新公司來說，不論是需要通過一個IPU-M2000來組建獨立系統(tǒng)，還是隨著計算負(fù)載和算法模型復(fù)雜度的增加，需要4個、8個IPU-M2000來擴(kuò)展計算系統(tǒng)，他們都可以進(jìn)行靈活的調(diào)整?；谠摷夹g(shù)，Graphcore構(gòu)建起一個大規(guī)?？蓴U(kuò)展的IPU-Pod系統(tǒng)，可以支持64000個IPU集群。

若將8個DGX A100和8個IPU-M2000進(jìn)行比較，8個IPU-M2000能夠提供8個DGX A100的12倍以上的FP12算力、3倍以上的AI算力和10倍以上的存儲，同時IPU-M2000還具有更高的性價比。憑借著這款全新的二代IPU處理器，Graphcore再次定義了行業(yè)標(biāo)準(zhǔn)。

此外，為了構(gòu)建高效的AI計算集群，Graphcore為AI設(shè)計了IPU-Fabric？橫向擴(kuò)展技術(shù)，提供了2.8 Tbps的超低時延網(wǎng)絡(luò)結(jié)構(gòu)，能夠支持從1個IPU到64000個IPU之間高彈性的橫向擴(kuò)展。無論IPU數(shù)量是幾個還是上萬個，IPU之間互聯(lián)的帶寬時延均能保持一致，通過直連或以太網(wǎng)交換機(jī)的連接方式，可以執(zhí)行集合和全縮減（All-Reduce）的操作。

“Graphcore從零設(shè)計了以計算圖（Graph）為核心的Poplar SDK，能夠方便用戶無論使用單個IPU-M2000、單張PCIe卡，還是1000個甚至上萬個IPU，都能獲得完全一致的用戶體驗?！盙raphcore高級副總裁兼中國區(qū)總經(jīng)理盧濤表示，用戶可以基于Poplar構(gòu)建下一代機(jī)器智能系統(tǒng)。Poplar SDK包含一個開放且高度可擴(kuò)展的Poplar庫，為開發(fā)者提供750個以上的高性能計算元素和50多種優(yōu)化功能，開發(fā)者可以自行修改或編寫自己的自定義庫。此外，Poplar支持各類行業(yè)標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)系統(tǒng)以及部署和集群管理生態(tài)系統(tǒng)。通過Poplar SDK，開發(fā)者能夠預(yù)制Docker容器、快速進(jìn)行部署。

目前，Graphcore IPU支持近50個不同的算法模型。作為通用計算架構(gòu)，IPU支持TensorFlow、PyTorch等開放機(jī)器學(xué)習(xí)框架及各類算法模型的落地。

對于創(chuàng)新者而言，成本和效率不一定是其最關(guān)心的因素。但若創(chuàng)新者使用的技術(shù)不是從根本上為AI構(gòu)建，那么就存在著收益遞減的情況。

數(shù)據(jù)顯示，2019年發(fā)布的OpenAI的GPT-2自然語言模型有15億個參數(shù)，2020年發(fā)布的GPT-3有1750億個。訓(xùn)練和部署模型所需的計算量正按冪律增長，但是數(shù)十億個參數(shù)顯然不夠。

當(dāng)創(chuàng)新者需要取得新的突破時，這意味著他們需要把注意力集中在值得關(guān)注的領(lǐng)域，以及在使用稀疏激活的模型子組上進(jìn)行計算，這可以把效率提高幾個數(shù)量級。然而這種稀疏計算并不適用于GPU。

“這正是IPU所要實現(xiàn)的目標(biāo)，Graphcore的系統(tǒng)在訓(xùn)練和部署中可以支持具備高效稀疏計算的大型模型。IPU不僅可以推動創(chuàng)新開發(fā)，還可以有效部署這些新型模型，更高效的計算可以降低總擁有成本。用戶可以在訓(xùn)練和推理中使用相同的IPU硬件，且可以靈活機(jī)動地更改每個CPU調(diào)用IPU的數(shù)量。”盧濤表示，“用戶需要全新的處理器架構(gòu)來支持AI創(chuàng)新者的探索和突破。更重要的是，Graphcore希望將創(chuàng)新的權(quán)利交給AI開發(fā)者?！?/p>

隨著模型規(guī)模和數(shù)據(jù)量的增加，開發(fā)者需要一個高效的AI計算集群來支持創(chuàng)新。此外，Graphcore還提供了開源的AI處理器軟件代碼庫?！耙驗閷⒋a的控制權(quán)移交給AI開發(fā)者是非常重要的?！?/p>

值得一提的是，早在今年7月份，Graphcore就開放了PopLibs的源代碼，方便AI開發(fā)者修改、優(yōu)化、創(chuàng)新。同時，Graphcore也在大力發(fā)展IPU開發(fā)者社區(qū)，其中很重要的一部分是目前已在國內(nèi)上線的IPU開發(fā)者云——其托管在金山云上，提供浪潮IPU服務(wù)器NF5568M5、戴爾IPU服務(wù)器DSS8440、以及IPU-Pod64這些不同機(jī)型。

另外，Graphcore注重本地創(chuàng)新支持。Graphcore的IPU開發(fā)者云以及Graphcore中國創(chuàng)新社區(qū)使創(chuàng)新者能便捷地獲取和使用IPU。

寫在最后

當(dāng)前，Graphcore的業(yè)務(wù)主要分為三部分：專為AI從零設(shè)計的IPU處理器、Poplar SDK和開發(fā)工具以及IPU平臺（如IPU-Machine、可以通過浪潮和戴爾來購買的IPU服務(wù)器，以及可大規(guī)模橫向擴(kuò)展的IPU-Pod64）。

IPU在超大規(guī)模數(shù)據(jù)中心及互聯(lián)網(wǎng)、高校及研究機(jī)構(gòu)、醫(yī)療及生命科學(xué)、金融、汽車這五大領(lǐng)域中發(fā)展較快并備受關(guān)注。到目前為止，Graphcore共發(fā)貨IPU處理器超一萬臺、服務(wù)全球超100家不同機(jī)構(gòu)。

“Graphcore有一個中國名字——‘?dāng)M未，我們正盡可能快地壯大中國團(tuán)隊，以便在技術(shù)或任何問題上為客戶提供完全本地化的響應(yīng)和支持?！盢igel Toon表示，Graphcore的目標(biāo)是將擬未打造成一家重要的中國公司。

從市場情況看，中國的AI市場體量和落地速度位于全球前列。更重要的是，中國比大多數(shù)國家都更了解如何從創(chuàng)新轉(zhuǎn)向應(yīng)用、在概念階段投入正確的技術(shù)和資源以及如何從概念階段轉(zhuǎn)移到動態(tài)生產(chǎn)階段，這使得中國成為制造業(yè)的先鋒者，尤其是在高科技領(lǐng)域。

“Graphcore正緊鑼密鼓地與國內(nèi)合作伙伴進(jìn)行落地的相關(guān)工作，我們對明年有非常高的預(yù)期?！北R濤透露，“高校合作方面，在IPU開發(fā)者云上線后，Graphcore已收到約三、四十所高校頂尖AI實驗室或研究機(jī)構(gòu)的使用申請?！?/p>

為了更好地為中國市場服務(wù)，Graphcore目前已構(gòu)建起知乎、微信、微博等平臺上的創(chuàng)新社區(qū)，Graphcore中國官網(wǎng)graphcore.cn也已上線。