Graphcore：全面布局AI生態(tài)

王永

2020年7月15日，Graphcore發(fā)布了第二代IPU Colossus Mk2 GC200以及基于第二代IPU處理器的一系列的產(chǎn)品。在此之前，Graphcore在中國的IPU開發(fā)者云也正式上線，面向中國的商業(yè)用戶、大學以及科研機構和創(chuàng)新者免費使用。

Graphcore作為成立于2016年的英國初創(chuàng)公司，目前已經(jīng)成長為全球性企業(yè)，總融資超過4.5億美金，其全球辦公室遍布了歐洲、亞洲和北美。目前在亞太區(qū)，Graphcore在北京、上海、深圳、臺北、首爾設立了辦公室，并計劃下一步在日本東京設立新的辦公室。

“Graphcore當前專注于三個方面：專門為AI應用設計IPU處理器、基于IPU處理器及面向AI應用的Poplar軟件棧、圍繞硬件和軟件打造IPU平臺?！盙raphcore高級副總裁兼中國區(qū)總經(jīng)理盧濤在接受筆者的采訪時表示，在Graphcore的產(chǎn)品戰(zhàn)略下已經(jīng)推出了三種產(chǎn)品形態(tài)：IPUMachine、IPU服務器以及大規(guī)模橫向擴展的IPUPOD的系統(tǒng)級產(chǎn)品。

據(jù)了解，此次Graphcore推出的新品有三大顛覆性技術突破：計算、數(shù)據(jù)和通信。

從單一芯片來看，Colossus Mk2 GC200處理器是目前世界上最復雜的單一處理器，基于臺積電7納米的技術，里面集成了近600億個晶體管，擁有250TFlops AI-Float的算力和900 MB的處理器內(nèi)存儲。處理器內(nèi)核（IPU-Tiles）從上一代的1217個提升到了1472個獨立的處理器內(nèi)核，相對于第一代產(chǎn)品，其系統(tǒng)級的性能提升了8倍以上。

“針對數(shù)據(jù)處理問題，Graphcore提出了IPU Exchange Memory（交換式存儲）概念?！北R濤表示，與英偉達當前使用HBM的技術的產(chǎn)品比較，Graphcore在每個IPU-Machine： M2000（IPU-M2000） 里面通過IPU Exchange Memory技術，提供了將近超過100倍的帶寬以及大約10倍的容量，這對于很多復雜的AI模型算法提升有很大幫助。

通信方面，Graphcore專為AI橫向擴展設計了IPU-Fabric。這樣一個結構可以做到2.8 Tbps的超低時延，同時最多可支持64000個IPU之間的橫向擴展。通過IPU-Fabric技術，用戶可以把集群無縫地從一個IPU擴展到64000個IPU，通過直聯(lián)或以太網(wǎng)的交換機等技術進行互聯(lián)。同時，IPU-Fabric支持諸如AI運算中的集合通信或全縮減（All-Reduce）操作。IPU-Fabric也是專門為AI應用從零開始設計的。

事實上，如果把計算和數(shù)據(jù)結合來看，IPU和GPU有著較大區(qū)別。在數(shù)據(jù)和計算密集的前提下，GPU的優(yōu)勢明顯，反之，如果數(shù)據(jù)的稀疏性越高，和GPU相比，IPU的優(yōu)勢會越來越明顯——領先會達到10-50倍，尤其是在NLP研究領域，對很多超大規(guī)模的AI模型有巨大的幫助。

另一方面，基于7納米Mk2的IPU，Graphcore構建了IPU-M2000。這是一個1U結構的即插即用計算刀片，易于部署。在1U這樣極小的空間內(nèi)，Graphcore集成了1PFlops的計算能力，其密度非常之高。

此外，IPU-M2000還擁有450 GB的Exchange Memory；其2.8 Tbps的IPU-Fabric也提供了超低時延的通信。在1P的算力、450GB的Exchange Memory、2.8 Tbps的IPU-Fabric三項技術的結合下，IPU-M2000可滿足當前最為苛刻的機器智能工作負載。

“IPU-M2000使用了Graphcore的Poplar軟件棧，Poplar也可認為是IPU統(tǒng)一的軟件棧?！北R濤表示，IPU-M2000擁有多種配置形態(tài)，比如1個M2000的配置、4個M2000的配置、甚至IPU-POD64這樣的整機交付?！?IPU-M2000是Graphcore構建超大規(guī)模和彈性AI計算集群中的一個基本單元，幫助客戶解決大規(guī)模集群的可擴展性問題?！?/p>

IPU-POD是結合計算、數(shù)據(jù)、通信三種顛覆性技術的大規(guī)模可擴展系統(tǒng)，用于超算規(guī)模的IPU-POD形態(tài)。它基于IPU-POD64構建塊，并對AI的計算與邏輯控制進行了解耦，易于部署，網(wǎng)絡時延極低，能夠支持超大型算法模型以及安全的多租戶使用。

對于一家初創(chuàng)企業(yè)而言，從技術到產(chǎn)品落地或許并不困難，難的是如何在需求多變且競爭激烈的市場中找到屬于自己的位置。

“Graphcore在市場策略方面有三個維度：渠道合作伙伴、OEM合作伙伴，以及全球的云合作伙伴。”盧濤表示，Graphcore的首款IPU開發(fā)者云已經(jīng)部署在金山云上。IPU開發(fā)者云支持當前最先進和最復雜的AI算法模型的訓練和推理工作，比如自然語言處理類和高級計算機視覺類應用。

對于商業(yè)用戶而言，敏捷、效率是其最為關心的問題，所以在較短時間內(nèi)讓用戶快速體驗IPU性能以及編程的易用性是Graphcore給出的解決方案。對于大學研究機構和個人研究者，Graphcore提供較長時間內(nèi)的免費訪問，幫助其用于研究的算法模型可以得到極大的優(yōu)化、充分釋放潛力、縮短研究成果面市時間，以及觸發(fā)新的研究方向和領域。

與此同時，Graphcore也在中國積極組建其創(chuàng)新社區(qū)。據(jù)悉，Graphcore已在微信、知乎、微博和GitHub開通了官方頻道，旨在與開發(fā)者、創(chuàng)新者、研究者更好地交流和互動?！?h3>寫在最后

關于未來的AI計算領域，盧濤表示，未來會是 “CPU、GPU、IPU并行” 的時代。

“GPU或部分CPU專注于業(yè)務場景的實現(xiàn)和落地，而IPU專為AI創(chuàng)新者帶來更多突破?！痹诒R濤看來，不管CPU還是GPU都無法從根本上解決AI問題，因為AI是一個面向計算圖的任務、與CPU的標量計算和GPU的矢量計算區(qū)別很大，Graphcore找到了屬于自己的賽道。