Graphcore攜手微軟：為人工智能未來提速

去年冬季，Graphcore正式發(fā)布Microsoft Azure上Graphcore智能處理單元（IPU）的預覽版。這是公有云領導供應商首次提供Graphcore IPU，這些IPU從構建之初便旨在支持下一代機器學習。這對Graphcore而言是具有里程碑意義的時刻，證明了其IPU硬件和Poplar?軟件棧的成熟性。

微軟和Graphcore已經緊密合作了兩年多。在此期間，工程師Marc Tremblay領導的微軟團隊一直在開發(fā)的針對Azure系統(tǒng)并在IPU上提升高級機器視覺和自然語言處理（NLP）模型。Azure上的Graphcore IPU預覽版現已開放并供用戶注冊，而專注于突破NLP界限并在機器智能方面取得新突破的開發(fā)者可獲得優(yōu)先訪問權限。

Graphcore從零開始設計智能處理單元（IPU），旨在驅動機器智能領域的新突破。IPU和產品就緒的Poplar?軟件棧為開發(fā)人員提供了功能強大、高效、可擴展和高性能的解決方案，從而助力實現AI創(chuàng)新。通過加速更復雜的模型并開發(fā)全新的技術，客戶得以解決最困難的AI工作負載。

目前模型中最先進的性能

微軟和Graphcore的開發(fā)人員使用BERT語言模型實現了最先進的性能和準確性，僅用一個IPU服務器系統(tǒng)和8個C2 IPU處理器PCIe卡就可以在56個小時內訓練BERT Base。對于BERT推理，應用客戶發(fā)現吞吐量提高了3倍，延遲改善了20%以上，從而可以更快地交付結果。

該水平的語言理解性能對于搜索引擎提供更有用的查詢響應以及對于文本和對話式AI應用程序（如情感分析和需要人類水平理解能力的智能個人助手）至關重要。自然語言處理是人工智能的重要戰(zhàn)略領域，預計到2025年，僅針對自然語言處理的人工智能硬件市場規(guī)模就將達到150億美元。

“自然語言處理模型對于微軟來說至關重要——在Microsoft Azure上運行我們的內部AI工作負載，以及服務我們的AI客戶?！蔽④浌続zure計算事業(yè)部副總裁Girish Bablani說：“與Graphcore在處理器方面的新合作能夠為我們的客戶帶來諸多裨益，Graphcore的產品擴展了Azure的能力，我們在此領域內所做的努力是我們確保Azure仍然是AI最佳云的戰(zhàn)略的一部分?！?/p>

什么是IPU

智能處理單元（IPU）與當今的CPU和GPU處理器完全不同。它是一種高度靈活、易于使用的并行處理器，完全從零設計，并能在目前用于訓練和推理的機器智能模型上實現最先進的性能。更重要的是，IPU的設計令實現新興機器智能工作負載成為可能。

GraphcoreIPU的獨特之處在于將整個機器學習知識模型保留在處理器內部。一個服務器內有16個與IPU-Link技術連接在一起的IPU處理器，這樣的IPU系統(tǒng)將擁有超過100,000個完全獨立的程序，所有程序都在機器智能知識模型上并行工作。我們正在將Graphcore技術推向更廣泛的客戶群體，期望能夠支持創(chuàng)新者在IPU上實現機器智能的下一個重大突破。

全軟件棧和框架支持

過去三年中，除了設計世界上最先進的硅處理器，Graphcore還建立了世界上第一個專門為機器智能設計的圖形工具鏈——Poplar?軟件棧。

Poplar與TensorFlow和開放神經網絡交換（ONNX）無縫集成，從而使開發(fā)人員可以使用其現有的機器智能開發(fā)工具和現有的機器學習模型。Graphcore還為ONNX提供了訓練運行時（run?time），與ONNX各組織緊密合作，以將其納入ON?NX標準環(huán)境中。Graphcore已經與許多領先的早期客戶和合作伙伴開展了一段時間的廣泛合作，以確保Poplar圖工具鏈的正常使用。

IPU使新的AI創(chuàng)新成為可能

除了為復雜AI模型（如BERT）提供最先進的性能外，IPU還擅長加速新技術。IPU將開辟新的研究領域，幫助公司探索新技術，建立用更少的數據進行訓練更高效的機器學習系統(tǒng)。

歐洲搜索引擎Qwant是Graphcore IPU早期的客戶之一，Qwant憑借運行搭載下一代圖像識別模型ResNext的IPU，獲得高性能，同時降低延遲。Qwant首席執(zhí)行官埃里克·萊安德里（Eric Leandri）闡釋：“Qwant的研究團隊致力于AI的前沿技術，以便在用戶搜索查詢中快速提供最佳結果，同時確保結果是中立、公正和準確的，這是一個很高的要求。我們每天僅圖像搜索就達到數百萬次。Qwant正在實施的最新AI創(chuàng)新之一是稱為ResNext的新型圖像識別模型，可以提高提供圖像搜索結果的準確性和速度。我們一直與微軟和Graphcore緊密合作，在Azure中使用IPU處理器技術，并且在使用IPU上使用ResNext的圖像搜索功能中看到了顯著改變，即性能提高了3.5倍。Graphcore IPU在新的機器智能模型上具有巨大的創(chuàng)新潛力，我們正在研究這些方法來完善搜索，以便能夠準確地提供客戶所需的結果?！?/p>

ResNext使用分組卷積和深度可分離卷積來大幅提高效率（準確性及參數）。這涉及將卷積塊拆分為較小的可分離塊，以便IPU有效支持這些卷積塊。

為了更深入地了解針對組卷積和完全深度可分離卷積的硬件適用性，客戶工程團隊制定了一組微基準測試，其中包括典型的卷積模塊。測試表明，IPU具有明顯的全面優(yōu)勢，分組卷積的吞吐量優(yōu)勢更高達77倍。

金融領域

Citadel高性能計算研發(fā)團隊負責人 Daniele Scarpazza 說：“在 Citadel，我們的一個重點是利用尖端技術來優(yōu)化一系列策略和資產類別的投資流程。我們相信不斷重新評估和改進我們?yōu)橥顿Y團隊提供的技術可以幫助我們在競爭中保持領先地位。作為Graphcore早期合作伙伴之一，測試新處理器技術在業(yè)務中可能實現的應用。Graphcore IPU是專為機器學習而設計的，其新穎的架構已經使我們能夠探索以前效率低下或根本不可能實現的新技術?！?/p>

機器人技術領域

“新的處理器技術將在不久的將來在空間AI和SLAM（同步定位和地圖構建）的發(fā)展中發(fā)揮關鍵作用。我們很高興能夠在早期獲得Graphcore創(chuàng)新型新硬件的研究機會。完全通用的空間AI將需要圖形上的稀疏概率和幾何推理以及具有深層神經網絡的計算。Graphcore對通信和計算同樣重視，創(chuàng)造了一種新的可擴展架構，我們相信它具有低延遲和低功耗執(zhí)行所有這些算法的潛力?！眰惗氐蹏砉W院計算機系機器人視覺教授Andrew Davison教授說。

Graphcore IPU與戴爾易安信DSS 8440服務器

Graphcore與戴爾公司一起展示第一個IPU技術，該技術旨在滿足企業(yè)客戶構建本地機器智能計算的需求，其中Dell EMC DSS 8440是一款采用Graphcore技術的機器學習服務器。該系統(tǒng)使用8個Graphcore C2 IPU處理器PCIe卡提供1.6Pet?aFlops的機器智能計算，每個卡有2個IPU處理器，所有卡都在標準4U機箱中與高速IPU-Link技術連接。