模擬大腦+萬倍加速英特爾神經(jīng)擬態(tài)計(jì)算和量子計(jì)算技術(shù)前瞻

張平

自從集成電路、電腦被發(fā)明，信息高速公路大規(guī)模建設(shè)以來，人們利用各種計(jì)算機(jī)設(shè)備或者移動(dòng)計(jì)算設(shè)備大幅度推動(dòng)了生產(chǎn)力的發(fā)展，并構(gòu)建了現(xiàn)代社會(huì)經(jīng)濟(jì)文化的方方面面。隨后AI計(jì)算的出現(xiàn)，讓人們對智能和智能化產(chǎn)生了極大的興趣，尤其是現(xiàn)在大熱的深度學(xué)習(xí)，在產(chǎn)業(yè)界興起了又一波AI計(jì)算熱潮。在這種情況下，宣稱下一代AI的首選、模擬大腦的神經(jīng)擬態(tài)計(jì)算是怎樣的發(fā)展途徑呢？是否能解決目前深度學(xué)習(xí)計(jì)算中出現(xiàn)的各種問題？不僅如此，量子計(jì)算原理的完善和逐漸走向?qū)嵱没?，在部分運(yùn)算中，量子計(jì)算展現(xiàn)出了比傳統(tǒng)計(jì)算方法高出數(shù)個(gè)數(shù)量級的計(jì)算能力，使得人們可以更精確、更深入地了解這個(gè)世界。那么，目前在神經(jīng)擬態(tài)計(jì)算和量子計(jì)算上，作為全球半導(dǎo)體第一大企業(yè)的英特爾有哪些行動(dòng)，業(yè)界又有哪些新的進(jìn)展呢？

計(jì)算機(jī)的發(fā)明，讓人們掌握了可以進(jìn)行大規(guī)模計(jì)算的工具。不過，現(xiàn)代計(jì)算機(jī)受制于架構(gòu)、能耗、工藝極限等因素，在進(jìn)行諸如人工智能、極限模擬時(shí)，往往會(huì)遇到算力不足或者效率低下等問題。為了解決這些重要場合或者特殊應(yīng)用領(lǐng)域的計(jì)算問題，人們設(shè)計(jì)了針對性的架構(gòu)或者全新的系統(tǒng)予以應(yīng)對。目前，在AI計(jì)算方面的神經(jīng)擬態(tài)計(jì)算和全新的量子計(jì)算是最熱門的兩個(gè)領(lǐng)域。

模擬真實(shí)的大腦初窺神經(jīng)擬態(tài)計(jì)算

AI計(jì)算主要是依靠卷積網(wǎng)絡(luò)或者其他類型的計(jì)算網(wǎng)絡(luò)進(jìn)行的深度學(xué)習(xí)計(jì)算。在這種計(jì)算中，計(jì)算機(jī)通過對海量數(shù)據(jù)的學(xué)習(xí)和信息提取，最終獲得包含目標(biāo)內(nèi)容特征的模型，這個(gè)模型就可以用于數(shù)據(jù)推理和判斷了。英特爾認(rèn)為目前流行的以深度學(xué)習(xí)為代表的AI計(jì)算屬于第二代AI計(jì)算。早期的第一代AI計(jì)算則是基于規(guī)則，并模擬一些經(jīng)典邏輯，從而在特定范圍或者定義狹窄的問題域內(nèi)得出合理的結(jié)論，典型的例子包括用于提高效率的過程監(jiān)視。第二代AI計(jì)算主要涉及的領(lǐng)域是識別、傳感和感知，這也是深度學(xué)習(xí)網(wǎng)絡(luò)的特長之處。

神經(jīng)擬態(tài)計(jì)算則算作第三代AI計(jì)算，可以把人工智能擴(kuò)展到與人類認(rèn)知相對應(yīng)的領(lǐng)域，比如解釋和自主適應(yīng)。這對于克服第二代也就是以深度學(xué)習(xí)為主的人工智能的“脆弱性“至關(guān)重要。所謂“脆弱性“，是指目前深度學(xué)習(xí)技術(shù)在應(yīng)用中，僅僅能夠?qū)δ欠N確定性的觀點(diǎn)進(jìn)行判斷，無法產(chǎn)生上下文相關(guān)性，也就是并沒有真正的思維體系。不僅如此，在數(shù)據(jù)需求量上，現(xiàn)有的第二代以深度學(xué)習(xí)為主的AI計(jì)算所需要的數(shù)據(jù)量堪稱巨大，比如典型的動(dòng)物識別、照片分類等應(yīng)用動(dòng)輒需要幾干乃至幾萬次學(xué)習(xí)，耗費(fèi)大量的時(shí)間和電能，這在生物大腦上是不可能出現(xiàn)并和自然狀態(tài)完全相悖的。此外深度學(xué)習(xí)操作的穩(wěn)定性差、抗干擾能力差、容錯(cuò)性低、編程過程麻煩等，都是不夠智能化的表現(xiàn)。

因此，下一代人工智能必須能夠克服這一點(diǎn)能夠處理全新的情景和對其特征進(jìn)行抽象，向普通人類活動(dòng)級別的自動(dòng)化靠近。現(xiàn)在，要實(shí)現(xiàn)第三代AI計(jì)算，業(yè)內(nèi)重點(diǎn)關(guān)注的領(lǐng)域集中在神經(jīng)擬態(tài)計(jì)算上。

模擬大腦運(yùn)作神經(jīng)擬態(tài)計(jì)算簡介

神經(jīng)擬態(tài)計(jì)算并不是一個(gè)新的概念。在20世紀(jì)80年代后期，工程和技術(shù)人員已經(jīng)開始考慮使用超大規(guī)模集成電路來模擬大腦運(yùn)作的方式。但是，要想模擬大腦運(yùn)作的方式，就必須先了解大腦是如何運(yùn)作的，尤其是如何產(chǎn)生意識等艱深的問題。因此，神經(jīng)擬態(tài)計(jì)算也是一個(gè)復(fù)雜的、跨越多個(gè)學(xué)科的領(lǐng)域，其內(nèi)容覆蓋了生物學(xué)、物理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、電子工程學(xué)等，整體實(shí)現(xiàn)難度頗高。

根據(jù)現(xiàn)有的資料，神經(jīng)元是人類神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單元之一。人腦中大約有860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元的結(jié)構(gòu)又可分為神經(jīng)元細(xì)胞體和神經(jīng)元突觸兩個(gè)部分，神經(jīng)元突觸可以分為樹突和軸突。樹突用于承受刺激并發(fā)出信息傳遞給細(xì)胞體，軸突用于將刺激信息（又稱為沖動(dòng)）傳輸給終末端。目前，人類對單個(gè)神經(jīng)元的工作方式和刺激形成等已經(jīng)有了初步的了解，但是如此巨量的神經(jīng)元如何協(xié)同工作，意識又是如何在巨量協(xié)同中產(chǎn)生，依舊是謎題。

鑒于此，科研人員提出了一個(gè)思路，那就是利用現(xiàn)代計(jì)算機(jī)技術(shù)尤其是集成電路技術(shù)來模擬神經(jīng)元集群的工作，從而獲得有關(guān)AI和意識方面的內(nèi)容。2006年，佐治亞理工學(xué)院就發(fā)布了一種可編程神經(jīng)元陣列，允許MOSFET柵極上的電荷通過可編程來模擬神經(jīng)元通道的離子特性，這是最早出現(xiàn)的模擬神經(jīng)元集群工作的芯片。隨后的2011年，麻省理工學(xué)院使用了400個(gè)晶體管來模擬2個(gè)神經(jīng)元之間的通訊清況。2012年，有關(guān)憶阻器和側(cè)向自選閥可以用于神經(jīng)元研究的論文被提出，重現(xiàn)神經(jīng)元工作的基礎(chǔ)材料有了進(jìn)一步的發(fā)展。2013年9月，有關(guān)尖峰神經(jīng)網(wǎng)絡(luò)也就是SSN的相關(guān)技術(shù)被提出，這是神經(jīng)擬態(tài)技術(shù)發(fā)展的重要節(jié)點(diǎn)之一。在這之后，相關(guān)SNN芯片也層出不窮，包括斯坦福大學(xué)擁有65536個(gè)神經(jīng)元的Neurogrid，曼徹斯特大學(xué)的SpiNNaker，歐洲委員會(huì)投資13億美元的人腦項(xiàng)目BrainScaleS、IBM推出的擁有一百萬個(gè)神經(jīng)元，運(yùn)行SNN模擬的TrueNorth芯片、英特爾Loihi等神經(jīng)擬態(tài)芯片都陸續(xù)登場，SNN神經(jīng)擬態(tài)計(jì)算研究進(jìn)入了高峰期。

所謂SSN（Spiking Neural Network）是指一種更緊密的模仿自然神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)網(wǎng)絡(luò)算法。相比傳統(tǒng)的ANN也就是人工神經(jīng)網(wǎng)絡(luò)，SNN可以更有效地對有機(jī)體生物的中樞神經(jīng)系統(tǒng)進(jìn)行模擬，比如不了解周圍環(huán)境下尋找食物的昆蟲行為。由于其相對擬真，因此可以用于研究生物神經(jīng)回路，并月從生物神經(jīng)回路的功能和假設(shè)開始，就可以將SNN的計(jì)算模擬結(jié)果和真實(shí)的結(jié)果進(jìn)行比對，從而評估相關(guān)模型的合理性。此外SSN輸出的結(jié)果以概率為主，而不是一個(gè)確定值，這更接近于生物尤其是人體運(yùn)動(dòng)和意圖預(yù)測所呈現(xiàn)的結(jié)果。

海底的火山Loihi芯片介紹

在各家的神經(jīng)擬態(tài)芯片研究上，英特爾的產(chǎn)品頗受市場關(guān)注。其主要原因不外乎英特爾本身就是芯片市場的“頭號玩家“，和客戶端距離很近。2017年10月，英特爾發(fā)布了全新的神經(jīng)擬態(tài)芯片，被稱為Loihi，發(fā)音為“l(fā)ow-ee-hee”，這個(gè)單詞本來屬于夏威夷大島南部海岸的海平面以下的一座火山，英特爾用這個(gè)名稱命名這款神經(jīng)擬態(tài)芯片，可能是希望其終有一天能夠爆發(fā)出海平面，寓意相當(dāng)不錯(cuò)。

根據(jù)英特爾的描述，Loihi已經(jīng)是英特爾實(shí)驗(yàn)室設(shè)計(jì)的第五代自學(xué)習(xí)神經(jīng)形態(tài)研究測試芯片。前三款芯片是早期的內(nèi)部測試芯片，第四款是10nm晶圓級研究的產(chǎn)品，第五款才是Loihi。Loihi采用的是異步尖峰神經(jīng)網(wǎng)絡(luò)也就是SNN模型構(gòu)建，芯片本身不發(fā)送信號，而是根據(jù)激活的突觸發(fā)送尖峰信息，其基本工作模式和之前介紹的SNN一樣，并且整個(gè)Loihi芯片都采用了異步、定時(shí)的模式進(jìn)行信息處理。

宏觀來看，Loihi采用14nm工藝打造，單顆芯片內(nèi)大約包含了13萬個(gè)神經(jīng)元和1.3億個(gè)突觸，包括128個(gè)神經(jīng)擬態(tài)核心和3個(gè)用于芯片管理控制的Lakemont核心，以及片外通信接口。片外通信接口可以讓Loihi芯片在四個(gè)平面方向上擴(kuò)展連接許多其他芯片，根據(jù)英特爾的數(shù)據(jù)，Loihi最多可以擴(kuò)展至4096顆片上核心和16384個(gè)芯片。目前的Loihi單芯片僅有128顆片上神經(jīng)擬態(tài)核心，未來可能還會(huì)隨著工藝變化和市場需求而進(jìn)一步擴(kuò)展。

進(jìn)一步深月亥心的話，每顆Loihi的神經(jīng)擬態(tài)核心包含了1024個(gè)原始的尖峰神經(jīng)單元，這些神經(jīng)單元被分組并組合為樹狀結(jié)構(gòu)，以簡化實(shí)現(xiàn)過程。Loihi實(shí)現(xiàn)了一種基于電流的突觸（CUBA）泄露積分一激發(fā)神經(jīng)元模型的變體，且包含了2個(gè)內(nèi)部狀態(tài)變量，包括突觸響應(yīng)電流一輸入尖峰、恒定偏置的加權(quán)和Ui，以及膜電勢泄漏（即隨時(shí)間減弱）電勢電位函數(shù)，后者允許電勢超過閾值時(shí)發(fā)出電擊Vt。整個(gè)系統(tǒng)的運(yùn)行也比較簡單，也就是一旦累積了足夠的尖峰并超過預(yù)定義的閾值，那么芯片內(nèi)就會(huì)創(chuàng)建尖峰并將其發(fā)送至各個(gè)目標(biāo)核心中的其他組。Loihi支持神經(jīng)擬態(tài)計(jì)算中幾乎所有特性，包括單播、多播、廣播、稀疏網(wǎng)絡(luò)、可變突觸格式和基于種群的層次連接等。在學(xué)習(xí)能力方面，每個(gè)內(nèi)核都包含有一個(gè)所謂的“學(xué)習(xí)引擎”，可以對其進(jìn)行編程以適應(yīng)不同的網(wǎng)絡(luò)參數(shù)，例如尖峰的時(shí)間、影響值等。

在軟件方面，英特爾開發(fā)了和Loihi一起使用的完整工具鏈，包括Loihi Python API、編譯器以及一組用于在Loihi上構(gòu)建和執(zhí)行SNN的運(yùn)行庫等。在大多數(shù)情況下，Loihi的相關(guān)API和現(xiàn)有框架比如PyNN相似，但是考慮到SNN的特殊性，Loihi API也提供了一種使用自定義配置比如衰減時(shí)間、突觸權(quán)重、峰值閾值創(chuàng)建神經(jīng)元和突觸的方法。

4種產(chǎn)品形態(tài)

從小到大，適應(yīng)不同的場合

目前英特爾為Loihi推出74種相關(guān)產(chǎn)品，涵蓋了從USB供電的便攜版本到大型設(shè)備所使用的擴(kuò)展版本。最迷你的版本被稱作Kapoho Bay，它的外形和一個(gè)閃存盤基本相同，接口采用了USB和DVS，可以在電腦上實(shí)現(xiàn)自由插拔使用。Kapoho Bay包含2顆Loihi芯片，具X256個(gè)神經(jīng)擬態(tài)核心、262144個(gè)神經(jīng)元或者2.6億個(gè)突觸。這個(gè)產(chǎn)品的應(yīng)用場合主要是照相機(jī)、移動(dòng)計(jì)算等設(shè)備的神經(jīng)擬態(tài)計(jì)算開發(fā)和驗(yàn)證。

較大一些的版本W(wǎng)olf Mountain整合了4顆Loihi芯片，所有數(shù)據(jù)相比Kapoho Bay都翻倍了，包括512個(gè)神經(jīng)擬態(tài)核心、524288個(gè)神經(jīng)元和5.2億個(gè)突觸。Wolf Mountain目前以開發(fā)板的形態(tài)呈現(xiàn)，主要提供給專業(yè)用戶使用。

更大一些的版本也就是英特爾在近期發(fā)布會(huì)上展示的產(chǎn)品被稱為Nahuku，這個(gè)較大尺寸的開發(fā)板上最多可以集成32顆Loihi芯片，英特爾可以根據(jù)需要配置8～32顆不同芯片的版本。32顆芯片的版本共有4096個(gè)神經(jīng)擬態(tài)核心，其中包含4194304個(gè)神經(jīng)元和41.6億個(gè)突觸。另外，英特爾還推出了一個(gè)名為Pohoiki Beach的版本，使用2個(gè)Nahuku連接在一起，繼續(xù)提供翻倍的性能。

最后則是最大規(guī)模的PohoikiSprings，由24塊Nahuku連接在一起組成，總共有768顆Loihi芯片，共98304個(gè)神經(jīng)擬態(tài)核心，合并了1.00663296億個(gè)神經(jīng)元和998.4億個(gè)突觸。該系統(tǒng)包含8行，每行3個(gè)插槽可以安裝3塊Nahuku，8行總共24塊板。即便使用如此多的芯片，其運(yùn)行功耗也低于500W，其神經(jīng)元容量大概類似于一個(gè)小型哺乳動(dòng)物比如倉鼠等。

由于有了成熟的產(chǎn)品和可擴(kuò)展的方案，英特爾在神經(jīng)擬態(tài)研究上也做出了不少成果。比如英特爾宣布，Loihi芯片和相關(guān)方案，聯(lián)合72個(gè)化學(xué)傳感器，完成了10種不同氣味的學(xué)習(xí)和分辨，對單一樣本的識別率高達(dá)92%。與此相對應(yīng)的是如果采用傳統(tǒng)的深度學(xué)習(xí)方法來完成的話，每一類氣味至少需要現(xiàn)有方案3000倍以上的訓(xùn)練樣本。神經(jīng)擬態(tài)芯片強(qiáng)大的威力初露端倪。此外，英特爾還宣稱，在稀疏編碼、圖式搜索、路徑規(guī)劃、SLAM、約束滿足問題等特定應(yīng)用中，Loihi要比傳統(tǒng)CPU速度快最多1000倍，能效高最多10000倍。

總的來看，作為一個(gè)才剛剛興起的全新一代AI產(chǎn)業(yè)分支，英特爾又邁出了堅(jiān)實(shí)的一步。新的Loihi芯片和其代表的技術(shù)架構(gòu)，已經(jīng)向人們展示了神經(jīng)擬態(tài)計(jì)算在AI方面的巨大潛力。接下來英特爾需要做的，應(yīng)該就是不斷強(qiáng)化芯片、提高性能，最終實(shí)現(xiàn)模擬大腦的目標(biāo)吧。

萬倍加速量子計(jì)算發(fā)展淺析

作為現(xiàn)代物理學(xué)的支柱之一，量子物理和相關(guān)的技術(shù)往往給產(chǎn)廠種高高在上的神秘感。量子計(jì)算這個(gè)頂著“量子”大帽子，又?jǐn)y帶著量子霸權(quán)”光環(huán)的技術(shù)，究竟代表了怎樣的力量呢？

量子計(jì)算

并不神秘的計(jì)算模式

所謂量子計(jì)算，是指使用量子邏輯進(jìn)行計(jì)算。由于采用了量子邏輯，因此量子計(jì)算設(shè)備被稱為量子計(jì)算機(jī)，其用于存儲數(shù)據(jù)的對象是量子比特，使用量子算法進(jìn)行操作。在一些文章中，量子計(jì)算或者量子計(jì)算機(jī)被渲染成比傳統(tǒng)計(jì)算設(shè)備快萬億倍甚至無所不能，這顯然是不正確的。

從發(fā)展歷史來看，量子計(jì)算和量子計(jì)算機(jī)在1969年就已經(jīng)有科學(xué)家提出了相關(guān)的思想，但是量子計(jì)算理論開始豐富和突破則是在20世紀(jì)80年代。1982年，理查德費(fèi)曼提出了利用量子體系實(shí)現(xiàn)通用計(jì)算的方法，1985年大衛(wèi)杜斯則給出了量子計(jì)算機(jī)的圖靈機(jī)模型。1994年，彼得秀爾完成了量子計(jì)算機(jī)最重要的量子質(zhì)因數(shù)分解算法，證明了量子計(jì)算機(jī)能夠進(jìn)行離散對數(shù)運(yùn)算，并且在部分場景下，速度比傳統(tǒng)計(jì)算機(jī)要快得多得多。那么，量子計(jì)算機(jī)的強(qiáng)勢之處在哪里呢？

除了量子計(jì)算芯片外，英特爾還在量子計(jì)算的控制芯片上展示出了強(qiáng)大的實(shí)力。2019年2月份，英特爾推出了全新的、代號為“Horse Ridge”的互聯(lián)控制設(shè)備，采用了同時(shí)適用于量子位和控制電子設(shè)備的可擴(kuò)展架構(gòu)，通過組件月上系統(tǒng)（SoC），實(shí)現(xiàn)了對多個(gè)量子位高保真度的控制。

Horse Ridge的硅片尺寸為4毫米長、4毫米寬，采用英特爾22nm FFL工藝制造。Horse Ridge將SRAM、數(shù)字核心、模擬和射頻電路都集中到了單個(gè)封裝中，這樣可以使用微波脈沖操縱量子系統(tǒng)中的量子位狀態(tài)。HorseRidge集成了頻率在2～20KGHz的高速數(shù)模轉(zhuǎn)換器和寬帶變頻器，此外還支持最高41us的包絡(luò)，后者可以由查找表提供信息，并為每個(gè)量子位定義8條指令。Horse Ridge在一個(gè)設(shè)備中共有4個(gè)射頻頻道，利用頻率復(fù)用可以控制多達(dá)128個(gè)量子位，能夠通過32個(gè)數(shù)控振蕩器以200Hz的高精度產(chǎn)生32個(gè)復(fù)用量子位頻率。

Horse Ridge的關(guān)鍵性優(yōu)勢在于縮小了運(yùn)行量子系統(tǒng)所需要的PCB、芯片的尺寸，并減少了所需要的功率，提尹了能耗比。另外它還能夠擴(kuò)展和控制更多的量子位，提高整體量子門的保真度，并且能夠自動(dòng)校正相位移動(dòng)，在每次控制后更新數(shù)字代碼等。

英特爾量子硬件總監(jiān)Jim Clarke表示，業(yè)內(nèi)很多廠商在量子比特位的提高上擁有充足的經(jīng)驗(yàn)，但是很少有人去關(guān)注量子計(jì)算系統(tǒng)所需要的控制和互聯(lián)系統(tǒng)。Horse Ridge的推出，改變了目前很多廠商采用單獨(dú)控制每個(gè)量子位的方法，轉(zhuǎn)而同時(shí)控制多個(gè)量子位，這有助于人們從量子理論研究過渡至量子實(shí)用性研究。

英特爾在量子計(jì)算上的投入和產(chǎn)出的成果是卓有成效的，無論是49量子比特位的量子計(jì)算芯片，還是Horse Ridge控制芯片，都展示了英特爾在量子產(chǎn)品長遠(yuǎn)而全面的考慮。目前來看，在業(yè)內(nèi)廠商中，英特爾和谷歌、IBM等廠商在量子計(jì)算上走在前列，量子計(jì)算芯片和控制芯片的推出，更加強(qiáng)了這種產(chǎn)業(yè)優(yōu)勢。未來英特爾還可能進(jìn)一步推出更多量子比特位、控制能力更出色的產(chǎn)品，在量子計(jì)算從實(shí)驗(yàn)室走向商業(yè)空間的漫漫長路中，印下自己堅(jiān)實(shí)的印記。

后記：面向未來的計(jì)算

總的來說，無論是神經(jīng)擬態(tài)計(jì)算還是量子計(jì)算，都是人類下一代計(jì)算設(shè)備發(fā)展路徑上無數(shù)備選產(chǎn)品中的優(yōu)選代表。前者模擬的是人腦，后者帶來了特定計(jì)算的萬億倍加速，其目的和最終結(jié)果都將遠(yuǎn)遠(yuǎn)拋離硅芯片和現(xiàn)有計(jì)算架構(gòu)所能達(dá)到的上限，從而開拓出一個(gè)全新的計(jì)算天地。反觀現(xiàn)有硅芯片和馮諾伊曼結(jié)構(gòu)計(jì)算機(jī)，似乎已經(jīng)成為一個(gè)快被榨干了的檸檬，努力施加壓力，還可能榨出最后幾滴汁水，但要繼續(xù)進(jìn)步的話，就不得不拋棄這個(gè)即將干涸的外殼，走向一片新的森林了。這也是所有計(jì)算機(jī)學(xué)科、交叉學(xué)科研究人員，以及英特爾、谷歌、IBM等主要芯片廠商努力的方向，可以預(yù)見他們持續(xù)不斷的科技創(chuàng)新成果將成為改變未來世界的關(guān)鍵。