人工神經(jīng)形態(tài)器件發(fā)展現(xiàn)狀與展望

張 玲，劉國柱,2，于宗光

（1.中國電子科技集團(tuán)公司第五十八研究所，江蘇無錫 214035；2.東南大學(xué)電子科學(xué)與工程學(xué)院，南京 210096）

1 引言

隨著信息化時(shí)代的發(fā)展，數(shù)據(jù)處理以爆發(fā)式方式快速增長（平均數(shù)據(jù)量為2.5×1018B/d，每40個(gè)月增加1倍[1]，預(yù)計(jì)到2025年全球數(shù)據(jù)總量將達(dá)到175 ZB[2]），大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、5G通信、人工智能等技術(shù)的應(yīng)用對(duì)計(jì)算速度和計(jì)算能效提出了更高的要求。傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)因存算分離引發(fā)“存儲(chǔ)墻”和“功耗墻”問題而不再滿足智能大數(shù)據(jù)應(yīng)用場景快、準(zhǔn)、智的響應(yīng)需求[3-14]，尤其在速度、功耗、面積等方面難以滿足未來龐大數(shù)據(jù)量的處理需求，其計(jì)算體系與架構(gòu)的短板愈顯突出。同時(shí)，傳統(tǒng)CMOS器件尺寸正在逼近物理極限，摩爾定律難以延續(xù)，同樣也限制了計(jì)算機(jī)的性能提升[3-14]。人工智能的三大要素是算力、數(shù)據(jù)與算法，目前，傳統(tǒng)計(jì)算架構(gòu)的帶寬、算力和功耗問題已經(jīng)成為人工智能發(fā)展的瓶頸。因此，類腦計(jì)算與存算一體化是現(xiàn)階段實(shí)現(xiàn)高帶寬、低功耗、計(jì)算需求的必由之路，其中，人工神經(jīng)形態(tài)器件是解決“存儲(chǔ)墻”和“功耗墻”問題的有效途徑，發(fā)展以新材料和新器件為支撐的新型非馮計(jì)算架構(gòu)成為解決問題的關(guān)鍵點(diǎn)[3-4,13-14]。構(gòu)建基礎(chǔ)器件、電路、架構(gòu)、系統(tǒng)、應(yīng)用等多個(gè)層面協(xié)同創(chuàng)新平臺(tái)，是發(fā)展神經(jīng)形態(tài)新型計(jì)算體系的基礎(chǔ)，同時(shí)也是真正實(shí)現(xiàn)人腦神經(jīng)網(wǎng)絡(luò)模擬抽象的必要條件。本文基于神經(jīng)元與突觸原理，綜述了神經(jīng)形態(tài)器件與電路的基本發(fā)展概況，并對(duì)人工神經(jīng)形態(tài)器件發(fā)展存在的問題與未來趨勢進(jìn)行了分析與總結(jié)。

2 神經(jīng)元與突觸

大腦是控制生物學(xué)習(xí)、記憶、感知、語言、運(yùn)動(dòng)、情感等生命活動(dòng)的信息處理中心。神經(jīng)元是構(gòu)成生物大腦神經(jīng)網(wǎng)絡(luò)系統(tǒng)基本結(jié)構(gòu)和功能的單位，主要包括細(xì)胞體（Cell Body）、樹突（Dendrites）、軸突（Axon），具有學(xué)習(xí)、可塑、興奮、抑制、遺忘等多種特性和功能，具體結(jié)構(gòu)如圖1所示[6-11]。神經(jīng)元之間相互接觸部位為突觸（Synapse），即突觸是實(shí)現(xiàn)突觸前神經(jīng)元（Presynaptic Neuron）與突觸后神經(jīng)元（Postsynaptic Neuron）之間信息傳輸?shù)耐ǖ溃巧窠?jīng)系統(tǒng)傳遞的最小功能單位，具有非易失性和可塑性的特點(diǎn)，其結(jié)構(gòu)包括突觸前膜、突觸間隙和突觸后膜。一個(gè)神經(jīng)元具有多個(gè)軸突分支，其軸突末梢與多個(gè)神經(jīng)元的細(xì)胞體或樹突相接觸。一般生物神經(jīng)系統(tǒng)是由數(shù)以億計(jì)的神經(jīng)元細(xì)胞通過錯(cuò)綜復(fù)雜的連接方式組成的，樹突用來接收輸入信號(hào)并改變細(xì)胞體的膜電位，從而實(shí)現(xiàn)大腦脈沖信號(hào)傳遞。一般人腦中約有1011個(gè)神經(jīng)元和1015個(gè)突觸[6-14]。

圖1 生物大腦神經(jīng)網(wǎng)絡(luò)基本組織結(jié)構(gòu)[11]

生物神經(jīng)網(wǎng)絡(luò)的突觸功能特性通過權(quán)重指標(biāo)進(jìn)行衡量，其形態(tài)、功能、強(qiáng)度和效率發(fā)生較為持久的改變的特性或現(xiàn)象被稱為可塑性（Synaptic Plasticity），這種實(shí)現(xiàn)神經(jīng)元之間連接強(qiáng)度可調(diào)節(jié)的可塑性功能是生物系統(tǒng)學(xué)習(xí)、推理和其他智能的基礎(chǔ)[7,11-20]。在人工神經(jīng)網(wǎng)絡(luò)中，根據(jù)突觸可塑性數(shù)學(xué)模型來構(gòu)造神經(jīng)元之間的聯(lián)系，其可塑性一般可分為短時(shí)程可塑性（Short-TermPlasticity，STP）、 長 時(shí) 程 可 塑 性（Long-Term Plasticity，LTP）、放電時(shí)間依賴可塑性（Spiking-Timing-Dependent Plasticity，STDP）、放電速率依賴可塑性（Spiking-Rate-Dependent Plasticity，SRDP）、經(jīng)驗(yàn)學(xué)習(xí)（Learning-Experience）、非聯(lián)想性學(xué)習(xí)（Non-Associative Learning）、聯(lián) 想 性 學(xué) 習(xí)（Associative Learning）、突觸縮放（Synaptic Scaling）等[7,11-21]。其中，短時(shí)程可塑性是由短促的刺激觸發(fā)，并在短時(shí)間內(nèi)能夠迅速恢復(fù)，包括雙脈沖抑制（Paired-Pulse Depression，PPD）、雙 脈 沖 易 化（Paired-Pulse Facilitation，PPF）、 強(qiáng) 直 后 增 強(qiáng)（Post-Tetanic Potentiation，PTP）[7]；長時(shí)程可塑性是由大量外界刺激引起的，連接程度持續(xù)性增強(qiáng)或抑制，其表現(xiàn)為LTP和長時(shí)程抑制（Long-Term Depression,LTD），被公認(rèn)為是學(xué)習(xí)記憶活動(dòng)的細(xì)胞水平生物學(xué)基礎(chǔ)，一般的LTP主導(dǎo)新信息的學(xué)習(xí)，而LTD去除不必要的舊信息，維持學(xué)習(xí)和遺忘的平衡關(guān)系[7,15-16,18]。作為赫布（Hebbian）學(xué)習(xí)規(guī)則之一的STDP很好地詮釋了LTP和LTD之間的關(guān)系：當(dāng)突觸前脈沖先于突觸后脈沖到達(dá)時(shí)（Pre-Post Spiking），能夠引起LTP；當(dāng)突觸后脈沖先于突觸前脈沖到達(dá)時(shí)（Post-Pre Spiking），能夠引起LTD[18]。

3 人工神經(jīng)形態(tài)器件

人工智能正引領(lǐng)時(shí)代的變革，人工神經(jīng)形態(tài)技術(shù)在圖像、語音識(shí)別等領(lǐng)域取得突破性進(jìn)展，但距離人腦智能或者具有自我意識(shí)的強(qiáng)人工智能還存在很大的差距。類腦神經(jīng)網(wǎng)絡(luò)具備自主學(xué)習(xí)能力、獲取新信息和新技能的能力，以及進(jìn)行交互、推理從而做出決策的能力，同時(shí)具有高并行性、高容錯(cuò)性、高連接性、存算融合和低功耗特性。其中，存算融合特性從根本上解決了馮·諾依曼體系架構(gòu)的“存儲(chǔ)墻”、“功耗墻”瓶頸問題。世界各國政府、研究機(jī)構(gòu)和企業(yè)都在類腦神經(jīng)形態(tài)技術(shù)方面爭相布局，投入巨資開展了類腦神經(jīng)形態(tài)器件及其應(yīng)用系統(tǒng)的研究。目前，人工神經(jīng)形態(tài)器件的發(fā)展主要包括2條技術(shù)路線：一種是基于傳統(tǒng)成熟的CMOS技術(shù)的SRAM或DRAM構(gòu)建，其原型器件在信息存儲(chǔ)方面屬于易失型；另一種是基于非易失性FLASH器件或新型存儲(chǔ)器件、新材料構(gòu)建。

3.1 傳統(tǒng)CMOS技術(shù)

目前，基于傳統(tǒng)CMOS工藝技術(shù)突破了多款以數(shù)字神經(jīng)元為特征的神經(jīng)形態(tài)芯片。如基于2008年美國DARPA的SyNAPEs項(xiàng)目，2011年，IBM公司首先推出2款TrueNorth類腦芯片原型，單核含256個(gè)神經(jīng)元和256×256個(gè)突觸，其腦容量僅相當(dāng)于蟲腦的水平[24]；2014年，IBM公司基于三星28 nm工藝技術(shù)終于在復(fù)雜性和使用性方面取得了突破性成果，完成了4096個(gè)內(nèi)核集成、含100萬個(gè)神經(jīng)元、2.56億個(gè)突觸、面積約4.3 mm2的類腦芯片，是2011年原型芯片大小的1/16，而且能耗只有不到70 mW[23-24]；2017年IBM公司和美國空軍實(shí)驗(yàn)室聯(lián)合宣布了由該芯片構(gòu)成的新超級(jí)計(jì)算機(jī)具有6 400萬個(gè)神經(jīng)元和160億個(gè)突觸，功耗僅有10 W[24]?；?013年歐盟的“人腦計(jì)劃”項(xiàng)目，曼徹斯特大學(xué)的SpiNNaker類腦芯片組成擁有100萬個(gè)ARM處理器核心和1200塊互連電路板的超級(jí)計(jì)算機(jī)，支持部分大腦模型，皮質(zhì)模型、基底神經(jīng)節(jié)，或表示為棘波神經(jīng)元網(wǎng)絡(luò)的多個(gè)區(qū)域[22]。2017年Intel公司推出的Loihi類腦芯片，由128個(gè)神經(jīng)形態(tài)的核心和3個(gè)低功耗的英特爾x86核心組成，擁有13萬個(gè)神經(jīng)元和1.3億個(gè)觸突，支持可編程的學(xué)習(xí)規(guī)則，每個(gè)神經(jīng)形態(tài)核心都包含一個(gè)學(xué)習(xí)引擎，在操作中可以通過編程去適配網(wǎng)絡(luò)參數(shù)，支持監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和其他的學(xué)習(xí)范式[25]，同時(shí)，分別于2019年和2020年先后基于Loihi芯片推出Pohoiki Beach和Pohoiki Springs系統(tǒng)[26-27]。2019年，清華大學(xué)研制成功了全球首款異構(gòu)融合類天機(jī)（Tianjic）類腦芯片[28]，芯片采用UMC公司的28 nm工藝制造，尺寸約為3.8 mm×3.8 mm，由156個(gè)FCore組成，包含大約40000個(gè)神經(jīng)元和1000萬個(gè)突觸，僅用一個(gè)芯片就可以在無人駕駛自行車系統(tǒng)中同時(shí)處理多種算法和模型，實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測、跟蹤、語音控制、避障和平衡控制。2019年8月，浙江大學(xué)基于55 nm工藝技術(shù)研制出了達(dá)爾文2類腦芯片，單芯片由576個(gè)內(nèi)核組成，每個(gè)內(nèi)核支持256個(gè)神經(jīng)元，神經(jīng)突觸超過1千萬，通過系統(tǒng)級(jí)擴(kuò)展，可構(gòu)建千萬級(jí)神經(jīng)元類腦計(jì)算系統(tǒng)，目前完成手勢識(shí)別、圖像識(shí)別、語音識(shí)別、腦電識(shí)別等多個(gè)應(yīng)用開發(fā)，功耗比傳統(tǒng)計(jì)算芯片低2個(gè)數(shù)量級(jí)以上。2020年9月，浙江大學(xué)聯(lián)合之江實(shí)驗(yàn)室共同研制成功了我國首臺(tái)基于自主知識(shí)產(chǎn)權(quán)、規(guī)模最大的類腦芯片組成的類腦計(jì)算機(jī)（Darwin Mouse），包含792顆達(dá)爾文2代類腦芯片，支持1.2億脈沖神經(jīng)元、近千億神經(jīng)突觸，與小鼠大腦神經(jīng)元數(shù)量規(guī)模相當(dāng)，典型運(yùn)行功耗為350～500 W。

這類芯片雖然區(qū)別于傳統(tǒng)集成電路和人工神經(jīng)網(wǎng)絡(luò)加速AI芯片，但芯片中基本人工神經(jīng)元和突觸依然是采用數(shù)字電路或者數(shù)?；旌想娐反罱?，存在集成度、功耗和功能模擬準(zhǔn)確度等瓶頸技術(shù)問題。如，SRAM由于密度和功耗的限制，大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型依然需要將參數(shù)儲(chǔ)存在外置的DRAM上。DRAM的數(shù)據(jù)量存儲(chǔ)比較多，但劣勢在于采用電容存儲(chǔ)數(shù)據(jù)，需要經(jīng)常刷新，且讀出來的數(shù)據(jù)需要先進(jìn)行區(qū)分再放到運(yùn)算單元做相關(guān)運(yùn)算，使得提升的效率有限。目前主流的典型類腦神經(jīng)形態(tài)芯片統(tǒng)計(jì)情況見表1。

表1 目前主流典型的類腦神經(jīng)形態(tài)芯片統(tǒng)計(jì)情況

3.2 非易失性神經(jīng)形態(tài)器件

模擬仿生突觸的功能是構(gòu)建人工神經(jīng)網(wǎng)絡(luò)硬件化的關(guān)鍵一步。傳統(tǒng)CMOS器件的神經(jīng)形態(tài)計(jì)算芯片中的數(shù)字神經(jīng)元采用了大量的電路元件，如MOS晶體管、電容等，其面積開銷過大，使得人工神經(jīng)網(wǎng)絡(luò)的密度遠(yuǎn)遠(yuǎn)低于生物神經(jīng)網(wǎng)絡(luò)的密度[30-34]，因此需尋找新的元器件和模擬方式，降低功耗、提高密度，使人工神經(jīng)網(wǎng)絡(luò)達(dá)到具備和生物神經(jīng)網(wǎng)絡(luò)可比擬的高度。非易失性神經(jīng)形態(tài)器件是一種具有人工神經(jīng)形態(tài)特性的憶阻器（Memristor），其具有獨(dú)特的非線性特性，并已成為新型模擬生物神經(jīng)元與突觸的基本信息處理單元，得到了人們的廣泛研究。1971年華裔科學(xué)家蔡少棠教授在研究電荷、電流、電壓和磁通量之間的關(guān)系時(shí)首次提出了憶阻器概念[30]。2008年惠普實(shí)驗(yàn)室在Nature雜志上首次報(bào)道了憶阻器[31]，這種器件具有多比特、非易失、速度快、集成度高等特點(diǎn)，在功耗、硬件開銷等方面具有顯著優(yōu)勢，但目前新型非易失性神經(jīng)形態(tài)器件的研究主要集中在機(jī)理和功能模擬兩個(gè)方面?，F(xiàn)階段國內(nèi)外在阻變存儲(chǔ)器（Resistive Random Access Memory，ReRAM）、相變存儲(chǔ)器（Phase Change Memory，PCM）、鐵電存儲(chǔ)器（Ferroelectric Random Access Memory，F(xiàn)eRAM）、磁 存 儲(chǔ) 器（Magnetic Random Access Memory，MRAM）、離子?xùn)趴鼐w管等新型器件實(shí)現(xiàn)了模擬突觸和神經(jīng)元的功能并取得了重要進(jìn)展，但尚處在探索研究階段。相比于傳統(tǒng)的Flash存儲(chǔ)器，新型非易失性存儲(chǔ)器件不僅可以具有相當(dāng)?shù)拇鎯?chǔ)容量，而且其在讀取和寫入速度、數(shù)據(jù)保持特性、抗疲勞特性、能耗方面具有明顯的優(yōu)勢[32,34]，見表2。

表2 非易失性器件的基本特征參數(shù)[32]

3.2.1 基于ReRAM的人工神經(jīng)形態(tài)器件研究

ReRAM是由金屬/阻變材料薄膜/金屬構(gòu)成，利用阻變材料電阻在外加電場激勵(lì)作用下具有高阻態(tài)（High Resistive State，HRS）與低阻態(tài)（Low Resistive State，LRS）之間可逆改變特性實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的存儲(chǔ)功能，其中，由HRS向LRS轉(zhuǎn)變被稱為置位（Set）過程，與之相反的則為復(fù)位（Reset）過程，置位與復(fù)位之間轉(zhuǎn)變過程是因電壓極性而改變的阻變行為被稱為雙極性阻變（Bipolar），而對(duì)于置位與復(fù)位轉(zhuǎn)變過程僅需同種電壓極性阻變行為被稱為單極性阻變(Nonpolar)，一般涉及的電阻轉(zhuǎn)變機(jī)制包括離子遷移、電荷俘獲/釋放、熱化學(xué)反應(yīng)等，典型離子遷移工作原理如圖2所示[30-41]。該器件具有結(jié)構(gòu)簡單、非易失、功耗低、速度快、多阻態(tài)、尺寸小、易三維集成等諸多優(yōu)點(diǎn)，同時(shí)，由于ReRAM具有模擬生物神經(jīng)突觸功能，已被廣泛應(yīng)用于硬件神經(jīng)網(wǎng)絡(luò)系統(tǒng)的研究[31-41]。

圖2 典型的離子遷移型ReRAM的電特性和離子傳輸機(jī)制[32]

目前，國內(nèi)外多家著名高校及研究機(jī)構(gòu)都發(fā)布了基于ReRAM器件構(gòu)建的神經(jīng)形態(tài)芯片原型，并在圖像、語音識(shí)別等應(yīng)用領(lǐng)域進(jìn)行了廣泛的測試與驗(yàn)證。2015年，美國加州大學(xué)圣巴巴拉分校（UCSB）研究人員利用Al2O3/TiO2-x憶阻器建立了一個(gè)12×12交叉陣列的單層感知機(jī)神經(jīng)網(wǎng)絡(luò)，成功實(shí)現(xiàn)了簡單的人類視覺圖像分類功能，該網(wǎng)絡(luò)可以使用delta-rule算法的粗粒度變化進(jìn)行現(xiàn)場教學(xué)，完成了將3×3像素黑白圖像完美地分為3類（代表字母“z”、“v”、“n”），具體如圖3所示[34]。2016年，圣塔芭芭拉分校的謝源教授團(tuán)隊(duì)提出基于RRAM構(gòu)建存算融合的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（PRIME），與傳統(tǒng)馮·諾依曼計(jì)算架構(gòu)相比，PRIME功耗降低約為原來的1/20、速度提高約50倍，PRIME成功高效地實(shí)現(xiàn)了向量矩陣乘法運(yùn)算[32,35]。2016年，英國南安普頓大學(xué)研究人員基于TiOx憶阻器展示了一個(gè)可擴(kuò)展片上存儲(chǔ)的高效數(shù)據(jù)壓縮技術(shù)，其構(gòu)建的交叉陣列規(guī)模為32×32[36]。2017年，清華大學(xué)錢鶴教授課題組利用具有模擬非易失特性的憶阻器構(gòu)建了一個(gè)128×8交叉陣列，采用并行在線訓(xùn)練的方法實(shí)現(xiàn)了人臉識(shí)別功能[37]。2018年，美國麻省大學(xué)WANG[38]等研究人員基于SiOxNy:Ag介電膜的擴(kuò)散型記憶電阻器研制出了具有隨機(jī)漏積分和火災(zāi)動(dòng)力學(xué)以及積分時(shí)間可調(diào)的人工神經(jīng)元，該人工神經(jīng)元的積分時(shí)間取決于銀的遷移或其與電路電容的相互作用，建立了完全記憶性人工脈沖神經(jīng)網(wǎng)絡(luò)，并驗(yàn)證了其具有無監(jiān)督的突觸權(quán)重更新和模式分類功能。2019年，美國密歇根大學(xué)CAI等[39]基于WOx憶阻器研制出了一款混合集成憶阻器/CMOS的神經(jīng)形態(tài)芯片，其憶阻器的交叉陣列規(guī)模50×108，驗(yàn)證了具有綜合分類功能的感知器網(wǎng)絡(luò)、稀疏編碼和PCA算法。2020年，清華大學(xué)吳華強(qiáng)教授團(tuán)隊(duì)成功研發(fā)出一款基于憶阻器的多陣列神經(jīng)形態(tài)芯片（如圖4所示），并實(shí)現(xiàn)了卷積網(wǎng)絡(luò)的完整硬件化，集成了8個(gè)包含2048個(gè)憶阻器的列陣，構(gòu)建了一個(gè)5層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，精度高達(dá)96%以上，在處理卷積神經(jīng)網(wǎng)絡(luò)（CNN）時(shí)能效比前沿的圖形處理器芯片（GPU）高2個(gè)數(shù)量級(jí)[40]。2020年，HRL實(shí)驗(yàn)室報(bào)告了采用納米級(jí)VO2活性記憶電阻器構(gòu)建的神經(jīng)元，其為實(shí)現(xiàn)全記憶抑制神經(jīng)形態(tài)皮層計(jì)算機(jī)提供了解決思路[41]。2020年，東北師范大學(xué)紫外線發(fā)光材料與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室報(bào)道了基于Bienenstock-Cooper-Munro學(xué)習(xí)規(guī)則，采用WO3-x記憶突觸模擬了STDP可塑性，顯示了突觸前和突觸后的活動(dòng)，并彌補(bǔ)了抑郁癥區(qū)域沒有增強(qiáng)的抑郁效應(yīng)[42]。2020年，CHEN[43]等采用化學(xué)氣相沉積法制備的六角氮化硼，可以制作高密度記憶交叉陣列介質(zhì)層，并將其用于圖像識(shí)別的人工神經(jīng)網(wǎng)絡(luò)模型，陣列具有較高的良率和一致性。雖然ReRAM在人工智能領(lǐng)域是實(shí)現(xiàn)仿生神經(jīng)元和突觸器件較為理想的選擇，但因材料、器件結(jié)構(gòu)、工藝、編程方法等眾多因素，目前依然存在諸多技術(shù)瓶頸問題有待進(jìn)一步解決，如漏電流和熱串?dāng)_引起的耐久性與阻態(tài)保持特性變差、器件性能參數(shù)一致性差等問題。

圖3 利用Al2O3/TiO2-x憶阻器實(shí)現(xiàn)的視覺圖像分類功能[34]

圖4 基于TiO x憶阻器的神經(jīng)形態(tài)芯片實(shí)現(xiàn)圖像識(shí)別功能[40]

3.2.2 基于MRAM的人工神經(jīng)形態(tài)器件研究

1975年，Julliere通過Co/Ge/Fe磁性隧道結(jié)（Magnetic Tunnel Junctions，MTJ）發(fā)現(xiàn)了隧穿磁電阻（Tunneling Magnetoresistance-TMR）效應(yīng)，其機(jī)理是利用電流誘導(dǎo)的自旋轉(zhuǎn)移力矩（Spin-TransferTorque，STT）驅(qū)動(dòng)磁矩變化，從而產(chǎn)生隧穿磁電阻變化的響應(yīng)，可以進(jìn)行信號(hào)輸出與功能表達(dá)[44-49]。MTJ由自由層／勢壘層／釘扎層構(gòu)成的三明治結(jié)構(gòu)組成，其中釘扎層材料為磁化取向被釘扎固定的鐵磁層，自由層為磁矩可以自由轉(zhuǎn)動(dòng)的鐵磁層，勢壘層是非磁性絕緣層[46]，具體結(jié)構(gòu)和工作原理如圖5所示。當(dāng)兩鐵磁層的磁化取向平行排列時(shí)，MTJ表現(xiàn)出低電阻狀態(tài)（P）；當(dāng)兩鐵磁層的磁化取向反平行排列時(shí)，MTJ表現(xiàn)出高電阻狀態(tài)（AP）。近來研究表明，利用自旋電子器件中磁矩進(jìn)動(dòng)產(chǎn)生的TMR可實(shí)現(xiàn)仿生突觸和神經(jīng)元特性，因此，基于磁性隧道結(jié)的自旋神經(jīng)形態(tài)器件在神經(jīng)形態(tài)計(jì)算領(lǐng)域具有廣泛的應(yīng)用前景。

圖5 MTJ結(jié)構(gòu)及工作原理[46]

利用電子的磁性和電學(xué)性質(zhì)的自旋電子納米器件，可以提高能量效率并縮小神經(jīng)形態(tài)電路的面積，而磁性隧道結(jié)作為神經(jīng)形態(tài)計(jì)算元件特別受關(guān)注，因?yàn)樗鼈兣c標(biāo)準(zhǔn)集成電路兼容，可以支持多種功能[48]。SRINIVASAN[44]等提出一個(gè)由MTJ和重金屬組成的隨機(jī)二元突觸異質(zhì)結(jié)構(gòu)，并基于SNN理論和分類手寫MNIST數(shù)據(jù)訓(xùn)練集證明了MTJ突觸結(jié)構(gòu)和隨機(jī)STDP學(xué)習(xí)算法的有效性。SENGUPTA[45]等展示了皮層錐體神經(jīng)元的概率尖峰特性與存在熱噪聲的MTJ隨機(jī)切換行為的映射，并說明了基于概率神經(jīng)元的神經(jīng)形態(tài)系統(tǒng)中存在側(cè)向抑制和穩(wěn)態(tài)時(shí)的模式識(shí)別任務(wù)的效率（如圖6所示），這種隨機(jī)的MTJ神經(jīng)元也有可能提供一個(gè)直接映射到信念網(wǎng)絡(luò)中的概率計(jì)算元素，以執(zhí)行再生任務(wù)?；镜挠洃浌δ埽妼懭牒妥x出已經(jīng)在反鐵磁體中得到了證明，在自旋軌道轉(zhuǎn)矩開關(guān)電脈沖長度已從毫秒縮短到皮秒，開啟了超快磁存儲(chǔ)器的前景[46]。GUILLAUME[47]等研究了一種新的MRAM技術(shù)，其寫入方案依賴于自旋軌道轉(zhuǎn)矩（SOT），與STTMRAM相比，它具有非?？斓拈_關(guān)速度、準(zhǔn)無限長的續(xù)航時(shí)間，并且由于讀寫路徑分開，解決了讀干擾問題，提高了可靠性。

圖6 MTJ在皮層錐體神經(jīng)元的應(yīng)用[45]

3.2.3 基于PCRAM的人工神經(jīng)形態(tài)器件研究

相變存儲(chǔ)器（Phase Change Random Access Memory,PCRAM）是利用相變材料作為存儲(chǔ)介質(zhì)（如Sb-Te、Ge-Te、Ge-Sb-Te等硫系材料），在電流的焦耳熱作用下，實(shí)現(xiàn)相變材料在結(jié)晶相態(tài)（即低阻態(tài)）和非晶相態(tài)（即高阻態(tài)）之間快速可逆轉(zhuǎn)換，利用這一電阻率隨晶態(tài)轉(zhuǎn)化的特性來實(shí)現(xiàn)信息存儲(chǔ)的NVM技術(shù)[50-56]。目前，PCRAM主要結(jié)構(gòu)分為T型結(jié)構(gòu)、μ-Trench結(jié)構(gòu)、邊緣接觸型結(jié)構(gòu)和平面結(jié)構(gòu)等，其中T型結(jié)構(gòu)是業(yè)界廣泛采用的主流結(jié)構(gòu)，由底電極、相變材料層和頂電極3個(gè)部分構(gòu)成[50-56]，如圖7所示。PCRAM具有工藝簡單、集成度高（納米尺度）、響應(yīng)速度快（納秒級(jí)）等優(yōu)點(diǎn)，同時(shí)兼容于CMOS。自2010年以來已有多家企業(yè)實(shí)現(xiàn)了PCRAM技術(shù)產(chǎn)業(yè)化，具體如表3所示。

圖7 T型PCRAM器件[50]

表3 典型PCRAM發(fā)展情況[50-56]

PCRAM因具有高集成度、高響應(yīng)速度，也被廣泛應(yīng)用于高密度憶阻神經(jīng)-突觸陣列，構(gòu)建神經(jīng)形態(tài)芯片[52-55]。TUMA[51]等基于硫系化合物的相變材料研究了人工神經(jīng)元，通過利用可逆的非晶態(tài)到晶體相變的物理特性，證明了突觸后電位的時(shí)間積分可以在納秒時(shí)間尺度上實(shí)現(xiàn)。NANDAKUMAR[54]等評(píng)估了使用納米尺度和隨機(jī)模擬記憶突觸來實(shí)現(xiàn)高性能事件驅(qū)動(dòng)的原位監(jiān)督學(xué)習(xí)系統(tǒng)的可行性，原型芯片中有超過170000個(gè)基于PCM的突觸根據(jù)事件驅(qū)動(dòng)的學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練，在1250 ms長的尖峰模式中，在25 ms的耐受間隔內(nèi)產(chǎn)生超過85%的尖峰，這項(xiàng)工作將具有監(jiān)督SNN的計(jì)算潛力與內(nèi)存計(jì)算的并行計(jì)算能力相結(jié)合，為下一代高效的大腦啟發(fā)系統(tǒng)鋪平了道路，PCRAM突觸器件SNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)如圖8所示。BHATTACHARJEE[55]等利用重?fù)诫s（n型）和摻鈮（p型）二硫化鉬（MoS2）晶體管中電子俘獲事件產(chǎn)生的短期/長期記憶效應(yīng)，該晶體管模擬神經(jīng)遞質(zhì)的交換并模擬其STDP，其中至少有50個(gè)電導(dǎo)值。但是，相變神經(jīng)元的功能具有一定的局限性：由于大多數(shù)隨機(jī)性質(zhì)直接來自結(jié)晶的物理性質(zhì)，故隨機(jī)響應(yīng)、神經(jīng)元參數(shù)和膜電位動(dòng)力學(xué)可以按最小電路要求進(jìn)行調(diào)整的程度受到限制[56]。而且，由于器件的易變性和納米尺度的物理效應(yīng)，極小技術(shù)節(jié)點(diǎn)上的實(shí)現(xiàn)可能會(huì)呈現(xiàn)出固定模式以及時(shí)間噪聲的增加，這對(duì)于必須嚴(yán)格控制隨機(jī)性的算法可能是不利的[56]。

圖8 PCRAM突觸器件SNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)

3.2.4 基于FeRAM的人工神經(jīng)形態(tài)器件研究

FeRAM是一種非易失存儲(chǔ)器，具有高速、高密度、低功耗和抗輻射等優(yōu)點(diǎn)，目前主要的鐵電材料有鈣鈦礦結(jié)構(gòu)系列，包括PbZr1-xTixO3、SrBi2Ti2O9和Bi4-xLaxTi3O12等，而傳統(tǒng)的FeRAM存在尺寸收縮和集成度問題，經(jīng)過科學(xué)家不斷地探索，發(fā)現(xiàn)鐵電隧道結(jié)（FTJ）具有尺寸小、易于集成、靈敏度高、使用壽命長等優(yōu)點(diǎn)，可以很好地解決傳統(tǒng)的FeRAM瓶頸技術(shù)問題[57-63]。同時(shí)，利用在電極之間施加電場來調(diào)控其鐵電極化從而調(diào)控其電阻，這種純電學(xué)調(diào)控電阻變化的特性同樣受到廣泛關(guān)注并用于突觸特性模擬研究[63]。

CHANTHBOUALA[57]等首次報(bào)道了基于鐵電材料采用電壓調(diào)控鐵電極化方法實(shí)現(xiàn)了憶阻器功能，實(shí)驗(yàn)得到阻態(tài)變化范圍超過2個(gè)數(shù)量級(jí)，操作速度10 ns，具體的FTJ調(diào)諧電阻和鐵電疇結(jié)構(gòu)與電壓振幅關(guān)系如圖9所示。BOYN[58]等報(bào)告了基于FTJ非均勻極化特性模擬神經(jīng)突觸的放電時(shí)間依賴可塑性，同時(shí)，結(jié)合了SEM成像、電輸運(yùn)和原子尺度分子動(dòng)力學(xué)，研究發(fā)現(xiàn)電導(dǎo)的變化可以用晶核主導(dǎo)的疇反轉(zhuǎn)來模擬，并完成了FTJ陣列的模式識(shí)別性能預(yù)測，為脈沖神經(jīng)網(wǎng)絡(luò)（SNN）的無監(jiān)督學(xué)習(xí)開辟了道路。CHEN[59]等通過利用具有可調(diào)雙極特性的石墨烯-鐵電晶體管（GrFeFET）實(shí)現(xiàn)了互補(bǔ)性突觸，并構(gòu)造了互補(bǔ)的突觸和神經(jīng)元電路執(zhí)行SNN的遠(yuǎn)程監(jiān)控方法（ReSuMe），同時(shí)，將其應(yīng)用于3 pixel×3 pixel圖像分類的監(jiān)督學(xué)習(xí)（Supervised Learning，SL）任務(wù)中，通過網(wǎng)絡(luò)級(jí)仿真實(shí)現(xiàn)了學(xué)習(xí)功能。MA[60]等報(bào)告了一種基于Ag/BaTiO3/Nb:SrTiO3FTJ的高性能記憶電阻器，它具有600 ps的最快運(yùn)算速度和32個(gè)狀態(tài)或5 bit的最高狀態(tài)數(shù)，其電阻開關(guān)可保持在358 kΩ，寫入電流密度低至4×103A·cm-2，超快操作也獲得了脈沖時(shí)間依賴性可塑性的STDP功能，同時(shí)證明了較高載流子濃度的Nb:SrTiO3電極和功函數(shù)較低的金屬電極有利于提高操作速度，這些結(jié)果可為克服不同層次的存儲(chǔ)性能差距和開發(fā)超高速神經(jīng)形態(tài)計(jì)算系統(tǒng)提供了思路。BERDAN[61]等證明了非線性鐵電隧道結(jié)記憶體可以在超低電流下進(jìn)行線性計(jì)算，利用對(duì)數(shù)線驅(qū)動(dòng)器，證明了模擬電壓幅度矢量矩陣乘法器（Vector-Matrix Multiplication，VMM）可以在無選擇FTJ交叉陣列中通過一個(gè)在多個(gè)導(dǎo)電狀態(tài)下保持恒定的器件非線性，同時(shí)，F(xiàn)TJ交叉陣列可模擬VMM密集型應(yīng)用（如神經(jīng)推理引擎），F(xiàn)TJ實(shí)現(xiàn)的憶阻器具體特性如圖10所示。

圖9 調(diào)諧電阻和鐵電疇結(jié)構(gòu)與電壓振幅關(guān)系[FTJ：BaTiO3(2 nm)=LaO:67SrO:33MnO3(30 nm)(BTO/LSMO)][57]

圖10 FTJ器件特性及無選擇器交叉桿編程[61]

3.2.5 基于Flash浮柵型晶體管的人工神經(jīng)形態(tài)器件研究

NOR Flash浮柵器件具有工藝成熟度高、集成度高、成本低等優(yōu)點(diǎn)，從非易失性、高密度和可實(shí)現(xiàn)多位編程特性等方面看，F(xiàn)lash器件也非常適合深度學(xué)習(xí)和人工智能應(yīng)用，尤其在端側(cè)AIoT領(lǐng)域。利用Flash浮柵器件的模擬特性，可直接在其存儲(chǔ)單元內(nèi)進(jìn)行全精度乘加運(yùn)算，并存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，從而可以將乘加法運(yùn)算和存儲(chǔ)融合到一個(gè)Flash單元里面，實(shí)現(xiàn)神經(jīng)形態(tài)計(jì)算的存算融合基本特性。因此，目前基于NOR Flash實(shí)現(xiàn)神經(jīng)形態(tài)芯片的技術(shù)受到了產(chǎn)業(yè)界關(guān)注，自2016年UCSB發(fā)布第一個(gè)樣片以來，尤其在高性能計(jì)算技術(shù)方向的存算融合方面，多家知名企業(yè)、高校和研究所開始著手研發(fā)，如Intel、Micron、Mythic、Amazon、Microsoft、Walden、Lam Research、中芯國際集成電路制造有限公司、北京知存科技有限公司、北京大學(xué)、中國科技大學(xué)、中國電子科技集團(tuán)公司第五十八研究所等。2017年北京知存科技有限公司報(bào)道了神經(jīng)形態(tài)的存算融合AI芯片的最高峰值運(yùn)算效率為40 TOPS/W，平均值為10 TOPS/W[4]。2019年，合肥恒爍半導(dǎo)體科技公司與中國科技大學(xué)團(tuán)隊(duì)共同研發(fā)了基于65 nm NOR Flash架構(gòu)、具有邊緣計(jì)算和推理能力的神經(jīng)形態(tài)AI芯片，實(shí)現(xiàn)一個(gè)3×3卷積核的Flash陣列，能耗比能夠達(dá)到0.18 TOPS/W，能實(shí)時(shí)檢測通過攝像頭拍攝的人臉頭像并給出計(jì)算概率，可應(yīng)用于人工智能的圖像識(shí)別、心電圖監(jiān)測等領(lǐng)域[64]。2019年12月，Nature Electronics報(bào)道了以色列理工學(xué)院副教授KVATINSKY領(lǐng)導(dǎo)的團(tuán)隊(duì)和JAZZ科研人員合作，基于180 nm CMOS工藝，研發(fā)出一款用于神經(jīng)形態(tài)計(jì)算的低功耗雙端浮柵晶體管（Y-Flash），可實(shí)現(xiàn)65個(gè)不同的阻態(tài)，并且其阻值范圍能夠隨著信號(hào)的微小變化在2個(gè)數(shù)量級(jí)范圍內(nèi)線性改變，模擬數(shù)據(jù)存儲(chǔ)時(shí)長達(dá)到10年，該晶體管不需要選通管就可以構(gòu)建出能夠執(zhí)行基本神經(jīng)形態(tài)計(jì)算的器件陣列，包括STDP、VMM、聯(lián)想記憶、分類訓(xùn)練等，研究人員認(rèn)為該器件未來有潛力在更先進(jìn)的技術(shù)節(jié)點(diǎn)上實(shí)現(xiàn)[65]，該器件具體結(jié)構(gòu)及性能如圖11所示。2019年12月，IEDM報(bào)道了北京大學(xué)微電子研究所面向DNN的多位Flash存儲(chǔ)可靠性技術(shù)研究，采用一種動(dòng)態(tài)Vd編程方法獲得到了多位Flash精細(xì)Id電流分布，在1 Mb閃存陣列中，不同溫度下實(shí)現(xiàn)了16個(gè)狀態(tài)，其可靠性優(yōu)異，對(duì)基于多位Flash DNN的邊緣計(jì)算技術(shù)研究具有指導(dǎo)意義[66]。

圖11 Y-Flash憶阻器[65]

4 總結(jié)與展望

面對(duì)傳統(tǒng)馮·諾依曼架構(gòu)和摩爾定律發(fā)展的技術(shù)瓶頸問題以及人工智能應(yīng)用的需求，以高度并行、極低功耗和存算融合為特征的神經(jīng)形態(tài)計(jì)算技術(shù)受到了廣泛關(guān)注。神經(jīng)形態(tài)計(jì)算技術(shù)是通過神經(jīng)網(wǎng)絡(luò)對(duì)信息感知與決策方式進(jìn)行信息收集、傳輸、處理和存儲(chǔ)，滿足多模態(tài)等非結(jié)構(gòu)化數(shù)據(jù)與智能任務(wù)處理應(yīng)用場景的技術(shù)。其中，具有獨(dú)特物理機(jī)制的神經(jīng)形態(tài)器件是神經(jīng)形態(tài)計(jì)算硬件的基本組成單元，從實(shí)現(xiàn)方式分析，神經(jīng)形態(tài)技術(shù)發(fā)展主要分為2種路線，分別為易失性與非易失性存儲(chǔ)器構(gòu)建的神經(jīng)元和突觸。前者雖然區(qū)別于傳統(tǒng)集成電路和人工神經(jīng)網(wǎng)絡(luò)加速AI芯片，但芯片基本人工神經(jīng)元和突觸依然采用數(shù)字電路或者數(shù)?；旌想娐反罱ǎ嬖诩啥?、功耗和功能模擬準(zhǔn)確度等瓶頸技術(shù)問題；后者是基于新型非易失型存儲(chǔ)器件實(shí)現(xiàn)的神經(jīng)形態(tài)計(jì)算芯片，在功耗、能效、硬件開銷、自適應(yīng)、自學(xué)習(xí)、自演化、容錯(cuò)性等方面展現(xiàn)出了顯著優(yōu)勢。新型非易失型類神經(jīng)形態(tài)器件具備獨(dú)特的動(dòng)態(tài)特性和可重構(gòu)特性，不僅能表現(xiàn)出多樣化與時(shí)間可塑性，還能天然地實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)與脈沖神經(jīng)網(wǎng)絡(luò)的兼容，實(shí)現(xiàn)PPD、PPF、PTP、SRDP、STDP等功能。因此，非易失性存儲(chǔ)器構(gòu)建的神經(jīng)元和突觸方案是推動(dòng)神經(jīng)形態(tài)計(jì)算、實(shí)現(xiàn)人腦功能的較佳技術(shù)路徑，但目前ReRAM、PCRAM、MeRAM等工藝、器件尚處于探索性研究與應(yīng)用階段，存在基準(zhǔn)工藝尚未成熟、制作成本高等問題，如阻變機(jī)理不完善，阻變開關(guān)比，多阻態(tài)線性度、對(duì)稱性、一致性與穩(wěn)定性等，需要從新材料、器件結(jié)構(gòu)、原理等方面進(jìn)一步優(yōu)化與提升?？v觀十余年的科學(xué)研究與發(fā)展，新型非易失型類神經(jīng)形態(tài)器件技術(shù)已取得了豐碩成果，并有望成為大數(shù)據(jù)及智能化時(shí)代應(yīng)對(duì)海量實(shí)時(shí)數(shù)據(jù)的顛覆性計(jì)算范式，對(duì)新型非馮·諾依曼架構(gòu)芯片的研發(fā)乃至類腦智能時(shí)代的最終實(shí)現(xiàn)都具有重要意義。