基于異步芯片的多模態(tài)神經(jīng)生理信號(hào)采集技術(shù)

朱立賢，田福澤，董群喜，趙慶林，何安平，鄭煒豪，胡 斌

（1.北京理工大學(xué)醫(yī)學(xué)技術(shù)學(xué)院，北京 100081；2.蘭州大學(xué)信息科學(xué)與工程學(xué)院，蘭州 730000）

關(guān)鍵字：心理生理計(jì)算；異步多模態(tài)；生理信號(hào)處理芯片；被動(dòng)生理信號(hào)傳感器

引 言

心理活動(dòng)與日常的精神衛(wèi)生健康狀況息息相關(guān)，但由于心理活動(dòng)具有內(nèi)隱性及主觀性，借由心理量表問(wèn)詢(xún)，存在耗時(shí)長(zhǎng)和主觀回避風(fēng)險(xiǎn)大等局限［1］，如何科學(xué)地描述和認(rèn)識(shí)心理活動(dòng)是國(guó)際研究熱點(diǎn)之一。心理活動(dòng)的媒介是人體的神經(jīng)生理表征。近年來(lái)科研和臨床專(zhuān)家藉由多模態(tài)神經(jīng)生理測(cè)評(píng)技術(shù)方法對(duì)神經(jīng)生理表征信息進(jìn)行識(shí)別-采集編碼-存儲(chǔ)-提取-分析，逐漸形成了心理生理計(jì)算研究方向［2］，以達(dá)到利用客觀生理表征對(duì)心理活動(dòng)識(shí)別量化的目的。多導(dǎo)生理儀是目前科研和臨床上普遍使用的神經(jīng)生理信號(hào)測(cè)量工具，它可以同步記錄腦電（Electroencephalogram，EEG）、心電（Electrocardiogram，ECG）、肌電（Electromyogram，EMG）、呼吸（Res piration，RSP）等多模態(tài)生理信號(hào)，已經(jīng)廣泛應(yīng)用于認(rèn)知行為學(xué)、應(yīng)激情緒反應(yīng)、睡眠障礙等研究中［3-5］。但同步多導(dǎo)生理儀存在以下局限：（1）大腦的神經(jīng)生理反應(yīng)具有異步自主觸發(fā)屬性［6］，同步軟硬件體系架構(gòu)下多導(dǎo)生理儀信息采集方式效率低、數(shù)據(jù)冗余，不具有實(shí)時(shí)、并發(fā)的多模態(tài)信息處理功能；（2）同步多導(dǎo)生理儀記錄的多模態(tài)神經(jīng)生理信號(hào)發(fā)生次序和發(fā)展過(guò)程需要后驗(yàn)分析估計(jì)，其時(shí)序還原度還有待提高；（3）同步多導(dǎo)生理儀采用全局高速時(shí)鐘導(dǎo)致采集系統(tǒng)功耗大，抗干擾能力差，阻礙了技術(shù)設(shè)備普適化發(fā)展方向。而隨著人們對(duì)心理生理學(xué)的認(rèn)識(shí)和心理健康日?；O(jiān)測(cè)需求，普適情境下心理生理計(jì)算研究正在成為新趨勢(shì)、新熱點(diǎn)。

異步芯片具有“事件觸發(fā)”和“無(wú)全局時(shí)鐘控制”的特性，因此基于異步芯片的多模態(tài)信息采集技術(shù)可以有效地解決上述問(wèn)題。但是由于異步芯片設(shè)計(jì)缺乏成熟的工程范式，且同步芯片已然在主流應(yīng)用中占據(jù)了絕對(duì)優(yōu)勢(shì)。在過(guò)去的20 年，異步芯片發(fā)展較為緩慢。隨著近10 年新興人工智能技術(shù)的發(fā)展，為了模擬大腦神經(jīng)元高效的信息處理模式，國(guó)內(nèi)外一些科研機(jī)構(gòu)開(kāi)始研究基于異步方式的神經(jīng)形態(tài)類(lèi)腦芯片。2011 年，IBM 首先研發(fā)出帶有神經(jīng)元、突觸和軸突的芯片，但該芯片的單核運(yùn)算能力只相當(dāng)于蟲(chóng)腦的水平。2014 年，IBM 研發(fā)出了具有4 096 個(gè)內(nèi)核，100 萬(wàn)個(gè)“神經(jīng)元”和2.56 億個(gè)“突觸”的TrueNorth 芯片，其功耗僅有65 mW［7］。斯坦福大學(xué)在2014 年研發(fā)出的NeuroGrid 芯片的運(yùn)算速度是當(dāng)時(shí)電腦的9 000 倍［8］。國(guó)內(nèi)浙江大學(xué)研發(fā)了模數(shù)混合的Darwin 芯片，該芯片由8 個(gè)物理神經(jīng)元構(gòu)成，實(shí)驗(yàn)證明其可用于數(shù)字識(shí)別和腦機(jī)接口技術(shù)［9］。2018 年英爾特發(fā)布了Loihi 芯片［10］，并于2020 年成功在Loihi 芯片上實(shí)現(xiàn)了人工嗅覺(jué)的在線(xiàn)學(xué)習(xí)和記憶能力［11］。之后，英特爾又在2021 年發(fā)布了具有128 個(gè)神經(jīng)形態(tài)核心，100 萬(wàn)個(gè)人工神經(jīng)元的Loihi2 芯片，其運(yùn)算速度是上一代的10 倍［12］。2020 年，蘇黎世聯(lián)邦理工大學(xué)研發(fā)了用于檢測(cè)高頻振蕩腦電信號(hào)的異步芯片SYNAP-SE2，該芯片的功耗僅為614.3 μW，可實(shí)時(shí)進(jìn)行大腦特征的分析和監(jiān)測(cè)［13］。近幾年國(guó)內(nèi)外著名科研機(jī)構(gòu)提出的類(lèi)腦芯片，大多是為了提高算力和部署人工智能算法，僅上述提到的Darwin 和SYNAP-SE2 芯片用于生理電信號(hào)分析，但只局限于腦機(jī)接口或者特定腦電特征的分析，目前無(wú)適用于心理生理計(jì)算的類(lèi)腦芯片。

本文將根據(jù)神經(jīng)生理活動(dòng)的異步自主觸發(fā)屬性和臨床科研的普適化場(chǎng)景需求，初步實(shí)現(xiàn)芯片的核心設(shè)計(jì)理念——首個(gè)適用于心理生理計(jì)算的異步生理信號(hào)處理芯片（Physiological process unit，PPU）。結(jié)合侵入或非侵入被動(dòng)觸發(fā)傳感器的研發(fā)，PPU 將具備多模態(tài)生理傳感器異步被動(dòng)觸發(fā)和信號(hào)采集功能，實(shí)現(xiàn)低功耗、低冗余、實(shí)時(shí)精準(zhǔn)地響應(yīng)并記錄不同模態(tài)或不同區(qū)域的神經(jīng)生理信號(hào)發(fā)生次序和發(fā)展過(guò)程，更直接地描述心理活動(dòng)和神經(jīng)生理表征的因果聯(lián)動(dòng)。

1 多模態(tài)生理信息采集技術(shù)

1.1 多模態(tài)神經(jīng)生理信號(hào)特點(diǎn)

（1）異步性

從生物學(xué)角度講，大腦神經(jīng)生理活動(dòng)是異步的［14］。大腦由數(shù)以?xún)|計(jì)的神經(jīng)元和突觸構(gòu)成，這些神經(jīng)元互相連接構(gòu)成功能復(fù)雜的腦網(wǎng)絡(luò)。神經(jīng)元是大腦處理信息的最基本單元［15］，其在處理信息時(shí)會(huì)產(chǎn)生動(dòng)作電位，即脈沖信號(hào)［16］。不同神經(jīng)元之間傳輸信息的媒介是一個(gè)叫做突觸的結(jié)構(gòu)，神經(jīng)元產(chǎn)生的脈沖信號(hào)通過(guò)突觸逐級(jí)向相鄰的神經(jīng)元傳播。正常情況下，大腦神經(jīng)元活動(dòng)處于動(dòng)態(tài)平衡狀態(tài)，神經(jīng)元不會(huì)對(duì)外產(chǎn)生脈沖信號(hào)［6］。當(dāng)大腦接收到某種信息（如：聽(tīng)覺(jué)、視覺(jué)）時(shí)會(huì)自主觸發(fā)感知神經(jīng)元產(chǎn)生電脈沖信號(hào)，脈沖信息通過(guò)突觸傳輸至周邊的反饋神經(jīng)元，從而完成信息處理。這些認(rèn)知過(guò)程無(wú)既定次序，因此具有異步屬性。

（2）微弱性

人體生理電信號(hào)由人體組織活動(dòng)或者傳輸信號(hào)而產(chǎn)生，如腦電信號(hào)是大腦神經(jīng)元活動(dòng)發(fā)出的生理電信號(hào)，這些生理電信號(hào)聚集在一起，在大腦皮層形成電位差，由于這些信號(hào)本身所帶電荷量少，再加上傳輸過(guò)程的損耗，正常腦電信號(hào)的幅值在200 μV 以?xún)?nèi)。肌電是由肌肉收縮、擴(kuò)展時(shí)產(chǎn)生的微弱電流，其幅值通常在100 mV 以?xún)?nèi)。心電是心臟活動(dòng)時(shí)，其不同部位的細(xì)胞產(chǎn)生不同的生物電勢(shì)而形成的，其典型幅值為1 mV。生理電信號(hào)的幅值為μV 或mV 量級(jí)，屬于微弱小信號(hào)，采集過(guò)程易受噪聲干擾。

1.2 基于同步CPU 的神經(jīng)生理信號(hào)采集

1.2.1 同步電路原理

圖1 展示了主流的同步架構(gòu)數(shù)字芯片的基本電路圖，它的數(shù)據(jù)傳輸與處理依靠全局時(shí)鐘CLK 信號(hào)來(lái)控制，其芯片中時(shí)序模塊的數(shù)據(jù)傳輸與處理發(fā)生在時(shí)鐘邊沿。電路的速率取決于時(shí)鐘路徑的最大延遲，導(dǎo)致電路工作效率低。高速時(shí)鐘信號(hào)的能量集中易產(chǎn)生高頻干擾噪聲，并且基于同步電路的芯片設(shè)計(jì)過(guò)程中存在時(shí)鐘同步和低功耗的難點(diǎn)。為了解決這一難點(diǎn)，現(xiàn)有芯片設(shè)計(jì)過(guò)程中增加了復(fù)雜的時(shí)鐘樹(shù)網(wǎng)絡(luò)，而時(shí)鐘樹(shù)網(wǎng)絡(luò)同樣存在功耗問(wèn)題。

圖1 同步電路Fig.1 Synchronous circuit schematic

1.2.2 同步采集方案

圖2 展示了基于同步芯片的神經(jīng)生理信號(hào)采集方案［17］。采集方案主要包含模擬前端、信號(hào)調(diào)理電路、模數(shù)轉(zhuǎn)換器（Analog to digital converter，ADC）電路、主控制器CPU 和PC 端應(yīng)用軟件。神經(jīng)生理信號(hào)經(jīng)過(guò)侵入/非侵入電極傳輸至模擬前端和信號(hào)調(diào)理電路完成阻抗匹配以及對(duì)神經(jīng)生理信號(hào)的放大和濾波后，在CPU 的控制下被ADC 采樣后通過(guò)藍(lán)牙等通信手段傳輸?shù)絇C 端應(yīng)用軟件，完成神經(jīng)生理信號(hào)的采集。雖然基于同步芯片的采集方案，不論是芯片設(shè)計(jì)流程還是采集方案都比較成熟。但是，整個(gè)采集過(guò)程耗時(shí)較長(zhǎng)且每個(gè)通道同步采集，無(wú)法實(shí)時(shí)、并發(fā)監(jiān)測(cè)神經(jīng)生理信號(hào)的發(fā)生次序和發(fā)展過(guò)程，不能對(duì)大腦不同區(qū)域的異步活動(dòng)作出精確的刻畫(huà)和解釋。并且，同步芯片存在功耗大的缺陷，不適用侵入式采集方案使用。

圖2 經(jīng)典的神經(jīng)生理信號(hào)采集方案Fig.2 Classical neurophysiological signal acquisition method

1.3 基于PPU 的異步多模態(tài)生理信息采集

1.3.1 異步采集理論

傳統(tǒng)心理生理學(xué)研究認(rèn)為，人的心理生理健康與自主神經(jīng)系統(tǒng)（Autonomic nervous system，ANS）密切相關(guān)，且研究過(guò)程大多以量表數(shù)據(jù)為依據(jù)。隨著多模態(tài)生理信息技術(shù)迅速發(fā)展，心理生理學(xué)的研究從ANS 轉(zhuǎn)向了以大腦為中心的中樞神經(jīng)系統(tǒng)（Central nervous system，CNS），大量的實(shí)驗(yàn)表明，大腦會(huì)對(duì)人體的生理心理活動(dòng)、ANS 和內(nèi)分泌等系統(tǒng)活動(dòng)產(chǎn)生重要影響［18］。因此，傳統(tǒng)的基于量表數(shù)據(jù)的心理生理學(xué)研究正在向基于客觀、多維度的多模態(tài)生理信息數(shù)據(jù)的研究轉(zhuǎn)變，而“心理生理計(jì)算”正是面向數(shù)據(jù)驅(qū)動(dòng)的心理生理活動(dòng)研究范式［19］。該方法將計(jì)算建模分析、實(shí)驗(yàn)設(shè)計(jì)和生理數(shù)據(jù)測(cè)量有機(jī)地結(jié)合在一起，通過(guò)假設(shè)驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的方法，對(duì)人體復(fù)雜的心理生理映射關(guān)系進(jìn)行客觀、實(shí)時(shí)和精準(zhǔn)的解釋和量化。在心理生理計(jì)算的建模分析方法中，心理變量不能直接測(cè)量［20］，需要通過(guò)生理信號(hào)去映射心理變量［21］這是一個(gè)典型的數(shù)學(xué)問(wèn)題——心理生理反問(wèn)題，即有

式中：m為多模態(tài)模態(tài)信號(hào)；Am(x)為從心理變量x到生理信號(hào)的未知映射；y為已知的生理測(cè)量信號(hào)；α和R(x)分別為權(quán)重和正則化項(xiàng)。式（1）的目標(biāo)是構(gòu)建估計(jì)優(yōu)化的心理變量和Am(x)的相應(yīng)反函數(shù)，即。如果構(gòu)造了，可以自然地推斷出心理變量。反函數(shù)構(gòu)建過(guò)程中，數(shù)據(jù)采集是構(gòu)建心理生理模型以解決心理生理反問(wèn)題的關(guān)鍵步驟。在數(shù)據(jù)采集階段，應(yīng)保證采集到的多模態(tài)生理信號(hào)y能夠表示相同的心理語(yǔ)義，以準(zhǔn)確評(píng)估心理狀態(tài)。獲取生理信號(hào)的次序和質(zhì)量決定了是否能夠通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方法有效地從生理信號(hào)推斷出映射A-1。但是，目前生理信號(hào)的采集多基于同步芯片體系實(shí)現(xiàn)，而人體心理生理活動(dòng)具有異步屬性［22］，同步采集方案無(wú)法精準(zhǔn)地捕捉生理信號(hào)的發(fā)生-發(fā)展時(shí)序，已然成為“心理生理計(jì)算反問(wèn)題”的重大瓶頸。針對(duì)這一瓶頸，本文以研究人體的神經(jīng)生理活動(dòng)異步屬性為出發(fā)點(diǎn)，首次提出并設(shè)計(jì)了異步架構(gòu)PPU，用于多模態(tài)神經(jīng)生理數(shù)據(jù)異步采集和處理，為“心理生理計(jì)算”中數(shù)據(jù)測(cè)量提供了新的技術(shù)手段，同時(shí)也有效地解決了“心理生理計(jì)算”發(fā)展瓶頸與同步電路的功耗大、效率低和抗干擾能力弱之間的矛盾。

1.3.2 異步電路原理

圖3 是異步電路示意圖。同步電路和異步電路都是以二進(jìn)制形式傳輸數(shù)據(jù)，二者本質(zhì)的區(qū)別在于異步電路沒(méi)有全局時(shí)鐘，其不同模塊間通信通過(guò)握手協(xié)議來(lái)完成。從“同步”的角度來(lái)說(shuō)，握手信號(hào)類(lèi)似于門(mén)控時(shí)鐘，它們不同相，寄存器僅在需要時(shí)才會(huì)觸發(fā)握手信號(hào)。異步電路則可認(rèn)為是1 個(gè)靜態(tài)的數(shù)據(jù)流結(jié)構(gòu)，只有在1 個(gè)模塊觸發(fā)工作了，數(shù)據(jù)才會(huì)傳輸?shù)搅硗? 個(gè)數(shù)據(jù)流［23］。因此，異步電路由于沒(méi)有全局時(shí)鐘，其具有低功耗、抗干擾和高速率的優(yōu)勢(shì)。異步電路中握手協(xié)議的實(shí)現(xiàn)需要更多的邏輯資源，同時(shí)電路的設(shè)計(jì)會(huì)占用更多的面積資源。但是，在實(shí)際的芯片設(shè)計(jì)中，面積資源、功耗和高性能三者是可以有效平衡的。

圖3 異步電路原理示意圖Fig.3 Asynchronous circuit schematic

1.3.3 多模態(tài)生理信息異步采集方案

圖4 展示了基于異步架構(gòu)PPU 的多模態(tài)生理信息采集方案，其以事件觸發(fā)機(jī)制代替時(shí)鐘電路，通過(guò)PPU 中的“被動(dòng)生理信號(hào)傳感器”連續(xù)感知多模態(tài)生理信號(hào)的變化生成事件流，進(jìn)而記錄不同生理信號(hào)的時(shí)序規(guī)律，最后通過(guò)異步生理計(jì)算矩陣推演生理信號(hào)之間的協(xié)同工作機(jī)理。

圖4 異步多模態(tài)生理信息采集和處理方案Fig.4 Asynchronous multimodal physiological information acquisition and processing scheme

本文方案具體原理如下：多模態(tài)生理信號(hào)（模塊①）可感知區(qū)的原始神經(jīng)生理信號(hào)通過(guò)生理信號(hào)感知總線(xiàn)進(jìn)入PPU（模塊②）中的被動(dòng)生理傳感器。被動(dòng)生理傳感器由多模態(tài)生理信號(hào)感知電路、生理信號(hào)調(diào)理電路和被動(dòng)觸發(fā)秘鑰3 部分組成。多模態(tài)生理信號(hào)感知電路實(shí)現(xiàn)對(duì)神經(jīng)生理信號(hào)的阻抗匹配和采集傳輸，生理信號(hào)調(diào)理電路實(shí)現(xiàn)對(duì)微弱原始神經(jīng)生理信號(hào)的放大和去噪，“被動(dòng)觸發(fā)秘鑰”實(shí)現(xiàn)對(duì)特定生理心理事件的敏銳感應(yīng)。如前額葉Fp1、Fpz 和Fp2 電極點(diǎn)由于抑郁障礙人群受到“負(fù)性”音頻刺激而產(chǎn)生特異性EEG 信號(hào)，該信號(hào)由“被動(dòng)觸發(fā)秘鑰”所捕獲，從而產(chǎn)生針對(duì)該EEG 信號(hào)有效采集的觸發(fā)脈沖，進(jìn)而激活生理信號(hào)采集電路（模塊③）中的特定ADC 通道和信號(hào)預(yù)處理電路。此時(shí)EEG 信號(hào)經(jīng)過(guò)預(yù)處理電路進(jìn)行阻抗匹配、放大和濾波后被所處通道的ADC 采樣。離散化的EEG 序列通過(guò)生理數(shù)據(jù)傳輸總線(xiàn)進(jìn)入PPU 中的異步生理計(jì)算矩陣（模塊④），完成數(shù)字信號(hào)處理并精準(zhǔn)提取有效特征向量。圖4 中，ADC 陣列控制總線(xiàn)用于設(shè)置ADC 的采樣率，通用同步/異步串行接收/發(fā)送器（Universal synchronous/asynchronous receiver/transmitter，USART）控制接口用于PPU 控制藍(lán)牙等通信模塊與主機(jī)應(yīng)用軟件進(jìn)行人機(jī)交互，RISC-V 核為PPU 的控制核心，下發(fā)控制指令，并調(diào)度PPU 內(nèi)部以及PPU 與外設(shè)間的數(shù)據(jù)傳輸。

被動(dòng)生理傳感器中生理信號(hào)調(diào)理電路有效避免了原始神經(jīng)生理信號(hào)由于功率和信噪比低導(dǎo)致“被動(dòng)觸發(fā)秘鑰”靈敏特異性下降的問(wèn)題。被動(dòng)生理傳感器中“被動(dòng)觸發(fā)秘鑰”的特異敏感性由對(duì)特定生理事件敏感的精密電路實(shí)現(xiàn)，此精密電路從PPU 底層完成對(duì)原始生理信號(hào)的去噪、特征提取和分類(lèi)。設(shè)計(jì)出具有特定生理事件敏感性的“被動(dòng)觸發(fā)秘鑰”是PPU 設(shè)計(jì)的重點(diǎn)和難點(diǎn)。

2 異步生理計(jì)算芯片

2.1 異步設(shè)計(jì)方法

異步設(shè)計(jì)方法中設(shè)計(jì)流程、工具，時(shí)序分析與驗(yàn)證是3 個(gè)核心的步驟。目前沒(méi)有針對(duì)異步電路設(shè)計(jì)的專(zhuān)用電子設(shè)計(jì)自動(dòng)化（Electronic design automation，EDA）工具。本文所提的PPU 采用經(jīng)典的自頂向下的設(shè)計(jì)方法，使用現(xiàn)有的同步設(shè)計(jì)工具進(jìn)行異步電路設(shè)計(jì)［24］。同時(shí)采用ARCtimer 進(jìn)行時(shí)序分析和驗(yàn)證，ARCtimer 是一個(gè)用于建模、模塊生成、驗(yàn)證和實(shí)施時(shí)序約束的框架［25］，其中時(shí)序約束保證了異步電路握手協(xié)議規(guī)范?，F(xiàn)有的異步電路設(shè)計(jì)方法中有2 相握手協(xié)議和4 相握手協(xié)議。理想狀態(tài)下，2 相握手協(xié)議快于4 相協(xié)議，但是2 相協(xié)議的事件響應(yīng)電路實(shí)現(xiàn)過(guò)程復(fù)雜，因此本文設(shè)計(jì)的PPU 采用4 相握手協(xié)議［26］。數(shù)據(jù)編碼方式根據(jù)握手協(xié)議選用單軌編碼方式，單軌編碼又稱(chēng)捆綁數(shù)據(jù)編碼，其數(shù)據(jù)傳輸示意圖如圖5（a）所示。單軌編碼協(xié)議中，一根數(shù)據(jù)線(xiàn)表示1 bit 信息，如圖5（b）所示，數(shù)據(jù)的傳輸需要額外的請(qǐng)求和應(yīng)答信號(hào)來(lái)協(xié)同完成。并且在數(shù)據(jù)傳輸過(guò)程中，數(shù)據(jù)信號(hào)必須在請(qǐng)求信號(hào)到來(lái)之前準(zhǔn)備就緒，數(shù)據(jù)才可正確傳輸。具體的4 相捆綁數(shù)據(jù)傳輸過(guò)程為：（1）發(fā)送方發(fā)出數(shù)據(jù)并將請(qǐng)求設(shè)置為高，（2）接收方收到數(shù)據(jù)并設(shè)置高電平確認(rèn)，（3）發(fā)送方通過(guò)低請(qǐng)求進(jìn)行響應(yīng)（此時(shí)數(shù)據(jù)不再保證有效），（4）接收方通過(guò)低電平確認(rèn)。此時(shí)，發(fā)送方可以啟動(dòng)下一個(gè)通信周期。

圖5 握手協(xié)議Fig.5 The handshake protocol

2.2 異步芯片架構(gòu)

本文提出的PPU 設(shè)計(jì)理念受神經(jīng)生理活動(dòng)的異步屬性啟發(fā)。圖6 給出了異步PPU 的架構(gòu)圖，PPU的一個(gè)重要特點(diǎn)為多核結(jié)構(gòu)，包括64 個(gè)脈沖神經(jīng)網(wǎng)絡(luò)（Spiking neural network，SNN）核，1 個(gè)包含多個(gè)可定制“被動(dòng)觸發(fā)秘鑰”的被動(dòng)生理信號(hào)傳感器，1 個(gè)高性能、低功耗RISC-V 核和多種外設(shè)通信接口。

圖6 PPU 架構(gòu)圖Fig.6 PPU architecture

2.2.1 脈沖神經(jīng)網(wǎng)絡(luò)

SNN 是一個(gè)以神經(jīng)元為基本處理單元的運(yùn)算模型，是圖2 生理計(jì)算矩陣的基本構(gòu)成單元。圖7展示了64 個(gè)SNN 核的結(jié)構(gòu)圖，單個(gè)SNN 核由神經(jīng)元和突觸核構(gòu)成。神經(jīng)元用于處理單個(gè)或者多個(gè)脈沖序列，每個(gè)SNN 都有分布式MESH 路由控制器，當(dāng)外部輸入的脈沖序列達(dá)到神經(jīng)元的閾值，觸發(fā)神經(jīng)元，路由器根據(jù)脈沖信息解析觸發(fā)地址，從而控制啟動(dòng)突觸核運(yùn)算功能。每個(gè)突觸核由片上網(wǎng)絡(luò)（Network on chip，NOC）、CPU 和計(jì)算槽（Slot）構(gòu)成。NOC 是一種新型的片上互聯(lián)技術(shù)，它具有可擴(kuò)展性強(qiáng)、低功耗、通信效率高和數(shù)據(jù)安全性好等優(yōu)點(diǎn)［27］，使 用NOC 集 成CPU 和Slot 模塊使其高效協(xié)同完成數(shù)據(jù)的運(yùn)算。在單節(jié)點(diǎn)運(yùn)算過(guò)程中，數(shù)據(jù)的接收和發(fā)送相互獨(dú)立，CPU 負(fù)責(zé)計(jì)算，Slot 負(fù)責(zé)與NOC通信，Slot 和CPU 共用RAM，用于接收和發(fā)送數(shù)據(jù)。

圖7 SNN 結(jié)構(gòu)圖Fig.7 SNN architecture

2.2.2 被動(dòng)生理信號(hào)傳感器

圖8 虛線(xiàn)框內(nèi)容展示了被動(dòng)生理信號(hào)傳感器的結(jié)構(gòu)圖。傳感器由3 部分構(gòu)成：生理電信號(hào)感知電路，生理電信號(hào)調(diào)理電路和“被動(dòng)秘鑰觸發(fā)”。其中生理電信號(hào)感知和調(diào)理電路用于信號(hào)預(yù)處理。由于原始的生理電信號(hào)非常微弱，通常只有μV 或mV 量級(jí)，因此生理電信號(hào)感知電路集成了低噪聲的差分運(yùn)算放大器，實(shí)現(xiàn)對(duì)原始生理電信號(hào)放大功能。同時(shí)，在感知電路的前端加入阻抗匹配電路和低通濾波電路，以保證整個(gè)傳感器的靈敏度?！氨粍?dòng)秘鑰觸發(fā)”是整個(gè)傳感器最核心的部分，采用片上神經(jīng)信號(hào)處理方法，針對(duì)不同生理電信號(hào)特性設(shè)計(jì)不同的神經(jīng)特征檢測(cè)模塊。如檢測(cè)尖峰信號(hào)，特定頻帶功率和多個(gè)神經(jīng)脈沖等信息，從而實(shí)現(xiàn)個(gè)性化的“被動(dòng)秘鑰觸發(fā)”功能。此外，還設(shè)計(jì)一個(gè)脈沖產(chǎn)生器，用于產(chǎn)生生理電信號(hào)采集和處理的脈沖標(biāo)志。在實(shí)際應(yīng)用場(chǎng)景中，生物電極與傳感器直接連接，信號(hào)首先進(jìn)入感知調(diào)理電路進(jìn)行預(yù)處理，使得生理電信號(hào)的電平幅值達(dá)到“被動(dòng)秘鑰”可觸發(fā)的范圍，“被動(dòng)觸發(fā)秘鑰”模塊在檢測(cè)到神經(jīng)特征符合預(yù)設(shè)值時(shí)，觸發(fā)脈沖電路產(chǎn)生脈沖信號(hào)（這一過(guò)程被定義一次事件）。SNN在收到脈沖信息時(shí)，記錄觸發(fā)時(shí)間，同時(shí)脈沖信息控制外部ADC，啟動(dòng)神經(jīng)生理信息采集功能。特別地，“被動(dòng)觸發(fā)秘鑰”中的特征閾值可通過(guò)PPU 配套軟件設(shè)置，從而實(shí)現(xiàn)針對(duì)不同生理電信號(hào)精準(zhǔn)觸發(fā)的目的，這也是圖2 展示的個(gè)性化“被動(dòng)觸發(fā)秘鑰”的關(guān)鍵。此外，PPU 同步控制8個(gè)生物傳感器的復(fù)位功能，在實(shí)際應(yīng)用中通過(guò)復(fù)位指示清空脈沖信息等指示信息，從而實(shí)現(xiàn)“同步復(fù)位異步采集”的效果。

圖8 被動(dòng)生理信號(hào)傳感器框架Fig.8 Passive physiological signal sensors

2.2.3 RISC-V 核及外設(shè)接口

PPU 內(nèi)部集成1 個(gè)32 位的低功耗、高性能RISC-V 核，主要用于SNN 核信息和外設(shè)通信的控制和調(diào)度。PPU 外部具有豐富的外設(shè)接口，包括USART，串行外設(shè)接口（Serial peripheral interface，SPI），集成電路總線(xiàn)（Inter-integrated circuit，IIC）等接口。RISC-V 為外設(shè)接口提供時(shí)鐘和數(shù)據(jù)，并同時(shí)接收外設(shè)輸入數(shù)據(jù)。此外，由于每個(gè)SNN 可以獨(dú)立地處理生理電信號(hào)，SNN 處理后的數(shù)據(jù)支持通過(guò)RISC-V和外設(shè)接口傳輸至外部處理器。

2.2.4 芯片性能

圖9 為芯片布局布線(xiàn)后的版圖，其制作節(jié)點(diǎn)采用40 nm 工藝，芯片面積570 mm，神經(jīng)元個(gè)數(shù)1.6×104個(gè)，突觸4×106個(gè)。本文對(duì)PPU的性能進(jìn)行了計(jì)算論證分析，表1 為異步PPU 和主流的國(guó)內(nèi)類(lèi)腦芯片的性能對(duì)比，分析結(jié)果表明本文研發(fā)的PPU 芯片靜態(tài)功耗僅為0.573 W，動(dòng)態(tài)功耗5.6 W，遠(yuǎn)低于同類(lèi)型的芯片。以整型算力（Int8）為例，PPU 在沒(méi)有單指令多數(shù)據(jù)流（Single instruction multiple data，SIMD）的場(chǎng)景下，算力為160 GOPS（Giga operations per second），而在SIMD場(chǎng)景下，算力可達(dá)40 TOPS（Tera operations per second），盡管最高算力比昇騰、昆侖等芯片弱，但是足夠處理多模態(tài)神經(jīng)生理信號(hào)，并且在SIMD 場(chǎng)景下，其算力功耗比遠(yuǎn)大于同類(lèi)型芯片。

圖9 PPU 布局布線(xiàn)后版圖Fig.9 Layout of PPU placement&routing

表1 類(lèi)腦芯片性能對(duì)比Table 1 Comparison of brain-inspired chip performance

2.3 異步生理計(jì)算芯片特性

異步生理計(jì)算芯片由于其獨(dú)特的芯片架構(gòu)而具有4 個(gè)特色優(yōu)勢(shì)：低功耗、高精度時(shí)序標(biāo)注、抗干擾和高性能計(jì)算。

（1）低功耗

從芯片的工作模態(tài)分析，異步生理計(jì)算芯片的低功耗特性主要體現(xiàn)在兩個(gè)方面：①相對(duì)于馮·諾依曼架構(gòu)的同步芯片，PPU 在架構(gòu)上沒(méi)有統(tǒng)一的全局時(shí)鐘，這是二者最大的不同點(diǎn)之一。在經(jīng)典的同步芯片中，高速時(shí)鐘導(dǎo)致芯片產(chǎn)生高功耗，而PPU 因沒(méi)有全局時(shí)鐘而具有低功耗特點(diǎn)。②在實(shí)際的應(yīng)用場(chǎng)景中，由于SNN 具有事件驅(qū)動(dòng)的異步特性，當(dāng)PPU 沒(méi)有觸發(fā)脈沖時(shí)，SNN 處于休眠狀態(tài)；當(dāng)有觸發(fā)脈沖時(shí)，PPU 可使用稀疏脈沖傳遞信息，使生理計(jì)算矩陣在極低功耗下實(shí)現(xiàn)各種復(fù)雜的類(lèi)腦計(jì)算［28］。PPU 的低功耗特性結(jié)合柔性電子材料，可用于非侵入/侵入式多模態(tài)可穿戴設(shè)備。

（2）高精度時(shí)序

多模態(tài)生理數(shù)據(jù)表征是認(rèn)知神經(jīng)科學(xué)領(lǐng)域的熱門(mén)研究話(huà)題，由圖1 可知，經(jīng)典的多模態(tài)生理電信號(hào)采集采用同步采集的方案，其無(wú)法實(shí)時(shí)精準(zhǔn)標(biāo)注不同生理活動(dòng)區(qū)域信號(hào)激活和延續(xù)的時(shí)間，成為該領(lǐng)域發(fā)展的瓶頸。而本文提出的PPU 采用先進(jìn)的異步架構(gòu)設(shè)計(jì)和事件自主觸發(fā)機(jī)制，其集成的被動(dòng)生理傳感器能夠靈敏地感知不同區(qū)域神經(jīng)生理活動(dòng)的變化趨勢(shì)，并且針對(duì)不同模態(tài)的神經(jīng)生理信號(hào)設(shè)置不同的觸發(fā)密匙，從而精準(zhǔn)地記錄下神經(jīng)生理活動(dòng)時(shí)序關(guān)系，為解釋心理活動(dòng)和生理信號(hào)的因果聯(lián)動(dòng)提供了新方法。因此PPU 在認(rèn)知神經(jīng)科學(xué)領(lǐng)域的應(yīng)用具有實(shí)時(shí)精準(zhǔn)的時(shí)序標(biāo)注能力。

（3）抗干擾

高速時(shí)鐘會(huì)形成較強(qiáng)的電磁輻射，且同步高速時(shí)鐘在工作時(shí)對(duì)時(shí)序約束要求高，嚴(yán)格的時(shí)序約束會(huì)減少電路的建立時(shí)間和保持時(shí)間裕量，導(dǎo)致整個(gè)電路抗干擾能力差。而基于異步架構(gòu)的PPU 內(nèi)部無(wú)全局高速時(shí)鐘，其時(shí)序約束要求低，電路間產(chǎn)生的電磁干擾弱。同時(shí)PPU 可以適應(yīng)外部電磁干擾、芯片高溫運(yùn)行、時(shí)鐘源溫漂大等狀態(tài)，可有效避免芯片的時(shí)序紊亂和系統(tǒng)宕機(jī)等。

（4）高性能計(jì)算

異步生理計(jì)算芯片的高性能特性主要體現(xiàn)在3 個(gè)方面：①芯片中由SNN 核構(gòu)成的生理計(jì)算矩陣能夠?qū)崿F(xiàn)對(duì)神經(jīng)生理信號(hào)的高速編解碼、數(shù)字信號(hào)處理和特征向量提取。②被動(dòng)生理信號(hào)傳感器有效地避免了冗余數(shù)據(jù)的采集，PPU 可實(shí)時(shí)高效地采集和處理心理生理活動(dòng)誘發(fā)出的多模態(tài)神經(jīng)生理信號(hào)。③SNN 核中集成的Slot 和RAM 單元可保證復(fù)雜的算法在異步芯片中部署，如類(lèi)腦計(jì)算、生物電編解碼和情感計(jì)算模型等算法，有效避免了同步計(jì)算體系架構(gòu)出現(xiàn)計(jì)算單元等待存取單元的“內(nèi)存墻”問(wèn)題。綜上，PPU 芯片在腦機(jī)接口和情感計(jì)算等應(yīng)用領(lǐng)域具有高性能計(jì)算特性。

3 異步生理計(jì)算芯片應(yīng)用

腦科學(xué)被稱(chēng)為自然科學(xué)的“終極疆域“，包含3 大范疇：認(rèn)識(shí)腦、保護(hù)腦和模擬腦。在這3 大領(lǐng)域，目前國(guó)內(nèi)外科研機(jī)構(gòu)已然開(kāi)展了許多前沿的研究探索，比如：馬斯克旗下的公司Neuralink 公司，通過(guò)植入芯片對(duì)動(dòng)物腦的神經(jīng)信號(hào)進(jìn)行讀?。?9］，并取得重大成果。同時(shí)Neuralink 正在研究“縫紉機(jī)”式的超寬帶、高速率腦機(jī)接口技術(shù)。加州大學(xué)的研究人員設(shè)計(jì)了一種大腦陣列傳感器，以破記錄的細(xì)節(jié)記錄了大腦表層腦電信號(hào)［30］。這些研究成果都需要高性能、低功耗的生理信號(hào)采集芯片為實(shí)驗(yàn)工具。本文研究的PPU 具備這種優(yōu)勢(shì)，具體如下：

（1）認(rèn)識(shí)腦方面。本文提出的PPU 基于被動(dòng)式異步采集和處理框架，可以實(shí)時(shí)、客觀、精準(zhǔn)、低功耗地記錄多模態(tài)神經(jīng)生理活動(dòng)發(fā)生次序、發(fā)展過(guò)程，將為大腦認(rèn)知、情緒、意識(shí)等心理機(jī)制研究提供科學(xué)的測(cè)量方法。PPU 適配的高靈敏度被動(dòng)生理信號(hào)傳感器將精準(zhǔn)感知多模態(tài)神經(jīng)生理信號(hào)的異步關(guān)聯(lián)屬性，為科學(xué)解析認(rèn)知行為的基本機(jī)制（如：如何控制運(yùn)動(dòng)和情感、如何感受和產(chǎn)生感覺(jué)意識(shí)以及如何學(xué)習(xí)和記憶）提供了測(cè)量手段。

（2）保護(hù)腦方面。面向抑郁、老年癡呆和自閉等精神-神經(jīng)障礙疾病，基于本文提出的PPU，可定制化研發(fā)普適化、低功耗、低冗余、抗干擾和高性能的多模態(tài)生理采集和分析系統(tǒng)，解決傳統(tǒng)診療方式耗時(shí)久、主觀性強(qiáng)、難追蹤溯源等不足，為精準(zhǔn)化識(shí)別監(jiān)測(cè)精神、神經(jīng)疾病風(fēng)險(xiǎn)人群、療效評(píng)估、復(fù)發(fā)預(yù)測(cè)和追蹤病理軌跡提供可行的測(cè)量手段。

（3）模擬腦方面。本文的PPU 采集的多模態(tài)神經(jīng)生理信號(hào)將更直接地映射到心理活動(dòng)，將為類(lèi)腦計(jì)算提供算法模型啟發(fā)，使腦機(jī)交互更情感智能化，計(jì)算更具低功耗、高性能、抗干擾。通過(guò)模擬腦的感知機(jī)制，使生物腦的感知能力與機(jī)器高性能計(jì)算完美結(jié)合，促使腦機(jī)交互在信息感知、信息處理、決策判斷，甚至記憶、意圖多個(gè)層次相互配合。借助PPU 生理計(jì)算矩陣，可以設(shè)計(jì)基于深度學(xué)習(xí)的互適應(yīng)腦機(jī)接口系統(tǒng)，利用獎(jiǎng)懲機(jī)制調(diào)節(jié)大腦活動(dòng)并通過(guò)自適應(yīng)算法控制反饋系統(tǒng)，建立大腦與機(jī)器之間的信息互動(dòng)，更智能地實(shí)現(xiàn)對(duì)殘障人士機(jī)能補(bǔ)償與功能重建，為老年人或殘疾人提供智能與機(jī)能增強(qiáng)技術(shù)，提高生活質(zhì)量，具有極其重要的社會(huì)意義。

4 結(jié)束語(yǔ)

以同步采集模式為主導(dǎo)的多模態(tài)神經(jīng)生理信號(hào)采集技術(shù)與控制架構(gòu)存在高功耗、高數(shù)據(jù)冗余以及不能精準(zhǔn)感知多模態(tài)神經(jīng)生理活動(dòng)發(fā)生次序、發(fā)展過(guò)程等問(wèn)題，逐漸成為腦科學(xué)發(fā)展的瓶頸。本文在對(duì)異步神經(jīng)生理信號(hào)采集技術(shù)和異步芯片架構(gòu)的分析和論證的基礎(chǔ)上，設(shè)計(jì)研發(fā)了首款異步生理計(jì)算芯片PPU，解決了低功耗、低冗余，可高性能、實(shí)時(shí)精準(zhǔn)地異步采集和分析多模態(tài)神經(jīng)生理信號(hào)的難題，為解決大腦智能與機(jī)器智能的協(xié)同感知、有效協(xié)作、互適應(yīng)及執(zhí)行等問(wèn)題提供了新方法，對(duì)推動(dòng)建立一系列“認(rèn)識(shí)腦”“保護(hù)腦”和“模擬腦”的新理論與方法提供了重要的科研和臨床價(jià)值。