脈沖神經(jīng)網(wǎng)絡(luò)專利技術(shù)分析

國(guó)家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心 李紳龍 陳 辰

脈沖神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的關(guān)鍵技術(shù)之一。本文站位專利視角，基于脈沖神經(jīng)網(wǎng)絡(luò)技術(shù)全球申請(qǐng)狀況，針對(duì)該技術(shù)全球?qū)＠暾?qǐng)趨勢(shì)、區(qū)域分布、主要申請(qǐng)人、主要發(fā)明人、各技術(shù)分支核心專利等進(jìn)行分析，通過(guò)分析發(fā)現(xiàn)美國(guó)在該領(lǐng)域一直處于技術(shù)領(lǐng)先地位，且核心技術(shù)掌握在產(chǎn)品轉(zhuǎn)化能力強(qiáng)的大型科技公司，中國(guó)近年來(lái)雖然不斷發(fā)展和追趕，但發(fā)展速度以及核心專利數(shù)量仍有很大差距，需要加快追趕步伐及時(shí)補(bǔ)足短板。

神經(jīng)網(wǎng)絡(luò)在當(dāng)今人工智能領(lǐng)域的地位毋庸置疑，其技術(shù)發(fā)展經(jīng)歷了第一階段的感知機(jī)以及第二階段的多層人工神經(jīng)網(wǎng)絡(luò)（ANN），隨著研究工作的不斷深入已經(jīng)取得了很大進(jìn)展，其在模式識(shí)別、自動(dòng)控制、預(yù)測(cè)估計(jì)、智能機(jī)器人、生物、醫(yī)學(xué)等領(lǐng)域有著廣泛的應(yīng)用。近年來(lái)，由于ANN缺少神經(jīng)內(nèi)部動(dòng)力學(xué)機(jī)制而不能準(zhǔn)確的模仿生物大腦神經(jīng)元的運(yùn)作機(jī)制，而使得起源于腦科學(xué)的脈沖神經(jīng)網(wǎng)絡(luò)（SNN-Spiking Neuron Networks）發(fā)展迅猛。SNN與ANN最大的差別就是，對(duì)于人工神經(jīng)網(wǎng)絡(luò)每一個(gè)神經(jīng)元接收與發(fā)送的是同一時(shí)刻到達(dá)/發(fā)送的一批數(shù)據(jù)，而對(duì)于脈沖神經(jīng)網(wǎng)絡(luò)接收的是脈沖信號(hào)，信號(hào)改變電位后再根據(jù)自身電位同樣發(fā)出脈沖信號(hào)。由于SNN更接近實(shí)際地模擬神經(jīng)元并把時(shí)間信息的影響考慮在內(nèi)的特性，而被譽(yù)為第三代人工神經(jīng)網(wǎng)絡(luò)。與ANN領(lǐng)域的繁榮發(fā)展相比，SNN領(lǐng)域的研究仍然處于快速發(fā)展階段，其當(dāng)前的研究主要圍繞神經(jīng)元模型、訓(xùn)練算法、編程框架、數(shù)據(jù)集、硬件芯片加速等幾個(gè)重要技術(shù)方向。

1 脈沖神經(jīng)網(wǎng)絡(luò)技術(shù)專利分析

本文選取Incopat專利分析軟件進(jìn)行檢索，檢索范圍為2020年11月之前公開(kāi)的全球?qū)＠墨I(xiàn)。下面針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域全球?qū)＠暾?qǐng)情況進(jìn)行分析。

1.1 全球?qū)＠暾?qǐng)分析

SNN技術(shù)全球?qū)＠暾?qǐng)趨勢(shì)如圖1所示，圖1同時(shí)一并描述出了SNN技術(shù)各重點(diǎn)研究方向的全球?qū)＠暾?qǐng)趨勢(shì)。2010年之前各技術(shù)分支申請(qǐng)量均比較少，申請(qǐng)最多的年份也不足20件，而2010年申請(qǐng)量開(kāi)始逐年增加，申請(qǐng)量主要集中在神經(jīng)元模型、訓(xùn)練算法、編程框架這幾個(gè)方向。神經(jīng)元模型和訓(xùn)練算法的改進(jìn)一直是近幾年的研究熱門，其主要關(guān)注于網(wǎng)絡(luò)規(guī)模和學(xué)習(xí)性能的提升。而編程框架的申請(qǐng)量一直處于領(lǐng)先地位，且近幾年有進(jìn)一步增長(zhǎng)趨勢(shì)，表明了在SNN相關(guān)技術(shù)逐步發(fā)展的同時(shí)對(duì)編程工具的模擬效率及友好性不斷提出更高的創(chuàng)新需求。而對(duì)于數(shù)據(jù)集和硬件芯片加速方面的申請(qǐng)一直較少，主要是由于當(dāng)前已有的如MNIST、CIFAR-10等各類規(guī)模的數(shù)據(jù)集已經(jīng)發(fā)展比較成熟，現(xiàn)有數(shù)據(jù)集已經(jīng)能夠適應(yīng)當(dāng)前應(yīng)用需求，缺乏創(chuàng)新動(dòng)力；而硬件芯片加速方面，由于早期開(kāi)展SNN相關(guān)研究的IBM、英特爾、清華大學(xué)等研究團(tuán)隊(duì)已經(jīng)開(kāi)發(fā)出較為成熟的低能耗、高運(yùn)速TrueNorth、Loihi、Tianjic等芯片，后續(xù)的SNN技術(shù)研發(fā)多為基于已有芯片進(jìn)行。

圖1 SNN技術(shù)全球?qū)＠暾?qǐng)趨勢(shì)

1.2 全球?qū)＠暾?qǐng)區(qū)域分布

圖2 SNN技術(shù)全球?qū)＠暾?qǐng)區(qū)域分布

圖3 SNN技術(shù)全球主要申請(qǐng)人

全球?qū)＠暾?qǐng)區(qū)域分布情況如圖2所示。美國(guó)全球?qū)＠暾?qǐng)量在各個(gè)技術(shù)分支均位居首位，在全球申請(qǐng)總量中占比53%，占據(jù)了全球SNN技術(shù)申請(qǐng)量的半壁江山；中國(guó)近年來(lái)SNN技術(shù)方面發(fā)展迅速，目前全球申請(qǐng)量已居第二位，與美國(guó)的技術(shù)差距在逐步縮小。提交PCT的申請(qǐng)量占比12%，表明SNN技術(shù)保護(hù)價(jià)值高，申請(qǐng)人在本國(guó)申請(qǐng)保護(hù)的同時(shí)也很重視在其它目標(biāo)國(guó)家的專利保護(hù)布局。而對(duì)于歐、日、韓、印、英、俄等國(guó)家申請(qǐng)量很小，其在該領(lǐng)域的技術(shù)實(shí)力也比較薄弱。

1.3 全球主要申請(qǐng)人分析

SNN技術(shù)全球主要申請(qǐng)人如圖3所示。全球?qū)＠暾?qǐng)量排名前十位的申請(qǐng)人中包括五家美國(guó)企業(yè)、一家韓國(guó)企業(yè)，而另外四家均來(lái)自中國(guó)的大學(xué)或研究所?？梢?jiàn)美國(guó)企業(yè)在SNN技術(shù)方面的研究處于世界前列，并且專利申請(qǐng)主要集中在世界知名的大型科技公司，這些公司科研經(jīng)費(fèi)充足且技術(shù)轉(zhuǎn)化力強(qiáng)，創(chuàng)新動(dòng)力十分強(qiáng)勁。中國(guó)的電子科技大學(xué)、清華大學(xué)、天津大學(xué)及中科院自動(dòng)化研究所雖然有一定數(shù)量的申請(qǐng)，但其申請(qǐng)量?jī)H為排名前三位美國(guó)公司一半。目前中國(guó)缺少行業(yè)龍頭企業(yè)，且由于高校專利技術(shù)的產(chǎn)品轉(zhuǎn)化能力較弱，雖然近幾年一直在逐步追趕，但與美國(guó)公司的差距仍然很大。

1.4 SNN技術(shù)全球主要發(fā)明人

SNN技術(shù)全球主要發(fā)明人如圖4所示。在全球?qū)＠暾?qǐng)排名前十位的發(fā)明人中，來(lái)自英特爾的發(fā)明人數(shù)量最多，包括narayan在內(nèi)共有4人，并且有兩人排名在前三位，IBM雖然前十位發(fā)明人僅占兩位，但第一位的dharmendra申請(qǐng)量45件，遠(yuǎn)遠(yuǎn)領(lǐng)先第二、三名的15件，英特爾和IBM兩家公司各有優(yōu)勢(shì)，強(qiáng)大的研發(fā)隊(duì)伍和資金實(shí)力是二者在行業(yè)內(nèi)占據(jù)領(lǐng)先地位的堅(jiān)實(shí)保障。其它主要國(guó)外發(fā)明人還包括高通的jason。而我國(guó)的主要發(fā)明人為清華大學(xué)的施路平、裴京以及電子科技大學(xué)的屈鴻。中國(guó)的SNN技術(shù)領(lǐng)軍人物有一定的技術(shù)實(shí)力，但是還需要進(jìn)一步加強(qiáng)優(yōu)勢(shì)和政策激勵(lì)，加快追趕世界領(lǐng)先企業(yè)。

圖4 SNN技術(shù)全球主要發(fā)明人

1.5 SNN技術(shù)各技術(shù)分支核心專利

SNN技術(shù)各技術(shù)分支核心專利如圖5所示。圖中按時(shí)間段查找SNN技術(shù)各技術(shù)分支中占據(jù)核心地位的專利申請(qǐng)，各技術(shù)分支在2010年前技術(shù)發(fā)展比較緩慢，核心專利較少，而2010至2015年間是技術(shù)增長(zhǎng)的主要階段，核心專利申請(qǐng)較多，近幾年由于技術(shù)發(fā)展已經(jīng)相對(duì)成熟，多數(shù)專利申請(qǐng)是圍繞核心技術(shù)性能或轉(zhuǎn)化應(yīng)用等方面的改進(jìn)，核心專利申請(qǐng)量較少。各個(gè)分支的核心專利申請(qǐng)主要掌握在國(guó)外申請(qǐng)人手中，少量核心專利集中在國(guó)內(nèi)的重點(diǎn)申請(qǐng)人/發(fā)明人手中。我國(guó)在SNN技術(shù)方面處于專利申請(qǐng)總量以及核心專利擁有量的雙重弱勢(shì)之下，需要加快追趕步伐，及時(shí)補(bǔ)足短板。

圖5 SNN技術(shù)各技術(shù)分支核心專利

2 總結(jié)

近年來(lái)，對(duì)于仿生學(xué)的逐漸重視使得SNN技術(shù)得以迅速發(fā)展，其對(duì)大腦神經(jīng)元更好的模仿機(jī)制，使得未來(lái)必然成為人工智能領(lǐng)域的研究重點(diǎn)。通過(guò)針對(duì)全球SNN技術(shù)的專利申請(qǐng)現(xiàn)狀進(jìn)行分析，發(fā)現(xiàn)美國(guó)一直處于領(lǐng)先優(yōu)勢(shì)，且美國(guó)發(fā)明人占有重要地位，而我國(guó)在SNN技術(shù)方面要實(shí)現(xiàn)趕超不僅需要研發(fā)上的大力投入，還需要產(chǎn)品轉(zhuǎn)化及創(chuàng)新驅(qū)動(dòng)強(qiáng)的科技公司參與進(jìn)來(lái)，并且在政策上給予一定的扶持，以帶動(dòng)行業(yè)更快更好的發(fā)展。