基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)專利分析

摘要：深度學(xué)習(xí)是基于神經(jīng)網(wǎng)絡(luò)發(fā)展起來的技術(shù)。深度學(xué)習(xí)以神經(jīng)網(wǎng)絡(luò)為主要模型，一開始用來解決機(jī)器學(xué)習(xí)中的表示學(xué)習(xí)問題。由于其強(qiáng)大的能力，深度學(xué)習(xí)越來越多地用來解決一些通用人工智能問題，比如推理、決策等。目前，深度學(xué)習(xí)技術(shù)在學(xué)術(shù)界和工業(yè)界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮。本文利用incopat平臺對利用神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)進(jìn)行了專利檢索，并對申請趨勢、申請地域分布、重要申請人及其專利價值度等維度進(jìn)行分析。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);專利分析

引言

深度學(xué)習(xí)算法模型從應(yīng)用層面來講，主要分為卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）和生成式對抗網(wǎng)絡(luò)[1][2]。卷積神經(jīng)網(wǎng)絡(luò)[3]是一種前饋神經(jīng)網(wǎng)絡(luò)，它由若干卷積層和池化層組成，尤其在圖像處理方面CNN的表現(xiàn)十分出色，例如：圖像分類、目標(biāo)檢測及人臉識別等。循環(huán)神經(jīng)網(wǎng)絡(luò)[4]的獨(dú)特價值在于：它能有效的處理序列數(shù)據(jù)。比如：文章內(nèi)容、語音音頻、股票價格走勢等。之所以他能處理序列數(shù)據(jù)，是因?yàn)樵谛蛄兄星懊娴妮斎胍矔绊懙胶竺娴妮敵觯喈?dāng)于有了“記憶功能”。但是循環(huán)神經(jīng)網(wǎng)絡(luò)存在嚴(yán)重的短期記憶問題，長期的數(shù)據(jù)影響很小。于是基于循環(huán)神經(jīng)網(wǎng)絡(luò)出現(xiàn)了長短期記憶網(wǎng)絡(luò)（long short-term memory， LSTM）和門控循環(huán)神經(jīng)網(wǎng)絡(luò)（Gate Recurrent Unit， GRU）等變種算法。生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，簡稱GAN）[5]是無監(jiān)督學(xué)習(xí)的一種方法，通過讓兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)。生成式對抗網(wǎng)絡(luò)由生成器和判別器構(gòu)成。生成對抗網(wǎng)絡(luò)的核心目的是訓(xùn)練生成器。生成器的目的是生成與真實(shí)樣本盡可能相似的“假樣本”，判別器的目的是盡可能區(qū)分出給定樣本是真實(shí)樣本還是生成的“假樣本”。二者目的相悖，在不斷博弈的過程中相互提高，最終在判別器判別能力足夠可靠的前提下仍無法區(qū)分給定樣本是真實(shí)樣本還是生成樣本。生成式對抗網(wǎng)絡(luò)主要應(yīng)用為：提高原始圖像的分辨率，生成高畫質(zhì)的影像等。除此之外，深度學(xué)習(xí)網(wǎng)絡(luò)還包括圖神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)、元學(xué)習(xí)、自動化積極學(xué)習(xí)方面的算法和模型。本文僅對深度學(xué)習(xí)算法模型中的卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成式對抗網(wǎng)絡(luò)進(jìn)行檢索，并對檢索結(jié)果進(jìn)行分析。

1申請量分析

圖1中是對國內(nèi)外神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)年增量的統(tǒng)計，從圖1中可以看出，在2014年以前該技術(shù)的申請量一直緩慢增長，從2014-2019年之間增長量呈“J”型，并于2019年達(dá)到頂峰，年申請量為20742件。從2020年-2021年申請量出現(xiàn)了斷崖式下跌，2021年的申請量僅為10104，比2019年的申請量減少了一半多。

深度學(xué)習(xí)的申請量大增，這與市場需求以及數(shù)據(jù)量、計算機(jī)的計算能力是分不開的。目前，我們已經(jīng)進(jìn)入數(shù)字化時代，可以采集到更多的數(shù)據(jù)，計算機(jī)軟硬件的快速發(fā)展，使得計算機(jī)的計算能力大幅度提高，這為深度學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。市場需求方面：例如語音識別、自動駕駛、自動機(jī)器翻譯、即時視覺翻譯、調(diào)用遺傳變異、癌癥檢測、X 射線 CT 重建、機(jī)器人、對話智能體、視頻動作識別等，并取得了顯著成果。

市場需求促使科研人員的投入，從而使得學(xué)術(shù)研究重點(diǎn)發(fā)生了轉(zhuǎn)移：近年來計算機(jī)相關(guān)的各大學(xué)術(shù)會議在制定學(xué)術(shù)方向時，已然偏向了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域，例如：國際表示學(xué)習(xí)會議（International Conference on Learning Representations， ICLR） ：主要聚焦于深度學(xué)習(xí)。國際機(jī)器學(xué)習(xí)會議（International Conference on Machine Learning，ICML）：機(jī)器學(xué)習(xí)頂級會議，深度學(xué)習(xí)作為近年來的熱點(diǎn)，也占據(jù)了 ICML的 很大比例。美國人工智能協(xié)會年會3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能領(lǐng)域的頂級會議，近年來和深度學(xué)習(xí)相關(guān)的論文也越來越多。

國內(nèi)的研究方向一般與國際相吻合，從2015-2017年在有關(guān)深度學(xué)習(xí)的國家自然基金項(xiàng)目的扶持下，使各大高校紛紛投入到深度學(xué)習(xí)的研究中，這些國家自然基金的項(xiàng)目的周期均在2-3年之間，這也就解釋全球的深度學(xué)習(xí)的專利申請會什么會在2019年達(dá)到頂峰。

在政策以及市場一片大好的情況下，2020年關(guān)于深度學(xué)習(xí)的申請量為什么會下降，這與深度學(xué)習(xí)發(fā)展的成熟度及遇到的技術(shù)瓶頸是分不開的。

在2010年計算機(jī)視覺奠基者之一，約翰霍普金斯大學(xué)教授Alan Yuille指出深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的瓶頸已至，Yuille指出，深度學(xué)習(xí)雖然優(yōu)于其他技術(shù)，但它不是通用的，經(jīng)過數(shù)年的發(fā)展，它的瓶頸已經(jīng)凸顯出來，主要有三個：需要大量標(biāo)注數(shù)據(jù);過度擬合基準(zhǔn)數(shù)據(jù);對圖像過度敏感。

2申請地域分布及申請人排行榜

由圖2.1為神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)國際申請量分布情況，從圖中可以看出截止2021年，中國在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域的申請量位居第一，美國的申請量位居第二，中國在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請量遠(yuǎn)大于美國，是美國申請量的4倍之多。世界知識產(chǎn)權(quán)組織在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方面的申請量位居第三，韓國的申請量排名第四。

從前十五名的申請人可以看出，中國的大專院校占了9個;其中電子科技大學(xué)和華南理工大學(xué)分別位于第一和二位。中國科學(xué)院自動化研究所位于第十五位。前十五名中只有五個公司，其中中國的公司占了兩個，分別是平安科技（深圳）有限公司和騰訊科技（深圳）有限公司。其余三個公司為韓國的三星電子公司，位居第9位，專利申請量為519件;美國的IBM公司和谷歌公司分別位于第十二和十三位。

國內(nèi)的研究方向一般與國際相吻合，近年來在有關(guān)深度學(xué)習(xí)的國家自然基金項(xiàng)目的扶持下，使各大高校紛紛投入到深度學(xué)習(xí)的研究中，并產(chǎn)出了大量的科研成果。

3專利成果轉(zhuǎn)化

專利轉(zhuǎn)化為成果可以通過專利出資、專利融資、專利實(shí)施許可、專利權(quán)轉(zhuǎn)讓方式進(jìn)行。本文統(tǒng)計了專利實(shí)施許可和專利權(quán)轉(zhuǎn)讓數(shù)量。

從圖1和圖3.1可知專利轉(zhuǎn)讓量與專利申請量的變化趨勢相吻合，并隨著專利申請量的大增，專利轉(zhuǎn)讓量也呈現(xiàn)了“J”型增長趨勢。專利轉(zhuǎn)讓量并于2019年達(dá)到頂峰，專利轉(zhuǎn)讓量為3037件，到2021年的專利轉(zhuǎn)讓量下降到1595件。

從圖3.2中可以看出轉(zhuǎn)讓人前十名中，中國的申請人只用兩個，分別是阿里巴巴和先進(jìn)創(chuàng)新技術(shù)有限公司，其余均為國外的公司。圖3.2轉(zhuǎn)讓人排名與圖2.2申請人排行榜形成了鮮明的對比。圖2.2中申請人排名前十中中國的大專院校占了七個，但專利轉(zhuǎn)讓人排名的前十中，居然沒有中國大專院校的身影。足以說明中國大專院校的專利申請量之大，但專利成果轉(zhuǎn)化率之低。

從圖3.4可知，從2015-2018年之間專利許可量僅為3件，從2018-2021年雖然呈現(xiàn)增長趨勢，但專利許可的增長量顯著，但專利許可量有限，2021年的專利許可量僅為48件，截至到2021年專利許可量的總件數(shù)為100件。

通過專利轉(zhuǎn)讓進(jìn)行專利轉(zhuǎn)化的成果還是很顯然的，通過專利許可進(jìn)行專利轉(zhuǎn)化的成果雖然不高，但是依然是上升的趨勢。在神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)領(lǐng)域，中國的大專院校的申請量在中國是很多的，但是沒有很好的進(jìn)行成果轉(zhuǎn)化。

專利成果轉(zhuǎn)化有助于將技術(shù)滲透到產(chǎn)品制造及產(chǎn)業(yè)運(yùn)行的各個環(huán)節(jié)，可以整體提升產(chǎn)業(yè)運(yùn)行效率及產(chǎn)業(yè)競爭力，國家也認(rèn)識到這一問題，先后頒布了促進(jìn)專利成果轉(zhuǎn)化的政策。希望國家和政府能落實(shí)好政策，鼓勵和促進(jìn)企業(yè)及高校的專利進(jìn)行成果轉(zhuǎn)化。

5結(jié)語

本文從神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的三個網(wǎng)絡(luò)模型入手，進(jìn)行了專利檢索和分析，通過分析可知，全球都致力于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的研究中，中國的對于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的申請量是很大的。但是成果轉(zhuǎn)化率卻很低，希望中國的高校和企業(yè)重視專利成果的轉(zhuǎn)化。

參考文獻(xiàn)

[1]余凱，賈磊，陳雨強(qiáng)，等. 深度學(xué)習(xí)的昨天，今天和明天[J].計算機(jī)研究與發(fā)展，2013，50（ 9） ： 1799 - 1804.

[2]Goodfellow I，Bengio Y，Courville A. Deep learning[M].Cambridge，USA： MIT Press，2016.

[3] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)學(xué)報，2017，40（ 6） ： 1229-1251.Zhou F Y，Jin L P，Dong J.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40（ 6） ： 1229-1251.

[4]劉禮文;俞弦;循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及應(yīng)用研究[J];、科技世界;2019年第32期.

[5]FashionGAN： Display your fashion design using Conditional Generative Adversarial Nets[J] . Y. R. Cui，Q. Liu，C. Y. Gao，Z. Su. ?Computer Graphics Forum . 2018 （7）.

姓名：趙翠翠，工作單位：國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心，天津 300304，出生年月：1988年3月14日，學(xué)歷：碩士研究生，職稱：中級職稱，研究方向：模式識別。