國際深度學(xué)習(xí)領(lǐng)域科研主題演化研究

田亞丹

（中共廣東省委黨校（廣東行政學(xué)院）圖書館，廣東 廣州 510053）

0 引言

深度學(xué)習(xí)一詞最早是在教育領(lǐng)域被提出的，1976 年，瑞典哥特堡大學(xué)的Marton 等［1］在研究學(xué)生學(xué)習(xí)過程時發(fā)現(xiàn)不同學(xué)習(xí)策略下的學(xué)習(xí)效果不同，由此提出深度學(xué)習(xí)的概念，指出深度學(xué)習(xí)是知識遷移的過程，有助于學(xué)習(xí)者解決問題及進行決策。而深度學(xué)習(xí)作為機器學(xué)習(xí)領(lǐng)域中一個新的研究方向，其首次被提出是在2006 年，多倫多大學(xué)的Hinton 等［2］提出深度學(xué)習(xí)的概念，最初的應(yīng)用主要是在圖像和語音識別領(lǐng)域，如今則拓展到自然語言處理［3］、故障診斷［4］、目標(biāo)檢測［5］等領(lǐng)域，其應(yīng)用更為廣泛，影響愈加深遠(yuǎn)。2020 年是深度學(xué)習(xí)技術(shù)發(fā)展的第15 個年頭，利用科學(xué)計量學(xué)方法梳理該領(lǐng)域研究內(nèi)容與演化進程，可幫助研究人員理清發(fā)展脈絡(luò)、把握研究方向，從而為深度學(xué)習(xí)研究提供參考，推動機器學(xué)習(xí)技術(shù)的進步與發(fā)展。

目前，利用計量學(xué)方法分析深度學(xué)習(xí)領(lǐng)域的文獻大多是基于Citespace 進行的，通過繪制知識圖譜、分析相關(guān)題錄信息分布情況，并結(jié)合高頻詞分析、引文分析、聚類分析等方法挖掘研究熱點［6］。如張海等［7］使用Citespace 描繪國際深度學(xué)習(xí)領(lǐng)域的知識圖譜，得到主流算法、多模態(tài)識別、教育應(yīng)用場景3 個研究熱點，并對深度學(xué)習(xí)在教育領(lǐng)域的應(yīng)用趨勢進行分析；何曉萍等［8］使用Citespace 研究深度學(xué)習(xí)領(lǐng)域的核心期刊分布、核心文獻分布、核心著者分布等；莊詩夢等［9］運用CiteSpace 對深度學(xué)習(xí)研究領(lǐng)域的國家及機構(gòu)、關(guān)鍵詞、突變詞、共被引等進行可視化分析，探尋相關(guān)研究熱點。但這些研究更多側(cè)重于教育背景下的深度學(xué)習(xí)技術(shù)，針對主題隨時間的動態(tài)演化研究較少，只是單純地找到研究熱點，分析研究現(xiàn)狀，而無法呈現(xiàn)出研究主題的全周期發(fā)展歷程，也缺少對科研主題演化規(guī)律的挖掘。

格拉納達(dá)大學(xué)開發(fā)的SciMAT 是一款新的開源知識圖譜工具，其基于Cobo 等［10］2011 年提出的科學(xué)圖譜分析方法，可探測連續(xù)時間內(nèi)一個研究領(lǐng)域的知識演化情況，把復(fù)雜的領(lǐng)域知識演化進程通過可視化方法直觀、清晰地展示出來，在表現(xiàn)主題演進方面獨具特色，相較于傳統(tǒng)基于詞頻的熱點統(tǒng)計或基于關(guān)鍵詞網(wǎng)絡(luò)的聚類分析更具優(yōu)勢［11］。如劉艷華等［12］利用SciMAT 對國際青少年閱讀領(lǐng)域進行主題演化分析，探測出兩條重要的演化路徑；趙蓉英等［13］利用SciMAT 探究Altmetrics（替代計量學(xué)）領(lǐng)域的主題演進動態(tài)，并總結(jié)研究現(xiàn)狀。鑒于此，本文擬從主題動態(tài)演進的角度出發(fā)，利用SciMat 軟件對深度學(xué)習(xí)領(lǐng)域的研究主題及其演化過程進行動態(tài)分析，以更大體量的數(shù)據(jù)綜合呈現(xiàn)各時期研究主題分布情況及主題間演化關(guān)系，探尋領(lǐng)域發(fā)展脈絡(luò)，梳理深度學(xué)習(xí)領(lǐng)域研究現(xiàn)狀，以期為今后的研究提供參考，為科技決策提供依據(jù)。

1 研究思路與數(shù)據(jù)收集

1.1 研究思路

本文研究思路分為3 個階段，分別是數(shù)據(jù)收集階段、數(shù)據(jù)處理階段及分析與研究階段。數(shù)據(jù)收集階段主要包括文獻檢索、下載與整理；數(shù)據(jù)處理階段主要對文獻題錄信息進行預(yù)處理、時區(qū)劃分，配置相應(yīng)參數(shù)，為分析工作作準(zhǔn)備；最后的分析與研究階段主要從關(guān)鍵詞總體變化、主題分布、主題演進3 方面對深度學(xué)習(xí)領(lǐng)域進行研究，總結(jié)其演化規(guī)律，探討未來發(fā)展方向。

1.2 數(shù)據(jù)收集

以核心數(shù)據(jù)庫（Web of Science，WoS）2006-2019 年深度學(xué)習(xí)領(lǐng)域相關(guān)文獻作為研究對象，檢索主題詞為“deep learning”，文獻類型為article，并于2020 年4 月27 日進行檢索。由于2020 年的數(shù)據(jù)不完整，而后續(xù)分析需使用完整年份的數(shù)據(jù)，故將檢索年限設(shè)置為2006-2019 年，共獲得14 641 篇文獻。對深度學(xué)習(xí)領(lǐng)域文獻進行信息計量統(tǒng)計，有助于從宏觀上把握國際深度學(xué)習(xí)領(lǐng)域發(fā)展態(tài)勢，了解該領(lǐng)域研究基本情況。從圖1 可以看出，深度學(xué)習(xí)領(lǐng)域發(fā)文量在2014 年后開始激增，增長速率均超過2 倍。這是深度學(xué)習(xí)領(lǐng)域的快速發(fā)展期，受到了學(xué)者們的廣泛關(guān)注。雖然在機器學(xué)習(xí)領(lǐng)域，“深度學(xué)習(xí)”一詞于2006 年才正式提出，但在很大程度上彌補了神經(jīng)網(wǎng)絡(luò)的不足與缺陷。隨著深度學(xué)習(xí)相關(guān)理論與方法研究的不斷深入，該領(lǐng)域體現(xiàn)出很高的研究與應(yīng)用價值，研究熱度逐年攀升，值得研究人員尤其是情報學(xué)研究人員的重視。

Fig.1 The changes in the number of papers published in the field of deep learning圖1 深度學(xué)習(xí)領(lǐng)域發(fā)文量變化情況

2 數(shù)據(jù)處理與參數(shù)設(shè)置

2.1 數(shù)據(jù)處理

數(shù)據(jù)處理階段主要是對作者關(guān)鍵詞進行預(yù)處理，先利用SciMat 中的關(guān)鍵詞自動清洗功能合并單復(fù)數(shù)形式的關(guān)鍵詞，再手動合并縮寫與全稱，剔除檢索詞deep learning，以及如model、algorithm、tool 等意義寬泛的高頻詞，防止極端數(shù)據(jù)對結(jié)果的影響。

在SciMat 軟件中，選擇作者關(guān)鍵詞作為分析單元，分析時期為2006-2019 年，根據(jù)各時期文獻數(shù)量，將2006-2008、2009-2011、2012-2014 年分別合并為一個時期，2015-2019年每一年單獨作為一個時期，共得到8 個時期。

2.2 參數(shù)設(shè)置

數(shù)據(jù)精簡閾值與網(wǎng)絡(luò)精簡閾值控制著聚類網(wǎng)絡(luò)中的主題數(shù)量，閾值越大時，主題數(shù)量越少，具體參數(shù)設(shè)置參考文獻［14-15］。為使生成的圖譜更加清晰，經(jīng)過多次實驗發(fā)現(xiàn)，當(dāng)本研究中每個時期的數(shù)據(jù)精簡閾值為（1，1，2，2，2，2，3，4）、網(wǎng)絡(luò)精簡閾值為（1，1，1，1，1，2，3，4）時，各時期聚類主題數(shù)量在合理范圍內(nèi)，主題間關(guān)聯(lián)清晰。本文選擇聚類網(wǎng)絡(luò)最大值為10、最小值為1 來限制網(wǎng)絡(luò)大小，相似度指標(biāo)為E 指數(shù)。聚類算法為簡單中心算法，將文檔數(shù)量與h 指數(shù)作為評估指標(biāo)，之后使用共現(xiàn)矩陣建立網(wǎng)絡(luò)，選擇Jaccard 系數(shù)作為演化圖與重疊圖的相似度指標(biāo)。

3 分析與發(fā)現(xiàn)

3.1 關(guān)鍵詞總體變化分析

圖2 是使用相似性度量構(gòu)建的2006-2019 年深度學(xué)習(xí)領(lǐng)域的關(guān)鍵詞重疊圖。

Fig.2 The overlapping map of keywords圖2 關(guān)鍵詞重疊圖

在圖2 中，圓圈代表各個時期，圈內(nèi)的數(shù)字代表各時期的關(guān)鍵詞數(shù)量，水平箭頭上的數(shù)字代表兩個時間段共享的關(guān)鍵詞數(shù)量。括號中的數(shù)字為重疊系數(shù)，重疊系數(shù)的高低也從側(cè)面反映了相鄰時期重疊關(guān)鍵詞的多少。上方進入的箭頭代表該時期新出現(xiàn)的關(guān)鍵詞數(shù)量，輸出的箭頭代表該時期存在而下個時期消失的關(guān)鍵詞數(shù)量。

從不同時期的進入箭頭和輸出箭頭來看，各時期新輸入關(guān)鍵詞的數(shù)量總是比流失的關(guān)鍵詞多，且關(guān)鍵詞總數(shù)也逐年遞增。這在一定程度上反映了深度學(xué)習(xí)領(lǐng)域不斷出現(xiàn)新舊研究的交替，總體研究內(nèi)容日趨豐富，研究范圍逐漸拓寬。從各個時期的水平箭頭來看，該領(lǐng)域共享關(guān)鍵詞數(shù)量逐年增加，前期穩(wěn)定性波動上升，2016 年后呈緩慢上升趨勢，說明有越來越多關(guān)鍵詞得到了持續(xù)且深入的研究。

3.2 主題分布分析

為探究深度學(xué)習(xí)領(lǐng)域的研究主題分布情況，本文對該領(lǐng)域的主題戰(zhàn)略圖進行分析，如圖3 所示（彩圖掃OSID 碼可見，下同）。

主題戰(zhàn)略圖在一個二維空間展示了主題聚類的中心度和密度，圓圈中的數(shù)字代表每個時期聚類主題的H 指數(shù)，圓圈大小與H 指數(shù)成正比。SciMat 根據(jù)每個聚類的密度和中心度把主題分成4 類，分別是：①位于第一象限的引擎區(qū)，具有高中心度和高密度，對應(yīng)的主題聚類發(fā)展較好且較為重要；②位于第二象限的專業(yè)區(qū)，具有低中心度和高密度，對應(yīng)的主題聚類一般為專業(yè)性或外圍性的主題；③位于第三象限的新興/衰退區(qū)，具有低中心度和低密度，對應(yīng)的主題聚類如果年代較新，則可能是新出現(xiàn)的主題，如果年代較為久遠(yuǎn)，可能是即將消亡的主題；④位于第四象限的基本區(qū)，具有高中心度和低密度，對應(yīng)的主題聚類是橫向廣義且基本的［13，16］。通過該分類方法可識別出歷年來支撐該領(lǐng)域發(fā)展的技術(shù)基礎(chǔ)與應(yīng)用專業(yè)領(lǐng)域，以及引領(lǐng)深度學(xué)習(xí)領(lǐng)域發(fā)展的主要研究及新興技術(shù)。將得到的77 個主題聚類按不同戰(zhàn)略區(qū)域進行劃分，如表1 所示。

Fig.3 The topic strategic diagram of eight periods圖3 8 個時期主題戰(zhàn)略圖

結(jié)合圖3 與表1，綜合考慮聚類節(jié)點體積和數(shù)量。主題節(jié)點體積反映主題的H 指數(shù)，球體體積越大，H 指數(shù)越大，說明該主題的影響力越大。2016 年以前，影響力大的主題在各個區(qū)域都有分布，主題分布的區(qū)域性特征不明顯。2016 年之后，影響力大的主題全部位于第四象限，說明很多技術(shù)和算法開始趨于成熟與穩(wěn)定，其中2016-2018 年影響力最大的主題為卷積神經(jīng)網(wǎng)絡(luò)，2019 年影響力最大的主題為機器學(xué)習(xí)。

對于節(jié)點數(shù)量，2012 年以前，深度學(xué)習(xí)在教育領(lǐng)域研究較多，相關(guān)主題包括教學(xué)方法、概念地圖和主動學(xué)習(xí)等。經(jīng)過幾年的發(fā)展，到2016 年主題數(shù)量增多，進入發(fā)展成熟期，研究主題更多地轉(zhuǎn)移到計算機領(lǐng)域，且主要分布在第二象限和第四象限，這兩個區(qū)域的主題占全部主題的66%。其中第四象限主要是一些基礎(chǔ)算法，如卷積神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)和特征提取算法等，第二象限則是應(yīng)用于不同領(lǐng)域的相關(guān)技術(shù)，如涉及生物醫(yī)學(xué)領(lǐng)域的核磁共振成像與光學(xué)相干斷層掃描技術(shù)，涉及智慧城市領(lǐng)域的行人重識別與物聯(lián)網(wǎng)技術(shù)，涉及航空航天領(lǐng)域的視覺導(dǎo)航技術(shù)等。

Table 1 The topic clustering area表1 主題聚類區(qū)域

對比同一時期的四大聚類區(qū)域可以發(fā)現(xiàn)，第一象限和第三象限的主題聚類數(shù)量明顯少于第二象限與第四象限，說明深度學(xué)習(xí)領(lǐng)域每個子時期引領(lǐng)發(fā)展的技術(shù)及新興算法不是很多，整體研究處于穩(wěn)步前進的態(tài)式。

3.3 主題演進分析

主題演化圖通過展示不同時間段內(nèi)的關(guān)鍵詞關(guān)聯(lián)狀態(tài)幫助人們探測主題的演化與起源。如圖4 所示，球體節(jié)點表示各時期的主題聚類，球體體積表示聚類的H 指數(shù)。節(jié)點間的連線表示聚類主題具有持續(xù)性，實線表示主題間有繼承關(guān)系，虛線表示次一級主題的繼承關(guān)系，線的厚度與杰卡德相似度（Jaccard’s index）成正比。連線越粗，表明兩個主題的相似度越高，演化關(guān)系越強。如果節(jié)點沒有鏈接到下一個周期的主題，則該節(jié)點是一個即將消失的主題；如果節(jié)點與前一時期的主題沒有關(guān)聯(lián)，則該節(jié)點是一個新興主題［17］。

對深度學(xué)習(xí)領(lǐng)域的主題演化圖進行梳理，觀察主題間的實線連接關(guān)系，本文定義跨越4 個及以上時期的主題演化為長期演化，跨越4 個時期以下的主題演化為短期演化，共得到50 條長期演化路徑和8 條短期演化路徑。將長期演化路徑按照演化終點進行分類，可得到特征提取、機器學(xué)習(xí)、遷移學(xué)習(xí)和遙感4 個研究方向，且4 個研究方向中最長的線路最后都與深度置信網(wǎng)絡(luò)有關(guān)聯(lián)，說明深度置信網(wǎng)絡(luò)是很多持續(xù)演化研究的基礎(chǔ)。

Fig.4 The topic evolution map圖4 主題演化圖

8 條短期演化路徑分別為：①腦機接口→腦機接口→腦電描記法。腦機接口是腦科學(xué)與計算機科學(xué)交叉領(lǐng)域的前沿技術(shù)，一般通過腦電描記法采集腦電信號，并利用深度學(xué)習(xí)方法對腦電信號進行特征提取或分類，被廣泛應(yīng)用于康復(fù)醫(yī)學(xué)和神經(jīng)科學(xué)等領(lǐng)域［18］；②視覺導(dǎo)航→機器人與自動化的深度學(xué)習(xí)。機器人通過視覺感知周圍環(huán)境，規(guī)劃自身行為軌跡，完成一系列自動化動作，這些都需要與深度學(xué)習(xí)技術(shù)相融合［19］；③物聯(lián)網(wǎng)→智慧城市→物聯(lián)網(wǎng)。完整的物聯(lián)網(wǎng)體系是智慧城市建設(shè)的基礎(chǔ)，大數(shù)據(jù)、云計算、深度學(xué)習(xí)等技術(shù)的進步也推動著智慧城市的發(fā)展，智能物聯(lián)時代已經(jīng)到來；④生成對抗網(wǎng)絡(luò)→生成對抗網(wǎng)絡(luò)。生成對抗網(wǎng)絡(luò)是非監(jiān)督學(xué)習(xí)中的重要方法之一，具有能充分?jǐn)M合數(shù)據(jù)、生成樣本更銳利、速度更快等優(yōu)點，在超分辨圖像生成、視頻預(yù)測等方面有著廣泛應(yīng)用，有學(xué)者稱生成對抗網(wǎng)絡(luò)突破了深度學(xué)習(xí)的發(fā)展瓶頸，是深度學(xué)習(xí)領(lǐng)域未來的發(fā)展方向［20］；⑤老年癡呆癥→老年癡呆癥和光學(xué)相干斷層掃描→光學(xué)相干斷層掃描［21］兩條演化路徑都屬于深度學(xué)習(xí)技術(shù)在臨床醫(yī)學(xué)領(lǐng)域的應(yīng)用，使用深度學(xué)習(xí)方法分析醫(yī)學(xué)圖像，實現(xiàn)對老年癡呆癥［22］、眼病等疾病的篩查與診斷，可提高臨床診斷水平，具有較高應(yīng)用價值；⑥自然語言處理→ML。深度學(xué)習(xí)技術(shù)在自然語言處理中有顯著效果，可實現(xiàn)機器翻譯、情感分析等；⑦合成孔徑雷達(dá)圖像→遙感。深度學(xué)習(xí)是圖像識別領(lǐng)域重要的技術(shù)手段之一，在合成孔徑雷達(dá)圖像分割［23］、遙感圖像變化檢測［24］等方面都有應(yīng)用。

將主題戰(zhàn)略圖與主題演化圖結(jié)合起來進行分析，總結(jié)出深度學(xué)習(xí)領(lǐng)域的主題演化規(guī)律如下：

（1）大部分長期演化主題間連線較細(xì)，而短期演化主題間連線較粗，說明該領(lǐng)域具有長期演化主題間關(guān)聯(lián)性弱、短期演化主題間關(guān)聯(lián)性強的特點。主要原因為該領(lǐng)域在早期發(fā)展階段相關(guān)研究較少，大部分屬于探索性研究，關(guān)注點較為分散，所以主題演化關(guān)聯(lián)性較弱。關(guān)聯(lián)性強的短期演化主要發(fā)生在近3 年，說明近年來該領(lǐng)域?qū)W者的關(guān)注點較為集中，大家著力攻克重點及難點，重視關(guān)鍵領(lǐng)域的前沿技術(shù)應(yīng)用。

（2）在長期演化過程中，與其他主題產(chǎn)生關(guān)聯(lián)最多的主題是卷積神經(jīng)網(wǎng)絡(luò)，演化圖中球體體積最大的3 個節(jié)點也是卷積神經(jīng)網(wǎng)絡(luò)，與戰(zhàn)略圖分析一致，足以證明其是深度學(xué)習(xí)領(lǐng)域的代表性算法，廣泛應(yīng)用于圖像與文本特征提取等方面［25-26］。

（3）在長期演化過程中，第四象限的基本類主題最多，占69%，其次是第一象限的引擎類主題占18%、第二象限的專業(yè)類主題占9%、第三象限的新興/衰退類主題占4%。在近3 年的長期演化路徑中，聚類主題全部屬于第四象限的基本類，說明長期演化越到后期越趨于穩(wěn)定，這些長期演化主題已發(fā)展成熟。另外，64%的基本類主題是由引擎類主題演化而來，74%的引擎類主題由專業(yè)類主題演化而來，說明區(qū)域之間也存在一定的演化規(guī)律。由專業(yè)、外圍的第二象限演化到發(fā)展較好的第一象限，之后進入較為穩(wěn)定、基本的第四象限。

（4）對于演化圖中無連線的孤立主題，其大部分屬于第二象限的專業(yè)類，如2006-2009 年的概念地圖、地球系統(tǒng)科學(xué)和教學(xué)方法，2010-2012 年的學(xué)習(xí)方法和主動學(xué)習(xí)等。這些主題沒有形成很大的研究聚類，也沒有與其他主題產(chǎn)生關(guān)聯(lián)，說明如果外圍、專業(yè)型的研究主題沒有與其他主題產(chǎn)生合作，會隨著時間慢慢消亡。

4 結(jié)語

本文利用SciMat 得到深度學(xué)習(xí)領(lǐng)域的主題戰(zhàn)略分布與主題演化脈絡(luò)，實現(xiàn)了對深度學(xué)習(xí)領(lǐng)域主題的動態(tài)分析。從時間上看，深度學(xué)習(xí)領(lǐng)域研究已取得長足發(fā)展，整體研究數(shù)量呈上升趨勢。2016 年之后，隨著人工智能技術(shù)的興起，針對深度學(xué)習(xí)領(lǐng)域的研究也大幅增加，且研究內(nèi)容日趨豐富，最具代表性的算法為卷積神經(jīng)網(wǎng)絡(luò)與機器學(xué)習(xí)，其他基礎(chǔ)算法還包括神經(jīng)網(wǎng)絡(luò)和特征提取算法等，涉及的應(yīng)用領(lǐng)域包括生物醫(yī)學(xué)、智慧城市和航空航天等。在演化方面，本文共識別出4 類長期演化路徑和8 條短期演化路徑，發(fā)現(xiàn)在該領(lǐng)域早期發(fā)展階段，研究主題較少，主題演化的關(guān)聯(lián)性較弱。2017 年之后，出現(xiàn)了關(guān)聯(lián)性強的短期演化，智慧城市、生物醫(yī)學(xué)等領(lǐng)域的研究主題得到了廣泛重視。不同類型主題之間也存在一定的演化規(guī)律，一般是由外圍、專業(yè)類主題演化為重要、發(fā)展較好的引擎類主題，經(jīng)過一段時間的發(fā)展最終趨于穩(wěn)定，演化為基本類主題。

領(lǐng)域發(fā)展規(guī)律帶給研究者很多啟示：應(yīng)扎實掌握深度學(xué)習(xí)領(lǐng)域的主流技術(shù)和算法，從長期演化規(guī)律中追溯關(guān)鍵性的基礎(chǔ)算法；重點關(guān)注近年來的新興主題，從近幾年的短期演化過程中找到新的研究方向，在智慧城市、生物醫(yī)學(xué)、數(shù)據(jù)分析、機器人自動化等領(lǐng)域加大研究力度；掌握不同主題所處戰(zhàn)略位置，適當(dāng)調(diào)整研究布局，對于專業(yè)性較強的研究主題，可嘗試不同領(lǐng)域間的交叉融合，從而促進深度學(xué)習(xí)領(lǐng)域持續(xù)、健康發(fā)展。