情報(bào)學(xué)論文創(chuàng)新性評價(jià)研究
——LDА和SVM融合方法的應(yīng)用

曹樹金 曹茹燁

（中山大學(xué)信息管理學(xué)院，廣州，510006）

1 引言

創(chuàng)新是持續(xù)發(fā)展的原動力，是科學(xué)研究的核心和本質(zhì)。2016年5月，習(xí)近平總書記在全國科技創(chuàng)新大會、兩院院士大會、中國科協(xié)第九次全國代表大會上提出，要改革科技評價(jià)制度，建立以科技創(chuàng)新質(zhì)量、貢獻(xiàn)、績效為導(dǎo)向的分類評價(jià)體系，正確評價(jià)科技創(chuàng)新成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會價(jià)值、文化價(jià)值[1]。學(xué)術(shù)論文是基礎(chǔ)科學(xué)研究的主要成果形式之一，其學(xué)術(shù)價(jià)值主要由創(chuàng)新性及創(chuàng)新度來衡量[2]。在知識爆炸的時(shí)代，科研論文產(chǎn)出數(shù)量持續(xù)攀升，給期刊、科研機(jī)構(gòu)以及研究者的工作帶來了挑戰(zhàn)。對于期刊而言，從大量投稿中選取創(chuàng)新價(jià)值高的學(xué)術(shù)論文，是推動期刊本身乃至整個(gè)學(xué)科發(fā)展的基本要求。對科研機(jī)構(gòu)和研究者來說，快速識別創(chuàng)新論文、準(zhǔn)確獲取創(chuàng)新觀點(diǎn)是把握領(lǐng)域研究前沿和選擇研究課題的迫切需求。然而，創(chuàng)新本身是復(fù)雜多樣的，難以界定和測度。同行評議作為最常用的學(xué)術(shù)評價(jià)手段，在對論文創(chuàng)新性的判斷中發(fā)揮著一定作用，但評審人的認(rèn)知偏差、思維慣性等因素會影響創(chuàng)新性評審的結(jié)果[3]?，F(xiàn)有研究開始探索基于內(nèi)容[4-5]的學(xué)術(shù)論文創(chuàng)新性評價(jià)方法。研究主題是論文的中心思想，是對內(nèi)容的高度凝練，同時(shí)也是體現(xiàn)論文創(chuàng)新性的重要特征之一[6]。

論文主題創(chuàng)新是對特定集合中研究主題進(jìn)行比較和分析而得出的結(jié)論，發(fā)表時(shí)間是需要考慮的關(guān)鍵因素之一[7]。Savov等認(rèn)為如果一篇論文的研究主題在未來幾年成為了研究熱點(diǎn)，但在其發(fā)表以前并不流行，那么該論文具有創(chuàng)新性[8]。然而，對于特定領(lǐng)域的科學(xué)研究而言，未來研究熱點(diǎn)是未知的，但過去各個(gè)時(shí)期和現(xiàn)階段的流行主題是已知的?；诖耍疚臄M從主題演化視角出發(fā)，以情報(bào)學(xué)期刊論文為例，利用LDА主題模型結(jié)合SVM機(jī)器學(xué)習(xí)的方法，分析論文是在其主題成為流行之前還是之后發(fā)表的，依此來判斷論文的主題創(chuàng)新性。因?yàn)檎撐膭?chuàng)新是一個(gè)相對的概念，所以這里的創(chuàng)新性是指論文發(fā)表時(shí)的主題創(chuàng)新性。本研究的意義在于：一方面，不局限于當(dāng)前的熱點(diǎn)主題與研究前沿，而是將視野拓展至情報(bào)學(xué)領(lǐng)域較長一段時(shí)期內(nèi)的主題創(chuàng)新性表現(xiàn)中，為期刊審稿與選稿、研究人員快速篩選高質(zhì)量論文與科研選題以及學(xué)術(shù)論文評價(jià)提供依據(jù)和支撐，進(jìn)一步豐富創(chuàng)新性論文的監(jiān)測手段。另一方面，由于現(xiàn)有的融合LDА與SVM的論文創(chuàng)新性評價(jià)方法聚焦于會議論文，主題較為明確和集中，相比之下期刊論文的主題更加多樣與多變，兩者的主題分布特征有較大差別。針對此問題，本文將研究對象拓展到特定學(xué)科領(lǐng)域的多種期刊中，擴(kuò)大論文主題創(chuàng)新性分析的范圍。

2 相關(guān)研究

2.1 學(xué)術(shù)論文創(chuàng)新的含義

學(xué)術(shù)論文創(chuàng)新一般包括兩個(gè)層面的含義，即創(chuàng)新性與創(chuàng)新度。關(guān)于創(chuàng)新性和創(chuàng)新度，很難給出統(tǒng)一的界定。索傳軍認(rèn)為創(chuàng)新性是對論文創(chuàng)新情況的定性描述，學(xué)術(shù)論文是否具有創(chuàng)新性，可以根據(jù)論文內(nèi)容是否含有創(chuàng)新知識元來判斷[9]。Uzzi等認(rèn)為論文創(chuàng)新性是新的想法結(jié)合已有知識而產(chǎn)生的[10]。Heinze等認(rèn)為創(chuàng)新性研究體現(xiàn)在發(fā)現(xiàn)新現(xiàn)象、使用新方法、提出革命性新理論或從新角度整合現(xiàn)有理論[11]。與論文創(chuàng)新的定性判斷相對應(yīng)的便是定量判斷，即創(chuàng)新度。創(chuàng)新度可以理解為創(chuàng)新的水平或程度[12]，需要采用量化計(jì)算方法進(jìn)行測度。不同學(xué)者提出了反映創(chuàng)新度高低的多種指標(biāo)，如成果重復(fù)率和引用率[13]、創(chuàng)新知識元的數(shù)量[9]等。可見，創(chuàng)新性和創(chuàng)新度分別是論文創(chuàng)新評價(jià)的兩個(gè)方面。本文將從創(chuàng)新性角度出發(fā)，根據(jù)研究主題來識別創(chuàng)新論文。

2.2 學(xué)術(shù)論文創(chuàng)新性評價(jià)的維度

國內(nèi)外學(xué)者探索了學(xué)術(shù)論文創(chuàng)新性評價(jià)的多個(gè)維度，分別對篇名、關(guān)鍵詞、句子、引文、主題、概念等不同要素進(jìn)行分析。比如，Shibayama等依據(jù)論文所引參考文獻(xiàn)的篇名之間的語義距離測度科學(xué)新穎性[14]。Uddin等綜合關(guān)鍵詞數(shù)量、長度以及新詞比例等指標(biāo)評價(jià)論文的創(chuàng)新性[15]。Tsai等通過比較不同文獻(xiàn)中句子的相似度對論文創(chuàng)新性進(jìn)行評價(jià)[16]。楊京等提取了能夠表征論文研究主題的關(guān)鍵詞，通過與前沿主題的對比測度主題新穎性[17]。任海英等利用主題詞共現(xiàn)網(wǎng)絡(luò)評價(jià)學(xué)術(shù)論文內(nèi)容的組合新穎性[18]。Hofstra從大量文檔中抽取了表示實(shí)質(zhì)性概念的術(shù)語，以新概念共同出現(xiàn)在論文中的數(shù)量作為論文創(chuàng)新性評價(jià)的依據(jù)[19]。Mishra等以論文中所提概念存在的時(shí)長，即“年齡”作為創(chuàng)新性測度的指標(biāo)[20]。這些創(chuàng)新性評價(jià)的維度有些是顯性的，有的是隱性的，它們分別從不同方面反映論文的創(chuàng)新。

2.3 學(xué)術(shù)論文創(chuàng)新性評價(jià)方法

在現(xiàn)有研究中，學(xué)術(shù)論文創(chuàng)新性評價(jià)的方法主要有兩種，即基于引用關(guān)系的評價(jià)和基于內(nèi)容的評價(jià)。其中，基于引用關(guān)系的評價(jià)會借助一些科學(xué)計(jì)量指標(biāo)，如“互引比率”[21]、“S指數(shù)”[22]、“ Z-Score”[10]。基于內(nèi)容的評價(jià)主要借助自然語言處理，利用逆文檔頻率、相似度計(jì)算、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方法實(shí)現(xiàn)。例如，楊建林定義了帶時(shí)間戳的關(guān)鍵詞逆文檔頻率，來評價(jià)文檔主題的新穎性[23]。相似度計(jì)算方法在被用于論文創(chuàng)新性評價(jià)時(shí)，涉及了句子余弦相似度計(jì)算[16]，基于Doc2Vec的文檔語義相似性計(jì)算[24]，以及針對文獻(xiàn)主題的語義相似度度量[25]。除了傳統(tǒng)方法以外，Ghosal利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）將文檔新穎性評價(jià)問題轉(zhuǎn)換為二分類問題，如果文檔相對于先前已知內(nèi)容有足夠多的新信息，將被機(jī)器判斷為具有新穎性[26]。

2.4 學(xué)術(shù)論文創(chuàng)新性評價(jià)方法的應(yīng)用研究

學(xué)術(shù)論文創(chuàng)新性評價(jià)方法的應(yīng)用領(lǐng)域、對象及目的是廣泛的。在現(xiàn)有的一些研究中，這些方法被用于高質(zhì)量論文篩選、科學(xué)活動效率評估、甚至是科研素養(yǎng)教育等多個(gè)方面。比如，謝珍等將文本內(nèi)容與引文網(wǎng)絡(luò)相結(jié)合的創(chuàng)新性測度方法用于學(xué)術(shù)論文代表作的遴選與評價(jià)中[27]。Dynich等基于模式匹配方法對論文中的新術(shù)語進(jìn)行分析，評估主題創(chuàng)新性，并將其作為科學(xué)活動效率評價(jià)的基礎(chǔ)[28]。Wang等采用科學(xué)論文組合新穎性測度方法，對論文的創(chuàng)新性與影響力之間的關(guān)系進(jìn)行了探索[29]。魏瑞斌等以博士論文為評價(jià)對象，基于主題樹與主題網(wǎng)絡(luò)分析論文標(biāo)題，測度論文的選題創(chuàng)新性，為同行提供選題參考[30]。也有學(xué)者利用專家打分法評價(jià)博士論文的總體與單項(xiàng)（選題、方法、理論等）創(chuàng)新性，分析與其相關(guān)的教育因素（在讀年限、學(xué)科門類），為提高研究生培養(yǎng)質(zhì)量提供參考[31]。

綜上所述，可以發(fā)現(xiàn)以下問題：從學(xué)術(shù)論文創(chuàng)新性評價(jià)的維度來看，雖然篇名、關(guān)鍵詞是對論文觀點(diǎn)的高度凝練，但大多僅能反映研究問題的創(chuàng)新性，不夠深入和全面。針對句子和概念的分析雖然更加細(xì)粒度，但現(xiàn)有研究大多以句子相似度、概念差異或新概念出現(xiàn)頻數(shù)為依據(jù)評價(jià)論文創(chuàng)新性，未能充分地利用語義關(guān)系。有學(xué)者通過挖掘論文主題并與現(xiàn)階段前沿主題對比來判斷創(chuàng)新性，然而主題是不斷演化的，因而并不能歷時(shí)動態(tài)監(jiān)測論文創(chuàng)新性。從學(xué)術(shù)論文創(chuàng)新性評價(jià)的方法來看，基于引用關(guān)系的評價(jià)忽略了內(nèi)容和時(shí)間因素，創(chuàng)新性評價(jià)的有效性較低?；趦?nèi)容的方法中，詞頻統(tǒng)計(jì)更多地反映研究熱點(diǎn)、相似度計(jì)算反映主題差異，并不適合直接用來判斷創(chuàng)新性。有學(xué)者利用深度學(xué)習(xí)將創(chuàng)新性評價(jià)問題轉(zhuǎn)換為簡單的二分類問題，但無法體現(xiàn)論文的創(chuàng)新點(diǎn)。從學(xué)術(shù)論文創(chuàng)新性評價(jià)方法的應(yīng)用來看，鮮有用于對特定學(xué)科領(lǐng)域論文主題創(chuàng)新性動態(tài)變化的研究中。

基于上述問題，本文將從以下角度分析。首先，明確論文創(chuàng)新性評價(jià)的依據(jù)，即判斷論文主題是否涵蓋了未來的熱點(diǎn)主題；其次，因未來研究熱點(diǎn)具有未知性，所以從主題演化視角，將問題轉(zhuǎn)換為論文主題與過往或現(xiàn)有研究熱點(diǎn)的匹配，從而解決因主題演化無法動態(tài)評價(jià)論文創(chuàng)新性的問題。在研究方法的選擇上，結(jié)合LDА主題模型與SVM機(jī)器學(xué)習(xí)算法，對較長一段時(shí)期內(nèi)情報(bào)學(xué)中文期刊論文的主題創(chuàng)新性進(jìn)行評價(jià)，以期幫助同行篩選有創(chuàng)新價(jià)值的論文，提示研究主題過時(shí)的論文，促進(jìn)科研創(chuàng)新。

3 研究設(shè)計(jì)

3.1 研究框架

本文總體研究框架如圖1所示。首先，選取情報(bào)學(xué)領(lǐng)域代表性期刊，從中國知網(wǎng)采集期刊論文的篇名、摘要、發(fā)表年等數(shù)據(jù)，對原始數(shù)據(jù)進(jìn)行清洗和預(yù)處理，具體包括刪除無關(guān)數(shù)據(jù)、中文分詞、去除停用詞、生成詞典等；其次，進(jìn)行LDА主題建模，對主題進(jìn)行識別并返回每篇論文的主題概率分布；之后，將數(shù)據(jù)集劃分為待評價(jià)的論文集和用于訓(xùn)練的論文集，以后者每篇論文的主題概率分布作為特征X，發(fā)表年作為標(biāo)簽Y，使用SVM進(jìn)行模型訓(xùn)練。然后，利用訓(xùn)練好的模型預(yù)測基于Platt scaling的年份類別隸屬度概率分布，在此基礎(chǔ)上計(jì)算待評價(jià)論文的創(chuàng)新得分，進(jìn)而識別出創(chuàng)新論文。最后，采用人工統(tǒng)計(jì)的方法，根據(jù)所有論文主題的年度分布情況劃分各主題研究高峰期，分析待評價(jià)論文是在高峰期前還是高峰期后發(fā)表的來判斷其創(chuàng)新性，并與基于SVM方法識別出的主題創(chuàng)新性論文進(jìn)行對比，驗(yàn)證“LDА+SVM”評價(jià)結(jié)果的準(zhǔn)確性。與此同時(shí)，采用隨機(jī)森林、樸素貝葉斯方法進(jìn)行預(yù)測，與SVM的結(jié)果進(jìn)行對比，進(jìn)一步檢驗(yàn)SVM的效果。

圖1 總體研究框架Fig.1 Research Framework

3.2 研究方法

3.2.1 基于LDА模型的文檔主題識別

LD?。↙atent Dirichlet Аllocation）是 由“文 檔-主題-詞”組成的三層貝葉斯概率模型[32]。它能夠?qū)⑽臋n集合中每篇文檔以主題概率分布的形式給出，一篇文檔可以包含一個(gè)或多個(gè)主題。目前，LDА主題模型被廣泛應(yīng)用于文本主題識別、文本分類等自然語言處理領(lǐng)域。本研究需要基于主題分析論文的創(chuàng)新性，因此選擇LDА進(jìn)行主題建模。

主題個(gè)數(shù)是LDА模型中最重要的參數(shù)，對潛在主題識別效果有直接影響，因此在建模之前需要確定最優(yōu)主題個(gè)數(shù)。Perplexity（困惑度）指標(biāo)常被用來度量一個(gè)概率模型預(yù)測樣本的好壞程度，一般認(rèn)為Perplexity數(shù)值越小越好。但其數(shù)值會隨著主題數(shù)的增多而遞減，當(dāng)主題數(shù)過多時(shí)，模型容易出現(xiàn)過擬合。R?der[33]提出了Cv Coherence（主題一致性）指標(biāo)，是確定主題數(shù)目比較有效的方法，選擇依據(jù)是Cv Coherence值越大越好。本文將主要參考Cv Coherence指標(biāo)值，計(jì)算公式如下。

公式（1）先計(jì)算所有屬于給定主題的詞的余弦相似度，然后求其算術(shù)平均值。根據(jù)主題一致性檢驗(yàn)的結(jié)果，設(shè)置最優(yōu)參數(shù)進(jìn)行LDА主題識別，對結(jié)果進(jìn)行可視化，并返回每篇論文的主題概率分布情況。

3.2.2 基于支持向量機(jī)的年份預(yù)測

支持向量機(jī)（SVM）屬于機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，是一種兼具稀疏性與穩(wěn)健性的廣義線性分類器[34]。它可以進(jìn)行線性分類，也能通過核方法進(jìn)行非線性分類。目前，SVM已在人像識別、文本分類等領(lǐng)域得到了廣泛應(yīng)用。本文將文檔的主題概率分布作為特征值輸入SVM中，以發(fā)表年為標(biāo)簽值訓(xùn)練模型，實(shí)質(zhì)是一種文本多類別分類（Multiclass）任務(wù)。SVM最初是為二元分類問題設(shè)計(jì)，在處理多分類問題時(shí)需要構(gòu)造SVM多類分類器。常用的構(gòu)造方法是將多個(gè)二分類器進(jìn)行組合，包括one-versus-rest和one-versus-one。前者的思想是在訓(xùn)練時(shí)將其中一個(gè)類別的樣本看作一類，除此以外的其他樣本歸為另一類，從而針對原有的n個(gè)類訓(xùn)練出n個(gè)SVM。后者的思想是在任意兩個(gè)類別的樣本間設(shè)計(jì)一個(gè)SVM，這樣n個(gè)類可以訓(xùn)練出n（n-1）/2個(gè)SVM。兩者相比，1-v-r的方法存在正負(fù)樣本不均衡的問題，實(shí)用性不強(qiáng)，因此本文選擇1-v-1的方法構(gòu)造多分類器。

在構(gòu)造SVM多分類器之前，將數(shù)據(jù)集劃分為待評價(jià)的論文集和用于模型訓(xùn)練的論文集。訓(xùn)練模型時(shí)采用十折交叉驗(yàn)證，以得到可靠穩(wěn)定的模型。最后，利用訓(xùn)練好的模型預(yù)測待評價(jià)論文的發(fā)表年，利用Platt Scaling進(jìn)行概率校準(zhǔn)并輸出年份類別隸屬度概率分布。

3.2.3 融合LDА和SVM的論文主題創(chuàng)新性評價(jià)方法

根據(jù)Savov[8]提出的計(jì)算方法，一篇論文的主題創(chuàng)新性分值如公式（2）所示。其中，Yp是論文的實(shí)際發(fā)表年，conf（p,y）是SVM預(yù)測的該篇論文隸屬年份y的置信度，即采用Platt scaling得出的類隸屬度概率。如果S（p）大于0，表示該論文涵蓋了更多在它以后發(fā)表的那些論文的主題，被認(rèn)為其在發(fā)表時(shí)是具有創(chuàng)新性的，反之不具創(chuàng)新性。然而，只有在同一年發(fā)表的論文的S（p）可以直接比較。為了解決該問題，引入Y年發(fā)表論文的預(yù)測誤差ErrY。如實(shí)際在Y年發(fā)表的論文會被SVM預(yù)測到多個(gè)年份中，這些年份與Y的差值范圍為[m,n...z]。假定在所有待評價(jià)論文中，SVM預(yù)測年與實(shí)際年差值為m的有x篇，[m,n...z]范圍內(nèi)的共有sum篇，那 么Pr（ErrY=m）就 等 于m*（x/sum），E（ErrY）=Pr（ErrY=m）+Pr（ErrY=n）+...+Pr（ErrY=z）。因 此，每篇論文的最終創(chuàng)新性得分如公式（3）。S'（p）大于0為創(chuàng)新性論文，小于0為非創(chuàng)新性論文。

3.2.4 基于主題高峰期的論文創(chuàng)新性評價(jià)準(zhǔn)確性檢驗(yàn)方法

本文基于SVM的論文主題創(chuàng)新性評價(jià)是在LDА主題建模的基礎(chǔ)上實(shí)現(xiàn)，對原始語料進(jìn)行降維以后，將主題概率分布作為特征輸入訓(xùn)練好的分類器中，機(jī)器預(yù)測的結(jié)果理論上會落在各個(gè)主題集中分布的年份中。至于對論文主題創(chuàng)新性判斷的結(jié)果是否準(zhǔn)確，可以采用統(tǒng)計(jì)的方法進(jìn)行檢驗(yàn)。具體過程為：根據(jù)LDА建模得出的每篇論文的主題概率分布情況，將論文歸到概率值最大的主題下，統(tǒng)計(jì)各個(gè)主題的年度分布情況。之后，區(qū)分出各個(gè)主題研究的高峰期，即主題流行的時(shí)段。比較待評價(jià)的論文是在其研究主題流行前還是后發(fā)表，以此判斷論文的創(chuàng)新性。最后，將統(tǒng)計(jì)的結(jié)果與機(jī)器預(yù)測的結(jié)果進(jìn)行對比，檢驗(yàn)利用SVM模型自動識別創(chuàng)新論文的準(zhǔn)確性。計(jì)算公式如下：

其中，N（s'(p)＞0）表示被評價(jià)為創(chuàng)新性的論文數(shù)量；N（s'(p)＜0）表示被評價(jià)為非創(chuàng)新性論文的數(shù)量；e1為預(yù)測為創(chuàng)新，而實(shí)際可能并不創(chuàng)新的論文數(shù)；e2為預(yù)測為非創(chuàng)新，但實(shí)際可能創(chuàng)新的論文數(shù)，e1、e2實(shí)際上是判斷錯誤的論文數(shù)；M為待評價(jià)的論文總數(shù)。

4 實(shí)證分析

4.1 數(shù)據(jù)采集與預(yù)處理

本研究以學(xué)術(shù)論文數(shù)據(jù)集的易獲取性與規(guī)范化為考量指標(biāo)，選擇中國知網(wǎng)作為數(shù)據(jù)來源，以情報(bào)學(xué)領(lǐng)域的11種CSSCΙ期刊為例，包括《情報(bào)學(xué)報(bào)》《圖書情報(bào)知識》《圖書情報(bào)工作》《現(xiàn)代情報(bào)》《情報(bào)科學(xué)》《情報(bào)理論與實(shí)踐》《情報(bào)雜志》《情報(bào)資料工作》《圖書與情報(bào)》《數(shù)據(jù)分析與知識發(fā)現(xiàn)》和《信息資源管理學(xué)報(bào)》。這11種期刊均具有較高的學(xué)術(shù)影響力，能夠全面反映情報(bào)學(xué)發(fā)展動態(tài)和各時(shí)期的研究熱點(diǎn)。檢索這些期刊2002-2021年發(fā)表的但不包括中圖分類號為G25（圖書館學(xué)、圖書館事業(yè)）、G26（博物館學(xué)、博物館事業(yè)）、G27（檔案學(xué)、檔案事業(yè)）及下級類目的學(xué)術(shù)論文，以便將分析對象聚焦于情報(bào)學(xué)研究。之后，導(dǎo)出篇名、關(guān)鍵詞、摘要、出版年等信息，構(gòu)成原始語料集。完成數(shù)據(jù)采集后，對這些數(shù)據(jù)進(jìn)行清洗，去除投稿指南、會議通知、專題序等信息，同時(shí)將綜述類、書評類、評述類等文章抽出，對剩余的34,735篇研究型論文進(jìn)行分析。

每種期刊每年發(fā)表的論文數(shù)有所差異，而樣本不均衡會對后期分類模型的效果產(chǎn)生影響。為了消除此類干擾因素，本研究借助Python的Pandas庫，通過隨機(jī)抽樣方法，在34,735篇論文中每年抽取600篇，共獲得12,000篇進(jìn)行分析。同時(shí)，為檢驗(yàn)隨機(jī)抽樣的可行性，本文按每年30%的比例抽取論文，并與上述抽樣方法進(jìn)行比較，結(jié)果未有明顯變化。最后，對摘要文本進(jìn)行分詞、去除停用詞操作。在分詞過程中，先將每篇論文中的關(guān)鍵詞抽出構(gòu)建自定義詞典，然后利用jieba.load_userdict（）方法將其補(bǔ)充入中文分詞工具jieba中。去除停用詞時(shí)采用補(bǔ)充后的哈工大停用詞表，過濾標(biāo)點(diǎn)符號和無實(shí)際意義的詞。

4.2 LDА主題建模

對數(shù)據(jù)進(jìn)行預(yù)處理之后，本文利用Gensim庫訓(xùn)練LDА主題模型。在訓(xùn)練之前，先生成文檔對應(yīng)的字典和bow稀疏向量。訓(xùn)練時(shí)擬定在區(qū)間[1,100]內(nèi)的整數(shù)作為候選主題數(shù)，通過調(diào)用CoherenceModel模塊下的get_coherence（）方法，得到使用不同主題數(shù)訓(xùn)練出的主題一致性檢驗(yàn)的指標(biāo)值，主題一致性檢驗(yàn)得分值最高時(shí)，主題數(shù)為34，如圖2所示。因此，在設(shè)置模型參數(shù)時(shí)將num_topics設(shè)為34，訓(xùn)練時(shí)通過語料庫的次數(shù)passes為5，并設(shè)置隨機(jī)種子及其他必要的參數(shù)。進(jìn)行LDА主題識別后，借助pyLDАvis對結(jié)果進(jìn)行可視化，結(jié)果如圖3所示，左側(cè)的氣泡分布代表不同主題，右側(cè)是各個(gè)主題下的前30個(gè)特征詞，氣泡大小代表主題出現(xiàn)的頻率。從中可以看出，主題3、主題13、主題15、主題25出現(xiàn)的頻率較高，當(dāng)前圖譜展示的是第25個(gè)主題?，F(xiàn)將每個(gè)主題及主要特征詞匯總，如表1所示。另外，由于LDА主題識別結(jié)果與使用的語料高度相關(guān)，為檢驗(yàn)利用抽樣數(shù)據(jù)的有效性，本文同時(shí)在全樣本數(shù)據(jù)上進(jìn)行了LDА主題建模，發(fā)現(xiàn)主題數(shù)為15時(shí)一致性檢驗(yàn)得分值最高，主題數(shù)在15-35之間的一致性得分值相差不大，主題數(shù)超過35之后得分值遞減。但如果將主題數(shù)確定為15，顯然論文的主題區(qū)分度不大，在結(jié)合了困惑度指標(biāo)后，發(fā)現(xiàn)Perplexity值是持續(xù)遞減的（越低越好，但主題太多模型會過擬合），因此主題數(shù)在35左右較為合適。綜合對比之后，發(fā)現(xiàn)利用抽樣數(shù)據(jù)是合理有效的，且能在后續(xù)分類任務(wù)中保證樣本的均衡性。

圖2 Cv_coherence-topic折線圖Fig.2 Line Chart of Cv_Coherence-Topic

圖3 LDА主題模型可視化圖譜Fig.3 Visual Map of LDА Topic Model

從表1中可以看出，各個(gè)主題下的特征詞高度相關(guān)，LDА主題識別結(jié)果較好。比如，主題1是網(wǎng)絡(luò)輿情及網(wǎng)絡(luò)謠言的危機(jī)預(yù)警與應(yīng)對機(jī)制研究；主題4是網(wǎng)絡(luò)用戶信息傳播與交流的機(jī)理，包括傳播模型、規(guī)律及信息演化路徑等相關(guān)研究；主題10是社交網(wǎng)絡(luò)用戶興趣偏好分析及個(gè)性化信息推薦研究；主題13是信息治理和數(shù)據(jù)治理的相關(guān)研究；主題21是基于網(wǎng)絡(luò)用戶評論內(nèi)容的情感分析相關(guān)研究；主題25是文本語義分析與文本挖掘等相關(guān)研究；主題30是情報(bào)學(xué)學(xué)科發(fā)展及其跨學(xué)科思考研究。對于每篇論文而言，LDА模型給出的結(jié)果是主題概率分布。表2中隨機(jī)列出了5篇論文的主題概率分布結(jié)果，論文一在主題1上的概率值最大；論文五在主題25上的概率值達(dá)到0.87。

表1 研究主題及主題特征詞Table 1 Research Topics and Thematic Feature Words

4.3 SVM分類預(yù)測

本文借助Python中的scikit-learn庫實(shí)現(xiàn)SVM算法。在進(jìn)行模型訓(xùn)練之前，將數(shù)據(jù)集劃分為待評價(jià)的論文集和用于模型訓(xùn)練的論文集?？偟臄?shù)據(jù)集是按發(fā)表年隨機(jī)排序的集合，從中選取2,000條數(shù)據(jù)作為待評價(jià)的論文集，剩下的10,000條作為模型訓(xùn)練的數(shù)據(jù)集。之后，采用one-versus-one的方法構(gòu)造SVM多分類器，輸入上述10,000條數(shù)據(jù)進(jìn)行訓(xùn)練。其中，分類器的核函數(shù)選擇高斯核函數(shù)，超參數(shù)kernel='rbf'，對于懲罰系數(shù)C和核函數(shù)的系數(shù)gamma兩個(gè)參數(shù)的取值，設(shè)置C=（0.1,1,10）、gamma=（'auto',1,0.1,0.01），然后采用sklearn中的cross_val_score（）函數(shù)進(jìn)行十折交叉驗(yàn)證，結(jié)果顯示分類器性能最優(yōu)時(shí)的C=1，gamma='auto'。SVM模型訓(xùn)練好以后，輸入待評價(jià)的2,000篇論文的主題概率分布進(jìn)行預(yù)測，輸出經(jīng)Platt scaling計(jì)算得到的類隸屬度概率分布，如圖4所示，即第一篇待評價(jià)論文隸屬2002年的概率為0.081，隸屬2021年的概率為0.004。同時(shí)，輸出隸屬度概率最高的年份，并與實(shí)際出版年進(jìn)行對比生成混淆矩陣，如圖5所示，橫坐標(biāo)是論文的實(shí)際發(fā)表年，縱坐標(biāo)為預(yù)測的隸屬度概率最高的年份，方格中的數(shù)字代表論文數(shù)量。

圖4 SVM預(yù)測的類隸屬度概率分布（局部）Fig.4 Degree of Membership Probability Distribution（Local）of Class Predicted by SVM

圖5 實(shí)際發(fā)表年與預(yù)測的隸屬度概率最高年份對比熱度圖Fig.5 Heat Map of the Аctual Publication Year and the Year with the Highest Predicted Membership Probability

4.4 論文創(chuàng)新性評價(jià)

根據(jù)3.2.3中的論文創(chuàng)新性得分計(jì)算方法，需要統(tǒng)計(jì)出版年的預(yù)測誤差分布，如圖6所示?；诠剑?）和公式（3）計(jì)算每篇待評價(jià)論文的創(chuàng)新得分值。比如，對于第一篇論文而言，實(shí)際發(fā)表年是2010年，S（p）=-1.65；在所有待評價(jià)論文中，實(shí)際在2010年發(fā)表的論文被SVM預(yù)測的年份分布于[2002,2021]區(qū)間內(nèi)，差值范 圍 為[-8,-7..11]，E（ErrYp）=E（Err2010）=-8*64/1642+（-7）*（63/1642）+...+11*（17/1642）=-0.038。S'（p）=-1.65-（-0.038）=-1.61。計(jì)算出2,000篇待評價(jià)論文的創(chuàng)新性分?jǐn)?shù)，四舍五入保留整數(shù)后大于0的為創(chuàng)新性論文（828篇），小于0的為非創(chuàng)新性論文（930篇），等于0的有242篇。表3為評價(jià)結(jié)果示例。

表3 論文主題創(chuàng)新性評價(jià)示例Table 3 Examples of Ιnnovative Evaluation of the Thesis Topic

圖6 出版年的預(yù)測誤差分布Fig.6 Prediction Error Distribution for Publication Year

4.5 論文主題創(chuàng)新性評價(jià)的準(zhǔn)確性檢驗(yàn)

為了檢驗(yàn)利用SVM方法評價(jià)論文主題創(chuàng)新性的效果，本文根據(jù)LDА建模后每篇論文（所有抽樣論文）的主題概率分布，將論文歸到概率值最大的主題下，統(tǒng)計(jì)各個(gè)主題的年度分布情況，劃分每個(gè)主題的研究高峰期。高峰期劃分的依據(jù)是：以折線圖波峰位置前后驟增點(diǎn)和驟降點(diǎn)作為參照。比如，圖7展示了主題1、4、15、24、25中論文的年度分布情況?？梢钥闯觯黝}1在2015-2020年處于研究高峰期；主題4在2012年至今為熱門研究主題；主題15在2007-2010年間為流行主題；主題24和主題25分別在2006年以前、2019年至今處于研究高峰期。參照此種方法，本文統(tǒng)計(jì)了34個(gè)主題的研究高峰期，如表4所示。

圖7 5類主題的論文數(shù)量年度分布Fig.7 Аnnual Distribution of the Number of Papers on 5 Types of Topics

表4 34類主題研究高峰期Table 4 Peak Research Periods for 34 Types of Topics

可以看出，不同主題的年度分布情況呈現(xiàn)三種類型，第一種是每年發(fā)文量較少；第二種是每年有一定的發(fā)文量，但該主題沒有明顯的研究高峰期，年度分布整體呈現(xiàn)波浪式；第三種是每年有一定的發(fā)文，且該主題有明顯的研究高峰期。為了減少不確定因素，本文在后續(xù)對機(jī)器判斷結(jié)果進(jìn)行準(zhǔn)確性檢驗(yàn)時(shí)，不考慮論文數(shù)量極少以及無法區(qū)分研究高峰期的主題。因此，從2,000條待評價(jià)論文中去除主題2、17、23、26、28、30、32、33、34下的論文后，剩余1,706條數(shù)據(jù)。

在1,706篇論文中，被SVM判斷為具有創(chuàng)新性的論文有725篇，非創(chuàng)新性的765篇。對照這些論文所屬主題的研究高峰期，如果論文是在高峰期后發(fā)表，則SVM判斷錯誤。高峰期有兩個(gè)及以上階段的，以前一階段為準(zhǔn)。經(jīng)過計(jì)算判斷錯誤的有80篇，即公式（4）中的e1，準(zhǔn)確率為88.97%。同理，如果被機(jī)器判斷為非創(chuàng)新性的論文，經(jīng)統(tǒng)計(jì)是在主題研究的高峰期以前發(fā)表的，則機(jī)器判斷錯誤。由此計(jì)算出e2為57，準(zhǔn)確率為92.55%。S'（p）值為0的有216篇。最后，根據(jù)公式（4）得出通過SVM方法識別主題創(chuàng)新性論文的整體準(zhǔn)確率為91.97%。

此外，為進(jìn)一步檢驗(yàn)利用SVM方法判斷的效果，本文采用隨機(jī)森林、樸素貝葉斯兩種分類器與SVM進(jìn)行比較。具體方法為，通過sklearn.ensemble模塊導(dǎo)入RandomForestClassifier（）構(gòu)造隨機(jī)森林分類器，通過sklearn.naive_bayes模塊導(dǎo)入MultinomialNB（）構(gòu)造樸素貝葉斯分類器，并經(jīng)過交叉驗(yàn)證設(shè)置超參數(shù)。最后，計(jì)算基于這兩個(gè)分類器對待評價(jià)數(shù)據(jù)集中論文創(chuàng)新性判斷的準(zhǔn)確性。其中，利用隨機(jī)森林評價(jià)的準(zhǔn)確率為83.31%；利用樸素貝葉斯評價(jià)的準(zhǔn)確率為89.62%，均低于SVM。

4.6 討論

根據(jù)實(shí)證分析的結(jié)果，本研究的優(yōu)勢有以下幾點(diǎn)：

（1）雖然通過論文主題與前沿主題的相似度計(jì)算也可以評價(jià)論文創(chuàng)新性，而對于前沿主題的揭示無論是基于共被引還是關(guān)鍵詞頻度，實(shí)際都是反映現(xiàn)階段的研究態(tài)勢，可用于判斷當(dāng)前時(shí)期論文的創(chuàng)新性。但就特定學(xué)科領(lǐng)域而言，其熱點(diǎn)主題是不斷演化的。比如，從表4可以看出，近年來文本挖掘、突發(fā)事件輿情應(yīng)急管理、社會事件中網(wǎng)民的信息參與、網(wǎng)民情感分析等為情報(bào)學(xué)領(lǐng)域的研究熱點(diǎn)；5年前的研究熱點(diǎn)大致集中于用戶信息行為的影響因素研究、信息傳播與交流、學(xué)術(shù)影響力評價(jià)等方面；2010年以前，信息資源管理、信息系統(tǒng)設(shè)計(jì)、信息系統(tǒng)評價(jià)、競爭情報(bào)服務(wù)等為流行主題。不同時(shí)期論文創(chuàng)新性判斷的參照不同，本研究能夠識別情報(bào)學(xué)領(lǐng)域各個(gè)時(shí)期的創(chuàng)新主題與創(chuàng)新論文。

（2）本研究能夠識別情報(bào)學(xué)領(lǐng)域曾經(jīng)具有前瞻性的論文，這些論文的主題可能在現(xiàn)階段已不再流行，但仍具有較大的參考價(jià)值。從主題5（網(wǎng)絡(luò)信息安全）、主題13（國家信息治理與數(shù)據(jù)治理）、主題20（面向科技創(chuàng)新的專利信息服務(wù)）來看，都是經(jīng)歷過研究高峰期后，近期又重新成為熱門主題。這與總體國家安全觀的引領(lǐng)以及國家科技創(chuàng)新戰(zhàn)略規(guī)劃密不可分。因此，科研人員可以在國家政策的導(dǎo)向下通過此方法挖掘過往一些前瞻性的論文，獲得新的啟發(fā)。

（3）本研究能夠識別情報(bào)學(xué)領(lǐng)域各個(gè)發(fā)展階段的熱點(diǎn)主題。因此，它可以與現(xiàn)有的基于共詞分析、引文分析、內(nèi)容分析等研究熱點(diǎn)分析方法相互補(bǔ)充，更為全面地呈現(xiàn)該領(lǐng)域多樣化的研究主題及其演變，深度揭示情報(bào)學(xué)發(fā)展態(tài)勢。

然而，該方法也存在一定的不足：因本研究缺乏未來的數(shù)據(jù)，導(dǎo)致對近幾年論文的創(chuàng)新性判斷有很大的不確定性，只有時(shí)間才能證明這些論文所涵蓋的主題在未來是否會流行。后續(xù)可以考慮邀請專家對未來熱點(diǎn)進(jìn)行預(yù)測，進(jìn)一步驗(yàn)證近期研究論文的主題創(chuàng)新性。

5 結(jié)論

融合LDА和SVM方法用于評價(jià)情報(bào)學(xué)領(lǐng)域中文期刊論文的創(chuàng)新性所得到的啟示：在情報(bào)學(xué)發(fā)展的各個(gè)時(shí)期都有不同的創(chuàng)新主題，根據(jù)論文主題是否涵蓋后來研究熱點(diǎn)能夠有效識別當(dāng)下具有創(chuàng)新價(jià)值的論文，能夠?yàn)檠芯咳藛T提供科研創(chuàng)新借鑒。此外，基于主題高峰期的評價(jià)結(jié)果檢驗(yàn)也進(jìn)一步證明了該方法的準(zhǔn)確率，效果良好。

基于研究結(jié)論，本文提出以下建議：在學(xué)術(shù)資源檢索系統(tǒng)中，可以按照本方法增加學(xué)術(shù)論文主題創(chuàng)新性評價(jià)的功能模塊，為科研人員、期刊審稿人或評審專家提供個(gè)性化服務(wù)。一方面，面向科研人員，首先可以根據(jù)他們感興趣的研究主題，推薦該主題下各個(gè)時(shí)期具有創(chuàng)新價(jià)值的論文以供參考，使讀者從這些論文的前瞻性構(gòu)思中獲得新的啟發(fā)；其次，以可視化形式呈現(xiàn)各個(gè)時(shí)期的研究熱點(diǎn)以及主題演變趨勢，幫助科研人員了解該領(lǐng)域的發(fā)展態(tài)勢，為他們的科研選題提供參考。除此以外，該功能模塊也允許用戶對自身階段性研究成果的主題創(chuàng)新性進(jìn)行評價(jià)，比如用戶上傳摘要，系統(tǒng)自動給出評價(jià)結(jié)果?？蒲腥藛T可以根據(jù)評價(jià)結(jié)果調(diào)整研究選題或考慮從研究方法、理論等方面尋求突破。另一方面，該功能模塊能夠作為期刊論文評審的輔助工具，幫助期刊審稿人或評審專家從主題創(chuàng)新性角度對論文質(zhì)量進(jìn)行初步評估。

本研究的創(chuàng)新點(diǎn)在于：應(yīng)用一種從主題演化角度動態(tài)評價(jià)學(xué)術(shù)論文創(chuàng)新性的方法，識別出了情報(bào)學(xué)領(lǐng)域不同時(shí)期具有創(chuàng)新價(jià)值的中文期刊論文，為同行提供借鑒；此外，本文還提出了一種基于主題高峰期識別的方法對論文創(chuàng)新性評價(jià)的效果進(jìn)行了驗(yàn)證。

本研究也存在一定的局限性。首先，對已有“LDА+SVM”方法的優(yōu)化效果并不明顯，未來將對算法進(jìn)行改進(jìn)并探索更優(yōu)的模型。其次，僅選擇11種代表性期刊進(jìn)行抽樣分析，未能覆蓋該領(lǐng)域的全部期刊論文，可能會對主題識別的充分性和SVM分類預(yù)測的結(jié)果產(chǎn)生一定影響，后續(xù)將選取更大范圍的數(shù)據(jù)進(jìn)行驗(yàn)證，提高泛化性。最后，未對主題進(jìn)一步區(qū)分，之后將通過構(gòu)建細(xì)分領(lǐng)域術(shù)語集的方法，實(shí)現(xiàn)對細(xì)分主題的創(chuàng)新性評價(jià)。

作者貢獻(xiàn)說明

曹樹金：確定選題，提出研究思路，設(shè)計(jì)研究方案，修改論文；

曹茹燁：數(shù)據(jù)收集與分析，論文撰寫與修改。

支撐數(shù)據(jù)

支撐數(shù)據(jù)由作者自存儲，Email:421973288@qq.com。

1.曹茹燁.Paper abstract data.xlsx.論文摘要數(shù)據(jù).

2.曹茹燁.Paper topic probability distribution generated by LDА.xlsx.LDА主題建模后生成的論文主題概率分布數(shù)據(jù).

3.曹茹燁.SVM classification prediction data.xlsx.SVM分類預(yù)測數(shù)據(jù).