結(jié)合文本與隱反饋信息的學(xué)術(shù)論文推薦方法

陳雨民,李東喜,閆一帆,呂傳建,陳澤華

1(太原理工大學(xué) 大數(shù)據(jù)學(xué)院,太原 030024)

2(山東億云信息技術(shù)有限公司,濟(jì)南 250000)

1 引 言

互聯(lián)網(wǎng)時(shí)代,學(xué)術(shù)論文的爆炸性增長(zhǎng)使得研究者很難在海量的文章中迅速找到自己感興趣的文章,為了緩解科研人員的信息迷航與信息過(guò)載問(wèn)題,學(xué)術(shù)論文推薦技術(shù)受到廣泛關(guān)注.協(xié)同過(guò)濾是推薦系統(tǒng)領(lǐng)域廣泛采用的一種方法[1-6],然而,在學(xué)術(shù)論文推薦場(chǎng)景,基于協(xié)同過(guò)濾的推薦方法面臨嚴(yán)重的數(shù)據(jù)稀疏問(wèn)題,因此,許多學(xué)者引入輔助信息以提升學(xué)術(shù)論文推薦模型的性能[7-9].

輔助信息分為結(jié)構(gòu)信息和文本信息兩種類(lèi)型.結(jié)構(gòu)信息主要指論文的引用關(guān)系,Mohammadi等[10]基于參考文獻(xiàn)構(gòu)建論文引用關(guān)系圖,通過(guò)隨機(jī)游走算法生成論文推薦列表.王勤潔等[11]基于異構(gòu)信息網(wǎng)絡(luò)理論提出一種可以融合多種信息的學(xué)術(shù)論文推薦方法.結(jié)構(gòu)信息能有效緩解數(shù)據(jù)稀疏問(wèn)題,但存在一些不可靠因素.Hassan等[12]指出,新論文無(wú)法被舊論文引用,一些有價(jià)值的參考文獻(xiàn)可能由于研究者的不了解而被遺漏,所以使用結(jié)構(gòu)信息作為輔助信息的學(xué)術(shù)論文推薦方法存在一些局限性.文本信息主要指論文的標(biāo)題和摘要,wang等[13]提出協(xié)同主題回歸模型,通過(guò)隱含狄利克雷分布學(xué)習(xí)論文主題分布,結(jié)合概率矩陣分解生成論文推薦.李冉等[14]考慮到用戶(hù)在選擇論文時(shí)對(duì)研究熱點(diǎn)的偏好問(wèn)題,進(jìn)一步提出一種基于頻繁主題集偏好的協(xié)同主題回歸模型.本文認(rèn)為相比于結(jié)構(gòu)信息,文本信息對(duì)于論文推薦起著更為關(guān)鍵的作用,研究者喜歡某篇論文歸根結(jié)底是喜歡其內(nèi)容而非其它.

然而,現(xiàn)有的結(jié)合文本信息的學(xué)術(shù)論文推薦方法,僅僅簡(jiǎn)單連接標(biāo)題摘要得到段落文本,然后將其傳入主題模型或簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)獲得論文向量表示,沒(méi)有充分利用學(xué)術(shù)論文的結(jié)構(gòu)化特點(diǎn)去捕捉標(biāo)題摘要之間的語(yǔ)義關(guān)系.本文認(rèn)為,學(xué)術(shù)論文是一種典型的結(jié)構(gòu)化文本,其中,標(biāo)題是對(duì)整篇文章內(nèi)容的凝練,充分反映論文核心主旨,摘要含正文等量的主要信息,但不可避免的包含一些噪聲信息.可以通過(guò)注意力機(jī)制捕捉標(biāo)題摘要間的語(yǔ)義關(guān)系,獲得更好的論文表示以提升推薦質(zhì)量.以圖1學(xué)術(shù)論文為例進(jìn)行具體解釋,首先可以看到,標(biāo)題是該文章主旨的核心凝練,標(biāo)題中的劃線單詞Reinforcement learning、Web recommendations則更能反映論文核心主旨,在構(gòu)造論文向量表示時(shí),應(yīng)當(dāng)給予標(biāo)題更大權(quán)重,給予標(biāo)題中的核心單詞更大權(quán)重.其次,標(biāo)題是整篇文章的核心凝練,將標(biāo)題單詞看作蘊(yùn)含重要信息的單詞,如果摘要句子中的某些單詞與標(biāo)題單詞更相關(guān),應(yīng)該在構(gòu)造摘要句子向量表示時(shí)給予這些單詞更大權(quán)重,以便更好捕捉摘要句子語(yǔ)義信息.例如,摘要句子3中的劃線單詞architecture、recommendation、system與標(biāo)題單詞更相關(guān),也對(duì)揭示文章主旨有更大幫助.最后,摘要中不同句子揭示文章主旨的能力各不相同,以句子3和句子5作比較,句子3極為重要,它闡述了論文的中心工作,應(yīng)給予更大權(quán)重,而句子5是可以出現(xiàn)在很多論文中的一般性陳述,對(duì)于捕捉論文主旨幾乎沒(méi)有貢獻(xiàn),應(yīng)給予較小權(quán)重.

基于以上分析,本文提出一種結(jié)合文本與隱反饋信息的學(xué)術(shù)論文推薦方法(RAP-WTIF,Recommending Academic Papers With Text and Implicit Feedback).通過(guò)預(yù)訓(xùn)練BERT模型獲得標(biāo)題摘要中單詞的向量表示,提出標(biāo)題摘要注意力機(jī)制捕捉標(biāo)題摘要語(yǔ)義關(guān)系以獲得更好的論文向量表示,最后結(jié)合改進(jìn)的神經(jīng)協(xié)同過(guò)濾模型實(shí)現(xiàn)學(xué)術(shù)論文推薦.本文主要貢獻(xiàn)可以總結(jié)為以下3點(diǎn):

1.利用學(xué)術(shù)論文結(jié)構(gòu)化特點(diǎn),提出標(biāo)題摘要注意力機(jī)制捕捉標(biāo)題摘要之間語(yǔ)義關(guān)系,獲得更好的論文向量表示.

2.增加論文文本信息作為輔助信息改進(jìn)原始的神經(jīng)協(xié)同過(guò)濾模型,緩解原始神經(jīng)協(xié)同過(guò)濾模型存在的局限性.

3.集成預(yù)訓(xùn)練BERT模型,標(biāo)題摘要注意力機(jī)制,改進(jìn)的神經(jīng)協(xié)同過(guò)濾模型提出RAP-WTIF方法,并在CiteULike-a、CiteULike-t數(shù)據(jù)集上驗(yàn)證了該方法提升學(xué)術(shù)論文推薦質(zhì)量的有效性.

2 相關(guān)工作

2.1 隱反饋信息

推薦系統(tǒng)領(lǐng)域的用戶(hù)-物品交互行為分為顯式反饋和隱式反饋兩種,顯式反饋指能明顯表達(dá)用戶(hù)喜好的行為,例如評(píng)分,隱式反饋指不能明顯表達(dá)用戶(hù)喜好的行為,例如瀏覽,點(diǎn)擊,收藏.學(xué)術(shù)論文推薦領(lǐng)域顯反饋信息不易獲取,許多研究使用隱反饋信息進(jìn)行推薦.本文以論文收藏為例展開(kāi)介紹,但本文方法同樣適用于處理其它類(lèi)型的隱反饋信息.

常用的處理隱反饋信息的損失函數(shù)為:

(1)

其中,yij為1指用戶(hù)ui收藏了論文pj,表示用戶(hù)ui對(duì)論文pj感興趣,yij為0指用戶(hù)ui沒(méi)有收藏論文pj,表示用戶(hù)ui對(duì)論文pj不感興趣或者用戶(hù)ui根本沒(méi)見(jiàn)過(guò)論文pj.γ表示正樣本集,γ-表示負(fù)樣本集.負(fù)例選取數(shù)目N(γ-)參照科研人員收藏?cái)?shù)目進(jìn)行選取,科研人員收藏?cái)?shù)目越多,其看過(guò)的論文越多,其沒(méi)有收藏的論文更多是看見(jiàn)但不喜歡:

N(γ-)=αN(γ)

(2)

α為負(fù)例選取比例.

2.2 結(jié)合評(píng)論文本的商品推薦方法

為了緩解商品推薦領(lǐng)域評(píng)分?jǐn)?shù)據(jù)稀疏性的問(wèn)題,近年來(lái)的研究熱點(diǎn)是通過(guò)挖掘評(píng)論文本語(yǔ)義信息來(lái)對(duì)用戶(hù)和商品建模,從而提高推薦質(zhì)量[15].Jakob等[16]發(fā)現(xiàn)用戶(hù)對(duì)商品的評(píng)論是寶貴的資源,認(rèn)為評(píng)論文本中關(guān)于價(jià)格、服務(wù)、正負(fù)情感的敘述能夠?qū)ν扑]產(chǎn)生重要幫助.李琳[17]等將評(píng)論主題與矩陣分解隱因子融合,添加潛在主題分布作為預(yù)測(cè)評(píng)分引導(dǎo)項(xiàng).Kim等[18]提出卷積矩陣分解(ConvMF,Convolution Matrix Factorization)模型,考慮文本的局部詞序信息,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN,Convolution Neural Network)從商品描述文本中提取重要信息輔助推薦.Zheng等[19]提出深度協(xié)作神經(jīng)網(wǎng)絡(luò)(DeepCoNN,Deep Cooperative Neural Network)模型同時(shí)考慮用戶(hù)文本信息與商品文本信息,使用兩個(gè)并行的CNN網(wǎng)絡(luò)分別處理用戶(hù)評(píng)論集和商品評(píng)論集輔助推薦.本文認(rèn)為結(jié)合評(píng)論文本的商品推薦方法與結(jié)合文本信息的學(xué)術(shù)論文推薦方法有許多相似之處,本文RAP-WTIF方法借鑒了DeepCoNN模型的基本思想.

3 方 法

為了方便闡述,首先進(jìn)行符號(hào)定義,假設(shè)給定數(shù)據(jù)集D,其中每條數(shù)據(jù)(ui,pj,t,s)表示用戶(hù)ui收藏了論文pj,t=(t1,t2,…,tn)和s=(a1,a2,…,am)為論文pj的標(biāo)題和摘要,n為標(biāo)題中單詞個(gè)數(shù),m為摘要中句子個(gè)數(shù),ay=(wy,1,wy,2,…,wy,r)表示摘要第y個(gè)句子由r個(gè)單詞組成.

本文方法RAP-WTIF整體結(jié)構(gòu)如圖2所示,首先,使用預(yù)訓(xùn)練BERT模型[20]獲取標(biāo)題摘要中單詞的向量表示.其次,通過(guò)本文提出的標(biāo)題摘要注意力機(jī)制(TAAM,Title-Abstract Attentive Mechanism)捕捉標(biāo)題摘要語(yǔ)義關(guān)系,獲得論文向量表示.最后,結(jié)合改進(jìn)的神經(jīng)協(xié)同過(guò)濾(NCF,Neural Collaborative Filtering)[21]模型處理隱反饋信息實(shí)現(xiàn)推薦.

圖2 整體結(jié)構(gòu)Fig.2 Overall structure

3.1 預(yù)訓(xùn)練BERT模型

現(xiàn)有的結(jié)合文本信息的學(xué)術(shù)論文推薦方法在獲取單詞向量表示時(shí)仍采用傳統(tǒng)的word2vec[22]或glove[23]預(yù)訓(xùn)練詞向量模型,這些模型屬于靜態(tài)編碼,不能很好的聯(lián)系單詞的上下文信息,以至于對(duì)語(yǔ)義的理解存在偏差.例如“I stole money from a bank vault”與“I′m fishing on the Mississippi river bank”,前一句中的bank意為銀行,后一句中的bank意為岸邊,而word2vec與glove模型對(duì)不同語(yǔ)句中的bank僅會(huì)給出相同的向量表示,沒(méi)有很好的聯(lián)系單詞的上下文信息.谷歌公司提出雙向Transformer結(jié)構(gòu)的BERT模型[20],并在大規(guī)模語(yǔ)料庫(kù)上對(duì)其進(jìn)行了預(yù)訓(xùn)練,可以很好的解決這一問(wèn)題,每個(gè)單詞的向量表示會(huì)根據(jù)不同的上下文信息而動(dòng)態(tài)變化.本文使用預(yù)訓(xùn)練BERT模型獲取標(biāo)題摘要中單詞的向量表示:

(3)

3.2 標(biāo)題摘要注意力機(jī)制

標(biāo)題摘要注意力機(jī)制利用學(xué)術(shù)論文結(jié)構(gòu)化特點(diǎn),捕捉標(biāo)題摘要之間語(yǔ)義關(guān)系獲得論文向量表示,結(jié)構(gòu)如圖3所示,主要分為標(biāo)題注意力(Title attention),摘要注意力(Abstract Attention),句級(jí)注意力(Sentence Attention)3個(gè)模塊.

圖3 標(biāo)題摘要注意力機(jī)制結(jié)構(gòu)Fig.3 Structure of title-abstract attentive mechanism

3.2.1 標(biāo)題注意力

標(biāo)題注意力賦予標(biāo)題中核心單詞更大權(quán)重.首先,使用一層雙向門(mén)控循環(huán)單元(GRU,Gated Recurrent Unit)神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)題中單詞的向量表示進(jìn)行編碼,以捕捉標(biāo)題單詞間的語(yǔ)義關(guān)系,此處GRU網(wǎng)絡(luò)稱(chēng)作詞級(jí)GRU(Word GRU)網(wǎng)絡(luò),

(4)

hi=[hfi;hbi]

(5)

接著,通過(guò)自注意力機(jī)制獲取標(biāo)題中每個(gè)單詞的重要性權(quán)重αi,

(6)

其中,W1、W2、b1、b2為模型自主學(xué)習(xí)的參數(shù).

最后,加權(quán)得到標(biāo)題向量表示t′,

t′=αihi

(7)

3.2.2 摘要注意力

摘要注意力通過(guò)比較摘要句子中的單詞與標(biāo)題中單詞的相關(guān)性,賦予摘要中重要單詞更大權(quán)重,以便更好捕捉摘要句子語(yǔ)義信息.首先,計(jì)算摘要句子中每個(gè)單詞與標(biāo)題中單詞的相關(guān)性分?jǐn)?shù)sim(wy,x,t),

(8)

WK與WQ為模型自主學(xué)習(xí)的權(quán)重參數(shù).

對(duì)相關(guān)性分?jǐn)?shù)進(jìn)行歸一化,得到摘要句子中每個(gè)單詞的重要性權(quán)重αx,

(9)

接著,同樣使用一層雙向GRU網(wǎng)絡(luò)對(duì)摘要句子中單詞的向量表示進(jìn)行編碼,以捕捉摘要句子中單詞之間的語(yǔ)義關(guān)系,得到每個(gè)單詞的隱藏狀態(tài)hy,x,此處GRU網(wǎng)絡(luò)與標(biāo)題注意力中的詞級(jí)GRU網(wǎng)絡(luò)共享參數(shù).

(10)

3.2.3 句級(jí)注意力

句級(jí)注意力賦予標(biāo)題更大權(quán)重,賦予摘要中重要句子更大權(quán)重.首先,通過(guò)比較摘要中每個(gè)句子與標(biāo)題的相關(guān)性,賦予摘要中重要句子更大權(quán)重.計(jì)算摘要中每個(gè)句子與標(biāo)題的相關(guān)性分?jǐn)?shù)sim(t,ay)以及每個(gè)句子的重要性權(quán)重βy,

(11)

其中,W3、W4、b3、b4為模型自主學(xué)習(xí)的參數(shù).

接著,可以將標(biāo)題看作摘要的總結(jié)句,使用標(biāo)題向量表示t′初始化一層雙向GRU網(wǎng)絡(luò)的全局記憶,將摘要句子向量表示依次輸入該GRU網(wǎng)絡(luò),獲得每個(gè)摘要句子的隱藏狀態(tài)hy,這樣,不僅可以捕捉摘要句子之間的語(yǔ)義關(guān)系,也可以通過(guò)標(biāo)題來(lái)輔助摘要句子向量表示的構(gòu)建,使其更傾向于文章的核心主旨.此處GRU網(wǎng)絡(luò)稱(chēng)作句級(jí)GRU(Sentence GRU)網(wǎng)絡(luò),不與前面詞級(jí)GRU網(wǎng)絡(luò)共享參數(shù).

然后,加權(quán)聚集每個(gè)摘要句子的隱藏狀態(tài),獲得摘要向量表示s′,

(12)

最后,連接標(biāo)題向量表示t′和摘要向量表示s′獲得論文向量表示p′,

p′=W5[t′;s′]+b5

(13)

其中,W5,b5為模型自主學(xué)習(xí)的參數(shù).

這里,將標(biāo)題向量表示與摘要向量表示連接以及使用標(biāo)題向量表示t′初始化GRU網(wǎng)絡(luò)的全局記憶,都間接給予了標(biāo)題在構(gòu)造論文向量表示時(shí)的更大權(quán)重.

3.3 改進(jìn)的神經(jīng)協(xié)同過(guò)濾模型

現(xiàn)有的學(xué)術(shù)論文推薦方法在處理用戶(hù)-論文交互信息時(shí)仍采用矩陣分解模型或其簡(jiǎn)單變體,不能很好的捕捉用戶(hù)-論文交互信息.He等[21]提出神經(jīng)協(xié)同過(guò)濾(NCF,Neural Collaborative Filtering)模型,將傳統(tǒng)矩陣分解中的內(nèi)積操作與神經(jīng)網(wǎng)絡(luò)結(jié)合,可以進(jìn)一步捕獲非線性特征和更多特征組合,極大提升了推薦效果.其結(jié)構(gòu)如圖4所示,核心為廣義矩陣分解(GMF,Generalized Matrix Factorization)模塊和多層感知機(jī)(MLP,Multi-Layer Perceptron)模塊.然而,原始的NCF模型僅僅使用用戶(hù)物品編號(hào)信息,存在一定的局限性,本文改進(jìn)原始的NCF模型,增加論文文本信息作為輔助信息來(lái)進(jìn)一步提升推薦效果.

圖4 神經(jīng)協(xié)同過(guò)濾模型結(jié)構(gòu)Fig.4 Structure of neural collaborative filtering model

首先,去掉原始NCF模型的項(xiàng)目嵌入(Item Embeding)模塊,將標(biāo)題摘要注意力機(jī)制獲得的論文向量表示p′分別賦值給廣義矩陣分解模塊的項(xiàng)目向量表示(GMF Item Vec)和多層感知機(jī)模塊的項(xiàng)目向量表示(MLP Item Vec).因?yàn)楸疚闹饕康氖遣蹲綐?biāo)題摘要語(yǔ)義關(guān)系獲得更好的論文表示提升論文推薦質(zhì)量,所以對(duì)于用戶(hù)向量表示的兩個(gè)模塊(GMF User Vec和MLP User Vec),仍使用NCF模型原始的用戶(hù)嵌入模塊(User Embeding)進(jìn)行隨機(jī)初始化.

(14)

其中,pG和pM分別為論文GMF向量表示與MLP向量表示,qG和qM分別為用戶(hù)GMF向量表示與MLP向量表示.

最后,使用公式(1)作為損失函數(shù),采用Adam作為優(yōu)化器學(xué)習(xí)模型.

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

CiteULike網(wǎng)站為用戶(hù)提供管理學(xué)術(shù)論文和發(fā)現(xiàn)學(xué)術(shù)論文的服務(wù),用戶(hù)可以在網(wǎng)站上收藏感興趣的論文.本文實(shí)驗(yàn)數(shù)據(jù)CiteULike-a[13]和CiteULike-t[24]均來(lái)自CiteULike網(wǎng)站公開(kāi)提供的真實(shí)數(shù)據(jù),對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理后相關(guān)信息如表1所示.

表1 數(shù)據(jù)集相關(guān)信息Table 1 Information about dataset

4.2 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)選取以下方法進(jìn)行對(duì)比,方法實(shí)現(xiàn)均來(lái)自原論文提供的代碼并在實(shí)際實(shí)驗(yàn)中調(diào)優(yōu),

—NCF[21]:僅使用NCF模型處理隱反饋信息進(jìn)行推薦,未使用論文文本信息.

—DeepCoNN[19]:使用glove預(yù)訓(xùn)練詞向量模型獲得標(biāo)題摘要中單詞的向量表示,通過(guò)CNN網(wǎng)絡(luò)提取論文文本特征.

—DeepCoNN++[25]:用GRU網(wǎng)絡(luò)取代 DeepCoNN模型中的CNN網(wǎng)絡(luò)來(lái)提取文本特征.

—RAP-WTIF-base:論文標(biāo)題摘要簡(jiǎn)單連接得到段落文本,使用預(yù)訓(xùn)練BERT模型獲得單詞向量表示,通過(guò)GRU網(wǎng)絡(luò)捕捉文本特征.

—RAP-WTIF-t:RAP-WTIF模型變體,僅包含標(biāo)題注意力.

—RAP-WTIF-a:RAP-WTIF模型變體,包含標(biāo)題注意力和摘要注意力.

4.3 實(shí)驗(yàn)方法

實(shí)驗(yàn)使用leave-one-out方法進(jìn)行驗(yàn)證,對(duì)每個(gè)用戶(hù)取出最后一個(gè)交互作為測(cè)試集,剩余交互作為訓(xùn)練集.由于對(duì)每個(gè)用戶(hù)都進(jìn)行所有論文的預(yù)測(cè)和排序十分耗時(shí),本文采取一個(gè)簡(jiǎn)化做法,隨機(jī)選取99篇不在用戶(hù)收藏庫(kù)中的論文,與測(cè)試論文一起排序,選取top10作為推薦列表,通過(guò)命中率(HR)和歸一化折損累計(jì)增益(NDCG)評(píng)判推薦表現(xiàn)[21],

(15)

N表示用戶(hù)總數(shù)量,hits(i)表示第i個(gè)用戶(hù)的真實(shí)值是否在推薦列表中,是則為1,否則為0.HR值越大,模型推薦準(zhǔn)確率越高.

(16)

N表示用戶(hù)總數(shù)量,pi表示第i個(gè)用戶(hù)真實(shí)值在推薦列表的位置,若推薦列表不存在該值,則pi→∞.NDCG值越大,模型推薦效果越好.

對(duì)每個(gè)用戶(hù)隨機(jī)選取一個(gè)交互進(jìn)行超參數(shù)調(diào)節(jié),用高斯分布初始化模型參數(shù).綜合考慮實(shí)驗(yàn)效果和時(shí)間耗費(fèi),本文選定NCF模塊MLP層數(shù)layers=3,負(fù)例抽取比例α=5,學(xué)習(xí)率lr=0.0005.考慮論文向量表示的維度對(duì)模型效果有較大影響,實(shí)驗(yàn)中對(duì)論文向量表示的不同維度f(wàn)actors=[8,16,32,64]進(jìn)行了分析.

4.4 實(shí)驗(yàn)結(jié)果與分析

根據(jù)上述實(shí)驗(yàn)設(shè)計(jì),對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì),CiteULike-a數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如表2所示,分析實(shí)驗(yàn)結(jié)果得出如下結(jié)論,

表2 CiteULike-a實(shí)驗(yàn)結(jié)果Table 2 Experimental results of CiteULike-a

1)RAP-WTIF方法在HR,NDCG評(píng)價(jià)指標(biāo)下均優(yōu)于其它方法,比經(jīng)典方法DeepCoNN分別提高5.8,6.2個(gè)百分點(diǎn),證明該方法提升學(xué)術(shù)論文推薦質(zhì)量的有效性.

2)考慮論文文本信息的模型(DeepCoNN,DeepCoNN++,RAP-WTIF)相比僅考慮隱反饋信息的模型(NCF)效果顯著提升,表明論文文本信息對(duì)于科研人員具有重要作用.

3)使用循環(huán)神經(jīng)網(wǎng)絡(luò)的模型(DeepCoNN++)比使用卷積神經(jīng)網(wǎng)絡(luò)的模型(DeepCoNN)效果更好,表明循環(huán)神經(jīng)網(wǎng)絡(luò)可以更好地捕捉文本語(yǔ)義信息.

4)將本文方法RAP-WTIF與其變體RAP-WTIF-base,RAP-WTIF-t,RAP-WTIF-a比較可以看出,標(biāo)題摘要注意力機(jī)制的3個(gè)模塊均對(duì)獲取更好論文表示,提升推薦效果產(chǎn)生有益作用.

CiteULike-t數(shù)據(jù)集實(shí)驗(yàn)結(jié)果顯示同樣情況,限于篇幅問(wèn)題省略了CiteULike-t數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表.

圖5、圖6為論文向量表示維度發(fā)生變化的實(shí)驗(yàn)結(jié)果,可以看出,本文所提RAP-WTIF方法在不同論文向量表示維度下皆取得最優(yōu)表現(xiàn),進(jìn)一步驗(yàn)證本文所提RAP-WTIF方法提升學(xué)術(shù)論文推薦質(zhì)量的有效性.另外,隨著維度升高,各方法效果皆有提升,表明提升維度可以更好的捕捉學(xué)術(shù)論文主旨信息,但考慮過(guò)大的維度也可能引起過(guò)擬合導(dǎo)致效果變差.CiteULike-t數(shù)據(jù)集上的實(shí)驗(yàn)也顯示出相同趨勢(shì),同樣限于篇幅問(wèn)題省略了CiteULike-t數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果圖.

圖5 不同factor維度下的HRFig.5 HR under different factor dimension

圖6 不同factor維度下的NDCGFig.6 NDCG under different factor dimension

5 總 結(jié)

本文針對(duì)學(xué)術(shù)論文推薦領(lǐng)域存在的數(shù)據(jù)稀疏問(wèn)題,提出一種結(jié)合文本與隱反饋信息的學(xué)術(shù)論文推薦方法.該方法充分利用了學(xué)術(shù)論文的結(jié)構(gòu)化特點(diǎn),首先,使用預(yù)訓(xùn)練BERT模型獲得標(biāo)題摘要中單詞的向量表示.其次,提出標(biāo)題摘要注意力機(jī)制捕捉標(biāo)題摘要之間的語(yǔ)義關(guān)系獲得更好論文表示.最后,結(jié)合改進(jìn)的NCF模型處理用戶(hù)-論文隱反饋信息實(shí)現(xiàn)推薦.在CiteULike-a與CiteULike-t數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),證明本方法可以明顯提升學(xué)術(shù)論文推薦質(zhì)量.在今后的研究中,我們將進(jìn)一步考慮時(shí)序信息,并考慮構(gòu)建多語(yǔ)種的學(xué)術(shù)論文推薦服務(wù).