史存會(huì) 胡耀康 馮 彬 張 瑾 俞曉明 劉 悅 程學(xué)旗

1(中國(guó)科學(xué)院計(jì)算技術(shù)研究所數(shù)據(jù)智能系統(tǒng)研究中心 北京 100190) 2(中國(guó)科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院計(jì)算技術(shù)研究所) 北京 100190) 3(中國(guó)科學(xué)院大學(xué) 北京 100049) 4(煙臺(tái)中科網(wǎng)絡(luò)技術(shù)研究所 山東煙臺(tái) 264005)

隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)正深刻地改變著大眾的方方面面，逐漸成為生活不可或缺的組成部分.

人民網(wǎng)發(fā)布的2017網(wǎng)絡(luò)輿情報(bào)告(1)http://yuqing.people.com.cn/GB/n1/2018/0103/c209043-29743172.html指出，依托于移動(dòng)互聯(lián)的信息分享和意見(jiàn)交流的工具，如“兩微一端”(微博、微信、新聞客戶端)，已經(jīng)越來(lái)越多地成為社會(huì)輿論發(fā)源地和發(fā)酵平臺(tái).龐大的網(wǎng)民基數(shù)帶來(lái)的巨大影響力已使得傳統(tǒng)媒體對(duì)輿論場(chǎng)的影響力減弱，網(wǎng)絡(luò)用戶發(fā)表的各種言論與意見(jiàn)已經(jīng)可以形成強(qiáng)大的輿論壓力，網(wǎng)絡(luò)輿情正在成為社會(huì)輿情的主要部分.

互聯(lián)網(wǎng)中時(shí)刻都在產(chǎn)生新的信息，輿情也隨之發(fā)展演變，但是網(wǎng)絡(luò)中的信息本身完整性無(wú)法得到保證，信息碎片化會(huì)影響用戶的判斷.輿情用戶想要抓住其脈絡(luò)需要重新組織信息方法，話題即為其中一種可行的方式，將信息以話題的粒度進(jìn)行聚合，能充分提高用戶獲取信息的效率.

另外，由于各種輿情事件層出不窮，很短時(shí)間就能在不同媒介得到迅速傳播，被大規(guī)模網(wǎng)民廣泛關(guān)注與參與，并有可能引發(fā)互聯(lián)網(wǎng)空間或現(xiàn)實(shí)社會(huì)的強(qiáng)烈反響，乃至誘發(fā)大規(guī)模群體性事件.于是，以話題推薦為代表的網(wǎng)絡(luò)輿情精準(zhǔn)化信息推送手段在輿情場(chǎng)景應(yīng)用中得到廣泛的關(guān)注.

1 相關(guān)工作

話題推薦同時(shí)涉及話題和推薦方法相關(guān)工作與研究，2個(gè)領(lǐng)域經(jīng)過(guò)多年的發(fā)展都形成了相對(duì)成熟技術(shù)方案體系.近年來(lái)，深度學(xué)習(xí)相關(guān)技術(shù)的蓬勃發(fā)展，也帶動(dòng)了兩者相關(guān)的研究，出現(xiàn)了很多探索、嘗試以及新的解決思路.

1.1 話題相關(guān)工作

話題檢測(cè)任務(wù)(topic detection task, TDT)[1-2]是在缺乏話題先驗(yàn)知識(shí)的情況下進(jìn)行檢測(cè)，將同一個(gè)話題的對(duì)象歸為一類，形式上與聚類目標(biāo)相近，故而目前大部分相關(guān)研究集中在使用聚類方法來(lái)進(jìn)行話題檢測(cè).主要有基于劃分的聚類、基于模型的聚類、基于密度的聚類等，較為常見(jiàn)的有K-Means，BIRCH(balanced iterative reducing and clustering using hierarchies)，SinglePass等聚類算法.除此之外還有一類基于概率生成模型的話題檢測(cè)方法，包括pLSA(probabilistic latent semantic analysis)[3]和LDA(latent Dirichlet allocation)[4]，及其改進(jìn)算法等.

1.2 推薦相關(guān)工作

推薦主要是用來(lái)給特定用戶提供其最可能感興趣的選項(xiàng)的技術(shù)，其可以增加用戶滿意度和忠誠(chéng)度及更好地理解用戶需求，有效解決信息過(guò)載的問(wèn)題，讓用戶及時(shí)、有效地發(fā)現(xiàn)其感興趣的內(nèi)容，使用戶更高效地獲取信息.推薦系統(tǒng)粗略來(lái)看可以簡(jiǎn)單分為早期的傳統(tǒng)推薦模型與近些年研究較多的基于深度學(xué)習(xí)的推薦模型.傳統(tǒng)推薦模型主要為較早期出現(xiàn)的推薦模型，典型的有協(xié)同過(guò)濾推薦[5-6]、基于內(nèi)容的推薦以及混合推薦模型[7]等.

協(xié)同過(guò)濾主要是使用用戶評(píng)分或用戶行為(如購(gòu)買、瀏覽、點(diǎn)擊等)來(lái)給用戶進(jìn)行推薦，無(wú)需與用戶或物品相關(guān)的信息.主要特點(diǎn)是利用用戶行為計(jì)算相似度，然后利用相似的近鄰預(yù)測(cè)得分來(lái)推薦.與之相對(duì)的還有一種基于矩陣分解的協(xié)同過(guò)濾模型，這類模型重點(diǎn)在于挖掘用戶對(duì)物品評(píng)分矩陣中的潛在特征.包括pLSA[3]，LDA[4]以及基于用戶-物品評(píng)分矩陣分解的如SVD(singular value decomposition)，SVD++[8]等方法.

另外，借鑒深度內(nèi)容分析技術(shù)的基于內(nèi)容語(yǔ)義的推薦方法成為了近年來(lái)最具創(chuàng)新性的研究之一[9].總體上，我們可以將語(yǔ)義相關(guān)的內(nèi)容推薦方法分為自頂向下與自底向上的2類.前者主要在于集成外部知識(shí)到推薦系統(tǒng)中，知識(shí)可以是詞典、知識(shí)圖譜等信息[10-12].而自底向上的方法在于通過(guò)大量語(yǔ)料中詞項(xiàng)的上下文來(lái)學(xué)習(xí)其分布式表達(dá)[13-14].隨著知識(shí)圖譜等技術(shù)的發(fā)展，引入先驗(yàn)知識(shí)能有效提升模型效果，基于內(nèi)容的推薦模型被重視起來(lái).

近年來(lái)，深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像處理和自然語(yǔ)言處理等領(lǐng)域的革命性進(jìn)步受到了極大的關(guān)注.深度模型也通過(guò)各種方式被引入到推薦領(lǐng)域，Betru等人[15]對(duì)此進(jìn)行了分類，主要有基于多層感知機(jī)的推薦模型[16-20]、基于卷積神經(jīng)網(wǎng)絡(luò)的推薦模型[21-24]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦模型[22-23,25]等.

2 基于層次知識(shí)的話題推薦方法

輿情場(chǎng)景下，系統(tǒng)會(huì)在全網(wǎng)采集信息，信息源主要包括門戶網(wǎng)、社交網(wǎng)、新聞媒體，如騰訊、網(wǎng)易、新浪、搜狐、鳳凰網(wǎng)、微博、貼吧以及各種論壇等.然后將這些信息進(jìn)行清理過(guò)濾，按照一定的聚類或者分類算法對(duì)信息進(jìn)行聚合，在此基礎(chǔ)上輿情系統(tǒng)會(huì)選擇如輿情指標(biāo)體系等方法對(duì)信息進(jìn)行多維度的計(jì)算排序，然后展示給輿情用戶.總的來(lái)說(shuō)這些方法較多依賴于統(tǒng)計(jì)特征來(lái)選擇信息，無(wú)法挖掘信息之間語(yǔ)義上的關(guān)聯(lián)，很難用來(lái)刻畫(huà)用戶興趣，亦不能針對(duì)用戶進(jìn)行有效地個(gè)性化推薦.本文提出基于層次知識(shí)嵌入的話題推薦方法，利用層次知識(shí)深入挖掘話題信息中的語(yǔ)義的關(guān)聯(lián)，為用戶進(jìn)行個(gè)性化話題推薦.本節(jié)的推薦模型中充分利用語(yǔ)義信息來(lái)選擇輿情用戶最可能關(guān)注的話題來(lái)進(jìn)行推薦展示，提升了輿情選題的效果.

隨著深度神經(jīng)網(wǎng)絡(luò)相關(guān)技術(shù)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域遍地開(kāi)花，尤其是自然語(yǔ)言處理領(lǐng)域在相關(guān)技術(shù)的加持下發(fā)展更是突飛猛進(jìn).這使得基于內(nèi)容的推薦方法也重新得到了學(xué)術(shù)界和工業(yè)界越來(lái)越多的關(guān)注，取得了不少進(jìn)展.目前不少工作集中在如何將知識(shí)圖譜等外部先驗(yàn)知識(shí)引入推薦模型中，但是知識(shí)圖譜的構(gòu)建本身極為復(fù)雜與嚴(yán)格，需耗費(fèi)大量的成本，在輿情場(chǎng)景中亦不太適用.輿情場(chǎng)景中信息繁雜且更新頻繁，另外知識(shí)圖譜主要基于實(shí)體與關(guān)系，能利用的文本信息有限，本文利用較為容易獲取的層次知識(shí)挖掘潛在的語(yǔ)義信息，提高話題推薦的效果.

2.1 模型介紹

對(duì)本文提出的基于層次知識(shí)網(wǎng)絡(luò)(hierarchical knowledge network, HKN)的話題推薦模型，整個(gè)模型主要分為3層，最底層為層次知識(shí)表示網(wǎng)絡(luò)(hierarchical knowledge representation network, KRN)，用于學(xué)習(xí)知識(shí)的嵌入表示，在此基礎(chǔ)上使用話題表示網(wǎng)絡(luò)(topic representation network, TRN)學(xué)習(xí)話題的嵌入表示，然后利用注意力模型學(xué)習(xí)用戶表達(dá)，最后將學(xué)習(xí)到的用戶表示與候選話題表示進(jìn)行相似計(jì)算，計(jì)算用戶對(duì)候選話題的點(diǎn)擊概率，如此即為整個(gè)基于層次知識(shí)的話題推薦模型.

2.2 問(wèn)題定義

2.3 層次知識(shí)表示

如圖1所示，層次知識(shí)主要包含：知識(shí)節(jié)點(diǎn)、知識(shí)描述以及知識(shí)間的層次關(guān)系，即每個(gè)知識(shí)節(jié)點(diǎn)包含其對(duì)應(yīng)的知識(shí)描述及其父節(jié)點(diǎn).層次知識(shí)相對(duì)知識(shí)圖譜更易獲取，約束也相對(duì)較少，沒(méi)有知識(shí)圖譜中復(fù)雜的關(guān)系和實(shí)體信息，這使得層次知識(shí)構(gòu)建相對(duì)容易.層次結(jié)構(gòu)是逐層細(xì)化的關(guān)系，所以結(jié)合推薦技術(shù)可以使用層次信息來(lái)擴(kuò)展用戶興趣語(yǔ)義，深入挖掘用戶興趣.

Fig. 1 Hierarchical knowledge圖1 層次知識(shí)

知識(shí)由其名稱以及與其關(guān)聯(lián)的節(jié)點(diǎn)組成，本模型利用層次注意力模型學(xué)習(xí)層次知識(shí)的表達(dá)，充分挖掘其中的語(yǔ)義信息；然后在層次知識(shí)路徑序列上使用循環(huán)門控網(wǎng)絡(luò)對(duì)層次序列進(jìn)行編碼，最后再利用注意力模型整合得到知識(shí)表示.

Fig. 3 Network of topic representation圖3 話題表示網(wǎng)絡(luò)

(1)

(2)

(3)

Fig. 2 Network of knowledge representation圖2 知識(shí)表示網(wǎng)絡(luò)

2.4 話題表示

為了評(píng)估水分脅迫對(duì)各處理番茄的影響,每隔25 d左右用土鉆沿著番茄的主莖取土,用烘干法測(cè)定各處理番茄根區(qū)0～40 cm深度的土壤含水量,每個(gè)處理3個(gè)重復(fù)。

(4)

y(Tt)=softmax(tanh(C(t)H(t)T+b(t)))H(t).

(5)

話題的知識(shí)表達(dá)部分y(Tk)計(jì)算為

(6)

最后輸出層的結(jié)果y(T)即為話題的向量嵌入表示，如式(7)所示，由話題的詞嵌入表示和知識(shí)嵌入表示拼接得到.

y(T)=concat(y(Tt),y(Tk)).

(7)

以上即為話題表示網(wǎng)絡(luò)，模型主要通過(guò)話題標(biāo)題和話題包含的知識(shí)信息來(lái)學(xué)習(xí)話題的嵌入表達(dá)，模型也使用了KRN模型來(lái)學(xué)習(xí)知識(shí)的表示.

2.5 基于層次知識(shí)的話題推薦模型

基于層次知識(shí)的話題推薦模型基本結(jié)構(gòu)借鑒于語(yǔ)義匹配模型，即分別學(xué)習(xí)候選話題和用戶的嵌入表示，然后根據(jù)兩者的相關(guān)性來(lái)預(yù)測(cè)用戶點(diǎn)擊.模型結(jié)構(gòu)如圖4所示，模型可以分為6層.

Fig. 4 Hierarchical knowledge based topic recommendation model圖4 基于層次知識(shí)的話題推薦模型

L1層由話題注意力層和知識(shí)注意力層2部分組成，前者為話題標(biāo)題注意力，計(jì)算為

u(Tt)=softmax(tanh(W(Tt)T(Ct)T(Ht)T+b(Tt)))T(Ht).

(8)

后者為知識(shí)注意力，使用候選話題的知識(shí)嵌入部分作為注意力信號(hào)，另外此處加入了用戶知識(shí)偏好K(P)，用戶知識(shí)部分表達(dá)可計(jì)算為

u(P)=softmax(tanh(W(P)T(Ck)K(HP)T+
b(P)))K(HP),

(9)

L2層將2個(gè)注意力網(wǎng)絡(luò)的輸出拼接從而得到用戶的嵌入表示u：

u=concat(u(Tt),u(P)).

(10)

L3層為拼接層，將候選話題的表示與用戶表示進(jìn)行拼接，作為L(zhǎng)4層匹配層的輸入，最終根據(jù)式(11)計(jì)算兩者的相似度來(lái)預(yù)測(cè)用戶點(diǎn)擊率.

y=MLP(concat(T(C),u)).

(11)

3 實(shí) 驗(yàn)

本節(jié)將詳細(xì)介紹考慮層次知識(shí)的話題推薦方法的實(shí)驗(yàn)細(xì)節(jié)，包括實(shí)驗(yàn)數(shù)據(jù)集、作為對(duì)照的基線算法、評(píng)價(jià)指標(biāo)以及實(shí)驗(yàn)的參數(shù)設(shè)置等.

3.1 數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)是從CCIR2018知乎個(gè)性化推薦評(píng)測(cè)數(shù)據(jù)集(2)https://biendata.com/competition/CCIR2018/data/中構(gòu)建，并從知乎網(wǎng)站抓取了層次知識(shí)結(jié)構(gòu)的數(shù)據(jù)，該數(shù)據(jù)集主要分為3部分，即用戶數(shù)據(jù)、內(nèi)容數(shù)據(jù)與交互數(shù)據(jù).

如表1所示為話題數(shù)據(jù)實(shí)例，可以看到該話題名稱為“如何看待美國(guó)正式公布涉及500億美元出口的301征稅清單?”；話題包含“中美關(guān)系”“外交”“中美貿(mào)易”“經(jīng)濟(jì)”這4個(gè)知識(shí)信息；每個(gè)知識(shí)可以找到其相關(guān)聯(lián)的層次知識(shí)，如“中美關(guān)系”的父節(jié)點(diǎn)有“國(guó)際關(guān)系”與“地緣政治”，其子節(jié)點(diǎn)有“中美沖突”“中美貿(mào)易戰(zhàn)”“中美建交”和“中美博弈”.

Table 1 An Example of a Topic

3.2 數(shù)據(jù)處理

為了讓數(shù)據(jù)便于處理，本文對(duì)數(shù)據(jù)集進(jìn)行了必要的處理.主要包含以下規(guī)則：1)按知識(shí)標(biāo)簽篩選輿情相關(guān)的數(shù)據(jù)，篩選的主要數(shù)據(jù)范圍為政治、軍事、民生、經(jīng)濟(jì)、事故以及災(zāi)害等.2)對(duì)具體數(shù)據(jù)也有篩選如知識(shí)標(biāo)簽數(shù)據(jù)，即1個(gè)話題至少需含有以上類別的知識(shí)信息，用戶知識(shí)偏好必須含有5個(gè)以上的輿情類別的知識(shí)；另外，標(biāo)題長(zhǎng)度必須大于等于6個(gè)詞語(yǔ)，最多16個(gè)詞語(yǔ)，超出的截?cái)?，不足的刪除；對(duì)歷史信息條數(shù)不足10條的記錄也刪除.最后共選擇了100 000條記錄作為實(shí)驗(yàn)數(shù)據(jù).

處理后的一條數(shù)據(jù)主要包括4部分，分別是用戶偏好、用戶歷史、候選話題、點(diǎn)擊標(biāo)記.用戶偏好集用戶關(guān)注的知識(shí)信息，用戶歷史為用戶最近對(duì)話題的點(diǎn)擊記錄，候選話題即要進(jìn)行預(yù)測(cè)點(diǎn)擊率的話題，點(diǎn)擊標(biāo)記為用戶對(duì)候選話題是否進(jìn)行了點(diǎn)擊.

3.3 評(píng)價(jià)指標(biāo)

在推薦場(chǎng)景中，存在各式的評(píng)價(jià)指標(biāo)，并有不同的適用條件.由于本文預(yù)測(cè)的是話題的點(diǎn)擊率，所以采用F1(the balancedFscore)值與AUC(the area under curve)值來(lái)進(jìn)行評(píng)價(jià).

F1值常被用于二分類模型中評(píng)價(jià)模型的指標(biāo)，它被定義為準(zhǔn)確率與召回率的調(diào)和平均數(shù)，可以兼顧兩者;另外點(diǎn)擊率預(yù)估可以建模為二分類問(wèn)題，因此F1值比較適合.

AUC與F1值需要確定正負(fù)樣本具體的分割值，而AUC計(jì)算可以等價(jià)于隨機(jī)抽樣時(shí)正樣本排在負(fù)樣本前的概率，在推薦場(chǎng)景中AUC有重要的意義.

3.4 基線算法

本文選擇的基線算法主要有以下4種：

1) LibFM(factorization machine library)[26]是因子分解機(jī)FM(factorization machines)模型的一個(gè)開(kāi)源實(shí)現(xiàn)，作為經(jīng)典的基于特征的機(jī)器學(xué)習(xí)算法，因子分解機(jī)FM模型具有很好的適應(yīng)性，在很多領(lǐng)域都有很好的效果.LibFM作為FM模型的軟件實(shí)現(xiàn)是一個(gè)不錯(cuò)的基線算法.

2) Wide&Deep(jointly trained wide linear models and deep neural networks)[16]模型主要是結(jié)合了線性模型的記憶能力與深度模型的泛化能力，從而整體提升模型性能，谷歌已將該模型應(yīng)用到線上.

3) DeepFM(factorization-machine based neural network)[20]模型在Wide&Deep的架構(gòu)上，使用FM模型代替了Wide部分的LR模型，從而告別了繁瑣的人工特征工程，該模型在實(shí)際業(yè)務(wù)中也取得了不錯(cuò)的效果.

4) DKN(deep knowledge-aware network)[24]模型是通過(guò)結(jié)合實(shí)體嵌入、單詞嵌入以及實(shí)體上下文來(lái)學(xué)習(xí)新聞表達(dá)，然后利用注意力機(jī)制結(jié)合用戶瀏覽記錄來(lái)學(xué)習(xí)用戶表達(dá).最后根據(jù)學(xué)到的用戶表達(dá)和候選新聞表達(dá)聯(lián)合計(jì)算，用戶點(diǎn)擊該條新聞的概率的推薦模型.

3.5 參數(shù)設(shè)置

實(shí)驗(yàn)中使用的詞嵌入為騰訊人工智能實(shí)驗(yàn)室開(kāi)源的中文詞嵌入(3)https://ai.tencent.com/ailab/nlp/embedding.html. 本文使用訓(xùn)練集進(jìn)行初步實(shí)驗(yàn)獲取超參數(shù)，對(duì)于缺失的詞向量進(jìn)行隨機(jī)初始化，模型訓(xùn)練終止條件是在損失值趨于穩(wěn)定時(shí). 最終相關(guān)超參設(shè)置如下：詞向量維度為200，學(xué)習(xí)率為0.001，BiGRU隱層數(shù)均為100，多層感知機(jī)隱層為50，優(yōu)化器為SGD，模型訓(xùn)練的批大小為32，模型迭代輪數(shù)為500，在多層感知機(jī)中dropout值為0.3.

3.6 實(shí)驗(yàn)結(jié)果分析

為了對(duì)比本文提出的基于層次知識(shí)嵌入的話題推薦模型與現(xiàn)有的同類型模型之間的效果差異，并驗(yàn)證層次知識(shí)的有效性，本文按照基線模型的特點(diǎn)在處理過(guò)的數(shù)據(jù)集上做了對(duì)比實(shí)驗(yàn).其中參與對(duì)比的基線模型主要有LibFM，Wide&Deep，DeepFM,DKN等模型.

如表2所示為模型間的對(duì)比實(shí)驗(yàn)結(jié)果，表3所示為本模型對(duì)比基線模型的提升效果，即用本模型的效果減去基線模型效果.

Table 2 Comparison of Models

Table 3 Comparison of HKN Improvements

本文提出的基于層次知識(shí)嵌入的話題推薦模型HKN在F1與AUC這2個(gè)評(píng)價(jià)指標(biāo)上效果都超出了基線算法中效果最好的DKN模型，對(duì)比之下本文的模型在F1和AUC指標(biāo)上分別提升了1.4和1.2個(gè)百分點(diǎn).另外除了DKN模型之外，對(duì)比最好的基線算法，分別提升為3.4和2.1個(gè)百分點(diǎn)，由此可以看出使用語(yǔ)義信息的模型HKN和DKN相比沒(méi)有利用語(yǔ)義信息的模型如DeepFM,Wide&Deep模型而言具有顯著的優(yōu)勢(shì).另外DKN模型原本使用的是知識(shí)圖譜中關(guān)系的嵌入以及上下文結(jié)構(gòu)信息和更有實(shí)體信息，其在原始數(shù)據(jù)集上就有不錯(cuò)的表現(xiàn),所以在層次知識(shí)嵌入后亦能取得不錯(cuò)的效果，但是對(duì)比HKN沒(méi)能利用到層次知識(shí)的信息，而兩者均沒(méi)有使用語(yǔ)義信息，因此最終模型的效果還是被HKN模型超越.對(duì)比Wide&Deep與DeepFM，兩者具有不少共通之處，后者是前者的改進(jìn)，因此能取得更好的效果.由于LibFM使用的僅是TF-IDF特征，不能充分挖掘更多語(yǔ)義信息，故而效果提升不明顯，又由于LibFM是所有模型中唯一一個(gè)非深度模型，模型使用的信息相對(duì)較少，故而最后效果相對(duì)較差.經(jīng)過(guò)分析不難得出由于HKN模型充分利用了層次知識(shí)信息，所以與基線模型對(duì)比取得了良好的效果，HKN模型在基線算法的F1和AUC指標(biāo)上均有提升.

4 總結(jié)與展望

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)逐漸成為人們獲取信息的主要渠道.針對(duì)個(gè)性化監(jiān)測(cè)的精準(zhǔn)推送需求，輿情話題的時(shí)效性高以及用戶數(shù)較少，導(dǎo)致了用戶的交互信息十分稀疏，難以刻畫(huà)用戶興趣，本文考慮使用基于內(nèi)容的推薦方法，引入層次知識(shí)信息，提出了一種基于層次知識(shí)的話題推薦方法，對(duì)用戶興趣使用層次知識(shí)和用戶歷史記錄信息學(xué)習(xí)用戶嵌入表示，然后和話題嵌入表示一起來(lái)預(yù)測(cè)用戶點(diǎn)擊，生成推薦列表，并取得了良好的效果.

本文研究了基于層次知識(shí)的話題推薦方法，主要是基于深度學(xué)習(xí)的內(nèi)容推薦模型.下一步工作可以在本文已有的研究基礎(chǔ)上做進(jìn)一步改進(jìn)優(yōu)化.本文通過(guò)引入層次知識(shí)，來(lái)增加話題信息之間的潛在語(yǔ)義關(guān)聯(lián)，解決在輿情場(chǎng)景下因用戶交互稀疏導(dǎo)致的用戶畫(huà)像難以刻畫(huà)的問(wèn)題，后續(xù)研究可以繼續(xù)探索引入諸如知識(shí)圖譜等不同的外部信息，對(duì)比效果的差異.在推薦領(lǐng)域，可解釋性一直是研究熱點(diǎn)，一般來(lái)說(shuō)基于內(nèi)容的推薦方法具有較好的可解釋性，本文中基于層次知識(shí)的話題推薦方法也具有一定的可解釋性，后續(xù)的研究可以以此為基礎(chǔ)繼續(xù)探索如何提高推薦結(jié)果的可解釋性等.

作者貢獻(xiàn)聲明：史存會(huì)負(fù)責(zé)設(shè)計(jì)研究思路、方法、完成實(shí)驗(yàn)及論文；胡耀康負(fù)責(zé)提出方法，完成實(shí)驗(yàn)及論文；馮彬負(fù)責(zé)完成實(shí)驗(yàn)和論文；張瑾負(fù)責(zé)設(shè)計(jì)研究思路、方法；俞曉明、劉悅、程學(xué)旗負(fù)責(zé)提出研究思路和方法.