基于在線主題模型的新聞熱點演化模型分析

戴長松 王永濱 王琦

摘 要：為了對新聞媒體平臺的重大事件進(jìn)行話題演化建模分析，基于隱含狄利克雷分布（LDA主題模型算法）對話題動態(tài)建模，在變分推斷主題模型基礎(chǔ)上建立衡量話題內(nèi)容和熱度變化的流行話題模型（TTM-OL-DA）。針對用戶關(guān)注的重大新聞事件發(fā)展方向與熱度，提出話題內(nèi)容向量與流行因子，對整個話題生命周期進(jìn)行量化，從而有效地從大量相關(guān)新聞中挖掘出話題演化細(xì)節(jié)，幫助用戶更好地掌握話題發(fā)展情況。在特定新聞板塊篩選的數(shù)據(jù)集下，通過設(shè)置對比實驗和人工評測方式，驗證該方法在困惑度上優(yōu)于在線主題模型算法。

關(guān)鍵詞：新聞熱點;話題演化;在線主題模型;動態(tài)話題建模;變分推斷

DOI： 10. 11907/rjdk.191252

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP303

文獻(xiàn)標(biāo)識碼：A

文章編號：1672-7800（2020）001-0084-05

0 引言

網(wǎng)絡(luò)信息爆炸式增長，尤其是文本類型數(shù)據(jù)，如來自新聞網(wǎng)站、微博、論壇等，紛繁復(fù)雜導(dǎo)致用戶無法一一查看感興趣的話題內(nèi)容。當(dāng)某個重大新聞事件發(fā)生時，相關(guān)新聞報道層出不窮，為了幫助用戶準(zhǔn)確實時掌握輿情事件的發(fā)展和走向，盡可能還原話題的焦點和熱度，文本挖掘尤其是話題模型研究應(yīng)運而生。

基于LDA（Latent Dirichlet Allocation，隱含狄利克雷分布）主題模型[1]的話題演化研究方法近年被研究人員廣泛采用。楚克明等[2]使用LDA模型對不同時段的文集進(jìn)行話題抽取，然后通過話題分布計算相鄰時間段內(nèi)兩個話題的距離表示話題間的關(guān)聯(lián)，不足之處是各個時間段內(nèi)的話題模型完全獨立，僅根據(jù)模型生成的主題分布推測話題間的聯(lián)系會使新出現(xiàn)的話題內(nèi)容脫離實際。原始的LDA算法并不具備在線建模能力，為了使模型能夠隨時間進(jìn)行演化，Loulwah等[3]基于LDA提出了在線主題模型（On-LineLDA，以下簡稱OLDA），這種方法以增量更新的方式構(gòu)建主題模型，更新時不需要訪問之前的數(shù)據(jù)，使主題模型具有了在線學(xué)習(xí)能力。OLDA的出現(xiàn)為話題演化提供了一種新思路，即利用在線學(xué)習(xí)能力模擬話題演化過程;胡艷麗等[4]根據(jù)時序劃分文本流并采用OLDA模型抽取每個時間片的子話題，提出基于相對熵的子話題關(guān)聯(lián)分析方法;崔凱等[5]基于改進(jìn)的吉布斯算法對文本進(jìn)行主題建模，并利用相對熵比較主題間的相似度以發(fā)現(xiàn)話題演化過程中的“遺傳”和“變異”。

以上方法均采用吉布斯抽樣算法構(gòu)建LDA主題模型。該方法優(yōu)點是實現(xiàn)簡單，缺點在于需要迭代的次數(shù)較多，在一些要求時效性的場景下表現(xiàn)較差。與吉布斯抽樣算法相對的是變分貝葉斯方法，Chase等[6]的研究表明，變分貝葉斯方法實現(xiàn)復(fù)雜但建模更準(zhǔn)確快捷，因此本文采用變分貝葉斯方法構(gòu)建主題模型，在該方法基礎(chǔ)上實現(xiàn)OL-DA模型并提出流行話題模型（Trending Topic Model on On-line LDA，簡稱TTM-OLDA）。

1 話題演化模型

話題跟蹤或演化最早出現(xiàn)于話題檢測與跟蹤（ TopicDetection and Tracking，TDT）相關(guān)研究中。話題跟蹤中的話題指某一個具體的事件而非一類領(lǐng)域[7]，典型的話題如“個稅起征點提高”、“崔永元曝光陰陽合同”等都屬于話題范疇。新聞話題隨著時間的發(fā)展，關(guān)注點和熱度也會隨之發(fā)生變化，以“陰陽合同”事件為例，人們的關(guān)注點從最初的“范冰冰逃稅，稅務(wù)局介入調(diào)查”變?yōu)椤胺侗涣P款”，再到“崔永元受到人身威脅”等等，其話題相關(guān)內(nèi)容本身發(fā)生了變化，而熱度指人們對這個話題的關(guān)注程度，本文將對這一指標(biāo)量化為強度。

話題演化指新聞話題在內(nèi)容和強度上的變化過程，如何從這些海量的新聞文本中挖掘出話題的演化方向和過程，對輿情分析、文本挖掘等領(lǐng)域有著重要的研究意義。

1.1 主題模型

在自然語言處理等領(lǐng)域，主題模型指對多文檔語料庫進(jìn)行隱含特征發(fā)現(xiàn)的算法，發(fā)展至今，提到最多的主題模型是Blei在2003年提出的LDA主題模型，當(dāng)前關(guān)于話題演化的很多研究也是基于LDA主題模型[8-15]構(gòu)建的。主題模型從文檔和詞兩個維度之間抽象出一個“主題”維度，如圖1所示。

作為文本聚類領(lǐng)域應(yīng)用最廣泛的算法之一，LDA主題模型已經(jīng)經(jīng)歷了10余年的發(fā)展.至今圍繞主題模型的相關(guān)研究仍是文本挖掘領(lǐng)域的熱點方向之一。

最初的向量空間模型（ Vector Space Model，VSM）中，Salton等將語義相似度轉(zhuǎn)化為向量空間上的相似度，為了比較請求文檔q與目標(biāo)文檔d的相似度，以qi和di表示詞i在文檔中的權(quán)重，一般使用tf-idf值表示，其余弦相似度Sim（q，d）定義如下：

由于向量空間模型無法解決一詞多義和多詞一義問題，Dumais等提出了隱含語義分析（Latent Semantic Analv-SIS，LSA）模型，該模型基于SVD矩陣分解構(gòu)造文檔一詞矩陣Xdy的一個低秩逼近矩陣，不僅緩解了一義多詞問題，還在原本的文檔一詞矩陣上作了特征降維，對于原始向量空間的噪聲進(jìn)行消除。

LSA矩陣分解過程如下：

其中，d表示文檔數(shù)量，v表示詞個數(shù)，k表示潛在語義維度。同樣，文檔一詞矩陣Xdy一般使用詞的tf-idf值表示。

LSA模型不足之處在于矩陣分解過程十分漫長，無法解決一詞多義，且在數(shù)理統(tǒng)計上無法推導(dǎo)，可解釋性較差。為解決上述問題，Hofmann等提出了pLSA模型。該模型基于概率統(tǒng)計，假設(shè)文檔與主題、主題與詞之間服從多項式分布，使用常見的參數(shù)估計方法，即EM算法對模型參數(shù)進(jìn)行估計，pLSA模型為現(xiàn)在最常見的LDA主題模型產(chǎn)生奠定了理論基礎(chǔ)。

LDA主題模型可看作pLSA的貝葉斯版本，這里的貝葉斯先驗體現(xiàn)在LDA為文檔一主題和主題一詞分布添加了狄利克雷先驗。在主題模型技術(shù)中，無視文檔中詞語順序，因此這類模型也稱為詞袋模型或unlgram模型。語料中的每篇文檔可看成由多個主題組成，而主題則是由多個關(guān)鍵詞構(gòu)成，每篇文檔下的主題有其自身權(quán)重系數(shù)。同樣，每個主題下的關(guān)鍵詞也有其權(quán)重，這些權(quán)重代表了它們對主題或者文檔的貢獻(xiàn)程度。

LDA是一種非監(jiān)督的文本聚類算法，在pLSA假設(shè)基礎(chǔ)上，LDA引入了狄利克雷先驗分布確定文檔到主題和主題到詞的多項式分布參數(shù)。在結(jié)構(gòu)上看，LDA主題模型依據(jù)文檔、主題、詞生成三層貝葉斯概率模型，相對于PLSA，LDA主題模型借鑒了貝葉斯學(xué)派思想，為模型參數(shù)加入了先驗分布，使得主題和詞的分布隨機化。由于LDA的上述優(yōu)點，使其在文本挖掘領(lǐng)域應(yīng)用十分廣泛，圍繞其設(shè)計改進(jìn)的模型也屢見不鮮。LDA概率如圖2所示。

1.2 在線主題模型OLDA

在LDA提出之后，為適應(yīng)流式數(shù)據(jù)的文本建模分析，Loulwah等提出了在線主題模型OLDA（Online LDA），它可對連續(xù)時間窗口內(nèi)的語料分別進(jìn)行訓(xùn)練。為了讓前一個時間窗口內(nèi)的模型特征得到“遺傳”，提高分散建模效率，OLDA模型將前一個主題模型內(nèi)單詞的主題分布作為下一個主題模型的主題先驗分布，使得OLDA模型具備在線處理流式文本能力。

1.3 話題演化模型

話題演化作為文本主題挖掘領(lǐng)域的重要組成部分，在LDA主題模型提出之后，基于LDA算法的話題演化模型設(shè)計受到越來越多的研究者關(guān)注。根據(jù)單斌等的研究，基于LDA主題模型的話題演化方法目前可依據(jù)時間信息劃分為先離散方法、后離散方法、結(jié)合時間特征到LDA模型等3種方法。

本文屬于“按時間信息先離散”方法。先離散指將語料中的文檔依據(jù)時間特征離散至相應(yīng)的時間窗口內(nèi)，時間窗口長度可根據(jù)語料特點選用不同的時間粒度，先離散方法依次對每個時間窗口內(nèi)的語料進(jìn)行建模。需要注意的是，不同時間窗口的主題模型并不完全獨立而且參數(shù)相關(guān)。

針對話題演化過程中的話題內(nèi)容和強度變化，本文基于LDA模型生成的文檔到主題的分布，計算相鄰的時間窗口內(nèi)話題內(nèi)容變化，記為相鄰話題語義距離。一旦該語義距離超出某個閾值，說明該話題在內(nèi)容上發(fā)生了變化，即發(fā)生了話題演化過程，該變化由內(nèi)容向量計算而得。在話題強度變化上，對同一個話題，其強度由一個隨時間窗口變化的系數(shù)衡量，該系數(shù)表示某個話題在相應(yīng)時間窗口的流行程度，使用者可根據(jù)實際情況設(shè)定系數(shù)的閾值以界定話題的流行程度，這個系數(shù)稱為流行因子。

2 基于變分推導(dǎo)與內(nèi)容遺傳的話題演化模型

2.1 LDA生成過程

LDA的吉布斯（Gibbs）和變分推導(dǎo)分別稱為smoothed版本和basic版本，與smoothed版本不同之處在于，使用變分貝葉斯方式的推導(dǎo)過程更加復(fù)雜，其生成模型的流程也很不同。

Cibbs抽樣多見于貝葉斯概率分析問題中[16]，LDA主題模型同樣依賴于貝葉斯假設(shè)。basic LDA的生成過程如下：①從狄利克雷分布中產(chǎn)生文檔主題分布θ，其中O-Dir（a）;②從泊松分布中生成一篇文檔的單詞個數(shù)Nd，即Nd-possion（λ）;③對文檔中的每個單詞ωd，n，首先選擇一個主題Z d，n，即Z d，n-Mult（θ）;④單詞ωd，n的主題Z d，n確定之后，再根據(jù)概率分布p（ωd，n| Zd.n，β）生成單詞本身的ω d，n。

其中，入為隨機事件平均發(fā)生率，a是一個K維向量，是狄利克雷分布的超參數(shù)，由狄利克雷分布產(chǎn)生的參數(shù)θ為生成文檔的主題分布概率向量。θ=（θn，θ1，…，θk-1）T，θ，表示文檔選擇第i個主題z的概率。

為了對真實數(shù)據(jù)進(jìn)行模擬，同時為簡化模型，這里使用真實文檔的單詞個數(shù)取代Nd。與smoothed版本最大不同之處在于β是一個KxV的矩陣，表示主題Zd，n產(chǎn)生詞ω d，n的概率。區(qū)別在于β是一個可估算的確定量，而不是從狄利克雷分布中隨機生成的。變分LDA使用的變量及參數(shù)如表1所示。

2.2 LDA變分推導(dǎo)

LDA變分推導(dǎo)的關(guān)鍵在于變分EM算法，以LDA推導(dǎo)為例，當(dāng)給定一篇文檔時，要求解其隱變量的后驗分布表達(dá)式。

這樣，對該假設(shè)函數(shù)O求極值就可近似得到原始分布的近似，稱為變分分布。在新的模型分布中，Blei引入了兩個新的參數(shù)y和中替代原來模型的超參數(shù)。為了獲得模型下界，采用EM算法對其進(jìn)行估計，EM算法分為E步（求期望）和M步（最大化似然函數(shù)）。

流行因子反映了話題強度變化，為了方便話題的流行因子計算與比較，設(shè)置i的閾值大小T為10，即取話題前10個概率較大的詞概率參與流行因子計算。

話題k的內(nèi)容向量定義如下：

3 實驗及結(jié)果展示

對于數(shù)據(jù)集選取，話題演化模型并沒有一個規(guī)范通用的解決方案，這與主題模型本身特性有關(guān)。雖然主題模型屬于文本聚類領(lǐng)域算法之一，但嚴(yán)格來說它并沒有將一個語料庫的文本按類別“完全”分離，而是一種軟聚類或模糊聚類方法。為了關(guān)注重大新聞事件的走向，本文選取近兩個月（ 2019.1-2019.2）某新聞網(wǎng)站中互聯(lián)網(wǎng)版塊新聞作為訓(xùn)練語料庫，著重關(guān)注近期網(wǎng)絡(luò)熱點話題，如“互聯(lián)網(wǎng)大裁員”等幾個較熱門的新聞話題作為觀測對象，通過TTM-OLDA模型分析話題的演化，在內(nèi)容演化和流行熱度兩方面對其進(jìn)行模擬。TTM-OLDA模型的實驗流程如圖4所示。

語言模型的衡量方法一般可分為實用方法和理論方法，實用方法直接對模型在實際應(yīng)用中的表現(xiàn)作出評價，簡單直觀，但是不能從客觀角度作出評價，缺乏針對性。因此，本文選擇比較客觀的理論方法衡量TTM-OLDA的表現(xiàn)。對于文本聚類方法，由于使用的測試數(shù)據(jù)集沒有分類標(biāo)簽，無法判斷模型訓(xùn)練結(jié)果與真實情況之間的差異，因此使用困惑度perplexity衡量主題模型的好壞，困惑度公式如下：

其中，D表示由M篇文檔組成的訓(xùn)練數(shù)據(jù)集，p（wm）為模型在第m篇文檔的似然函數(shù)[17]。似然值越大，困惑度越小，模型的泛化性能越好。

訓(xùn)練數(shù)據(jù)集包含2個月的新聞數(shù)據(jù)，考慮到主題建模需要，本文以周為單位劃分時間窗口，即共8個時間窗口，平均每個窗口新聞條數(shù)為320條。實驗選取基于Gibbs的OLDA模型作為對照，在困惑度與建模耗時兩方面分別比較，結(jié)果如圖5、圖6所示。

2018年下半年開始，各大互聯(lián)網(wǎng)企業(yè)輪番上演人員結(jié)構(gòu)優(yōu)化，從而引發(fā)了一場裁員大潮，本文選取該熱點話題作為觀測對象，持續(xù)追蹤其話題內(nèi)容即熱度變化，實驗結(jié)果見圖7。

4 結(jié)語

對于當(dāng)前話題演化模型中普遍存在的迭代次數(shù)多、時效性低以及模型還原話題不夠真實等問題[18-21]，本文基于在線主題模型OLDA，提出了在線流行話題模型TTM-OL-DA，以話題內(nèi)容向量與流行因子對流行新聞話題內(nèi)容與熱度變化進(jìn)行衡量。實驗結(jié)果表明，TTM-OLDA在模型困惑度、時效性上均領(lǐng)先于原始OLDA算法，證明該模型在新聞話題演化建模上的準(zhǔn)確性和時效性。由于本文主要關(guān)注新聞領(lǐng)域話題演化和熱度變化，沒有考慮新聞本身的閱讀量等流行因素，因此下一步研究將引入新聞初始流行程度，對比更多的新聞數(shù)據(jù)來源，改善話題演化模型，以適應(yīng)更多的話題演化建模場景。

參考文獻(xiàn)：

[1]DAVID M，BLEI， ANDREWY. et al. Latent Dirichlet allocation [J].Journal of Machine Learning Research. 2003（3）：993-1022.

[2] 楚克明，李芳.基于LDA模型的新聞話題的演化[J].計算機應(yīng)用與軟件，2011，28（4）：4-7，26.

[3]ALSUMAIT L，BARBARA D. DOMENICONI C.On-Iine LDA： adap-tive topic models of mining text streams with applications to topic de-tection and tracking[C].Proceeding of the 8thIEEE International Con-ference on Data Mining， 2008： 3-12.

[4]胡艷麗，白亮，張維明.一種話題演化建模與分析方法[J].自動化學(xué)報，2012，38（ 10）：1690-1697.

[5] 崔凱，周斌，賈焰，等.一種基于LDA的在線主題演化挖掘模型[J].計算機科學(xué)，2010，37（ 11）：156-159，193.

[6]CHASE CEIGLE.lnference methods for latent dirichlet allocation[ EB/OL]. http： //times.cs.uiuc.edu/cocour/5 lOfl 8/notes/lda-survey.pdf.

[7] 陳興蜀，高悅，江浩，等.基于OLDA的熱點話題演化跟蹤模型[J].華南理工大學(xué)學(xué)報：自然科學(xué)版，2016，44（5）：130-136.

[8] 姚兆旭.基于WSO-LDA的微博話題“主題+觀點”詞條抽取算法研究[D].南京：南京航空航天大學(xué)，2017.

[9] 劉小軍.基于LDA模型和AP聚類算法的主題演化研究[D].合肥：合肥工業(yè)大學(xué)，2016.

[10]袁勝文，基于LDA的中文科技文獻(xiàn)話題演化研究[D].鄭州：河南工業(yè)大學(xué)，2015.

[11] 張衛(wèi)春.基于主題模型的汽車評論話題演化研究[D].合肥：合肥工業(yè)大學(xué)，2017.

[12]林萍，黃衛(wèi)東.基于LDA模型的網(wǎng)絡(luò)突發(fā)事件話題演化路徑研究[J].情報科學(xué)，2014，32（ 10）：20-23.

[13]喬善增.基于種子文檔和統(tǒng)計模型的話題演化研究[D].濟南：山東大學(xué)，2014.

[14]章建.基于上下文的話題和話題關(guān)系的演化研究[D].上海：上海交通大學(xué)，2013.

[15] 方瑩，黃河燕，辛欣，等.面向動態(tài)主題數(shù)的話題演化分析[J].中文信息學(xué)報，2014，28（3）：142-149.

[16] 劉忠，茆詩松.分組數(shù)據(jù)的Baves分析-Cibbs抽樣方法[J].應(yīng)用概率統(tǒng)計，1997（2）：211-216。

[17] HEINRICH G.Parameter estimation for text analysis[ EB/OL]. http： llwww.arbylon.net/publications/text-est.pdf.

[18] 王子涵.一種基于社交媒體的突發(fā)事件話題演化分析系統(tǒng)研究[c].中國計算機學(xué)會第32次全國計算機安全學(xué)術(shù)交流會論文集.2017.

[19]李慧，王麗婷.基于話題標(biāo)簽的微博熱點話題演化研究[J].情報科學(xué)，2019，37（1）：30-36.

[20] 陳婷，曲霏，陳福集.基于時間片劃分的輿情話題演化模型研究[J].華中師范大學(xué)學(xué)報：自然科學(xué)版，2015，49（6）：890-894.

[21] 周未東.一種基于LDA中文微博輿情演化分析方法[D].哈爾濱：哈爾濱工程大學(xué)，2017.

（責(zé)任編輯：杜能銅）

基金項目：中國傳媒大學(xué)青年理工科規(guī)劃項目（ 3132018XNC1804，3132018XNC1837）

作者簡介：戴長松（1994-），男，中國傳媒大學(xué)協(xié)同創(chuàng)新中心互聯(lián)網(wǎng)信息研究院碩士研究生，研究方向為文本聚類;王永濱（1963-），男，博士，中國傳媒大學(xué)計算機與網(wǎng)絡(luò)空間安全學(xué)院、智能融媒體教育部重點實驗室教授、博士生導(dǎo)師，研究方向為網(wǎng)絡(luò)新媒體技術(shù);王琦（1982-），男，博士，中國傳媒大學(xué)協(xié)同創(chuàng)新中心互聯(lián)網(wǎng)信息研究院副教授、碩士生導(dǎo)師，研究方向為智能媒體與信息技術(shù)。本文通訊作者：王琦。