基于GMM-HMM的話題生命周期狀態(tài)識(shí)別及趨勢(shì)預(yù)測方法

朱恒民 蔡婷婷 魏 靜

(1.南京郵電大學(xué)管理學(xué)院，江蘇 南京 210003；2.江蘇高校哲學(xué)社會(huì)科學(xué)重點(diǎn)研究基地—信息產(chǎn)業(yè)融合創(chuàng)新與應(yīng)急管理研究中心，江蘇 南京 210003)

網(wǎng)絡(luò)話題已成為網(wǎng)民發(fā)表評(píng)論、政府了解民意、監(jiān)管部門追蹤社會(huì)熱點(diǎn)的重要媒介。同生命體的生命周期類似，話題也有生命周期，也會(huì)經(jīng)歷從萌芽到衰亡的各個(gè)階段，反映話題新興或衰亡等演化狀態(tài)。因此，識(shí)別話題的生命周期狀態(tài)對(duì)于監(jiān)管部門了解話題現(xiàn)狀、掌握發(fā)展趨勢(shì)、監(jiān)控輿論危機(jī)具有重要意義。

根據(jù)話題生命周期老化理論，話題演化可劃分為萌芽、生長、成熟和衰退4個(gè)狀態(tài)[1]。為了識(shí)別話題生命周期的狀態(tài)，一些學(xué)者提出了描述話題狀態(tài)的相關(guān)指標(biāo)。Braun T等[2]提出了關(guān)于技術(shù)主題生命周期的新穎度指標(biāo)，判斷主題是否進(jìn)入了生命周期的成熟階段；基于新穎度指標(biāo)，部分學(xué)者新增了一些其他指標(biāo)來綜合判定話題的生命周期狀態(tài)。Tu Y N等[3]基于老化理論新增發(fā)文量指標(biāo)，結(jié)合新穎度指標(biāo)探測技術(shù)主題生命周期階段；祝娜等[4]新增被引量指標(biāo)，通過自定義生命周期探測表來構(gòu)建知識(shí)主題完整的生命周期演化路徑；譚春輝等[5]新增支持度指標(biāo)，通過二維空間映射法判定主題所處的生命周期階段，從時(shí)間與強(qiáng)度兩個(gè)維度分析主題在各時(shí)間片所屬的狀態(tài)。此外，劉自強(qiáng)等基于Callon M等提出的向心度和密度指標(biāo)[6]，采用平面坐標(biāo)法將科技文獻(xiàn)主題劃分為4個(gè)生命周期狀態(tài)，以描述主題在整個(gè)生命周期的演化過程[7]。另有一些學(xué)者通過繪制話題演化曲線來判定話題的生命周期狀態(tài)。劉東霞等[8]繪制專利累計(jì)量的S曲線，通過曲線走勢(shì)劃分煤炭液化技術(shù)主題的生命周期狀態(tài)；王晰巍等[9]利用百度指數(shù)曲線圖并結(jié)合話題事件特點(diǎn)，將微博話題劃分為4個(gè)生命周期狀態(tài)。

上述工作多是針對(duì)科技文獻(xiàn)，通過回溯一個(gè)已經(jīng)演化完成的話題生命周期過程來劃分狀態(tài)，未能對(duì)一個(gè)正在演化中的話題進(jìn)行狀態(tài)識(shí)別。其次，話題在演化過程中總是伴隨著網(wǎng)民情緒的變化，它會(huì)影響話題傳播和發(fā)展趨勢(shì)[10]，但是上述工作并未將網(wǎng)民情緒納入話題生命周期狀態(tài)的判定指標(biāo)。

在識(shí)別當(dāng)前時(shí)刻話題狀態(tài)的基礎(chǔ)上，可以進(jìn)一步預(yù)測未來時(shí)刻話題狀態(tài)的演化趨勢(shì)。已有相關(guān)工作多是基于時(shí)間序列預(yù)測方法，分析話題熱度或者強(qiáng)度等流行度指標(biāo)的演化趨勢(shì)。岳麗欣等[11]采用ARIMA模型預(yù)測話題的強(qiáng)度變化趨勢(shì)；王寧等[12]運(yùn)用灰色模型實(shí)現(xiàn)對(duì)話題熱度趨勢(shì)的預(yù)測；劉勘等[13]采用馬爾可夫鏈對(duì)話題熱度進(jìn)行預(yù)測，并檢驗(yàn)了建模方法的有效性；張和平等[14]選用百度指數(shù)作為話題熱度的衡量指標(biāo)，采用馬爾可夫鏈修正灰色模型的預(yù)測結(jié)果。然而，僅預(yù)測話題流行度等單一指標(biāo)并不能很好地描述話題狀態(tài)的演化趨勢(shì)。Liu R F等[15]采用隱馬爾可夫模型(Hidden Markov Model，HMM)試圖預(yù)測話題狀態(tài)，對(duì)多個(gè)話題分別構(gòu)建HMM模型并建立模型庫，通過人工判別待預(yù)測話題與模型庫中已有話題是否相似，從而選擇相應(yīng)模型預(yù)測話題未來的狀態(tài)，但是該方法人工干預(yù)工作量較大。此外，話題生命周期狀態(tài)是循序演變的，相較于預(yù)測話題在未來時(shí)刻的狀態(tài)，預(yù)測反映話題狀態(tài)的觀測指標(biāo)趨勢(shì)更有意義。

HMM作為一種概率統(tǒng)計(jì)模型，能考慮時(shí)間序列的影響。通過觀測指標(biāo)數(shù)據(jù)建立概率模型，運(yùn)用最大似然估計(jì)法學(xué)習(xí)模型參數(shù)，用于解決分類和預(yù)測等問題[16-18]。Liu R F等[15]在預(yù)測話題生命周期狀態(tài)時(shí)，假設(shè)話題狀態(tài)指標(biāo)數(shù)據(jù)是由隨機(jī)過程產(chǎn)生的隨機(jī)變量，采用高斯概率密度函數(shù)擬合這些指標(biāo)數(shù)據(jù)。然而，單個(gè)高斯概率密度函數(shù)無法很好地?cái)M合實(shí)際應(yīng)用中的所有變量，于是使用幾個(gè)高斯概率密度函數(shù)的線性組合模擬觀測變量[19-20]，即高斯混合模型(Gaussian Mixture Model，GMM)。因此，本文采用GMM來擬合話題狀態(tài)的多重觀測指標(biāo)，并結(jié)合HMM提出話題狀態(tài)識(shí)別和趨勢(shì)預(yù)測方法。

綜上所述，現(xiàn)有研究主要是通過回溯話題演化過程來劃分話題生命周期狀態(tài)，鮮有研究引入網(wǎng)民情感指標(biāo)來描述話題狀態(tài)，且多數(shù)研究是通過預(yù)測單一指標(biāo)來分析話題的演化趨勢(shì)。因此，本研究對(duì)正處于演化中的話題進(jìn)行狀態(tài)識(shí)別，將網(wǎng)民情感納入話題狀態(tài)識(shí)別指標(biāo)，通過預(yù)測多個(gè)話題指標(biāo)來更準(zhǔn)確地描述話題狀態(tài)的發(fā)展趨勢(shì)，以期為監(jiān)管部門識(shí)別話題演化狀態(tài)、揭示話題發(fā)展趨勢(shì)、采取干預(yù)措施提供決策支持。

1 話題生命周期狀態(tài)指標(biāo)構(gòu)建

話題狀態(tài)指標(biāo)能夠量化描述話題生命周期狀態(tài)特征，反映話題從出現(xiàn)到衰亡的整個(gè)演化過程。首先基于Gompertz曲線來劃分話題的生命周期狀態(tài)，然后構(gòu)建新穎度、關(guān)注度和情感度這3個(gè)話題狀態(tài)指標(biāo)，分析指標(biāo)與演化過程的相關(guān)性。

1.1 話題生命周期狀態(tài)劃分

本文基于Gompertz曲線將話題生命周期劃分為萌芽、生長、成熟和衰退4個(gè)狀態(tài)。Gompertz曲線所描述現(xiàn)象的特點(diǎn)是：初期增長緩慢，之后逐漸加快，當(dāng)達(dá)到一定程度后，增長率又逐漸下降，最后接近一條水平線。它通常用于描述事物的發(fā)展由萌芽、成長到飽和的周期過程。考慮到網(wǎng)絡(luò)話題的傳播過程與其較為一致，本文基于Gompertz曲線模型[21-22]對(duì)話題的生命周期發(fā)展階段進(jìn)行模擬，通過微積分計(jì)算，確定曲線的3個(gè)分界點(diǎn)，然后據(jù)此劃分話題生命周期的4個(gè)狀態(tài)階段。

百度指數(shù)能夠統(tǒng)計(jì)并展示話題在生命周期內(nèi)的用戶關(guān)注度數(shù)據(jù)，它是以話題關(guān)鍵詞為統(tǒng)計(jì)對(duì)象，以海量網(wǎng)民在某一時(shí)間段的百度搜索量為數(shù)據(jù)基礎(chǔ)，并綜合網(wǎng)民的閱讀、評(píng)論、轉(zhuǎn)發(fā)、點(diǎn)贊等行為的數(shù)據(jù)量，進(jìn)行加權(quán)求和、指數(shù)化處理后得出，較為全面地衡量了用戶對(duì)話題的關(guān)注程度。百度指數(shù)累計(jì)量是一個(gè)隨時(shí)間連續(xù)變化的過程，本文對(duì)百度指數(shù)累計(jì)量進(jìn)行Gompertz曲線擬合。

首先，假設(shè)話題百度指數(shù)累計(jì)量y是時(shí)間t的函數(shù)，其飽和值為K，增長系數(shù)為α，初始值為y0。用于描述百度指數(shù)累計(jì)量增長的微分方程為：

(1)

求解微分方程得：

(2)

當(dāng)y0

y=Kabt

(3)

為了求解參數(shù)K、a、b，可以對(duì)標(biāo)準(zhǔn)方程進(jìn)行變化，對(duì)方程兩邊取對(duì)數(shù)可得：

(4)

令y″=0，得：

(5)

令y?=0，得：

(6)

(7)

其中，t1

圖1 Gompertz曲線描述的話題生命周期狀態(tài)階段

1.2 話題生命周期狀態(tài)指標(biāo)計(jì)量

1)新穎度指標(biāo)：新穎度是指話題的新鮮程度。一個(gè)話題開始出現(xiàn)后，隨著時(shí)間的推移，話題的發(fā)文數(shù)量逐漸增加，新穎度逐漸降低，話題逐漸成熟。將話題出現(xiàn)的第一個(gè)時(shí)刻(以小時(shí)為單位)作為話題的開始時(shí)刻(First Hour，F(xiàn)H)，一個(gè)話題在t時(shí)刻的新穎度指標(biāo)(Novelty Index，NI)的計(jì)量公式如式(8)所示。

(8)

2)關(guān)注度指標(biāo)：關(guān)注度是指話題受網(wǎng)民關(guān)注的程度，其與話題的發(fā)文量有關(guān)，發(fā)文量越多，話題越受關(guān)注。因此，一個(gè)話題T的關(guān)注度可用該話題在k時(shí)刻內(nèi)的發(fā)文量d(Tk)來表示。在話題演化的各個(gè)生命周期階段，其關(guān)注度是有差異的。在萌芽階段，話題逐漸受到關(guān)注；在生長階段，關(guān)注度持續(xù)增加；到成熟階段，關(guān)注度維持在一個(gè)較高水平；當(dāng)話題進(jìn)入衰退階段，其關(guān)注度隨之降低。因此，話題的關(guān)注度是衡量話題狀態(tài)的重要指標(biāo)。

3)情感度指標(biāo)：話題信息蘊(yùn)含著網(wǎng)民的情緒，情緒越強(qiáng)烈，話題越容易激發(fā)網(wǎng)民的熱烈討論。因此，話題的情感度反映了話題蘊(yùn)含的能量，是衡量話題狀態(tài)的又一個(gè)重要指標(biāo)。

1.3 話題指標(biāo)與演化過程的相關(guān)性分析

參照話題在生命周期內(nèi)的百度指數(shù)曲線，通過繪制該話題在相同時(shí)間窗口內(nèi)的關(guān)注度和情感度變化曲線，來分析指標(biāo)與話題演化過程的相關(guān)性。以“專家稱已找到馬航MH370”話題為例，分析結(jié)果如圖2所示。通過驗(yàn)證相關(guān)性，發(fā)現(xiàn)話題的關(guān)注度和情感度指標(biāo)與百度指數(shù)的相關(guān)系數(shù)均超過0.9，說明關(guān)注度和情感度指標(biāo)可以用來描述話題的演化過程。此外，話題從出現(xiàn)到衰亡的演化過程也是話題新穎度逐漸降低的過程，因此新穎度被眾多學(xué)者納入話題狀態(tài)指標(biāo)。

圖2 話題在2021年11月30日—12月10日的各指標(biāo)曲線與百度指數(shù)曲線對(duì)比圖

2 話題生命周期狀態(tài)識(shí)別及趨勢(shì)預(yù)測方法框架

話題從萌芽走向衰退的過程可以看作是循序漸進(jìn)的狀態(tài)轉(zhuǎn)移過程，這些內(nèi)部隱藏狀態(tài)的變化無法用肉眼直接觀測到，但可以通過外部觀測指標(biāo)來確定內(nèi)部狀態(tài)的轉(zhuǎn)移。隨著時(shí)間推移，話題內(nèi)部狀態(tài)變化是一種隨機(jī)過程，話題外部觀測變量在不同狀態(tài)下的結(jié)果也具有隨機(jī)性。這種由外部觀測變量反映內(nèi)部狀態(tài)變化的過程是一種雙重隨機(jī)過程，與HMM建模過程一致。GMM-HMM允許隱藏狀態(tài)以多高斯分布產(chǎn)生觀測值，相比單個(gè)高斯分布，其更能合理地表達(dá)觀測值與隱藏狀態(tài)之間復(fù)雜的關(guān)聯(lián)關(guān)系。因此，本文基于GMM-HMM提出話題生命周期狀態(tài)識(shí)別和趨勢(shì)預(yù)測方法。

2.1 GMM-HMM模型構(gòu)建

GMM-HMM是一個(gè)雙重隨機(jī)過程。其中，一個(gè)隨機(jī)過程描述隱藏狀態(tài)之間的概率轉(zhuǎn)移關(guān)系，另一個(gè)隨機(jī)過程描述隱藏狀態(tài)與觀測變量的映射關(guān)系。模型參數(shù)描述如下：

1)q：話題的隱藏狀態(tài)。話題狀態(tài)有萌芽狀態(tài)、生長狀態(tài)、成熟狀態(tài)和衰退狀態(tài)，分別用1、2、3、4表示。話題在t時(shí)刻的狀態(tài)表示為qt。

(9)

根據(jù)上述參數(shù)意義，一個(gè)GMM-HMM模型可以表示為一個(gè)五元組λ=(π,A,wim,uim,Σim)。

2.2 模型訓(xùn)練

將4個(gè)話題狀態(tài)下的多觀測序列作為訓(xùn)練集，基于多觀測序列訓(xùn)練算法[24-25]依次訓(xùn)練各話題狀態(tài)模型，得到4個(gè)話題狀態(tài)的模型庫，表示為{GMM-HMM1,GMM-HMM2,GMM-HMM3,GMM-HMM4}，對(duì)應(yīng)模型參數(shù)集為{λ1,λ2,λ3,λ4}。

2.3 話題狀態(tài)識(shí)別

話題狀態(tài)識(shí)別是根據(jù)正處于演化過程中的話題前幾個(gè)時(shí)刻的觀測序列，判斷出話題當(dāng)前時(shí)刻所處的生命周期狀態(tài)，便于了解話題現(xiàn)狀，分析話題演化過程。

將話題在一段連續(xù)時(shí)間內(nèi)的觀測序列O′輸入模型庫，分別計(jì)算模型庫中4個(gè)狀態(tài)模型產(chǎn)生O′的概率P(O′|λi)，概率值最大的模型即為最優(yōu)模型，其對(duì)應(yīng)的話題狀態(tài)即為話題當(dāng)前所處的狀態(tài)，判斷公式如式(10)所示。

(10)

2.4 話題狀態(tài)趨勢(shì)預(yù)測

話題狀態(tài)趨勢(shì)預(yù)測是基于話題當(dāng)前時(shí)刻的狀態(tài)識(shí)別結(jié)果，預(yù)測話題關(guān)注度和情感度等狀態(tài)指標(biāo)在未來時(shí)刻的變化趨勢(shì)，便于監(jiān)管部門適時(shí)進(jìn)行話題引導(dǎo)和網(wǎng)民情緒疏導(dǎo)。話題狀態(tài)趨勢(shì)預(yù)測可獲取話題在未來時(shí)刻的關(guān)注度和情感度的累計(jì)值，通過計(jì)算未來時(shí)刻與當(dāng)前時(shí)刻的累計(jì)值之差，可得到話題狀態(tài)指標(biāo)在未來時(shí)刻的變化量，進(jìn)而反映出話題的演化趨勢(shì)。

通過話題狀態(tài)識(shí)別方法，得到最優(yōu)模型?；谠撃Ｐ偷淖顑?yōu)參數(shù)λ和當(dāng)前時(shí)刻的話題狀態(tài)i，運(yùn)用式(11)可預(yù)測出話題在未來時(shí)刻所對(duì)應(yīng)的三維觀測變量值，即ot+1=(NIt+1,AIt+1,SIt+1)。式中，E(bj(ot))表示話題狀態(tài)j的混合高斯分布函數(shù)的期望值。

(11)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)采集與處理

本文利用Python爬取新浪微博6個(gè)話題從出現(xiàn)到衰退完整生命周期內(nèi)普通用戶發(fā)表的原創(chuàng)微博，話題分別為：“鄭州地鐵5號(hào)線事件”(話題1)、“鴻星爾克捐款”(話題2)、“鹿道森發(fā)遺書后失聯(lián)”(話題3)、“專家稱發(fā)現(xiàn)馬航MH370”(話題4)、“淘寶雙十二”(話題5)和“西安考研”(話題6)，獲得數(shù)據(jù)共22 127條。

由于微博話題傳播速度快且易發(fā)酵，話題演化周期短，本文按小時(shí)(h)劃分時(shí)間片統(tǒng)計(jì)并處理話題數(shù)據(jù)，以便更快速地捕捉話題狀態(tài)的演變。6個(gè)話題的完整生命周期時(shí)間跨度分別為120h、200h、120h、122h、490h、250h?；贕ompertz曲線將這6個(gè)話題分別劃分為萌芽、生長、成熟和衰退4個(gè)狀態(tài)階段，各話題生命周期狀態(tài)的劃分時(shí)段如表1所示?；跔顟B(tài)指標(biāo)公式分別計(jì)算出每個(gè)話題在各個(gè)時(shí)間片的指標(biāo)值，并作歸一化處理。由于關(guān)注度和情感度的取值范圍較大，故先利用小數(shù)定標(biāo)法規(guī)范化指標(biāo)，再利用Logistic函數(shù)將指標(biāo)歸一化到(0,1)之間。各話題在每個(gè)時(shí)刻下的三維指標(biāo)值構(gòu)成一組觀測變量，另外加上每個(gè)話題在初始時(shí)刻的觀測變量，得到6個(gè)話題下共1 308組觀測數(shù)據(jù)。

表1 6個(gè)微博話題生命周期狀態(tài)的時(shí)間跨度

3.2 話題狀態(tài)識(shí)別結(jié)果分析

實(shí)驗(yàn)采取類似交叉驗(yàn)證的方法對(duì)話題狀態(tài)識(shí)別進(jìn)行效果評(píng)估。在每一次驗(yàn)證中，都取6個(gè)話題中的5個(gè)話題數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練各狀態(tài)模型得到模型庫。取剩下的一個(gè)話題數(shù)據(jù)作為測試集，依次將該測試話題在連續(xù)5個(gè)時(shí)刻下的觀測變量作為一條觀測序列，輸入訓(xùn)練好的模型庫，通過識(shí)別方法得到當(dāng)前時(shí)刻的話題狀態(tài)。例如，將話題1～5的數(shù)據(jù)作為訓(xùn)練集，話題6的數(shù)據(jù)作為測試集，從初始時(shí)刻開始，將連續(xù)5個(gè)時(shí)刻的觀測序列輸入模型庫，得到話題在當(dāng)前時(shí)刻所處的狀態(tài)。識(shí)別結(jié)果的混淆矩陣如表2所示。

表2 話題6狀態(tài)識(shí)別的混淆矩陣

實(shí)驗(yàn)采取精準(zhǔn)率(Precision)、召回率(Recall)、F1值和準(zhǔn)確率(Accuracy，Acc)這4個(gè)指標(biāo)衡量話題狀態(tài)的識(shí)別效果。由于本次實(shí)驗(yàn)數(shù)據(jù)來自于不同的微博話題，每個(gè)話題的生命周期長短不一，話題狀態(tài)類別不均衡。為了使評(píng)價(jià)指標(biāo)更具有說服力，本文對(duì)不同話題的評(píng)價(jià)指標(biāo)計(jì)算加權(quán)平均值，如式(12)所示。其中，P代表精準(zhǔn)率，R代表召回率，num(topick)和num(all)分別表示第k個(gè)話題的測試組數(shù)和6個(gè)話題的觀測數(shù)據(jù)總數(shù)，Pk、Rk、F1k、Acck分別表示第k個(gè)話題識(shí)別的精準(zhǔn)率、召回率、F1值和準(zhǔn)確率。

(12)

實(shí)驗(yàn)采用GaussianHMM模型、BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，話題在不同模型下的狀態(tài)識(shí)別結(jié)果如表3所示。從中可以看出，基于GMM-HMM的話題狀態(tài)識(shí)別精準(zhǔn)率、召回率、F1值和準(zhǔn)確率均高于87%，相較于GaussianHMM和BP神經(jīng)網(wǎng)絡(luò)具有較大優(yōu)勢(shì)。這也說明多個(gè)高斯分布函數(shù)擬合話題狀態(tài)下的觀測變量是合適的。

表3 不同模型的話題狀態(tài)識(shí)別效果對(duì)比

3.3 話題狀態(tài)趨勢(shì)預(yù)測結(jié)果分析

實(shí)驗(yàn)采用平均絕對(duì)誤差(Mean Absolute Error，MAE)和平均絕對(duì)百分比誤差(Mean Absolute Percentage Error，MAPE)作為話題狀態(tài)趨勢(shì)預(yù)測精度的評(píng)價(jià)指標(biāo)，誤差值越小表示模型的預(yù)測效果越好。其計(jì)算公式分別如式(13)、式(14)所示，其中，n為預(yù)測組數(shù)，Rt+1為t+1時(shí)刻的實(shí)際值，Pt+1為t+1時(shí)刻的預(yù)測值。

(13)

(14)

實(shí)驗(yàn)采用GaussianHMM模型、BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，話題在不同模型下的狀態(tài)趨勢(shì)預(yù)測結(jié)果如表4所示。從中可以看出，基于GMM-HMM的話題關(guān)注度和情感度的MAE值均低于0.03，MAPE值均低于3.50%?？梢?，該方法對(duì)話題狀態(tài)趨勢(shì)的預(yù)測效果優(yōu)于GaussianHMM和BP神經(jīng)網(wǎng)絡(luò)方法。

表4 不同模型的話題狀態(tài)趨勢(shì)預(yù)測效果對(duì)比

4 結(jié)束語

識(shí)別演化過程中的話題狀態(tài)，預(yù)測話題發(fā)展趨勢(shì)，能夠及時(shí)跟蹤話題發(fā)展動(dòng)態(tài)，盡早采取干預(yù)措施，對(duì)于輿情監(jiān)管部門具有重要意義。為了實(shí)現(xiàn)此目標(biāo)，本文提出話題狀態(tài)識(shí)別與趨勢(shì)預(yù)測方法，將網(wǎng)民情感納入話題狀態(tài)觀測指標(biāo)中，基于GMM-HMM構(gòu)建各話題生命周期狀態(tài)模型庫。通過實(shí)驗(yàn)對(duì)比，驗(yàn)證了該方法比GaussianHMM和BP神經(jīng)網(wǎng)絡(luò)識(shí)別效果更好，預(yù)測誤差更小。本研究僅考慮到傳播速度較快、生命周期歷時(shí)較短的微博話題，在未來的研究中還需擴(kuò)充網(wǎng)絡(luò)輿情的數(shù)據(jù)集，提高基于GMM-HMM的話題生命周期狀態(tài)識(shí)別及趨勢(shì)預(yù)測方法的普適性。