基于事件—時(shí)間關(guān)聯(lián)模型的話題跟蹤研究

胡福玲　吳國(guó)文　趙臣升

摘 要：針對(duì)話題跟蹤的任務(wù)是從時(shí)序新聞報(bào)道流中實(shí)時(shí)識(shí)別和挖掘相關(guān)于特定新聞話題的報(bào)道，本文提出一種事件-時(shí)間關(guān)聯(lián)模型（Event-Time Relation Model，ETRM）用來(lái)展開(kāi)話題跟蹤研究。ETRM將相關(guān)報(bào)道的時(shí)間屬性引入向量空間模型，話題跟蹤過(guò)程中將話題與相關(guān)報(bào)道相同特征項(xiàng)的時(shí)間相關(guān)度應(yīng)用于相關(guān)性判定機(jī)制，同時(shí)基于時(shí)間的分布屬性調(diào)整特征向量的權(quán)重分配，實(shí)現(xiàn)話題模型的自適應(yīng)學(xué)習(xí)更新。實(shí)驗(yàn)采用DET曲線評(píng)測(cè)系統(tǒng)性能，結(jié)果顯示相比于傳統(tǒng)的話題模型，ETRM能夠更加準(zhǔn)確的追蹤到話題焦點(diǎn)演化趨勢(shì)，有效提高了話題跟蹤系統(tǒng)的性能。

關(guān)鍵字：話題跟蹤；事件-時(shí)間關(guān)聯(lián)模型；時(shí)間相關(guān)度；DET曲線

中圖分類號(hào)： TP391.1 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)：2095-2163（2016）01-

Abstract：This paper proposes an Event-Time relation model （abbr.ETRM） to study topic tracking for its task that is to identify and mining subsequent on-topic stories in the temporal story stream. The ETRM introduces the time property of the story to the vector space model， apply time correlations of same feature to the correlation decision mechanism in topic tracking process， adjusting feature vector weight allocation based on time property to implement subject model of adaptive learning at the same time. Experiment adopts DET curve performance evaluation system， the results show that ETRM can more accurately track the topic focus of evolution trend compared with the traditional model of subject， effectively improve the performance of topic tracking system.

Keywords： topic track； event-time relation model； time correlation； DET curve

0 引 言

話題檢測(cè)與跟蹤[1] （Topic Detection and Tracking， TDT） 作為信息處理領(lǐng)域重要的研究分支正逐步成為國(guó)內(nèi)新穎的研究熱點(diǎn)之一，話題跟蹤 （Topic Tracking， TT） 是其中的一個(gè)子任務(wù)。話題定義為由一個(gè)種子事件以及后續(xù)相關(guān)事件或活動(dòng)組成[2]，而事件定義為在特定時(shí)間特定地點(diǎn)發(fā)生的事情[3]，可見(jiàn)時(shí)間是輔助話題模型區(qū)分不同的新聞事件的重要屬性。一般來(lái)說(shuō)，話題的種子事件發(fā)生的時(shí)間總是最早，并長(zhǎng)期駐留于相關(guān)話題的報(bào)道流中，而話題的新穎事件往往發(fā)生的時(shí)間較晚，并且論述新穎事件的報(bào)道會(huì)在短時(shí)間內(nèi)爆發(fā)式地出現(xiàn)。所以時(shí)間也是反映話題發(fā)展趨勢(shì)的主要脈絡(luò)[4]。

針對(duì)上述新聞事件報(bào)道的時(shí)間特性，本文提出一種事件-時(shí)間關(guān)聯(lián)模型（ETRM），即在傳統(tǒng)的向量空間模型 （Vector Space Model， VSM） 的基礎(chǔ)上引入相關(guān)事件報(bào)道的時(shí)間屬性對(duì)話題進(jìn)行描述，并基于ETRM對(duì)話題跟蹤過(guò)程中的相關(guān)算法提出以下改進(jìn)：

（1）將相同特征項(xiàng)之間的時(shí)間相關(guān)度應(yīng)用于報(bào)道與話題的相關(guān)性判定中，借以提高判定精度；

（2）在對(duì)話題模型中相關(guān)報(bào)道的特征項(xiàng)進(jìn)行自學(xué)習(xí)更新時(shí)，基于其時(shí)間分布屬性進(jìn)行相應(yīng)權(quán)重調(diào)整，借以及時(shí)準(zhǔn)確地追蹤到話題的焦點(diǎn)。實(shí)驗(yàn)采用檢測(cè)錯(cuò)誤權(quán)衡 （Detection Error Tradeoff， DET） 曲線[5]分別對(duì)基于VSM和基于ETRM兩種跟蹤系統(tǒng)性能進(jìn)行評(píng)測(cè)，結(jié)果顯示后者有效提高了話題跟蹤演化趨勢(shì)的性能。

1 相關(guān)工作

1.1 傳統(tǒng)的文本表示模型

對(duì)新聞信息進(jìn)行文本預(yù)處理時(shí)，需要將其轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別的形式[6]。傳統(tǒng)的話題跟蹤系統(tǒng)中，通常應(yīng)用向量空間模型 （Vector Space Model， VSM）[7] 來(lái)對(duì)話題和報(bào)道進(jìn)行描述。VSM將文本表示成一個(gè)空間向量，向量的每一維代表該文本的一個(gè)特征，并且每一維的取值（即權(quán)重），對(duì)應(yīng)于該特征對(duì)相應(yīng)文本的重要性。形如公式（1）：

（1）

其中， 為特征詞， 為 對(duì)應(yīng)的權(quán)重， ， 為特征向量的維數(shù)。該模型要求各個(gè)特征項(xiàng)互異且無(wú)先后順序關(guān)系[8]，后續(xù)可以通過(guò)計(jì)算特征向量之間的相似性來(lái)度量文本間的相似性。

VSM把對(duì)文本內(nèi)容的處理簡(jiǎn)化為向量空間中的向量運(yùn)算，以空間上的相似度表達(dá)語(yǔ)義上的相似度。該模型直觀易懂，計(jì)算高效且操作靈活，目前廣泛應(yīng)用于文本過(guò)濾和關(guān)鍵字檢索等信息處理領(lǐng)域。

1.2 文本特征選擇及其權(quán)重計(jì)算

將新聞報(bào)道用空間向量模型表示后，特征向量可能成百上千甚至更多，需要從中選出最具有代表性的特征項(xiàng)來(lái)進(jìn)行后續(xù)研究。

TF-IDF加權(quán)策略[9]是一種常用的特征權(quán)重計(jì)算方法，其特點(diǎn)是特征項(xiàng)的重要性隨著自身在文檔中出現(xiàn)的頻數(shù)成正比增加，卻也會(huì)隨著自身在相關(guān)文檔集中出現(xiàn)的頻率成反比下降。新聞話題是動(dòng)態(tài)地不斷向前發(fā)展的，在不同時(shí)段報(bào)道事件的內(nèi)容可能不同，比如當(dāng)突發(fā)的新穎事件報(bào)道大量出現(xiàn)時(shí)，一些高頻出現(xiàn)的特征詞能更好的代表目前階段話題的核心，此時(shí)反文檔頻率IDF將會(huì)降低高頻詞匯的影響力。所以在本文的特征權(quán)重計(jì)算中只考慮TF因子。具體地，在一篇新聞報(bào)道中，位于標(biāo)題、首段、末尾的特征詞一般更能表述此篇文檔的主要內(nèi)容，因此通過(guò)修正因子 對(duì)相關(guān)位置上的特征詞賦予較高的權(quán)重，具體的權(quán)重計(jì)算如公式（2）所示。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了更好地體現(xiàn)實(shí)驗(yàn)語(yǔ)料的權(quán)威性和實(shí)時(shí)性，本文實(shí)驗(yàn)用語(yǔ)料采用搜狗實(shí)驗(yàn)室提供的采集自全網(wǎng)2012年6月～2012年7月期間多個(gè)頻道的新聞數(shù)據(jù)。該數(shù)據(jù)集共含有16080篇文檔，涉及16個(gè)話題，為了便于話題檢測(cè)與跟蹤結(jié)果測(cè)評(píng)，選擇前面的3054篇作為訓(xùn)練集，后面13026篇作為測(cè)試集。

4.2實(shí)驗(yàn)設(shè)計(jì)

本文分別基于傳統(tǒng)的向量空間模型和ETRM新模型，設(shè)計(jì)了兩個(gè)話題跟蹤系統(tǒng)，通過(guò)漏檢率和誤檢率以及歸一化開(kāi)銷來(lái)衡量話題與跟蹤系統(tǒng)的性能。

4.2.1 設(shè)計(jì)實(shí)現(xiàn)一

系統(tǒng)采用傳統(tǒng)的向量空間模型（VSM）對(duì)新聞話題和報(bào)道進(jìn)行文本表示。首先，對(duì)新聞?wù)Z料進(jìn)行文本預(yù)處理、分詞等操作，并通過(guò)公式（2）計(jì)算各特征詞權(quán)重；然后，選取訓(xùn)練集中 篇相關(guān)報(bào)道中的特征詞及其相應(yīng)權(quán)重來(lái)構(gòu)成初始話題模型；接著采用傳統(tǒng)余弦公式（13）衡量新聞話題與報(bào)道之間相關(guān)度，如果相關(guān)度高于預(yù)設(shè)的閾值，則判定待測(cè)報(bào)道是相關(guān)于話題的，并實(shí)時(shí)更新話題模型的特征向量，否則判定為不相關(guān)；最后重復(fù)上一步驟來(lái)處理下一篇報(bào)道，直到所有新聞報(bào)道處理完為止。

4.2.2 設(shè)計(jì)實(shí)現(xiàn)二

系統(tǒng)對(duì)每個(gè)新聞話題和報(bào)道采用事件-時(shí)間模型（VSM）構(gòu)建話題模型。同4.2.1一樣首先對(duì)新聞?wù)Z料進(jìn)行文本預(yù)處理和分詞等操作，用公式（2）計(jì)算各特征詞權(quán)重，并提取每個(gè)特征詞的時(shí)間信息；然后，采用 篇最早的相關(guān)報(bào)道作為訓(xùn)練語(yǔ)料，從中抽取特征詞、特征詞的相應(yīng)權(quán)重和時(shí)間對(duì)來(lái)構(gòu)成初始的話題模型，如式（8）和式（9）；接著按照公式（13） 計(jì)算話題與后續(xù)報(bào)道的相似度，若相似度大于設(shè)定的閾值，則把相關(guān)報(bào)道加入到相關(guān)文檔集中，并且把報(bào)道中新的特征詞更新到話題模型，更新過(guò)程如3.2節(jié)所述；最后重復(fù)上一步驟來(lái)處理下一篇報(bào)道，直到所有新聞報(bào)道處理完為止。

4.3實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)通過(guò)漏檢率（ ）、誤檢率（ ）和歸一化開(kāi)銷 來(lái)衡量話題與跟蹤系統(tǒng)的性能。雖然本文沒(méi)有使用 TDT 會(huì)議提供的標(biāo)準(zhǔn)語(yǔ)料，但是通過(guò)自己從搜狗實(shí)驗(yàn)室獲取的語(yǔ)料，同樣可以使用這些指標(biāo)來(lái)評(píng)測(cè)話題檢測(cè)與跟蹤系統(tǒng)算法的性能，驗(yàn)證本文提出的方法的有效性。

實(shí)驗(yàn)在0.12～0.5的范圍內(nèi)隨機(jī)設(shè)置相似度閾值，觀察不同閾值情況下基于兩個(gè)不同模型的話題跟蹤系統(tǒng)的漏檢率和誤檢率以及歸一損耗代價(jià)，如表1所示。

表1 不同閾值下兩種模型的實(shí)驗(yàn)結(jié)果

Tab.1 Results of the two models under different thresholds

根據(jù)表1中不同閾值下的跟蹤結(jié)果繪制DET曲線，如圖1所示。DET曲線的橫坐標(biāo)表示誤檢率，縱坐標(biāo)表示漏檢率，曲線上的點(diǎn)代表相似度閾值不同時(shí)的漏檢率和誤檢率。曲線越接近原點(diǎn)，系統(tǒng)性能越好。由此得出，基于ETRM構(gòu)建話題模型的跟蹤系統(tǒng)的誤檢率和漏檢率都有所降低，其性能效果明顯更好。

由圖2可以看出，隨著相似度閾值的增大，基于兩種不同模型的跟蹤系統(tǒng)的歸一化損耗都是先減小后增大。究其原因，一方面是因?yàn)殚撝递^小時(shí)，容易引入誤檢的新聞報(bào)道，導(dǎo)致誤檢率PFA較高，使得 損耗也較高；另一方面是因?yàn)殚撝递^高時(shí)，漏檢的新聞報(bào)道會(huì)逐漸增多，相應(yīng)的漏檢率也會(huì)升高，導(dǎo)致 損耗也隨之增大。結(jié)合表1可以得知，當(dāng)閾值為0.2時(shí)，兩種算法的 值達(dá)到最低，當(dāng)閾值范圍在0.16～0.26之間時(shí)，系統(tǒng)的錯(cuò)誤代價(jià)較低，則其性能將達(dá)到最優(yōu)。具體地，當(dāng)閾值 =0.2時(shí)，兩種模型算法的實(shí)驗(yàn)結(jié)果對(duì)比如圖3所示。

由圖3結(jié)合表1可以得出，在基于VSM的話題跟蹤系統(tǒng)中，最小的 值為0.13148，而在基于ETRM的話題跟蹤系統(tǒng)中，最小的 值為0.0956，相比之下，后者大大降低了歸一化錯(cuò)誤代價(jià)，使得跟蹤系統(tǒng)性能有了顯著的提高。

5 結(jié)束語(yǔ)

本文提出一種事件-時(shí)間關(guān)聯(lián)模型用于跟蹤新聞話題演化過(guò)程。在傳統(tǒng)向量空間模型中引入時(shí)間屬性，基于相同特征項(xiàng)之間的時(shí)間相關(guān)度改進(jìn)話題與報(bào)道相關(guān)性判定機(jī)制，并應(yīng)用于話題模型特征詞的更新過(guò)程中的權(quán)重調(diào)整。實(shí)驗(yàn)采用傳統(tǒng)的基于VSM的話題模型與本文提出的新模型ETRM進(jìn)行跟蹤性能的對(duì)比，結(jié)果表明，后者在漏檢率、誤檢率以及最小歸一化損耗代價(jià)上均有所降低，使得跟蹤系統(tǒng)的性能有了顯著的提高。但本文仍有不足之處，如特征項(xiàng)的時(shí)間屬性統(tǒng)一采用的是報(bào)道發(fā)布的時(shí)間，在某些情況下，報(bào)道事件不一定與事件發(fā)生時(shí)間一致。在今后的工作中還需要進(jìn)一步改進(jìn)。

參考文獻(xiàn)：

[1] 駱衛(wèi)華， 劉群， 程學(xué)旗. 話題檢測(cè)與跟蹤技術(shù)的發(fā)展與研究[A]. 孫茂松，陳群秀. 語(yǔ)言計(jì)算與基于內(nèi)容的文本處理——全國(guó)第七屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C]. 北京：清華大學(xué)出版社，2003：560-566.

[2]ALLAN J. Topic detection and tracking： Event-based Information Organization[M]. NewYork： Kluwer Academic Publishers，2002.

[3] YANG Y， CARBONELL JG ， BROWN RD. Learning Approaches for Detecting and Tracking News Events[J]. 1999， 14（04）：32-43.

[4] 倉(cāng)玉， 洪宇， 姚建民， 朱巧明. 基于時(shí)序話題模型的新事件檢測(cè)[J]. 智能計(jì)算機(jī)與應(yīng)用， 2011，1（3）：74-78.

[5]MARTIN A，DODDINGTON G，KAMMETAL T.TheDETCurveinassessmentofdetectiontaskperformance[C] //Proceedingsof the Fifth European Conference on Speech Comunication and Technology， EUROSPEECH 1997. Rhodes， Greece：ACM，1997：1895-1898.

[6] LAVRENKO V， ALLAN J， DEGUZMAN E， et al. Relevance Models for Topic Detection and Tracking[C] //Proceedings of HLT2002 on Human Language Technology Research. San Francisco：ACM， 2002：115-121.

[7] 宋丹， 衛(wèi)東， 陳英. 基于改進(jìn)向量空間模型的話題識(shí)別跟蹤[J]. 計(jì)算機(jī)技術(shù)與發(fā)展， 2006， 9（16）：62-67.

[8] 宗成慶.統(tǒng)計(jì)自然語(yǔ)言處理[M].清華大學(xué)出版社，2008：342-343.

[9]ALLAN J， LAVRENKO V， FREY D，et al. UMass at TDT 2000[C] // Proceedings of Topic Detection and Tracking Workshop. USA： National Institute of Standard and Technology， 2000：109-115.

[10] ALLAN J， CARBONELL J ， DODDINGTON G， et al. Topic detection and tracking pilot study： Final report[C] //Proceedings of the DARPA Broadcast News Transcription and Understanding Workshop. Virginia： DARPA， 1998： 194-218.

[11] 洪宇， 張宇，劉挺，等. 話題檢測(cè)與跟蹤的評(píng)測(cè)及研究綜述[J] .中文信息學(xué)報(bào)， 2007， 21（6）：71-87.

[12] MAKKONEN J， AHONEN-MYKA H， SALMENKIVI M. Simple semantics in topic detection and tracking[J] . Information Retrieval， 2004， 7（3-4）：347-368.