基于TF-IDF與LDA的杜甫全集情感和主題分析

黃杰晟

（廣東開放大學(xué)人工智能學(xué)院，廣州510091）

0 引言

主題文本分析也稱主題發(fā)現(xiàn)（Topic Discovery），是利用一系列語義理解方法，從復(fù)雜的大規(guī)模信息源中抽取關(guān)鍵詞或術(shù)語，并在此基礎(chǔ)上加以聚類，從而發(fā)現(xiàn)文獻(xiàn)主題的技術(shù)方法。旨在處理和分析大規(guī)模信息并且使用戶快速有效了解信息內(nèi)容，發(fā)現(xiàn)信息中的主題[1]。

情感文本分析（Sentiment Analysis）是自然語言處理（NLP）中一個(gè)重要的研究方向，也叫意見挖掘或傾向性分析，是人們對帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程，例如產(chǎn)品、話題、評論、情緒或者態(tài)度的領(lǐng)域，通過分析文本中的字、詞、句、篇是積極（Positive）還是消極（Negative）的情感。

情感文本傾向性分析與主題文本分析相似但有所不同，主題文本分類分析是基于內(nèi)容本身，把文本分類到各個(gè)預(yù)定義的主題上，如政治、軍事、財(cái)經(jīng)、體育等；而情感文本分類不是基于內(nèi)容本身，而是按照文本表達(dá)的情感、態(tài)度進(jìn)行判斷?，F(xiàn)有的機(jī)器學(xué)習(xí)中的分類方法都可以用到情感分類。

中國傳統(tǒng)古詩詞文字簡潔用意深刻，重在以意象來表現(xiàn)詩歌的內(nèi)涵，加上常運(yùn)用典故，遣詞用字比較晦澀難懂，如果首先能通過對詩詞進(jìn)行情感和主題的分析，高效快速對古詩詞作品乃至詩詞作者有一個(gè)大致的了解，再結(jié)合創(chuàng)作作品的時(shí)代背景，最后通過對詩詞作品“字-句-聯(lián)-篇”細(xì)細(xì)品味，能使現(xiàn)代人更容易理解中國傳統(tǒng)文化詩歌的內(nèi)涵，對繼承與發(fā)揚(yáng)古詩詞都能起到積極的作用。因此本文選取了被世人稱作“詩圣”的著名唐代詩人杜甫的詩集做相關(guān)情感和主題分析，理由有二，一是杜甫名氣大，詩歌創(chuàng)作水平高；二是其作品數(shù)量眾多，共有1400余首詩注①清初錢謙益《錢注杜詩》（上海古籍出版社，1979年），王鳴盛推崇為“從來注杜第一善本”。錢謙益箋注的杜詩，是南宋紹興三年（1133）吳若在建康（今江蘇南京）府學(xué)刻行的杜集，前八卷集古詩415首，卷九至卷十八集近體詩1009首，合1424首。仇兆鰲詳注秦亮點(diǎn)?！抖旁娙罚ㄖ楹３霭嫔?，1996年）卷一至卷二十三集“杜詩計(jì)1439首”。。

NLP情感分析中一般有兩種方法，第一種是基于情感詞統(tǒng)計(jì)，可以自定義相關(guān)的情感詞詞頻進(jìn)行統(tǒng)計(jì)，對照現(xiàn)有的情感詞典，通過對情感詞和組合句子的得分score進(jìn)行打分，如果score>0判斷為正向，如果score<0判斷為負(fù)向，該方法的優(yōu)點(diǎn)是簡單，通用性強(qiáng)，但其效果主要依賴情感詞典對情感詞采集和統(tǒng)計(jì)質(zhì)量。第二種方法是基于機(jī)器學(xué)習(xí)，對文本情感進(jìn)行特征提取，利用機(jī)器學(xué)習(xí)的方法構(gòu)建分類器，機(jī)器學(xué)習(xí)的情感分析是根據(jù)不同的對象，人工選取和設(shè)計(jì)不同的特征及分類器，這種方法對情感極性的判斷會更加準(zhǔn)確，但相對復(fù)雜。本文采用了兩種方法進(jìn)行了結(jié)合，對于以杜甫全集為例的古詩詞進(jìn)行情感分析，首先通過提取關(guān)鍵詞進(jìn)行大致的情感分析，再通過情感詞典判別用詞是正面情感還是負(fù)面情感，統(tǒng)計(jì)情感值判斷情感極性，最后使用機(jī)器學(xué)習(xí)的主題模型LDA聚類算法進(jìn)行主題挖掘分析。

1 數(shù)據(jù)及數(shù)據(jù)處理

1.1 數(shù)據(jù)分析對象

本文分析的數(shù)據(jù)對象是唐代偉大杜甫的作品全集，本互聯(lián)網(wǎng)版杜甫全集有1150首，共有139,385個(gè)字，包含了杜甫一生創(chuàng)作的所有詩，數(shù)據(jù)樣本充足。杜甫被后世成為“詩圣”，是唐代的現(xiàn)實(shí)主義詩人，其作品絕大多數(shù)已被后人熟悉與分析。杜甫年輕時(shí)處于盛唐年間，經(jīng)濟(jì)繁榮，天下太平，其中晚年由于安史之亂爆發(fā)，戰(zhàn)爭不斷，唐朝由盛轉(zhuǎn)衰，經(jīng)濟(jì)敗落，民不聊生，造就了其作品大多深刻地反映了這段時(shí)期的社會現(xiàn)實(shí)，以詩歌抒發(fā)憂國憂民的思想和和表達(dá)悲天憫人的情感，有明顯的主題內(nèi)容和情感分析代表性。

1.2 情感詞典

知網(wǎng)提供的HowNet和臺灣大學(xué)的NTUSD是中文領(lǐng)域使用較多的兩個(gè)情感詞典。HowNet包含評價(jià)詞語和情感詞語兩個(gè)部分，其中情感詞語中含有836個(gè)正面情感詞和1254個(gè)負(fù)面情感詞語，評價(jià)詞語中含有3730個(gè)正面評價(jià)詞語和3116個(gè)負(fù)面評價(jià)詞語。NTUSD包含2810個(gè)正面情感詞語和8276個(gè)負(fù)面情感詞語[2]。但是情感的極性依然需要人工建模構(gòu)建，建模不同得到的情感極性也不同。

而在實(shí)際項(xiàng)目開發(fā)更被開發(fā)者青睞的是波森中文語義開放平臺所提供的BosonNLP情感詞典，它收集了114765個(gè)在社交媒體中的常用字詞，詞典適用于處理社交媒體的情感分析，數(shù)據(jù)分為鍵和值兩部分，每個(gè)詞都對應(yīng)著一個(gè)-6.7到+6.4的值，代表積極或消極情感，正數(shù)越大，代表積極情感越強(qiáng)烈，負(fù)數(shù)越大，代表消極情感越強(qiáng)烈。其優(yōu)點(diǎn)在于已經(jīng)通過建模為現(xiàn)代社交常用詞標(biāo)注了情感值，缺點(diǎn)在于標(biāo)注的情感值用于社交情感分析會比較準(zhǔn)確，用于分析其他領(lǐng)域會有一定失誤。

常用的方法是通過逐點(diǎn)互信息（Point-wise Mutual Information，PMI）來建立情感詞典。逐點(diǎn)互信息用在自然語言處理中用作度量詞與詞之間的緊密程度。如果兩個(gè)詞在一定距離范圍內(nèi)共同出現(xiàn)，則認(rèn)為這兩個(gè)詞共現(xiàn)，可以將這組固定搭配作為一個(gè)組合特征添加到分詞程序中。

1.3 中文分詞與去停用詞

文本信息處理必須對文本對象進(jìn)行分詞處理，在英文中，單詞之間是以空格作為自然分界符的，而在中文中，字、句和段能通過明顯的分界符來簡單劃界，唯獨(dú)很難對詞的邊界進(jìn)行界定，因此處理中文文本時(shí)，需要對分詞進(jìn)行處理，把句子轉(zhuǎn)為詞來表示。本文采用的是Python中的jieba中文分詞庫進(jìn)行分詞。

停用詞（stop word）是一類沒有實(shí)際意義，但卻在文本中非常常見又必不可少的詞，常為冠詞、介詞、副詞或連詞等，在信息處理中，除去停用詞有助于節(jié)省存儲空間和提高搜索和分析效率。本文去除停用詞選取的是哈工大停用詞庫。

2 情感分析

2.1 詞頻統(tǒng)計(jì)

情感分析的一種簡單而有效的方式是統(tǒng)計(jì)作者在作品中的高頻詞，通過分析高頻詞的情感，達(dá)到預(yù)測作者作品的情感。

對詞頻（Term Frequency，TF）的統(tǒng)計(jì)可以采用以下幾種方式：

第一種是統(tǒng)計(jì)所有分詞中出現(xiàn)次數(shù)最高的詞，詞頻TF為某個(gè)詞在文檔中出現(xiàn)的次數(shù)，詞頻高的詞常作為關(guān)鍵詞；但這樣的詞常包含許多沒有意思的詞，所以要把它們?nèi)サ?，即去除停用詞。而且在NLP中并不是出現(xiàn)的越多就越重要，出現(xiàn)的越少就越不重要。

第二種是采用TF-IDF詞頻統(tǒng)計(jì)方式，TF-IDF是一種簡單有效的提取關(guān)鍵詞的方法。TF為某個(gè)詞在文章出現(xiàn)的總次數(shù)/文章中的總詞數(shù)，IDF（Inverse Doc-ument Frequency）稱為逆文檔率，IDF為包含該詞的文章個(gè)數(shù)/語料庫的文章總數(shù)，描述的是詞i相對于文檔j的重要性，二者相乘便是TF-IDF值。TF-IDF值高的詞表示作為關(guān)鍵詞對文章的代表性越高[3]，數(shù)學(xué)公式描述為。

公式中分子nij表示關(guān)鍵詞i在文檔j中出現(xiàn)的次數(shù)，分母表示所有文檔j中所有詞出現(xiàn)的次數(shù)和。，其中IDFi表示詞語i的反文檔頻率，|D|表示語料庫中的文件總數(shù)，|j:ti∈dj|表示包含詞語ti的文檔數(shù)目，+1是為了防止分母為0。

以下通過使用TF，TF并去除停用詞以及TF-IDF三種方式統(tǒng)計(jì)前十位的關(guān)鍵詞進(jìn)行比較，如下表所示，可以看出不同方法得到的高頻關(guān)鍵詞不盡相同，而使用TF-IDF得到的高頻關(guān)鍵詞顯然是更有意義的，而且把眾多單字詞變?yōu)殡p字詞組。

表1 三種方式提取前十位關(guān)鍵詞的比較

統(tǒng)計(jì)時(shí)是把詩歌名、詩人名、詩歌內(nèi)容都進(jìn)行了統(tǒng)計(jì)，杜甫（1150）詩人名，以及二首（65），三首（21）這2個(gè)標(biāo)題高頻詞也一并進(jìn)行了顯示，共計(jì)103個(gè)通過TF-IDF的關(guān)鍵詞以詞云圖的形式進(jìn)行顯示，杜甫詩中最喜歡的用詞一目了然。代表詩句有“萬里悲秋常作客，百年多病獨(dú)登臺?！?，“海內(nèi)風(fēng)塵諸弟隔，天涯涕淚一身遙。”。

圖1 杜甫全集中前103個(gè)TF-IDF關(guān)鍵詞詞云圖

2.2 基于關(guān)鍵詞頻統(tǒng)計(jì)的情感極性分析

情感分析方法之一是可以統(tǒng)計(jì)關(guān)鍵情感詞出現(xiàn)的次數(shù)，如“喜、怒、哀、樂、苦、笑”，“生、老、病、死”等直接表達(dá)情感的詞，如下圖2所示。代表詩句有“老病巫山里，稽留楚客中?！?，“生死向前去，不勞吏怒嗔?！钡?。

古今中外的詩人亦大多喜歡借物抒情、托物言志，也可以通過一些名詞物品間接表達(dá)情感的詞，常用的有季節(jié)詞如“春、夏、秋、冬”，植物“梅、蘭、竹、菊”等間接表達(dá)情感的詞，如圖3所示。代表詩句有“國破山河在，城春草木深?！保斑t日江山麗，春風(fēng)花草香?！钡取?/p>

圖2 部分直接情感詞頻統(tǒng)計(jì)柱狀直方圖統(tǒng)計(jì)

圖3 部分間接情感詞統(tǒng)計(jì)餅圖統(tǒng)計(jì)

從圖2和圖3中的部分示例的常見情感詞可以看到，表達(dá)高興與不高興的詞各占一半左右，而季節(jié)詞中喜歡使用“春秋”明顯高于“夏冬”，表達(dá)積極與消極的情感也基本對半。但在表達(dá)情感的詞中，更多的部分還需對其他詞進(jìn)行度量分析，如否定詞也是一類表達(dá)情感的詞，如杜甫詩中常見的有“不可”、“不見”、“不知”、“不能”等。代表詩句有“丹青不知老之將至，富貴于我如浮云?！保靶新孟嗯试?，川廣不可越。”等。

2.3 基于詞典弱詞性標(biāo)注的情感極性分析

2.3.1 情感詞典與弱詞性標(biāo)注

因?yàn)橹形恼Z法的復(fù)雜性，除了基本情感詞典外，還需要標(biāo)點(diǎn)符號詞典、連接詞詞典、短語詞典等[4]。

用s(w)標(biāo)記正面與負(fù)面情感詞，其中正面情感詞score值均大于0，負(fù)面情感詞score值均小于0。它們主要集中在形容詞、名詞、動詞、嘆詞，這些詞或多或少都會體現(xiàn)情感。在情感詞與情感詞的連用時(shí)，采用加法的求和計(jì)算。

用n(w)標(biāo)記否定詞，否定詞往往會改變評論的情感極性，常用否定詞包括：不、沒、無、非、未、否、勿、不是、并非、沒有、絕不等。在否定詞與情感詞連用時(shí)，要區(qū)分否定詞后面的詞是正面情感還是負(fù)面情感，當(dāng)與正面情感詞相連時(shí)，采用負(fù)號相乘，讓情感變?yōu)橄喾礃O性，當(dāng)與負(fù)面情感詞連用時(shí)，因?yàn)樨?fù)面情感本身就為負(fù)值，因此直接相乘。并且要注意否定詞連用的個(gè)數(shù)，如雙重否定等于肯定。

用d(w)標(biāo)記程度副詞，程度副詞可以改變情感詞的情感強(qiáng)度，常用的程度副詞包括：很、非常、極、十分、最、太、更、挺、極其、格外等。在程度副詞與情感詞的連用時(shí)，采用相乘進(jìn)行計(jì)算，讓緊跟其后的情感詞向積極或消極的方向增強(qiáng)。

用t(w)標(biāo)記停用詞，在情感分析中可用兩種方式對其處理，一種是在分析前就去除停用詞，不對其進(jìn)行分析，另一種是把停用詞的分值設(shè)置為0，加入到情感分值中，不影響分值的計(jì)算。

2.3.2 符號化情感極性計(jì)算公式

對“，。?。俊边@四種標(biāo)點(diǎn)作為分句為單位，對分句進(jìn)行一次情感極性計(jì)算，對分句內(nèi)的詞進(jìn)行分詞并計(jì)算情感。

表2 詞性的情感分值表

如識別現(xiàn)代漢語“今天電影非常不好看?！边@句評論為例，識別過程如下：首先進(jìn)行分詞，得到今天（t(w)，0）電影（s(w)，2.44122887218）非常（d(w)，2.73909702864）不（n(w)，-1），好看（（sw），4.03663526827），情感分析為0+2.44122887218+2.73909702864*（-1）*4.03663526827=-8.615506796<0為消極情感。

ss(w)=n(w)×d(w)×s(w)，其中n(w)表示否定詞情感，d(w)表示副詞情感，s(w)表示其余詞的情感，ss(w)表示該分句的情感，全文的情感即為所有分句情感的總和，記作。

表3 杜甫詩情感分值計(jì)算示例

3 主題模型聚類分析

3.1 主題模型聚類分析

主題模型是一種能夠在大量文檔中挖掘抽象主題的無監(jiān)督聚類統(tǒng)計(jì)模型，主題模型主要有兩種推理分析方法:

一種是概率潛在語義分析（Probabilistic Latent Se-mantic Analysis，PLSA），PLSA是一種基于概率統(tǒng)計(jì)的模型，主要使用的是EM（期望最大化）算法，它包含兩個(gè)不斷迭代的過程：E（期望）過程和M（最大化）過程。

另一種是隱含狄利克雷分布（Latent Dirichlet Allo-cation，LDA），LDA是一種混合概率模型，采用Gibbs sampling方法，通過最大化詞語共現(xiàn)概率尋找詞語聚類，LDA文檔生成過程中可以設(shè)定文檔主題數(shù)量，避免PLSI方法等過擬合以及參數(shù)過多問題，可高效提取文檔隱含主題，并對文檔聚類。

LDA是一種是生成式的統(tǒng)計(jì)主題模型，由哥倫比亞大學(xué)教授David M.Blei提出，該方法能夠有效捕捉預(yù)料中詞匯共現(xiàn)情況，將非結(jié)構(gòu)化文檔中復(fù)雜的高維詞匯空間映射到“文檔-主題-詞匯”的低維空間中獲得文檔聚類。該統(tǒng)計(jì)主題模型近年來得到了學(xué)者的廣泛應(yīng)用，它能夠在計(jì)算機(jī)沒有完全了解文本結(jié)構(gòu)的情況下，分析出易理解且相對平穩(wěn)的語言結(jié)構(gòu)，為數(shù)據(jù)集中的文本尋找一個(gè)相對簡短的描述[5]。

3.2 主題模型的工作原理

主題生成模型主要包含選擇文檔和生成主題這兩個(gè)核心工作。例如用d代表文檔，共有N篇，用t代表主題，共有K種，用w代表單詞，共有M個(gè)，生成模型通過p（t|d）以一定概率在文檔中選擇某個(gè)主題，并從該主題中通過p（w|t）的概率選擇某個(gè)關(guān)鍵詞，以這樣的方式得到主題詞語。那么，如果我們要生成一篇文檔，它里面的每個(gè)詞語出現(xiàn)的概率即為：

算法步驟如下：

（1）結(jié)巴分詞：對預(yù)料庫的文字進(jìn)行分詞；

（2）去除停用詞：去除無意思的詞；

（3）生成TF-IDF矩陣：生成逆文檔高頻詞；

（4）LDA建模：使用Python中的nltk和gensim庫中的模型對語料訓(xùn)練；

（5）獲取主題詞/主題詞團(tuán)：通過模型生成。

3.3 LDA主題模型

人們在寫文章時(shí)，往往會先想好幾個(gè)要寫的主題，接著圍繞這些個(gè)主題來遣詞造句，最后表達(dá)成文。LDA主題模型則對人創(chuàng)作文章的思路進(jìn)行反向操作，對寫好的文章，以一個(gè)合理的分布來描述主題詞，進(jìn)而通過主題詞猜測出文章的主題。

根據(jù)上述步驟和原理，在LDA模型中，會假設(shè)有K個(gè)主題數(shù)目，所有的分布就選擇這K個(gè)主題來展開。訓(xùn)練樣本中有N篇文檔，對應(yīng)第d個(gè)文檔中有Nd個(gè)詞，目標(biāo)是找到每篇文檔里主題的分布和每個(gè)主題里主題詞的分布。LDA模型認(rèn)為，從文檔主題分布中抽取一個(gè)主題，然后從抽取到的主題所對應(yīng)的單詞中抽取一個(gè)單詞，將此過程重復(fù)N次，就可以生成一篇有N個(gè)詞的文檔［6］。LDA模型如圖4所示。

圖4 LDA模型文檔生成過程

3.4 結(jié)果與分析

使用LDA模型對杜甫全集假設(shè)分3個(gè)主題進(jìn)行聚類，每個(gè)類別生成8個(gè)關(guān)鍵詞的矩陣，選擇了一個(gè)較為高頻和穩(wěn)定的分類結(jié)果如表4。

表4 主題與詞袋關(guān)鍵詞

從3個(gè)主題中可以看出，由于在數(shù)據(jù)集的導(dǎo)入中本沒有人為的去進(jìn)行分類干預(yù)，而是把全集整體作為一個(gè)輸入，所以得到3個(gè)主題并不是區(qū)分度很明顯，但是卻能實(shí)際反映出杜甫的詩歌中最主要的三個(gè)主題都比較接近，體現(xiàn)了詩人的真正主題風(fēng)格。從詞袋中的主題關(guān)鍵詞可以看出，“萬里”用得最多，即可以指離家萬里的人、在外漂泊的人、也可以指邊關(guān)將士，還可以是萬里路，萬里風(fēng)光，都是一種豪邁的用詞，“乾坤”也是對天地萬物的一種描述，“回首”則表達(dá)了詩人對過去的關(guān)注和對未來的展望。

那詩人關(guān)注的是又是什么呢？我們從詞袋中的其他關(guān)鍵詞可以找到蹤跡，應(yīng)該是“天下”“朝廷”等國家大事，“將軍”“使君”“干戈”等奉命出征的人與軍事活動。

4 結(jié)語

綜上所述，通過機(jī)器學(xué)習(xí)中的TF-IDF和IDA主題模型技術(shù)，對杜甫全集進(jìn)行了分析，可以看出杜甫的詩歌中用詞很多都有豐富的情感，如“蕭條”“寂寞”“白頭”“白發(fā)”等，可見其心態(tài)以消極居多，非常符合當(dāng)時(shí)唐代由盛轉(zhuǎn)衰的時(shí)代。其次杜甫詩中“朝廷”“草堂”“將軍”“戎馬”等使用也非常多，可見其對國家的興盛和邊疆的軍事非常關(guān)注，也非常關(guān)心黎民百姓的生活，也正因?yàn)檫@樣，他的詩歌能引起老百姓的共鳴和廣為流傳。

由此可見杜甫是一位關(guān)心國家與社會的詩人，應(yīng)該是邊塞詩人派而不是山水田園派，這也與后世認(rèn)為杜甫是偉大的現(xiàn)實(shí)主義詩人一致。

5 下一步工作

在分析過程中遇到如下問題，這些是對古詩詞研究分析都可能遇到的問題。

首先是情感詞典的選取，無論是知網(wǎng)HowNet還是社交媒體BosonNLP，都以現(xiàn)代漢語為主，而古詩詞中有不少在詞典中甚至沒有出現(xiàn)，所以對于古典詩詞的分析，需要有專門的古詩詞的情感詞典等才能更好識別。

第二是情感詞典盡管實(shí)現(xiàn)簡單，但是缺點(diǎn)也是很明顯的，就是中華漢語博大精深，在情感詞典中往往對應(yīng)只有一個(gè)值，是不能滿足同個(gè)詞不同詞性或在不同語境下的含義的。

第三是使用LDA主題分析時(shí)是并沒有對每首詩都進(jìn)行分類標(biāo)注，使得模型生成的多分類的主題內(nèi)容區(qū)分不是很明顯。

下一步的工作是對詩歌進(jìn)行標(biāo)簽分類，嘗試使用深度學(xué)習(xí)的方式去分析古詩詞中的情感和主題。