基于TFIDF算法的全面從嚴(yán)治黨重要論述關(guān)鍵詞共現(xiàn)分析

張辛

摘 ? 要：總書記重要論述是學(xué)習(xí)習(xí)近平全面從嚴(yán)治黨思想的重要載體，掌握論述的關(guān)鍵詞是學(xué)習(xí)領(lǐng)會思想的核心與骨架，清晰理解文章內(nèi)容，把握文章結(jié)構(gòu)，記憶文章內(nèi)容的重要方法。利用自然語言處理方法，通過分析關(guān)鍵詞特征分析和共現(xiàn)矩陣分析，從而更好地構(gòu)建全面從嚴(yán)治黨知識圖譜，加強(qiáng)對習(xí)近平新時代中國特色社會主義思想的學(xué)習(xí)與理解。

關(guān)鍵詞：全面從嚴(yán)治黨;總書記重要論述;TFIDF算法;關(guān)鍵詞共現(xiàn)

從嚴(yán)治黨是中國共產(chǎn)黨90多年管黨治黨實踐中一直堅持的重要原則和基本方針[1]。習(xí)近平總書記提出的全面從嚴(yán)治黨是對黨的治理論的新的認(rèn)識和升華，其核心內(nèi)容主要體現(xiàn)在總書記的系列重要講話中[2]。特別是在黨的十九大之后，在新時代黨的建設(shè)的總目標(biāo)基礎(chǔ)上，全面從嚴(yán)治黨思想研究又迎來了新的高潮。但是從關(guān)鍵詞及其共現(xiàn)特征這個微觀角度的研究還比較少。

關(guān)鍵詞是從文章中選取出來的，是對表述文章的中心內(nèi)容有實質(zhì)意義的詞匯。共詞分析是通過關(guān)鍵詞與關(guān)鍵詞的共現(xiàn)關(guān)系描述一個領(lǐng)域內(nèi)部組織成及其結(jié)構(gòu)。中紀(jì)委網(wǎng)站整理全面從嚴(yán)治黨學(xué)習(xí)專題數(shù)據(jù)庫共分為9個方面，52個二級分類，315項各類講話和文件中的論述1 303條，約27萬字。以此為研究對象，首先通過信息檢索數(shù)據(jù)挖掘的常用加權(quán)技術(shù)（Term Frequency Inverse Document Frequency，TFIDF）算法提取總書記全面從嚴(yán)治黨重要論述中的關(guān)鍵詞，其次通過詞頻分析的方法分類掌握論述中的關(guān)鍵概念和核心內(nèi)容，最后通過共詞分析的方法把握各分類之間的聯(lián)系。

1 ? ?重要論述的關(guān)鍵詞特征

關(guān)鍵詞是表述文章中心意義的實詞，通過對論述關(guān)鍵詞的研究，可以從更細(xì)微的角度了解全面從嚴(yán)治黨思想的重要內(nèi)容。

1.1 ?關(guān)鍵詞提取算法及流程

關(guān)鍵詞提取算法主要包括有監(jiān)督算法和無監(jiān)督算法，有監(jiān)督算法是通過已標(biāo)注為關(guān)鍵詞的集合判斷每個候選關(guān)鍵詞是否為關(guān)鍵詞的二分類問題。難點在于標(biāo)注集合工作量較大，所以，無監(jiān)督算法更為常用。無監(jiān)督算法不需要人工標(biāo)注的訓(xùn)練集合，根據(jù)文章中詞匯的重要性來標(biāo)注關(guān)鍵詞。常見的詞匯重要性的衡量算法種類包括：文本統(tǒng)計特征法、詞圖模型和主題模型，其中TF-IDF、TextRank和文檔主題生成模型（Latent Dirichlet Allocation，LDA）分別是這幾種算法的代表。對于政治論述類文章一般詞匯的出現(xiàn)頻率與重要性密切相關(guān)，因此，TF-IDF方法更適合為這類文章提取關(guān)鍵詞[3-4]。

TFIDF該算法用一種統(tǒng)計學(xué)的方法來衡量一個詞語在文本中的重要程度。本課題研究采用python程序和jieba分詞器提取論述數(shù)據(jù)的關(guān)鍵詞。

1.2 ?關(guān)鍵詞特征

首先要建立用戶詞典。以全面從嚴(yán)治黨為主題，在知網(wǎng)核心期刊數(shù)據(jù)庫中提取最新500篇文章的關(guān)鍵詞，去重后作為分詞的專用數(shù)據(jù)庫，共得到用戶詞典詞條1 022條。然后利用TFIDF算法提取全面從嚴(yán)黨學(xué)習(xí)數(shù)據(jù)庫的關(guān)鍵詞，觀察排名前十的關(guān)鍵詞，如表1所示，可以看出提取出的排名前十的關(guān)鍵詞與二級分類的標(biāo)題表達(dá)內(nèi)容密切相關(guān)，在表1第4列列出了不含標(biāo)題詞的排名前十的關(guān)鍵詞。綜合分析兩列關(guān)鍵詞，基本上可以把握二級分類下全面從嚴(yán)治黨重要論述的骨架內(nèi)容。

2 ? ?關(guān)鍵詞共現(xiàn)分析

統(tǒng)計52個二級分類中的排名前30位的關(guān)鍵詞，共計1 560個關(guān)鍵詞，538個關(guān)鍵詞只出現(xiàn)了一次，少量關(guān)鍵詞出現(xiàn)了10次以上，具有明顯的長尾分布特征。如表2所示，在全面從嚴(yán)治黨重要論述學(xué)習(xí)主題數(shù)據(jù)庫中出現(xiàn)頻次超過10次的關(guān)鍵詞，共計14個。其中出現(xiàn)最多的是領(lǐng)導(dǎo)干部、干部，共出現(xiàn)了61次。

關(guān)鍵詞并不是獨立存在的詞匯，而是互相關(guān)聯(lián)的整體，利用共詞分析技術(shù)可以進(jìn)一步了解各關(guān)鍵詞之間的關(guān)系和親疏程度，從而進(jìn)一步理解論述的內(nèi)容和聯(lián)系[5]。以出現(xiàn)頻次超過10次的關(guān)鍵詞作為全面從嚴(yán)治黨重要論述的核心關(guān)鍵詞構(gòu)建關(guān)鍵詞共現(xiàn)矩陣，如表3所示。矩陣中的數(shù)值就代表了一對關(guān)鍵詞在同一個二級分類下出現(xiàn)的次數(shù)，即共現(xiàn)次數(shù)。矩陣值越大說明兩個關(guān)鍵詞的聯(lián)系越緊密，距離越近。如與“監(jiān)督”聯(lián)系最緊密的是“領(lǐng)導(dǎo)干部”（9次）、“干部”（7次）和“黨組織”（5次），這些正是監(jiān)督的主要對象。

進(jìn)一步考察各二級分類下的排名前30的關(guān)鍵詞，并繪制關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)圖，如圖1所示。圖中關(guān)鍵詞字體越大，出現(xiàn)頻次就越多，這個關(guān)鍵詞就越重要。詞與詞之前的連線表示了詞匯之間的關(guān)系網(wǎng)，連線越密，說明聯(lián)接詞匯越多，該詞匯的核心作用越明顯。同時，由圖1也可以看出，全面從嚴(yán)治黨重要論述中的關(guān)鍵詞具有一定的層級性，通過追蹤關(guān)鍵詞的關(guān)系網(wǎng)絡(luò)可以進(jìn)一步厘清論述的脈絡(luò)。

3 ? ?結(jié)語

習(xí)近平總書記全面從嚴(yán)治黨重要論述數(shù)據(jù)庫是學(xué)習(xí)習(xí)近平新時代中國特色社會主義思想的重要資料，通過對其進(jìn)行統(tǒng)計分析和關(guān)鍵詞的提取分析，可以幫助人們進(jìn)一步把握好思想脈絡(luò)、領(lǐng)會思想精髓、記憶好思想表述。通過關(guān)鍵詞共現(xiàn)分析，建立了關(guān)鍵詞之間的聯(lián)系，從而更好地構(gòu)建全面從嚴(yán)治黨知識圖譜，加強(qiáng)對習(xí)近平新時代中國特色社會主義思想的學(xué)習(xí)與理解。

[參考文獻(xiàn)]

[1]劉漢峰.全面從嚴(yán)治黨的思考[J].中國特色社會主義研究，2015（1）：102-107.

[2]許耀桐.黨的十八大以來全面從嚴(yán)治黨的新進(jìn)展[J].國家行政學(xué)院學(xué)報，2017（6）：26-31，144.

[3]趙明月.基于詞性和關(guān)鍵詞的短文本相似度計算方法[J].計算機(jī)時代，2018（5）：66-70，73.

[4]牛永潔，田成龍.融合多因素的TFIDF關(guān)鍵詞提取算法研究[J].計算機(jī)技術(shù)與發(fā)展，2019（7）：80-83.

[5]盧麗華，寧 宇.我國SPOC的研究熱點與發(fā)展趨勢—基于知識圖譜的可視化分析[J].中國教育信息化，2019（13）：6-10.