基于Python的詞云生成及優(yōu)化研究

汪言

摘要：在大數(shù)據(jù)時代，利用相關(guān)技術(shù)手段對大數(shù)據(jù)進行獲取與解讀就顯得十分重要?！霸~云”技術(shù)，由于能夠?qū)⑽谋局械摹瓣P(guān)鍵詞”圖像化，正受到人們越來越多人的關(guān)注。該文以《中共中央關(guān)于制定國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠景目標的建議》全文文本為例，對基于Python的詞云文本分析技術(shù)進行了優(yōu)化，以期為快速解讀文本內(nèi)容提供方便。

關(guān)鍵詞：Python;中文分詞;詞云;優(yōu)化;十四五規(guī)劃

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）19-0023-06

Research on Generation and Optimization of Word Cloud Based on Python—Take the Text of the 14th Five-year Plan as an Example

WANG Yan

（Hubei University， Wuhan 430062，China）

Abstract： In the era of big data， it is very important to obtain and interpret big data by using relevant technical means. "Word cloud" technology， due to its ability to visualize the "Keywords" in the text， is attracting more and more attention. This paper takes the full text of Proposal of the Central Committee of the Communist Party of China on Formulating the 14th Five-Year Plan for National Economic and Social Development and the Long-term Goals for the year of 2035 as an example， and optimizes the text analysis technology of word cloud based on python， so as to provide convenience for quick interpretation of the text content.

Key words： Python; Chinese word segmentation; word cloud; optimization; 14th five-year plan

1 引言

“詞云”，是近幾年來出現(xiàn)的用于文本挖掘的可視化技術(shù)，其將文本中大量的不重要的信息過濾，并對出現(xiàn)頻率較高的“關(guān)鍵詞”予以字體大小和顏色等視覺形式的差異來直觀反映詞語的重要程度，文字的字體越大，表明其越重要，可以幫助閱讀者迅速把握文本的主要內(nèi)容。簡言之，“詞云”，是一種將大量文本信息或網(wǎng)絡(luò)大數(shù)據(jù)迅速生成幫助閱讀者把握文本關(guān)鍵內(nèi)容的輔助性可視化工具，其生成的詞云圖中的詞語字形、字號、顏色以及圖片背景可以根據(jù)使用者的實際需求進行修改和保存。此外，借助mask、stopwords、scale等參數(shù)的設(shè)置，可以對生成的詞云圖進行優(yōu)化設(shè)計，比如：背景圖設(shè)計、刪減詞語、增加輪廓線等等。

“詞云”，由于其能夠快速、直觀地抓取文本的主要內(nèi)容，方便人們對文本內(nèi)容的解讀，正受到人們越來越多的關(guān)注。然而，由于對“詞云”技術(shù)的掌握和應(yīng)用需要掌握一定的編程知識和技巧，導(dǎo)致大眾對此“望洋興嘆”。因此，本文寫作目的在于幫助一般讀者從無到有掌握“詞云”文本分析技術(shù)。具體而言，即借助《中共中央關(guān)于制定國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠景目標的建議》文本，嘗試對基于Python的詞云文本分析技術(shù)進行應(yīng)用和優(yōu)化。一方面，解讀“詞云”原理。另一方面，則為一般讀者應(yīng)用“詞云”理論和技術(shù)進行文本分析和解讀提供一般流程。

2 詞云理論

“詞云”（Word Cloud）一詞，由美國學者Rich Gordon于2006年提出，又稱文字云圖（詞云圖），屬于當前文本挖掘可視化主流技術(shù)之一。“詞云”制作基本思想為：基于單詞庫（或詞典）將整個文本切分成不同單詞片段， 同時對同一單詞在文本中的出現(xiàn)次數(shù)進行統(tǒng)計;而后根據(jù)詞頻大小，將單詞按不同字體大小和顏色通過圖像呈現(xiàn)出來;詞頻越高，單詞的呈現(xiàn)方式越凸顯。基于中文的“詞云”制作基本原理如圖1所示。從圖1可知，信息收集工作是詞云制作的出發(fā)點，研究者可根據(jù)具體需要選擇文本。文本預(yù)處理一般可以將輸入文本存為txt或Word文檔類型，將輸出文本以表格或圖形方式存儲和呈現(xiàn)。中文分詞、單詞庫（或詞典）以及關(guān)鍵詞提取是詞云圖制作核心。

2.1中文分詞

分詞是自然語言處理（NLP）中文本處理的前提和基礎(chǔ)步驟，由于詞是語句中的基本單位，故需要在分析語句前將文本中的連貫的句子切分成不連續(xù)的詞。相比于英文，中文語句由于句式結(jié)構(gòu)復(fù)雜、沒有間隔符，一個詞語在不同的語句或文本中意義千差萬別，地名、人名、省略語以及網(wǎng)絡(luò)詞、流行詞、俗語等不確定性詞匯的存在等特點加大了分詞的難度。中文分詞技術(shù)面臨的困難主要表現(xiàn)在：對詞的界定、歧義消除以及未登錄詞識別三個方面。目前，中文分詞有基于詞典、基于統(tǒng)計和基于理解三種算法。

Jieba庫是一種應(yīng)用廣泛且效果較為理想的中文分詞工具，需要通過pip指令安裝，主要支持三種分詞模式——精確模式、全模式和搜索引擎模式。

1精確分詞模式：默認模式，對語句進行精確切分，適合文本分析，無冗余，常用格式：Jieba.cut（sentence， cut_all=False）