面向新冠疫情應(yīng)對(duì)的文本挖掘框架研究

譚明亮

摘要：非結(jié)構(gòu)化文本是最基礎(chǔ)和最主要的數(shù)據(jù)類型之一，蘊(yùn)含著巨大的價(jià)值與潛能，對(duì)其進(jìn)行分析挖掘和有效利用對(duì)于新冠疫情的應(yīng)對(duì)處置有著重要的意義。文章從中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)中檢索2020年和2021年兩年間發(fā)表于重要學(xué)術(shù)期刊上，與新冠疫情文本挖掘相關(guān)的研究文獻(xiàn)共計(jì)127篇，然后對(duì)研究文獻(xiàn)進(jìn)行逐篇閱讀和內(nèi)容分析，以實(shí)現(xiàn)研究文獻(xiàn)的系統(tǒng)化梳理和深層次分析。文章構(gòu)建了面向新冠疫情應(yīng)對(duì)的文本挖掘框架，從應(yīng)用場(chǎng)景、文本數(shù)據(jù)、分析方法、算法模型和軟件工具五個(gè)方面展開分析論述，為開展面向新冠疫情應(yīng)對(duì)的文本挖掘提供了整體系統(tǒng)的架構(gòu)設(shè)計(jì)和切實(shí)可行的解決路徑。

關(guān)鍵詞：新冠疫情應(yīng)對(duì)；文本挖掘；突發(fā)公共衛(wèi)生事件；大數(shù)據(jù)分析

中圖分類號(hào)：TP301? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）06-0051-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

1 引言

2020年爆發(fā)的新冠疫情是新中國(guó)成立以來(lái)傳播速度最快、感染范圍最廣、防控難度最大的重大突發(fā)公共衛(wèi)生事件，同時(shí)也是百年來(lái)全球發(fā)生的最嚴(yán)重的大流行傳染病。目前，新冠疫情已蔓延至上百個(gè)國(guó)家和地區(qū)，截至2022年2月，全球新冠感染確診病例超過(guò)4億，死亡病例超過(guò)580萬(wàn)例。如何有效地應(yīng)對(duì)新冠疫情是黨和國(guó)家的重大現(xiàn)實(shí)需求，同時(shí)也是各學(xué)科領(lǐng)域的研究者們所共同面臨的重要學(xué)術(shù)問(wèn)題。

作為一種新興的基礎(chǔ)性戰(zhàn)略資源，大數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值與潛能，對(duì)于重塑國(guó)家競(jìng)爭(zhēng)優(yōu)勢(shì)、提升國(guó)家治理能力、推動(dòng)經(jīng)濟(jì)發(fā)展、引領(lǐng)科技創(chuàng)新有著十分重要的作用。在數(shù)據(jù)驅(qū)動(dòng)的管理決策和科學(xué)研究的第四范式的背景下，以數(shù)據(jù)為中心，分析、挖掘、組織和利用數(shù)據(jù)資源能夠有效地推動(dòng)科學(xué)知識(shí)發(fā)現(xiàn)、提升科學(xué)決策水平、強(qiáng)化綜合治理能力和創(chuàng)造社會(huì)經(jīng)濟(jì)價(jià)值。非結(jié)構(gòu)化文本數(shù)據(jù)是數(shù)據(jù)資源中最基本和最主要的構(gòu)成之一，對(duì)其進(jìn)行分析挖掘?qū)τ谛鹿谝咔榈膽?yīng)對(duì)處置有著重要的意義。

2 文獻(xiàn)數(shù)據(jù)收集

本文通過(guò)收集新冠疫情文本挖掘相關(guān)的研究文獻(xiàn)，對(duì)文獻(xiàn)進(jìn)行逐篇閱讀和內(nèi)容分析；然后以此為基礎(chǔ)，結(jié)合數(shù)據(jù)挖掘和情報(bào)分析領(lǐng)域的相關(guān)理論方法，構(gòu)建面向新冠疫情應(yīng)對(duì)的文本挖掘模型?？紤]到研究文獻(xiàn)的權(quán)威性和代表性，本文將學(xué)術(shù)期刊的來(lái)源類別確定為北大核心、CSSCI和CSCD；將出版年度設(shè)定為2021年和2022年。

為了全面充分地從CNKI數(shù)據(jù)庫(kù)中檢索出相關(guān)的研究文獻(xiàn)，本文將檢索條件設(shè)定為（主題=“新冠感染”O(jiān)R“新型冠狀病毒感染”O(jiān)R“COVID-19”O(jiān)R“新冠疫情”O(jiān)R“新冠感染疫情”O(jiān)R“新型冠狀病毒感染疫情”）AND（主題OR摘要=“文本挖掘”O(jiān)R“文本分析”O(jiān)R“情感分析”O(jiān)R“文本聚類”O(jiān)R“文本分類”O(jiān)R“信息抽取”O(jiān)R“關(guān)聯(lián)分析”O(jiān)R“文本”O(jiān)R“詞頻”O(jiān)R“頻數(shù)”O(jiān)R“主題挖掘”O(jiān)R“主題聚類”O(jiān)R“LDA”）。

完成文獻(xiàn)檢索后，接下來(lái)需要對(duì)獲得的檢索結(jié)果進(jìn)行篩選。在信息管理和計(jì)算機(jī)科學(xué)的語(yǔ)境下，文本挖掘主要是利用計(jì)算機(jī)從非結(jié)構(gòu)化文本數(shù)據(jù)中提取和發(fā)現(xiàn)有價(jià)值的模式和知識(shí)。因此，本文去除了檢索結(jié)果中通過(guò)人工的方式來(lái)對(duì)文本數(shù)據(jù)進(jìn)行分析的研究文獻(xiàn)，最終得到研究文獻(xiàn)共計(jì)127篇。

3 面向新冠疫情應(yīng)對(duì)的文本挖掘框架構(gòu)建

本文對(duì)以127篇研究文獻(xiàn)的內(nèi)容分析為基礎(chǔ)，結(jié)合數(shù)據(jù)挖掘的基本思路和流程，以及中信所提出的“事實(shí)型數(shù)據(jù)+專用方法工具+專家智慧”方法論，構(gòu)建了面向新冠疫情應(yīng)對(duì)的文本挖掘框架，如圖1所示。該框架主要由應(yīng)用場(chǎng)景、文本數(shù)據(jù)、分析方法、算法模型、軟件工具五部分所構(gòu)成，通過(guò)采集非結(jié)構(gòu)化文本數(shù)據(jù)，運(yùn)用相關(guān)的分析方法、算法模型和軟件工具對(duì)文本數(shù)據(jù)進(jìn)行分析、處理和挖掘，從而為管理決策提供支持和依據(jù)。

3.1 應(yīng)用場(chǎng)景

新冠疫情文本挖掘所面向的應(yīng)用場(chǎng)景和實(shí)際需求主要包括網(wǎng)絡(luò)輿情分析與管理、虛假信息和網(wǎng)絡(luò)謠言識(shí)別與治理、新冠感染用藥規(guī)律與診療方案分析、政府政策分析與評(píng)價(jià)、公眾信息需求和訴求分析等。CNNIC發(fā)布的第48次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，目前我國(guó)的網(wǎng)民規(guī)模達(dá)到了10億以上，并呈現(xiàn)出逐年上升的趨勢(shì)；在此背景下，對(duì)網(wǎng)民在微博、貼吧、BBS論壇和微信等社交媒體上發(fā)表的文本內(nèi)容進(jìn)行分析挖掘，從而有效地監(jiān)測(cè)、管理和引導(dǎo)網(wǎng)絡(luò)輿情具有重要的意義。因此，網(wǎng)絡(luò)輿情分析對(duì)于文本挖掘技術(shù)的需求和應(yīng)用尤為突出。

新冠感染用藥規(guī)律與診療方案分析主要通過(guò)挖掘新冠感染的防治處方、研究論文、國(guó)家及各省市自治區(qū)衛(wèi)健委推薦的COVID-19診療方案和指南建議等來(lái)探究新冠感染的用藥規(guī)律、組方特征，從而為新冠感染的防治和用藥提供參考與依據(jù)。新冠疫情爆發(fā)后，國(guó)家和各級(jí)政府管理部門針對(duì)疫情防控、復(fù)工復(fù)產(chǎn)、產(chǎn)業(yè)扶持等發(fā)布了大量的政策文件；政府政策分析與評(píng)價(jià)主要研究政策主題演化、政策擴(kuò)散特征、政策量化、政策差異和協(xié)同等。公眾信息需求和訴求分析主要通過(guò)挖掘用戶在網(wǎng)絡(luò)平臺(tái)發(fā)表的文本信息來(lái)掌握新冠感染期間人們的信息需求和訴求。

3.2 文本數(shù)據(jù)

面向新冠疫情應(yīng)對(duì)的文本挖掘需要根據(jù)應(yīng)用場(chǎng)景和實(shí)際問(wèn)題采集和獲取相應(yīng)的非結(jié)構(gòu)化文本數(shù)據(jù)，典型的文本數(shù)據(jù)例如社交媒體文本、政策文本、診療方案文本、醫(yī)藥處方文本、學(xué)術(shù)論文文本、新聞報(bào)道文本、領(lǐng)導(dǎo)留言板文本、病例軌跡描述性文本等。文本數(shù)據(jù)的來(lái)源主要包括政府部門官方網(wǎng)站、網(wǎng)絡(luò)平臺(tái)、文獻(xiàn)數(shù)據(jù)庫(kù)、社交媒體平臺(tái)、新聞門戶網(wǎng)站等。文本數(shù)據(jù)采集的方式主要有爬蟲爬取、數(shù)據(jù)庫(kù)導(dǎo)出、手工下載和API接口獲取等。在數(shù)據(jù)采集方式的選擇上，需要綜合考慮數(shù)據(jù)源的特點(diǎn)、數(shù)據(jù)量的大小等諸多方面的因素，例如，針對(duì)文獻(xiàn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)適合通過(guò)批量導(dǎo)出的方式獲取，新浪微博平臺(tái)上的數(shù)據(jù)則適合通過(guò)爬蟲和API接口的方式獲取。

網(wǎng)絡(luò)輿情分析與管理、虛假信息和網(wǎng)絡(luò)謠言識(shí)別與治理場(chǎng)景所需要采集的文本數(shù)據(jù)主要包括新浪微博文本、百度貼吧帖子、知乎帖子、抖音評(píng)論文本、QQ空間文本、微信公眾號(hào)文本等。新冠感染用藥規(guī)律與診療方案分析所需要采集的文本數(shù)據(jù)主要包括CNKI、萬(wàn)方、Pubmed、Elsevier、SpringerLink等數(shù)據(jù)庫(kù)中的學(xué)術(shù)論文文本，國(guó)家及各省自治區(qū)直轄市發(fā)布和推薦的診療方案、指南建議，HIS系統(tǒng)中的處方文本和全國(guó)名醫(yī)公開的新冠感染防治處方文本等。政府政策分析與評(píng)價(jià)所需要采集的文本數(shù)據(jù)主要是各級(jí)政府管理部門發(fā)布的疫情防控、企業(yè)復(fù)工復(fù)產(chǎn)等相關(guān)的政策文本。公眾信息需求和訴求分析所需要采集的文本數(shù)據(jù)則主要是公眾在知乎、新浪微博等網(wǎng)絡(luò)平臺(tái)和領(lǐng)導(dǎo)留言板上發(fā)表的熱門話題和咨詢提問(wèn)文本等。

3.3 分析方法

運(yùn)用數(shù)據(jù)采集方法獲取了實(shí)際應(yīng)用場(chǎng)景所需的非結(jié)構(gòu)化文本數(shù)據(jù)之后，為了獲取對(duì)于應(yīng)對(duì)新冠感染疫情潛在有價(jià)值的知識(shí)和模式，需要運(yùn)用一定的文本分析方法對(duì)采集的文本數(shù)據(jù)進(jìn)行處理和挖掘。針對(duì)新冠疫情文本數(shù)據(jù)所采用的分析方法主要包括詞頻分析、情感分析、文本分類、文本聚類、主題分析、關(guān)聯(lián)規(guī)則挖掘、社會(huì)網(wǎng)絡(luò)分析、文本相似度分析、信息抽取和可視化分析等。

詞頻分析主要通過(guò)統(tǒng)計(jì)新冠疫情文本數(shù)據(jù)中各個(gè)詞語(yǔ)出現(xiàn)的次數(shù)，從而揭示文本數(shù)據(jù)所表達(dá)的核心內(nèi)容。詞頻分析法具有實(shí)現(xiàn)簡(jiǎn)單、便于理解、易于操作等特點(diǎn)，是新冠疫情文本挖掘研究文獻(xiàn)中使用最為廣泛的分析方法之一。例如，陳雅薇等利用詞頻分析法來(lái)研究長(zhǎng)三角地區(qū)各政府產(chǎn)業(yè)政策的相似性與差異化[1]；彭宗超等基于詞頻分析法來(lái)對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行挖掘，以分析新冠疫情各個(gè)階段中社會(huì)輿論的核心關(guān)注點(diǎn)[2]。

情感分析被用于分析人們?cè)谛鹿谝咔槲谋局兴磉_(dá)的觀點(diǎn)、情感、評(píng)價(jià)、情緒和態(tài)度等，情感分析的具體方法主要包括：基于詞典的方法，將文本內(nèi)容與情感詞典中的情感詞進(jìn)行匹配以實(shí)現(xiàn)文本情感傾向判斷；基于機(jī)器學(xué)習(xí)的方法，利用經(jīng)標(biāo)注的數(shù)據(jù)集來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型，然后基于訓(xùn)練的模型來(lái)實(shí)現(xiàn)文本情感分類。例如，馮志仙等運(yùn)用情感分析法來(lái)研究新冠疫情防控期間醫(yī)院重要通知群和護(hù)士交流群中信息的情感傾向[3]。

文本分類主要根據(jù)文本數(shù)據(jù)的語(yǔ)義特征將文本自動(dòng)歸入到預(yù)先定義相應(yīng)的類別中。例如，石鍇文等運(yùn)用文本分類來(lái)將新冠感染微博謠言自動(dòng)檢測(cè)出來(lái)[4]。不同于文本分類的監(jiān)督學(xué)習(xí)，文本聚類自動(dòng)地將新冠疫情文本數(shù)據(jù)集合劃分為若干個(gè)類簇，使得同一類簇中文本之間的相似性高，而不同類簇中文本之間的相異性高。例如，禹衛(wèi)華等將文本聚類應(yīng)用于探究新冠疫情下政務(wù)新媒體的議題[5]。

主題分析通過(guò)挖掘新冠疫情文本中的潛在主題來(lái)實(shí)現(xiàn)對(duì)文本數(shù)據(jù)語(yǔ)義內(nèi)容的理解、整理和判斷。當(dāng)前研究者們主要利用關(guān)聯(lián)規(guī)則挖掘方法來(lái)分析新冠感染相關(guān)的研究論文、防治處方、診療方案和指南建議等文本中藥物之間的關(guān)聯(lián)關(guān)系，從而為新冠感染的用藥和防治等提供決策支持。

社會(huì)網(wǎng)絡(luò)分析主要用于分析發(fā)布新冠疫情政策的主體的聯(lián)合發(fā)文關(guān)系，以及社交媒體用戶之間因轉(zhuǎn)發(fā)、評(píng)論、關(guān)注而形成的社會(huì)網(wǎng)絡(luò)關(guān)系。文本相似度分析通過(guò)判定給定文本在內(nèi)容上之間的差異，從而確定相似程度，通常用0至1之間的數(shù)值進(jìn)行衡量。

信息抽取主要用于抽取新冠肺炎流行病學(xué)調(diào)查形成的病例軌跡描述性文本中抽取時(shí)間、地點(diǎn)、病例關(guān)系等信息，以實(shí)現(xiàn)疫情傳播路徑的精準(zhǔn)定位。可視化分析將新冠疫情文本內(nèi)容以直觀易理解的圖形、圖像進(jìn)行呈現(xiàn)，從而形象地表示文本數(shù)據(jù)的內(nèi)在含義。

3.4 算法模型

選擇一種或多種文本分析方法在對(duì)新冠疫情文本數(shù)據(jù)進(jìn)行挖掘的過(guò)程中表現(xiàn)為使用具體的算法模型，算法模型是分析方法的具體實(shí)現(xiàn)和體現(xiàn)。例如，利用主題分析法來(lái)對(duì)新冠疫情文本的語(yǔ)義內(nèi)容進(jìn)行挖掘時(shí)，專家學(xué)者們往往使用的是Blei等提出的LDA模型；應(yīng)用關(guān)聯(lián)規(guī)則挖掘來(lái)對(duì)防治處方文本中的藥物關(guān)系進(jìn)行分析時(shí)則使用的主要是Apriori算法。對(duì)于中文文本數(shù)據(jù)的挖掘，首先需要對(duì)非結(jié)構(gòu)化文本進(jìn)行中文分詞、詞性標(biāo)注、去停用詞、文本表示、特征權(quán)重計(jì)算等文本預(yù)處理操作，然后在此基礎(chǔ)上進(jìn)行主題分析、關(guān)聯(lián)規(guī)則挖掘、文本相似度分析、情感分析、文本分類和文本聚類等。

中文分詞和詞性標(biāo)注所用的算法模型主要包括HMM模型、CRF模型和最大熵模型等。文本表示所用的算法模型主要包括詞袋模型、布爾模型、N-Gram模型、向量空間模型（VSM）、Word2vec詞嵌入模型、BERT詞向量模型等。特征權(quán)重計(jì)算所用的算法模型主要包括特征頻率、布爾函數(shù)、信息增益、倒排檔文本頻率、TF-IDF算法、互信息等。文本主題分析所用的算法模型主要包括LDA主題模型、ETM主題模型模型、STM主題模型模型等。關(guān)聯(lián)規(guī)則挖掘所用的算法模型主要是Apriori算法。文本相似度分析所用的算法模型主要包括余弦相似度算法、歐氏距離、皮爾遜系數(shù)等。

情感分析和文本分類所用的算法模型主要包括樸素貝葉斯算法、隨機(jī)森林算法、SVM算法、LSTM算法、CNN算法、RNN算法、Bi-LSTM算法、XGBoost算法、BiGRU模型、Transformer模型等。文本聚類所用的算法模型主要包括K-Means算法、DBSCAN算法、Fast Unfolding算法、Single-Pass算法等。基于采集的127篇研究文獻(xiàn)可以直觀地發(fā)現(xiàn)，隨著深度學(xué)習(xí)和人工智能技術(shù)的快速發(fā)展，大量的深度神經(jīng)網(wǎng)絡(luò)算法模型已經(jīng)被研究者們廣泛地應(yīng)用于新冠疫情文本挖掘中。專家學(xué)者們還將多種模型進(jìn)行融合和集成，以更好地實(shí)現(xiàn)文本的語(yǔ)義理解和語(yǔ)義挖掘；例如，融合LDA模型與BERT模型；集成CNN算法、BiLSTM算法與attention模型。

3.5 軟件工具

當(dāng)前國(guó)內(nèi)外的相關(guān)研究機(jī)構(gòu)和專家學(xué)者們針對(duì)文本挖掘、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、數(shù)據(jù)分析和人工智能等技術(shù)領(lǐng)域開發(fā)了大量的軟件、程序庫(kù)和工具，對(duì)算法模型進(jìn)行了實(shí)現(xiàn)和封裝。這使得研究人員，特別是社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、管理科學(xué)、法學(xué)等非計(jì)算機(jī)科學(xué)領(lǐng)域的科研工作者能夠?qū)⒆⒁饬性谛鹿谝咔槲谋就诰蛩嫦虻膽?yīng)用場(chǎng)景和實(shí)際問(wèn)題上，而不是將大量的精力和時(shí)間投入到文本挖掘相關(guān)的算法模型的編程實(shí)現(xiàn)上。例如，要基于LDA主題模型來(lái)對(duì)新冠疫情文本數(shù)據(jù)進(jìn)行分析，不必從零開始編寫一行行的代碼來(lái)編程實(shí)現(xiàn)LDA模型，可以通過(guò)導(dǎo)入開源的Gensim工具包直接使用LDA模型。

數(shù)據(jù)采集所用的軟件工具主要包括八爪魚爬蟲軟件、谷歌爬蟲插件Web Scraper、火車頭采集器、后羿采集器、Scrapy爬蟲框架等。文本大數(shù)據(jù)的存儲(chǔ)和處理所用的基礎(chǔ)設(shè)施主要包括HDFS、MapReduce、Hadoop、MongoDB、Spark等。中文分詞、詞性標(biāo)注所用的軟件工具主要包括jieba庫(kù)、ICTCLAS、哈工大LTP、北大pkuseg、HanLP中文處理包、清華THULAC等，所使用的停用詞表主要有哈工大停用詞表、四川大學(xué)機(jī)器智能實(shí)驗(yàn)室停用詞、百度停用詞表等。

文本表示、文本分類、文本聚類、主題分析、情感分析、關(guān)聯(lián)規(guī)則挖掘和信息抽取主要使用自然語(yǔ)言處理、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)相關(guān)的軟件工具，主要包括SPSS Modeler軟件、SPSS Statistics軟件、scikit-learn庫(kù)、Gensim包、bert-as-service庫(kù)、keras庫(kù)、Tensorflow庫(kù)、pytorch庫(kù)、百度智能云API等。社會(huì)網(wǎng)絡(luò)分析所用的軟件工具主要包括Gephi軟件、NetDraw軟件、Ucinet軟件等。可視化分析所用的軟件工具主要包括Vosviewer軟件、LDAvis包、WordCloud庫(kù)、Matplotlib庫(kù)等。

4 結(jié)語(yǔ)

本文以過(guò)去兩年內(nèi)發(fā)表于核心期刊上關(guān)于新冠疫情文本挖掘的127篇研究文獻(xiàn)為基礎(chǔ)，構(gòu)建了面向新冠疫情應(yīng)對(duì)的文本挖掘框架，并框架所涉及的核心內(nèi)容展開了分析論述，以期為面向新冠疫情應(yīng)對(duì)的文本挖掘?qū)W術(shù)研究和應(yīng)用實(shí)踐提供借鑒參考。文本數(shù)據(jù)具有著不同的粒度，按照信息粒度的大小可以分為篇章、段落、句子、詞語(yǔ)等層次。今后的重要研究方向之一是基于深度神經(jīng)網(wǎng)絡(luò)、知識(shí)庫(kù)半自動(dòng)構(gòu)建、文本圖表示學(xué)習(xí)和文本語(yǔ)義分析等技術(shù)實(shí)現(xiàn)各層次文本單元的語(yǔ)義理解和知識(shí)關(guān)聯(lián)。

參考文獻(xiàn)：

[1] 陳雅薇，朱華晟，姚飛.長(zhǎng)三角地區(qū)新冠肺炎疫情應(yīng)急與產(chǎn)業(yè)政策響應(yīng)——基于政策文本的詞頻分析[J].現(xiàn)代城市研究，2021，36（1）：45-51.

[2] 彭宗超，黃昊，吳洪濤，等.新冠肺炎疫情前期應(yīng)急防控的“五情”大數(shù)據(jù)分析[J].治理研究，2020，36（2）：6-20.

[3] 馮志仙，沈鳴雁，陳翔，等.新型冠狀病毒肺炎疫情防控期間護(hù)理管理工作中信息傳遞質(zhì)量改善研究[J].中國(guó)護(hù)理管理，2020，20（5）：686-690.

[4] 石鍇文，劉勘.突發(fā)公共衛(wèi)生事件中微博謠言的識(shí)別[J].圖書情報(bào)工作，2021，65（13）：87-95.

[5] 禹衛(wèi)華，黃陽(yáng)坤.重大突發(fā)公共衛(wèi)生事件的政務(wù)傳播：響應(yīng)、議題與定位[J].新聞與傳播評(píng)論，2020，73（5）：22-33.

【通聯(lián)編輯：王力】