基于BERT模型的科技政策文本分類研究*

沈自強(qiáng) 李曄 丁青艷 王金穎 白全民

（1. 齊魯工業(yè)大學(xué)（山東省科學(xué)院）經(jīng)濟(jì)與管理學(xué)部，濟(jì)南 250014；2. 山東省科技發(fā)展戰(zhàn)略研究所，濟(jì)南 250014；3. 山東省計(jì)算中心（國家超級(jí)計(jì)算濟(jì)南中心），濟(jì)南 250014）

十九屆五中全會(huì)通過的《中共中央關(guān)于制定國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》中強(qiáng)調(diào)“完善國家創(chuàng)新體系，加快建設(shè)科技強(qiáng)國”[1]?？萍颊呤墙ㄔO(shè)科技強(qiáng)國的重要保障，科技政策文本是體現(xiàn)政策工具的主要載體。黨的十八大提出創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略后，我國日益重視自主創(chuàng)新工作，各部門圍繞科技創(chuàng)新工作密集出臺(tái)了大量科技政策文件。然而，頻繁的政策發(fā)布，使得政策文本的數(shù)據(jù)量越來越大，對(duì)政策文本進(jìn)行篩選、分析的人力成本激增[2]。通過分析發(fā)現(xiàn)，這些科技政策由不同政府部門在不同的時(shí)間發(fā)出，分布在不同的政務(wù)網(wǎng)站上，但由于缺少高效的信息處理手段，高校院所、企業(yè)、科技人才等創(chuàng)新主體在配對(duì)合適自己的科技政策時(shí)存在成本高、耗時(shí)久，乃至找不到的困難，影響了科技政策的實(shí)施效果。因此，有必要預(yù)先為科技政策文本合理地設(shè)定分類標(biāo)簽，從而提高檢索和配對(duì)的效率，幫助各類創(chuàng)新主體找到與自身需求相關(guān)的科技政策信息。

在政府政務(wù)信息化、智慧化轉(zhuǎn)型趨勢下，大數(shù)據(jù)賦能的政策信息的智能查詢、匹配、推送等個(gè)性化服務(wù)需求日益凸顯。自然語言處理、深度學(xué)習(xí)等計(jì)算機(jī)信息技術(shù)的快速發(fā)展為滿足這一需求提供了條件。但是在政策文本挖掘領(lǐng)域，許多新技術(shù)的應(yīng)用仍處于探索階段，并且由于政策文本的長短不一、信息密度大、分類體系不統(tǒng)一等特點(diǎn)，研究人員在借助信息技術(shù)手段對(duì)政策文本進(jìn)行自動(dòng)分類時(shí)會(huì)遇到困難，尚未形成得到廣泛認(rèn)可的技術(shù)方案。針對(duì)上述情況，本文以科技政策為出發(fā)點(diǎn)，采用谷歌公司AI團(tuán)隊(duì)在2018年發(fā)布的預(yù)訓(xùn)練語言表示模型——BERT（Bidirectional Encoder Representations from Transformers）模型[3]，結(jié)合關(guān)鍵詞提取技術(shù)，融合政策標(biāo)題與關(guān)鍵詞信息作為模型訓(xùn)練語料，對(duì)科技政策文本進(jìn)行自動(dòng)分類研究，從而實(shí)現(xiàn)更加準(zhǔn)確快速的科技政策文本歸類，降低人力成本，助力政務(wù)大數(shù)據(jù)發(fā)展。

1 相關(guān)研究

科技政策是由國家或地方政府機(jī)構(gòu)為促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展，基于社會(huì)需求在不同階段制定頒布的，一系列用于規(guī)制和激勵(lì)全社會(huì)從事知識(shí)發(fā)現(xiàn)、積累，以及應(yīng)用于技術(shù)創(chuàng)新行為的政策集合，包括規(guī)劃計(jì)劃、法規(guī)條例、決定、辦法、措施，以及相應(yīng)的實(shí)施細(xì)則、意見建議等[4]。近年來，中國進(jìn)入了科技政策頒布的密集期，出臺(tái)了一系列促進(jìn)科技發(fā)展的配套政策。對(duì)于科技政策的分類可以從多個(gè)角度進(jìn)行劃分。從政策的發(fā)文機(jī)構(gòu)來看，涉及國務(wù)院、科技部、工信部、財(cái)政部、商務(wù)部、國稅局等，以及各地方政府機(jī)構(gòu)[4]；從政策針對(duì)的創(chuàng)新主體來看，涉及企業(yè)、高校院所、科技人才、科技中介、創(chuàng)新平臺(tái)、產(chǎn)學(xué)研聯(lián)合體等[5]；從政策涉及的領(lǐng)域來看，涉及第一產(chǎn)業(yè)、第二產(chǎn)業(yè)和第三產(chǎn)業(yè)[6]。目前對(duì)科技政策的研究通常采用政策工具視角下的分類方式，將科技政策劃分為供給型政策（人才支持、資金支持、技術(shù)支持、基礎(chǔ)設(shè)施建設(shè)等）、環(huán)境型政策（法規(guī)管制、目標(biāo)規(guī)劃、金融支持、稅費(fèi)減免、知識(shí)產(chǎn)權(quán)等）和需求型政策（政府采購、外包、貿(mào)易管制、海外機(jī)構(gòu)管理等）三大類[7-8]。

文本分類是指從原始文本數(shù)據(jù)中提取特征，并基于這些特征預(yù)測文本數(shù)據(jù)的類別，作為有效的信息檢索和挖掘技術(shù)，其在管理文本數(shù)據(jù)中起著至關(guān)重要的作用[9]。傳統(tǒng)機(jī)器學(xué)習(xí)方法如樸素貝葉斯、支持向量機(jī)等技術(shù)表現(xiàn)出的分類效果相對(duì)較差[10]。隨著深度學(xué)習(xí)的發(fā)展，文本的表征方式從空間向量模型發(fā)展到word2vec詞向量模型，基于FastText、CNN、RNN、LSTM等神經(jīng)網(wǎng)絡(luò)語言模型的文本分類技術(shù)得到廣泛應(yīng)用，并涌現(xiàn)出各種變體[11]，隨后ELMo、BERT等通用預(yù)訓(xùn)練語言模型的出現(xiàn)有效提高了文本分類等自然語言處理任務(wù)的實(shí)驗(yàn)效果。目前，針對(duì)中文文本分類任務(wù)的研究主要包括社交文本的情感分析[12-13]、新聞文本的分類任務(wù)[14-15]和專利的自動(dòng)分類[16]等。在政策文本分類領(lǐng)域，楊銳等[17]將能源政策劃分為投資開發(fā)與建設(shè)類、科技與產(chǎn)業(yè)裝備類、安全生產(chǎn)管理類和市場調(diào)節(jié)與監(jiān)管類，通過Doc2Vec提取主題信息并將其融入卷積神經(jīng)網(wǎng)絡(luò)的方法有效提升了自動(dòng)文本分類的效果。胡吉明等[18]從政策涉及的產(chǎn)業(yè)領(lǐng)域角度進(jìn)行分類，利用LDA模型和改進(jìn)的TextRank模型增強(qiáng)政策文本的表示效果，采用CNN-BiLSTM-Attention的集成模型來提升政策文本分類的效果和準(zhǔn)確度。張雨等[19]在科技政策知識(shí)圖譜研究中根據(jù)政策內(nèi)容訓(xùn)練Bi-LSTM模型對(duì)科技政策文本進(jìn)行情感分類，將政策文本按照句子級(jí)別劃分扶持型、禁止型、普通型三類。雖然上述研究人員開始嘗試將深度學(xué)習(xí)的技術(shù)應(yīng)用在政策文本領(lǐng)域以達(dá)到批量自動(dòng)分類的目的，但由于政策文本具有結(jié)構(gòu)復(fù)雜、信息密度大且內(nèi)涵分布不均衡等特點(diǎn)，因此，這樣的研究仍然較少。此外，已有研究在政策分類的標(biāo)簽劃分上較為簡單，在文本的特征提取上也沒有應(yīng)用BERT、XLNet等新興起的預(yù)訓(xùn)練語言模型，對(duì)文本語義的理解還有待提升。

通過對(duì)各類科技政策文本進(jìn)行深入解讀后發(fā)現(xiàn)，政策文本的語義特征是其重要特征之一[20]，如“組織開展離岸創(chuàng)新人才認(rèn)定和引才用才補(bǔ)貼申請工作的通知”，這個(gè)標(biāo)題中涉及了人才和資金支持兩個(gè)方面，從政策語義來說，其表達(dá)的含義是人才認(rèn)定和人才激勵(lì)，因此屬于人才支持類的政策。BERT模型具有較強(qiáng)的文本語義理解能力，在訓(xùn)練過程中可以更好地獲得了一個(gè)句子的語義表達(dá)[21]。段瑞雪等[22]將BERT模型應(yīng)用于文本分類、機(jī)器閱讀理解和文本摘要3個(gè)下游任務(wù)中，并通過對(duì)比實(shí)驗(yàn)展示了BERT模型的優(yōu)越性。因此，本研究從科技政策文本出發(fā)，在梳理過往分類標(biāo)準(zhǔn)和分析科技政策文本特點(diǎn)的基礎(chǔ)上，結(jié)合BERT深度學(xué)習(xí)模型，對(duì)8 761條科技政策文本進(jìn)行分類研究，提取出9個(gè)目標(biāo)類別進(jìn)行實(shí)驗(yàn)，融合科技政策標(biāo)題和關(guān)鍵詞作為訓(xùn)練語料訓(xùn)練模型，以提升分類實(shí)驗(yàn)的準(zhǔn)確度，實(shí)現(xiàn)科技政策文本的自動(dòng)分類。

2 研究思路

2.1 研究框架

基于BERT深度學(xué)習(xí)模型的科技政策文本分類方法的研究框架如圖1所示，主要包括科技政策文本數(shù)據(jù)采集與預(yù)處理、科技政策文本關(guān)鍵詞提取、科技政策文本分類訓(xùn)練三個(gè)環(huán)節(jié)。首先采集科技政策文本數(shù)據(jù)，確定分類維度并進(jìn)行人工標(biāo)注，再對(duì)科技政策文本數(shù)據(jù)進(jìn)行清洗，得到樣本數(shù)據(jù)；接著對(duì)科技政策的正文文本進(jìn)行關(guān)鍵詞提取，將關(guān)鍵詞拼接在政策標(biāo)題后面作為訓(xùn)練文本，形成數(shù)據(jù)集；最后對(duì)3個(gè)實(shí)驗(yàn)數(shù)據(jù)集劃分訓(xùn)練集和測試集，構(gòu)建BERT模型，分別進(jìn)行實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。

圖1 科技政策文本分類框架圖

2.2 理論模型

本文采用BERT模型對(duì)科技政策文本進(jìn)行特征提取并自動(dòng)分類。BERT模型的結(jié)構(gòu)由多層Transformer模型組成，用于文本的特征提取。Transformer的核心是注意力機(jī)制，其核心思想是計(jì)算一個(gè)句子中的每個(gè)詞與這句子中所有詞的相互關(guān)系，并認(rèn)為詞與詞之間的相互關(guān)系在一定程度上反應(yīng)了這句話中不同詞之間的關(guān)聯(lián)性和重要程度，再利用這些相互關(guān)系來調(diào)整每個(gè)詞的重要性（權(quán)重）就可以獲得每個(gè)詞的新表征。這個(gè)新表征既包含了該詞本身，還包含了其他詞與這個(gè)詞的關(guān)系，因此模型能夠獲得詞語的上下文語義信息。

BERT模型由兩個(gè)階段組成，第一階段是模型在大量通用語料上的預(yù)訓(xùn)練過程，可以學(xué)習(xí)到通用的語義信息；第二階段是模型在專業(yè)語料庫上的微調(diào)過程，能夠得到專業(yè)領(lǐng)域內(nèi)的語義新特征，從而在具體任務(wù)中有良好的表現(xiàn)。

2.3 算法流程

基于BERT模型的科技政策文本分類算法運(yùn)行流程總體上分為數(shù)據(jù)讀入、特征轉(zhuǎn)化、模型構(gòu)建和模型運(yùn)行4個(gè)步驟。①讀入準(zhǔn)備好的科技政策文本實(shí)驗(yàn)數(shù)據(jù)集，每一條數(shù)據(jù)按照文本、tab分隔符、標(biāo)簽的形式存儲(chǔ)在文檔中；②將讀入的數(shù)據(jù)轉(zhuǎn)化為特征向量的形式，并記錄到TFRecord格式文件中，特征向量包含字向量、分段向量和位置向量3個(gè)部分；③創(chuàng)建和配置BERT模型，讀取TFRecord格式文件并將特征向量轉(zhuǎn)化成標(biāo)準(zhǔn)的模型輸入，這一步主要通過BERT的Transformer層來實(shí)現(xiàn)；④根據(jù)設(shè)置好的參數(shù)運(yùn)行構(gòu)建好的模型，用訓(xùn)練集的標(biāo)準(zhǔn)輸入進(jìn)行訓(xùn)練，用測試集的標(biāo)準(zhǔn)輸入進(jìn)行評(píng)估，輸出分類結(jié)果。

3 實(shí)驗(yàn)過程

3.1 數(shù)據(jù)采集與預(yù)處理

本文實(shí)驗(yàn)的科技政策數(shù)據(jù)來源于國家中小企業(yè)政策信息發(fā)布平臺(tái)[23]和其他相關(guān)機(jī)構(gòu)網(wǎng)站，采用網(wǎng)絡(luò)爬蟲技術(shù)和八爪魚軟件進(jìn)行科技政策采集，共采集科技政策10 388條。對(duì)采集的科技政策數(shù)據(jù)進(jìn)行預(yù)處理，清除空值、去重、去除掉各種與科技政策內(nèi)容無關(guān)的信息。通過專家討論并借鑒過往文獻(xiàn)[6]的分類標(biāo)準(zhǔn)，在需求型、供給型和環(huán)境型下確定科技政策分類類別。由于需求型政策數(shù)量較少，而對(duì)類別不均衡數(shù)據(jù)分類不是本文研究的重點(diǎn)，因此從供給型和環(huán)境型兩個(gè)方面提取出9個(gè)目標(biāo)類別對(duì)科技政策完成了人工標(biāo)注，共計(jì)8 761條，如表1所示。

表1 9類政策文本數(shù)量分布

3.2 關(guān)鍵詞提取

由于科技政策文本篇幅較長，不利于分類模型的訓(xùn)練[18]，往往需要提取出用于分類的關(guān)鍵信息，而關(guān)鍵詞是對(duì)政策信息最大限度的濃縮，因此本文通過TextRank算法[24-25]以及TF-IDF算法[26]提取科技政策文本的關(guān)鍵詞，將兩種方法提取的關(guān)鍵詞分別拼接在政策標(biāo)題后面作為實(shí)驗(yàn)數(shù)據(jù)集。在采用兩種算法進(jìn)行科技政策文本關(guān)鍵詞提取時(shí)，所提取的關(guān)鍵詞數(shù)量值均設(shè)置為20。

3.3 分類實(shí)驗(yàn)設(shè)置

本文通過Tensorflow深度學(xué)習(xí)框架實(shí)現(xiàn)BERT科技政策文本多分類任務(wù)，按照4:1的比例將科技政策文本數(shù)據(jù)集劃分為訓(xùn)練集和測試集。模型運(yùn)行時(shí)加載的預(yù)訓(xùn)練語言模型是BERT官方的BERT-Base-Chinese模型，該模型的Transformer共有12層，詞向量維度為768維，多頭注意力機(jī)制參數(shù)是12，其他實(shí)驗(yàn)參數(shù)設(shè)置如表2所示。在BERT模型上進(jìn)行3次實(shí)驗(yàn)，實(shí)驗(yàn)1對(duì)科技政策標(biāo)題數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)；實(shí)驗(yàn)2將科技政策標(biāo)題與TextRank算法提取出的關(guān)鍵詞拼接后輸入BERT模型進(jìn)行實(shí)驗(yàn)；實(shí)驗(yàn)3將科技政策標(biāo)題與TF-IDF算法提取出的關(guān)鍵詞拼接后輸入BERT模型進(jìn)行實(shí)驗(yàn)。

表2 實(shí)驗(yàn)參數(shù)設(shè)置

此外，為了驗(yàn)證BERT模型的有效性并比較不同深度學(xué)習(xí)模型在科技政策文本分類上的效果，選取FastText、LSTM-Attention、TextCNN 3個(gè)模型進(jìn)行對(duì)比試驗(yàn)。將所采集到的全部科技政策文本作為語料庫，利用word2vec訓(xùn)練文本詞向量，詞向量維度為300維，對(duì)訓(xùn)練文本加載訓(xùn)練好的詞向量模型進(jìn)行科技政策文本的向量表示，分別輸入上述3個(gè)模型中進(jìn)行分類實(shí)驗(yàn)，每個(gè)批次的訓(xùn)練樣本數(shù)及最大句子長度與BERT模型做相同設(shè)置，模型訓(xùn)練次數(shù)epochs均設(shè)置為20，dropout率均為0.5，損失函數(shù)采用交叉熵?fù)p失函數(shù)，激活函數(shù)采用softmax，最后對(duì)不同模型的分類結(jié)果進(jìn)行對(duì)比分析。

4 實(shí)驗(yàn)結(jié)果與對(duì)比分析

對(duì)于科技政策文本分類的效果采用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1值4個(gè)指標(biāo)進(jìn)行評(píng)價(jià)[27]，全部實(shí)驗(yàn)結(jié)果如表3所示。

表3 實(shí)驗(yàn)結(jié)果%

對(duì)比4種深度學(xué)習(xí)模型的實(shí)驗(yàn)結(jié)果可以看出，基于BERT模型的科技政策文本分類效果最好，各個(gè)指標(biāo)結(jié)果均優(yōu)于其他模型，除BERT模型之外，TextCNN模型在科技政策文本分類效果上也有較好的表現(xiàn)，各評(píng)價(jià)指標(biāo)也超過了90%，相比TextCNN模型，LSTM-Attention模型的分類結(jié)果則較差，而FastText模型的表現(xiàn)是最差的，由此得出模型分類結(jié)果為“BERR>TextCNN>LSTMAttention>FastText”，可以驗(yàn)證BERT模型在科技政策文本分類上的優(yōu)越性。此外，在每個(gè)模型上，將兩種算法提取出的政策關(guān)鍵詞與政策標(biāo)題拼接后作為訓(xùn)練文本進(jìn)行訓(xùn)練時(shí)，分類效果在總體上均有所提升，這種提升在FastText模型上最為明顯。將TFIDF算法提取出的政策關(guān)鍵詞與標(biāo)題進(jìn)行融合后的分類實(shí)驗(yàn)效果均為最佳，在BERT模型上融合標(biāo)題和TF-IDF關(guān)鍵詞進(jìn)行訓(xùn)練時(shí)的準(zhǔn)確率和F1值能夠達(dá)到94.41%和94.59%，是最佳實(shí)驗(yàn)，比僅使用標(biāo)題進(jìn)行訓(xùn)練時(shí)準(zhǔn)確率和F1值分別提升了1.21個(gè)百分點(diǎn)和1.38個(gè)百分點(diǎn)。由此得出訓(xùn)練文本的分類結(jié)果為“Title+TF-IDF>Title+TextRank>Title”，可以驗(yàn)證科技政策文本關(guān)鍵詞能夠作為重要信息指導(dǎo)模型進(jìn)行分類，TF-IDF關(guān)鍵詞比TextRank關(guān)鍵詞更具有指導(dǎo)意義。

在BERT模型中，采用標(biāo)題融合TF-IDF關(guān)鍵詞進(jìn)行訓(xùn)練時(shí)的分類效果是最佳的，每個(gè)政策類別的分類結(jié)果如圖2所示?？梢钥闯觯叭瞬胖С帧薄岸愘M(fèi)減免”和“目標(biāo)規(guī)劃”3個(gè)類別的分類效果最好，其F1值均超過了95%；“創(chuàng)新平臺(tái)建設(shè)”“知識(shí)產(chǎn)權(quán)”和“技術(shù)支持”3個(gè)類別次之；“法規(guī)管制”“金融支持”“資金支持”3個(gè)類別的分類效果較差，但各評(píng)價(jià)指標(biāo)在90%左右，其中“法規(guī)管制”分類效果較差，因?yàn)槠渥鳛槌Ｓ玫恼吖ぞ?，?jīng)常用于規(guī)范科技創(chuàng)新的各個(gè)領(lǐng)域，容易與其他政策類別相重合，出現(xiàn)分類錯(cuò)誤的可能性較大?？偟膩砜?，在BERT模型上，融合標(biāo)題與TF-IDF關(guān)鍵詞的方法能夠較為準(zhǔn)確地實(shí)現(xiàn)對(duì)科技政策文本的自動(dòng)分類。

圖2 各政策類別的分類結(jié)果

5 結(jié)論與展望

隨著信息技術(shù)的發(fā)展，政務(wù)大數(shù)據(jù)研究成為熱點(diǎn)方向。通過大數(shù)據(jù)技術(shù)賦能政策文本的查詢、匹配、推送等智能化服務(wù)的基礎(chǔ)步驟之一就是實(shí)現(xiàn)政策文本的自動(dòng)分類。本文為政策領(lǐng)域的文本分類提供了參考實(shí)例，在政策工具視角下提出一種基于BERT模型和關(guān)鍵詞提取技術(shù)相結(jié)合的科技政策文本分類方法，致力于大量科技政策文本的自動(dòng)分類，得出如下結(jié)論：首先，在FastText、LSTM-Attention、TextCNN、BERT 4個(gè)模型的對(duì)比實(shí)驗(yàn)中，驗(yàn)證了BERT模型在科技政策文本分類領(lǐng)域上的優(yōu)越性；然后，通過TF-IDF算法和TextRank算法對(duì)政策正文進(jìn)行關(guān)鍵詞提取，將關(guān)鍵詞與政策標(biāo)題進(jìn)行拼接融合后進(jìn)行分類訓(xùn)練有效提升了分類效果，證實(shí)了政策文本關(guān)鍵詞對(duì)科技政策文本分類具有指導(dǎo)意義，且TF-IDF關(guān)鍵詞的指導(dǎo)意義更大；最后，該方法實(shí)現(xiàn)了對(duì)科技政策文本較為準(zhǔn)確的自動(dòng)分類，最佳實(shí)驗(yàn)的準(zhǔn)確率和F1值能夠達(dá)到94.41%和94.59%，在“人才支持”“稅費(fèi)減免”和“目標(biāo)規(guī)劃”3個(gè)政策類別上的識(shí)別效果最好。然而本文依然存在一些不足之處，缺少對(duì)政策類別分布不均衡這一問題的考慮，以及如何較為完整地提取政策文本的關(guān)鍵內(nèi)容還有待深入研究。

政策文本自動(dòng)分類具有廣闊的發(fā)展空間和應(yīng)用前景，未來可以往兩個(gè)方面進(jìn)行拓展。一是制定政策分類標(biāo)準(zhǔn)體系，構(gòu)建專業(yè)的政策分類語料庫。目前分類標(biāo)準(zhǔn)不清晰和語料庫建設(shè)成本的局限，使政策文本自動(dòng)分類的維度是片面的、低實(shí)用性的，難以滿足政策分析者的需要，因此需要加強(qiáng)跨學(xué)科合作，注重分類標(biāo)準(zhǔn)與應(yīng)用背景的結(jié)合，構(gòu)建適用于政策文本分類的專用語料庫，為技術(shù)發(fā)展提供基礎(chǔ)條件。二是將深度學(xué)習(xí)與自然語言處理技術(shù)在政策文本分類領(lǐng)域做進(jìn)一步拓展。根據(jù)政策的文本特點(diǎn)，引入和開發(fā)新興技術(shù)，需要探究多任務(wù)和多標(biāo)簽的文本分類技術(shù)、長文本分類技術(shù)等在政策分類上的應(yīng)用，搭建智能政策服務(wù)平臺(tái)，以滿足政府、企業(yè)、高校院所和科技人才等創(chuàng)新主體對(duì)前沿政策信息的獲取與捕捉。