基于語義融合與模型蒸餾的農(nóng)業(yè)實體識別

李亮德 王秀娟 康孟珍 華凈 樊夢涵

摘要： 當前農(nóng)業(yè)實體識別標注數(shù)據(jù)稀缺，部分公開的農(nóng)業(yè)實體識別模型依賴手工特征，實體識別精度低。雖然有的農(nóng)業(yè)實體識別模型基于深度學習方法，實體識別效果有所提高，但是存在模型推理延遲高、參數(shù)量大等問題。本研究提出了一種基于知識蒸餾的農(nóng)業(yè)實體識別方法。首先，利用互聯(lián)網(wǎng)的海量農(nóng)業(yè)數(shù)據(jù)構建農(nóng)業(yè)知識圖譜，在此基礎上通過遠程監(jiān)督得到弱標注語料。其次，針對實體識別的特點，提出基于注意力的BERT層融合模型（BERT-ALA），融合不同層次的語義特征；結(jié)合雙向長短期記憶網(wǎng)絡（BiLSTM）和條件隨機場CRF，得到BERT-ALA+BiLSTM+CRF模型作為教師模型。最后，用BiLSTM+CRF模型作為學生模型蒸餾教師模型，保證模型預測耗時和參數(shù)量符合線上服務要求。在本研究構建的農(nóng)業(yè)實體識別數(shù)據(jù)集以及兩個公開數(shù)據(jù)集上進行實驗，結(jié)果顯示，BERT-ALA+BiLSTM+CRF模型的macro-F1相對于基線模型BERT+ BiLSTM+CRF平均提高1%。蒸餾得到的學生模型BiLSTM+CRF的macro-F1相對于原始數(shù)據(jù)訓練的模型平均提高3.3%，預測耗時降低了33%，存儲空間降低98%。試驗結(jié)果驗證了基于注意力機制的BERT層融合模型以及知識蒸餾在農(nóng)業(yè)實體識別方面具有有效性。

關鍵詞： 遠程監(jiān)督；農(nóng)業(yè)知識圖譜；農(nóng)業(yè)問答系統(tǒng)；實體識別；知識蒸餾；深度學習；BERT；雙向長短期記憶網(wǎng)絡

中圖分類號： TP391??????????? 文獻標志碼： A???????????? 文章編號： 202012-SA001

引用格式：李亮德, 王秀娟, 康孟珍, 華凈, 樊夢涵. 基于語義融合與模型蒸餾的農(nóng)業(yè)實體識別[J]. 智慧農(nóng)業(yè)(中英文), 2021, 3 (1): 118-128.

Citation:LI Liangde, WANG Xiujuan, KANG Mengzhen, HUA Jing, FAN Menghan. Agricultural named entity recognition based on semantic aggregation and model distillation[J]. Smart Agriculture, 2021, 3 (1): 118-128. (

1? 引? 言

隨著農(nóng)業(yè)互聯(lián)網(wǎng)的發(fā)展與農(nóng)業(yè)從業(yè)人員的新老更替，需要進行農(nóng)業(yè)知識的快速傳播和應用，以解決農(nóng)業(yè)技術人員不足的問題。目前，互聯(lián)網(wǎng)上的農(nóng)業(yè)知識技術問答主要由人工專家來完成，這樣不僅效率低，而且受技術專家資源稀缺的限制。如果計算機能夠理解用戶輸入的農(nóng)業(yè)問題，通過建立農(nóng)業(yè)知識圖譜來進行智能回答，將大大提高農(nóng)業(yè)知識問答效率。

農(nóng)業(yè)智能問答系統(tǒng)包括信息抽取［1］、知識圖譜構建、問句理解和基于知識庫的問答四個環(huán)節(jié)。信息抽取用于理解問題并基于農(nóng)業(yè)知識圖譜回答問題，對于農(nóng)業(yè)智能問答系統(tǒng)至關重要。命名實體識別［2］是指識別出文本中的實體指稱項及其類別，是自然語言處理中一項基礎任務。基于農(nóng)業(yè)實體識別可抽取文本中關鍵信息，構建農(nóng)業(yè)知識圖譜，實現(xiàn)農(nóng)業(yè)知識結(jié)構化，進而基于知識圖譜進行農(nóng)業(yè)知識問答?；ヂ?lián)網(wǎng)上儲存著大量的非結(jié)構化農(nóng)業(yè)文本，如何將這些雜亂無章的農(nóng)業(yè)文本轉(zhuǎn)化成結(jié)構化的農(nóng)業(yè)知識，構建農(nóng)業(yè)知識圖譜，是實現(xiàn)農(nóng)業(yè)智能問答系統(tǒng)的重要環(huán)節(jié)。

農(nóng)業(yè)知識數(shù)據(jù)特別是標注數(shù)據(jù)難以獲取，有關農(nóng)業(yè)知識圖譜構建以及信息抽取的研究相對較少。已有研究的農(nóng)業(yè)實體識別方案往往需要大量的訓練數(shù)據(jù)訓練，因此應用這些方案時，需要人工標注實體識別數(shù)據(jù)，成本很高。使用的模型也存在需要手工提取特征、實體識別效果不佳等問題；或者沒有考慮實際線上對預測耗時、模型大小的要求，停留在實驗驗證階段。李貫峰和張鵬［3］使用詞典來實現(xiàn)實體識別，構建了基于農(nóng)業(yè)本體的web知識抽取模型，因為web知識庫難以覆蓋所有的農(nóng)業(yè)實體，因此存在著召回率低的缺點。王春雨和王芳［4］用條件隨機場［5］來進行命名實體識別。但這種方法需要手工構造特征且模型容量低，難以完成復雜的實體識別任務。印度的Malarkodi等［6］應用了條件隨機場模型，輸入一些句法詞匯特征，同樣存在依賴手工構造特征的問題。劉曉?。?］使用了基于密集連接的雙向長短記憶網(wǎng)絡（Dense Connected Bi-directional Long Short-Term Memory，DC-LSTM）+ （Conditional Random Field，CRF）架構進行面向農(nóng)業(yè)領域的命名實體識別研究。由于這是一種多層的密集連接的結(jié)構，推理耗時長、模型參數(shù)量多，難以在線上進行實際使用。Biswas等［8］利用WordNet［9］進行農(nóng)業(yè)實體識別，該方法本質(zhì)上與詞典匹配差別不大，但是利用WordNet詞的相關性，擴充了詞典。

目前，無論是基于條件隨機場等傳統(tǒng)方法，還是基于深度學習［10］的實體識別模型，都是數(shù)據(jù)驅(qū)動的，需要海量的標注數(shù)據(jù)作為支撐。在農(nóng)業(yè)領域缺乏大量現(xiàn)成的標注數(shù)據(jù)情況下，直接套用通用領域的實體識別方案難以奏效。因此，本研究提出了一種基于遠程監(jiān)督［11］的農(nóng)業(yè)領域數(shù)據(jù)標注方案，以解決農(nóng)業(yè)實體識別標注數(shù)據(jù)稀缺的問題。

遠程監(jiān)督的思想由Mintz于第47屆計算語言協(xié)會年會上（Association for Computational Linguistics）上首次提出，通過將知識庫與文本對齊來自動構建大量訓練數(shù)據(jù)，減少模型對人工標注數(shù)據(jù)的依賴，增強模型跨領域適應能力，被大量運用在關系抽取領域［12］。遠程監(jiān)督提出的動機是解決關系抽取標注數(shù)據(jù)難以獲取的問題，而農(nóng)業(yè)實體識別數(shù)據(jù)存在標注數(shù)據(jù)難以獲取的問題，因此本文將遠程監(jiān)督的思想遷移到實體識別領域。通用領域具有一詞多義性質(zhì)，在通用領域給遠程監(jiān)督帶來很大的噪聲。但是，在農(nóng)業(yè)等專有領域，雖然存在漏標注的情況，但是詞的語義固定，整體上噪聲比較小，因此遠程監(jiān)督是可行的方案，可以很好地規(guī)避農(nóng)業(yè)領域缺乏標注數(shù)據(jù)的問題。

本研究采用目前在自然語言處理領域流行的大規(guī)模預訓練模型基于轉(zhuǎn)換器的雙向編碼表征（Bidirectional Encoder Representations from Transformers，BERT）［13］，一方面，預訓練模型在海量互聯(lián)網(wǎng)數(shù)據(jù)上的訓練，模型容量大，能夠擬合復雜的實體識別任務；另一方面，農(nóng)業(yè)實體識別標注數(shù)據(jù)比較稀缺，而預訓練模型基于大規(guī)模語料訓練的，包含了很多基礎的語言知識，在大規(guī)模預訓練模型的基礎上進行微調(diào)，農(nóng)業(yè)實體識別模型也包含了這部分基礎的語言知識。此外，本研究還結(jié)合農(nóng)業(yè)實體識別的特點，提出了基于注意力的層融合機制（Attention-Based Layer Aggregation）對BERT做出改進。

在線問答系統(tǒng)需要時間和空間復雜度低的模型。前面提出了基于BERT的模型，但是BERT因為參數(shù)量大導致推理耗時高，很難滿足實時推理需求。模型蒸餾［14］是將訓練好的復雜模型推廣“知識”能力遷移到一個結(jié)構更為簡單的網(wǎng)絡中，或者通過簡單的網(wǎng)絡去學習復雜模型中的“知識”。其中，訓練好的復雜模型稱為教師模型，而學習的簡單模型稱為學生模型。本研究考慮到模型上線對于預測耗時和模型大小的要求，用BiLSTM + CRF［15］作為學生模型，蒸餾前面得到的基于BERT的系列模型。

2? 研究方法

2.1整體架構

本研究提出的農(nóng)業(yè)實體識別架構主要包括了弱標注［16］語料構建模塊、模型訓練模塊以及線上推理模塊（圖1）。

其中，弱標注語料構建模塊采用了遠程監(jiān)督的思想，分為兩個階段：一是農(nóng)業(yè)知識圖譜構建階段，爬取互聯(lián)網(wǎng)的農(nóng)業(yè)資源，過濾得到農(nóng)業(yè)實體，構建農(nóng)業(yè)知識圖譜；二是數(shù)據(jù)弱標注階段，通過前向最大匹配標注出文本里面的農(nóng)業(yè)實體，用于模型訓練。其中，模型訓練模塊又包含了兩個階段：一是教師模型訓練階段，用弱標注數(shù)據(jù)去訓練本文提出的教師模型；二是模型蒸餾階段［14］，用參數(shù)量少的模型作為學生模型蒸餾教師模型。線上推理模塊接受用戶端發(fā)送的文本，合并詞典、學生模型的結(jié)果，返回給用戶端。

2.2數(shù)據(jù)來源

目前農(nóng)業(yè)領域缺乏開源的中文農(nóng)業(yè)知識圖譜和農(nóng)業(yè)實體識別語料。互動百科、百度百科都是開源的中文百科網(wǎng)站，包含了大量農(nóng)業(yè)方面的實體和知識，很多農(nóng)業(yè)網(wǎng)站上相關的農(nóng)業(yè)知識也與百科網(wǎng)站上相同，不同的百科網(wǎng)站里面農(nóng)業(yè)方面的知識類似。考慮到互動百科比其他百科類網(wǎng)站以及開源的農(nóng)業(yè)信息網(wǎng)站更容易爬取，本研究選擇爬取互動百科數(shù)據(jù)，建立農(nóng)業(yè)知識圖譜，用于構建農(nóng)業(yè)知識圖譜以及標注實體識別訓練語料。將互動百科數(shù)據(jù)庫下的農(nóng)業(yè)實體對應的文檔進行分句，得到農(nóng)業(yè)實體識別語料。

2.3基于遠程監(jiān)督的農(nóng)業(yè)命名實體識別語料標注

將遠程監(jiān)督思想用在實體識別領域，是假設一個句子中的某個詞與知識圖譜里面的某個實體對應的名稱或者別稱相同，那么這個詞就對應知識圖譜里面的實體。遠程監(jiān)督的思想存在兩方面的問題：首先，對于一詞多義的實體會存在標注錯誤，例如把Apple手機的“蘋果”對應到水果的“蘋果”，但是一詞多義在農(nóng)業(yè)等專業(yè)領域的文本里面是可以忽略的；其次，對于不在農(nóng)業(yè)知識圖譜里面的實體，存在漏標注。通過遠程監(jiān)督方法對文本進行弱標注可以分為兩個階段：一是爬取互聯(lián)網(wǎng)上多人協(xié)作的寫作系統(tǒng)（Wiki）建立農(nóng)業(yè)知識圖譜，通過對Wiki本體的標簽信息應用規(guī)則匹配，推斷出實體的類型，過濾得到實體類型為作物、病害、農(nóng)藥等的實體，構建農(nóng)業(yè)知識圖譜；二是對語料進行弱標注，將農(nóng)業(yè)知識圖譜的實體用前綴樹［17］保存起來，作為詞典，對文本中的句子進行前向最大匹配，從而得到實體弱標注的結(jié)果。例如句子“怎樣進行番茄分苗”通過前向最大匹配，就可以得到番茄兩字對應農(nóng)業(yè)知識圖譜里面“番茄”這個實體，番茄實體的類別是作物（crop）。進而生成標簽O（“怎”） O（“樣”） O（“進”） O（“行”） B_crop （“番”） I_crop （“茄”）O（“分”） O（“苗”）。其中，O （other）表示非實體，B（begin）表示實體開始位置，I（interior）表示實體內(nèi)部以及結(jié)束位置，crop表示實體類型為作物類型。B_crop I_crop表示類型為作物的實體，分別對應于實體的開始和結(jié)束的位置，在句子中為第4和第5個詞（“番茄”）。

2.4教師模型

深度學習模型+條件隨機場［15,18,19］是命名實體識別領域的主流模型［15］。深度學習模型指具有BiLSTM［20］和BERT［13］一類的模型，用于提取文本的語義特征，得到詞到每個實體類別的概率；條件隨機場用于計算各個實體類別的轉(zhuǎn)移概率，結(jié)合生成概率和轉(zhuǎn)移概率，進行end2end的訓練。

2.4.1BERT模型

BERT模型是谷歌AI團隊于2018年發(fā)布的預訓練模型，在11種不同自然語言處理驗證任務中創(chuàng)造了最佳成績。簡單來說，BERT在大量文本語料上使用自監(jiān)督的方式訓練了一個通用的語言理解模型，然后在這個模型上設置輕量級的下游任務接口去執(zhí)行特定的自然語言處理任務。BERT模型結(jié)構如圖2所示。

BERT模型主要包含三個部分：輸入層、多轉(zhuǎn)換器（transformer encoder），以及輸出層。輸入層由詞嵌入（token-embedding）、位置嵌入（position-embedding）和段嵌入（segment-embedding）組成。詞嵌入是將文本分為詞，將詞轉(zhuǎn)化為向量；位置嵌入是將詞的位置信息編碼為特征向量，從而讓模型獲取到詞的位置信息；段嵌入用于區(qū)分模型輸入的兩個句子。Transformer encoder［21］通過自注意力機制（self attention），實現(xiàn)詞與詞的相互交互，獲得句子的語義表征。輸出層在句子的語義表征基礎上，根據(jù)下游任務來定具體的結(jié)構。BERT訓練分為預訓練階段和微調(diào)階段兩個階段。在預訓練階段采用自監(jiān)督的訓練，主要任務是Masked Language Model，也即隨機掩蓋句子里面的某些詞，預測這些詞，這個過程無需標注語料，可以直接通過互聯(lián)網(wǎng)上的海量文本獲?。辉谖⒄{(diào)階段，針對特定任務，設置不同的輸出層和目標函數(shù)，利用少量標注數(shù)據(jù)進一步更新模型參數(shù)，即可完成針對特定領域的模型訓練。

2.4.2長短記憶網(wǎng)絡

長短記憶（Long Short-Term Memory，LSTM）網(wǎng)絡［20］用門機制去改善循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）的梯度消失問題，雙向循環(huán)神經(jīng)網(wǎng)絡（Bi-directional Long Short-Term Memory，BiLSTM）由兩個單向的LSTM網(wǎng)絡構成，兩個網(wǎng)絡中一個隨時間正向傳播，另一個隨時間逆向傳播。對于文本序列而言，BiLSTM能有效的捕獲上下文信息，在實體識別等序列標注任務上有效。

2.4.3條件隨機場

條件隨機場（Conditional Random Field，CRF）模型［5］是一種概率無向圖模型，可以解決序列標注任務。給定觀察序列X的條件下求Y，Y隱狀態(tài)序列的概率為P（Y|X）。在命名實體識別上使用的CRF主要是CRF線性鏈，建模的數(shù)學公式下所示。

P(y|x)=1/(Z(x)) exp ??????????????????????????? (∑_(k=1)^K?〖w_k f_k (y,x〗)) （1）

Z(x)=∑_y?〖exp∑_(k=1)^K?w_k 〗 f_k (y,x)? （2）其中，f_k是特征函數(shù)；w_k是特征函數(shù)的權重；Z(x)是歸一化因子。模型在預測的時候使用維特比算法，這是一種動態(tài)規(guī)劃算法，在給定觀察序列X和參數(shù)的條件下，求出最大的標記序列Y的概率。

2.4.4深度學習模型+條件隨機場

深度學習模型本質(zhì)上是把深度模型視為文本特征提取器，得到文本特征后，通過全連接層后得到詞到實體類別的得分，記為P，輸入到CRF層中。CRF層包含一個轉(zhuǎn)移矩陣A，表示兩個標簽的轉(zhuǎn)移得分。模型對句子x標簽等于y打分，打分經(jīng)過softmax后得到概率，表達式如下所示。

score(x,????????????????????????????????????? y)=∑_(i=1)^n?P_(i,???????????????????????????? ??????? y_i ) +∑_(i=1)^(n+1)?A_(y_(i-1),????????????????????????????????????? y_i ) （3）

P(y|x)=(exp ?????????????????????????????????? (score(x,??????????????????????????????????????? ??? y)))/(∑_(y^')?〖exp ?????????????????????????????????????? (score(x,??????????????????? ??????????????????????????? y^' ))〗) （4）

可以看出，整個句子的打分等于各個位置的打分之和，每個位置的打分由深度學習模型的輸出P以及轉(zhuǎn)移得分A決定。模型訓練時，最大化對數(shù)損失函數(shù)即可。

深度模型可以是BERT、BiLSTM、空洞卷積神經(jīng)網(wǎng)絡（Iterated Dilated Convolutional Neural Network，IDCNN）等。目前在實體識別領域用的最多的是BERT和BiLSTM。BiLSTM+CRF 2016年由Dong等［22］提出，用于通用領域命名實體識別；BERT+CRF由Souza等［19］提出，用于葡萄牙語的命名實體識別；但是BERT的transformer的自注意力機制會破壞BERT的相對位置信息［23］。為解決BERT相對位置信息抽取能力不足的問題，一種方法是用BERT+BiLSTM［22］作為深度模型，BERT+BiLSTM+CRF由Jiang等［24］提出，用于通用領域的命名實體識別。BERT起到提供動態(tài)詞向量的作用，BiLSTM用于建模相對位置信息。因此，本研究設置了三種基線模型BiLSTM + CRF［22］、BERT + CRF［19］和BERT + BiLSTM + CRF［24］來進行農(nóng)業(yè)實體識別實驗，進而選擇出試驗效果較好的模型作為教師模型，蒸餾輕量化的學生模型。這三種基線模型在其他領域都被驗證有效。

2.4.5基于注意力的BERT層融合模型機制

實體識別任務對于底層的語法、語義特征需求比較大，對于上層語義特征的需求反而沒有那么強烈。BERT是一個多層transformer［21］的特征提取器，BERT-base模型一共包含了12層。多層transformer一方面減慢模型的推理速度。另一方面，Jawahar等［25］在ACL 2019發(fā)表的論文指出，BERT的低層網(wǎng)絡學習到了短語級別的信息表征，BERT的中層網(wǎng)絡學習到了豐富的語言學特征，而BERT的高層網(wǎng)絡則學習到了豐富的語義信息特征。對于通用領域的實體識別而言，模型專注于頂層語義特征而忽視了實體識別任務亟需的底層特征。對于垂直領域，如農(nóng)業(yè)的實體識別而言，判別實體的邊界比判別實體的類別更難，因為垂直領域?qū)嶓w含義相對通用領域的判別容易一些。因此底層特征包含的短語級別的信息表征對于判別實體邊界更重要，僅僅考慮頂層的高層語義信息顯然不合理。另外一方面，本研究遠程監(jiān)督得到的標注數(shù)據(jù)的量有限，直接取高層的信息容易導致過擬合。因此，本研究提出一種基于注意力的BERT層融合機制。BERT模型包含多層transformer encoder，不同大小的BERT模型transformer encoder層數(shù)不同，一般有12、24、48三種，將BERT的層數(shù)記為L，做基于注意力機制的層融合，其中α和γ都是可訓練的參數(shù)，如公式（5）和公式（6）所示。

h=γ∑_(i=1)^N?〖w_i h_i 〗 （5）

w_i=(exp ????????????????????????????????? (α_i))/(∑exp ???????????????????????????????? (α_j))??? （6）其中，h為BERT模型中間層輸出；w為每一層的權重。

本研究將基于注意力的BERT層融合模型命名為BERT-ALA（Attention Based Layer Aggregation for BERT），后面的試驗統(tǒng)一用這個名稱，此機制可以應用在任意基于BERT的模型中。將BERT-ALA應用在BERT+BiLSTM+CRF中，得到BERT-ALA+BiLSTM+CRF，主要結(jié)構如圖3所示。BERT模型不同層的輸出通過一組可以學習的權重參數(shù)加權得到最后的特征表示，再送入后續(xù)的BiLSTM以及CRF里面進行實體識別。

2.5模型蒸餾

模型蒸餾［14］就是將訓練好的復雜模型推廣能力“知識”遷移到一個結(jié)構更為簡單的網(wǎng)絡中，或者通過簡單的網(wǎng)絡去學習復雜模型中的“知識”。前面提出了基于BERT的幾種模型，但是BERT因為參數(shù)量大導致推理耗時高，很難滿足實時推理需求。因此，本研究用BiLSTM+CRF作為學生模型，蒸餾前面提出的教師模型。相對于傳統(tǒng)模型蒸餾只是蒸餾最后一層的輸出而言，本研究還蒸餾了教師模型中間的BiLSTM層。蒸餾的損失函數(shù)一共分為3項，目標函數(shù)表達如下。

(loss=α_1 MSEloss(h_BiLSTM (T),h_BiLSTM (S) )+@α_2 CEloss(h_CRF (T),h_CRF (S) )+)

α_3 CRFloss(y_true,h_CRF (S))? （7）其中，S表示學生模型；T表示教師模型； 表示model的layer層（BiLSTM層，CRF層）輸出。因此，蒸餾損失的3項分別表示為：（1）學生模型BiLSTM層輸出擬合教師模型BiLSTM層的輸出，擬合損失是平均平方誤差MSE；（2）學生模型CRF層輸出的概率分布，與教師模型CRF層輸出的概率分布求交叉熵；（3）原來的CRF損失［15］。其中，由CRF層輸出概率與真實的實體識別標簽計算得到。

2.6模型推理

在推理階段，接受用戶端文本輸入后，包含三個階段的流程。

（1）通過詞典匹配得到句子里面的農(nóng)業(yè)類型實體S1。

（2）通過學生模型預測得到句子里面的農(nóng)業(yè)實體S2。

（3）模型和詞典得到的標注結(jié)果用求并集的方法聚合，返回給用戶端；對于在S2而不在S1中的實體，是詞典中還不存在的，返回人工專家復查，得到新詞加入詞典，以提高詞典的覆蓋率。

3? 試驗驗證與分析

3.1評價指標

試驗指標采用精確匹配模式，被實體識別模型識別出來的稱為mention，mention和ground truth里面的實體都表示為（start，end，type）的形式，start和end表示mention或者entity的邊界，type表示類型。對于實體識別領域來說，TP、FP和FN的定義如下。

（1）True Positive（TP）：農(nóng)業(yè)實體識別模型識別出來的mention，與ground truth里面的實體能對應上；

（2）False Positive（FP）：農(nóng)業(yè)實體識別模型識別出來的mention，與ground truth里面的實體不能對應上，這里也包含了邊界識別正確，但是類型識別錯誤的情況；

（3）False Negative（FN）：ground truth里面存在的entity，沒有被農(nóng)業(yè)實體識別模型識別出來。

根據(jù)上面定義的TP、FP和FN可以計算Precision、Recall和F1分數(shù)值，分別表示準確率、召回率以及F1分數(shù)值如下。

Precison=TP/(TP+FP)?? （8）

Recall=TP/(TP+FN)? （9）

F1= (2×Precision×Recall)/(Precision+Recall)??? （10）

實體包含多種類型，不同類型的實體分別計算實體識別的F1，然后計算整體的F1，整體F1采用macro-F1［26］的方式計算，是各個類別F1的平均，公式如下所示。

macroF1= (∑_(i=1)^c?〖F1_i 〗)/2?? （11）

3.2試驗設計

本研究選取了農(nóng)業(yè)和醫(yī)學兩個領域，總共三個數(shù)據(jù)集來進行實驗驗證。選取醫(yī)學領域的原因是因為醫(yī)學領域與農(nóng)業(yè)領域一樣，都屬于特定領域，另外，醫(yī)學領域?qū)嶓w識別相對農(nóng)業(yè)領域數(shù)據(jù)研究的比較多，容易獲取開源的實驗識別標注數(shù)據(jù)。第一個數(shù)據(jù)集是本研究構建的數(shù)據(jù)集，后面兩個數(shù)據(jù)集是公開的數(shù)據(jù)集。

數(shù)據(jù)一：從互動百科獲取的農(nóng)業(yè)領域文本，按照句子進行切分。采用基于遠程監(jiān)督的方式構建訓練集，驗證集由人工標注。其中包含作物實體4662個，疾病實體695個。訓練集和測試集的比例是8:2，訓練集有10,277條數(shù)據(jù)，測試集有2532條數(shù)據(jù)。數(shù)據(jù)集已經(jīng)在數(shù)據(jù)建模和數(shù)據(jù)分析競賽平臺kaggle上開源（https://www.kaggle.com/supportvectordevin/agriculture-pedia.）。

數(shù)據(jù)二：來源于訊飛開放平臺的“農(nóng)業(yè)問答數(shù)據(jù)處理挑戰(zhàn)賽”里面的實體識別任務（http://challenge.xfyun.cn/topic/info?type=agriculture.）［25］，標注出農(nóng)作物、病蟲害和農(nóng)藥的命名實體標簽。數(shù)據(jù)集包含病蟲害實體100,660個，農(nóng)藥實體250,740，作物實體5796個。訓練集包含15,624個樣本，測試集包含3906個樣本。

數(shù)據(jù)三：醫(yī)學領域數(shù)據(jù)，來源于ccks 2017的task 2，面向電子病歷的命名實體識別（Clinical Named Entity Recognition，CNER）（https://github.com/zjy-ucas/ChineseNER）。即對于給定的一組電子病歷文檔（純文本文件），任務的目標是識別并抽取出與醫(yī)學臨床相關的實體名字。數(shù)據(jù)集包含癥狀和體征實體12,821個、檢查和檢驗實體17,655個、疾病和診斷實體4560個、治療實體4940個、身體部位實體17,556個。訓練集包含10,787個樣本，測試集包含2697個樣本。

模型超參數(shù)方面，LSTM+CRF的詞向量采用fast text Chinese word embedding［27］，LSTM隱含層數(shù)量是128。訓練方面，采用Adam優(yōu)化器［28］，BERT層學習速率為10-5，其他層為10-3，batch size是32，每個batch采用batch內(nèi)部最長的句子做padding，以減少內(nèi)存消耗，但是最長截斷長度設置為64。

3.3基線模型對比驗證

在三個數(shù)據(jù)集上，測試了三種基線模型的macro-F1，結(jié)果如表1所示。

分析驗證結(jié)果得到三個結(jié)論。

（1）關于數(shù)據(jù)一的結(jié)果表明，遠程監(jiān)督的訓練集訓練的模型在人工標注的測試集上表現(xiàn)良好，證明了通過遠程監(jiān)督構建數(shù)據(jù)集的有效性。

（2）引入大規(guī)模預訓練模型BERT相對于BiLSTM能顯著提高模型的表現(xiàn)；相對于數(shù)據(jù)一的macro-F1提高7.75%，數(shù)據(jù)二的marco-F1提高13.39%，數(shù)據(jù)三是醫(yī)療實體識別數(shù)據(jù)，提升相對小一些，為1.64%。

（3）在BERT后面加入BiLSTM，能在一定程度上緩解BERT相對位置捕獲不強的缺陷，在數(shù)據(jù)一上，macro-F1相對于BERT+CRF提高了0.71%；在數(shù)據(jù)二上，提高了0.36%；在數(shù)據(jù)三上，提高了0.69%。

3.4基于注意力的BERT層融合機制有效性驗證

針對BERT+CRF和BERT+BiLSTM+CRF兩個BERT系模型，分別用層融合機制改進BERT，驗證結(jié)果是否對實體識別結(jié)果有提高。結(jié)果如表2所示。

驗證結(jié)果表明，基于注意力的層融合機制在三個數(shù)據(jù)集上都能提高實體識別的效果。說明層融合機制在實體識別領域具有一定普適性。BERT-ALA+CRF和BERT-ALA+BiLSTM+CRF相對于基準模型分別有大約1%的macro-F1的提高。

BERT-ALA+BiLSTM+CRF在所有模型里面的效果最好，所以被選擇為教師模型，指導蒸餾部分的學生模型學習。本研究主要是將BERT-ALA+BiLSTM+CRF應用在農(nóng)業(yè)實體識別領域。

3.5模型蒸餾效果驗證

通過模型蒸餾的方法得到的教師模型是BERT-ALA+BiLSTM+CRF，學生模型是BiLSTM+CRF。與教師模型相比，學生模型的時間和空間復雜度都有改善。本研究用預測1000個樣本的平均耗時表示模型的預測耗時，用于比較學生模型時間復雜度的改善；模型大小用模型占據(jù)的存儲空間表示，用于驗證學生模型空間復雜度的提高。由于這兩個指標與數(shù)據(jù)無關，因此本研究在3個數(shù)據(jù)進行實驗后取平均值。結(jié)果表明，蒸餾后的學生模型相對于教師模型每預測千個樣本的耗時減少了33%，模型大小減少了98%，時間復雜度和空間復雜度都有了很大的改善，更加適用于線上預測場景。

本研究測試了蒸餾得到學生模型相對于用標注數(shù)據(jù)訓練的同等模型的效果提高，maro-F1指標的對比結(jié)果如表3所示。

驗證結(jié)果表明，采用模型蒸餾的訓練方法，相對于訓練數(shù)據(jù)訓練的同等模型，學生模型學到了更多的暗知識。蒸餾得到的學生模型在數(shù)據(jù)一上，macro-F1提高了3.1%。在數(shù)據(jù)二上，提高了4.09%，在數(shù)據(jù)三上，提高了2.82%。

3.6學生模型效果展示

本研究主要應用場景是農(nóng)業(yè)實體識別，因此以番茄為例，選取了幾個番茄的百問百答［27］問句以及回答，驗證最終線上蒸餾的學生模型效果，句子及其識別的結(jié)果如下。

提問1：番茄病毒病癥狀及防治方法是什么？

識別結(jié)果：｛'mention':'番茄病毒病', 'type':'disease', 'offset':0｝

提問2：番茄筋腐病是怎樣產(chǎn)生的，如何防止？

識別結(jié)果：｛'mention':'番茄筋腐病', 'type'：'disease', 'offset':0｝

提問3：癥狀：番茄細菌性斑疹病主要危害葉、莖、花、葉柄和果實。

識別結(jié)果：｛'mention':'番茄細菌性斑疹病', 'type':'disease', 'offset':3｝

上述提問1、2和3的實體都能完整識別出來。其中，提問2和3中的實體“番茄筋腐病”和“番茄細菌性斑疹病”都沒有出現(xiàn)在詞典中，也就是不存在于標注數(shù)據(jù)中，但是模型能識別成功，驗證了模型具有良好的泛化性能。

4? 結(jié)? 論

本研究提出用遠程監(jiān)督構建農(nóng)業(yè)實體識別數(shù)據(jù)，標注數(shù)據(jù)存在漏標注的問題。基于漏標注的句子遠比標注正確的句子少的假設，解決的思路是用弱標注的數(shù)據(jù)訓練一個初級版本的實體識別模型，再用實體識別模型選擇訓練集里面一些置信度低的結(jié)果，返回來進行校正，最后用校正后的數(shù)據(jù)對基礎版本模型進行微調(diào)。

（1）主要研究了農(nóng)業(yè)領域的實體識別問題。針對農(nóng)業(yè)領域缺乏實體識別標注數(shù)據(jù)的問題，提出爬取互聯(lián)網(wǎng)開源數(shù)據(jù)庫“互動百科”構建農(nóng)業(yè)知識圖譜，遠程監(jiān)督實現(xiàn)實體識別數(shù)據(jù)弱標注的方案。

（2）針對過往研究使用的模型識別效果不佳、依賴手工特征的問題，結(jié)合農(nóng)業(yè)實體識別的特點，提出了基于注意力層融合機制的BERT-ALA+BiLSTM+CRF模型，在3個數(shù)據(jù)集上都取得了最優(yōu)的效果，驗證了層融合機制的有效性。本研究的目的主要是將這個模型應用在農(nóng)業(yè)實體識別領域。

（3）針對基于BERT的模型預測耗時長的問題，用BiLSTM+CRF模型作為學生模型提出的蒸餾BERT-ALA+BiLSTM+CRF模型，大大降低了線上模型的時間復雜度和空間復雜度，使得訓練后的模型在移動端應用成為可能。

本研究提出的實體識別方法在解決農(nóng)業(yè)領域?qū)嶓w識別問題方面實現(xiàn)了農(nóng)業(yè)智能化究方法，還可以拓展應用到其他標注數(shù)據(jù)缺失的垂直領域?qū)嶓w識別場景，如醫(yī)學、教育、軍事等。

致? 謝

感謝中國農(nóng)業(yè)科學院蔬菜與花卉研究所賀超興研究員為本研究提供意見。

參考文獻：

[1]??? COWIE J, LEHNERT W. Information extraction[J]. Communications of the ACM, 1996, 39(1): 80-91.

[2]??? LAMPLE G, BALLESTEROS M, SUBRAMANIAN S, et al. Neural architectures for named entity recognition[C]// The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: Association for Computational Linguistics, 2016: ID N16-1030.

[3]??? 李貫峰, 張鵬. 一個基于農(nóng)業(yè)本體的 Web 知識抽取模型[J]. 江蘇農(nóng)業(yè)科學, 2018, 46(4): 201-205.LI G, ZHANG P. A web knowledge extraction model based on agricultural ontology[J]. Jiangsu Agricultural Sciences, 2018, 46 (4): 201-205.

[4]??? 王春雨, 王芳. 基于條件隨機場的農(nóng)業(yè)命名實體識別研究[J]. 河北農(nóng)業(yè)大學學報, 2014, 37(1): 132-135.WANG C, WANG F. Research on agricultural named entity recognition based on conditional random field[J]. Journal of Hebei Agricultural University, 2014, 37 (1): 132-135.

[5]??? TSENG H, CHANG P-C, ANDREW G, et al. A conditional random field word segmenter for sighan bakeoff 2005[C]// Proceedings of the fourth SIGHAN workshop on Chinese language Processing. San Diego, USA: Association for Computational Linguistics, 2005.

[6]??? MALARKODI C, LEX E, DEVI S L J. Named entity recognition for the agricultural domain[J]. Research in Computing Science, 2016, 117(1): 121-132.

[7]??? 劉曉俊. 面向農(nóng)業(yè)領域的命名實體識別研究[D]. 合肥: 安徽農(nóng)業(yè)大學, 2019.LIU X. Research on named entity recognition for agriculture[D]. Hefei: Anhui Agricultural University, 2019.

[8]??? BISWAS P, SHARAN A, VERMA S. Named entity recognition for agriculture domain using word net[J]. IInternational Journal of Computer & Mathematical Sciences 2016, 5(10): 29-36.

[9]??? MILLER G A. WordNet: An electronic lexical database[M]. Massachusetts: MIT press, 1998.

[10]? LI J, SUN A, HAN J, et al. A survey on deep learning for named entity recognition[J]. IEEE Transactions on Knowledge Data Engineering, 2020 (99): 1.

[11]? MINTZ M, BILLS S, SNOW R, et al. Distant supervision for relation extraction without labeled data[C]// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. San Diego, USA: Association for Computational Linguistics, 2009: 1003-1011.

[12]? ZENG D, LIU K, CHEN Y, et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]// Proceedings of the 2015 conference on empirical methods in natural language processing. Lisbon, Portugal: Association for Computational Linguistics, 2015: 1753-1762.

[13]? DEVLIN J, CHANG M-W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: Association for Computational Linguistics, 2018.

[14]? POLINO A, PASCANU R, ALISTARH D. Model compression via distillation and quantization[EB/OL]. 2018. arXiv:1802.05668.

[15]? HUANG Z, XU W, YU K. Bidirectional LSTM-CRF models for sequence tagging[EB/OL]. 2015. arXiv:1508.01991.

[16]? ZHOU Z. A brief introduction to weakly supervised learning[J]. National Science Review, 2018, 5(1): 44-53.

[17]? 米嘉. 大規(guī)模中文文本檢索中的高性能索引研究[D]. 北京: 中國科學院, 2005.MI J. Research on high performance index in large scale Chinese text retrieval[D]. Beijing: Chinese Academy of Sciences, 2005.

[18]? LUO L, YANG Z, YANG P, et al. An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition[J]. Bioinformatics, 2018, 34(8): 1381-1388.

[19]? SOUZA F, NOGUEIRA R, LOTUFO R. Portuguese named entity recognition using BERT-CRF[EB/OL]. 2019. arXiv:1909.10649.

[20]? GREFF K, SRIVASTAVA R K, KOUTN?K J, et al. LSTM: A search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 28(10): 2222-2232.

[21]? VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems. New York, US: Carran Associates Inc., 2017: 6000-6010.

[22]? DONG C, ZHANG J, ZONG C, et al. Character-based LSTM-CRF with radical-level features for Chinese named entity recognition[C]//International Conference on Computer Processing of Oriental Languages National CCF Conference on Natural Language Processing and Chinese Computing. Berlin, German: Springer, 2016: 239-250.

[23]? YAN H, DENG B, LI X, et al. Tener: Adapting transformer encoder for name entity recognition[EB/OL]. 2019. arXiv:1911.04474.

[24]? JIANG S, ZHAO S, HOU K, et al. A BERT-BiLSTM-CRF model for chinese electronic medical records named entity recognition[C]// 2019 12th International Conference on Intelligent Computation Technology and Automation. Piscataway, New York, USA: IEEE, 2019: 166-169.

[25]? JAWAHAR G, SAGOT B, SEDDAH D. What does BERT learn about the structure of language?[C]// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. San Diego, USA: Association for Computational Linguistics, 2019.

[26]? OPITZ J, BURST S. Macro F1 and Macro F1[EB/OL]. 2019. arXiv:1911.03347.

[27]? GRAVE E, BOJANOWSKI P, GUPTA P, et al. Learning word vectors for 157 languages[C]// Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). Miyazaki, Japan: European Language Resources Association (ELRA) , 2018.

[28]? KINGMA D P, BA J J A P A. Adam: A method for stochastic optimization[EB/OL]// 3rd International Conference on Learning Representations. Ithaca, NY: arXiv. org. 2015: 13.

Agricultural Named Entity Recognition Based on Semantic Aggregation and Model Distillation

LI Liangde1,2, WANG Xiujuan1,3, KANG Mengzhen1,2*, HUA Jing1,4, FAN Menghan1,2

（1.The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China;2.School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China;3.Beijing Engineering Research Center of Intelligent Systems and Technology, Beijing 100190, China;4.Qingdao Smart AgriTech.,Ltd, Qingdao 266000, China）

Abstract: With the development of smart agriculture, automatic question and answer (Q&A) of agricultural knowledge is needed to improve the efficiency of agricultural information acquisition. Agriculture named entity recognition plays a key role in automatic Q&A system, which helps obtaining information, understanding agriculture questions and providing answer from the knowledge graph. Due to the scarcity of labeled ANE data, some existing open agricultural entity recognition models rely on manual features, can reduce the accuracy of entity recognition. In this work, an approach of model distillation was proposed to recognize agricultural named entity data. Firstly, massive agriculture data were leveraged from Internet, an agriculture knowledge graph (AgriKG) was constructed. To overcome the scarcity of labeled named agricultural entity data, weakly named entity recognition label on agricultural texts crawled from the Internet was built with the help of AgriKG. The approach was derived from distant supervision, which was used to solve the scarcity of labeled relation extraction data. Considering the lack of labeled data, pretraining language model was introduced, which is fine tuned with existing labeled data. Secondly, large scale pretraining language model, BERT was used for agriculture named entity recognition and provided a pretty well initial parameters containing a lot of basic language knowledge. Considering that the task of agriculture named entity recognition relied heavily on low-end semantic features but slightly on high-end semantic features, an Attention-based Layer Aggregation mechanism for BERT(BERT-ALA) was designed in this research. The aim of BERT-ALA was to adaptively aggregate the output of multiple hidden layers of BERT. Based on BERT-ALA model, Bidirectional LSTM (BiLSTM) and conditional random field (CRF) were coupled to further improve the recognition precision, giving a BERT-ALA+BiLSTM+CRF model. Bi-LSTM improved BERT's insufficient learning ability of the relative position feature, while conditional random field models the dependencies of entity recognition label. Thirdly, since BERT-ALA+BiLSTM+CRF model was difficult to serve online because of the extremely high time and space complexity, BiLSTM+CRF model was used as student model to distill BERT-ALA+BiLSTM+CRF model. It fitted the BERT-ALA+BiLSTM+CRF model's output of BiLSTM layer and CRF layer. The experiment on the database constructed in the research, as well as two open datasets showed that (1) the macro-F1 of the BERT-ALA + BiLSTM + CRF model was improved by 1% compared to the baseline model BERT + BiLSTM + CRF, and (2) compared with the model trained on the original data, the macro-F1 of the distilled student model BiLSTM + CRF was increased by an average of 3.3%, the prediction time was reduced by 33%, and the storage space was reduced by 98%. The experimental results verify the effectiveness of the BERT-ALA and knowledge distillation in agricultural entity recognition.

Key words: distant supervision; agriculture knowledge graph; agriculture Q&A system; named entity recognition; knowledge distillation;deep learning; BERT; Bi-LSTM