基于Bi-LSTM-CRF的商業(yè)領(lǐng)域命名實體識別

丁晟春 方振 王楠

摘?要：[目的/意義]為解決目前網(wǎng)絡(luò)公開平臺的多源異構(gòu)的企業(yè)數(shù)據(jù)的散亂、無序、碎片化問題，提出Bi-LSTM-CRF深度學(xué)習(xí)模型進行商業(yè)領(lǐng)域中的命名實體識別工作。[方法/過程]該方法包括對企業(yè)全稱實體、企業(yè)簡稱實體與人名實體3類命名實體識別。[結(jié)果/結(jié)論]實驗結(jié)果顯示對企業(yè)全稱實體、企業(yè)簡稱實體與人名實體3類命名實體識別的識別率平均F值為90.85%，驗證了所提方法的有效性，證明了本研究有效地改善了商業(yè)領(lǐng)域中的命名實體識別效率。

關(guān)鍵詞：商業(yè)領(lǐng)域;命名實體識別;深度學(xué)習(xí);Bi-LSTM-CRF

DOI：10.3969/j.issn.1008-0821.2020.03.010

〔中圖分類號〕TP391?〔文獻(xiàn)標(biāo)識碼〕A?〔文章編號〕1008-0821（2020）03-0103-08

Abstract：[Purpose/Significance]In order to solve the problem of scattered，disordered and fragmented multi-source heterogeneous enterprise data of the current network open platform，the Bi-LSTM-CRF deep learning model was proposed for the named entities recognition in the business field.[Method/Process]This method included three kinds of named entities：enterprise full name entity，enterprise short name entity and personal name entity.[Result/Conclusion]The experimental results showed that the average F value of the recognition rate of the three types of named entities，namely enterprise full entity，enterprise abbreviation entity and person name entity，was 90.85%，which verified the effectiveness of the proposed method.It was proved that this study effectively improved the efficiency of named entity recognition in the commercial field.

Key words：business domain;named entity recognition;deep learning;Bi-LSTM-CRF

隨著國民經(jīng)濟的穩(wěn)定發(fā)展，中國正步入改革開放的關(guān)鍵時期，經(jīng)濟全球化的發(fā)展和國家政策的支持正給國內(nèi)企業(yè)發(fā)展帶來新的機遇與挑戰(zhàn)。企業(yè)信息作為企業(yè)決定自身發(fā)展、企業(yè)間合作及政府監(jiān)管的一項重要依據(jù)，對推動經(jīng)濟社會的發(fā)展有著重大影響?；谄髽I(yè)產(chǎn)生的大量數(shù)據(jù)，具有重要的研究價值和實踐意義[1]。

然而，大數(shù)據(jù)時代的到來引發(fā)的“信息爆炸”使得人在輕松獲取大量信息的同時，也帶來了信息來源繁雜、數(shù)據(jù)散亂無序、質(zhì)量真?zhèn)坞y辨等諸多問題，這些問題使得全面了解一個企業(yè)變得困難。用戶所需的企業(yè)相關(guān)知識通常是穩(wěn)定和行業(yè)通用的，但這些知識往往以圖形、文檔等不同形式存在，存儲地點零散，分布平臺廣泛，查找費時費力又難以保證準(zhǔn)確性。這樣的信息難以獲取更加難以讓用戶進行閱讀和理解，因此深入關(guān)聯(lián)地挖掘企業(yè)各種信息之間潛在的關(guān)系，挖掘互聯(lián)網(wǎng)上實時的財經(jīng)公告和新聞信息等非結(jié)構(gòu)化文本信息，對相關(guān)信息進行識別整合，有助于改善用戶的閱讀體驗和效率。

在此前提下，本研究以商業(yè)領(lǐng)域信息為研究對象，針對命名實體識別任務(wù)提出Bi-LSTM-CRF命名實體識別算法，幫助用戶挖掘和組織商業(yè)領(lǐng)域的信息。

1?相關(guān)工作

實體識別，就是指從文本中識別出有意義的命名性實體，并將其劃分到指定類別的過程，主要包括人名、地名、機構(gòu)名、專有名詞的識別等。實體識別最早在上世紀(jì)90年代的MUC任務(wù)中被提出，自此一直是信息抽取和自然語言處理領(lǐng)域研究的熱點課題[2]。

早期的命名實體識別（Named Entity Recognition，NER）主要使用基于規(guī)則的方法，通過分析實體的構(gòu)成特點和上下文特征，人工構(gòu)造有限的特定規(guī)則，再從文本中識別滿足這些規(guī)則的實體。如Ralph G N[3]針對不同類型的實體編寫不同的抽取規(guī)則，周昆等[4-5]構(gòu)建了命名實體識別的規(guī)則庫。此類方法中規(guī)則的制定編寫通常需要眾多領(lǐng)域?qū)＜襾韰⑴c，對語言參與者的知識水平的要求很高，難度大，可移植性低。

到20世紀(jì)90年代后期，基于統(tǒng)計的方法開始成為處理命名實體識別問題的主流。HMM[6-7]、ME[8]、CRF[9]和SVM[10]等常見的統(tǒng)計機器學(xué)習(xí)模型都被成功應(yīng)用于命名實體的序列標(biāo)注問題上，且取得了較好的結(jié)果。其中，條件隨機場（CRF）方法是最為常見的一類模型，它是Lafferty J D等在2001年提出的一種典型的判別式模型（Discirminative Model）[11]，既擁有判別式模型的優(yōu)點，又兼具生成式模型考慮生成標(biāo)簽的轉(zhuǎn)移特征的特性，因此在命名實體識別任務(wù)中得到了廣泛地研究與應(yīng)用。

近年來，基于深度學(xué)習(xí)的方法能夠從數(shù)據(jù)中自主的學(xué)習(xí)特征，而不需要人為的去設(shè)定特征，成為研究的熱點，也有越來越多的學(xué)者把深度學(xué)習(xí)模型應(yīng)用到命名實體的識別之中。如王國昱[12]基于棧式自編碼的深度神經(jīng)網(wǎng)絡(luò)模型（DNN），在人民日報語料集上的地名、機構(gòu)名的識別，Dong X等[13]基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，提出一種兩階段的電子病歷的命名實體識別方法，朱丹浩等[14]基于詞向量的雙向長短時記憶神經(jīng)網(wǎng)絡(luò)模型（BI-LSTM）等。

綜上所述，本文在分析了商業(yè)領(lǐng)域企業(yè)名稱、人物名稱的構(gòu)成特點之后，將結(jié)合LSTM[15]模型和CRF模型進行商業(yè)領(lǐng)域企業(yè)名、人名的命名實體識別研究。

2?商業(yè)領(lǐng)域?qū)嶓w識別

實體信息除了可以在各種相應(yīng)的網(wǎng)站的結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)之中抽取，例如政府監(jiān)管機構(gòu)公布的企業(yè)信息，企業(yè)公布的年報等等，還有更多豐富的信息蘊藏在大量的、動態(tài)的財經(jīng)資訊、商業(yè)公告這類非結(jié)構(gòu)化數(shù)據(jù)之中。

2.1?模型框架

本文提出一種綜合多特征的Bi-LSTM-CRF深度學(xué)習(xí)模型進行商業(yè)領(lǐng)域中企業(yè)全稱、企業(yè)簡稱與人名的命名實體識別工作，模型整體架構(gòu)如圖1所示。該模型為基于字符的序列標(biāo)注模型，主要可分為3部分：輸入特征層、Bi-LSTM中間層、CRF輸出層。首先將文本分割成一個一個字，每個字使用拼接的特征向量表示，作為模型的輸入;中間層使用包含前向和后向兩個方向的LSTM神經(jīng)網(wǎng)絡(luò)層對輸入的文本序列建模;最后采用CRF層作為模型的輸出層生成對應(yīng)的類別標(biāo)簽序列。

1）Input：Input為模型的輸入特征層。將訓(xùn)練集文本看成是字的聚合，每個字在模型的輸入由字向量（Char Embedding）和額外的特征向量（Additional Features）聯(lián)結(jié)而成。其中字向量為Word2Vec訓(xùn)練出的詞向量，額外的特征向量為不同特征組合（分詞特征、詞性特征及實體邊界特征）下拼接形成的特征向量。

2）Bi-LSTM：利用雙向的具有LSTM單元的循環(huán)神經(jīng)網(wǎng)絡(luò)對輸入序列信息進行特征提取，最終將兩個方向的LSTM結(jié)果進行聯(lián)結(jié)，輸入到CRF層。

3）CRF Layer：CRF作為模型的輸出層，生成文本的序列標(biāo)注結(jié)果。

其中，在Input和Bi-LSTM層之間，還使用了一個Dropout參數(shù)進行正則化。Dropout通過在前向計算過程使一定比例的單元隨機失活來防止隱藏單元的共同調(diào)整，使得網(wǎng)絡(luò)對于噪聲更具魯棒性。

2.2?輸入特征層

首先，在對語料進行分詞后，使用分布式表示將每個詞映射到一個較短的詞向量上，解決One-hot向量維度過大的問題。同時考慮到傳統(tǒng)模型輸入只考慮字級別的詞向量，可能會丟失詞語層面的語義信息，因此本文在此基礎(chǔ)上，從百科網(wǎng)站、企業(yè)黃頁、搜狗詞庫等語料庫中搜集大量相關(guān)語料信息，研究分析商業(yè)領(lǐng)域中企業(yè)名稱、人名的構(gòu)成特點，得到了商業(yè)領(lǐng)域中關(guān)于企業(yè)名稱、人名獨特的分詞特征、詞性特征和實體邊界特征，定義了額外的特征向量作為模型的輸入補充，以提高模型識別的效果。

2.3?Bi-LSTM-CRF層

本文采用雙向長短時記憶神經(jīng)網(wǎng)絡(luò)和條件隨機場相結(jié)合（Bi-LSTM-CRF）的方法，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型進行3類實體的識別。該方法相較于傳統(tǒng)的機器學(xué)習(xí)的優(yōu)勢在于，神經(jīng)網(wǎng)絡(luò)可以自行學(xué)習(xí)數(shù)據(jù)的特征，無需人工構(gòu)建復(fù)雜的特征工程，可以獲得不錯的效果。由于神經(jīng)網(wǎng)絡(luò)具備自主學(xué)習(xí)特征的特性，使得我們可以將多個不同類別的命名實體任務(wù)結(jié)合到一個模型中，將不同類型的命名實體識別任務(wù)轉(zhuǎn)化為有監(jiān)督的多類別的序列標(biāo)注問題，提升識別任務(wù)的工作效率。

2.3.1?LSTM

LSTM（Long Short-Term Memory，長短期記憶網(wǎng)絡(luò)），是近年來較為火熱用來進行命名實體識別的深度學(xué)習(xí)模型。LSTM是RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)上改進而來的一個模型，本質(zhì)是具備長短時記憶單元的循環(huán)神經(jīng)網(wǎng)絡(luò)，其緩解了傳統(tǒng)RNN訓(xùn)練時產(chǎn)生的梯度消失問題，且能建模詞之間的長期依賴關(guān)系，被廣泛地應(yīng)用于文本序列建模任務(wù)中。LSTM計算過程如圖2所示。

LSTM計算過程包括以下步驟：

1）遺忘門的計算。選擇需要丟棄的信息。其

2.3.2?BI-LSTM

單向的LSTM神經(jīng)網(wǎng)絡(luò)模型，只能獲取句子的上文信息，對于句子的下文信息無法獲取。為了彌補這一不足，本文采用雙向長短時期神經(jīng)網(wǎng)絡(luò)（BI-LSTM）模型。BI-LSTM神經(jīng)網(wǎng)絡(luò)模型，分別從前向和后向?qū)渥舆M行分析，這樣既能保存前面的上下文信息，也能同時考慮到句子未來的上下文信息，使其在命名實體識別任務(wù)中可以取得更好的效果。

2.3.3?條件隨機場

LSTM模型，對于每個輸入詞而言，其輸出是獨立的，無法學(xué)習(xí)到輸出標(biāo)簽之間的轉(zhuǎn)移特征，而CRF能夠很好地解決這個問題。

在BI-LSTM-CRF模型中，首先定義了句子X輸出標(biāo)簽序列y的分值s（X，y）的計算公式[16]：

3?實驗設(shè)置與結(jié)果分析

3.1?數(shù)據(jù)采集及預(yù)處理

1）數(shù)據(jù)集來源

本文數(shù)據(jù)集主要來源于財經(jīng)網(wǎng)站。目前，國內(nèi)較有影響力的財經(jīng)網(wǎng)站有東方財富網(wǎng)、財經(jīng)網(wǎng)、和訊網(wǎng)、新浪財經(jīng)、網(wǎng)易財經(jīng)等，如表1所示，通過對比百度搜索指數(shù)提供的多個網(wǎng)站的整體搜索指數(shù)和移動搜索指數(shù)，本文最終選擇關(guān)注度最高、最受用戶歡迎的東方財富網(wǎng)作為本文的實驗信息來源。具體數(shù)據(jù)采集方式為人工編寫相應(yīng)的爬蟲框架，通過分析網(wǎng)頁數(shù)據(jù)的分布特征，針對性地采集東方財富網(wǎng)上的財經(jīng)公告板塊。

按照既定的規(guī)則模板爬取頁面上的數(shù)據(jù)信息時，由于模板的覆蓋面終究有限，解析出的文本內(nèi)容往往存在一些“雜質(zhì)”，如一些HTML標(biāo)簽〈br〉、〈em〉，無法識別的特殊字符，多余的空白占位符等，這些都會對后續(xù)的信息抽取產(chǎn)生不良影響。針對這些殘留的HTML標(biāo)簽和特殊字符，本文統(tǒng)一借助正則表達(dá)式實現(xiàn)相應(yīng)的過濾和替換操作，以獲取高質(zhì)量、無雜質(zhì)的網(wǎng)頁文本數(shù)據(jù)集。

2）數(shù)據(jù)集

本實驗數(shù)據(jù)來源于爬取的東方財富網(wǎng)財經(jīng)公告數(shù)據(jù)。其中，人工標(biāo)注了1 200篇文本數(shù)據(jù)作為實驗的數(shù)據(jù)集，如表2所示，涉及企業(yè)全稱實體2 985個，企業(yè)簡稱實體3 095個，人名實體1 139個，合計實體7 219個。處理完的數(shù)據(jù)集格式部分如圖5所示，采用BIO標(biāo)注模式，文本中的每一個字及相應(yīng)的標(biāo)注即為一行，其中ORG表示企業(yè)全稱實體，ABR_ORG表示企業(yè)簡稱實體，PERSON表示人名實體，O表示非實體。即在該圖中，“長沙海格”表示一個企業(yè)簡稱實體，“易燦”、“徐建軍”分別表示一個人名實體，“湖南高新創(chuàng)業(yè)投資集團有限公司”表示一個企業(yè)全稱實體。最終將數(shù)據(jù)集按7/3的比例劃分訓(xùn)練集和測試集，進行命名實體模型的訓(xùn)練。

3.2?實驗設(shè)計

為了尋找模型的最佳參數(shù)配置，本文進行了參數(shù)搜索試驗。搜索過程中，將詞向量的維度定在[50，100，150]之間，每層LSTM的單元數(shù)定在[64，128]之間，Dropout定在[0.4，0.5，0.6]之間。最終定下模型最佳的訓(xùn)練參數(shù)設(shè)置如表3所示，即：字向量維度為100，分詞特征、詞性特征、邊界特征向量維度為20，每層LSTM維度為128，Dropout值為0.5，Batch Size大小為20，學(xué)習(xí)率為0.001，優(yōu)化算法為Adam。

為了驗證文本提出的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型和添加的特征組合的有效性，在該部分設(shè)計了兩類任務(wù)：1）比較傳統(tǒng)CRF模型和Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型在本文命名實體識別任務(wù)中的實體識別效果。2）探究在Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型下，針對3類實體識別效果最好的輸入特征組合。

最終定義了10個模型進行對比：

模型1：只考慮輸入單詞本身特征的CRF模型。

模型2：考慮輸入單詞本身及詞性特征以及上下文單詞及詞性特征的CRF模型。

模型3：只考慮字向量輸入的Bi-LSTM-CRF模型。

模型4：考慮字向量、分詞特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型5：考慮字向量、詞性特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型6：考慮字向量、實體邊界特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型7：考慮字向量、分詞特征、詞性特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型8：考慮字向量、分詞特征、實體邊界特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型9：考慮字向量、實體邊界特征、詞性特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

模型10：考慮字向量、分詞特征、詞性特征、實體邊界特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型。

具體實驗中，為方便書寫，將分詞特征簡寫為Word，詞性特征簡寫為Pos，邊界特征簡寫為Boundary。

3.3?任務(wù)一實驗結(jié)果分析

任務(wù)一的實驗結(jié)果如表4所示，從中可以發(fā)現(xiàn)：

1）對比模型1與模型3，在僅考慮字向量輸入的情況下，模型3的命名實體識別F值達(dá)到了87.82%，明顯高于模型1的F值82.89%，且在企業(yè)全稱實體、企業(yè)簡稱實體、綜合識別效果上都達(dá)到了最佳，而人名實體識別比模型1略低但差距不大。綜合來看，Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型的實體識別效果明顯優(yōu)于傳統(tǒng)的CRF模型。

2）對比模型2與模型3，模型2為考慮了詞本身單詞特征、詞本身詞性特征、上下文詞特征、上下文詞性特征等多種特征組合的CRF模型，其實體識別的F值為85.66%，比模型1的F值高2.77%，但仍比模型3的F值低2.16%。這表明考慮特征組合的CRF模型的實體識別效果與傳統(tǒng)CRF模型相比有明顯提升，但仍低于無特征的Bi-LSTM-CRF模型的識別效果。

3.4?任務(wù)二實驗結(jié)果分析

任務(wù)二的實驗結(jié)果如表5所示，從中可以看出：

1）無論是分詞特征、詞性特征還是實體邊界特征，都有助于模型識別效果的提升，尤其是詞性特征，添加后模型整體F值比基準(zhǔn)模型高出了2個百分點。

2）實體邊界特征的添加對企業(yè)全稱的識別有顯著的提升，企業(yè)全稱的識別F值直接從89.77%上升到了93.27%。詞性特征的添加對企業(yè)簡稱的識別F值有小幅度的提升，從86.05%提升到了87.60%。分詞特征和詞性特征的組合添加對人名識別有著顯著的提升，人名識別的F值從87.52%上升到了92.17%。這說明本文結(jié)合實體自身的特點，提出的額外特征是有效的，這些特征在不同程度上都提高了命名實體的識別質(zhì)量。

3）最好的模型是綜合考慮3種特征組合的模型，即模型10，其在企業(yè)全稱識別的F值上達(dá)到了93.95%，企業(yè)簡稱識別的F值上達(dá)到了87.09%，人名識別的F值達(dá)到了93.62%，綜合F值達(dá)到90.85%，超出基準(zhǔn)模型3個百分點，超出傳統(tǒng)CRF模型8個百分點。這再一次驗證了本文提出的特征的有效性，綜合使用這3種特征能顯著提升神經(jīng)網(wǎng)絡(luò)模型對于企業(yè)全稱、企業(yè)簡稱及人名命名實體的識別效果。

以上模型中企業(yè)簡稱的識別率相對較低，提升幅度也最小，究其原因可能是：企業(yè)簡稱構(gòu)詞復(fù)雜、形式多變，神經(jīng)網(wǎng)絡(luò)難以捕捉到其特征;模型訓(xùn)練依賴于標(biāo)注語料，可能存在人工標(biāo)注的部分錯誤和遺漏，導(dǎo)致模型識別出的簡稱被判斷錯誤;且標(biāo)注語料中，企業(yè)簡稱的標(biāo)注數(shù)量也相對較少，導(dǎo)致模型訓(xùn)練不充分;另外人工添加的特征中，詞性特征和詞典特征對企業(yè)簡稱的覆蓋也較少，實體邊界特征更是只考慮人名和企業(yè)全稱的構(gòu)成規(guī)則，沒有考慮企業(yè)簡稱的自身特點，因此額外添加的特征對企業(yè)簡稱的識別提升較小。但總體來說，采用添加分詞特征、詞性特征和實體邊界特征的Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型對企業(yè)全稱和人名的識別率都在93%之上，3類實體的識別率在90%之上，這對于在商業(yè)領(lǐng)域的文本中抽取相關(guān)實體是非常有助益的。

4?總結(jié)及展望

本文從商業(yè)領(lǐng)域中企業(yè)名稱、人名的構(gòu)成特點考慮，提出一種綜合分詞特征、詞性特征和實體邊界特征的Bi-LSTM-CRF深度學(xué)習(xí)模型，實現(xiàn)對商業(yè)領(lǐng)域中3類實體的命名實體識別工作，實驗驗證了本文提出方法的有效性。在未來的研究中，還將考慮企業(yè)間實體的開放性抽取，并對抽取的實體關(guān)系進行聚類研究，進一步探索使用更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)商業(yè)領(lǐng)域的命名實體識別。

參考文獻(xiàn)

[1]田娟，朱定局，楊文翰.基于大數(shù)據(jù)平臺的企業(yè)畫像研究綜述[J].計算機科學(xué)，2018，45（S2）：58-62.

[2]孫鎮(zhèn)，王惠臨.命名實體識別研究進展綜述[J].現(xiàn)代圖書情報技術(shù)，2010，（6）：42-47.

[3]Ralph G N.The NYU System for MUC-6 or Wheres the Syntax？[C]//Message Understanding Conference，1995.

[4]周昆.基于規(guī)則的命名實體識別研究[D].合肥：合肥工業(yè)大學(xué)，2010.

[5]鄭家恒，李鑫，譚紅葉.語料庫的中文姓名識別方法研究[J].中文信息學(xué)報，2000，（1）：7-12.

[6]Bikel D M，Miller S，Schwartz R，et al.Nymble：A High-performance Learning Name-finder[C]//Conference on Applied Natural Language Processing，1997.

[7]Bikel D M，Schwartz R，Weischedel R M.An Algorithm that Learns Whats in a Name[J].Machine Learning，1999，34（1-3）：211-231.

[8]Borthwick A E.A Maximum Entropy Approach to Named Entity Recognition[M].New York University，1999.

[9]Mccallum A，Li W.Early Results for Named Entity Recognition with Conditional Random Fields，F(xiàn)eature Induction and Web-Enhanced Lexicons[C]//Conference on Natural Language Learning at Hlt-naacl.Association for Computational Linguistics，2003.

[10]Isozaki H，Kazawa H.Efficient Support Vector Classifiers for Named Entity Recognition[C]//International Conference on Computational Linguistics，2002.

[11]Lafferty J D，Mccallum A，Pereira F C N.Conditional Random Fields：Probabilistic Models for Segmenting and Labeling Sequence Data[J].Proceedings of Icml，2001，3（2）：282-289.

[12]王國昱.基于深度學(xué)習(xí)的中文命名實體識別研究[D].北京：北京工業(yè)大學(xué)，2015.

[13]Dong X，Qian L，Guan Y，et al.A Multiclass Classification Method Based on Deep Learning for Named Entity Recognition in Electronic Medical Records[C]//Scientific Data Summit.IEEE，2016.

[14]朱丹浩，楊蕾，王東波.基于深度學(xué)習(xí)的中文機構(gòu)名識別研究——一種漢字級別的循環(huán)神經(jīng)網(wǎng)絡(luò)方法[J].現(xiàn)代圖書情報技術(shù)，2016，（12）：36-43.

[15]Hochreiter S，Schmidhuber J.Long Short-term Memory[J].Neural Computation，1997，9（8）：1735-1780.

[16]李明浩，劉忠，姚遠(yuǎn)哲.基于LSTM-CRF的中醫(yī)醫(yī)案癥狀術(shù)語識別[J].計算機應(yīng)用，2018，38（S2）：42-46.

（責(zé)任編輯：孫國雷）