基于數(shù)控機(jī)床設(shè)備故障領(lǐng)域的命名實(shí)體識(shí)別

王 歡，朱文球，吳岳忠?，何頻捷，萬(wàn)爛軍

1) 湖南工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，株洲 412008 2) 湖南省智能信息感知及處理技術(shù)重點(diǎn)實(shí)驗(yàn)室，株洲 412008

隨著智能制造的快速發(fā)展和云計(jì)算[1?2]時(shí)代的到來(lái)，“互聯(lián)網(wǎng)+工業(yè)”成為了學(xué)者研究的重點(diǎn)，工業(yè)設(shè)備智能化對(duì)數(shù)控機(jī)床設(shè)備的檢修與診斷提出了嚴(yán)峻挑戰(zhàn). 數(shù)控機(jī)床設(shè)備智能檢修與實(shí)時(shí)診斷是保障數(shù)控機(jī)床設(shè)備安全、穩(wěn)定、經(jīng)濟(jì)運(yùn)行的重要手段，是實(shí)現(xiàn)數(shù)控機(jī)床智能制造的關(guān)鍵. 數(shù)控機(jī)床設(shè)備智能檢修與實(shí)時(shí)診斷是通過(guò)整合海量、多源、異構(gòu)的設(shè)備檢修大數(shù)據(jù)，利用自然語(yǔ)言處理、語(yǔ)義匹配、知識(shí)圖譜構(gòu)建等技術(shù)對(duì)工業(yè)設(shè)備故障現(xiàn)象進(jìn)行全面診斷，實(shí)現(xiàn)設(shè)備檢修、診斷的智能化管理；數(shù)控機(jī)床設(shè)備故障命名實(shí)體的識(shí)別作為圖譜識(shí)別、自然語(yǔ)言處理、語(yǔ)義匹配等復(fù)雜任務(wù)的基礎(chǔ)工作，對(duì)數(shù)控機(jī)床設(shè)備智能檢修與實(shí)時(shí)診斷起著至關(guān)重要的作用. 為了提高命名實(shí)體識(shí)別系統(tǒng)的性能，為數(shù)控機(jī)床故障精準(zhǔn)診斷提供保障，延長(zhǎng)數(shù)控機(jī)床的使用周期，本文對(duì)數(shù)控機(jī)床設(shè)備故障領(lǐng)域的命名實(shí)體識(shí)別方法展開(kāi)了研究，通過(guò)提高命名實(shí)體識(shí)別效果為后續(xù)數(shù)控機(jī)床智能檢修和故障診斷工作打下了堅(jiān)實(shí)的基礎(chǔ)，進(jìn)而防止意外故障帶來(lái)的毀滅性事故和經(jīng)濟(jì)損失.

淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)[3]是通用領(lǐng)域的兩種常用方法. 淺層機(jī)器學(xué)習(xí)方法包括隱馬爾可夫模型[4]、最大熵模型[5]和條件隨機(jī)場(chǎng)[6]（Conditional random fields, CRF）等. 俞鴻魁等[7]在雙層隱馬爾可夫模型上進(jìn)行實(shí)體識(shí)別，將不同的命名實(shí)體的識(shí)別結(jié)果融合到同一個(gè)理論模型中，提高了F值；何炎祥等[8]提出CRF+特定規(guī)則模型，提高了召回率，改善了對(duì)實(shí)體識(shí)別的效果；王路路等[9]針對(duì)維吾爾命名實(shí)體提出了半監(jiān)督學(xué)習(xí)方法，減少了對(duì)人工特征提取的依賴(lài).

近年來(lái)，命名實(shí)體的研究熱點(diǎn)已從傳統(tǒng)的機(jī)器學(xué)習(xí)方法轉(zhuǎn)移到深度學(xué)習(xí)方法. 與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)速度更快、泛化性更強(qiáng)，并且可以讓計(jì)算機(jī)自主學(xué)習(xí)得到模式特征，將其融入實(shí)驗(yàn)?zāi)Ｐ蛷亩鴾p少對(duì)人工特征的依賴(lài)，因此使用深度學(xué)習(xí)進(jìn)行命名實(shí)體識(shí)別的識(shí)別性能更好. Hochreiter與Schmidhuber[10]提出了一種通過(guò)門(mén)限機(jī)制對(duì)歷史信息進(jìn)行過(guò)濾的LSTM，解決了循環(huán)網(wǎng)絡(luò)中的梯度消失問(wèn)題，但是LSTM只能獲取下文信息而無(wú)法獲取上文信息. Graves與Schmidhuber[11]構(gòu)建了BLSTM模塊，可以在輸入的方向獲得長(zhǎng)時(shí)的上下文信息. 楊紅梅等[12]提出了BLSTM-CRF命名實(shí)體識(shí)別模型，使標(biāo)簽結(jié)果更為合理. Lin等[13]提出了多通道BILSTM-CRF模型在社交媒體中的新興命名實(shí)體識(shí)別方法. Bharadwaj等[14]在BILSTMCRF模型上加入了音韻特征和attention機(jī)制，對(duì)有效的字符關(guān)注度更高；Li等[15]針對(duì)包裝專(zhuān)業(yè)領(lǐng)域語(yǔ)料匱乏的特點(diǎn)，提出了一個(gè)多層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行包裝領(lǐng)域的命名實(shí)體識(shí)別，該模型可以自動(dòng)學(xué)習(xí)分布式單詞特征和部分語(yǔ)音特征，實(shí)現(xiàn)NER包裝產(chǎn)品技術(shù)；易士翔等[16]針對(duì)公共安全事件的觸發(fā)詞識(shí)別任務(wù)提出BLSTM與前向神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型，在突發(fā)事件語(yǔ)料庫(kù)上取得了較好的識(shí)別效果.

盡管通用領(lǐng)域深度學(xué)習(xí)的命名實(shí)體識(shí)別方法取得了較好的成果，但在數(shù)控機(jī)床領(lǐng)域中依然存在不足. 陳秋瑗等[17]提出了一種基于緊密度的命名實(shí)體識(shí)別，使用邏輯回歸方法來(lái)計(jì)算相鄰字串之間的緊密程度，提高了機(jī)械領(lǐng)域新詞的準(zhǔn)確率.在數(shù)控機(jī)床領(lǐng)域，學(xué)者對(duì)數(shù)控機(jī)床設(shè)備故障實(shí)體識(shí)別的研究較少，現(xiàn)有的研究主要針對(duì)數(shù)控機(jī)床特定部件存在的故障[18?19]；數(shù)控機(jī)床的歷史維修記錄是由工作人員撰寫(xiě)的描述數(shù)控機(jī)床異常的信息，該記錄包括設(shè)備名稱(chēng)、故障描述、故障原因以及處理過(guò)程，這些都是數(shù)控機(jī)床的重要數(shù)據(jù)，自動(dòng)抽取這些信息能夠更加高效、精準(zhǔn)的收集案例支持智能檢修問(wèn)答系統(tǒng)，而歷史維修記錄的重復(fù)利用主要受數(shù)據(jù)結(jié)構(gòu)化程度的影響，因而對(duì)數(shù)據(jù)進(jìn)行命名實(shí)體識(shí)別至關(guān)重要.

目前數(shù)控機(jī)床故障領(lǐng)域的實(shí)體識(shí)別存在以下幾個(gè)難點(diǎn)[20]：第一，沒(méi)有基于數(shù)控機(jī)床領(lǐng)域的語(yǔ)料庫(kù)；第二，沒(méi)有數(shù)控機(jī)床故障領(lǐng)域的命名實(shí)體標(biāo)注語(yǔ)料；第三，數(shù)控機(jī)床故障描述過(guò)于口語(yǔ)化，同一故障存在多種不同的描述. 針對(duì)以上難點(diǎn)本文提出了一種基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)與具有回路的條件隨機(jī)場(chǎng)相結(jié)合的命名實(shí)體識(shí)別方法BLSTML-CRF，首先使用Word2vec[21]對(duì)數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練獲取字向量，字向量通過(guò)詞嵌入層得到字向量序列，然后將字向量序列輸入BLSTM層，經(jīng)過(guò)BLSTM層處理捕獲每個(gè)字對(duì)應(yīng)的每個(gè)標(biāo)簽的分?jǐn)?shù)，最后將得到的標(biāo)簽分?jǐn)?shù)輸入L-CRF層，并通過(guò)L-CRF層獲得全局最優(yōu)序列. 與BLSTM-CRF相比，采用具有回路的CRF，約束性更好、識(shí)別效果更佳.

1 命名實(shí)體識(shí)別模型

1.1 BLSTM模塊

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long-short term memory,LSTM）是一種改進(jìn)后的循環(huán)網(wǎng)絡(luò). 與傳統(tǒng)循環(huán)網(wǎng)絡(luò)相比，LSTM多了一個(gè)用來(lái)儲(chǔ)存長(zhǎng)距離信息的單元狀態(tài)，解決了梯度過(guò)長(zhǎng)而產(chǎn)生的梯度彌散問(wèn)題；LSTM重復(fù)模塊構(gòu)造不同，包含了四個(gè)交互層并以一種十分特別的形式進(jìn)行交互；LSTM中特殊設(shè)計(jì)的門(mén)結(jié)構(gòu)使得模型能夠決定丟棄信息、確定更新細(xì)胞、更新細(xì)胞狀態(tài). LSTM的單元結(jié)構(gòu)中內(nèi)部參數(shù)可表達(dá)為：

LSTM有四個(gè)輸入和一個(gè)輸出，輸入處都經(jīng)過(guò)激活函數(shù)，sigmoid和tanh是LSTM的兩個(gè)激勵(lì)函數(shù)，激活函數(shù)σ使用的是sigmoid函數(shù)，值在0到1之間，用以模擬門(mén)打開(kāi)、關(guān)閉的效果.it、ft、ot分別表示t時(shí)刻輸入門(mén)、忘記門(mén)、輸出門(mén)的輸出，Ct表示t時(shí)刻狀態(tài)向量；為連接兩層的權(quán)重矩陣，Wi、Wf、Wo分別表示輸入門(mén)、忘記門(mén)、輸出門(mén)的權(quán)重矩陣，Wc表示細(xì)胞狀態(tài)下對(duì)于輸入的權(quán)重矩陣；b為 偏置向量，分別表示隱藏層的輸入門(mén)、忘記門(mén)、輸出門(mén)及細(xì)胞狀態(tài)的偏置向量；xt為t時(shí)刻輸入層的輸入向量，ht、ht?1分別為t時(shí)刻、t?1時(shí)刻的輸出，其最終結(jié)果是一個(gè)高維實(shí)向量. LSTM的實(shí)驗(yàn)包括三步，首先，通過(guò)忘記門(mén)決定丟棄信息；然后，通過(guò)輸入門(mén)確定更新的信息；最后，采用sigmoid函數(shù)得到細(xì)胞狀態(tài)的輸出，將輸出結(jié)果與tanh相乘最終確定輸出的信息.

LSTM僅獲取了文本的過(guò)去的信息，但對(duì)數(shù)控機(jī)床設(shè)備故障命名實(shí)體識(shí)別任務(wù)而言，設(shè)備故障描述的前后幾個(gè)詞對(duì)預(yù)測(cè)結(jié)果都有很大的影響，獲取上下文信息對(duì)數(shù)控機(jī)床設(shè)備故障的命名實(shí)體識(shí)別任務(wù)有很大的幫助. 為了獲取上下文信息，本文采用了雙向LSTM（BLSTM）結(jié)構(gòu)，BLSTM由前向的LSTM與后向的LSTM拼接而成. BLSTM對(duì)每個(gè)句子分別采用正向和反向計(jì)算，運(yùn)用向量拼接將得到的兩種結(jié)果進(jìn)行向量拼接從而獲得最后的隱層表示. BLSTM結(jié)構(gòu)如圖1所示.

圖 1 BLSTM模型結(jié)構(gòu)Fig.1 BLSTM model structure

1.2 L-CRF模塊

條件隨機(jī)場(chǎng)是Lafferty等[22]提出的一種新的概率圖模型，該模型能從訓(xùn)練集數(shù)據(jù)中學(xué)習(xí)約束，從而獲得了全局最優(yōu)序列，同時(shí)解決了最大熵模型中存在的標(biāo)注偏置問(wèn)題.

線性鏈結(jié)構(gòu)的CRF是最常見(jiàn)的CRF，它根據(jù)不同應(yīng)用模式下CRF中的變量關(guān)系描繪出不同的圖形. 例如，可以選擇樹(shù)狀條件隨機(jī)場(chǎng)[23]描繪具有階層關(guān)系的變量. 針對(duì)數(shù)控機(jī)床歷史維修記錄中同一故障存在多種描述的特點(diǎn)，本文采用LCRF[24]架構(gòu)來(lái)獲取最優(yōu)序列，與傳統(tǒng)的CRF相比，L-CRF能夠獲取過(guò)去及未來(lái)時(shí)間點(diǎn)的信息，使得到的序列準(zhǔn)確率更高，L-CRF架構(gòu)如圖2所示.

圖 2 L-CRF架構(gòu)圖Fig.2 L-CRF architecture diagram

該架構(gòu)圖中，輸入值與輸出值過(guò)去與未來(lái)的時(shí)間點(diǎn)包含在相互影響的關(guān)系中，因而形成具體回路的圖形架構(gòu). 為了能按照標(biāo)準(zhǔn)方法來(lái)推導(dǎo)模型，按照構(gòu)建聯(lián)合樹(shù)的步驟來(lái)檢視圖形，根據(jù)圖2建構(gòu)了一個(gè)聯(lián)合樹(shù)，通過(guò)對(duì)各時(shí)間點(diǎn)的聯(lián)合樹(shù)進(jìn)行組合得到與L-CRF架構(gòu)對(duì)應(yīng)的聯(lián)合樹(shù)，如圖3所示，圖中圓節(jié)點(diǎn)代表團(tuán)結(jié)點(diǎn)而方形節(jié)點(diǎn)代表分割結(jié)點(diǎn).

將圖形模型所代表的聯(lián)合概率分布拆解成：

定義H為輸入序列，Y為一個(gè)聯(lián)合樹(shù)所有接口的集合，N為序列的長(zhǎng)度；d(y)為與接口相鄰的子圖個(gè)數(shù). 并且將μ(ht,yt,yt+1)、μ(ht+1,yt,yt+1)、μ(yt,yt+1)和μ(ht+1,yt+1)分別定義為：

圖 3 L-CRF架構(gòu)所形成的聯(lián)合樹(shù)Fig.3 Joint tree formed by L-CRF architecture

當(dāng)計(jì)算正規(guī)化項(xiàng)Z時(shí)，可用以下的方法計(jì)算邊界分布P(H)：

1.3 BLSTM-L-CRF模型

數(shù)控機(jī)床故障描述存在不同的表達(dá)方式，例如：發(fā)動(dòng)機(jī)中的螺絲滑牙、發(fā)動(dòng)機(jī)中的螺釘滑牙、發(fā)動(dòng)機(jī)中的螺釘滑絲和發(fā)動(dòng)機(jī)中的螺絲滑牙都是指同一故障，在命名實(shí)體識(shí)別中易產(chǎn)生歧義，為了解決上述挑戰(zhàn)，本文使用BLSTM-L-CRF模型進(jìn)行命名實(shí)體識(shí)別. 在實(shí)驗(yàn)中，將實(shí)體分為設(shè)備和實(shí)體兩類(lèi)，用“Dev”表示設(shè)備，“Fau”表示故障. 首先根據(jù)BIO標(biāo)注法對(duì)實(shí)體的定義進(jìn)行標(biāo)記，即“B-Dev”表示設(shè)備實(shí)體首字，“I-Dev”表示設(shè)備實(shí)體非首字部分，“B-Fau”表示故障實(shí)體首字，“I-Fau”表示故障實(shí)體非首字部分，“O”表示非實(shí)體部分，因此定義標(biāo)簽集合為（B-Fau、I-Fau、B-Dev、I-Dev、O）.然后使用jieba分詞對(duì)輸入語(yǔ)句進(jìn)行分詞，分詞后進(jìn)行序列標(biāo)注，以“發(fā)動(dòng)機(jī)中螺釘滑牙”為例進(jìn)行序列標(biāo)注，其中發(fā)動(dòng)機(jī)、螺釘是設(shè)備，滑牙是故障現(xiàn)象，標(biāo)注后結(jié)果如表1所示.

表 1 句子序列標(biāo)注方法Table 1 Sentence sequence labeling method

獲得標(biāo)注語(yǔ)料后使用Word2vec進(jìn)行預(yù)訓(xùn)練獲取字向量，在詞嵌入層將其結(jié)果轉(zhuǎn)化為字向量序列X，作為BLSTM層的輸入.t時(shí)刻序列正向輸入BLSTM中得到的隱層輸出為，逆向輸入得到的隱層輸出為，將兩者拼接得到的包含上下文字向量.

通過(guò)BLSTM輸出的上下文特征信息ht，得到有效的輸出序列y=(y0,y1,y2,···,yn)，僅僅通過(guò)這樣的方法進(jìn)行分類(lèi)還存在不足之處，序列標(biāo)注問(wèn)題一般具有較強(qiáng)的依賴(lài)關(guān)系，每個(gè)字的標(biāo)簽序列存在一定的局限性，例如：標(biāo)簽“B-Dev”作為設(shè)備實(shí)體的首字部分，后面接的應(yīng)該是“I-Dev”，而不應(yīng)該“I-Fau”. 只有BLSTM層是不夠的，針對(duì)此問(wèn)題，本文在BLSTM層加上處理標(biāo)注序列的L-CRF.

由于輸入值與輸出值之間存在過(guò)去與未來(lái)的時(shí)間點(diǎn)，從而相互影響，為此提出了具有回路的條件隨機(jī)場(chǎng)（L-CRF），L-CRF序列用來(lái)研究句子級(jí)別的序列特征，將BLSTM層的輸出結(jié)果輸入LCRF層，L-CRF層對(duì)其結(jié)果添加約束，從所有可能的標(biāo)簽序列空間中選出最佳序列路徑，獲得全局最優(yōu)序列. 本文的BLSTM-L-CRF模型架構(gòu)如圖4所示.

BLSTM-L-CRF算法流程如下：

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

為了對(duì)BLSTM-L-CRF模型進(jìn)行有效的評(píng)估，本文以某工廠獲取歷年的數(shù)控機(jī)床歷史故障維修記錄作為數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行了清洗和整理，共獲得17485條設(shè)備故障數(shù)據(jù). 數(shù)據(jù)集按照6∶2∶2的比例進(jìn)行劃分，即訓(xùn)練集10491條，驗(yàn)證集3497條，測(cè)試集3497條.

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

Word2vec是指將語(yǔ)言單詞嵌入到向量空間從而得到詞向量，即該實(shí)驗(yàn)中的標(biāo)注語(yǔ)料通過(guò)訓(xùn)練模型轉(zhuǎn)換為向量形式. Skip-gram和CBOW是Word2vec的兩種常用模型，文獻(xiàn)[25]對(duì)兩種模型進(jìn)行對(duì)比實(shí)驗(yàn)得出以下結(jié)論：當(dāng)實(shí)驗(yàn)訓(xùn)練語(yǔ)料較少時(shí)，Skip-gram模型效果更好，當(dāng)語(yǔ)料較多時(shí)則選用CBOW模型效果更好. 本文采用Skip-gram模型結(jié)合數(shù)控機(jī)床歷史維修數(shù)據(jù)集預(yù)訓(xùn)練字向量，通過(guò)對(duì)比實(shí)驗(yàn)獲得最優(yōu)參數(shù)，如表2所示.

為了確定BLSTM-L-CRF模型的參數(shù)，通過(guò)更改源代碼中的迭代次數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，迭代次數(shù)為100時(shí)識(shí)別效果最好. 通過(guò)采用不同的Dropout的值對(duì)模型進(jìn)行了交叉驗(yàn)證，結(jié)果表明Dropout 值為0.68時(shí)達(dá)到最好的識(shí)別效果. BLSTML-CRF模型參數(shù)如表3所示.

2.3 評(píng)價(jià)標(biāo)準(zhǔn)及結(jié)果分析

本文采用信息檢索通用的評(píng)價(jià)方法作為評(píng)價(jià)標(biāo)準(zhǔn)，即準(zhǔn)確率（Precision）、召回率（Recall）和F-測(cè)度值（F-measure，指精確度和召回率的調(diào)和平均，簡(jiǎn)稱(chēng)F）. 定義如下：

其中，n為正確識(shí)別的實(shí)體個(gè)數(shù)，M為識(shí)別出的實(shí)體總數(shù)，N為標(biāo)準(zhǔn)結(jié)果中的實(shí)體個(gè)數(shù). 根據(jù)準(zhǔn)確率、召回率和F值三個(gè)指標(biāo)對(duì)模型的性能進(jìn)行全面的評(píng)價(jià).

對(duì)人民日?qǐng)?bào)1998年1月份的新聞標(biāo)注語(yǔ)料、MARA語(yǔ)料和玻森NLP語(yǔ)料分別進(jìn)行實(shí)驗(yàn)，分析了該方法的可行性，不同數(shù)據(jù)集的識(shí)別效果如表4所示.

從實(shí)驗(yàn)結(jié)果可知，該模型在不同數(shù)據(jù)集上是可行的，具有有效性.

使用不同模型在數(shù)控機(jī)床設(shè)備故障數(shù)據(jù)上進(jìn)行對(duì)比實(shí)驗(yàn)，不同模型下數(shù)控機(jī)床設(shè)備故障命名實(shí)體識(shí)別的識(shí)別效果如表5所示.

圖 4 BLSTM-L-CRF模型Fig.4 BLSTM-L-CRF model

對(duì)比L-CRF模型與其他模型的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，L-CRF模型的準(zhǔn)確率高，但是單一的L-CRF模型的召回率和F值都比較低；通過(guò)對(duì)比BLSTM-LCRF模型與其他模型的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)該模型的準(zhǔn)確率、召回率和F值都是最優(yōu)的. 在數(shù)控機(jī)床故障診斷領(lǐng)域，故障歷史維修記錄中的故障描述語(yǔ)言的上下文之間關(guān)聯(lián)密切，BLSTM能夠獲取上下文語(yǔ)義信息，L-CRF包含過(guò)去和未來(lái)時(shí)間點(diǎn)的信息，對(duì)一個(gè)序列而不是某個(gè)時(shí)刻的輸出進(jìn)行了優(yōu)化，使得標(biāo)簽結(jié)果順序更合理，都適用于數(shù)控機(jī)床領(lǐng)域，由實(shí)驗(yàn)結(jié)果可知兩種模型組合是本實(shí)驗(yàn)的最佳模型.

表 2 Word2vec的Skip-gram模型參數(shù)表Table 2 Parameter list of Skip-gram model in Word2vec

表 3 BLSTM-L-CRF模型參數(shù)表Table 3 BLSTM-L-CRF model parameter table

表 4 不同數(shù)據(jù)集在BLSTM-L-CRF模型中的識(shí)別結(jié)果Table 4 Experiment result of BLSTM-L-CRF models in different data set

表 5 BLSTM-L-CRF與其他模型綜合性能對(duì)比Table 5 Comparison of performance of BLSTM-L-CRF and other models

3 結(jié)論

（1）通過(guò)對(duì)CRF進(jìn)行改進(jìn)，提出L-CRF，對(duì)上下文之間的關(guān)聯(lián)進(jìn)行更精準(zhǔn)地推斷，通過(guò)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，L-CRF得到的序列更合理，命名實(shí)體識(shí)別效果更好.

（2）通過(guò)使用BLSTM-L-CRF模型對(duì)不同語(yǔ)料進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)該模型在不同數(shù)據(jù)集上都是可行的；使用不同模型對(duì)數(shù)控機(jī)床數(shù)據(jù)集進(jìn)行命名實(shí)體識(shí)別工作，發(fā)現(xiàn)文章所提出的BLSTM-L-CRF模型識(shí)別性能最好. 為了防止過(guò)擬合，在模型中加入dropout，通過(guò)調(diào)整dropout值對(duì)實(shí)驗(yàn)?zāi)Ｐ瓦M(jìn)行對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)dropout為0.68時(shí)，防止過(guò)擬合的效果最好.

（3）提出采用BLSTM-L-CRF模型來(lái)提高命名實(shí)體識(shí)別的準(zhǔn)確率，在BLSTM層獲取當(dāng)前詞語(yǔ)的上下文信息，在L-CRF層對(duì)輸入信息進(jìn)行解碼，利用過(guò)去和未來(lái)時(shí)間點(diǎn)的信息獲取最優(yōu)標(biāo)注序列，該模型在數(shù)控機(jī)床設(shè)備及故障的命名實(shí)體識(shí)別上取得了較好的結(jié)果. 后續(xù)將進(jìn)一步完善語(yǔ)料庫(kù)，并對(duì)數(shù)控機(jī)床設(shè)備及故障進(jìn)行實(shí)體關(guān)系抽取.