基于文本的高速鐵路信號設(shè)備故障知識抽取方法研究

李新琴，史天運(yùn)，李 平，代明睿，張曉棟

(1.中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所, 北京 100081；2. 中國鐵道科學(xué)研究院集團(tuán)有限公司, 北京 100081)

高速鐵路信號設(shè)備是鐵路安全運(yùn)營的基礎(chǔ)保障設(shè)備[1-2]。隨著中國高速鐵路的飛速發(fā)展，高速鐵路信號設(shè)備也不斷升級改造?；诟咚勹F路運(yùn)營里程的積累，產(chǎn)生了大量的信號設(shè)備故障數(shù)據(jù)，這些數(shù)據(jù)以文本的形式記載了故障的詳細(xì)信息，蘊(yùn)含著豐富的故障診斷與處理經(jīng)驗(yàn)知識。但由于其以非結(jié)構(gòu)化文本的形式存儲，不利于計(jì)算機(jī)處理和理解，長期由人員查閱分析，存在著嚴(yán)重的故障知識無法高效復(fù)用的問題。因此，在鐵路大數(shù)據(jù)與智能鐵路的建設(shè)下，有必要基于鐵路數(shù)據(jù)與人工智能服務(wù)平臺，研究機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)故障知識的自動抽取，為高速鐵路故障診斷及智能鐵路建設(shè)應(yīng)用中的智能問題、智能推薦等智能服務(wù)的落地提供知識庫。

知識抽取主要包括命名實(shí)體識別和實(shí)體關(guān)系抽取兩個方面。命名實(shí)體通常指人名、地名、機(jī)構(gòu)名等以名稱為標(biāo)識的實(shí)體[3]。命名實(shí)體識別主要是將故障文本數(shù)據(jù)中的關(guān)注信息作為命名實(shí)體抽取出來。實(shí)體關(guān)系抽取是將抽取出來的命名實(shí)體進(jìn)行關(guān)聯(lián)，形成〈實(shí)體，關(guān)系，實(shí)體〉三元組數(shù)據(jù)，并通過知識融合和知識加工方法，將三元組數(shù)據(jù)組織成知識。命名實(shí)體識別與實(shí)體關(guān)系抽取，可以作為兩個獨(dú)立的任務(wù)進(jìn)行，也可以基于一個模型同時抽取。相互獨(dú)立抽取時，命名實(shí)體識別[4]目前主流的方法包括：長短時記憶網(wǎng)絡(luò)(Bidirection Long Short Term Memory，BiLSTM)與條件隨機(jī)場(Conditional Random Fields，CRF)結(jié)合的命名實(shí)體識別模型[5-6],以及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)與BiLSTM+CRF結(jié)合的模型，以實(shí)現(xiàn)中文命名實(shí)體識別[4]。高速鐵路信號設(shè)備故障關(guān)系抽取是一個文本分類問題。文本分類機(jī)器學(xué)習(xí)模型包括：單分類器，例如決策樹(Decision Tree，DT)、支持向量機(jī)(Support Vector Machine，SVM)、樸素貝葉斯 (Naive Bayes Classifier，NBC)等，以及集成學(xué)習(xí)分類器[7]，深度學(xué)習(xí)模型[8-11]。同時抽取是將命名實(shí)體與實(shí)體關(guān)系在一個模型中學(xué)習(xí)，最后直接輸出實(shí)體與關(guān)系的三元組數(shù)據(jù)。命名實(shí)體與實(shí)體關(guān)系聯(lián)合抽取模型主要包括：BiLSTM與編碼-解碼過程(Encoder-Decoder，ED)、CNN相結(jié)合的混合神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的實(shí)體與關(guān)系聯(lián)合抽取模型[12]，以及BERT(Bidirectional Encoder Representations from Transformers)與注意力機(jī)制相結(jié)合的聯(lián)合抽取模型[13]。

在鐵路文本數(shù)據(jù)分析領(lǐng)域，許多學(xué)者開展了研究。在命名實(shí)體識別方面，楊連報[5]采用Word2Vec對鐵路事故故障進(jìn)行特征表示，并采用BiLSTM+CRF實(shí)現(xiàn)鐵路電務(wù)的事故故障命名實(shí)體識別。在文本分類方面，文獻(xiàn)[14]采用TF-IDF特征提取與基于遺傳算法改進(jìn)的Bagging集成分類器，實(shí)現(xiàn)鐵路安全隱患文本數(shù)據(jù)智能分類；張磊等[15]采用卡方檢驗(yàn)和樸素貝葉斯方法對安全管理文本進(jìn)行降維和分類；上官偉等[16]通過改進(jìn)文檔主題生成模型(Latent Dirichlet Allocation，Labeled-LDA)，采用基于粒子群優(yōu)化的支持向量機(jī)算法對車載日志進(jìn)行分類。

高速鐵路信號設(shè)備故障知識抽取方法，借鑒學(xué)者們對命名實(shí)體與實(shí)體關(guān)系抽取的研究方法，針對信號設(shè)備故障數(shù)據(jù)特點(diǎn)，提出命名實(shí)體與實(shí)體關(guān)系的抽取模型，實(shí)現(xiàn)信號設(shè)備故障知識的抽取。根據(jù)故障數(shù)據(jù)的信息價值，定義故障命名實(shí)體與實(shí)體關(guān)系類型，構(gòu)建故障知識結(jié)構(gòu)；統(tǒng)一標(biāo)注命名實(shí)體與實(shí)體關(guān)系抽取樣本數(shù)據(jù)，提出多維字符特征表示的命名實(shí)體特征表示方法和多維分詞特征表示的實(shí)體關(guān)系特征表示方法，采用BiLSTM+CRF實(shí)現(xiàn)命名實(shí)體抽?。换诙嗑S分詞實(shí)體關(guān)系特征表示，設(shè)計(jì)基于Transformer[17-18]網(wǎng)絡(luò)，實(shí)現(xiàn)實(shí)體關(guān)系的抽取。為驗(yàn)證模型的有效性與正確性，應(yīng)用高速鐵路2009—2018年信號轉(zhuǎn)轍機(jī)設(shè)備故障數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。

1 高速鐵路信號故障知識抽取模型總體框架

高速鐵路信號設(shè)備故障數(shù)據(jù)，來源于鐵路電務(wù)相關(guān)系統(tǒng)以及人員整理的故障信息，并以Excel形式存儲，較為全面地記載了電務(wù)信號設(shè)備故障發(fā)生的詳細(xì)信息。其中，故障原因分析數(shù)據(jù)，以非結(jié)構(gòu)化文本的形式描述了故障設(shè)備的型號、故障發(fā)生的原因、整改措施等有價值的信息。

高速鐵路信號設(shè)備故障知識抽取模型總體框架見圖1。該模型自底向上分為三層：最底層為文本預(yù)處理層，實(shí)現(xiàn)對原始文本數(shù)據(jù)去除設(shè)備型號、停頓詞等預(yù)處理操作；中間層為故障知識抽取模型層，通過對故障知識的定義，統(tǒng)一標(biāo)注文本數(shù)據(jù)，并對標(biāo)注文本進(jìn)行特征表示，將文本數(shù)據(jù)轉(zhuǎn)換為向量，通過命名實(shí)體識別模型與實(shí)體關(guān)系抽取模型，先后實(shí)現(xiàn)實(shí)體抽取與關(guān)系抽取，形成三元組的知識數(shù)據(jù)；最上層為故障知識層，采用圖數(shù)據(jù)庫對知識進(jìn)行存儲，為基于知識圖譜的各類應(yīng)用提供數(shù)據(jù)支撐。

圖1 高速鐵路信號設(shè)備故障知識抽取模型總體框架

2 高速鐵路信號設(shè)備故障知識定義

故障知識的寶貴價值在于能夠有效輔助現(xiàn)場人員分析故障致因，并能夠給出故障處理意見。高速鐵路信號設(shè)備故障知識以抽取故障致因和處理方法為目的，根據(jù)對故障原因分析文本數(shù)據(jù)的特征總結(jié)，定義故障知識結(jié)構(gòu)。高速鐵路信號設(shè)備故障知識結(jié)構(gòu)見圖2。從圖2中可以看出，通過設(shè)備現(xiàn)象引起設(shè)備現(xiàn)象這種閉環(huán)結(jié)構(gòu)，能夠有效抽取引起事故的致因鏈，其余知識結(jié)構(gòu)能夠有效表達(dá)故障的處理措施。

圖2 高速鐵路信號設(shè)備故障知識結(jié)構(gòu)

根據(jù)故障知識結(jié)構(gòu)，共定義5類命名實(shí)體和7類關(guān)系類型。命名實(shí)體和實(shí)體關(guān)系定義見表1。

表1 命名實(shí)體和實(shí)體關(guān)系定義

3 高速鐵路信號設(shè)備故障知識標(biāo)注

高速鐵路信號設(shè)備故障知識抽取方法，基于有監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)方法實(shí)現(xiàn)，需要大量標(biāo)注樣本數(shù)據(jù)進(jìn)行訓(xùn)練。信號故障知識標(biāo)注方法將命名實(shí)體學(xué)習(xí)與實(shí)體關(guān)系學(xué)習(xí)樣本統(tǒng)一標(biāo)注。每一條信號設(shè)備故障文本標(biāo)注為原文序列、索引序列、命名實(shí)體序列、關(guān)系序列、關(guān)系索引序列，組成一個序列集合，分別對應(yīng)圖3中的{seq0,seq1,seq2,seq3,seq4}。高速鐵路信號設(shè)備故障文本標(biāo)注序列集合見圖3。

圖3 高速鐵路信號設(shè)備故障文本標(biāo)注序列集合

命名實(shí)體識別序列標(biāo)注采用BIOE表示，其中B(Begin)表示實(shí)體的起始位置，I(Internal)表示實(shí)體的中間部分，E(End)表示實(shí)體的末尾字符，O(Other)表示非實(shí)體字符，用“-”與表1中定義的實(shí)體標(biāo)注類型連接。實(shí)體關(guān)系在每個實(shí)體末尾字符用關(guān)系標(biāo)注類型表示，并在關(guān)系索引序列中標(biāo)記與之有關(guān)系的實(shí)體，如對圖1最底層原文部分?jǐn)?shù)據(jù)的標(biāo)注如圖3所示。

4 高速鐵路信號設(shè)備故障知識特征表示

經(jīng)過標(biāo)注的信號設(shè)備故障數(shù)據(jù)需要表示為計(jì)算機(jī)能夠識別和處理的數(shù)據(jù)類型，并能夠保留數(shù)據(jù)本身的特點(diǎn)。信號設(shè)備故障知識特征表示方法將標(biāo)注數(shù)據(jù)轉(zhuǎn)換為多維字符特征與多維分詞特征，并輸入到信號設(shè)備故障知識抽取模型中。

4.1 基于多維字符特征的命名實(shí)體特征表示

命名實(shí)體特征表示不僅要表示樣本數(shù)據(jù)中標(biāo)注的命名實(shí)體特征，也要表示文本上下文內(nèi)部相關(guān)信息，所以多維字符特征表示方法包含了樣本中每一個字符特征、標(biāo)注樣本的命名實(shí)體特征、能夠表達(dá)樣本內(nèi)容的分詞特征等三維特征。

(1)字符特征：即表示所有標(biāo)注樣本的seq0的漢字的特征。將樣本去重后的所有字符按順序編碼得到字符編碼集合Dc。

(2)命名實(shí)體特征：即將樣本的seq2信息完整表示出來。獲取seq2所有的不重復(fù)的命名實(shí)體標(biāo)記，并將所有標(biāo)記按順序編碼，映射為命名實(shí)體字典集合Tc。

(3)分詞特征：樣本的seq0通過加載專業(yè)語料的jieba分詞工具進(jìn)行分詞。得到的樣本分詞集合不僅能夠表達(dá)字符在詞語中的位置，而且可以判斷詞語的字符數(shù)量。設(shè)一個文本的總長度為L，包含n個分詞{w1,w2,w3,…,wn}，則每個分詞的表示子集合為

f(wi)={l-(l-1),…,l-1,l}

(1)

以上編碼完成后，設(shè)有n個樣本數(shù)據(jù)集，輸入一個樣本i的seq0及seq2標(biāo)注數(shù)據(jù)，得到相應(yīng)的編碼向量Dci、Sci、Tci，并且具有相同的維度，長度為樣本字符的長度，每個樣本采用三維不同的特征向量組成向量VNERi(i=1,2,…，n)，所有樣本向量表示為VNER，并且在最后加一維向量Ln用于表示每個樣本的長度。

4.2 基于多維分詞表示的實(shí)體關(guān)系特征表示

實(shí)體關(guān)系特征表示應(yīng)用知識標(biāo)注全部序列seq0～seq4，表達(dá)實(shí)體以及實(shí)體之間的關(guān)系。設(shè)seq3中有n個實(shí)體關(guān)系，將標(biāo)注數(shù)據(jù)分解為n個實(shí)體關(guān)系學(xué)習(xí)樣本，每個樣本采用基于多維分詞的實(shí)體關(guān)系特征方法表示。

實(shí)體關(guān)系主要包括：分詞特征，首部命名實(shí)體特征，尾部命名實(shí)體特征，掩碼特征。其中首部和尾部命名實(shí)體基于實(shí)體位置特征表示方法表示。

(1)分詞特征表示：實(shí)體關(guān)系分詞將樣本中的命名實(shí)體作為語料加載到j(luò)ieba分詞工具進(jìn)行分詞，這樣能夠?qū)⒚麑?shí)體作為一個分詞整體進(jìn)行處理。輸入seq0實(shí)現(xiàn)樣本數(shù)據(jù)的分詞，并將所有標(biāo)注樣本的分詞集合去重后按順序編碼形成分詞集合Sc。

(2)首部和尾部命名實(shí)體特征表示：x表示輸入的當(dāng)前命名實(shí)體的位置索引；y表示命名實(shí)體的字符長度；z表示整個樣本的索引長度；δ表示索引值大小的上限。首部和尾部命名實(shí)體的特征集合為

f(x,y,z)={{-x,0}+{0}·y+

{1,z-y-x+1}}+δ

(2)

(3)掩碼特征表示：表示首部實(shí)體和尾部實(shí)體以及其他非實(shí)體的位置信息。x表示首部索引的起始位置，y表示尾部實(shí)體的索引位置，z表示整個樣本的索引長度，過公式(3)計(jì)算掩碼特征集合，并且f(x,y,z)與g(x,y,z)的輸出集合大小相等。

g(x,y,z)={1}·(x+1)+{2}·

(y-x-1)+{3}·(z-y)

(3)

根據(jù)以上3種實(shí)體關(guān)系特征表示計(jì)算方法，輸入第i個樣本數(shù)據(jù)集seq0～seq4，通過Sc的分詞編碼映射，得到分詞特征向量Sci，通過f(x,y,z)分別得到樣本的首部命名實(shí)體特征向量Hi和尾部特征向量Ti，通過g(x,y,z)得到樣本的掩碼特征向量Mi，最終得出該樣本的多維特征向量VREAi(i=1,2,…,n)，以及所有樣本的向量表示。

5 高速鐵路信號設(shè)備故障知識抽取模型原理

信號設(shè)備故障知識抽取模型將知識特征表示的多維字符向量與多維分詞向量，分別輸入到BiLSTM+CRF命名實(shí)體識別模型和Transformer關(guān)系抽取模型中，BiLSTM+CRF與Transformer兩個深度學(xué)習(xí)網(wǎng)絡(luò)模型，對輸入的特征數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)嵌入層轉(zhuǎn)換后進(jìn)行特征學(xué)習(xí)，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)模型能夠自動識別輸入樣本的實(shí)體，以及實(shí)體之間的關(guān)系，最終輸出三元組的知識數(shù)據(jù)。命名實(shí)體與實(shí)體關(guān)系抽取模型見圖4。

5.1 基于BiLSTM+CRF命名實(shí)體抽取

命名實(shí)體識別是自然語言中典型的序列標(biāo)注問題，輸入一個線性序列x={x1,x2,x3,…,xn}，輸出給線性序列中的每一個元素打上標(biāo)簽集合中的某個標(biāo)簽的序列y={y1,y2,y3,…,yn}。BiLSTM與CRF結(jié)合是一種能夠有效學(xué)習(xí)自然語言的上下文關(guān)系并能夠保證輸出序列前后依賴關(guān)系的模型，圖4中左半部分即為BiLSTM+CRF-NER部分。

BiLSTM由前向LSTM和后向LSTM組合而成。LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元有3個門結(jié)構(gòu)，分別是遺忘門、輸入門和輸出門，各門的輸入輸出計(jì)算公式為

(4)

CRF通過對BiLSTM的輸出進(jìn)行學(xué)習(xí)，能夠保證輸出序列的條件概率滿足馬爾科夫性，例如B-P后面的輸出字符應(yīng)該是I-P，而不是其他，這樣可以增強(qiáng)輸出序列的正確性。當(dāng)輸入序列x時，輸出序列取值為y的條件概率為

(5)

式中：Z(x)為歸一化因子；tk為轉(zhuǎn)移特征函數(shù)；λk為轉(zhuǎn)移特征的權(quán)值系數(shù)；sl為結(jié)構(gòu)特征函數(shù)；μl為結(jié)構(gòu)特征的權(quán)值。

5.2 基于Transformer網(wǎng)絡(luò)的實(shí)體關(guān)系抽取

Transformer是一種基于注意力機(jī)制(Attention)建立全局輸入(Encoder)和輸出(Decoder)依賴關(guān)系的神經(jīng)網(wǎng)絡(luò)，相比其他神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的并行性,主要包括編碼過程和生成式的解碼過程。信號設(shè)備故障實(shí)體關(guān)系抽取是一個分類問題，基于Transformer Encoder編碼過程實(shí)現(xiàn)。圖4中右半部分即為Transformer-RE部分，其為應(yīng)用Transformer思想設(shè)計(jì)的信號設(shè)備故障實(shí)體關(guān)系抽取網(wǎng)絡(luò)結(jié)構(gòu)。

基于Transformer的關(guān)系抽取網(wǎng)絡(luò)結(jié)構(gòu)中，將多維分詞表示的特征向量經(jīng)過Embedding層的轉(zhuǎn)化后，輸入到Encoder網(wǎng)絡(luò)單元中。Encoder網(wǎng)絡(luò)單元由多頭注意力機(jī)制和基于位置的全連接前饋網(wǎng)絡(luò)2個子層組成，每一層的輸出都經(jīng)過一個歸一化計(jì)算。

多頭注意力機(jī)制由多個注意力機(jī)制單元組成。注意力機(jī)制將輸入向量轉(zhuǎn)換為query(Q)和一組key-value(K，V)向量，并根據(jù)注意力機(jī)制單元個數(shù)h進(jìn)行h次線性變換，將每個注意力機(jī)制單元的計(jì)算結(jié)果進(jìn)行拼接，然后再將每個注意力機(jī)制單元對輸入的Q，K，V進(jìn)行Attention函數(shù)計(jì)算，計(jì)算公式為

(6)

式中：headi=Attention(QWiQ,KWiK,VWiV)；WiQ∈Rdl×dq，Wik∈Rdl×dk，Wiv∈Rdl×dv,WiO∈Rhdv×dl，都是模型學(xué)習(xí)的映射參數(shù)。

全連接前饋網(wǎng)絡(luò)層主要包括兩層全連接前饋神經(jīng)網(wǎng)絡(luò)，以及中間的一次ReLu函數(shù)激活和Dropout防止過擬合計(jì)算。對于不同的注意力機(jī)制單元使用相同的參數(shù)。其中W和b表示網(wǎng)絡(luò)連接權(quán)重和偏置。最后對多頭注意力機(jī)制層與全連接前饋網(wǎng)絡(luò)層的輸出結(jié)果求和并進(jìn)行歸一化輸出。

FFN(x)=max(0,xW1+b1)W2+b2

(7)

6 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

以高速鐵路信號設(shè)備2009—2018年產(chǎn)生的故障數(shù)據(jù)驗(yàn)證知識抽取模型，其中，70%作為訓(xùn)練集樣本，20%作為驗(yàn)證集樣本，10%作為測試集樣本。采用準(zhǔn)確度Precision和召回率Recall作為算法評價和對比的指標(biāo)，F(xiàn)1值為綜合評價模型。

(8)

式中：C為所有樣本的總數(shù)；c為所有類別總數(shù)；TPi為被正確分到此類的樣本個數(shù)；TNi為被正確識別不在此類的樣本個數(shù)；FPi為被誤分到此類的樣本個數(shù)；FNi為屬于此類但被誤分到其他類的樣本個數(shù)。

6.1 基于多維字符特征表示的BiLSTM+CRF命名實(shí)體識別模型驗(yàn)證

高速鐵路信號轉(zhuǎn)轍機(jī)設(shè)備10年的故障數(shù)據(jù)中共包含1 362個不同漢字和21個實(shí)體標(biāo)簽類型，BiLSTM為1層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，LSTM神經(jīng)網(wǎng)絡(luò)神經(jīng)元個數(shù)為100，最大字符長度為100，Embedding字符特征維度為100，分詞特征維度為20，批處理大小為20，Dropout損失率為0.5。經(jīng)過50輪訓(xùn)練得到的訓(xùn)練結(jié)果見表2。

表2 基于多維字符特征的BiLSTM+CRF命名實(shí)體識別訓(xùn)練結(jié)果

從訓(xùn)練結(jié)果可以看出，故障維修條件、維修測試、維修結(jié)果、故障現(xiàn)象都有較高的評價指標(biāo)，只有維修采取的措施評價指標(biāo)較低，分析原因是由于各樣本中故障維修措施多樣化，并且相似的維修措施描述方式和標(biāo)注邊界不同造成的。

6.2 基于多維分詞表示的Transformer關(guān)系抽取模型驗(yàn)證

高速鐵路信號設(shè)備故障樣本數(shù)據(jù)中共有6 260個實(shí)體關(guān)系學(xué)習(xí)樣本?；诙嗑S分詞表示的Transformer網(wǎng)絡(luò)關(guān)系抽取模型采用3層網(wǎng)絡(luò)結(jié)構(gòu)，每層中的多頭注意力機(jī)制包含4個注意力機(jī)制單元，分詞維度為50，Embedding層中位置向量大小為2×50+2=102，位置維度為5，線性轉(zhuǎn)換特征維度為60，隱藏層維度為100，Dropout損失率為0.3，網(wǎng)絡(luò)輸出為一維向量，大小為關(guān)系類別個數(shù)。

Transformer實(shí)體關(guān)系網(wǎng)絡(luò)經(jīng)過40輪的訓(xùn)練，每輪將訓(xùn)練樣本分為8次批處理訓(xùn)練，訓(xùn)練過程中，第10輪、20輪、30輪、40輪的損失函數(shù)loss函數(shù)值見圖5。

從圖5中可以看出，隨著訓(xùn)練輪數(shù)及每輪訓(xùn)練樣本的增加，loss值不斷下降，最后趨于穩(wěn)定并接近于0，說明以上參數(shù)值使得Transformer網(wǎng)絡(luò)訓(xùn)練達(dá)到最佳狀態(tài)。最終模型訓(xùn)練結(jié)果見表3。

由表3可以看出：基于多維分詞特征表示的Transformer實(shí)體關(guān)系抽取模型，在高速鐵路信號設(shè)備故障實(shí)體關(guān)系分類中具有較好的表現(xiàn)，各關(guān)系類別評價指標(biāo)都在90%以上；由于MEP(采取維修措施發(fā)現(xiàn)設(shè)備故障現(xiàn)象)類實(shí)體關(guān)系在樣本中極少，所以其評價指標(biāo)較低。

6.3 實(shí)體和關(guān)系抽取模型對比試驗(yàn)

為了進(jìn)一步說明本文研究方法的有效性，針對已標(biāo)注的高速鐵路信號轉(zhuǎn)轍機(jī)設(shè)備10年的故障數(shù)據(jù)，采用不同的特征表示方法，以及不同的命名實(shí)體抽取模型和實(shí)體關(guān)系抽取模型進(jìn)行實(shí)驗(yàn)。其中命名實(shí)體識別分別采用Word2Vec和多維字符特征進(jìn)行特征表示，采用預(yù)訓(xùn)練模型ALBERT_base和BiLSTM+CRF模型實(shí)現(xiàn)設(shè)備故障命名實(shí)體識別；實(shí)體關(guān)系抽取分別采用字符+位置特征以及多維分詞特征進(jìn)行特征表示，采用Transformer、RNN和CNN作為實(shí)體關(guān)系抽取模型實(shí)現(xiàn)設(shè)備故障實(shí)體關(guān)系抽取。多種實(shí)體和實(shí)體關(guān)系抽取模型實(shí)驗(yàn)結(jié)果見表4。

從表4可以看出，多維字符特征+BiLSTM+CRF在設(shè)備故障命名實(shí)體識別中各項(xiàng)評價指標(biāo)最高，而目前主流的預(yù)訓(xùn)練模型Word2Vec和ALBERT_base由于設(shè)備故障樣本數(shù)量不足，未體現(xiàn)出較高的性能；在設(shè)備故障實(shí)體關(guān)系抽取中，多維分詞特征+Transformer模型各評價指標(biāo)最高，字符+位置特征與Transformer模型，以及多維分詞特征與RNN和CNN的組合模型，實(shí)體分類性能都不及多維分詞特征+Transformer模型，說明多維分詞特征+Transformer是最佳的設(shè)備故障實(shí)體關(guān)系抽取模型。

表4 多種實(shí)體和實(shí)體關(guān)系抽取模型實(shí)驗(yàn)結(jié)果

6.4 實(shí)驗(yàn)總結(jié)

根據(jù)以上實(shí)驗(yàn)結(jié)果可以得到，針對高速鐵路信號設(shè)備故障文本數(shù)據(jù)，采用統(tǒng)一標(biāo)注，命名實(shí)體識別與實(shí)體關(guān)系識別任務(wù)相互獨(dú)立訓(xùn)練的方式具有優(yōu)勢，并且基于多維字符表示的BiLSTM+CRF命名實(shí)體識別模型與基于多維分詞表示設(shè)計(jì)的Tramsformer關(guān)系識別模型，在高速鐵路信號設(shè)備故障命名識別與關(guān)系分類中具有較好的表現(xiàn)。實(shí)驗(yàn)證明，高速鐵路信號設(shè)備故障實(shí)體與關(guān)系抽取模型在故障知識抽取問題中具有應(yīng)用價值。

7 結(jié)束語

“十四五”鐵路網(wǎng)絡(luò)安全和信息化規(guī)劃中明確提出建設(shè)鐵路數(shù)據(jù)服務(wù)和人工智能平臺?；谥R圖譜的自然語言處理人工智能服務(wù)是平臺的重要組成部分。高速鐵路信號設(shè)備故障命名實(shí)體與實(shí)體關(guān)系管道式抽取模型，將文本的故障原因分析數(shù)據(jù)轉(zhuǎn)化為可以為故障診斷服務(wù)的知識。該模型也可以應(yīng)用到鐵路其他專業(yè)，如果統(tǒng)一存儲知識，隨著應(yīng)用的深入，將形成龐大而豐富的鐵路知識庫，該知識庫能夠解決鐵路諸多方面智能化服務(wù)無法實(shí)現(xiàn)的瓶頸。高速鐵路信號設(shè)備故障知識抽取之后，如何應(yīng)用機(jī)器學(xué)習(xí)算法去除冗余知識以及基于已有知識挖掘未知知識都是下一步的研究方向。