多尺度核電質(zhì)量文本故障信息語義抽取方法

吳庭偉　王夢(mèng)靈　易樹平　郭景任

摘要：提出了多尺度核電質(zhì)量文本故障信息語義抽取方法，從核電質(zhì)量文本描述中獲取了存在質(zhì)量缺陷的故障設(shè)備與所屬階段的信息。針對(duì)故障設(shè)備與正常設(shè)備并存，以及所屬設(shè)計(jì)、采購(gòu)、施工和調(diào)試的全價(jià)值鏈階段未描述的問題，提出了多尺度故障信息抽取策略?；赥ransformer雙向編碼的預(yù)訓(xùn)練語言模型將核電質(zhì)量文本轉(zhuǎn)化為文本向量；采用注意力機(jī)制的雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)挖掘出質(zhì)量缺陷的關(guān)鍵語義特征；采用條件隨機(jī)場(chǎng)對(duì)關(guān)鍵語義特征進(jìn)行實(shí)體預(yù)測(cè)，輸出故障設(shè)備；通過多層感知機(jī)對(duì)提取的關(guān)鍵語義特征進(jìn)行微調(diào)及推理，解譯出故障設(shè)備所屬階段。最后，在真實(shí)的核電質(zhì)量文本數(shù)據(jù)集上進(jìn)行驗(yàn)證，F(xiàn)1值達(dá)到94.3%，表明提出的方法具有較好可行性和有效性。

關(guān)鍵詞：多尺度；核電質(zhì)量文本；語義抽??；預(yù)訓(xùn)練語言模型；條件隨機(jī)場(chǎng)

中圖分類號(hào)：TP391.1

DOI：10.3969/j.issn.1004-132X.2023.08.012

Semantic Extraction Method of Multi-scale Nuclear Power Quality Text Fault Information

WU Tingwei1 WANG Mengling1 YI Shuping2 GUO Jingren3

Abstract： A semantic extraction method of multi-scale nuclear power quality text fault information was proposed to obtain the information of fault equipment and their stages from nuclear power quality text. The quality text included the faulty equipment and normal equipment， while the whole value chain stages of design， procurement， construction， and commissioning were not described. Firstly，

based on Transformer bidirectional encoding， the pre-trained language model were used to convert nuclear equipment quality text into text vectors. The bidirectional gated recurrent unit network with attention mechanism was introduced to mine the key semantic features of quality text defects. On the basis of those above， the conditional random field was used to predict the key semantic features and output the fault equipment. Fine-tuning the extracted key semantic features by multi-layer perceptron， the stages of fault equipment was interpreted. Finally， the experimental verification was conducted based on real nuclear power quality text datasets， and the F1 value reached 94.3%. The results show that the proposed method has good feasibility and effectiveness.

Key words： multi-scale； nuclear power quality text； semantic extraction； pre-trained language model； conditional random field

0 引言

核電設(shè)備的質(zhì)量決定了核電站安全穩(wěn)定的運(yùn)行。根據(jù)核電設(shè)備建造的業(yè)務(wù)流程，設(shè)備在投入運(yùn)營(yíng)前，需歷經(jīng)設(shè)計(jì)、采購(gòu)、施工和調(diào)試四個(gè)基本的全價(jià)值鏈階段。根據(jù)核電設(shè)備質(zhì)量缺陷的分析需求，工程師通過核電質(zhì)量文本完整記錄，即包含相關(guān)設(shè)備的狀態(tài)、相關(guān)現(xiàn)象、可能的原因等質(zhì)量缺陷信息描述質(zhì)量缺陷事件。通過對(duì)質(zhì)量文本的分析，得到各價(jià)值鏈階段質(zhì)量缺陷的關(guān)鍵信息，并將其匯聚成經(jīng)驗(yàn)反饋包，以便質(zhì)量管理人員分析相同型號(hào)核電設(shè)備或者類似流程可能出現(xiàn)的質(zhì)量問題?；诮?jīng)驗(yàn)反饋，相關(guān)部門能及時(shí)調(diào)整檢修計(jì)劃，盡量避免質(zhì)量問題造成的設(shè)備故障。

當(dāng)前，從質(zhì)量文本抽取關(guān)鍵信息的主要方式為人工標(biāo)注。這種標(biāo)注方式不僅費(fèi)時(shí)費(fèi)力，還需要操作人員掌握詳細(xì)的核電領(lǐng)域知識(shí)。此外，由于質(zhì)量文本記錄了質(zhì)量缺陷事件發(fā)生的全部過程，文本內(nèi)容不僅涉及出現(xiàn)質(zhì)量缺陷的設(shè)備，還包含正常設(shè)備，且沒有明確說明質(zhì)量缺陷事件是在哪個(gè)階段發(fā)生的，因此工程師需要依據(jù)整段的文本描述，推斷出質(zhì)量缺陷對(duì)應(yīng)的階段。為簡(jiǎn)化描述，本文將存在/出現(xiàn)質(zhì)量缺陷的設(shè)備稱為故障設(shè)備，將出現(xiàn)質(zhì)量缺陷對(duì)應(yīng)的價(jià)值鏈階段稱為故障所屬階段。質(zhì)量管理過程累積了大量的質(zhì)量文本，如何采用有效的方法快速準(zhǔn)確提取故障設(shè)備與所屬階段十分重要。采用文本挖掘技術(shù)對(duì)文本進(jìn)行數(shù)據(jù)挖掘是自然語言處理及文本信息抽取領(lǐng)域的一個(gè)研究熱點(diǎn)。因此，筆者將文本挖掘技術(shù)引入核電質(zhì)量文本處理，自動(dòng)分析質(zhì)量文本缺陷信息并抽獲取故障設(shè)備及所屬階段，輔助工程師及時(shí)分析發(fā)現(xiàn)類似問題并進(jìn)行處理和維護(hù)，提高核電質(zhì)量管理的效率。

當(dāng)前，核電領(lǐng)域的自然語義分析研究主要圍繞智能問答系統(tǒng)和句法語義提取展開，通過構(gòu)建高級(jí)的信息檢索系統(tǒng)，從給定的文本中推理出問題的答案。ZHAO等［1］采用字典與規(guī)則相結(jié)合的方法訓(xùn)練因果關(guān)系抽取模型，并基于該模型構(gòu)建了核電智能問答任務(wù)系統(tǒng)。iExtractor方法［2］通過對(duì)比當(dāng)前信息與歷史狀態(tài)來發(fā)現(xiàn)核電設(shè)備的運(yùn)行異常情況。上述研究針對(duì)具有因果關(guān)系的文本，通過識(shí)別關(guān)鍵字詞進(jìn)行語義搜索，完成信息提取任務(wù)。實(shí)際的核電質(zhì)量文本僅記錄缺陷產(chǎn)生的現(xiàn)象和對(duì)象，并無明確的因果關(guān)系，且沒有給定關(guān)鍵詞。

針對(duì)無因果關(guān)系的文本信息挖掘問題，WU等［3］采用雙向長(zhǎng)短期記憶（bidirectional long short term memory，BiLSTM）網(wǎng)絡(luò)構(gòu)建微博文本情感分類模型來自動(dòng)分類微博文本。JURADO［4］使用條件隨機(jī)場(chǎng)（conditional random field，CRF）構(gòu)建的實(shí)體抽取模型來自動(dòng)提取報(bào)紙中的目標(biāo)實(shí)體。文獻(xiàn)［5-6］采用BiLSTM模型與多層感知機(jī)（multi-layer perceptron，MLP）結(jié)合的方法，將切口信息提取轉(zhuǎn)化為分類問題，完成病例文本中的切口信息提取任務(wù)。文獻(xiàn)［7-8］將BiLSTM和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合來構(gòu)造實(shí)體抽取模型，通過對(duì)字向量進(jìn)行特征提取，提高了模型的抽取精度。針對(duì)數(shù)據(jù)集較少的特點(diǎn)，采用

基于Trausformer的雙向編碼表示（bidirectional encoder representation from Transformer，BERT）與雙向門控循環(huán)單元（bidirectional gated recurrent unit，BiGRU）相結(jié)合的方法構(gòu)建的實(shí)體識(shí)別模型［9-11］比BiLSTM方法的結(jié)構(gòu)簡(jiǎn)單，并且訓(xùn)練速度更高。上述研究方法僅適用于單一任務(wù)的信息抽取，而從核電質(zhì)量文本中提取出故障設(shè)備和故障階段則是2個(gè)不同尺度的信息提取任務(wù)。故障設(shè)備提取是運(yùn)用相關(guān)標(biāo)記算法對(duì)質(zhì)量文本進(jìn)行標(biāo)記，獲取對(duì)應(yīng)的故障設(shè)備；故障階段提取是融合質(zhì)量文本中每個(gè)字的語義信息，綜合推斷故障所屬的階段。

因此，本文構(gòu)建一個(gè)并行信息抽取模型來同時(shí)提取質(zhì)量文本中的故障設(shè)備與故障階段。從核電質(zhì)量文本中提取故障設(shè)備可轉(zhuǎn)化為實(shí)體抽取任務(wù)，依據(jù)整段質(zhì)量文本內(nèi)容推斷出故障階段可以轉(zhuǎn)化為4個(gè)階段的文本分類任務(wù)。筆者首先采用

BERT模型將質(zhì)量文本轉(zhuǎn)化為文本向量，利用基于注意力機(jī)制的循環(huán)神經(jīng)單元對(duì)文本向量進(jìn)行缺陷特征的提取，得到關(guān)鍵語義信息特征，然后基于CRF計(jì)算得到對(duì)應(yīng)的故障設(shè)備。接著采用MLP對(duì)提取的關(guān)鍵語義信息特征進(jìn)行非線性微調(diào)，推斷出故障所屬階段。最后，基于實(shí)際質(zhì)量管理過程的核電質(zhì)量文本數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，以驗(yàn)證本文方法的有效性和準(zhǔn)確性。

1 問題描述

表1所示為包含故障設(shè)備及所屬階段信息的2個(gè)典型質(zhì)量文本樣例。

由樣例1可見，文本不僅包含出現(xiàn)質(zhì)量缺陷的設(shè)備“汽輪機(jī)”，還包含正常設(shè)備“發(fā)電機(jī)”。樣例2中，出現(xiàn)質(zhì)量缺陷問題的設(shè)備為“汽輪機(jī)”，這與樣例1的故障設(shè)備相同，但缺陷對(duì)應(yīng)的故障階段卻不同。工程師根據(jù)2個(gè)本文描述的整體語義，分析出樣例1對(duì)應(yīng)的缺陷階段為“調(diào)試”，樣例2對(duì)應(yīng)的缺陷階段為“采購(gòu)”。

由于質(zhì)量文本存在上述特點(diǎn)，因此從質(zhì)量文本同時(shí)抽取出故障設(shè)備和故障階段，需解決如下問題：

（1）從質(zhì)量文本中提取出故障設(shè)備是實(shí)體抽取任務(wù)，依據(jù)整段質(zhì)量文本的語義推斷故障設(shè)備所屬階段是文本分類任務(wù)，如何同時(shí)完成2個(gè)不同尺度的故障信息提取任務(wù)。

（2）質(zhì)量文本同時(shí)存在故障設(shè)備和正常設(shè)備時(shí)，如何準(zhǔn)確地從中提取出故障設(shè)備。

（3）如何基于整段質(zhì)量文本的語義正確推斷出故障設(shè)備所屬階段。

考慮到上述問題，本文采用具有注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)提取故障設(shè)備和故障階段的共性缺陷特征信息，得到關(guān)鍵語義特征，接著分別采用不同的解譯算法對(duì)關(guān)鍵特征進(jìn)行解譯，同時(shí)輸出故障設(shè)備及所屬階段?；谏鲜龇治?，本文構(gòu)建故障信息抽取模型（圖1），實(shí)現(xiàn)多尺度核電質(zhì)量文本故障信息語義的抽取。首先將質(zhì)量文本轉(zhuǎn)化為文本向量，接著通過注意力（Attention）機(jī)制［12］的BiGRU提取質(zhì)量文本中的語義特征信息，然后基于關(guān)鍵語義特征分別采用CRF和MLP同時(shí)進(jìn)行故障設(shè)備提取與階段推斷。通過共享質(zhì)量文本的關(guān)鍵語義特征信息，減少不同尺度信息的特征提取步驟，減小模型計(jì)算量并提高信息抽取的精確度。

2 多尺度故障信息抽取模型

2.1 BERT字向量轉(zhuǎn)換

BERT模型是一種對(duì)文本進(jìn)行編碼的表示模型，可以將一段文本轉(zhuǎn)化為融合了文本全局語義信息的一組向量。如圖2所示，wn為質(zhì)量文本的第n個(gè)字，vn1、vn2、vn3分別是wn的語義嵌入、位置嵌入、段落嵌入。語義嵌入通過字向量表將wn轉(zhuǎn)換為一個(gè)向量，位置嵌入將wn的位置信息編碼成向量，段落嵌入將wn所在句子編碼成向量。通過融合語義嵌入、位置嵌入和段落嵌入得到綜合特征向量vn后，將vn輸入到Transformer編碼器中進(jìn)行編碼，得到對(duì)應(yīng)字向量xn。

給定的核電質(zhì)量文本描述句序列w=（w1，w2，…，wn）經(jīng)BERT模型“理解”后，得到文本描述句對(duì)應(yīng)向量x=（x1，x2，…，xn）。

2.2 關(guān)鍵語義特征提取

由于文本向量x包含所有質(zhì)量文本的信息，因此本文采用BiGRU-Attention提取文本中設(shè)備缺陷的關(guān)鍵語義特征，縮小解譯范圍。首先將文本向量輸入BiGRU，提取文本上下文語義關(guān)系的信息，得到對(duì)應(yīng)的語義信息向量。然后通過Attention機(jī)制從提取的語義信息中篩選出與設(shè)備質(zhì)量缺陷相關(guān)的特征信息，輸出關(guān)鍵語義特征向量。

BiGRU是門控循環(huán)單元（gate recurrent unit，GRU）網(wǎng)絡(luò)輸出的正反向拼接。GRU的計(jì)算公式如下：

式中，zt為t時(shí)刻的更新向量，控制信息進(jìn)入下一個(gè)時(shí)刻；xt為t時(shí)刻輸入的字向量；rt為t時(shí)刻的重置向量，決定當(dāng)前時(shí)刻信息的留舍；ht為t時(shí)刻的狀態(tài)向量，包含了前t個(gè)時(shí)刻所有文本的有效信息；*表示哈達(dá)瑪積（Hadamard）；Wzx、Wzh、Wrx、Wrh、Wh～x、Wh～h均為特征參數(shù)向量；bz、br為參數(shù)；I是維度與zt相同且元素全為1的向量；σ為sigmiod激活函數(shù)。

將GRU網(wǎng)絡(luò)輸出的ht進(jìn)行正反向拼接，得到BiGRU單個(gè)字向量xt對(duì)應(yīng)的特征向量：

根據(jù)式（6）計(jì)算得到預(yù)測(cè)最優(yōu)序列，預(yù)測(cè)每個(gè)字對(duì)應(yīng)的標(biāo)簽概率。其中，最大標(biāo)簽概率對(duì)應(yīng)的文字組合即為所提取的故障設(shè)備。如圖4所示，經(jīng)CRF計(jì)算得出“汽”與“輪”的轉(zhuǎn)移概率為0.1，“輪”與“機(jī)”的轉(zhuǎn)移概率為0.4，則關(guān)鍵語義特征向量經(jīng)CRF計(jì)算調(diào)整后得到的實(shí)體預(yù)測(cè)向量（標(biāo)號(hào)②）為（0.491，0.823，0.964），該向量輸出的實(shí)體為“汽輪機(jī)”，解決了實(shí)體之間的依存關(guān)系。

2.3.2 階段提取

經(jīng)BERT-BiGRU-Attention提取得到的ATT保持著文本序列長(zhǎng)度并含有豐富的語義特征信息，但僅依據(jù)ATT不能推斷所屬階段，需要對(duì)提取的ATT進(jìn)行壓縮與融合。本文為簡(jiǎn)化計(jì)算，不再單獨(dú)采用神經(jīng)網(wǎng)絡(luò)獲取新的語義特征，而將ATT作為多層感知機(jī)（MLP）的輸入，通過MLP對(duì)現(xiàn)有的ATT特征進(jìn)行微調(diào)，推斷故障階段。

核電業(yè)務(wù)流程包含4個(gè)階段，因此將MLP輸出變量設(shè)為1個(gè)表征4個(gè)階段可能性的四維向量，形成基于BERT-BiGRU-Attention-MLP的核電質(zhì)量文本缺陷階段分類方法。MLP對(duì)提取的關(guān)鍵語義特征信息ATT進(jìn)行壓縮與非線性融合，綜合考慮每個(gè)字對(duì)輸出的貢獻(xiàn)，輸出對(duì)應(yīng)的缺陷階段。具體計(jì)算過程如下：

質(zhì)量文本描述句經(jīng)BERT-BiGRU-Attention計(jì)算后得到ATT，對(duì)ATT進(jìn)行池化操作（Pooling），得到降維后的文本向量m=（m1，m2，…，mn），MLP對(duì)輸入m進(jìn)行非線性融合，綜合推斷缺陷階段。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用某核電設(shè)備質(zhì)量文本數(shù)據(jù)進(jìn)行核電故障設(shè)備信息提取實(shí)驗(yàn)。數(shù)據(jù)集包含1300條文本數(shù)據(jù)，將數(shù)據(jù)集按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。采用BERT-base作為文本字向量轉(zhuǎn)換模型。實(shí)體抽取任務(wù)僅提取故障設(shè)備實(shí)體，因此采用BIO標(biāo)注策略（“B”表示元素屬于實(shí)體開頭，“I”表示元素屬于實(shí)體中間（非頭部），“O”表示元素不屬于實(shí)體）。將故障階段分為4類，采用2個(gè)BiGRU網(wǎng)絡(luò)提取數(shù)據(jù)特征，MLP網(wǎng)絡(luò)層數(shù)設(shè)置為3。

3.2 實(shí)驗(yàn)驗(yàn)證與分析

本文采用準(zhǔn)確率P、召回率R以及F1作為評(píng)價(jià)指標(biāo)來驗(yàn)證提出方法的精度，針對(duì)故障設(shè)備抽取問題，與BERT-CRF模型和BERT-BiGRU-CRF模型進(jìn)行對(duì)比，結(jié)果如表2所示。針對(duì)故障階段判別，將BERT-MLP模型和BERT-BiGRU-MLP模型作為參考模型進(jìn)行對(duì)比，結(jié)果如表3所示。針對(duì)多任務(wù)同時(shí)抽取，將本文提出的方法與BERT-CRF+MLP、BERT-CRF+BiGRU-MLP、BERT-BiGRU-CRF+MLP和BERT-BiGRU-CRF+BiGRU-MLP進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表4所示。

由表2可知，在BERT-CRF基礎(chǔ)上加入BiGRU網(wǎng)絡(luò)可以提取上下文語義特征信息，比BERT-CRF方法的F1值高出7.1%；在BERT-BiGRU-CRF方法中加入Attention機(jī)制進(jìn)行關(guān)鍵語義信息提取，比BERT-BiGRU-CRF方法的F1值高出1.6%。由表3可知，BERT-BiGRU-Attention-MLP方法的抽取精度最高，其次是BERT-BiGRU-MLP方法，BERT-MLP方法最低，證明BiGRU-Attention在所屬階段的推斷任務(wù)中發(fā)揮了重要作用。由表4可知，在同時(shí)提取多個(gè)任務(wù)時(shí)，BERT-BiGRU-Attention-MLP的F1達(dá)到94.3%，比BERT-CRF+MLP高出10.9%，比BERT-BiGRU-CRF+MLP高出3.4%，由此可見BERT-BiGRU-Attention-MLP可以有效支持多尺度的雙任務(wù)文本并行提取問題。

3.3 結(jié)果分析

為驗(yàn)證注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)鍵語義特征提取的有效性，提取表1中的2個(gè)樣例進(jìn)行關(guān)鍵語義特征的展示（見表5），選取概率最高的15個(gè)字進(jìn)行分析。

由表5的樣例1可知，通過對(duì)關(guān)鍵語義信息的提取，正常設(shè)備“發(fā)電機(jī)”的信息被弱化，故障設(shè)備“汽輪機(jī)”被預(yù)測(cè)出來；樣例2中的故障設(shè)備“汽輪機(jī)”可以被正確預(yù)測(cè)。MLP微調(diào)關(guān)鍵語義特征向量后，得到缺陷階段的語義特征向量，選取概率最高的10個(gè)字進(jìn)行展示，如表6所示。

由表6可知，綜合樣例1中的“調(diào)” “速”“超”“過”“值”等關(guān)鍵字得到故障所屬階段為調(diào)試；根據(jù)樣例2中的“焊”“接”“資”“質(zhì)”“不”“超”等關(guān)鍵字信息，分析出故障所屬階段為采購(gòu)。表7給出了部分高頻故障設(shè)備和所屬階段的統(tǒng)計(jì)分析結(jié)果。

由表5～表7可知，本文提出的語義提取方法可從核電質(zhì)量文本提取質(zhì)量缺陷的故障設(shè)備和所屬階段，梳理高頻故障設(shè)備并進(jìn)行歸類分析，有助于工程師充分認(rèn)識(shí)當(dāng)前建造過程出現(xiàn)質(zhì)量問題的設(shè)備相關(guān)情況，輔助后續(xù)的質(zhì)量缺陷根因分析和經(jīng)驗(yàn)反饋。

4 結(jié)語

本文提出了多尺度核電質(zhì)量文本故障信息語義抽取方法，解決了傳統(tǒng)核電質(zhì)量文本關(guān)鍵信息人工提取的問題。實(shí)際核電質(zhì)量文本數(shù)據(jù)驗(yàn)證表明本文方法的F1值達(dá)到94.3%。對(duì)已有數(shù)據(jù)的訓(xùn)練可累積大量關(guān)鍵語義特征和高頻故障設(shè)備信息，輔助工程師及時(shí)了解設(shè)備相關(guān)情況，有效支撐后續(xù)缺陷根因分析和經(jīng)驗(yàn)反饋，提高核電質(zhì)量管理效率。

參考文獻(xiàn)：

［1］ZHAO Y， DIAO X， HUANG J， et al. Automated Identification of Causal Relationships in Nuclear Power Plant Event Reports［J］. Nuclear Technology， 2019， 205（8）：1021-1034.

［2］CHOI Y S， NGUYEN M D， THOMAS N K. Syntactic and Semantic Information Extraction from NPP Procedures Utilizing Natural Language Processing Integrated with Rules［J］. Nuclear Engineering and Technology， 2021， 53（3）：866-878.

［3］WU P， LI X， LI C， et al. Sentiment Classification Using Attention Mechanism and Bidirectional Long Short-term Memory Network［J］. Applied Soft Computing， 2021， 112：107792.

［4］JURADO F. Journalistic Transparency Using CRFs to Identify the Reporter of Newspaper Articles in Spanish［J］. Applied Soft Computing， 2020， 95：106496.

［5］盧淑祺， 竇志成， 文繼榮. 手術(shù)病例中結(jié)構(gòu)化數(shù)據(jù)抽取研究［J］. 計(jì)算機(jī)學(xué)報(bào)， 2019， 42（12）：2754-2768.

LU Shuqi， DOU Zhicheng， WEN Jirong. Research on Structural Data Extraction in Surgical Cases［J］. Chinese Journal of Computers， 2019， 42（12）：2754-2768.

［6］NGUYEN M， LE D， LE L. Transformers-based Information Extraction with Limited Data for Domain-specific Business Documents［J］. Engineering Applications of Artificial Intelligence， 2021， 97：104100.

［7］WANG J， XU W， FU X， et al. ASTRAL：Adversarial Trained LSTM-CNN for Named Entity Recognition［J］. Knowledge-based Systems， 2020， 197：105842.

［8］CHO M， HA J， PARK C， et al. Combinatorial Feature Embedding Based on CNN and LSTM for Biomedical Named Entity Recognition［J］. Journal of Biomedical Informatics， 2020， 103：103381.

［9］DU C， HUANG L. Text Classification Research with Attention-based Recurrent Neural Networks［J］. International Journal of Computers Communications & Control， 2018， 13（1）：50-61.

［10］張靖宜， 賀光輝， 代洲， 等. 融入BERT的企業(yè)年報(bào)命名實(shí)體識(shí)別方法［J］. 上海交通大學(xué)學(xué)報(bào)， 2021， 55（2）：117-123.

ZHANG Jingyi， HE Guanghui， DAI Zhou， et al. Named Entity Recognition of Enterprise Annual Report Integrated with BERT［J］. Journal of Shanghai Jiaotong University， 2021， 55（2）：117-123.

［11］JIA C， SHI Y， YANG Q， et al. Entity Enhanced BERT Pre-training for Chinese NER［C］∥Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing（EMNLP）. 2020：6384-6396.

［12］VASWANI A， SHAZZER N， PARMER N， et al. Attention Is All You Need［C］∥Proceedings of the 31st Conference on Neural Information Processing Systems. Long Beach， 2017：6000-6010.

（編輯 張 洋）

作者簡(jiǎn)介：

吳庭偉，男，1998年生，碩士研究生。研究方向?yàn)槲谋痉诸?、信息抽取。E-mail：y30200997@mail.ecust.edu.cn。

王夢(mèng)靈（通信作者），女，1980年生，副教授。研究方向?yàn)閿?shù)據(jù)挖掘、人工智能算法。發(fā)表論文30余篇。E-mail：wml_ling@ecust.edu.cn。

收稿日期：2021-08-31

修回日期：2023-01-04

基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃（2020YFB1711700）