基于改進(jìn)BERT的電力領(lǐng)域中文分詞方法

夏飛，陳帥琦，華珉，蔣碧鴻

基于改進(jìn)BERT的電力領(lǐng)域中文分詞方法

夏飛1，陳帥琦1，華珉2*，蔣碧鴻3

（1.上海電力大學(xué) 自動化工程學(xué)院，上海 200090； 2.國網(wǎng)上海電力公司 電力科學(xué)研究院，上海 200437； 3.上海電力大學(xué) 圖書館 上海 200090）（?通信作者電子郵箱hmhzgb@163.com）

針對電力領(lǐng)域中文文本包含大量專有詞時分詞效果不佳的問題，提出一種基于改進(jìn)BERT （Bidirectional Encoder Representation from Transformers）的電力領(lǐng)域中文分詞（CWS）方法。首先，構(gòu)建分別涵蓋通用、領(lǐng)域詞的詞典，并設(shè)計雙詞典匹配融合機(jī)制將詞特征直接融入BERT模型，使模型更有效地利用外部知識；其次，通過引入DEEPNORM方法提高模型對于特征的提取能力，并使用貝葉斯信息準(zhǔn)則（BIC）確定模型的最佳深度，使BERT模型穩(wěn)定加深至40層；最后，采用ProbSparse自注意力機(jī)制層替換BERT模型中的經(jīng)典自注意力機(jī)制層，并利用粒子群優(yōu)化（PSO）算法確定采樣因子的最優(yōu)值，在降低模型復(fù)雜度的同時確保模型性能不變。在人工標(biāo)注的電力領(lǐng)域?qū)＠谋緮?shù)據(jù)集上進(jìn)行了分詞性能測試。實驗結(jié)果表明，所提方法在該數(shù)據(jù)集分詞任務(wù)中的F1值達(dá)到了92.87%，相較于隱馬爾可夫模型（HMM）、多標(biāo)準(zhǔn)分詞模型METASEG（pre-training model with META learning for Chinese word SEGmentation）與詞典增強(qiáng)型BERT（LEBERT）模型分別提高了14.70、9.89與3.60個百分點，驗證了所提方法有效提高了電力領(lǐng)域中文文本的分詞質(zhì)量。

中文分詞；領(lǐng)域分詞；改進(jìn)BERT；電力文本；深度學(xué)習(xí)；自然語言處理

0 引言

電力領(lǐng)域的文本數(shù)據(jù)這類非結(jié)構(gòu)化數(shù)據(jù)包含大量運(yùn)行經(jīng)驗，對它進(jìn)行分析可以為電力運(yùn)行提供支持［1］。電力領(lǐng)域中文文本分詞是自然語言處理技術(shù)范疇內(nèi)中文分詞（Chinese Word Segmentation， CWS）任務(wù)的一個分支，它的目的是將整段的電力領(lǐng)域文本正確拆分成詞的集合，為后續(xù)電力文本挖掘、知識圖譜構(gòu)建等基于詞級語料的電力領(lǐng)域自然語言處理任務(wù)提供基礎(chǔ)數(shù)據(jù)［2-3］，因此，電力文本分詞的質(zhì)量直接影響后續(xù)任務(wù)的質(zhì)量。

CWS任務(wù)一直面臨分詞標(biāo)準(zhǔn)選擇、分詞歧義和未登錄詞（Out-Of-Vocabulary， OOV）識別的問題［4］。CWS通常被視為序列標(biāo)注任務(wù)。在近20年的發(fā)展中，CWS經(jīng)歷了隱馬爾可夫模型（Hidden Markov Model，HMM）、條件隨機(jī)場（Conditional Random Field， CRF）等基于統(tǒng)計的方法［5-6］，以及長短期記憶（Long Short-Term Memory， LSTM）網(wǎng)絡(luò)、BERT（Bidirectional Encoder Representation from Transformers）等基于深度神經(jīng)網(wǎng)絡(luò)模型的方法［7-8］，準(zhǔn)確率逐步提升。目前，分詞標(biāo)準(zhǔn)選擇與分詞歧義的問題隨著更多標(biāo)準(zhǔn)的提出與深度神經(jīng)網(wǎng)絡(luò)模型的大規(guī)模應(yīng)用得到有效緩解，未登錄詞成為影響分詞準(zhǔn)確性的最重要的因素［4］。

未登錄詞指的是分詞任務(wù)中遇到但模型訓(xùn)練語料中沒有涉及的詞。在對未登錄詞的研究中發(fā)現(xiàn)，56%～72%的未登錄詞為專有詞［9］；因此，采用面向通用場景的語料庫設(shè)計的分詞手段應(yīng)用于特定領(lǐng)域時通常效果較差。為此，研究者們開始探索針對領(lǐng)域文本分詞任務(wù)的方法。

針對領(lǐng)域文本的分詞方法一般通過改進(jìn)通用分詞模型、結(jié)合領(lǐng)域詞典、采用遷移學(xué)習(xí)等方式獲得更好的領(lǐng)域分詞性能。文獻(xiàn)［10］中在雙向長短期記憶（Bidirectional LSTM， Bi-LSTM）網(wǎng)絡(luò)模型中添加了詞典信息并取得了較好的效果，證明了在神經(jīng)網(wǎng)絡(luò)模型中添加詞典對指導(dǎo)拆分領(lǐng)域?qū)Ｓ性~的有效性；文獻(xiàn)［11］中在自適應(yīng)HMM的基礎(chǔ)上添加領(lǐng)域詞典和互信息，構(gòu)建了對石油領(lǐng)域文本的分詞模型；文獻(xiàn)［12］中設(shè)計了一種利用未標(biāo)記和部分標(biāo)記數(shù)據(jù)訓(xùn)練的Bi-LSTM網(wǎng)絡(luò)分詞模型，在跨領(lǐng)域CWS任務(wù)中取得了良好的效果；文獻(xiàn)［13］中基于Bi-LSTM網(wǎng)絡(luò)和遷移學(xué)習(xí)設(shè)計了領(lǐng)域自適應(yīng)的分詞方法；文獻(xiàn)［14］中使用雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit， Bi-GRU）代替多頭注意力機(jī)制中的位置編碼，設(shè)計了面向領(lǐng)域的分詞模型；文獻(xiàn)［15］中通過設(shè)計新詞發(fā)現(xiàn)機(jī)制自動標(biāo)注新領(lǐng)域語料，并用它訓(xùn)練門控卷積神經(jīng)網(wǎng)絡(luò)（Gated Convolutional Neural Network， GCNN）分詞模型，在多個領(lǐng)域的測試中取得了較好的成績。

目前，面向電力領(lǐng)域文本的自然語言處理技術(shù)研究中缺乏對電力領(lǐng)域中文文本分詞任務(wù)的研究，現(xiàn)有研究大多使用基于規(guī)則或統(tǒng)計的方法實現(xiàn)分詞。文獻(xiàn)［16］中使用經(jīng)過電力專業(yè)詞典增強(qiáng)的HMM對電力設(shè)備缺陷記錄進(jìn)行分詞以構(gòu)建知識圖譜；文獻(xiàn)［17］中利用HMM與Viterbi算法輔以領(lǐng)域詞典進(jìn)行分詞，再依據(jù)分詞結(jié)果構(gòu)建Bi-LSTM分類器，實現(xiàn)變壓器故障文本句子分類；文獻(xiàn)［18］中采用串頻統(tǒng)計等方法實現(xiàn)分詞，用于后續(xù)電力領(lǐng)域命名實體識別；文獻(xiàn)［19］中設(shè)計了包含大量領(lǐng)域詞匯的預(yù)設(shè)詞庫，通過正向逆向最大匹配的方法獲取低粒度電力詞匯。基于規(guī)則與統(tǒng)計的分詞方法存在分詞歧義、粒度混亂和對未登錄詞錯誤分詞的問題，且對領(lǐng)域詞典質(zhì)量有較高要求，分詞效果不理想，會對后續(xù)任務(wù)造成嚴(yán)重影響。在與分詞任務(wù)同屬序列標(biāo)注任務(wù)的電力領(lǐng)域命名實體識別中，深度學(xué)習(xí)技術(shù)得到了廣泛應(yīng)用。文獻(xiàn)［20］中使用經(jīng)過電力領(lǐng)域語料預(yù)訓(xùn)練的電力BERT模型作為字嵌入的編碼方式，之后通過Bi-LSTM網(wǎng)絡(luò)與CRF輸出序列標(biāo)注；文獻(xiàn)［21］中使用多個雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional Recurrent Neural Network， Bi-RNN）創(chuàng)建多個單一實體識別器，最后利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）分析結(jié)果，輸出最終的電力實體信息。以上述文獻(xiàn)為代表的電力領(lǐng)域命名實體識別工作雖然同為序列標(biāo)注任務(wù)，但它們僅針對電力實體詞匯的識別，應(yīng)用在電力文本的整體分詞任務(wù)時，效果較差，無法解決依賴詞級語料的模型的語料問題；同時，BERT模型的特征提取能力與表示能力較強(qiáng)，但目前基于BERT的領(lǐng)域文本序列標(biāo)注方法（包含分詞與命名實體識別）大多僅作為動態(tài)字嵌入的獲取方式，而將特征提取工作交予送入了字嵌入與詞典等外部信息的后續(xù)模型（例如Bi-LSTM），這樣的模型設(shè)計將外部知識表示與字嵌入獲取過程隔離，沒有充分利用外部知識以及BERT模型的特征提取能力與表示能力，提高了模型復(fù)雜度。

綜上，目前面向電力領(lǐng)域的分詞方法研究較少，分詞手段性能落后，嚴(yán)重制約了模型性能。為了實現(xiàn)以高準(zhǔn)確率切分電力領(lǐng)域文本詞匯的目的，本文受詞典增強(qiáng)型BERT （Lexicon Enhanced BERT， LEBERT）模型［22］的啟發(fā)，以電力領(lǐng)域?qū)＠谋緸閷嶒瀸ο筮M(jìn)行了研究，提出了面向電力領(lǐng)域的CWS深度神經(jīng)網(wǎng)絡(luò)模型。

本文的主要工作內(nèi)容如下：

1）構(gòu)建了面向電力領(lǐng)域的領(lǐng)域詞典，設(shè)計了包含領(lǐng)域詞典與通用詞典的雙詞典匹配融合機(jī)制，將外部知識信息直接集成到BERT內(nèi)部，強(qiáng)化了語料特征并緩解了未登錄詞問題。

2）引入DEEPNORM方法［23］，將BERT模型穩(wěn)定加深至40層，避免了傳統(tǒng)深層BERT模型面臨的增量爆炸問題，提高了模型對特征的提取能力；結(jié)合貝葉斯信息準(zhǔn)則（Bayesian Information Criterion， BIC）對模型性能、時間等因素綜合評分，確定了模型最佳深度，防止模型過于復(fù)雜。

3）為進(jìn)一步降低模型規(guī)模，采用ProbSparse自注意力機(jī)制［24］層替換了BERT模型中的經(jīng)典自注意力機(jī)制層，降低了模型的時間與空間復(fù)雜度；利用粒子群優(yōu)化（Particle Swarm Optimization，PSO）確定采樣因子的最優(yōu)值，在降低模型復(fù)雜度的同時確保了模型性能不變。

1 融合領(lǐng)域詞典與通用詞典的CWS模型

圖1　融合領(lǐng)域詞典與通用詞典的CWS模型

1.1　雙詞典匹配融合機(jī)制

1.1.1詞典建立與詞特征提取

詞典作為分詞模型的重要組成部分，直接指導(dǎo)模型對于專有名詞的拆分。本文的具體思路為通過通用、領(lǐng)域兩個詞典為模型添加外部知識，其中：通用詞典有多個內(nèi)容豐富的高質(zhì)量開源詞典，選擇文獻(xiàn)［25］中制作的詞典與詞嵌入，該詞典具有完整的詞匯文本部分與詞嵌入部分，詞語總數(shù)約為882萬；對于領(lǐng)域詞典，目前缺乏成熟統(tǒng)一的電力領(lǐng)域開源詞典，需要構(gòu)建，選擇電力行業(yè)國標(biāo)［26］、現(xiàn)有電力詞匯書籍［27］等內(nèi)容作為主體，用人工總結(jié)的最新電力熱詞作為填充構(gòu)建電力領(lǐng)域詞典，包含的詞語總數(shù)約為15萬，可以基本滿足電力領(lǐng)域?qū)Ｓ忻~分詞的需要。

1.1.2詞特征的融入

由于詞嵌入的維度與模型字符特征的維度可能存在差異，為了使新加入的詞嵌入能夠與字符特征匹配，需要對詞嵌入進(jìn)行非線性變換，將它與字符特征統(tǒng)一維度：

圖3　雙詞典匹配融合機(jī)制的結(jié)構(gòu)

由于同一個字符可能涉及多個匹配的詞語，為防止引入歧義干擾，需要對結(jié)果進(jìn)行選擇。本文沿用雙線性注意力機(jī)制實現(xiàn)詞語挑選，基于字符特征獲取各詞嵌入的注意力得分，之后計算每個字符對應(yīng)的領(lǐng)域詞的加權(quán)和，即為領(lǐng)域詞特征：

將獲得的領(lǐng)域詞特征與字符特征結(jié)合，并進(jìn)行層標(biāo)準(zhǔn)化：

其中：LN代表LayerNorm，是用來進(jìn)行層標(biāo)準(zhǔn)化的經(jīng)典函數(shù)。

同理，使用添加了領(lǐng)域詞特征的字符特征與通用詞嵌入計算雙線性注意力得分，構(gòu)建通用詞特征：

然后將獲得的通用詞特征與添加了領(lǐng)域詞特征的字符特征融合，最后經(jīng)過dropout與層標(biāo)準(zhǔn)化，完成詞典信息的匹配添加。

1.2　深層BERT

1.2.1DEEPNORM方法

雙詞典匹配融合機(jī)制將領(lǐng)域詞典信息與通用詞典信息融入BERT，給模型添加了更有效的外部知識，但也存在詞特征被稀釋的問題；另一方面，領(lǐng)域語料庫的規(guī)模通常因為文本數(shù)量與標(biāo)注成本問題而受到限制，因而需要提高模型對特征的提取能力。目前Transformer模型［28］正在向著大型化方向發(fā)展，對于基于Transformer的BERT模型，參數(shù)量意味著模型的寬度，而BERT編碼器層數(shù)則代表模型的深度，更深的模型可以在較窄的情況下獲得比寬而淺的模型更好的效果，因此，本文引入DEEPNORM方法［23］穩(wěn)定地增加BERT模型的層數(shù)。DEEPNORM方法的公式為：

Tab.1　Values of and corresponding to SGD and Adam optimizers

注：代表BERT編碼器的層數(shù)。

1.2.2基于BIC的BERT編碼器層數(shù)確定方法

雖然BERT編碼器的層數(shù)在一定范圍內(nèi)加深可以獲得更好的效果，但超過該范圍后模型的整體性能將下降。BIC是一種常用的判別準(zhǔn)則，用于評價模型性能。本文采用經(jīng)過改進(jìn)的BIC對不同深度的模型進(jìn)行評價，以確定模型中BERT編碼器層數(shù)的最優(yōu)值。最佳層數(shù)可以通過BIC評分結(jié)果得到。

本文所述BIC公式為：

1.3　基于ProbSparse 自注意力機(jī)制的模型簡化

1.3.1ProbSparse 自注意力機(jī)制

優(yōu)化后的BERT模型提升了特征提取的能力，但也帶來了時間復(fù)雜度與空間復(fù)雜度高的新問題。針對這一問題，本文引入ProbSparse自注意力機(jī)制［24］替換BERT編碼器中原本的自注意力機(jī)制，在幾乎不影響模型效果的前提下進(jìn)一步減少參數(shù)量，提高訓(xùn)練速度。

最終，ProbSparse自注意力機(jī)制的公式可以表示為：

1.3.2基于PSO的采樣因子確定方法

采樣因子的選取對模型有直接影響：選取過大會削弱ProbSparse自注意力機(jī)制的模型簡化效果；選取過小則會造成特征丟失，降低模型性能。針對這一問題，本文建立了最優(yōu)化目標(biāo)函數(shù)，利用PSO算法確定采樣因子的最佳取值。

PSO算法粒子速度、位置的更新公式為：

圖4　PSO算法優(yōu)化采樣因子的流程

2 實驗與結(jié)果分析

為了驗證本文模型的效果，搭建了基于Python的實驗環(huán)境，開展了大量實驗。計算機(jī)操作系統(tǒng)為Windows 10，CPU為AMD Ryzen5 3600，內(nèi)存32 GB，GPU為NVIDIA GEFORCE RTX 3090，顯存容量24 GB。

在討論模型的最優(yōu)參數(shù)選擇時，由于采樣因子相較于BERT編碼器層數(shù)對模型性能的影響更大，因此在設(shè)置模型超參數(shù)之后，先確定采樣因子的最優(yōu)值，再討論BERT編碼器層數(shù)的優(yōu)選值。

2.1　語料構(gòu)成與評價標(biāo)準(zhǔn)

為充分體現(xiàn)模型性能，選取電力專業(yè)詞匯密集且涵蓋廣泛的電力領(lǐng)域?qū)＠谋具M(jìn)行人工標(biāo)注制作語料庫。由于領(lǐng)域文本僅能靠人工標(biāo)注獲取，規(guī)模較小，且具有一定程度上的局限性，因此將領(lǐng)域語料庫與Bakeoff提供的微軟亞洲研究院（MicroSoft Research Asia， MSRA）語料庫、北京大學(xué)（PeKing University， PKU）語料庫等標(biāo)準(zhǔn)語料庫［29］的部分內(nèi)容進(jìn)行組合，使領(lǐng)域語料庫與標(biāo)準(zhǔn)語料庫的文本比例為1∶2。用于訓(xùn)練的語料庫具體構(gòu)成情況如表2所示。取領(lǐng)域語料庫的10%用于后續(xù)測試。

在分詞規(guī)范方面，本文參照文獻(xiàn)［30］，對于規(guī)范未涉及的專業(yè)領(lǐng)域詞匯，采用國標(biāo)等文件中提供的標(biāo)準(zhǔn)作為分詞規(guī)范。

表2訓(xùn)練語料庫構(gòu)成情況

Tab.2　Composition of training corpus

2.2　模型構(gòu)建與超參數(shù)設(shè)置

本文模型基于BERT模型構(gòu)建，其中，BERT模型的初始化采用huggingface［31］提供的中文BERT模型參數(shù)。通用詞典采用文獻(xiàn)［25］中制作的中文詞典，領(lǐng)域詞典使用Word2Vec方法訓(xùn)練詞嵌入。經(jīng)過測試，在可以取得最佳效果的BERT第1、2層編碼器之間插入雙詞典匹配融合機(jī)制。采用｛B，M，E，S｝四詞位進(jìn)行序列標(biāo)注，使用AdamW（Adam Weight decay）優(yōu)化器和最小化負(fù)對數(shù)似然損失函數(shù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。損失函數(shù)公式為：

2.3　采樣因子的確定實驗

圖5　不同采樣因子的計算結(jié)果

2.4　BERT編碼器層數(shù)的確定實驗

表3模型性能與耗時的測試結(jié)果

Tab.3　Test results of model performance and time consumption

圖6　不同BERT編碼器層數(shù)的BIC評分結(jié)果

由表3、圖6中的數(shù)據(jù)可知，當(dāng)BERT編碼器層數(shù)多于30時，模型1值的增長趨于平緩，在層數(shù)為35和40時，BIC評分結(jié)果達(dá)到最小。根據(jù)BIC的“吝嗇原理”，結(jié)果最小的模型為最佳模型。當(dāng)BERT編碼器層數(shù)為40時，模型不僅取得了最佳的BIC評分結(jié)果，還具有更大的1值，因此本文最終選擇BERT編碼器層數(shù)為40。

2.5　分詞結(jié)果及分析

在確定了模型的各項參數(shù)之后，對模型在電力領(lǐng)域?qū)＠谋菊Z料上的分詞性能進(jìn)行了測試。由于近年來鮮有針對電力領(lǐng)域的CWS模型研究，為了驗證本文模型的效果，選取了多個具有代表性的模型進(jìn)行分詞結(jié)果比較，這些模型包括：多標(biāo)準(zhǔn)分詞模型METASEG（pre-training model with META learning for Chinese word SEGmentation）［33］，電力領(lǐng)域自然語言處理研究常用分詞模型HMM（添加電力領(lǐng)域詞典輔助分詞）［32］，以解決分詞問題為主的序列標(biāo)注模型ZEN（a BERT-based Chinese（Z） text encoder Enhanced by N-gram representations）［34］和LEBERT［22］。評測結(jié)果如表4所示。

表4不同模型的分詞評測結(jié)果 單位：%

Tab.4　Test results of word segmentation by different models unit：%

通過對比可以發(fā)現(xiàn)，在針對電力領(lǐng)域具有代表性的專利文本語料分詞任務(wù)中，本文模型與次優(yōu)的LEBERT相比，1值提高了3.60個百分點，相較于HMM、METASEG也分別提高了14.70和9.89個百分點。這驗證了本文模型在電力領(lǐng)域文本分詞上的優(yōu)勢。

為了對比分詞效果，在表5中列出了各模型對幾個例句進(jìn)行分詞的結(jié)果比較。由表5可知，本文模型對于登錄詞的切分更準(zhǔn)確，對于未登錄詞，本文依賴更深的BERT神經(jīng)網(wǎng)絡(luò)能夠更好地將它們切分。例如對于短語“輸電線路”“電磁屏蔽”“能源交互”，其他模型更傾向于將它們切分為更細(xì)的粒度。同樣的，對于未登錄詞例如“纖維素基”“能量云”“風(fēng)雨水能”等，其他模型更傾向于將它們切分成“纖維素/基”“能量/云”“風(fēng)雨/水能”，本文模型則傾向于將它們作為一個整詞進(jìn)行切分。此類切分差異會對后續(xù)任務(wù)例如聚類、構(gòu)建知識圖譜等產(chǎn)生重要影響。

表5不同模型分詞結(jié)果示例

Tab.5　Examples of word segmentation results by different models

注：加粗字為不同模型的具體分詞差異示例。

除了分詞準(zhǔn)確性，還對ProbSparse自注意力機(jī)制（此處用PSAttn表示）加入前后模型（非PSAttn模型和PSAttn模型）的訓(xùn)練速度和顯存占用進(jìn)行了測試，以評測模型在降低算法復(fù)雜度方面的作用。測試時，設(shè)置顯存上限為16 GB，batch_size從1開始增加至顯存允許的最高值。為衡量不同batch_size下的模型精度，同時測試了不同batch_size下模型的1值，具體結(jié)果如表6所示。從結(jié)果看，ProbSparse自注意力機(jī)制的引入使得模型訓(xùn)練時間與顯存占用大幅減少，降低了對硬件的要求；同時，通過對比采用ProbSparse自注意力機(jī)制模型（PSAttn模型）與未采用模型（非PSAttn模型）的1值可以發(fā)現(xiàn)，ProbSparse自注意力機(jī)制的引入并未對模型性能造成影響。由此可知，在保證分詞準(zhǔn)確性以外，本文模型由于引入了ProbSparse自注意力機(jī)制，可以降低模型的時間復(fù)雜度和空間復(fù)雜度。時間復(fù)雜度的降低直接縮減了模型訓(xùn)練所需時間；空間復(fù)雜度的降低允許模型以更大的batch_size或者在顯存容量更低的硬件條件下進(jìn)行訓(xùn)練。

表6訓(xùn)練速度及顯存占用的測試結(jié)果

Tab.6　Test results of training speed and memory consumption

綜上所述，在電力領(lǐng)域文本的分詞任務(wù)中，本文提出的模型具有更好的性能，可以更準(zhǔn)確地切分詞語。

3 結(jié)語

本文針對電力領(lǐng)域分詞任務(wù)進(jìn)行了研究，并對目前存在的不足進(jìn)行了改進(jìn)。具體地，首先構(gòu)建了面向電力領(lǐng)域的領(lǐng)域詞典，并設(shè)計了用于更好地向BERT注入詞典信息的雙詞典匹配融合機(jī)制；其次引入了DEEPNORM方法穩(wěn)定增加BERT模型深度，提高了模型的特征提取能力，并使用BIC確定了BERT編碼器的最佳層數(shù)，防止模型過于復(fù)雜；最后采用ProbSparse自注意力機(jī)制降低了深度BERT模型的時間與空間復(fù)雜度，并利用PSO算法確定了最優(yōu)采樣因子，確保了在降低復(fù)雜度的同時不改變模型性能。本文將標(biāo)準(zhǔn)語料與人工標(biāo)注的電力領(lǐng)域?qū)＠谋鞠嗳诤?，制作了語料庫，并以此為依托設(shè)計了對比實驗，1值達(dá)到了92.87%，體現(xiàn)出了本文模型對電力領(lǐng)域中文文本內(nèi)的詞匯尤其是專業(yè)詞匯的拆分效果，在電力文本信息挖掘、知識圖譜構(gòu)建等電力領(lǐng)域自然語言處理任務(wù)中具有良好的應(yīng)用前景。

在測試中，具有更深BERT編碼器層數(shù)的模型展現(xiàn)出了獲得更好效果的趨勢，但為了降低模型復(fù)雜度，本文未將DEEPNORM方法的潛力充分發(fā)揮。因此，如何在控制模型體積的前提下進(jìn)一步加深模型將是我們未來的研究方向。

[1] 李剛，李銀強(qiáng)，王洪濤，等.電力設(shè)備健康管理知識圖譜：基本概念、關(guān)鍵技術(shù)及研究進(jìn)展［J］.電力系統(tǒng)自動化，2022，46（3）：1-13.（LI G， LI Y Q， WANG H T， et al. Knowledge graph of power equipment health management： basic concepts， key technologies and research progress ［J］. Automation of Electric Power Systems， 2022， 46（3）： 1-13.）

[2] 馮斌，張又文，唐昕，等.基于BiLSTM-Attention神經(jīng)網(wǎng)絡(luò)的電力設(shè)備缺陷文本挖掘［J］.中國電機(jī)工程學(xué)報，2020，40（S1）：1-10.（FENG B， ZHANG Y W， TANG X， et al. Power equipment defect record text mining based on BiLSTM-attention neural network ［J］. Proceedings of the CSEE， 2020， 40（S1）： 1-10.）

[3] 許堯，馬歡，許旵鵬，等.智能變電站繼電保護(hù)智能運(yùn)維系統(tǒng)自動配置技術(shù)研究［J］.電力系統(tǒng)保護(hù)與控制，2022，50（11）：160-168.（XU Y， MA H， XU C P， et al. Self-configuration technology of an intelligent operation and maintenance system of intelligent substation relay protection ［J］. Power System Protection and Control， 2022， 50（11）： 160-168.）

[4] 唐琳，郭崇慧，陳靜鋒.中文分詞技術(shù)研究綜述［J］.數(shù)據(jù)分析與知識發(fā)現(xiàn)，2020，4（Z1）：1-17.（TANG L， GUO C H， CHEN J F. Review of Chinese word segmentation studies ［J］. Data Analysis and Knowledge Discovery， 2020， 4（Z1）： 1-17.）

[5] 錢智勇，周建忠，童國平，等.基于HMM的楚辭自動分詞標(biāo)注研究［J］.圖書情報工作，2014， 58（4）： 105-110.（QIAN Z Y， ZHOU J Z， TONG G P， et al. Research on automatic word segmentation and pos tagging forbased on HMM ［J］. Library and Information Service， 2014， 58（4）： 105-110.）

[6] 朱艷輝，劉璟，徐葉強(qiáng)，等.基于條件隨機(jī)場的中文領(lǐng)域分詞研究［J］.計算機(jī)工程與應(yīng)用，2016，52（15）：97-100.（ZHU Y H， LIU J， XU Y Q， et al. Chinese word segmentation research based on conditional random field ［J］. Computer Engineering and Applications， 2016， 52（15）： 97-100.）

[7] CHEN X， QIU X， ZHU C， et al. Long short-term memory neural networks for Chinese word segmentation ［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1197-1206.

[8] DEVLIN J， CHANG M-W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies （Volume 1： Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186.

[9] SHEIKH I， ILLINA I， FOHR D， et al. OOV proper name retrieval using topic and lexical context models ［C］// Proceedings of the 2015 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2015： 5291-5295.

[10] ZHANG Q， LIU X， FU J. Neural networks incorporating dictionaries for Chinese word segmentation ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 5682-5689.

[11] 宮法明，朱朋海.基于自適應(yīng)隱馬爾可夫模型的石油領(lǐng)域文檔分詞［J］.計算機(jī)科學(xué)，2018，45（6A）：97-100.（GONG F M， ZHU P H. Word segmentation based on adaptive hidden Markov model in oilfield ［J］. Computer Science， 2018， 45（6A）： 97-100.）

[12] ZHAO L J， ZHANG Q， WANG P， et al. Neural networks incorporating unlabeled and partially-labeled data for cross-domain Chinese word segmentation ［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 4602-4608.

[13] 成于思，施云濤.基于深度學(xué)習(xí)和遷移學(xué)習(xí)的領(lǐng)域自適應(yīng)中文分詞［J］.中文信息學(xué)報，2019，33（9）：9-16，23.（CHENG Y S， SHI Y T. Domain adaption of Chinese word segmentation based on deep learning and transfer learning ［J］. Journal of Chinese Information Processing， 2019， 33（9）： 9-16，23.）

[14] 崔志遠(yuǎn)，趙爾平，雒偉群，等.面向?qū)I(yè)領(lǐng)域的多頭注意力中文分詞模型——以西藏畜牧業(yè)為例［J］.中文信息學(xué)報，2021，35（7）：72-80.（CUI Z Y， ZHAO E P， LUO W Q， et al. Multi-head attention for domain specific Chinese word segmentation model — a case study on Tibet’s animal husbandry ［J］. Journal of Chinese Information Processing， 2021， 35（7）： 72-80.）

[15] 張軍，賴志鵬，李學(xué)，等.基于新詞發(fā)現(xiàn)的跨領(lǐng)域中文分詞方法［J］.電子與信息學(xué)報，2022，44（9）：3241-3248.（ZHANG J， LAI Z P， LI X， et al. Cross-domain Chinese word segmentation based on new word discovery ［J］. Journal of Electronics & Information Technology， 2022， 44（9）： 3241-3248.）

[16] 劉梓權(quán)，王慧芳.基于知識圖譜技術(shù)的電力設(shè)備缺陷記錄檢索方法［J］.電力系統(tǒng)自動化，2018，42（14）：158-164.（LIU Z Q， WANG H F. Retrieval method for defect records of power equipment based on knowledge graph technology ［J］. Automation of Electric Power Systems， 2018， 42（14）： 158-164.）

[17] 杜修明，秦佳峰，郭詩瑤，等.電力設(shè)備典型故障案例的文本挖掘［J］.高電壓技術(shù)，2018，44（4）：1078-1084.（DU X M，QIN J F， GUO S Y， et al. Text mining of typical defects in power equipment ［J］. High Voltage Engineering， 2018， 44（4）： 1078-1084.）

[18] 劉蔭，張凱，王惠劍，等.面向電力低資源領(lǐng)域的無監(jiān)督命名實體識別方法［J］.中文信息學(xué)報，2022，36（6）：69-79.（LIU Y， ZHANG K， WANG H J， et al. Unsupervised low-resource name entities recognition in electric power domain ［J］. Journal of Chinese Information Processing， 2022， 36（6）： 69-79.）

[19] 劉文松，胡竹青，張錦輝，等.基于文本特征增強(qiáng)的電力命名實體識別［J］.電力系統(tǒng)自動化，2022，46（21）：134-142.（LIU W S， HU Z Q， ZHANG J H， et al. Named entity recognition for electric power industry based on enhanced text features ［J］. Automation of Electric Power Systems， 2022， 46（21）： 134-142.）

[20] 蔣晨，王淵，胡俊華，等.基于深度學(xué)習(xí)的電力實體信息識別方法［J］.電網(wǎng)技術(shù)，2021，45（6）：2141-2149.（JIANG C， WANG Y， HU J H， et al. Power entity information recognition based on deep learning ［J］. Power System Technology， 2021， 45（6）： 2141-2149.）

[21] 田嘉鵬，宋輝，陳立帆，等.面向知識圖譜構(gòu)建的設(shè)備故障文本實體識別方法［J］.電網(wǎng)技術(shù)，2022，46（10）：3913-3922.（TIAN J P， SONG H， CHEN L F， et al. Entity recognition approach of equipment failure text for knowledge graph construction ［J］. Power System Technology， 2022， 46（10）： 3913-3922.）

[22] LIU W， FU X， ZHANG Y， et al. Lexicon enhanced Chinese sequence labeling using BERT adapter ［C］// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2021： 5847-5858.

[23] WANG H， MA S， DONG L， et al. DeepNet： scaling Transformers to 1，000 layers ［EB/OL］. （2022-03-01）［2022-03-23］. https：//arxiv.org/pdf/2203.00555.pdf.

[24] ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting ［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 11106-11115.

[25] SONG Y， SHI S， LI J， et al. Directional skip-gram： explicitly distinguishing left and right context for word embeddings ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies （Volume 2： Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 175-180.

[26] 國家發(fā)展和改革委員會. 電力行業(yè)詞匯：DL/T 1033—2006 ［S］.北京：中國電力出版社，2007：1-20.（National Development and Reform Commission. Electric power standard thesaurus： DL/T 1033—2006［S］. Beijing： China Electric Power Press， 2007：1-20.）

[27] 楊善讓，趙曉彤，楊紹胤.英漢電力技術(shù)詞典［M］.2版.北京：中國電力出版社，2014：1-1469.（YANG S R， ZHAO X T， YANG S Y. An English-Chinese Dictionary of Electric Power Technology ［M］. 2nd edtion. Beijing： China Electric Power Press， 2014： 1-1469.）

[28] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.

[29] EMERSON T. The second international Chinese word segmentation bakeoff［C］// Proceedings of the 4th SIGHAN Workshop on Chinese Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2005：123-133.

[30] 俞士汶，段慧明，朱學(xué)鋒，等.北京大學(xué)現(xiàn)代漢語語料庫基本加工規(guī)范［J］.中文信息學(xué)報，2002，16（5）：49-64.（YU S W， DUAN H M， ZHU X F， et al. The basic processing of contemporary Chinese corpus at Peking University SPECIFICATION ［J］. Journal of Chinese Information Processing， 2002， 16（5）： 49-64.）

[31] HUGGINGFACE. Transformers ［CP/OL］. ［2021-12-11］. https：//github.com/huggingface/transformers.

[32] 蔣衛(wèi)麗，陳振華，邵黨國，等.基于領(lǐng)域詞典的動態(tài)規(guī)劃分詞算法［J］.南京理工大學(xué)學(xué)報，2019，43（1）：63-71.（JIANG W L， CHEN Z H， SHAO D G， et al. Dynamic programming word segmentation algorithm based on domain dictionaries ［J］. Journal of Nanjing University of Science and Technology， 2019， 43（1）： 63-71.）

[33] KE Z， SHI L， SUN S T， et al. Pre-training with meta learning for Chinese word segmentation ［C］// Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2021： 5514-5523.

[34] DIAO S， BAI J， SONG Y， et al. ZEN： pre-training Chinese text encoder enhanced by n-gram representations ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 4729-4740.

Chinese word segmentation method in electric power domain based on improved BERT

XIA Fei1， CHEN Shuaiqi1， HUA Min2*， JIANG Bihong3

（1，，200090，；2，，200437，；3，，200090，）

To solve the problem of poor performance in segmenting a large number of proprietary words in Chinese text in electric power domain， an improved Chinese Word Segmentation （CWS） method in electric power domain based on improved BERT （Bidirectional Encoder Representations from Transformer） was proposed. Firstly， two lexicons were built covering general words and domain words respectively， and a dual-lexicon matching and integration mechanism was designed to directly integrate the word features into BERT model， enabling more effective utilization of external knowledge by the model. Then， DEEPNORM method was introduced to improve the model’s ability to extract features， and the optimal depth of the model was determined by Bayesian Information Criterion （BIC）， which made BERT model stable up to 40 layers. Finally， the classical self-attention layer in BERT model was replaced by the ProbSparse self-attention layer， and the best value of sampling factor was determined by using Particle Swarm Optimization （PSO） algorithm to reduce the model complexity while ensuring the model performance. The test of word segmentation was carried out on a hand-labeled patent text dataset in electric power domain. Experimental results show that the proposed method achieves the F1 score of 92.87%， which is 14.70， 9.89 and 3.60 percentage points higher than those of the methods to be compared such as Hidden Markov Model （HMM）， multi-standard word segmentation model METASEG（pre-training model with META learning for Chinese word SEGmentation）and Lexicon Enhanced BERT （LEBERT） model， verifying that the proposed method effectively improves the quality of Chinese text word segmentation in electric power domain.

Chinese Word Segmentation (CWS); domain word segmentation; improved BERT (Bidirectional Encoder Representations from Transformer); electric power text; deep learning; natural language processing

This work is partially supported by State Grid Science and Technology Project （52094020001A）.

XIA Fei， born in 1978， Ph. D.， associate professor. His research interests include power data analysis， power image processing.

CHEN Shuaiqi， born in 1997， M. S. candidate. His research interests include natural language processing.

HUA Min， born in 1987， M. S.， engineer. His research interests include scientific and technological information， data management and applications， digital transformation of energy.

JIANG Bihong， born in 1981， M. S.， librarian. His research interests include natural language processing， machine learning.

TP391.1

A

1001-9081（2023）12-3711-08

10.11772/j.issn.1001-9081.2022121897

2022?12?26；

2023?02?26；

2023?03?02。

國家電網(wǎng)科技項目（52094020001A）。

夏飛（1978—），男，江西南昌人，副教授，博士，CCF高級會員，主要研究方向：電力數(shù)據(jù)分析、電力圖像處理；陳帥琦（1997—），男，山東泰安人，碩士研究生，主要研究方向：自然語言處理；華珉（1987—），男，上海人，工程師，碩士，主要研究方向：科技情報、數(shù)據(jù)管理與應(yīng)用、能源數(shù)字化轉(zhuǎn)型；蔣碧鴻（1981—），男，廣西博白人，館員，碩士，主要研究方向：自然語言處理、機(jī)器學(xué)習(xí)。