基于BERT模型的排比句自動(dòng)識(shí)別方法

朱曉亮 譙宇同

1(華中師范大學(xué)教育大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室 湖北 武漢 430079) 2(華中師范大學(xué)國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心 湖北 武漢 430079)

0 引 言

修辭是通過(guò)各種語(yǔ)言手段修飾言論，從而達(dá)到盡可能好的表達(dá)效果的一種語(yǔ)言活動(dòng)，常用的修辭手法主要有排比、擬人、比喻三種。其中，排比修辭手法可以讓行文更加條理清晰且氣勢(shì)宏大，因此在各類文章中都被大量采用。通過(guò)計(jì)算機(jī)自動(dòng)抽取文章中的排比句，可以在自動(dòng)寫(xiě)作推薦領(lǐng)域和作文評(píng)分領(lǐng)域得到較好的應(yīng)用[1-2]。

對(duì)于排比句的自動(dòng)抽取問(wèn)題，早期的研究者的解決方法是根據(jù)排比句的語(yǔ)法特征，提出一系列規(guī)則對(duì)排比句進(jìn)行識(shí)別。例如：鞏捷甫[1]根據(jù)排比句的結(jié)構(gòu)和語(yǔ)法特征提出一系列規(guī)則對(duì)高考作文中的排比句進(jìn)行自動(dòng)識(shí)別，并在此基礎(chǔ)上實(shí)現(xiàn)了對(duì)高考作文的自動(dòng)評(píng)閱；熊李艷等[2]提出對(duì)主題詞進(jìn)行提取，并對(duì)標(biāo)點(diǎn)符號(hào)、共現(xiàn)詞和工整性進(jìn)行匹配，對(duì)演講稿中的排比句和工整句進(jìn)行了自動(dòng)抽?。涣荷鐣?huì)等[3]通過(guò)求最長(zhǎng)公共子序列及分句結(jié)構(gòu)相似程度的方法對(duì)《孟子》和《論語(yǔ)》中的排比句進(jìn)行了自動(dòng)識(shí)別。然而，由于漢語(yǔ)的句法和章法并不一定具備嚴(yán)格的邏輯性結(jié)構(gòu)[4]，采用固定規(guī)則而不考慮語(yǔ)意信息對(duì)排比句進(jìn)行自動(dòng)抽取的效果并不理想。隨著深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的發(fā)展，通過(guò)深度學(xué)習(xí)方法抽取文本的語(yǔ)意特征對(duì)排比句進(jìn)行自動(dòng)抽取的研究也逐步展開(kāi)。比如：穆婉青等[5]將分句結(jié)構(gòu)相似度計(jì)算方法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，對(duì)文學(xué)作品以及高考題中的文學(xué)類閱讀材料進(jìn)行了排比句自動(dòng)抽取實(shí)驗(yàn)；Dai等[6]采用循環(huán)神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)學(xué)生作文中的排比句進(jìn)行了自動(dòng)抽取。綜合上述研究，基于深度學(xué)習(xí)的抽取效果較大程度上取決于是否選取了合適的特征抽取器。同時(shí)，也需要綜合權(quán)衡算法復(fù)雜度與算法有效性之間的關(guān)系。

基于上述分析，本文對(duì)用深度學(xué)習(xí)方法對(duì)排比句進(jìn)行自動(dòng)抽取展開(kāi)研究，提出了兩種自動(dòng)識(shí)別方法，并將兩種方法結(jié)合作為預(yù)處理手段，在選擇出的特征抽取器的基礎(chǔ)上設(shè)計(jì)了排比句自動(dòng)識(shí)別方法并在數(shù)據(jù)集上驗(yàn)證方法的有效性。

1 相關(guān)研究

1.1 特征抽取器

自然語(yǔ)言處理任務(wù)的常見(jiàn)輸入形式往往是若干數(shù)量的句子或者段落，這使得自然語(yǔ)言處理的任務(wù)存在如下特征：其輸入是一個(gè)不定長(zhǎng)的一維線性序列；句子中各成分之間的相對(duì)位置有重要意義；句子中存在的長(zhǎng)距離特征對(duì)于理解語(yǔ)義也比較關(guān)鍵。在自然語(yǔ)言處理任務(wù)當(dāng)中，對(duì)于語(yǔ)義特征信息的抽取是由特定的特征抽取器完成的，因此從模型角度來(lái)說(shuō)，特征抽取器性能的好壞在很大限度上決定了整個(gè)模型的性能優(yōu)劣。目前比較典型的特征抽取器有CNN、RNN，以及由谷歌在2017年提出的Transformer模型。

1) CNN。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)的代表算法之一，CNN最初在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用較多，在自然語(yǔ)言處理領(lǐng)域的應(yīng)用則是由Kim[7]提出的。在經(jīng)典的CNN算法中，輸入的字符以Word Embedding的形式進(jìn)行表達(dá)，對(duì)于特征的抽取是由包含了若干個(gè)卷積核的卷積層[8]來(lái)完成的，對(duì)于一個(gè)指定窗口大小的卷積核，不斷地將輸入中相應(yīng)大小的輸入轉(zhuǎn)換為特征值，最終形成一個(gè)特征向量。在卷積層的每個(gè)卷積核都完成這樣的一個(gè)過(guò)程后，形成的不同特征序列，輸入到一個(gè)池化層中進(jìn)行降維，進(jìn)而輸入到全連接層中，形成對(duì)原始輸入的分類[9]。

傳統(tǒng)的CNN模型可以簡(jiǎn)潔地完成某些自然語(yǔ)言處理任務(wù)，但也存在著一些缺陷：卷積核的窗口大小是固定的，對(duì)于超過(guò)窗口大小的長(zhǎng)距離特征無(wú)法抽??；在池化層進(jìn)行的池化操作，可能會(huì)導(dǎo)致文本的相對(duì)位置信息丟失。因此CNN的各種改進(jìn)方法被提出，如Yu等[10]提出用空洞卷積的方法使得卷積核的計(jì)算區(qū)域大于卷積核的一維卷積長(zhǎng)度。同時(shí)隨著計(jì)算機(jī)運(yùn)算能力不斷提高，用池化層來(lái)降低運(yùn)算規(guī)模已經(jīng)不再重要，因此取消池化層，提高CNN的深度，也能提高CNN模型的性能。

2) RNN。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是自然語(yǔ)言處理領(lǐng)域的經(jīng)典模型之一，傳統(tǒng)RNN的模型結(jié)構(gòu)如圖1所示。

圖1 標(biāo)準(zhǔn)RNN模型結(jié)構(gòu)圖

在RNN網(wǎng)絡(luò)的每一層之間都有一個(gè)隱藏狀態(tài)h(t)從前向后傳播，每一層的h(t)都由當(dāng)前層的輸入x(t)和由上一層傳入的h(t-1)計(jì)算得來(lái)[11]。傳統(tǒng)RNN模型在對(duì)隱藏狀態(tài)反向傳播的時(shí)候很容易發(fā)生梯度爆炸和梯度消失的問(wèn)題，在RNN模型基礎(chǔ)上加以改進(jìn)而提出的LSTM模型和GRU模型通過(guò)控制隱藏狀態(tài)的傳遞過(guò)程來(lái)緩解此問(wèn)題，取得了很好的效果，成為了主流的RNN模型。但除此之外，RNN仍存在一個(gè)較大的問(wèn)題：每一時(shí)刻的隱藏狀態(tài)h(t)的計(jì)算都需要依賴前一時(shí)刻的隱藏狀態(tài)h(t-1)的輸入，給RNN進(jìn)行并行計(jì)算造成了困難。

3) Transformer。Transformer是由谷歌在2017年針對(duì)機(jī)器翻譯[12]提出的一種模型，其結(jié)構(gòu)如圖2所示。

從宏觀上講，標(biāo)準(zhǔn)的Transformer模型是由編碼組件和解碼組件兩部分組成的，編碼組件部分由若干個(gè)編碼器組成，而解碼組件部分由相同數(shù)量的解碼器組成。每個(gè)編碼器都有著相同的結(jié)構(gòu)，即由Multi-Head Attention和前饋神經(jīng)網(wǎng)絡(luò)兩部分組成；每個(gè)解碼器的結(jié)構(gòu)也相同，即由Masked Multi-Head Attention、Multi-Head Attention和前饋神經(jīng)網(wǎng)絡(luò)三部分組成。

為了保存并利用輸入的文本序列中各成分的相對(duì)和絕對(duì)位置關(guān)系，Transformer模型在將輸入的文本進(jìn)行Embedding操作過(guò)后，還會(huì)將文本的位置信息進(jìn)行編碼并加入，這稱為Position Embedding，其計(jì)算公式如下：

PE(pos,2i)=sin(pos/10 0002i/dmodel)

(1)

PE(pos,2i+1)=cos(pos/10 0002i/dmodel)

(2)

式(1)-式(2)意為將id為pos的位置映射為一個(gè)dmodel維的位置向量，該向量的第i個(gè)元素對(duì)應(yīng)的數(shù)值即為PE(pos,i)。將兩個(gè)公式的計(jì)算結(jié)果拼接起來(lái)，即得到每個(gè)成分的位置編碼。

Transformer模型對(duì)特征的抽取依賴于自注意力機(jī)制。在編碼器的Multi-Head Attention層，每個(gè)輸入的Embedding都會(huì)與查詢、鍵和值三個(gè)權(quán)重矩陣相乘，生成對(duì)應(yīng)的查詢向量、鍵向量和值向量。然后將每個(gè)輸入的查詢向量與其他輸入的鍵向量求點(diǎn)積，得到一個(gè)得分。之后將計(jì)算出的得分進(jìn)行處理后，通過(guò)Softmax歸一化，使得所有的得分都為正且和小于1，得到Softmax分?jǐn)?shù)，該分?jǐn)?shù)代表了每個(gè)輸入對(duì)于編碼當(dāng)前輸入的貢獻(xiàn)。最后將Softmax分?jǐn)?shù)分別與每個(gè)輸入的值向量相乘，再對(duì)其加權(quán)求和，即得到了某個(gè)輸入的自注意力輸出。在Transformer模型中，自注意力機(jī)制還被賦予了Multi-Head機(jī)制，即定義多組不同的權(quán)重矩陣，令每個(gè)輸入重復(fù)多次上述計(jì)算過(guò)程，每一個(gè)計(jì)算過(guò)程被稱為一個(gè)自注意力頭，以此可以提升Multi-Head Attention層的性能。

在解碼器中，除了Multi-Head Attention層之外，還有一層Masked Multi-Head Attention層。因?yàn)榻獯a器需要完成將編碼轉(zhuǎn)換成單詞輸出的操作，因此在該生成過(guò)程中，對(duì)于某一時(shí)刻i，只有小于i時(shí)刻的輸入有效，大于i時(shí)刻的就會(huì)被屏蔽掉。解碼器其余兩層的結(jié)構(gòu)與編碼器相同，最終會(huì)輸出一個(gè)實(shí)數(shù)向量。該實(shí)數(shù)向量會(huì)經(jīng)過(guò)線性變換層，轉(zhuǎn)換為一個(gè)分?jǐn)?shù)值，投射到一個(gè)被稱為對(duì)數(shù)概率的向量中。對(duì)數(shù)幾率向量中的分?jǐn)?shù)再經(jīng)過(guò)一個(gè)Softmax層，轉(zhuǎn)換為概率，最終最高的概率被轉(zhuǎn)換成對(duì)應(yīng)的單詞，形成最終的輸出。

4) 分類器比較。與CNN和RNN模型相比，Transformer模型在對(duì)語(yǔ)義特征進(jìn)行提取的能力上有非常顯著的優(yōu)勢(shì)，且對(duì)于不同自然語(yǔ)言處理任務(wù)都有較好的特征抽取能力。同時(shí)，Transformer模型在抽取長(zhǎng)距離語(yǔ)義特征的能力上與RNN接近，且明顯優(yōu)于CNN，在執(zhí)行并行計(jì)算的性能上與CNN接近，且明顯優(yōu)于RNN。

1.2 排比句的語(yǔ)法特征

李勝梅[13]在對(duì)排比句的篇章特點(diǎn)進(jìn)行研究后認(rèn)為，排比句最重要的結(jié)構(gòu)特征是在句子中包含三項(xiàng)或者三項(xiàng)以上的結(jié)構(gòu)相同或相近的言語(yǔ)片段。排比句的結(jié)構(gòu)中包含了首項(xiàng)與復(fù)現(xiàn)項(xiàng)，其中首項(xiàng)為復(fù)現(xiàn)項(xiàng)提供了結(jié)構(gòu)與定勢(shì)，為讀者的閱讀過(guò)程給予引導(dǎo)；復(fù)現(xiàn)項(xiàng)與首項(xiàng)的結(jié)構(gòu)相同，僅在部分成分上加以變化，使讀者的注意力能夠集中在變化的部分，接受到新的語(yǔ)意信息，舉例如下。

例1友誼是“桃花潭水深千尺，不及汪倫送我情”的那份真誠(chéng)；友誼是“祝你每一天都有一個(gè)燦爛的笑容”的那聲祝福；友誼是“如果你正心情不好，我可以借個(gè)肩膀你靠一靠”的那種安慰；友誼是成功時(shí)朋友臉上的微笑和鼓勵(lì)；友誼是失敗時(shí)朋友臉上呈現(xiàn)的那份焦急和肯定、支持的眼神!

例2勇氣是冬天里炎熱的火把，讓我重燃斗志，繼續(xù)向前；勇氣是干渴時(shí)甘甜的河水，讓我心花重綻，干勁萬(wàn)分；勇氣是迷茫時(shí)明亮的燈塔，給我指明方向，勇往直前。

例3父愛(ài)如山，深沉而又博大；父愛(ài)如海，深沉而又寬厚；父愛(ài)如火，熾熱燃燒；父愛(ài)如酒，令人回味無(wú)窮；父愛(ài)如傘，為你遮風(fēng)擋雨。

顯然，排比句具有顯著的結(jié)構(gòu)特征，因此可用于實(shí)現(xiàn)對(duì)排比句的自動(dòng)抽取。

2 分類器選擇

2.1 數(shù)據(jù)源

實(shí)驗(yàn)數(shù)據(jù)集為從作文中人工抽取出的1 022條排比句及相應(yīng)數(shù)量的非排比句。這些作文來(lái)源于研究團(tuán)隊(duì)從某小學(xué)收集到的考試、日常作文及從網(wǎng)絡(luò)上收集到的作文。

2.2 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)的環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

2.3 分類器篩選

為了確定哪種特征抽取器的效果最優(yōu)，本文使用不同的特征抽取器在數(shù)據(jù)集上進(jìn)行排比句的自動(dòng)抽取。本文選取相關(guān)研究中介紹的CNN模型、RNN模型及BERT模型作為對(duì)比特征抽取器。其中，BERT模型[14]是谷歌于2018年10月提出的語(yǔ)言表示模型，即來(lái)自Transformer的雙向編碼器表示。BERT是一個(gè)基于雙向Transformer的預(yù)訓(xùn)練模型，即其本身是在一個(gè)大規(guī)模語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練生成的雙向Transformer模型，可以通用于各種自然語(yǔ)言處理任務(wù)。在對(duì)具體的任務(wù)進(jìn)行處理時(shí)，只需要在預(yù)訓(xùn)練模型的基礎(chǔ)上增加一個(gè)額外的輸出層，對(duì)模型進(jìn)行微調(diào)而不是進(jìn)行大量的結(jié)構(gòu)修改。BERT模型在序列級(jí)別的分類任務(wù)上的表現(xiàn)最好，而排比句的自動(dòng)識(shí)別實(shí)際上是一個(gè)對(duì)輸入進(jìn)行排比/非排比的二分類任務(wù)，因此可以用于排比句自動(dòng)識(shí)別。在中文預(yù)訓(xùn)練BERT模型中，包含了12個(gè)Transformer層，768個(gè)隱藏單元，12個(gè)自注意力頭，總參數(shù)量達(dá)到了1.1億。

實(shí)驗(yàn)使用標(biāo)準(zhǔn)的CNN模型、改進(jìn)的RNN模型(GRU模型和LSTM模型)和谷歌的中文預(yù)訓(xùn)練BERT模型來(lái)進(jìn)行排比句的自動(dòng)識(shí)別。使用不同分類器對(duì)排比句進(jìn)行自動(dòng)識(shí)別的結(jié)果如表2所示。

表2 不同分類器的排比句自動(dòng)識(shí)別效果

可見(jiàn)，BERT模型對(duì)排比句進(jìn)行自動(dòng)識(shí)別的效果相比于其他模型有明顯提升，因此采用BERT模型來(lái)對(duì)排比句進(jìn)行自動(dòng)識(shí)別較傳統(tǒng)模型相比獲得了較好的結(jié)果。同時(shí)，運(yùn)用BERT模型的結(jié)果與相關(guān)研究者的排比句自動(dòng)識(shí)別結(jié)果對(duì)比如表3所示，非排比句的識(shí)別結(jié)果對(duì)比如表4所示?？梢?jiàn)，采用BERT模型對(duì)排比句和非排比句進(jìn)行自動(dòng)識(shí)別的準(zhǔn)確度較以往的方法有較大提升。

表3 排比句自動(dòng)識(shí)別結(jié)果

表4 非排比句自動(dòng)識(shí)別結(jié)果

3 改進(jìn)的排比句自動(dòng)提取方法

由于BERT模型自身的復(fù)雜性，對(duì)大量的語(yǔ)料進(jìn)行自動(dòng)識(shí)別時(shí)，其運(yùn)行速度有待提升，見(jiàn)圖3。其中CPU時(shí)間的測(cè)試環(huán)境見(jiàn)表1。

圖3 BERT模型處理不同數(shù)據(jù)集所需的CPU時(shí)間

為了降低識(shí)別時(shí)間，考慮到對(duì)于作文這一類別的語(yǔ)料而言，排比句在所有句子中只占有較少的一部分。因此，在對(duì)大規(guī)模語(yǔ)料進(jìn)行自動(dòng)識(shí)別之前，如采用一些預(yù)處理手段縮小待識(shí)別語(yǔ)料的規(guī)模，將在不降低識(shí)別準(zhǔn)確度的前提下提升識(shí)別的速度。

3.1 算法設(shè)計(jì)

根據(jù)上述排比句的語(yǔ)法特征，以及對(duì)于例句的分析，可以將對(duì)排比句的自動(dòng)抽取分為兩種情況：① 句子中的部分分句包含相同的詞語(yǔ)，且重復(fù)的次數(shù)大于2次；② 句子中的分句不包含相同的詞語(yǔ)，或相同詞語(yǔ)重復(fù)出現(xiàn)的次數(shù)小于等于2次。

對(duì)于情況①，可以認(rèn)為該句為排比句。對(duì)于輸入的語(yǔ)句T，將T按照句中的標(biāo)點(diǎn)符號(hào)(逗號(hào)或分號(hào))分為若干個(gè)分句Si，若兩個(gè)分句包含相同的詞語(yǔ)則記為Si≈Sj，那么整個(gè)句子中含有相同詞語(yǔ)的分句數(shù)D可以用如下遞歸函數(shù)進(jìn)行計(jì)算：

(3)

為判斷各個(gè)分句間是否包含相同的詞語(yǔ)，將分句Si分別通過(guò)分詞工具進(jìn)行分詞，并將Si的分詞結(jié)果與Si-1的分詞結(jié)果逐個(gè)進(jìn)行比對(duì)。最終判斷分句數(shù)D是否大于2，若大于2，則將語(yǔ)句T判別為排比句。本文使用這種方法在包含400個(gè)語(yǔ)句的數(shù)據(jù)集上進(jìn)行測(cè)試，得到的結(jié)果如表5所示。

表5 基于重復(fù)詞匯的方法測(cè)試結(jié)果 %

可見(jiàn)，本文方法識(shí)別排比句的準(zhǔn)確率極高，因此可以通過(guò)該方法快速地抽取數(shù)據(jù)集中結(jié)構(gòu)特征明顯的排比句。

對(duì)于情況②，則無(wú)法準(zhǔn)確判斷該句是否為排比句。對(duì)于這種情況，可以對(duì)句子進(jìn)行依存句法分析，判斷整句結(jié)構(gòu)各成分之間包含的語(yǔ)義依賴關(guān)系。由于在排比修辭當(dāng)中，各排比項(xiàng)之間往往存在著相互并列的關(guān)系，這與依存句法當(dāng)中的并列(Coordination)關(guān)系相對(duì)應(yīng)，因此可以作為判斷排比句的另一特征。對(duì)于輸入的語(yǔ)句T，本文將T通過(guò)哈爾濱工業(yè)大學(xué)的語(yǔ)言技術(shù)平臺(tái)中的依存句法分析工具進(jìn)行分析，得到T中各成分之間包含的語(yǔ)義依賴關(guān)系，對(duì)這些依賴關(guān)系中存在的并列關(guān)系進(jìn)行計(jì)數(shù)，若并列關(guān)系數(shù)小于2，則將該句判別為非排比句。本文在基于重復(fù)詞匯的方法基礎(chǔ)上，使用這種方法在包含400個(gè)語(yǔ)句的數(shù)據(jù)集上進(jìn)行測(cè)試，得到的結(jié)果如表6所示。

表6 基于并列關(guān)系的方法測(cè)試結(jié)果 %

可見(jiàn)，本文方法識(shí)別排比句的召回率極高，因此基本可以保證識(shí)別的結(jié)果中不會(huì)丟失正確的結(jié)果。需要注意的是，依存句法當(dāng)中的并列關(guān)系并不僅僅存在于排比句當(dāng)中，而是在語(yǔ)言使用當(dāng)中廣泛存在的，因此通過(guò)這種方法無(wú)法準(zhǔn)確判斷輸入的語(yǔ)句是否為排比句，本文僅通過(guò)這種方法對(duì)輸入語(yǔ)句中的非排比句進(jìn)行識(shí)別。

基于BERT模型，結(jié)合以上兩種方法，本文設(shè)計(jì)出如下的排比句自動(dòng)識(shí)別流程：通過(guò)基于重復(fù)詞匯的方法識(shí)別輸入中的排比句，并將其余語(yǔ)句通過(guò)基于并列關(guān)系的方法識(shí)別其中的非排比句。對(duì)于剩下的包含并列關(guān)系數(shù)大于等于2的語(yǔ)句，本文將其標(biāo)記為疑似排比句，交由BERT模型進(jìn)行進(jìn)一步的判斷，將BERT模型的識(shí)別結(jié)果與前兩種方法的結(jié)果進(jìn)行結(jié)合，得到最終的輸出。方法流程如圖4所示。

圖4 排比句自動(dòng)提取方法流程

3.2 實(shí)驗(yàn)與結(jié)果分析

對(duì)于包含了400條語(yǔ)句的數(shù)據(jù)集，在經(jīng)過(guò)本文提出的預(yù)處理方法進(jìn)行縮小規(guī)模過(guò)后，僅保留103條語(yǔ)句需要BERT模型進(jìn)一步識(shí)別，規(guī)?？s小了74%，可見(jiàn)該方法縮小數(shù)據(jù)規(guī)模的效果明顯。由上文可知，在本文實(shí)驗(yàn)環(huán)境下，BERT模型對(duì)每一條語(yǔ)句識(shí)別的CPU時(shí)間需要12 s左右，而基于重復(fù)詞匯的方法識(shí)別出一條排比句最多僅需要低于0.001 s，基于并列關(guān)系的方法識(shí)別出一條非排比句最多僅需要低于0.9 s，對(duì)于這兩種方法的結(jié)合使用使得整個(gè)自動(dòng)提取的流程速度大幅提升。在不同數(shù)據(jù)集下，本文方法的識(shí)別所需CPU時(shí)間如圖5所示。

圖5 本文方法處理不同數(shù)據(jù)集所需CPU時(shí)間

同時(shí)，由于對(duì)部分結(jié)構(gòu)特征明顯的排比句和句法特征明顯的非排比句進(jìn)行了直接快速地判別，避免了BERT處理過(guò)程中可能出現(xiàn)的誤判，使得識(shí)別的準(zhǔn)確率也有所提升，如表7所示。

表7 本文方法測(cè)試結(jié)果

此外，本文流程也可以在計(jì)算能力更強(qiáng)的GPU上運(yùn)行，使得所需時(shí)間進(jìn)一步降低。

4 結(jié) 語(yǔ)

本文針對(duì)作文文本中的排比句，提出了使用BERT模型進(jìn)行識(shí)別的方法。同時(shí)根據(jù)排比句結(jié)構(gòu)相似、成分存在并列關(guān)系的特點(diǎn)，提出了一種預(yù)處理手段，縮小了輸入數(shù)據(jù)的規(guī)模，在大幅提升模型整體運(yùn)行速度的同時(shí)，對(duì)準(zhǔn)確率也有所提升，驗(yàn)證了本文方法的有效性。但本文僅在作文文本上進(jìn)行了實(shí)驗(yàn)，未在政論、新聞等其他文體上進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)量較小。后續(xù)工作中，將考慮把本文的方法推廣到更廣泛的語(yǔ)料上開(kāi)展實(shí)驗(yàn)，驗(yàn)證算法的可靠性。