面向自然語言處理任務(wù)的預(yù)訓(xùn)練模型綜述

劉睿珩，葉 霞，岳增營

（火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院，西安 710025）

（*通信作者電子郵箱1197165894@qq.com）

0 引言

自然語言處理（Natural Language Processing，NLP）的研究結(jié)合了人工智能、語言學(xué)和數(shù)學(xué)等領(lǐng)域的相關(guān)知識，旨在讓機(jī)器能夠理解人類的語言。近年來，隨著人工智能領(lǐng)域飛速發(fā)展，特別是在深度學(xué)習(xí)技術(shù)的支持下，NLP的發(fā)展取得了巨大的進(jìn)步，其任務(wù)的劃分也更加細(xì)致，如詞性標(biāo)注、文本分類、情感分析、機(jī)器翻譯、共指消解等。在這些任務(wù)中，預(yù)訓(xùn)練技術(shù)的發(fā)展起到了至關(guān)重要的作用。

預(yù)訓(xùn)練模型為解決深度神經(jīng)網(wǎng)絡(luò)中大規(guī)模參數(shù)學(xué)習(xí)問題提供了一種有效的方案，這種方法最早使用在計算機(jī)視覺（Computer Vision，CV）領(lǐng)域，其核心思想是先在大數(shù)據(jù)集上對深層次的神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練得到模型參數(shù)，然后將這些訓(xùn)練好的模型運(yùn)用到各種具體的下游任務(wù)以避免從頭開始訓(xùn)練并且減少對標(biāo)注數(shù)據(jù)的需要，結(jié)果表明，模型的性能得到了顯著提高。隨著NLP 領(lǐng)域研究的不斷深入，在大型語料庫上進(jìn)行預(yù)訓(xùn)練也被證明能夠有助于下游任務(wù)。

預(yù)訓(xùn)練技術(shù)在本質(zhì)上運(yùn)用了遷移學(xué)習(xí)［1］的思想，將在相關(guān)領(lǐng)域數(shù)據(jù)集中學(xué)習(xí)到的先驗(yàn)語言知識，遷移到目標(biāo)領(lǐng)域，以改進(jìn)不同目標(biāo)任務(wù)的學(xué)習(xí)效果。在現(xiàn)代自然語言處理任務(wù)中，用大規(guī)模語料庫進(jìn)行無監(jiān)督訓(xùn)練得到的詞的分布式表示［2-3］被廣泛使用，其中以Word2Vec（Word to Vector）［2］為典型代表的方法實(shí)現(xiàn)了在低維條件下用稠密向量對詞進(jìn)行表示，降低了計算成本的同時提高了表示精度。但是這種方法僅對詞進(jìn)行單個全局表示，提取淺層文本表征，卻忽略了它們的上下文，因此無法在不同語境下對詞的句法和語義特征進(jìn)行有效表示。隨后ELMo（Embeddings from Language Model）［4］采用雙向長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)對語言模型實(shí)現(xiàn)了基于上下文的詞嵌入表示，并顯著提高了模型在下游任務(wù)的性能。直到Google 在Transformer［5］中引入了注意力機(jī)制，為之后的 BERT（Bidirectional Encoder Representations from Transformers）［6］和GPT（Generative Pre-Training）［7］等深層次預(yù)訓(xùn)練模型的出現(xiàn)奠定了重要基礎(chǔ)，使得預(yù)訓(xùn)練技術(shù)的發(fā)展迎來了一個高潮。自此，NLP 任務(wù)已經(jīng)越來越離不開預(yù)訓(xùn)練技術(shù)。

1 文本特征提取技術(shù)的發(fā)展

預(yù)訓(xùn)練技術(shù)是利用大型語料庫學(xué)習(xí)通用語義表示的新方法，其核心離不開語義表示技術(shù)的發(fā)展。傳統(tǒng)的基于詞袋模型的文本特征提取方法，如One-Hot 編碼對詞進(jìn)行符號化處理，即用數(shù)字編碼來表示詞語，在其向量表示中只有一個維度上的值為1，其余各維均是0。該方法雖然能夠簡單穩(wěn)定地提取詞特征，但無法表示詞與詞之間的相對位置關(guān)系，并且產(chǎn)生很高的詞向量維數(shù)導(dǎo)致表示非常稀疏，同時還無法涵蓋有效的語義信息，不能體現(xiàn)詞之間的語義相似度；n-gram 算法和共現(xiàn)矩陣的出現(xiàn)雖然緩解了區(qū)分詞序的問題，但還是面臨著維數(shù)災(zāi)難所帶來的計算量過大的困擾。隨著統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)模型在自然語言處理任務(wù)中的應(yīng)用，分布式假說為進(jìn)一步優(yōu)化文本特征提取方法提供了新的理論基礎(chǔ)，通過結(jié)合神經(jīng)網(wǎng)絡(luò)和語言模型，詞的分布式表示使得許多NLP 任務(wù)取得了巨大的突破。

本章將文本特征提取技術(shù)的發(fā)展大致劃分為兩個階段：詞級表示和文檔級表示，不同之處在于其產(chǎn)生的詞向量是否能夠根據(jù)上下文語境的變化而動態(tài)改變。

1.1 詞級表示

詞級表示作為一種詞的分布式表示方法，通過描述目標(biāo)詞與其鄰近詞之間的關(guān)系從而建立模型，從而包含更加豐富的語義信息。

為解決One-Hot 編碼產(chǎn)生的維度災(zāi)難等諸多問題，起初的做法是設(shè)計一個窗口，根據(jù)窗口大小羅列出所有單詞的組合關(guān)系；然后統(tǒng)計每個組合關(guān)系在語料庫中出現(xiàn)的次數(shù)；最終通過一個矩陣來存儲單詞之間的共現(xiàn)關(guān)系。由于共現(xiàn)矩陣的維度依然受到語料庫中句子長度的影響，因此考慮采用奇異值分解（Singular Value Decomposition，SVD）的方法對遍歷語料庫后得到的共現(xiàn)矩陣進(jìn)行處理，通過選擇部分奇異向量提取子矩陣，從而實(shí)現(xiàn)維度的降低。但這種方法也面臨著許多問題：一方面，共現(xiàn)矩陣的維度往往會隨著語料庫大小的變化而變化，不易進(jìn)行統(tǒng)一處理；另一方面，由于語料庫中的大部分詞并不存在共現(xiàn)關(guān)系，從而導(dǎo)致共現(xiàn)矩陣非常稀疏，而SVD方法的計算復(fù)雜度一般較高，使得處理矩陣的效率十分低下。

神經(jīng)網(wǎng)絡(luò)語言模型（Neural Network Language Model，NNLM）［8］將語言模型與神經(jīng)網(wǎng)絡(luò)相結(jié)合。一方面，通過n-gram 方法對輸入語言模型的長文本信息進(jìn)行簡化處理，使得在對條件概率進(jìn)行估算時，忽略距離長度大于n的詞信息。同時，不同于傳統(tǒng)語言模型，它在詞語表示上采用低維詞向量來代替One-Hot 向量，因此當(dāng)遇到語義相近的上文信息時，該模型依然能夠?qū)δ繕?biāo)詞進(jìn)行相似的預(yù)測。另一方面，該方法將各詞詞向量按照順序進(jìn)行拼接，并直接送入前饋神經(jīng)網(wǎng)絡(luò)，保留了一定的順序信息。

由于NNLM 在前饋神經(jīng)網(wǎng)絡(luò)中使用了全連接結(jié)構(gòu)，因此只能處理定長的文本信息。針對此問題，循環(huán)神經(jīng)網(wǎng)絡(luò)語言模 型（Recurrent Neural Network based Language Model，RNNLM）［9-10］不再使用n-gram 方法對語言模型進(jìn)行簡化，而是采用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）替代前饋神經(jīng)網(wǎng)絡(luò)，并直接優(yōu)化語言模型條件概率。在預(yù)測目標(biāo)詞時通過迭代的方式獲取所有上文信息，使得模型能夠處理長度變化的文本序列。除此之外，該方法相較于NNLM 還能夠獲取更為豐富的上文信息。

在之前的研究中，由于語言模型的引入，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)始終為預(yù)測詞概率分布最大化，因此詞向量僅僅是一種副產(chǎn)物。不同于NNLM 和RNNLM 的方法，C&W 模型［11］不再采用語言模型的條件概率思想，而是直接以學(xué)習(xí)和優(yōu)化詞向量為目標(biāo)，為了更快地得到詞向量，該方法根據(jù)短語出現(xiàn)的頻率，通過打分的方式評價每一個n元短語，并最大化正例和反例的得分差。因此，避免了復(fù)雜的條件概率和歸一化計算，具有更低的時間計算復(fù)雜度。Word2Vec 在前期工作的基礎(chǔ)上，采用分布式思想并利用淺層神經(jīng)網(wǎng)絡(luò)從大規(guī)模無標(biāo)注數(shù)據(jù)集中學(xué)習(xí)詞向量表示，在縮短了計算時間的同時獲得了更好的句法規(guī)則和細(xì)粒度語義。該方法主要包含Continuous Bag-Of-Words（CBOW）和Skip-Gram（SG）兩種算法，如圖1所示。

圖1 Word2Vec模型結(jié)構(gòu)Fig.1 Structure of Word2Vec model

CBOW 采用了類似NNLM 的方法，其核心思想是根據(jù)中心詞附近的上下文詞來預(yù)測中心詞的詞向量，即先輸入上下文詞向量，然后在中間層進(jìn)行簡單的向量求和，最后再輸出最有可能的詞向量。SG 與CBOW 類似，是根據(jù)中心詞來預(yù)測其周圍上下文詞的詞向量。與之前基于神經(jīng)網(wǎng)絡(luò)的模型相比，這兩種算法簡化了模型架構(gòu)中的隱藏層，大大提高了模型的計算速率，除此之外，在預(yù)測目標(biāo)詞時兩種算法還融入了周圍詞語的信息，考慮了上下文環(huán)境。

在訓(xùn)練方法上，為解決輸出層Softmax 計算開銷過大問題，采取了負(fù)采樣（Negative Sampling）和層級Softmax（Hierarchical Softmax）［12］兩種方式。負(fù)采樣方法結(jié)合了C&W模型中建立負(fù)樣本和基于向量的逆語言模型（inverse vector Log-Bilinear Language model，ivLBL）［13］中的噪聲對比評估方法。首先通過計算與中心詞的余弦相似度，從上下文中確定正樣本；然后在語料庫中根據(jù)詞頻從非上下文中選取負(fù)樣本，最后設(shè)計了一個最優(yōu)函數(shù)，使正樣本似然函數(shù)達(dá)到最大的同時，負(fù)樣本似然函數(shù)達(dá)到最小，通過利用這種負(fù)采樣方法產(chǎn)生的新數(shù)據(jù)集，使得歸一化概率分布的計算得到了大幅簡化。由于傳統(tǒng)的Softmax 函數(shù)在對歸一化項進(jìn)行處理時需要計算每個分量的值，因此占用了大量的計算資源，層級Softmax［12］本質(zhì)上作為一種近似于Softmax 的方法，通過構(gòu)造一種類似于哈夫曼樹的結(jié)構(gòu)，減少了每個分量概率值的計算次數(shù)，降低計算復(fù)雜度的量級，從而節(jié)約了計算時間。

Word2Vec 實(shí)現(xiàn)了詞向量的低維稠密表示，不僅包含了更豐富的語義信息，同時還具有較高的計算速率，有效地提升下游任務(wù)的性能，此后很多模型都受到了它的啟發(fā)，如用于文本分類和詞向量生成的Fast-Text［14］，它除了能在保持高精度的條件下快速實(shí)現(xiàn)文本分類，還能完成詞向量學(xué)習(xí)任務(wù)。該模型采用一種類似于CBOW 的模型架構(gòu)，利用上下文信息來預(yù)測標(biāo)簽，但其不同之處在于，Word2Vec 中的每個單詞擁有一個獨(dú)立的詞向量表示，在處理稀有詞和生詞時，語料庫中的相關(guān)詞語信息便很少或者不存在，因此對于這類詞向量的生成存在困難，而Fast-Text 通過采用n-gram 的方法可以從其他單詞的共享部分中構(gòu)造稀有詞或者生詞的詞向量表示，同時這種關(guān)聯(lián)相鄰詞語的方法還能在模型訓(xùn)練時融入詞序信息，從而提升詞向量的表示效果。為了提升模型的運(yùn)算效率，F(xiàn)ast-Text 同樣采用層級Softmax 的方法對標(biāo)簽進(jìn)行編碼，以減少模型預(yù)測的標(biāo)簽數(shù)量。

雖然Word2Vec在預(yù)測中心詞時能夠考慮到上下文環(huán)境，但是這種上下文信息僅僅是局部的，很難結(jié)合文本的全局特征。針對這個問題，不同于基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的模型，GloVe（Global Vectors for word representation）［3］采用基于矩陣的統(tǒng)計建模方法，首先遍歷整個語料庫得到共現(xiàn)矩陣以表示詞與詞之間的相關(guān)性；然后在對共現(xiàn)矩陣進(jìn)行降維重構(gòu)時，只考慮共現(xiàn)次數(shù)非零的元素，同時在任務(wù)設(shè)計上對矩陣中的行和列加入了偏移項，并通過設(shè)計加權(quán)函數(shù)遏制低頻共現(xiàn)詞產(chǎn)生的噪聲影響。相較于Word2Vec，該方法的速度更快，并且由于結(jié)合了全局文本特征，產(chǎn)生的詞向量表示能夠包含更多的語義信息，如表1 所示，GloVe 在單詞類比、命名實(shí)體識別、單詞相似性判斷等任務(wù)上與三種在共現(xiàn)矩陣降維上采取不同策略的SVD方法，以及Word2Vec中的兩種方法相比有明顯的提升。

表1 GloVe與其他模型在不同任務(wù)上的實(shí)驗(yàn)結(jié)果對比 單位：%Tab.1 Experimental results comparison of GloVe and other models on different tasks unit：%

詞級表示的方法在大規(guī)模語料庫上進(jìn)行預(yù)訓(xùn)練得到詞向量，從而提升了模型在下游任務(wù)的表現(xiàn)；但這種預(yù)訓(xùn)練過程往往可以看作是一種對語料進(jìn)行的預(yù)處理，僅能獲得詞與詞之間的淺層關(guān)系。同時，這種方式得到的詞向量始終是固定不變的，無法根據(jù)不同的下游任務(wù)進(jìn)行靈活改變，也不能處理遇到新詞和一詞多義情況，缺乏針對性。可以看出，詞級表示方法包含的語義信息十分有限。

1.2 文檔級表示

文檔級語義表示超越了詞級范疇，通過輸入整個句子或文檔序列，在語言模型上進(jìn)行預(yù)訓(xùn)練，根據(jù)不同語境動態(tài)地提取文本序列的句法規(guī)則和語義特征。

假設(shè)一個語料庫中的文本表示為(t1，t2，…，tN)，用詞級表示方法可以得到文本序列中每個ti對應(yīng)的向量，而文檔級表示方法就是將每個與輸入的整個序列通過函數(shù)f相關(guān)聯(lián)求得，即：

文檔級表示方法不僅利用了詞級表示生成的詞向量，還將預(yù)訓(xùn)練技術(shù)運(yùn)用于更復(fù)雜的語言模型，獲取更高級的語義表示，如ELMo、GPT、BERT 等都采用了這種思想。采用文檔級表示方法的預(yù)訓(xùn)練模型，在文本分類、問答系統(tǒng)、摘要生成等眾多NLP 任務(wù)上取得了突破性效果，如今這種方法也成為了研究預(yù)訓(xùn)練技術(shù)的一種主流趨勢。

從文檔級表示內(nèi)容的范圍上看，還可以將其大致劃分為局部文本信息和全局文本信息。

1.2.1 局部文本信息

一般是通過捕獲局部上下文信息生成詞向量表示，典型的預(yù)訓(xùn)練技術(shù)主要采用語言模型的方法。在提取語言特征時，大多基于以下技術(shù)：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)等。

CNN 能夠結(jié)合文本序列位置信息，通過池化層獲取最有用的文本且訓(xùn)練速度較快，但其獲取信息能力的大小取決于卷積核窗口長度，因此捕獲能力有限，只適用于局部文本［15］，不能很好地解決長期依賴問題，而且池化操作不利于序列位置信息的傳遞。RNN 根據(jù)時間序列逐詞處理文本信息，通過隱藏節(jié)點(diǎn)來傳遞前文短期記憶，其結(jié)構(gòu)簡單、符合語言習(xí)慣，天然適合NLP 任務(wù)，但該結(jié)構(gòu)在訓(xùn)練長序列文本時很容易出現(xiàn)梯度消失或梯度爆炸現(xiàn)象，優(yōu)化較為困難。除此之外，RNN在計算過程中，當(dāng)前節(jié)點(diǎn)的計算必須依賴于前一個時間序列的隱藏節(jié)點(diǎn)，不便于并行計算，導(dǎo)致效率低下。LSTM 和GRU（Gated Recurrent Unit）［16］則通過引入門控機(jī)制緩解了梯度消失和長期依賴問題，但其本質(zhì)上還是基于RNN 的序列結(jié)構(gòu)，很多問題并不能得到徹底解決。

為捕獲上下文信息，很多模型采用雙向RNN［17］或雙向LSTM 結(jié)構(gòu)，最終合并正向和反向結(jié)果。如ELMo 就是使用兩層雙向LSTM 用于編碼上下文以捕獲句法和語義特征，其結(jié)構(gòu)如圖2 所示，左側(cè)雙層LSTM 表示前向編碼器，按照從左至右的順序輸入上文預(yù)測下文；右側(cè)雙層LSTM 代表逆向編碼器，由右至左輸入下文預(yù)測上文，以此獲取上下文特征。預(yù)訓(xùn)練階段，ELMo利用語言模型獲得詞向量表示；在下游任務(wù)中，根據(jù)不同的上下文語境調(diào)整先前獲得的詞向量，以提高其準(zhǔn)確性和適應(yīng)能力。通過將預(yù)訓(xùn)練技術(shù)運(yùn)用于語言模型，有效地應(yīng)對了同一詞語在不同上下文場景中的一詞多義問題。

圖2 ELMo模型結(jié)構(gòu)Fig.2 Structure of ELMo model

ELMo能夠獲得不同語義場景下的詞向量表示，在問答系統(tǒng)、文本蘊(yùn)涵和情感分析等6個NLP 任務(wù)上有出色的表現(xiàn)；同時這種先在大規(guī)模未標(biāo)記語料庫上進(jìn)行無監(jiān)督預(yù)訓(xùn)練，再對下游任務(wù)進(jìn)行特征提取的兩段式方法也為后續(xù)的相關(guān)研究打開了思路。

由于ELMo 采用LSTM 架構(gòu)，仍然存在計算效率低下等問題。除此之外，這種雙向模型的結(jié)果往往是通過聯(lián)合疊加正向和反向兩次單向過程得到的，無法同時獲取上下文信息。因此，通過局部上下文獲取的信息始終有限，容易產(chǎn)生局部誤差。

1.2.2 全局文本信息

不同于順序計算的思想，Attention 機(jī)制［17］為獲取全局文本信息提供了一種新思路，通過計算目標(biāo)詞與源文本每個詞之間的相似度作為權(quán)重系數(shù)，對其進(jìn)行加權(quán)求和表示詞向量，實(shí)現(xiàn)關(guān)注和提取上下文重點(diǎn)信息。此類方法主要以Transformer為典型代表。

Transformer 在Attention 的基礎(chǔ)上統(tǒng)一了目標(biāo)詞與源文本，提出Self-Attention 結(jié)構(gòu)，并將疊加的Self-Attention 結(jié)構(gòu)與Multi-Head Attention 機(jī)制結(jié)合，能夠同時獲取上下文信息，解決了長期依賴問題，還具備了并行計算的關(guān)鍵能力，在一定程度上證明了增加模型參數(shù)規(guī)?？梢蕴嵘Ｐ托Ч?。因此這種架構(gòu)被之后的預(yù)訓(xùn)練模型廣泛使用，以對NLP 任務(wù)進(jìn)行更深層次的探究。雖然Transformer 解決了長期依賴問題，在能夠獲取更多語義信息的同時還實(shí)現(xiàn)了并行計算；但是，隨著文本序列長度的增加，全連接Attention 機(jī)制所需要的計算成本也越來越高。

為降低Transformer 處理長文本序列時的計算復(fù)雜度，多項研究提出了自己的改進(jìn)方法：Transformer-XL［18］在原模型的基礎(chǔ)上，引入了相對位置編碼以及分段RNN機(jī)制；Reformer［19］改進(jìn)了Transformer 中的Multi-Head Attention 機(jī)制，提出基于局 部 敏 感 哈 希（Locality Sensitive Hashing，LSH）的Self-Attention，并引入了RevNet（Reversible Residual Network）架構(gòu)［20］；Longformer［21］提出一種由局部和全局兩個部分構(gòu)成的稀疏Self-Attention 結(jié)構(gòu)?？傊?，Transformer 為預(yù)訓(xùn)練模型的底層架構(gòu)注入了強(qiáng)大的動力，將文本特征提取提升到了一個新高度，同時也為之后的預(yù)訓(xùn)練模型的發(fā)展指明了一條新的道路，如GPT、BERT等都是其受益者。

GPT 是一個典型基于單向Transformer 的預(yù)訓(xùn)練模型，其結(jié)構(gòu)如圖3 所示。首先，它驗(yàn)證了以多層Transformer 作為核心架構(gòu)進(jìn)行特征提取的效果要明顯優(yōu)于基于RNN 的序列結(jié)構(gòu)，并證明了其在無監(jiān)督預(yù)訓(xùn)練任務(wù)上的性能；其次，該方法采用單向語言模型作為訓(xùn)練目標(biāo)任務(wù)，通過上文信息來預(yù)測下文。與ELMo 的兩段式不同，它提出了一種半監(jiān)督學(xué)習(xí)方法，即先在大規(guī)模無標(biāo)記語料庫上進(jìn)行無監(jiān)督訓(xùn)練，在下游任務(wù)上，沒有進(jìn)行特征提取，而是以最后一層的詞向量作為后續(xù)任務(wù)的輸入并利用少量標(biāo)注語料進(jìn)行有監(jiān)督訓(xùn)練微調(diào)。同時它還為不同下游任務(wù)提出了統(tǒng)一的模型框架，僅需根據(jù)特定任務(wù)對輸入數(shù)據(jù)進(jìn)行相應(yīng)的轉(zhuǎn)換，避免了針對不同任務(wù)而設(shè)計復(fù)雜的下游模型。

圖3 GPT模型結(jié)構(gòu)Fig.3 GPT model structure

GPT 在 GLUE（General Language Understanding Evaluation）［22］的多個NLP 任務(wù)中均取得了state-of-the-art 結(jié)果，并且在小數(shù)據(jù)集上也表現(xiàn)出色。但其采用的單向的語言模型未能發(fā)揮出Transformer 的最佳效果，從一定程度上也制約著其性能的進(jìn)一步提升。

BERT被Google部署到搜索引擎上以改進(jìn)搜索效果，其結(jié)構(gòu)如圖4 所示。它由多個雙向Transformer 編碼器層堆疊組成全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在嵌入時涵蓋了詞類、句法和位置等信息。相較于GPT 的單向語言模型，BERT 采用雙向方法，能夠從真正意義上同時捕獲上下文語境信息。

圖4 BERT模型結(jié)構(gòu)Fig.4 BERT model structure

BERT 采用與GPT 相同的“預(yù)訓(xùn)練+微調(diào)”兩段式思路。預(yù)訓(xùn)練主要包含Masked Language Modeling（MLM）和Next Sentence Prediction（NSP）兩個半監(jiān)督任務(wù)。MLM 類似于完形填空，隨機(jī)遮蓋住輸入的文本序列，然后利用其他序列的句法規(guī)則和語義信息預(yù)測這些詞。由于在微調(diào)階段不會對輸入文本進(jìn)行遮蓋操作，因此會引起預(yù)訓(xùn)練和微調(diào)階段的不一致性，為緩解這個問題，在選取的15%遮蓋詞中，對其中80%的詞進(jìn)行真正的遮蓋，10%的詞進(jìn)行隨機(jī)替換，最后10%的詞保持不變。由于從詞粒度上無法判斷兩個句子之間的關(guān)系，NSP任務(wù)從句子層面預(yù)測兩個輸入是否相鄰。在該任務(wù)中，通過隨機(jī)抽取文檔中兩個相鄰句子構(gòu)建正樣本，而負(fù)樣本則隨機(jī)抽取不相鄰的句子。文獻(xiàn)［23］研究表明，BERT 通過預(yù)訓(xùn)練，有助于微調(diào)下游任務(wù)時找到更寬、更平坦的區(qū)域，且泛化誤差較小。因此，在處理過擬合問題上表現(xiàn)更好。

預(yù)訓(xùn)練模型BERT一經(jīng)推出，就刷新了11項NLP任務(wù)，取得state-of-the-art結(jié)果，表2給出了BERT［6］與其他模型在GLUE任務(wù)上的實(shí)驗(yàn)對比，共包括9 個自然語言理解（Natural Language Understanding，NLU）任務(wù)，結(jié)果表明，采用全局文本信息方法的性能明顯優(yōu)于局部文本信息的方法?？梢哉fBERT 是集前期研究成果大成之作，“預(yù)訓(xùn)練+微調(diào)”的兩段式方法也成為處理大多數(shù)NLP 任務(wù)的主流方式，從一定意義上看，BERT開啟了NLP領(lǐng)域的一個新時代。

表2 不同模型在GLUE任務(wù)上的實(shí)驗(yàn)結(jié)果對比 單位：%Tab.2 Experimental results comparison of different models on GLUE tasks unit：%

2 預(yù)訓(xùn)練模型研究現(xiàn)狀

BERT 的問世引起了NLP 界的一股熱潮，憑借其出色的性能和良好的泛化能力，它的各種變體也提升了很多任務(wù)的效果。除此之外，以XLNet 為典型代表的模型也提出了與BERT 不同的思路。本章主要從預(yù)訓(xùn)練階段目標(biāo)任務(wù)和下游應(yīng)用出發(fā)，對當(dāng)前典型預(yù)訓(xùn)練模型進(jìn)行梳理和分析，旨在理清預(yù)訓(xùn)練模型的發(fā)展現(xiàn)狀。

2.1 預(yù)訓(xùn)練階段目標(biāo)任務(wù)

從預(yù)訓(xùn)練階段目標(biāo)任務(wù)的數(shù)量出發(fā)，可以將預(yù)訓(xùn)練模型大致分為兩類：基于單任務(wù)和基于多任務(wù)。

2.1.1 基于單任務(wù)

單任務(wù)指在預(yù)訓(xùn)練階段只采用一個目標(biāo)任務(wù)，一般基于以下幾種方法：基于自回歸語言模型（Language Model，LM）、基于降噪自動編碼器（Denoising AutoEncoder，DAE）和基于多流機(jī)制。

1）基于LM。

自回歸語言模型是處理NLP任務(wù)時經(jīng)常使用的一種經(jīng)典概率模型，其本質(zhì)上是概率回歸。給定一個文本序列X1：T=[X1，X2，…，XT]，其聯(lián)合概率分布P(X1：T)可分解為：

式中X0表示初始序列。

傳統(tǒng)的自回歸語言模型往往是自左向右來考慮被預(yù)測詞之間的相關(guān)性，它符合人類語言習(xí)慣，因此天然適合處理自然語言生成（Natural Language Generation，NLG）任務(wù)。在預(yù)訓(xùn)練過程中，ELMo 通過兩個反向的雙層LSTM 分別從正向和逆向來預(yù)測上下文信息，巧妙地彌補(bǔ)自回歸語言模型單向處理文本序列的缺陷。

與ELMo 類似，ULMFiT（Universal Language Model Fine-Tuning）［25］也選擇語言模型作為目標(biāo)任務(wù)，采用了更高效的三層AWD-LSTM（ASGD（Average Stochastic Gradient Descent）Weight-Dropped LSTM）［26］架構(gòu)，通過引入正則化手段和針對目標(biāo)語言模型定制微調(diào)策略，結(jié)合差異精調(diào)、傾斜三角率和逐層解凍等方法進(jìn)一步提升了語言模型的性能，降低了多個文本分類任務(wù)18%～24%的錯誤率。

SiATL（Single-step Auxiliary loss Transfer Learning）［27］針對ELMo 和ULMFiT 預(yù)訓(xùn)練計算成本過高的問題，在構(gòu)建語言模型時依然采用更簡單的兩層LSTM 結(jié)構(gòu)，提出輔助語言模型，將訓(xùn)練負(fù)擔(dān)轉(zhuǎn)移到下游任務(wù)，使得對特定任務(wù)微調(diào)時也能訓(xùn)練更新預(yù)訓(xùn)練模型參數(shù)，在優(yōu)化策略上，采用序貫解凍的方法，隨著訓(xùn)練批次的增加逐漸解凍不同層的參數(shù)，直至模型最終收斂。相較于ULMFiT，SiATL 在文本分類任務(wù)上表現(xiàn)出更好的性能。

與前幾種方法不同，GPT系列［7，28-29］均采用單向的Transformer 架構(gòu)建立語言模型，在處理文本的長距離依賴問題和并行計算上相較于LSTM 有著更好地表現(xiàn)。同時，該系列模型主要在模型和訓(xùn)練數(shù)據(jù)規(guī)模上進(jìn)行了改進(jìn)，其細(xì)節(jié)對比如表3所示。

表3 GPT系列模型細(xì)節(jié)對比Tab.3 Detail comparison of GPT model series

但是，從聯(lián)合概率分布的分解公式中可以看出，自回歸語言模型只能按照序列順序?qū)ξ谋具M(jìn)行自左向右或自右向左的單向分解，盡管ELMo 提出了雙向結(jié)構(gòu)，但其本質(zhì)上還是兩個單向LSTM 的拼接，仍無法同時獲取上下文表征。而上下文信息對NLU 任務(wù)非常重要，自回歸語言模型不能很好滿足這一需求。

2）基于DAE。

不同于概率密度估計，DAE采用了一種“填空”的思想，先破壞輸入文本序列再訓(xùn)練模型進(jìn)行恢復(fù)。

對于同一個文本序列，采用DAE 方法時，其聯(lián)合概率分布P(X1：T)可近似表示為：

式中：如果當(dāng)前序列被預(yù)測，則mt=1，否則mt=0；表示原始文本被替換后的輸入。

目前基于DAE 方法主要以BERT 提出的MLM 為代表，即在文本序列中加入噪聲MASK 進(jìn)行遮蓋，再訓(xùn)練模型去預(yù)測這些被遮蓋的序列，配合Transformer 架構(gòu)，MLM 在NLU 任務(wù)中取得了顯著的效果，但這種“填空”結(jié)構(gòu)不能像自回歸語言模型那樣適合處理NLG 任務(wù)。針對這一問題，MASS（Masked Sequence to Sequence pre-training）［30］在預(yù)訓(xùn)練目標(biāo)上引入“編碼器-解碼器”結(jié)構(gòu)，對BERT 和傳統(tǒng)語言模型框架進(jìn)行統(tǒng)一，編碼器采用改進(jìn)MLM 機(jī)制來隨機(jī)遮蓋連續(xù)的單詞片段，解碼器則對這些片段進(jìn)行預(yù)測，最終通過對編碼器和解碼器的聯(lián)合訓(xùn)練來提高對語言的建模能力，在英語-法語翻譯任務(wù)上的BLEU（BiLingual Evaluation Understudy）分?jǐn)?shù)達(dá)到了37.5。值得注意的是，MASS還具有一個統(tǒng)一的預(yù)訓(xùn)練框架，在MLM 過程中，當(dāng)遮蓋詞的數(shù)量為1 或?yàn)檎麄€輸入序列時，MASS 分別與BERT和GPT等價。

為更好地統(tǒng)一NLU 和NLG 任務(wù)，T5（Text-to-Text Transfer Transformer）［31］在預(yù)訓(xùn)練目標(biāo)任務(wù)中也采用“編碼器-解碼器”結(jié)構(gòu)，但與MASS 不同的是，T5 對模型架構(gòu)、語料庫、掩碼機(jī)制、訓(xùn)練策略等多個方面進(jìn)行了全面詳細(xì)的對比分析，證明了MLM機(jī)制的優(yōu)勢，在英語-法語翻譯任務(wù)中的BLEU分?jǐn)?shù)達(dá)到了43.4%，相較于MASS提升了5.9%。

同樣為提高預(yù)訓(xùn)練模型在NLG 任務(wù)上的表現(xiàn)，BART（Bidirectional and Auto-Regressive Transformers）［32］采 用DAE的方法設(shè)計了“序列-序列”預(yù)訓(xùn)練模型。為了在結(jié)合上下文語境信息的同時仍能適應(yīng)序列生成任務(wù)，該模型提出了基于Transformer 的雙向編碼器和自回歸解碼器融合架構(gòu)，在預(yù)訓(xùn)練過程中首先使用任意噪聲函數(shù)破壞文本，然后經(jīng)過雙向編碼器處理后送入自回歸解碼器預(yù)測原始文本。最終BART 不僅在多個文本生成類任務(wù)上取得了最優(yōu)的結(jié)果，而且在文本理解類任務(wù)上也與XLNet等模型相當(dāng)。

對于BERT 中NSP 任務(wù)的效果，很多研究提出了質(zhì)疑［23，33-35］，RoBERTa［35］放棄了NSP，僅使用動態(tài)優(yōu)化的MLM 作為預(yù)訓(xùn)練任務(wù)，與MASS和T5所采用的靜態(tài)遮蓋不同，在每次迭代訓(xùn)練過程中，它的遮蓋對象是動態(tài)變化的。RoBERTa 還配合采用更大的batch size、擴(kuò)大訓(xùn)練規(guī)模、延長訓(xùn)練時間等方法來提升模型效果，在GLUE任務(wù)上超越了BERT和XLNet。

基于DAE 方法雖然彌補(bǔ)了自回歸語言模型不能同時獲取上下文信息的缺陷，但也帶來一些問題，比如不適應(yīng)NLG任務(wù)，而且MLM 方法在預(yù)訓(xùn)練時人為添加了MASK，而微調(diào)時它又不存在于實(shí)際數(shù)據(jù)中，造成兩個階段的不一致。除此之外，隨機(jī)選取部分序列進(jìn)行MASK 還可能會忽略被MASK序列之間存在的語義關(guān)聯(lián)。

3）基于多流機(jī)制。

通過對前期工作中自回歸語言模型和降噪自動編碼兩種方法的研究，XLNet 在融合了兩者優(yōu)點(diǎn)的同時避開其缺陷。并且為了更好地處理長文本問題，XLNet 采用了Transformer-XL架構(gòu)。針對BERT 中的MLM 機(jī)制引起的不一致問題，在單向自回歸語言模型上同時獲取上下文信息，XLNet 針對預(yù)訓(xùn)練階段設(shè)計了排列語言模型（Permuted Language Model，PLM）。從廣義上看，PLM 也是一種自回歸語言模型，單向地進(jìn)行語言建模，但通過雙流自注意力機(jī)制，它融入了雙向語言模型的優(yōu)勢。其思想是首先對被預(yù)測詞的位置進(jìn)行固定；然后隨機(jī)排列組合剩下的詞語，使得被預(yù)測詞的下文也能被排列到其上文位置；最終通過下文信息來預(yù)測上文。

在PLM 實(shí)現(xiàn)上，XLNet 通過雙流自注意力機(jī)制，類似于MLM 機(jī)制中的MASK 過程，引入Query 流對輸入文本中預(yù)測單詞的進(jìn)行遮蓋，不同于MLM 機(jī)制中顯式地對輸入序列中的部分單詞進(jìn)行隨機(jī)MASK 操作，XLNet 在文本特征提取器內(nèi)部，即Transformer-XL 中進(jìn)行隱式的MASK 操作，使得被MASK 的單詞在預(yù)測時不發(fā)揮作用，從而有效緩解了MLM 機(jī)制中預(yù)訓(xùn)練與微調(diào)階段的不一致問題。XLNet 在長文本閱讀理解任務(wù)中取得了顯著效果，如表2 所示，在GLUE 任務(wù)上的性能超越了BERT 等其他模型。

受到XLNet 雙流自注意力機(jī)制的啟發(fā)，百度提出了基于多流預(yù)訓(xùn)練技術(shù)的語言生成模型ERNIE-GEN［36］。其采用基于Transformer 的“編碼器-解碼器”框架，考慮到傳統(tǒng)的“序列-序列”模型往往采用逐字符的學(xué)習(xí)范式，一方面在進(jìn)行預(yù)測時容易過度依賴于上一個詞；另一方面逐字符生成也與人類基于實(shí)體和短語的寫作思考方法不一致。因此，ERNIEGEN 率先引入了Span-by-Span 生成流以改進(jìn)語義單元生成效果，在訓(xùn)練時不僅僅只預(yù)測一個字符，而是預(yù)測一個完整的語義片段。除此之外，它還設(shè)計了Contextual流來建模語言單元的上文信息，并通過Mulit-flow Attention 機(jī)制來進(jìn)行多流的聯(lián)合學(xué)習(xí)。針對“序列-序列”生成模型面臨的曝光偏差問題，ERNIE-GEN 提出了填充生成和噪聲感知機(jī)制，以減小訓(xùn)練和解碼生成之間的差異。最終用更少的參數(shù)和數(shù)據(jù)，在多個生成任務(wù)上取得了state-of-the-art效果。

與ERNIE-GEN 相似，針對傳統(tǒng)語言模型無法捕捉長距離依賴問題，微軟提出了語言生成模型ProphetNet［37］。該方法采用基于n-gram 的多流機(jī)制，能夠同時對不同語義粒度的文本信息進(jìn)行建模，不同于傳統(tǒng)“序列-序列”結(jié)構(gòu)每次只能預(yù)測下一個字符，ProphetNet 能夠同時預(yù)測未來更遠(yuǎn)的n個字符，以防止模型在預(yù)測時過于依賴距離較近的文本信息，避免局部相關(guān)的過擬合現(xiàn)象。表4 給出了兩者在SQuAD（Stanford Question Answering Dataset）數(shù)據(jù)集［38］上進(jìn)行問題生成任務(wù)的實(shí)驗(yàn)對比，可以看出兩種方法在不同任務(wù)上的表現(xiàn)相當(dāng)。

表4 ERNIE-GEN與ProphetNet的實(shí)驗(yàn)結(jié)果對比 單位：%Tab.4 Experimental results comparison of ERNIE-GEN and ProphetNet unit：%

以XLNet為代表的PLM方法融合文本生成和獲取上下文信息的優(yōu)勢，既彌補(bǔ)了MLM 的缺陷，又保持了語言模型的優(yōu)勢，兼顧了NLG 和NLU 任務(wù)，適用的范圍更廣，啟發(fā)了后續(xù)的研究。

2.1.2 基于多任務(wù)

多任務(wù)指在預(yù)訓(xùn)練階段采用多個目標(biāo)任務(wù)聯(lián)合訓(xùn)練，與單任務(wù)相比，多任務(wù)往往帶來更加復(fù)雜的模型結(jié)構(gòu)，但能進(jìn)一步提升模型的性能。其中一個典型代表BERT 的預(yù)訓(xùn)練過程就包含了MLM 和NSP 兩個任務(wù)，除此之外，針對模型壓縮、高效計算、多任務(wù)學(xué)習(xí)等問題，很多研究在此基礎(chǔ)上進(jìn)行了一系列優(yōu)化，表5給出了不同模型在GLUE任務(wù)上的實(shí)驗(yàn)對比。

表5 基于多目標(biāo)任務(wù)的預(yù)訓(xùn)練模型實(shí)驗(yàn)結(jié)果對比Tab.5 Experimental results comparison of pre-trained models based on multi-objective task

ALBERT（A Lite BERT）［33］為簡化BERT參數(shù)規(guī)模：一方面考慮到詞向量的維度可以不必與隱藏層的維度保持一致，因此對詞嵌入?yún)?shù)進(jìn)行因式分解，通過降低詞嵌入維度來減少參數(shù)量；與此同時，由于BERT 中各層參數(shù)獨(dú)立且不共享，ALBERT 通過共享各全連接層和注意力層參數(shù)，明顯減少了隱藏層參數(shù)量。另一方面，ALBERT 提出新的目標(biāo)任務(wù)，即句子順序預(yù)測（Sentence Order Prediction，SOP）來替代BERT 中的NSP 任務(wù)，相比于NSP，SOP 任務(wù)主要針對句子間的連貫性問題并且更為復(fù)雜。最終ALBERT 在保持甚至提高模型性能的條件下有效壓縮了模型。

原始的BERT 采取隨機(jī)遮蓋最小單元的方法，但這種做法往往會割裂一個完整詞匯的語義信息。SpanBERT［34］的改進(jìn)主要體現(xiàn)在MLM 機(jī)制的遮蓋方式上，對隨機(jī)相鄰的連續(xù)詞而不是單個詞進(jìn)行MASK，在選擇遮蓋長度時，首先從幾何分布中進(jìn)行采樣得到分詞的長度，然后從中進(jìn)行隨機(jī)均勻選擇。除此之外，SpanBERT 將NSP 替換為Span-Boundary Objective（SBO）任務(wù)，訓(xùn)練模型僅通過邊界詞來預(yù)測遮蓋部分的內(nèi)容。最終該模型在問答、共指消解等NLP 任務(wù)中均取得了顯著的效果。

微軟提出的UNILM（Unified pre-trained Language Model）［39］采用BERT 中MLM 機(jī)制的思想，在預(yù)訓(xùn)練時設(shè)計了單向和雙向語言模型以及“序列-序列”語言模型三個目標(biāo)函數(shù)，并分別進(jìn)行相應(yīng)的MASK 操作，然后與NSP 任務(wù)聯(lián)合建模同時共享一個Transformer 框架。UNILM 還在不同目標(biāo)函數(shù)上共享網(wǎng)絡(luò)參數(shù)，避免了結(jié)果過擬合于單一的語言模型。在“序列-序列”語言模型的推動下，UNILM 不僅能靈活處理NLG 任務(wù)還能適應(yīng)NLU 任務(wù)。其改進(jìn)模型UNILMv2［40］引入XLNet 中的PLM，提出了偽掩蔽語言模型（Pseudo-Masked Language Model，PMLM），將自編碼和部分自回歸方法統(tǒng)一于預(yù)訓(xùn)練目標(biāo)任務(wù)的語言模型，其中通過自編碼方法進(jìn)行傳統(tǒng)的MASK操作，以學(xué)習(xí)被遮蓋詞與上下文之間的關(guān)系；同時為學(xué)習(xí)被遮蓋詞之間的關(guān)系，采用PLM 中基于部分自回歸偽掩碼的思想。這種結(jié)合類似于多流自注意力機(jī)制進(jìn)行聯(lián)合建模的方式，在PLM 中實(shí)現(xiàn)了連續(xù)詞的預(yù)測，相較于BERT、XLNet 和RoBERTa在多個任務(wù)中取得了更好的效果。

同樣是微軟提出的MPNet［41］發(fā)現(xiàn)PLM雖然近似實(shí)現(xiàn)了雙向LM 功能，但從單個因式分解過程的細(xì)節(jié)上看，被預(yù)測的序列依然只能關(guān)注到它前面的序列，無法看到完整的序列和位置信息。為彌補(bǔ)這一缺陷，MPNet 在預(yù)訓(xùn)練時結(jié)合MLM 與PLM的優(yōu)勢，采用聯(lián)合建模的方式，通過在被預(yù)測序列中加入位置補(bǔ)償信息，進(jìn)一步減少了預(yù)訓(xùn)練和微調(diào)過程之間的差異。

ELECTRA（Efficiently Learning an Encoder that Classifies Token Replacements Accurately）［42］針對MLM機(jī)制提出了Replaced Token Detection（RTD）任務(wù)，將生成式轉(zhuǎn)化為了判別式任務(wù)，采用替換而不是掩蓋的方法破壞輸入。在訓(xùn)練時引入類似對抗學(xué)習(xí)的思想，先通過基于Transformer 的生成器對遮蓋的序列進(jìn)行預(yù)測，再將預(yù)測結(jié)果輸入到判別器中，從而訓(xùn)練模型去判斷每一個詞是否被生成器替換過。ELECTRA 進(jìn)一步提升了預(yù)訓(xùn)練模型的學(xué)習(xí)效率，在提高了模型性能的同時大幅降低了計算成本。

2.2 預(yù)訓(xùn)練模型應(yīng)用

預(yù)訓(xùn)練模型在NLP 任務(wù)上的應(yīng)用采用知識遷移的思想，如圖5 所示，將預(yù)訓(xùn)練模型在語料庫中學(xué)習(xí)到的知識，有效地運(yùn)用于下游任務(wù)。

圖5 遷移學(xué)習(xí)Fig.5 Transfer learning

為了提升運(yùn)用的效果，避免過擬合或?yàn)?zāi)難性遺忘等問題，針對不同的任務(wù)還必須選擇合適的語料庫、預(yù)訓(xùn)練模型架構(gòu)以及微調(diào)策略。如Google 提出的T5 根據(jù)遷移學(xué)習(xí)的思想，將所有語言問題統(tǒng)一于一個Text-to-Text 框架，并從預(yù)訓(xùn)練目標(biāo)任務(wù)，架構(gòu)設(shè)計、語料庫選擇和遷移方法等多個因素出發(fā)進(jìn)行了系統(tǒng)的研究，同時還提出Colossal Clean Crawled Corpus（C4）作為一種更高質(zhì)量的語料庫以此來提高下游任務(wù)性能。

對于訓(xùn)練數(shù)據(jù)的篩選，Ruder 等［43］引入貝葉斯優(yōu)化方法，從多個數(shù)據(jù)源進(jìn)行選擇，有效提高了訓(xùn)練質(zhì)量，還分析了該方法在不同模型、領(lǐng)域和任務(wù)上的魯棒性；GPT 2.0/3.0［28-29］在更寬領(lǐng)域和更大規(guī)模的高質(zhì)量語料庫上進(jìn)行預(yù)訓(xùn)練，同時加入了更多的模型參數(shù)，甚至不需要進(jìn)行微調(diào)就可以直接應(yīng)用到下游任務(wù)。

預(yù)訓(xùn)練模型在具體下游任務(wù)的應(yīng)用主要靠特征提取或微調(diào)來實(shí)現(xiàn)。特征提取時預(yù)訓(xùn)練模型的參數(shù)被固定，因此可以減少下游任務(wù)的計算，但需要針對具體任務(wù)設(shè)計特定的模型結(jié)構(gòu)；微調(diào)方法將通用的預(yù)訓(xùn)練模型應(yīng)用于不同的下游任務(wù)，通過具體的任務(wù)進(jìn)一步更新預(yù)訓(xùn)練模型參數(shù)，更好地發(fā)揮預(yù)訓(xùn)練模型的普適作用，因此較為常用。Peters 等［44］通過對ELMo 和BERT 的研究發(fā)現(xiàn)，預(yù)訓(xùn)練任務(wù)與下游目標(biāo)任務(wù)的相似性在對特征提取或者微調(diào)方式的選擇上有較大影響。實(shí)驗(yàn)表明，當(dāng)下游任務(wù)為序列標(biāo)記或句子對任務(wù)時，ELMo 更適合于采用特征提取的方法，而BERT則更適合微調(diào)。

按照預(yù)訓(xùn)練模型在下游任務(wù)的使用策略，將預(yù)訓(xùn)練模型大致分為四類：基于單任務(wù)/多任務(wù)微調(diào)、輔助微調(diào)下游任務(wù)、進(jìn)一步預(yù)訓(xùn)練和其他策略，表6給出了它們的實(shí)驗(yàn)對比。

表6 不同微調(diào)策略下的預(yù)訓(xùn)練模型實(shí)驗(yàn)結(jié)果對比Tab.6 Experimental results comparison of pre-trained models based on different fine-tuning strategies

1）基于單任務(wù)/多任務(wù)微調(diào)。

單任務(wù)微調(diào)是大多數(shù)模型所采用的微調(diào)方式，可以理解為讓預(yù)訓(xùn)練模型在有監(jiān)督數(shù)據(jù)集上訓(xùn)練單個特定任務(wù)；而多任務(wù)微調(diào)往往采用多任務(wù)學(xué)習(xí)的方法共享多個相關(guān)任務(wù)之間有價值的信息，提高模型在不同任務(wù)上的泛化能力。

微軟提出的MT-DNN［46］在微調(diào)時引入了多任務(wù)學(xué)習(xí)的方法，以BERT 作為底層共享的文本特征提取模塊，從每個批次中隨機(jī)選擇一個任務(wù)進(jìn)行訓(xùn)練，一方面彌補(bǔ)了部分下游任務(wù)標(biāo)記數(shù)據(jù)不足的缺陷；另一方面可以減輕模型在特定任務(wù)上的過擬合現(xiàn)象。MT-DNN實(shí)現(xiàn)了超越了BERT的性能，進(jìn)一步證明了多任務(wù)學(xué)習(xí)的微調(diào)效果和泛化能力。不同于MT-DNN在微調(diào)過程中引入多任務(wù)學(xué)習(xí)的方法，ERNIE 2.0［47］為了進(jìn)一步提取文本語料中的語義、語法和詞匯信息，采用增量學(xué)習(xí)的思想，在保留已學(xué)習(xí)知識記憶的基礎(chǔ)上，繼續(xù)從新數(shù)據(jù)中學(xué)習(xí)有用信息。在預(yù)訓(xùn)練時定義了詞匯、語法、語義等三個層級上的任務(wù)，并采用多任務(wù)學(xué)習(xí)機(jī)制全面提取語料庫中的先驗(yàn)知識。在中文和英文場景任務(wù)下的效果都明顯優(yōu)于BERT。Stickland 等［45］受到CV多任務(wù)學(xué)習(xí)和“residual adapter modules［50］”的啟發(fā)，在BERT中設(shè)計添加了一種基于多頭注意力機(jī)制的投影注意層（Projected Attention Layers，PAL），實(shí)現(xiàn)高度的參數(shù)共享，在文本蘊(yùn)含任務(wù)上的表現(xiàn)超越了BERT 和MT-DNN。

2）輔助微調(diào)下游任務(wù)。

通常是在微調(diào)時利用預(yù)訓(xùn)練階段的目標(biāo)任務(wù)或設(shè)計新的模塊來防止災(zāi)難性遺忘，提高模型性能。如Yang等［51］提出微調(diào)時結(jié)合預(yù)訓(xùn)練模型的多層而不是頂層特征來豐富信息表示的方法。

SiATL 在微調(diào)時將預(yù)訓(xùn)練階段的語言模型作為輔助目標(biāo)函數(shù)，并與特定任務(wù)的優(yōu)化函數(shù)相結(jié)合，從而設(shè)計了一個簡單而有效的目標(biāo)函數(shù)，可近似表示為：

式中，μ為指數(shù)衰減系數(shù)，其用途在于隨著后期訓(xùn)練次數(shù)的迭代增加，通過減小輔助語言模型LLM的影響力來提升任務(wù)目標(biāo)函數(shù)LTASK對總目標(biāo)函數(shù)L的主導(dǎo)作用。

這種方法既能利用語言模型捕獲的語法規(guī)則，又能提升模型對特定任務(wù)的適應(yīng)能力，并且有效緩解了災(zāi)難性遺忘問題。最終SiATL 在不同的文本分類任務(wù)上取得了優(yōu)于ULMFiT 的結(jié)果。GPT 也在對下游任務(wù)進(jìn)行微調(diào)時也采用了與SiATL 相同的思路，不僅能夠改善模型對已學(xué)到知識產(chǎn)生遺忘的現(xiàn)象，還能提升模型收斂速度和精度。

Houlsby 等［48］在預(yù)訓(xùn)練的各層之間添加Adaptor 模塊，當(dāng)對不同的任務(wù)進(jìn)行微調(diào)時，僅需調(diào)整Adaptor模塊中的少量參數(shù)，而模型的大部分參數(shù)保持不變，實(shí)現(xiàn)了高度參數(shù)共享，有效提高了預(yù)訓(xùn)練模型針對不同任務(wù)的微調(diào)效率。

3）進(jìn)一步預(yù)訓(xùn)練。

一般是在預(yù)訓(xùn)練和微調(diào)兩階段之間在不同語料庫上進(jìn)行額外的預(yù)訓(xùn)練以提升預(yù)訓(xùn)練模型的穩(wěn)健性和泛化能力，如Gururangan 等［52］提出了領(lǐng)域適應(yīng)性和任務(wù)適應(yīng)性訓(xùn)練。ERNIE（Enhanced Representation through knowledge Integration）［53］在對預(yù)訓(xùn)練過程中的遮蓋詞進(jìn)行預(yù)測時采用了知識增強(qiáng)的方法，并引入實(shí)體級和短語級信息，以學(xué)習(xí)更豐富的語義知識。與此同時，通過在由百度貼吧對話數(shù)據(jù)構(gòu)成的語料庫上進(jìn)一步預(yù)訓(xùn)練，能夠?qū)W習(xí)到對話中的隱式關(guān)系，增強(qiáng)模型學(xué)習(xí)不同語義表示的能力，最終在自然語言推理、語義相似度、情感分析等多個中文NLP任務(wù)中都取得了顯著的效果。ELMo將預(yù)訓(xùn)練模型在特定任務(wù)上進(jìn)一步訓(xùn)練，再應(yīng)用于最終任務(wù)，有效提升了其性能。ULMFiT 也采用了逐層解凍、差異精調(diào)和傾斜三角學(xué)習(xí)率的方法優(yōu)化在特定任務(wù)上進(jìn)行額外的預(yù)訓(xùn) 練。Phang 等［49］設(shè)計STILTs（Supplementary Training on Intermediate Labeled-data Tasks），發(fā)現(xiàn)額外的有監(jiān)督訓(xùn)練能夠有效提升下游任務(wù)的穩(wěn)健性。受到STILTs的啟發(fā)，He等［54］提出了QUASE（Question-Answer driven Sentence Encoding）框架，針對目標(biāo)任務(wù)單句或多句的輸入類型，利用問答（Question Answering，QA）數(shù)據(jù)集對模型做進(jìn)一步預(yù)訓(xùn)練，以提高最終下游任務(wù)的效果。

4）其他策略。

主要表現(xiàn)為非微調(diào)的方式，如特征提取。在特征提取中，特征提取的難度隨著訓(xùn)練任務(wù)與下游目標(biāo)任務(wù)相似性減小而增大。但GPT 2.0/3.0 在上游任務(wù)中通過利用大規(guī)模高質(zhì)量語料庫進(jìn)行無監(jiān)督訓(xùn)練能夠緩解這一問題。

GPT 2.0 的基本結(jié)構(gòu)與GPT 相似，其改進(jìn)一方面主要體現(xiàn)在數(shù)據(jù)質(zhì)量的提升，在高質(zhì)量、寬泛的海量數(shù)據(jù)上進(jìn)行無監(jiān)督訓(xùn)練；另一方面不再為特定任務(wù)設(shè)計微調(diào)流程，并且無監(jiān)督地進(jìn)行下游任務(wù)，最終刷新了7 大數(shù)據(jù)集的state-of-the-art 結(jié)果。GPT 3.0 依舊延續(xù)舊版本中單向語言模型結(jié)構(gòu)，進(jìn)一步擴(kuò)大模型和數(shù)據(jù)規(guī)模，采取無監(jiān)督的學(xué)習(xí)方式且無須微調(diào)。GPT 3.0 在Zero-Shot、One-Shot 和Few-Shot 三種樣本條件下探究了模型規(guī)模對其表現(xiàn)的影響，最終結(jié)果表現(xiàn)出強(qiáng)大的泛化能力。在一些任務(wù)中的效果達(dá)到甚至超越了最新的采用微調(diào)方式的模型。

3 面臨的主要挑戰(zhàn)與展望

3.1 面臨的主要挑戰(zhàn)

近年來，以BERT、XLNet 為典型代表的一系列預(yù)訓(xùn)練模型在NLP 任務(wù)上取得了豐碩的成果，在證實(shí)了預(yù)訓(xùn)練技術(shù)重要意義的同時也面臨著困難與挑戰(zhàn)。

1）計算成本高。

隨著Transformer 的廣泛應(yīng)用，通過深度預(yù)訓(xùn)練可以得到越來越高層次的文本信息，但這也使得預(yù)訓(xùn)練模型的規(guī)模呈現(xiàn)普遍增長的趨勢，最具有代表性的BERT 的base 版本包含約1.08億個參數(shù)，xlarge版本達(dá)到了12.7億個參數(shù)，這種現(xiàn)象到GPT 3.0 達(dá)到了高峰，采用1 750 億個參數(shù)和45 TB 的訓(xùn)練數(shù)據(jù)。模型擴(kuò)大對計算設(shè)備提出了更高的要求，如何降低高昂的計算成本是今后面對的主要問題之一。

2）魯棒性差。

深層次的神經(jīng)網(wǎng)路由于其線性特點(diǎn)，容易受到對抗性輸入的攻擊［55］。盡管預(yù)訓(xùn)練模型在不同NLP 任務(wù)上表現(xiàn)出色，但它們大多采用深層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，因此也存在魯棒性差的問題。對抗性攻擊作為檢驗(yàn)?zāi)Ｐ汪敯粜缘氖侄?，最早在CV領(lǐng)域被廣泛應(yīng)用，但由于文本不同于圖像，一個字的變化就可能改變整句話所表達(dá)的含義。針對文本對抗攻擊的研究起步較慢，Jin 等［56］使用對抗文本攻擊了許多現(xiàn)有模型后發(fā)現(xiàn)，它們的性能都發(fā)生了急劇下降。因此，提高預(yù)訓(xùn)練模型的魯棒性也是今后一個亟待解決的問題。

3）語義理解不足。

預(yù)訓(xùn)練語言模型究竟有沒有真正學(xué)到語言的真正意義，還是僅僅學(xué)到了一種“形式”？Bender等［57］敲響了警鐘。盡管很多模型在各類數(shù)據(jù)集上都有出色的表現(xiàn)，有的已經(jīng)逼近甚至超過人類水平，但從文本對抗攻擊可以看出，這種表現(xiàn)是脆弱的。僅依靠語料的學(xué)習(xí)忽略了人們使用語言時的交際意圖［57］，雖然能提取到一些有用的信息，但卻是不完整的，并不符合人類使用語言的真正目的。

3.2 展望

在未來的研究中，預(yù)訓(xùn)練模型勢必將會給NLP 領(lǐng)域的發(fā)展帶來更多的驚喜，通過對預(yù)訓(xùn)練模型的歸納和總結(jié)，對其未來發(fā)展指出了以下幾個可能的趨勢。

1）精簡和改進(jìn)模型。

為降低預(yù)訓(xùn)練計算成本，以BERT 為對象展開了很多研究，融合了參數(shù)共享、知識蒸餾等多種方法，如ALBERT、TinyBERT［58］等，能在保持性能的前提下，通過共享參數(shù)和知識蒸餾等方法，大幅降低參數(shù)規(guī)模，提升訓(xùn)練效率，那么在未來具有一定計算能力的邊緣設(shè)備能否也具有預(yù)訓(xùn)練能力？除此之外，多模態(tài)技術(shù)為設(shè)計強(qiáng)大的預(yù)訓(xùn)練模型提供了一個思路，除了文本之外，可以結(jié)合視頻、圖片、語音等多個領(lǐng)域的信息復(fù)現(xiàn)人類使用語言的情景，提高模型的語義理解能力，如ERNIE-ViL［59］等。同時，在繼Transformer、BERT 后，未來能否提出新的具有革新意義的模型架構(gòu)也非常值得關(guān)注。

2）提高模型穩(wěn)健性。

對抗性訓(xùn)練是提高預(yù)訓(xùn)練模型魯棒性的關(guān)鍵手段，如采用化攻為守的方法，利用對抗樣本訓(xùn)練模型。Goodfellow［60］和Madry等［61］針對文本對抗訓(xùn)練方法展開研究，Zhu等［62］也在前期研究的基礎(chǔ)上，提出了對抗訓(xùn)練算法FreeLB（Free Large-Batch）。魯棒性是當(dāng)前預(yù)訓(xùn)練模型面臨的重要問題之一，想必在未來還會出現(xiàn)更多的方法來增強(qiáng)模型的穩(wěn)健性。

3）優(yōu)化評價體系。

隨著NLP 領(lǐng)域技術(shù)的快速發(fā)展，很多評測體系已經(jīng)不能滿足當(dāng)前模型的需求而進(jìn)行了相應(yīng)的改進(jìn)。如用于機(jī)器閱讀理解的問答數(shù)據(jù)集SQUAD 2.0［63］和多任務(wù)的NLU 基準(zhǔn)與分析平臺SuperGLUE［64］等都增加了更為復(fù)雜的任務(wù)，旨在能夠推動更強(qiáng)大的模型誕生。Ribeiro 等［65］還提出了全新的評測方式CHECKLIST，不再對已有數(shù)據(jù)進(jìn)行測試集和訓(xùn)練集的簡單地劃分，而是能夠從各個任務(wù)層面，對模型進(jìn)行全面的評測。評價標(biāo)準(zhǔn)指引著領(lǐng)域的發(fā)展方向，因此，未來評價體系的建設(shè)也顯得尤為重要。

4 結(jié)語

本文主要對NLP任務(wù)中預(yù)訓(xùn)練模型的發(fā)展和研究現(xiàn)狀進(jìn)行了簡要概述。從文本特征提取技術(shù)上看，預(yù)訓(xùn)練模型的發(fā)展主要以上下文信息的捕獲能力為核心，經(jīng)歷了由簡單到復(fù)雜、由局部到全局、由單向到雙向的發(fā)展歷程。目前，主流的文本特征提取技術(shù)以RNN、CNN 和Transformer 為代表，其中Transformer在眾多任務(wù)中顯現(xiàn)出優(yōu)勢，具有較大的發(fā)展?jié)摿?。從預(yù)訓(xùn)練模型的階段任務(wù)和應(yīng)用手段上看，其目標(biāo)任務(wù)主要以自回歸語言模型、降噪自動編碼器和多流機(jī)制為典型代表，通過對不同方法的改進(jìn)和融合來達(dá)到取長補(bǔ)短的目的。在應(yīng)用手段上，主要面臨著災(zāi)難性遺忘和過擬合等問題，在引入多任務(wù)學(xué)習(xí)、輔助微調(diào)函數(shù)和進(jìn)一步預(yù)訓(xùn)練等方法后得到了顯著改善?？偠灾壳邦A(yù)訓(xùn)練技術(shù)已經(jīng)在自然語言處理問題上取得了不可忽視的成就，具有廣闊的應(yīng)用領(lǐng)域和前景。