基于多任務(wù)深度學(xué)習(xí)的關(guān)鍵詞生成方法

朱浩翔，張宇翔

(中國民航大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300)

0 引 言

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)和序列到序列模型的提出與應(yīng)用，給文本關(guān)鍵詞的預(yù)測帶來了更多的可行性。在序列到序列模型的基礎(chǔ)上加入注意力機(jī)制[1]，利用編碼器和解碼器進(jìn)行對齊，能有效地關(guān)注文檔的不同位置。根據(jù)統(tǒng)計(jì)，文檔題目中的單詞成為關(guān)鍵詞的概率遠(yuǎn)遠(yuǎn)高于文檔摘要。這說明標(biāo)題確實(shí)包含了高度總結(jié)性和有價(jià)值的關(guān)鍵信息。合理地利用文檔標(biāo)題的這一特性有助于提升關(guān)鍵詞預(yù)測的效果。最近的關(guān)鍵詞生成方法通常將文檔的標(biāo)題與文檔無差別拼接[2]，作為預(yù)測模型的輸入，沒有體現(xiàn)文檔標(biāo)題的特殊性。本文以雙任務(wù)序列到序列模型[3]為基礎(chǔ)，將關(guān)鍵詞短語的生成作為主要任務(wù)，將標(biāo)題生成作為輔助任務(wù)，設(shè)計(jì)了雙任務(wù)的注意力聯(lián)合訓(xùn)練模型Joint-MT。與一般的雙任務(wù)模型不同，根據(jù)注意力機(jī)制能衡量輸入文本中所有單詞對當(dāng)前關(guān)鍵詞生成的重要性的特點(diǎn)，在模型訓(xùn)練的過程當(dāng)中加入一致性損失，計(jì)算兩個(gè)任務(wù)注意力矩陣部分向量之間的相對熵，增強(qiáng)了兩個(gè)任務(wù)之間注意力機(jī)制的相關(guān)性，使模型能夠利用關(guān)鍵詞和題目特殊關(guān)系提升關(guān)鍵詞預(yù)測的效果。實(shí)驗(yàn)結(jié)果表明，相較于基礎(chǔ)的生成模型和常用的無監(jiān)督和有監(jiān)督提取模型，Joint-MT的預(yù)測結(jié)果都優(yōu)于對比實(shí)驗(yàn)。

1 關(guān)鍵詞預(yù)測

隨著文本數(shù)據(jù)數(shù)量的快速增長，如何自動地給文本設(shè)定恰當(dāng)而且精準(zhǔn)的關(guān)鍵詞就成為了自然語言處理領(lǐng)域之中亟待解決的基礎(chǔ)問題和研究熱點(diǎn)[4]。文本關(guān)鍵詞預(yù)測的方法可以分成提取與生成兩種。提取方法是在文檔之中抽取合適的單詞或者短語作為對文檔的關(guān)鍵詞。對于有監(jiān)督的方法來說，這常常是一種二分類模型，也可以作為多分類模型，比如Alzaidy等[5]和Zhou等[6]利用條件隨機(jī)場將關(guān)鍵詞提取任務(wù)作為一種序列標(biāo)注任務(wù)，找出文檔中所有可能的關(guān)鍵詞。關(guān)鍵詞提取方法只能預(yù)測在文檔中出現(xiàn)的關(guān)鍵詞(文內(nèi)關(guān)鍵詞)。生成模型在預(yù)測關(guān)鍵詞的時(shí)候，是從詞表當(dāng)中挑選合適的單詞組成關(guān)鍵詞，不管這些單詞是否出現(xiàn)在文檔中[7]。Meng等將序列到序列模型應(yīng)用到了關(guān)鍵詞預(yù)測的領(lǐng)域當(dāng)中，并設(shè)計(jì)了CopyRNN[2]模型。在此之上，Chan等利用強(qiáng)化學(xué)習(xí)增強(qiáng)模型的預(yù)測結(jié)果[8]。這種有監(jiān)督模型依賴于大量有標(biāo)記數(shù)據(jù)。為了解決這個(gè)問題，Ye等提出了一種半監(jiān)督關(guān)鍵詞生成模型[3,9]，該模型使用有限的標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)和半監(jiān)督的方法訓(xùn)練關(guān)鍵詞生成模型。在文檔標(biāo)題信息的使用上，這兩個(gè)基于RNN的方法都把文章的摘要和標(biāo)題無差別地拼接起來作為模型的輸入，忽略了文檔標(biāo)題在文本總結(jié)當(dāng)中的重要作用。Chen等提出了Title-Guided[10]模型，加入了模型對文檔標(biāo)題信息的關(guān)注。

注意力機(jī)制是一種軟對齊方法，可以在處理文本的時(shí)候，評估文檔中不同位置的詞語的重要性。如果生成模型只使用固定的詞表，總是存在OOV問題。復(fù)制機(jī)制利用注意力機(jī)制[11,12]，通過對當(dāng)前輸入文檔中的每個(gè)單詞打分，計(jì)算出文本中每個(gè)單詞在某個(gè)時(shí)刻成為關(guān)鍵詞的概率，解決OOV問題。從表1中可以看出，在KP20K驗(yàn)證集當(dāng)中，文檔題目中的單詞成為關(guān)鍵詞的概率為24.35%，文檔摘要的單詞成為關(guān)鍵詞的概率為7.37%，而且有相當(dāng)比例的關(guān)鍵詞短語完全地包含于題目。文檔標(biāo)題的關(guān)鍵信息密度高于文檔摘要，這是因?yàn)槲臋n標(biāo)題是作者對文檔全部主旨內(nèi)容的最精煉表述。本文的模型受到了Wang等和Chen等[13,14]的啟發(fā)，采用一致性學(xué)習(xí)，使多任務(wù)模型得到更有效的embedding向量和注意力，強(qiáng)化各任務(wù)之間注意力機(jī)制的相關(guān)性，提高主要任務(wù)的效果[15]。

表1 KP20K驗(yàn)證集中文檔題目和摘要詞語中關(guān)鍵詞占比

2 多任務(wù)深度關(guān)鍵詞生模型

2.1 問題定義

2.2 序列到序列模型

本文使用的多任務(wù)深度關(guān)鍵詞生成模型由一個(gè)編碼器和兩個(gè)解碼器組成。編碼器將輸入文本壓縮成為源文本的表示，然后傳入解碼器中。一個(gè)解碼器用于生成關(guān)鍵詞，另一個(gè)解碼器用于生成標(biāo)題。兩個(gè)解碼器共享編碼器中的參數(shù)，在神經(jīng)網(wǎng)絡(luò)前向回饋的過程中對其進(jìn)行優(yōu)化，并且加入了一致性約束，模型的流程如圖1所示。編碼器和解碼器都使用了長短期記憶網(wǎng)絡(luò)LSTM(long short term memory)。長短期記憶網(wǎng)絡(luò)可以學(xué)習(xí)上下文信息，同時(shí)還可以應(yīng)對RNN模型可能會出現(xiàn)的長期依賴問題。

在序列到序列模型之中，編碼器的目的是將輸入的有序文本轉(zhuǎn)化成一個(gè)稠密的向量h。本文采用雙向LSTM作為模型的編碼器，它既編碼t時(shí)刻之前的文本，也編碼t時(shí)刻之后的文本，可以更好融合上下文的信息。編碼器中編碼過程的計(jì)算公式為

(1)

(2)

(3)

St=LSTM(yt-1,St-1)

(4)

p(yt|y

(5)

其中，yt-1表示t-1時(shí)刻模型預(yù)測的單詞，St表示t時(shí)刻解碼器的隱藏狀態(tài)。g(·)表示包含注意力機(jī)制的非線性可學(xué)習(xí)函數(shù)。p表示t時(shí)刻模型預(yù)測單詞概率分布，表示選取V中單詞作為t時(shí)刻模型輸出的概率。V是模型的單詞表，里面包含了訓(xùn)練集中出現(xiàn)頻率最高的n個(gè)單詞(本文n設(shè)為50 000)。

在模型訓(xùn)練的過程中，將最小化模型的損失，提高預(yù)測正確目標(biāo)序列的概率。在模型測試時(shí)，采用束搜索方法生成關(guān)鍵詞，得到關(guān)鍵詞短語候選集，在適量的短語上對模型的預(yù)測效果進(jìn)行評價(jià)。

2.3 注意力機(jī)制

關(guān)鍵詞生成任務(wù)與翻譯任務(wù)類似，都是根據(jù)輸入的源文本預(yù)測可變長的目標(biāo)文本。序列到序列的翻譯模型中，注意力機(jī)制使得模型能夠動態(tài)的專注于輸入文本的重要部分，根據(jù)不同的輸入文本，給文本中不同位置的信息賦予不同的權(quán)重。關(guān)鍵詞生成模型之中加入注意力機(jī)制能夠更好地理解和融合輸入文本潛在的語義信息，提高關(guān)鍵詞預(yù)測的效果。在解碼的過程中添加注意力機(jī)制計(jì)算t時(shí)刻生成概率的分布

p(yt|y

(6)

(7)

(8)

(9)

其中，a(·)是一種軟對齊函數(shù)，它衡量了St和hk之間的相似度，Wa是可學(xué)習(xí)的參數(shù)矩陣。

2.4 復(fù)制機(jī)制

應(yīng)對生成模型中的OOV問題，使用了復(fù)制機(jī)制。傳統(tǒng)的生成模型在生成關(guān)鍵詞的時(shí)候，只能預(yù)測詞表V當(dāng)中的詞語，詞表的長度有限，不能包含數(shù)據(jù)集中的所有單詞。然而，文檔中會含有不在詞表V中的單詞，這些單詞也有可能是文檔的關(guān)鍵詞。這種情況下，生成模型就不能預(yù)測出這個(gè)詞表外的關(guān)鍵詞。復(fù)制機(jī)制可以應(yīng)對這個(gè)問題。復(fù)制機(jī)制和注意力機(jī)制的處理相似，它度量源文本中每一個(gè)單詞在t時(shí)刻成為關(guān)鍵詞的概率，無論這個(gè)詞是否存在于詞表V中。

與式(7)的處理一樣，復(fù)制機(jī)制計(jì)算出衡量源文本單詞重要性的向量Ct。最后通過映射的方式得到復(fù)制概率pc，也就是在預(yù)測關(guān)鍵詞的時(shí)候，直接從源文本復(fù)制這個(gè)單詞的概率

pc(yt|y

(10)

復(fù)制概率pc分布在源文本中的所有單詞上，這些單詞既有詞表V中的單詞，也可能含有不在詞表V中的單詞。最終，整個(gè)模型在t時(shí)刻的預(yù)測概率由生成概率pg與復(fù)制概率pc相加得到。相加后計(jì)算出詞表V和源文本的所有單詞成為關(guān)鍵詞的概率

p(yt|y

(11)

2.5 多任務(wù)聯(lián)合訓(xùn)練損失函數(shù)

在模型訓(xùn)練的過程中，以關(guān)鍵詞生成為主要的任務(wù)，題目生成為輔助任務(wù)。兩個(gè)任務(wù)在訓(xùn)練的過程中的損失(目標(biāo))函數(shù)可以分別表示為

(12)

(13)

只把兩個(gè)任務(wù)的損失相加作為模型的損失(目標(biāo))函數(shù)，不能將多任務(wù)模型的優(yōu)點(diǎn)發(fā)揮到最大。尤其是本文希望模型在預(yù)測關(guān)鍵詞的時(shí)候更加關(guān)注文檔題目中的單詞，因?yàn)檫@些單詞更有可能成為關(guān)鍵詞。所以本文采用一致性學(xué)習(xí)(agreement-based learning)[15]的方法。模型中的兩個(gè)解碼器對輸入文本有著不同的注意力分布AK和AT，表示解碼時(shí)對源文本不同位置的關(guān)注。本文在模型中添加額外的損失函數(shù)對這個(gè)兩個(gè)注意力分布進(jìn)行約束，使兩個(gè)解碼器在處理重要單詞時(shí)具有一致性。由于文檔的關(guān)鍵詞和題目的長度不一樣，在計(jì)算損失之前需要對齊，如式(14)所示

(14)

圖2 對齊聯(lián)合訓(xùn)練一致性損失

(15)

最后，聯(lián)合訓(xùn)練的多任務(wù)模型的損失函數(shù)如式(16)所示，其中包含3個(gè)超參數(shù)λ1、λ2和λ3

Ltotal=λ1L1+λ2L2+λ3Lagree

(16)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文采用了Meng等[2]從各種在線庫中收集的大約57萬條數(shù)據(jù)集樣本，選取其中約53萬條數(shù)據(jù)作為模型的訓(xùn)練集，兩萬條數(shù)據(jù)作為驗(yàn)證集，兩萬條數(shù)據(jù)作為測試集，也就是KP20K。除此之外還在4個(gè)被廣泛使用的科學(xué)領(lǐng)域文檔數(shù)據(jù)集：Inspec、Krapivin、NUS和SemEval，一個(gè)新聞領(lǐng)域文檔測試集DUC上進(jìn)行了測試。

3.2 對比實(shí)驗(yàn)

根據(jù)關(guān)鍵詞預(yù)測任務(wù)的分類，選取了其中具有代表性的模型方法作為對比實(shí)驗(yàn)。在文內(nèi)關(guān)鍵詞預(yù)測的對比實(shí)驗(yàn)中包含了兩個(gè)無監(jiān)督的提取方法：TF-IDF方法和SingleRank方法[2]，兩個(gè)有監(jiān)督的提取方法：Maui和Kea[2]，兩個(gè)有監(jiān)督的序列到序列生成模型：CopyRNN模型和Vanilla-MT[3]模型。在缺失關(guān)鍵詞預(yù)測和其它領(lǐng)域文檔數(shù)據(jù)集的關(guān)鍵詞預(yù)測中，采用CopyRNN作為對比實(shí)驗(yàn)。

3.3 實(shí)驗(yàn)配置

模型訓(xùn)練時(shí)，采用一對一模式，輸入文檔，模型將輸出一個(gè)關(guān)鍵詞短語。為了滿足模型訓(xùn)練的條件在數(shù)據(jù)預(yù)處理時(shí)，將KP20K數(shù)據(jù)集中<文本，多關(guān)鍵詞短語，題目>的一對多格式數(shù)據(jù)轉(zhuǎn)變成<文本，單個(gè)關(guān)鍵詞短語，題目>的一對一格式。將文本當(dāng)中所有的數(shù)字用表示，不在數(shù)值上做區(qū)分，將所有的單詞小寫化。預(yù)處理之后有約270萬條<文本，單個(gè)關(guān)鍵詞，題目>數(shù)據(jù)。

在模型的超參數(shù)方面，經(jīng)過測試和調(diào)整，式(16)中的3個(gè)超參數(shù)λ1、λ2和λ3分別設(shè)置為0.7、0.3和0.3。采用維度為150的embedding，初始化在[-0.1,0.1]的隨機(jī)均勻分布中，所有的LSTM隱藏層向量的維度設(shè)置為512，其中包括一個(gè)雙向的LSTM編碼器和兩個(gè)單向的LSTM解碼器。選取訓(xùn)練集中出現(xiàn)頻率最高的50 000個(gè)單詞作為詞表V。樣本中出現(xiàn)的不在詞表里的詞作為OOV。每個(gè)樣本有自己獨(dú)立的OOV。在模型訓(xùn)練的過程中使用了導(dǎo)師驅(qū)動模式。模型使用Adam方法作為模型訓(xùn)練的優(yōu)化器，學(xué)習(xí)率為0.001。梯度裁剪為0.1，dropout為0.5。訓(xùn)練時(shí)的批處理的大小為96，因?yàn)槊恳黄恼掠卸鄠€(gè)關(guān)鍵詞，在每一次批處理的時(shí)候，選取的數(shù)據(jù)對的數(shù)量會小于等于96，一篇文章的關(guān)鍵詞不會在不同批次進(jìn)行訓(xùn)練。在預(yù)測關(guān)鍵詞時(shí)使用束搜索方法而不是貪心算法，beam size為200，最大預(yù)測長度為6。一旦在驗(yàn)證數(shù)據(jù)集上確定了收斂性(連續(xù)多次驗(yàn)證，評價(jià)指標(biāo)沒有提升)，模型將停止訓(xùn)練。

3.4 實(shí)驗(yàn)評價(jià)指標(biāo)

一般采用準(zhǔn)確率、召回率和F1值作為關(guān)鍵詞預(yù)測結(jié)果的評價(jià)指標(biāo)，為了能夠?qū)Ρ饶Ｐ偷男Ч覀円餐瑯硬捎昧诉@些指標(biāo)評價(jià)我們的模型

(17)

式中：#c表示預(yù)測正確的數(shù)量，#p表示用于評估的預(yù)測關(guān)鍵詞的數(shù)量，#l表示了作者標(biāo)注的關(guān)鍵詞的數(shù)量。和CopyRNN和Vanilla-MT模型一樣采用了top-N宏平均F1值來評價(jià)文內(nèi)關(guān)鍵詞預(yù)測，R值來評價(jià)缺失關(guān)鍵詞預(yù)測。例如，F(xiàn)1@5表示取預(yù)測結(jié)果的前5個(gè)關(guān)鍵詞短語作為模型的預(yù)測結(jié)果進(jìn)行F1值評價(jià)，R@50表示取預(yù)測結(jié)果的前50個(gè)關(guān)鍵詞短語作為模型預(yù)測結(jié)果進(jìn)行R值評價(jià)。

3.5 結(jié)果分析

3.5.1 文內(nèi)關(guān)鍵詞預(yù)測結(jié)果

文內(nèi)關(guān)鍵詞的預(yù)測結(jié)果見表2和表3，使用序列到序列模型CopyRNN，Vanilla-MT和Joint-MT模型在文內(nèi)關(guān)鍵詞預(yù)測評價(jià)指標(biāo)F1@5和F1@10上都比無監(jiān)督的關(guān)鍵詞提取方法TF-IDF和SingleRank和有監(jiān)督的關(guān)鍵詞提取方法Maui和KEA都有了明顯的提升。在CopyRNN，Vanilla-MT和Joint-MT模型每一輪訓(xùn)練結(jié)束后，都采用驗(yàn)證集對模型的關(guān)鍵詞預(yù)測效果進(jìn)行驗(yàn)證。結(jié)果如圖3所示，Joint-MT在訓(xùn)練的速度和最終的結(jié)果上都要優(yōu)于CopyRNN、Vanilla-MT模型。相對于單任務(wù)的模型，雙任務(wù)模型的預(yù)測效果更好。例如，在NUS數(shù)據(jù)集上，Vanilla-MT和Joint-MT模型的F1@5值達(dá)到35.2%和36.4%，都高于CopyRNN的34.2%。說明多任務(wù)模型共享編碼器的參數(shù)，提升模型的預(yù)測效果。對比于Vanilla-MT模型，Joint-MT模型在5個(gè)數(shù)據(jù)集上的表現(xiàn)都優(yōu)于Vanilla-MT，驗(yàn)證在損失函數(shù)的部分加上關(guān)鍵詞生成和題目生成任務(wù)之間的相互約束，能夠提升模型關(guān)鍵詞預(yù)測的結(jié)果，使模型能充分利用文本題目的信息。

表2 不同模型在5個(gè)數(shù)據(jù)集上的文內(nèi) 關(guān)鍵詞的F1@5預(yù)測結(jié)果

表3 不同模型在5個(gè)數(shù)據(jù)集上的文內(nèi) 關(guān)鍵詞的F1@10預(yù)測結(jié)果

圖3 模型訓(xùn)練過程中F1的值變化

3.5.2 缺失關(guān)鍵詞預(yù)測結(jié)果

關(guān)鍵詞生成方法與提取方法最大的區(qū)別就是生成的方法可以預(yù)測出缺失關(guān)鍵詞。所以和同樣是關(guān)鍵詞生成方法的CopyRNN進(jìn)行了對比。由于缺失預(yù)測的準(zhǔn)確率非常的低，所以選取了合適的召回率R@10和R@50作為對比實(shí)驗(yàn)的評價(jià)指標(biāo)。從表4可以看出，在5個(gè)數(shù)據(jù)集上Joint-MT的模型都比CopyRNN模型表現(xiàn)得好。例如，在Inspec數(shù)據(jù)集上，Joint-MT模型的R@50值達(dá)到11.8%，高于CopyRNN的10.1%。說明添加了聯(lián)合訓(xùn)練的題目生成的輔助任務(wù)能夠幫助模型更好理解文本深層語義信息。

表4 CopyRNN和Joint-MT模型在缺失 關(guān)鍵詞上的預(yù)測結(jié)果

3.5.3 其它領(lǐng)域的數(shù)據(jù)測試

Joint-MT模型在KP20K訓(xùn)練集上訓(xùn)練，然后在非科技論文測試集上對比這兩個(gè)模型的效果，非科技領(lǐng)域的數(shù)據(jù)使用了常用的一個(gè)新聞文章數(shù)據(jù)集DUC。DUC數(shù)據(jù)集中包含了308篇新聞文章和2488個(gè)人工標(biāo)注的關(guān)鍵詞。

從表5中可以看出，在F1@10的指標(biāo)中，相比于無監(jiān)督的IF-IDF和SingleRank方法，Joint-MT模型和CopyRNN模型都遠(yuǎn)低于它的27.0%。但是與同是經(jīng)過大量科技文章數(shù)據(jù)集訓(xùn)練過的CopyRNN的模型Joint-MT的預(yù)測結(jié)果從16.5%提升到了17.7%。說明Joint-MT即使應(yīng)用在交叉領(lǐng)域，相比于基礎(chǔ)模型可理解更多文本深層的語義。

表5 Joint-MT模型在DUC上的關(guān)鍵詞預(yù)測效果

3.5.4 超參數(shù)的影響

本文的雙任務(wù)聯(lián)合訓(xùn)練模型的損失函數(shù)中包含了3個(gè)超參數(shù)λ1、λ2和λ3。本文也對這3個(gè)超參數(shù)值的設(shè)定進(jìn)行了研究，通過實(shí)驗(yàn)調(diào)整得到最適合模型的超參數(shù)值。首先，在λ1與λ2的設(shè)定上，令λ1+λ2=1，不添加一致性損失的情況下(λ3=0)，λ1在[0.1,1]中每隔0.1選取一個(gè)值分別訓(xùn)練模型，λ1取0.7，λ2取0.3時(shí)模型取得最好的訓(xùn)練效果。在確定λ1與λ2之后，λ3在[0,1]之間每隔0.1選取一個(gè)值分別訓(xùn)練模型，λ3取0.1時(shí)模型取得最好的訓(xùn)練效果。調(diào)整λ3值之后，我們又重新對λ1與λ2的取值進(jìn)行了驗(yàn)證實(shí)驗(yàn)，結(jié)果如圖4所示。通過對比實(shí)驗(yàn)與驗(yàn)證實(shí)驗(yàn)，最終確定λ1、λ2和λ3的值。

圖4 λ1取值在5個(gè)數(shù)據(jù)集上的驗(yàn)證實(shí)驗(yàn)結(jié)果

4 結(jié)束語

為了利用文檔標(biāo)題和關(guān)鍵詞之間的密切關(guān)系，提升序列到序列模型的關(guān)鍵詞短語的預(yù)測表現(xiàn)，本文提出了雙任務(wù)損失聯(lián)合訓(xùn)練的序列到序列關(guān)鍵詞短語生成模型Joint-MT。在雙任務(wù)模型訓(xùn)練的過程中添加一致性約束來加強(qiáng)兩個(gè)任務(wù)之間的相互聯(lián)系，既提升了文內(nèi)關(guān)鍵詞預(yù)測的效果，又提升了缺失關(guān)鍵詞預(yù)測的效果。在未來的工作中，希望結(jié)合Transformer[1]方法，讓模型能更好地融合文本的深層語義，進(jìn)一步提升缺失關(guān)鍵詞的預(yù)測效果。