基于語(yǔ)義相似度改進(jìn)的少樣本終身主題模型

曾 琪，買(mǎi)日旦·吾守爾，古蘭拜爾·吐?tīng)柡?，雷恒林，?松

(新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046)

0 引言

社會(huì)經(jīng)濟(jì)及互聯(lián)網(wǎng)技術(shù)的快速發(fā)展使得購(gòu)物網(wǎng)站、社交平臺(tái)、短視頻及各大論壇上的用戶評(píng)論、分享等數(shù)據(jù)量迅速增長(zhǎng)，信息量多且分布不均.傳統(tǒng)的機(jī)器學(xué)習(xí)主題模型可以從廣泛的文本信息中獲取到有效信息，但通常情況下信息量獲取有限，因此通過(guò)積累知識(shí)幫助樣本數(shù)量少的領(lǐng)域進(jìn)行學(xué)習(xí)(Few-shot Learning)有重要研究?jī)r(jià)值.[1-4]

受到人類學(xué)習(xí)過(guò)程的啟發(fā)，終身機(jī)器學(xué)習(xí)LML(Lifelong MachineLearning，LML)是一種能夠在順序?qū)W習(xí)一系列任務(wù)時(shí)，將過(guò)去學(xué)到的知識(shí)積累下來(lái)指導(dǎo)下一個(gè)新任務(wù)的機(jī)器學(xué)習(xí)范式[5].LML之所以適用于少樣本主題建模，原因有以下3點(diǎn)：(1)在自然語(yǔ)言處理任務(wù)中，不同的任務(wù)之間會(huì)存在不少重疊的主題或知識(shí)；(2)過(guò)去學(xué)到的知識(shí)或主題可以在下個(gè)新任務(wù)到來(lái)時(shí)指導(dǎo)新任務(wù)的模型推理；(3)通過(guò)不斷學(xué)習(xí)積累，可在樣本量不足時(shí)結(jié)合過(guò)去學(xué)習(xí)到的知識(shí)提升少樣本主題模型的建模性能.

過(guò)去學(xué)習(xí)到的先驗(yàn)知識(shí)的正確性及適用性能夠?qū)K身主題模型的建模效果產(chǎn)生較大的影響.Chen等[6]認(rèn)為文檔中兩個(gè)單詞的共現(xiàn)次數(shù)越高，其權(quán)重越大，但并未考慮共現(xiàn)詞語(yǔ)之間的語(yǔ)義關(guān)系，因此主題一致性和可解釋性欠佳[7].Dat等[8]提出的LF-LDA(Latent Feature-LDA)在大規(guī)模語(yǔ)料庫(kù)上訓(xùn)練獲得的詞向量與LDA[9](Latent Dirichlet Allocation)模型結(jié)合改進(jìn)主題-詞映射，在主題一致性評(píng)估標(biāo)準(zhǔn)中取得了顯著的性能提升.Liu等[10]提出的評(píng)分預(yù)測(cè)聯(lián)合模型，引入終身主題模型的思想提升了模型性能.Chen等[11]首先提出終身主題模型LTM(Lifelong Topic Model)，可以自動(dòng)挖掘領(lǐng)域知識(shí)形成must-links(必須鏈接)，must-links指經(jīng)常同時(shí)出現(xiàn)在同一個(gè)主題下的兩個(gè)單詞，一般情況下這兩個(gè)詞語(yǔ)語(yǔ)義相關(guān)，將其作為先驗(yàn)知識(shí).模型中must-links的正確性問(wèn)題的解決方法是評(píng)估一個(gè)任務(wù)的must-links中的單詞是否存在語(yǔ)義相關(guān)性，如果存在較強(qiáng)的相關(guān)性，則認(rèn)為其對(duì)當(dāng)前領(lǐng)域來(lái)說(shuō)是正確的，可以用來(lái)提升模型，但根據(jù)詞頻確定的詞義相關(guān)性在一定程度上不夠準(zhǔn)確.因此，針對(duì)少樣本終身主題模型AMC[1](topic modeling with Automatically generated Must-links and Cannot-links)中以詞頻確定語(yǔ)義相關(guān)性存在詞語(yǔ)出現(xiàn)次數(shù)影響實(shí)驗(yàn)結(jié)果的問(wèn)題，本文提出了基于語(yǔ)義相似度改進(jìn)的終身主題模型SS-AMC(Semantic Similarity-topic modeling with Automatically generated Must-links and Cannot-links，SS-AMC)，在原來(lái)AMC模型的基礎(chǔ)上，引入BERT詞向量，獲取must-links詞對(duì)在空間上的語(yǔ)義特征向量，通過(guò)詞對(duì)的余弦相似度來(lái)表示其語(yǔ)義相似度，進(jìn)而設(shè)置相似度閾值來(lái)優(yōu)化同一領(lǐng)域下的must-links，達(dá)到優(yōu)化知識(shí)庫(kù)以最終提升生成主題質(zhì)量的目的.實(shí)驗(yàn)表明，基于語(yǔ)義相似度優(yōu)化的終身主題模型在中英文數(shù)據(jù)集上都能夠獲得更加連貫的主題.

1 終身主題模型

1.1 終身主題模型AMC

終身主題模型LTM是一種終身無(wú)監(jiān)督學(xué)習(xí)，最早由Chen等[11]提出，AMC是對(duì)LTM的一個(gè)優(yōu)化模型，更適用于少量數(shù)據(jù)的主題挖掘[1].

AMC模型包含基于知識(shí)的挖掘器、知識(shí)庫(kù)以及采樣器3個(gè)主要模塊.其中基于知識(shí)的挖掘器主要挖掘模型中的必須鏈接must-links和不能鏈接cannot-links(指通常不同時(shí)出現(xiàn)在同一個(gè)主題下的兩個(gè)詞語(yǔ))知識(shí)，用來(lái)指導(dǎo)未來(lái)任務(wù)的建模；知識(shí)庫(kù)用來(lái)存儲(chǔ)模型過(guò)去學(xué)到的知識(shí)；采樣器用來(lái)挖掘和優(yōu)化最終主題.當(dāng)一個(gè)由文檔集合表示的新任務(wù)(當(dāng)前任務(wù))到達(dá)時(shí)，終身主題模型將從知識(shí)庫(kù)中挖掘先驗(yàn)知識(shí)，以幫助當(dāng)前任務(wù)進(jìn)行模型推理.必須鏈接和不能鏈接作為其一種先驗(yàn)知識(shí)用來(lái)優(yōu)化最終的主題結(jié)果，完成當(dāng)前任務(wù)上的主題建模后，將得到的主題添加到知識(shí)庫(kù)，為未來(lái)的任務(wù)使用.

1.2 先驗(yàn)知識(shí)挖掘

終身主題模型的先驗(yàn)知識(shí)包括must-links、cannot-links及先前任務(wù)挖掘到的過(guò)去主題p-topic.mustLink挖掘器和cannotLink挖掘器分別用來(lái)挖掘must-linkwml和cannot-linkwcl.p-topic則在采樣環(huán)節(jié)通過(guò)采樣器產(chǎn)生，將產(chǎn)生的p-topic存儲(chǔ)在知識(shí)庫(kù)S中.wml通過(guò)Liu等[12]提出的MS-FIM(Multiple minimum Supports Frequent ItemsetMinging)頻繁項(xiàng)集挖掘算法得到.頻繁項(xiàng)集指的是多次在知識(shí)庫(kù)S的p-topic中出現(xiàn)的一組單詞，將長(zhǎng)度為2(兩個(gè)單詞)的頻繁項(xiàng)集作為must-links先驗(yàn)知識(shí).其基本思想是從全局項(xiàng)集Q中挖掘出滿足條件的一組詞項(xiàng).全局項(xiàng)集Q是知識(shí)庫(kù)S中所有p-topic的集合.MS-FIM滿足兩個(gè)條件：一是每個(gè)單詞都被賦予一個(gè)不固定的最小支持度(MIS)；二是項(xiàng)集中的詞項(xiàng)的MIS差值不能過(guò)大.另外，must-link知識(shí)有兩個(gè)必須考慮的問(wèn)題：(1)一詞多義導(dǎo)致的傳遞性問(wèn)題；(2)must-links知識(shí)的正確性及適用性問(wèn)題.針對(duì)第一個(gè)問(wèn)題，在AMC模型中通過(guò)構(gòu)建must-link圖來(lái)解決，以每個(gè)must-links為頂點(diǎn)，在包含兩個(gè)相同單詞的must-links之間形成一條邊，對(duì)于每條邊都有p-topic，其主題的重疊程度決定其是否具有相同的詞義.當(dāng)滿足

(1)

時(shí)，兩個(gè)must-links具有相同的語(yǔ)義.其中πp指的是不同語(yǔ)義的閾值.由于p-topic也可能存在錯(cuò)誤，因此小于閾值的邊并不考慮.針對(duì)第二個(gè)問(wèn)題，本文提出比AMC模型能得到更正確的must-link知識(shí)的SS-AMC模型.在AMC模型中，為了計(jì)算must-link之間的語(yǔ)義相關(guān)性，利用單詞相關(guān)性度量方法PMI[13](Pointwise Mutual Information，PMI)，定義為

(2)

式中：P(wx，wy)表示一個(gè)文檔中兩個(gè)詞同時(shí)出現(xiàn)的概率.上述概率計(jì)算也可以用在本文模型的評(píng)論文檔數(shù)據(jù)中，P(w)表示一個(gè)文檔中單詞w出現(xiàn)的概率，P(w)和P(wx，wy)的公式為：

(3)

(4)

式中：DN+1為當(dāng)前任務(wù)的評(píng)論文檔，#DN+1(w)為DN+1中包含單詞w的文檔數(shù)量，#DN+1(wx，wy)為同時(shí)包含單詞wx和wy的文檔數(shù)量，#DN+1為DN+1中所有的文檔數(shù)量.

通常情況下，一個(gè)單詞w的cannot-linkwcl比must-linkwml要少，對(duì)于這兩種先驗(yàn)知識(shí)的挖掘方式也不同.兩個(gè)詞之間形成cannot-links，如果這兩個(gè)單詞wx和wy很少同時(shí)出現(xiàn)在S中的過(guò)去主題中，那么在很大程度上其語(yǔ)義不同，它們滿足以下2個(gè)條件：

(5)

ND>πD.

(6)

其中：知識(shí)庫(kù)S中的單詞wx和wy出現(xiàn)在不同p-topic的次數(shù)表示為ND，出現(xiàn)在同一個(gè)p-topic的次數(shù)表示為NS，且ND應(yīng)該大于NS.對(duì)cannot-links中存在的語(yǔ)義相關(guān)及適用性問(wèn)題在采樣過(guò)程中做了檢測(cè)和平衡.

1.3 主題采樣分布

AMC模型中的Gibbs采樣器在主題生成環(huán)節(jié)主要有兩個(gè)任務(wù)：一是計(jì)算每個(gè)單詞w所屬主題k的概率；二是形成cannot-links.

將先驗(yàn)知識(shí)挖掘出來(lái)的must-links提取一個(gè)與主題k語(yǔ)義最相近的單詞w的must-linkmm，創(chuàng)建一組must-links集，這組must-links集和單詞w具有相同的語(yǔ)義.單詞w在主題k下出現(xiàn)的次數(shù)記為nk(n-k表示除了當(dāng)前分配k之外的次數(shù))，將主題k分配給單詞wm的概率為

(7)

其中：主題k分配給文檔d的次數(shù)記為nd；K和V分別代表主題數(shù)和詞匯數(shù)；α和β是Dirichlet超參數(shù).對(duì)于單詞w的每一個(gè)cannot-linkwcl，對(duì)其根據(jù)以下條件分布進(jìn)行采樣，形成cannot-link集

(8)

2 基于語(yǔ)義相似度改進(jìn)的終身主題模型SS-AMC

2.1 優(yōu)化must-links集合

詞嵌入(word embedding)作為一種語(yǔ)言模型和特征學(xué)習(xí)技術(shù)[14]，利用神經(jīng)網(wǎng)絡(luò)把文本映射到向量空間，能夠提取詞向量并獲取文本潛在的特征信息，進(jìn)而用到主題模型等自然語(yǔ)言處理任務(wù)來(lái)提升建模性能.BERT是基于雙向Transformer結(jié)構(gòu)的語(yǔ)言預(yù)訓(xùn)練模型[15]，可以在外部海量語(yǔ)料庫(kù)的基礎(chǔ)上為單詞學(xué)習(xí)一個(gè)好的特征表示，在后續(xù)特定的自然語(yǔ)言處理任務(wù)中直接用來(lái)作為某個(gè)任務(wù)的詞嵌入特征.鑒于BERT優(yōu)秀的模型性能且已被廣泛應(yīng)用，本文選擇其進(jìn)行提取特征輸出向量，通過(guò)詞向量計(jì)算語(yǔ)義相似度來(lái)準(zhǔn)確評(píng)估m(xù)ust-links之間的語(yǔ)義關(guān)系，實(shí)驗(yàn)證明優(yōu)選語(yǔ)義相似度更高的must-links集合能夠有效提升AMC模型.

對(duì)于終身主題模型來(lái)說(shuō)，假設(shè)must-links兩個(gè)詞語(yǔ)共現(xiàn)頻率較高表示兩個(gè)詞語(yǔ)具有一定的相關(guān)性，則認(rèn)為其對(duì)當(dāng)前任務(wù)來(lái)說(shuō)是正確的，但只是計(jì)算must-links一起出現(xiàn)的頻率，并沒(méi)有考慮其本身存在的語(yǔ)義關(guān)系.針對(duì)上述問(wèn)題，本文提出的SS-AMC引入BERT預(yù)訓(xùn)練模型輸出的詞向量計(jì)算must-links的語(yǔ)義相似度，從而選擇語(yǔ)義關(guān)系更為相似的must-links來(lái)作為先驗(yàn)知識(shí)，增強(qiáng)主題詞之間的內(nèi)部關(guān)聯(lián)，更好地對(duì)主題進(jìn)行采樣.詞向量之間的語(yǔ)義相似度采用余弦相似度方法計(jì)算，一對(duì)must-links的兩個(gè)詞的詞向量分別用cx和cy表示，則cx和cy之間的語(yǔ)義距離為

(9)

設(shè)置相似度閾值ω，取γ大于ω的must-links集合作為最終保留的先驗(yàn)知識(shí).

2.2 SS-AMC模型框架

SS-AMC主要框架如圖1所示，主要包括先驗(yàn)知識(shí)挖掘、相似度計(jì)算及主題采樣3個(gè)部分.對(duì)每個(gè)產(chǎn)品評(píng)論數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理之后進(jìn)入任務(wù)管理器，每個(gè)評(píng)論文檔被視為一個(gè)任務(wù)，依次輸入基于知識(shí)的挖掘器挖掘must-links和cannot-links知識(shí).對(duì)must-links詞對(duì)的語(yǔ)義關(guān)系用詞向量表示的語(yǔ)義相似度來(lái)度量，獲得具有較大語(yǔ)義關(guān)系的詞對(duì)輸入采樣過(guò)程和cannot-links輔助主題生成.

圖1 SS-AMC模型框架

SS-AMC整體算法如算法1描述.首先，從知識(shí)庫(kù)S的過(guò)去主題中挖掘出一組must-linksM；其次，優(yōu)化M，用BERT預(yù)訓(xùn)練語(yǔ)言模型產(chǎn)生每對(duì)must-links詞語(yǔ)的向量c，計(jì)算每對(duì)向量cx和cy的語(yǔ)義相似度，設(shè)置相似度閾值ω對(duì)must-links進(jìn)行篩選；然后，運(yùn)行Gibbs采樣器，只用must-links產(chǎn)生一組當(dāng)前任務(wù)主題AN+1，nl是采樣器的迭代次數(shù)；再根據(jù)S中的過(guò)去主題P和當(dāng)前主題AN+1挖掘cannot-links集合C，第8行用M和C優(yōu)化主題集合；最后更新主題庫(kù).

SS-AMC整體算法：

算法1：SS-AMC；

輸入：新任務(wù)文檔DN+1，知識(shí)庫(kù)S；

輸出：新任務(wù)的主題AN+1，(1)M←MustLinkMiner(S)，

(2)c←BERT(wml)，

(3)M←Simlarity(cx，cy，ω)，

(4)C=φ，

(5)AN+1←GibbsSample(DN+1，M，C，nl)，

(6)Forr=1 toR，

(7)C←C∪CannotLinkMiner(S，AN+1)，

(8)AN+1←GibbsSample(DN+1，R，C，n)，

(9)End for

(10)S←UpdateKB(AN+1，S).

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集

本文在公開(kāi)英文數(shù)據(jù)集和自建中文數(shù)據(jù)集上分別評(píng)估SS-AMC模型.英文數(shù)據(jù)集來(lái)自亞馬遜評(píng)論數(shù)據(jù)，共有50種產(chǎn)品的評(píng)論各1 000條.在中文方面由于沒(méi)有可參考的實(shí)驗(yàn)設(shè)置，本文在中文數(shù)據(jù)集上與英文設(shè)置保持一致，自建一個(gè)京東產(chǎn)品評(píng)論數(shù)據(jù)集.通過(guò)在中文和英文兩個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)驗(yàn)證，證明了SS-AMC模型具有較好的建模效果.

對(duì)以上數(shù)據(jù)集按照文獻(xiàn)[16]中的步驟進(jìn)行數(shù)據(jù)預(yù)處理操作.對(duì)中文數(shù)據(jù)集中的每個(gè)文檔用jieba工具進(jìn)行分詞，去除停用詞、標(biāo)點(diǎn)符號(hào)，刪除出現(xiàn)小于5次的單詞，以及只保留名詞和形容詞.由于商品名稱在數(shù)據(jù)集中出現(xiàn)非常頻繁，會(huì)對(duì)模型結(jié)果造成干擾，因此也會(huì)被剔除.從每個(gè)產(chǎn)品的1 000條評(píng)論數(shù)據(jù)中隨機(jī)抽取100條用作少量數(shù)據(jù)的評(píng)估數(shù)據(jù)集，以驗(yàn)證模型在少量樣本數(shù)據(jù)上的優(yōu)異表現(xiàn).

3.2 評(píng)價(jià)指標(biāo)

本文采用主題一致性(Topic Coherence)評(píng)分作為評(píng)估指標(biāo)[17]，其不依賴于外部語(yǔ)義信息，能減少外部信息對(duì)主題質(zhì)量評(píng)價(jià)的干擾，是一種方便有效的主題模型評(píng)估方法.主題一致性評(píng)分結(jié)果為負(fù)數(shù)，值越大代表生成的主題質(zhì)量更好.其基本原理是詞語(yǔ)在同一個(gè)文檔下出現(xiàn)次數(shù)越多，則理論上二者語(yǔ)義相似度越大.設(shè)Dw為單詞w出現(xiàn)的文檔數(shù)，D是單詞w和單詞w′共現(xiàn)的文檔數(shù)，則主題k的一致性評(píng)分公式定義為

(10)

3.3 參數(shù)設(shè)置

LDA[9]模型中的狄利克雷分布超參數(shù)α設(shè)置為1，β分別設(shè)置為0.1.LTM及AMC模型均按照原模型的參數(shù)進(jìn)行設(shè)置.對(duì)于SS-AMC模型最主要的參數(shù)是相似度閾值ω，由于ω過(guò)大會(huì)使生成的must-links太少，主題詞之間有較大的重復(fù)，過(guò)小會(huì)對(duì)must-links約束不夠，兩種設(shè)置均會(huì)對(duì)實(shí)驗(yàn)造成一定的影響.因此，實(shí)驗(yàn)中分別采用ω為0.5，0.6，0.7的不同閾值進(jìn)行對(duì)比.

3.4 實(shí)驗(yàn)結(jié)果與分析

由于本文主要是對(duì)少樣本數(shù)據(jù)集上的終身主題模型進(jìn)行改進(jìn)，每個(gè)測(cè)試集由從1 000條產(chǎn)品評(píng)論中隨機(jī)抽取的100條評(píng)論組成，從其余的49個(gè)產(chǎn)品的完整數(shù)據(jù)(1 000條評(píng)論)中生成的主題中提取知識(shí).對(duì)比實(shí)驗(yàn)主要選取有AMC、LDA.由于AMC模型已經(jīng)優(yōu)于許多相關(guān)模型，如MC-LDA[7]、GK-LDA[16]、DF-LDA[18]、LTM[11]，因此在實(shí)驗(yàn)中主要比較了SS-AMC與AMC，不同模型的主題一致性評(píng)分對(duì)比見(jiàn)圖2.AMC模型主要在少樣本上具有一定的優(yōu)勢(shì)，因此不與其他需要依賴大量數(shù)據(jù)的主題模型比較.

圖2 主題一致性評(píng)分

由圖2可以看出，在兩個(gè)數(shù)據(jù)集上，SS-AMC的平均主題一致性評(píng)分均較AMC有不同程度的提升.同時(shí)，京東評(píng)論數(shù)據(jù)集上主題一致性評(píng)分的提高也說(shuō)明了終身主題模型同樣適用于中文數(shù)據(jù).由此可見(jiàn)，SS-AMC模型在中英文數(shù)據(jù)集上都具有適用性，說(shuō)明利用詞向量計(jì)算語(yǔ)義相似度，優(yōu)化先驗(yàn)知識(shí)能夠?qū)K身主題模型產(chǎn)生積極影響，能夠生成更連貫的主題.

SS-AMC模型的關(guān)鍵參數(shù)相似度閾值ω不同會(huì)對(duì)實(shí)驗(yàn)結(jié)果造成一定的影響，本文評(píng)估模型的主題一致性評(píng)分見(jiàn)表1.

表1 不同閾值的主題一致性對(duì)比

SS-AMC模型通過(guò)設(shè)置must-links的相似度閾值來(lái)優(yōu)化初始的must-links，在閾值等于0.5，0.6，0.7時(shí)的結(jié)果最好.由于must-links集合本身存在較大的語(yǔ)義相關(guān)性，如果閾值設(shè)置過(guò)小，會(huì)對(duì)must-links包容性過(guò)強(qiáng)，無(wú)法起到約束作用，閾值設(shè)置過(guò)大，會(huì)使得must-links過(guò)少，主題詞重復(fù)性過(guò)高.

4 結(jié)論

本文模型利用在外部的大規(guī)模語(yǔ)料庫(kù)上已訓(xùn)練好的詞向量特征對(duì)must-links先驗(yàn)知識(shí)的生成過(guò)程加以改進(jìn).在真實(shí)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，與AMC、LDA模型的對(duì)比實(shí)驗(yàn)結(jié)果表明，該模型能利用BERT詞向量信息進(jìn)一步提高先驗(yàn)知識(shí)的正確性，挖掘出的主題語(yǔ)義相關(guān)性更大、主題質(zhì)量更高，并且在中文和英文數(shù)據(jù)集上都有提升，在英文數(shù)據(jù)集上提升較大.對(duì)于把詞向量引入到終身主題建模過(guò)程中，本文的工作仍較為初步，未來(lái)的研究工作將詞向量融入整個(gè)建模過(guò)程中，探索如何從初始的數(shù)據(jù)集上挖掘更深層次的語(yǔ)義信息，提升建模效果.