基于多源信息融合的分布式詞表示學習

(2)語義文本預(yù)處理(a)刪除HTML等標記； (b)刪除英文停用詞； (c)得到每個si的語義文本，記為ST文件。

2.5 算法復(fù)雜度分析

本文訓練詞向量的目標函數(shù)為式(13)，該目標公式來自于誘導(dǎo)矩陣補全算法。誘導(dǎo)矩陣補全算法通過兩個輔助矩陣X∈d1×m和Y∈d2×n分解目標矩陣M∈m×n，分解后得到矩陣W∈k×d1和矩陣H∈k×d2中，本文使用WTH作為每個詞語的表示特征矩陣。因此，本文的模型訓練復(fù)雜度主要來自于誘導(dǎo)矩陣補全過程，該過程的算法復(fù)雜度為O((nnz(M)+md2+mk)k)，nnz(M)表示M中非零元素的個數(shù)。

3 實驗與分析

3.1 相似度詞典預(yù)處理

在文獻[12]中使用了6個詞相似度數(shù)據(jù)集評測提出算法的性能，本文同樣使用文獻[12]中所采用的6個數(shù)據(jù)集，并和文獻[12]提出的算法做對比，其中，WordSim353在多篇文獻中被作為評測數(shù)據(jù)集[38-41]。WordSim353通常被拆分為WordSim Similarity和WordSim Relatedness兩個評測數(shù)據(jù)集。另外，本文刪除了相似度詞典中的名詞所有格詞語和不能在網(wǎng)絡(luò)資源中查詢到解釋或描述文本的詞語，總共刪除詞語118個，最終在相似度詞典中有剩余詞語5 987個。評測數(shù)據(jù)集的具體信息如表1所示。

本文通過訓練5 987個詞語的表示向量，驗證基于誘導(dǎo)矩陣補全的詞語表示學習的可行性。本文算法首先在小規(guī)模的語料數(shù)據(jù)和詞典知識上進行學習。而超大規(guī)模的矩陣分解一般是采用迭代和Map-Reduce[43]等分布式計算框架。另外，基于消息傳遞接口(Message-Passing-Interface, MPI)[44]可實現(xiàn)進程級別的矩陣分解并行算法。這些計算框架為大規(guī)模語料數(shù)據(jù)的表示學習提供了可能。

表1 詞相似度評測數(shù)據(jù)集

3.2 實驗設(shè)置

為了研究不同的融合方式對詞表示的性能影響，本文提出了7類信息集成方法:

MSWE@CFM_SFM使用SVD將SFM特征矩陣降維為100，并作為IMC算法中的矩陣Y。CFM特征矩陣不降維且作為IMC算法中的矩陣M。IMC算法中的矩陣X設(shè)置為單位矩陣E。

MSWE@SAM_CFM_SFM使用SVD將SFM特征矩陣降維為100，作為IMC算法中的矩陣Y。CFM特征矩陣不降維且作為IMC算法中的矩陣M。SAM矩陣設(shè)置為IMC算法中的矩陣X。

MSWE@sam_CFM_SFM使用SVD將SFM特征矩陣降維為100，作為IMC算法中的矩陣Y。CFM特征矩陣不降維且作為IMC算法中的矩陣M。將SAM特征矩陣中的-1修改為0，且作為IMC算法中的矩陣X。

MSWE@CFM_sam_SFM使用SVD將SFM特征矩陣降維為100，作為IMC算法中的矩陣Y。CFM特征矩陣中設(shè)置同義詞為1，反義詞為0,其余元素值保持不變，變換后的CFM特征矩陣作為IMC算法中的矩陣M。IMC算法中的矩陣X設(shè)置為單位矩陣E。

MSWE@CFM_SAM使用SVD將SAM特征矩陣降維為100，且作為IMC算法中的矩陣Y。IMC算法中的矩陣X設(shè)置為單位矩陣E。

MSWE@CFM_SAM+SFM使用SVD將SFM特征矩陣降維為100，使用SVD將SAM特征矩陣降維為100，兩個降維后的矩陣簡單拼接后作為IMC算法中的矩陣Y。IMC算法中的矩陣X設(shè)置為單位矩陣E。

MSWE@CFM_SAM+CFM_SFM使用SVD將SFM特征矩陣降維為100，使用SVD將SAM特征矩陣降維為100，并分別使用IMC算法得到各自的詞語表示，之后將兩者的詞語表示進行線性拼接。

以上算法是本文算法的7類數(shù)據(jù)融入嘗試，MSWE@CFM_SFM和MSWE@CFM_SAM對比分析了將屬性語義特征和同義詞與反義詞特征設(shè)置為IMC算法中的矩陣Y后對詞語表示的影響，矩陣X設(shè)置為單位矩陣。MSWE@SAM_CFM_SFM和MSWE@sam_CFM_SFM對比分析了將同義詞與反義詞特征矩陣中的反義詞設(shè)置為0或-1時對詞語表示的影響。另外，MSWE@CFM_SAM+SFM和MSWE@CFM_SAM+CFM_SFM對比分析了先融合后分解與先分解后融合策略對詞語表示的影響。為了驗證本文提出的融合算法的性能，本文又引入了5類基于神經(jīng)網(wǎng)絡(luò)的詞表示學習算法進行性能對比測試。例如，CBOW和Skip-Gram是Word2Vec[9-10]提出的兩種語言訓練模型，基于負采樣優(yōu)化的Skip-Gram簡稱為SGNS。DEPS是文獻[12]所提出的算法，Glove是文獻[42]所提出的方法，Huang是文獻[13]所提出的算法。為了驗證本文算法中引入的CFM、SFM和SAM是否有效，本文分別測試了它們在詞相似度評測數(shù)據(jù)集上的表現(xiàn)，評測方法為保留原始維度長度和使用SVD降維到100維度時的性能。本實驗中的設(shè)置為: 窗口大小為5，向量長度為100，λ為0.1。在構(gòu)建SFM矩陣時，僅保留了詞頻大于等于2的詞語。本文算法與其他各對比算法均在2.2節(jié)中處理所得的3 770 834條文本上進行實驗。對比算法所采用的語料中不包含同義詞與反義詞信息以及解釋文本等。

3.3 實驗結(jié)果討論

本節(jié)詳細列出了每類算法在6類評測數(shù)據(jù)集上的性能表現(xiàn)，進而分析本文提出的算法為何能夠在詞語相似度評測中獲得較好的性能。本文使用余弦相似度公式計算了兩個詞語之間的相似度值。本文同樣使用余弦相似度衡量評測數(shù)據(jù)集中的人工標注的結(jié)果與本實驗提供的相似度值之間的相關(guān)性，即人工標注的相似度值與計算所得的相似度值之間的余弦相似度值作為衡量算法優(yōu)劣的評價指標。具體結(jié)果如表2所示。

表2 詞表示學習算法性能對比分析

從表2可以看出，本文提出的多源數(shù)據(jù)融合的詞表示學習算法中，有5類數(shù)據(jù)融合方式均能在6類詞相似度評測數(shù)據(jù)集上獲得優(yōu)異的性能。尤其是在Rare Words和M Turk上性能的提升是最明顯的。本文在之前內(nèi)容中已經(jīng)闡述過，SAM、CFM和SFM的性能直接影響特征融合的后詞表示的性能。從表2中可以發(fā)現(xiàn)，SGNS和CBOW的性能基本一致。CFM為本文通過2.2節(jié)中的步驟構(gòu)建出來的特征矩陣，由于CFM是SGNS隱式分解的目標矩陣，因此，SGNS和CFM在理論上是性能一致的。但是結(jié)果顯示，CFM(未使用SVD分解)的性能略優(yōu)于SGNS，尤其在Rare Words數(shù)據(jù)集上優(yōu)勢更明顯，這說明基于構(gòu)建矩陣的方法能夠過濾掉一些噪聲詞匯。另外，本文構(gòu)建的SFM特征矩陣的性能劣于SGNS，也劣于CFM(SVD)。CFM(SVD)和SFM(SVD)拼接后性能提升不明顯，其性能稍優(yōu)于CFM(SVD)的詞表示性能，高于SFM(SVD)的詞表示性能，這表明簡單的向量拼接在一定范圍內(nèi)能帶來性能上的提升。采用了基于誘導(dǎo)矩陣補全的數(shù)據(jù)特征融合算法后，MSWE@SAM_CFM_SFM和MSWE@sam_CFM_SFM的性能劣于SGNS，而其余5類特征融合方式卻獲得了優(yōu)異的性能表現(xiàn)，這表明基于誘導(dǎo)補全的數(shù)據(jù)特征融合方式比簡單的特征拼接更有效果。另外，基于該實驗結(jié)構(gòu)還發(fā)現(xiàn)，本文構(gòu)建的同義詞與反義詞特征矩陣SAM，如果將其直接作為IMC算法中的矩陣X，不論是否將反義詞之間的元素值設(shè)置為0或-1，均將獲得較差的性能。但是如果將SAM特征矩陣降維后作為IMC中的矩陣Y，其性能較CFM與CFM(SVD)均獲得了較大的提升。上下文特征矩陣CFM與屬性語義特征矩陣SFM聯(lián)合分解，不論是否將CFM中的同義詞設(shè)置為1且反義詞設(shè)置為0，其對結(jié)果的影響較小。另外，將CFM同SFM和SAM的其中之一聯(lián)合分解，其性能均優(yōu)于CFM，這說明將屬性文本和同義詞與反義詞融入詞表示得到的性能優(yōu)于僅考慮上下文結(jié)構(gòu)的詞表示。MSWE@CFM_SAM+SFM和MSWE@CFM_SAM+CFM_SFM的實驗結(jié)果表明，將SAM和SFM先使用IMC分解后線性拼接的性能優(yōu)于將其先線性拼接后使用IMC分解。

綜上分析，本文可得出如下結(jié)論:

(1) 將不同源的特征降維后，采用簡單的拼接并不能得到詞表示性能的較大提升。

(2) 比起拼接的策略融合多源數(shù)據(jù)特征，本文引入的誘導(dǎo)矩陣補全算法能夠從融合的多源特征中學習到重要的數(shù)據(jù)特征，使得最終學習得到的詞表示性能得到極大的提升。

(3) 如果方法得當，通過構(gòu)建語言模型的SPPMI矩陣，其獲得的詞表示性能能夠達到與基于神經(jīng)網(wǎng)絡(luò)的詞表示等同或更優(yōu)的性能。

(4) 在引入多源特征時，使用SVD降維后的特征比使用原始的特征更有效。例如，本文中使用的同義詞與反義詞特征矩陣SAM。

(5) 融合多源的數(shù)據(jù)特征構(gòu)建出來的詞表示的性能優(yōu)于使用單一特征構(gòu)建的詞表示性能，因此，在詞表示學習算法中，基于誘導(dǎo)矩陣補全的多視圖集成學習是一種行之有效的方法。

3.4 參數(shù)分析

在構(gòu)建詞語的屬性語義特征SFM時，并不是所有的詞語都參與構(gòu)建矩陣的過程，本文按照詞頻過濾掉了一些詞頻小于閾值的詞匯。表3是爬取的屬性語義文本中詞頻大于或者等于閾值的詞語個數(shù)。

表3 屬性特征文本中詞語數(shù)量統(tǒng)計

如表3所示，語義文本中共有詞語45 927個，詞頻大于或者等于2的詞語在語義文本中共有22 744個，隨著閾值的變大，參與構(gòu)建矩陣的詞語數(shù)量就越少。本文設(shè)置的詞頻過濾閾值為2、4、6、8、10、15、20。那么，通過不同閾值構(gòu)建的SFM矩陣對詞表示的性能影響又是如何呢？其分析結(jié)果如圖1所示。

圖1 詞頻過濾對SFM特征矩陣的性能影響

從圖1可以看出，在6個詞語相似度數(shù)據(jù)集上，設(shè)置詞語表示長度為100，隨著詞頻閾值設(shè)置越大，過濾掉的詞匯就越多，在這種條件下構(gòu)建出來的SFM特征矩陣在詞語相似度任務(wù)上表現(xiàn)出來的性能就越差。當設(shè)置詞頻過濾閾值為2時，參與構(gòu)建SFM特征矩陣的詞語就越多，因此，得到的SFM特征矩陣的詞表示性能就越好。

CFM(SPPMI)特征矩陣為SGNS的矩陣分解目標矩陣，因此，CFM(SPPMI)矩陣采用SVD降維后得到的詞表示與SGNS算法獲得的詞表示是同種性質(zhì)的，即同一種算法采用不同的方式實現(xiàn)而獲得的詞表示。SGNS是采用淺層的三層神經(jīng)網(wǎng)絡(luò)搭建的模型，采用隨機負采樣算法優(yōu)化加速模型的擬合。CFM矩陣來源于SGNS的分解形式，因此為了保持形式一致，CFM(SPPMI)也保留了負采樣值k的設(shè)置[式(8)]。此時的k可以被認為是負采樣值的大小，也可以被認為是CFM(SPPMI)與SGNS之間的偏移量。圖2展示了不同k值對CFM特征矩陣的詞表示性能影響，k的取值為1、3、5、7、15、30。

圖2 負采樣k對CFM(SPPMI)特征矩陣的性能影響

從圖2可知，在Rare Words評測數(shù)據(jù)集上，設(shè)置詞語表示長度為100，隨著k值的不斷變大，CFM(SPPMI)的詞表示性能得到逐漸的提升。在其余5個詞相似度評測數(shù)據(jù)集上，CFM(SPPMI)的性能提升得非常緩慢，總體來講，當負采樣為30時，CFM的性能肯定是優(yōu)于負采樣取值為1的情形。這種增長緩慢的原因是，隨著負采樣值取的增大，引入的噪聲數(shù)據(jù)也越大，即使用的負樣本也越多(不存在上下文關(guān)系的詞語)。

從表2中可以發(fā)現(xiàn)，MSWE@CFM_SFM、MSWE@CFM_sam_SFM、MSWE@CFM_SAM和MSWE@CFM_SAM+CFM_SFM等的多源信息融合方式是行之有效的，且其性能在詞語表示學習的相似度評測任務(wù)中均優(yōu)于單一的結(jié)構(gòu)特征模型，例如，SGNS、CBOW、Huang、Glove和DEPS等模型。但是上述實驗是在詞表示向量長度為100，且IMC算法中λ為0.1的設(shè)置下所得到的數(shù)據(jù)結(jié)果。因此，表4～表7中詳細分析了詞表示向量長度和式(13)中的λ在Rare Words評測集上對詞表示性能的影響。的取值為30、50、100、150和200，λ的取值為10-1、10-2、10-3、10-4和10-5。

表4 MSWE@CFM_SFM的λ與影響分析

表4 MSWE@CFM_SFM的λ與影響分析

?λ10-510-410-310-210-1300.89560.89580.89570.89570.8961500.88030.88030.88040.88030.88031000.86150.86130.86120.86130.86131500.83450.83450.83470.83470.83492000.82650.82670.82660.82650.8266

表5 MSWE@CFM_sam_SFM的λ與影響分

表5 MSWE@CFM_sam_SFM的λ與影響分

?λ10-510-410-310-210-1300.89840.89840.89840.89840.8987500.88330.88330.88330.88330.88341000.85350.85350.85350.85350.85361500.83760.83760.83760.83760.83792000.82940.82940.82940.82940.8300

表6 MSWE@CFM_SAM的λ與影響分析

表6 MSWE@CFM_SAM的λ與影響分析

?λ10-510-410-310-210-1300.87120.87160.87110.87170.8716500.83910.83930.83900.83920.83921000.82150.82160.82160.82150.82191500.81310.81340.81310.81300.81392000.81340.81350.81340.81450.8138

表7 MSWE@CFM_SAM+CFM_SFM的λ與影響分析

表7 MSWE@CFM_SAM+CFM_SFM的λ與影響分析

?λ10-510-410-310-210-1300.91050.91020.91020.91040.9107500.90090.90090.90090.90100.90161000.88020.88030.88010.88020.88031500.86480.86480.86480.86480.86502000.85020.85020.85010.85040.8504

在基于神經(jīng)網(wǎng)絡(luò)的詞表示學習中，如果詞向量的維數(shù)設(shè)置過大，會導(dǎo)致模型訓練時間較長，但是向量中包含的特征信息較多。如果詞向量的維數(shù)設(shè)置過小，雖然模型訓練時間較短，但是詞向量中包含的特征信息就較少。只有取得合適的詞向量維度值，才能在詞相似度和文本分類等評測任務(wù)中發(fā)揮出更好的性能。而在表4、表5和表6中，詞向量的維度設(shè)置得越小，則在詞相似度評測任務(wù)中表現(xiàn)出的性能越好。該結(jié)論和基于神經(jīng)網(wǎng)絡(luò)的詞表示學習中關(guān)于維度的認識較為不同。在基于神經(jīng)網(wǎng)絡(luò)的詞表示學習中，把當前詞語與其上下文詞語的結(jié)構(gòu)關(guān)系嵌入到固定長度的向量空間時，過大或過小的向量維度會引起特征的冗余或丟失。此外，在不同的語料上，相同的算法可能取得的最佳維度也不相同。本文算法的實質(zhì)是矩陣的聯(lián)合分解，以當前詞語與上下文詞語構(gòu)成的CFM特征矩陣為待分解目標矩陣，以同義詞與反義詞特征矩陣SAM和屬性語義特征SFM作為輔助分解矩陣。在分解算法中，當較小的維度被選擇時，分解算法往往會保留關(guān)鍵特征，同時刪除冗余特征，此外，擴大了不同特征之間的差異性，以便于更好地為后續(xù)的應(yīng)用服務(wù)。當然，過小的維度也同樣會導(dǎo)致特征的嚴重丟失，導(dǎo)致在詞相似度評測中表現(xiàn)出較差的性能。對于分解算法的維度，主要依賴于數(shù)據(jù)之間的相關(guān)性，即數(shù)據(jù)之間的關(guān)聯(lián)性越強，則適合降維到更小的維度，如果數(shù)據(jù)之間的關(guān)聯(lián)性較弱，則適合降維到更大的維度。本文主要是研究如何分解CFM特征矩陣，而該矩陣中的每個值均是詞語之間的上下文關(guān)系。因此，降維的維度數(shù)越少，其詞表示學習性能越好。

3.5 詞表示可視化

詞表示學習旨在學習得到詞語的低維度向量表示。向量在高維空間中呈現(xiàn)出一條多維度的線，但是投影到二維的平面之后，呈現(xiàn)出點的效果。在該節(jié)實驗中，本文將隨機選取1 000個詞語的表示向量，然后將它們投影到二維的平面上，從這些點表現(xiàn)出來的形狀分析算法捕獲了何種性質(zhì)的詞語特征。降維算法使用t-SNE算法，具體結(jié)果如圖3所示。

圖3 詞表示向量可視化

從圖3可以看出，SGNS和CFM(SVD)所訓練得到的詞表示經(jīng)過降維可視化后呈現(xiàn)出較為凌亂的布局。Glove的可視化結(jié)果中表現(xiàn)出了兩個明顯的聚類現(xiàn)象。本文中所采用的MSWE@CFM_SFM、MSWE@CFM_sam_SFM、MSWE@CFM_SAM和MSWE@CFM_SAM+SFM的可視化結(jié)果為離散的線性分布趨勢。經(jīng)過分析可以發(fā)現(xiàn)，SGNS、Glove和CFM(SVD)三種算法僅僅考慮了詞語的上下文結(jié)構(gòu)關(guān)聯(lián)。假如某些詞語之間不存在上下文結(jié)構(gòu)關(guān)系，則訓練所得的詞表示在向量空間上具有較遠的距離，因此，投影到二維平面上就會呈現(xiàn)出離散的點布局。另外，本文基于詞語的屬性語義文本，可以從另外一個角度彌補因為詞語上下文結(jié)構(gòu)缺失導(dǎo)致的訓練不充分問題。

在圖3中(a)、(b)、(c)均為基于上下文結(jié)構(gòu)特征的詞表示學習算法獲得的詞向量可視化結(jié)果。從這三個可視化結(jié)果中可以發(fā)現(xiàn)，詞表示向量的可視化分布顯現(xiàn)出圓形的分布。因此，可以認為基于上下文結(jié)構(gòu)訓練所得的詞向量在向量空間中的分布是均勻的。而圖3中(d)、(e)、(f)、(g)為加入了同義詞與反義詞、屬于語義文本后詞向量的可視化結(jié)果，且呈現(xiàn)出離散的線性的分布。如果兩個詞語不互相出現(xiàn)于對方的上下文中，則基于結(jié)構(gòu)訓練所得的詞表示的可視化中這兩個詞語的分布處于較遠的距離較遠。而如果這兩個詞語為同義詞或具有相似的屬性語義文本，則本文提出的MSWE算法能夠使得這兩個詞語在向量空間中具有更近的空間距離。因此，同義詞與屬性語義文本猶如兩種不同性質(zhì)的力，使得這些離散而凌亂的點更加靠近。

4 總結(jié)

本文提出了一種基于多源信息融合的詞表示學習算法(MSWE)。該算法從基于神經(jīng)網(wǎng)絡(luò)的詞表示學習中獲得靈感，引入了SGNS的矩陣分解形式矩陣(SPPMI矩陣)。研究了SPPMI矩陣和SGNS之間的關(guān)系，并探討了如何構(gòu)建SPPMI矩陣才能使其性能與基于神經(jīng)網(wǎng)絡(luò)的SGNS性能達到一致水平或更優(yōu)。為了獲得更加優(yōu)異的詞表示學習性能，本文引入了多視圖集成學習的思想。該思想使用了多源的詞特征組合優(yōu)化學習，進而提升詞表示學習的性能。本文引入了詞的同義詞和反義詞數(shù)據(jù)、詞語的語義文本數(shù)據(jù)來優(yōu)化詞向量學習模型，即優(yōu)化本文提出的基于神經(jīng)網(wǎng)絡(luò)的詞表示學習存在的3個不足。為了更好地從多源數(shù)據(jù)中學習到有價值的數(shù)據(jù)特征，本文引入了誘導(dǎo)矩陣補全算法。實驗結(jié)果表明，誘導(dǎo)矩陣補全算法能夠顯著地提升詞表示學習的性能，其性能優(yōu)于簡單地將多源特征進行拼接的方法。MSWE的性能在Rare Words和M.Turk詞語相似度評測數(shù)據(jù)集上提升是最明顯的，在其余4個詞語相似度評測數(shù)據(jù)集上也均有明顯的性能提升。本文在隨后的實驗章節(jié)，又著重分析了MSWE算法的參數(shù)影響，得到了一些有價值的參數(shù)組合，例如，MSWE在向量長度為30時的詞表示性能優(yōu)于長度為100的詞表示。尤其是在可視化小節(jié)中發(fā)現(xiàn)，MSWE算法訓練得到的詞表示在二維平面上呈現(xiàn)出離散的線性分布趨勢。該發(fā)現(xiàn)證明本文提出的MSWE算法使得更相關(guān)的詞語在向量空間上具有更近的空間距離，而非相關(guān)詞語在向量空間上具有更遠的空間距離，其實質(zhì)也是對SGNS的一種向量優(yōu)化。