一種基于Hownet的詞向量表示方法

陳洋 羅智勇

1.北京語言大學(xué)信息科學(xué)學(xué)院, 北京 100083; 2.北京語言大學(xué)語言信息處理研究所, 北京 100083;? 通信作者, E-mail： luo_zy@blcu.edu.cn

近年來, 基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型在自然語言處理領(lǐng)域取得突破性進展, 而詞向量通常作為模型輸入的標準配置。詞向量的思想基于分布假說[1],其形式是一個稠密而連續(xù)的實數(shù)向量。目前訓(xùn)練詞向量最常用的方法有 Mikolov 等[2-3]提出的 word2vec以及 Pennington 等[4]提出的 Glove 等, 這些方法在大規(guī)模語料中通過目標詞和上下文詞語的共現(xiàn)訓(xùn)練而得到詞向量, 但這種純粹基于數(shù)據(jù)驅(qū)動進行訓(xùn)練來獲取詞向量的方法存在性能不穩(wěn)定[5]、低頻詞詞向量的質(zhì)量不高[6]等不足。如何將已有的人工知識庫結(jié)合到詞向量的訓(xùn)練中, 以便提升詞語向量的表示質(zhì)量, 成為值得關(guān)注的問題。

Hownet[7]等人工知識庫是基于離散符號表示,詞向量是連續(xù)而稠密的。本文提出一種以 Hownet義原向量為基礎(chǔ)的詞向量表示方法, 將離散形式的人工知識恰當?shù)剞D(zhuǎn)化為連續(xù)向量表示形式。Hownet 中義原定義為一個最基本的、不易再分割的意義最小的單位, 每個詞都可以由若干個義原來組合表示。假定目前Hownet中所有義原之間相互獨立且完備, 則每個詞語都可視為由其構(gòu)成的義原向量所張成的子空間內(nèi)的一個投影, 每個詞語的向量表示可以轉(zhuǎn)化為這個詞語管轄的所有義原向量的加權(quán)平均。通過這種方式, 我們就可以將義原這種離散符號形式表示轉(zhuǎn)換為連續(xù)而稠密的數(shù)學(xué)向量, 這種指定義原向量、通過計算得到詞向量的方法更符合語言學(xué)定義且高效, 不需要進行訓(xùn)練的初始詞向量就可以取得與現(xiàn)有訓(xùn)練方式的詞向量相當?shù)男Ч?。進一步在大規(guī)模語料中進行訓(xùn)練, 又可以學(xué)習(xí)到文本中特有的語言現(xiàn)象, 從而得到更好的詞向量表示。

本文從 3 個方面對詞向量進行評測, 首先選取 3 組高頻詞和 3 組低頻詞, 對比基于Hownet的詞向量表示和 word2vec 詞向量表示的最近鄰詞語。實驗結(jié)果表明, 基于Hownet的詞向量表示不僅在高頻詞方面與 word2vec 的效果可比, 而且在低頻詞方面更加穩(wěn)定。對詞相似度計算和中文詞義消歧等標準評測任務(wù)進行實驗, 并將實驗結(jié)果與同類研究進行比較, 發(fā)現(xiàn)本文方法可以得到更好的效果, 進一步表明對Hownet義原的使用方式、人工知識與詞向量表示的結(jié)合是切實有效的。

1 相關(guān)工作

1.1 詞向量表示

最初的詞向量表示為 One-hot 形式, 即每一個詞向量只有一個位置, 為 1, 其他均為 0, 且長度與詞表等長。這種表示方法存在兩個重大的缺陷： 1)語義鴻溝, 即無法通過向量之間的運算來表示語義上的相似度; 2)向量的維度往往與詞表長度成正比,所以維度往往很大, 對計算和存儲都是一種壓力和挑戰(zhàn)。

針對上述問題, Rumelhart 等[8]1988年提出將詞向量映射到一個低維稠密的語義空間, 每個詞向量是一個固定維數(shù)的浮點數(shù)向量。這種思想很好地彌補了 One-hot 表示中語義鴻溝和維度過大的缺陷。基于這種思想, 又出現(xiàn)諸多訓(xùn)練詞向量的模型, 最著名的是 Bengio 等[9]2003年提出的神經(jīng)網(wǎng)絡(luò)語言模型(NNLM)以及 Mikolov 等[2-3]2013年提出的兩種詞向量訓(xùn)練模型 CBOW 和 Skip-gram。這兩種模型都是基于分布假說, 即通過核心詞與上下文之間的關(guān)系進行建模。不同之處在于, NNLM 為 n-gram 模型, 將一個預(yù)設(shè)窗口內(nèi)詞語的詞向量拼接用來預(yù)測目標詞; CBOW 將窗口內(nèi)上下文的詞向量相加用于預(yù)測目標詞, Skip-gram 通過目標詞預(yù)測上下文。為了解決隨語料規(guī)模急速增長產(chǎn)生的訓(xùn)練效率低下問題, CBOW 和 Skip-gram 都簡化為一種詞袋模型(沒有將詞語間的順序考慮到建模中), 是更高效的詞向量訓(xùn)練方法。

目前, 詞向量表示逐漸成為基于深度學(xué)習(xí)的語言信息處理模型輸入的標準配置。

1.2 Hownet義原及相關(guān)研究

Hownet 是一個中文語義知識庫,Hownet體系中一個很重要的工作就是義原的歸納和總結(jié)。義原是一個最基本的、不易再分割的意義最小單位, 每個詞語都可以由一個或若干個義原來表示, 同一個詞的不同義項也由不同的義原組合來表示, 故一個詞的表示可以轉(zhuǎn)化為用若干個義原來表示。經(jīng)過多年發(fā)展,Hownet已經(jīng)非常完善和精煉, 我們采用的Hownet 版本中的義原僅為 2176 個, 能夠表示的總詞數(shù)為 118343 個, 義原總數(shù)僅占詞表中詞總數(shù)的1.8%, 如果能夠有效地使用這些義原, 性價比將會非?？捎^。

在引入Hownet義原的研究中, 如何更好地對義原進行表示是關(guān)鍵。唐共波等[10]將義原引入語言模型的訓(xùn)練中, 將大規(guī)模語料庫中的單義原詞語替換為其義原, 然后通過詞向量訓(xùn)練模型進行訓(xùn)練,得到義原向量表示, 但是只得到部分義原向量。孫茂松等[6]提出義項敏感模型, 利用這種方法得到Hownet 中全部義原的向量表示。具體做法是, 用CBOW 模型訓(xùn)練得到的詞向量, 根據(jù)Hownet義原標注得到義原向量, 對于語料中的低頻詞, 用其管轄的義原向量加和平均來表示。這種方法有效地改善了低頻詞詞向量訓(xùn)練不足的現(xiàn)象。Niu 等[11]提出 SE-WRL 模型, 在義項敏感模型的基礎(chǔ)上加入注意力機制, 通過上下文的向量表示, 自動選取當前詞的最可能義項, 然后對此義項的義原向量進行調(diào)整。以上研究都是通過Hownet 的義原標注, 借助大規(guī)模語料訓(xùn)練或根據(jù)訓(xùn)練得到的詞向量反過來得到義原向量表示, 是一種自上而下的思想。本文首先對義原向量進行建模, 然后通過義原向量表示得到詞向量表示, 處理策略是自下而上。

2 基于Hownet的詞向量表示方法

2.1Hownet義原向量指定

首先, 隨機初始化一個義原矩陣Msem：

指定(α1,...,αN)為N個義原對應(yīng)的義原向量, 每個義原向量為N-1 維, 故義原矩陣Msem是一個N×(N-1)的矩陣。我們假設(shè)Hownet中的義原相互獨立, 然后根據(jù)式(1)對Msem進行施密特正交化：

通過式(2)對(γ1,...,γN)進行單位化：

得到義原正交單位矩陣MsemOrth：

其中, (β1,...,βN)為N組標準正交單位基, 是基于義原獨立假設(shè)得到的新的義原向量表示。N個義原與N組標準正交單位基一一對應(yīng)。對N個義原建立“sem-id”索引, 對于每一個義原 sem, 可以得到對應(yīng)的義原 id, 然后通過 id 進行 look-up 操作, 得到與MsemOrth行號對應(yīng)的義原向量。至此, 完成 Hownet中義原向量的表示。

2.2 基于Hownet義原向量的詞向量表示

根據(jù)Hownet中每個詞語標注好的對應(yīng)義原,將每個詞語視為由對應(yīng)的義原向量在這個義原子空間的投影。詞語的詞向量表示可以由對應(yīng)的義原向量的加和平均來表示：

其中,βi為當前詞對應(yīng)的義原向量,l為當前詞對應(yīng)的義原的個數(shù),Wvector即為通過義原向量得到的詞向量表示。通過“指定+計算”方法得到的詞向量是高效的, 即使未訓(xùn)練, 其效果與 word2vec 也是可比的。在大規(guī)模語料上進行訓(xùn)練后, 可以使 Hownet義原標注中的語言學(xué)知識與文本中的語言學(xué)現(xiàn)象完美結(jié)合, 提高了詞向量表示的性能。詞向量訓(xùn)練模型如圖 1 所示。

為了更準確地表述我們的數(shù)據(jù)結(jié)構(gòu)和模型, 設(shè)詞表長度為V, 義原數(shù)量為N, 最終的詞向量維度為D, 上下文窗口大小為k。根據(jù)Hownet義原標注體系, 可以構(gòu)建詞-義原索引矩陣Mword-sem：

圖1 基于Hownet的詞向量表示模型架構(gòu)Fig.1 Word embedding representation model based on Hownet

對Mword-sem中的元素, 有如式(4)所示的約束：

其中,i∈[1,V],j∈[1,N],Mword-sem是V×N的矩陣。2.1 節(jié)得到的義原正交單位矩陣MsemOrth為N×(N-1)的矩陣, 對于句子中每個詞語wi, 可以通過對應(yīng)索引得到Mword-sem中的一行Xi=[xi,1...xi,j...xi,N], 再通過式(5)得到每個詞的向量化表示W(wǎng)vector：

Wvector是(N-1)維向量。根據(jù)實際需要, 將詞向量投影至指定維度D, 如式(6)所示：

Mproject是維度為(N-1)×D的投影矩陣。采用隨機初始化, 最終的Wembedding為D維的詞向量表示, 這樣即可得到目標詞上下文中所有詞的詞向量表示。然后通過式(7), 得到上下文向量表示W(wǎng)context：

其中,Wc為上下文的各個詞的詞向量表示,Wcontext是 1×D的矩陣。將Wcontext作為全連接層的輸入,通過 softmax 函數(shù)得到目標詞的預(yù)測wt。模型中只有投影矩陣Mproject參與訓(xùn)練。

通常, 詞向量訓(xùn)練模型的初始詞向量是隨機設(shè)定的, 沒有任何語言學(xué)知識的約束。我們的方法是通過Hownet中的義原標注體系, 經(jīng)過由語言學(xué)知識構(gòu)建的數(shù)學(xué)模型計算, 得到每個詞的詞向量, 所以初始詞向量具有語言學(xué)意義, 從而含義相近的詞語的詞向量也是相近的。通過這種方式, 我們將義原這種符號主義離散形式的知識轉(zhuǎn)化為連續(xù)而稠密的數(shù)學(xué)模型, 這種指定義原向量, 通過計算得到詞向量的方法效率較高, 不需要進行訓(xùn)練的初始詞向量, 也可以取得與現(xiàn)有詞向量可比的效果。經(jīng)過在大規(guī)模語料上訓(xùn)練后的詞向量則結(jié)合了語言學(xué)規(guī)則和上下文假設(shè)兩個方面的特點, 從而可以得到更好的詞向量。

3 實驗

3.1 基于Hownet的詞向量表示

3.1.1 詞向量訓(xùn)練數(shù)據(jù)集

本文詞向量訓(xùn)練所用數(shù)據(jù)集包括 1993—2003年共 11年的《人民日報》新聞?wù)Z料和搜狗實驗室①http：//www.sogou.com/labs/resource/ca.php提供的 2012年 6—7 月 18 個頻道的新聞?wù)Z料, 分詞后共約 3.5 G, 包括約 5.6億個詞。

3.1.2 詞向量訓(xùn)練模型配置

由于Hownet詞表中的詞是義原標注最準確的部分, 所以目前我們的詞向量模型詞表以 Hownet詞表為主體。首先根據(jù)Hownet詞表對語料進行分詞, 統(tǒng)計后發(fā)現(xiàn),Hownet詞表中詞的總頻次對總詞數(shù)的覆蓋度大約為 91%, 而Hownet詞表外的高頻詞總頻次大約占總詞頻的 7%。對于未登錄高頻詞的部分, 我們所用的分詞系統(tǒng)[12]會給這些詞一個類別標簽： 時間、日期、數(shù)字、序數(shù)詞、人名、地名、商標名、組織機構(gòu)名以及后綴類型名詞。我們將每個類別作為一個義原, 加入現(xiàn)有義原體系中, 屬于這 9 類的詞視為單義原的詞語。對于Hownet詞表外的低頻詞, 統(tǒng)一設(shè)定為“UNK”類別, 對應(yīng)一個“UNK”義原。這樣, 我們在未改變Hownet原架構(gòu)的基礎(chǔ)上做了適當?shù)恼{(diào)整, 從而可以更好地結(jié)合本文提出的詞向量表示模型。

詞向量模型的詞表大小為 118354, 其中包括Hownet 原詞表的 118343 個詞語、新增加的 9 個類別標簽、1 個“UNK”標識和 1 個“@ZERO”標識(用于神經(jīng)網(wǎng)絡(luò)模型的零向量填充)。采用的 Hownet版本的原始義原數(shù)量為 2176 個, 增加 9 個類別義原和 1 個“UNK”義原后, 新的義原總數(shù)共 2186 個。

模型的訓(xùn)練方式與 Skip-gram 模型相似, 指定窗口大小為 5, 即考慮目標詞左右各兩個詞的大小。義原正交單位矩陣大小為[2186, 2185], 經(jīng)過投影矩陣得到的詞向量維度為 300。模型實現(xiàn)平臺為Tensorflow1.2.1, 初始化學(xué)習(xí)率為 1.0, 優(yōu)化算法為AdagradOptimizer, 模型訓(xùn)練中的負采樣大小為64。

3.1.3 詞向量表示對比實驗

我們選取語料中 3 個高頻詞和 3 個低頻詞, 分別通過 word2vec 和基于Hownet的詞向量表示(HWRL)計算這些詞語的最近鄰詞, 結(jié)果如表 1 所示。從表1可以得到以下結(jié)論。

1)word2vec 的穩(wěn)定性不強。以“匡正”和“出丑”為例, 雖然 word2vec 可以在其最近鄰的詞中發(fā)現(xiàn)意思相近的詞, 但是如果增大其近鄰詞的范圍, 其近義程度降低。對比 H-WRL 在“匡正”這一詞的近鄰詞結(jié)果發(fā)現(xiàn), 得益于知識庫義原的約束, 即使增大近鄰詞的范圍, 其近鄰詞在語義上的似性也很強。

2)word2vec 的低頻詞表示質(zhì)量不高。根據(jù)齊夫定律, 語料中必存在一個龐大的低頻詞集合, 基于數(shù)據(jù)的訓(xùn)練方式, 使得 word2vec 對高頻詞的訓(xùn)練相對較多, 低頻詞出現(xiàn)次數(shù)少, 所以得到的訓(xùn)練較少,如果詞頻低到一定的程度, 質(zhì)量就難以保證。通過對比低頻詞“答理”(百萬詞頻僅為 0.00002)在 word2vec和 H-WRL 的近鄰詞, 可以發(fā)現(xiàn) word2vec 的近鄰詞結(jié)果是不好的。H-WRL 是基于Hownet義原的, 這些低頻詞不僅受文本中出現(xiàn)次數(shù)的影響, 還受到知識庫中已有規(guī)則的約束, 因此可以保證低頻詞的質(zhì)量。

表1 近鄰詞計算實驗結(jié)果Table 1 Nearest word computation result

3)word2vec 基于數(shù)據(jù)驅(qū)動訓(xùn)練方式得到的詞向量表示更側(cè)重于語義關(guān)聯(lián)性, 即當前詞和近鄰詞共同出現(xiàn)在一個上下文的情況, 這一現(xiàn)象對“圖片”這個詞來說最明顯。本文模型因為結(jié)合了Hownet中的語言學(xué)知識, 得到的近鄰詞更具有語義相似性,即近鄰詞和當前詞是同義詞。

3.2 任務(wù)一:詞相似度計算

詞相似度計算任務(wù)用于評價詞向量的質(zhì)量, 方法是根據(jù)詞向量計算給定詞對的相似度。

3.2.1 數(shù)據(jù)集

評價詞相似度采用 wordsim-297 標準數(shù)據(jù)集。此數(shù)據(jù)集每行的格式都是(w1,w2, score), 其中w1和w2為一對詞語, score 為人工評分, 評分區(qū)間是0～5。通過式(8)計算給定兩個詞語的相似度：

其中,d(Embeddingw1, Embeddingw2)為余弦相似度計算。然后, 將 Modelscore正規(guī)化到與數(shù)據(jù)集的人工評分區(qū)間相同, 計算 Modelscore與人工評分之間的Spearman 相關(guān)系數(shù)。

3.2.2 實驗結(jié)果

詞相似度計算的實驗結(jié)果如表 2 所示, 其中word2vec 是通過 Skip-gram 模型訓(xùn)練得到的詞向量,H-WRL 為基于Hownet義原的詞向量表示, H-WRLw2v 是將 H-WRL 詞向量和 word2vec 詞向量進行拼接得到的詞向量。我們將 word2vec 作為 baseline,與另外兩種模型進行比較。通過表2可以得到以下結(jié)論。

1)在 wordsim-297 數(shù)據(jù)集上, 我們的詞向量模型得到的詞向量在詞相似度計算任務(wù)上的結(jié)果好于word2vec, 說明我們的詞向量表示能夠更好地計算詞向量表示之間的語義關(guān)聯(lián)。

2)將基于Hownet的詞向量表示與 word2vec 的詞向量表示進行拼接, 可以提升詞向量的整體質(zhì)量,表明將人工知識與基于訓(xùn)練的詞向量進行結(jié)合是合理有效的。

表2 任務(wù)一詞相似度計算實驗結(jié)果Table 2 Experimental result of word similarity computation

3.3 任務(wù)二:詞義消歧

在這部分, 通過詞義消歧任務(wù), 對基于 Hownet的詞向量表示進行評測。

3.3.1 數(shù)據(jù)集

評測采用 Senseval-3 的 Task5-Chinese Lexical sample 數(shù)據(jù)集, 選取數(shù)據(jù)集中的“把握”、“材料”等6 組詞(共 198 個訓(xùn)練例和 96 個測試例)進行評測,這些詞的義項數(shù)從2到6不等。

3.3.2 實驗設(shè)置

我們主要對 3 種詞向量表示進行測評： word-2vec 詞向量、本文提出的基于Hownet義原詞向量表示(H-WRL)和將 word2vec 詞向量和基于Hownet的詞向量進行拼接得到的詞向量表示(H-WRL-w2v)。

詞義消歧任務(wù)的目的是評測不同的詞向量表示作為輸入時的效果。我們參考目前廣泛使用的循環(huán)神經(jīng)網(wǎng)絡(luò)模型GRU, 模型架構(gòu)如圖2所示。

句子S={wt-4,...,wt,...,wt+4}作為模型的輸入, 基于目標消歧詞得到兩個上下文：Lcontext={wt-4,...,wt}和Rcontext={wt,...,wt+4}。通過詞向量索引 look-up操作, 將詞向量作為 GRU 的輸入, 得到兩個輸出Lstate和Rstate作為上下文的特征拼接, 經(jīng)過兩個全連接網(wǎng)絡(luò)層和Softmax 函數(shù)進行分類, 得到預(yù)測輸出。

模型通過 keras 實現(xiàn), 算法采用十折交叉驗證,保證了結(jié)果的準確性。模型中詞向量的維度為 300(將兩種詞向量表示進行拼接, 維度為 600), GRU中的節(jié)點維度為 100, 全連接網(wǎng)絡(luò)的隱層節(jié)點為100 維, 在兩層全連接網(wǎng)絡(luò)層之間用到 dropout, 參數(shù)為 0.1。

在我們的詞義消歧任務(wù)中隨機選擇義項作為baseline, 并將實驗結(jié)果與相關(guān)工作(如 Li 等[13]的樸素貝葉斯方法、Wang 等[14]的 PageRank 方法以及孫茂松[6]的義項敏感模型)進行對比, 結(jié)果如表 3所示。

3.3.3 實驗結(jié)果

通過對表 3 進行分析, 可以得出如下結(jié)論。

1)本文提出的基于Hownet的詞向量表示方法得到的結(jié)果是最好的, 表明我們的詞向量表示具有一定的詞義消歧能力。

2)將 H-WRL 和 word2vec 的詞向量進行拼接,提高了 word2vec 詞向量的性能, 可見通過知識引入, 可以對word2vec詞向量表示進行有效的補充。

圖2 詞義消歧模型架構(gòu)Fig.2 Word sense disambiguation model

表3 任務(wù)二詞義消歧實驗結(jié)果Table 3 Experimental result of word sense disambiguation result

3)在其中的 4 組詞中,Hownet的準確率都取得較大的優(yōu)勢, 只有“材料”和“沒有”與之前的最好結(jié)果相同, 其原因可總結(jié)為兩點： 第一, “材料”一詞只有兩個義項, 與其他多義項詞相比相對簡單; 第二,“沒有”在語料中出現(xiàn)的頻次高達 51 萬次, 屬于高頻詞匯, 在 word2vec 的訓(xùn)練機制中得到充分的訓(xùn)練,故可以有很好的效果。

4)從整體效果來看, 基于Hownet的詞向量比基于 word2vec 的詞向量性能更穩(wěn)定, 并且, 基于義原對詞向量進行表示的方法不會出現(xiàn)低頻詞欠缺訓(xùn)練的問題, 故基于Hownet的低頻詞詞向量的質(zhì)量更高。

4 結(jié)論與展望

本文提出一種基于Hownet的詞向量表示方法,基本思想是通過對義原向量進行建模, 將符號主義離散的知識轉(zhuǎn)化為可以連續(xù)表示的數(shù)學(xué)模型。將義原向量化, 所有義原共同構(gòu)成一個義原向量空間,每個詞語可以表示為在這個義原子空間的一個投影。通過這種方式, 我們將人工知識與現(xiàn)有基于訓(xùn)練的詞向量表示方法進行有效的結(jié)合, 并通過最近鄰、詞相似度計算以及詞義消歧等實驗, 對基于Hownet 的詞向量表示方法進行測評。測評結(jié)果顯示, 其結(jié)果均好于現(xiàn)有最好結(jié)果, 證明這種詞向量表示的有效性?？傮w來說, 基于Hownet義原指定計算得到的詞向量表示高效且具有重要的語言學(xué)意義, 不僅可以單獨作為一種詞向量的表示方式, 也可以與基于訓(xùn)練的詞向量進行拼接使用, 提升基于訓(xùn)練的詞向量表示的性能。

目前, 我們的研究中每個詞的表示為這個詞管轄下的所有義原。但是, 當這個詞為多義詞時, 用到的義原應(yīng)該是不同的, 且這些義原的重要程度也不一樣。在未來的工作中, 我們將對義項進行細分,對這些義原的重要程度進行量化研究, 使得基于Hownet 的詞向量表示更強大, 可以適用于更多的自然語言處理任務(wù)。