基于概念基元的詞語(yǔ)相似度計(jì)算研究

池哲潔 張 全

?

基于概念基元的詞語(yǔ)相似度計(jì)算研究

池哲潔*①②張 全②

①(中國(guó)科學(xué)院大學(xué) 北京 100049);②(中國(guó)科學(xué)院聲學(xué)研究所 北京 100190)

詞語(yǔ)相似度的計(jì)算在機(jī)器翻譯、信息檢索等多個(gè)領(lǐng)域有重要作用。該文以概念層次網(wǎng)絡(luò)理論的概念基元符號(hào)系統(tǒng)為語(yǔ)義資源，在共性與差異性對(duì)比思想下，提出一個(gè)涵蓋層次性、網(wǎng)絡(luò)性、對(duì)比對(duì)偶特性、掛靠特性及五元組信息的多維度詞語(yǔ)相似度計(jì)算方法；在節(jié)點(diǎn)深度和節(jié)點(diǎn)距離度量上，引入權(quán)重以增加不同層次間的區(qū)分程度。在人工打分的測(cè)試集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法計(jì)算的相似度與人工判斷的符合程度較好，兼容度、相關(guān)系數(shù)和序?qū)Ψ隙确謩e達(dá)到0.812, 0.786和0.775；同時(shí)，相關(guān)性檢驗(yàn)的結(jié)果也顯示該方法的計(jì)算值與人工打分顯著相關(guān)。

詞語(yǔ)相似度；語(yǔ)義距離；概念層次網(wǎng)絡(luò)；概念基元

1 引言

詞語(yǔ)相似度的計(jì)算在機(jī)器翻譯、信息檢索、自然語(yǔ)言處理等多個(gè)領(lǐng)域具有重要作用。相似度反映兩個(gè)事物間特征的重合程度，而詞語(yǔ)涉及多方面特征，包括詞法、句法、語(yǔ)義及語(yǔ)用等，但語(yǔ)義在相似度中的影響最大，因此，本文考慮詞語(yǔ)語(yǔ)義相似度，主要是指詞語(yǔ)在語(yǔ)義概念上的重合程度。在度量上，Lin[1]認(rèn)為兩個(gè)詞語(yǔ)的相似度取決于它們的共性和差異性，并以信息論角度提出了相似度的計(jì)算方法：，其中，為詞語(yǔ)間的共性信息，為詞語(yǔ)間的描述性信息，一般由共性和差異性組合而成。Lin的方法給出了重合度度量的一個(gè)通用思想，本文以此為基礎(chǔ)設(shè)計(jì)相似度的計(jì)算方法，并將相似度值限制在[0,1]。

目前，進(jìn)行詞語(yǔ)語(yǔ)義相似度計(jì)算主要有兩種方法，一種是利用依托某種世界知識(shí)所構(gòu)建的語(yǔ)義詞典的方法，另一種則是基于大規(guī)模語(yǔ)料統(tǒng)計(jì)的方法?；谡Z(yǔ)義詞典的方法主要利用語(yǔ)義詞典將詞匯按照語(yǔ)義類別組織在樹狀層次結(jié)構(gòu)中的特點(diǎn)，考慮其中概念節(jié)點(diǎn)間的上下位或同位關(guān)系等，通過(guò)距離或信息內(nèi)容來(lái)度量詞語(yǔ)間的相似性。英語(yǔ)詞語(yǔ)相似度計(jì)算主要基于WordNet，文獻(xiàn)[2]通過(guò)考慮概念詞與其最近公共父節(jié)點(diǎn)概念詞的位置關(guān)系來(lái)計(jì)算相似度；Resnik[3]提出了直接利用最大公共祖先節(jié)點(diǎn)概念詞的信息內(nèi)容來(lái)計(jì)算相似度的方法；其后的改進(jìn)方法一般都額外考慮節(jié)點(diǎn)深度、密度、語(yǔ)義重合度、概念頻數(shù)、語(yǔ)義數(shù)目等因素進(jìn)行綜合計(jì)算[4,5]。漢語(yǔ)詞語(yǔ)相似度計(jì)算多是采用《知網(wǎng)》來(lái)開展的，劉群等人[6]探索《知網(wǎng)》義原體系，采用上下位關(guān)系度量義原間的距離，利用距離和相似度成反比例的關(guān)系設(shè)計(jì)義原相似度計(jì)算公式，然后將詞語(yǔ)整體相似度分解成多個(gè)義原對(duì)相似度的組合，對(duì)部分義原相似度進(jìn)行加權(quán)平均得到詞語(yǔ)的整體相似度；李國(guó)佳[7]采用義原信息量來(lái)計(jì)算概念間主類義原的相似度，并結(jié)合義原角色關(guān)系綜合計(jì)算詞語(yǔ)相似度；張滬寅等人[8]通過(guò)義原距離限制義原深度對(duì)相似度的影響而實(shí)現(xiàn)義原相似度計(jì)算的改進(jìn)；孫晶等人[9]提出逆概念頻率計(jì)算方法，并用于為不同義原定義權(quán)重，根據(jù)動(dòng)態(tài)權(quán)重計(jì)算詞的相似度?；诖笠?guī)模語(yǔ)料統(tǒng)計(jì)的方法是建立在相似詞語(yǔ)所處的上下文環(huán)境是相似的假設(shè)上，將詞語(yǔ)相似度的計(jì)算轉(zhuǎn)移到它們所處上下文環(huán)境的對(duì)比中來(lái)。Brown等人[10]基于平均互信息計(jì)算詞語(yǔ)相似度；關(guān)毅等人[11]提取詞語(yǔ)的上下文概念分布信息，利用相關(guān)熵進(jìn)行差異比較，從而計(jì)算語(yǔ)義相似度；王石等人[12]采用詞匯在二詞短語(yǔ)中的搭配詞作為其上下文，在自動(dòng)構(gòu)建大規(guī)模二詞短語(yǔ)的基礎(chǔ)上，使用tf-idf作為向量權(quán)重，構(gòu)造直接和間接搭配向量，通過(guò)計(jì)算搭配向量間的夾角余弦，將其作為詞語(yǔ)相似度結(jié)果。上述兩種方法各有優(yōu)缺點(diǎn)，基于語(yǔ)義詞典的方法簡(jiǎn)單有效、直觀且易于理解，但需要有完備的知識(shí)庫(kù)支撐，一般人為構(gòu)建的語(yǔ)義詞典具有一定局限性；另外，它對(duì)于不包含在詞典中的詞語(yǔ)(未登錄詞)基本不具備處理能力。基于語(yǔ)料庫(kù)統(tǒng)計(jì)的方法比較客觀，并且沒(méi)有未登錄詞處理的問(wèn)題；不過(guò)其對(duì)訓(xùn)練語(yǔ)料的依賴性大，理論上，所使用的語(yǔ)料庫(kù)對(duì)真實(shí)語(yǔ)言的代表性越好，則計(jì)算結(jié)果與實(shí)際越符合，但在實(shí)踐中，構(gòu)建這種“完美代表性”的語(yǔ)料庫(kù)難度巨大；另外，該方法一般計(jì)算量較大，容易受數(shù)據(jù)稀疏和數(shù)據(jù)噪聲的影響而出現(xiàn)錯(cuò)誤。從優(yōu)缺點(diǎn)角度出發(fā)，基于混合技術(shù)的詞語(yǔ)相似度算法存在很大的發(fā)展空間[13]。

概念層次網(wǎng)絡(luò)[14,15](Hierarchical Network of Concepts, HNC)理論是面向整個(gè)語(yǔ)言理解的理論框架，是中文信息處理的3個(gè)流派之一[16]。該理論立足于語(yǔ)言概念空間，通過(guò)構(gòu)建概念聯(lián)想脈絡(luò)實(shí)現(xiàn)語(yǔ)言的理解。語(yǔ)言概念空間的基層是概念基元空間，其中包含一套概念基元符號(hào)系統(tǒng)，該符號(hào)系統(tǒng)由概念基元組成，具有層次性且采用基元化的語(yǔ)義定義，能夠準(zhǔn)確表達(dá)詞語(yǔ)的語(yǔ)義內(nèi)涵，適合當(dāng)作語(yǔ)義詞典使用。已有工作中，史燕[17]考慮了概念基元的層次性和五元組信息，基于距離計(jì)算概念基元相似度并利用組合符號(hào)實(shí)現(xiàn)詞語(yǔ)相似度的計(jì)算；吳佐衍等人[16]根據(jù)HNC符號(hào)的編碼規(guī)則和符號(hào)映射理論，綜合考慮概念內(nèi)涵、概念外部特征和概念類別信息，提出概念表示的相似度加權(quán)計(jì)算公式，然后考慮組合符號(hào)，實(shí)現(xiàn)HNC符號(hào)的相似度計(jì)算，最終利用詞語(yǔ)和HNC符號(hào)的映射關(guān)系實(shí)現(xiàn)詞語(yǔ)相似度的計(jì)算。上述工作中都考慮了概念基元符號(hào)系統(tǒng)的層次性以及一些外部特性，最終對(duì)詞語(yǔ)相似度計(jì)算也起到了一定作用，但這些考慮并不全面，忽略了概念節(jié)點(diǎn)間的對(duì)偶、對(duì)比特性及網(wǎng)絡(luò)性等對(duì)語(yǔ)義表示起很大作用的因素。本文以概念基元符號(hào)系統(tǒng)為基礎(chǔ)，充分考慮語(yǔ)義網(wǎng)絡(luò)設(shè)計(jì)的層次性及一些外部特性，同時(shí)考慮它們的對(duì)偶、對(duì)比特性及網(wǎng)絡(luò)性，力圖實(shí)現(xiàn)一個(gè)更加合理的詞語(yǔ)相似度計(jì)算方法。

2 概念基元符號(hào)系統(tǒng)

本文的工作是以概念基元符號(hào)系統(tǒng)為基礎(chǔ)，這里對(duì)該系統(tǒng)做基本介紹，更詳細(xì)信息請(qǐng)參閱文獻(xiàn)[14, 15]。

HNC理論注重抽象概念的表達(dá)，對(duì)于具體概念，主張采用近似的方案進(jìn)行描述。語(yǔ)義網(wǎng)絡(luò)是為描述抽象概念而設(shè)計(jì)的，它是由符號(hào)化的概念基元構(gòu)成。語(yǔ)義網(wǎng)絡(luò)中的概念基元具有層次性，可以用樹狀結(jié)構(gòu)進(jìn)行組織，并將所有概念基元的根記為L(zhǎng)CS(Language Concept Space)?？v觀整個(gè)語(yǔ)義網(wǎng)絡(luò)，它是按“概念范疇－概念林－概念樹－延伸概念結(jié)構(gòu)”的方式從高到低進(jìn)行組織的。以圖1中的部分語(yǔ)義網(wǎng)絡(luò)為例，a處在概念范疇層，其下有多個(gè)子節(jié)點(diǎn)，a1為其中一個(gè)，處于概念林層面，a14是a1下的一個(gè)概念樹節(jié)點(diǎn)，其下又包含一系列延伸概念節(jié)點(diǎn)。HNC將概念樹以上(包括概念樹)部分稱為概念基元的高層，在高層之后則是進(jìn)入延伸結(jié)構(gòu)，共兩類，第1類延伸結(jié)構(gòu)有3種：對(duì)偶性、對(duì)比性和包含性，第2類延伸結(jié)構(gòu)也是3種：交織性延伸、并列性延伸和定向性延伸。

圖1 語(yǔ)義網(wǎng)絡(luò)節(jié)點(diǎn)示例

概念基元表達(dá)了概念的內(nèi)涵，通常情況下，同一個(gè)內(nèi)涵會(huì)有多方面的表現(xiàn)，這在自然語(yǔ)言中表現(xiàn)為詞性現(xiàn)象，而在HNC中則是通過(guò)五元組來(lái)體現(xiàn)的。五元組包括動(dòng)態(tài)、靜態(tài)、屬性、值和效應(yīng)，分別對(duì)應(yīng)符號(hào)v, g, u, z和r，將五元組符號(hào)作用到語(yǔ)義網(wǎng)絡(luò)中的節(jié)點(diǎn)，則可形成同一內(nèi)涵概念不同側(cè)面的表示。

將語(yǔ)義網(wǎng)絡(luò)中表示內(nèi)涵的概念基元符號(hào)和表示外在特征的五元組符號(hào)基于一定規(guī)則組合起來(lái)形成HNC符號(hào)。由HNC符號(hào)表示概念的這一套系統(tǒng)我們稱為概念基元符號(hào)系統(tǒng)。自然語(yǔ)言中的詞語(yǔ)與概念基元符號(hào)系統(tǒng)中的符號(hào)存在映射關(guān)系，由人工將這類映射關(guān)系組織起來(lái)形成詞語(yǔ)-概念基元映射表，使用該映射表，可以將詞語(yǔ)相似度的計(jì)算轉(zhuǎn)移到概念基元空間中。

語(yǔ)義網(wǎng)絡(luò)中的概念基元除了具有層次性，還具有網(wǎng)絡(luò)性，也就是關(guān)聯(lián)性。一方面，上下位的層次關(guān)系本身帶有關(guān)聯(lián)信息；另一方面，處于不同子網(wǎng)絡(luò)下的概念基元間也可能存在關(guān)聯(lián)，如“a63e219”(綜合分析性理論)與“811”(思維活動(dòng)的綜合與分析)有很大的關(guān)聯(lián)性。這類不同網(wǎng)絡(luò)間的關(guān)聯(lián)無(wú)法通過(guò)表層符號(hào)直接體現(xiàn)出來(lái)，目前的一個(gè)解決方案就是人工構(gòu)建這種隱式的關(guān)聯(lián)，以概念關(guān)聯(lián)式的形式呈現(xiàn)。HNC理論定義了10種沿襲邏輯關(guān)聯(lián)，此處將其總結(jié)如下(括號(hào)內(nèi)為對(duì)應(yīng)關(guān)聯(lián)符號(hào))：強(qiáng)關(guān)聯(lián)(≡)、強(qiáng)交式關(guān)聯(lián)(=)、強(qiáng)流式關(guān)聯(lián)(<=)、強(qiáng)源式關(guān)聯(lián)(=>)、包含(%=)、屬于(=%)、對(duì)應(yīng)(:=)、等同(=:)、定義(::=)、虛設(shè)(==)。

3 詞語(yǔ)相似度計(jì)算方法

利用概念基元符號(hào)系統(tǒng)的組織和編碼形式以及詞語(yǔ)和HNC符號(hào)的映射關(guān)系，本文提出基于概念基元的詞語(yǔ)相似度計(jì)算方法，主要步驟為：首先提出不含組合符號(hào)的HNC符號(hào)(稱為單一HNC符號(hào))間的相似度計(jì)算方法，進(jìn)而考慮其組合形式的計(jì)算，最后利用詞語(yǔ)和HNC符號(hào)的映射關(guān)系，實(shí)現(xiàn)詞語(yǔ)的相似度計(jì)算。

3.1單一HNC符號(hào)相似度計(jì)算

在HNC符號(hào)相似度計(jì)算上，本文將從層次性、對(duì)比對(duì)偶特性、網(wǎng)絡(luò)性、掛靠特性及五元組信息等多個(gè)維度充分考慮各符號(hào)間的共性和差異性，在此基礎(chǔ)上設(shè)計(jì)相似度計(jì)算公式。

3.1.1概念基元相似度計(jì)算 基于共性和差異性對(duì)比的思想，概念基元間相似度計(jì)算的通用公式為

(3)

3.1.2對(duì)比、對(duì)偶特性的度量 語(yǔ)義網(wǎng)絡(luò)中對(duì)相似度計(jì)算起主導(dǎo)作用的是層次性，不過(guò)其對(duì)比、對(duì)偶特性也不容忽視。對(duì)比性是指共寓于同一高層概念下的一組概念，彼此間存在量的差異；對(duì)偶性則是指一組概念彼此間存在質(zhì)的差別。對(duì)比中處于兩端的概念以及對(duì)偶中表示對(duì)立和對(duì)抗的概念常常構(gòu)成反義關(guān)系，從而影響相似度；而對(duì)比其他位置的概念及普通對(duì)稱關(guān)系也會(huì)加大概念間的距離。本文將這兩部分的作用考慮進(jìn)概念間的差異性，通過(guò)適當(dāng)放大概念間的距離來(lái)減小相似度。在計(jì)算上定義一個(gè)差異性縮放系數(shù)作用于帶權(quán)節(jié)點(diǎn)距離,的計(jì)算方法如式(4)：

3.1.3網(wǎng)絡(luò)語(yǔ)義關(guān)聯(lián)的度量 除了層次性及對(duì)比、對(duì)偶特性，語(yǔ)義網(wǎng)絡(luò)中還需要考慮的一個(gè)因素是網(wǎng)絡(luò)性，即概念間的關(guān)聯(lián)性質(zhì)，此處主要考慮不同語(yǔ)義網(wǎng)絡(luò)間的概念關(guān)聯(lián)，這方面的度量需要借助已構(gòu)建好的概念關(guān)聯(lián)式。本文將關(guān)聯(lián)性作用到概念間的共性上，采用一個(gè)共性縮放系數(shù)來(lái)度量不同的關(guān)聯(lián)類型。本文考慮關(guān)聯(lián)性較強(qiáng)的8種關(guān)聯(lián)，將其分為4組，則的計(jì)算方法如式(5)：

3.1.4掛靠類型語(yǔ)義關(guān)聯(lián)的度量 掛靠是HNC概念表達(dá)的一種常用方式，在表示上，直接將一個(gè)概念符號(hào)與相關(guān)概念的符號(hào)拼接在一起。例如，表示“交通工具”的“pw22b”就是直接把具體概念“pw”(人造物)和基元概念“22b”(自身轉(zhuǎn)移)連在一起。在掛靠表示中，向其他概念掛靠的概念稱為掛靠層，而被掛靠概念稱為本體層。掛靠層一般是表現(xiàn)概念的某些特性，其實(shí)質(zhì)還是體現(xiàn)在本體層，因此，本文將掛靠層的區(qū)別放到差異性的考慮中，計(jì)算上采用一個(gè)差異性縮放系數(shù)來(lái)表示，考慮掛靠概念集合間的差異程度，的計(jì)算公式為

3.1.5外在表現(xiàn)的度量 五元組是對(duì)概念不同側(cè)面的表達(dá)，是概念外在表現(xiàn)的基元，在相似度計(jì)算上有具有一定影響。同一個(gè)概念基元作用上不同的五元組符號(hào)所表達(dá)的概念會(huì)有差別，本文將這部分的區(qū)別也反映到差異性中，設(shè)計(jì)一個(gè)差異性縮放系數(shù)來(lái)表示。依據(jù)五元組與語(yǔ)法學(xué)的詞性大致對(duì)應(yīng)關(guān)系(v對(duì)應(yīng)動(dòng)詞，u對(duì)應(yīng)形容詞，g, z, r對(duì)應(yīng)名詞)設(shè)置的計(jì)算式，表示為

綜合以上幾個(gè)部分，可以得到HNC符號(hào)相似度的計(jì)算方法。在共性描述上，最終的計(jì)算公式為

差異性描述的最終計(jì)算公式為

其中，平滑部分的考慮與共性描述的情況類似。沿用式(1)的形式，得到HNC符號(hào)的相似度計(jì)算公式為

(10)

HNC符號(hào)相似度的計(jì)算步驟如下(算法1)：

(1)分解HNC符號(hào)，分別得到五元組符號(hào)、掛靠信息及概念基元信息；

(2)獲取兩個(gè)概念基元的公共節(jié)點(diǎn)，采用式(2)，式(3)計(jì)算公共節(jié)點(diǎn)帶權(quán)節(jié)點(diǎn)深度及帶權(quán)節(jié)點(diǎn)距離；

(3)分別考察概念間的對(duì)比、對(duì)偶特征，關(guān)聯(lián)特性，掛靠信息及五元組信息，采用式(4)–式(7)計(jì)算,,及；

(4)將以上各部分結(jié)果代入式(8)，式(9)求出共性和差異性描述信息，再利用式(10)計(jì)算最終結(jié)果。

3.2 組合結(jié)構(gòu)分析及計(jì)算

前面提到的單一HNC符號(hào)只是概念海洋里的基本元素，更多的概念則是通過(guò)這些單一HNC符號(hào)組合進(jìn)行表示的。HNC定義了12種概念組合結(jié)構(gòu)，分別是：作用(#)、效應(yīng)($)、對(duì)象(&)、內(nèi)容(|)、偏正(/)、主謂(‖)、展開(+)、并(,)、選(;)、一般邏輯組合(lyy)、非(!)、反(^)，各符號(hào)的具體含義請(qǐng)參見(jiàn)文獻(xiàn)[15]。本文根據(jù)計(jì)算需要按組合符號(hào)所作用對(duì)象的數(shù)量將其分為兩類：一元組合符號(hào)和二元組合符號(hào)，一元組合符號(hào)是指其作用對(duì)象只有一個(gè)，包括“非”和“反”，其余的則為二元組合符號(hào)。

不同的組合符號(hào)表示不同的意義，組合后的概念也各不相同，不過(guò)它們都會(huì)在一定程度上包含組合前概念的義項(xiàng)，因此，組合后的概念可以通過(guò)組合前的概念進(jìn)行表示。本文在計(jì)算上先分解組合符號(hào)為單一符號(hào)，然后對(duì)組合符號(hào)賦予權(quán)重進(jìn)行量化，最后采用加權(quán)求和的方法計(jì)算組合形式的相似度值。其中，一元組合符號(hào)計(jì)算如式(11)所示，二元組合符號(hào)計(jì)算公式為

(12)

(1)若兩個(gè)待計(jì)算HNC符號(hào)相同，直接返回相似度值1；

(2)若兩個(gè)不同HNC符號(hào)分解后其組合類型相同，本文認(rèn)為這種情況只需要分別考慮其對(duì)應(yīng)部分的相似度，計(jì)算上則是先求出對(duì)應(yīng)部分的相似度值后再加權(quán)求和，而不進(jìn)行遞歸展開，如式(13)所示。

(3)其余情況則按式(11)或式(12)以遞歸形式展開計(jì)算。

3.3 詞語(yǔ)相似度計(jì)算

實(shí)現(xiàn)HNC符號(hào)間的相似度計(jì)算并考慮組合結(jié)構(gòu)情況后，就可以利用已構(gòu)建好的詞語(yǔ)和HNC符號(hào)映射表計(jì)算詞語(yǔ)的相似度。計(jì)算時(shí)，先將詞語(yǔ)映射到HNC符號(hào)，此時(shí)可能存在一個(gè)詞語(yǔ)對(duì)應(yīng)多個(gè)HNC符號(hào)義項(xiàng)的情況，本文規(guī)定相似度就取所有義項(xiàng)相似度的最大值，即

完整的詞語(yǔ)相似度計(jì)算步驟如下(算法3)：

(2)采用算法2循環(huán)計(jì)算兩個(gè)集合中各項(xiàng)間的相似度；

(3)取步驟(2)中的最大值，作為最終相似度結(jié)果。

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)設(shè)置

目前對(duì)相似度計(jì)算進(jìn)行評(píng)價(jià)的一個(gè)常見(jiàn)做法是將計(jì)算結(jié)果與人工評(píng)定的結(jié)果進(jìn)行對(duì)比，通過(guò)定性及定量分析判斷結(jié)果的好壞。在人工打分測(cè)試集選擇上，本文使用文獻(xiàn)[12]構(gòu)建的測(cè)試集作為實(shí)驗(yàn)數(shù)據(jù)來(lái)源，該測(cè)試集仿照英語(yǔ)詞語(yǔ)相似度基準(zhǔn)測(cè)試集構(gòu)建的方法，充分考慮了詞語(yǔ)的“分布均勻性”和“相似均勻性”，具有較好的代表性?？紤]到對(duì)比方法(將在后文介紹)使用的語(yǔ)義資源所收錄的詞語(yǔ)情況，本文從該測(cè)試集中剔除一些無(wú)法計(jì)算的詞語(yǔ)對(duì)，最終保留60對(duì)詞語(yǔ)用于測(cè)試(見(jiàn)表1)。

在計(jì)算詞語(yǔ)相似度前，需對(duì)相應(yīng)參數(shù)進(jìn)行設(shè)置，本文基于最優(yōu)相關(guān)系數(shù)來(lái)設(shè)定參數(shù)，即選擇使相關(guān)系數(shù)達(dá)到最優(yōu)時(shí)對(duì)應(yīng)的參數(shù)為最終的參數(shù)，表示為：。實(shí)際計(jì)算中，首先結(jié)合經(jīng)驗(yàn)為各參數(shù)設(shè)置取值范圍，然后將取值范圍空間按適當(dāng)步長(zhǎng)(本文使用的步長(zhǎng)為0.05)進(jìn)行切分得到有限個(gè)離散點(diǎn)，最后在這些離散點(diǎn)中窮盡搜索最優(yōu)參數(shù)，最終確定的各參數(shù)取值情況如表2所示(HNC組合符號(hào)按#、$、&、|、/、‖、+、,、;、lyy、!、^順序?qū)?yīng)參數(shù),,,)。權(quán)重模擬函數(shù)?。?)且。另外，本文選取了3組方法作為對(duì)比實(shí)驗(yàn)，分別是文獻(xiàn)[6]的方法(方法1)，它是基于《知網(wǎng)》進(jìn)行漢語(yǔ)詞語(yǔ)相似度計(jì)算最為典型的方法，適合作為其他方法的比較標(biāo)準(zhǔn)；文獻(xiàn)[12]的方法(方法2)，該方法是基于大規(guī)模語(yǔ)料統(tǒng)計(jì)的新方法；文獻(xiàn)[16]的方法(方法3)，它是目前基于HNC理論考慮因素最全面、處理效果達(dá)到最好的方法；同時(shí)，將本文方法稱為方法4。

4.2結(jié)果與分析

將4種算法分別應(yīng)用于測(cè)試集，最終結(jié)果如表1所示，同時(shí)，將多組結(jié)果以折線圖呈現(xiàn)(圖2)，表3則是從表1中選取的部分代表性結(jié)果。

表1詞語(yǔ)相似度計(jì)算結(jié)果

注：m為人工打分的結(jié)果，1–4分別對(duì)應(yīng)方法1-方法4的結(jié)果

表2實(shí)驗(yàn)參數(shù)設(shè)置

公式調(diào)節(jié)參數(shù)縮放系數(shù)組合符號(hào)參數(shù) 參數(shù)取值參數(shù)取值參數(shù)取值 0.501.200.55 1.001.100.45 2.000.40 1.700.40 1.500.50 1.200.40 1.200.60 1.050.50 1.500.60 1.200.70 1.100.80 0.60

從圖2和結(jié)果表中可以看出，方法2的計(jì)算結(jié)果在數(shù)值上普遍偏低，與人工打分的符合情況不太理想，主要是因?yàn)榛谏舷挛奶卣鞯姆椒紤]眾多特征，加上一些噪聲的引入，從而造成高維向量的相似度普遍較低；另外，3種方法其數(shù)值跨度較大(數(shù)據(jù)點(diǎn)在縱軸上分布范圍廣)，并且與人工打分均有一定符合，這是因?yàn)榛谡Z(yǔ)義詞典的方法往往在某些方面與人工思維符合程度較好。方法1的計(jì)算結(jié)果數(shù)值離散度較小，而另外3種方法的結(jié)果則很少重復(fù)，主要是因?yàn)榉椒?計(jì)算時(shí)所考慮的因素較少，計(jì)算公式中各項(xiàng)指標(biāo)取值范圍有限，而方法2基于高維向量計(jì)算，其結(jié)果分布較廣，方法3和方法4則考慮了較多因素，能夠有較好的區(qū)分度。方法1，方法3和方法4在不同的詞語(yǔ)對(duì)上表現(xiàn)有一定差別，而方法3和方法4總體表現(xiàn)比較接近。例如，“男人母親”這一對(duì)詞語(yǔ)的計(jì)算結(jié)果上，方法3和方法4較為接近人工打分，而方法1有較大偏差，“初級(jí)高級(jí)”這一對(duì)詞語(yǔ)的情況則相反，而“高興開心”這一組詞語(yǔ)3種方法的結(jié)果均比較接近，這也體現(xiàn)了《知網(wǎng)》和概念基元符號(hào)系統(tǒng)在設(shè)計(jì)理念上的異同。另外，同樣基于概念基元符號(hào)系統(tǒng)，方法4的結(jié)果在總體上比方法3更貼近人工打分(圖中方法4的線形及數(shù)據(jù)點(diǎn)分布趨勢(shì)與人工打分更為貼近)，這說(shuō)明本文綜合考慮語(yǔ)義網(wǎng)絡(luò)的各項(xiàng)特性以及考慮節(jié)點(diǎn)層次的權(quán)重是有效的。

圖2 各方法相似度結(jié)果

表3詞語(yǔ)相似度計(jì)算部分結(jié)果

IDW1W2SmS1S2S3S4 11男人母親0.26200.86110.16500.38790.2485 51高興開心0.96201.00000.03800.90000.9795 57初級(jí)基礎(chǔ)0.86900.68250.11000.29320.3443 58初級(jí)高級(jí)0.72300.77410.13500.34320.3813

注：m為人工打分的結(jié)果，1-4分別對(duì)應(yīng)方法1-方法4的結(jié)果

總體上，本文的計(jì)算結(jié)果與人工打分比較符合，不過(guò)其中也存在有較大偏差的項(xiàng)目。例如，“初級(jí)”(gu30aac21)和“基礎(chǔ)”(ru12eb1,j721)應(yīng)當(dāng)具有較高相似性，但其計(jì)算結(jié)果卻相似性較低，主要是因?yàn)椤俺跫?jí)”的概念內(nèi)涵采用“30aac21”來(lái)表示，而“基礎(chǔ)”的概念內(nèi)涵則是“j721”和“12eb1”的組合，兩者之間符號(hào)層面差異明顯，且尚未建立概念關(guān)聯(lián)關(guān)系。

對(duì)各方法的計(jì)算結(jié)果進(jìn)行定量分析，這里考慮3個(gè)指標(biāo)——兼容度()[16]、相關(guān)系數(shù)()[4]和序?qū)Ψ隙?)。兼容度用于絕對(duì)符合程度考察，相關(guān)系數(shù)和序?qū)Ψ?hào)度用于考察相對(duì)符合程度。序?qū)Ψ隙鹊挠?jì)算公式為

由表4可知，所有方法的相關(guān)系數(shù)均大于0.5，在統(tǒng)計(jì)上則認(rèn)為它們與人工打分均具有中等強(qiáng)度以上的相關(guān)性，也反映出各方法與人工結(jié)果的符合情況較好。相比于方法2，另外3種方法的相關(guān)系數(shù)明顯更高，說(shuō)明基于語(yǔ)義詞典的方法與人工判斷比較容易達(dá)成一致；不過(guò)在序?qū)Ψ隙壬?，其差距并沒(méi)有相關(guān)系數(shù)上的明顯，方法1與其表現(xiàn)相當(dāng)，說(shuō)明僅考慮排序情況，方法2也是可行的。方法3的相關(guān)系數(shù)與方法1相當(dāng)，但兼容度明顯好于方法1，說(shuō)明該方法在取值上與人工打分的總體偏差較小。本文方法在3個(gè)指標(biāo)上均優(yōu)于其他方法，這說(shuō)明本文方法在計(jì)算結(jié)果上與人工判斷有更好的符合程度，從而可知，基于概念基元符號(hào)系統(tǒng)進(jìn)行詞語(yǔ)相似度計(jì)算也是有效的。最后，本文還對(duì)計(jì)算結(jié)果與人工打分結(jié)果進(jìn)行了相關(guān)性檢驗(yàn)，在原假設(shè)“兩組數(shù)據(jù)不相關(guān)”下，采用Spearman非參數(shù)檢驗(yàn)計(jì)算得到值為，說(shuō)明待檢驗(yàn)數(shù)據(jù)是顯著相關(guān)的，進(jìn)一步驗(yàn)證了本文結(jié)果與人工判斷的符合程度。

表4各方法的評(píng)價(jià)指標(biāo)結(jié)果

算法CompatrOpc 方法10.6450.6180.679 方法2-0.5540.684 方法30.7210.6370.730 方法40.8120.7860.775

4.3簡(jiǎn)單應(yīng)用

詞語(yǔ)相似度計(jì)算在自然語(yǔ)言處理、機(jī)器翻譯等多個(gè)領(lǐng)域有重要作用。以基于實(shí)例的機(jī)器翻譯為例，假設(shè)待翻譯句子“律師開展的調(diào)查”，經(jīng)過(guò)搜索，在實(shí)例庫(kù)中找到兩個(gè)翻譯實(shí)例：

(1)警察開展的調(diào)查/the investigation conducted by the police。

(2)去年開展的調(diào)查/the investigation conducted last year。

經(jīng)對(duì)比計(jì)算，“律師”和“警察”的相似度為0.3775，和“去年”的相似度為0.1769，故選用實(shí)例(1)進(jìn)行類比翻譯，從而得到正確的譯文：the investigation conducted by the lawyer。

5 結(jié)束語(yǔ)

本文以概念基元符號(hào)系統(tǒng)為基礎(chǔ)，提出一種基于語(yǔ)義詞典的相似度計(jì)算方法，從該符號(hào)系統(tǒng)的設(shè)計(jì)理念出發(fā)，并充分挖掘其中各項(xiàng)信息，包括層次性、網(wǎng)絡(luò)性、對(duì)比對(duì)偶特性、掛靠特性和五元組信息，最終形成一個(gè)多維度的計(jì)算公式；另外，為節(jié)點(diǎn)深度和節(jié)點(diǎn)距離賦予權(quán)重的做法使之與實(shí)際情況更加符合。采用本文提出的方法在人工構(gòu)建的測(cè)試集上進(jìn)行實(shí)驗(yàn)，并與其他方法進(jìn)行比較，結(jié)果表明本文方法計(jì)算的相似度與人工打分符合情況最好，在定量評(píng)價(jià)指標(biāo)上也取得了最優(yōu)的結(jié)果，兼容度、相關(guān)系數(shù)和序?qū)Ψ隙确謩e達(dá)到0.812, 0.786和0.775。

概念關(guān)聯(lián)性在本文中只能通過(guò)概念關(guān)聯(lián)式體現(xiàn)，而已構(gòu)建的關(guān)聯(lián)式規(guī)模尚小，許多潛在關(guān)聯(lián)性并沒(méi)有得到應(yīng)用，因此，下一步需要繼續(xù)挖掘和構(gòu)建概念關(guān)聯(lián)式，完善關(guān)聯(lián)式集合；與此同時(shí)，也有必要嘗試提出新的度量關(guān)聯(lián)性的方法。另外，該方法目前只能對(duì)包含在詞典內(nèi)的詞語(yǔ)進(jìn)行處理，對(duì)于未登錄詞則無(wú)能為力，未來(lái)很有必要探索該方法下未登錄詞的處理，以擴(kuò)大該方法的適用性，這也是進(jìn)一步的工作內(nèi)容。

[1] LIN D. An information-theoretic definition of similarity semantic distance in WordNet[C]. Proceedings of the 15th International Conference on Machine Learning, San Francisco, CA, USA, 1998: 296-304.

[2] WU Z and PALMER M. Verbs semantics and lexical selection [C]. Proceedings of the 32nd Annual Meeting of the Association for Computational Linguistics, Stroudsburg, PA, USA, 1994: 133-138. doi: 10.3115/981732.981751.

[3] RESNIK P. Semantic similarity in a taxonomy: an information based measure and its application to problems of ambiguity in natural language[J]., 1999, 11(7): 95-130. doi: 10.1613/jair. 514.

[4] 王桐, 王磊, 吳吉義, 等. WordNet中的綜合概念語(yǔ)義相似度計(jì)算方法[J]. 北京郵電大學(xué)學(xué)報(bào), 2013, 36(2): 98-101. doi: 10.13190/jbupt.201302.98.wangt.

WANG Tong, WANG Lei, WU Jiyi,. Semantic similarity calculation method of Comprehensive concept in WordNet[J]., 2013, 36(2): 98-101. doi: 10.13190/ jbupt.201302.98.wangt.

[5] WANG Junhua, ZUO Wanli, and PENG Tao. Hyponymy graph model for word semantic similarity measurement[J]., 2015, 24(1): 96-101. doi: 10.1049/cje.2015.01.016.

[6] 劉群, 李素建. 基于《知網(wǎng)》的詞匯語(yǔ)義相似度計(jì)算[C]. 第三屆漢語(yǔ)詞匯語(yǔ)義學(xué)研討會(huì)論文集, 臺(tái)北, 中國(guó), 2002: 59-76.

LIU Qun and LI Sujian. Words semantic similarity computation based on HowNet[C]. Proceedings of the 3rd Chinese Lexical Semantics Workshop, Taipei, China, 2002: 59-76.

[7] 李國(guó)佳. 基于知網(wǎng)的中文詞語(yǔ)相似度計(jì)算[J]. 智能計(jì)算機(jī)與應(yīng)用, 2015, 5(3): 49-52. doi: 10.3969/j.issn.2095-2163.2015. 03.015.

LI Guojia. Chinese words similarity computation based on HowNet[J]., 2015, 5(3): 49-52. doi: 10.3969/j.issn.2095-2163.2015.03.015.

[8] 張滬寅, 劉道波, 溫春艷. 基于《知網(wǎng)》的詞語(yǔ)語(yǔ)義相似度改進(jìn)算法研究[J]. 計(jì)算機(jī)工程, 2015, 41(2): 151-156. doi: 10.3969/j.issn.1000-3428.2015.02.029.

ZHANG Huyin, LIU Daobo, and WEN Chunyan. Research on improved algorithm of word semantic similarity based on HowNet[J]., 2015, 41(2): 151-156. doi: 10.3969/j.issn.1000-3428.2015.02.029.

[9] 孫晶, 張東站. 基于逆概念頻率的詞語(yǔ)相似度計(jì)算[J]. 廈門大學(xué)學(xué)報(bào)(自然科學(xué)版), 2015, 54(2): 257-262. doi: 10.6043/ j.issn.0438-0479.2015.02.018.

SUN Jing and ZHANG Dongzhan. Word similarity computing based on inverse concept frequencies[J].(), 2015, 54(2): 257-262. doi: 10.6043/j.issn.0438-0479.2015.02.018.

[10] BROWN P, PIETRA S, PIETRA V,. Word sense disambiguation using statistical methods[C]. Proceedings of the 29th Annual Meeting of the Association for Computational Linguistics, Berkeley, CA, USA, 1991: 264-270. doi: 10.3115/981344.981378.

[11] 關(guān)毅, 王曉龍. 基于統(tǒng)計(jì)的漢語(yǔ)詞匯間語(yǔ)義相似度計(jì)算[C]. 第七屆全國(guó)計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集, 哈爾濱, 中國(guó), 2003: 221-227.

GUAN Yi and WANG Xiaolong. A statistical measure of semantic similarity between Chinese words[C]. Proceedings of the 7th Joint Symposium on Computational Linguistics, Harbin, China, 2003: 221-227.

[12] 王石, 曹存根, 裴亞軍, 等. 一種基于搭配的中文詞匯語(yǔ)義相似度計(jì)算方法[J]. 中文信息學(xué)報(bào), 2013, 27(1): 7-14. doi: 10.3969/j.issn.1003-0077.2013.01.002.

WANG Shi, CAO Cungen, PEI Yajun,. A collocation based method for semantic similarity measure for Chinese words[J]., 2013, 27(1): 7-14. doi: 10.3969/j.issn.1003-0077.2013.01.002.

[13] 李慧. 詞語(yǔ)相似度算法研究綜述[J]. 現(xiàn)代情報(bào), 2015, 35(4): 172-177. doi: 10.3969/j.issn.1008-0821.2015.04.035.

LI Hui. A review on the research of word similarity algorithms[J]., 2015, 35(4): 172-177. doi: 10.3969/j.issn.1008-0821.2015.04.035.

[14] 黃曾陽(yáng). HNC理論全書(第五冊(cè))[M]. 北京: 科學(xué)出版社, 2015: 1-102.

HUANG Zengyang. The Complete Book of Hierarchical Network of Concepts Theory (Book 5)[M]. Beijing: Science Press, 2015: 1-102.

[15] 苗傳江. HNC(概念層次網(wǎng)絡(luò))理論導(dǎo)論[M]. 北京: 清華大學(xué)出版社, 2005: 1-49.

MIAO Chuanjiang. Introduction to HNC Theory[M]. Beijing: Tsinghua University Press, 2005: 1-49.

[16] 吳佐衍, 王宇. 基于HNC理論的詞語(yǔ)相似度計(jì)算[J]. 中文信息學(xué)報(bào), 2014, 28(2): 37-43. doi: 10.3969/j.issn.1003-0077. 2014.02.005.

WU Zuoyan and WANG Yu. A new measure of semantic similarity based on hierarchical network of concepts[J]., 2014, 28(2): 37-43. doi: 10.3969/j.issn.1003-0077.2014.02.005.

[17] 史燕. 基于HNC的漢語(yǔ)句子相似度算法的研究[D]. [碩士論文], 江蘇大學(xué), 2009: 14-19. doi: 10.7666/d.y1604350.

SHI Yan. The research on Chinese sentence similarity algorithm based on HNC[D]. [Master dissertation], Jiangsu University, 2009: 14-19. doi: 10.7666/d.y1604350.

池哲潔： 男，1988年生，博士，研究方向?yàn)樽匀徽Z(yǔ)言處理.

張 全： 男，1968年生，研究員，研究方向?yàn)樽匀徽Z(yǔ)言理解、語(yǔ)言知識(shí)處理.

Word Similarity Measurement Based on Concept Primitive

CHI Zhejie①②ZHANG Quan②

①(,100049,);②(,,100190,)

Word similarity measurement plays an important role in machine learning, information retrieval and many other fields. Regarding the concept primitive symbol system of Hierarchical network of concepts theory as semantic resource and comparing commonness with difference, a multi-dimensional computational method for similarity is proposed which considers the hierarchy, netted nature, comparability and duality, attached feature and quintuple information of the system. Weight strategy is introduced for node depth and distance measurement to increase the discrimination of node level. Experiment on manual scoring test set shows that the computed similarities are consistent with human judgments. The proposed method achieves 0.812, 0.786, and 0.775 in compatibility degree, correlation coefficient, and ordinal pair conformity respectively. Meanwhile, the result of correlation test further proofs that the computed similarities and human’s scores are significantly correlated.

Word similarity; Semantic distance; Hierarchical network of concepts; Concept primitive

TP391

A

1009-5896(2017)01-0150-09

10.11999/JEIT160176

2016-02-25；改回日期：2016-09-14；

2016-11-14

池哲潔 chizhejie@sina.com

國(guó)家863計(jì)劃“十二五”項(xiàng)目(2012AA011102)，國(guó)家語(yǔ)委“十二五”科研項(xiàng)目(YB125-53)

The Twelfth Five-Year Project of National 863 Program of China (2012AA011102), The State Language Commission Twelfth Five-Year Research Project (YB125-53)