融合實(shí)體類(lèi)型信息的本體?實(shí)例聯(lián)合學(xué)習(xí)方法

游樂(lè)圻，裴忠民，羅章凱

（航天工程大學(xué)復(fù)雜電子系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，北京 101416）

0 概述

知識(shí)圖譜［1］可以形式化展示事物之間的關(guān)系，其本質(zhì)是一種語(yǔ)義網(wǎng)絡(luò)。近年來(lái)，知識(shí)圖譜已成為支撐對(duì)話代理［2］、智能問(wèn)答［3］、新聞推薦［4］等智能生活應(yīng)用的技術(shù)基礎(chǔ)。目前，已經(jīng)有許多比較成熟的知識(shí)圖譜，例如Freebase［5］、YAGO［6］、DBPedia［7］、ConceptNet［8］等，這些知識(shí)圖譜都可以分為兩種基本視圖，即實(shí)例視圖及其本體視圖。本體視圖和實(shí)例視圖相輔相成，對(duì)兩者進(jìn)行聯(lián)合學(xué)習(xí)可以掌握更全面的知識(shí)。通常，研究者將實(shí)例填充到本體視圖中形成一個(gè)完整的知識(shí)圖譜，再用知識(shí)表示學(xué)習(xí)的方法嵌入學(xué)習(xí)。文獻(xiàn)［9］提出將知識(shí)圖譜的實(shí)例和本體聯(lián)合嵌入的學(xué)習(xí)方法JOIE，并在公開(kāi)數(shù)據(jù)集YAGO26K-906 和DB111K-174 上驗(yàn)證了該模型的優(yōu)越性。該方法避免了耗時(shí)耗力的本體實(shí)例填充工作，并且與傳統(tǒng)方法相比更完整地保存了實(shí)例之間的關(guān)系。同時(shí)，作者在文末也指出聯(lián)合學(xué)習(xí)模型的損失還有待進(jìn)一步優(yōu)化，可以考慮復(fù)雜的嵌入模型、融入知識(shí)圖譜全局結(jié)構(gòu)、類(lèi)型信息等方式來(lái)改進(jìn)模型性能。其中，同一實(shí)體在不同關(guān)系下具有多義性的問(wèn)題有待進(jìn)一步研究。

本文通過(guò)考慮三元組中實(shí)體的關(guān)系類(lèi)型特征，提出一種融合實(shí)體類(lèi)型信息的本體-實(shí)例聯(lián)合學(xué)習(xí)方法JOIE-TKRL-CT。在本體和實(shí)例視圖的內(nèi)部關(guān)系表征上，利用實(shí)體分層類(lèi)型模型融入實(shí)體類(lèi)型信息，在兩個(gè)獨(dú)立的嵌入空間中分別表征學(xué)習(xí)。同時(shí)，通過(guò)分層類(lèi)型模型將每個(gè)三元組的頭實(shí)體和尾實(shí)體轉(zhuǎn)化成具有特定類(lèi)型的投影矩陣嵌入，以此來(lái)表征多義性實(shí)體。在視圖間關(guān)系的表征上，運(yùn)用文獻(xiàn)［9］提出的跨視圖轉(zhuǎn)換模型，將表征在兩個(gè)獨(dú)立空間的本體和實(shí)例通過(guò)非線性映射的方法跨視圖鏈接，從而區(qū)別表示實(shí)體在不同場(chǎng)景下的不同意義。

1 相關(guān)研究

知識(shí)圖譜可以形式化展示事物之間關(guān)系，其本質(zhì)是一種語(yǔ)義網(wǎng)絡(luò)。近年來(lái)，知識(shí)圖譜已成為支撐對(duì)話代理、智能問(wèn)答等智能生活應(yīng)用的技術(shù)基礎(chǔ)。知識(shí)圖譜可以用（實(shí)體，關(guān)系，實(shí)體）三元組來(lái)表示，現(xiàn)有的知識(shí)圖譜大多可以分為兩種基本視圖，即實(shí)例視圖及其本體視圖，如圖1 所示。實(shí)例視圖主要包含三元組特定實(shí)體及其之間的關(guān)系，其本體視圖主要描述的是抽象概念及其語(yǔ)義元關(guān)系。兩個(gè)視圖之間通過(guò)本體和實(shí)例的類(lèi)屬關(guān)系鏈接。

圖1 知識(shí)圖譜中本體和實(shí)例視圖示例Fig.1 Example of ontology and instance views in knowledge graph

通過(guò)對(duì)本體視圖和實(shí)例視圖進(jìn)行聯(lián)合學(xué)習(xí)，可以掌握更全面的知識(shí)。一方面，實(shí)例可以為其對(duì)應(yīng)的本體概念提供詳細(xì)的信息；另一方面，本體提供了對(duì)應(yīng)實(shí)例的高級(jí)抽象，這在發(fā)現(xiàn)一些數(shù)量較少的實(shí)例時(shí)尤為重要?？梢钥紤]復(fù)雜的嵌入模型、融入知識(shí)圖譜全局結(jié)構(gòu)、類(lèi)型信息等方式來(lái)改進(jìn)模型性能。其中，同一實(shí)體在不同關(guān)系下多義性的問(wèn)題就有待進(jìn)一步研究。如在圖2 中，有多個(gè)屬性指向的有“羅貫中”“三國(guó)演義”兩個(gè)實(shí)體，其中兩個(gè)屬性指向的“三國(guó)演義”實(shí)體具有多義性，一個(gè)指的是小說(shuō)，一個(gè)指的是電視劇。如果計(jì)算機(jī)像人一樣，能夠分辨出不同場(chǎng)景對(duì)應(yīng)的實(shí)體語(yǔ)義，那么就可以在一定程度上提高模型性能。但是實(shí)體的多義性在計(jì)算機(jī)嵌入學(xué)習(xí)過(guò)程中無(wú)法分辨。因此，使得擁有多種類(lèi)型的實(shí)體在不同的場(chǎng)景中有不同的表示，是提高聯(lián)合學(xué)習(xí)模型識(shí)別性能的有效途徑。

圖2 知識(shí)圖譜中的實(shí)體多義性示例Fig.2 Example of entity polysemy in knowledge graph

知識(shí)圖譜嵌入方法的不斷優(yōu)化推動(dòng)了圖譜構(gòu)建和應(yīng)用技術(shù)的快速發(fā)展。知識(shí)圖譜嵌入就是對(duì)圖譜中三元組的實(shí)體和關(guān)系表示學(xué)習(xí)。給定三元組（h，r，t），其中，h、t分別表示頭實(shí)體和尾實(shí)體，r表示實(shí)體之間的關(guān)系，知識(shí)圖譜嵌入即是將實(shí)體及其之間的關(guān)系轉(zhuǎn)化為向量空間模型。在嵌入模型中，基于平移距離模型的模型有TransE［10］、TransH［11］、TransR［12］、TransD［13］、TranSparse［14］、KG2E［15］等，基于語(yǔ)義匹配的模型有DisMult［16］、HolE［17］等。其中，TransE 模型最為經(jīng)典，其設(shè)計(jì)思想是期望標(biāo)準(zhǔn)三元組（h，r，t）有h+r=t，定義距離d表示向量之間的距離，因此機(jī)器學(xué)習(xí)到正確的三元組的距離越小越好，而錯(cuò)誤的三元組的距離越大越好，其損失函數(shù)可以表示為：

將表示知識(shí)圖譜的本體圖和實(shí)例圖聯(lián)合學(xué)習(xí)，在性能上優(yōu)于單個(gè)完整知識(shí)圖譜的嵌入學(xué)習(xí)方法。自文獻(xiàn)［18］提出本體嵌入方法On2Vec 以來(lái)，本體中的元信息嵌入表示得到廣泛關(guān)注。文獻(xiàn)［9］提出將知識(shí)圖譜的實(shí)例庫(kù)和本體庫(kù)聯(lián)合嵌入的JOIE 模型，采用跨視圖和視圖內(nèi)建模的方法，從知識(shí)圖譜的本體元層次和實(shí)例層次分別表示學(xué)習(xí)。

在嵌入過(guò)程中融合實(shí)體類(lèi)型信息可以有效提高模型性能。文獻(xiàn)［19］提出一種能夠區(qū)分概念和實(shí)例信息的TransC 模型，其將知識(shí)圖譜中的概念編碼為球體，實(shí)例用向量表示，在YAGO 數(shù)據(jù)集上嵌入性能達(dá)到了相對(duì)最優(yōu)。文獻(xiàn)［20］將實(shí)體類(lèi)型信息作為先驗(yàn)知識(shí)融入模型中，模型在鏈接預(yù)測(cè)任務(wù)中性能提升高達(dá)77%。文獻(xiàn)［21］提出語(yǔ)義平滑嵌入的SSE 模型，該模型的核心思想是讓同一語(yǔ)義類(lèi)別的實(shí)體在嵌入空間中位置相近。文獻(xiàn)［22］提出TKRL 模型，其將類(lèi)型信息分層表示，并作為關(guān)系的特定約束。實(shí)驗(yàn)結(jié)果表明，利用此方法嵌入學(xué)習(xí)能捕獲知識(shí)圖譜中重要意義的分層類(lèi)型信息。文獻(xiàn)［23］建立一種基于知識(shí)表示學(xué)習(xí)的知識(shí)可信度評(píng)估模型PTCA，利用實(shí)體類(lèi)型信息對(duì)知識(shí)的可信度進(jìn)行計(jì)算，從而有效應(yīng)用知識(shí)圖譜，對(duì)知識(shí)的可信度進(jìn)行準(zhǔn)確評(píng)估。

結(jié)合現(xiàn)有研究，本文借鑒TKRL 模型中對(duì)類(lèi)型信息分層表示的思想，將類(lèi)型信息融入本體-實(shí)例聯(lián)合學(xué)習(xí)模型中，目的是表示實(shí)體在不同場(chǎng)景的不同意義，進(jìn)一步提高知識(shí)圖譜嵌入的學(xué)習(xí)效率。

2 JOIE-TKRL-CT 方法

為彌補(bǔ)本體-實(shí)例聯(lián)合學(xué)習(xí)模型不能區(qū)分表示多義性實(shí)體的不足，本文提出一種融合實(shí)體類(lèi)型信息的本體-實(shí)例聯(lián)合學(xué)習(xí)方法JOIE-TKRL-CT。該方法將本體和實(shí)例知識(shí)庫(kù)分別嵌入，再進(jìn)行聯(lián)合學(xué)習(xí)，其由視圖內(nèi)學(xué)習(xí)、視圖間學(xué)習(xí)和聯(lián)合學(xué)習(xí)3 個(gè)模型組成。在本體和實(shí)例視圖內(nèi)部的嵌入學(xué)習(xí)中，為了在不同的三元組語(yǔ)境凸顯相應(yīng)的類(lèi)型信息，本文將實(shí)體類(lèi)型信息分層表示，在構(gòu)建實(shí)體的投影矩陣時(shí)，類(lèi)型信息由各類(lèi)型層加權(quán)表示。視圖間的學(xué)習(xí)采用跨視圖轉(zhuǎn)換方法來(lái)學(xué)習(xí)本體嵌入空間和實(shí)例嵌入空間之間的關(guān)聯(lián)，在正樣本中關(guān)聯(lián)即為實(shí)體和本體間的類(lèi)屬關(guān)系。

2.1 視圖內(nèi)學(xué)習(xí)

2.1.1 本體和實(shí)例視圖嵌入

在進(jìn)行視圖內(nèi)部學(xué)習(xí)時(shí)，本文基于TransE 模型，在表示實(shí)體時(shí)將類(lèi)型信息作為實(shí)體的補(bǔ)充信息一同嵌入。具體而言，將每個(gè)類(lèi)型c的層次信息構(gòu)造成投影矩陣Mc，這樣頭實(shí)體h和尾實(shí)體t對(duì)應(yīng)的特定類(lèi)型就為crh、crt，相應(yīng)的類(lèi)型矩陣用Mrh、Mrt表示。再根據(jù)式（1），可得能量函數(shù)和損失函數(shù)分別為：

其中：y>0；E(h,r,t)是正確的三元組的能量函數(shù)；E(h',r',t')是錯(cuò)誤的三元組的能量函數(shù)；(h',r,t')通過(guò)(h,r,t)替換頭實(shí)體和尾實(shí)體得到，并且替換后的三元組在視圖中不存在。學(xué)習(xí)一個(gè)融合類(lèi)型關(guān)系的知識(shí)圖T中所有節(jié)點(diǎn)的嵌入，最小化所有的三元組損失，可得：

機(jī)器學(xué)習(xí)的過(guò)程就是運(yùn)用梯度下降法更新上述函數(shù)，其中，γT>0，是一個(gè)正余量。

在嵌入過(guò)程中需要考慮到實(shí)例內(nèi)部視圖和本體內(nèi)部視圖。本文用(h(I),r(I),t(I))?TI表示實(shí)例視圖，用(h(O),r(O),t(O))?TO表示本體視圖，分別用表示計(jì)算得到的損失函數(shù)，再將兩個(gè)損失函數(shù)通過(guò)組合權(quán)重α1來(lái)調(diào)控內(nèi)部視圖的結(jié)構(gòu)丟失。視圖內(nèi)嵌入的整體學(xué)習(xí)模型可表示為：

2.1.2 分層類(lèi)型模型

本節(jié)用分層類(lèi)型模型來(lái)表示實(shí)體在不同場(chǎng)景下的類(lèi)型信息，主要是考慮判別三元組中實(shí)體類(lèi)型的情境通過(guò)三元組的關(guān)系傳達(dá)，例如在三元組（三國(guó)演義，作者，羅貫中）中，通過(guò)關(guān)系“作者”就可以辨別實(shí)體“三國(guó)演義”是屬于小說(shuō)類(lèi)，而不是電視劇。每個(gè)類(lèi)型分多層來(lái)表示，是因?yàn)榭梢酝ㄟ^(guò)不同的權(quán)重組合對(duì)應(yīng)不同的類(lèi)型。具體說(shuō)明如下：

設(shè)某實(shí)體有n個(gè)類(lèi)別，則其類(lèi)別集合可表示為c={c1,c2,…,cn}，ci表示實(shí)體的第i個(gè)類(lèi)別。又設(shè)每個(gè)類(lèi)別是由多個(gè)分層子類(lèi)別集成控制，如圖3 所示。假設(shè)子類(lèi)別個(gè)數(shù)為m，則其中表示實(shí)體第i個(gè)類(lèi)型的第j個(gè)子類(lèi)型。

圖3 分層類(lèi)型模型Fig.3 Hierarchical type model

在分層結(jié)構(gòu)中，不同子類(lèi)型的不同粒度在映射實(shí)體時(shí)，需要通過(guò)權(quán)重相加的方法達(dá)到區(qū)分實(shí)體不同類(lèi)型信息的目的，如下所示：

其中：Mc(i)是c(i)的投影矩陣；βi是c(i)的權(quán)重。由式（6）可知，βi>βi+1，以此控制在Mc上c(i)的影響比c(i+1)大。頭實(shí)體的投影矩陣可表示為：

其中：Crh表示由關(guān)系特定類(lèi)型信息給出的相對(duì)r的頭部類(lèi)型集為ci的投影矩 陣；εi為對(duì)應(yīng)的權(quán)值，通過(guò)控制εi的大小分布達(dá)到區(qū)分不同類(lèi)型下相同實(shí)體的目的。尾部實(shí)體的投影矩陣Mrt與頭部實(shí)體的投影矩陣形式相同。

2.2 視圖間學(xué)習(xí)

視圖間學(xué)習(xí)采用文獻(xiàn)［9］中提出的跨視圖轉(zhuǎn)換方法。如圖4 所示，本體圖O和實(shí)例圖I分別嵌入在不同的向量空間中，跨視圖轉(zhuǎn)換旨在通過(guò)學(xué)習(xí)本體和對(duì)應(yīng)實(shí)例的類(lèi)屬關(guān)系，使得計(jì)算機(jī)在嵌入空間中認(rèn)為本體和相應(yīng)的實(shí)例通過(guò)一種非線性映射關(guān)系來(lái)鏈接。

圖4 跨視圖轉(zhuǎn)換示意圖Fig.4 Schematic diagram of cross-view transformation

假設(shè)屬于本體o的實(shí)例i通過(guò)關(guān)系f會(huì)映射到對(duì)應(yīng)的本體o，o?O,i?I，即：

其中：f(i)=σ(w·i+b)，是一個(gè)非線性映射；w為權(quán)重矩陣；b為偏置項(xiàng)；σ為激活函數(shù)tanh。因此，視圖間學(xué)習(xí)的損失函數(shù)可以表示為：

通過(guò)上述跨視圖的轉(zhuǎn)換，可以讓計(jì)算機(jī)學(xué)習(xí)到一個(gè)虛擬的空間中，本體及其對(duì)應(yīng)的實(shí)例會(huì)在空間中聚合為距離較近的狀態(tài)。

2.3 聯(lián)合學(xué)習(xí)

將視圖內(nèi)學(xué)習(xí)模型和視圖間學(xué)習(xí)模型整合，可得本體-實(shí)例聯(lián)合學(xué)習(xí)模型：

其中：ω是權(quán)重系數(shù)。在訓(xùn)練的過(guò)程中，先更新底層的再更新J。

3 實(shí)驗(yàn)與結(jié)果分析

通過(guò)三元組補(bǔ)全和實(shí)體分類(lèi)兩個(gè)任務(wù)，驗(yàn)證本文模型的有效性。

3.1 實(shí)驗(yàn)前期準(zhǔn)備

實(shí)驗(yàn)前期準(zhǔn)備工作包括使用的數(shù)據(jù)集、實(shí)驗(yàn)評(píng)價(jià)指標(biāo)、實(shí)驗(yàn)參數(shù)設(shè)置。

3.1.1 數(shù)據(jù)集

通常，知識(shí)圖譜中實(shí)例的數(shù)量會(huì)遠(yuǎn)大于本體的數(shù)量。為驗(yàn)證模型的有效性，分別在YAGO26K-906 和DB111K-174 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)（數(shù)據(jù)來(lái)源：https：//github.com/JunhengH/joie-kdd19），這兩個(gè)數(shù)據(jù)集是在YAGO、DBpedia 基礎(chǔ)上分離出本體、實(shí)例制作而成。數(shù)據(jù)集數(shù)據(jù)分布統(tǒng)計(jì)情況如表1 所示。

表1 數(shù)據(jù)分布統(tǒng)計(jì)Table 1 Data distribution statistics

實(shí)驗(yàn)所需錯(cuò)誤三元組的構(gòu)建是將正確三元組的頭實(shí)體、尾實(shí)體或者關(guān)系變成知識(shí)圖譜中原來(lái)就存在的實(shí)體或者關(guān)系。在整個(gè)數(shù)據(jù)集中保持正確三元組與錯(cuò)誤三元組之比為1∶1。

3.1.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選用以下評(píng)價(jià)指標(biāo)：

1）MRR。將預(yù)測(cè)中排名第一的相關(guān)結(jié)果位置記作ki，則MRR為

2）Hit@10，表示正確的實(shí)體或關(guān)系在預(yù)測(cè)中排名前十的個(gè)數(shù)占總數(shù)的比例。

3）Hit@1，表示正確的實(shí)體或關(guān)系在預(yù)測(cè)中排名第一的個(gè)數(shù)占總數(shù)的比例。

3.1.3 參數(shù)設(shè)置

為保證公平性，實(shí)驗(yàn)過(guò)程中保持以下參數(shù)一致：本體圖嵌入維度為100，實(shí)例圖嵌入維度為300，α1=2.5，，實(shí)體類(lèi)型維度n=50，epoch 為100，訓(xùn)練學(xué)習(xí)率lr 為0.000 5，單視圖數(shù)據(jù)batch size 為128，聯(lián)合學(xué)習(xí)中實(shí)例圖數(shù)據(jù)batch size為256，本體圖數(shù)據(jù)batch size為64。訓(xùn)練的過(guò)程使用AMSGrad 優(yōu)化器優(yōu)化聯(lián)合損失。為了避免有的實(shí)體在訓(xùn)練過(guò)程中被忽略，每次訓(xùn)練之前將實(shí)體和關(guān)系向量歸一化。

3.2 三元組補(bǔ)全

三元組補(bǔ)全由文獻(xiàn)［24］提出，目標(biāo)是在三元組(h,r,t)中h、r、t缺失時(shí)將其補(bǔ)全，在知識(shí)圖譜嵌入模型驗(yàn)證時(shí)經(jīng)常被用作測(cè)試模型學(xué)習(xí)嵌入性能的檢驗(yàn)方法。測(cè)試的方法是在模型內(nèi)部將預(yù)測(cè)的實(shí)體或關(guān)系的似然函數(shù)進(jìn)行計(jì)算和排名。在本次實(shí)驗(yàn)中，分為本體三元組補(bǔ)全和實(shí)例三元組補(bǔ)全兩個(gè)子任務(wù)。

設(shè)置以下6 組對(duì)照模型：

1）TransE 模型［10］。該模型參數(shù)少，計(jì)算復(fù)雜度低，并且具有較好的性能和可擴(kuò)展性，是經(jīng)典的基于平移距離的知識(shí)圖譜嵌入模型。

2）TransC模型［19］。該模型是融合了實(shí)體類(lèi)型信息的知識(shí)圖譜嵌入模型，與同期模型相比具有較好的效果。

3）DisMult 模型［16］。該模型是基于語(yǔ)義匹配的知識(shí)圖譜嵌入模型，其利用學(xué)到的關(guān)系來(lái)挖掘邏輯規(guī)則。

4）HolE模型［17］。該模型結(jié)合了語(yǔ)義匹配模型的表達(dá)能力和DisMult 的效率，與同期模型相比具有較好的嵌入性能。

5）TKRL 模型［22］。該模型在嵌入過(guò)程中融入了實(shí)體的層次類(lèi)型信息，得到了較好的嵌入效果。

6）JOIE-TransE-CT模型［9］。該模型是本體-實(shí)例聯(lián)合學(xué)習(xí)模型，在部分任務(wù)上能夠達(dá)到較整個(gè)知識(shí)圖譜嵌入更好的效果。

圖5 和圖6 顯示了各模型在兩個(gè)數(shù)據(jù)集上訓(xùn)練過(guò)程中損失變化（epoch：30～100）。

圖5 YAGO26K-906 數(shù)據(jù)集上各模型訓(xùn)練損失變化Fig.5 Changes of the loss in each model training on YAGO26K-906 data set

圖6 DB111K-174 數(shù)據(jù)集上各模型訓(xùn)練損失變化Fig.6 Changes of the loss in each model training on DB111K-174 data set

損失（loss）在模型的訓(xùn)練中是一個(gè)關(guān)鍵角色。模型的訓(xùn)練就是最小化loss 過(guò)程，減少預(yù)測(cè)的誤差，尋找最優(yōu)解的過(guò)程。一定程度上來(lái)說(shuō)，模型的loss 越小，模型的預(yù)測(cè)能力越好。由圖5 和圖6 整體來(lái)看，在訓(xùn)練達(dá)到一定的程度后（epoch>60），兩種聯(lián)合學(xué)習(xí)模型loss都會(huì)比其他模型降得更小。而進(jìn)一步通過(guò)兩個(gè)聯(lián)合學(xué)習(xí)模型對(duì)比可知，JOIE-TKRL-CT的loss更小。因此，JOIETKRL-CT 模型性能優(yōu)于其他模型。

各模型具體實(shí)驗(yàn)結(jié)果如表2 和表3 所示，其中，加粗表示最優(yōu)數(shù)據(jù)。值得注意的是，TransC 模型編碼時(shí)區(qū)分了概念和實(shí)例，但是沒(méi)有將概念的元關(guān)系編碼，因此涉及對(duì)本體三元組的補(bǔ)全。

表2 在YAGO26K-906數(shù)據(jù)集上的三元組補(bǔ)全實(shí)驗(yàn)結(jié)果Table 2 Experimental results of triple completion on YAGO26K-906 data set

表3 在DB111K-174 數(shù)據(jù)集上的三元組補(bǔ)全實(shí)驗(yàn)結(jié)果Table 3 Experimental results of triple completion on DB111K-174 data set

表2 和表3 的實(shí)驗(yàn)結(jié)果表明：

1）在兩個(gè)數(shù)據(jù)集上，聯(lián)合學(xué)習(xí)模型都取得了較其他模型更好的性能，其中JOIE-TKRL-CT 在實(shí)例三元組補(bǔ)全上具有優(yōu)勢(shì)，原因是融合的實(shí)體類(lèi)型信息更多是針對(duì)實(shí)例，在本體三元組補(bǔ)全上反而弱于JOIE-TransE-CT。

2）對(duì)比JOIE-TKRL-CT 和JOIE-TransE-CT、TKRL和TransE 兩組模型，可以發(fā)現(xiàn)在兩種數(shù)據(jù)集上，融合實(shí)體層次類(lèi)型信息可以有效提高模型性能，在所有的指標(biāo)中都有較大的提升。

3.3 實(shí)體分類(lèi)

實(shí)體類(lèi)型任務(wù)目標(biāo)簡(jiǎn)單來(lái)說(shuō)就是預(yù)測(cè)給定實(shí)體的對(duì)應(yīng)本體概念。測(cè)試方法同三元組補(bǔ)全任務(wù)。

實(shí)驗(yàn)設(shè)置了TransE、DisMult、HolE、JOIE-TransE-CT這4 個(gè)模型對(duì)照實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4 所示，其中，加粗表示最優(yōu)數(shù)據(jù)。

表4 實(shí)體分類(lèi)實(shí)驗(yàn)結(jié)果Table 4 Experimental results of entity classification

就實(shí)體分類(lèi)任務(wù)實(shí)驗(yàn)結(jié)果而言，在兩種數(shù)據(jù)集上，聯(lián)合學(xué)習(xí)模型的實(shí)驗(yàn)性能都遠(yuǎn)超過(guò)單純基于距離和語(yǔ)義相似度的模型，其中JOIE-TKRL-CT較前者M(jìn)RR、準(zhǔn)確率平均高了1%，這也證明了融合實(shí)體了層次類(lèi)型信息可以提高聯(lián)合學(xué)習(xí)的性能。

綜合以上實(shí)驗(yàn)結(jié)果可知，JOIE-TKRL-CT 模型在實(shí)例三元組補(bǔ)全和實(shí)體分類(lèi)上都取得了比JOIETransE-CT 模型更好的成績(jī)。因此，融合了實(shí)體層次類(lèi)型信息的本體-實(shí)例聯(lián)合學(xué)習(xí)方法可以達(dá)到區(qū)分實(shí)體多義性的目的，具有更好的知識(shí)學(xué)習(xí)效果。

4 結(jié)束語(yǔ)

為區(qū)別表示實(shí)體在特定場(chǎng)景的獨(dú)特意義，本文在嵌入時(shí)融合三元組中實(shí)體的關(guān)系類(lèi)型特征，提出一種本體-實(shí)例聯(lián)合學(xué)習(xí)方法JOIE-TKRL-CT。在YAGO26K-906 和DB111K-174 數(shù)據(jù)集上針對(duì)三元組補(bǔ)全和實(shí)體分類(lèi)兩個(gè)任務(wù)進(jìn)行多組實(shí)驗(yàn)，結(jié)果表明，JOIE-TKRL-CT 在實(shí)例三元組補(bǔ)全和實(shí)體分類(lèi)任務(wù)上較TransE、TransC、DisMult 等模型具有更好的性能，驗(yàn)證了本文方法的有效性。下一步將在模型中融入知識(shí)圖譜的結(jié)構(gòu)信息和深層的類(lèi)型信息，獲得更優(yōu)的知識(shí)學(xué)習(xí)效果。