融合局部-全局歷史模式與歷史知識頻率的時序知識圖譜補(bǔ)全方法

Time-series knowledge graph completion method combining local-global historica pattern and historical knowledge frequency

Jia Kai ^a，b? ， Wang Yangpinga，b， Yang Jingyu ^a，b ， Zhang Xiquan ^a，b （aSchoolofcoicamp;fioingolValilExpetalcgCtefilsitamp;Control，LanzhouJiaotongUniversity，Lanzhou73oo7O，China）

Abstract：TKGsare dynamicrepresentations of evolvingfacts，and theircompletion task involvespredicting futureunkown factsbasedonhistoricaldata.Thekeyliesinunderstanding historicaldata.However，existingmodelshavelimitationsincapturingthefeaturesofhistoricaleventsandcannotaccuratelyextractusefulinformationfromtimestamps.Fromtheperspective of historical evolution，consideringthesequence，frequency，andperiodicpaternsofhistorical factscomprehensivelysbeneficialfor predicting future facts.Therefore，thispaper proposeda temporal knowledgegraphcompletion algorithm（LGHHKF）thatintegratedlocal-globalhistoricalpaternsandhistoricalknowledgefrequency.Specificall，itfrstlyusedalocale current graph encoder network to modelthe intrinsicassciationsand dynamic evolutionof eventsatadjacent timestamps. Then，ituseda global historicalencodernetworktoconsiderallrelevantfactsatprevious timestampstoavoidlosingntitiesor relationsthatdidn'tappearatadjacenttimestamps.Next，itlearedthefrequencyscoresof thesefactsthroughahistorical knowledge frequencylearning module toenrich the model’sprediction basis.Finally，afterbalancing between thetwo encoders，itusedaperiodicdecodertoperforminferenceandcompletion.Thepaperusedfourbenchmark datasets to evaluate theproposedmethod，andtheexperimentalresultsprovethatLGH-HKFishighlycompetitivecomparedtoothercurrentmodels in most cases.

Key words：temporal knowledge graph；completionalgorithm;local cyclic graph encoder；global history encoder；frequency of historical knowledge

0 引言

知識圖譜補(bǔ)全技術(shù)對現(xiàn)在熱門的輔助搜索、推薦系統(tǒng)、問答系統(tǒng)等領(lǐng)域都有重大的意義，只有當(dāng)知識足夠完善，下游任務(wù)的準(zhǔn)確率才能得到進(jìn)一步的提升[1]。在這方面，已經(jīng)有很多研究集中在靜態(tài)知識圖譜的補(bǔ)全上，被表示為三元組（頭實(shí)體，關(guān)系，尾實(shí)體）的形式，如（馬云，創(chuàng)立，阿里巴巴）。面對現(xiàn)實(shí)中數(shù)據(jù)的動態(tài)變化特性，時序知識圖譜則引入時間維度[2]被拓展為四元組（頭實(shí)體，關(guān)系，尾實(shí)體，時間），如（達(dá)芬奇，創(chuàng)作，蒙娜麗莎，1507年）。為了對未來的事實(shí)進(jìn)行準(zhǔn)確的預(yù)測，深人理解歷史發(fā)展規(guī)律并廣泛搜集歷史事實(shí)顯得尤為重要。歷史數(shù)據(jù)往往蘊(yùn)涵著重復(fù)或周期性的模式，這些模式為預(yù)測提供了堅(jiān)實(shí)的依據(jù)[3]。同時，人類認(rèn)知中相鄰時間戳的歷史事實(shí)具有順序模式，進(jìn)而捕捉事件的演化軌跡[4]。例如，預(yù)測查詢（足球世界杯，冠軍，？，2002年），結(jié)果推斷出一系列與查詢相關(guān)的歷史相鄰事實(shí)和全局事實(shí)。在相關(guān)的全局事實(shí)中，世界杯在2002年前一共有8個國家獲得冠軍，其中巴西獲得5次，意大利獲得3次。如果同時考慮局部和全局事實(shí)，示例查詢的預(yù)測結(jié)果范圍將被縮小到巴西和意大利。此外，經(jīng)研究發(fā)現(xiàn)，在2002年前，巴西是唯一一個沒有缺席世界杯的球隊(duì)，每隔四年進(jìn)入四強(qiáng)，同時考慮周期性和其他兩種歷史模式，預(yù)測結(jié)果更有可能是巴西，事實(shí)確實(shí)如此。因此，捕捉不同的歷史模式可以限制最終預(yù)測結(jié)果的范圍，提高預(yù)測精度。

近年來，時序知識圖譜補(bǔ)全主要分為插值和外推兩種設(shè)置。插值設(shè)置通過嵌入技術(shù)將時間維度融入事實(shí)表示，映射到低維空間以回溯并填補(bǔ)歷史信息的空白[5]。例如Jiang等人[6]提出TTransE模型（Bordes等人[7]提出TransE 模型的變體），將關(guān)系和時間視為實(shí)體之間的轉(zhuǎn)換。Goel等人[8]提出DE-SimplE模型，通過在靜態(tài)模型中加入歷時實(shí)體嵌入函數(shù)，提供實(shí)體在任意時間點(diǎn)的特征。Sadeghian等人[9提出Chro-noR模型，通過時間參數(shù)化的旋轉(zhuǎn)變換預(yù)測實(shí)體關(guān)系。這些模型均展現(xiàn)了在填補(bǔ)歷史事實(shí)方面的有效性，但受限于預(yù)測未來事實(shí)的能力。

本文重點(diǎn)研究外推設(shè)置，即利用歷史數(shù)據(jù)預(yù)測未來的事實(shí)。例如Trivedi等人提出Know-Evolve[10]和DyREP[1]模型。Know-Evolve通過結(jié)合時間點(diǎn)過程和深度神經(jīng)網(wǎng)絡(luò)框架，對連續(xù)時間內(nèi)的事件進(jìn)行建模。DyREP將網(wǎng)絡(luò)中的演變分為關(guān)聯(lián)演變和社交演變，并將節(jié)點(diǎn)的表示分解為局部嵌入傳播、自傳播和外因驅(qū)動來模擬TKG中事實(shí)的發(fā)生。Deng等人[12]提出Glean模型，將關(guān)系上下文和單詞上下文結(jié)合起來，以豐富事實(shí)的特征用于推理。Jin等人[13]提出RE-NET模型，通過結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和鄰域聚合器，實(shí)現(xiàn)了對多關(guān)系圖時間序列的有效建模和預(yù)測。Han等人提出TANGO[14]和xERTE[15]模型。TANGO采用神經(jīng)常微分方程構(gòu)建連續(xù)時間推理模型。xERTE通過動態(tài)剪枝操作捕獲與查詢相關(guān)的子圖信息，并結(jié)合了時間上下文信息進(jìn)行聯(lián)合建模。Li等人[]提出的CluSTeR模型和Sun 等人[17]提出的TITer模型都使用強(qiáng)化學(xué)習(xí)搜索一系列歷史事實(shí)進(jìn)行推理。Zhu等人[18]提出CyGNet模型，使用復(fù)制生成機(jī)制來捕獲事實(shí)的全局重復(fù)頻率。Li等人[19]提出RE-GCN模型，通過捕獲局部歷史依賴關(guān)系的結(jié)構(gòu)，在每個時間戳學(xué)習(xí)實(shí)體和關(guān)系的演化表示。CyGNet和RE-GCN模型成為本文研究的重要參照。針對上述方法都沒有同時考慮歷史事實(shí)的頻率（順序、重復(fù)和周期性），本文提出一種融合局部-全局歷史模式與歷史知識頻率的時序知識圖譜補(bǔ)全方法（LGH-HKF）。其主要工作如下：

a）考慮歷史事實(shí)的多維度特性（順序、頻率、周期性），構(gòu)建適用于TKG推理的深度學(xué)習(xí)模型。

b）設(shè)計(jì)了一種具有長距離依賴關(guān)系的雙循環(huán)機(jī)制來編碼相鄰子圖序列，使用低復(fù)雜度全局編碼器與知識頻率學(xué)習(xí)模塊，篩選出全局候選事實(shí)。同時，使用周期性時間向量來引導(dǎo)解碼器，實(shí)現(xiàn)局部和全局歷史信息之間的權(quán)衡。

c）通過在四個標(biāo)準(zhǔn)TKG數(shù)據(jù)集上的實(shí)驗(yàn)，驗(yàn)證了LGH-HKF模型在實(shí)體與關(guān)系預(yù)測任務(wù)上的性能提升，彰顯了其綜合考量歷史信息復(fù)雜性的優(yōu)勢。

1問題和符號定義

一個時序知識圖譜可以看作是由一系列帶有時間戳的子圖組成，即 G={G₁，G₂，…，G_t} ，其中每個時間戳上的知識圖譜G_t={E，R，F(xiàn)_t} 都是一個多關(guān)系有向圖[20]。 E 表示實(shí)體的集合， R 表示關(guān)系的集合， F_t 是時間戳 χ_t 處的事實(shí)集合。每個事實(shí)表示為 （s，r，o，t） ，其中 s 表示事實(shí)的頭實(shí)體， o 表示事實(shí)的尾實(shí)體， ?_r 表示事實(shí)中頭實(shí)體和尾實(shí)體的關(guān)系，且 s，o∈E 以及r∈R 。時序知識圖譜補(bǔ)全的任務(wù)就是根據(jù) G 中已有的事實(shí)去推理出 G 中缺失的事實(shí)。即在給定 （s，r，？，t） 的情況下推斷缺失的尾實(shí)體 σ_o 或者在給定 （？，r，o，t） 的情況下推斷缺失的頭實(shí)體 s ，還有在給定 （s，？，o，t） 的情況下推斷缺失的關(guān)系 r 對于 χ_t 時刻的每個預(yù)測，其前 m 個時間戳的子圖序列被形式化為 G_t-m：t-1 。對于 χ_t 之前的所有時間戳，每個實(shí)體預(yù)測 （s，r，？ ，t）的所有候選對象實(shí)體集合記為 C_t^s，r ，每個關(guān)系預(yù)測 t）的所有候選關(guān)系集合記為 C_t^s，o 。

2方法介紹

LGH-HKF方法總體框架如圖1所示。其核心在于根據(jù)歷史事件的特征來預(yù)測未來的事實(shí)，主要由三個模塊組成，旨在分別捕捉并解析歷史事實(shí)的順序性、重復(fù)性和周期性模式。具體而言，局部循環(huán)編碼器用于捕捉數(shù)據(jù)中的結(jié)構(gòu)特征和歷史依賴關(guān)系，特別當(dāng)相鄰時間戳的子圖中存在包含與查詢相同語義信息的事實(shí)，相應(yīng)實(shí)體在預(yù)測中的被選中概率會相應(yīng)提升。為了全面覆蓋并強(qiáng)化預(yù)測能力，全局歷史編碼器被引入，它不僅審視所有過往時間點(diǎn)的相關(guān)事實(shí)，有效避免因相鄰時間間隔中信息缺失而導(dǎo)致的實(shí)體或關(guān)系遺漏，還通過歷史知識頻率學(xué)習(xí)模塊學(xué)習(xí)事實(shí)的頻率分?jǐn)?shù)來豐富模型的預(yù)測依據(jù)。此外，時間矢量發(fā)生器在解碼過程中融入了周期性考量，旨在揭示并預(yù)測那些可能遵循固定周期規(guī)律出現(xiàn)的事實(shí)。最后，結(jié)合周期性局部和全局解碼器，實(shí)現(xiàn)對局部與全局歷史事實(shí)重要性之間的權(quán)衡，從而選擇出最優(yōu)路徑進(jìn)行最終預(yù)測，確保了預(yù)測結(jié)果的全面性與準(zhǔn)確性。

2.1局部循環(huán)編碼器

局部循環(huán)編碼器聚焦于相鄰歷史時間點(diǎn)的信息。針對形式為 （s，r，？，t+Δt） 的每個查詢，即從實(shí)體 s 通過關(guān)系 r 到未知目標(biāo)，在 Φ_t+ΔΦ_t 時刻的預(yù)測，考慮圍繞當(dāng)前查詢的由 ?_m 個緊鄰時間點(diǎn)構(gòu)成的子圖結(jié)構(gòu) G_t-m：t-1 。為了全面捕捉并傳遞知識圖譜（KG）中的空間與時間特征，采用了兩步策略來進(jìn)行處理。首先，利用圖卷積網(wǎng)絡(luò)（GCN）[2I]實(shí)現(xiàn)單步信息聚合，以空間維度上整合節(jié)點(diǎn)及其鄰域的特征；然后，在多個時間戳間，通過雙向門控循環(huán)單元（BiGRU）[22]實(shí)現(xiàn)多步時間演化的建模，以此捕捉時間維度上的動態(tài)變化。

2.1.1單步信息聚合

為了在每個時間戳上盡可能詳盡地捕捉與實(shí)體相關(guān)的查詢事實(shí)，設(shè)計(jì)了一種結(jié)合一維卷積增強(qiáng)的圖卷積網(wǎng)絡(luò)，特別引入了多關(guān)系聚合機(jī)制。此機(jī)制能夠在單個時間戳內(nèi)整合多個關(guān)系以及多跳鄰居節(jié)點(diǎn)的信息。該多關(guān)系聚合器計(jì)算公式如式（1）。

其中： h_s，t^l?h_o，t^l 表示實(shí)體 s_?o 在 Ψ_tΨ_t 時刻的第 ξ_l 層嵌入； 是對于關(guān)系可學(xué)習(xí)的權(quán)重； W_o^l 是對于實(shí)體可學(xué)習(xí)的權(quán)重； C_o 是一個入度為 σ_o 的歸一化因子； σ 是RReLU激活函數(shù)； ψ 是一維卷積算子。當(dāng)一個實(shí)體與子圖中的其他實(shí)體沒有任何關(guān)系時，仍然會有一個自循環(huán)邊來更新它。

2.1.2 多步時間演化

在處理每個查詢時，為捕捉子圖在時間序列中的依賴關(guān)系，尤其是它們?nèi)绾坞S前一個時間戳的演變，采用了一種雙循環(huán)更新策略。通過面向?qū)嶓w的BiGRU和面向關(guān)系的BiGRU來逐步更新實(shí)體和關(guān)系的表示，使得它們能夠整合來自更遠(yuǎn)時間戳上的信息。具體而言，面向?qū)嶓w的BiGRU負(fù)責(zé)更新子圖序列中每個實(shí)體的嵌入向量，確保這些嵌入能夠反映其在整個時間序列中的動態(tài)變化。

BiGRU網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其由輸入層、前向隱藏層、后向隱藏層和輸出層構(gòu)成。輸人層包含輸入數(shù)據(jù)，在每一時刻將數(shù)據(jù)同時傳遞給前向隱藏層和后向隱藏層，即數(shù)據(jù)同時流向兩個方向相反的GRU網(wǎng)絡(luò)，所以更新子圖序列中實(shí)體的嵌入由這兩個GRU共同決定，計(jì)算公式如式（2）＼～（4）所示。

其中 ?H_t?H_t-1∈R^1ε∣×d 為 Φ_t 和 t-1 時刻的 d 維實(shí)體嵌入矩陣;H_t-1^GCN∈R^|ε|×d 為 t-1 時刻單步聚合后的實(shí)體嵌入矩陣; 和 分別為 χ_t 時刻的前向和后向隱藏層的狀態(tài)； 和 分別為 Φ_t 時刻前向和后向隱藏層狀態(tài)的權(quán)重； b_t 是 χ_t 時刻隱藏層狀態(tài)的偏置。

對于關(guān)系，為了保持與子圖序列中嵌入實(shí)體更新的一致性，也采用面向關(guān)系的BiGRU進(jìn)行更新，如式（5）（6）所示。

r_t^′=[pooling（H_t-1，H_r，t）;r]

R_t=BiGRU（R_t-1，R_t^′）

其中： ?H_r，t 是在 χ_t 時刻與 r 相連的所有實(shí)體; r_t^′ 由 H_t-1 和 H_r，t 通過平均池化運(yùn)算得到； R_t^′ 由所有關(guān)系的 r_t 組成; R^|R|×d 是在 χ_t 時刻和 _t-1 時刻的關(guān)系嵌入矩陣。最終由 R_t-1 和R^′_t 通過面向關(guān)系的BiGTU對 R_t 進(jìn)行更新。

2.2 歷史知識頻率學(xué)習(xí)

給定查詢 q=（s，r，？，t+Δt） 和歷史KG序列 （G1，G2，… Gt ），歷史頻率學(xué)習(xí)模塊的目的是獲得歷史知識頻率分?jǐn)?shù)。具體來說，對于每個時間戳 t′?t ，通過遍歷時間戳 χt 之前所有相關(guān)的子圖 G0：t-1 ，可以得到查詢結(jié)果 {C0s，o，C1s，o，…，Ct-1s，o} ，然后篩選出一系列潛在的一跳或多跳實(shí)體及關(guān)系作為候選。接著研究歷史實(shí)體的頻率 ft′（s，r）∈R|ε| ，計(jì)算公式為

其中： Π[?] 是一個指標(biāo)函數(shù)，如果為真則為1，否則為 0 然后將所有時間戳 t^′?t 的頻率信息相加，得到查詢的歷史頻率信息，計(jì)算公式為

F_t+Δt^（s，r）=f₀^{（s，r）}+f₁^（s，r）+…+f_t^{（s，r）}

其中： F_t+Δt^{（s，r）}∈R^|ε| 是一個 |ε| 維向量，它的每個元素表示候選對象實(shí)體的相應(yīng)歷史頻率。

最后，利用softmax函數(shù)計(jì)算得出歷史頻率得分，具體計(jì)算公式為

f_freq^（s，r）=softmax（k?F_t+Δt^{（s，r）}）

其中： 是平衡極小值的超參數(shù)。

2.3 全局歷史編碼器

全局歷史編碼器的目的是獲得重復(fù)的全局候選事實(shí)，以此作為解碼階段評分機(jī)制的全局性約束條件。對于形如 （s，r， 或 （s，？，o，t） 的查詢，此編碼器負(fù)責(zé)篩選出一系列潛在的一跳或多跳實(shí)體及關(guān)系作為候選。重要的是，該方法不僅關(guān)注實(shí)體或關(guān)系是否曾出現(xiàn)過，而且關(guān)注學(xué)習(xí)頻率分?jǐn)?shù)，以此來增強(qiáng)模型的預(yù)測，特別是考慮到很久以前發(fā)生的事實(shí)對未來預(yù)測的影響。局部循環(huán)編碼器已能有效捕捉近期事件中頻率的影響，而全局歷史編碼器則更側(cè)重于通過減少預(yù)測候選范圍來防止遺漏重要信息，而非直接決定預(yù)測結(jié)果。具體而言，通過遍歷時間戳 χ_t 之前所有相關(guān)的子圖 G_0;t-1 ，得到查詢結(jié)果 {C₀^s，r ，C₁^s，r，…，C_t-1^s，r}，{C₀^s，o，C₁^s，o，…，C_t-1^s，o} ，然后在時間 χ_t 處對候選實(shí)體集合進(jìn)行合并處理，具體計(jì)算公式為

C_t^s，r=C₀^s，r∪C₁^s，r∪…∪C_t-1^s，r

因此，對于查詢 （s，r，？，t） ，候選實(shí)體矩陣 M_t^s，r∈ （20號 Z^{|ε|×R∣×|ε|} 將 C_t^s，r 中存在的位置賦值為1，不存在的位置賦值為0，然后與相應(yīng)歷史頻率相乘，具體計(jì)算公式為

M_t^s，r=f_freq^{（s，r）}?C_t^s，r

同樣的操作和計(jì)算也用于候選關(guān)系集 C₀^s，o 和候選關(guān)系矩陣 M_t^s，o∈Z^{|ε|×|ε|×|R|} 。雖然這兩個矩陣的維數(shù)較大，但都是稀疏（0，1）矩陣，因此在訪問過程中具有較低的空間復(fù)雜度和時間復(fù)雜度。此外，全局歷史編碼器可用于不同級別的候選事實(shí)記錄，包括單跳和多跳。目前，僅考慮了一跳范圍內(nèi)的候選集。

2.4 時間引導(dǎo)解碼器

在成功提取局部實(shí)體與關(guān)系的嵌人，并構(gòu)建出全局實(shí)體與關(guān)系的候選集合后，通過局部與全局解碼機(jī)制對各事實(shí)進(jìn)行評分。這一評分過程中，解碼器受到周期性與非周期性時間向量的引導(dǎo)，確保在將事實(shí)的周期性特征融入模型考量時，能夠分別計(jì)算出局部與全局的評分結(jié)果。

在時間軸上，某些事實(shí)呈現(xiàn)出明顯的周期性規(guī)律，如總統(tǒng)選舉每隔數(shù)年便會舉行一次；而另一些事實(shí)則更傾向于在特定的時間段內(nèi)集中發(fā)生，比如新當(dāng)選的總統(tǒng)在任期內(nèi)會頻繁參與各類活動。鑒于周期性與非周期性現(xiàn)象并存，同時考慮這兩者對于深入理解歷史事實(shí)具有關(guān)鍵意義。為此，針對性地設(shè)計(jì)了周期性與非周期性時間向量，旨在分別捕捉并體現(xiàn)這兩種時間特征，具體計(jì)算公式為

ν_t^p=f（w_pt+φ_p）

u_t^np=f（w_npt+φ_np）

其中： ν_t^p 和 u_t^np 分別為 d 維周期和非周期時間向量; w_p、φ_p、w_np 和 φ_np 分別為可學(xué)習(xí)的參數(shù) _;f 是一個周期激活函數(shù)。選擇正弦函數(shù)作為周期函數(shù)，是因?yàn)槠湓陬A(yù)測未來趨勢及樣本外數(shù)據(jù)時表現(xiàn)出優(yōu)越的性能，能夠穩(wěn)定且有效地展現(xiàn)周期性變化的規(guī)律。當(dāng) f=sin 時， w_p 和 φ_p 為正弦函數(shù)的頻率和相移， u_t^p 的周期等于 2π/w_p ，所以它在 χ_t 和 2π/w_p 處的值相同。此外，受time2vec^[23] 研究的啟發(fā)，已對這兩個時間向量的設(shè)計(jì)進(jìn)行了驗(yàn)證，確認(rèn)其具備時間間隔縮放不變性的特性，這意味著它們能夠靈活地適應(yīng)包含不同時間間隔的數(shù)據(jù)集，從而確保模型的通用性和穩(wěn)健性。

在獲取時間向量之后，為了同步推進(jìn)實(shí)體預(yù)測與關(guān)系預(yù)測的雙重任務(wù)，設(shè)計(jì)了Time-ConvTransE與Time-ConvTransR兩種模型架構(gòu)。

2.4.1 Time-ConvTransE

Time-ConvTransE模型架構(gòu)具體來說，解碼器對四個嵌入（實(shí)體嵌入 h_t^s ，關(guān)系嵌入 r_t ，二次嵌入 u_t^p，ν_t^np） 的拼接進(jìn)行一維卷積操作，并對結(jié)果表示進(jìn)行評分。這一卷積操作的具體計(jì)算公式為

其中： c 為卷積核數(shù)； K 為核寬度； n∈[0，d] 表示輸出向量中的項(xiàng)數(shù)； w_c 為可學(xué)習(xí)的核參數(shù)； 和 分別是 h_t^s?r_t?v_t^p 和ν_t^np 的填充版本。類似于從TransE到TTransE的改進(jìn)，卷積操作在保留嵌人表示的平移不變性基礎(chǔ)上，巧妙地融入了時間維度的信息。這一集成策略使得每個卷積核不僅處理空間特征，還能夠生成一個富含時間上下文的輸出向量 m_c（h_t^s，r_t，v_t^p，v_t^np）= [m_c⁰，m_c¹，…，m_c^d-1] 。進(jìn)而，這些輸出向量能夠被有序地排列與對齊，共同構(gòu)成一個能夠反映復(fù)雜時空關(guān)系的矩陣 M_conv∈ R^c×d 。經(jīng)過非線性一維卷積后，Time-ConvTransE的最終輸出如式（15）。

ψ（h_t^s，r_t，ν_t^p，ν_t^np）=ReLU（vec（M_conv）W）H_t^o

其中： vec 為特征映射算子； W∈R^c×d 為線性變換矩陣。

2.4.2 Time-ConvTransR

Time-ConvTransR以同樣的方式計(jì)算分?jǐn)?shù)，解碼器對四個嵌入（頭實(shí)體嵌入 h_t^s ，尾實(shí)體嵌入 h_t^o ，二次嵌入 ν_t^p，ν_t^np） 的拼接進(jìn)行一維卷積操作，并對結(jié)果表示進(jìn)行評分。卷積操作的具體計(jì)算公式為

其中 和 分別是 和 u_t^np 的填充版本。經(jīng)過非線性一維卷積后，Time-ConvTransR的最終輸出為

ψ（h_t^s，h_t^o，ν_t^p，ν_t^np）=ReLU（vec（M_conv）W）H_t^o

2.5評分函數(shù)和訓(xùn)練目標(biāo)

鑒于局部與全局歷史事實(shí)可能受不同程度的影響，引入一個可變權(quán)重因子來評估并調(diào)整它們各自的重要性。若將式（15）中的 h_t 和 r_t 視為由局部循環(huán)編碼器生成的實(shí)體與關(guān)系嵌人，則局部時間導(dǎo)向解碼器的輸出得以產(chǎn)生。對于全局解碼器而言，其輸出過程中需忽略候選矩陣中值為0的項(xiàng)。隨后，利用softmax激活函數(shù)分別計(jì)算出局部概率解碼得分 p^local 和全局概率解碼得分 p^global 。最后，通過設(shè)定比例將這兩部分得分進(jìn)行加權(quán)求和，從而得出最終的分?jǐn)?shù)，計(jì)算公式為

p^score=softmax（ψ^score）

p^final=α×p^global+（1-α）×p^local

其中：可變因子 α∈[0，1] 。實(shí)體預(yù)測和關(guān)系預(yù)測以相同的方式計(jì)算分?jǐn)?shù)，但可以取不同的 α 值。

將實(shí)體和關(guān)系預(yù)測都視為多標(biāo)簽學(xué)習(xí)問題，并將它們一起訓(xùn)練。因此，包含實(shí)體預(yù)測損失 L^e 和關(guān)系預(yù)測損失 L^r 的總損失函數(shù)為

（20）其中： ?p（o|s，r，t） 和 p（r|s，o，t） 是實(shí)體和關(guān)系預(yù)測的最終概率分?jǐn)?shù) y_t^e∈R^|ε| 和 y_t^r∈R^|R| 是兩個任務(wù)的標(biāo)簽向量，如果事實(shí)發(fā)生，則元素為1，否則為 0 O

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)選取了ICEWS18、WIKI、YAGO和GDELT數(shù)據(jù)集來評估LGHP-HKF模型在實(shí)體預(yù)測和關(guān)系預(yù)測任務(wù)上的表現(xiàn)。ICEWS18數(shù)據(jù)集[24]包含了大量的時序事實(shí)，這些事實(shí)描述了全球范圍內(nèi)的重要事件和活動，涵蓋了多個領(lǐng)域。特點(diǎn)在于它提供了豐富的時間信息和實(shí)體間的關(guān)系。WIKI數(shù)據(jù)集[25]是一個自由開放的知識庫，支持自由協(xié)作編輯和多語言，其內(nèi)容都是結(jié)構(gòu)化的信息，包含了從維基百科中提取的文本數(shù)據(jù)的集合。YAGO數(shù)據(jù)集[2]通過整合不同數(shù)據(jù)源的信息，提供了一個豐富且結(jié)構(gòu)化的知識庫，并且人工審核，準(zhǔn)確率在 95% 以上，同時考慮了時間和空間知識，為很多知識條目增加了時間和空間維度的屬性描述。GDELT數(shù)據(jù)集[27]是一個實(shí)時監(jiān)控全球新聞媒體報(bào)道的數(shù)據(jù)庫，收集了來自世界各地幾乎每個國家的新聞報(bào)道，包括印刷、廣播和Web形式的新聞媒體，主要包含事件數(shù)據(jù)庫和全球知識圖譜，記錄了從1969年至今的新聞，并每十五分鐘更新一次數(shù)據(jù)。

所有數(shù)據(jù)集中的事實(shí)四元組均依據(jù)時間順序進(jìn)行排序，并隨后按比例被劃分為訓(xùn)練集（ 80% ）、驗(yàn)證集（ 10% ）和測試集（ 10% ）。最終實(shí)驗(yàn)所用數(shù)據(jù)集的詳細(xì)信息如表1所示。

3.2 評價指標(biāo)

對于每一組參與測試的四元組 （s，r，o，t） ，首先將預(yù)測位置的實(shí)體替換成實(shí)體集中的每一個元素，并根據(jù)評分函數(shù)計(jì)算每一個四元組的得分。在獲取到所有得分后，將四元組按照得分順序的升序進(jìn)行排列獲取得分表，并且獲取到正確的四元組的位置，根據(jù)位置排序 rank_i 常用評估指標(biāo)有：

a）MRR（meanreciprocalrank）：平均倒數(shù)排名將搜索結(jié)果按照準(zhǔn)確程度排名，并將排名的倒數(shù)賦予搜索結(jié)果作為準(zhǔn)確度評分。MRR的值越大，模型預(yù)測效果越好。計(jì)算公式為

其中：1SI為整個實(shí)驗(yàn)數(shù)據(jù)集中所包含四元組事實(shí)的個數(shù)。

b） hits@k ：在知識圖譜補(bǔ)全任務(wù)的結(jié)果中，正確的預(yù)測在前 k 名的事實(shí)數(shù)目，由此推算正確事實(shí)所占的百分比。常見的有 hits@1，hits@3 和 hits（a）10 ，即預(yù)測正確四元組排名第一、第三和第十所占的百分比。hits值越大，模型效果越好。計(jì)算公式為

3.3 實(shí)驗(yàn)設(shè)置

對于4個數(shù)據(jù)集，嵌人維度 d 設(shè)置為 200 ?；谝痪S卷積的GCN層數(shù)設(shè)置為2，每層的丟棄率設(shè)置為 0.2 ICEWS18、WIKI、YAGO和GDELT數(shù)據(jù)集最優(yōu)局部歷史長度 ?_m 分別設(shè)置為 ^{10，2，1} 和7。對于時間引導(dǎo)解碼器，通道數(shù)設(shè)置為50，內(nèi)核大小設(shè)置為 4×3 。 α 值從0.1到0.9進(jìn)行嘗試，最終選擇0.3作為所有數(shù)據(jù)集的全局權(quán)重。使用Adam進(jìn)行參數(shù)學(xué)習(xí)，學(xué)習(xí)率設(shè)為0.001，批大小設(shè)置為1024，訓(xùn)練epoch限制為30。

3.4實(shí)驗(yàn)結(jié)果與分析

為了評估提出模型性能，將LGH-HKF與基線模型在四個數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)體預(yù)測任務(wù)的結(jié)果如表2和3所示。

在四個基準(zhǔn)數(shù)據(jù)集測試中，LGH-HKF持續(xù)展現(xiàn)出優(yōu)于所有基線模型的優(yōu)勢。具體而言，在ICEWS18和WIKI數(shù)據(jù)集上，相較于CyGNet，MRR指標(biāo)提升了7.34百分點(diǎn)和23.87百分點(diǎn)，為了更好地對比，選取 K=10 Hits（a 10 指標(biāo)提升了7.37百分點(diǎn)和8.43百分點(diǎn)。因?yàn)長GH-HKF不僅考慮了全局范圍內(nèi)的歷史重復(fù)事實(shí)，還關(guān)注了相鄰時間戳上的事實(shí)以及事實(shí)的周期性特征。盡管RGCRN、RE-NET、TANGO、xERTE和RE-GCN等模型通過考慮相鄰時間戳的事實(shí)，在實(shí)驗(yàn)中也展現(xiàn)出了強(qiáng)勁的表現(xiàn)。但相較于以上模型，LGH-HKF在ICEWS18數(shù)據(jù)集上，MRR指標(biāo)提升了 1.79～6.34 百分點(diǎn)，在WIKI數(shù)據(jù)集上，MRR指標(biāo)提升了4.12＼～29.61百分點(diǎn)，因?yàn)長GH-HKF憑借基于一維卷積的GCN和雙重遞歸機(jī)制，能夠捕獲更為全面豐富的結(jié)構(gòu)特征與歷史依賴性，從而在這些僅捕捉單一歷史特征的模型之上更進(jìn)一步。

TITer模型則因采用基于強(qiáng)化學(xué)習(xí)的歷史事實(shí)搜索策略，在YAGO數(shù)據(jù)集上取得了良好表現(xiàn)，MRR指標(biāo)為 87.74% ，LGH-HKF相比之下只提升了0.49百分點(diǎn)。該策略尤其適用于時間戳和事實(shí)數(shù)量較少的數(shù)據(jù)集。然而，面對包含大量時間戳的數(shù)據(jù)集時，如GDELT數(shù)據(jù)集，TITer的性能會下滑，MRR指標(biāo)最低，只為 18.46% ，原因在于它難以對龐大的搜索空間進(jìn)行有效建模。相比之下，LGH-HKF模型MRR指標(biāo)最高，為21.95% ，因?yàn)長GH-HKF僅需獲取記錄全局事實(shí)發(fā)生的候選實(shí)體和關(guān)系集合，無須擔(dān)心復(fù)雜性過高的問題，所以對不同類型的數(shù)據(jù)集展現(xiàn)出了更廣泛的適用性。

如表2和3所示，在具有大量時間戳的GDELT數(shù)據(jù)集上，LGH-HKF顯著提升了性能表現(xiàn)，從而驗(yàn)證了雙循環(huán)網(wǎng)絡(luò)在捕捉較長時段內(nèi)的局部歷史依賴關(guān)系方面的有效性。進(jìn)一步地，在處理ICEWS18、WIKI和GDELT等富含事實(shí)信息的數(shù)據(jù)集上，LGH-HKF的優(yōu)越效果尤為突出，表明當(dāng)歷史信息豐富時，考慮多樣化的歷史特征變得尤為重要。

由于部分模型并不適用于關(guān)系預(yù)測任務(wù)，所以選擇了適用于關(guān)系預(yù)測的模型。如表4所示，LGH-HKF的性能在所有基線模型中脫穎而出，相較于RE-GCN，在ICEWS18、WIKI、YAGO和GDELT數(shù)據(jù)集上，MRR指標(biāo)分別提升了1.68、0.54、1.36和3.3百分點(diǎn)。LGH-HKF在關(guān)系較少的數(shù)據(jù)集上提升幅度有限，因其關(guān)系稀疏性，很容易實(shí)現(xiàn)高性能。在關(guān)系更為豐富的GDELT數(shù)據(jù)集上，LGH-HKF的性能提升較顯著。綜合以上，再次證實(shí)了考慮多樣化的歷史特征對TKG的補(bǔ)全有很大的幫助。

3.5 消融實(shí)驗(yàn)

為了深入探究各模型組件在捕捉特定歷史特征方面的有效性，進(jìn)行了消融研究。在此研究中，定義了以下組件：局部循環(huán)編碼器（LRE），用于捕捉鄰近信息；全局歷史編碼器（GHE），負(fù)責(zé)全局歷史視角；知識頻率學(xué)習(xí)模塊（FRE），專注于頻率特征；以及周期時間解碼器（CTD），針對周期性事件進(jìn)行解碼。如表5所示，局部循環(huán)編碼器（LRE）對模型性能的提升最為顯著，凸顯了相鄰歷史事實(shí)在預(yù)測中的核心作用。全局歷史編碼器（GHE）在所有數(shù)據(jù)集上均展現(xiàn)出一致的影響，表明了其在預(yù)測過程中不可或缺的角色，避免信息遺漏的重要性。此外，當(dāng)全局歷史編碼器（GHE）結(jié)合頻率特征（ GHE+ FRE）而非單獨(dú)使用時，其性能有所提升。至于周期時間解碼器（CTD），鑒于周期性事件在數(shù)據(jù)集中的特殊性，它雖未顯著提升整體性能，但也未對非周期性事件造成負(fù)面影響。綜上所述，這些發(fā)現(xiàn)進(jìn)一步表明，不同的歷史特征都有助于預(yù)測。

3.6 實(shí)例分析

為了更好地了解LGH-HKF的推理過程，選取ICEWS18數(shù)據(jù)集中的歷史事實(shí)進(jìn)行實(shí)例分析。例如，如圖3所示，預(yù)測查詢（美國，實(shí)施制裁，？，2013-11-7），實(shí)驗(yàn)得到一系列與查詢相關(guān)的局部相鄰歷史事實(shí)和全局歷史事實(shí)，綠色箭頭表示局部相鄰時間戳上的歷史事實(shí)，藍(lán)色箭頭表示在全局時間戳上重復(fù)和周期性的歷史事實(shí)（見電子版）。在2013年11月7日前附近相關(guān)的局部事實(shí)國家包括2013年11月4日受到制裁的伊朗以及2013年11月1日遣責(zé)美國的蘇丹。在相關(guān)的全局事實(shí)中，美國對8個國家實(shí)施了制裁，其中對伊朗實(shí)施制裁46次，對蘇丹實(shí)施制裁8次。如果同時考慮局部相鄰歷史事實(shí)和全局歷史事實(shí)，可以將示例查詢的預(yù)測結(jié)果范圍縮小到伊朗和蘇丹這兩個國家。此外，研究發(fā)現(xiàn)，2009一2012年，美國每年都在11月左右對蘇丹實(shí)施制裁。同時考慮周期性和其他兩種歷史模式，預(yù)測結(jié)果更有可能是蘇丹，事實(shí)也確實(shí)如此。

4結(jié)束語

本文介紹了時態(tài)知識圖譜的推理模型LGH-HKF，該模型通過多維度地捕獲歷史事實(shí)的多個特征來學(xué)習(xí)實(shí)體和關(guān)系的表示。將捕獲局部歷史結(jié)構(gòu)依賴性的局部編碼器、捕獲全局重復(fù)歷史模式的全局編碼器與歷史知識頻率學(xué)習(xí)模塊結(jié)合起來，通過具有周期性的時間引導(dǎo)解碼器進(jìn)行推理。在四個基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，LGH-HKG在時間相關(guān)實(shí)體與關(guān)系的預(yù)測任務(wù)中具有顯著的優(yōu)勢和有效性。此外，消融實(shí)驗(yàn)分析表明，這些歷史事實(shí)特征在提升時序知識圖譜推理性能方面起著至關(guān)重要的作用。在下一步工作中，TKG由于構(gòu)建工具和數(shù)據(jù)源的限制，多數(shù)歷史事實(shí)不完備，忽略了歷史事實(shí)之間的潛在語義關(guān)聯(lián)，所以設(shè)計(jì)一種用于TKG推理的潛在關(guān)系學(xué)習(xí)方法是下一步研究重點(diǎn)。

參考文獻(xiàn)：

[1］馬浩凱，祁云嵩，吳宇斌．解糾纏鄰域信息聚合的知識圖譜補(bǔ)全 方法［J]．計(jì)算機(jī)應(yīng)用研究，2024，41（3）：772-778.（MaHaokai，Qi Yunsong，Wu Yubin.Knowledge graph completion method for disentangled neighborhood information aggregation[J].Application Research of Computers，2024，41（3）：772-778.）

[2]肖蕾，李琪．時序知識圖譜補(bǔ)全方法研究綜述［J]．計(jì)算機(jī)工程 與應(yīng)用，2024，60（6）：43-54.（Xiao Lei，LiQi.Survey of temporal knowledge graph completion methods[J].Computer Engineering and Applications，2024，60（6）：43-54.）

[3]沈英漢，江旭暉，王元卓，等．時態(tài)知識圖譜的推理研究綜述 [J]．計(jì)算機(jī)學(xué)報(bào)，2023，46（6）：1272-1301．（ShenYinghan， JiangXuhui，WangYuanzhuo，etal.Asurveyof temporalknowledge graph reasoning[J]．Chinese Journal of Computers，2023，46 （6）： 1272-1301.）

[4]李忠良，陳麒，石琳，等．時間感知組合的動態(tài)知識圖譜補(bǔ)全 [J]．浙江大學(xué)學(xué)報(bào)：工學(xué)版，2024，58（8）：1738-1747.（Li Zhongliang，ChenQi，Shi Lin，et al.Dynamic knowledge graph completion of temporal aware combination [J].Journal of Zhejiang University：Engineering Science，2024，58（8）：1738-1747.）

[5]王俞涵，陳子陽，趙翔，等．時序知識圖譜表示與推理的研究進(jìn) 展與趨勢[J]．軟件學(xué)報(bào)，2024，35（8）：3923-3951.（Wang Yuhan，Chen Ziyang，Zhao Xiang，et al.Research progress and trend of temporal knowledge graph representation and reasoning[J]. Journal of Software，2024，35（8）： 3923-3951.）

[6]Jiang Tingsong，Liu Tianyu，Ge Tao，et al. Towards time-aware knowledge graph completion[C]// Proc of the 26th International Conference on Computational Linguistics：Technical Papers.Stroudsburg，PA：Association for Computational Linguistics，2O16：1715- 1724.

[7]BordesA，Usunier N，Garcia-DuránA，etal.Translatingembeddings for modeling multi-relational data[C]//Proc of the27th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran AssociatesInc.，2013：2787-2795.

[8]Goel R，Kazemi SM，Brubaker M ，et al.Diachronic embedding for temporal knowledge graph completion[C]// Proc of AAAI Conferenceon Artificial Intelligence.Palo Alto，CA：AAAIPress，2020： 3988-3995.

[9]Sadeghian A，Armandpour M，Colas A，et al.ChronoR：rotation based temporal knowledge graph embedding[C]// Proc of AAAI Conference on Artificial IntellgencePalo Alto，CA： AAAI Press， 2021：6471-6479.

[10]TrivediRS，Dai Hanjun，Wang Yichen，etal.Know-Evolve：deep temporal reasoning Ior dynamic knowledge graphs[U」// Proc ot the 34th International Conference on Machine Learning.[S.1.]：JMLR. org，2008：3462-3471.

[11]TrivediR，F(xiàn)arajtabarM，BiswalP，etal.DyREP：learningrepresentations over dynamic graphs[C]//Proc of International Conference on Learning Representations.2019：1-25.

[12]Deng S，Rangwala H，Ning Yue，et al.Dynamic knowledge graph based multi-event forecasting[C]//Proc ofthe 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press，2020：1585-1595.

[13]JinW，Qu Meng，JinXisen，etal.Recurrent event network：autoregressive structure inference over temporal knowledge graphs [C]// Proc of Conference on Empirical Methodsin Natural Language Processing. Stroudsburg，PA：Association for Computational Linguistics， 2020： 6669-6683.

[14]Han Zhen，Ding Zifeng，Ma Yunpu，et al. Learning neural ordinary equations for forecasting future links on temporal knowledge graphs [C]//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2021：8352-8364.

[15]Han Zhen，ChenPeng，Ma Yunpu，etal.Explainable subgraph reasoning for forecasting on temporal knowledge graphs[C]// Proc of International Conference on Learning Representations.2O21：1-24.

[16]Li Zixuan，Jin Xiaolong，Guan Saiping，et al.Search from history and reason for future：two-stage reasoning on temporal knowledge graphs[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguisticsand the11th International Joint Conference on Natural Language Processing. Stroudsburg，PA;Association for Computational Linguistics，2021：4732-4743.

[17]Sun Haohai，Zhong Jialun，Ma Yunpu，et al.TimeTraveler：reinforcement learning for temporal knowledge graph forecasting[C]// Procof Conference on Empirical Methodsin Natural Language Processing. Stroudsburg，PA：Association for Computational Linguistics， 2021：8306-8319.

[18] Zhu Cunchao，Chen Muhao，F(xiàn)an Changjun，et al.Learning from history：modeling temporal knowledge graphs with sequential copygeneration networks[C]//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2021：4732-4740.

[19」Li Zixuan，Jin Xiaolong，Li Wei，et al.Temporal knowledge graph reasoningbased on evolutional representation learning[C]//Proc of the 44th International ACM SIGIR Conference on Research and Development inInformation Retrieval.New York：ACMPress，2O21：408-417.

[20]Liu Wei，Wang Peijie，Zhang Zhihui，et al.Multi-scale convolutional neural network for temporal knowledge graph completion[J].Cognitive Computation，2023，15（3）：1016-1022.

[21]Zhao Xuechen，Miao Jinfeng，Yang Fuqiang，et al.Geometry interaction embeddings for interpolation temporal knowledge graph completion[J].Mathematics，2024，12（13）：2022.

[22]Li Yujia，Sun Shiliang，Zhao Jing. TiRGN：time-guided recurrent graph network with local-global historical patterns for temporal knowledge graph reasoning[C]//Proc of the 31st International Joint Conference on Artificial Inteligence.International Joint Conferenceson Artificial Intelligence Organization.2022：2152-2158.

[23]Liang Ke，Meng Lingyuan，Liu Meng，et al.Learn fromrelational correlations and periodic events for temporal knowledge graph reasoning[C]//Proc of the 46th International ACM SIGIR Conference on Researchand DevelopmentinInformationRetrieval.New York：ACM Press，2023：1559-1568.

[24]Wu Jiapeng，Xu Yishi， Zhang Yingxue，et al. TIE：a framework for embedding-based incremental temporal knowledge graph completion [C]//Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2021：428-437.

[25]Gao Yifu，He Yongquan，Kan Zhigang，et al.Learning joint structural and temporal contextualized knowledge embeddings for temporal knowledge graph completion[C]//Proc of Findings of the Association for Computational Linguistics. Stroudsburg，PA：Association for Computational Linguistics，2023：417-430.

[26]Zhang Mengqi，Xia Yuwei，Liu Qiang，et al.Learning latent relations for temporal knowledge graph reasoning[C]//Proc of the 61st Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA：Association for Computational Linguistics，2023： 12617-12631.

[27]Wang Ruijie，Li Zheng，Sun Dachun，et al.Learning to sample and aggregate： few-shot reasoning over temporal knowledge graphs [J]. Advances in Neural Information Processing Systems，2022， 35：16863-16876.