基于元路徑的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)

劉 群，譚洪勝，張優(yōu)敏，王國(guó)胤

（重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065）

1 引言

網(wǎng)絡(luò)表示學(xué)習(xí)在保留網(wǎng)絡(luò)結(jié)構(gòu)和語(yǔ)義信息的同時(shí)，將網(wǎng)絡(luò)中的節(jié)點(diǎn)表示成低維向量，以提升圖挖掘后續(xù)任務(wù)的性能，如節(jié)點(diǎn)分類［1］、聚類［2］等.現(xiàn)有大多數(shù)網(wǎng)絡(luò)表示學(xué)習(xí)方法是為靜態(tài)網(wǎng)絡(luò)設(shè)計(jì).文獻(xiàn)［3～5］通過(guò)特定的游走策略得到節(jié)點(diǎn)的節(jié)點(diǎn)序列，然后將其輸入到自然語(yǔ)言模型Skip-gram［6］中，學(xué)習(xí)到節(jié)點(diǎn)的向量表示.LINE［7］保留了節(jié)點(diǎn)的一階和二階相似性進(jìn)行概率建模，通過(guò)負(fù)采樣算法提升了在大規(guī)模網(wǎng)絡(luò)上學(xué)習(xí)節(jié)點(diǎn)表示的效率.算法SDNE［8］采用深度學(xué)習(xí)的方法也取得了較好的效果.隨著圖神經(jīng)網(wǎng)絡(luò)［9］（Graph Neural Network，GNN）的廣泛應(yīng)用，很多網(wǎng)絡(luò)表示學(xué)習(xí)方法［10～13］聚合鄰居節(jié)點(diǎn)信息和節(jié)點(diǎn)本身的屬性信息，以提升節(jié)點(diǎn)向量表示質(zhì)量.但是上述方法忽略了網(wǎng)絡(luò)空間信息（拓?fù)浣Y(jié)構(gòu)和屬性）隨時(shí)間變化的特點(diǎn)，而只是簡(jiǎn)單地將不同時(shí)間對(duì)應(yīng)的空間壓縮在一起.

由于網(wǎng)絡(luò)是隨時(shí)間不斷變化的，前一秒沒(méi)有關(guān)系的兩個(gè)節(jié)點(diǎn)可能會(huì)在下一秒關(guān)聯(lián)，而節(jié)點(diǎn)之間邊的建立也改變了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu).因此，只考慮靜態(tài)的處理方式不符合網(wǎng)絡(luò)實(shí)際的演化規(guī)律.早期的動(dòng)態(tài)同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)結(jié)合網(wǎng)絡(luò)演化特點(diǎn)，通過(guò)快照的方式獲得網(wǎng)絡(luò)在不同時(shí)間上的動(dòng)態(tài)演化信息［14，15］.不同于上述基于快照的模型，CTDNE［16］設(shè)計(jì)了能捕獲網(wǎng)絡(luò)時(shí)間信息的游走序列，可以更細(xì)粒度地捕捉網(wǎng)絡(luò)中重要信息.M2DNE［17］從微觀動(dòng)力學(xué)和宏觀動(dòng)力學(xué)兩個(gè)角度很好地模擬了網(wǎng)絡(luò)演化過(guò)程.動(dòng)態(tài)同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)未考慮網(wǎng)絡(luò)節(jié)點(diǎn)和邊的差異，如果將其直接應(yīng)用于動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)中，將不可避免地丟失語(yǔ)義信息.目前，典型的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法［18～20］，使用快照對(duì)空間（結(jié)構(gòu)）進(jìn)行劃分，前提是要確保空間子圖之間的平滑演化（節(jié)點(diǎn)和邊微小變化）.但是，在真實(shí)網(wǎng)絡(luò)中（例如學(xué)術(shù)網(wǎng)絡(luò)），子圖之間的節(jié)點(diǎn)和邊存在巨大差異，基于快照的劃分方式會(huì)將交互的時(shí)間戳刪除，不僅導(dǎo)致網(wǎng)絡(luò)的形成過(guò)程變得未知，還將導(dǎo)致空間子圖之間的相關(guān)性變低.

為了解決現(xiàn)有方法的不足，本文提出了一種基于元路徑的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法DHNR，主要貢獻(xiàn)有以下幾點(diǎn).（1）為捕獲更精細(xì)的語(yǔ)義，提出了時(shí)間加權(quán)元路徑對(duì)耦合的時(shí)空結(jié)構(gòu)進(jìn)行劃分.通過(guò)對(duì)時(shí)間進(jìn)行編碼，把每一條元路徑對(duì)應(yīng)的時(shí)間信息編碼到元路徑序列里.（2）不同于大部分元路徑處理方法，DHNR通過(guò)設(shè)計(jì)門控循環(huán)單元（Gated Recurrent Unit Network，GRU）將每條元路徑序列中的所有鄰居節(jié)點(diǎn)屬性和信息都聚合到節(jié)點(diǎn)序列中，而不是僅僅保留兩個(gè)末端節(jié)點(diǎn)的結(jié)構(gòu)信息，從而保證盡量完整地捕獲節(jié)點(diǎn)的上下文語(yǔ)義.（3）拓展了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），設(shè)計(jì)了帶注意力機(jī)制的雙向門控循環(huán)單元（Bi-directional Gated Recurrent Unit Network，Bi-GRU），對(duì)不同時(shí)間的元路徑序列按照重要性進(jìn)行權(quán)重分配，進(jìn)而完成聚合.（4）三個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)證明了本文模型優(yōu)于其他基線模型.在節(jié)點(diǎn)分類任務(wù)中，Micro-F1 平均提高了1.09%～3.72%，節(jié)點(diǎn)聚類任務(wù)的ARI值提高了3.23%～14.49%.同時(shí)在對(duì)網(wǎng)絡(luò)動(dòng)態(tài)特性捕獲和消融分析實(shí)驗(yàn)上，也證明了本文模型的有效性.

2 相關(guān)定義

定義1 動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)可以形式化表示為G=(V，E，T)，其中V表示節(jié)點(diǎn)集合，E表示連邊集合，T表示邊上時(shí)間集合.網(wǎng)絡(luò)中節(jié)點(diǎn)和節(jié)點(diǎn)類型間的映射函數(shù)為φ：V→A，邊和邊類型間的映射函數(shù)為ψ：E→R.其中A和R 表示節(jié)點(diǎn)類型和邊類型，動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)中|A|+|R| ≥2.每條邊(i，j，t) ∈E表示t時(shí)刻節(jié)點(diǎn)i連接到節(jié)點(diǎn)j.

定義2 元路徑［21］一條元路徑Φ 可以表示為（縮寫(xiě)為A1A2…Am+1）.r=r1?r2?… ?rm定義了Ai和Am+1之間的復(fù)合關(guān)系，?表示Ai和Aj之間關(guān)系的復(fù)合操作符.

圖1 給出了學(xué)術(shù)網(wǎng)絡(luò)的示意圖.該網(wǎng)絡(luò)包含t1，t2兩個(gè)時(shí)間點(diǎn)對(duì)應(yīng)的空間.在t1時(shí)，A1、A2、A3、A4四位作者在C1，C2兩個(gè)會(huì)議上發(fā)表了三篇論文P1、P3、P4；在t2時(shí)，A1、A2和A3三位作者在會(huì)議C1上再次合作發(fā)表了論文P2.傳統(tǒng)的基于元路徑的方法由于忽略網(wǎng)絡(luò)中的時(shí)間因素，容易導(dǎo)致一條元路徑序列上的節(jié)點(diǎn)間存在空間（結(jié)構(gòu)）耦合.例如，在元路徑APCPA 引導(dǎo)下，捕獲到這樣跨時(shí)間的節(jié)點(diǎn)序列.該序列耦合了兩個(gè)時(shí)間點(diǎn)下不同的結(jié)構(gòu)空間，無(wú)法學(xué)習(xí)到序列里面的時(shí)間信息，同時(shí)也無(wú)法保證語(yǔ)義的準(zhǔn)確性.根據(jù)網(wǎng)絡(luò)平滑演變假設(shè)［7］可知，間隔越近，其對(duì)應(yīng)的空間信息也會(huì)越相似，其中的微妙變化只有對(duì)元路徑考慮時(shí)間才能精細(xì)捕獲.為了解決此問(wèn)題，本文提出了時(shí)間加權(quán)元路徑.

圖1 動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)示例

3 基于元路徑的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示

本文提出的基于元路徑的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)模型框架如圖2所示，該模型由三部分構(gòu)成：空間劃分，鄰域信息聚合，時(shí)序信息集成.空間劃分模塊根據(jù)時(shí)間將每個(gè)節(jié)點(diǎn)的結(jié)構(gòu)鄰域劃分為不同時(shí)間下的時(shí)間加權(quán)元路徑序列.通過(guò)GRU 模型和相對(duì)時(shí)間編碼，鄰域信息融合模塊能夠盡量保留網(wǎng)絡(luò)的完整語(yǔ)義和時(shí)間信息.最后時(shí)序信息集成模塊使用帶注意力機(jī)制的Bi-GRU模型進(jìn)行過(guò)濾篩選.

圖2 模型框架示意圖

3.1 空間劃分

DHNR 采用時(shí)間加權(quán)元路徑為節(jié)點(diǎn)采樣鄰居序列.圖3 說(shuō)明了將網(wǎng)絡(luò)通過(guò)時(shí)間加權(quán)元路徑劃分后，獲得不同時(shí)間值下多條時(shí)間加權(quán)元路徑序列的過(guò)程.例如，給定一個(gè)節(jié)點(diǎn)類型為A1=φ(n0)的節(jié)點(diǎn)，在時(shí)間加權(quán)元路徑的引導(dǎo)下，首先采樣在t1時(shí)與節(jié)點(diǎn)n0建立r1類型邊的鄰居節(jié)點(diǎn)n1，然后采樣在t1時(shí)與節(jié)點(diǎn)n1建立r2類型邊的鄰居節(jié)點(diǎn)n2，如此重復(fù)，直至采樣與nm在時(shí)間t1建立rm類型邊的鄰居節(jié)點(diǎn)nm+1.最后獲得節(jié)點(diǎn)n0在時(shí)間屬性值為t1的一條時(shí)間加權(quán)元路徑序列.通過(guò)設(shè)置不同的時(shí)間加權(quán)元路徑的時(shí)間值，可以將網(wǎng)絡(luò)耦合的空間進(jìn)行有效劃分.

圖3 空間劃分過(guò)程

3.2 鄰域信息聚合

為了捕獲節(jié)點(diǎn)的語(yǔ)義信息，DHNR將每個(gè)節(jié)點(diǎn)的不同時(shí)間加權(quán)元路徑信息分別進(jìn)行聚合，如圖4 所示.以節(jié)點(diǎn)n0為例，給定一條由時(shí)間加權(quán)元路徑提取的n0的時(shí)間加權(quán)元路徑序列，以及該序列上每個(gè)節(jié)點(diǎn)的初始特征向量xi∈Rd（d表示初始特征向量維數(shù)）.將n0的時(shí)間加權(quán)元路徑序列中所有鄰居信息及其自身信息聚合起來(lái)，形成一個(gè)初始的向量表示.

圖4 鄰域信息聚合

傳播過(guò)程中的鄰居信息可以視為序列輸入，而GNN 不能處理序列數(shù)據(jù)，所以DHNR 模型引入了GRU構(gòu)造的傳播模塊，將節(jié)點(diǎn)n0本身特征x0及其鄰域信息編碼成特定時(shí)間特定語(yǔ)義下的向量，st表示序列語(yǔ)義為s，時(shí)間值為t的序列.

由于節(jié)點(diǎn)的異質(zhì)性，不同類型的節(jié)點(diǎn)具有不同的特征空間.對(duì)每種類型的節(jié)點(diǎn)設(shè)計(jì)特定類型的變換矩陣（例如節(jié)點(diǎn)類型為φi的變換矩陣為），以此將不同類型節(jié)點(diǎn)的特征投影到相同的特征空間中.轉(zhuǎn)換過(guò)程如下：

其中xi和分別是節(jié)點(diǎn)ni的原始特征和投影特征.通過(guò)式（1）的投影操作，GRU 傳播模塊可以處理序列中任意類型的節(jié)點(diǎn).傳播模塊在時(shí)間加權(quán)元路徑序列上的基本遞歸過(guò)程如下：

3.3 時(shí)序信息集成

為了捕獲更多的語(yǔ)義信息，同時(shí)學(xué)習(xí)的網(wǎng)絡(luò)演化規(guī)律，DHNR 將所有序列的特征向量進(jìn)行融合，形成節(jié)點(diǎn)的最終表示.DHNR 拓展了已有的RNN 模型，運(yùn)用帶注意力機(jī)制的Bi-GRU 進(jìn)行深層次信息交互，為不同時(shí)間元路徑序列下的節(jié)點(diǎn)表示向量分配不同權(quán)重，再聚合得到節(jié)點(diǎn)的最終表示向量.

由于鄰域信息聚合的是每個(gè)時(shí)間加權(quán)元路徑上的鄰域節(jié)點(diǎn)信息，考慮到節(jié)點(diǎn)的演化規(guī)律需要結(jié)合節(jié)點(diǎn)在不同時(shí)空結(jié)構(gòu)下的語(yǔ)義特征信息，DHNR 使用Bi-GRU 來(lái)交互不同時(shí)間下的特征信息，以此來(lái)模擬網(wǎng)絡(luò)的演化.其公式為：

其中{o1，o2，…，og}是Bi-GRU 的狀態(tài)向量序列集合，g為節(jié)點(diǎn)采樣的序列數(shù).傳統(tǒng)方法直接拼接這些狀態(tài)向量作為節(jié)點(diǎn)的最終向量表示，這種處理方式無(wú)法關(guān)注到重要特征.本文模型引用注意力機(jī)制對(duì)特征向量進(jìn)行權(quán)重設(shè)計(jì)，注意力權(quán)重αi的計(jì)算公式如下：

αi越高，oi則越重要.LeakyReLU為激活函數(shù)，為注意力參數(shù)，則節(jié)點(diǎn)n0的所有狀態(tài)特征聚合得到的節(jié)點(diǎn)最終向量表示為：

u0∈Rd'是節(jié)點(diǎn)n0的最終向量表示.在節(jié)點(diǎn)最終表示向量的生成過(guò)程中，采用了最小化所有標(biāo)記節(jié)點(diǎn)的真實(shí)值和預(yù)測(cè)值的交叉熵作為損失函數(shù)：

其中Yl是節(jié)點(diǎn)真實(shí)標(biāo)簽集合.yl和表示節(jié)點(diǎn)標(biāo)簽真實(shí)值和節(jié)點(diǎn)標(biāo)簽預(yù)測(cè)值.DHNR算法如下.

3.4 復(fù)雜度分析

DHNR 模型為三個(gè)模塊構(gòu)成.若網(wǎng)絡(luò)中有N個(gè)節(jié)點(diǎn)，則三個(gè)模塊分別對(duì)應(yīng)的時(shí)間復(fù)雜度分析如下：空間劃分模塊的時(shí)間為Nl，其中每個(gè)節(jié)點(diǎn)采樣時(shí)間為l=w1f1+w2f2+……+wk fk，每條時(shí)間加權(quán)元路徑序列節(jié)點(diǎn)數(shù)為fi(i=1，…，k)，k為元路徑類型數(shù)，wi(i=1，…，k)表示每種類型元路徑的數(shù)量，則每個(gè)節(jié)點(diǎn)采樣的序列數(shù)為g=w1+w2+……+wk；鄰域信息聚合模塊的時(shí)間為N(7ld2+3ld+3gd2)，其中d為向量維度；時(shí)序信息集成模塊的時(shí)間為Ng(12d2+10d+1).由于d、g、l都為很小的常數(shù)，最終DHNR的時(shí)間復(fù)雜度為O(N).

4 實(shí)驗(yàn)分析

為了驗(yàn)證DHNR 模型的性能，針對(duì)三種典型的網(wǎng)絡(luò)挖掘任務(wù)，與不同基線模型進(jìn)行了對(duì)比，同時(shí)也對(duì)DHNR模型捕獲網(wǎng)絡(luò)動(dòng)態(tài)性的能力做了驗(yàn)證測(cè)試.

4.1 數(shù)據(jù)集

AMiner①https://www.aminer.cn/data和DBLP②https://dblp.uni-trier.de是廣泛用于異質(zhì)網(wǎng)絡(luò)研究的兩個(gè)數(shù)據(jù)集.DBLP-4 是從DBLP 中抽取生成的一個(gè)公開(kāi)數(shù)據(jù)集.為了更充分地進(jìn)行對(duì)比，本文對(duì)DBLP 數(shù)據(jù)集抽取生成了數(shù)據(jù)子集DBLP-10.表1歸納了三個(gè)數(shù)據(jù)集的統(tǒng)計(jì)特征.

表1 數(shù)據(jù)集描述

（1）AMiner：是一個(gè)學(xué)術(shù)網(wǎng)絡(luò)數(shù)據(jù)集，實(shí)驗(yàn)抽取了從1990 年到2005 年且作者在其中五個(gè)領(lǐng)域研究方向有變化的子集.對(duì)于每位在這五個(gè)領(lǐng)域發(fā)表文章的作者，其標(biāo)簽與其主要研究領(lǐng)域相符.

（2）DBLP-4：是一個(gè)計(jì)算機(jī)科學(xué)的學(xué)術(shù)網(wǎng)絡(luò)，包含四類節(jié)點(diǎn)，根據(jù)作者的研究方向?qū)⑵浞譃樗膫€(gè)領(lǐng)域.

（3）DBLP-10：該數(shù)據(jù)集包含從2008年到2013年10個(gè)研究領(lǐng)域發(fā)表的文章，標(biāo)簽是根據(jù)文章被發(fā)表的會(huì)議或者期刊所屬領(lǐng)域進(jìn)行標(biāo)記.

4.2 對(duì)比算法

將DHNR算法與以下基線算法進(jìn)行對(duì)比：

（1）DeepWalk［4］和GCN［13］：這是兩種靜態(tài)同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)模型.前者基于隨機(jī)游走生成序列，再學(xué)習(xí)節(jié)點(diǎn)表示，簡(jiǎn)寫(xiě)為DeW.后者為圖卷積神經(jīng)網(wǎng)絡(luò)，在實(shí)驗(yàn)對(duì)比中，測(cè)試了本文使用的所有元路徑，記錄其中的最佳結(jié)果.

（2）Metapath2vec［3］和HAN［10］：這是兩種靜態(tài)異質(zhì)網(wǎng)絡(luò)的表示學(xué)習(xí)方法，前者通過(guò)元路徑約束生成的序列來(lái)學(xué)習(xí)節(jié)點(diǎn)表示，簡(jiǎn)寫(xiě)為M2v.后者考慮了節(jié)點(diǎn)和語(yǔ)義級(jí)兩種注意力.本文實(shí)驗(yàn)中，HAN 元路徑的選擇和本文相同.

（3）M2DNE［17］：一種動(dòng)態(tài)同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法，用微觀動(dòng)力學(xué)和宏觀動(dòng)力學(xué)模擬網(wǎng)絡(luò)的演化.

（4）DHNE［18］和DyHATR［20］：都是基于快照的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示模型.DHNE 在歷史快照和當(dāng)前快照進(jìn)行元路徑約束游走，通過(guò)改進(jìn)的Skip-gram 模型學(xué)習(xí)動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)的節(jié)點(diǎn)表示.DyHATR 利用層次注意力來(lái)學(xué)習(xí)網(wǎng)絡(luò)的異質(zhì)性，并利用帶注意力機(jī)制的RNN 學(xué)習(xí)網(wǎng)絡(luò)演化過(guò)程.

（5）DHNRstu：本文模型DHNR 的變體，通過(guò)消除每條序列上的時(shí)間編碼，進(jìn)行消融實(shí)驗(yàn)對(duì)比.

實(shí)驗(yàn)過(guò)程中使用Par2vec［24］對(duì)節(jié)點(diǎn)的文本內(nèi)容進(jìn)行預(yù)訓(xùn)練，設(shè)置初始特征維數(shù)為128.在DHNR 模型中，節(jié)點(diǎn)隱藏層維度和最終表示維度都設(shè)置為128 維.使用Adam優(yōu)化器對(duì)參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.000 1.為了對(duì)比公平，其他基線模型的節(jié)點(diǎn)表示維度均設(shè)置為128 維，Deepwalk和Metapath2vec 設(shè)置其窗口大小參數(shù)5，其他超參數(shù)設(shè)置為各自論文中指定值.所有實(shí)驗(yàn)都重復(fù)10 次，取平均值作為最終實(shí)驗(yàn)結(jié)果.對(duì)比的靜態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)模型，實(shí)驗(yàn)中忽略了網(wǎng)絡(luò)中的時(shí)間屬性值.對(duì)比的動(dòng)態(tài)同質(zhì)表示學(xué)習(xí)模型，將所有節(jié)點(diǎn)和邊視為同一類.對(duì)比的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)算法，依據(jù)其思想，構(gòu)造了不同的時(shí)間快照進(jìn)行學(xué)習(xí).

4.3 節(jié)點(diǎn)分類

實(shí)驗(yàn)中，在AMiner和DBLP-4 數(shù)據(jù)集上是對(duì)作者節(jié)點(diǎn)類型進(jìn)行分類.在DBLP-10 數(shù)據(jù)集上，是對(duì)論文節(jié)點(diǎn)進(jìn)行分類.采用的分類算法是邏輯回歸分類模型.將DHNR 學(xué)習(xí)到的節(jié)點(diǎn)向量表示作為邏輯回歸分類器的輸入.實(shí)驗(yàn)過(guò)程中訓(xùn)練集的比例設(shè)置為20%，50%，80%.

表2 給出了以Micro-F1和Macro-F1 作為評(píng)價(jià)指標(biāo)的分類結(jié)果.從實(shí)驗(yàn)結(jié)果可以看出，DHNR 在三個(gè)數(shù)據(jù)集上的表現(xiàn)優(yōu)于所有的對(duì)比算法，證明了DHNR 學(xué)習(xí)的節(jié)點(diǎn)向量表示的有效性.在DBLP-4 數(shù)據(jù)集上，由于該數(shù)據(jù)集包含了關(guān)鍵詞等類型節(jié)點(diǎn)，使網(wǎng)絡(luò)中節(jié)點(diǎn)類型更加豐富，節(jié)點(diǎn)相互之間產(chǎn)生的邊也更多，語(yǔ)義信息也更豐富.因此要想獲得更多更準(zhǔn)確的語(yǔ)義信息，需要設(shè)計(jì)更多的元路徑.實(shí)驗(yàn)對(duì)比中，發(fā)現(xiàn)M2DNE 表現(xiàn)性能好于本文模型，分析原因其核心思想是計(jì)算鄰居節(jié)點(diǎn)間的相似性，較好地適用于邊豐富的網(wǎng)絡(luò).但是當(dāng)訓(xùn)練比例稍大一點(diǎn)，本文模型DHNR 表現(xiàn)更優(yōu).這說(shuō)明了DHNR不僅能獲得較豐富語(yǔ)義信息，還能獲得高階鄰居結(jié)構(gòu)信息.對(duì)比不同的動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)，DHNR也展現(xiàn)最佳性能，說(shuō)明DHNR 通過(guò)元路徑保留網(wǎng)絡(luò)語(yǔ)義和結(jié)構(gòu)信息同時(shí)，拓展的RNN 很好地歸納聚合了網(wǎng)絡(luò)演化信息，提升了網(wǎng)絡(luò)表示質(zhì)量.同時(shí)為了驗(yàn)證本文模型DHNR 不同模塊的有效性，與不考慮時(shí)間編碼的DHNRstu進(jìn)行了對(duì)比，可以看到，考慮了每個(gè)序列時(shí)間信息的DHNR，其分類性能有一定的提升.

表2 節(jié)點(diǎn)多分類結(jié)果

4.4 節(jié)點(diǎn)聚類

實(shí)驗(yàn)中利用KMeans 進(jìn)行節(jié)點(diǎn)聚類，簇?cái)?shù)K 設(shè)置為數(shù)據(jù)集本身的標(biāo)簽數(shù)目.采用標(biāo)準(zhǔn)化互信息（NMI）和調(diào)整蘭德系數(shù)（ARI）作為聚類評(píng)價(jià)指標(biāo).由于KMeans的性能受到初始質(zhì)心的影響，進(jìn)行了10次重復(fù)實(shí)驗(yàn)，最后實(shí)驗(yàn)結(jié)果取均值，表3給出了聚類的實(shí)驗(yàn)結(jié)果.

從表3可以看出，本文模型DHNR 在聚類任務(wù)上具有較優(yōu)的性能，比其他基線算法的蘭德系數(shù)（ARI）高出3.23%～14.49%.DHNR 區(qū)分了網(wǎng)絡(luò)中的時(shí)間和空間，結(jié)合了節(jié)點(diǎn)在不同時(shí)間的軌跡，并在信息融合過(guò)程中考慮了路徑上的中繼節(jié)點(diǎn)，使得節(jié)點(diǎn)表示質(zhì)量提升.

表3 節(jié)點(diǎn)聚類結(jié)果

4.5 可視化

本節(jié)進(jìn)一步將學(xué)習(xí)到的節(jié)點(diǎn)特征向量投影到二維空間中，進(jìn)行可視化比較.采用t-SNE 可視化了AMiner中的作者節(jié)點(diǎn)表示向量，根據(jù)作者節(jié)點(diǎn)的類型，進(jìn)行不同著色.從圖5可以看出，相比于其他基線模型，DHNR可以將不同類型的作者更好地映射到不同的社區(qū)，并且同一社區(qū)中節(jié)點(diǎn)聚集緊密，不同社區(qū)節(jié)點(diǎn)相距較遠(yuǎn)，只有極少數(shù)節(jié)點(diǎn)被嵌入到其他顏色區(qū)域，具有較高的聚類質(zhì)量.

圖5 AMiner網(wǎng)絡(luò)中的節(jié)點(diǎn)向量表示的可視化

4.6 動(dòng)態(tài)分析

為了更好地驗(yàn)證DHNR 模型是否能夠捕獲時(shí)間信息，實(shí)驗(yàn)中采用了節(jié)點(diǎn)聚類進(jìn)行測(cè)試.考慮到網(wǎng)絡(luò)演化是一個(gè)漫長(zhǎng)的過(guò)程，所以選擇有較長(zhǎng)時(shí)間的AMiner 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).因?yàn)镈HNR 可以通過(guò)節(jié)點(diǎn)的所有時(shí)間軌跡來(lái)學(xué)習(xí)向量表示，時(shí)間步長(zhǎng)越長(zhǎng)，網(wǎng)絡(luò)中包含的時(shí)間信息越多，節(jié)點(diǎn)的交互軌跡越豐富，學(xué)習(xí)到的節(jié)點(diǎn)向量表示越準(zhǔn)確.本節(jié)通過(guò)分析不同的時(shí)間步長(zhǎng)來(lái)驗(yàn)證本文模型在捕獲網(wǎng)絡(luò)演化方面的有效性.

實(shí)驗(yàn)結(jié)果如圖6 所示，當(dāng)時(shí)間步長(zhǎng)小于10 時(shí)，節(jié)點(diǎn)聚類性能提升較快.這說(shuō)明當(dāng)時(shí)間步長(zhǎng)較短時(shí)，網(wǎng)絡(luò)中節(jié)點(diǎn)的交互軌跡不足以反應(yīng)節(jié)點(diǎn)的特征信息.隨著時(shí)間步長(zhǎng)增加，包含的時(shí)間信息更加豐富，節(jié)點(diǎn)聚類精度提升較快.但是當(dāng)時(shí)間步長(zhǎng)達(dá)到一定值后，網(wǎng)絡(luò)演化趨于穩(wěn)定，模型已經(jīng)能夠從節(jié)點(diǎn)的交互軌跡中學(xué)習(xí)到較完整的節(jié)點(diǎn)向量表示，所以聚類結(jié)果趨于穩(wěn)定.說(shuō)明本文模型能夠真實(shí)地反映網(wǎng)絡(luò)的動(dòng)態(tài)演化特性.

圖6 不同時(shí)間步的影響

4.7 不同類型元路徑性能分析

由于本文模型DHNR 利用了多條不同類型的元路徑來(lái)提取網(wǎng)絡(luò)中的豐富語(yǔ)義信息，為驗(yàn)證單個(gè)不同元路徑以及不同類型元路徑的效果，以DBLP 數(shù)據(jù)集為例，進(jìn)行了節(jié)點(diǎn)聚類的實(shí)驗(yàn)驗(yàn)證.

如圖7所示，僅僅使用單條元路徑提取的語(yǔ)義信息和結(jié)構(gòu)信息有限，導(dǎo)致性能較差.而且從實(shí)驗(yàn)中可以發(fā)現(xiàn)，不同元路徑提取的語(yǔ)義信息對(duì)節(jié)點(diǎn)表示向量的影響也不相同.APCPA 較APA和APTPA 具有更好的性能，分析原因是APCPA 較好地反映了作者的研究領(lǐng)域與他們提交的會(huì)議之間的相關(guān)性.由此可見(jiàn)，對(duì)不同類型的元路徑進(jìn)行注意力權(quán)重設(shè)置能夠提升節(jié)點(diǎn)表示向量的質(zhì)量.

圖7 不同元路徑影響合

4.8 元路徑數(shù)量分析

為判斷不同元路徑數(shù)量對(duì)模型的影響，對(duì)AMiner和DBLP-10 數(shù)據(jù)集進(jìn)行了節(jié)點(diǎn)分類的實(shí)驗(yàn).圖8 中Ma-F1表示Macro-F1，Mi-F1表示Micro-F1.由圖8（a）可知，在Aminer 數(shù)據(jù)集上，APA 元路徑數(shù)量取為4 的時(shí)候達(dá)到峰值，而APCPA元路徑取值為8的時(shí)候達(dá)到峰值.其中上下兩組分別代表上述兩條路徑在不同數(shù)量情況下的Macro-F1和Micro-F1 的取值情況.由于在Aminer 數(shù)據(jù)集中，很多作者發(fā)表論文數(shù)量是有限的，所以當(dāng)路徑數(shù)量為4 的時(shí)候，就能夠?qū)PA 的鄰域空間準(zhǔn)確劃分，超過(guò)4 則容易導(dǎo)致APA 節(jié)點(diǎn)序列出現(xiàn)重復(fù)，再增加路徑數(shù)量對(duì)模型幾乎不產(chǎn)生影響.對(duì)于APCPA，盡管一定數(shù)量序列可以將A 的鄰域空間準(zhǔn)確劃分，但是中繼節(jié)點(diǎn)C的存在能夠形成更多不同節(jié)點(diǎn)序列，因此更多的元路徑數(shù)量能獲取更多結(jié)構(gòu)信息.如圖8（b）所示，在DBLP-10 數(shù)據(jù)集上，當(dāng)選取4 條PAP 路徑和4 條PCP 元路徑，實(shí)驗(yàn)效果達(dá)到峰值.其中上下兩組分別代表上述兩條路徑在不同數(shù)量情況下的Macro-F1和Micro-F1 的取值情況.隨著路徑數(shù)量增多，分類效果會(huì)逐漸提升.但是到達(dá)一定值后，結(jié)果趨于穩(wěn)定.同樣，在DBLP-4數(shù)據(jù)集上選取了4 條APA，4 條APCPA，4 條APTPA 進(jìn)行對(duì)比實(shí)驗(yàn).

圖8 不同元路徑數(shù)量實(shí)驗(yàn)結(jié)果

5 結(jié)論

本文提出了一種動(dòng)態(tài)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法DHNR.模型利用時(shí)間加權(quán)元路徑和GRU 模型來(lái)獲取網(wǎng)絡(luò)結(jié)構(gòu)和語(yǔ)義信息，再通過(guò)帶注意力機(jī)制的雙向門控循環(huán)單元來(lái)歸納網(wǎng)絡(luò)演化規(guī)律，有效地提高了節(jié)點(diǎn)向量表示的質(zhì)量，并在分類、聚類等下游任務(wù)中均表現(xiàn)出優(yōu)異的性能.但是本文利用元路徑提取語(yǔ)義信息可能導(dǎo)致部分信息丟失，并且忽視了網(wǎng)絡(luò)演化的驅(qū)動(dòng)力.未來(lái)將從上述兩個(gè)方面開(kāi)展進(jìn)一步的工作.首先是考慮采用能夠更好地捕捉語(yǔ)義的方法，其次是從網(wǎng)絡(luò)動(dòng)力學(xué)角度更好地描述網(wǎng)絡(luò)的動(dòng)態(tài)演化過(guò)程.