屬性網(wǎng)絡(luò)表示學(xué)習(xí)研究綜述

(山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266590)

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)資源呈現(xiàn)爆炸式增長。以微博、微信、Twitter、Facebook等為代表的社會(huì)化媒體，具有信息實(shí)時(shí)性、信息開放性、內(nèi)容全面性、用戶自由性、信息傳播范圍廣、信息傳播速度快等諸多優(yōu)點(diǎn)，滿足了人們對(duì)于信息多樣化和溝通個(gè)性化的需求，已經(jīng)成為人們?nèi)粘＝涣鞯闹匾脚_(tái)，提供了大量數(shù)據(jù)資源。社交網(wǎng)絡(luò)分析與挖掘成為近年來的熱門研究課題，包括社區(qū)發(fā)現(xiàn)[1-2]、鏈接預(yù)測[3-4]、節(jié)點(diǎn)分類[5-6]、推薦[7-8]等技術(shù)。

由于網(wǎng)絡(luò)數(shù)據(jù)中的節(jié)點(diǎn)不是孤立存在的，相互之間存在關(guān)聯(lián)，因此難以并行化、分布式處理，直接對(duì)原始網(wǎng)絡(luò)進(jìn)行分析與挖掘往往具有很高的計(jì)算代價(jià)，導(dǎo)致網(wǎng)絡(luò)分析的效率極低。一種有效的解決思路是，將原始網(wǎng)絡(luò)無損或最小損失地轉(zhuǎn)化到向量空間進(jìn)行處理。由此，網(wǎng)絡(luò)表示學(xué)習(xí)應(yīng)運(yùn)而生。

網(wǎng)絡(luò)表示學(xué)習(xí)，旨在將原始網(wǎng)絡(luò)中的節(jié)點(diǎn)表示成低維的稠密向量，同時(shí)最大程度地保留節(jié)點(diǎn)在原網(wǎng)絡(luò)中的信息和屬性。DeepWalk算法[9]充分利用網(wǎng)絡(luò)的結(jié)構(gòu)信息，利用截?cái)嚯S機(jī)游走和神經(jīng)語言模型獲得節(jié)點(diǎn)的表示。Tang等[10]認(rèn)為僅考慮節(jié)點(diǎn)之間的一階近似會(huì)丟失許多有用的信息，從節(jié)點(diǎn)擁有相同鄰居的數(shù)量出發(fā)，進(jìn)一步考慮了二階近似，來保存網(wǎng)絡(luò)的局部結(jié)構(gòu)和全局結(jié)構(gòu)。Cao等[11]考慮了更高階的網(wǎng)絡(luò)結(jié)構(gòu)信息，通過奇異值分解分別學(xué)習(xí)節(jié)點(diǎn)的k階表示，再將這些表示拼接起來作為節(jié)點(diǎn)最終的向量表示。上述算法保留了網(wǎng)絡(luò)中拓?fù)浣Y(jié)構(gòu)的特征，但只從拓?fù)浣Y(jié)構(gòu)的角度對(duì)網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，無法獲得高質(zhì)量的節(jié)點(diǎn)表示，導(dǎo)致在后續(xù)任務(wù)上表現(xiàn)不佳。

在實(shí)際應(yīng)用中，越來越多的節(jié)點(diǎn)屬性信息被記錄。如在微博中，每個(gè)用戶除了擁有自己相對(duì)穩(wěn)定的屬性(性別、年齡、血型、星座等)之外，在平臺(tái)上的一些社交行為，如發(fā)表博客、轉(zhuǎn)發(fā)、評(píng)論等，也產(chǎn)生了大量的文本信息，這些文本信息也可以建模成用戶的屬性。在微信平臺(tái)中，既包括好友關(guān)系，也包括個(gè)人的特征和朋友圈信息，這些都是用戶屬性的重要體現(xiàn)。此外，引文網(wǎng)絡(luò)中論文的摘要信息、互聯(lián)網(wǎng)中網(wǎng)頁內(nèi)容的關(guān)鍵詞、維基百科中每個(gè)詞條所對(duì)應(yīng)的文本描述等也是可用的屬性信息。這些都是屬性網(wǎng)絡(luò)模型的典型代表。因此，屬性網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于社交網(wǎng)絡(luò)、學(xué)術(shù)網(wǎng)絡(luò)、信息系統(tǒng)的建模。

屬性網(wǎng)絡(luò)表示學(xué)習(xí)旨在將網(wǎng)絡(luò)中節(jié)點(diǎn)的屬性信息以及拓?fù)浣Y(jié)構(gòu)信息，同時(shí)映射成聯(lián)合的低維向量。屬性網(wǎng)絡(luò)的普適性和靈活性，使得屬性網(wǎng)絡(luò)表示學(xué)習(xí)具有重要的研究意義和應(yīng)用價(jià)值。首先，結(jié)合屬性信息進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)，能夠進(jìn)一步提升模型在網(wǎng)絡(luò)分析任務(wù)上的性能。其次，融合屬性信息在某種程度上為節(jié)點(diǎn)之間的關(guān)系提供一種額外的相似度信息輔助。最后，與異質(zhì)信息網(wǎng)絡(luò)相比，屬性網(wǎng)絡(luò)表示學(xué)習(xí)的信息融合程度更高、普適性更強(qiáng)。

本研究對(duì)現(xiàn)有的屬性網(wǎng)絡(luò)表示學(xué)習(xí)算法進(jìn)行分類，如圖1所示。首先將屬性網(wǎng)絡(luò)表示學(xué)習(xí)劃分為靜態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)和動(dòng)態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)，然后按照網(wǎng)絡(luò)的類型將靜態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)劃分為同構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)和異構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)。在此基礎(chǔ)上，根據(jù)算法的核心技術(shù)，進(jìn)一步分為基于矩陣分解的方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于自編碼器的方法、基于隨機(jī)游走的方法和其他方法。

1 相關(guān)定義

定義1屬性網(wǎng)絡(luò)[12]。給定屬性網(wǎng)絡(luò)G=(V,E,X)，其中V表示屬性網(wǎng)絡(luò)中節(jié)點(diǎn)的集合，E表示屬性網(wǎng)絡(luò)中邊的集合，X表示網(wǎng)絡(luò)中的屬性信息。

定義4同構(gòu)屬性網(wǎng)絡(luò)[14-15]。給定同構(gòu)屬性網(wǎng)絡(luò)G=(V,E,X)，其中X是所有節(jié)點(diǎn)特征組成的特征矩陣;存在節(jié)點(diǎn)類型映射函數(shù)φ:V→P，其中P包含所有節(jié)點(diǎn)的類型；邊關(guān)系映射函數(shù)φ:E→K，其中K包含所有邊的鏈接關(guān)系；若|P|=1并且|K|=1，則是同構(gòu)屬性網(wǎng)絡(luò)。如圖2所示，社交網(wǎng)絡(luò)即為同構(gòu)屬性網(wǎng)絡(luò)，該網(wǎng)絡(luò)中只存在一種類型的節(jié)點(diǎn)，節(jié)點(diǎn)之間邊的鏈接關(guān)系也是單一的。

定義5異構(gòu)屬性網(wǎng)絡(luò)[14-15]。給定異構(gòu)屬性網(wǎng)絡(luò)G=(V,E,X)，其中X表示異構(gòu)屬性網(wǎng)絡(luò)的屬性信息，存在節(jié)點(diǎn)類型映射函數(shù)φ:V→O以及邊關(guān)系映射函數(shù)φ:E→R，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)vi∈V和每條邊ei∈E能夠通過映射函數(shù)φ和φ找到對(duì)應(yīng)的節(jié)點(diǎn)類型oi∈O和邊關(guān)系ri∈R；若|O|<1或者|R|>1，則是異構(gòu)屬性網(wǎng)絡(luò)。如圖3所示，電子商務(wù)網(wǎng)絡(luò)即為異構(gòu)屬性網(wǎng)絡(luò)，該網(wǎng)絡(luò)中存在用戶和商品這兩種類型的節(jié)點(diǎn)，用戶節(jié)點(diǎn)與商品節(jié)點(diǎn)之間存在購買、收藏以及添加到購物車等鏈接關(guān)系。

圖1 屬性網(wǎng)絡(luò)表示學(xué)習(xí)方法分類Fig. 1 Classification of attributed network representation learning methods

圖2 社交網(wǎng)絡(luò)示例Fig. 2 An example of social networking

圖3 電子商務(wù)網(wǎng)絡(luò)示例Fig. 3 An example of electronic commerce network

問題定義屬性網(wǎng)絡(luò)表示學(xué)習(xí)[12,16]。給定屬性網(wǎng)絡(luò)，屬性網(wǎng)絡(luò)表示學(xué)習(xí)的目的是學(xué)習(xí)節(jié)點(diǎn)或邊的向量表示。表1給出了論文中主要的符號(hào)及其解釋。

2 靜態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)

靜態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)可分為同構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)和異構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)，根據(jù)使用的技術(shù)，如矩陣分解、自編碼器、神經(jīng)網(wǎng)絡(luò)、隨機(jī)游走等，將代表性算法作如下劃分。

表1 論文中的常用符號(hào)Tab. 1 Notations used in this paper

2.1 同構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)

1) 基于矩陣分解的方法

傳統(tǒng)的網(wǎng)絡(luò)表示學(xué)習(xí)方法缺乏對(duì)網(wǎng)絡(luò)結(jié)構(gòu)信息和屬性信息的融合，使學(xué)習(xí)到的向量表示在后續(xù)任務(wù)上表現(xiàn)不佳。因此，一些算法嘗試結(jié)合屬性信息,如文本信息、標(biāo)簽信息等，來學(xué)習(xí)節(jié)點(diǎn)的表示。如TADW(text-associated DeepWalk)算法[17]基于矩陣分解的思想將節(jié)點(diǎn)的文本特征融合到網(wǎng)絡(luò)表示學(xué)習(xí)中，首先證明DeepWalk[9]是一種矩陣分解，將矩陣M分解為矩陣W與H的乘積；然后TADW在此基礎(chǔ)上將節(jié)點(diǎn)的文本特征引入到矩陣分解過程中，如圖4所示，將矩陣M分解為W、H和T三部分的乘積，其中T表示節(jié)點(diǎn)的文本特征，相對(duì)應(yīng)的損失函數(shù)如式(1)所示，該算法交替優(yōu)化W和H矩陣以最小化損失函數(shù)。

(1)

圖4 TADW算法的主要思想[17]Fig. 4 Main idea of TADW algorithm

AANE(accelerated attributed network embedding)算法[18]將上述矩陣分解的過程進(jìn)行分布式處理，以提升表示學(xué)習(xí)的效率。但該算法僅適用于處理網(wǎng)絡(luò)中的文本屬性，不能利用節(jié)點(diǎn)的標(biāo)簽信息，學(xué)得的表示向量缺少區(qū)分能力。Tu等[19]基于最大間隔思想優(yōu)化了DeepWalk算法，將節(jié)點(diǎn)的標(biāo)簽信息加入到節(jié)點(diǎn)的表示學(xué)習(xí)過程中，并設(shè)計(jì)了半監(jiān)督的網(wǎng)絡(luò)表示學(xué)習(xí)模型MMDW(max-margin DeepWalk)。MMDW首先將DeepWalk轉(zhuǎn)化為矩陣分解的形式，即M=XTY，其中X是節(jié)點(diǎn)的向量表示矩陣，Y是節(jié)點(diǎn)的內(nèi)容表示矩陣，然后利用SVM[20]訓(xùn)練向量表示X，并且在分類過程中引入Biased Gradient，使向量表示朝著準(zhǔn)確的預(yù)測方向更新，以此提高節(jié)點(diǎn)表示的區(qū)分能力。

2) 基于神經(jīng)網(wǎng)絡(luò)的方法

圖卷積網(wǎng)絡(luò)主要包括基于譜域上的圖卷積和基于空間域上的圖卷積?；谧V域上的圖卷積網(wǎng)絡(luò)算法主要利用傅立葉變換將圖數(shù)據(jù)變換到譜域上進(jìn)行圖卷積，GCN(graph convolutional network)[21]為此類方法中的代表性算法，如圖5所示。多層圖卷積網(wǎng)絡(luò)通過輸入層、隱藏層以及輸出層學(xué)習(xí)特征向量，但該算法需要花費(fèi)較多計(jì)算成本?；诳臻g域上的圖卷積網(wǎng)絡(luò)算法是直接對(duì)圖數(shù)據(jù)進(jìn)行圖卷積，此類方法中的代表性算法有GraphSAGE(graph sample and aggregate)[22]，該算法通過訓(xùn)練一組聚合函數(shù)，從節(jié)點(diǎn)局部鄰域中聚合特征信息，經(jīng)過訓(xùn)練后能夠?yàn)樾录尤刖W(wǎng)絡(luò)的節(jié)點(diǎn)生成嵌入。GAT(graph attention networks)算法[23]在此基礎(chǔ)上結(jié)合注意力機(jī)制為相同鄰域內(nèi)的節(jié)點(diǎn)分配不同的權(quán)重系數(shù)，且不需要事先了解整個(gè)圖結(jié)構(gòu)，解決了以往基于譜方法的理論問題。

圖5 多層圖卷積網(wǎng)絡(luò)(GCN)[21]Fig. 5 Multi-layer graph convolutional network(GCN)

3) 基于自編碼器的方法

MMDW算法主要利用節(jié)點(diǎn)的標(biāo)簽信息，忽略了邊上的標(biāo)簽信息。Tu等[24]提出TransNet算法，該算法基于邊上的標(biāo)簽信息學(xué)習(xí)節(jié)點(diǎn)的表示，將邊上的多個(gè)標(biāo)簽形式化地表示為節(jié)點(diǎn)之間的關(guān)系。該算法利用深度自編碼器以及轉(zhuǎn)換機(jī)制[25-26]對(duì)節(jié)點(diǎn)之間進(jìn)行交互建模，在社會(huì)關(guān)系網(wǎng)絡(luò)中驗(yàn)證了模型提取節(jié)點(diǎn)之間關(guān)系的強(qiáng)大能力。GAE(graph auto-encoder)與VGAE(variational graph auto-encoder)算法[27]利用GCN[21]構(gòu)建編碼器來學(xué)習(xí)節(jié)點(diǎn)的向量表示，通過解碼器重構(gòu)圖結(jié)構(gòu)數(shù)據(jù)，學(xué)得的向量表示融合了結(jié)構(gòu)信息與屬性信息，在后續(xù)的鏈接預(yù)測任務(wù)中表現(xiàn)出色。兩者學(xué)習(xí)網(wǎng)絡(luò)的方法稍有不同，GAE結(jié)合自編碼器對(duì)網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，而VGAE為變分自編碼器[28-29]。

不同于GAE和VGAE僅重構(gòu)圖結(jié)構(gòu)，Salehi等[30]提出的GATE算法重構(gòu)圖結(jié)構(gòu)以及節(jié)點(diǎn)屬性，基于自編碼器和自注意力機(jī)制[23]學(xué)習(xí)節(jié)點(diǎn)的嵌入，能夠應(yīng)用于直推式以及歸納式學(xué)習(xí)。Pan等[31]提出ARGA(adversarially regularized graph autoencoder)和ARVGA(adversarially regularized variational graph autoencoder)算法，利用編碼器和生成對(duì)抗網(wǎng)絡(luò)[32]來學(xué)習(xí)節(jié)點(diǎn)的向量表示，這兩個(gè)算法對(duì)節(jié)點(diǎn)的屬性信息和結(jié)構(gòu)信息進(jìn)行編碼，并且通過生成訓(xùn)練模塊使節(jié)點(diǎn)的表示更具有魯棒性。ARGA與ARVGA的區(qū)別在于，前者使用圖自編碼器[26]，后者采用變分圖自編碼器[26]。在下游任務(wù)性能中，兩者在不同數(shù)據(jù)集上的應(yīng)用效果差距不明顯。

4) 基于隨機(jī)游走的方法

現(xiàn)有的嵌入方法大多忽略了將節(jié)點(diǎn)的屬性信息編碼到表示學(xué)習(xí)過程中，Li等[33]為解決此問題提出PPNE算法，該算法將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)的屬性信息融合到網(wǎng)絡(luò)嵌入過程中，共同優(yōu)化屬性驅(qū)動(dòng)目標(biāo)函數(shù)和結(jié)構(gòu)驅(qū)動(dòng)目標(biāo)函數(shù)學(xué)得節(jié)點(diǎn)的向量表示。與上述方法不同，Pan等[34]提出的TriDNR方法將節(jié)點(diǎn)的結(jié)構(gòu)、內(nèi)容和標(biāo)簽信息融合到節(jié)點(diǎn)的向量表示中，將網(wǎng)絡(luò)中的關(guān)系劃分為“節(jié)點(diǎn)-節(jié)點(diǎn)”“節(jié)點(diǎn)-內(nèi)容”和“標(biāo)簽-相關(guān)內(nèi)容”，該算法對(duì)這三種關(guān)系分別建模來學(xué)習(xí)節(jié)點(diǎn)的表示。

標(biāo)簽信息有時(shí)不易獲取，Wang等[35]提出了無監(jiān)督的稀疏屬性網(wǎng)絡(luò)嵌入算法SANE(sparse attributed network embedding)，該算法利用截?cái)嚯S機(jī)游走產(chǎn)生節(jié)點(diǎn)序列，對(duì)節(jié)點(diǎn)和屬性之間的關(guān)系進(jìn)行建模，借助CBOW(continuous bag of words)[25,36]和注意力機(jī)制[37-38]學(xué)習(xí)節(jié)點(diǎn)的向量表示。Guo等[39]認(rèn)為現(xiàn)有的大部分算法都是直推式，并且未同時(shí)考慮局部和全局的結(jié)構(gòu)信息，基于RPR(rooted page rank)[40]提出了SPINE(structural identity preserved inductive network embedding)算法以解決該問題，該算法通過合并網(wǎng)絡(luò)的結(jié)構(gòu)和內(nèi)容信息學(xué)習(xí)節(jié)點(diǎn)的嵌入，并且利用Skip-Gram 負(fù)采樣方法和正采樣策略增強(qiáng)節(jié)點(diǎn)間的結(jié)構(gòu)相似性，在節(jié)點(diǎn)分類任務(wù)上表現(xiàn)出色。

5) 其他方法

現(xiàn)有的聚合器忽略了節(jié)點(diǎn)之間的交互，Zhu等[41]提出了BGNN(bilinear graph neural network)算法以解決此問題。該算法結(jié)合FM(factorization machines)方法[42-43]編碼節(jié)點(diǎn)之間的交互，實(shí)現(xiàn)增強(qiáng)傳統(tǒng)的線性聚合器的目的。Cheng等[44]提出了AFN(adaptive factorization network)算法，該算法的主要思想是將特征嵌入轉(zhuǎn)換為對(duì)數(shù)空間，并且將特征組合中每個(gè)特征的冪作為要學(xué)習(xí)的系數(shù)，在模型訓(xùn)練過程中逐漸優(yōu)化此系數(shù)，從而實(shí)現(xiàn)從數(shù)據(jù)中自適應(yīng)學(xué)習(xí)任意階特征交互。Xu等[45]提出了圖推理學(xué)習(xí)算法GIL(graph inference learning)，該算法同時(shí)考慮節(jié)點(diǎn)屬性、節(jié)點(diǎn)間路徑和圖拓?fù)浣Y(jié)構(gòu)來構(gòu)建結(jié)構(gòu)關(guān)系，從已標(biāo)記的節(jié)點(diǎn)中推斷未標(biāo)記節(jié)點(diǎn)的標(biāo)簽，提高了半監(jiān)督節(jié)點(diǎn)分類的性能。

對(duì)同構(gòu)屬性網(wǎng)絡(luò)學(xué)習(xí)算法，在核心技術(shù)、數(shù)據(jù)集、時(shí)間復(fù)雜度、評(píng)測任務(wù)等方面進(jìn)行對(duì)比，如表2所示。

表2 同構(gòu)屬性網(wǎng)絡(luò)學(xué)習(xí)算法對(duì)比Tab. 2 Comparison of learning algorithms for attributed homogeneous networks

2.2 異構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)

1) 基于矩陣分解的方法

維基百科是著名的異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)來源之一，在以前的語義分析大多局限于單一類型的關(guān)系。Zhao等[50]基于此問題提出坐標(biāo)矩陣分解(coordinate matrix factorization，CMF)算法，該算法認(rèn)為維基實(shí)體之間存在“實(shí)體-實(shí)體”“類別-實(shí)體”和“詞-實(shí)體”三種關(guān)系，在語義空間學(xué)習(xí)實(shí)體、詞與類別的表示，通過矩陣分解實(shí)體與實(shí)體的系數(shù)矩陣X、類別-實(shí)體系數(shù)矩陣Y和詞-實(shí)體系數(shù)矩陣Z獲得向量表示，如圖6所示。

圖6 CMF算法的主要思想[50]Fig. 6 Main idea of CMF algorithm

2) 基于神經(jīng)網(wǎng)絡(luò)的方法

異構(gòu)網(wǎng)絡(luò)中的內(nèi)容信息和關(guān)系信息是非常重要的，HNE(heterogeneous network embedding)算法[51]將異構(gòu)內(nèi)容和關(guān)系融合到表示學(xué)習(xí)過程中。以文本-圖片異構(gòu)網(wǎng)絡(luò)為例，HNE將網(wǎng)絡(luò)中的鏈接關(guān)系劃分為“圖片-圖片”“文本-文本”和“圖片-文本”三種關(guān)系，然后對(duì)其進(jìn)行相似性建模，該算法捕獲了異構(gòu)組件之間的復(fù)雜交互。Zhang等[52]指出很少有算法能同時(shí)有效地考慮異構(gòu)結(jié)構(gòu)信息和節(jié)點(diǎn)的異構(gòu)內(nèi)容信息，為此提出HetGNN(heterogeneous graph neural network)算法以同時(shí)捕獲結(jié)構(gòu)異質(zhì)性和非結(jié)構(gòu)化內(nèi)容異質(zhì)性。該算法首先基于重啟隨機(jī)游走的方法來采樣節(jié)點(diǎn)的鄰居序列，然后結(jié)合神經(jīng)網(wǎng)絡(luò)編碼節(jié)點(diǎn)的異構(gòu)內(nèi)容，最后引入注意力機(jī)制[23]來學(xué)習(xí)不同類型的鄰居對(duì)節(jié)點(diǎn)表示的影響。

3) 基于自編碼器的方法

Liu等[53]提出一種歸納式網(wǎng)絡(luò)表示學(xué)習(xí)模型，利用神經(jīng)網(wǎng)絡(luò)將節(jié)點(diǎn)的屬性信息、不同類型的節(jié)點(diǎn)信息和邊的信息融合到表示學(xué)習(xí)過程中。該算法可嵌入以前未看到的節(jié)點(diǎn)或孤立節(jié)點(diǎn)，且不需要額外的訓(xùn)練。為了解決基于查詢的數(shù)據(jù)集推薦問題，HVGAE(heterogeneous variational graph autoencoder)算法[54]結(jié)合變分圖自編碼器[27]學(xué)習(xí)論文和數(shù)據(jù)集的表示，在此基礎(chǔ)上根據(jù)所查詢的論文與數(shù)據(jù)集之間的相關(guān)性將前若干個(gè)相關(guān)數(shù)據(jù)集進(jìn)行推薦。

4) 其他方法

Li等[55]針對(duì)異構(gòu)屬性信息網(wǎng)絡(luò)的半監(jiān)督聚類問題提出SCHAIN(semi-supervised clustering in heterogeneous attributed information networks)算法，該算法結(jié)合屬性的相似性和基于鏈接的相似性實(shí)現(xiàn)半監(jiān)督聚類，其中利用必須鏈接集和不可鏈接集作為監(jiān)督約束以促進(jìn)聚類效果。Zhang等[56]認(rèn)為元圖是捕獲異質(zhì)網(wǎng)絡(luò)中的豐富語義以及潛在關(guān)系的強(qiáng)大工具，但現(xiàn)有方法沒有充分利用元圖，所以設(shè)計(jì)了mg2vec算法以解決此問題，該算法融合一階以及二階元圖嵌入以獲得最終的節(jié)點(diǎn)嵌入。

針對(duì)不同的評(píng)測任務(wù)，對(duì)異構(gòu)屬性網(wǎng)絡(luò)表示學(xué)習(xí)算法的核心技術(shù)、評(píng)價(jià)指標(biāo)以及性能等方面進(jìn)行對(duì)比，如表3所示。

表3 異構(gòu)屬性網(wǎng)絡(luò)學(xué)習(xí)算法對(duì)比Tab. 3 Comparison of learning algorithms for attributed heterogeneous networks

3 動(dòng)態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)

盡管動(dòng)態(tài)屬性網(wǎng)絡(luò)在生活中的應(yīng)用非常廣泛，但是相關(guān)研究比較少。DANE(dynamic attributed network embedding)算法[58]是基于動(dòng)態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)的方法，將模型分成離線模型和線上模型兩部分，其中離線模型能夠?qū)W習(xí)節(jié)點(diǎn)在時(shí)刻t的嵌入，線上模型基于矩陣攝動(dòng)理論[59]更新節(jié)點(diǎn)的嵌入。但該算法不能應(yīng)用到大規(guī)模網(wǎng)絡(luò)場景中，否則時(shí)間復(fù)雜度會(huì)很高。Liu等[60]提出適合大規(guī)模屬性網(wǎng)絡(luò)表示學(xué)習(xí)的DRLAN(dynamic representation learning framework for large-scale attributed networks)算法，能捕捉網(wǎng)絡(luò)中高層非線性并保存拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性的高階相似度。

現(xiàn)有的鏈路預(yù)測算法絕大多數(shù)都是為靜態(tài)網(wǎng)絡(luò)設(shè)計(jì)的，忽略了網(wǎng)絡(luò)的動(dòng)態(tài)變化。為此，Li等[61]提出SLIDE(streaming link prediction for dynamic attributed networks)算法，能有效地研究網(wǎng)絡(luò)的結(jié)構(gòu)和節(jié)點(diǎn)屬性的動(dòng)態(tài)變化對(duì)鏈接預(yù)測的影響。不同于傳統(tǒng)的時(shí)序鏈接預(yù)測技術(shù)忽略了動(dòng)態(tài)網(wǎng)絡(luò)中潛在的非線性特性以及鏈接權(quán)重，Lei等[62]提出GCN-GAN(GCN-generative adversarial network)算法，將動(dòng)態(tài)圖定義為一系列的圖快照，然后利用GCN提取每張圖快照的結(jié)構(gòu)特征，并且采用LSTM[63]捕捉動(dòng)態(tài)圖中的演變模式，利用全連接層預(yù)測下一個(gè)時(shí)間切片的拓?fù)浣Y(jié)構(gòu)，最后訓(xùn)練鑒別器以判斷輸入的數(shù)據(jù)是否是真實(shí)數(shù)據(jù)，從而使預(yù)測的帶有權(quán)重的鏈接更有代表性。

超圖保存了高階結(jié)構(gòu)的信息，廣泛應(yīng)用在分類、檢索等任務(wù)上。Zhang等[64]提出基于動(dòng)態(tài)環(huán)境的DHSL算法，從標(biāo)簽空間以及特征空間更新超圖結(jié)構(gòu)。但是該算法僅在初始特征嵌入時(shí)更新超圖結(jié)構(gòu)，忽略了特征之間的高階關(guān)系。為解決此問題，Jiang等[65]設(shè)計(jì)了DHGNN(dynamic hypergraph neural networks)算法，該算法利用K-NN(K-nerual neighbor)方法以及K-means聚類方法基于全局和局部的特征更新超圖結(jié)構(gòu)，并結(jié)合自注意力機(jī)制聚合鄰接超邊的特征。

針對(duì)不同的評(píng)測任務(wù)，對(duì)動(dòng)態(tài)屬性網(wǎng)絡(luò)表示學(xué)習(xí)算法的核心技術(shù)、評(píng)價(jià)指標(biāo)以及性能等方面進(jìn)行對(duì)比，如表4所示。

表4 動(dòng)態(tài)屬性網(wǎng)絡(luò)學(xué)習(xí)算法對(duì)比Tab. 4 Comparison of learning algorithms for attributed dynamic networks

4 總結(jié)與展望

綜上所述，國內(nèi)外學(xué)者已經(jīng)在屬性網(wǎng)絡(luò)表示學(xué)習(xí)方面取得諸多研究成果，促進(jìn)了該領(lǐng)域的發(fā)展，但仍存在一些工作需進(jìn)一步研究。

1) 屬性信息的分析視角可以更加廣泛化、立體化，如屬性類型的多樣化、屬性信息的完整性、屬性信息的部分缺失性、屬性的隱含關(guān)系等；

2) 如何將多種類型的屬性信息，如文本內(nèi)容、類別標(biāo)簽、個(gè)體特征等，更好地與拓?fù)湫畔⑦M(jìn)行有機(jī)融合；

3) 在學(xué)習(xí)表示向量時(shí)如何更好地利用屬性網(wǎng)絡(luò)中的局部與全局特征等。

這些研究將有助于提高屬性網(wǎng)絡(luò)表示學(xué)習(xí)的信息融合度，增強(qiáng)其表達(dá)能力，改善自學(xué)習(xí)能力，提高任務(wù)感知的應(yīng)用能力以及魯棒性等。