異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法綜述

王建霞 劉夢(mèng)琳 許云峰 張妍

摘 要：現(xiàn)實(shí)生活中存在的網(wǎng)絡(luò)大多是包含多種類型節(jié)點(diǎn)和邊的異構(gòu)網(wǎng)絡(luò)，比同構(gòu)網(wǎng)絡(luò)融合了更多信息且包含更豐富的語義信息。異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)擁有強(qiáng)大的建模能力，可以有效解決異構(gòu)網(wǎng)絡(luò)的異質(zhì)性，并將異構(gòu)網(wǎng)絡(luò)中豐富的結(jié)構(gòu)和語義信息嵌入到低維節(jié)點(diǎn)表示中，以便于下游任務(wù)應(yīng)用。通過對(duì)當(dāng)前國(guó)內(nèi)外異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法進(jìn)行歸納分析，綜述了異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法的研究現(xiàn)狀，對(duì)比了各類別模型之間的特點(diǎn)，介紹了異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)的相關(guān)應(yīng)用，并對(duì)異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法的發(fā)展趨勢(shì)進(jìn)行了總結(jié)與展望，提出今后可在以下方面進(jìn)行深入探討：1）避免預(yù)先定義元路徑，應(yīng)充分釋放模型的自動(dòng)學(xué)習(xí)能力;2）設(shè)計(jì)適用于動(dòng)態(tài)和大規(guī)模網(wǎng)絡(luò)的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法。

關(guān)鍵詞：計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò);異構(gòu)網(wǎng)絡(luò);表示學(xué)習(xí);圖神經(jīng)網(wǎng)絡(luò);建模能力

中圖分類號(hào)：TP311.13?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1008-1542（2021）01-0048-12

現(xiàn)實(shí)世界的數(shù)據(jù)集大多是以圖形或網(wǎng)絡(luò)等數(shù)據(jù)結(jié)構(gòu)表示，其中對(duì)象及其之間的關(guān)系分別由節(jié)點(diǎn)和邊來體現(xiàn)。例如社交網(wǎng)絡(luò)[1-2]、物理系統(tǒng)[3]、交通網(wǎng)絡(luò)[4-5]、引文網(wǎng)絡(luò)[6-7]、推薦系統(tǒng)[8-9]、知識(shí)圖[10]等。

網(wǎng)絡(luò)中的節(jié)點(diǎn)擁有豐富的屬性信息（如圖像、文本等），形成典型的復(fù)雜信息網(wǎng)絡(luò)?；趶?fù)雜信息網(wǎng)絡(luò)的普遍存在性，對(duì)信息網(wǎng)絡(luò)進(jìn)行研究和分析具有很高的應(yīng)用價(jià)值。

信息網(wǎng)絡(luò)屬于不規(guī)則的非歐幾里德數(shù)據(jù)，如何有效地提取信息成為值得研究的課題。近些年來，網(wǎng)絡(luò)表示學(xué)習(xí)在結(jié)構(gòu)特征提取方面顯示出強(qiáng)大的潛力。如圖1所示，網(wǎng)絡(luò)表示學(xué)習(xí)方法從復(fù)雜的信息網(wǎng)絡(luò)中學(xué)習(xí)每個(gè)實(shí)體的特征信息，將其表示為低維稠密的實(shí)數(shù)向量，以應(yīng)用于下游機(jī)器的學(xué)習(xí)任務(wù)[11]。

目前大多數(shù)網(wǎng)絡(luò)表示學(xué)習(xí)方法都集中在同構(gòu)網(wǎng)絡(luò)上，只考慮一種節(jié)點(diǎn)對(duì)象和一種連接關(guān)系，忽略了網(wǎng)絡(luò)的異質(zhì)性。然而，現(xiàn)實(shí)生活中存在更多的是包含多種類型的節(jié)點(diǎn)以及邊的異構(gòu)網(wǎng)絡(luò)。相比同構(gòu)網(wǎng)絡(luò)，異構(gòu)網(wǎng)絡(luò)融合了更多信息且包含更豐富的語義信息。若直接將異構(gòu)網(wǎng)絡(luò)當(dāng)作同構(gòu)網(wǎng)絡(luò)去處理，很容易造成信息的丟失，影響下游任務(wù)的效果，所以近年來越來越多針對(duì)異構(gòu)網(wǎng)絡(luò)的表示學(xué)習(xí)方法被設(shè)計(jì)出來。CHANG等[13]設(shè)計(jì)了一個(gè)深度表示學(xué)習(xí)模型以捕捉網(wǎng)絡(luò)中異質(zhì)數(shù)據(jù)之間的復(fù)雜交互。FU等[14]利用神經(jīng)網(wǎng)絡(luò)模型捕獲了異構(gòu)網(wǎng)絡(luò)中豐富的關(guān)系語義學(xué)習(xí)節(jié)點(diǎn)的表示。

當(dāng)前，包含不同類型的節(jié)點(diǎn)和連接關(guān)系的異構(gòu)網(wǎng)絡(luò)的表示學(xué)習(xí)綜述相對(duì)較少。周慧等[15]介紹了基于網(wǎng)絡(luò)結(jié)構(gòu)的異構(gòu)網(wǎng)絡(luò)嵌入方法，但缺少對(duì)圖神經(jīng)網(wǎng)絡(luò)方法的介紹。本文系統(tǒng)地介紹了異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)相關(guān)方法的模型，分為基于網(wǎng)絡(luò)結(jié)構(gòu)的嵌入方法和圖神經(jīng)網(wǎng)絡(luò)方法2大類，并細(xì)分為4個(gè)小類別，分別是基于隨機(jī)游走方法、基于一階/二階相似度方法、基于圖注意力網(wǎng)絡(luò)方法和基于圖卷積網(wǎng)絡(luò)方法，對(duì)比了各模型的優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景。同時(shí)，還整理了開源實(shí)現(xiàn)的表示學(xué)習(xí)模型以及常用的數(shù)據(jù)集供研究者參考。異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法分類如圖2所示。

1?異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)的基本定義

異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)公式中常見符號(hào)及其含義如表1所示。

定義1?異構(gòu)信息網(wǎng)絡(luò)（HIN，簡(jiǎn)稱異構(gòu)網(wǎng)絡(luò)）[16]

如圖3 a）和圖3 b）所示，異構(gòu)網(wǎng)絡(luò)（IMDB數(shù)據(jù)集）由多種類型的對(duì)象（演員（A）、電影（M）、導(dǎo)演（D））和關(guān)系（電影（M）與導(dǎo)演（D）之間的拍攝關(guān)系，演員（A）與電影（M）之間的角色扮演關(guān)系）組成。在異構(gòu)網(wǎng)絡(luò)中，2個(gè)對(duì)象可以通過不同的語義路徑

進(jìn)行連接，這種連接方式稱為元路徑。

如圖3 c）所示，通過多條元路徑（例如，moive-actor-moive（MAM）和movie-director-movie（MDM））連接2部電影。不同的元路徑揭示不同的語義，MAM表示共同角色關(guān)系，而MDM則表示他們由同一導(dǎo)演制作。給定一條元路徑P，每個(gè)節(jié)點(diǎn)都有一組基于元路徑的鄰居，可以在異構(gòu)網(wǎng)絡(luò)中揭示多種結(jié)構(gòu)信息和豐富的語義信息。

定義3?基于元路徑的鄰居（Meta-path based neighbors）

在異構(gòu)網(wǎng)絡(luò)中給定一個(gè)節(jié)點(diǎn)v和一條元路徑P，將節(jié)點(diǎn)v基于元路徑的鄰居NPv定義為通過元路徑P與節(jié)點(diǎn)v連接的一組節(jié)點(diǎn)，節(jié)點(diǎn)的鄰居包括自己。

以圖3 d）為例，給定元路徑MAM，M1基于元路徑的鄰居包括M1（自己），M2和M3。類似地，M1的基于元路徑MDM的鄰居包括M1和M2。

定義4?網(wǎng)絡(luò)表示學(xué)習(xí)[18]

2?異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法介紹

異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法是將異構(gòu)網(wǎng)絡(luò)中豐富的結(jié)構(gòu)信息和語義信息嵌入到低維節(jié)點(diǎn)表示中，便于下游任務(wù)應(yīng)用。隨著深度學(xué)習(xí)的興起，圖神經(jīng)網(wǎng)絡(luò)（GNN）成為近年來異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)領(lǐng)域中的熱門研究方向。與基于網(wǎng)絡(luò)結(jié)構(gòu)的嵌入方法相比，圖神經(jīng)網(wǎng)絡(luò)方法通過聚合節(jié)點(diǎn)自身屬性信息以及鄰居節(jié)點(diǎn)信息得到節(jié)點(diǎn)的嵌入表示。

2.1?基于網(wǎng)絡(luò)結(jié)構(gòu)的嵌入方法

基于網(wǎng)絡(luò)結(jié)構(gòu)的嵌入方法單純利用網(wǎng)絡(luò)中拓?fù)浣Y(jié)構(gòu)的相似性生成節(jié)點(diǎn)嵌入向量，根據(jù)獲取相似性方式的不同，分為基于隨機(jī)游走方法和基于一階/二階相似度方法，各模型的主要特點(diǎn)如表2所示。

2.1.1?基于隨機(jī)游走方法

metapath2vec模型是DONG等[20]在2017年提出的一種用于異構(gòu)網(wǎng)絡(luò)的節(jié)點(diǎn)嵌入方法。該方法使用基于元路徑的隨機(jī)游走策略，從異構(gòu)網(wǎng)絡(luò)獲取每個(gè)頂點(diǎn)的異構(gòu)鄰居。即給定一條元路徑P，第i步的轉(zhuǎn)移概率為

metapath2vec模型使用基于元路徑隨機(jī)游走和skim-gram的方式解決了異構(gòu)網(wǎng)絡(luò)的異質(zhì)性問題，提供了異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)研究的基本思路。

HERec模型[21]利用一種類型約束策略過濾節(jié)點(diǎn)序列，捕獲異構(gòu)網(wǎng)絡(luò)中反映的復(fù)雜語義。通過一些對(duì)稱的元路徑將異構(gòu)網(wǎng)絡(luò)變成同構(gòu)網(wǎng)絡(luò)，然后在同構(gòu)網(wǎng)絡(luò)中根據(jù)node2vec方法[25]優(yōu)化以下目標(biāo)函數(shù)，學(xué)習(xí)單條元路徑下節(jié)點(diǎn)的嵌入如式（2）所示：

式中：f是將節(jié)點(diǎn)映射到低維特征空間上的函數(shù);NPv表示在給定一條元路徑的情況下節(jié)點(diǎn)v的鄰居。最后融合各條元路徑的信息得到最終的節(jié)點(diǎn)表示。

不同于metapath2vec和HERec，按照給定元路徑模式游走的方式，HIN2Vec模型[17]完全隨機(jī)選擇游走節(jié)點(diǎn)，只要節(jié)點(diǎn)有連接均可游走。HIN2Vec模型采用基于隨機(jī)游走和負(fù)采樣的方法生成符合目標(biāo)關(guān)系的點(diǎn)邊序列。如圖4所示，假設(shè)隨機(jī)游走得到序列P1，P2，A1，P3，A1，目標(biāo)關(guān)系包含元路徑長(zhǎng)度不大于2的所有關(guān)系，那么對(duì)于節(jié)點(diǎn)P1，可以產(chǎn)生訓(xùn)練數(shù)據(jù)（P1，P2，P-P）和（P1，A1，P-P-A）。然后HIN2Vec模型將節(jié)點(diǎn)和節(jié)點(diǎn)間的關(guān)系簡(jiǎn)化成二分類問題，即給定2個(gè)節(jié)點(diǎn)x，y，通過預(yù)測(cè)節(jié)點(diǎn)之間是否存在確定的關(guān)系r，將分類問題作為優(yōu)化目標(biāo)學(xué)習(xí)節(jié)點(diǎn)表示。

metapath2vec，HERec和HIN2Vec是異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)的3個(gè)早期工作，為之后的工作提供參考。HU等[26]設(shè)計(jì)了一種通過結(jié)合基于元路徑上下文的三向神經(jīng)交互模型（MCRec）。該模型通過使用基于優(yōu)先級(jí)的采樣技術(shù)選擇高質(zhì)量的節(jié)點(diǎn)序列構(gòu)建基于元路徑的上下文，并利用共同注意力機(jī)制相互改善基于元路徑的上下文和節(jié)點(diǎn)的表示。

LU等[27]提出了一種可感知關(guān)系結(jié)構(gòu)的異構(gòu)網(wǎng)絡(luò)嵌入模型（RHINE），包含2種與結(jié)構(gòu)相關(guān)的度量，這些度量將異類關(guān)系區(qū)分為2類：從屬關(guān)系（AR）和交互關(guān)系（IR）且專門為處理AR和IR量身定制了不同模型，可以更好地捕獲網(wǎng)絡(luò)的結(jié)構(gòu)和語義。

在網(wǎng)絡(luò)表示學(xué)習(xí)中，負(fù)采樣是一項(xiàng)重要操作。通過提高負(fù)采樣的效率，找到有代表的負(fù)樣本，可以大大提高模型的性能。為了找到有代表性的負(fù)樣本，HU等[28]將圖對(duì)抗網(wǎng)絡(luò)[29]（GAN）引入到異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)中，提出了一種新的用于異構(gòu)網(wǎng)絡(luò)嵌入的框架（HeGAN）。HeGAN根據(jù)關(guān)系類型使用GAN生成更具代表性的負(fù)樣本。研究表明，無論是在分類、聚類還是鏈接預(yù)測(cè)任務(wù)中，HeGAN方法顯著優(yōu)于metapath2vec方法和HIN2Vec方法[28]。

2.1.2?基于一階/二階相似度方法

TANG等[22]在LINE算法[30]的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種半監(jiān)督的文本數(shù)據(jù)表示學(xué)習(xí)方法，即預(yù)測(cè)文本嵌入（PTE）。PTE模型首先將異構(gòu)網(wǎng)絡(luò)分解為一組二部圖網(wǎng)絡(luò)，然后通過捕獲二部圖網(wǎng)絡(luò)的二階相似度學(xué)習(xí)節(jié)點(diǎn)的嵌入表示。PTE模型的目標(biāo)函數(shù)為

SHI等[23]發(fā)現(xiàn)之前很多算法都是把不同類型的節(jié)點(diǎn)映射到同一低維空間中，容易造成信息丟失，故提出一種新的嵌入式學(xué)習(xí)框架（AspEm），通過對(duì)異構(gòu)網(wǎng)絡(luò)進(jìn)行多個(gè)方面的劃分，實(shí)現(xiàn)了在避免信息丟失的情況下，獲得高質(zhì)量的節(jié)點(diǎn)嵌入表示，如圖5所示。圖5 a）圖例可以分解成圖5 b）中2個(gè)方面的子圖。AspEm還設(shè)計(jì)有一個(gè)不兼容信息的度量方法，為嵌入學(xué)習(xí)選取合適的方面。給定一個(gè)方面a，目標(biāo)函數(shù)為

AspEm方法雖然獨(dú)立地獲取了不同方面的信息，但是完全禁止了跨方面的聯(lián)合學(xué)習(xí)。SHI等[24]對(duì)AspEm方法進(jìn)行改進(jìn)，提出HEER算法。HEER算法允許不兼容的信息在聯(lián)合學(xué)習(xí)過程中進(jìn)行不同程度的協(xié)作。HEER算法的基本思想：在節(jié)點(diǎn)表示的基礎(chǔ)上建立邊的表示，并且為不同類型的邊采用不同的度量空間，通過結(jié)合邊的表示和不同的度量空間，學(xué)習(xí)異構(gòu)網(wǎng)絡(luò)節(jié)點(diǎn)和邊的嵌入表示。

2.2?圖神經(jīng)網(wǎng)絡(luò)方法

近年來，隨著圖神經(jīng)網(wǎng)絡(luò)（GNN）的興起，以圖卷積網(wǎng)絡(luò)（graph convolutional network）和圖注意力網(wǎng)絡(luò)（graph attention network）為代表的圖神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)中。與同構(gòu)網(wǎng)絡(luò)不同，異構(gòu)網(wǎng)絡(luò)通常需要考慮不同關(guān)系下鄰居信息的差異。因此，異構(gòu)圖神經(jīng)網(wǎng)絡(luò)方法通常采用層次聚合的方式，即節(jié)點(diǎn)級(jí)別的聚合以及語義級(jí)別的聚合。圖神經(jīng)網(wǎng)絡(luò)方法的主要特點(diǎn)如表3所示。

2.2.1?基于圖注意力網(wǎng)絡(luò)方法

近年來，深度學(xué)習(xí)引入了注意力機(jī)制，注意力機(jī)制的潛力在各個(gè)領(lǐng)域得到了充分證明。WANG等[19]首次將注意力機(jī)制引入異構(gòu)圖神經(jīng)網(wǎng)絡(luò)中研究，并提出一種基于層次注意力的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型（HAN）。HAN模型嵌入架構(gòu)如圖6所示，總體包括2部分：1）將所有類型的節(jié)點(diǎn)投影到統(tǒng)一的特征空間中，并通過節(jié)點(diǎn)級(jí)別注意力學(xué)習(xí)基于元路徑的鄰居節(jié)點(diǎn)的權(quán)重;2）利用語義級(jí)別注意力學(xué)習(xí)每條元路徑的權(quán)重，并通過相應(yīng)的聚合操作得到最終的節(jié)點(diǎn)表示。

HAN節(jié)點(diǎn)級(jí)別的聚合：如圖6 a）所示，節(jié)點(diǎn)級(jí)注意力旨在學(xué)習(xí)給定元路徑下不同鄰居節(jié)點(diǎn)的重要性，然后通過加權(quán)平均學(xué)習(xí)節(jié)點(diǎn)在某條元路徑下的表示。

HAN語義級(jí)別的聚合（如圖6 b）所示）：

ZHANG等[31]發(fā)現(xiàn)很少有網(wǎng)絡(luò)可以同時(shí)考慮異構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)信息以及每個(gè)節(jié)點(diǎn)的異構(gòu)內(nèi)容信息，故提出一種異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型（HetGNN）解決此問題。HetGNN首先引入帶有重啟策略的隨機(jī)游走方法為每個(gè)節(jié)點(diǎn)（見圖7中節(jié)點(diǎn)a）采樣固定長(zhǎng)度的異構(gòu)鄰居，然后利用節(jié)點(diǎn)異構(gòu)內(nèi)容編碼器編碼節(jié)點(diǎn)的異構(gòu)內(nèi)容，從而得到節(jié)點(diǎn)的初始嵌入表示。

目前大多基于元路徑的表示學(xué)習(xí)方法舍棄了元路徑內(nèi)部的節(jié)點(diǎn)信息，只考慮元路徑的起始節(jié)點(diǎn)和末尾節(jié)點(diǎn)，造成信息丟失。為了解決上述問題，F(xiàn)U等[32]提出了MAGNN模型，MAGNN模型框架如圖8所示。首先將異構(gòu)網(wǎng)絡(luò)的節(jié)點(diǎn)屬性信息映射到同一個(gè)隱層的向量空間，然后使用注意力機(jī)制將元路徑內(nèi)部的語義信息納入考慮，最后使用注意力機(jī)制聚合多條元路徑信息得到最終的節(jié)點(diǎn)表示。

MAGNN節(jié)點(diǎn)級(jí)別的聚合：

MAGNN將元路徑實(shí)例中所有節(jié)點(diǎn)的特征納入考慮。

元路徑間的聚合即語義級(jí)別的聚合，目的是組合所有元路徑包含的語義信息。如式（14）所示，MAGNN使用線性轉(zhuǎn)換和一層非線性函數(shù)，將節(jié)點(diǎn)嵌入映射到所需維度的向量空間。

式中：βP表示各條元路徑的重要性;[WTHX]hPAv代表類型為A的節(jié)點(diǎn)的最終表示;[WTHX]Wo代表線性轉(zhuǎn)換的權(quán)重矩陣。

MAGNN和其他模型在鏈接預(yù)測(cè)任務(wù)中的性能見表4。由表4可知，MAGNN的性能大大優(yōu)于其他模型，其中最強(qiáng)大的基礎(chǔ)模型是metapath2vec，而MAGNN比metapath2vec得分更高，表明考慮單條元路徑是欠佳的。在GNN基準(zhǔn)中，HAN獲得最佳結(jié)果，因?yàn)镠AN考慮了網(wǎng)絡(luò)的異質(zhì)性并結(jié)合多條元路徑。MAGNN與HAN相比改進(jìn)了約6%，結(jié)果表明元路徑的內(nèi)部信息對(duì)節(jié)點(diǎn)嵌入至關(guān)重要。

2.2.2?基于圖卷積網(wǎng)絡(luò)方法

大多異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法都需要預(yù)先指定元路徑， 但需要很強(qiáng)的先驗(yàn)知識(shí)，元路徑的選擇在極大程度上會(huì)影響模型的效果。YUN等[33]提出了一種能夠生成新的圖數(shù)據(jù)結(jié)構(gòu)的圖變換網(wǎng)絡(luò)（GTNs），旨在解決異構(gòu)網(wǎng)絡(luò)分析中如何選取合適元路徑的問題。

GTNs模型架構(gòu)如圖9所示，GTNs通過GT層將原始圖數(shù)據(jù)[WTHX]A∈RN×N×|R|轉(zhuǎn)換成新的圖數(shù)據(jù)[WTHX]A（l）∈RN×N×C，然后在新圖數(shù)據(jù)上進(jìn)行卷積操作學(xué)習(xí)有效的節(jié)點(diǎn)表示。其中，GT層可以識(shí)別原始圖數(shù)據(jù)中未連接節(jié)點(diǎn)之間的有用連接，并生成對(duì)任務(wù)有用的元路徑。

1） GTNs節(jié)點(diǎn)級(jí)別的聚合

GTNs采用GCN的聚合方式.針對(duì)第i條元路徑，通過聚合得到該元路徑下的節(jié)點(diǎn)表示為[WTHX]Zi：

2） GTNs語義級(jí)別的聚合

將多條元路徑下的節(jié)點(diǎn)表示拼接起來得到最終節(jié)點(diǎn)表示[WTHX]Z：

其中：‖表示連接操作;C代表通道數(shù)。

預(yù)定義的元路徑和通過GTNs模型學(xué)習(xí)到的排名最高的元路徑之間的比較見表5。由表5可知，GTNs模型找到了重要的元路徑，這些元路徑與按領(lǐng)域知識(shí)預(yù)先定義的元路徑一致。此外，GTNs還發(fā)現(xiàn)所有類型節(jié)點(diǎn)之間的新的相關(guān)元路徑。

3?應(yīng)?用

3.1?常用數(shù)據(jù)集

眾多測(cè)試算法性能的數(shù)據(jù)集見表6，數(shù)據(jù)集包括3類，分別是引文網(wǎng)絡(luò)、社交網(wǎng)絡(luò)和電影數(shù)據(jù)。對(duì)于每個(gè)數(shù)據(jù)集，表中給出了數(shù)據(jù)集來源，分別統(tǒng)計(jì)了該數(shù)據(jù)集的邊的類型、節(jié)點(diǎn)數(shù)、邊數(shù)、標(biāo)簽類別數(shù)量，是否含有特征以及元路徑，方便研究者選擇適合模型的數(shù)據(jù)集。

3.2?開源實(shí)現(xiàn)

表7整理了具有代表性模型的開源實(shí)現(xiàn)，供研究者快速學(xué)習(xí)或復(fù)現(xiàn)驗(yàn)證模型效果。

3.3?實(shí)際應(yīng)用

異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法可以應(yīng)用到許多實(shí)際任務(wù)中，可以寬泛地將應(yīng)用分為3類，即節(jié)點(diǎn)分類、節(jié)點(diǎn)聚類和鏈接預(yù)測(cè)。

1） 節(jié)點(diǎn)分類?其大多屬于半監(jiān)督的學(xué)習(xí)任務(wù)，即原始數(shù)據(jù)中給定某些節(jié)點(diǎn)對(duì)應(yīng)的類別，通過學(xué)習(xí)已有標(biāo)簽的數(shù)據(jù)信息，從而預(yù)測(cè)沒有標(biāo)簽的節(jié)點(diǎn)屬于哪一個(gè)類別。通常先抽取節(jié)點(diǎn)的屬性或結(jié)構(gòu)特征為節(jié)點(diǎn)生成嵌入信息，然后應(yīng)用邏輯回歸等分類器為對(duì)應(yīng)節(jié)點(diǎn)預(yù)測(cè)標(biāo)簽。節(jié)點(diǎn)分類應(yīng)用領(lǐng)域十分廣泛。如，在新聞和推特中，對(duì)短文本進(jìn)行分類，幫助用戶找到相關(guān)信息[34];在社交網(wǎng)絡(luò)中預(yù)測(cè)部分用戶的標(biāo)簽信息;在生物領(lǐng)域中，對(duì)蛋白質(zhì)生物功能進(jìn)行標(biāo)記。最近實(shí)驗(yàn)數(shù)據(jù)[19，31-33]表明，融入屬性信息的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型對(duì)節(jié)點(diǎn)分類的精度都要高于基礎(chǔ)模型metapath2vec，表明利用異構(gòu)節(jié)點(diǎn)特征的GNN架構(gòu)可以得到更好的嵌入表示，對(duì)提高下游任務(wù)有很大的幫助。

2） 節(jié)點(diǎn)聚類?按照某個(gè)特定標(biāo)準(zhǔn)（如距離準(zhǔn)則）把一個(gè)數(shù)據(jù)集分割成不同的類或簇，使得同一個(gè)簇內(nèi)的數(shù)據(jù)對(duì)象的相似性盡可能大，同時(shí)不在同一個(gè)簇中數(shù)據(jù)對(duì)象的差異性也盡可能大。節(jié)點(diǎn)聚類算法可以用來為社交網(wǎng)絡(luò)中的用戶自動(dòng)劃分好友分組，為蛋白質(zhì)網(wǎng)絡(luò)中的各類蛋白質(zhì)依照它們之間的聯(lián)系自動(dòng)聚類。研究[32]表明，在節(jié)點(diǎn)聚類任務(wù)中，node2vec[22]優(yōu)于傳統(tǒng)的異構(gòu)模型[20-21]，這是由于node2vec作為一種基于偏隨機(jī)游走方法，迫使圖中靠近的節(jié)點(diǎn)在嵌入空間中也靠近[35]，從而對(duì)節(jié)點(diǎn)的位置信息進(jìn)行編碼，同時(shí)這個(gè)特性也極大促進(jìn)了K-Means算法的發(fā)展。

3） 鏈接預(yù)測(cè)?旨在預(yù)測(cè)網(wǎng)絡(luò)中丟失的邊，或者未來可能會(huì)出現(xiàn)的邊。在生物領(lǐng)域中，由于目前有很多蛋白質(zhì)人們都不熟悉，因而實(shí)驗(yàn)時(shí)間和金錢成本高，需要較準(zhǔn)確的預(yù)測(cè)以降低成本。例如文獻(xiàn)[36—40]預(yù)測(cè)可以發(fā)生相互作用的蛋白質(zhì)，為疾病的發(fā)生和大規(guī)模的治療設(shè)計(jì)提供有價(jià)值的見解。鏈接預(yù)測(cè)在社交網(wǎng)絡(luò)也得到廣泛應(yīng)用，例如向用戶推薦商品[41-42]或熟人。由表4可知，MAGNN[32]模型在鏈接預(yù)測(cè)方面的效果最好，這是由于MAGNN不僅聚合多條元路徑的信息還考慮元路徑內(nèi)部的語義信息。

4?總結(jié)與展望

現(xiàn)有的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法包括基于隨機(jī)游走方法、基于一階/二階相似度方法、基于圖注意力網(wǎng)絡(luò)方法和基于圖卷積網(wǎng)絡(luò)方法4個(gè)類別。本文綜合比較了方法模型各自的特點(diǎn)，并給出了異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)中的經(jīng)典數(shù)據(jù)集和常用模型的開源實(shí)現(xiàn)項(xiàng)目。

隨著社會(huì)的不斷進(jìn)步，現(xiàn)實(shí)世界網(wǎng)絡(luò)將變得更加復(fù)雜，如何有效聚合網(wǎng)絡(luò)中豐富的信息輔助表征向量的學(xué)習(xí)，同時(shí)降低模型的復(fù)雜度是今后研究的一個(gè)方向?；贕NN的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法需解決以下問題：

1） 避免預(yù)先定義元路徑。目前大多數(shù)異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法都需要預(yù)先人為定義元路徑，需要很強(qiáng)的先驗(yàn)知識(shí)且耗費(fèi)很大的人力。最近提出的GTNs[33]可以識(shí)別原始圖數(shù)據(jù)中未連接節(jié)點(diǎn)之間的有用連接，自適應(yīng)地學(xué)習(xí)到合適長(zhǎng)度的元路徑，并且實(shí)驗(yàn)表明，在節(jié)點(diǎn)分類任務(wù)上GTNs的效果要優(yōu)于HAN模型。

2） 適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)。真實(shí)世界的網(wǎng)絡(luò)具有動(dòng)態(tài)性，節(jié)點(diǎn)以及節(jié)點(diǎn)之間復(fù)雜的交互信息無時(shí)無刻不在更新，而現(xiàn)有的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法大都針對(duì)靜態(tài)網(wǎng)絡(luò)，設(shè)計(jì)能夠高效融合交互信息的動(dòng)態(tài)異構(gòu)網(wǎng)絡(luò)表示方法具有很高的實(shí)用價(jià)值。

3） 適應(yīng)大規(guī)模復(fù)雜信息網(wǎng)絡(luò)?，F(xiàn)實(shí)世界的網(wǎng)絡(luò)有上億節(jié)點(diǎn)，如OAG數(shù)據(jù)集[43]含有10億多個(gè)節(jié)點(diǎn)和連接關(guān)系，而現(xiàn)有的異構(gòu)網(wǎng)絡(luò)表示學(xué)習(xí)方法僅適用于小規(guī)模數(shù)據(jù)網(wǎng)絡(luò)。因此，設(shè)計(jì)具有可擴(kuò)展性的方法也是未來研究的一個(gè)方向。

參考文獻(xiàn)/References：

[1]?HAMILTON W， YING Z， LESKOVEC J. Inductive representation learning on large graphs[C]//Advances in Neural Information Processing Systems. Long Beach：NIPS， 2017： 1024-1034.

[2]?WANG D， CUI P， ZHU W. Structural deep network embedding[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York ： ACM， 2016： 1225-1234.

[3]?BATTAGLIA P， PASCANU R， LAI M， et al.Interaction networks for learning about objects， relations and physics[C]//Advances in Neural Information Processing Systems. Barcelona ： NIPS， 2016： 4502-4510.

[4]?LI Yaguang， YU R， SHAHABI C， et al. Diffusion Convolutional Recurrent Neural Network： Data-Driven Traffic Forecasting[EB/OL].[2018-02-22]. https：//arxiv.org/abs/1707.01926.

[5]?ZHANG J， SHI X， XIE J， et al. Gaan： Gated Attention Networks for Learning on Large and Spatiotemporal Graphs[EB/OL].[2018-03-20]. https：//arxiv.org/abs/1803.07294.

[6]?ATWOOD J， TOWSLEY D. Diffusion-convolutional neural networks[C]//Advances in Neural Information Processing Systems. Barcelona： NIPS， 2016： 1993-2001.

[7]?BERG R， KIPF T N， WELLING M. Graph Convolutional Matrix Completion[EB/OL].[2017-10-25].https：//arxiv.org/abs/1706.02263.

[8]?LU Y， FANG Y， SHI C. Meta-learning on heterogeneous information networks for cold-start recommendation[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York ： ACM， 2020： 1563-1573.

[9]?ZHANG J， SHI X， ZHAO S， et al. Star-gcn： Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems[EB/OL].[2019-05-27].https：//arxiv.org/abs/1905.13129.

[10]SUN Z， DENG Z H， NIE J Y， et al. Rotate： Knowledge Graph Embedding by Relational Rotation in Complex Space[EB/OL].[2019-02-26]. https：//arxiv.org/abs/1902.10197.

[11]魯軍豪， 許云峰. 信息網(wǎng)絡(luò)表示學(xué)習(xí)方法綜述[J]. 河北科技大學(xué)學(xué)報(bào)， 2020， 41（2）： 133-147.

LU Junhao，XU Yunfeng.A survey of information network representation learning[J].Journal of Hebei University of Science and Technology，2020，41（2）：133-147.

[12]涂存超， 楊成， 劉知遠(yuǎn)， 等. 網(wǎng)絡(luò)表示學(xué)習(xí)綜述[J]. 中國(guó)科學(xué)：信息科學(xué)， 2017， 47（8）： 980-996.

TU Cunchao， YANG Cheng， LIU Zhiyuan， et al. Network representation learning： An overview[J]. Scientia Sinica Informationis， 2017， 47（8）： 980-996.

[13]CHANG S， HAN W， TANG J， et al. Heterogeneous network embedding via deep architectures[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York： ACM， 2015： 119-128.

[14]FU T， LEE W C， LEI Z. HIN2Vec： Explore meta-paths in heterogeneous information networks for representation learning[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. Singapore： ACM， 2017： 1797-1806.

[15]周慧，趙中英，李超.面向異質(zhì)信息網(wǎng)絡(luò)的表示學(xué)習(xí)方法研究綜述[J]. 計(jì)算機(jī)科學(xué)與探索， 2019， 13（7）： 1081-1093.

ZHOU Hui， ZHAO Zhongying， LI Chao. Survey on representation learning methods oriented onheterogeneous information networks[J]. Journal of Frontiers of Computer Science and Technology， 2019， 13（7）： 1081-1093.

[16]SHI C， LI Y， ZHANG J， et al. A survey of heterogeneous information network analysis[J]. IEEE Transactions on Knowledge and Data Engineering， 2016， 29（1）： 17-37.

[17]SUN Y Z， HAN J W， YAN X F， et al. PathSim： Meta path-based top-k similarity search in heterogeneous information networks[J]. Proceedings of the VLDB Endowment， 2011， 4（11）： 992-1003.

[18]ZHANG Daokun， YIN Jie， ZHU Xingquan， et al. Network representation learning： A survey[J]. IEEE Transactions on Big Data， 2017.doi：10.1109/TBDATA.2018.2850013.

[19]WANG X， JI H， SHI C， et al. Heterogeneous graph attention network[C]//The World Wide Web Conference. Geneva：WWW， 2019： 2022-2032.

[20]DONG Y， CHAWLA N V， SWAMI A. Metapath2vec： Scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 135-144.

[21]SHI Chuan， HU Binbin， ZHAO W X， et al. Heterogeneous information network embedding for recommendation[J]. IEEE Transactions on Knowledge and Data Engineering， 2018， 31（2）： 357-370.

[22]TANG J， QU M， MEI Q. PTE： Predictive text embedding through large-scale heterogeneous text networks[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York： ACM， 2015： 1165-1174.

[23]SHI Y， GUI H， ZHU Q， et al. AspEm： Embedding learning by aspects in heterogeneous information networks[C]//Proceedings of the 2018 SIAM International Conference on Data Mining. California： SIAM， 2018： 144-152.

[24]SHI Y， GUI H， GUO F， et al. Easing embedding learning by comprehensive transcription of heterogeneous information networks[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 2190-2199.

[25]GROVER A， LESKOVEC J. node2vec： Scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864.

[26]HU B， SHI C， ZHAO W X， et al. Leveraging meta-path based context for Top-N recommendation with a neural co-attention model[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York： ACM， 2018： 1531-1540.

[27]LU Yuanfu， SHI Chuan， HU Linmei， et al. Relation structure-aware heterogeneous information network embedding[J]. IEEE Transactions on Knowledge and Data Engineering， 2019.http：//arxiv.org/abs/1905.08027.

[28]HU B， FANG Y， SHI C. Adversarial learning on heterogeneous information networks[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 120-129.

[29]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks[J]. Advances in Neural Information Processing Systems， 2014， 3： 2672-2680.

[30]TANG J， QU M， WANG M， et al. LINE： Large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web. Geneva：WWW，2015： 1067-1077.

[31]ZHANG C， SONG D， HUANG C， et al. Heterogeneous graph neural network[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York： ACM， 2019： 793-803.

[32]FU X， ZHANG J， MENG Z， et al. MAGNN： Metapath aggregated graph neural network for heterogeneous graph embedding[C]//Proceedings of the Web Conference 2020. Geneva： WWW， 2020： 2331-2341.

[33]YUN S， JEONG M， KIM R， et al. Graph transformer networks[C]//Advances in Neural Information Processing Systems. Vancouver： NIPS， 2019： 11983-11993.

[34]HU L， YANG T， SHI C， et al. Heterogeneous graph attention networks for semi-supervised short text classification[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）. Hong Kong： EMNLP-IJCNLP， 2019： 4823-4832.

[35]YOU Jiaxuan， YING R， LESKOVEC J. Position-Aware Graph Neural Networks[EB/OL].[2019-06-13]. https：//arxiv.org/abs/1906.04817.

[36]SHOEMAKER B A， PANCHENKO A R. Deciphering protein-protein interactions. Part I. experimental techniques and databases[J]. Plos Computational Biology， 2007， 3（3）： e42.

[37]LI Hang， GONG Xinjun， YU Hua， et al. Deep neural network based predictions of protein interactions using primary sequences[J]. Molecules， 2018， 23（8）： 1923.

[38]ZHANG Zhaopeng， RUAN Jishou， GAO Jianzhao， et al. Predicting essential proteins from protein-protein interactions using order statistics[J]. Journal of Theoretical Biology， 2019， 480： 274-283.

[39]LOPAMUDRA D， ANIRBAN M. A classification-based approach to prediction of dengue virus and human protein-protein interactions using amino acid composition and conjoint triad features[C]//2019 IEEE Region 10 Symposium （TENSYMP）. Kolkata： IEEE， 2019： 373-378.

[40]BELTRAN J C， VALDEZ P， NAVAL P. Predicting protein-protein interactions based on biological information using extreme gradient boosting[C]//2019 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology （CIBCB）. Siena：IEEE， 2019： 1-6.

[41]FAN S， ZHU J， HAN X， et al. Metapath-guided heterogeneous graph neural network for intent recommendation[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM ，2019： 2478-2486.

[42]FAN W， MA Y， LI Q， et al. Graph neural networks for social recommendation[C]//The World Wide Web Conference. New York： ACM ， 2019： 417-426.

[43] HU Z， DONG Y， WANG K， et al. Heterogeneous graph transformer[C]//Proceedings of the Web Conference. New York： ACM， 2020： 2704-2710.