基于異質(zhì)信息網(wǎng)絡(luò)的表示學(xué)習(xí)方法研究綜述

張蝶依，尹立杰

(河北地質(zhì)大學(xué)信息工程學(xué)院，河北 石家莊 050031)

0 引言

網(wǎng)絡(luò)數(shù)據(jù)作為表達(dá)物體間關(guān)系的一種載體，在現(xiàn)實(shí)世界中無處不在，例如生物、社交和計(jì)算機(jī)系統(tǒng)等，在這些系統(tǒng)中相互作用的組件可以抽象為信息網(wǎng)絡(luò)[1]。由此可見，信息網(wǎng)絡(luò)已經(jīng)成為我們?nèi)粘Ｉ钪兄匾M成部分，對(duì)信息網(wǎng)絡(luò)進(jìn)行研究和分析已經(jīng)引起學(xué)術(shù)界眾多研究者們的廣泛關(guān)注。隨著網(wǎng)絡(luò)時(shí)代的迅猛發(fā)展，信息網(wǎng)絡(luò)所面臨的復(fù)雜性越來越高，如何有效、快速處理網(wǎng)絡(luò)中的數(shù)據(jù)成為亟待解決的問題。

采用鄰接矩陣[2]這種高維稀疏的編碼方式來表示網(wǎng)絡(luò)中的節(jié)點(diǎn)，很難被機(jī)器學(xué)習(xí)算法處理。網(wǎng)絡(luò)表示學(xué)習(xí)采用低維向量表示網(wǎng)絡(luò)中的節(jié)點(diǎn)，同時(shí)盡可能地保留網(wǎng)絡(luò)原始的結(jié)構(gòu)特征。由于低維向量很容易被機(jī)器學(xué)習(xí)算法處理，因此被廣泛應(yīng)用于節(jié)點(diǎn)分類[3-5]、聚類[6-7]、鏈接預(yù)測(cè)[8-9]和推薦[10-13]等應(yīng)用場(chǎng)景中。

現(xiàn)在已有大量工作致力于同質(zhì)網(wǎng)絡(luò)的表示學(xué)習(xí)，相關(guān)研究工作包括 DeepWalk[14]、LINE[15]、Node2vec[16]、GraRep[17]等，但是這些算法只考慮了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，使得學(xué)到的節(jié)點(diǎn)或邊的特征表示在后續(xù)的實(shí)驗(yàn)任務(wù)中并沒有取得很好的效果?，F(xiàn)實(shí)世界的網(wǎng)絡(luò)除了包含拓?fù)湫畔⒅?，還包含更多可利用的輔助信息，例如微博中包含用戶信息、微博內(nèi)容等屬性信息，充分利用這些異質(zhì)信息有助于學(xué)習(xí)更加準(zhǔn)確的節(jié)點(diǎn)表示。將現(xiàn)實(shí)世界的信息網(wǎng)絡(luò)建模為異質(zhì)信息網(wǎng)絡(luò)，即由多種類型的節(jié)點(diǎn)通過多種類型的連邊形成的網(wǎng)絡(luò)，不僅保留了網(wǎng)絡(luò)中的拓?fù)浣Y(jié)構(gòu)信息，而且可以獲取網(wǎng)絡(luò)中豐富的語(yǔ)義信息，例如，學(xué)術(shù)網(wǎng)絡(luò)包含作者、論文、會(huì)議等不同類型的節(jié)點(diǎn)，以及作者和論文間的撰寫關(guān)系、論文和會(huì)議間的發(fā)表關(guān)系等。近年來，大量學(xué)者開始研究異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)的相關(guān)方法，本文將從不同角度對(duì)這些表示學(xué)習(xí)方法進(jìn)行介紹和總結(jié)。

2 相關(guān)定義

定義1異質(zhì)信息網(wǎng)絡(luò)

用G= (V,E,T,φ,φ)表示一個(gè)信息網(wǎng)絡(luò)，V表示網(wǎng)絡(luò)中的節(jié)點(diǎn)集合，E表示網(wǎng)絡(luò)中邊的集合。T=(TV,TE)，TV和TE分別代表節(jié)點(diǎn)和邊類型的集合。每個(gè)節(jié)點(diǎn)v?V和每條邊e?E的類型由映射函數(shù)確定，分別表示為φ(v):V→TV,φ(e):E→TE。若，給定的有向網(wǎng)絡(luò)G就是異質(zhì)信息網(wǎng)絡(luò)，否則為同質(zhì)網(wǎng)絡(luò)[18]。

定義2異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)

給定一個(gè)異質(zhì)信息網(wǎng)絡(luò)G= (V,E,T,φ,φ)，V表示網(wǎng)絡(luò)中的節(jié)點(diǎn)集合，E表示網(wǎng)絡(luò)中邊的集合。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)[19]是將網(wǎng)絡(luò)中的節(jié)點(diǎn)v?V投影到一個(gè)潛在低維表示空間 ?d中，學(xué)習(xí)一個(gè)映射關(guān)系fG:V→?d，其中，同時(shí)保留網(wǎng)絡(luò)原有的結(jié)構(gòu)信息和語(yǔ)義關(guān)聯(lián)。

3 異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法介紹

隨著現(xiàn)實(shí)世界網(wǎng)絡(luò)的復(fù)雜化和擴(kuò)大化，如何充分挖掘并運(yùn)用異質(zhì)網(wǎng)絡(luò)中存在的豐富信息是一項(xiàng)非常重要的任務(wù)。通過不同網(wǎng)絡(luò)表示學(xué)習(xí)方法得到節(jié)點(diǎn)的向量表示，可以將其應(yīng)用到機(jī)器學(xué)習(xí)任務(wù)中，有效利用異質(zhì)網(wǎng)絡(luò)中的豐富信息。根據(jù)對(duì)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)模型的研究，將已有的方法分為3類：基于網(wǎng)絡(luò)分解的方法、基于隨機(jī)游走的方法和結(jié)合應(yīng)用任務(wù)的方法。

3.1 基于網(wǎng)絡(luò)分解的方法

基于網(wǎng)絡(luò)分解算法的核心思想是根據(jù)節(jié)點(diǎn)類型的不同，將異質(zhì)信息網(wǎng)絡(luò)分解成多個(gè)簡(jiǎn)單的網(wǎng)絡(luò)，分別對(duì)這些網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，通過融合這些特征信息得到節(jié)點(diǎn)的低維表示。例如，Tang等人提出的 PTE[20]算法將異質(zhì)文本網(wǎng)絡(luò)分解為word-word，word-document，word-label三個(gè)子網(wǎng)絡(luò)（如圖1所示），分別對(duì)三個(gè)不同類型的子網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，獲取三種不同類型節(jié)點(diǎn)間的相似性，得到網(wǎng)絡(luò)中節(jié)點(diǎn)的向量表示，將文本中所有單詞對(duì)應(yīng)的向量表示取平均即為文本最終的向量表示。Shi等人提出的 HERec[21]模型根據(jù)元路徑抽取出相同類型的節(jié)點(diǎn)序列，對(duì)不同元路徑抽取到的同類節(jié)點(diǎn)分別進(jìn)行表示學(xué)習(xí)，并利用融合函數(shù)將節(jié)點(diǎn)的不同表示進(jìn)行融合，得到節(jié)點(diǎn)的最終表示。

圖1 異質(zhì)文本網(wǎng)絡(luò)的三個(gè)子網(wǎng)絡(luò)Fig.1 Thr ee sub-networks of heterogeneous text network

3.2 基于隨機(jī)游走的方法

隨機(jī)游走作為一種經(jīng)典的網(wǎng)絡(luò)表示學(xué)習(xí)模型，常用于刻畫網(wǎng)絡(luò)中節(jié)點(diǎn)間的關(guān)系，因此也被廣泛用于獲取網(wǎng)絡(luò)節(jié)點(diǎn)的采樣序列?；陔S機(jī)游走的方法主要是采用不同的隨機(jī)游走策略對(duì)網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行采樣，并通過預(yù)測(cè)節(jié)點(diǎn)間的鄰居關(guān)系得到節(jié)點(diǎn)的低維表示。例如，Metapath2vec[22]通過對(duì)稱的元路徑來進(jìn)行隨機(jī)游走，將得到的游走序列作為神經(jīng)網(wǎng)絡(luò)skip-gram模型的輸入，通過更新參數(shù)進(jìn)而得到節(jié)點(diǎn)的低維嵌入，但在輸出層并未將節(jié)點(diǎn)的類別區(qū)別開來。Metapath2vec++模型在神經(jīng)網(wǎng)絡(luò)的輸出層，針對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)類型的不同，將異質(zhì)網(wǎng)絡(luò)分解成若干同質(zhì)網(wǎng)絡(luò)。Zhang等人在元路徑的基礎(chǔ)上提出metagraph2vec[23]方法，通過構(gòu)建多條元路徑獲取節(jié)點(diǎn)間的不同語(yǔ)義關(guān)系。Fu等人提出了HIN2Vec[24]模型，通過隨機(jī)游走的方式選取節(jié)點(diǎn)序列，考慮節(jié)點(diǎn)及節(jié)點(diǎn)間不同類型的邊關(guān)系，基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)節(jié)點(diǎn)和元路徑的向量表示，HIN2Vec模型的框架示意圖如圖2所示。HINE[25]通過元路徑隨機(jī)游走獲取節(jié)點(diǎn)的局部和全局語(yǔ)義信息，提高了網(wǎng)絡(luò)節(jié)點(diǎn)嵌入的準(zhǔn)確性。

圖2 HIN2VEC 模型框架Fig.2 The framework of HIN2VEC

3.3 結(jié)合應(yīng)用任務(wù)的方法

Sun等人提出了一種基于元路徑的相似度算法 PathSim[26]，該算法采用對(duì)稱元路徑的方式計(jì)算異質(zhì)網(wǎng)絡(luò)中相同類型頂點(diǎn)之間的相似度。Wang等人提出的 SHINE[27]模型將原始的 HIN劃分為三個(gè)單類型的網(wǎng)絡(luò)：情感網(wǎng)絡(luò)，社會(huì)網(wǎng)絡(luò),信息網(wǎng)絡(luò)，針對(duì)三個(gè)網(wǎng)絡(luò)分別建立對(duì)應(yīng)的自編碼器，將學(xué)到的節(jié)點(diǎn)表示進(jìn)行融合，用于預(yù)測(cè)可能存在的情感鏈接。Yang提出一種基于元路徑的鏈接預(yù)測(cè)方法 BRLinks[28]。該模型首先剔除網(wǎng)絡(luò)中的無關(guān)節(jié)點(diǎn)，重新構(gòu)造異質(zhì)信息網(wǎng)絡(luò)，然后采用余弦相似度計(jì)算兩兩節(jié)點(diǎn)間的相關(guān)性得到節(jié)點(diǎn)相關(guān)性矩陣，計(jì)算每條元路徑上節(jié)點(diǎn)的鏈接概率，最后將通過不同元路徑得到的節(jié)點(diǎn)概率加權(quán)求和作為待預(yù)測(cè)節(jié)點(diǎn)間的鏈接概率。Shi等人提出一種異構(gòu)網(wǎng)絡(luò)推薦方法 HERec，該算法采用 Meta-Path的隨機(jī)游走方法生成采樣序列，通過刪除與起始節(jié)點(diǎn)類型不同的節(jié)點(diǎn)，對(duì)得到的同構(gòu)節(jié)點(diǎn)序列進(jìn)行表征學(xué)習(xí)，由于不同的 Meta-Path會(huì)得到不同的節(jié)點(diǎn)表示，通過設(shè)計(jì)融合函數(shù)獲取節(jié)點(diǎn)的唯一向量表示，將異質(zhì)信息網(wǎng)絡(luò)的表示融入到矩陣分解框架中，從而用于推薦系統(tǒng)，HERec模型框架如圖3所示。MCRec[29]將基于元路徑的上下文融入到用戶-商品對(duì)的信息中，同時(shí)采用協(xié)同注意力機(jī)制增強(qiáng)用戶和商品的節(jié)點(diǎn)表示，很大程度上提高了推薦性能，并通過大量實(shí)驗(yàn)驗(yàn)證該模型可以緩解推薦系統(tǒng)中普遍存在的冷啟動(dòng)問題。LGRec[30]將通過網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)得到的用戶與商品的直接關(guān)系作為局部信息，通過元路徑獲取到的用戶與商品的間接關(guān)系作為全局信息，將局部信息和全局信息進(jìn)行融合，得到用戶和商品更準(zhǔn)確的表示，并通過實(shí)驗(yàn)驗(yàn)證了該模型在推薦系統(tǒng)的有效性。

圖3 HERec模型框架Fig.3 The framework of HERec

4 應(yīng)用場(chǎng)景

4.1 節(jié)點(diǎn)分類

節(jié)點(diǎn)分類是根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)擁有的共同特點(diǎn)將其劃分為不同的類別。比如，在社交網(wǎng)絡(luò)上，用戶可以根據(jù)個(gè)人的興趣愛好進(jìn)行分類。用戶的興趣愛好作為分類的類別標(biāo)簽，是對(duì)用戶進(jìn)行有效分類的主要依據(jù)。然而真實(shí)數(shù)據(jù)中的類別標(biāo)簽往往是十分稀疏的，所以需要根據(jù)少量節(jié)點(diǎn)的標(biāo)簽信息以及節(jié)點(diǎn)間的鏈接關(guān)系，對(duì)大量未標(biāo)注節(jié)點(diǎn)的分類情況進(jìn)行標(biāo)注。

4.2 節(jié)點(diǎn)聚類

節(jié)點(diǎn)聚類就是按照節(jié)點(diǎn)特征的差異將網(wǎng)絡(luò)節(jié)點(diǎn)劃分為多個(gè)簇的過程，使得同一個(gè)簇內(nèi)節(jié)點(diǎn)間具有相似的特征，不同簇中節(jié)點(diǎn)間擁有的特征盡可能不同。由于異質(zhì)網(wǎng)絡(luò)中包含豐富的語(yǔ)義信息，可以利用一些額外信息（如屬性信息）進(jìn)行聚類分析。

4.3 鏈接預(yù)測(cè)

鏈接預(yù)測(cè)[31]是通過已知的網(wǎng)絡(luò)節(jié)點(diǎn)及其鏈接關(guān)系等信息預(yù)測(cè)網(wǎng)絡(luò)中丟失的邊或者未來可能會(huì)出現(xiàn)的邊，對(duì)鏈接預(yù)測(cè)的研究可以幫助我們分析網(wǎng)絡(luò)的演化過程，在現(xiàn)實(shí)生活中有廣泛的應(yīng)用。例如，可以通過鏈接預(yù)測(cè)方法計(jì)算尚未產(chǎn)生關(guān)系的兩個(gè)人成為朋友的概率，實(shí)現(xiàn)社會(huì)網(wǎng)絡(luò)中的好友關(guān)系推薦。鏈接預(yù)測(cè)任務(wù)中常用的評(píng)價(jià)指標(biāo)為AUC值，在進(jìn)行鏈接預(yù)測(cè)時(shí)，需要把網(wǎng)絡(luò)中的樣本數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，AUC指標(biāo)就是計(jì)算測(cè)試集中連邊的分?jǐn)?shù)值高于不存在的連邊分?jǐn)?shù)值的概率。

4.4 推薦

推薦系統(tǒng)是通過研究用戶的信息需求、興趣愛好，將用戶可能感興趣的產(chǎn)品推薦給他們。近些年，隨著網(wǎng)絡(luò)表示學(xué)習(xí)的興起，一些研究者開始意識(shí)到異質(zhì)網(wǎng)絡(luò)推薦系統(tǒng)的重要性和必要性。傳統(tǒng)的一些推薦方法大多數(shù)是利用用戶-商品間的交互記錄為用戶推薦商品，但是這種方法往往存在冷啟動(dòng)問題，即無法為新用戶推薦產(chǎn)品。隨著互聯(lián)網(wǎng)服務(wù)的快速發(fā)展，越來越多的工作[32-34]開始嘗試融合一些輔助信息實(shí)現(xiàn)更精準(zhǔn)的推薦。例如，在電影推薦系統(tǒng)中，可以為具有相同觀影記錄的用戶推薦電影。利用用戶-用戶、商品-商品之間的關(guān)系可以提高推薦性能。

5 結(jié)論與展望

現(xiàn)實(shí)世界的網(wǎng)絡(luò)包含大量不同類型的實(shí)體和關(guān)系，將這些不同類型的網(wǎng)絡(luò)信息融合為整體，不僅可以挖掘網(wǎng)絡(luò)中豐富的結(jié)構(gòu)信息和語(yǔ)義信息，還可以精準(zhǔn)刻畫網(wǎng)絡(luò)實(shí)體特征。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)是通過設(shè)計(jì)合適的網(wǎng)絡(luò)特征學(xué)習(xí)模型，把不同類型的節(jié)點(diǎn)映射到同一向量空間，用低維連續(xù)的實(shí)值向量表示網(wǎng)絡(luò)中的節(jié)點(diǎn)，有效緩解了網(wǎng)絡(luò)數(shù)據(jù)的稀疏性問題。

本文對(duì)現(xiàn)有的異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)方法進(jìn)行了分類，并詳細(xì)介紹了各個(gè)類別下的一些主要研究模型及其特點(diǎn)。隨著大數(shù)據(jù)時(shí)代的到來，異質(zhì)網(wǎng)絡(luò)分析逐漸成為數(shù)據(jù)挖掘、網(wǎng)絡(luò)安全等領(lǐng)域的研究熱點(diǎn)，充分挖掘異質(zhì)網(wǎng)絡(luò)中存在的豐富信息具有重要意義。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)是一個(gè)非常有前景的研究方向，在以下幾個(gè)方面仍然面臨著巨大挑戰(zhàn)：

（1）適應(yīng)大規(guī)模復(fù)雜網(wǎng)絡(luò)?，F(xiàn)實(shí)應(yīng)用場(chǎng)景中的網(wǎng)絡(luò)往往是大規(guī)模的，例如，淘寶網(wǎng)絡(luò)中包含上億節(jié)點(diǎn)。針對(duì)大規(guī)模異質(zhì)網(wǎng)絡(luò)，在對(duì)設(shè)計(jì)好的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)往往存在訓(xùn)練效率太低、響應(yīng)時(shí)間過長(zhǎng)等問題，克服這些問題是異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)真正邁向?qū)嶋H應(yīng)用場(chǎng)景的關(guān)鍵一步。

（2）適應(yīng)網(wǎng)絡(luò)的動(dòng)態(tài)變化?，F(xiàn)實(shí)生活中的異質(zhì)網(wǎng)絡(luò)具有動(dòng)態(tài)性，大多數(shù)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法主要依賴于靜態(tài)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息進(jìn)行表征學(xué)習(xí)，沒有考慮網(wǎng)絡(luò)節(jié)點(diǎn)（或邊）實(shí)時(shí)變化的問題。然而，隨著時(shí)間的增長(zhǎng)，網(wǎng)絡(luò)在新增一些節(jié)點(diǎn)的同時(shí)，也會(huì)伴隨部分節(jié)點(diǎn)的消亡，同時(shí)網(wǎng)絡(luò)節(jié)點(diǎn)間的鏈接關(guān)系也會(huì)出現(xiàn)改變，如何從時(shí)間維度考慮網(wǎng)絡(luò)結(jié)構(gòu)的動(dòng)態(tài)變化是未來值得研究的一個(gè)方向。

（3）實(shí)現(xiàn)更多的實(shí)際應(yīng)用。目前的異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法已經(jīng)應(yīng)用到一些數(shù)據(jù)挖掘任務(wù)中，并逐步與電商、網(wǎng)絡(luò)安全等應(yīng)用系統(tǒng)相結(jié)合，但是還有更多針對(duì)大規(guī)模復(fù)雜網(wǎng)絡(luò)的應(yīng)用場(chǎng)景尚未發(fā)掘,將異質(zhì)網(wǎng)絡(luò)分析付諸實(shí)踐,在更多具體應(yīng)用中發(fā)揮作用是未來值得探索的方向。