嵌入雙曲層的神經(jīng)排序式圖表示學(xué)習(xí)方法

唐素勤,劉笑梅,袁 磊

(廣西師范大學(xué) a.教育學(xué)部; b.廣西多源信息挖掘與安全重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541004)

0 概述

網(wǎng)絡(luò)圖包含一組相互連接的節(jié)點(diǎn),其中,每對節(jié)點(diǎn)之間具有大量的關(guān)系信息[1]。幾乎每個(gè)領(lǐng)域都需要對圖進(jìn)行分析,例如,在生物網(wǎng)絡(luò)中,人們可能需要分類蛋白質(zhì)的角色,或者預(yù)測現(xiàn)有藥物分子的新應(yīng)用;在社交網(wǎng)絡(luò)中,需要有針對性地向用戶投放廣告或推薦新朋友等。因此,研究人員開發(fā)了各種圖數(shù)據(jù)挖掘算法應(yīng)用于節(jié)點(diǎn)分類、標(biāo)簽推薦、異常檢測和鏈接預(yù)測等任務(wù)。但是,這些已有的圖數(shù)據(jù)挖掘算法通常需要一組圖特征信息作為算法的輸入。例如,為了從圖中提取結(jié)構(gòu)信息,傳統(tǒng)的方法通常依靠圖的相關(guān)統(tǒng)計(jì)(如度、聚集系數(shù)等)、核函數(shù)或手工特征來測量局部近鄰結(jié)構(gòu)[2],然而這些手工設(shè)計(jì)的特征在學(xué)習(xí)過程中不能自適應(yīng),且需要大量的人力成本和專業(yè)知識(shí)[3]。因此,有學(xué)者提出了表示學(xué)習(xí)方法以避免耗時(shí)且成本昂貴的特征設(shè)計(jì),該方法同時(shí)提高了特征的靈活性。

現(xiàn)有的圖表示學(xué)習(xí)方法主要聚焦于為圖數(shù)據(jù)設(shè)計(jì)新的神經(jīng)網(wǎng)絡(luò)模型或設(shè)計(jì)更加復(fù)雜的隨機(jī)游走機(jī)制來探索網(wǎng)絡(luò)結(jié)構(gòu),這些方法往往使圖表示學(xué)習(xí)的復(fù)雜性大幅提高。最近,將數(shù)據(jù)嵌入非歐幾里德空間的方法受到越來越多的關(guān)注,原因是歐幾里德模型不能正確地反映復(fù)雜數(shù)據(jù)模式。受此啟發(fā),本文對神經(jīng)網(wǎng)絡(luò)表示設(shè)置適當(dāng)?shù)膸缀谓Y(jié)構(gòu),特別是層次結(jié)構(gòu)和聚集行為,以捕獲圖數(shù)據(jù)的基本屬性。圖數(shù)據(jù)的這些基本屬性出現(xiàn)在許多遵循冪律分布的現(xiàn)實(shí)復(fù)雜網(wǎng)絡(luò)場景中,可作為引入雙曲幾何的起點(diǎn)。雙曲空間能夠反映復(fù)雜網(wǎng)絡(luò)的屬性主要是由于其潛在的關(guān)鍵屬性,即空間量隨著距參考點(diǎn)的距離呈指數(shù)增長,這與歐幾里德空間中較慢的多項(xiàng)式增長相反。因此,本文探索雙曲空間是否有助于學(xué)習(xí)圖數(shù)據(jù)的嵌入,即通過使用神經(jīng)網(wǎng)絡(luò)對相互作用或關(guān)系進(jìn)行建模,并利用數(shù)據(jù)所存在的流形度量結(jié)構(gòu)來學(xué)習(xí)得到節(jié)點(diǎn)的低維緊湊特征向量表示。

通過對圖表示學(xué)習(xí)方法和復(fù)雜網(wǎng)絡(luò)中雙曲幾何理論進(jìn)行分析,本文提出一種嵌入雙曲層的神經(jīng)排序式圖表示學(xué)習(xí)方法Neural-HRNE。該方法利用神經(jīng)網(wǎng)絡(luò)的無監(jiān)督端到端方式以及雙曲幾何的分層自組織能力來自動(dòng)抽取節(jié)點(diǎn)的相似性和層次結(jié)構(gòu)信息。Neural-HRNE方法沒有使用過度復(fù)雜的節(jié)點(diǎn)交互機(jī)制,而是提出一種更小更快的神經(jīng)排序架構(gòu)來實(shí)現(xiàn)同樣的性能。其中,利用貝葉斯個(gè)性化排序(Bayesian Personalized Ranking,BPR)[4]目標(biāo)來捕獲節(jié)點(diǎn)表示向量之間的局部拓?fù)浣Y(jié)構(gòu)相似性。文獻(xiàn)[5]研究表明,在Lorentz模型中學(xué)習(xí)嵌入比在Poincaré球中更加有效,其不僅更適用于上下層級(jí)關(guān)系的建模,而且能非常有效地執(zhí)行黎曼優(yōu)化并避免由Poincaré距離產(chǎn)生的數(shù)值不穩(wěn)定性問題。因此,在Neural-HRNE方法中,本文將距離度量轉(zhuǎn)換為所嵌入雙曲面模型中的度量,圖中的節(jié)點(diǎn)能利用雙曲幾何特性自組織為分層結(jié)構(gòu),從而使得Neural-HRNE方法可以高效地提取節(jié)點(diǎn)的潛在特征表示。在學(xué)習(xí)得到節(jié)點(diǎn)的潛在特征向量表示后,本文在多個(gè)不同尺度的數(shù)據(jù)集上分別進(jìn)行節(jié)點(diǎn)推薦和節(jié)點(diǎn)分類任務(wù),通過對比幾種不同空間中的圖表示學(xué)習(xí)方法來驗(yàn)證所提方法的有效性,并分析其維度敏感性和模型收斂性。

1 相關(guān)工作

早期的圖表示學(xué)習(xí)可追溯到2000年,當(dāng)時(shí)的算法主要將圖表示學(xué)習(xí)作為降維技術(shù)的一部分,通過特征分解圖的關(guān)聯(lián)矩陣來得到節(jié)點(diǎn)的特征向量。但是,就節(jié)點(diǎn)數(shù)量而言,多數(shù)算法通常至少具有二次時(shí)間復(fù)雜度,可擴(kuò)展性較低限制了它們在大規(guī)模圖上的應(yīng)用[6]。與特征工程中需要人工設(shè)計(jì)特征不同,深度學(xué)習(xí)會(huì)自動(dòng)從數(shù)據(jù)中學(xué)習(xí)特征表示,這使得特征工程向特征學(xué)習(xí)轉(zhuǎn)變。近期的圖表示學(xué)習(xí)方法主要集中于為圖數(shù)據(jù)設(shè)計(jì)新的神經(jīng)網(wǎng)絡(luò)模型。DeepWalk[7]首先使用隨機(jī)游走從輸入圖中采樣一組路徑,將采樣的路徑類比于來自語料庫的句子,從而利用神經(jīng)語言模型Skip-Gram學(xué)習(xí)得到節(jié)點(diǎn)的特征向量表示。DeepWalk的成功激發(fā)了許多后續(xù)的研究,如Node2vec[8]和LINE[9]等。使用遞歸神經(jīng)網(wǎng)絡(luò)模型GRU來嵌入信息的級(jí)聯(lián)路徑以及將鄰接矩陣輸入到自編碼器中重構(gòu)鄰域相似的節(jié)點(diǎn)也是較典型的方法。作為另一種流行的深度學(xué)習(xí)模型,卷積神經(jīng)網(wǎng)絡(luò)及其變體也被廣泛應(yīng)用于圖表示學(xué)習(xí)。自2008年以來,研究人員聚焦于直接為復(fù)雜網(wǎng)絡(luò)設(shè)計(jì)有效且可擴(kuò)展的表示學(xué)習(xí)技術(shù),且其表現(xiàn)出了良好的性能并能適用于各種應(yīng)用[6]。

2 模型構(gòu)建

本文的圖表示學(xué)習(xí)方法Neural-HRNE利用BPR來捕獲節(jié)點(diǎn)之間的局部拓?fù)浣Y(jié)構(gòu)相似性,并通過雙曲幾何中的雙曲面模型來有效探索圖的拓?fù)浣Y(jié)構(gòu)信息,特別是層級(jí)結(jié)構(gòu)。模型的整體架構(gòu)如圖1所示,該模型使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括輸入層、嵌入層、隱藏層、雙曲層、輸出層和BPR層。具體而言,模型具有共享參數(shù)的2個(gè)部分,即一個(gè)接受正確的節(jié)點(diǎn)鏈接,另一個(gè)接受錯(cuò)誤的節(jié)點(diǎn)鏈接,并旨在最大化正確鏈接和錯(cuò)誤鏈接之間的差距。其中,嵌入層根據(jù)節(jié)點(diǎn)的局部鄰居結(jié)構(gòu)學(xué)習(xí)節(jié)點(diǎn)的統(tǒng)一矢量表示,隱藏層應(yīng)用非線性降維嵌入節(jié)點(diǎn)的向量,雙曲層使用雙曲面模型來探索圖的層次結(jié)構(gòu)信息,即通過嵌入空間中的雙曲面距離來建模節(jié)點(diǎn)對之間的關(guān)系,輸出層和BPR層通過反向傳播開啟模型推斷。

圖1 Neural-HRNE模型整體架構(gòu)

2.1 輸入層和嵌入層

fu=LOOKUP(P,nu)

(1)

在具體實(shí)現(xiàn)過程中,本文使用預(yù)訓(xùn)練節(jié)點(diǎn)嵌入來初始化嵌入層,嵌入矩陣P在學(xué)習(xí)過程中迭代更新。

2.2 隱藏層

(2)

2.3 雙曲層

(3)

(4)

因此,雙曲層將節(jié)點(diǎn)之間的雙曲距離定義為:

(5)

2.4 輸出層和BPR層

Neural-HRNE方法通過式(6)的線性變換傳遞雙曲距離:

s(hu,hi)=Wsd(hu,hi)+bs

(6)

(7)

(8)

Neural-HRNE方法的嵌入目標(biāo)是最大化式(8)。為了便于計(jì)算,最小化負(fù)對數(shù)似然損失函數(shù)的和,如下:

(9)

2.5 優(yōu)化和學(xué)習(xí)

算法1Riemannian Stochastic Gradient Descent

Inputlearning rateη,number of epochsT

for t=1,2,…,T

土地是財(cái)富之母，是我國農(nóng)村人口的重要財(cái)富來源與財(cái)富象征；同時(shí)，土地是重要的生產(chǎn)和生活資料。貴州省山多地少，可以利用的土地資源稀缺，因此，充分利用好土地資源，通過政策、工程手段、科學(xué)技術(shù)等發(fā)揮其潛在價(jià)值，對于貴州省實(shí)施精準(zhǔn)扶貧，幫助農(nóng)村地區(qū)貧困人口擺脫貧困，走可持續(xù)發(fā)展的致富之路具有重要的理論意義和現(xiàn)實(shí)價(jià)值。

grad f(θt)←projθt(ht)

θt+1←expθt(-η grad f(θt))

3 實(shí)驗(yàn)結(jié)果與分析

將本文方法與現(xiàn)有學(xué)習(xí)方法進(jìn)行比較,其中,選取一些常見的具有明確上下級(jí)層次結(jié)構(gòu)的概念網(wǎng)絡(luò)以及未明確編碼對象層次結(jié)構(gòu)關(guān)系的基準(zhǔn)圖數(shù)據(jù)集,以評估各方法的節(jié)點(diǎn)推薦和節(jié)點(diǎn)分類任務(wù)效果,最后分析各方法在不同表示學(xué)習(xí)空間中的性能,即在歐幾里德、Poincaré和雙曲面模型中分析各方法對維度的敏感性和模型的收斂性。

3.1 實(shí)驗(yàn)設(shè)置

本文考慮具有明確上下級(jí)層次結(jié)構(gòu)的數(shù)據(jù)和非樹狀的有向無環(huán)圖結(jié)構(gòu),數(shù)據(jù)集的相關(guān)統(tǒng)計(jì)信息如表1所示。其中:

1)WordNet[16]是一個(gè)龐大的英文詞匯數(shù)據(jù)庫,在WordNet中,名詞、動(dòng)詞、形容詞和副詞各自被組成一個(gè)同義詞網(wǎng)絡(luò),每個(gè)同義詞集合都代表一種基本的語義概念,本文嵌入WordNet的名詞和動(dòng)詞層次結(jié)構(gòu)。

2)ACM計(jì)算分類系統(tǒng)CCS[17]是由ACM計(jì)算機(jī)協(xié)會(huì)設(shè)計(jì)的用于分類計(jì)算機(jī)主題的系統(tǒng),其可看作一種分層本體,各種ACM期刊使用該系統(tǒng)來按領(lǐng)域組織主題。

3)DBLP是來自DBLP數(shù)據(jù)集[18]的作者網(wǎng)絡(luò),其中包括共同作者、作者引用和文本相似性視圖。本文抽取DBLP中的研究人員的共同作者圖,其標(biāo)簽表明研究人員發(fā)表其研究成果的領(lǐng)域,本文選擇其中的“數(shù)據(jù)庫”“數(shù)據(jù)挖掘”“信息檢索”和“機(jī)器學(xué)習(xí)”4個(gè)不同的研究領(lǐng)域作為標(biāo)簽。

4)PPI是蛋白質(zhì)分子之間構(gòu)建的蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò)[19]。本文使用PPI網(wǎng)絡(luò)的智人誘導(dǎo)子圖,只有人類基因被保留為節(jié)點(diǎn)。Hallmark基因集中提供的基因組被視為節(jié)點(diǎn)的類別并代表蛋白質(zhì)生物狀態(tài)。

5)Wikipedia[20]是一個(gè)維基百科中儲(chǔ)存前100萬字節(jié)中單詞的共現(xiàn)網(wǎng)絡(luò)。在該數(shù)據(jù)集中,每個(gè)節(jié)點(diǎn)都是一個(gè)單詞,每條邊是單詞之間的共現(xiàn)關(guān)系,每個(gè)節(jié)點(diǎn)都有一個(gè)標(biāo)簽,表示單詞的POS詞性。

表1 數(shù)據(jù)集的相關(guān)統(tǒng)計(jì)信息

在對比實(shí)驗(yàn)中,所有方法均只使用節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)特征,選取一些基于歐幾里德的神經(jīng)網(wǎng)絡(luò)嵌入和基于雙曲空間的圖嵌入方法。本文將Neural-HRNE雙曲層中的雙曲面度量替換為歐幾里德和Poincaré度量并以此來作為其中的對比基線。對比方法具體如下:

1)DNGR[21]采用隨機(jī)沖浪策略來捕獲圖結(jié)構(gòu)信息,并進(jìn)一步將這些結(jié)構(gòu)信息轉(zhuǎn)換為正點(diǎn)互信息矩陣,然后訓(xùn)練堆棧降噪自編碼器以學(xué)習(xí)節(jié)點(diǎn)表示。

2)HARP[22]遞歸地合并原始圖中的節(jié)點(diǎn)和邊以獲得具有相似性的一系列較小的連續(xù)圖結(jié)構(gòu)體,合并的圖均具有不同的粒度,從而提供了原始圖的全局結(jié)構(gòu)視圖。HARP可作為一種通用的元策略來改進(jìn)圖嵌入算法,本文選取文獻(xiàn)[22]中表現(xiàn)較好的HARP(N2V)方法,其結(jié)合了Node2vec算法用于加強(qiáng)節(jié)點(diǎn)嵌入。

3)文獻(xiàn)[14]提出了一種雙曲空間中圖的神經(jīng)嵌入算法,其采用與DeepWalk類似的方法,不同的是該算法不再使用歐幾里德度量,而使用Poincaré度量并在雙曲空間中通過反向傳播來學(xué)習(xí)節(jié)點(diǎn)的向量表示。

4)文獻(xiàn)[13]提出一種基于黎曼流形的“測地線凸錐”模型來學(xué)習(xí)層次嵌入,其有效解決了Order嵌入[23]和Poincaré嵌入[10]中嵌入空間維度災(zāi)難、不能編碼不對稱關(guān)系和Poincaré球邊界坍塌問題。

本文嵌入模型中有若干用戶定義的超參數(shù)。其中,隱藏層中的神經(jīng)元數(shù)量設(shè)置為150,嵌入模型中的正則化系數(shù)λ設(shè)置為0.000 05。在模型學(xué)習(xí)和優(yōu)化過程中,設(shè)置學(xué)習(xí)率η為0.5,批量大小定為100。對于其他對比方法,使用網(wǎng)格搜索從集合{0.01,0.001,0.000 1}中選擇正則化系數(shù),并從集合{0.01,0.05,0.1,0.5}中選擇學(xué)習(xí)率。對于其余的超參數(shù),本文使用各方法在原文中所建議的默認(rèn)參數(shù)值。設(shè)置所有節(jié)點(diǎn)的表示維度為50維。

3.2 節(jié)點(diǎn)推薦

節(jié)點(diǎn)推薦可用于相似性搜索等領(lǐng)域,其任務(wù)是根據(jù)自身的上下文向用戶推薦感興趣的對象。在現(xiàn)實(shí)場景中,推薦的節(jié)點(diǎn)有各種類型,如用戶興趣、社交朋友和查詢文檔等。使用表示學(xué)習(xí)的低維矢量通常比原始表示密集得多,這減輕了較多數(shù)據(jù)的稀疏性問題,使得查詢?nèi)蝿?wù)更加簡單和準(zhǔn)確。

根據(jù)多數(shù)圖表示學(xué)習(xí)中的評估方法,本文對于給定的查詢節(jié)點(diǎn),計(jì)算目標(biāo)節(jié)點(diǎn)與查詢節(jié)點(diǎn)間的距離并對目標(biāo)節(jié)點(diǎn)進(jìn)行排序。在實(shí)驗(yàn)中,評估本文所提方法在嵌入明確或隱含層級(jí)結(jié)構(gòu)數(shù)據(jù)上的有效性。在評估過程中,本文分別使用上述5個(gè)數(shù)據(jù)集來評估嵌入質(zhì)量,并將數(shù)據(jù)視為無向傳遞閉包,這樣的分層結(jié)構(gòu)不能從觀察到的邊直接得出,而需要被推斷出來。為了測量嵌入質(zhì)量,本文計(jì)算每個(gè)觀察到的邊(u,v)在嵌入空間中的相應(yīng)距離d=(u,v),并按升序排列u的所有未觀察到的邊的距離,即{d=(u,v′):(u,v′)?D},得到原始的正確元組排名(越低越好),然后計(jì)算所有正確節(jié)點(diǎn)的前50平均精度均值MAP@50,結(jié)果如表2所示,其中,最優(yōu)結(jié)果加粗表示。

表2 MAP@50結(jié)果對比

從表2可以看出,因?yàn)殡p曲幾何的分層自組織能力,其所選擇的使用雙曲空間的表示學(xué)習(xí)方法比歐幾里德空間中的方法更加有效,特別是當(dāng)學(xué)習(xí)的特征維度較低時(shí),雙曲幾何能得到更加緊湊的表示,所以能夠更好地在有限空間中表示復(fù)雜函數(shù)。相比于雙曲幾何強(qiáng)層次嵌入方法,本文方法也表現(xiàn)出了較好的表達(dá)力,顯示出其性能優(yōu)勢。

3.3 節(jié)點(diǎn)分類

節(jié)點(diǎn)分類通過在標(biāo)記的節(jié)點(diǎn)嵌入集上應(yīng)用分類器來進(jìn)行訓(xùn)練,即給定未標(biāo)記節(jié)點(diǎn)的特征向量表示,訓(xùn)練的分類器可以預(yù)測其類標(biāo)簽。由于WordNet是一個(gè)詞典且CCS通常作為分類法使用,沒有可利用標(biāo)簽,因此本文僅使用DBLP、PPI和Wikipedia數(shù)據(jù)集來評估嵌入表示的監(jiān)督學(xué)習(xí)任務(wù)效果,即節(jié)點(diǎn)分類的有效性。

本文從數(shù)據(jù)集中隨機(jī)抽取不同比例的標(biāo)記節(jié)點(diǎn),并將它們用作訓(xùn)練數(shù)據(jù),其余的作為測試數(shù)據(jù)。對于歐幾里德模型,本文使用LibLinear庫中的one-vs-rest SVM分類器預(yù)測每個(gè)節(jié)點(diǎn)最可能的標(biāo)簽,而對于雙曲模型,本文使用基于雙曲距離的內(nèi)核訓(xùn)練SVM分類模型。重復(fù)上述過程10次,表3和表4所示為DBLP、PPI和Wikipedia數(shù)據(jù)集中的各方法平均性能表現(xiàn),最優(yōu)結(jié)果加粗表示。

表3 DBLP數(shù)據(jù)集上的準(zhǔn)確率對比

表4 PPI和Wikipedia數(shù)據(jù)集上的節(jié)點(diǎn)多標(biāo)簽分類Macro-F1結(jié)果

從表3、表4可以看出,相比于經(jīng)典的基于歐幾里德空間的方法,雙曲幾何對于數(shù)據(jù)的層次結(jié)構(gòu)特征抽取更加有效,這有助于輕松高效地處理各種下游圖數(shù)據(jù)分析任務(wù)。隨著分類訓(xùn)練數(shù)據(jù)的增加,各分類器的性能均在不斷提高,而對比于同等情況下使用歐幾里德嵌入的EuclideanEmb,本文提出的圖表示學(xué)習(xí)方法在Poincaré和雙曲面模型中性能均有所提高。在同是使用了雙曲幾何自組織能力的方法中,Neural-HRNE的結(jié)果基本持平或略微降低,這可能是由于Neural-HRNE中的節(jié)點(diǎn)采樣策略過于簡單,未探索到節(jié)點(diǎn)之間諸如同質(zhì)性或結(jié)構(gòu)等價(jià)性的關(guān)系,或者所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)較為淺層并直接使用了One-hot來初始化該神經(jīng)網(wǎng)絡(luò),導(dǎo)致方法學(xué)習(xí)性能有所降低。因此,下一步考慮探索結(jié)合復(fù)雜網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的更加高效的采樣策略和更加強(qiáng)健的神經(jīng)網(wǎng)絡(luò),以提高Neural-HRNE方法的性能。

3.4 模型性能分析

為了進(jìn)一步說明雙曲面模型對圖表示學(xué)習(xí)性能的影響,本文選取僅改變雙曲層設(shè)置的表示學(xué)習(xí)方法進(jìn)行比較。具體地,分別在EuclideanEmb、PoincaréEmb和Neural-HRNE方法中測試模型對表示學(xué)習(xí)維度的敏感性和模型的收斂性。圖2所示為不同空間學(xué)習(xí)方法在WordNet名詞層的維度敏感性和收斂性。圖2(a)為僅改變表示學(xué)習(xí)的維度后對WordNet名詞層的節(jié)點(diǎn)推薦結(jié)果MAP@50的影響,從中可以看出,相比于歐幾里德幾何,雙曲幾何對空間的使用效率更高,歐幾里德嵌入在維度較低時(shí)對特征的表達(dá)能力較弱,而雙曲幾何能在較低的維度時(shí)依然具有較好的表現(xiàn)性能,雙曲幾何大約在50維時(shí)就趨于穩(wěn)定,其比歐幾里德更能提供緊湊的特征向量表示。圖2(b)為EuclideanEmb、PoincaréEmb和Neural-HRNE模型在50維時(shí)對WordNet名詞層中節(jié)點(diǎn)特征表示學(xué)習(xí)的收斂情況。從中可以看出,本文提出的神經(jīng)排序網(wǎng)絡(luò)大約在10個(gè)時(shí)期內(nèi)收斂,與歐幾里德嵌入相比,雙曲幾何的嵌入方法收斂更快,損失誤差更低。

圖2 3種方法在WordNet名詞中的維度敏感性和 模型收斂性結(jié)果對比

對不同空間中圖表示學(xué)習(xí)方法的維度敏感性和模型收斂性進(jìn)行分析,結(jié)果表明,相比于歐幾里德嵌入,雙曲幾何能提供更高質(zhì)量的嵌入,特別是在學(xué)習(xí)維度較低的情況下。本文提出的雙曲面模型表現(xiàn)出與Poincaré模型相當(dāng)?shù)男阅?且其神經(jīng)網(wǎng)絡(luò)模型具有高效的學(xué)習(xí)能力。

4 結(jié)束語

如何對圖中的節(jié)點(diǎn)進(jìn)行有效的特征表示一直是圖挖掘領(lǐng)域的研究熱點(diǎn)。本文提出一種嵌入雙曲層的神經(jīng)排序式圖表示學(xué)習(xí)方法,以提取節(jié)點(diǎn)的相似性和層次結(jié)構(gòu)特性。該方法利用貝葉斯個(gè)性化排序作為其目標(biāo)函數(shù),并在其中加入一層雙曲層來度量節(jié)點(diǎn)對之間的局部拓?fù)浣Y(jié)構(gòu)相似性,利用黎曼梯度下降來學(xué)習(xí)更高效的節(jié)點(diǎn)特征向量表示。對比使用歐幾里德、Poincaré和雙曲面模型的不同表示學(xué)習(xí)方法的性能,結(jié)果表明,本文所提方法能夠更高效地學(xué)習(xí)節(jié)點(diǎn)特征,而且可以獲得更加緊湊、更具表達(dá)力的特征向量表示。嵌入雙曲空間中的層次結(jié)構(gòu)能很好地獲取數(shù)據(jù)的基礎(chǔ)語義,下一步將探索雙曲空間的優(yōu)化方法以提高嵌入質(zhì)量并獲得更快的收斂速度。此外,將雙曲嵌入有效地整合到下游的任務(wù)和應(yīng)用中,以及在多關(guān)系數(shù)據(jù)或圖像等更復(fù)雜的數(shù)據(jù)嵌入中應(yīng)用雙曲幾何理論,也是今后的研究重點(diǎn)。