基于莫比烏斯陀螺矢量空間的雙曲正定核

楊梅梅 方鵬飛 朱士鵬 薛 暉

層次結(jié)構(gòu)數(shù)據(jù),即內(nèi)蘊樹型或圖等其它能夠被分層表示的結(jié)構(gòu)性信息的數(shù)據(jù),廣泛存在于自然語言處理、計算機視覺、知識圖譜推薦系統(tǒng)等熱點研究領(lǐng)域[1-8].在自然語言處理中,文本數(shù)據(jù)中蘊含的關(guān)聯(lián)關(guān)系能夠根據(jù)某些先驗知識表示為圖結(jié)構(gòu).在計算機視覺中,層次結(jié)構(gòu)體現(xiàn)為圖像在時間或空間上的關(guān)系或圖像類別之間的關(guān)系.在知識圖譜領(lǐng)域,知識層級間的層次結(jié)構(gòu)信息也可以用圖模型等方法進行刻畫.在推薦系統(tǒng)領(lǐng)域,用戶與商品之間的關(guān)系建模具有分層拓撲結(jié)構(gòu).現(xiàn)有的處理層次結(jié)構(gòu)數(shù)據(jù)的方法主要是先將數(shù)據(jù)表征到歐氏空間,再基于歐氏空間設(shè)計算法,處理下游機器學(xué)習任務(wù).然而,Bourgain定理已經(jīng)證明,即使是在無限維的歐氏空間中也不能對這種層次數(shù)據(jù)進行無損編碼[3].

近年來,雙曲空間因其無損表征層次結(jié)構(gòu)數(shù)據(jù)的能力而引起研究者們的關(guān)注,用來代替歐氏空間作為層次結(jié)構(gòu)數(shù)據(jù)的表征空間[9].雙曲空間是具有負常數(shù)曲率的空間,體積樹型增長的性質(zhì)與層次結(jié)構(gòu)的節(jié)點數(shù)隨層數(shù)增加而與指數(shù)增長呈一致.因此,雙曲模型即使在低維也能以很低的失真表征層次結(jié)構(gòu)數(shù)據(jù).事實上,Hsu等[10]也指出任意低維度的雙曲空間能夠以極小的畸變編碼任意樹狀結(jié)構(gòu).

目前,針對層次結(jié)構(gòu)數(shù)據(jù)設(shè)計的雙曲表征算法層出不窮,在機器學(xué)習任務(wù)上展現(xiàn)出極強的優(yōu)越性.Nickel等提出兩種對數(shù)據(jù)層次結(jié)構(gòu)進行編碼的方法,即基于龐加萊模型的方法[11]和基于洛倫茲模型的方法[12].相比歐氏空間嵌入,這些研究取得更優(yōu)效果.另外,Khrulkov等[8]表明圖像數(shù)據(jù)集中存在層次結(jié)構(gòu),并證明在視覺數(shù)據(jù)中使用雙曲算法的可能性.這是雙曲學(xué)習與計算機視覺結(jié)合的開創(chuàng)性工作之一.

由于雙曲嵌入的迅速發(fā)展,用于處理下游任務(wù)的算法,包括雙曲神經(jīng)網(wǎng)絡(luò)和雙曲核方法等雙曲算法,也不斷涌現(xiàn).Ganea等[13]將雙曲空間作為嵌入空間集成到深度神經(jīng)網(wǎng)絡(luò)中,用于實現(xiàn)雙曲空間的非線性運算.方法將歐氏空間上的向量加和乘等基本操作擴展到雙曲空間上,進而提出雙曲神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).利用雙曲神經(jīng)網(wǎng)絡(luò)中的加、乘等基本算子,學(xué)者們提出一系列包括Hyperbolic Attention Network[14]、Hyperbolic Neural Networks++[15]、Hyperbolic Graph Neural Network[9,16]等網(wǎng)絡(luò),并取得良好效果.然而,相比歐氏空間中的神經(jīng)網(wǎng)絡(luò),雙曲神經(jīng)網(wǎng)絡(luò)由于其基本操作的復(fù)雜性和網(wǎng)絡(luò)層級中雙曲空間與切空間之間的轉(zhuǎn)換,計算復(fù)雜度更高.

核方法在分類、回歸和聚類等不同的機器學(xué)習任務(wù)中都被廣泛應(yīng)用[17-21],其核心思想是通過非線性映射函數(shù)將原始空間中線性不可分數(shù)據(jù)映射到一個再生核希爾伯特空間(通常是高維空間),使映射后數(shù)據(jù)可在該再生核希爾伯特空間中達到線性可分的效果.該非線性映射并不需要顯性求解,而是通過使用原始空間中的核函數(shù)代替映射后向量的內(nèi)積以實現(xiàn),這就避免計算高維特征空間中的內(nèi)積.歐氏空間中的核方法不僅具有簡約的形式,也具有完備的理論.

基于上述優(yōu)勢,研究者們將核方法推廣到雙曲空間中.相比雙曲神經(jīng)網(wǎng)絡(luò),核方法在一定程度上解決雙曲神經(jīng)網(wǎng)絡(luò)算法計算復(fù)雜度較高的問題.Cho等[22]提出雙曲核方法,并基于洛倫茲模型設(shè)計雙曲多項式核.在構(gòu)造核函數(shù)的過程中,先將數(shù)據(jù)從洛倫茲模型等距同構(gòu)地轉(zhuǎn)換到克萊因(Klein)模型上,再用歐氏核函數(shù)將數(shù)據(jù)投射到高維克萊因模型,最后將數(shù)據(jù)映射回洛倫茲模型.相比歐氏核,該雙曲核函數(shù)在層次結(jié)構(gòu)數(shù)據(jù)的分類上性能有所提升.然而方法將曲率固定為-1,限制核函數(shù)的映射能力,進而影響如分類在內(nèi)的具體任務(wù)性能.這是因為雖然不同曲率的雙曲模型之間是等價的,但由于計算機精度的限制,選擇不同曲率對雙曲算法的性能存在一定影響[9].另外,由于該核函數(shù)映射后的特征空間仍然是雙曲空間,需要在雙曲空間上定義能夠利用該核函數(shù)的算法,因此難以應(yīng)用希爾伯特空間上豐富的理論.Fang等[23]定義雙曲空間中的正定核,使雙曲空間能充分利用核機強大的表示能力.該工作揭示龐加萊模型與切空間上曲線長度之間的關(guān)聯(lián)關(guān)系,并確定一個雙射函數(shù),有助于在龐加萊模型中定義正定核.Fang等[23]提出一系列正定核,并成功應(yīng)用在模型的自適應(yīng)任務(wù)上.然而,該研究利用切空間獲得“線性”的雙曲表征,存在對雙曲空間利用不充分的問題.

針對上述雙曲核方法存在的問題,本文提出基于莫比烏斯陀螺矢量空間的雙曲正定核方法.基于莫比烏斯陀螺矢量空間上的陀螺矢量距離,構(gòu)造莫比烏斯高斯核(M?bius Gaussian Kernel, MGauss)和莫比烏斯拉普拉斯核(M?bius Laplacian Kernel, MLap),并證明該核函數(shù)的正定性.這類核函數(shù)將曲率值作為參數(shù),不僅把雙曲空間上的數(shù)據(jù)映射到再生核希爾伯特空間上,利用現(xiàn)有核方法的豐富理論,而且把曲率的值作為輸入?yún)?shù),增加核函數(shù)在不同數(shù)據(jù)集上的自適應(yīng)性.莫比烏斯陀螺距離的使用意味著該函數(shù)在構(gòu)造過程中遵循雙曲幾何設(shè)定,保留雙曲空間本身的度量,減少雙曲數(shù)據(jù)在核映射過程中的失真.多組在真實數(shù)據(jù)集上的對比實驗驗證本文方法處理層次結(jié)構(gòu)數(shù)據(jù)時的優(yōu)越性,以及對不同數(shù)據(jù)的適應(yīng)能力.

1 基礎(chǔ)知識

本文方法主要基于龐加萊模型和莫比烏斯陀螺矢量空間,下面就相關(guān)概念和基本知識予以介紹.

1.1 符號定義

1.2 復(fù)空間運算

本文的理論涉及復(fù)空間與實空間運算,因此簡單介紹復(fù)空間的基本內(nèi)積和范數(shù)操作.

令

Cx=x1+ix2=(x1,x2)=xR∈R2,

則xR表示x轉(zhuǎn)化為實空間上數(shù)據(jù)的表示.當y∈C時,x和y內(nèi)積表示為

其中

表示y的共軛復(fù)數(shù).另外,x的范數(shù)定義為

其中,|·|表示復(fù)數(shù)的模或復(fù)向量的范數(shù),=·=表示實空間上向量的范數(shù).此外,也可得

〈x,y〉+〈x,y〉=2xR·yR,

其中xR·yR表示實向量的內(nèi)積.

該結(jié)論可以直接擴展到高維空間.具體地,對于高維空間,當x∈Cn,y∈Cn表示復(fù)向量,即

x=(x1,x2,…,xn)∈Cn

時,x∈Cn可以使用2n維實向量xR∈R2n等價表示,則

另外,根據(jù)

也可以推出

〈x,y〉+〈y,x〉=2xR·yR,

其中xR·yR表示xR和yR的內(nèi)積.

1.3 雙曲空間

雙曲空間是具有負常數(shù)曲率的黎曼流形,可以使用多個不同的等距同構(gòu)模型表示,這些雙曲模型包括龐加萊模型、克萊因模型及洛倫茲模型等[24].類似于向量空間為歐氏空間提供加、減等基本操作,莫比烏斯陀螺矢量空間為龐加萊模型提供基本操作算子[25].下面對龐加萊模型、克萊因模型、洛倫茲模型、龐加萊模型對應(yīng)的莫比烏斯陀螺矢量空間進行簡單介紹.

n維龐加萊模型[15,24-25]

龐加萊模型也可表示為

其中,

且

表示黎曼度量.

并且

n維洛倫茲模型[15]是一個位于n+1維閔可夫斯基空間Rn+1中的超曲面,對于v∈Rn+1,q∈Rn+1,閔可夫斯基內(nèi)積可以表示為

其中

給定負常數(shù)曲率-c,則洛倫茲模型定義為

{v=(v0,v1,…,vn)T∈Rn+1|cv*v=-1,v0>0}.

這些雙曲空間上的模型之間是等距同構(gòu)的,相互之間可以轉(zhuǎn)換[15].例如,龐加萊模型上的任意點zR與克萊因模型上唯一對應(yīng)的u之間的坐標可通過

進行轉(zhuǎn)換.而龐加萊模型上的任意點z和洛倫茲模型上唯一對應(yīng)的點v=(v0,h)的相互轉(zhuǎn)換公式為

雙曲空間模型之間的等距同構(gòu)變換意味著只需要在其中一個模型上設(shè)計算法.與雙曲神經(jīng)網(wǎng)絡(luò)和雙曲核函數(shù)等現(xiàn)有工作一致[13,23],本文主要利用龐加萊模型設(shè)計雙曲算法.

1.4 莫比烏斯陀螺矢量空間

莫比烏斯陀螺空間是一個具有莫比烏斯陀螺距離的度量空間,為龐加萊模型提供代數(shù)形式[26].

?zi∈Pc,zj∈Pc,

莫比烏斯加法定義為[26-27]

類似地,莫比烏斯減法定義為[26-27]

莫比烏斯陀螺距離定義為[26-27]

(1)

另外,莫比烏斯陀螺矢量空間上的陀螺測地線即為龐加萊模型上的測地線,龐加萊測地線距離可以由莫比烏斯陀螺距離推斷而來,即

圖1和圖2分別表示歐氏空間對應(yīng)的向量空間與龐加萊模型對應(yīng)的莫比烏斯陀螺矢量空間[26].

圖1 向量空間

圖2 莫比烏斯陀螺矢量空間[26]

圖1表示常見的向量空間以及向量空間上的三角形,a、b、e分別表示三角形的三個頂點,A、B、E分別表示頂點對應(yīng)的邊,則三條邊的長度分別為

d(A)=|b-e|,d(B)=|e-a|,d(E)=|a-b|.

雙曲空間中也有類似的性質(zhì).如圖2所示,在雙曲空間設(shè)定下,莫比烏斯陀螺矢量空間上垂直于邊界的圓弧(虛線)表示龐加萊模型上的“直線”,即測地線.實線部分表示測地線構(gòu)成的“莫比烏斯陀螺三角形”,其中,a、b、e分別表示三角形的三個頂點,A、B、E分別表示頂點對應(yīng)的邊,則莫比烏斯陀螺三角形上的邊“長度”,即莫比烏斯陀螺距離分別為

d?c(A)=|b?ce|,d?c(B)=|e?ca|,d?c(E)=|a?cb|.

受到這些理論的啟發(fā),本文構(gòu)造基于莫比烏斯陀螺空間上的核方法.

2 基于莫比烏斯陀螺矢量空間的雙曲正定核方法

本文基于莫比烏斯陀螺距離,提出莫比烏斯高斯核(MGauss)和莫比烏斯拉普拉斯核(MLap),并證明核函數(shù)的正定性.

2.1 莫比烏斯高斯核

徑向基核是歐氏空間中經(jīng)典的核函數(shù)之一,只依賴于參數(shù)之間的距離大小,最常用的徑向基核是高斯核和拉普拉斯核[29].高斯核為

其中xi∈Cn,xj∈Cn,|xi-xj|表示xi、xj之間的歐氏距離,ξ>0表示高斯核的帶寬.可使用雙曲測地線距離代替歐氏距離構(gòu)造雙曲高斯核.然而文獻[23]的工作表明,直接使用測地線距離構(gòu)造的高斯核函數(shù)不是正定的.

本文使用莫比烏斯陀螺距離代替歐氏距離,構(gòu)造雙曲高斯核函數(shù).具體地,該雙曲高斯核表示為

(2)

其中,zi∈Cn,zj∈Cn,d?c(zi,zj)表示zi、zj之間的莫比烏斯陀螺距離.本文將該核函數(shù)稱為莫比烏斯高斯核.

2.1.1 正定性證明

下面證明莫比烏斯高斯核的正定性.首先給出正定核函數(shù)和負定核函數(shù)的定義[30].

定義1(正定核函數(shù)和負定核函數(shù)) 令Z表示一個非空集合.對于任意zi∈Z,zj∈Z和有限個λ1∈C,λ2∈C,…,λm∈C,如果核函數(shù)k∶(Z×Z)→C滿足

則核函數(shù)k稱為正定核.反之,若核函數(shù)滿足

且

則核函數(shù)k稱為負定核.

給定正定核和負定核的定義之后,定理1建立兩者之間的聯(lián)系[26].

定理1[26]令Z表示一個非空集并且

k∶(Z×Z)→C

是一個核函數(shù).Φ(zi,zj)表示zi、zj的函數(shù),當且僅當Φ(zi,zj)是負定時,核函數(shù)

k(zi,zj)=exp(-γΦ(zi,zj))

對于所有γ>0是正定的.

而對于莫比烏斯空間,其本身與再生核希爾伯特空間存在聯(lián)系[31],具體如下.令

其中

表示規(guī)格化核函數(shù).當該核函數(shù)

故

代入式(2),莫比烏斯高斯核可寫成

(3)

其中,ξ>0,c>0.

因此,證明莫比烏斯高斯核的正定性可以轉(zhuǎn)化為證明等式(3)中的核函數(shù)的正定性.根據(jù)定理1,由于

要證明式(3)的正定性,只需證明如下引理1.

引理1函數(shù)

是負定的.

證明1)證明核函數(shù)

的正定性.根據(jù)麥克勞林公式,核函數(shù)

可以轉(zhuǎn)換為

即正定核函數(shù)〈zi,zj〉l的組合形式.則

由于cl>0且

因此

則

為正定核函數(shù).

2)證明

的正定性.由于

成立,

是正定的,則

也是正定的.因此

仍然是正定的[27], 即

3)證明

是條件負定的.在

時,

因此

是負定的[26],引理1得證.

證畢.

綜上所述,在證明引理1后,根據(jù)定理1和等式(3),可以證明莫比烏斯高斯核是正定的.

2.1.2 實數(shù)空間上的莫比烏斯高斯核

莫比烏斯高斯是定義在復(fù)龐加萊模型上的,但是實際的機器學(xué)習任務(wù)多數(shù)是在實數(shù)空間上進行的,因此本文將該核函數(shù)轉(zhuǎn)換為實數(shù)空間上的運算.

Cnzi?czj=

(4)

該結(jié)論可以拓展到高維空間,即當

式(4)仍然成立.令

為n維實龐加萊模型上的數(shù)據(jù),則式(1)中定義的莫比烏斯陀螺距離可以轉(zhuǎn)變?yōu)閷嵖臻g上的如下運算:

(5)

代入式(2),可得實龐加萊球上的莫比烏斯高斯核:

2.2 莫比烏斯拉普拉斯核

在歐氏空間中,拉普拉斯核可寫為

其中,xi∈Cn,xj∈Cn,且|xi-xj|表示xi、xj之間的歐氏距離,ξ>0表示拉普拉斯核參數(shù).類似莫比烏斯高斯核,本文使用莫比烏斯陀螺距離代替歐氏距離,可得到如下莫比烏斯拉普拉斯核:

(6)

代入

可得到莫比烏斯拉普拉斯核:

2.2.1 正定性證明

定理2[26]如果k∶(Z×Z)→C為一個負定核函數(shù)并滿足k(zi,zj)≥0,則對于0<α<1,kα仍然是負定的.

結(jié)合定理1、引理1和定理2,由于

也是負定的,進而可得莫比烏斯拉普拉斯核也是正定的.

2.2.2 實數(shù)空間上的莫比烏斯拉普拉斯核

ξ>0.

3 實驗及結(jié)果分析

3.1 實驗數(shù)據(jù)集

本文在Facebook[32]、PIT[33]、Wiki[34]、Amazon Electronics Computers(AEC)[35]、Cora ML[36]這5個社交網(wǎng)絡(luò)數(shù)據(jù)集上進行實驗.

1)Facebook數(shù)據(jù)集.2007年收集的用于表示4類藍色認證的Facebook頁面網(wǎng)絡(luò)之間互相喜歡關(guān)系.本文在實驗中選擇頻率最高的前2 489個節(jié)點.

2)PIT數(shù)據(jù)集.馬里蘭大學(xué)信息和網(wǎng)絡(luò)動力學(xué)實驗室收集的數(shù)據(jù)集,實驗中保留614個樣本和3個類別.

3)Wiki數(shù)據(jù)集.2007年從英文維基百科收集的文章網(wǎng)絡(luò).在實驗中保留2 123個樣本和10個類別.

4)AEC數(shù)據(jù)集.亞馬遜共同購買圖[37]的一部分,節(jié)點表示商品,邊表示商品一起購買.實驗中選擇樣本數(shù)最多的3類,并按比例隨機抽取2 500個樣本.

5)Cora ML數(shù)據(jù)集.從Cora數(shù)據(jù)集[38]中提取的圖.實驗中保留2 507個節(jié)點和5個類別.

對于每個數(shù)據(jù)集,分別利用龐加萊嵌入算法[11]和Deepwalk[39]將其嵌入2、5、10和25維雙曲空間和歐氏空間,再用不同的核函數(shù)支持向量機對樣本進行分類.

3.2 評價指標及對比方法

本文選用如下評價指標:多分類精度的均值(Average Multiple Classification Accuracy, ACC)、ROC(Receiver Operating Characteristic Curve)曲線下面積(Area Under Curve, AUC)和平均查準率-查全率曲線下面積(Area Under Precision-Recall Curve, AUPR).

為了保證方法的泛化性,減少過擬合,各算法都分別在每個數(shù)據(jù)集不同維度的雙曲嵌入和歐氏嵌入上至少進行10輪二次交叉驗證,再求其平均值和方差.另外,實驗結(jié)果中也給出每種算法在每個指標上取得最好效果的次數(shù)(記為Top1 Times).

為了體現(xiàn)本文方法的莫比烏斯高斯核 (kMGauss)、莫比烏斯拉普拉斯核(kMLap)有效性,選擇現(xiàn)有的雙曲核和歐氏核進行對比,對比函數(shù)包括雙曲空間上的核函數(shù)與歐氏空間上的核函數(shù).

雙曲核函數(shù)包括由Fang等[23]定義在龐加萊模型上的Hyperbolic RBF Kernel,Hyperbolic Laplace Kernel,Hyperbolic Binomial Kernel,Hyperbolic Tan-gent Kernel.在這些核函數(shù)中[23],

1)Hyperbolic RBF Kernel[23].

2)Hyperbolic Laplace Kernel[23].

3)Hyperbolic Binomial Kernel[23].

4)Hyperbolic Tangent Kernel[23].

5)Hyperbolic Polynomial Kernel[22].

kHPloy=

kE(vi,vj)=(vi,vj)α,

α>0表示多項式的次數(shù),

表示將v的坐標從洛倫茲模型映射到Klein模型上.

6)Hyperbolic SVM[22].雙曲線性SVM,優(yōu)化目標kHLinear為

其中

l(·)=max(0,sinh-1(1)-sinh-1(·)),

*表示閔可夫斯基內(nèi)積,zi∈Ln表示嵌入在洛倫茲模型上的樣本,w表示決定分類超平面的法向量,β>0表示一個常數(shù).HLinear可以看作是雙曲線性核.

歐氏空間上的核函數(shù)包括Gaussian Kernel[29],Laplace Kernel[40],Polynomial Kernel[29].函數(shù)具體形式如下.

1)Gaussian Kernel[29].

2)Laplace Kernel[40].

3)Polynomial Kernel[29].

kEPloy=(γxixj+1)α,γ>0,α>0,xi∈Rn,xj∈Rn.

本文還進行顯著性測試,將所有對比函數(shù)與kMLap在顯著性水平0.05下進行成對t檢驗.在每個結(jié)果后面使用?/*來表明是否kMLap顯著優(yōu)于或劣于對比函數(shù),?表示顯著優(yōu)于對比函數(shù),*表示顯著劣于對比函數(shù).

3.3 實驗方法

對于每個核函數(shù),本文利用SVM在每個數(shù)據(jù)集上進行圖節(jié)點分類.對比的核函數(shù)中,kHPoly是不定的,其余都是正定的.對于正定核,利用凸優(yōu)化求解SVM[41],對于雙曲多項式核,利用Kreǐn SVM[42]求解.

另外,對于kMLap和kMGauss,參數(shù)ξ采用交叉驗證,從集合{2-6,2-5,…,26}中選取.相應(yīng)地,kHGuass、kHLap、kEGauss、kELap也是如此.對于kHPoly,多項式次數(shù)α固定為2.對于kEPloy,γ從集合{0.01,0.1,1,10}中選擇,α固定為2.另外,kMGauss、kMLap、kHGauss、kHLap、kHTang、kHBin中的曲率參數(shù)c也通過交叉驗證從集合{2-6,2-5,…,26}中獲取.

3.4 實驗結(jié)果

各對比函數(shù)在6個數(shù)據(jù)集上的ACC、AUC和AUPR指標值對比如表1～表3所示,表中黑體數(shù)字表示最優(yōu)值.由表可見,kMLap和kMGauss在不同指標上的Top1 Times最大,性能最佳,t檢驗結(jié)果也表明該結(jié)果具有統(tǒng)計學(xué)意義.

表1 各核函數(shù)在5個數(shù)據(jù)集上的平均ACC對比

表2 各核函數(shù)在5個數(shù)據(jù)集上的平均AUC對比

表3 各核函數(shù)在5個數(shù)據(jù)集上的平均AUPR對比

對比現(xiàn)有雙曲核,發(fā)現(xiàn)本文的核函數(shù)在不同的評價指標上都有顯著提升.相比kHGauss、kHLap、kHTang、kHBin和kHPoly,在ACC評價指標上,kMLap分別提升2.7%、2.1%、17.4%、4.9%和9.9%,在AUC指標上,kMLap分別提升3.2%、1.2%、17.5%、4.7%和11.5%,在AUPR指標上,kMLap分別提升4.8%、2.6%、24.9%、9.2%和16.2%.kMLap性能的提升,驗證利用莫比烏斯陀螺距離構(gòu)造的核函數(shù),能夠減小將數(shù)據(jù)映射到切空間上造成的扭曲,提升核函數(shù)的映射能力.對比kHPoly的性能優(yōu)越性驗證kMLap的自適應(yīng)能力.另外,對比雙曲線性分類,發(fā)現(xiàn)所有的雙曲核函數(shù)都具有明顯的性能提升,這說明雙曲核函數(shù)的有效性.

對比歐氏空間上對應(yīng)的核函數(shù),發(fā)現(xiàn)kMGauss和kMLap提升更加顯著.相比kEGauss,kMGauss在ACC、AUC和AUPR指標上分別提升7.0%、5.4%和9.4%,相比kELap,kMLap在ACC、AUC和AUPR指標上分別提升 7.2%、4.2%和8.3%.這不僅表明本文方法的有效性,也驗證雙曲空間具有更強大的表征能力.

另外,對于kMGauss和kMLap, 很低的維度就能達到與高維相差不大的效果,而歐氏空間中核函數(shù)的分類效果明顯地隨著嵌入維度的升高而提升,即使在25維也很難達到與雙曲嵌入相當?shù)男Ч?這個結(jié)論進一步驗證雙曲空間對于層次結(jié)構(gòu)數(shù)據(jù)的強大表征能力.

3.5 曲率參數(shù)分析

為了充分探討龐加萊模型曲率參數(shù)c對于MGauss和MLap的影響,在Facebook、Terrorist、Wiki、AEC、Cora ML數(shù)據(jù)集的10維龐加萊嵌入上利用核SVM進行圖節(jié)點分類.

核函數(shù)在不同評價指標上的分類性能變化如圖3～圖5所示.由圖可以觀察到:1)在不同的指標上,MGauss和MLap變化趨勢都很接近,這主要取決于核函數(shù)形式的相似性,兩者都是基于莫比烏斯陀螺距離的徑向基核.2)當c較小時,MGauss和MLap在不同指標上都較平穩(wěn),能得到較優(yōu)性能,這說明核函數(shù)的魯棒性.3)當c值過大時,不同指標下的分類性能都有所下降,這說明龐加萊模型的曲率確實會影響核函數(shù)的性能,因此把c作為核函數(shù)的參數(shù)有助于提高核函數(shù)的自適應(yīng)能力.

(a)MGauss (b)MLap

(a)MGauss (b)MLap

(a)MGauss (b)MLap

另外,注意到當c很小時,MGauss和MLap趨向于Gaussian Kernel和Laplace Kernel,但是由表1～表3中的結(jié)果可知,在歐氏映射數(shù)據(jù)上利用Gaussian Kernel和Laplace Kernel效果與在雙曲映射數(shù)據(jù)上利用MGauss和MLap的對比進一步說明雙曲空間能更好地表征層次結(jié)構(gòu)數(shù)據(jù).另外,雖然MGauss和MLap在c值趨向于0時趨向Gaussian Kernel和Laplace Kernel,也許在雙曲映射數(shù)據(jù)上直接利用Gaussian Kernel和Laplace Kernel也能取得較優(yōu)效果,但是在雙曲空間上利用歐氏方法本身是不合理的.而 MGauss和MLap既符合雙曲幾何的設(shè)定,又有足夠好的性能,是處理層次結(jié)構(gòu)數(shù)據(jù)更好的選擇.

4 結(jié) 束 語

基于龐加萊模型,本文提出基于莫比烏斯陀螺矢量空間的雙曲正定核方法.利用莫比烏斯陀螺矢量空間與龐加萊模型之間的關(guān)系,使用莫比烏斯陀螺距離代替歐氏距離,設(shè)計莫比烏斯高斯核和莫比烏斯拉普拉斯核,并進一步證明核函數(shù)的正定性.曲率絕對值作為核函數(shù)的參數(shù),可提高核函數(shù)的自適應(yīng)性.莫比烏斯陀螺矢量空間的使用保證雙曲數(shù)據(jù)的極小失真.進一步將核函數(shù)計算從復(fù)空間轉(zhuǎn)換到實空間上,使核函數(shù)更適用于實際任務(wù).在真實數(shù)據(jù)集上的實驗驗證莫比烏斯高斯核和莫比烏斯拉普拉斯核的優(yōu)越性.今后將進一步拓展雙曲空間上的核方法,如多核學(xué)習、深度核學(xué)習等.