• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多粒度結(jié)構(gòu)的網(wǎng)絡(luò)表示學(xué)習(xí)

    2019-02-27 08:56:16張蕾錢峰趙姝陳潔張燕平劉峰
    智能系統(tǒng)學(xué)報 2019年6期
    關(guān)鍵詞:?;?/a>層數(shù)集上

    張蕾,錢峰,趙姝,陳潔,張燕平,劉峰

    (1.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥 230601; 2.銅陵學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院,安徽 銅陵 244061)

    研究人員常用網(wǎng)絡(luò)(圖)描述不同學(xué)科領(lǐng)域中實(shí)體間的交互關(guān)系,例如生物學(xué)領(lǐng)域中的蛋白質(zhì)互聯(lián)網(wǎng)絡(luò),社會學(xué)領(lǐng)域中的社交網(wǎng)絡(luò),語言學(xué)領(lǐng)域中的詞共現(xiàn)網(wǎng)絡(luò)。結(jié)合不同的分析任務(wù)對網(wǎng)絡(luò)進(jìn)行研究、探索,進(jìn)而挖掘出隱藏在網(wǎng)絡(luò)數(shù)據(jù)中的信息,使之服務(wù)于人類。不過,真實(shí)場景中的網(wǎng)絡(luò)數(shù)據(jù)通常具有稀疏、高維等特質(zhì),直接利用這樣的數(shù)據(jù)進(jìn)行分析通常有較高的計(jì)算復(fù)雜度,使得許多先進(jìn)的研究成果無法直接應(yīng)用到現(xiàn)實(shí)的網(wǎng)絡(luò)環(huán)境中。

    網(wǎng)絡(luò)表示學(xué)習(xí)[1](network representation learning,NRL)是解決上述問題的有效方法,旨在保留結(jié)構(gòu)信息的前提下,為網(wǎng)絡(luò)中的每個節(jié)點(diǎn)學(xué)習(xí)一個低維、稠密的向量表示。如此,網(wǎng)絡(luò)被映射到一個向量空間中,并可通過許多經(jīng)典的基于向量的機(jī)器學(xué)習(xí)技術(shù)處理許多網(wǎng)絡(luò)分析任務(wù),如節(jié)點(diǎn)分類[2]、鏈接預(yù)測[3]、節(jié)點(diǎn)聚類[4]、可視化[5]、推薦[6]等。

    網(wǎng)絡(luò)表示學(xué)習(xí)不僅要解決網(wǎng)絡(luò)數(shù)據(jù)的高維和稀疏的問題,還需使學(xué)習(xí)到的節(jié)點(diǎn)特征表示能夠保留豐富的網(wǎng)絡(luò)結(jié)構(gòu)信息。網(wǎng)絡(luò)中的節(jié)點(diǎn)結(jié)構(gòu)大致分為三類:1)微觀結(jié)構(gòu),即局部相似性,例如:一階相似性(相鄰)、二階相似性(有共同的鄰居)。2)中觀結(jié)構(gòu),例如:角色相似性(承擔(dān)相同的功能)、社團(tuán)相似性(屬于同一社團(tuán))。3) 宏觀結(jié)構(gòu),即全局網(wǎng)絡(luò)特性,例如:無標(biāo)度(度分布符合冪律分布)特性、小世界(高聚類系數(shù))特性。

    為獲取有效的節(jié)點(diǎn)表示,結(jié)合最先進(jìn)的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù),已提出各種各樣的網(wǎng)絡(luò)表示學(xué)習(xí)方法。DeepWalk[7]和Node2Vec[8]通 過隨機(jī)游走獲取節(jié)點(diǎn)的局部相似性。GraRep[9]和Walklets[10]通過將鄰接矩陣提升到k次冪獲取節(jié)點(diǎn)的k階相似性。DNGR[11]通過隨機(jī)沖浪策略獲取節(jié)點(diǎn)高階相似性。Struc2Vec[12]通過構(gòu)造層次加權(quán)圖,并利用層次加權(quán)圖上的隨機(jī)游走獲取節(jié)點(diǎn)的結(jié)構(gòu)相似性。M-NMF[13]通過融合模塊度[14](modularity)的非負(fù)矩陣分解(nonnegative matrix factor,NMF)方法,將社團(tuán)結(jié)構(gòu)信息納入網(wǎng)絡(luò)表示學(xué)習(xí)中。GraphWave[15]通過譜圖小波的擴(kuò)散獲取節(jié)點(diǎn)的角色結(jié)構(gòu)相似性。HARP[16]通過隨機(jī)合并網(wǎng)絡(luò)中相鄰節(jié)點(diǎn),迭代地將網(wǎng)絡(luò)粗化為一系列簡化的網(wǎng)絡(luò),然后基于這些簡化的網(wǎng)絡(luò)遞歸地構(gòu)建節(jié)點(diǎn)向量,從而捕獲網(wǎng)絡(luò)的全局特征。

    最近,圖卷積網(wǎng)絡(luò)[17](graph convolutional networks,GCN)越來越受到關(guān)注,已經(jīng)顯示GCN 對網(wǎng)絡(luò)分析任務(wù)性能的改進(jìn)有著顯著的效果。GCN 通過卷積層聚合網(wǎng)絡(luò)中每個節(jié)點(diǎn)及其鄰居節(jié)點(diǎn)的特征,輸出聚合結(jié)果的加權(quán)均值用于該節(jié)點(diǎn)新的特征表示。通過卷積層的不斷疊加,節(jié)點(diǎn)能夠整合k階鄰居信息,從而獲取更高階的節(jié)點(diǎn)特征表示。盡管GCN 的設(shè)計(jì)目標(biāo)是利用深層模型更好地學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點(diǎn)的特征表示,但大多數(shù)當(dāng)前方法依然是淺層結(jié)構(gòu)。例如,GCN[18]實(shí)際上只使用兩層結(jié)構(gòu),更多的卷積層甚至可能會損害方法的性能[19]。而且隨著模型層數(shù)的增加,學(xué)習(xí)到的節(jié)點(diǎn)特征可能過度平滑,使得不同簇的節(jié)點(diǎn)變得無法區(qū)分。這樣的限制違背使用深層模型的目的,導(dǎo)致利用GCN 模型進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)不利于捕獲節(jié)點(diǎn)的高階和全局特征。

    為克服這種限制,受商空間[20]中的分層遞階[21]思想的啟發(fā),提出一種基于多粒度結(jié)構(gòu)的網(wǎng)絡(luò)表示學(xué)習(xí)方法(network representation learning based on multi-granularity structure,Multi-GS)。Multi-GS 首先基于模塊度[22]和粒計(jì)算[23]的思想,利用網(wǎng)絡(luò)自身的層次結(jié)構(gòu),即社團(tuán)結(jié)構(gòu),通過使用局部模塊度增量迭代地移動和合并網(wǎng)絡(luò)中的節(jié)點(diǎn),構(gòu)造網(wǎng)絡(luò)的粗粒度結(jié)構(gòu)。利用粗粒度的結(jié)構(gòu)生成更粗粒度的結(jié)構(gòu),反復(fù)多次,最終獲得分層遞階的多粒度網(wǎng)絡(luò)結(jié)構(gòu)。在多粒度結(jié)構(gòu)中,不同粗細(xì)的粒能夠反映節(jié)點(diǎn)在不同粒度空間上的社團(tuán)內(nèi)鄰近關(guān)系。然后,Multi-GS 使用無監(jiān)督的GCN 模型分別學(xué)習(xí)不同粒度空間中粒的特征表示向量,學(xué)習(xí)到的特征能夠反映不同粒度下粒間的鄰近關(guān)系,不同粗細(xì)粒度中的粒間關(guān)系能夠表示不同階的節(jié)點(diǎn)關(guān)系,粒度越粗階數(shù)越高。最后,Multi-GS 將不同粒度空間中學(xué)習(xí)到的粒特征表示按照由粗到細(xì)的順序進(jìn)行逐層細(xì)化拼接,輸出最細(xì)粒度空間中拼接后的粒特征表示作為初始網(wǎng)絡(luò)的節(jié)點(diǎn)特征表示。實(shí)驗(yàn)結(jié)果表明,結(jié)合多粒度結(jié)構(gòu)能使GCN 有效地捕獲網(wǎng)絡(luò)的高階特征,學(xué)習(xí)的節(jié)點(diǎn)表示可提升諸如節(jié)點(diǎn)分類任務(wù)的性能。

    1 問題定義

    定義1設(shè)網(wǎng)絡(luò)G=(V,E,A), 其中,V代表節(jié)點(diǎn)集合,E代表邊集合,A代表鄰接矩陣。記vi∈V代表一個節(jié)點(diǎn),eij=(vi,vj)∈E代表一條邊,鄰接矩陣A∈Rn×n表示網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) ,n=|V|,若eij∈E,則Aij=wij>0 ;若eij?E,則Ai j=0。記代 表 節(jié) 點(diǎn)vi的 度 , Γ(vi)={vj|eij∈E} 代表節(jié)點(diǎn)vi的鄰居節(jié)點(diǎn)集合。

    定義 2網(wǎng)絡(luò)的模塊度[22]Q定義為

    式中:m表示網(wǎng)絡(luò)中的邊的總數(shù);lc表示社團(tuán)c中所有內(nèi)部邊的總數(shù)表示社團(tuán)c中所有節(jié)點(diǎn)的度的總和;C表示所有社團(tuán)構(gòu)成的集合。在社團(tuán)挖掘任務(wù)中,通常使用模塊度評價社團(tuán)劃分的效果,模塊度Q值越高,表明社團(tuán)劃分的效果越佳。

    基于式(1),可以推導(dǎo)出兩個社團(tuán)合并后的局部模塊度增量 ΔQ。設(shè)當(dāng)前劃分中的任意兩個社團(tuán)p和q, 合并p和q后的社團(tuán)為k,產(chǎn)生的局部模塊度增量 ΔQpq的計(jì)算方法如下:

    定義3給定初始網(wǎng)絡(luò)G(0)。在粒度世界中,網(wǎng)絡(luò)中的每個節(jié)點(diǎn)可視為一個基本粒。同樣用邊描述粒間的關(guān)系。通過粒度衡量粒的大小(粗細(xì))?;玖J侵缸罴?xì)粒度的粒。?;侵笇⒍鄠€粒合并為一個更粗粒度的粒的操作。

    將初始網(wǎng)絡(luò)結(jié)構(gòu)視為由基本粒構(gòu)成的最細(xì)粒度的粒層結(jié)構(gòu)。?;謱邮峭ㄟ^聚合和?;僮?,迭代地形成粒度由細(xì)到粗的多粒層結(jié)構(gòu)。具體地說,通過不斷聚合不同粒層中的粒和邊,G(0)被遞歸壓縮成一系列粒度由細(xì)到粗的粒層,如圖1 所示。

    圖1 網(wǎng)絡(luò)拓?fù)涞牧;謱邮纠鼺ig.1 An example of hierarchical view of network topology

    定義4給定網(wǎng)絡(luò)G,網(wǎng)絡(luò)表示學(xué)習(xí)的目標(biāo)是將網(wǎng)絡(luò)中的節(jié)點(diǎn)vi∈V映射到低維向量zi∈Rd,其中,d表示向量的維度,d?n。學(xué)習(xí)到的向量表示可客觀反映節(jié)點(diǎn)在原始網(wǎng)絡(luò)中的結(jié)構(gòu)特性。例如,具有相似結(jié)構(gòu)的節(jié)點(diǎn)在特征向量的歐式距離空間中彼此靠近,不相似的節(jié)點(diǎn)彼此遠(yuǎn)離。

    2 網(wǎng)絡(luò)表示學(xué)習(xí)方法Multi-GS

    Multi-GS 首先基于模塊度構(gòu)建多粒度的網(wǎng)絡(luò)分層結(jié)構(gòu);接著使用GCN 模型依次學(xué)習(xí)不同粒層中所有粒的特征向量;然后自底向上逐層對粒的特征向量進(jìn)行映射、拼接;最后輸出最終的結(jié)果作為初始網(wǎng)絡(luò)中節(jié)點(diǎn)的特征表示,如圖2 所示。

    圖2 Multi-GS 方法的框架Fig.2 Framework of Multi-GS approach

    2.1 基于模塊度的網(wǎng)絡(luò)?;謱?/h3>

    本小節(jié)介紹Multi-GS 的粒化分層操作。主要包含兩個步驟:1)粒的移動與合并:移動和合并的決定取決于局部模塊度增量計(jì)算結(jié)果。2) ?;荷筛至6鹊牧咏Y(jié)構(gòu)。相關(guān)細(xì)節(jié)見算法1。

    算法1 網(wǎng)絡(luò)粒化分層(Graphgranular)

    輸入網(wǎng)絡(luò)G=(V,E),最大?;瘜訑?shù)k;

    輸出由細(xì)到粗的粒層 G r(0),Gr(1),···,Gr(k)。

    10)將粒vi從自身所在的集合中移出;

    12)按式(2)計(jì)算粒vi移入集合Cj后的模塊度增量 ΔQ;

    算法1 的主要步驟如下:

    粒的移動與合并:首先將當(dāng)前粒層中的每個粒放入不同的集合中(第6 行)。其中,子集合的數(shù)量等于當(dāng)前粒層中粒的數(shù)量。遍歷所有的粒(第9 行),將當(dāng)前粒移出自身所在的集合(第10行),依次移入一個相鄰粒的集合中,并依據(jù)式(2)計(jì)算移入后的局部模塊度增量 ΔQ(第11~13 行)。待與所有相鄰粒集合的 ΔQ計(jì)算完成后,選擇與最大(正值)模塊度增量相關(guān)聯(lián)的相鄰粒集合,并將粒并入該集合中(第14 行)。遍歷結(jié)束后,重新計(jì)算模塊度Q(第16 行)。當(dāng)未達(dá)到模塊度的局部極大值時,重復(fù)上述步驟(第8~16 行)。

    在第2 個步驟中,新粒間的邊權(quán)由兩個對應(yīng)集合中的粒間的邊權(quán)和確定。同一集合中粒間的內(nèi)部邊視為新粒的自邊。

    2.2 基于圖卷積網(wǎng)絡(luò)的粒特征表示學(xué)習(xí)

    本小節(jié)介紹Multi-GS 的GCN 模型結(jié)構(gòu),包括兩個部分,編碼器和解碼器,如圖3 所示。GCN模型借鑒VGAE[24]的設(shè)計(jì),Multi-GS 不使用節(jié)點(diǎn)的輔助信息,僅利用網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)節(jié)點(diǎn)的特征表示,因此,最終的GCN 模型在設(shè)計(jì)上與VGAE 有所區(qū)別。

    圖3 圖卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 The structure of GCN model

    GCN 模型的輸入是不同分層中的粒關(guān)系矩陣A,A∈RN×N表示同一粒層中粒間的連接關(guān)系,其中,N表示粒的數(shù)量。給定粒i和粒j,則Ai j=wij,wi j表示粒i和粒j間的連接權(quán)重。首先,利用式(3)計(jì)算得到歸一化的矩陣

    其中,f(?) 表示線性激活函數(shù),第一層使用RELU函數(shù),第二層使用sigmoid 函數(shù);μ 和 σ 分別表示向量矩陣Z的均值向量矩陣和標(biāo)準(zhǔn)差向量矩陣;是需要訓(xùn)練的權(quán)重矩陣;可通過對 μ 和 σ 進(jìn)行采樣得到特征矩陣Z,Z=μ+ε?exp(σ),ε ~N(0,I) ;“*”符號表示兩個向量的內(nèi)積。

    基于變分推斷的編碼器,其變分下界的優(yōu)化目標(biāo)函數(shù)如下:

    解碼器使用式(7)重構(gòu)關(guān)系矩陣A,對于重構(gòu)損失,考慮到A的稀疏性,使用加權(quán)交叉熵?fù)p失函數(shù)Loss 構(gòu)建最終的目標(biāo)函數(shù),具體公式如下:

    結(jié)合式(8)和式(12),GCN 模型最終的目標(biāo)函數(shù)如下:

    2.3 算法描述

    本小節(jié)介紹基于多粒度結(jié)構(gòu)的網(wǎng)絡(luò)表示學(xué)習(xí)方法Multi-GS,主要包括3 個步驟:利用局部模塊度增量 ΔQ,由細(xì)到粗地構(gòu)造多粒度的網(wǎng)絡(luò)分層結(jié)構(gòu)(已在2.1 小節(jié)詳細(xì)介紹);使用GCN 模型(已在2.2 小節(jié)詳細(xì)介紹)學(xué)習(xí)不同粒層中粒的特征表示;將不同粒層的粒特征表示由粗到細(xì)地進(jìn)行逐層拼接,最終得到最細(xì)粒度粒層中粒的特征表示;輸出此結(jié)果作為初始網(wǎng)絡(luò)的節(jié)點(diǎn)特征表示。相關(guān)細(xì)節(jié)見算法2。

    算法2基于多粒度結(jié)構(gòu)的網(wǎng)絡(luò)表示學(xué)習(xí)(Multi-GS)

    輸入網(wǎng)絡(luò)G,?;瘜訑?shù)k,節(jié)點(diǎn)表示向量維度d,GCN 參數(shù) Θ;

    輸出網(wǎng)絡(luò)表示Z。

    首先,Multi-GS 算法的輸入包括3 個部分:網(wǎng)絡(luò)G;?;瘜訑?shù)k;GCN 模型的參數(shù) Θ,包括,節(jié)點(diǎn)表示向量維度d、訓(xùn)練次數(shù)和學(xué)習(xí)率。算法2 的第1 行,使用算法1 構(gòu)建多粒度的網(wǎng)絡(luò)分層結(jié)構(gòu),其復(fù)雜度為O(M+N),其中M為每輪迭代中粒的數(shù)量,N是粒層中的邊的數(shù)量。第2~第4 行,依次將不同粒層的粒關(guān)系矩陣A作為輸入,利用GCN 模型學(xué)習(xí)粒的特征表示。GCN 模型的復(fù)雜度與網(wǎng)絡(luò)的邊數(shù)呈線性關(guān)系,其復(fù)雜度為O(mdh),其中m是矩陣A中非零元素的數(shù)量,d是特征維數(shù),h是權(quán)重矩陣的特征映射數(shù)量。另外,方法還需重建原始拓?fù)浣Y(jié)構(gòu),因此總體復(fù)雜度為O(mdH+N2),其中H是不同層上所有特征映射的總和。第5~第8 行,將學(xué)習(xí)到的粒特征向量由粗到細(xì)地進(jìn)行拼接。其中,projection 函數(shù)是?;^程的反向操作。在此過程中,上層的粒特征向量被映射到一個或多個較細(xì)粒度粒特征向量,投影結(jié)束后,拼接相同粒的兩個不同的粒特征表示。循環(huán)結(jié)束后,得到基本粒的拼接后的特征表示,其復(fù)雜度為O(M)。第9 行,以基本粒的特征表示作為對應(yīng)節(jié)點(diǎn)的特征表示進(jìn)行輸出。

    3 實(shí)驗(yàn)和結(jié)果分析

    本節(jié)通過節(jié)點(diǎn)分類和鏈接預(yù)測任務(wù),在真實(shí)數(shù)據(jù)集上與4 個具有代表性的網(wǎng)絡(luò)表示學(xué)習(xí)方法進(jìn)行對比,驗(yàn)證Multi-GS 的有效性。實(shí)驗(yàn)環(huán)境為:Windows10 操作系統(tǒng),Intel i7-4790 3.6 GHz CPU,8 GB 內(nèi)存。通過Python 語言和Tensor-Flow 實(shí)現(xiàn)Multi-GS。

    3.1 實(shí)驗(yàn)設(shè)定

    1) 數(shù)據(jù)集。

    實(shí)驗(yàn)使用5 個真實(shí)數(shù)據(jù)集,包括引文網(wǎng)絡(luò)、生物網(wǎng)絡(luò)、詞共現(xiàn)網(wǎng)絡(luò)和社交網(wǎng)絡(luò),詳細(xì)信息見表1。Cora[25]是引文網(wǎng)絡(luò)。其中,節(jié)點(diǎn)代表論文,根據(jù)論文的不同主題分為7 類。邊代表論文間的引用關(guān)系。該網(wǎng)絡(luò)包含2 708 個節(jié)點(diǎn)和5 278 條邊。Citeseer[25]同樣是引文網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含6 類的3 312 種出版物。邊代表不同出版物間的引用關(guān)系,共有4 660 條邊。PPI[26]是生物網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含3 890 個節(jié)點(diǎn)和38 739 條邊。其中,節(jié)點(diǎn)代表蛋白質(zhì),根據(jù)不同的生物狀態(tài)分為50 類,邊代表蛋白質(zhì)間的相互作用。WiKi[27]是維基百科數(shù)據(jù)庫中單詞的共現(xiàn)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含4 777 個節(jié)點(diǎn),92 517 條邊,以及40 種不同的詞性標(biāo)簽。Blog-Catalog[28]是來自BlogCatalog 網(wǎng)站的社交網(wǎng)絡(luò)。節(jié)點(diǎn)代表博主,并根據(jù)博主的個人興趣劃分為39類,邊代表博主間的友誼關(guān)系。該網(wǎng)絡(luò)包含10 312個節(jié)點(diǎn)和333 983 條邊。

    2) 對比算法。

    實(shí)驗(yàn)選擇4 種具有代表性的網(wǎng)絡(luò)表示學(xué)習(xí)算法作為對比算法,包括DeepWalk、Node2Vec、GraRep、DNGR。關(guān)于這些方法的簡要描述如下:

    DeepWalk[7]:使用隨機(jī)游走獲取節(jié)點(diǎn)序列,通過SkipGram 方法學(xué)習(xí)節(jié)點(diǎn)表示。

    Node2Vec[8]:類似于DeepWalk,但是使用有偏向的隨機(jī)游走獲取節(jié)點(diǎn)序列。

    GraRep[9]:通過構(gòu)造k步概率轉(zhuǎn)移矩陣學(xué)習(xí)節(jié)點(diǎn)表示,能夠保留節(jié)點(diǎn)的高階相似性。

    DNGR[11]:使用隨機(jī)沖浪方法獲取節(jié)點(diǎn)的高階相似性,利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)節(jié)點(diǎn)表示。

    3) 參數(shù)設(shè)定。

    對于Multi-GS 方法中的GCN 模型,使用Adam 優(yōu)化器更新訓(xùn)練中的參數(shù),學(xué)習(xí)率設(shè)為0.05。對于DeepWalk 和Node2Vec,節(jié)點(diǎn)游走次數(shù)設(shè)為10,窗口大小設(shè)為10,隨機(jī)游走的長度設(shè)為80。Node2Vec 的參數(shù)p=0.25、q=4。對于GraRep,kstep=4。對于DNGR 的隨機(jī)沖浪方法,迭代次數(shù)設(shè)為4,重啟概率 α =0.98,自編碼器的層數(shù)設(shè)為2,使用RMSProp 優(yōu)化器,訓(xùn)練次數(shù)設(shè)為400,學(xué)習(xí)率設(shè)為0.002。為進(jìn)行公平比較,所以方法學(xué)習(xí)的節(jié)點(diǎn)表示維度均設(shè)為128。

    表1 數(shù)據(jù)集信息Table 1 Datasets information

    3.2 節(jié)點(diǎn)分類

    利用節(jié)點(diǎn)分類任務(wù)比較Multi-GS 和對比算法的性能差異。實(shí)驗(yàn)挑選4 種不同領(lǐng)域數(shù)據(jù)集,包括Citeseer、PPI、WiKi 和BlogCatalog。首先各自使用網(wǎng)絡(luò)中所有節(jié)點(diǎn)學(xué)習(xí)節(jié)點(diǎn)的特征表示,對于Multi-GS,為比較不同的粒化層次對方法性能的影響,針對不同的數(shù)據(jù)集,分別設(shè)置5 組實(shí)驗(yàn),在每組實(shí)驗(yàn)中,將?;瘜哟螐? 設(shè)到4(k為0~4)。k=0 表示Multi-GS 不使用多粒度結(jié)構(gòu)進(jìn)行聯(lián)合學(xué)習(xí)表示,僅利用原始網(wǎng)絡(luò)通過GCN 模型學(xué)習(xí)節(jié)點(diǎn)的表示。針對節(jié)點(diǎn)分類,使用Logistic 回歸分類器,隨機(jī)從不同數(shù)據(jù)集中分別選擇{10%,50%,90%}節(jié)點(diǎn)訓(xùn)練分類器,在其余節(jié)點(diǎn)上評估分類器的性能。為衡量分類性能,實(shí)驗(yàn)采用Micro-F1

    [29]和Macro-F1[29]作為評價指標(biāo)。兩個指標(biāo)越大,分類性能越好。所有的分類實(shí)驗(yàn)重復(fù)10次,報告平均結(jié)果。表2~5 分別展示在Citeseer、PPI、WiKi 和BlogCatalog 數(shù)據(jù)集上的節(jié)點(diǎn)分類Micro-F1和Macro-F1的均值,其中,粗體表示性能最好的結(jié)果,下劃線表示對比算法中性能最優(yōu)的結(jié)果。

    表2 Citeseer 數(shù)據(jù)集上的Micro-F1 和Macro-F1 結(jié)果Table 2 Micro-F1 and Macro-F1 results on Citeseer dataset

    表3 PPI 數(shù)據(jù)集上的Micro-F1 和Macro-F1 結(jié)果Table 3 Micro-F1 and Macro-F1 results on PPI dataset

    表4 WiKi 數(shù)據(jù)集上的Micro-F1 和Macro-F1 結(jié)果Table 4 Micro-F1 and Macro-F1 results on WiKi dataset

    表5 BlogCatalog 數(shù)據(jù)集上的Micro-F1 和Macro-F1 結(jié)果Table 5 Micro-F1 and Macro-F1 results on BlogCatalog dataset

    實(shí)驗(yàn)結(jié)果顯示,在對比算法中,GreRap 表現(xiàn)出強(qiáng)有力的競爭力,Node2Vec 也表現(xiàn)不俗。因無法獲取節(jié)點(diǎn)的一階相似性,故DNGR 表現(xiàn)較差。針對Multi-GS,可以發(fā)現(xiàn),相對于不使用聯(lián)合學(xué)習(xí)(k=0)的情形,使用多粒度結(jié)構(gòu)在多數(shù)情況下可提升方法的性能,說明保留節(jié)點(diǎn)的高階相似性可提升節(jié)點(diǎn)分類任務(wù)的性能。對于相同的數(shù)據(jù)集,Multi-GS 在不同的?;瘜哟蜗麓嬖诓町?。具體來說,在Citeseer 數(shù)據(jù)集上,隨著粒化層數(shù)的增加,Multi-GS 的Micro-F1 和Macro-F1 值逐漸增大。在PPI 和WiKi 數(shù)據(jù)集上,最佳的結(jié)果出現(xiàn)在k=3 時。在BlogCatalog 數(shù)據(jù)集上,當(dāng)k=2 時方法性能最好。依據(jù)表1 中不同數(shù)據(jù)集平均度的統(tǒng)計(jì)結(jié)果,可以看出,Citeseer 數(shù)據(jù)集的平均度是3.898 1,說明該網(wǎng)絡(luò)是一個弱關(guān)系網(wǎng)絡(luò),BlogCata-log 數(shù)據(jù)集的平均度高達(dá)64.775 6,是一個強(qiáng)關(guān)系網(wǎng)絡(luò)。在弱關(guān)系網(wǎng)絡(luò)中,由于不同社團(tuán)間的聯(lián)系較弱,使得不同粒層中粒的粒度差異較小,而對于強(qiáng)關(guān)系網(wǎng)絡(luò),由于社團(tuán)內(nèi)部邊的密度與不同社團(tuán)間的邊密度差異較小,使得小社團(tuán)快速合并成大社團(tuán),導(dǎo)致不同粒層間的粒度差異會非常大。在強(qiáng)關(guān)系網(wǎng)絡(luò)中,隨著?;瘜訑?shù)的增加,各粒層中相應(yīng)粒的特征趨于雷同,若拼接過多類似的特征將導(dǎo)致節(jié)點(diǎn)自身的特征被弱化,導(dǎo)致Multi-GS 的性能會有先提升再降低的情況。因此,針對不同的數(shù)據(jù)集,如何設(shè)置一個合理的?;瘜訑?shù)是Multi-GS 需要考慮的問題。

    3.3 鏈接預(yù)測

    鏈接預(yù)測任務(wù)是預(yù)測網(wǎng)絡(luò)中給定節(jié)點(diǎn)間是否存在邊。通過鏈接預(yù)測可以顯示不同網(wǎng)絡(luò)表示方法的鏈接預(yù)測能力。對于鏈接預(yù)測任務(wù),仍然選擇Citeseer、PPI、WiKi 和BlogCatalog 作為驗(yàn)證數(shù)據(jù)集,分別從不同數(shù)據(jù)集中隨機(jī)移除現(xiàn)有鏈接的50%。使用剩余網(wǎng)絡(luò),利用不同的方法學(xué)習(xí)節(jié)點(diǎn)表示。另外,將被移除邊中的節(jié)點(diǎn)對作為正樣本,同時隨機(jī)采樣相同數(shù)量未連接的節(jié)點(diǎn)對作為負(fù)樣本,使正樣本和負(fù)樣本構(gòu)成平衡數(shù)據(jù)集。實(shí)驗(yàn)中,首先基于給定樣本中的節(jié)點(diǎn)對,通過表示向量計(jì)算其余弦相似度得分,然后使用Logistic 回歸分類器進(jìn)行分類,并通過曲線下面積[29](area under curve,AUC)評估標(biāo)簽間的一致性和樣本的相似性得分。對于Multi-GS,k為0~4。表6顯示鏈接預(yù)測任務(wù)中,不同算法在Citeseer、PPI、WiKi 和BlogCatalog 數(shù)據(jù)集上的AUC 值,其中,粗體表示性能最好的結(jié)果,下劃線表示對比算法中性能最優(yōu)的結(jié)果。

    表6 鏈接預(yù)測任務(wù)中不同數(shù)據(jù)集上的AUC 結(jié)果Table 6 AUC score on all datasets

    表6 的結(jié)果顯示,在對比算法中,GraRep 表現(xiàn)依然最好。對于Multi-GS,當(dāng)不使用聯(lián)合學(xué)習(xí)框架時,方法的性能是最優(yōu)的。以AUC 為評價標(biāo)準(zhǔn),相對于對比算法中的最優(yōu)結(jié)果,在Citeseer 數(shù)據(jù)集上相對提高45.24%,在WiKi 數(shù)據(jù)集上相對提高15.4%,在PPI 數(shù)據(jù)集上相對提高39.14%,在BlogCatalog 數(shù)據(jù)集上相對提高20.66%。但是,隨著?;瘜訑?shù)的增加,對于鏈接預(yù)測任務(wù),方法的性能會越來越差,下降速度會隨著網(wǎng)絡(luò)的密度成正比。綜合來看,在鏈接預(yù)測任務(wù)中,利用多粒度結(jié)構(gòu)聯(lián)合學(xué)習(xí)到的節(jié)點(diǎn)表示無法提升鏈接預(yù)測能力,說明該類任務(wù)需要更多節(jié)點(diǎn)自身的特征,節(jié)點(diǎn)低階相似性比高階相似性更重要。雖然融合多粒度結(jié)構(gòu)中節(jié)點(diǎn)的高階特征會導(dǎo)致Multi-GS 性能下降,但可以看出,在較低的k值下,僅利用節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)信息,Multi-GS 的鏈接預(yù)測結(jié)果十分理想,說明Multi-GS 中GCN 模型能有效地捕獲節(jié)點(diǎn)的低階相似性。

    3.4 可視化

    在本小節(jié)中,對Multi-GS 和對比算法學(xué)習(xí)的節(jié)點(diǎn)表示利用可視化進(jìn)行比較。由于空間限制,實(shí)驗(yàn)選擇節(jié)點(diǎn)數(shù)較少的Cora 作為可視化數(shù)據(jù)集。其中,每個節(jié)點(diǎn)代表一篇機(jī)器學(xué)習(xí)論文,所有節(jié)點(diǎn)按照論文的主題分為7 類。實(shí)驗(yàn)通過t-SNE[27]工具,將所有方法的節(jié)點(diǎn)表示投影到二維空間中,不同類別的節(jié)點(diǎn)用不同的顏色顯示??梢暬Y(jié)果如圖4 所示。

    圖4 Cora 數(shù)據(jù)集的可視化結(jié)果Fig.4 The visualization of Cora dataset

    在圖4 中,DeepWalk、Node2Vec 的表示結(jié)果較差,節(jié)點(diǎn)散布在整個空間中,不同類別的節(jié)點(diǎn)相互混在一起,無法觀察到分組結(jié)構(gòu),意味著算法無法將相似節(jié)點(diǎn)組合在一起。通過GreRap 的可視化結(jié)果,能夠看出節(jié)點(diǎn)間的分組結(jié)構(gòu)。對于Multi-GS,在圖4(e) 中,不同分類的節(jié)點(diǎn)相互混合,這種現(xiàn)象在圖的中心尤其明顯。意味著僅保留低階相似性的節(jié)點(diǎn)表示無法區(qū)分不同分類的節(jié)點(diǎn)。圖4(f)顯示結(jié)果與圖4(e)相似。在圖4(g)~圖4(i)中,可以看到節(jié)點(diǎn)逐漸開始呈現(xiàn)緊湊的分組結(jié)構(gòu),而且不同組之間的距離越來越大,隨著層數(shù)的增加,Multi-GS 可以將相似結(jié)構(gòu)的節(jié)點(diǎn)進(jìn)行分組并推到一起。因此,在節(jié)點(diǎn)分類任務(wù)中,利用多粒度結(jié)構(gòu)使Multi-GS 獲得更好的結(jié)果。

    3.5 參數(shù)敏感性分析

    本節(jié)進(jìn)行參數(shù)敏感性實(shí)驗(yàn),主要分析不同的特征維度和?;瘜訑?shù)對Multi-GS 性能的影響。實(shí)驗(yàn)針對Citeseer 數(shù)據(jù)集,利用Multi-GS 在不同?;瘜訑?shù)下學(xué)習(xí)到的不同維度的節(jié)點(diǎn)表示,通過節(jié)點(diǎn)分類、節(jié)點(diǎn)聚類和鏈接預(yù)測任務(wù)對Multi-GS 進(jìn)行評估,并報告相關(guān)的實(shí)驗(yàn)結(jié)果。對于節(jié)點(diǎn)分類任務(wù),隨機(jī)選擇50%節(jié)點(diǎn)訓(xùn)練分類器。采用Micro-F1 和Macro-F1 作為評價指標(biāo)。對于節(jié)點(diǎn)聚類任務(wù),采用NMI[30]和ARI[30]作為評價指標(biāo)。對于鏈接預(yù)測任務(wù),移除50% 的鏈接,采用AUC 作為評價指標(biāo)。參數(shù)k表示最終節(jié)點(diǎn)的特征表示融合的?;瘜訑?shù),若k=0,表示僅選取最細(xì)粒度的粒特征表示作為最終的節(jié)點(diǎn)特征表示,k=1,表示用第0 層和第1 層的粒學(xué)習(xí)到的特征表示進(jìn)行拼接后的向量作為最終的節(jié)點(diǎn)特征表示,以此類推。其中,0 表示最細(xì)粒度,k值越大,表示粒度越粗。對于所有任務(wù),重復(fù)實(shí)驗(yàn)10 次并報告平均結(jié)果,實(shí)驗(yàn)結(jié)果如圖5 所示。

    圖5 參數(shù)敏感性分析Fig.5 Parametric sensitivity analysis

    圖5 的結(jié)果表明,對于節(jié)點(diǎn)分類任務(wù),Micro-F1 和Macro-F1 指標(biāo)隨著特征維度的上升而上升。因?yàn)橐粋€更大的特征維度可以保留網(wǎng)絡(luò)中更多的信息。隨著?;瘜訑?shù)的增加,Micro-F1 和Macro-F1 指標(biāo)也逐漸提升,但是可以看出,這樣的提升效果會隨著?;瘜訑?shù)的增加而越變越小,甚至退化。對于節(jié)點(diǎn)聚類任務(wù),NMI 和ARI 的最優(yōu)結(jié)果都出現(xiàn)在k=3 時,繼續(xù)增加層數(shù),結(jié)果會下降。對于鏈接預(yù)測任務(wù),AUC 指標(biāo)隨著特征維度的上升而上升,這是合理的情形。但是當(dāng)k=4 時,AUC 指標(biāo)發(fā)生波動,說明疊加更多的層次會導(dǎo)致學(xué)習(xí)的特征表示發(fā)生信息變化,這是需要避免的情況。通過圖5(f)中顯示的各層中粒的數(shù)量的變化曲線,可以看出,不同層間的粒度差異會隨著層數(shù)的增加而減少。在第3 層和第4 層間,這種粒度差異幾乎很小,意味著節(jié)點(diǎn)在第3 層和第4 層中的特征極為相似,若拼接過多類似的高階特征向量,導(dǎo)致節(jié)點(diǎn)自身的特征被弱化,使得最終Multi-GS 的輸出表示不能在網(wǎng)絡(luò)分析任務(wù)中發(fā)揮出方法優(yōu)勢。

    4 結(jié)束語

    在網(wǎng)絡(luò)表示學(xué)習(xí)中,如何讓學(xué)習(xí)到的節(jié)點(diǎn)特征表示能夠保留網(wǎng)絡(luò)結(jié)構(gòu)的局部和全局特征,仍是一個開放和重要的研究課題。本文結(jié)合分層遞階的思想,提出一種無監(jiān)督網(wǎng)絡(luò)表示學(xué)習(xí)方法Multi-GS,通過構(gòu)建網(wǎng)絡(luò)的深度結(jié)構(gòu)解決GCN 無法有效捕獲節(jié)點(diǎn)高階相似性特征的問題。該方法首先利用模塊度增量逐步構(gòu)建網(wǎng)絡(luò)的多粒度分層結(jié)構(gòu),然后利用GCN 模型學(xué)習(xí)不同粒度空間中粒的特征表示,最后將已學(xué)習(xí)的粒特征向量逐層映射拼接為原始網(wǎng)絡(luò)的節(jié)點(diǎn)表示。利用Multi-GS 可捕獲多種網(wǎng)絡(luò)結(jié)構(gòu)信息,包括一階和二階相似性、社團(tuán)內(nèi)相似性(高階結(jié)構(gòu))和社團(tuán)間相似性(全局結(jié)構(gòu))。

    為驗(yàn)證Multi-GS 方法的性能,通過在4 個真實(shí)數(shù)據(jù)集上進(jìn)行節(jié)點(diǎn)分類任務(wù)和鏈接預(yù)測任務(wù),并與幾個經(jīng)典的網(wǎng)絡(luò)表示學(xué)習(xí)方法進(jìn)行比較。從實(shí)驗(yàn)結(jié)果上看,針對節(jié)點(diǎn)分類任務(wù),使用多粒度結(jié)構(gòu)的Multi-GS 能夠改進(jìn)節(jié)點(diǎn)的特征表示,提升GCN 模型的節(jié)點(diǎn)分類性能。但是由于網(wǎng)絡(luò)結(jié)構(gòu)的多樣性和復(fù)雜性,Multi-GS 的粒化層數(shù)無法固定,必須根據(jù)不同結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行調(diào)整。針對鏈接預(yù)測任務(wù),使用多粒度結(jié)構(gòu)M u l t i-G S 對GCN 模型的性能造成損害。說明節(jié)點(diǎn)間的低階鄰近關(guān)系對鏈接預(yù)測任務(wù)是至關(guān)重要的。盡管如此,在不使用多粒度結(jié)構(gòu)的情況下,以AUC 為評價指標(biāo),相對于對比算法,Multi-GS 的性能優(yōu)勢非常明顯。針對Multi-GS 超參數(shù)敏感性的實(shí)驗(yàn)結(jié)果可以看出,面對不同的網(wǎng)絡(luò)分析任務(wù),融合不同粒度的粒特征對Multi-GS 的性能有著不同程度的影響。

    未來工作方向包括探索其他網(wǎng)絡(luò)?;謱蛹夹g(shù)和繼續(xù)深入研究不同的層和不同粗細(xì)的粒以及不同類型的網(wǎng)絡(luò)結(jié)構(gòu)對Multi-GS 的影響。

    猜你喜歡
    ?;?/a>層數(shù)集上
    填筑層數(shù)對土石壩應(yīng)力變形的影響研究
    上海發(fā)布藥品包裝物減量指南
    康復(fù)(2022年31期)2022-03-23 20:39:56
    Cookie-Cutter集上的Gibbs測度
    鏈完備偏序集上廣義向量均衡問題解映射的保序性
    琯溪蜜柚汁胞?;绊懸蛩丶胺揽丶夹g(shù)綜述
    MoS2薄膜電子性質(zhì)隨層數(shù)變化的理論研究
    電子制作(2019年11期)2019-07-04 00:34:50
    復(fù)扇形指標(biāo)集上的分布混沌
    住在哪一層
    粗?;疍NA穿孔行為的分子動力學(xué)模擬
    幾道導(dǎo)數(shù)題引發(fā)的解題思考
    国产精品 欧美亚洲| 免费在线观看黄色视频的| 日本wwww免费看| 黑人欧美特级aaaaaa片| 建设人人有责人人尽责人人享有的| 精品亚洲成国产av| 51午夜福利影视在线观看| 欧美日韩一级在线毛片| 在线观看免费高清a一片| 97精品久久久久久久久久精品| 十八禁高潮呻吟视频| 日本精品一区二区三区蜜桃| 久久精品成人免费网站| 国产精品 欧美亚洲| 国产老妇伦熟女老妇高清| 国产深夜福利视频在线观看| 久久久水蜜桃国产精品网| 久久性视频一级片| 国产成人av激情在线播放| 久久国产精品影院| 久久天堂一区二区三区四区| 最近最新免费中文字幕在线| 中文字幕最新亚洲高清| 一级黄色大片毛片| 黄片小视频在线播放| 日韩欧美免费精品| 中文精品一卡2卡3卡4更新| 搡老熟女国产l中国老女人| 成人av一区二区三区在线看 | 国产精品一区二区在线不卡| 天堂俺去俺来也www色官网| 少妇被粗大的猛进出69影院| 国产精品偷伦视频观看了| 日本猛色少妇xxxxx猛交久久| 老司机影院成人| tube8黄色片| 国内毛片毛片毛片毛片毛片| 成人三级做爰电影| 侵犯人妻中文字幕一二三四区| 亚洲精品久久成人aⅴ小说| 国产精品自产拍在线观看55亚洲 | 91av网站免费观看| 国产精品自产拍在线观看55亚洲 | 中文字幕高清在线视频| 国产1区2区3区精品| 国精品久久久久久国模美| 美国免费a级毛片| a 毛片基地| 午夜视频精品福利| 欧美精品高潮呻吟av久久| 久久狼人影院| 在线精品无人区一区二区三| 国产精品自产拍在线观看55亚洲 | 国产精品影院久久| 国产欧美日韩精品亚洲av| 国产黄频视频在线观看| 欧美精品av麻豆av| 黄色 视频免费看| 99re6热这里在线精品视频| 国产黄频视频在线观看| 真人做人爱边吃奶动态| 波多野结衣av一区二区av| 精品国产一区二区三区久久久樱花| 亚洲国产av新网站| 中文字幕精品免费在线观看视频| 国产精品影院久久| 满18在线观看网站| 精品一区在线观看国产| 在线观看www视频免费| 午夜福利,免费看| 免费人妻精品一区二区三区视频| 啦啦啦中文免费视频观看日本| 久久久久久免费高清国产稀缺| 宅男免费午夜| 欧美人与性动交α欧美精品济南到| 欧美大码av| 国产视频一区二区在线看| 日韩欧美一区二区三区在线观看 | 久久av网站| 91国产中文字幕| 青青草视频在线视频观看| 老汉色∧v一级毛片| 十八禁网站网址无遮挡| 国产成人免费观看mmmm| 最近最新免费中文字幕在线| 黄色a级毛片大全视频| 婷婷成人精品国产| 亚洲中文av在线| 在线观看免费午夜福利视频| 99国产精品99久久久久| 丁香六月天网| 大型av网站在线播放| 日本vs欧美在线观看视频| av电影中文网址| 国产精品久久久av美女十八| 最新的欧美精品一区二区| 久久国产精品人妻蜜桃| 老汉色∧v一级毛片| www.av在线官网国产| 三级毛片av免费| 亚洲av成人一区二区三| 午夜免费成人在线视频| cao死你这个sao货| 黑人猛操日本美女一级片| 日韩 亚洲 欧美在线| 国产精品国产av在线观看| 亚洲av国产av综合av卡| 日日夜夜操网爽| 狠狠精品人妻久久久久久综合| 女人久久www免费人成看片| 国产麻豆69| 咕卡用的链子| 国产在线观看jvid| a在线观看视频网站| 免费在线观看日本一区| 国产精品麻豆人妻色哟哟久久| 天天操日日干夜夜撸| √禁漫天堂资源中文www| 99热全是精品| 成人亚洲精品一区在线观看| 亚洲欧洲日产国产| 国产亚洲一区二区精品| 久久久国产精品麻豆| 操美女的视频在线观看| 丝袜脚勾引网站| 蜜桃在线观看..| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲专区字幕在线| 国产91精品成人一区二区三区 | 黄色a级毛片大全视频| 18禁观看日本| 黄频高清免费视频| 久久热在线av| 黑人巨大精品欧美一区二区蜜桃| 交换朋友夫妻互换小说| 久久人人爽av亚洲精品天堂| 99国产极品粉嫩在线观看| 精品免费久久久久久久清纯 | 久久久久视频综合| 丰满饥渴人妻一区二区三| 国产精品九九99| 久久久久久亚洲精品国产蜜桃av| 一边摸一边做爽爽视频免费| 午夜福利免费观看在线| 丰满人妻熟妇乱又伦精品不卡| 黑人巨大精品欧美一区二区mp4| www.999成人在线观看| 久久香蕉激情| 色老头精品视频在线观看| 18禁国产床啪视频网站| 免费在线观看黄色视频的| 丁香六月欧美| 午夜免费观看性视频| 欧美精品一区二区免费开放| 国产精品久久久久成人av| 波多野结衣av一区二区av| 亚洲视频免费观看视频| 亚洲va日本ⅴa欧美va伊人久久 | 在线亚洲精品国产二区图片欧美| 欧美精品高潮呻吟av久久| 深夜精品福利| 俄罗斯特黄特色一大片| 99香蕉大伊视频| 久久久精品94久久精品| 色播在线永久视频| 精品少妇一区二区三区视频日本电影| 亚洲专区中文字幕在线| 国产一区二区三区综合在线观看| 纵有疾风起免费观看全集完整版| 操出白浆在线播放| 亚洲国产中文字幕在线视频| 91精品国产国语对白视频| 少妇 在线观看| 大香蕉久久网| 国产高清国产精品国产三级| 精品亚洲成国产av| 久久久国产成人免费| 国产在视频线精品| 午夜福利,免费看| 极品人妻少妇av视频| 黄色视频在线播放观看不卡| 久久女婷五月综合色啪小说| 91大片在线观看| 亚洲伊人色综图| 男女边摸边吃奶| xxxhd国产人妻xxx| 午夜福利视频在线观看免费| 香蕉国产在线看| 午夜91福利影院| 国产主播在线观看一区二区| e午夜精品久久久久久久| 亚洲专区国产一区二区| 亚洲九九香蕉| 亚洲 欧美一区二区三区| 国产亚洲av片在线观看秒播厂| 亚洲精品日韩在线中文字幕| 咕卡用的链子| 欧美日本中文国产一区发布| 黑人猛操日本美女一级片| 三上悠亚av全集在线观看| 高清黄色对白视频在线免费看| 国产精品一区二区免费欧美 | 正在播放国产对白刺激| 亚洲第一av免费看| 国产国语露脸激情在线看| 男人爽女人下面视频在线观看| 在线天堂中文资源库| 人妻久久中文字幕网| 国产精品久久久久久精品古装| 51午夜福利影视在线观看| 亚洲欧美日韩高清在线视频 | 国产成人精品久久二区二区91| xxxhd国产人妻xxx| 精品人妻在线不人妻| 三级毛片av免费| 少妇 在线观看| 国产精品av久久久久免费| 制服人妻中文乱码| 在线观看人妻少妇| 日韩有码中文字幕| 另类精品久久| 这个男人来自地球电影免费观看| 99国产精品一区二区三区| 91精品三级在线观看| a在线观看视频网站| 午夜91福利影院| 亚洲第一青青草原| 欧美中文综合在线视频| 久久久国产欧美日韩av| 美女主播在线视频| 午夜两性在线视频| 日韩人妻精品一区2区三区| 少妇猛男粗大的猛烈进出视频| av欧美777| 久久精品久久久久久噜噜老黄| 国产老妇伦熟女老妇高清| 亚洲中文av在线| 精品一区在线观看国产| 美女中出高潮动态图| 精品熟女少妇八av免费久了| 一二三四在线观看免费中文在| 人人妻人人澡人人爽人人夜夜| 亚洲精品国产色婷婷电影| av线在线观看网站| 香蕉国产在线看| 国产精品久久久久久精品电影小说| 视频区欧美日本亚洲| 熟女少妇亚洲综合色aaa.| 天天躁夜夜躁狠狠躁躁| 国产一区二区三区av在线| www日本在线高清视频| 欧美激情极品国产一区二区三区| 黑人欧美特级aaaaaa片| 久久毛片免费看一区二区三区| 99久久精品国产亚洲精品| 国产日韩欧美视频二区| av超薄肉色丝袜交足视频| 咕卡用的链子| 国产欧美日韩精品亚洲av| 夫妻午夜视频| 免费少妇av软件| 伊人亚洲综合成人网| 亚洲av电影在线观看一区二区三区| 美女福利国产在线| 汤姆久久久久久久影院中文字幕| 青草久久国产| 少妇猛男粗大的猛烈进出视频| 在线观看一区二区三区激情| 91国产中文字幕| 在线观看舔阴道视频| 在线观看一区二区三区激情| 嫁个100分男人电影在线观看| av国产精品久久久久影院| 亚洲专区中文字幕在线| 男女之事视频高清在线观看| 久久热在线av| 亚洲少妇的诱惑av| 一级片免费观看大全| 亚洲精品av麻豆狂野| 日本欧美视频一区| 如日韩欧美国产精品一区二区三区| 91精品伊人久久大香线蕉| 午夜福利一区二区在线看| 国产国语露脸激情在线看| 国产精品1区2区在线观看. | 爱豆传媒免费全集在线观看| 国产精品久久久久久精品电影小说| 国产伦理片在线播放av一区| 久久香蕉激情| 美女福利国产在线| 国产av一区二区精品久久| 亚洲欧美成人综合另类久久久| 欧美日韩精品网址| 国产亚洲欧美在线一区二区| 中文精品一卡2卡3卡4更新| 秋霞在线观看毛片| 99精品欧美一区二区三区四区| 香蕉国产在线看| 亚洲中文日韩欧美视频| 新久久久久国产一级毛片| 男女下面插进去视频免费观看| 欧美另类一区| 亚洲熟女毛片儿| 中文字幕人妻丝袜一区二区| 亚洲美女黄色视频免费看| 一级毛片女人18水好多| 亚洲欧美激情在线| 日韩 欧美 亚洲 中文字幕| 欧美精品一区二区大全| 国产亚洲欧美精品永久| 中文字幕精品免费在线观看视频| 国产又爽黄色视频| 免费看十八禁软件| 色婷婷久久久亚洲欧美| 亚洲av日韩在线播放| 91九色精品人成在线观看| 亚洲av日韩精品久久久久久密| 亚洲精品久久午夜乱码| 在线精品无人区一区二区三| 亚洲欧美日韩高清在线视频 | 在线观看免费日韩欧美大片| 99热全是精品| 桃红色精品国产亚洲av| 日韩一区二区三区影片| 亚洲精华国产精华精| 热99国产精品久久久久久7| 老司机影院毛片| 日日夜夜操网爽| 亚洲精品美女久久久久99蜜臀| av天堂久久9| 午夜福利一区二区在线看| 久久久国产一区二区| 亚洲成人免费av在线播放| 一区二区av电影网| 国产在线一区二区三区精| 18禁黄网站禁片午夜丰满| 12—13女人毛片做爰片一| 欧美成狂野欧美在线观看| 亚洲精品第二区| 久久久久久久久久久久大奶| 亚洲专区国产一区二区| 亚洲人成电影观看| 黄网站色视频无遮挡免费观看| 视频在线观看一区二区三区| 亚洲精品成人av观看孕妇| 国产精品久久久久久人妻精品电影 | 国产精品一区二区免费欧美 | 咕卡用的链子| 中文字幕人妻丝袜制服| www日本在线高清视频| 男女之事视频高清在线观看| 亚洲一区中文字幕在线| 亚洲一码二码三码区别大吗| a级毛片黄视频| 永久免费av网站大全| 免费在线观看视频国产中文字幕亚洲 | 黄片播放在线免费| 在线精品无人区一区二区三| 一级毛片精品| videosex国产| 国产免费一区二区三区四区乱码| 俄罗斯特黄特色一大片| 高清欧美精品videossex| 中文字幕另类日韩欧美亚洲嫩草| 91九色精品人成在线观看| 大陆偷拍与自拍| 亚洲av片天天在线观看| 精品国产一区二区三区久久久樱花| netflix在线观看网站| 国产免费现黄频在线看| 午夜91福利影院| 叶爱在线成人免费视频播放| 热99国产精品久久久久久7| 男女免费视频国产| 亚洲精品一卡2卡三卡4卡5卡 | 国产亚洲精品一区二区www | 国产成人精品在线电影| 女人爽到高潮嗷嗷叫在线视频| 午夜福利在线免费观看网站| 国产免费一区二区三区四区乱码| 免费观看av网站的网址| 岛国在线观看网站| 国产精品 国内视频| 久热爱精品视频在线9| 国产精品1区2区在线观看. | 91精品三级在线观看| 精品少妇久久久久久888优播| 中文字幕人妻丝袜一区二区| 久久国产亚洲av麻豆专区| 成人亚洲精品一区在线观看| 一本久久精品| 交换朋友夫妻互换小说| 久久久久国产精品人妻一区二区| 欧美成狂野欧美在线观看| 亚洲精品中文字幕在线视频| 热99re8久久精品国产| 午夜免费成人在线视频| 91麻豆av在线| 国产又色又爽无遮挡免| 9色porny在线观看| 美女高潮到喷水免费观看| 午夜日韩欧美国产| 肉色欧美久久久久久久蜜桃| 手机成人av网站| 视频在线观看一区二区三区| 精品国产超薄肉色丝袜足j| 日本av免费视频播放| 女人被躁到高潮嗷嗷叫费观| av片东京热男人的天堂| 久久国产精品男人的天堂亚洲| 91麻豆av在线| kizo精华| 中文字幕av电影在线播放| 视频区欧美日本亚洲| 天天躁日日躁夜夜躁夜夜| 国产精品.久久久| 亚洲中文日韩欧美视频| 日本a在线网址| 水蜜桃什么品种好| 制服诱惑二区| 黑人巨大精品欧美一区二区蜜桃| 可以免费在线观看a视频的电影网站| 久久狼人影院| 久久热在线av| 午夜福利免费观看在线| 热99国产精品久久久久久7| 母亲3免费完整高清在线观看| 精品少妇一区二区三区视频日本电影| 欧美人与性动交α欧美精品济南到| 伊人久久大香线蕉亚洲五| 99久久精品国产亚洲精品| 在线观看一区二区三区激情| 欧美国产精品一级二级三级| 高清视频免费观看一区二区| 在线观看免费高清a一片| 丝袜美腿诱惑在线| 日韩 亚洲 欧美在线| 两性夫妻黄色片| 亚洲专区中文字幕在线| 久久久久国产一级毛片高清牌| 日韩精品免费视频一区二区三区| 国产亚洲精品久久久久5区| www日本在线高清视频| 18禁国产床啪视频网站| 人妻久久中文字幕网| 国产真人三级小视频在线观看| 婷婷丁香在线五月| 亚洲,欧美精品.| 啦啦啦中文免费视频观看日本| 人人妻人人澡人人爽人人夜夜| 不卡av一区二区三区| 欧美精品人与动牲交sv欧美| 婷婷成人精品国产| 亚洲免费av在线视频| 青春草视频在线免费观看| 中国国产av一级| 美女高潮到喷水免费观看| 一本久久精品| 丝袜人妻中文字幕| 自线自在国产av| 大码成人一级视频| 18禁国产床啪视频网站| 黄色毛片三级朝国网站| 男女之事视频高清在线观看| 亚洲三区欧美一区| bbb黄色大片| 一个人免费看片子| 欧美大码av| 国产精品.久久久| 欧美国产精品va在线观看不卡| 午夜福利在线观看吧| 美女视频免费永久观看网站| 国产麻豆69| 成年动漫av网址| 人人澡人人妻人| 日韩视频一区二区在线观看| 亚洲精品一卡2卡三卡4卡5卡 | av国产精品久久久久影院| 丝袜美腿诱惑在线| 秋霞在线观看毛片| 日本wwww免费看| 国产淫语在线视频| 精品国内亚洲2022精品成人 | 国产亚洲精品第一综合不卡| 2018国产大陆天天弄谢| 91精品三级在线观看| 女人爽到高潮嗷嗷叫在线视频| a级毛片在线看网站| 亚洲精品中文字幕在线视频| 国产精品亚洲av一区麻豆| 久久精品国产亚洲av香蕉五月 | 丰满迷人的少妇在线观看| 色94色欧美一区二区| 亚洲国产精品成人久久小说| 久久久国产成人免费| 欧美精品高潮呻吟av久久| 91大片在线观看| 成人亚洲精品一区在线观看| 国产精品久久久久久精品电影小说| tocl精华| 欧美精品高潮呻吟av久久| 欧美大码av| 老司机影院毛片| 狂野欧美激情性bbbbbb| 日韩有码中文字幕| 精品视频人人做人人爽| 窝窝影院91人妻| 久久人妻熟女aⅴ| 麻豆乱淫一区二区| 操美女的视频在线观看| 亚洲精品一二三| 美女福利国产在线| 中亚洲国语对白在线视频| 亚洲精品国产av蜜桃| 久久久国产一区二区| 日本黄色日本黄色录像| 岛国在线观看网站| 久久久国产成人免费| 国产日韩欧美在线精品| 青青草视频在线视频观看| 欧美日韩亚洲综合一区二区三区_| 秋霞在线观看毛片| 操美女的视频在线观看| a级片在线免费高清观看视频| 男男h啪啪无遮挡| 国产精品 国内视频| 男人舔女人的私密视频| 美女扒开内裤让男人捅视频| 久久久水蜜桃国产精品网| 老司机影院成人| 久久香蕉激情| 精品一品国产午夜福利视频| 少妇猛男粗大的猛烈进出视频| av网站免费在线观看视频| 每晚都被弄得嗷嗷叫到高潮| 高清av免费在线| 国产一区二区激情短视频 | 国产一区二区三区av在线| av在线老鸭窝| 久久人人爽av亚洲精品天堂| 精品免费久久久久久久清纯 | 欧美成人午夜精品| 免费不卡黄色视频| 欧美黄色片欧美黄色片| 日韩免费高清中文字幕av| 日韩人妻精品一区2区三区| 一边摸一边做爽爽视频免费| 香蕉国产在线看| 欧美 亚洲 国产 日韩一| 波多野结衣av一区二区av| 日本vs欧美在线观看视频| 在线观看人妻少妇| 一本—道久久a久久精品蜜桃钙片| 午夜免费成人在线视频| 国产成人欧美在线观看 | 国产成人免费观看mmmm| 国产精品麻豆人妻色哟哟久久| 一级片'在线观看视频| 国产精品香港三级国产av潘金莲| 伦理电影免费视频| 亚洲av美国av| 国产1区2区3区精品| 亚洲九九香蕉| 国产老妇伦熟女老妇高清| 视频在线观看一区二区三区| 精品国产超薄肉色丝袜足j| 免费在线观看黄色视频的| 男女午夜视频在线观看| 精品欧美一区二区三区在线| 久久久精品免费免费高清| 黑人欧美特级aaaaaa片| 五月开心婷婷网| 无限看片的www在线观看| 国产福利在线免费观看视频| 亚洲专区国产一区二区| 男人操女人黄网站| 丝瓜视频免费看黄片| 亚洲综合色网址| 欧美黄色片欧美黄色片| 在线观看免费高清a一片| 亚洲欧美一区二区三区黑人| 97人妻天天添夜夜摸| 亚洲熟女精品中文字幕| 亚洲精品一区蜜桃| 人妻久久中文字幕网| 亚洲精品第二区| 少妇裸体淫交视频免费看高清 | 99国产综合亚洲精品| 欧美日韩av久久| 国产精品偷伦视频观看了| 99国产极品粉嫩在线观看| 大片电影免费在线观看免费| 国产伦理片在线播放av一区| 亚洲精品av麻豆狂野| 久久久水蜜桃国产精品网| 无限看片的www在线观看| 色精品久久人妻99蜜桃| 亚洲国产欧美日韩在线播放| 成年女人毛片免费观看观看9 | 午夜精品久久久久久毛片777| 麻豆乱淫一区二区| 国产欧美日韩综合在线一区二区| 巨乳人妻的诱惑在线观看| 国产男人的电影天堂91| 精品一区二区三卡| 男女免费视频国产| 久久国产精品影院| 操出白浆在线播放| 巨乳人妻的诱惑在线观看| 国产成人av激情在线播放| 久久人妻福利社区极品人妻图片| 亚洲欧美精品综合一区二区三区| 一级,二级,三级黄色视频| 丝袜在线中文字幕| 亚洲第一欧美日韩一区二区三区 |