• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于變分推斷和元路徑分解的異質(zhì)網(wǎng)絡(luò)表示方法

    2021-06-01 03:41:34孫海超譚洪勝
    上海交通大學(xué)學(xué)報 2021年5期
    關(guān)鍵詞:同質(zhì)異質(zhì)語義

    袁 銘, 劉 群, 孫海超, 譚洪勝

    (重慶郵電大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 重慶 400065)

    網(wǎng)絡(luò)表示學(xué)習(xí)[1-2]是網(wǎng)絡(luò)數(shù)據(jù)挖掘中的一項重要技術(shù),能夠?qū)⒕W(wǎng)絡(luò)中的每個節(jié)點用一個向量表示出來,從而把網(wǎng)絡(luò)結(jié)構(gòu)映射到一個由節(jié)點向量組成的低維空間,為基于網(wǎng)絡(luò)拓?fù)涞逆溌奉A(yù)測、節(jié)點分類、聚類等任務(wù)提供數(shù)據(jù)結(jié)構(gòu)的支撐.在實際應(yīng)用中,不同的復(fù)雜信息網(wǎng)絡(luò)通常都具有異質(zhì)性,其表現(xiàn)為在同一個網(wǎng)絡(luò)中包含多種不同類型的節(jié)點和多種不同類型的鏈接關(guān)系,這種網(wǎng)絡(luò)也被稱為異質(zhì)網(wǎng)絡(luò).與同質(zhì)網(wǎng)絡(luò)相比,這類網(wǎng)絡(luò)通常具有豐富的交互關(guān)系.其中,不同類型的節(jié)點和鏈接都隱含了極其豐富的語義和結(jié)構(gòu)信息,如智能電網(wǎng)、生物蛋白質(zhì)網(wǎng)絡(luò)、社交網(wǎng)絡(luò)等.

    近年來,同質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)已經(jīng)取得了豐富的成果.Deepwalk算法[3]利用隨機游走首次將網(wǎng)絡(luò)結(jié)構(gòu)建模為語料序列,結(jié)合Skip-Gram模型得到節(jié)點的低維表示,為網(wǎng)絡(luò)分析任務(wù)提供了新的思路.隨后,更多的同質(zhì)網(wǎng)絡(luò)表示算法被提出[4-6],如Node2vec算法和LINE算法,采用不同的隨機游走設(shè)計,結(jié)合Skip-Gram模型學(xué)習(xí)更為準(zhǔn)確的節(jié)點向量表示.但以上方法將不同類型的節(jié)點和鏈接都視為相同類型來建模,不具備針對異質(zhì)網(wǎng)絡(luò)的有效設(shè)計.顯然,如果忽略網(wǎng)絡(luò)的異質(zhì)性問題,容易導(dǎo)致各種網(wǎng)絡(luò)分析任務(wù)的準(zhǔn)確性有所降低.只有表征出網(wǎng)絡(luò)中不同類型節(jié)點及鏈接的獨有特征,才能捕獲網(wǎng)絡(luò)中豐富的語義,因此對異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)的研究具有重要意義.

    由于異質(zhì)網(wǎng)絡(luò)中節(jié)點和鏈接的復(fù)雜性,傳統(tǒng)的同質(zhì)網(wǎng)絡(luò)表示方法難以直接應(yīng)用于異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)中.近年來,國內(nèi)外許多研究者進行的一些相關(guān)研究,可以概括為以下3類.① 基于淺層網(wǎng)絡(luò)的方法,這類方法通過隨機游走捕獲網(wǎng)絡(luò)結(jié)構(gòu),結(jié)合淺層模型學(xué)習(xí)節(jié)點向量的表示.文獻(xiàn)[7]中提出了HIN2vec算法,通過聯(lián)合執(zhí)行多個預(yù)測訓(xùn)練任務(wù)來預(yù)測兩個節(jié)點之間的關(guān)系,并將預(yù)測任務(wù)轉(zhuǎn)化為二分類問題,利用兩層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)異質(zhì)網(wǎng)絡(luò)中節(jié)點和元路徑的表示.文獻(xiàn)[8]中提出了Metapath2vec算法,利用基于元路徑的隨機游走構(gòu)建節(jié)點的異質(zhì)鄰居,擴展了Skip-Gram模型,從而為結(jié)構(gòu)和語義上相近的節(jié)點建模.文獻(xiàn)[9-10]中針對異質(zhì)文本網(wǎng)絡(luò)和跨網(wǎng)絡(luò)場景學(xué)習(xí)節(jié)點的表示,采用網(wǎng)絡(luò)分解來簡化異質(zhì)網(wǎng)絡(luò)的表示建模.② 基于深度網(wǎng)絡(luò)的方法,這類方法采用不同深度學(xué)習(xí)的方法獲得網(wǎng)絡(luò)中高度非線性的特征.文獻(xiàn)[11-13]中嘗試將卷積神經(jīng)網(wǎng)絡(luò)、自動編碼器、強化學(xué)習(xí)等方法用于異質(zhì)網(wǎng)絡(luò)中節(jié)點的表示學(xué)習(xí).隨著圖神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)分析任務(wù)中表現(xiàn)出優(yōu)異的性能,一些研究者將其擴展到了異質(zhì)網(wǎng)絡(luò)的分析中[14-15],針對異質(zhì)網(wǎng)絡(luò)中不同類型節(jié)點和鏈接的特點,改進圖神經(jīng)網(wǎng)絡(luò)消息傳遞方式,聚合不同類型鄰居生成節(jié)點的向量表示.③ 基于屬性異質(zhì)網(wǎng)絡(luò)的方法,這類方法嘗試?yán)媚挲g、性別、地理位置等額外的節(jié)點信息,研究更為復(fù)雜的異質(zhì)網(wǎng)絡(luò)場景.文獻(xiàn)[16-17]中針對金融現(xiàn)金檢測和用戶購物場景,利用線性變換將額外的屬性信息映射到低維空間,并通過設(shè)計分層的異質(zhì)網(wǎng)絡(luò)表示架構(gòu),較好地進行了融合,學(xué)習(xí)到更加豐富的節(jié)點表示.

    盡管將上述各種表示方法應(yīng)用于不同網(wǎng)絡(luò)任務(wù)中都獲得了較好的效果,但是仍然存在以下兩個問題.首先,節(jié)點間關(guān)系的表示都是基于鄰居節(jié)點的相似性計算獲得的,無法反映無直接邊的節(jié)點間的相似關(guān)系;其次,整個網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的表示過程采用的均為基于元路徑的隨機游走策略,忽略了相鄰節(jié)點間的真實關(guān)系.顯然在實際網(wǎng)絡(luò)中,不存在直接連邊的節(jié)點仍然有可能具有較高的相似性,而簡單的基于固定概率隨機選擇生成的節(jié)點序列,并不能保證生成高度緊密相似的節(jié)點序列.為此,本文提出了基于變分推斷和元路徑分解的異質(zhì)網(wǎng)絡(luò)表示方法HetVAE,主要貢獻(xiàn)如下:

    (1) 引入路徑相似度度量,通過不同語義下的異質(zhì)路徑實例計算出同類型節(jié)點的相似度,并在相似度的引導(dǎo)下設(shè)計不同類型節(jié)點的選取概率,改進了基于元路徑隨機游走的節(jié)點選擇策略,使得生成的節(jié)點序列更準(zhǔn)確.

    (2) 引入變分推斷理論,通過變分Bayesian推斷優(yōu)化真實先驗分布與后驗分布之間的誤差,同時近似推導(dǎo)出潛在變量,從而學(xué)習(xí)到更符合真實網(wǎng)絡(luò)分布的節(jié)點向量,使得異質(zhì)網(wǎng)絡(luò)中的節(jié)點向量表示更具穩(wěn)健性.

    (3) 引入元路徑思想將異質(zhì)網(wǎng)絡(luò)拆分為多個同質(zhì)子網(wǎng)絡(luò),以便獲取原始網(wǎng)絡(luò)不同視角下的豐富語義信息,進而結(jié)合注意力機制,通過網(wǎng)絡(luò)重建和將拆分后各個加權(quán)子網(wǎng)絡(luò)的節(jié)點向量進行融合.

    本文通過相似度改進的節(jié)點選擇策略,較好地解決了異質(zhì)網(wǎng)絡(luò)中傳統(tǒng)元路徑隨機游走不精確的問題;利用變分推斷捕獲網(wǎng)絡(luò)的真實分布,改進了傳統(tǒng)異質(zhì)網(wǎng)絡(luò)表示模型不能觀測潛在變量的缺陷;結(jié)合注意力機制,自動融合不同視角下的語義信息.在多個數(shù)據(jù)集上的不同網(wǎng)絡(luò)任務(wù)的實驗結(jié)果表明,所提方法能夠獲得更好的結(jié)果.

    1 預(yù)備知識

    首先,給出后續(xù)使用的基本定義和概念.其中,關(guān)于異質(zhì)網(wǎng)絡(luò)以及元路徑的概念可以參考文獻(xiàn) [18-19].

    一個典型的異質(zhì)網(wǎng)絡(luò)DBLP學(xué)術(shù)網(wǎng)絡(luò)如圖1所示.該網(wǎng)絡(luò)中4種不同類型的節(jié)點,作者(A)、論文(Pa)、會議(C)、關(guān)鍵詞(T) 如圖1(a)所示;網(wǎng)絡(luò)中3種不同類型的邊關(guān)系,包含論文和作者、論文和會議、論文和關(guān)鍵詞如圖1(c)所示.這3種類型的邊關(guān)系分別涵蓋了3條元路徑,每一條元路徑代表一種語義,元路徑APaA代表兩位作者的合著關(guān)系,元路徑APaCPaA代表兩位作者的文章發(fā)表在同一期刊/會議上,元路徑APaTPaA代表兩位作者的文章具有相同關(guān)鍵詞.

    圖1 DBLP異質(zhì)網(wǎng)絡(luò)示例Fig.1 An example of a DBLP heterogeneous network

    元路徑引導(dǎo)下的鄰居節(jié)點:在異質(zhì)網(wǎng)絡(luò)中給定一條元路徑P,對于任意節(jié)點vi,元路徑P引導(dǎo)下的鄰居節(jié)點定義為節(jié)點vi通過元路徑P到達(dá)的所有節(jié)點,記為NP(vi),定義中的鄰居節(jié)點也包含vi本身.由圖1(c)可知,對于節(jié)點A1,在元路徑APaA下的鄰居節(jié)點是A2.

    2 基于變分推斷的異質(zhì)網(wǎng)絡(luò)表示模型

    圖2 HetVAE的整體框架Fig.2 Overall frame work of HetVAE

    2.1 拆分異質(zhì)網(wǎng)絡(luò)

    2.1.1改進的隨機游走策略 在異質(zhì)網(wǎng)絡(luò)中元路徑用于定義不同類型節(jié)點之間的關(guān)系.由于元路徑約束下的隨機游走能夠探索異質(zhì)網(wǎng)絡(luò)的復(fù)雜完整結(jié)構(gòu),捕獲網(wǎng)絡(luò)的全局語義信息,所以基于元路徑的隨機游走成為異質(zhì)網(wǎng)絡(luò)挖掘中的一種通用方法.然而,傳統(tǒng)的元路徑隨機游走由于游走過程隨機性較強,無法體現(xiàn)節(jié)點間的相似關(guān)系,導(dǎo)致不能精確地表示網(wǎng)絡(luò)結(jié)構(gòu).目前,在異質(zhì)網(wǎng)絡(luò)表示的節(jié)點相似性計算中,大多數(shù)計算公式都是基于同質(zhì)網(wǎng)絡(luò)而設(shè)計的,如路徑總數(shù)相似度、游走相似度、成對游走相似度等計算方法,更傾向于使高度可見(即與大量路徑有關(guān)聯(lián)的對象)或者高度集中的對象(即占一組關(guān)聯(lián)路徑中很大比例的對象)獲得更高的相似度[19].這一類相似度度量方法沒有考慮路徑背后的不同語義,忽略了對象和鏈接之間的異質(zhì)性,使得相似性計算方法缺乏合理性.

    為了解決這一問題,本模型引入PathSim算法[19]來度量異質(zhì)網(wǎng)絡(luò)下元路徑上節(jié)點的相似性.這種節(jié)點相似性度量方法能夠通過考慮異質(zhì)網(wǎng)絡(luò)中的鏈接關(guān)系類型,識別出元路徑下語義更為一致的相似節(jié)點.改進后的元路徑隨機游走節(jié)點選擇策略,使得生成的節(jié)點序列能夠在有限步驟的隨機游走過程中捕獲網(wǎng)絡(luò)中的語義信息,提高生成的節(jié)點序列的質(zhì)量.

    sim(v,y)=

    (1)

    在獲得對應(yīng)于不同元路徑的同質(zhì)網(wǎng)絡(luò)過程中,為了更準(zhǔn)確地選擇元路徑引導(dǎo)中的不同類型節(jié)點,本模型分成兩種情況進行處理.

    (1) 當(dāng)后繼鄰居節(jié)點類型與元路徑起始節(jié)點類型一致時,則計算出該后繼節(jié)點與其前驅(qū)節(jié)點的sim(v,y)值,相似度值越大的節(jié)點具有更大的選擇概率.對鄰居節(jié)點的選擇概率公式為

    (2)

    (2) 對于不同于元路徑起始節(jié)點類型的鄰居節(jié)點,由于其主要作用是構(gòu)成語義約束,所以對這類鄰居節(jié)點的選擇概率可以相同,其計算公式如下:

    (3)

    節(jié)點選擇策略如圖3所示,其中虛線表示根據(jù)式(3)的選擇概率選擇下一跳節(jié)點.以A1節(jié)點為例,下一跳節(jié)點包含Pa1、Pa2兩個節(jié)點,其類型與A1節(jié)點不同,因此選擇的概率相同.實線表示從Pa類型根據(jù)式(2)的選擇概率選擇下一跳節(jié)點,以Pa2節(jié)點為例,下一跳節(jié)點包含A2、A3兩個節(jié)點,其類型與初始節(jié)點A1相同,則應(yīng)計算元路徑APaA下的PathSim相似度,并根據(jù)式(2)的選擇概率選擇節(jié)點,根據(jù)選擇概率計算可知A2被選擇的可能性比A3更大,這是由于在APaA元路徑下,從A1節(jié)點出發(fā)到A2節(jié)點具有更多的可達(dá)路徑.

    圖3 節(jié)點選擇策略示例Fig.3 Example of a node selection strategy

    2.1.2重建同質(zhì)網(wǎng)絡(luò) 通過在元路徑隨機游走過程中保留元路徑P1,P2,…,Pi引導(dǎo)下的同類型鄰居節(jié)點,異質(zhì)網(wǎng)絡(luò)能轉(zhuǎn)化為多組同質(zhì)節(jié)點序列H1,H2,…,Hi.為了能夠捕獲網(wǎng)絡(luò)中反映每個節(jié)點的特征向量,本模型將上述節(jié)點序列重構(gòu)為同質(zhì)網(wǎng)絡(luò).

    圖4 DBLP中重構(gòu)同質(zhì)網(wǎng)絡(luò)矩陣說明Fig.4 Reconstruction of homogeneous network matrix in DBLP

    2.2 變分自編碼器生成節(jié)點向量

    DKL(qφ(z(i)|x(i))‖pθ(z(i)|x(i)))=

    lnpθ(x(i))-Eqφ(z(i)|x(i))[lnpθ(x(i)|z(i))-

    lnqφ(z(i)|x(i))]

    (4)

    式中:Eqφ(z(i)|x(i))為識別模型的期望.其從后驗分布中采樣的潛在變量z(i)可以表示為

    z(i)=μ(i)+σ(i)⊙ε(i)

    (5)

    式中:⊙表示逐元素乘法.最終獲得原始網(wǎng)絡(luò)分布中每一個數(shù)據(jù)x(i)的損失函數(shù)近似估計結(jié)果為

    Γ(θ,φ;x)?

    (6)

    式中:第1項為近似后驗分布和先驗分布的KL散度;第2項為重建誤差對后驗分布的期望.

    為了獲得原始異質(zhì)網(wǎng)絡(luò)中節(jié)點的向量表示,HetVAE將生成的多個同質(zhì)網(wǎng)絡(luò)矩陣作為變分自編碼器的輸入.在本文中,輸入數(shù)據(jù)和生成數(shù)據(jù)均為節(jié)點對象.通過訓(xùn)練,利用變分推斷理論對隱空間中的節(jié)點數(shù)據(jù)分布進行采樣,生成各個同質(zhì)網(wǎng)絡(luò)中所有節(jié)點的向量表示.模型的編碼器和解碼器均為多層感知機(MLP).

    (7)

    對于輸入的xk其對應(yīng)的隱空間表示zk由下式計算可得:

    (8)

    (9)

    (10)

    (11)

    (12)

    c=2,3,…,C

    (13)

    式中:μd、σd分別為μk、σk的第d維的均值和方差分量,即μk=[μ1μ2…μD]和σk=[σ1σ2…σD]兩個向量.為了加速收斂速度,將編碼器原本的均值輸出σ轉(zhuǎn)化為上式中的ln(σ2),記為δ=ln(σ2).通過計算σ=eδ/2可以得到原本的均值σ,這使得編碼器可以更容易獲得不同比例的均值σ.經(jīng)過簡化之后的KL散度損失函數(shù)可以表示為

    (14)

    對應(yīng)的隱變量z的式(12)則重寫為

    (17)

    (18)

    (19)

    c=2,3,…,C-1

    由于所獲得的同質(zhì)網(wǎng)絡(luò)鄰接矩陣是典型的稀疏矩陣,即在鄰接矩陣G(i)中零元素遠(yuǎn)遠(yuǎn)多于非零元素.如果直接對G(i)最小化重建誤差,網(wǎng)絡(luò)將更容易重建零元素,而不是更有意義的非零元素.因此,HetVAE對非零元素加入了更多的懲罰,使模型能夠優(yōu)先重建非零元素,修正后的重建誤差損失函數(shù)如下:

    (20)

    模型訓(xùn)練的損失函數(shù)由式(7)變換如下:

    Γvae=Γrec+ΓKL+Γreg=

    (21)

    2.3 多視角信息的融合

    顯然,只有將多視角下的同質(zhì)網(wǎng)絡(luò)表示向量進行融合才能獲得原始異質(zhì)網(wǎng)絡(luò)中節(jié)點的最終向量表示.由于拆分后的子網(wǎng)絡(luò)描述了不同語義,進行向量融合的一種合理的方式就是利用注意力機制[21].常見的注意力機制包括自注意力和多頭注意力等.自注意力機制減少了對外部信息的依賴,擅長捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性.多頭注意力機制通過利用多個注意力頭來學(xué)習(xí)注意力權(quán)重,擅長捕捉不同空間的關(guān)聯(lián)關(guān)系.考慮到不同視角下節(jié)點對不同語義的關(guān)注程度,自注意力機制并不適合于求解不同視角的關(guān)注,同時多頭注意力機制由于需要計算多次權(quán)重,會嚴(yán)重影響模型的訓(xùn)練速度.因此,本文模型結(jié)合多層感知器實現(xiàn)注意力機制,將不同子網(wǎng)絡(luò)的節(jié)點向量進行融合.

    (22)

    (23)

    (24)

    (25)

    (26)

    2.4 模型算法描述

    綜上所述,HetVAE的核心思想如下所示:

    算法1HetVAE算法模型.

    輸入異質(zhì)網(wǎng)絡(luò)G(V,E)

    元路徑集合{P1,P2,…,Pi}

    懲罰因子B

    輸出節(jié)點的最終表示Z

    (1) forPi∈{P1,P2,…,Pi}do

    /*拆分異質(zhì)網(wǎng)絡(luò)*/

    (2) for eachvi∈Vdo

    (3)v←startvi

    (4) if type(v) is equal to type (y) then

    (5) calculate sim(v,y), select a node by Eq.2

    /*選取同類型節(jié)點*/

    (6) else

    (7) select a node by Eq.3

    /*選取不同類型節(jié)點*/

    (8) obtain homogeneous node sequencesHi

    /*獲得同質(zhì)節(jié)點序列*/

    (9) end if

    (10) reconstructing a homogeneous network

    /*重構(gòu)同質(zhì)網(wǎng)絡(luò)*/

    (11) end for

    (12) end for

    (13) forG(i)∈{G(1),G(2),…,G(i)} do

    (14) initialized parametersW(i),b(i),B

    (15) repeat

    (16) minimizeΓvae=Γrec+ΓKL+Γreg

    (17) until converge

    (18) extract the hidden layer to get the

    node representationz(i)/*獲取隱層表示*/

    (19) end for

    (20) for eachvi∈Vdo

    (22) end for

    (23) returnZ(vi)

    3 實驗與結(jié)果

    為了驗證HetVAE模型的有效性,在3個真實數(shù)據(jù)集DBLP、AMiner、Yelp上使用微觀F1值(Micro-F1)、宏觀F1值(Macro-F1)、標(biāo)準(zhǔn)化互信息(NMI)和調(diào)整蘭德系數(shù)(ARI)評價指標(biāo),針對3種典型的異質(zhì)網(wǎng)絡(luò)挖掘任務(wù):節(jié)點分類、節(jié)點聚類、可視化進行了實驗評估.

    3.1 數(shù)據(jù)集

    實驗使用的3個被廣泛研究的公開數(shù)據(jù)集:DBLP[14]、AMiner[8]、Yelp (https://www.yelp.com/dataset/),其詳細(xì)描述如表1所示.其中:Bu為企業(yè);S為服務(wù);St為星級;U為用戶.

    (1) DBLP數(shù)據(jù)集:包含論文、作者、會議/期刊、關(guān)鍵詞4類節(jié)點,并按照作者的研究領(lǐng)域劃分為4個類別,包含數(shù)據(jù)庫、數(shù)據(jù)挖掘、人工智能、信息檢索,以此作為標(biāo)簽.模型使用元路徑集合{APaA,APaCPaA,APaTPaA}進行實驗.

    (2) AMiner數(shù)據(jù)集:實驗抽取了AMiner的一個子集,包含論文、作者、會議/期刊3類節(jié)點,同樣按照作者的研究領(lǐng)域進行劃分,得到8個類別,包含計算機語言學(xué)、計算機圖形學(xué)、計算機網(wǎng)絡(luò)和無線通信、計算機視覺和模式識別、計算機系統(tǒng)、數(shù)據(jù)庫和信息系統(tǒng)、人機交互、理論計算機科學(xué),以此作為標(biāo)簽.模型使用元路徑集合{APaA,APaCPaA}進行實驗.

    (3) Yelp數(shù)據(jù)集:包含企業(yè)、用戶、星級、服務(wù)4類節(jié)點,按照企業(yè)的類型進行劃分,得到3個類別,包含酒店、購物、食品,以此作為標(biāo)簽.模型使用元路徑集合{BuSBu,BuStBu,BuUBu}進行實驗.

    表1 數(shù)據(jù)集描述Tab.1 Dataset description

    3.2 對比算法

    實驗選取了一些較新的先進方法進行了比較,包含2個同質(zhì)網(wǎng)絡(luò)方法和4個異質(zhì)網(wǎng)絡(luò)方法,用以驗證本文算法的有效性.對于同質(zhì)網(wǎng)絡(luò)算法,在實驗中忽略節(jié)點的異質(zhì)性,將算法應(yīng)用在整個異質(zhì)圖中.對于異質(zhì)網(wǎng)絡(luò)算法,在實驗中測試了所有元路徑.對比算法給出的均為最優(yōu)結(jié)果.

    (1) Deepwalk[3]:采用隨機游走捕獲網(wǎng)絡(luò)結(jié)構(gòu),利用Skip-Gram模型學(xué)習(xí)節(jié)點的表示.

    (2) Node2vec[4]:通過調(diào)整隨機游走的深度和廣度獲得網(wǎng)絡(luò)結(jié)構(gòu),利用帶負(fù)采樣的Skip-Gram模型學(xué)習(xí)節(jié)點表示.

    (3) HIN2vec[7]:以元路徑形式指定的一組關(guān)系聯(lián)合執(zhí)行多個預(yù)測訓(xùn)練任務(wù),學(xué)習(xí)異質(zhì)網(wǎng)絡(luò)中節(jié)點和元路徑的表示.

    (4) Metapath2vec[8]:利用元路徑隨機游走構(gòu)建節(jié)點的異質(zhì)鄰居,并采用異質(zhì)的Skip-Gram模型最大化異質(zhì)上下文概率.

    (5) HERec[22]:設(shè)計了一種類型約束策略來過濾節(jié)點序列,并采用Skip-Gram模型來對網(wǎng)絡(luò)進行嵌入.

    (6) HAN[14]:設(shè)計了異質(zhì)圖下的節(jié)點級注意力和語義級注意力,并采用圖神經(jīng)網(wǎng)絡(luò)對基于元路徑的鄰居特征進行分層聚合生成節(jié)點向量.

    (7) HetVAErw:未使用改進的隨機游走選擇策略,采用普通元路徑隨機游走算法的模型.

    (8) HetVAEsk:未使用VAE生成節(jié)點向量,采用Skip-Gram算法對網(wǎng)絡(luò)進行訓(xùn)練的模型.

    (9) HetVAEcon:未使用個性化元路徑注意力機制,采用拼接的方式融合最終向量的模型.

    (10) HetVAE:本文所提出的完整模型.

    3.3 參數(shù)設(shè)置

    本模型的所有實驗均在Intel(R) Core(TM) i5-7300HQ(2.5 GHz) CPU,NVIDIA GTX1060(6G) GPU,16 GB內(nèi)存的硬件環(huán)境下完成訓(xùn)練,所涉及的代碼使用Python和Tensorflow框架實現(xiàn).

    為了進行公平對比,實驗中將所有算法最終生成的節(jié)點向量維數(shù)設(shè)置D=128,對于需要隨機游走的算法,設(shè)置每個節(jié)點的步數(shù)為10,隨機游走長度為80.對于Deepwalk、Metapath2vec、HERec,選取了各自文獻(xiàn)中給出的窗口大小參數(shù)為5.對于Node2vec其窗口大小參數(shù)為5,廣度優(yōu)先參數(shù)為4,深度優(yōu)先參數(shù)為1,負(fù)采樣比率為5.對于HIN2vec,設(shè)置窗口大小參數(shù)為4.對于HAN,其正則化參數(shù)為0.001,注意力頭個數(shù)為8,注意力向量維度為128,實驗采用了其論文中相同的處理方法,對節(jié)點特征進行提取.在DBLP、AMiner數(shù)據(jù)集中,節(jié)點特征為作者論文關(guān)鍵詞的詞袋表示;在Yelp數(shù)據(jù)集中,節(jié)點特征為企業(yè)星級類別的詞袋表示.對比實驗參數(shù)設(shè)置均與其文獻(xiàn)推薦的最優(yōu)參數(shù)一致.在實驗中,對于DBLP數(shù)據(jù)集而言,網(wǎng)絡(luò)結(jié)構(gòu)為14475-1000-128-1000-14475,每一個數(shù)字代表網(wǎng)絡(luò)每一層的神經(jīng)元個數(shù),學(xué)習(xí)率設(shè)置為 0.000 1,懲罰項B設(shè)置為2,批處理大小為32.對于AMiner數(shù)據(jù)集而言,網(wǎng)絡(luò)結(jié)構(gòu)為16543-2000-128-2000-16543,學(xué)習(xí)率設(shè)置為 0.000 35,懲罰項B設(shè)置為150,批處理大小為128.對于Yelp數(shù)據(jù)集而言,網(wǎng)絡(luò)結(jié)構(gòu)為2614-1000-128-1000-2614,學(xué)習(xí)率設(shè)置為 0.000 1,懲罰項B設(shè)置為64,批處理大小為128.

    3.4 節(jié)點分類

    對于節(jié)點分類任務(wù),將模型學(xué)習(xí)到的節(jié)點向量作為特征向量,和文獻(xiàn)[13]相同,采用K=5的K近鄰(KNN)分類器進行分類,使用Micro-F1和Macro-F1作為分類結(jié)果評估指標(biāo).為了使結(jié)果具有可靠性,采用重復(fù)10次的結(jié)果平均值,并將數(shù)據(jù)集的訓(xùn)練集按照30%、50%、70%、90%的比例選取,同時打亂數(shù)據(jù)順序,以比較不同訓(xùn)練尺度下的分類效果.

    節(jié)點分類任務(wù)實驗結(jié)果如圖5所示,其中:Fmi為Micro-F1;Fma為Macro-F1;R為標(biāo)簽節(jié)點的比例.從圖5中可以看出,HetVAE具有最優(yōu)性能.值得注意的是,AMiner網(wǎng)絡(luò)中各類方法表現(xiàn)得非常接近(見圖5(c)和(d)),其他的異質(zhì)網(wǎng)絡(luò)方法均沒有超過同質(zhì)網(wǎng)絡(luò)方法.由表1可知,這是因為AMiner網(wǎng)絡(luò)的平均度更小,網(wǎng)絡(luò)中節(jié)點更為稀疏,從而導(dǎo)致各種方法難以訓(xùn)練,結(jié)果不具有顯著差異.得益于對稀疏矩陣的特殊處理,所提方法仍然有不錯的表現(xiàn).盡管DBLP和AMiner這兩個網(wǎng)絡(luò)都是文獻(xiàn)網(wǎng)絡(luò),但是相較于AMiner,DBLP增加了關(guān)鍵詞這類節(jié)點,各種類型節(jié)點的平均度更大.依靠論文之間相同的關(guān)鍵詞,論文類型節(jié)點能夠與更具相關(guān)性的文章進行相連.在與網(wǎng)絡(luò)中其他類型節(jié)點組合的過程中,能夠產(chǎn)生出語義準(zhǔn)確豐富的元路徑.通過對比這兩個真實異質(zhì)網(wǎng)絡(luò)的實驗結(jié)果,能夠發(fā)現(xiàn)對于語義信息越豐富的網(wǎng)絡(luò)DBLP,HetVAE效果更好.在不同于文獻(xiàn)網(wǎng)絡(luò)的Yelp網(wǎng)絡(luò)中,邊關(guān)系主要集中在企業(yè)和用戶之間,其網(wǎng)絡(luò)平均度相較于DBLP和AMiner網(wǎng)絡(luò)更大,節(jié)點鄰居數(shù)目更多,更難精確地獲得有意義的網(wǎng)絡(luò)結(jié)構(gòu),但所提方法仍然取得了最優(yōu)結(jié)果,說明了HetVAE具有較好的可拓展性.

    圖5 節(jié)點分類任務(wù)實驗結(jié)果Fig.5 Experimental results of node classification tasks

    為了驗證不同模塊的有效性,設(shè)計了一組消融實驗(見圖5).從圖5中可以看出,相對于HetVAE,HetVAErw的性能在DBLP、AMiner網(wǎng)絡(luò)中出現(xiàn)小幅度下降,在Yelp網(wǎng)絡(luò)中性能下降幅度較大,這說明改進的隨機游走策略在節(jié)點平均度越大的網(wǎng)絡(luò)中影響越大.同時網(wǎng)絡(luò)中節(jié)點平均度越大,找到有意義的節(jié)點越困難.當(dāng)網(wǎng)絡(luò)的平均度較小時,隨機游走可以選擇的下一跳節(jié)點數(shù)量有限,在游走一定次數(shù)之后,普通隨機游走算法同樣能夠選擇到可能相似的節(jié)點.實驗結(jié)果證明了本文對隨機游走的節(jié)點選擇策略改進的有效性.

    由圖5(e)和(f)可見,在Yelp網(wǎng)絡(luò)中,Metapath2vec和HERec算法由于僅能使用單條元路徑,其效果相比于同質(zhì)網(wǎng)絡(luò)表示算法表現(xiàn)較差,說明普通的元路徑隨機游走算法在邊關(guān)系具有高度偏向性的網(wǎng)絡(luò)中具有缺陷.而利用多條元路徑的算法HIN2vec、HAN、HetVAE,由于對多視角信息的有效利用,能夠?qū)W習(xí)到更為豐富的節(jié)點表示.對于僅采用簡單拼接方式融合節(jié)點向量的方法HetVAEcon,其性能表現(xiàn)比HetVAE差.這說明個性化元路徑注意力機制能夠更好地為每個節(jié)點融合多視角信息,同時避免非重要信息帶來的噪聲影響,對學(xué)習(xí)不同語義的關(guān)注程度具有重要作用.

    3.5 節(jié)點聚類

    對于節(jié)點聚類任務(wù),同樣將模型學(xué)習(xí)到的節(jié)點向量作為特征向量,和文獻(xiàn)[13]相同,采用K均值(K-Means)進行節(jié)點聚類,其中K值的設(shè)置隨數(shù)據(jù)集不同而不同.在DBLP實驗中K=4,在AMiner實驗中K=8,在Yelp實驗中K=3.同時使用NMI和ARI作為聚類質(zhì)量的評價指標(biāo).實驗中均對聚類過程重復(fù)10次,取平均結(jié)果作為最終結(jié)果.

    節(jié)點聚類任務(wù)的定量結(jié)果如表2所示,其中加粗的數(shù)值代表每列對比算法的最高值.由表2可以知道,HetVAE均優(yōu)于所有對比方法,且大部分異質(zhì)網(wǎng)絡(luò)方法都比同質(zhì)網(wǎng)絡(luò)方法表現(xiàn)得更好.其中,HIN2vec和HAN在部分?jǐn)?shù)據(jù)集中的聚類效果較差,這是因為鏈路預(yù)測任務(wù)的準(zhǔn)確性與網(wǎng)絡(luò)整個拓?fù)浣Y(jié)構(gòu)描述的全面性密切相關(guān),而節(jié)點分類任務(wù)的準(zhǔn)確性與能否有效捕獲局部的節(jié)點相似性有較大的關(guān)系.未使用變分推斷的HetVAEsk方法在節(jié)點的聚類任務(wù)中表現(xiàn)不如HetVAE,這說明考慮隱空間下的數(shù)據(jù)分布采樣,能夠有效地捕獲節(jié)點的相似性特征.

    表2 節(jié)點聚類任務(wù)的定量結(jié)果Tab.2 Quantitative results of node clustering tasks

    3.6 可視化

    為了直觀地觀察模型學(xué)習(xí)到的節(jié)點序列向量的質(zhì)量,采用向量的降維可視化方式,使用t-SNE方法將在DBLP網(wǎng)絡(luò)中學(xué)習(xí)到的所有作者的128維節(jié)點向量表示映射到2維空間中,不同的顏色代表其所屬的研究領(lǐng)域,在DBLP中作者的研究領(lǐng)域被劃分為4個不同類別,以不同顏色區(qū)分.在DBLP網(wǎng)絡(luò)中的向量可視化結(jié)果如圖6所示.其中:X為2維空間橫坐標(biāo);Y為2維空間縱坐標(biāo).

    圖6 在DBLP網(wǎng)絡(luò)中的向量可視化結(jié)果Fig.6 Vector visualization results in DBLP network

    由圖6可見,相比于其他方法,HetVAE能夠使得相同顏色的節(jié)點很好地聚集在一起,具有更高的區(qū)分度.

    3.7 參數(shù)靈敏度

    圖7 在Yelp網(wǎng)絡(luò)中的參數(shù)靈敏度實驗結(jié)果Fig.7 Results of parametric sensitivity experiments on Yelp network

    為了測試參數(shù)對模型的影響,對Yelp網(wǎng)絡(luò)數(shù)據(jù)集進行了節(jié)點聚類任務(wù)的參數(shù)靈敏度實驗,測試參數(shù)包括懲罰因子B和向量表示維度D,實驗結(jié)果如圖7所示,其中I為NMI分?jǐn)?shù).由圖7可知,對于B因子,當(dāng)B為16和32時,NMI分?jǐn)?shù)比較平均;當(dāng)B為64時,NMI分?jǐn)?shù)達(dá)到峰值,此時聚類的效果最好;當(dāng)B取值超過64時,NMI分?jǐn)?shù)隨著懲罰因子B的增大而下降.由此可以看出,對非零元素過大的懲罰會為模型優(yōu)化帶來困難,適中的懲罰讓模型更容易學(xué)習(xí)更高質(zhì)量的表示.對于向量維數(shù)D,當(dāng)D的取值在32~128之間的時候,NMI分?jǐn)?shù)持續(xù)上升;當(dāng)D為128維時,NMI分?jǐn)?shù)達(dá)到峰值;而當(dāng)維數(shù)翻倍增加到256和512時,NMI分?jǐn)?shù)逐步出現(xiàn)下滑.這表明更大的維度能夠編碼更多的信息,但同時可能造成冗余信息導(dǎo)致性能下降,節(jié)點向量需要一個合適的維度來編碼語義信息.對DBLP、Aminer網(wǎng)絡(luò)數(shù)據(jù)集的參數(shù)測試情況類似,這里不再贅述.

    4 結(jié)語

    本文針對異質(zhì)網(wǎng)絡(luò)提出了基于變分推斷和元路徑分解的異質(zhì)網(wǎng)絡(luò)表示方法HetVAE.通過對異質(zhì)網(wǎng)絡(luò)進行多條元路徑的拆分,改進傳統(tǒng)元路徑隨機游走的節(jié)點選擇策略,較好地捕捉了不同視角下的子網(wǎng)絡(luò)結(jié)構(gòu).進一步利用變分推斷,對潛在空間中的變量采樣,優(yōu)化真實先驗分布與后驗分布之間的誤差,為多視角下的子網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進行概率建模,獲得高質(zhì)量的節(jié)點向量表示.最后采用個性化元路徑注意力機制,對節(jié)點向量表示進行融合,保留了原網(wǎng)絡(luò)的豐富語義和更真實的拓?fù)浣Y(jié)構(gòu).實驗結(jié)果表明,HetVAE能夠有效地提高節(jié)點表示的質(zhì)量,在不同的網(wǎng)絡(luò)任務(wù)中具有更好的準(zhǔn)確性和有效性.在未來的工作中,將針對社交網(wǎng)絡(luò)應(yīng)用,研究適合于推薦算法的異質(zhì)網(wǎng)絡(luò)表示方法,使得網(wǎng)絡(luò)表示更符合真實應(yīng)用場景,并探索網(wǎng)絡(luò)表示的可解釋模型.

    猜你喜歡
    同質(zhì)異質(zhì)語義
    語言與語義
    “形同質(zhì)異“的函數(shù)問題辨析(上)
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    同質(zhì)異構(gòu)交聯(lián)法對再生聚乙烯的改性研究
    中國塑料(2016年11期)2016-04-16 05:26:02
    隨機與異質(zhì)網(wǎng)絡(luò)共存的SIS傳染病模型的定性分析
    淺談同質(zhì)配件發(fā)展歷程
    汽車零部件(2015年1期)2015-12-05 06:40:20
    Ag2CO3/Ag2O異質(zhì)p-n結(jié)光催化劑的制備及其可見光光催化性能
    聚焦國外同質(zhì)配件發(fā)展歷程
    MoS2/ZnO異質(zhì)結(jié)的光電特性
    物理實驗(2015年10期)2015-02-28 17:36:52
    認(rèn)知范疇模糊與語義模糊
    日本欧美视频一区| 日韩视频在线欧美| 曰老女人黄片| 国产精品嫩草影院av在线观看| 91午夜精品亚洲一区二区三区| 深夜精品福利| 少妇被粗大的猛进出69影院 | 一级a做视频免费观看| 少妇精品久久久久久久| 伊人久久国产一区二区| 观看av在线不卡| 少妇精品久久久久久久| 国产av精品麻豆| 校园人妻丝袜中文字幕| 视频在线观看一区二区三区| 欧美xxⅹ黑人| 狠狠婷婷综合久久久久久88av| 欧美激情 高清一区二区三区| 97超碰精品成人国产| 国产毛片在线视频| 欧美激情极品国产一区二区三区 | 国产精品三级大全| 丰满迷人的少妇在线观看| 国产精品一区二区在线不卡| 自拍欧美九色日韩亚洲蝌蚪91| 国产黄频视频在线观看| 亚洲精品aⅴ在线观看| 美女大奶头黄色视频| 午夜福利网站1000一区二区三区| 亚洲中文av在线| 亚洲成色77777| 成人免费观看视频高清| 成人亚洲精品一区在线观看| 久久久国产精品麻豆| 99国产精品免费福利视频| 99国产精品免费福利视频| 色94色欧美一区二区| 在线天堂最新版资源| 国产精品不卡视频一区二区| 秋霞伦理黄片| 考比视频在线观看| 久久久久精品人妻al黑| 久久久久久久久久成人| 岛国毛片在线播放| 一级毛片黄色毛片免费观看视频| 亚洲国产日韩一区二区| 人人妻人人澡人人爽人人夜夜| 国产一区二区激情短视频 | 人人妻人人添人人爽欧美一区卜| 一级毛片电影观看| 伦理电影免费视频| 久久久久人妻精品一区果冻| 看免费av毛片| 天堂8中文在线网| 观看美女的网站| 亚洲国产最新在线播放| 夜夜骑夜夜射夜夜干| 2021少妇久久久久久久久久久| 国产免费视频播放在线视频| 久久99热这里只频精品6学生| 啦啦啦在线观看免费高清www| 免费在线观看黄色视频的| 国产欧美另类精品又又久久亚洲欧美| 国产精品人妻久久久影院| 午夜激情久久久久久久| 爱豆传媒免费全集在线观看| 欧美精品国产亚洲| 多毛熟女@视频| 青青草视频在线视频观看| av卡一久久| 丝袜脚勾引网站| 麻豆精品久久久久久蜜桃| 晚上一个人看的免费电影| 亚洲av在线观看美女高潮| 国产成人精品一,二区| 亚洲欧美成人精品一区二区| 欧美激情国产日韩精品一区| 看十八女毛片水多多多| 成年美女黄网站色视频大全免费| 五月开心婷婷网| 狠狠婷婷综合久久久久久88av| 午夜福利网站1000一区二区三区| 日韩av不卡免费在线播放| av在线观看视频网站免费| 精品一区二区免费观看| 黑人高潮一二区| 人人澡人人妻人| 一二三四中文在线观看免费高清| 国产免费视频播放在线视频| 春色校园在线视频观看| 亚洲欧美中文字幕日韩二区| 黄色 视频免费看| 少妇精品久久久久久久| 久久亚洲国产成人精品v| 90打野战视频偷拍视频| 大话2 男鬼变身卡| 男女边摸边吃奶| 中文字幕人妻熟女乱码| 一本—道久久a久久精品蜜桃钙片| 一本—道久久a久久精品蜜桃钙片| 精品久久国产蜜桃| 日韩欧美精品免费久久| 欧美丝袜亚洲另类| 国产精品麻豆人妻色哟哟久久| 秋霞伦理黄片| 亚洲精品一区蜜桃| 久久久国产欧美日韩av| 日韩一区二区三区影片| 国产精品蜜桃在线观看| 日韩精品免费视频一区二区三区 | 亚洲欧美精品自产自拍| 免费观看a级毛片全部| 在线观看三级黄色| 在线观看美女被高潮喷水网站| 一级毛片我不卡| 97人妻天天添夜夜摸| 韩国精品一区二区三区 | 国产极品粉嫩免费观看在线| 大片电影免费在线观看免费| 99久久综合免费| 欧美丝袜亚洲另类| 精品一区二区三卡| 99国产综合亚洲精品| 亚洲一区二区三区欧美精品| 视频区图区小说| 国产亚洲最大av| 欧美人与性动交α欧美软件 | 交换朋友夫妻互换小说| 成人国产麻豆网| 激情五月婷婷亚洲| 美国免费a级毛片| 18禁动态无遮挡网站| 日本欧美视频一区| 久久久久精品人妻al黑| 一级片免费观看大全| 色吧在线观看| 日本爱情动作片www.在线观看| 精品少妇内射三级| 如何舔出高潮| 亚洲精品久久成人aⅴ小说| 看十八女毛片水多多多| 亚洲精品乱码久久久久久按摩| 久久这里只有精品19| 成人影院久久| 在线 av 中文字幕| 飞空精品影院首页| 成年女人在线观看亚洲视频| 大香蕉久久网| 亚洲欧美精品自产自拍| 国产一区二区在线观看av| 久久热在线av| 久久久久网色| 极品少妇高潮喷水抽搐| 欧美激情极品国产一区二区三区 | 国产精品久久久久久av不卡| 九色亚洲精品在线播放| 亚洲伊人色综图| 一区二区日韩欧美中文字幕 | 国产欧美日韩综合在线一区二区| 亚洲综合色网址| 国产免费视频播放在线视频| 亚洲国产精品成人久久小说| 亚洲国产成人一精品久久久| 美女中出高潮动态图| 亚洲av电影在线进入| 国产精品一国产av| 精品久久国产蜜桃| 男人添女人高潮全过程视频| 自线自在国产av| 午夜视频国产福利| 国产白丝娇喘喷水9色精品| 91aial.com中文字幕在线观看| 日韩三级伦理在线观看| 大片免费播放器 马上看| 一边摸一边做爽爽视频免费| 97在线人人人人妻| 国产欧美亚洲国产| 男女啪啪激烈高潮av片| 久久久久视频综合| 美女内射精品一级片tv| 亚洲成人一二三区av| 国产av一区二区精品久久| 免费av不卡在线播放| 这个男人来自地球电影免费观看 | 80岁老熟妇乱子伦牲交| 国产精品久久久久久久电影| 欧美bdsm另类| 91久久精品国产一区二区三区| 国产av国产精品国产| 青春草国产在线视频| 成人午夜精彩视频在线观看| 九九在线视频观看精品| 人人妻人人澡人人看| 啦啦啦视频在线资源免费观看| 老司机影院成人| 晚上一个人看的免费电影| 深夜精品福利| 免费高清在线观看视频在线观看| 成人国产av品久久久| 国产成人精品婷婷| 丝袜美足系列| av线在线观看网站| 久久久久久久久久成人| 亚洲精品日韩在线中文字幕| 2018国产大陆天天弄谢| 亚洲精品国产av成人精品| 久久精品国产鲁丝片午夜精品| 日韩成人伦理影院| 永久免费av网站大全| 亚洲精品色激情综合| 午夜老司机福利剧场| 欧美精品高潮呻吟av久久| 香蕉丝袜av| 亚洲伊人久久精品综合| 啦啦啦中文免费视频观看日本| 精品一区二区三区视频在线| 亚洲少妇的诱惑av| 性高湖久久久久久久久免费观看| 久久人妻熟女aⅴ| 少妇的丰满在线观看| 9191精品国产免费久久| 中文字幕制服av| 欧美日本中文国产一区发布| 日本av免费视频播放| 国产成人av激情在线播放| 99热这里只有是精品在线观看| 一级爰片在线观看| 国产熟女欧美一区二区| 麻豆乱淫一区二区| 国产亚洲精品第一综合不卡 | 国产精品欧美亚洲77777| 国产精品久久久久成人av| 久久精品国产鲁丝片午夜精品| 精品酒店卫生间| 久久精品久久久久久噜噜老黄| 成人影院久久| 亚洲av综合色区一区| 免费高清在线观看日韩| 我的女老师完整版在线观看| 老司机亚洲免费影院| 亚洲国产成人一精品久久久| 人人妻人人爽人人添夜夜欢视频| 超色免费av| 久久热在线av| 秋霞在线观看毛片| 宅男免费午夜| 午夜日本视频在线| 久久久久人妻精品一区果冻| 国产亚洲一区二区精品| 欧美激情国产日韩精品一区| 精品国产乱码久久久久久小说| 丰满迷人的少妇在线观看| 国产精品久久久久久久久免| 91精品三级在线观看| 亚洲美女视频黄频| videossex国产| tube8黄色片| 中文天堂在线官网| 男女高潮啪啪啪动态图| 久久久精品区二区三区| 在线精品无人区一区二区三| 波多野结衣一区麻豆| 色视频在线一区二区三区| 香蕉精品网在线| 成年人免费黄色播放视频| 精品国产乱码久久久久久小说| 天堂8中文在线网| 男人舔女人的私密视频| 夫妻性生交免费视频一级片| 国产一区亚洲一区在线观看| 久久久久网色| 亚洲人成网站在线观看播放| 国产精品偷伦视频观看了| 两个人看的免费小视频| 久久久久久人人人人人| 欧美xxⅹ黑人| xxx大片免费视频| 日本欧美国产在线视频| 男女无遮挡免费网站观看| 1024视频免费在线观看| 亚洲精品国产色婷婷电影| 国产精品久久久久久精品古装| 日韩免费高清中文字幕av| 久久久久久人妻| 免费观看av网站的网址| 大码成人一级视频| 最近的中文字幕免费完整| 赤兔流量卡办理| 亚洲av国产av综合av卡| 视频中文字幕在线观看| 久热久热在线精品观看| 99国产综合亚洲精品| 久久久久视频综合| 曰老女人黄片| 亚洲国产精品999| 一区二区av电影网| 2021少妇久久久久久久久久久| 久久精品国产a三级三级三级| 国产探花极品一区二区| 大香蕉久久成人网| 免费观看性生交大片5| 99久久人妻综合| 99精国产麻豆久久婷婷| 精品国产一区二区久久| 日本欧美国产在线视频| 久久精品熟女亚洲av麻豆精品| 亚洲第一区二区三区不卡| 亚洲精品色激情综合| 侵犯人妻中文字幕一二三四区| 成人午夜精彩视频在线观看| 国产 一区精品| 好男人视频免费观看在线| 久久国产精品男人的天堂亚洲 | 啦啦啦中文免费视频观看日本| 18禁动态无遮挡网站| 欧美日韩一区二区视频在线观看视频在线| 成人国语在线视频| 成年人午夜在线观看视频| 亚洲精品美女久久av网站| 亚洲av.av天堂| 在线免费观看不下载黄p国产| 国产av一区二区精品久久| 日本色播在线视频| 大片免费播放器 马上看| 秋霞伦理黄片| 2022亚洲国产成人精品| 高清不卡的av网站| av在线app专区| 永久免费av网站大全| 观看美女的网站| 韩国精品一区二区三区 | 亚洲综合精品二区| 精品一品国产午夜福利视频| 日产精品乱码卡一卡2卡三| 日本av手机在线免费观看| 高清在线视频一区二区三区| 国产永久视频网站| 国产精品女同一区二区软件| 狠狠精品人妻久久久久久综合| 国产精品不卡视频一区二区| 制服诱惑二区| 国产1区2区3区精品| 亚洲第一av免费看| 肉色欧美久久久久久久蜜桃| 午夜激情久久久久久久| 99热6这里只有精品| 久久久久精品人妻al黑| 日本vs欧美在线观看视频| 人妻少妇偷人精品九色| 色5月婷婷丁香| 精品一区二区三区四区五区乱码 | 搡老乐熟女国产| 晚上一个人看的免费电影| 久久久久久久久久人人人人人人| 亚洲av.av天堂| 国产精品99久久99久久久不卡 | 国语对白做爰xxxⅹ性视频网站| 久久久久久久亚洲中文字幕| 日韩av在线免费看完整版不卡| 欧美日韩视频高清一区二区三区二| 天天躁夜夜躁狠狠躁躁| 插逼视频在线观看| 国产日韩一区二区三区精品不卡| 婷婷成人精品国产| 国产av精品麻豆| 欧美另类一区| 亚洲精品456在线播放app| 九九在线视频观看精品| 久久ye,这里只有精品| 久久精品国产鲁丝片午夜精品| 成年美女黄网站色视频大全免费| 又粗又硬又长又爽又黄的视频| 51国产日韩欧美| 国产一区二区三区综合在线观看 | 国产在线一区二区三区精| 亚洲激情五月婷婷啪啪| 最近中文字幕高清免费大全6| 男女午夜视频在线观看 | 热99国产精品久久久久久7| 欧美人与善性xxx| 免费不卡的大黄色大毛片视频在线观看| 熟女人妻精品中文字幕| 久久久久久久久久久免费av| 中文精品一卡2卡3卡4更新| 欧美成人午夜精品| 99精国产麻豆久久婷婷| 久久午夜综合久久蜜桃| 午夜福利视频在线观看免费| 成人手机av| 又黄又粗又硬又大视频| 久久久久精品人妻al黑| 大码成人一级视频| 婷婷色av中文字幕| 精品熟女少妇av免费看| 欧美性感艳星| 又黄又爽又刺激的免费视频.| 亚洲av国产av综合av卡| 最后的刺客免费高清国语| 免费在线观看完整版高清| 一级毛片 在线播放| 久久久精品区二区三区| 久久人妻熟女aⅴ| 久久精品久久精品一区二区三区| 国产精品麻豆人妻色哟哟久久| 这个男人来自地球电影免费观看 | 男女免费视频国产| 视频中文字幕在线观看| 日本91视频免费播放| 91aial.com中文字幕在线观看| 春色校园在线视频观看| 欧美激情国产日韩精品一区| 亚洲国产欧美在线一区| 美女视频免费永久观看网站| 国产成人精品久久久久久| 91在线精品国自产拍蜜月| 午夜免费观看性视频| 精品久久久久久电影网| 青春草国产在线视频| 精品熟女少妇av免费看| 欧美另类一区| 亚洲少妇的诱惑av| 国产一区二区三区av在线| 久久久久精品性色| 国产免费现黄频在线看| 国产亚洲最大av| 国产在线一区二区三区精| 免费人妻精品一区二区三区视频| 国产免费视频播放在线视频| 日韩欧美一区视频在线观看| 亚洲综合色惰| 免费看av在线观看网站| 满18在线观看网站| 啦啦啦视频在线资源免费观看| 亚洲第一av免费看| 日本与韩国留学比较| av不卡在线播放| 国产免费现黄频在线看| 亚洲av电影在线观看一区二区三区| 久久人人97超碰香蕉20202| 这个男人来自地球电影免费观看 | 黄片无遮挡物在线观看| 人妻少妇偷人精品九色| videosex国产| 久久ye,这里只有精品| 91成人精品电影| 成人黄色视频免费在线看| 九草在线视频观看| 久久精品国产自在天天线| 黄色视频在线播放观看不卡| 免费av不卡在线播放| xxxhd国产人妻xxx| 一区二区日韩欧美中文字幕 | 国产免费视频播放在线视频| 欧美老熟妇乱子伦牲交| 色吧在线观看| 狠狠精品人妻久久久久久综合| 中文天堂在线官网| 精品国产国语对白av| 欧美激情国产日韩精品一区| 久久人人爽人人爽人人片va| 久久久久久久大尺度免费视频| 永久免费av网站大全| 王馨瑶露胸无遮挡在线观看| 日本黄色日本黄色录像| 人人澡人人妻人| 成年女人在线观看亚洲视频| www.色视频.com| 如何舔出高潮| 欧美精品一区二区免费开放| 午夜激情av网站| 插逼视频在线观看| 亚洲精品久久午夜乱码| 亚洲丝袜综合中文字幕| 亚洲精品,欧美精品| 久久国产亚洲av麻豆专区| 中国美白少妇内射xxxbb| 日本av免费视频播放| 成人18禁高潮啪啪吃奶动态图| 国产深夜福利视频在线观看| 制服诱惑二区| 亚洲精品成人av观看孕妇| 亚洲精品aⅴ在线观看| 国语对白做爰xxxⅹ性视频网站| 99re6热这里在线精品视频| 狂野欧美激情性xxxx在线观看| 国产乱人偷精品视频| 免费观看a级毛片全部| 国产69精品久久久久777片| 汤姆久久久久久久影院中文字幕| 久久精品国产综合久久久 | 女人精品久久久久毛片| 丝袜在线中文字幕| 久久99精品国语久久久| 水蜜桃什么品种好| 亚洲国产精品一区二区三区在线| 高清不卡的av网站| 大香蕉久久网| av在线播放精品| 国产伦理片在线播放av一区| 国国产精品蜜臀av免费| 国产一区有黄有色的免费视频| 又大又黄又爽视频免费| 丝袜在线中文字幕| 久久99蜜桃精品久久| 久久精品久久久久久久性| 黄片无遮挡物在线观看| 麻豆乱淫一区二区| a级毛片在线看网站| a级毛片黄视频| 美女脱内裤让男人舔精品视频| 久久精品久久精品一区二区三区| 午夜福利乱码中文字幕| 中国三级夫妇交换| 久久精品国产a三级三级三级| 黄片无遮挡物在线观看| 韩国av在线不卡| 亚洲精品乱码久久久久久按摩| 2021少妇久久久久久久久久久| 少妇高潮的动态图| av国产精品久久久久影院| 亚洲成av片中文字幕在线观看 | 1024视频免费在线观看| 九色亚洲精品在线播放| 国产精品 国内视频| 欧美精品亚洲一区二区| 亚洲欧美精品自产自拍| 亚洲欧美清纯卡通| 全区人妻精品视频| 王馨瑶露胸无遮挡在线观看| 人人妻人人澡人人爽人人夜夜| 久久久久久久精品精品| 中国美白少妇内射xxxbb| 久久午夜综合久久蜜桃| a级片在线免费高清观看视频| 亚洲精品乱久久久久久| 丝瓜视频免费看黄片| 国产国语露脸激情在线看| 久久久久久久大尺度免费视频| 日本与韩国留学比较| 国产亚洲一区二区精品| 大香蕉久久成人网| 黄网站色视频无遮挡免费观看| 男女免费视频国产| av不卡在线播放| 成年美女黄网站色视频大全免费| 在线观看免费高清a一片| 黄色一级大片看看| 亚洲欧美日韩卡通动漫| 少妇高潮的动态图| 啦啦啦视频在线资源免费观看| 深夜精品福利| 欧美日韩视频高清一区二区三区二| 午夜视频国产福利| 一级片'在线观看视频| 国产日韩欧美在线精品| 国产精品免费大片| 人妻 亚洲 视频| 亚洲欧洲日产国产| 97超碰精品成人国产| 久久影院123| 熟女av电影| 久久热在线av| 亚洲在久久综合| 中文字幕av电影在线播放| 成人亚洲精品一区在线观看| 久久 成人 亚洲| 99精国产麻豆久久婷婷| 美国免费a级毛片| 制服丝袜香蕉在线| 丝袜脚勾引网站| 亚洲精品乱码久久久久久按摩| 男人爽女人下面视频在线观看| 国产在线视频一区二区| 在线观看免费高清a一片| 波野结衣二区三区在线| 久久韩国三级中文字幕| 国产av精品麻豆| 最新中文字幕久久久久| 18禁观看日本| av片东京热男人的天堂| 国产色爽女视频免费观看| 亚洲欧洲日产国产| 国产精品人妻久久久久久| 久久ye,这里只有精品| 人妻一区二区av| 久久99热这里只频精品6学生| 日韩成人伦理影院| 国产成人av激情在线播放| 岛国毛片在线播放| 成人无遮挡网站| 亚洲国产精品一区二区三区在线| 夜夜骑夜夜射夜夜干| 寂寞人妻少妇视频99o| 狂野欧美激情性bbbbbb| 午夜日本视频在线| 国产精品久久久久久精品古装| 波多野结衣一区麻豆| av线在线观看网站| 日韩三级伦理在线观看| 免费少妇av软件| 久久久精品94久久精品| 免费在线观看完整版高清| 免费观看无遮挡的男女| 精品国产一区二区三区久久久樱花| 9191精品国产免费久久| 香蕉丝袜av| 成年人午夜在线观看视频| 2022亚洲国产成人精品| 韩国高清视频一区二区三区| 99香蕉大伊视频| 国产亚洲av片在线观看秒播厂| 亚洲成国产人片在线观看| 午夜福利乱码中文字幕| 9色porny在线观看| 久久久国产精品麻豆|