• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于剪邊策略的圖殘差卷積深層網(wǎng)絡(luò)模型

    2022-11-09 07:15:06毛國君王者浩
    電子學(xué)報 2022年9期
    關(guān)鍵詞:殘差準確率卷積

    毛國君,王者浩,黃 山,王 翔

    (福建工程學(xué)院福建省大數(shù)據(jù)挖掘與應(yīng)用重點實驗室,福建福州 350118)

    1 引言

    圖是描述對象及其相互關(guān)系的直觀表達,基于圖結(jié)構(gòu)的圖數(shù)據(jù)在現(xiàn)實世界中普遍存在而且具有強大的表示能力,已經(jīng)成為學(xué)習(xí)的一種重要的數(shù)據(jù)來源[1].圖數(shù)據(jù)具有以下特征:(1)節(jié)點特征:節(jié)點自身的屬性(作為觀察對象需要關(guān)注的特征集).(2)結(jié)構(gòu)特征:圖數(shù)據(jù)中的節(jié)點之間構(gòu)成的拓撲結(jié)構(gòu)(由節(jié)點之間的邊來刻畫).圖數(shù)據(jù)分析有著廣泛的應(yīng)用價值,如:圖分類任務(wù)[2]、圖形圖像的結(jié)構(gòu)推理[3~5]、社交網(wǎng)絡(luò)的鏈路預(yù)測和節(jié)點聚類[6~8]等.

    在圖數(shù)據(jù)分析領(lǐng)域,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)已經(jīng)被提出,近年成為一個重要的研究分支.它的一個直接動力來自于深度神經(jīng)網(wǎng)絡(luò)的成功.深度學(xué)習(xí)作為人工智能第三次浪潮的標志性成果,已經(jīng)在包括圖像、語音分析應(yīng)用上取得重要突破.但是一個不容忽略的事實是:目前最熱門的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)仍然在傳統(tǒng)的歐氏空間來思考和解決問題.如圖1所示,傳統(tǒng)的CNN把觀察的對象獨立當(dāng)做輸入來迭代分析,忽略了對象之間的關(guān)系對分析的影響,而近年提出的GNN則可以把對象的結(jié)構(gòu)圖作為輸入來直接進行分析.毋容置疑,GNN突破了傳統(tǒng)的圖像處理的歐氏空間限制,有著巨大潛在的應(yīng)用價值.

    圖1 CNN和GNN在圖像處理上的輸入數(shù)據(jù)

    簡言之,相比于使用CNN,GNN特點主要有:(1)現(xiàn)實世界中,一組對象及其關(guān)系是不可分割的整體,GNN更符合人類思維模式,應(yīng)用范圍會更廣;(2)在處理對象關(guān)系時,對象及其關(guān)系作為整體來輸入,而傳統(tǒng)的CNN沒有處理關(guān)系的機制,需要人為設(shè)計進而很難避免主觀因素的影響.當(dāng)然,GNN仍在發(fā)展中,即使是研究最早的圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)在關(guān)鍵的卷積核和池化等操作的有效性上仍然面臨挑戰(zhàn).

    目前困擾圖卷積神經(jīng)網(wǎng)絡(luò)的最主要問題是過平滑現(xiàn)象[9].事實上,最初提出的GCN模型只有2層[10],而且發(fā)現(xiàn)隨著深度加深,GCN模型并不像深度CNN那樣推理能力得到有效提升,甚至效果會變差[11,12],這種過平滑現(xiàn)象已經(jīng)成為GCN發(fā)展的主要障礙.究其原因是圖數(shù)據(jù)結(jié)構(gòu)沒有點陣圖像所擁有的空間平移等恒定性質(zhì),本質(zhì)上是多層的拉普拉斯變換,因此圖中的大部分節(jié)點的特征值很容易到達某一固定平滑值.快速的拉普拉斯平滑本身沒有錯,問題是由于快速的平滑會導(dǎo)致調(diào)整空間變窄,很難實施精細化地學(xué)習(xí),模型的性能就很難得到持續(xù)地提升.

    通過加深網(wǎng)絡(luò)層次來改善圖神經(jīng)網(wǎng)絡(luò)的表達能力研究已經(jīng)開始被關(guān)注[13~15],其中Chen等在ICML2020中提出了GCNII(Graph Convolutional Network via Initial residual and Identity mapping),是目前已知的最具代表性的深度圖神經(jīng)網(wǎng)絡(luò)模型[13].簡單地說,GCNII就是在恒等連接的學(xué)習(xí)中通過附加了初始輸入信息,來實現(xiàn)了跨層跳躍的平穩(wěn)連接.此外,之前引入跨層跳轉(zhuǎn)思想來實現(xiàn)深度GCN的一個比較成功的工作是JKNet(Jumping Knowledge Networks)[14].JKNet模型中提出了自適應(yīng)選擇性聚合機制,利用跨層的跳轉(zhuǎn)鏈接將淺層的特征值融入到深層中,使得每個節(jié)點可以根據(jù)多層信息融合結(jié)果來自適應(yīng)實現(xiàn)聚合半徑的動態(tài)調(diào)整,從一定程度上有效避免過平滑帶來的語義偏差.簡言之,GCNII和JKNet都在深度GCN模型上進行了有效嘗試,可以預(yù)見深度的圖神經(jīng)網(wǎng)絡(luò)將是未來一個重要的研究方向.

    另一方面,圖卷積本質(zhì)是特征聚合問題,所謂的學(xué)習(xí)實質(zhì)上就是尋找聚合收斂的狀態(tài),而且收斂結(jié)果只有和領(lǐng)域本身語義相一致才是成功的學(xué)習(xí).事實上,GCN中的輸入是信息更豐富的圖結(jié)構(gòu)(不僅節(jié)點還考慮邊),相鄰節(jié)點特征的重復(fù)利用加速了GCN收斂速度,極易產(chǎn)生過平滑現(xiàn)象.從這個角度說,對輸入的圖數(shù)據(jù)進行“裁剪”可以增加圖網(wǎng)絡(luò)的泛化能力,增強語義的可擴展性,進而可以預(yù)防過平滑現(xiàn)象的過快出現(xiàn).裁剪GCN大致有3條路徑:剪輸出(DropOut)[16]、剪點(DropNode)[17]和剪邊(DropEdge)[18].剪輸出就是通過適度地裁剪隱含層節(jié)點的輸出值(使之不到下一層),它在普通的深度神經(jīng)網(wǎng)絡(luò)中就被提出,而且得到廣泛應(yīng)用[19].顧名思義,剪點就是裁剪輸入圖中的節(jié)點,而剪邊就是裁剪輸入圖中的邊.直觀上講,剪點比剪邊力度更大,即一個節(jié)點被裁減不僅它對應(yīng)的實體不存在、而且依附它的邊也會自然消失.Rong Y等人的研究證實了剪點技術(shù)很難被控制,可能剪邊比剪點更適合于GCN網(wǎng)絡(luò)[18];對應(yīng)實驗也驗證了在GCN中適度剪邊可以延緩過平滑現(xiàn)象發(fā)生,使構(gòu)建深度GCN成為可能[18].

    本文的主要工作及貢獻包括:將殘差卷積(residual convolution)、恒等映射(identity mapping)和剪邊處理融合到圖神經(jīng)網(wǎng)絡(luò)的設(shè)計中,提出了dri_GCN深度網(wǎng)絡(luò)模型,并在多個標準數(shù)據(jù)集上完成了比較性實驗.

    2 相關(guān)工作

    Gori等人最先關(guān)注圖數(shù)據(jù)的處理,在2009年提出了圖神經(jīng)網(wǎng)絡(luò)模型(GNN)[20].它借鑒了普通神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來直接處理圖結(jié)構(gòu)數(shù)據(jù).這個模型可以被認為是圖神經(jīng)網(wǎng)絡(luò)的開創(chuàng)性工作,為后續(xù)圖神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ).2013年,Bruna等人利用拉普拉斯算子與傅里葉變換等技術(shù),解決了圖數(shù)據(jù)的卷積計算問題,提出了第一個圖卷積神經(jīng)網(wǎng)絡(luò)[21].2016年,Kipf和Welling運用了一階鄰階聚合思想,提出了GCN模型[10],被之后大多數(shù)研究作為基礎(chǔ)GCN模型來使用.當(dāng)然Kipf和Welling提出的GCN模型的最優(yōu)性能層數(shù)只有2層,而且之后的許多研究都證實這個GCN模型不適合構(gòu)建深層網(wǎng)絡(luò),即繼續(xù)加深模型深度會導(dǎo)致聚合效果急劇下降.

    2018年,Xu等人提出了一種改進型的圖神經(jīng)網(wǎng)絡(luò)模型JKNet[14].JKNet利用跳躍鏈接和自適應(yīng)選擇性聚合機制,運用跳躍鏈接在構(gòu)建深層GCN網(wǎng)絡(luò)上進行了有效嘗試.2020年,Chen等人設(shè)計了GCNII模型[13],它是目前為止比較成功的一個深層GCN模型.另一個比較成功的工作來自于Rong等人[18],他們發(fā)現(xiàn)對圖結(jié)構(gòu)數(shù)據(jù)適度進行剪邊可以很好地解決GCN的過平滑問題.事實上,通過刪除輸入圖數(shù)據(jù)的部分邊,一定程度上改變了節(jié)點間的連接方式,使節(jié)點的聚合產(chǎn)生了差異化,增強了訓(xùn)練數(shù)據(jù)的多樣性,進而提升了模型的泛化能力.

    近年對圖數(shù)據(jù)的應(yīng)用也成為了熱門的研究方向.例如:2020年,郭嘉琰等人把GCN應(yīng)用到動態(tài)網(wǎng)絡(luò)異常檢測中,提出一種基于圖神經(jīng)網(wǎng)絡(luò)的異常檢測算法[22];2020年,Wang等人利用GCN網(wǎng)絡(luò)實現(xiàn)了人體姿態(tài)估計[23];2020年,Yu等人利用GCN解決了社交網(wǎng)絡(luò)中謠言檢測問題[24].

    3 dri_GCN:融入剪邊操作的圖殘差卷積網(wǎng)絡(luò)設(shè)計

    首先明確幾個GCN相關(guān)的名詞和表示:

    (1)圖:G=(V,E),其中V是節(jié)點集,E是邊集.特別地,和CNN不同,GCN的輸入就是圖本身.

    (2)鄰接矩陣:圖G的鄰接矩陣A=(aij)是一個方陣,aij=1意味著第i個節(jié)點和第j個節(jié)點存在邊,否則為0.很顯然,無向圖的鄰接矩陣是一個對稱矩陣.

    (3)度矩陣:圖G的度矩陣D=(dij)是一個對角陣,對于無向圖而言,dii就是第i個頂點的度,并且dij=0(i≠j).對于有向圖,需要通過頂點的出度和入度來分別表示.

    (4)單位矩陣:是一個特殊對角陣圖I=(pij),pii=1,并且pij=0(i≠j).

    (5)拉普拉斯矩陣:圖G的拉普拉斯矩陣定義為L=D-A,其中D和A是G的度矩陣和鄰接矩陣.

    3.1 基于譜域的GCN的預(yù)備知識

    基本的圖卷積神經(jīng)網(wǎng)絡(luò)是基于譜域(Spectral domain)方法構(gòu)建的,其中的核心是拉普拉斯矩陣及其計算.

    圖卷積神經(jīng)網(wǎng)絡(luò)在利用拉普拉斯矩陣之前需要使用了兩個小技巧來改善其性能:(1)對所有節(jié)點增加自環(huán)保證節(jié)點自身和鄰居節(jié)點一起參與推理,即A=A+I(本文仍記為A);(2)進行歸一化以預(yù)防梯度爆炸或者消失問題.

    定義1(適用拉普拉斯矩陣)[10]給定增加自環(huán)的圖G,設(shè)G的鄰接矩陣、度矩陣及單位矩陣分別為A、D和I,則一種適用的拉普拉斯矩陣歸一化方法是:

    定義1被稱為對稱歸一化的拉普拉斯矩陣(Symmetric-normalized Laplacian).設(shè)?=D-1/2AD-1/2,則作為一個適用的操作單元被目前大多數(shù)GCN模型作為推演的基礎(chǔ)(本文亦是).

    定義2(拉普拉斯矩陣的傅里葉變換)給定圖G,設(shè)它的拉普拉斯矩陣L的特征值和對應(yīng)的特征向量分別為Λ=(λ1,λ2,…,λn)(λ1≤λ2≤…≤λn)和U=(u1,u2,…,un),對G上的任意信號x∈Rn,定義它的傅立葉變換為=f(x)=UTxˉ,對應(yīng)逆傅立葉變換為x=f-()=.

    基于譜域分析的卷積一般是在傅里葉域上完成的,依靠定義2的傅里葉變換和逆傅里葉變換,我們就可仿照CNN的卷積方法完成圖的卷積計算.

    定義3(簡化的圖卷積)[10]一個簡化的GCN模型的卷積公式為:

    其中?=D-1/2AD-1/2(A含自環(huán)),W(l)是第l層的學(xué)習(xí)權(quán)重,σ(.)是某個激活函數(shù).

    和普通CNN一樣,卷積運算解決了輸入的前向傳播問題,但是還要依靠反向傳播來進行誤差評估.當(dāng)然,圖卷積需要依據(jù)圖結(jié)構(gòu)進行,因此反向傳播的基礎(chǔ)是邊導(dǎo)數(shù).

    定義4(GCN中的梯度)[21]給定圖G,eij是G中節(jié)點vi到vj的一條邊,A=(aij)和D=(dij)分別是的G的鄰接矩陣和度矩陣.設(shè)J∈Rn是G上一個n維向量,則eij在vi節(jié)點上的邊導(dǎo)數(shù)如下計算:

    節(jié)點相關(guān)的梯度表示為

    3.2 殘差網(wǎng)絡(luò)與跨層連接

    帶殘差的圖卷積模型主要在一個殘差單元中引入淺層到深層的跳轉(zhuǎn)鏈接.如圖2所示,對于l+l層而言,除了l層輸出作為輸入之外,通過增加(l層)之前的跳轉(zhuǎn)鏈接來防止計算偏差地蔓延,提升聚合效能.

    圖2 一個殘差塊的連接結(jié)構(gòu)示意

    定義5(帶殘差的圖卷積)[13]一個帶殘差的GCN模型的基本卷積公式為:

    其中H(*)表示*層或者更淺層次的輸出.

    引入殘差的初始動機是為了防止梯度消失問題[25].近年研究也發(fā)現(xiàn):在GCN中引入殘差進行卷積計算可以加強深層與淺層之間信息互補.此外,引入殘差的卷積網(wǎng)絡(luò)需要恒等映射機制,這不僅保證了淺層和深層信息的兼容性,而且可以使網(wǎng)絡(luò)結(jié)構(gòu)更加均勻化,更利于通過加深網(wǎng)絡(luò)層次來提高學(xué)習(xí)精度.

    圖2給出的殘差塊只是個示意,淺層跳轉(zhuǎn)到深層的途徑可以有許多,需要和實際應(yīng)用結(jié)合起來考慮.如:GCNII[13]就是采用一種稱為初始殘差(Initial residual)的技術(shù),即所有的中間層殘差塊都是直連初始的輸入.再如:JKnet[14]則是僅在最后一層選擇之前的卷積層的輸出進行融合聚集.從本質(zhì)上說,通過跨層連接來改善殘差卷積網(wǎng)的性能是目前一個探索最多的方法之一,相信未來還會繼續(xù)得到關(guān)注.

    圖3給出了引入殘差和恒等映射的GCN的工作原理示意.

    圖3 殘差和恒等映射在GCN中工作原理示意

    如圖3所示,假如在GCN網(wǎng)絡(luò)中,不使用殘差連接,節(jié)點的特征值會很快趨于同質(zhì)(如圖3的l和l+1層的黃色部分),即出現(xiàn)過平滑現(xiàn)象.假如加入淺層的第*層到深層的第l層的跳轉(zhuǎn)通路,那么第l+1層的節(jié)點就需要綜合考慮第l層和第*層計算結(jié)果,這樣就利用淺層信息修正了學(xué)習(xí)中的偏差,延緩了過平滑現(xiàn)象過早發(fā)生,為深層GCN提供有力支撐.

    當(dāng)然,節(jié)點特征的有效疊加,要歸功于恒等映射技術(shù).就是說,經(jīng)過若干層的GCN推理后,恒等映射保證了各個節(jié)點處于同一量綱上,讓引入殘差的節(jié)點特征能夠成功的疊加在到深層單元.

    3.3 dri_GCN模型設(shè)計

    集成圖剪邊、初始網(wǎng)絡(luò)和恒等映射技術(shù),結(jié)合上一節(jié)的相關(guān)定義,本文提出了一種圖神經(jīng)網(wǎng)絡(luò)模型dri_GCN.

    剪邊被證明是實現(xiàn)深層GCN的一個有效技術(shù)[18],其主要作用概括為:

    (1)剪邊可以看作一種數(shù)據(jù)增強技術(shù),在訓(xùn)練過程中對輸入的鄰接矩陣進行隨機地刪減,可以增加模型的輸入數(shù)據(jù)的多樣性.

    (2)剪邊技術(shù)用于訓(xùn)練中,使用得當(dāng)可以增強節(jié)點之間的區(qū)分度,減少信息的重復(fù)利用率,進而減緩了過平滑現(xiàn)象.

    融入剪邊和初始殘差技術(shù),圖4給出了對應(yīng)的恒等卷積網(wǎng)絡(luò)模型dri_GCN的運行框架,其中表示剪邊操作后并歸一化后的鄰接矩陣.

    圖4 dri_GCN運行框架

    定義6(dri_GCN的圖卷積)對于圖G,設(shè):剪邊概率為1-p,則用表示剪邊后歸一化的鄰接矩陣;α和β為用來控制跳躍連接的兩個超參數(shù);σ為激勵函數(shù);W(l)為l層的權(quán)重.dri_GCN的圖卷積公式表示為:

    其中H(l)為l層的輸出向量,I是單位陣.

    如式(6)所示,dri_GCN只使用初始殘差H(0),這主要是我們的實驗發(fā)現(xiàn)初始殘差對該模型更有效.

    基于初始殘差和恒等映射,融入剪邊操作的dri_GCN模型的第l層的處理步驟如下.

    步驟1設(shè)定剪邊系數(shù)p,按概率隨機丟棄:←re-normalization(A-A').

    步驟2設(shè)定控制參數(shù)α,按α導(dǎo)入初始輸入αH(0).

    步驟3融合H(l)和H(0),生成帶有殘差的l層輸出:H*←(1-α)(l)+αH(0).

    步驟4設(shè)定控制參數(shù)β,對權(quán)重實施恒等映射:W*←(1-β)I+βW(l).

    步驟5選定激勵函數(shù)σ,生成層l輸出:H(l+1)←σ(H*,W*).

    值得注意的是,dri_GCN模型中參數(shù)p、α和β以及激勵函數(shù)σ的設(shè)定是個經(jīng)驗問題,需要根據(jù)應(yīng)用背景來逐步嘗試獲得優(yōu)化值.我們在實驗中獲得的經(jīng)驗包括:

    (1)p是圖保留邊的比例(剪邊的比例為1-p),對應(yīng)的就是正則化的輸入矩陣.一般地,p不宜過小,過小會導(dǎo)致圖結(jié)構(gòu)性的數(shù)據(jù)不足,喪失圖網(wǎng)絡(luò)的優(yōu)勢;當(dāng)然p也不宜過大,過大會使迭代過程的數(shù)據(jù)多樣性不足,容易產(chǎn)生過平滑.我們實驗的經(jīng)驗p值在0.7~0.9之間.

    (2)控制初始殘差的參數(shù)α不宜過大,一般設(shè)置在0.1或者0.2比較適中[13].如式(6)所示,α過大將直接減弱上層計算對本層計算的作用,嚴重影響學(xué)習(xí)效率.

    (3)式(6)使用(1-β)I+βW(l)來替換普遍使用的權(quán)值向量W(l),這可以保證與淺層模型具有等價的性能,有利于跨層信息聚合.事實上,(1-β)I+βW(l)是W(l)的正則化結(jié)果,當(dāng)β足夠小時,(1-β)I+βW(l)的奇異值會接近于1[26].這樣就可以通過合適的β值設(shè)定,來達到權(quán)重向量修正和網(wǎng)絡(luò)等價性維護的平衡目的,提升系統(tǒng)的自適應(yīng)性.我們實驗中β設(shè)為隨層數(shù)l變換的變量,為為控制系數(shù),一般設(shè)為0.5.

    為了說明dri_GCN模型的基本原理,對2層的dir_GCN網(wǎng)絡(luò)學(xué)習(xí)過程的主要結(jié)構(gòu)進行了跟蹤和解析,其中數(shù)據(jù)集使用的是標準數(shù)據(jù)集Citeseer[27].圖5給出了2層dri_GCN網(wǎng)絡(luò)的處理過程示意.

    圖5 dri_GCN網(wǎng)絡(luò)的學(xué)習(xí)過程示意

    依據(jù)圖5,設(shè)定p=0.9、α=0.1和λ=0.5,2層dri_GCN網(wǎng)絡(luò)對Citeseer數(shù)據(jù)集處理的基本過程是:

    (1)由Citeseer數(shù)據(jù)集的原始數(shù)據(jù),得到輸入特征H(0)和剪邊后歸一化的鄰接矩陣A?p(如式(7)).值得注意地是,剪邊僅僅是將鄰接矩陣部分數(shù)值置零,并不改變鄰接矩陣維度.

    (2)H(0)經(jīng)過全連接層后特征維度變?yōu)?4,以便與預(yù)先設(shè)置的權(quán)重矩陣W維度相匹配,其中權(quán)重矩陣的值是隨機生成的.經(jīng)過第一個dri_GCN卷積層后與初始殘差αH(0)疊加得到中間特征向量H(1).

    (3)將更新后的H(1)和A?p輸入到下一個dri_GCN卷積層,再經(jīng)過全連接層后,得到最后的輸出特征向量H(2).

    式(8)給出了100次網(wǎng)絡(luò)學(xué)習(xí)后最終輸出的H(2)與分類結(jié)果.式(9)中分類結(jié)果(3 0 1…)只給出了前三個節(jié)點1、2、3被分成的類標識“3”、“0”、“1”.具體得到方式是:節(jié)點對應(yīng)行在H(2)中的最大值所在的位置.

    4 實驗與分析

    4.1 數(shù)據(jù)集

    實驗采用了標準數(shù)據(jù)集Cora、Citeseer和Pubmed進行評估和比較[27].對于所有數(shù)據(jù)集,都按照無向圖進行處理,并且僅考慮最大的連通部分,即每個數(shù)據(jù)集都對應(yīng)一個無向連通圖.表1給出了本文實驗中的3種數(shù)據(jù)集的基本信息.

    表1 三個數(shù)據(jù)集的基本信息

    按照目前大多數(shù)論文的處理慣例和本文需求,實驗前對3個數(shù)據(jù)集做無向圖處理,之后使用它們評估本文模型和對比模型.圖6展示了3個數(shù)據(jù)集的部分連通圖,其中對一些節(jié)點進行了標識以直觀地反映對應(yīng)數(shù)據(jù)集情況.

    圖6 數(shù)據(jù)集對應(yīng)的部分無向連通圖

    4.2 學(xué)習(xí)準確率與分類精度的比較性實驗

    實驗中準確率和精度由式(10)和式(11)計算得到:

    其中式(10)和式(11)對應(yīng)的符號及含義如下:

    (1)P(Positive)和N(Negative):分別代表訓(xùn)練樣本中的正例和負例數(shù)目.

    (2)TP(True Positives):被正確劃分為正例的數(shù)目,即實際為正例且被模型劃分為正例的樣本數(shù).

    (3)TN(True negatives):被正確劃分為負例的數(shù)目,即實際為負例且被分類器劃分為負例的樣本數(shù).

    (4)FP(False Positives):被錯誤劃分為正例的數(shù)目,即實際為負例但被分類器劃分為正例的樣本數(shù).

    (5)FN(False Negatives):被錯誤劃分為負例的數(shù)目,即實際為正例但被分類器劃分為負例的樣本數(shù).

    從式(10)、式(11)的計算方式可以看出:準確率主要反映一個學(xué)習(xí)方法或算法的整體學(xué)習(xí)效果;精度只關(guān)心正例集的分類情況,深入到一個具體的類別進行評價,可以更準確地反映某個類別分類的效果.

    首先使用式(10),比較性地評價本文模型的準確率.表2給出了對比實驗中使用的主要參數(shù)設(shè)置情況,其中的參數(shù)是根據(jù)數(shù)據(jù)集和模型特點,在多次實驗后獲得的優(yōu)化值.

    表2 實驗?zāi)P退玫膮?shù)

    根據(jù)本文使用的主要技術(shù),從基本的GCN模型(簡稱G)、剪邊技術(shù)(簡稱d)和恒等映射下的初始殘差技術(shù)(簡稱r)3個維度來擇選比較算法:

    (1)單獨考慮G.實驗中使用的是典型算法GCN[10];

    (2)考慮d+G.文獻[18]提出了在GCN中進行剪邊的理由和部分效果的展示,我們在此基礎(chǔ)上進行了完善,并命名為d_GCN來用于本文比較性實驗;

    (3)考慮r+G.GCNII[13]屬于這類模型的典型代表.

    (4)考慮d+r+G.本文提出的dri_GCN模型屬于該類.

    按照如上4個方法類別,擇選了GCN、d_GCN、GCNII和 本 文 的dri_GCN模 型,在Cora、Citeseer和Pubmed數(shù)據(jù)集上進行了對比實驗.表3至表5給出了實驗結(jié)果(下劃線數(shù)據(jù)為獲得的最高準確率),其中的準確率是100次實驗獲得的平均值.

    表3 不同方法在Cora數(shù)據(jù)集上的分類準確率(%)

    表4 不同方法在Citeseer數(shù)據(jù)集上的分類準確率(%)

    表5 不同方法在Pubmed數(shù)據(jù)集上的分類準確率(%)

    從表3~表5可以看出:

    (1)本文dri_GCN模型在3個標準數(shù)據(jù)集上最高準確率均有所提升.

    (2)GCN模型在2層網(wǎng)絡(luò)上還能獲得較好的學(xué)習(xí)準確率,但是隨著深度加深,學(xué)習(xí)準確率會急劇下降,而且簡單地使用剪邊技術(shù)(對應(yīng)d+G模型)也很難支撐深度GCN的構(gòu)建.

    (3)dri_GCN和GCNII模型可以支撐深層卷積網(wǎng)的構(gòu)建,而且在3個標準數(shù)據(jù)集上dri_GCN比GCNII的學(xué)習(xí)準確率都有不同程度地提升.

    究其原因,dri_GCN融合了初始殘差、恒等映射及剪邊技術(shù),整體上減緩了過平滑現(xiàn)象,使圖結(jié)構(gòu)的信息聚合更精細.具體地說,初始殘差技術(shù)將最初的節(jié)點特征疊加在深層模型上,阻止了節(jié)點聚合偏差的放大或累加,延長了網(wǎng)絡(luò)的生命周期;恒等映射技術(shù)使初始殘差能有效地融入到深層的卷積單元,保證網(wǎng)絡(luò)加深后的繼續(xù)學(xué)習(xí)能力;剪邊技術(shù)進一步削弱了殘差網(wǎng)絡(luò)退化的可能性,通過圖結(jié)構(gòu)數(shù)據(jù)的變化使得殘差單元的數(shù)據(jù)輸入的相異度增加,避免某些節(jié)點的特征向量在相鄰殘差層的快速同化,因而提升了學(xué)習(xí)的精細度.

    此外,依據(jù)式(11),對單個類別的分類精度進行了跟蹤實驗.圖7給出了dir_GCN在Cora數(shù)據(jù)集上4個類別的精度比較實驗.圖7的橫坐標是一次dir_GCN網(wǎng)絡(luò)學(xué)習(xí)的迭代次數(shù),縱坐標的精度值采用的是20次dir_GCN網(wǎng)絡(luò)學(xué)習(xí)在對應(yīng)迭代次數(shù)上得到平均精度值.

    仔細分析圖7,可以看出:

    圖7 dri_GCN在Cora數(shù)據(jù)集的精度對比

    (1)在Cora數(shù)據(jù)集上,對于前面3個類(類標識為0,1,2),剪邊后的分類精度在所有迭代階段均好于未剪邊的圖神經(jīng)網(wǎng)絡(luò);

    (2)對于類標識為3,前面的剪邊效果不是很理想,但是迭代270次后剪邊效果開始顯現(xiàn).可以推斷,對于分類精度不佳的類來說,可以通過適當(dāng)增加學(xué)習(xí)過程中的迭代次數(shù)來提升分類精度.

    4.3 剪邊有效性分析

    為了更詳盡地說明剪邊技術(shù)對模型的影響,我們通過設(shè)置不同的層數(shù)和不同p值,對模型dri_GCN的剪邊效果進行了實驗.表6給出了在Cora數(shù)據(jù)集上不同p值對應(yīng)的學(xué)習(xí)準確率(實驗的結(jié)果也是采用20次網(wǎng)絡(luò)學(xué)習(xí)的平均值).

    從表6可以看出:

    表6 Cora數(shù)據(jù)集p參數(shù)實驗(%)

    (1)針對Cora數(shù)據(jù)集,剪邊技術(shù)在p=0.9或0.8,層數(shù)在16層以上,dri_GCN模型的準確率基本都在84%左右,說明通過設(shè)置合適的剪邊系數(shù)p,通過加深模型層次可以獲得穩(wěn)定的更高的學(xué)習(xí)準確率.

    (2)當(dāng)p在0.6以下,dri_GCN模型的準確率不高,說明剪邊效果不理想.這是因為過多的剪邊丟失了圖數(shù)據(jù)結(jié)構(gòu),也從一個側(cè)面說明圖神經(jīng)網(wǎng)絡(luò)的科學(xué)性,即合理利用節(jié)點的關(guān)聯(lián)信息能夠提升節(jié)點的評估效果.

    為了更直觀地表達剪邊在GCN上的有效性,實驗跟蹤了4層dri_GCN模型在3個標準數(shù)據(jù)集上的損失值.圖8給出了隨著迭代訓(xùn)練次數(shù)增多時剪邊(p=0.9)和不剪邊(p=1)的損失值變化趨勢.

    圖8表明:融入剪邊技術(shù)可以使驗證集的損失值平穩(wěn)而迅速地下降(相對于不剪邊).說明剪邊技術(shù)很好利用了數(shù)據(jù)多樣性,可以及時修正迭代過程中的偏差,更有利于實現(xiàn)精細化學(xué)習(xí).

    圖8 dri_GCN損失函數(shù)對比

    圖神經(jīng)網(wǎng)絡(luò)中的驗證集的準確率反映了所使用模型的聚合能力.實驗跟蹤了3個數(shù)據(jù)集在剪邊前后(p=1,p=0.9)的驗證集準確率變化.實驗的準確率也是采用每組數(shù)據(jù)進行20次網(wǎng)絡(luò)學(xué)習(xí)取平均值.實驗結(jié)果如圖9所示.

    圖9 dri_GCN驗證集準確率對比

    從圖9可以看出:在維持學(xué)習(xí)準確率的前提下,剪邊可以加速聚合速度.在迭代100次之前,剪邊后3個數(shù)據(jù)集的在驗證集的準確率快速提升(相比未剪邊),說明剪邊技術(shù)的確可以提升聚合效率.此外,迭代100次之后,剪邊模型的準確率也和剪邊前相當(dāng),說明剪邊技術(shù)不會減弱模型的學(xué)習(xí)能力.

    5 總結(jié)與展望

    圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為圖學(xué)習(xí)中的一個重要而活躍的研究分支.現(xiàn)存的圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵瓶頸是過平滑問題.本文集成了剪邊、初始殘差和恒等映射技術(shù),提出了一種圖神經(jīng)網(wǎng)絡(luò)模型dri_GCN.本文提出的模型直接面向于圖神經(jīng)網(wǎng)絡(luò)研究中亟待解決的過擬合和過平滑問題,通過多種技術(shù)集成來提升圖學(xué)習(xí)的性能,在深層圖殘差卷積的結(jié)構(gòu)及其計算方法等方面進行了相關(guān)工作.實驗結(jié)果表明,dri_GCN可以提升學(xué)習(xí)數(shù)據(jù)的多樣性,減少訓(xùn)練數(shù)據(jù)的過擬合現(xiàn)象;可以更精細地完成基于圖結(jié)構(gòu)的信息聚合,有效防止過平滑現(xiàn)象;具備構(gòu)建深層圖神經(jīng)網(wǎng)絡(luò)的能力,為實現(xiàn)深層圖學(xué)習(xí)提供一個有效途徑.

    本文模型為構(gòu)建深層GCN網(wǎng)絡(luò)提供新的解決途徑.從結(jié)果來看,所提模型在標準數(shù)據(jù)集上的學(xué)習(xí)準確率和分類精度方面得到有效提升.未來的工作包括:本文模型在實際應(yīng)用場景上的應(yīng)用研究;融合其他技術(shù)進一步改進深層圖神經(jīng)網(wǎng)絡(luò)性能等.

    猜你喜歡
    殘差準確率卷積
    基于雙向GRU與殘差擬合的車輛跟馳建模
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
    2015—2017 年寧夏各天氣預(yù)報參考產(chǎn)品質(zhì)量檢驗分析
    基于殘差學(xué)習(xí)的自適應(yīng)無人機目標跟蹤算法
    基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    高速公路車牌識別標識站準確率驗證法
    基于傅里葉域卷積表示的目標跟蹤算法
    黄色一级大片看看| 人妻制服诱惑在线中文字幕| 国产男人的电影天堂91| 成人高潮视频无遮挡免费网站| 婷婷丁香在线五月| 91精品国产九色| 久99久视频精品免费| 亚洲五月天丁香| 亚洲av熟女| av在线天堂中文字幕| 天堂动漫精品| 丰满乱子伦码专区| 国产伦人伦偷精品视频| 成人三级黄色视频| 热99re8久久精品国产| 成人精品一区二区免费| 特大巨黑吊av在线直播| 性色avwww在线观看| 国产私拍福利视频在线观看| 日日啪夜夜撸| 欧美人与善性xxx| 午夜爱爱视频在线播放| 国产精品国产三级国产av玫瑰| 久久精品国产亚洲av香蕉五月| 97超视频在线观看视频| 精品午夜福利在线看| 亚洲无线在线观看| 亚洲va日本ⅴa欧美va伊人久久| 国产亚洲精品综合一区在线观看| 精品午夜福利视频在线观看一区| 色视频www国产| 欧美色视频一区免费| 国产精品日韩av在线免费观看| 狂野欧美激情性xxxx在线观看| 美女xxoo啪啪120秒动态图| 男女之事视频高清在线观看| 搡老妇女老女人老熟妇| 69人妻影院| 日本一二三区视频观看| 国产成人影院久久av| 俺也久久电影网| 午夜爱爱视频在线播放| 性欧美人与动物交配| 亚洲aⅴ乱码一区二区在线播放| 噜噜噜噜噜久久久久久91| 国产成人福利小说| 搡女人真爽免费视频火全软件 | 99久久久亚洲精品蜜臀av| 全区人妻精品视频| 欧美日韩瑟瑟在线播放| 少妇的逼好多水| 成人高潮视频无遮挡免费网站| 亚洲不卡免费看| 免费看日本二区| 亚洲精品456在线播放app | 在线免费观看不下载黄p国产 | 久久久成人免费电影| 免费在线观看影片大全网站| 99热这里只有精品一区| 桃色一区二区三区在线观看| 男人的好看免费观看在线视频| 俺也久久电影网| 国产麻豆成人av免费视频| 国内精品久久久久久久电影| 亚洲最大成人手机在线| 狂野欧美激情性xxxx在线观看| 我要看日韩黄色一级片| а√天堂www在线а√下载| 亚洲国产精品成人综合色| 欧美在线一区亚洲| 国产精华一区二区三区| 欧美色视频一区免费| 亚洲人成伊人成综合网2020| 国产69精品久久久久777片| 蜜桃久久精品国产亚洲av| 天堂影院成人在线观看| 观看免费一级毛片| 国产欧美日韩精品一区二区| 久久久久久久久中文| 色5月婷婷丁香| 欧美日韩黄片免| avwww免费| 亚洲一级一片aⅴ在线观看| 搡老妇女老女人老熟妇| 国产淫片久久久久久久久| av在线老鸭窝| 夜夜看夜夜爽夜夜摸| 日韩欧美一区二区三区在线观看| a在线观看视频网站| 天堂影院成人在线观看| 大型黄色视频在线免费观看| 99九九线精品视频在线观看视频| 精品无人区乱码1区二区| 成人欧美大片| 亚洲成人久久性| 18禁黄网站禁片免费观看直播| 乱人视频在线观看| 男人狂女人下面高潮的视频| 内射极品少妇av片p| 97人妻精品一区二区三区麻豆| 国产高清激情床上av| 成人三级黄色视频| 亚洲18禁久久av| 丰满乱子伦码专区| 欧美日韩黄片免| 看片在线看免费视频| 久久精品国产亚洲av天美| 欧美国产日韩亚洲一区| 欧美日本视频| 看免费成人av毛片| 熟女电影av网| 亚洲 国产 在线| 亚洲精品日韩av片在线观看| 日韩欧美三级三区| 舔av片在线| 国产精品久久久久久av不卡| 嫁个100分男人电影在线观看| 成人av在线播放网站| 日本三级黄在线观看| av福利片在线观看| 欧美性猛交黑人性爽| 99热这里只有是精品在线观看| 国产午夜精品论理片| 午夜福利欧美成人| 亚洲精品久久国产高清桃花| 99热这里只有是精品50| 久久久久久九九精品二区国产| 热99在线观看视频| 男人的好看免费观看在线视频| 久久久精品大字幕| av在线蜜桃| 久久精品影院6| 可以在线观看的亚洲视频| 国产av麻豆久久久久久久| 免费看a级黄色片| 久久6这里有精品| 蜜桃久久精品国产亚洲av| 在线天堂最新版资源| 他把我摸到了高潮在线观看| 亚洲精品久久国产高清桃花| 淫妇啪啪啪对白视频| 精品一区二区三区视频在线观看免费| 91久久精品国产一区二区三区| 狂野欧美白嫩少妇大欣赏| 18+在线观看网站| 日本色播在线视频| 91久久精品国产一区二区成人| 中文字幕精品亚洲无线码一区| 亚洲精品影视一区二区三区av| 九九久久精品国产亚洲av麻豆| 亚洲美女视频黄频| 午夜精品在线福利| 九色成人免费人妻av| 国语自产精品视频在线第100页| 在线a可以看的网站| 亚洲欧美日韩东京热| 在线观看66精品国产| 色综合色国产| 日韩欧美 国产精品| 久久中文看片网| 黄色视频,在线免费观看| 亚洲成人久久爱视频| 午夜福利成人在线免费观看| 午夜爱爱视频在线播放| 国产精品av视频在线免费观看| 成人高潮视频无遮挡免费网站| 亚洲在线观看片| 不卡一级毛片| 精品久久久久久久久av| 国产精品女同一区二区软件 | 久久精品国产亚洲网站| 两人在一起打扑克的视频| 老司机午夜福利在线观看视频| 能在线免费观看的黄片| 亚洲va在线va天堂va国产| 少妇人妻精品综合一区二区 | 此物有八面人人有两片| 日本与韩国留学比较| 亚洲av美国av| 国产激情偷乱视频一区二区| 亚洲精品一卡2卡三卡4卡5卡| av在线蜜桃| 日韩欧美三级三区| 国模一区二区三区四区视频| 成人无遮挡网站| 精品欧美国产一区二区三| 亚洲精品国产成人久久av| 亚洲欧美日韩卡通动漫| 国产精品一及| 简卡轻食公司| 欧美黑人巨大hd| 欧美黑人巨大hd| 在现免费观看毛片| 国产成人一区二区在线| 美女高潮的动态| 国产国拍精品亚洲av在线观看| 色综合站精品国产| 99热只有精品国产| 尾随美女入室| 精品久久久久久久人妻蜜臀av| 欧美高清成人免费视频www| 色综合婷婷激情| 国产伦一二天堂av在线观看| 国产人妻一区二区三区在| 中文在线观看免费www的网站| 如何舔出高潮| 国产又黄又爽又无遮挡在线| 亚洲国产精品久久男人天堂| 免费看光身美女| .国产精品久久| 久久中文看片网| 精品人妻熟女av久视频| 国产亚洲精品综合一区在线观看| 国产亚洲精品av在线| 欧美日韩国产亚洲二区| 又爽又黄无遮挡网站| 夜夜爽天天搞| 在线观看美女被高潮喷水网站| 国产精品免费一区二区三区在线| 深夜精品福利| www日本黄色视频网| 丰满的人妻完整版| 久久久久久国产a免费观看| 午夜免费激情av| 亚洲久久久久久中文字幕| 国产精品98久久久久久宅男小说| 国产精品人妻久久久久久| 又粗又爽又猛毛片免费看| 99热网站在线观看| 精品乱码久久久久久99久播| 国产精品久久久久久av不卡| 欧美丝袜亚洲另类 | 少妇丰满av| 亚洲七黄色美女视频| 九九爱精品视频在线观看| 久久久久免费精品人妻一区二区| 夜夜看夜夜爽夜夜摸| 免费电影在线观看免费观看| 1024手机看黄色片| 国产av麻豆久久久久久久| 国产乱人伦免费视频| 香蕉av资源在线| 听说在线观看完整版免费高清| 免费观看人在逋| 久久久久久久久久久丰满 | 日本与韩国留学比较| 国产黄色小视频在线观看| 亚洲成a人片在线一区二区| 尾随美女入室| 午夜福利在线在线| 丰满乱子伦码专区| 成人鲁丝片一二三区免费| 精品久久久久久久久久久久久| 91狼人影院| 欧美精品啪啪一区二区三区| 国产一区二区在线观看日韩| 观看美女的网站| 欧美xxxx性猛交bbbb| 久久久久九九精品影院| 老女人水多毛片| 日韩中文字幕欧美一区二区| 国产欧美日韩精品亚洲av| aaaaa片日本免费| 91狼人影院| 久久精品久久久久久噜噜老黄 | 少妇丰满av| 嫩草影院入口| 日本撒尿小便嘘嘘汇集6| 成人永久免费在线观看视频| 大型黄色视频在线免费观看| 国产精品女同一区二区软件 | 一区二区三区激情视频| 麻豆久久精品国产亚洲av| 免费在线观看影片大全网站| 亚洲一级一片aⅴ在线观看| 亚洲熟妇熟女久久| 国产一区二区激情短视频| 91久久精品国产一区二区成人| а√天堂www在线а√下载| 男人的好看免费观看在线视频| 久久久久久久久久久丰满 | 亚洲av美国av| 国产精品一区www在线观看 | 舔av片在线| 亚洲一区高清亚洲精品| 亚洲三级黄色毛片| 91久久精品电影网| 国产亚洲精品久久久久久毛片| 久久欧美精品欧美久久欧美| 欧美性猛交╳xxx乱大交人| 97超级碰碰碰精品色视频在线观看| 人人妻人人看人人澡| 日本与韩国留学比较| 亚洲精品久久国产高清桃花| 精品一区二区三区av网在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产男靠女视频免费网站| 91久久精品国产一区二区三区| 国产日本99.免费观看| 午夜精品一区二区三区免费看| 国产精品一区二区三区四区免费观看 | 麻豆国产av国片精品| 精品久久久久久久久久免费视频| 国产av麻豆久久久久久久| 最好的美女福利视频网| 国产精品女同一区二区软件 | 国内揄拍国产精品人妻在线| 天天躁日日操中文字幕| 在线看三级毛片| 麻豆一二三区av精品| 永久网站在线| 亚洲最大成人av| 亚洲精品影视一区二区三区av| 国产 一区 欧美 日韩| 国产高清不卡午夜福利| 91久久精品国产一区二区三区| 老司机午夜福利在线观看视频| 欧美日韩国产亚洲二区| 国产午夜精品久久久久久一区二区三区 | 啪啪无遮挡十八禁网站| 男女视频在线观看网站免费| av女优亚洲男人天堂| 中文在线观看免费www的网站| 国产成人一区二区在线| 国产三级中文精品| 一区二区三区激情视频| 亚洲美女黄片视频| 国产国拍精品亚洲av在线观看| 一本久久中文字幕| 在线播放无遮挡| 国产高清视频在线播放一区| 黄片wwwwww| 亚洲精品久久国产高清桃花| 亚洲av不卡在线观看| 国产在线精品亚洲第一网站| 日本-黄色视频高清免费观看| 精品午夜福利在线看| 欧美xxxx黑人xx丫x性爽| 久久久久性生活片| 国产亚洲精品av在线| 亚洲一级一片aⅴ在线观看| 99riav亚洲国产免费| 亚洲国产精品久久男人天堂| 伊人久久精品亚洲午夜| 精华霜和精华液先用哪个| 有码 亚洲区| 亚洲avbb在线观看| 99久久九九国产精品国产免费| 欧美日本视频| eeuss影院久久| 亚洲精品国产成人久久av| 中出人妻视频一区二区| 又黄又爽又免费观看的视频| 人人妻,人人澡人人爽秒播| 一区二区三区四区激情视频 | 国产极品精品免费视频能看的| 久久人人爽人人爽人人片va| 久久久久九九精品影院| 午夜日韩欧美国产| 中文字幕av成人在线电影| 亚洲国产欧洲综合997久久,| av女优亚洲男人天堂| 精品久久久久久久人妻蜜臀av| 久久久久久久久大av| 国产亚洲av嫩草精品影院| 国产久久久一区二区三区| 12—13女人毛片做爰片一| 久久精品夜夜夜夜夜久久蜜豆| 国模一区二区三区四区视频| 免费人成在线观看视频色| 精品人妻1区二区| 狠狠狠狠99中文字幕| 国产精品久久久久久久久免| 午夜日韩欧美国产| 国产精品久久久久久精品电影| 亚洲av免费高清在线观看| 九九在线视频观看精品| 99国产精品一区二区蜜桃av| 亚洲在线观看片| 成人三级黄色视频| 久久午夜亚洲精品久久| 日韩欧美在线乱码| 亚洲一级一片aⅴ在线观看| 18禁黄网站禁片午夜丰满| 午夜日韩欧美国产| 深夜a级毛片| 一区二区三区免费毛片| 少妇的逼水好多| 欧美日韩国产亚洲二区| 无遮挡黄片免费观看| 欧美一区二区亚洲| 亚洲精品456在线播放app | 欧美三级亚洲精品| 91午夜精品亚洲一区二区三区 | 女的被弄到高潮叫床怎么办 | 嫩草影院新地址| 久久久久精品国产欧美久久久| 国产伦精品一区二区三区四那| 国产精品亚洲一级av第二区| 久久精品影院6| av视频在线观看入口| 国产精品,欧美在线| 日本免费a在线| 国内精品宾馆在线| 日韩高清综合在线| 免费在线观看日本一区| 女人十人毛片免费观看3o分钟| 午夜福利视频1000在线观看| 成人欧美大片| 一级a爱片免费观看的视频| 午夜精品久久久久久毛片777| 91在线观看av| 国产精品福利在线免费观看| www日本黄色视频网| 老熟妇仑乱视频hdxx| 日本精品一区二区三区蜜桃| 非洲黑人性xxxx精品又粗又长| 国产在视频线在精品| 熟女电影av网| 国产一区二区三区在线臀色熟女| 午夜免费成人在线视频| 真人做人爱边吃奶动态| 精品久久久久久久末码| 欧美在线一区亚洲| 嫩草影视91久久| 婷婷六月久久综合丁香| 女同久久另类99精品国产91| 91久久精品电影网| 国产精品人妻久久久影院| 国内毛片毛片毛片毛片毛片| 午夜激情福利司机影院| 免费看光身美女| 精品国产三级普通话版| 成人无遮挡网站| 一本精品99久久精品77| 久久香蕉精品热| 久久久久久国产a免费观看| 精品人妻一区二区三区麻豆 | 欧美性感艳星| 国产色婷婷99| 午夜免费成人在线视频| 国产精品嫩草影院av在线观看 | 又黄又爽又免费观看的视频| 久久精品国产自在天天线| 欧美色欧美亚洲另类二区| 亚洲国产日韩欧美精品在线观看| 自拍偷自拍亚洲精品老妇| 最近在线观看免费完整版| 亚洲午夜理论影院| 床上黄色一级片| 99热这里只有是精品50| 亚洲内射少妇av| 亚洲欧美日韩高清在线视频| 欧美日韩中文字幕国产精品一区二区三区| 啦啦啦观看免费观看视频高清| 国产一区二区三区在线臀色熟女| 在线国产一区二区在线| 国产探花极品一区二区| 亚洲av日韩精品久久久久久密| 国产亚洲精品av在线| 国产精品爽爽va在线观看网站| 日日摸夜夜添夜夜添av毛片 | 免费一级毛片在线播放高清视频| 丰满的人妻完整版| 亚洲不卡免费看| 亚洲精品日韩av片在线观看| 国产大屁股一区二区在线视频| 九九久久精品国产亚洲av麻豆| 国产色爽女视频免费观看| 日本精品一区二区三区蜜桃| 免费一级毛片在线播放高清视频| 国产成人福利小说| 亚洲午夜理论影院| 舔av片在线| 亚洲色图av天堂| 亚洲欧美日韩卡通动漫| 久久精品91蜜桃| 搡老妇女老女人老熟妇| 成人高潮视频无遮挡免费网站| 一本久久中文字幕| 国产熟女欧美一区二区| 亚洲成人久久爱视频| av.在线天堂| 免费在线观看成人毛片| 日本黄色视频三级网站网址| 无人区码免费观看不卡| 97人妻精品一区二区三区麻豆| 女的被弄到高潮叫床怎么办 | 欧美日韩亚洲国产一区二区在线观看| 九九久久精品国产亚洲av麻豆| 99热这里只有精品一区| 亚洲国产欧洲综合997久久,| 日本一本二区三区精品| 舔av片在线| 人妻制服诱惑在线中文字幕| 91久久精品国产一区二区成人| 国产亚洲精品久久久久久毛片| 俺也久久电影网| 午夜福利在线在线| 亚洲欧美激情综合另类| 国产三级中文精品| 久久99热6这里只有精品| 国产精品,欧美在线| 美女被艹到高潮喷水动态| 国产精品三级大全| 亚洲国产精品合色在线| 99国产精品一区二区蜜桃av| 亚洲电影在线观看av| 精品无人区乱码1区二区| av天堂在线播放| 欧美高清性xxxxhd video| 在线观看一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 精品午夜福利在线看| 欧美最黄视频在线播放免费| 亚洲av一区综合| 欧美人与善性xxx| 男插女下体视频免费在线播放| 在线观看免费视频日本深夜| 国产真实乱freesex| 欧美日韩黄片免| 麻豆av噜噜一区二区三区| 午夜a级毛片| 亚洲不卡免费看| 亚洲国产欧洲综合997久久,| 国产在线男女| 男女视频在线观看网站免费| 亚洲国产精品合色在线| 日韩欧美精品免费久久| 神马国产精品三级电影在线观看| 国产69精品久久久久777片| 国产精品免费一区二区三区在线| 观看免费一级毛片| 露出奶头的视频| .国产精品久久| 午夜免费激情av| 国产av在哪里看| 国产精品伦人一区二区| 波多野结衣高清作品| 一个人看视频在线观看www免费| 亚洲av日韩精品久久久久久密| 老熟妇乱子伦视频在线观看| 日韩高清综合在线| 色在线成人网| 精品午夜福利视频在线观看一区| 十八禁网站免费在线| 亚洲国产精品合色在线| 欧美成人a在线观看| 精品人妻偷拍中文字幕| 校园春色视频在线观看| 国产精品一及| 日日摸夜夜添夜夜添av毛片 | 日韩,欧美,国产一区二区三区 | 老司机深夜福利视频在线观看| 男插女下体视频免费在线播放| 九九在线视频观看精品| 两人在一起打扑克的视频| 亚洲真实伦在线观看| 男女那种视频在线观看| 日本免费a在线| 欧美激情久久久久久爽电影| 午夜爱爱视频在线播放| 午夜影院日韩av| 欧美3d第一页| 国产国拍精品亚洲av在线观看| 日韩在线高清观看一区二区三区 | 精品一区二区三区av网在线观看| 国产精品女同一区二区软件 | 久久亚洲真实| 国产精品一区二区三区四区免费观看 | 午夜影院日韩av| 十八禁国产超污无遮挡网站| 国产精品三级大全| 日本成人三级电影网站| 99热这里只有是精品在线观看| 国产极品精品免费视频能看的| 简卡轻食公司| 欧美三级亚洲精品| 精品人妻熟女av久视频| 亚洲久久久久久中文字幕| 亚洲不卡免费看| 国产高清激情床上av| x7x7x7水蜜桃| 男女啪啪激烈高潮av片| 男人和女人高潮做爰伦理| 中文字幕人妻熟人妻熟丝袜美| av国产免费在线观看| 无人区码免费观看不卡| 中文资源天堂在线| 少妇被粗大猛烈的视频| 日韩欧美国产在线观看| 成人国产麻豆网| 九色国产91popny在线| 黄片wwwwww| 又爽又黄a免费视频| 久久99热这里只有精品18| 国产av一区在线观看免费| 男人舔女人下体高潮全视频| 中文字幕人妻熟人妻熟丝袜美| 日本色播在线视频| 久久精品国产鲁丝片午夜精品 | 天堂√8在线中文| 看黄色毛片网站| 有码 亚洲区| 欧美+日韩+精品| av在线天堂中文字幕| 少妇高潮的动态图| 国产伦人伦偷精品视频| 精品不卡国产一区二区三区| 女人十人毛片免费观看3o分钟| 全区人妻精品视频| 国模一区二区三区四区视频| 国产精品一区二区性色av| 熟女人妻精品中文字幕| 国产一区二区在线观看日韩|