• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于剪邊策略的圖殘差卷積深層網(wǎng)絡(luò)模型

    2022-11-09 07:15:06毛國君王者浩
    電子學(xué)報 2022年9期
    關(guān)鍵詞:殘差準確率卷積

    毛國君,王者浩,黃 山,王 翔

    (福建工程學(xué)院福建省大數(shù)據(jù)挖掘與應(yīng)用重點實驗室,福建福州 350118)

    1 引言

    圖是描述對象及其相互關(guān)系的直觀表達,基于圖結(jié)構(gòu)的圖數(shù)據(jù)在現(xiàn)實世界中普遍存在而且具有強大的表示能力,已經(jīng)成為學(xué)習(xí)的一種重要的數(shù)據(jù)來源[1].圖數(shù)據(jù)具有以下特征:(1)節(jié)點特征:節(jié)點自身的屬性(作為觀察對象需要關(guān)注的特征集).(2)結(jié)構(gòu)特征:圖數(shù)據(jù)中的節(jié)點之間構(gòu)成的拓撲結(jié)構(gòu)(由節(jié)點之間的邊來刻畫).圖數(shù)據(jù)分析有著廣泛的應(yīng)用價值,如:圖分類任務(wù)[2]、圖形圖像的結(jié)構(gòu)推理[3~5]、社交網(wǎng)絡(luò)的鏈路預(yù)測和節(jié)點聚類[6~8]等.

    在圖數(shù)據(jù)分析領(lǐng)域,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)已經(jīng)被提出,近年成為一個重要的研究分支.它的一個直接動力來自于深度神經(jīng)網(wǎng)絡(luò)的成功.深度學(xué)習(xí)作為人工智能第三次浪潮的標志性成果,已經(jīng)在包括圖像、語音分析應(yīng)用上取得重要突破.但是一個不容忽略的事實是:目前最熱門的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)仍然在傳統(tǒng)的歐氏空間來思考和解決問題.如圖1所示,傳統(tǒng)的CNN把觀察的對象獨立當(dāng)做輸入來迭代分析,忽略了對象之間的關(guān)系對分析的影響,而近年提出的GNN則可以把對象的結(jié)構(gòu)圖作為輸入來直接進行分析.毋容置疑,GNN突破了傳統(tǒng)的圖像處理的歐氏空間限制,有著巨大潛在的應(yīng)用價值.

    圖1 CNN和GNN在圖像處理上的輸入數(shù)據(jù)

    簡言之,相比于使用CNN,GNN特點主要有:(1)現(xiàn)實世界中,一組對象及其關(guān)系是不可分割的整體,GNN更符合人類思維模式,應(yīng)用范圍會更廣;(2)在處理對象關(guān)系時,對象及其關(guān)系作為整體來輸入,而傳統(tǒng)的CNN沒有處理關(guān)系的機制,需要人為設(shè)計進而很難避免主觀因素的影響.當(dāng)然,GNN仍在發(fā)展中,即使是研究最早的圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)在關(guān)鍵的卷積核和池化等操作的有效性上仍然面臨挑戰(zhàn).

    目前困擾圖卷積神經(jīng)網(wǎng)絡(luò)的最主要問題是過平滑現(xiàn)象[9].事實上,最初提出的GCN模型只有2層[10],而且發(fā)現(xiàn)隨著深度加深,GCN模型并不像深度CNN那樣推理能力得到有效提升,甚至效果會變差[11,12],這種過平滑現(xiàn)象已經(jīng)成為GCN發(fā)展的主要障礙.究其原因是圖數(shù)據(jù)結(jié)構(gòu)沒有點陣圖像所擁有的空間平移等恒定性質(zhì),本質(zhì)上是多層的拉普拉斯變換,因此圖中的大部分節(jié)點的特征值很容易到達某一固定平滑值.快速的拉普拉斯平滑本身沒有錯,問題是由于快速的平滑會導(dǎo)致調(diào)整空間變窄,很難實施精細化地學(xué)習(xí),模型的性能就很難得到持續(xù)地提升.

    通過加深網(wǎng)絡(luò)層次來改善圖神經(jīng)網(wǎng)絡(luò)的表達能力研究已經(jīng)開始被關(guān)注[13~15],其中Chen等在ICML2020中提出了GCNII(Graph Convolutional Network via Initial residual and Identity mapping),是目前已知的最具代表性的深度圖神經(jīng)網(wǎng)絡(luò)模型[13].簡單地說,GCNII就是在恒等連接的學(xué)習(xí)中通過附加了初始輸入信息,來實現(xiàn)了跨層跳躍的平穩(wěn)連接.此外,之前引入跨層跳轉(zhuǎn)思想來實現(xiàn)深度GCN的一個比較成功的工作是JKNet(Jumping Knowledge Networks)[14].JKNet模型中提出了自適應(yīng)選擇性聚合機制,利用跨層的跳轉(zhuǎn)鏈接將淺層的特征值融入到深層中,使得每個節(jié)點可以根據(jù)多層信息融合結(jié)果來自適應(yīng)實現(xiàn)聚合半徑的動態(tài)調(diào)整,從一定程度上有效避免過平滑帶來的語義偏差.簡言之,GCNII和JKNet都在深度GCN模型上進行了有效嘗試,可以預(yù)見深度的圖神經(jīng)網(wǎng)絡(luò)將是未來一個重要的研究方向.

    另一方面,圖卷積本質(zhì)是特征聚合問題,所謂的學(xué)習(xí)實質(zhì)上就是尋找聚合收斂的狀態(tài),而且收斂結(jié)果只有和領(lǐng)域本身語義相一致才是成功的學(xué)習(xí).事實上,GCN中的輸入是信息更豐富的圖結(jié)構(gòu)(不僅節(jié)點還考慮邊),相鄰節(jié)點特征的重復(fù)利用加速了GCN收斂速度,極易產(chǎn)生過平滑現(xiàn)象.從這個角度說,對輸入的圖數(shù)據(jù)進行“裁剪”可以增加圖網(wǎng)絡(luò)的泛化能力,增強語義的可擴展性,進而可以預(yù)防過平滑現(xiàn)象的過快出現(xiàn).裁剪GCN大致有3條路徑:剪輸出(DropOut)[16]、剪點(DropNode)[17]和剪邊(DropEdge)[18].剪輸出就是通過適度地裁剪隱含層節(jié)點的輸出值(使之不到下一層),它在普通的深度神經(jīng)網(wǎng)絡(luò)中就被提出,而且得到廣泛應(yīng)用[19].顧名思義,剪點就是裁剪輸入圖中的節(jié)點,而剪邊就是裁剪輸入圖中的邊.直觀上講,剪點比剪邊力度更大,即一個節(jié)點被裁減不僅它對應(yīng)的實體不存在、而且依附它的邊也會自然消失.Rong Y等人的研究證實了剪點技術(shù)很難被控制,可能剪邊比剪點更適合于GCN網(wǎng)絡(luò)[18];對應(yīng)實驗也驗證了在GCN中適度剪邊可以延緩過平滑現(xiàn)象發(fā)生,使構(gòu)建深度GCN成為可能[18].

    本文的主要工作及貢獻包括:將殘差卷積(residual convolution)、恒等映射(identity mapping)和剪邊處理融合到圖神經(jīng)網(wǎng)絡(luò)的設(shè)計中,提出了dri_GCN深度網(wǎng)絡(luò)模型,并在多個標準數(shù)據(jù)集上完成了比較性實驗.

    2 相關(guān)工作

    Gori等人最先關(guān)注圖數(shù)據(jù)的處理,在2009年提出了圖神經(jīng)網(wǎng)絡(luò)模型(GNN)[20].它借鑒了普通神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來直接處理圖結(jié)構(gòu)數(shù)據(jù).這個模型可以被認為是圖神經(jīng)網(wǎng)絡(luò)的開創(chuàng)性工作,為后續(xù)圖神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ).2013年,Bruna等人利用拉普拉斯算子與傅里葉變換等技術(shù),解決了圖數(shù)據(jù)的卷積計算問題,提出了第一個圖卷積神經(jīng)網(wǎng)絡(luò)[21].2016年,Kipf和Welling運用了一階鄰階聚合思想,提出了GCN模型[10],被之后大多數(shù)研究作為基礎(chǔ)GCN模型來使用.當(dāng)然Kipf和Welling提出的GCN模型的最優(yōu)性能層數(shù)只有2層,而且之后的許多研究都證實這個GCN模型不適合構(gòu)建深層網(wǎng)絡(luò),即繼續(xù)加深模型深度會導(dǎo)致聚合效果急劇下降.

    2018年,Xu等人提出了一種改進型的圖神經(jīng)網(wǎng)絡(luò)模型JKNet[14].JKNet利用跳躍鏈接和自適應(yīng)選擇性聚合機制,運用跳躍鏈接在構(gòu)建深層GCN網(wǎng)絡(luò)上進行了有效嘗試.2020年,Chen等人設(shè)計了GCNII模型[13],它是目前為止比較成功的一個深層GCN模型.另一個比較成功的工作來自于Rong等人[18],他們發(fā)現(xiàn)對圖結(jié)構(gòu)數(shù)據(jù)適度進行剪邊可以很好地解決GCN的過平滑問題.事實上,通過刪除輸入圖數(shù)據(jù)的部分邊,一定程度上改變了節(jié)點間的連接方式,使節(jié)點的聚合產(chǎn)生了差異化,增強了訓(xùn)練數(shù)據(jù)的多樣性,進而提升了模型的泛化能力.

    近年對圖數(shù)據(jù)的應(yīng)用也成為了熱門的研究方向.例如:2020年,郭嘉琰等人把GCN應(yīng)用到動態(tài)網(wǎng)絡(luò)異常檢測中,提出一種基于圖神經(jīng)網(wǎng)絡(luò)的異常檢測算法[22];2020年,Wang等人利用GCN網(wǎng)絡(luò)實現(xiàn)了人體姿態(tài)估計[23];2020年,Yu等人利用GCN解決了社交網(wǎng)絡(luò)中謠言檢測問題[24].

    3 dri_GCN:融入剪邊操作的圖殘差卷積網(wǎng)絡(luò)設(shè)計

    首先明確幾個GCN相關(guān)的名詞和表示:

    (1)圖:G=(V,E),其中V是節(jié)點集,E是邊集.特別地,和CNN不同,GCN的輸入就是圖本身.

    (2)鄰接矩陣:圖G的鄰接矩陣A=(aij)是一個方陣,aij=1意味著第i個節(jié)點和第j個節(jié)點存在邊,否則為0.很顯然,無向圖的鄰接矩陣是一個對稱矩陣.

    (3)度矩陣:圖G的度矩陣D=(dij)是一個對角陣,對于無向圖而言,dii就是第i個頂點的度,并且dij=0(i≠j).對于有向圖,需要通過頂點的出度和入度來分別表示.

    (4)單位矩陣:是一個特殊對角陣圖I=(pij),pii=1,并且pij=0(i≠j).

    (5)拉普拉斯矩陣:圖G的拉普拉斯矩陣定義為L=D-A,其中D和A是G的度矩陣和鄰接矩陣.

    3.1 基于譜域的GCN的預(yù)備知識

    基本的圖卷積神經(jīng)網(wǎng)絡(luò)是基于譜域(Spectral domain)方法構(gòu)建的,其中的核心是拉普拉斯矩陣及其計算.

    圖卷積神經(jīng)網(wǎng)絡(luò)在利用拉普拉斯矩陣之前需要使用了兩個小技巧來改善其性能:(1)對所有節(jié)點增加自環(huán)保證節(jié)點自身和鄰居節(jié)點一起參與推理,即A=A+I(本文仍記為A);(2)進行歸一化以預(yù)防梯度爆炸或者消失問題.

    定義1(適用拉普拉斯矩陣)[10]給定增加自環(huán)的圖G,設(shè)G的鄰接矩陣、度矩陣及單位矩陣分別為A、D和I,則一種適用的拉普拉斯矩陣歸一化方法是:

    定義1被稱為對稱歸一化的拉普拉斯矩陣(Symmetric-normalized Laplacian).設(shè)?=D-1/2AD-1/2,則作為一個適用的操作單元被目前大多數(shù)GCN模型作為推演的基礎(chǔ)(本文亦是).

    定義2(拉普拉斯矩陣的傅里葉變換)給定圖G,設(shè)它的拉普拉斯矩陣L的特征值和對應(yīng)的特征向量分別為Λ=(λ1,λ2,…,λn)(λ1≤λ2≤…≤λn)和U=(u1,u2,…,un),對G上的任意信號x∈Rn,定義它的傅立葉變換為=f(x)=UTxˉ,對應(yīng)逆傅立葉變換為x=f-()=.

    基于譜域分析的卷積一般是在傅里葉域上完成的,依靠定義2的傅里葉變換和逆傅里葉變換,我們就可仿照CNN的卷積方法完成圖的卷積計算.

    定義3(簡化的圖卷積)[10]一個簡化的GCN模型的卷積公式為:

    其中?=D-1/2AD-1/2(A含自環(huán)),W(l)是第l層的學(xué)習(xí)權(quán)重,σ(.)是某個激活函數(shù).

    和普通CNN一樣,卷積運算解決了輸入的前向傳播問題,但是還要依靠反向傳播來進行誤差評估.當(dāng)然,圖卷積需要依據(jù)圖結(jié)構(gòu)進行,因此反向傳播的基礎(chǔ)是邊導(dǎo)數(shù).

    定義4(GCN中的梯度)[21]給定圖G,eij是G中節(jié)點vi到vj的一條邊,A=(aij)和D=(dij)分別是的G的鄰接矩陣和度矩陣.設(shè)J∈Rn是G上一個n維向量,則eij在vi節(jié)點上的邊導(dǎo)數(shù)如下計算:

    節(jié)點相關(guān)的梯度表示為

    3.2 殘差網(wǎng)絡(luò)與跨層連接

    帶殘差的圖卷積模型主要在一個殘差單元中引入淺層到深層的跳轉(zhuǎn)鏈接.如圖2所示,對于l+l層而言,除了l層輸出作為輸入之外,通過增加(l層)之前的跳轉(zhuǎn)鏈接來防止計算偏差地蔓延,提升聚合效能.

    圖2 一個殘差塊的連接結(jié)構(gòu)示意

    定義5(帶殘差的圖卷積)[13]一個帶殘差的GCN模型的基本卷積公式為:

    其中H(*)表示*層或者更淺層次的輸出.

    引入殘差的初始動機是為了防止梯度消失問題[25].近年研究也發(fā)現(xiàn):在GCN中引入殘差進行卷積計算可以加強深層與淺層之間信息互補.此外,引入殘差的卷積網(wǎng)絡(luò)需要恒等映射機制,這不僅保證了淺層和深層信息的兼容性,而且可以使網(wǎng)絡(luò)結(jié)構(gòu)更加均勻化,更利于通過加深網(wǎng)絡(luò)層次來提高學(xué)習(xí)精度.

    圖2給出的殘差塊只是個示意,淺層跳轉(zhuǎn)到深層的途徑可以有許多,需要和實際應(yīng)用結(jié)合起來考慮.如:GCNII[13]就是采用一種稱為初始殘差(Initial residual)的技術(shù),即所有的中間層殘差塊都是直連初始的輸入.再如:JKnet[14]則是僅在最后一層選擇之前的卷積層的輸出進行融合聚集.從本質(zhì)上說,通過跨層連接來改善殘差卷積網(wǎng)的性能是目前一個探索最多的方法之一,相信未來還會繼續(xù)得到關(guān)注.

    圖3給出了引入殘差和恒等映射的GCN的工作原理示意.

    圖3 殘差和恒等映射在GCN中工作原理示意

    如圖3所示,假如在GCN網(wǎng)絡(luò)中,不使用殘差連接,節(jié)點的特征值會很快趨于同質(zhì)(如圖3的l和l+1層的黃色部分),即出現(xiàn)過平滑現(xiàn)象.假如加入淺層的第*層到深層的第l層的跳轉(zhuǎn)通路,那么第l+1層的節(jié)點就需要綜合考慮第l層和第*層計算結(jié)果,這樣就利用淺層信息修正了學(xué)習(xí)中的偏差,延緩了過平滑現(xiàn)象過早發(fā)生,為深層GCN提供有力支撐.

    當(dāng)然,節(jié)點特征的有效疊加,要歸功于恒等映射技術(shù).就是說,經(jīng)過若干層的GCN推理后,恒等映射保證了各個節(jié)點處于同一量綱上,讓引入殘差的節(jié)點特征能夠成功的疊加在到深層單元.

    3.3 dri_GCN模型設(shè)計

    集成圖剪邊、初始網(wǎng)絡(luò)和恒等映射技術(shù),結(jié)合上一節(jié)的相關(guān)定義,本文提出了一種圖神經(jīng)網(wǎng)絡(luò)模型dri_GCN.

    剪邊被證明是實現(xiàn)深層GCN的一個有效技術(shù)[18],其主要作用概括為:

    (1)剪邊可以看作一種數(shù)據(jù)增強技術(shù),在訓(xùn)練過程中對輸入的鄰接矩陣進行隨機地刪減,可以增加模型的輸入數(shù)據(jù)的多樣性.

    (2)剪邊技術(shù)用于訓(xùn)練中,使用得當(dāng)可以增強節(jié)點之間的區(qū)分度,減少信息的重復(fù)利用率,進而減緩了過平滑現(xiàn)象.

    融入剪邊和初始殘差技術(shù),圖4給出了對應(yīng)的恒等卷積網(wǎng)絡(luò)模型dri_GCN的運行框架,其中表示剪邊操作后并歸一化后的鄰接矩陣.

    圖4 dri_GCN運行框架

    定義6(dri_GCN的圖卷積)對于圖G,設(shè):剪邊概率為1-p,則用表示剪邊后歸一化的鄰接矩陣;α和β為用來控制跳躍連接的兩個超參數(shù);σ為激勵函數(shù);W(l)為l層的權(quán)重.dri_GCN的圖卷積公式表示為:

    其中H(l)為l層的輸出向量,I是單位陣.

    如式(6)所示,dri_GCN只使用初始殘差H(0),這主要是我們的實驗發(fā)現(xiàn)初始殘差對該模型更有效.

    基于初始殘差和恒等映射,融入剪邊操作的dri_GCN模型的第l層的處理步驟如下.

    步驟1設(shè)定剪邊系數(shù)p,按概率隨機丟棄:←re-normalization(A-A').

    步驟2設(shè)定控制參數(shù)α,按α導(dǎo)入初始輸入αH(0).

    步驟3融合H(l)和H(0),生成帶有殘差的l層輸出:H*←(1-α)(l)+αH(0).

    步驟4設(shè)定控制參數(shù)β,對權(quán)重實施恒等映射:W*←(1-β)I+βW(l).

    步驟5選定激勵函數(shù)σ,生成層l輸出:H(l+1)←σ(H*,W*).

    值得注意的是,dri_GCN模型中參數(shù)p、α和β以及激勵函數(shù)σ的設(shè)定是個經(jīng)驗問題,需要根據(jù)應(yīng)用背景來逐步嘗試獲得優(yōu)化值.我們在實驗中獲得的經(jīng)驗包括:

    (1)p是圖保留邊的比例(剪邊的比例為1-p),對應(yīng)的就是正則化的輸入矩陣.一般地,p不宜過小,過小會導(dǎo)致圖結(jié)構(gòu)性的數(shù)據(jù)不足,喪失圖網(wǎng)絡(luò)的優(yōu)勢;當(dāng)然p也不宜過大,過大會使迭代過程的數(shù)據(jù)多樣性不足,容易產(chǎn)生過平滑.我們實驗的經(jīng)驗p值在0.7~0.9之間.

    (2)控制初始殘差的參數(shù)α不宜過大,一般設(shè)置在0.1或者0.2比較適中[13].如式(6)所示,α過大將直接減弱上層計算對本層計算的作用,嚴重影響學(xué)習(xí)效率.

    (3)式(6)使用(1-β)I+βW(l)來替換普遍使用的權(quán)值向量W(l),這可以保證與淺層模型具有等價的性能,有利于跨層信息聚合.事實上,(1-β)I+βW(l)是W(l)的正則化結(jié)果,當(dāng)β足夠小時,(1-β)I+βW(l)的奇異值會接近于1[26].這樣就可以通過合適的β值設(shè)定,來達到權(quán)重向量修正和網(wǎng)絡(luò)等價性維護的平衡目的,提升系統(tǒng)的自適應(yīng)性.我們實驗中β設(shè)為隨層數(shù)l變換的變量,為為控制系數(shù),一般設(shè)為0.5.

    為了說明dri_GCN模型的基本原理,對2層的dir_GCN網(wǎng)絡(luò)學(xué)習(xí)過程的主要結(jié)構(gòu)進行了跟蹤和解析,其中數(shù)據(jù)集使用的是標準數(shù)據(jù)集Citeseer[27].圖5給出了2層dri_GCN網(wǎng)絡(luò)的處理過程示意.

    圖5 dri_GCN網(wǎng)絡(luò)的學(xué)習(xí)過程示意

    依據(jù)圖5,設(shè)定p=0.9、α=0.1和λ=0.5,2層dri_GCN網(wǎng)絡(luò)對Citeseer數(shù)據(jù)集處理的基本過程是:

    (1)由Citeseer數(shù)據(jù)集的原始數(shù)據(jù),得到輸入特征H(0)和剪邊后歸一化的鄰接矩陣A?p(如式(7)).值得注意地是,剪邊僅僅是將鄰接矩陣部分數(shù)值置零,并不改變鄰接矩陣維度.

    (2)H(0)經(jīng)過全連接層后特征維度變?yōu)?4,以便與預(yù)先設(shè)置的權(quán)重矩陣W維度相匹配,其中權(quán)重矩陣的值是隨機生成的.經(jīng)過第一個dri_GCN卷積層后與初始殘差αH(0)疊加得到中間特征向量H(1).

    (3)將更新后的H(1)和A?p輸入到下一個dri_GCN卷積層,再經(jīng)過全連接層后,得到最后的輸出特征向量H(2).

    式(8)給出了100次網(wǎng)絡(luò)學(xué)習(xí)后最終輸出的H(2)與分類結(jié)果.式(9)中分類結(jié)果(3 0 1…)只給出了前三個節(jié)點1、2、3被分成的類標識“3”、“0”、“1”.具體得到方式是:節(jié)點對應(yīng)行在H(2)中的最大值所在的位置.

    4 實驗與分析

    4.1 數(shù)據(jù)集

    實驗采用了標準數(shù)據(jù)集Cora、Citeseer和Pubmed進行評估和比較[27].對于所有數(shù)據(jù)集,都按照無向圖進行處理,并且僅考慮最大的連通部分,即每個數(shù)據(jù)集都對應(yīng)一個無向連通圖.表1給出了本文實驗中的3種數(shù)據(jù)集的基本信息.

    表1 三個數(shù)據(jù)集的基本信息

    按照目前大多數(shù)論文的處理慣例和本文需求,實驗前對3個數(shù)據(jù)集做無向圖處理,之后使用它們評估本文模型和對比模型.圖6展示了3個數(shù)據(jù)集的部分連通圖,其中對一些節(jié)點進行了標識以直觀地反映對應(yīng)數(shù)據(jù)集情況.

    圖6 數(shù)據(jù)集對應(yīng)的部分無向連通圖

    4.2 學(xué)習(xí)準確率與分類精度的比較性實驗

    實驗中準確率和精度由式(10)和式(11)計算得到:

    其中式(10)和式(11)對應(yīng)的符號及含義如下:

    (1)P(Positive)和N(Negative):分別代表訓(xùn)練樣本中的正例和負例數(shù)目.

    (2)TP(True Positives):被正確劃分為正例的數(shù)目,即實際為正例且被模型劃分為正例的樣本數(shù).

    (3)TN(True negatives):被正確劃分為負例的數(shù)目,即實際為負例且被分類器劃分為負例的樣本數(shù).

    (4)FP(False Positives):被錯誤劃分為正例的數(shù)目,即實際為負例但被分類器劃分為正例的樣本數(shù).

    (5)FN(False Negatives):被錯誤劃分為負例的數(shù)目,即實際為正例但被分類器劃分為負例的樣本數(shù).

    從式(10)、式(11)的計算方式可以看出:準確率主要反映一個學(xué)習(xí)方法或算法的整體學(xué)習(xí)效果;精度只關(guān)心正例集的分類情況,深入到一個具體的類別進行評價,可以更準確地反映某個類別分類的效果.

    首先使用式(10),比較性地評價本文模型的準確率.表2給出了對比實驗中使用的主要參數(shù)設(shè)置情況,其中的參數(shù)是根據(jù)數(shù)據(jù)集和模型特點,在多次實驗后獲得的優(yōu)化值.

    表2 實驗?zāi)P退玫膮?shù)

    根據(jù)本文使用的主要技術(shù),從基本的GCN模型(簡稱G)、剪邊技術(shù)(簡稱d)和恒等映射下的初始殘差技術(shù)(簡稱r)3個維度來擇選比較算法:

    (1)單獨考慮G.實驗中使用的是典型算法GCN[10];

    (2)考慮d+G.文獻[18]提出了在GCN中進行剪邊的理由和部分效果的展示,我們在此基礎(chǔ)上進行了完善,并命名為d_GCN來用于本文比較性實驗;

    (3)考慮r+G.GCNII[13]屬于這類模型的典型代表.

    (4)考慮d+r+G.本文提出的dri_GCN模型屬于該類.

    按照如上4個方法類別,擇選了GCN、d_GCN、GCNII和 本 文 的dri_GCN模 型,在Cora、Citeseer和Pubmed數(shù)據(jù)集上進行了對比實驗.表3至表5給出了實驗結(jié)果(下劃線數(shù)據(jù)為獲得的最高準確率),其中的準確率是100次實驗獲得的平均值.

    表3 不同方法在Cora數(shù)據(jù)集上的分類準確率(%)

    表4 不同方法在Citeseer數(shù)據(jù)集上的分類準確率(%)

    表5 不同方法在Pubmed數(shù)據(jù)集上的分類準確率(%)

    從表3~表5可以看出:

    (1)本文dri_GCN模型在3個標準數(shù)據(jù)集上最高準確率均有所提升.

    (2)GCN模型在2層網(wǎng)絡(luò)上還能獲得較好的學(xué)習(xí)準確率,但是隨著深度加深,學(xué)習(xí)準確率會急劇下降,而且簡單地使用剪邊技術(shù)(對應(yīng)d+G模型)也很難支撐深度GCN的構(gòu)建.

    (3)dri_GCN和GCNII模型可以支撐深層卷積網(wǎng)的構(gòu)建,而且在3個標準數(shù)據(jù)集上dri_GCN比GCNII的學(xué)習(xí)準確率都有不同程度地提升.

    究其原因,dri_GCN融合了初始殘差、恒等映射及剪邊技術(shù),整體上減緩了過平滑現(xiàn)象,使圖結(jié)構(gòu)的信息聚合更精細.具體地說,初始殘差技術(shù)將最初的節(jié)點特征疊加在深層模型上,阻止了節(jié)點聚合偏差的放大或累加,延長了網(wǎng)絡(luò)的生命周期;恒等映射技術(shù)使初始殘差能有效地融入到深層的卷積單元,保證網(wǎng)絡(luò)加深后的繼續(xù)學(xué)習(xí)能力;剪邊技術(shù)進一步削弱了殘差網(wǎng)絡(luò)退化的可能性,通過圖結(jié)構(gòu)數(shù)據(jù)的變化使得殘差單元的數(shù)據(jù)輸入的相異度增加,避免某些節(jié)點的特征向量在相鄰殘差層的快速同化,因而提升了學(xué)習(xí)的精細度.

    此外,依據(jù)式(11),對單個類別的分類精度進行了跟蹤實驗.圖7給出了dir_GCN在Cora數(shù)據(jù)集上4個類別的精度比較實驗.圖7的橫坐標是一次dir_GCN網(wǎng)絡(luò)學(xué)習(xí)的迭代次數(shù),縱坐標的精度值采用的是20次dir_GCN網(wǎng)絡(luò)學(xué)習(xí)在對應(yīng)迭代次數(shù)上得到平均精度值.

    仔細分析圖7,可以看出:

    圖7 dri_GCN在Cora數(shù)據(jù)集的精度對比

    (1)在Cora數(shù)據(jù)集上,對于前面3個類(類標識為0,1,2),剪邊后的分類精度在所有迭代階段均好于未剪邊的圖神經(jīng)網(wǎng)絡(luò);

    (2)對于類標識為3,前面的剪邊效果不是很理想,但是迭代270次后剪邊效果開始顯現(xiàn).可以推斷,對于分類精度不佳的類來說,可以通過適當(dāng)增加學(xué)習(xí)過程中的迭代次數(shù)來提升分類精度.

    4.3 剪邊有效性分析

    為了更詳盡地說明剪邊技術(shù)對模型的影響,我們通過設(shè)置不同的層數(shù)和不同p值,對模型dri_GCN的剪邊效果進行了實驗.表6給出了在Cora數(shù)據(jù)集上不同p值對應(yīng)的學(xué)習(xí)準確率(實驗的結(jié)果也是采用20次網(wǎng)絡(luò)學(xué)習(xí)的平均值).

    從表6可以看出:

    表6 Cora數(shù)據(jù)集p參數(shù)實驗(%)

    (1)針對Cora數(shù)據(jù)集,剪邊技術(shù)在p=0.9或0.8,層數(shù)在16層以上,dri_GCN模型的準確率基本都在84%左右,說明通過設(shè)置合適的剪邊系數(shù)p,通過加深模型層次可以獲得穩(wěn)定的更高的學(xué)習(xí)準確率.

    (2)當(dāng)p在0.6以下,dri_GCN模型的準確率不高,說明剪邊效果不理想.這是因為過多的剪邊丟失了圖數(shù)據(jù)結(jié)構(gòu),也從一個側(cè)面說明圖神經(jīng)網(wǎng)絡(luò)的科學(xué)性,即合理利用節(jié)點的關(guān)聯(lián)信息能夠提升節(jié)點的評估效果.

    為了更直觀地表達剪邊在GCN上的有效性,實驗跟蹤了4層dri_GCN模型在3個標準數(shù)據(jù)集上的損失值.圖8給出了隨著迭代訓(xùn)練次數(shù)增多時剪邊(p=0.9)和不剪邊(p=1)的損失值變化趨勢.

    圖8表明:融入剪邊技術(shù)可以使驗證集的損失值平穩(wěn)而迅速地下降(相對于不剪邊).說明剪邊技術(shù)很好利用了數(shù)據(jù)多樣性,可以及時修正迭代過程中的偏差,更有利于實現(xiàn)精細化學(xué)習(xí).

    圖8 dri_GCN損失函數(shù)對比

    圖神經(jīng)網(wǎng)絡(luò)中的驗證集的準確率反映了所使用模型的聚合能力.實驗跟蹤了3個數(shù)據(jù)集在剪邊前后(p=1,p=0.9)的驗證集準確率變化.實驗的準確率也是采用每組數(shù)據(jù)進行20次網(wǎng)絡(luò)學(xué)習(xí)取平均值.實驗結(jié)果如圖9所示.

    圖9 dri_GCN驗證集準確率對比

    從圖9可以看出:在維持學(xué)習(xí)準確率的前提下,剪邊可以加速聚合速度.在迭代100次之前,剪邊后3個數(shù)據(jù)集的在驗證集的準確率快速提升(相比未剪邊),說明剪邊技術(shù)的確可以提升聚合效率.此外,迭代100次之后,剪邊模型的準確率也和剪邊前相當(dāng),說明剪邊技術(shù)不會減弱模型的學(xué)習(xí)能力.

    5 總結(jié)與展望

    圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為圖學(xué)習(xí)中的一個重要而活躍的研究分支.現(xiàn)存的圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵瓶頸是過平滑問題.本文集成了剪邊、初始殘差和恒等映射技術(shù),提出了一種圖神經(jīng)網(wǎng)絡(luò)模型dri_GCN.本文提出的模型直接面向于圖神經(jīng)網(wǎng)絡(luò)研究中亟待解決的過擬合和過平滑問題,通過多種技術(shù)集成來提升圖學(xué)習(xí)的性能,在深層圖殘差卷積的結(jié)構(gòu)及其計算方法等方面進行了相關(guān)工作.實驗結(jié)果表明,dri_GCN可以提升學(xué)習(xí)數(shù)據(jù)的多樣性,減少訓(xùn)練數(shù)據(jù)的過擬合現(xiàn)象;可以更精細地完成基于圖結(jié)構(gòu)的信息聚合,有效防止過平滑現(xiàn)象;具備構(gòu)建深層圖神經(jīng)網(wǎng)絡(luò)的能力,為實現(xiàn)深層圖學(xué)習(xí)提供一個有效途徑.

    本文模型為構(gòu)建深層GCN網(wǎng)絡(luò)提供新的解決途徑.從結(jié)果來看,所提模型在標準數(shù)據(jù)集上的學(xué)習(xí)準確率和分類精度方面得到有效提升.未來的工作包括:本文模型在實際應(yīng)用場景上的應(yīng)用研究;融合其他技術(shù)進一步改進深層圖神經(jīng)網(wǎng)絡(luò)性能等.

    猜你喜歡
    殘差準確率卷積
    基于雙向GRU與殘差擬合的車輛跟馳建模
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
    2015—2017 年寧夏各天氣預(yù)報參考產(chǎn)品質(zhì)量檢驗分析
    基于殘差學(xué)習(xí)的自適應(yīng)無人機目標跟蹤算法
    基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    高速公路車牌識別標識站準確率驗證法
    基于傅里葉域卷積表示的目標跟蹤算法
    中亚洲国语对白在线视频| 久久亚洲精品不卡| 又黄又粗又硬又大视频| 亚洲第一欧美日韩一区二区三区| 成人亚洲精品一区在线观看| ponron亚洲| 中文字幕av电影在线播放| e午夜精品久久久久久久| 免费搜索国产男女视频| 亚洲国产看品久久| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲成av人片免费观看| 久久久水蜜桃国产精品网| 久久久久久人人人人人| 精品卡一卡二卡四卡免费| 最新在线观看一区二区三区| 性色av乱码一区二区三区2| 亚洲国产精品999在线| 亚洲国产精品合色在线| 国产成人av激情在线播放| 一级毛片高清免费大全| 亚洲国产欧美网| 欧美成人午夜精品| 欧美日本亚洲视频在线播放| 18禁国产床啪视频网站| 国产在线观看jvid| 午夜两性在线视频| 久久影院123| 在线观看免费午夜福利视频| 成在线人永久免费视频| 午夜福利一区二区在线看| 妹子高潮喷水视频| 啦啦啦观看免费观看视频高清 | 国产精品一区二区精品视频观看| 91大片在线观看| bbb黄色大片| 欧美成人性av电影在线观看| 一进一出好大好爽视频| 一区二区三区高清视频在线| 好看av亚洲va欧美ⅴa在| 欧美一级毛片孕妇| 国产成人影院久久av| 欧美激情极品国产一区二区三区| 国产三级在线视频| 亚洲精品一卡2卡三卡4卡5卡| 亚洲色图综合在线观看| 亚洲免费av在线视频| 日韩一卡2卡3卡4卡2021年| 高清黄色对白视频在线免费看| 深夜精品福利| 涩涩av久久男人的天堂| 女同久久另类99精品国产91| 中文字幕高清在线视频| 欧美另类亚洲清纯唯美| 久久午夜亚洲精品久久| 人成视频在线观看免费观看| 国产精品一区二区三区四区久久 | 精品久久久久久久久久免费视频| 两人在一起打扑克的视频| 色精品久久人妻99蜜桃| 视频区欧美日本亚洲| 在线观看一区二区三区| 丝袜在线中文字幕| 欧美绝顶高潮抽搐喷水| 两个人看的免费小视频| 日本撒尿小便嘘嘘汇集6| 国产精品 国内视频| 久久香蕉国产精品| 在线观看一区二区三区| 免费在线观看影片大全网站| 亚洲一区二区三区不卡视频| 九色国产91popny在线| 成人国语在线视频| tocl精华| 最近最新中文字幕大全免费视频| 国产视频一区二区在线看| 欧美色欧美亚洲另类二区 | 精品国产国语对白av| 久久伊人香网站| 黄色片一级片一级黄色片| 满18在线观看网站| 长腿黑丝高跟| 在线观看一区二区三区| 丝袜在线中文字幕| 成人国产综合亚洲| 精品一区二区三区av网在线观看| 老司机午夜十八禁免费视频| 日韩大码丰满熟妇| 嫩草影院精品99| 中文字幕人成人乱码亚洲影| 亚洲电影在线观看av| 精品国产国语对白av| 天堂影院成人在线观看| 久久这里只有精品19| 亚洲精品久久国产高清桃花| 99在线人妻在线中文字幕| 亚洲国产毛片av蜜桃av| 亚洲精品在线美女| 欧美国产精品va在线观看不卡| 人人澡人人妻人| 99久久综合精品五月天人人| 99香蕉大伊视频| av超薄肉色丝袜交足视频| 国产精品精品国产色婷婷| 国产91精品成人一区二区三区| 欧美日本亚洲视频在线播放| 淫妇啪啪啪对白视频| 国产极品粉嫩免费观看在线| 91成年电影在线观看| 久久精品国产清高在天天线| 99国产极品粉嫩在线观看| 侵犯人妻中文字幕一二三四区| 好看av亚洲va欧美ⅴa在| 最近最新中文字幕大全电影3 | 亚洲无线在线观看| 日本精品一区二区三区蜜桃| 国产不卡一卡二| 涩涩av久久男人的天堂| 国产精品影院久久| 亚洲人成网站在线播放欧美日韩| 免费在线观看视频国产中文字幕亚洲| 免费一级毛片在线播放高清视频 | 97人妻精品一区二区三区麻豆 | 午夜免费鲁丝| 欧美国产日韩亚洲一区| 久久草成人影院| 操美女的视频在线观看| 国产欧美日韩一区二区精品| 这个男人来自地球电影免费观看| 国产亚洲精品久久久久5区| 午夜福利免费观看在线| 久久精品影院6| 欧美成人性av电影在线观看| 国产色视频综合| 亚洲五月天丁香| 黄频高清免费视频| 国产精品爽爽va在线观看网站 | 亚洲五月色婷婷综合| 岛国在线观看网站| 亚洲自偷自拍图片 自拍| 男男h啪啪无遮挡| 成人欧美大片| 9色porny在线观看| 国产人伦9x9x在线观看| 成人三级做爰电影| 欧美一级毛片孕妇| 女人被狂操c到高潮| 97超级碰碰碰精品色视频在线观看| 亚洲免费av在线视频| 三级毛片av免费| 国产国语露脸激情在线看| 如日韩欧美国产精品一区二区三区| a在线观看视频网站| av超薄肉色丝袜交足视频| 人成视频在线观看免费观看| 亚洲av第一区精品v没综合| 国产精品自产拍在线观看55亚洲| 欧美日韩中文字幕国产精品一区二区三区 | 欧美乱色亚洲激情| 久久精品亚洲精品国产色婷小说| 中文字幕高清在线视频| 看黄色毛片网站| 麻豆一二三区av精品| 色综合婷婷激情| 久久 成人 亚洲| 看免费av毛片| 成人欧美大片| 久久青草综合色| 国产精品电影一区二区三区| 亚洲在线自拍视频| 国内精品久久久久精免费| 亚洲情色 制服丝袜| 91老司机精品| 亚洲情色 制服丝袜| 久久国产精品人妻蜜桃| 久久午夜综合久久蜜桃| 成人18禁高潮啪啪吃奶动态图| 在线播放国产精品三级| 国产精品永久免费网站| 日韩欧美在线二视频| 操美女的视频在线观看| 夜夜夜夜夜久久久久| 亚洲成a人片在线一区二区| 极品人妻少妇av视频| 国产区一区二久久| 国内精品久久久久久久电影| 一区在线观看完整版| 男人的好看免费观看在线视频 | 免费一级毛片在线播放高清视频 | 99国产精品免费福利视频| 国产精品二区激情视频| 天堂动漫精品| 国产三级黄色录像| 天天添夜夜摸| 男女下面插进去视频免费观看| 久久精品国产亚洲av高清一级| 国产高清有码在线观看视频 | 国产精品精品国产色婷婷| 国产精品av久久久久免费| 免费女性裸体啪啪无遮挡网站| 亚洲精品粉嫩美女一区| 日本在线视频免费播放| 正在播放国产对白刺激| 91老司机精品| 99精品在免费线老司机午夜| 中文字幕av电影在线播放| 久久精品国产综合久久久| 久久精品国产综合久久久| 两性午夜刺激爽爽歪歪视频在线观看 | 在线观看66精品国产| 国产一级毛片七仙女欲春2 | 亚洲电影在线观看av| 少妇粗大呻吟视频| 女人高潮潮喷娇喘18禁视频| 免费少妇av软件| 日本 av在线| 国产91精品成人一区二区三区| 18禁国产床啪视频网站| 啦啦啦 在线观看视频| 亚洲无线在线观看| 久久人妻熟女aⅴ| 亚洲精品中文字幕一二三四区| 电影成人av| 一区二区三区精品91| 日本一区二区免费在线视频| 成人国语在线视频| 欧美国产日韩亚洲一区| 怎么达到女性高潮| 色综合婷婷激情| 757午夜福利合集在线观看| 成人三级黄色视频| 亚洲人成电影观看| 欧美人与性动交α欧美精品济南到| 日本一区二区免费在线视频| 国产成人欧美在线观看| 亚洲男人的天堂狠狠| 欧洲精品卡2卡3卡4卡5卡区| 高清在线国产一区| 可以在线观看毛片的网站| 香蕉久久夜色| 亚洲av五月六月丁香网| 成人特级黄色片久久久久久久| 大型黄色视频在线免费观看| 久久国产乱子伦精品免费另类| 久久亚洲精品不卡| 天堂√8在线中文| 叶爱在线成人免费视频播放| 日韩国内少妇激情av| 国产成人免费无遮挡视频| 超碰成人久久| 一边摸一边做爽爽视频免费| www.自偷自拍.com| 美女免费视频网站| 色综合亚洲欧美另类图片| 亚洲精品国产精品久久久不卡| 国产成人精品在线电影| 欧美日韩乱码在线| 视频在线观看一区二区三区| 制服诱惑二区| 欧美色欧美亚洲另类二区 | 国产av在哪里看| 国产在线观看jvid| 99精品欧美一区二区三区四区| 91成年电影在线观看| 亚洲五月天丁香| 热99re8久久精品国产| 日韩欧美在线二视频| 久久国产亚洲av麻豆专区| 激情在线观看视频在线高清| 黄色 视频免费看| 日本欧美视频一区| 亚洲男人天堂网一区| 久久中文字幕一级| 一区二区三区精品91| 欧美黄色淫秽网站| 伦理电影免费视频| 黑人操中国人逼视频| 黑人巨大精品欧美一区二区mp4| 亚洲精品在线观看二区| 亚洲激情在线av| 叶爱在线成人免费视频播放| 又大又爽又粗| 性少妇av在线| 亚洲情色 制服丝袜| 免费在线观看视频国产中文字幕亚洲| 精品国产超薄肉色丝袜足j| 精品久久久久久,| 91精品三级在线观看| 51午夜福利影视在线观看| 香蕉国产在线看| 精品久久蜜臀av无| 看免费av毛片| 午夜激情av网站| 此物有八面人人有两片| 91麻豆精品激情在线观看国产| 欧美日韩亚洲综合一区二区三区_| 男人的好看免费观看在线视频 | 国产男靠女视频免费网站| 亚洲,欧美精品.| 男女之事视频高清在线观看| 久久香蕉激情| 在线播放国产精品三级| 香蕉久久夜色| 女人被躁到高潮嗷嗷叫费观| 一区二区日韩欧美中文字幕| 嫩草影院精品99| 男人操女人黄网站| 精品久久久久久成人av| 一区二区三区国产精品乱码| 国产精品99久久99久久久不卡| 国产精品影院久久| 日本精品一区二区三区蜜桃| av网站免费在线观看视频| 日本撒尿小便嘘嘘汇集6| 欧美一级a爱片免费观看看 | 亚洲七黄色美女视频| 亚洲人成电影免费在线| 中文字幕最新亚洲高清| 99国产精品一区二区三区| 国产欧美日韩一区二区三区在线| 国产精品久久久人人做人人爽| 欧美激情高清一区二区三区| 欧美日韩一级在线毛片| 中文字幕最新亚洲高清| 亚洲va日本ⅴa欧美va伊人久久| 日本免费一区二区三区高清不卡 | 成年女人毛片免费观看观看9| 日日爽夜夜爽网站| 精品少妇一区二区三区视频日本电影| 波多野结衣av一区二区av| 女性生殖器流出的白浆| 午夜福利视频1000在线观看 | 亚洲伊人色综图| 日韩三级视频一区二区三区| 午夜福利在线观看吧| 久久久久国产一级毛片高清牌| 国产成人精品久久二区二区免费| 不卡一级毛片| 18禁国产床啪视频网站| 男女下面插进去视频免费观看| 操美女的视频在线观看| 久久 成人 亚洲| 亚洲中文字幕一区二区三区有码在线看 | 黄色a级毛片大全视频| 午夜激情av网站| 欧美在线黄色| 免费高清在线观看日韩| 99精品久久久久人妻精品| 日韩欧美国产在线观看| 亚洲av五月六月丁香网| 丁香欧美五月| 欧美激情高清一区二区三区| 亚洲欧美激情综合另类| 看片在线看免费视频| 亚洲精品在线美女| 久久精品国产清高在天天线| 母亲3免费完整高清在线观看| 欧美丝袜亚洲另类 | 日韩高清综合在线| 亚洲av电影不卡..在线观看| 午夜福利影视在线免费观看| 亚洲av成人不卡在线观看播放网| 久久久水蜜桃国产精品网| 欧美成狂野欧美在线观看| 日韩欧美在线二视频| 欧美不卡视频在线免费观看 | 无人区码免费观看不卡| 亚洲精品av麻豆狂野| 12—13女人毛片做爰片一| 99热只有精品国产| 久久久久九九精品影院| 国产精品一区二区在线不卡| 在线观看66精品国产| 午夜福利一区二区在线看| 国产精品久久久久久人妻精品电影| 婷婷丁香在线五月| www日本在线高清视频| 97人妻精品一区二区三区麻豆 | 韩国精品一区二区三区| 亚洲中文av在线| 国产麻豆成人av免费视频| 中文字幕高清在线视频| 韩国精品一区二区三区| 90打野战视频偷拍视频| 精品国产一区二区久久| 色综合婷婷激情| 女人高潮潮喷娇喘18禁视频| 俄罗斯特黄特色一大片| 亚洲免费av在线视频| 一本大道久久a久久精品| 亚洲欧美日韩无卡精品| 精品免费久久久久久久清纯| 大码成人一级视频| 亚洲午夜精品一区,二区,三区| 国产精品香港三级国产av潘金莲| 高清黄色对白视频在线免费看| 国产亚洲欧美精品永久| 久久精品亚洲熟妇少妇任你| 午夜福利欧美成人| 好男人在线观看高清免费视频 | 中文字幕最新亚洲高清| 日韩中文字幕欧美一区二区| 欧美日本亚洲视频在线播放| 欧美黑人欧美精品刺激| 色精品久久人妻99蜜桃| 女警被强在线播放| 91精品国产国语对白视频| 神马国产精品三级电影在线观看 | 一级毛片高清免费大全| 午夜免费成人在线视频| 亚洲av日韩精品久久久久久密| 国内精品久久久久久久电影| 美国免费a级毛片| 啦啦啦免费观看视频1| 一个人观看的视频www高清免费观看 | 亚洲国产毛片av蜜桃av| 精品免费久久久久久久清纯| 欧美国产日韩亚洲一区| 夜夜看夜夜爽夜夜摸| 在线天堂中文资源库| 久久这里只有精品19| 两性午夜刺激爽爽歪歪视频在线观看 | 90打野战视频偷拍视频| 国产亚洲欧美98| 9热在线视频观看99| 18禁国产床啪视频网站| 麻豆国产av国片精品| 亚洲国产欧美网| 国产真人三级小视频在线观看| 国产精品 国内视频| 两个人看的免费小视频| 日韩免费av在线播放| 欧美日韩亚洲综合一区二区三区_| 精品人妻1区二区| 国产精品爽爽va在线观看网站 | 亚洲人成77777在线视频| 狂野欧美激情性xxxx| 亚洲精品一卡2卡三卡4卡5卡| 88av欧美| 老司机午夜十八禁免费视频| 欧美日韩瑟瑟在线播放| 国产三级黄色录像| 在线av久久热| 亚洲欧美精品综合一区二区三区| 美女高潮喷水抽搐中文字幕| 99久久国产精品久久久| 亚洲最大成人中文| 亚洲第一青青草原| 久久这里只有精品19| 欧美精品啪啪一区二区三区| 一进一出好大好爽视频| 国产精品美女特级片免费视频播放器 | 中文字幕人妻熟女乱码| 在线观看舔阴道视频| 亚洲国产看品久久| tocl精华| 91字幕亚洲| 狠狠狠狠99中文字幕| 国产成人啪精品午夜网站| 精品国产超薄肉色丝袜足j| 91成年电影在线观看| 亚洲国产中文字幕在线视频| 动漫黄色视频在线观看| 男女之事视频高清在线观看| 国产精品一区二区在线不卡| 成人国产一区最新在线观看| 两个人视频免费观看高清| 欧美久久黑人一区二区| 国产av在哪里看| 视频在线观看一区二区三区| 国产成人免费无遮挡视频| 亚洲国产看品久久| 真人一进一出gif抽搐免费| 中文字幕精品免费在线观看视频| 91麻豆精品激情在线观看国产| 国产成人一区二区三区免费视频网站| 激情在线观看视频在线高清| 亚洲熟妇中文字幕五十中出| 很黄的视频免费| 麻豆成人av在线观看| 亚洲av电影在线进入| 国内久久婷婷六月综合欲色啪| 91字幕亚洲| a级毛片在线看网站| 麻豆一二三区av精品| 国产主播在线观看一区二区| 一进一出抽搐动态| 久久久久国产精品人妻aⅴ院| www.999成人在线观看| 99久久综合精品五月天人人| 色哟哟哟哟哟哟| 最近最新中文字幕大全免费视频| 精品国产乱子伦一区二区三区| 亚洲专区中文字幕在线| 日本 欧美在线| 国产成人免费无遮挡视频| 久久精品国产亚洲av香蕉五月| 精品国产一区二区久久| 亚洲欧美日韩另类电影网站| 久久久精品欧美日韩精品| 久久影院123| 美女大奶头视频| 精品熟女少妇八av免费久了| 一边摸一边抽搐一进一出视频| av有码第一页| av天堂久久9| 亚洲国产精品sss在线观看| 麻豆国产av国片精品| 精品福利观看| 黄色视频,在线免费观看| 精品一区二区三区av网在线观看| 国产又爽黄色视频| 黄色片一级片一级黄色片| 一级黄色大片毛片| 中文字幕另类日韩欧美亚洲嫩草| 50天的宝宝边吃奶边哭怎么回事| 日韩欧美一区视频在线观看| 精品一区二区三区四区五区乱码| 在线观看66精品国产| 精品国产乱码久久久久久男人| 免费观看精品视频网站| 两个人免费观看高清视频| 欧美丝袜亚洲另类 | 国产极品粉嫩免费观看在线| 久久国产精品影院| 午夜亚洲福利在线播放| 黄色毛片三级朝国网站| 国产一卡二卡三卡精品| 精品欧美一区二区三区在线| 老熟妇仑乱视频hdxx| 十八禁人妻一区二区| 两性午夜刺激爽爽歪歪视频在线观看 | 中国美女看黄片| 亚洲最大成人中文| 国产精品自产拍在线观看55亚洲| 国产成人av激情在线播放| 国产高清激情床上av| 十分钟在线观看高清视频www| 成人av一区二区三区在线看| 日韩高清综合在线| 岛国在线观看网站| 国产精品av久久久久免费| 日日爽夜夜爽网站| 亚洲av美国av| www.熟女人妻精品国产| 久久国产精品男人的天堂亚洲| 久久这里只有精品19| 欧美亚洲日本最大视频资源| 亚洲精品久久国产高清桃花| 女性被躁到高潮视频| 俄罗斯特黄特色一大片| 真人做人爱边吃奶动态| 亚洲熟妇中文字幕五十中出| 亚洲欧洲精品一区二区精品久久久| 美女免费视频网站| 操美女的视频在线观看| 日韩免费av在线播放| 男人操女人黄网站| 一区二区三区激情视频| 欧美成人一区二区免费高清观看 | 无限看片的www在线观看| 亚洲av电影在线进入| 久久久久久久久中文| 日韩三级视频一区二区三区| 国产在线精品亚洲第一网站| 他把我摸到了高潮在线观看| 熟女少妇亚洲综合色aaa.| 亚洲国产毛片av蜜桃av| 日本vs欧美在线观看视频| 亚洲全国av大片| 在线观看日韩欧美| 老司机靠b影院| tocl精华| 色哟哟哟哟哟哟| tocl精华| 亚洲中文字幕一区二区三区有码在线看 | 亚洲国产看品久久| 精品久久蜜臀av无| 97人妻精品一区二区三区麻豆 | 91成年电影在线观看| 看片在线看免费视频| 国产精品九九99| 国产精品野战在线观看| 国产黄a三级三级三级人| 国产成人av激情在线播放| 人人妻人人爽人人添夜夜欢视频| 最新美女视频免费是黄的| 久久天堂一区二区三区四区| 高清在线国产一区| 国产精品久久久人人做人人爽| 美女扒开内裤让男人捅视频| 在线观看一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 国产又爽黄色视频| 精品午夜福利视频在线观看一区| 国产在线观看jvid| 精品欧美一区二区三区在线| 97人妻精品一区二区三区麻豆 | 免费看美女性在线毛片视频| 国产熟女xx| 免费女性裸体啪啪无遮挡网站| 又黄又粗又硬又大视频| 一夜夜www| 日韩精品中文字幕看吧| 人成视频在线观看免费观看| 97人妻天天添夜夜摸| 一级,二级,三级黄色视频| 精品不卡国产一区二区三区| 久久久久九九精品影院| 久久久久久免费高清国产稀缺| 日韩一卡2卡3卡4卡2021年| 国产精品久久久久久亚洲av鲁大| 亚洲欧美激情综合另类| 亚洲美女黄片视频| 成人三级做爰电影|