• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    圖對(duì)抗攻擊研究綜述

    2021-04-12 05:16:32翟正利李鵬輝

    翟正利,李鵬輝,馮 舒

    青島理工大學(xué) 信息與控制工程學(xué)院,山東 青島 266525

    近年來(lái),得益于計(jì)算機(jī)計(jì)算能力的提升,大量可用的數(shù)據(jù)集以及算法的創(chuàng)新,深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別[1]、語(yǔ)義分割[2]、自然語(yǔ)言處理[3]、推薦系統(tǒng)[4]等領(lǐng)域表現(xiàn)出卓越的性能。圖作為一種表示對(duì)象及對(duì)象之間關(guān)系的數(shù)據(jù)結(jié)構(gòu),在現(xiàn)實(shí)世界中廣泛存在,如交通網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等。圖神經(jīng)網(wǎng)絡(luò)[5-7]將基于深度學(xué)習(xí)的方法應(yīng)用于圖數(shù)據(jù)上,通過(guò)聚合圖中節(jié)點(diǎn)的鄰域信息學(xué)習(xí)圖數(shù)據(jù)的結(jié)構(gòu)信息和特征信息,在節(jié)點(diǎn)分類(lèi)、鏈路預(yù)測(cè)、圖嵌入等方面得到迅速發(fā)展。

    雖然深度神經(jīng)網(wǎng)絡(luò)具有出色的性能,但是近來(lái)研究表明,在精心設(shè)計(jì)的微小擾動(dòng)下,深度神經(jīng)網(wǎng)絡(luò)性能會(huì)嚴(yán)重下降[8-9]。例如在圖像分類(lèi)[10]和文本分類(lèi)[11]場(chǎng)景下,只需修改少數(shù)像素或文字就可以改變大部分測(cè)試數(shù)據(jù)的預(yù)測(cè)結(jié)果。作為深度神經(jīng)網(wǎng)絡(luò)在圖數(shù)據(jù)上的應(yīng)用,圖神經(jīng)網(wǎng)絡(luò)也同樣繼承了深度神經(jīng)網(wǎng)絡(luò)的脆弱性[12],如圖1所示,在圖中添加或刪除少量邊將導(dǎo)致模型產(chǎn)生錯(cuò)誤分類(lèi),隨著圖神經(jīng)網(wǎng)絡(luò)在實(shí)際生產(chǎn)環(huán)境的部署應(yīng)用[13],這種脆弱性引起了學(xué)術(shù)界和工業(yè)界的諸多擔(dān)憂(yōu)[14],例如在安全至關(guān)重要的金融系統(tǒng)中,攻擊者可能通過(guò)建立與高信用客戶(hù)的連接,達(dá)到繞過(guò)檢測(cè)系統(tǒng)并獲得更高的信用值的目的。

    圖1 微小擾動(dòng)導(dǎo)致節(jié)點(diǎn)的錯(cuò)誤分類(lèi)

    隨著人們對(duì)于圖模型安全性的關(guān)注,圖對(duì)抗攻擊的研究不斷取得新的進(jìn)展,但與針對(duì)傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)的攻擊相比,針對(duì)圖神經(jīng)網(wǎng)絡(luò)的對(duì)抗攻擊存在以下挑戰(zhàn):(1)與圖像等具有連續(xù)特征的歐式空間數(shù)據(jù)不同,圖數(shù)據(jù)的結(jié)構(gòu)信息和特征信息是離散的,因此設(shè)計(jì)有效的攻擊算法更具挑戰(zhàn)性;(2)由于圖數(shù)據(jù)在現(xiàn)實(shí)世界的廣泛存在,使得圖數(shù)據(jù)具有多種類(lèi)別,同時(shí),現(xiàn)實(shí)世界的圖可以包含數(shù)以千萬(wàn)計(jì)的節(jié)點(diǎn),如社交網(wǎng)絡(luò)等,圖數(shù)據(jù)的多樣性和大規(guī)模性對(duì)算法的時(shí)間和空間復(fù)雜度提出了更高的要求;(3)在圖像中,可以使用特定的距離函數(shù)來(lái)衡量人眼無(wú)法察覺(jué)的擾動(dòng)的大小,而在圖數(shù)據(jù)中,不僅難以定性擾動(dòng)是否可察覺(jué),而且定量的評(píng)估標(biāo)準(zhǔn)也亟待分析研究。

    隨著對(duì)圖對(duì)抗攻擊研究的深入,攻擊理論和模型已經(jīng)得到了迅速的發(fā)展,推動(dòng)圖對(duì)抗攻擊的研究,有助于提高對(duì)圖神經(jīng)網(wǎng)絡(luò)的更深層次的理解,提高模型的魯棒性與可解釋性,以促進(jìn)其更廣泛的應(yīng)用。本文對(duì)現(xiàn)有圖對(duì)抗攻擊研究進(jìn)行全面、系統(tǒng)的介紹,對(duì)不同攻擊算法的建模方法進(jìn)行比較和總結(jié),根據(jù)攻擊算法的不同攻擊策略進(jìn)行分類(lèi),并總結(jié)了圖對(duì)抗攻擊領(lǐng)域面臨的挑戰(zhàn)以及發(fā)展方向。

    1 定義與符號(hào)

    設(shè)圖G=(A,E),其中V={v1,v2,…,vn}表示圖中n個(gè)節(jié)點(diǎn)的集合,E表示圖中m條邊的集合,E中每個(gè)元素eij=(vi,vj)表示從節(jié)點(diǎn)vi到節(jié)點(diǎn)vj的邊;使用鄰接矩陣A∈Rn×n表示圖中節(jié)點(diǎn)間的連接,當(dāng)eij∈E時(shí)Aij=1,否則Aij=0;使用X∈Rn×d表示圖G上節(jié)點(diǎn)的特征矩陣,其中Xi∈Rd表示圖中第i個(gè)節(jié)點(diǎn)的d維特征。

    未添加擾動(dòng)的圖稱(chēng)為原始圖或干凈圖,而添加了擾動(dòng)ε后的圖稱(chēng)為擾動(dòng)圖或?qū)箻颖綠",擾動(dòng)ε的上限稱(chēng)為擾動(dòng)預(yù)算Δ,使用fθ*表示攻擊者訓(xùn)練得到的結(jié)構(gòu)和性能與被攻擊模型相似的代理模型,表1列示了本文常用符號(hào)及含義。

    表1 符號(hào)及說(shuō)明

    2 圖對(duì)抗攻擊概述

    根據(jù)攻擊者對(duì)目標(biāo)模型的了解,將攻擊分為白盒攻擊和黑盒攻擊,白盒攻擊是指攻擊者完全了解模型信息的情況下進(jìn)行的攻擊,黑盒攻擊則是指攻擊者部分了解甚至完全不了解目標(biāo)模型情況下進(jìn)行的攻擊;根據(jù)攻擊發(fā)生的不同階段,可以將攻擊分為逃逸攻擊和投毒攻擊,其中逃逸攻擊發(fā)生在模型測(cè)試階段,而投毒攻擊發(fā)生在模型訓(xùn)練階段[15];根據(jù)攻擊的目標(biāo),可以將攻擊分為定向攻擊和非定向攻擊,定向攻擊指攻擊后模型輸出攻擊預(yù)設(shè)值,非定向攻擊指攻擊后模型輸出任意錯(cuò)誤值;根據(jù)攻擊方式可以將攻擊分為拓?fù)涔艉吞卣鞴簦負(fù)涔敉ㄟ^(guò)修改圖結(jié)構(gòu)進(jìn)行攻擊,特征攻擊通過(guò)修改節(jié)點(diǎn)特征進(jìn)行攻擊[12]??偨Y(jié)現(xiàn)有圖對(duì)抗攻擊算法,使用以下定義描述圖對(duì)抗攻擊:

    定義1(圖對(duì)抗攻擊)圖對(duì)抗攻擊是指通過(guò)在圖G上添加微小擾動(dòng)ε,得到對(duì)抗樣本G",使模型性能大幅度下降:

    其中,y表示模型預(yù)測(cè)值或標(biāo)簽,fθ"表示攻擊模型,當(dāng)時(shí)表示逃逸攻擊,當(dāng)?=G"時(shí)表示投毒攻擊。給定擾動(dòng)預(yù)算Δ,使用函數(shù)D衡量擾動(dòng)圖和原始圖之間的差異,對(duì)于圖中擾動(dòng)量ε通過(guò)以下約束保證擾動(dòng)難以被察覺(jué):

    3 攻擊算法

    為了便于后續(xù)介紹,本文將圖對(duì)抗攻擊算法分為拓?fù)涔?、特征攻擊以及兼具拓?fù)涔艉吞卣鞴舴绞降幕旌瞎羧?lèi)進(jìn)行介紹,表2對(duì)比了典型攻擊算法。

    3.1 拓?fù)涔?/h3>

    拓?fù)涔粢卜Q(chēng)為結(jié)構(gòu)攻擊,在實(shí)際的攻擊操作中,攻擊者可以通過(guò)在圖中添加、刪除節(jié)點(diǎn)間的邊以達(dá)到降低模型性能的目的。

    RL-S2V[16]嚴(yán)格限制了攻擊者對(duì)目標(biāo)模型的了解,在此種黑盒攻擊設(shè)定下攻擊者不僅不了解模型,同時(shí)還假設(shè)攻擊者無(wú)法訪(fǎng)問(wèn)訓(xùn)練數(shù)據(jù)的標(biāo)簽信息,僅能依靠被攻擊模型的輸出作為反饋來(lái)修改圖結(jié)構(gòu)?;谏鲜黾僭O(shè),RL-S2V 將Q-learning[17]引入攻擊模型中,把攻擊過(guò)程建模為馬爾可夫決策過(guò)程(Markov Decision Process,MDP)。

    動(dòng)作at:在圖中添加或刪除邊,同時(shí)采用分層操作降低執(zhí)行此動(dòng)作的時(shí)間復(fù)雜度。

    狀態(tài)st:使用元組(G"t,va)表示t時(shí)刻的狀態(tài),其中va表示目標(biāo)節(jié)點(diǎn),G"t表示t時(shí)刻的擾動(dòng)圖。

    獎(jiǎng)勵(lì)函數(shù)r:由于攻擊者的目的是使目標(biāo)節(jié)點(diǎn)va被錯(cuò)誤分類(lèi),因此在修改圖的過(guò)程中獎(jiǎng)勵(lì)函數(shù)值始終為0,即r(st,at)=0,?t=1,2,…,m"-1,僅在終止時(shí)才獲得獎(jiǎng)勵(lì):

    終止?fàn)顟B(tài):當(dāng)修改邊的數(shù)量達(dá)到m"時(shí),算法終止。

    與RL-S2V[16]類(lèi)似,ReWatt[18]同樣將攻擊過(guò)程建模為MDP,但ReWatt 采用重連邊作為動(dòng)作at,具體而言,給定節(jié)點(diǎn)三元組(v0,v1,v2),刪除v0和v1之間邊的同時(shí)添加連接v0和v2的新邊,保證圖中節(jié)點(diǎn)和邊的總數(shù)不發(fā)生改變,此外,ReWatt使用不同的獎(jiǎng)勵(lì)函數(shù):

    其中,K表示預(yù)定義的重連邊的操作次數(shù),通過(guò)修改百分比p∈(0,1)可以靈活改變攻擊預(yù)算,與RL-S2V 僅在MDP 終止時(shí)獲得獎(jiǎng)勵(lì)不同,ReWatt 在攻擊成功時(shí)獎(jiǎng)勵(lì)正數(shù)得分,而在每次采取動(dòng)作時(shí)得到負(fù)數(shù)獎(jiǎng)勵(lì),算法在重連邊次數(shù)達(dá)到K次或成功修改了圖分類(lèi)模型的輸出標(biāo)簽時(shí)終止。

    表2 典型攻擊算法比較

    Q-Attack[19]是基于遺傳算法攻擊社團(tuán)探測(cè)模型的方法,采用與ReWatt相同的重連邊[18]攻擊策略作為基因編碼,攻擊的次數(shù)作為每個(gè)染色體的長(zhǎng)度,并且基于模塊度Q作為適應(yīng)度函數(shù)fit的設(shè)計(jì)基礎(chǔ):

    其中,s是列向量,每個(gè)元素si表示節(jié)點(diǎn)vi的社團(tuán)標(biāo)簽,式表明模塊度越低的個(gè)體其適應(yīng)度越高。EPA[20]為了節(jié)省存儲(chǔ)空間將重連邊的邊編號(hào)作為基因編碼,染色體在交叉過(guò)程中的長(zhǎng)度是可變的,同時(shí)在突變過(guò)程中結(jié)合圖的拓?fù)涮卣鬟M(jìn)行搜索,以快速獲得近似最優(yōu)解,其適應(yīng)度函數(shù)由衰減函數(shù)和攻擊效果評(píng)估函數(shù)構(gòu)成。

    同樣基于遺傳算法的EDA[21]用于攻擊圖嵌入模型,與Q-Attack[19]相同,將重連邊作為基因,適應(yīng)度函數(shù)為:

    其中,D(G,G")用于衡量擾動(dòng)圖和原始圖之間的歐式距離,EDA 的目標(biāo)是最大化嵌入空間中節(jié)點(diǎn)對(duì)間的歐式距離。

    給定圖G,F(xiàn)GA[22]計(jì)算目標(biāo)節(jié)點(diǎn)的損失函數(shù)值對(duì)每對(duì)節(jié)點(diǎn)的梯度信息,之后修改梯度絕對(duì)值最大的節(jié)點(diǎn)對(duì)間的邊,當(dāng)修改邊的數(shù)量到達(dá)擾動(dòng)預(yù)算時(shí),將修改后的圖作為對(duì)抗樣本。IGA[23]利用圖自動(dòng)編碼器的梯度信息,進(jìn)行迭代梯度攻擊以破壞鏈路預(yù)測(cè)模型,同時(shí)針對(duì)不同的實(shí)際環(huán)境可以對(duì)攻擊模型進(jìn)行不同限制。Sun等[24]將投影梯度下降(Projected Gradient Descent,PGD)引入圖對(duì)抗攻擊中,對(duì)無(wú)監(jiān)督節(jié)點(diǎn)嵌入算法進(jìn)行投毒攻擊,并在下游鏈路預(yù)測(cè)任務(wù)中證明了攻擊的有效性。Xu 等[25]將PGD 用于攻擊節(jié)點(diǎn)分類(lèi)模型,使用對(duì)稱(chēng)矩陣S={0,1}n×n來(lái)表征圖中的邊是否被修改,當(dāng)且僅當(dāng)Sij=Sji=1 時(shí)才修改節(jié)點(diǎn)vi和vj之間的連接,因此可以通過(guò)搜索最佳擾動(dòng)矩陣S得到對(duì)抗樣本,并且針對(duì)投毒攻擊和逃逸攻擊,分別提出了PGD拓?fù)涔艉蚼in-max拓?fù)涔簟km然同樣利用梯度信息進(jìn)行攻擊,但Chen等[26]認(rèn)為多數(shù)直接利用模型梯度信息的攻擊算法[12,22-23,25]易陷入局部最優(yōu)解,因此結(jié)合動(dòng)量法提出了MGA模型,使迭代過(guò)程更加穩(wěn)定。

    不同于利用模型梯度信息設(shè)計(jì)的攻擊算法,Bojchevski等[27]利用特征值擾動(dòng)理論評(píng)估了基于隨機(jī)游走的節(jié)點(diǎn)嵌入模型的脆弱性,通過(guò)在攻擊預(yù)算內(nèi)添加或刪除邊來(lái)降低節(jié)點(diǎn)嵌入的質(zhì)量,針對(duì)下游節(jié)點(diǎn)分類(lèi)和鏈路預(yù)測(cè)任務(wù)分別采用Aclass和Alink算法進(jìn)行攻擊;GF-Attack[28]使用圖信號(hào)處理方法描述圖嵌入,通過(guò)攻擊模型的圖濾波器修改邊,同時(shí)利用特征矩陣獲得對(duì)抗樣本,并在下游的節(jié)點(diǎn)分類(lèi)任務(wù)中較RL-S2V和Aclass具有更好的攻擊性能;Wang等[29]從基于協(xié)作分類(lèi)的圖分類(lèi)模型出發(fā),提出了利用LinLBP 生成對(duì)抗樣本的攻擊方法,并且實(shí)驗(yàn)證明了此攻擊可以轉(zhuǎn)移到基于圖神經(jīng)網(wǎng)絡(luò)的圖分類(lèi)模型中。受圖像上通用攻擊[30]的啟發(fā),Zang等[31]認(rèn)為圖中存在部分“錨節(jié)點(diǎn)”,通過(guò)修改“錨節(jié)點(diǎn)”與目標(biāo)節(jié)點(diǎn)的邊使目標(biāo)節(jié)點(diǎn)被錯(cuò)誤分類(lèi),而且這些“錨節(jié)點(diǎn)”可以通用于攻擊任何目標(biāo)節(jié)點(diǎn)。

    與傳統(tǒng)深度算法將元學(xué)習(xí)用于模型超參數(shù)優(yōu)化相反,Zügner等[32]提出的Metattack將輸入圖數(shù)據(jù)作為超參數(shù)進(jìn)行優(yōu)化以進(jìn)行黑盒設(shè)定下的投毒攻擊:

    元梯度▽mateG表示微小擾動(dòng)下模型訓(xùn)練后的損失Latk的變化。θ*是通過(guò)T次迭代獲得的模型參數(shù):

    其中α表示學(xué)習(xí)率,Ltrain表示訓(xùn)練損失。根據(jù)訓(xùn)練過(guò)程將元梯度展開(kāi)可以得到:

    為了緩解元梯度計(jì)算和存儲(chǔ)的高代價(jià),可以利用一階近似和啟發(fā)式算法簡(jiǎn)化元梯度的計(jì)算,得到元梯度▽mateG后,采用貪婪策略選擇添加或移除邊。

    在針對(duì)社交網(wǎng)絡(luò)的攻擊中,CD-Attack[33]首先利用圖神經(jīng)網(wǎng)絡(luò)和歸一化割設(shè)計(jì)社團(tuán)探測(cè)代理模型,然后設(shè)計(jì)滿(mǎn)足離散約束的圖生成網(wǎng)絡(luò),最后利用策略梯度法獲得對(duì)抗樣本,CD-Attack 還要求同時(shí)從局部相似度和全局相似度來(lái)保證擾動(dòng)的不可察覺(jué)性。為了在社交網(wǎng)絡(luò)中逃避基于相似度的鏈路預(yù)測(cè)算法的檢測(cè),DICE[34]同時(shí)刪除和添加節(jié)點(diǎn)間的連接,而基于啟發(fā)式的OTC 和CTR 算法則分別通過(guò)添加連接和刪除連接來(lái)隱藏社交關(guān)系[35],并通過(guò)實(shí)驗(yàn)證明了:刪除與現(xiàn)有朋友的連接(CTR)相比添加與新朋友的連接(OTC)能提供更好的掩飾性,Zhou等[36]通過(guò)刪除邊來(lái)最小化目標(biāo)鏈接的相似性,達(dá)到隱藏鏈接的目的。

    TGA[37]是針對(duì)動(dòng)態(tài)圖鏈路預(yù)測(cè)的第一個(gè)攻擊算法,其利用不同時(shí)刻的深度動(dòng)態(tài)圖嵌入的梯度信息進(jìn)行重連邊,使目標(biāo)鏈路無(wú)法被預(yù)測(cè)。與TGA 不同,F(xiàn)an 等[38]提出的動(dòng)態(tài)圖鏈路預(yù)測(cè)攻擊屬于黑盒設(shè)定下的逃逸攻擊,采用基于強(qiáng)化學(xué)習(xí)的算法,其基本策略和ReWatt[18]類(lèi)似,而獎(jiǎng)勵(lì)函數(shù)用式表示:

    其中,函數(shù)h衡量擾動(dòng)下的鏈路預(yù)測(cè)性能,errt表示時(shí)刻t錯(cuò)誤預(yù)測(cè)的鏈路數(shù),n"表示動(dòng)態(tài)圖序列中擾動(dòng)圖的數(shù)量。當(dāng)模型在狀態(tài)st+1的性能比狀態(tài)st差時(shí),獲得正獎(jiǎng)勵(lì)。

    3.2 特征攻擊

    相較于拓?fù)涔艉突旌瞎?,僅通過(guò)修改圖中節(jié)點(diǎn)的特征進(jìn)行特征攻擊的模型較少,但是特征攻擊并不會(huì)改變圖中節(jié)點(diǎn)數(shù),也并不修改節(jié)點(diǎn)間的邊,因此可以保持圖中重要的拓?fù)涮卣鳌?/p>

    基于標(biāo)簽傳播算法的思想,Liu 等[39]提出針對(duì)基于圖的半監(jiān)督學(xué)習(xí)模型的投毒攻擊的一般框架,并且基于梯度下降設(shè)計(jì)不同的算法用于回歸和分類(lèi)任務(wù)。

    文獻(xiàn)[40]考慮了圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)聚合鄰居信息的特性,通過(guò)擾動(dòng)目標(biāo)節(jié)點(diǎn)vi的k(k≥2)階鄰居進(jìn)行攻擊,定義投毒效率來(lái)查找擾動(dòng)節(jié)點(diǎn):

    其中,anc(vi,vj)表示以目標(biāo)節(jié)點(diǎn)vi為根節(jié)點(diǎn)的鄰居樹(shù)中vj的祖先節(jié)點(diǎn)集,φ1vi(η)=1。在候選節(jié)點(diǎn)集中選擇投毒效率最高的節(jié)點(diǎn)構(gòu)造特征擾動(dòng)。

    3.3 混合攻擊

    混合攻擊可以綜合利用拓?fù)涔襞c特征攻擊的攻擊操作,更進(jìn)一步攻擊者可以偽造新節(jié)點(diǎn)注入圖中,并添加偽造節(jié)點(diǎn)與原始圖中節(jié)點(diǎn)之間的邊。

    針對(duì)圖數(shù)據(jù)的早期攻擊[41]通過(guò)在原始圖中注入節(jié)點(diǎn)和邊攻擊圖聚類(lèi)算法。Nettack[12]是第一個(gè)在屬性圖上進(jìn)行對(duì)抗攻擊的黑盒攻擊模型,在節(jié)點(diǎn)分類(lèi)任務(wù)中,給定目標(biāo)節(jié)點(diǎn)vi,Nettack的目標(biāo)是通過(guò)代理模型,修改圖G尋找對(duì)抗樣本G",使得

    其中,Z表示模型輸出的分類(lèi)概率,yold和y分別是基于圖G和對(duì)抗樣本G"得到的va的類(lèi)別,算法的目標(biāo)是將va的預(yù)測(cè)類(lèi)別yold變?yōu)閥,并使得兩者的對(duì)數(shù)概率距離最大化。為了保證擾動(dòng)的不可察覺(jué)性,Nettack 除了保證攻擊滿(mǎn)足等式外,同時(shí)需要保留圖的數(shù)據(jù)特征。Entezari 等[42]進(jìn)一步研究了Nettack[12]擾動(dòng),表明其攻擊修改了圖的高階譜,并提出了構(gòu)建低秩矩陣擾動(dòng)原始圖的LowBlow攻擊方法。

    Wang等[43]利用貪婪算法在圖中注入虛假節(jié)點(diǎn)以降低GCN性能,同時(shí)為了保證虛假節(jié)點(diǎn)的特征足夠逼真,利用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)思想提出了Greedy-GAN 算法,添加鑒別器使生成節(jié)點(diǎn)特征與原始圖中節(jié)點(diǎn)特征相似。

    基于梯度的攻擊在圖像對(duì)抗攻擊中應(yīng)用廣泛,典型算法包括利用損失函數(shù)梯度的FGSM(Fast Gradient Sign Method)[44]和模型輸出梯度的JSMA(Jacobianbased Saliency Map Approach)[15],Wu 等[45]在此基礎(chǔ)上利用積分梯度(Integrated Gradients,IG)解決了圖神經(jīng)網(wǎng)絡(luò)的離散輸入問(wèn)題,通過(guò)式計(jì)算IG得分(以拓?fù)涔魹槔?,特征攻擊可以通過(guò)簡(jiǎn)單修改獲得),對(duì)于定向攻擊,優(yōu)化目標(biāo)是最大化F的值,而非定向攻擊則修改具有高IG得分的節(jié)點(diǎn)特征或邊。

    當(dāng)F=L 時(shí),稱(chēng)攻擊為IG-FGSM,當(dāng)F=fθ時(shí),稱(chēng)攻擊為IG-JSMA。

    NIPA[46]是另一種基于強(qiáng)化學(xué)習(xí)的攻擊模型,但與RL-S2V[16]修改原始圖中節(jié)點(diǎn)之間的邊作為動(dòng)作at構(gòu)建MDP 的方式不同,NIPA 將at定義為虛假節(jié)點(diǎn)注入或在虛假節(jié)點(diǎn)與原始圖中節(jié)點(diǎn)之間添加邊,獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)為:

    其中At表示時(shí)刻t測(cè)試集中節(jié)點(diǎn)標(biāo)簽與模型預(yù)測(cè)標(biāo)簽不同的節(jié)點(diǎn)數(shù)占測(cè)試集中所有節(jié)點(diǎn)的比例。NIPA攻擊方法得到的擾動(dòng)圖與原始圖在包括基尼系數(shù)和分布熵在內(nèi)的多種屬性上都是相似的。

    GTA[47]是首個(gè)針對(duì)圖神經(jīng)網(wǎng)絡(luò)的后門(mén)攻擊模型,使所有含有觸發(fā)器的輸入被木馬模型fθ"錯(cuò)誤分類(lèi)。GTA將攻擊中的觸發(fā)器gt定義為子圖,并且針對(duì)不同圖定制不同觸發(fā)器。通過(guò)給定圖G與觸發(fā)器gt混合得到擾動(dòng)樣本G",攻擊的目標(biāo)為:

    其中,fθo表示預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò),h表示微調(diào)后的分類(lèi)器,將帶有觸發(fā)器的對(duì)抗樣本錯(cuò)誤分類(lèi)到指定類(lèi)別yt,同時(shí)確保原始圖在原始模型和木馬模型中具有相同的分類(lèi)結(jié)果。Zhang等[48]對(duì)圖數(shù)據(jù)上的后門(mén)攻擊進(jìn)行了更深入的研究,提出了用于描述后門(mén)攻擊的具體參數(shù),并使用隨機(jī)子圖作為觸發(fā)器以逃避檢測(cè)系統(tǒng)。

    針對(duì)圖神經(jīng)網(wǎng)絡(luò)的不同實(shí)際應(yīng)用,Zhang 等[49]評(píng)估了知識(shí)圖譜嵌入(Knowledge Graph Embedding,KGE)模型的脆弱性,通過(guò)添加或刪除KGE 訓(xùn)練集中特定的知識(shí)實(shí)體進(jìn)行投毒攻擊,從而改變目標(biāo)事實(shí)的合理性;HG-Attack[50]是針對(duì)惡意軟件檢測(cè)系統(tǒng)的攻擊算法,通過(guò)注入惡意應(yīng)用程序,使惡意軟件繞過(guò)檢測(cè)系統(tǒng)被分類(lèi)為正常應(yīng)用程序;不同于構(gòu)造虛假用戶(hù)注入數(shù)據(jù)集攻擊推薦系統(tǒng)[51],CopyAttack[52]通過(guò)復(fù)制源推薦系統(tǒng)的用戶(hù)資料,利用強(qiáng)化學(xué)習(xí)選擇和修改用戶(hù)資料,得到可用于注入目標(biāo)推薦系統(tǒng)的用戶(hù)資料;Fang等[51]證明了即使在部署了檢測(cè)虛假用戶(hù)的推薦系統(tǒng)中,大部分虛假用戶(hù)仍然能夠繞過(guò)檢測(cè)。

    4 圖對(duì)抗攻擊面臨的挑戰(zhàn)

    雖然圖對(duì)抗攻擊已經(jīng)取得諸多進(jìn)展,但在以下方面仍存在挑戰(zhàn)。

    (1)應(yīng)用的多樣性:隨著對(duì)攻擊算法原理與實(shí)現(xiàn)研究的深入,對(duì)于鏈路預(yù)測(cè)等任務(wù)的對(duì)抗攻擊開(kāi)始逐步推進(jìn),但是目前多數(shù)攻擊模型都集中于節(jié)點(diǎn)分類(lèi)任務(wù),針對(duì)圖分類(lèi)、推薦系統(tǒng)、社團(tuán)探測(cè)等任務(wù)的攻擊模型仍缺乏全面深入的研究,表3總結(jié)了攻擊算法在各種學(xué)習(xí)任務(wù)中的應(yīng)用。

    表3 攻擊算法的應(yīng)用

    (2)攻擊的可擴(kuò)展性:圖對(duì)抗攻擊領(lǐng)域的可擴(kuò)展性是指算法在不同規(guī)模和不同類(lèi)型的圖上的適用性,具有高擴(kuò)展性的算法通過(guò)較少改動(dòng)甚至無(wú)需改動(dòng)就可以應(yīng)用于大規(guī)模或其他不同類(lèi)型的圖,時(shí)間復(fù)雜度是衡量攻擊算法可擴(kuò)展性的重要方面,表4展示了典型算法的時(shí)間復(fù)雜度,部分文獻(xiàn)設(shè)計(jì)了針對(duì)大規(guī)模圖的攻擊[29,43];針對(duì)動(dòng)態(tài)圖的攻擊上也出現(xiàn)了行之有效的算法[37-38],但目前多數(shù)攻擊算法都是針對(duì)靜態(tài)圖進(jìn)行設(shè)計(jì)的。將攻擊擴(kuò)展到大規(guī)模圖,動(dòng)態(tài)圖和異構(gòu)圖是仍是具有挑戰(zhàn)性的任務(wù)。

    表4 典型攻擊算法的時(shí)間復(fù)雜度

    (3)攻擊的可轉(zhuǎn)移性:可擴(kuò)展性主要針對(duì)數(shù)據(jù)集的規(guī)模和類(lèi)型,而可轉(zhuǎn)移性[12,19-24]是指針對(duì)一種模型設(shè)計(jì)的對(duì)抗樣本也可用于攻擊其他模型,可轉(zhuǎn)移性是多數(shù)黑盒算法設(shè)計(jì)的依據(jù),利用可轉(zhuǎn)移性設(shè)計(jì)代理模型,得到的對(duì)抗樣本使其他模型性能遭到破壞,但是訓(xùn)練代理模型要求擁有被攻擊模型的訓(xùn)練集,如何在少樣本甚至零樣本情況下獲得對(duì)抗樣本是一個(gè)重要的研究方向。

    (4)攻擊的通用性:指將針對(duì)一個(gè)目標(biāo)上進(jìn)行的擾動(dòng)操作,應(yīng)用于其他目標(biāo)也具有相同或類(lèi)似的攻擊效果,圖像領(lǐng)域的通用攻擊已經(jīng)取得了重要進(jìn)展[30],而對(duì)圖數(shù)據(jù)通用性攻擊的研究才剛剛起步[31]。能否對(duì)所有攻擊目標(biāo)設(shè)計(jì)通用的擾動(dòng)操作、降低擾動(dòng)設(shè)計(jì)的代價(jià),是亟待研究的問(wèn)題。

    (5)攻擊的可行性:在現(xiàn)實(shí)系統(tǒng)中,攻擊模型往往面臨著更多復(fù)雜的限制,而攻擊的可行性取決于攻擊模型架構(gòu)設(shè)置的合理性,主要包括:①攻擊算法假定的對(duì)被攻擊模型及數(shù)據(jù)集的了解;②攻擊在真實(shí)環(huán)境中是否可行。多數(shù)黑盒算法[12,32-33,46]假定攻擊者可以利用原始圖數(shù)據(jù)集訓(xùn)練代理模型生成擾動(dòng)圖,實(shí)際生產(chǎn)環(huán)境中,圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集并不會(huì)公開(kāi);即使在嚴(yán)格受限的黑盒攻擊設(shè)定下(攻擊者僅能獲取被攻擊模型的輸出)[16,27-28],頻繁查詢(xún)模型的輸出結(jié)果,也將引起防御機(jī)制的察覺(jué),對(duì)攻擊算法的限制條件越多,其相應(yīng)的危害也越大;另一方面,白盒攻擊[37,45]的設(shè)定雖然在真實(shí)環(huán)境中并不合理,但是分析目標(biāo)模型在最壞情況下的脆弱性,有助于提到對(duì)圖神經(jīng)網(wǎng)絡(luò)的理解。同時(shí)在真實(shí)系統(tǒng)中,并不能保證擾動(dòng)的有效性和隱蔽性,例如在社交網(wǎng)絡(luò)中,并不能輕易獲得與陌生人間連接的許可[35];在推薦系統(tǒng)中,插入過(guò)多虛假節(jié)點(diǎn)可能會(huì)因破壞原始圖屬性[52]引起檢測(cè)系統(tǒng)的警覺(jué)。

    (6)擾動(dòng)的度量標(biāo)準(zhǔn):在圖像數(shù)據(jù)中可以通過(guò)人眼觀察定性擾動(dòng)是否可察覺(jué)、通過(guò)距離函數(shù)定量衡量擾動(dòng)量大小,但在圖數(shù)據(jù)中由于節(jié)點(diǎn)間的關(guān)聯(lián)性,難以確定擾動(dòng)是否足夠隱蔽,同時(shí)實(shí)際的擾動(dòng)操作具有不同的難度,例如在圖中修改現(xiàn)有節(jié)點(diǎn)與注入虛假節(jié)點(diǎn)難度差距較大?,F(xiàn)有算法針對(duì)不同場(chǎng)景提出不同的度量標(biāo)準(zhǔn),缺乏對(duì)擾動(dòng)隱蔽性和擾動(dòng)難度的系統(tǒng)研究。

    5 結(jié)束語(yǔ)

    盡管圖神經(jīng)網(wǎng)絡(luò)在多種任務(wù)中都有著出色的表現(xiàn),但與其他深度學(xué)習(xí)模型一樣易受到微小擾動(dòng)的損害,導(dǎo)致模型性能的嚴(yán)重下降,引發(fā)安全和隱私問(wèn)題。本文通過(guò)對(duì)圖對(duì)抗攻擊算法進(jìn)行全面、系統(tǒng)的歸類(lèi)分析,總結(jié)不同算法的實(shí)現(xiàn)、應(yīng)用及其優(yōu)缺點(diǎn),并分析了當(dāng)前圖對(duì)抗攻擊領(lǐng)域面臨的挑戰(zhàn),未來(lái)的圖對(duì)抗攻擊研究包含以下方面:

    (1)在更廣泛的學(xué)習(xí)任務(wù)和圖數(shù)據(jù)類(lèi)型中研究圖對(duì)抗攻擊的有效性和適用性,設(shè)計(jì)可以用于多種任務(wù)和圖數(shù)據(jù)類(lèi)型的攻擊模型,產(chǎn)生與特定任務(wù)無(wú)關(guān)的對(duì)抗樣本以進(jìn)行更廣泛的攻擊;分析包括異構(gòu)圖、動(dòng)態(tài)圖等在內(nèi)的復(fù)雜圖數(shù)據(jù)類(lèi)型的特征,并設(shè)計(jì)行之有效的攻擊算法。

    (2)提高算法的效率,目前多數(shù)攻擊模型產(chǎn)生對(duì)抗樣本過(guò)程中,需要存儲(chǔ)大量梯度信息和圖數(shù)據(jù)的中間狀態(tài),因此會(huì)耗費(fèi)大量計(jì)算和存儲(chǔ)資源,但現(xiàn)實(shí)世界的圖數(shù)據(jù)往往是大規(guī)模和動(dòng)態(tài)的,因此設(shè)計(jì)算法必須考慮計(jì)算復(fù)雜度。

    (3)提高模型的實(shí)用性,算法的實(shí)用性不僅要求算法的有效性和高效性,同時(shí)針對(duì)實(shí)際攻擊而言,攻擊者往往受到更多的限制,包括模型與數(shù)據(jù)集的限制,因此在復(fù)雜受限的現(xiàn)實(shí)環(huán)境中進(jìn)行攻擊需要更深入的研究,同時(shí)攻擊算法應(yīng)當(dāng)在更廣泛的數(shù)據(jù)集上進(jìn)行驗(yàn)證。

    (4)構(gòu)建統(tǒng)一的圖對(duì)抗攻擊算法的綜合評(píng)價(jià)體系,縱觀現(xiàn)有圖對(duì)抗攻擊,對(duì)于擾動(dòng)量的度量以及模型效果的評(píng)價(jià)存在不同標(biāo)準(zhǔn),需要更加通用的指標(biāo)來(lái)度量不可察覺(jué)性,完善的指標(biāo)能夠更加全面地衡量算法的優(yōu)劣,提高擾動(dòng)樣本的可解釋性。

    2022亚洲国产成人精品| 国产亚洲午夜精品一区二区久久| 亚洲欧美日韩卡通动漫| 国产无遮挡羞羞视频在线观看| 国产伦精品一区二区三区四那| 久久久久国产网址| 99热国产这里只有精品6| 我要看日韩黄色一级片| 春色校园在线视频观看| a级毛色黄片| av黄色大香蕉| 赤兔流量卡办理| 国产伦在线观看视频一区| 不卡视频在线观看欧美| 高清午夜精品一区二区三区| 国产成人精品久久久久久| 成人毛片a级毛片在线播放| 婷婷色麻豆天堂久久| 汤姆久久久久久久影院中文字幕| 国产一区二区三区av在线| 爱豆传媒免费全集在线观看| 五月天丁香电影| 一级爰片在线观看| av网站免费在线观看视频| 国产 一区精品| 天堂中文最新版在线下载| 18禁裸乳无遮挡免费网站照片| 狂野欧美激情性xxxx在线观看| 久久97久久精品| 99久久综合免费| 国产老妇伦熟女老妇高清| 国产v大片淫在线免费观看| 国产精品一区www在线观看| 九九久久精品国产亚洲av麻豆| www.色视频.com| 亚洲伊人久久精品综合| 黑人猛操日本美女一级片| 最后的刺客免费高清国语| 国产 精品1| 中文在线观看免费www的网站| 在线亚洲精品国产二区图片欧美 | 亚洲综合色惰| 夫妻午夜视频| 身体一侧抽搐| 高清黄色对白视频在线免费看 | 亚洲成人手机| 最近最新中文字幕大全电影3| 人体艺术视频欧美日本| 日韩中文字幕视频在线看片 | 国产精品国产三级专区第一集| 97在线视频观看| 乱系列少妇在线播放| 成人美女网站在线观看视频| 亚洲精品乱码久久久v下载方式| 人人妻人人爽人人添夜夜欢视频 | 少妇被粗大猛烈的视频| 久久久久久久精品精品| 国产爽快片一区二区三区| 女性生殖器流出的白浆| 免费不卡的大黄色大毛片视频在线观看| 亚洲婷婷狠狠爱综合网| 国产免费又黄又爽又色| 亚洲精品日韩在线中文字幕| 青春草亚洲视频在线观看| 麻豆乱淫一区二区| 日本黄色日本黄色录像| 久久精品国产自在天天线| 啦啦啦视频在线资源免费观看| 国产欧美日韩一区二区三区在线 | 中文资源天堂在线| 最黄视频免费看| 91久久精品国产一区二区成人| 久久久久久久大尺度免费视频| 免费看光身美女| 深夜a级毛片| 视频中文字幕在线观看| 成人二区视频| 欧美日韩综合久久久久久| 国产精品国产三级国产av玫瑰| 99久久精品国产国产毛片| 在线观看一区二区三区激情| 中文天堂在线官网| 噜噜噜噜噜久久久久久91| 三级国产精品片| 欧美激情国产日韩精品一区| 日韩制服骚丝袜av| 女性被躁到高潮视频| 久久精品熟女亚洲av麻豆精品| 午夜福利高清视频| 偷拍熟女少妇极品色| 国产乱来视频区| 亚洲无线观看免费| 菩萨蛮人人尽说江南好唐韦庄| videossex国产| 乱码一卡2卡4卡精品| 欧美xxⅹ黑人| 久久影院123| 啦啦啦啦在线视频资源| av天堂中文字幕网| 菩萨蛮人人尽说江南好唐韦庄| 又粗又硬又长又爽又黄的视频| 十八禁网站网址无遮挡 | h视频一区二区三区| 国产伦在线观看视频一区| 欧美最新免费一区二区三区| 欧美精品人与动牲交sv欧美| 少妇人妻一区二区三区视频| 十分钟在线观看高清视频www | av免费在线看不卡| 毛片一级片免费看久久久久| 精品一区二区三卡| 欧美日韩在线观看h| 男女边吃奶边做爰视频| 丰满乱子伦码专区| 亚洲无线观看免费| 国产成人精品久久久久久| 国产真实伦视频高清在线观看| 亚洲av福利一区| 国产免费一区二区三区四区乱码| 天堂俺去俺来也www色官网| 一级爰片在线观看| 伦理电影大哥的女人| 少妇人妻一区二区三区视频| 在线观看国产h片| 麻豆成人午夜福利视频| 精品亚洲成国产av| 免费人成在线观看视频色| 激情 狠狠 欧美| 一区二区三区乱码不卡18| 久久久久久久大尺度免费视频| 欧美+日韩+精品| 久久人妻熟女aⅴ| 少妇人妻一区二区三区视频| 欧美少妇被猛烈插入视频| 春色校园在线视频观看| 亚洲美女搞黄在线观看| 在线播放无遮挡| 国产精品一区二区性色av| 精品一区二区免费观看| 老司机影院成人| 免费看不卡的av| 亚洲精品日韩av片在线观看| 国产精品嫩草影院av在线观看| 国产av一区二区精品久久 | 中国国产av一级| 晚上一个人看的免费电影| 成人午夜精彩视频在线观看| 亚洲精品自拍成人| 亚洲精品久久午夜乱码| 亚洲精品中文字幕在线视频 | 天堂中文最新版在线下载| 麻豆国产97在线/欧美| 美女高潮的动态| 国产白丝娇喘喷水9色精品| 99久久精品热视频| 五月天丁香电影| 日韩成人伦理影院| 97超视频在线观看视频| 国产精品伦人一区二区| 久久人妻熟女aⅴ| 久久影院123| 老熟女久久久| 黄片无遮挡物在线观看| 国产老妇伦熟女老妇高清| 亚洲无线观看免费| 日本vs欧美在线观看视频 | 18+在线观看网站| 久久99蜜桃精品久久| av国产久精品久网站免费入址| 精品一区二区三卡| 国产伦精品一区二区三区视频9| 国产精品嫩草影院av在线观看| 中国美白少妇内射xxxbb| 亚洲国产av新网站| 久久精品国产亚洲网站| 永久网站在线| 91精品国产国语对白视频| 夜夜爽夜夜爽视频| 最近2019中文字幕mv第一页| 青春草视频在线免费观看| 国产精品无大码| 97热精品久久久久久| 又爽又黄a免费视频| 国产免费福利视频在线观看| 亚洲欧美日韩卡通动漫| 亚洲精华国产精华液的使用体验| 亚洲美女搞黄在线观看| 久久久久久九九精品二区国产| 观看美女的网站| 观看免费一级毛片| 欧美bdsm另类| 久久久久性生活片| 欧美xxⅹ黑人| 嫩草影院新地址| 亚洲av在线观看美女高潮| 看免费成人av毛片| 男女下面进入的视频免费午夜| 大片电影免费在线观看免费| 国内少妇人妻偷人精品xxx网站| 十分钟在线观看高清视频www | 性色av一级| 国产视频内射| 在线精品无人区一区二区三 | 干丝袜人妻中文字幕| 另类亚洲欧美激情| 男人舔奶头视频| 国产视频首页在线观看| 狂野欧美激情性bbbbbb| 欧美97在线视频| 国产女主播在线喷水免费视频网站| 午夜激情久久久久久久| 亚洲精品日本国产第一区| 日韩视频在线欧美| 亚洲精品aⅴ在线观看| 高清av免费在线| av女优亚洲男人天堂| 男女无遮挡免费网站观看| 国产免费一级a男人的天堂| 大片电影免费在线观看免费| 黄色视频在线播放观看不卡| 亚洲人成网站在线观看播放| 日韩一本色道免费dvd| 欧美国产精品一级二级三级 | 精品亚洲乱码少妇综合久久| 麻豆成人av视频| 日本色播在线视频| 亚洲aⅴ乱码一区二区在线播放| 狠狠精品人妻久久久久久综合| h日本视频在线播放| 久久久久久伊人网av| 毛片女人毛片| 欧美97在线视频| 久久久亚洲精品成人影院| 激情五月婷婷亚洲| 天堂俺去俺来也www色官网| 亚洲久久久国产精品| 看非洲黑人一级黄片| 一二三四中文在线观看免费高清| 妹子高潮喷水视频| 人妻制服诱惑在线中文字幕| 国内揄拍国产精品人妻在线| 精品久久久久久久末码| 老女人水多毛片| 人妻夜夜爽99麻豆av| 免费av中文字幕在线| 一级黄片播放器| 国产伦理片在线播放av一区| 日本色播在线视频| 大片免费播放器 马上看| 精品亚洲成a人片在线观看 | 人妻少妇偷人精品九色| 欧美变态另类bdsm刘玥| 日产精品乱码卡一卡2卡三| 天堂8中文在线网| 亚洲国产成人一精品久久久| av天堂中文字幕网| 亚洲国产欧美在线一区| 韩国av在线不卡| 日韩,欧美,国产一区二区三区| 观看av在线不卡| 欧美日韩国产mv在线观看视频 | 国产亚洲91精品色在线| 日日摸夜夜添夜夜爱| 久久99热6这里只有精品| 国产免费又黄又爽又色| 久久久久国产网址| 久久久久久久久大av| 热99国产精品久久久久久7| av视频免费观看在线观看| 汤姆久久久久久久影院中文字幕| 一级毛片久久久久久久久女| 中文字幕免费在线视频6| 人体艺术视频欧美日本| 有码 亚洲区| 免费黄色在线免费观看| 黄色配什么色好看| 精品国产乱码久久久久久小说| 欧美成人一区二区免费高清观看| 国产一区有黄有色的免费视频| 国产爱豆传媒在线观看| 亚洲av电影在线观看一区二区三区| 成人二区视频| h日本视频在线播放| 国产亚洲午夜精品一区二区久久| 国产精品99久久99久久久不卡 | 五月玫瑰六月丁香| 毛片一级片免费看久久久久| 欧美一级a爱片免费观看看| 2022亚洲国产成人精品| 亚洲色图综合在线观看| 蜜桃亚洲精品一区二区三区| 熟女电影av网| 18禁裸乳无遮挡动漫免费视频| 97精品久久久久久久久久精品| 麻豆成人av视频| 一区二区av电影网| 中文字幕精品免费在线观看视频 | 亚洲电影在线观看av| 观看av在线不卡| 国产有黄有色有爽视频| av又黄又爽大尺度在线免费看| 水蜜桃什么品种好| 亚洲,欧美,日韩| av国产免费在线观看| 欧美日韩国产mv在线观看视频 | 国产极品天堂在线| 下体分泌物呈黄色| 日韩成人伦理影院| 亚洲成人中文字幕在线播放| 午夜福利视频精品| 国产成人a区在线观看| av播播在线观看一区| 最近2019中文字幕mv第一页| 22中文网久久字幕| 精品一区二区三区视频在线| 高清黄色对白视频在线免费看 | 一个人免费看片子| 日日撸夜夜添| 老师上课跳d突然被开到最大视频| 看非洲黑人一级黄片| 男人狂女人下面高潮的视频| 日本色播在线视频| 特大巨黑吊av在线直播| 26uuu在线亚洲综合色| 美女视频免费永久观看网站| 亚洲天堂av无毛| 天堂俺去俺来也www色官网| 91午夜精品亚洲一区二区三区| 五月天丁香电影| 欧美三级亚洲精品| 中文字幕精品免费在线观看视频 | 麻豆乱淫一区二区| 2022亚洲国产成人精品| 久久99热6这里只有精品| 国产黄色免费在线视频| 麻豆精品久久久久久蜜桃| 亚洲精品视频女| 黄色视频在线播放观看不卡| 亚洲一区二区三区欧美精品| 国产精品国产三级国产专区5o| 亚洲精品亚洲一区二区| 亚洲精品第二区| av网站免费在线观看视频| 亚洲精品日本国产第一区| 亚洲欧美一区二区三区黑人 | 免费人成在线观看视频色| 亚洲国产欧美在线一区| 成年女人在线观看亚洲视频| 国产亚洲午夜精品一区二区久久| 久久毛片免费看一区二区三区| 少妇的逼好多水| 男女无遮挡免费网站观看| 中文精品一卡2卡3卡4更新| 精品人妻一区二区三区麻豆| 亚洲一级一片aⅴ在线观看| 又爽又黄a免费视频| 日本vs欧美在线观看视频 | 精品国产一区二区三区久久久樱花 | 91久久精品国产一区二区成人| 欧美激情国产日韩精品一区| 91在线精品国自产拍蜜月| 国产一区二区三区综合在线观看 | 你懂的网址亚洲精品在线观看| 丰满少妇做爰视频| 成年美女黄网站色视频大全免费 | 欧美xxxx黑人xx丫x性爽| 国产白丝娇喘喷水9色精品| 国产免费视频播放在线视频| 亚洲av二区三区四区| 欧美成人a在线观看| 久久久久国产网址| 久久午夜福利片| 国产成人freesex在线| 又粗又硬又长又爽又黄的视频| 美女视频免费永久观看网站| 最近中文字幕2019免费版| 多毛熟女@视频| 国产乱来视频区| 国产精品一区二区三区四区免费观看| 丰满人妻一区二区三区视频av| 亚洲四区av| 亚洲在久久综合| 18禁裸乳无遮挡动漫免费视频| 99热全是精品| 熟女电影av网| 综合色丁香网| 青春草视频在线免费观看| 欧美日韩在线观看h| 精品久久久精品久久久| 欧美日本视频| 亚洲伊人久久精品综合| 国产精品一二三区在线看| 看十八女毛片水多多多| 男女边吃奶边做爰视频| 欧美成人精品欧美一级黄| 免费观看在线日韩| 国模一区二区三区四区视频| 在线天堂最新版资源| 婷婷色综合www| 亚洲av日韩在线播放| 亚洲国产色片| 国产亚洲5aaaaa淫片| 啦啦啦啦在线视频资源| 日本色播在线视频| 久久精品国产鲁丝片午夜精品| 少妇人妻 视频| 国产乱人偷精品视频| 亚洲美女视频黄频| 直男gayav资源| 久久久成人免费电影| 精品人妻一区二区三区麻豆| 久久久国产一区二区| 国产欧美日韩精品一区二区| 在线观看国产h片| kizo精华| 亚洲,一卡二卡三卡| 美女中出高潮动态图| 又大又黄又爽视频免费| 欧美极品一区二区三区四区| 免费播放大片免费观看视频在线观看| 久久99热6这里只有精品| 纵有疾风起免费观看全集完整版| 三级国产精品片| 观看av在线不卡| 直男gayav资源| 我的女老师完整版在线观看| av专区在线播放| 噜噜噜噜噜久久久久久91| 欧美人与善性xxx| av在线播放精品| 老司机影院毛片| av国产久精品久网站免费入址| 肉色欧美久久久久久久蜜桃| 国产精品99久久99久久久不卡 | 国产高潮美女av| 国产片特级美女逼逼视频| 男女啪啪激烈高潮av片| 国产精品久久久久久精品古装| 精品国产乱码久久久久久小说| 亚洲国产精品国产精品| 老司机影院成人| 国产黄片美女视频| 亚洲国产最新在线播放| 纵有疾风起免费观看全集完整版| 日本黄色片子视频| 日韩精品有码人妻一区| 国产精品麻豆人妻色哟哟久久| 日本猛色少妇xxxxx猛交久久| 蜜桃在线观看..| 午夜免费鲁丝| 国产男女超爽视频在线观看| 99久国产av精品国产电影| 寂寞人妻少妇视频99o| 在线 av 中文字幕| 久久99精品国语久久久| 欧美高清性xxxxhd video| 国产色爽女视频免费观看| 又粗又硬又长又爽又黄的视频| a级一级毛片免费在线观看| 视频中文字幕在线观看| 人体艺术视频欧美日本| 最近2019中文字幕mv第一页| 精品久久久久久久久亚洲| videos熟女内射| 亚洲国产欧美人成| 看免费成人av毛片| 国内精品宾馆在线| 亚洲精品久久久久久婷婷小说| 欧美日韩亚洲高清精品| 中国三级夫妇交换| 亚洲精品一二三| 青青草视频在线视频观看| 成人免费观看视频高清| 色婷婷久久久亚洲欧美| 欧美精品一区二区免费开放| 涩涩av久久男人的天堂| 多毛熟女@视频| 亚洲最大成人中文| 国内精品宾馆在线| 黄片无遮挡物在线观看| 精品亚洲成a人片在线观看 | 另类亚洲欧美激情| 国精品久久久久久国模美| av.在线天堂| 午夜激情福利司机影院| 一区二区三区精品91| 妹子高潮喷水视频| 丰满人妻一区二区三区视频av| 小蜜桃在线观看免费完整版高清| 久久 成人 亚洲| 身体一侧抽搐| 亚洲成人一二三区av| 七月丁香在线播放| 在线播放无遮挡| 六月丁香七月| 午夜福利高清视频| 午夜精品国产一区二区电影| 最近最新中文字幕免费大全7| 国产av一区二区精品久久 | 欧美老熟妇乱子伦牲交| 国产免费一区二区三区四区乱码| 在线观看av片永久免费下载| 99热这里只有精品一区| 一边亲一边摸免费视频| 国产成人freesex在线| 99久久精品国产国产毛片| 只有这里有精品99| 老师上课跳d突然被开到最大视频| 久久久精品94久久精品| 少妇高潮的动态图| 大片免费播放器 马上看| 国产精品一区二区在线观看99| 一二三四中文在线观看免费高清| 国产成人精品福利久久| 最近中文字幕高清免费大全6| 秋霞伦理黄片| 日韩三级伦理在线观看| 老师上课跳d突然被开到最大视频| 日韩伦理黄色片| 尤物成人国产欧美一区二区三区| 亚洲欧洲国产日韩| 国产91av在线免费观看| 精华霜和精华液先用哪个| 亚洲成人一二三区av| 精品人妻视频免费看| 国产精品蜜桃在线观看| 欧美日韩精品成人综合77777| 免费看日本二区| 五月伊人婷婷丁香| 国产91av在线免费观看| 日本wwww免费看| 欧美成人午夜免费资源| 国产成人91sexporn| 久久久a久久爽久久v久久| 色吧在线观看| 久久久a久久爽久久v久久| av又黄又爽大尺度在线免费看| 成人综合一区亚洲| 97在线视频观看| 熟女av电影| 久久久久久久精品精品| 欧美激情极品国产一区二区三区 | av在线app专区| 在线观看国产h片| 国产有黄有色有爽视频| 免费看av在线观看网站| 777米奇影视久久| 十八禁网站网址无遮挡 | 免费人成在线观看视频色| 亚洲欧美日韩卡通动漫| 久久热精品热| 精品亚洲乱码少妇综合久久| 成人18禁高潮啪啪吃奶动态图 | 欧美一级a爱片免费观看看| 久久精品久久精品一区二区三区| 纵有疾风起免费观看全集完整版| 国产爽快片一区二区三区| 97在线视频观看| 国产高清不卡午夜福利| 麻豆精品久久久久久蜜桃| 一本色道久久久久久精品综合| 国产精品99久久久久久久久| 在现免费观看毛片| 婷婷色综合大香蕉| 成人综合一区亚洲| 午夜福利视频精品| 日产精品乱码卡一卡2卡三| 精品亚洲成国产av| 最近中文字幕高清免费大全6| 日韩欧美 国产精品| 亚洲美女搞黄在线观看| 国产精品一区二区在线不卡| av.在线天堂| 女的被弄到高潮叫床怎么办| 精品久久久久久久久av| av天堂中文字幕网| 美女高潮的动态| 又粗又硬又长又爽又黄的视频| 性高湖久久久久久久久免费观看| 秋霞在线观看毛片| 国产欧美另类精品又又久久亚洲欧美| 国产欧美亚洲国产| 在线免费观看不下载黄p国产| 日本vs欧美在线观看视频 | 欧美日韩精品成人综合77777| 人妻 亚洲 视频| 六月丁香七月| av播播在线观看一区| 亚洲三级黄色毛片| 天天躁日日操中文字幕| 国产精品偷伦视频观看了| 欧美97在线视频| 亚洲高清免费不卡视频| 国产精品成人在线| 黄色欧美视频在线观看| 91久久精品国产一区二区成人| 日日啪夜夜撸| 免费少妇av软件| 亚洲成人手机| 日本av免费视频播放| 99久久精品一区二区三区| 国模一区二区三区四区视频| 深夜a级毛片| h视频一区二区三区| 欧美成人一区二区免费高清观看| 国产真实伦视频高清在线观看| 精品一区二区三卡| av国产久精品久网站免费入址| 欧美日韩视频精品一区| 成人午夜精彩视频在线观看| 日本一二三区视频观看| 免费播放大片免费观看视频在线观看| 日韩成人伦理影院| 亚洲欧美中文字幕日韩二区| 国产成人免费观看mmmm|