• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    圖對抗攻擊研究綜述

    2021-04-12 05:16:32翟正利李鵬輝
    計算機工程與應(yīng)用 2021年7期

    翟正利,李鵬輝,馮 舒

    青島理工大學(xué) 信息與控制工程學(xué)院,山東 青島 266525

    近年來,得益于計算機計算能力的提升,大量可用的數(shù)據(jù)集以及算法的創(chuàng)新,深度神經(jīng)網(wǎng)絡(luò)在圖像識別[1]、語義分割[2]、自然語言處理[3]、推薦系統(tǒng)[4]等領(lǐng)域表現(xiàn)出卓越的性能。圖作為一種表示對象及對象之間關(guān)系的數(shù)據(jù)結(jié)構(gòu),在現(xiàn)實世界中廣泛存在,如交通網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等。圖神經(jīng)網(wǎng)絡(luò)[5-7]將基于深度學(xué)習(xí)的方法應(yīng)用于圖數(shù)據(jù)上,通過聚合圖中節(jié)點的鄰域信息學(xué)習(xí)圖數(shù)據(jù)的結(jié)構(gòu)信息和特征信息,在節(jié)點分類、鏈路預(yù)測、圖嵌入等方面得到迅速發(fā)展。

    雖然深度神經(jīng)網(wǎng)絡(luò)具有出色的性能,但是近來研究表明,在精心設(shè)計的微小擾動下,深度神經(jīng)網(wǎng)絡(luò)性能會嚴(yán)重下降[8-9]。例如在圖像分類[10]和文本分類[11]場景下,只需修改少數(shù)像素或文字就可以改變大部分測試數(shù)據(jù)的預(yù)測結(jié)果。作為深度神經(jīng)網(wǎng)絡(luò)在圖數(shù)據(jù)上的應(yīng)用,圖神經(jīng)網(wǎng)絡(luò)也同樣繼承了深度神經(jīng)網(wǎng)絡(luò)的脆弱性[12],如圖1所示,在圖中添加或刪除少量邊將導(dǎo)致模型產(chǎn)生錯誤分類,隨著圖神經(jīng)網(wǎng)絡(luò)在實際生產(chǎn)環(huán)境的部署應(yīng)用[13],這種脆弱性引起了學(xué)術(shù)界和工業(yè)界的諸多擔(dān)憂[14],例如在安全至關(guān)重要的金融系統(tǒng)中,攻擊者可能通過建立與高信用客戶的連接,達到繞過檢測系統(tǒng)并獲得更高的信用值的目的。

    圖1 微小擾動導(dǎo)致節(jié)點的錯誤分類

    隨著人們對于圖模型安全性的關(guān)注,圖對抗攻擊的研究不斷取得新的進展,但與針對傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)的攻擊相比,針對圖神經(jīng)網(wǎng)絡(luò)的對抗攻擊存在以下挑戰(zhàn):(1)與圖像等具有連續(xù)特征的歐式空間數(shù)據(jù)不同,圖數(shù)據(jù)的結(jié)構(gòu)信息和特征信息是離散的,因此設(shè)計有效的攻擊算法更具挑戰(zhàn)性;(2)由于圖數(shù)據(jù)在現(xiàn)實世界的廣泛存在,使得圖數(shù)據(jù)具有多種類別,同時,現(xiàn)實世界的圖可以包含數(shù)以千萬計的節(jié)點,如社交網(wǎng)絡(luò)等,圖數(shù)據(jù)的多樣性和大規(guī)模性對算法的時間和空間復(fù)雜度提出了更高的要求;(3)在圖像中,可以使用特定的距離函數(shù)來衡量人眼無法察覺的擾動的大小,而在圖數(shù)據(jù)中,不僅難以定性擾動是否可察覺,而且定量的評估標(biāo)準(zhǔn)也亟待分析研究。

    隨著對圖對抗攻擊研究的深入,攻擊理論和模型已經(jīng)得到了迅速的發(fā)展,推動圖對抗攻擊的研究,有助于提高對圖神經(jīng)網(wǎng)絡(luò)的更深層次的理解,提高模型的魯棒性與可解釋性,以促進其更廣泛的應(yīng)用。本文對現(xiàn)有圖對抗攻擊研究進行全面、系統(tǒng)的介紹,對不同攻擊算法的建模方法進行比較和總結(jié),根據(jù)攻擊算法的不同攻擊策略進行分類,并總結(jié)了圖對抗攻擊領(lǐng)域面臨的挑戰(zhàn)以及發(fā)展方向。

    1 定義與符號

    設(shè)圖G=(A,E),其中V={v1,v2,…,vn}表示圖中n個節(jié)點的集合,E表示圖中m條邊的集合,E中每個元素eij=(vi,vj)表示從節(jié)點vi到節(jié)點vj的邊;使用鄰接矩陣A∈Rn×n表示圖中節(jié)點間的連接,當(dāng)eij∈E時Aij=1,否則Aij=0;使用X∈Rn×d表示圖G上節(jié)點的特征矩陣,其中Xi∈Rd表示圖中第i個節(jié)點的d維特征。

    未添加擾動的圖稱為原始圖或干凈圖,而添加了擾動ε后的圖稱為擾動圖或?qū)箻颖綠",擾動ε的上限稱為擾動預(yù)算Δ,使用fθ*表示攻擊者訓(xùn)練得到的結(jié)構(gòu)和性能與被攻擊模型相似的代理模型,表1列示了本文常用符號及含義。

    表1 符號及說明

    2 圖對抗攻擊概述

    根據(jù)攻擊者對目標(biāo)模型的了解,將攻擊分為白盒攻擊和黑盒攻擊,白盒攻擊是指攻擊者完全了解模型信息的情況下進行的攻擊,黑盒攻擊則是指攻擊者部分了解甚至完全不了解目標(biāo)模型情況下進行的攻擊;根據(jù)攻擊發(fā)生的不同階段,可以將攻擊分為逃逸攻擊和投毒攻擊,其中逃逸攻擊發(fā)生在模型測試階段,而投毒攻擊發(fā)生在模型訓(xùn)練階段[15];根據(jù)攻擊的目標(biāo),可以將攻擊分為定向攻擊和非定向攻擊,定向攻擊指攻擊后模型輸出攻擊預(yù)設(shè)值,非定向攻擊指攻擊后模型輸出任意錯誤值;根據(jù)攻擊方式可以將攻擊分為拓?fù)涔艉吞卣鞴簦負(fù)涔敉ㄟ^修改圖結(jié)構(gòu)進行攻擊,特征攻擊通過修改節(jié)點特征進行攻擊[12]??偨Y(jié)現(xiàn)有圖對抗攻擊算法,使用以下定義描述圖對抗攻擊:

    定義1(圖對抗攻擊)圖對抗攻擊是指通過在圖G上添加微小擾動ε,得到對抗樣本G",使模型性能大幅度下降:

    其中,y表示模型預(yù)測值或標(biāo)簽,fθ"表示攻擊模型,當(dāng)時表示逃逸攻擊,當(dāng)?=G"時表示投毒攻擊。給定擾動預(yù)算Δ,使用函數(shù)D衡量擾動圖和原始圖之間的差異,對于圖中擾動量ε通過以下約束保證擾動難以被察覺:

    3 攻擊算法

    為了便于后續(xù)介紹,本文將圖對抗攻擊算法分為拓?fù)涔?、特征攻擊以及兼具拓?fù)涔艉吞卣鞴舴绞降幕旌瞎羧愡M行介紹,表2對比了典型攻擊算法。

    3.1 拓?fù)涔?/h3>

    拓?fù)涔粢卜Q為結(jié)構(gòu)攻擊,在實際的攻擊操作中,攻擊者可以通過在圖中添加、刪除節(jié)點間的邊以達到降低模型性能的目的。

    RL-S2V[16]嚴(yán)格限制了攻擊者對目標(biāo)模型的了解,在此種黑盒攻擊設(shè)定下攻擊者不僅不了解模型,同時還假設(shè)攻擊者無法訪問訓(xùn)練數(shù)據(jù)的標(biāo)簽信息,僅能依靠被攻擊模型的輸出作為反饋來修改圖結(jié)構(gòu)。基于上述假設(shè),RL-S2V 將Q-learning[17]引入攻擊模型中,把攻擊過程建模為馬爾可夫決策過程(Markov Decision Process,MDP)。

    動作at:在圖中添加或刪除邊,同時采用分層操作降低執(zhí)行此動作的時間復(fù)雜度。

    狀態(tài)st:使用元組(G"t,va)表示t時刻的狀態(tài),其中va表示目標(biāo)節(jié)點,G"t表示t時刻的擾動圖。

    獎勵函數(shù)r:由于攻擊者的目的是使目標(biāo)節(jié)點va被錯誤分類,因此在修改圖的過程中獎勵函數(shù)值始終為0,即r(st,at)=0,?t=1,2,…,m"-1,僅在終止時才獲得獎勵:

    終止?fàn)顟B(tài):當(dāng)修改邊的數(shù)量達到m"時,算法終止。

    與RL-S2V[16]類似,ReWatt[18]同樣將攻擊過程建模為MDP,但ReWatt 采用重連邊作為動作at,具體而言,給定節(jié)點三元組(v0,v1,v2),刪除v0和v1之間邊的同時添加連接v0和v2的新邊,保證圖中節(jié)點和邊的總數(shù)不發(fā)生改變,此外,ReWatt使用不同的獎勵函數(shù):

    其中,K表示預(yù)定義的重連邊的操作次數(shù),通過修改百分比p∈(0,1)可以靈活改變攻擊預(yù)算,與RL-S2V 僅在MDP 終止時獲得獎勵不同,ReWatt 在攻擊成功時獎勵正數(shù)得分,而在每次采取動作時得到負(fù)數(shù)獎勵,算法在重連邊次數(shù)達到K次或成功修改了圖分類模型的輸出標(biāo)簽時終止。

    表2 典型攻擊算法比較

    Q-Attack[19]是基于遺傳算法攻擊社團探測模型的方法,采用與ReWatt相同的重連邊[18]攻擊策略作為基因編碼,攻擊的次數(shù)作為每個染色體的長度,并且基于模塊度Q作為適應(yīng)度函數(shù)fit的設(shè)計基礎(chǔ):

    其中,s是列向量,每個元素si表示節(jié)點vi的社團標(biāo)簽,式表明模塊度越低的個體其適應(yīng)度越高。EPA[20]為了節(jié)省存儲空間將重連邊的邊編號作為基因編碼,染色體在交叉過程中的長度是可變的,同時在突變過程中結(jié)合圖的拓?fù)涮卣鬟M行搜索,以快速獲得近似最優(yōu)解,其適應(yīng)度函數(shù)由衰減函數(shù)和攻擊效果評估函數(shù)構(gòu)成。

    同樣基于遺傳算法的EDA[21]用于攻擊圖嵌入模型,與Q-Attack[19]相同,將重連邊作為基因,適應(yīng)度函數(shù)為:

    其中,D(G,G")用于衡量擾動圖和原始圖之間的歐式距離,EDA 的目標(biāo)是最大化嵌入空間中節(jié)點對間的歐式距離。

    給定圖G,F(xiàn)GA[22]計算目標(biāo)節(jié)點的損失函數(shù)值對每對節(jié)點的梯度信息,之后修改梯度絕對值最大的節(jié)點對間的邊,當(dāng)修改邊的數(shù)量到達擾動預(yù)算時,將修改后的圖作為對抗樣本。IGA[23]利用圖自動編碼器的梯度信息,進行迭代梯度攻擊以破壞鏈路預(yù)測模型,同時針對不同的實際環(huán)境可以對攻擊模型進行不同限制。Sun等[24]將投影梯度下降(Projected Gradient Descent,PGD)引入圖對抗攻擊中,對無監(jiān)督節(jié)點嵌入算法進行投毒攻擊,并在下游鏈路預(yù)測任務(wù)中證明了攻擊的有效性。Xu 等[25]將PGD 用于攻擊節(jié)點分類模型,使用對稱矩陣S={0,1}n×n來表征圖中的邊是否被修改,當(dāng)且僅當(dāng)Sij=Sji=1 時才修改節(jié)點vi和vj之間的連接,因此可以通過搜索最佳擾動矩陣S得到對抗樣本,并且針對投毒攻擊和逃逸攻擊,分別提出了PGD拓?fù)涔艉蚼in-max拓?fù)涔簟km然同樣利用梯度信息進行攻擊,但Chen等[26]認(rèn)為多數(shù)直接利用模型梯度信息的攻擊算法[12,22-23,25]易陷入局部最優(yōu)解,因此結(jié)合動量法提出了MGA模型,使迭代過程更加穩(wěn)定。

    不同于利用模型梯度信息設(shè)計的攻擊算法,Bojchevski等[27]利用特征值擾動理論評估了基于隨機游走的節(jié)點嵌入模型的脆弱性,通過在攻擊預(yù)算內(nèi)添加或刪除邊來降低節(jié)點嵌入的質(zhì)量,針對下游節(jié)點分類和鏈路預(yù)測任務(wù)分別采用Aclass和Alink算法進行攻擊;GF-Attack[28]使用圖信號處理方法描述圖嵌入,通過攻擊模型的圖濾波器修改邊,同時利用特征矩陣獲得對抗樣本,并在下游的節(jié)點分類任務(wù)中較RL-S2V和Aclass具有更好的攻擊性能;Wang等[29]從基于協(xié)作分類的圖分類模型出發(fā),提出了利用LinLBP 生成對抗樣本的攻擊方法,并且實驗證明了此攻擊可以轉(zhuǎn)移到基于圖神經(jīng)網(wǎng)絡(luò)的圖分類模型中。受圖像上通用攻擊[30]的啟發(fā),Zang等[31]認(rèn)為圖中存在部分“錨節(jié)點”,通過修改“錨節(jié)點”與目標(biāo)節(jié)點的邊使目標(biāo)節(jié)點被錯誤分類,而且這些“錨節(jié)點”可以通用于攻擊任何目標(biāo)節(jié)點。

    與傳統(tǒng)深度算法將元學(xué)習(xí)用于模型超參數(shù)優(yōu)化相反,Zügner等[32]提出的Metattack將輸入圖數(shù)據(jù)作為超參數(shù)進行優(yōu)化以進行黑盒設(shè)定下的投毒攻擊:

    元梯度▽mateG表示微小擾動下模型訓(xùn)練后的損失Latk的變化。θ*是通過T次迭代獲得的模型參數(shù):

    其中α表示學(xué)習(xí)率,Ltrain表示訓(xùn)練損失。根據(jù)訓(xùn)練過程將元梯度展開可以得到:

    為了緩解元梯度計算和存儲的高代價,可以利用一階近似和啟發(fā)式算法簡化元梯度的計算,得到元梯度▽mateG后,采用貪婪策略選擇添加或移除邊。

    在針對社交網(wǎng)絡(luò)的攻擊中,CD-Attack[33]首先利用圖神經(jīng)網(wǎng)絡(luò)和歸一化割設(shè)計社團探測代理模型,然后設(shè)計滿足離散約束的圖生成網(wǎng)絡(luò),最后利用策略梯度法獲得對抗樣本,CD-Attack 還要求同時從局部相似度和全局相似度來保證擾動的不可察覺性。為了在社交網(wǎng)絡(luò)中逃避基于相似度的鏈路預(yù)測算法的檢測,DICE[34]同時刪除和添加節(jié)點間的連接,而基于啟發(fā)式的OTC 和CTR 算法則分別通過添加連接和刪除連接來隱藏社交關(guān)系[35],并通過實驗證明了:刪除與現(xiàn)有朋友的連接(CTR)相比添加與新朋友的連接(OTC)能提供更好的掩飾性,Zhou等[36]通過刪除邊來最小化目標(biāo)鏈接的相似性,達到隱藏鏈接的目的。

    TGA[37]是針對動態(tài)圖鏈路預(yù)測的第一個攻擊算法,其利用不同時刻的深度動態(tài)圖嵌入的梯度信息進行重連邊,使目標(biāo)鏈路無法被預(yù)測。與TGA 不同,F(xiàn)an 等[38]提出的動態(tài)圖鏈路預(yù)測攻擊屬于黑盒設(shè)定下的逃逸攻擊,采用基于強化學(xué)習(xí)的算法,其基本策略和ReWatt[18]類似,而獎勵函數(shù)用式表示:

    其中,函數(shù)h衡量擾動下的鏈路預(yù)測性能,errt表示時刻t錯誤預(yù)測的鏈路數(shù),n"表示動態(tài)圖序列中擾動圖的數(shù)量。當(dāng)模型在狀態(tài)st+1的性能比狀態(tài)st差時,獲得正獎勵。

    3.2 特征攻擊

    相較于拓?fù)涔艉突旌瞎?,僅通過修改圖中節(jié)點的特征進行特征攻擊的模型較少,但是特征攻擊并不會改變圖中節(jié)點數(shù),也并不修改節(jié)點間的邊,因此可以保持圖中重要的拓?fù)涮卣鳌?/p>

    基于標(biāo)簽傳播算法的思想,Liu 等[39]提出針對基于圖的半監(jiān)督學(xué)習(xí)模型的投毒攻擊的一般框架,并且基于梯度下降設(shè)計不同的算法用于回歸和分類任務(wù)。

    文獻[40]考慮了圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)聚合鄰居信息的特性,通過擾動目標(biāo)節(jié)點vi的k(k≥2)階鄰居進行攻擊,定義投毒效率來查找擾動節(jié)點:

    其中,anc(vi,vj)表示以目標(biāo)節(jié)點vi為根節(jié)點的鄰居樹中vj的祖先節(jié)點集,φ1vi(η)=1。在候選節(jié)點集中選擇投毒效率最高的節(jié)點構(gòu)造特征擾動。

    3.3 混合攻擊

    混合攻擊可以綜合利用拓?fù)涔襞c特征攻擊的攻擊操作,更進一步攻擊者可以偽造新節(jié)點注入圖中,并添加偽造節(jié)點與原始圖中節(jié)點之間的邊。

    針對圖數(shù)據(jù)的早期攻擊[41]通過在原始圖中注入節(jié)點和邊攻擊圖聚類算法。Nettack[12]是第一個在屬性圖上進行對抗攻擊的黑盒攻擊模型,在節(jié)點分類任務(wù)中,給定目標(biāo)節(jié)點vi,Nettack的目標(biāo)是通過代理模型,修改圖G尋找對抗樣本G",使得

    其中,Z表示模型輸出的分類概率,yold和y分別是基于圖G和對抗樣本G"得到的va的類別,算法的目標(biāo)是將va的預(yù)測類別yold變?yōu)閥,并使得兩者的對數(shù)概率距離最大化。為了保證擾動的不可察覺性,Nettack 除了保證攻擊滿足等式外,同時需要保留圖的數(shù)據(jù)特征。Entezari 等[42]進一步研究了Nettack[12]擾動,表明其攻擊修改了圖的高階譜,并提出了構(gòu)建低秩矩陣擾動原始圖的LowBlow攻擊方法。

    Wang等[43]利用貪婪算法在圖中注入虛假節(jié)點以降低GCN性能,同時為了保證虛假節(jié)點的特征足夠逼真,利用生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)思想提出了Greedy-GAN 算法,添加鑒別器使生成節(jié)點特征與原始圖中節(jié)點特征相似。

    基于梯度的攻擊在圖像對抗攻擊中應(yīng)用廣泛,典型算法包括利用損失函數(shù)梯度的FGSM(Fast Gradient Sign Method)[44]和模型輸出梯度的JSMA(Jacobianbased Saliency Map Approach)[15],Wu 等[45]在此基礎(chǔ)上利用積分梯度(Integrated Gradients,IG)解決了圖神經(jīng)網(wǎng)絡(luò)的離散輸入問題,通過式計算IG得分(以拓?fù)涔魹槔?,特征攻擊可以通過簡單修改獲得),對于定向攻擊,優(yōu)化目標(biāo)是最大化F的值,而非定向攻擊則修改具有高IG得分的節(jié)點特征或邊。

    當(dāng)F=L 時,稱攻擊為IG-FGSM,當(dāng)F=fθ時,稱攻擊為IG-JSMA。

    NIPA[46]是另一種基于強化學(xué)習(xí)的攻擊模型,但與RL-S2V[16]修改原始圖中節(jié)點之間的邊作為動作at構(gòu)建MDP 的方式不同,NIPA 將at定義為虛假節(jié)點注入或在虛假節(jié)點與原始圖中節(jié)點之間添加邊,獎勵函數(shù)設(shè)計為:

    其中At表示時刻t測試集中節(jié)點標(biāo)簽與模型預(yù)測標(biāo)簽不同的節(jié)點數(shù)占測試集中所有節(jié)點的比例。NIPA攻擊方法得到的擾動圖與原始圖在包括基尼系數(shù)和分布熵在內(nèi)的多種屬性上都是相似的。

    GTA[47]是首個針對圖神經(jīng)網(wǎng)絡(luò)的后門攻擊模型,使所有含有觸發(fā)器的輸入被木馬模型fθ"錯誤分類。GTA將攻擊中的觸發(fā)器gt定義為子圖,并且針對不同圖定制不同觸發(fā)器。通過給定圖G與觸發(fā)器gt混合得到擾動樣本G",攻擊的目標(biāo)為:

    其中,fθo表示預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò),h表示微調(diào)后的分類器,將帶有觸發(fā)器的對抗樣本錯誤分類到指定類別yt,同時確保原始圖在原始模型和木馬模型中具有相同的分類結(jié)果。Zhang等[48]對圖數(shù)據(jù)上的后門攻擊進行了更深入的研究,提出了用于描述后門攻擊的具體參數(shù),并使用隨機子圖作為觸發(fā)器以逃避檢測系統(tǒng)。

    針對圖神經(jīng)網(wǎng)絡(luò)的不同實際應(yīng)用,Zhang 等[49]評估了知識圖譜嵌入(Knowledge Graph Embedding,KGE)模型的脆弱性,通過添加或刪除KGE 訓(xùn)練集中特定的知識實體進行投毒攻擊,從而改變目標(biāo)事實的合理性;HG-Attack[50]是針對惡意軟件檢測系統(tǒng)的攻擊算法,通過注入惡意應(yīng)用程序,使惡意軟件繞過檢測系統(tǒng)被分類為正常應(yīng)用程序;不同于構(gòu)造虛假用戶注入數(shù)據(jù)集攻擊推薦系統(tǒng)[51],CopyAttack[52]通過復(fù)制源推薦系統(tǒng)的用戶資料,利用強化學(xué)習(xí)選擇和修改用戶資料,得到可用于注入目標(biāo)推薦系統(tǒng)的用戶資料;Fang等[51]證明了即使在部署了檢測虛假用戶的推薦系統(tǒng)中,大部分虛假用戶仍然能夠繞過檢測。

    4 圖對抗攻擊面臨的挑戰(zhàn)

    雖然圖對抗攻擊已經(jīng)取得諸多進展,但在以下方面仍存在挑戰(zhàn)。

    (1)應(yīng)用的多樣性:隨著對攻擊算法原理與實現(xiàn)研究的深入,對于鏈路預(yù)測等任務(wù)的對抗攻擊開始逐步推進,但是目前多數(shù)攻擊模型都集中于節(jié)點分類任務(wù),針對圖分類、推薦系統(tǒng)、社團探測等任務(wù)的攻擊模型仍缺乏全面深入的研究,表3總結(jié)了攻擊算法在各種學(xué)習(xí)任務(wù)中的應(yīng)用。

    表3 攻擊算法的應(yīng)用

    (2)攻擊的可擴展性:圖對抗攻擊領(lǐng)域的可擴展性是指算法在不同規(guī)模和不同類型的圖上的適用性,具有高擴展性的算法通過較少改動甚至無需改動就可以應(yīng)用于大規(guī)模或其他不同類型的圖,時間復(fù)雜度是衡量攻擊算法可擴展性的重要方面,表4展示了典型算法的時間復(fù)雜度,部分文獻設(shè)計了針對大規(guī)模圖的攻擊[29,43];針對動態(tài)圖的攻擊上也出現(xiàn)了行之有效的算法[37-38],但目前多數(shù)攻擊算法都是針對靜態(tài)圖進行設(shè)計的。將攻擊擴展到大規(guī)模圖,動態(tài)圖和異構(gòu)圖是仍是具有挑戰(zhàn)性的任務(wù)。

    表4 典型攻擊算法的時間復(fù)雜度

    (3)攻擊的可轉(zhuǎn)移性:可擴展性主要針對數(shù)據(jù)集的規(guī)模和類型,而可轉(zhuǎn)移性[12,19-24]是指針對一種模型設(shè)計的對抗樣本也可用于攻擊其他模型,可轉(zhuǎn)移性是多數(shù)黑盒算法設(shè)計的依據(jù),利用可轉(zhuǎn)移性設(shè)計代理模型,得到的對抗樣本使其他模型性能遭到破壞,但是訓(xùn)練代理模型要求擁有被攻擊模型的訓(xùn)練集,如何在少樣本甚至零樣本情況下獲得對抗樣本是一個重要的研究方向。

    (4)攻擊的通用性:指將針對一個目標(biāo)上進行的擾動操作,應(yīng)用于其他目標(biāo)也具有相同或類似的攻擊效果,圖像領(lǐng)域的通用攻擊已經(jīng)取得了重要進展[30],而對圖數(shù)據(jù)通用性攻擊的研究才剛剛起步[31]。能否對所有攻擊目標(biāo)設(shè)計通用的擾動操作、降低擾動設(shè)計的代價,是亟待研究的問題。

    (5)攻擊的可行性:在現(xiàn)實系統(tǒng)中,攻擊模型往往面臨著更多復(fù)雜的限制,而攻擊的可行性取決于攻擊模型架構(gòu)設(shè)置的合理性,主要包括:①攻擊算法假定的對被攻擊模型及數(shù)據(jù)集的了解;②攻擊在真實環(huán)境中是否可行。多數(shù)黑盒算法[12,32-33,46]假定攻擊者可以利用原始圖數(shù)據(jù)集訓(xùn)練代理模型生成擾動圖,實際生產(chǎn)環(huán)境中,圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集并不會公開;即使在嚴(yán)格受限的黑盒攻擊設(shè)定下(攻擊者僅能獲取被攻擊模型的輸出)[16,27-28],頻繁查詢模型的輸出結(jié)果,也將引起防御機制的察覺,對攻擊算法的限制條件越多,其相應(yīng)的危害也越大;另一方面,白盒攻擊[37,45]的設(shè)定雖然在真實環(huán)境中并不合理,但是分析目標(biāo)模型在最壞情況下的脆弱性,有助于提到對圖神經(jīng)網(wǎng)絡(luò)的理解。同時在真實系統(tǒng)中,并不能保證擾動的有效性和隱蔽性,例如在社交網(wǎng)絡(luò)中,并不能輕易獲得與陌生人間連接的許可[35];在推薦系統(tǒng)中,插入過多虛假節(jié)點可能會因破壞原始圖屬性[52]引起檢測系統(tǒng)的警覺。

    (6)擾動的度量標(biāo)準(zhǔn):在圖像數(shù)據(jù)中可以通過人眼觀察定性擾動是否可察覺、通過距離函數(shù)定量衡量擾動量大小,但在圖數(shù)據(jù)中由于節(jié)點間的關(guān)聯(lián)性,難以確定擾動是否足夠隱蔽,同時實際的擾動操作具有不同的難度,例如在圖中修改現(xiàn)有節(jié)點與注入虛假節(jié)點難度差距較大?,F(xiàn)有算法針對不同場景提出不同的度量標(biāo)準(zhǔn),缺乏對擾動隱蔽性和擾動難度的系統(tǒng)研究。

    5 結(jié)束語

    盡管圖神經(jīng)網(wǎng)絡(luò)在多種任務(wù)中都有著出色的表現(xiàn),但與其他深度學(xué)習(xí)模型一樣易受到微小擾動的損害,導(dǎo)致模型性能的嚴(yán)重下降,引發(fā)安全和隱私問題。本文通過對圖對抗攻擊算法進行全面、系統(tǒng)的歸類分析,總結(jié)不同算法的實現(xiàn)、應(yīng)用及其優(yōu)缺點,并分析了當(dāng)前圖對抗攻擊領(lǐng)域面臨的挑戰(zhàn),未來的圖對抗攻擊研究包含以下方面:

    (1)在更廣泛的學(xué)習(xí)任務(wù)和圖數(shù)據(jù)類型中研究圖對抗攻擊的有效性和適用性,設(shè)計可以用于多種任務(wù)和圖數(shù)據(jù)類型的攻擊模型,產(chǎn)生與特定任務(wù)無關(guān)的對抗樣本以進行更廣泛的攻擊;分析包括異構(gòu)圖、動態(tài)圖等在內(nèi)的復(fù)雜圖數(shù)據(jù)類型的特征,并設(shè)計行之有效的攻擊算法。

    (2)提高算法的效率,目前多數(shù)攻擊模型產(chǎn)生對抗樣本過程中,需要存儲大量梯度信息和圖數(shù)據(jù)的中間狀態(tài),因此會耗費大量計算和存儲資源,但現(xiàn)實世界的圖數(shù)據(jù)往往是大規(guī)模和動態(tài)的,因此設(shè)計算法必須考慮計算復(fù)雜度。

    (3)提高模型的實用性,算法的實用性不僅要求算法的有效性和高效性,同時針對實際攻擊而言,攻擊者往往受到更多的限制,包括模型與數(shù)據(jù)集的限制,因此在復(fù)雜受限的現(xiàn)實環(huán)境中進行攻擊需要更深入的研究,同時攻擊算法應(yīng)當(dāng)在更廣泛的數(shù)據(jù)集上進行驗證。

    (4)構(gòu)建統(tǒng)一的圖對抗攻擊算法的綜合評價體系,縱觀現(xiàn)有圖對抗攻擊,對于擾動量的度量以及模型效果的評價存在不同標(biāo)準(zhǔn),需要更加通用的指標(biāo)來度量不可察覺性,完善的指標(biāo)能夠更加全面地衡量算法的優(yōu)劣,提高擾動樣本的可解釋性。

    午夜激情福利司机影院| 欧美日韩精品成人综合77777| av又黄又爽大尺度在线免费看| 久久99热这里只频精品6学生| 熟女人妻精品中文字幕| 成人欧美大片| 日韩欧美 国产精品| 高清日韩中文字幕在线| 性插视频无遮挡在线免费观看| 日韩一区二区三区影片| 日韩在线高清观看一区二区三区| 亚洲av国产av综合av卡| 一边亲一边摸免费视频| 毛片女人毛片| 九九爱精品视频在线观看| 91狼人影院| 最近中文字幕2019免费版| 日本与韩国留学比较| av又黄又爽大尺度在线免费看| 国产免费一区二区三区四区乱码| 精品99又大又爽又粗少妇毛片| 老师上课跳d突然被开到最大视频| 一级爰片在线观看| 国产精品蜜桃在线观看| 最后的刺客免费高清国语| 国精品久久久久久国模美| 日日摸夜夜添夜夜爱| 九色成人免费人妻av| 免费不卡的大黄色大毛片视频在线观看| 亚洲av.av天堂| av播播在线观看一区| 午夜日本视频在线| 精品人妻偷拍中文字幕| 男女边摸边吃奶| 国产永久视频网站| 国产免费福利视频在线观看| 精品熟女少妇av免费看| 寂寞人妻少妇视频99o| av免费观看日本| 中国国产av一级| 精品人妻熟女av久视频| 人人妻人人看人人澡| 成人毛片60女人毛片免费| 免费不卡的大黄色大毛片视频在线观看| 能在线免费看毛片的网站| 熟妇人妻不卡中文字幕| 在线a可以看的网站| 精品国产三级普通话版| 日韩欧美精品免费久久| 国产一区有黄有色的免费视频| 成人亚洲欧美一区二区av| 九九久久精品国产亚洲av麻豆| 免费观看无遮挡的男女| av线在线观看网站| 全区人妻精品视频| 高清av免费在线| 久久久色成人| 久久久精品免费免费高清| 纵有疾风起免费观看全集完整版| 丰满乱子伦码专区| 国产亚洲一区二区精品| 国产精品.久久久| 美女主播在线视频| 一区二区三区四区激情视频| 直男gayav资源| 成人亚洲精品一区在线观看 | 大陆偷拍与自拍| 亚洲欧美成人综合另类久久久| 日本爱情动作片www.在线观看| 国产乱来视频区| 国产午夜精品一二区理论片| 欧美日韩一区二区视频在线观看视频在线 | 九色成人免费人妻av| 99久久精品国产国产毛片| 成人美女网站在线观看视频| 午夜日本视频在线| 国精品久久久久久国模美| 欧美极品一区二区三区四区| 精品国产露脸久久av麻豆| 久久久久久久久大av| 久久午夜福利片| 亚洲久久久久久中文字幕| 看免费成人av毛片| 亚洲伊人久久精品综合| 2021少妇久久久久久久久久久| 男女那种视频在线观看| 久久久亚洲精品成人影院| 亚洲精品国产成人久久av| 97精品久久久久久久久久精品| 国产午夜精品一二区理论片| 久久精品人妻少妇| 久久久精品94久久精品| 人妻系列 视频| 亚洲国产精品999| 国产精品福利在线免费观看| 综合色av麻豆| 国产精品蜜桃在线观看| 成年女人看的毛片在线观看| 激情五月婷婷亚洲| 国产v大片淫在线免费观看| 不卡视频在线观看欧美| 日日撸夜夜添| 熟女人妻精品中文字幕| 人妻制服诱惑在线中文字幕| 亚洲自偷自拍三级| 少妇熟女欧美另类| 精品酒店卫生间| 成人国产麻豆网| 大片免费播放器 马上看| 伊人久久国产一区二区| 日韩欧美 国产精品| 男女国产视频网站| 中文字幕制服av| 白带黄色成豆腐渣| 免费av不卡在线播放| 成人国产麻豆网| 亚洲va在线va天堂va国产| 亚洲天堂国产精品一区在线| av在线蜜桃| 欧美国产精品一级二级三级 | 91精品伊人久久大香线蕉| 久久精品国产亚洲av天美| 国产高清不卡午夜福利| 麻豆国产97在线/欧美| 51国产日韩欧美| 日韩成人伦理影院| 99久久精品热视频| 亚洲综合精品二区| av专区在线播放| 亚洲激情五月婷婷啪啪| 日本av手机在线免费观看| 在线亚洲精品国产二区图片欧美 | 2021少妇久久久久久久久久久| 亚洲丝袜综合中文字幕| 亚洲成人中文字幕在线播放| 高清欧美精品videossex| 青春草视频在线免费观看| 久久精品人妻少妇| 大片免费播放器 马上看| tube8黄色片| 日韩欧美 国产精品| 欧美性感艳星| 熟妇人妻不卡中文字幕| 男女边摸边吃奶| 日本爱情动作片www.在线观看| 久久久久久久久久久丰满| 日本免费在线观看一区| 视频中文字幕在线观看| 免费黄频网站在线观看国产| 男人舔奶头视频| 色视频在线一区二区三区| 蜜桃久久精品国产亚洲av| 日本-黄色视频高清免费观看| 国产成人福利小说| 亚洲美女搞黄在线观看| 91午夜精品亚洲一区二区三区| 午夜免费鲁丝| 中文字幕人妻熟人妻熟丝袜美| 国产精品一区二区性色av| 亚洲精品国产色婷婷电影| 一级av片app| 三级经典国产精品| 国产一区二区亚洲精品在线观看| 国产欧美日韩一区二区三区在线 | 国产中年淑女户外野战色| 国产探花极品一区二区| 自拍欧美九色日韩亚洲蝌蚪91 | 在线免费十八禁| 欧美+日韩+精品| 亚洲国产av新网站| 日本欧美国产在线视频| 伊人久久精品亚洲午夜| 午夜激情久久久久久久| 中文字幕亚洲精品专区| 免费观看av网站的网址| 久久影院123| 久久久久久久国产电影| 麻豆久久精品国产亚洲av| 国产综合精华液| 直男gayav资源| 国内少妇人妻偷人精品xxx网站| 欧美一区二区亚洲| 亚洲av成人精品一区久久| 精品人妻偷拍中文字幕| 97热精品久久久久久| 日日啪夜夜爽| 男的添女的下面高潮视频| 久久97久久精品| 久久久a久久爽久久v久久| 成人毛片a级毛片在线播放| 麻豆国产97在线/欧美| 嘟嘟电影网在线观看| 国产精品.久久久| 777米奇影视久久| 久久精品夜色国产| 免费观看在线日韩| 国产av国产精品国产| 男女那种视频在线观看| 99热国产这里只有精品6| 99久国产av精品国产电影| 亚洲精品一二三| 精品国产三级普通话版| 天堂俺去俺来也www色官网| 成人免费观看视频高清| 国产高清国产精品国产三级 | 女人久久www免费人成看片| 日韩av免费高清视频| 女人被狂操c到高潮| av天堂中文字幕网| 91久久精品国产一区二区三区| 成人亚洲精品av一区二区| 制服丝袜香蕉在线| 亚洲婷婷狠狠爱综合网| 欧美变态另类bdsm刘玥| 日韩大片免费观看网站| 国产精品蜜桃在线观看| 国产亚洲5aaaaa淫片| 大片免费播放器 马上看| 亚洲av中文字字幕乱码综合| 一级毛片 在线播放| 久久99热6这里只有精品| 一级毛片黄色毛片免费观看视频| 69av精品久久久久久| 大又大粗又爽又黄少妇毛片口| 精品人妻视频免费看| 久久国内精品自在自线图片| 内射极品少妇av片p| 大码成人一级视频| 亚洲精品乱码久久久v下载方式| 成人毛片a级毛片在线播放| 国产成人a∨麻豆精品| 国产欧美日韩精品一区二区| 七月丁香在线播放| 欧美日韩亚洲高清精品| 国产永久视频网站| 热99国产精品久久久久久7| 在线精品无人区一区二区三 | 简卡轻食公司| 免费观看在线日韩| 国产免费一区二区三区四区乱码| 日韩欧美一区视频在线观看 | 欧美日韩综合久久久久久| 国产视频首页在线观看| 中文字幕人妻熟人妻熟丝袜美| 2021天堂中文幕一二区在线观| 国语对白做爰xxxⅹ性视频网站| 国产精品不卡视频一区二区| 国产精品人妻久久久影院| 亚洲精品中文字幕在线视频 | 男人添女人高潮全过程视频| 成人国产av品久久久| 深夜a级毛片| 热99国产精品久久久久久7| 免费大片黄手机在线观看| 丰满乱子伦码专区| 国产淫语在线视频| av免费在线看不卡| 亚洲av不卡在线观看| 在线观看av片永久免费下载| 色婷婷久久久亚洲欧美| 久久久久久久久久人人人人人人| 久久99热这里只频精品6学生| 亚洲丝袜综合中文字幕| 在线观看三级黄色| 九九爱精品视频在线观看| 亚洲精品,欧美精品| 久久国内精品自在自线图片| 九草在线视频观看| 日韩成人av中文字幕在线观看| 美女被艹到高潮喷水动态| 国产精品秋霞免费鲁丝片| 最近2019中文字幕mv第一页| 在线天堂最新版资源| 色视频在线一区二区三区| av专区在线播放| 亚洲欧洲国产日韩| 极品教师在线视频| 2021天堂中文幕一二区在线观| 国产精品熟女久久久久浪| 岛国毛片在线播放| 免费观看性生交大片5| 美女被艹到高潮喷水动态| 七月丁香在线播放| 亚洲精品一区蜜桃| 日韩伦理黄色片| 99热6这里只有精品| 夜夜看夜夜爽夜夜摸| 久久精品久久精品一区二区三区| 国产成人一区二区在线| 综合色av麻豆| 少妇的逼水好多| 中国三级夫妇交换| 亚洲国产精品国产精品| eeuss影院久久| 亚洲精品第二区| 免费观看在线日韩| 午夜福利视频1000在线观看| 老司机影院毛片| 国产高清有码在线观看视频| 亚洲国产精品999| 国产精品三级大全| 精品一区二区三卡| 黑人高潮一二区| 亚洲久久久久久中文字幕| 久久99蜜桃精品久久| 国产成人aa在线观看| 国产精品久久久久久久电影| 欧美xxxx黑人xx丫x性爽| 特级一级黄色大片| 午夜亚洲福利在线播放| 久久亚洲国产成人精品v| 色哟哟·www| 国产日韩欧美在线精品| 国产精品人妻久久久影院| 日日啪夜夜爽| 99热网站在线观看| 新久久久久国产一级毛片| 亚洲成人中文字幕在线播放| 欧美 日韩 精品 国产| 日日啪夜夜撸| 免费黄色在线免费观看| 男人舔奶头视频| 亚洲国产精品成人久久小说| 大话2 男鬼变身卡| 2021少妇久久久久久久久久久| 久久久久久久久久人人人人人人| 欧美xxxx黑人xx丫x性爽| 大香蕉久久网| 国产av国产精品国产| 久久久久久久久久成人| 美女xxoo啪啪120秒动态图| av专区在线播放| 在线观看三级黄色| 最近最新中文字幕大全电影3| 亚洲怡红院男人天堂| 中文字幕免费在线视频6| 黄片无遮挡物在线观看| 久久精品久久久久久久性| 久久久亚洲精品成人影院| 国产淫片久久久久久久久| 一级毛片黄色毛片免费观看视频| 国产亚洲av嫩草精品影院| 亚洲成色77777| 69av精品久久久久久| 免费看光身美女| 观看美女的网站| 97超碰精品成人国产| 欧美少妇被猛烈插入视频| 欧美97在线视频| 最近最新中文字幕免费大全7| 免费黄网站久久成人精品| 欧美日韩视频精品一区| 一级av片app| 91aial.com中文字幕在线观看| a级毛色黄片| 午夜福利在线在线| 亚洲精品第二区| 亚洲激情五月婷婷啪啪| 日韩一区二区三区影片| 国产精品无大码| 国产69精品久久久久777片| 亚洲av中文av极速乱| 狂野欧美白嫩少妇大欣赏| 在线观看av片永久免费下载| 久久人人爽人人片av| 22中文网久久字幕| 久久人人爽人人片av| 国产黄色免费在线视频| 美女高潮的动态| 国产极品天堂在线| 男人和女人高潮做爰伦理| 久久精品国产亚洲av涩爱| 欧美另类一区| 一级毛片aaaaaa免费看小| 久久国产乱子免费精品| 免费黄色在线免费观看| 国产午夜精品久久久久久一区二区三区| 国产亚洲一区二区精品| 精华霜和精华液先用哪个| 欧美成人精品欧美一级黄| 五月伊人婷婷丁香| 中文字幕免费在线视频6| 久久久久精品久久久久真实原创| 高清毛片免费看| 亚洲国产av新网站| 丝袜喷水一区| 一边亲一边摸免费视频| 免费看不卡的av| 激情五月婷婷亚洲| 国产精品99久久久久久久久| 最近中文字幕高清免费大全6| 久久鲁丝午夜福利片| 日本av手机在线免费观看| 成人高潮视频无遮挡免费网站| 国精品久久久久久国模美| 国产精品一区二区三区四区免费观看| 一个人观看的视频www高清免费观看| 网址你懂的国产日韩在线| 午夜福利视频精品| 99精国产麻豆久久婷婷| 国产亚洲av嫩草精品影院| 日本黄大片高清| 国产精品久久久久久精品电影小说 | 边亲边吃奶的免费视频| 一级黄片播放器| 2021天堂中文幕一二区在线观| 超碰97精品在线观看| 日韩欧美精品v在线| 又爽又黄无遮挡网站| 五月伊人婷婷丁香| 又爽又黄a免费视频| 美女国产视频在线观看| 精品一区二区三卡| 嫩草影院精品99| 中国美白少妇内射xxxbb| 午夜亚洲福利在线播放| 一个人看的www免费观看视频| 亚洲精品影视一区二区三区av| .国产精品久久| 欧美日韩国产mv在线观看视频 | 色吧在线观看| 亚洲丝袜综合中文字幕| 一级二级三级毛片免费看| 日本熟妇午夜| 嫩草影院入口| av.在线天堂| av女优亚洲男人天堂| 久久热精品热| 国产视频内射| 精品国产三级普通话版| 亚洲av成人精品一区久久| 色哟哟·www| 中文资源天堂在线| 一区二区三区四区激情视频| 插逼视频在线观看| 国产淫片久久久久久久久| 亚洲精品亚洲一区二区| 欧美成人精品欧美一级黄| 日韩制服骚丝袜av| 国产成人精品一,二区| 高清av免费在线| 国产高潮美女av| 最近2019中文字幕mv第一页| 少妇人妻一区二区三区视频| 内地一区二区视频在线| 在线观看三级黄色| 久久亚洲国产成人精品v| av在线播放精品| 网址你懂的国产日韩在线| 午夜福利视频1000在线观看| 亚洲一区二区三区欧美精品 | 免费av毛片视频| 老师上课跳d突然被开到最大视频| 国产亚洲91精品色在线| 少妇的逼水好多| 久久精品综合一区二区三区| 日韩在线高清观看一区二区三区| 免费观看无遮挡的男女| 精品熟女少妇av免费看| 少妇熟女欧美另类| 3wmmmm亚洲av在线观看| 亚洲天堂国产精品一区在线| 97在线视频观看| 国产探花极品一区二区| 一本久久精品| 午夜福利高清视频| 成人鲁丝片一二三区免费| 99热国产这里只有精品6| 久久久a久久爽久久v久久| 男女边吃奶边做爰视频| 麻豆成人av视频| 国产成人免费无遮挡视频| 精品熟女少妇av免费看| 日韩一区二区三区影片| 国产伦精品一区二区三区视频9| 免费少妇av软件| 嫩草影院精品99| 女人久久www免费人成看片| 久久国内精品自在自线图片| 日产精品乱码卡一卡2卡三| 国产欧美日韩一区二区三区在线 | 免费看不卡的av| 亚洲欧美日韩卡通动漫| 你懂的网址亚洲精品在线观看| 简卡轻食公司| 精华霜和精华液先用哪个| 老女人水多毛片| 亚洲欧洲日产国产| 精品少妇黑人巨大在线播放| 日本一二三区视频观看| av在线观看视频网站免费| 中文字幕制服av| 国产成年人精品一区二区| 亚洲人成网站在线观看播放| 卡戴珊不雅视频在线播放| 肉色欧美久久久久久久蜜桃 | 看非洲黑人一级黄片| 亚洲美女搞黄在线观看| 亚洲欧洲日产国产| 国产成人精品福利久久| 成年人午夜在线观看视频| 黄片无遮挡物在线观看| 老女人水多毛片| 久久ye,这里只有精品| 国产白丝娇喘喷水9色精品| 一级毛片我不卡| 亚洲精品乱码久久久久久按摩| 亚洲国产成人一精品久久久| 国产亚洲91精品色在线| 十八禁网站网址无遮挡 | 日韩成人av中文字幕在线观看| 精品国产露脸久久av麻豆| 亚洲精品成人av观看孕妇| 亚洲欧洲国产日韩| 午夜免费观看性视频| 欧美激情在线99| 我的老师免费观看完整版| 国产亚洲一区二区精品| 99久久中文字幕三级久久日本| 18+在线观看网站| 六月丁香七月| 男人舔奶头视频| 久久精品国产亚洲av天美| 亚洲国产欧美人成| 久久久久国产网址| 男人和女人高潮做爰伦理| 国产真实伦视频高清在线观看| 观看免费一级毛片| 久久久精品欧美日韩精品| 久久久久久久久久久免费av| 国产黄色视频一区二区在线观看| 少妇被粗大猛烈的视频| 欧美97在线视频| 免费观看性生交大片5| 身体一侧抽搐| 成人二区视频| 中文精品一卡2卡3卡4更新| 不卡视频在线观看欧美| 国产淫片久久久久久久久| 日韩中字成人| 中文字幕久久专区| 精品少妇久久久久久888优播| 亚洲欧美一区二区三区黑人 | 亚洲欧美日韩另类电影网站 | 色哟哟·www| 五月开心婷婷网| 国产淫片久久久久久久久| 黄片wwwwww| 成人综合一区亚洲| 69av精品久久久久久| 欧美精品人与动牲交sv欧美| 亚洲美女搞黄在线观看| 综合色av麻豆| 欧美区成人在线视频| 建设人人有责人人尽责人人享有的 | 日韩欧美精品v在线| 在线观看一区二区三区激情| 青青草视频在线视频观看| 国产成人精品久久久久久| 超碰97精品在线观看| 国产男人的电影天堂91| 国产精品一区二区三区四区免费观看| 国产美女午夜福利| 久久久成人免费电影| 看黄色毛片网站| 嫩草影院入口| 免费看a级黄色片| 涩涩av久久男人的天堂| 在线观看美女被高潮喷水网站| 寂寞人妻少妇视频99o| 中文字幕制服av| 欧美少妇被猛烈插入视频| 大陆偷拍与自拍| 热re99久久精品国产66热6| 国产男人的电影天堂91| 女人久久www免费人成看片| 亚洲精品第二区| 色吧在线观看| 国产一区二区三区综合在线观看 | av专区在线播放| 亚洲高清免费不卡视频| 只有这里有精品99| tube8黄色片| 国产av国产精品国产| 男女啪啪激烈高潮av片| 国产在线一区二区三区精| 深爱激情五月婷婷| av在线蜜桃| 丝瓜视频免费看黄片| av在线天堂中文字幕| 大话2 男鬼变身卡| 高清毛片免费看| 一级二级三级毛片免费看| 亚洲av日韩在线播放| 丝瓜视频免费看黄片| 欧美一区二区亚洲| 国产女主播在线喷水免费视频网站| 丝瓜视频免费看黄片| 欧美性感艳星| 国产免费一级a男人的天堂| 国产欧美日韩一区二区三区在线 | 国产精品一区二区在线观看99| 国产中年淑女户外野战色| 黑人高潮一二区| 亚洲色图av天堂| 色视频www国产| 少妇的逼好多水| 亚洲成人av在线免费| 国产精品伦人一区二区| 欧美另类一区| av.在线天堂| 免费黄网站久久成人精品| 99九九线精品视频在线观看视频| 麻豆久久精品国产亚洲av| 亚洲国产精品国产精品|