• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    社交網(wǎng)絡(luò)中的隱私保護(hù)研究綜述

    2016-09-23 03:08:50姚瑞欣李暉曹進(jìn)
    關(guān)鍵詞:用戶信息模型

    姚瑞欣,李暉,曹進(jìn)

    (西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院綜合業(yè)務(wù)網(wǎng)理論與關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西 西安710071)

    社交網(wǎng)絡(luò)中的隱私保護(hù)研究綜述

    姚瑞欣,李暉,曹進(jìn)

    (西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院綜合業(yè)務(wù)網(wǎng)理論與關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,陜西 西安710071)

    隨著信息技術(shù)的發(fā)展,社交網(wǎng)絡(luò)逐漸成為人們溝通的主要方式,而敏感信息暴露在開(kāi)放的社交網(wǎng)絡(luò)中所導(dǎo)致的多種隱私信息泄露問(wèn)題也引起了人們的日益關(guān)注。首先,介紹了社交網(wǎng)絡(luò)及隱私的相關(guān)概念;其次,對(duì)當(dāng)前社交網(wǎng)絡(luò)中的隱私保護(hù)所采用的主要方法:匿名技術(shù)和訪問(wèn)控制技術(shù)進(jìn)行了詳細(xì)的介紹、分析和討論;最后,對(duì)現(xiàn)有方法存在的問(wèn)題和挑戰(zhàn)進(jìn)行了分析,并給出了一些潛在的研究熱點(diǎn),為未來(lái)研究工作指明方向。

    社交網(wǎng)絡(luò);隱私保護(hù);匿名;訪問(wèn)控制

    本文對(duì)社交網(wǎng)絡(luò)中的隱私保護(hù)機(jī)制進(jìn)行了研究,主要集中在匿名和訪問(wèn)控制兩方面。前者是從分析人員的視角,后者是從社交網(wǎng)絡(luò)成員自身的視角研究的。匿名方面,研究者針對(duì)屬性暴露問(wèn)題已取得了一些研究成果,但研究主要集中于預(yù)測(cè)屬性而非保護(hù)屬性,國(guó)外研究關(guān)注點(diǎn)主要放在對(duì)用戶隱私的評(píng)估和人性化訂制個(gè)人隱私策略上,而國(guó)內(nèi)研究人員更關(guān)注信任算法、匿名、節(jié)點(diǎn)發(fā)現(xiàn)算法等[4~6]的研究。此外,OSN(online social network)用戶即使進(jìn)行了訪問(wèn)控制,攻擊者也會(huì)從其他途徑獲取用戶的信息[7]。

    在OSN訪問(wèn)控制模型的研究方面,傳統(tǒng)的基于Web的訪問(wèn)控制模型已經(jīng)不能適用于OSN這種復(fù)雜環(huán)境中的隱私保護(hù)需求。國(guó)內(nèi)外多個(gè)研究小組均提出了不同的訪問(wèn)控制模型,為OSN的快速發(fā)展提供兼顧隱私及效率的隱私保護(hù)策略,國(guó)內(nèi)主要集中在信任值計(jì)算、路徑搜索等算法以及決策機(jī)制的研究上以實(shí)現(xiàn)商業(yè)應(yīng)用及輿情監(jiān)控的作用,目前,并沒(méi)有成形的,如傳統(tǒng)訪問(wèn)控制、強(qiáng)制訪問(wèn)控制(MAC,mandatory access control)、自主訪問(wèn)控制(DAC,discretionary access control)的OSN訪問(wèn)控制模型。

    由于當(dāng)前國(guó)內(nèi)外均無(wú) OSN匿名及訪問(wèn)控制模型方面系統(tǒng)性的剖析和總結(jié),因此,本文從核心思想、基本技術(shù)及研究成果等方面對(duì)匿名及訪問(wèn)控制方法進(jìn)行了研究,并對(duì)各自存在的問(wèn)題和挑戰(zhàn)進(jìn)行了分析并給出了一些未來(lái)的研究熱點(diǎn)。

    2 社交網(wǎng)絡(luò)及隱私相關(guān)概念

    2.1社交網(wǎng)絡(luò)及其安全問(wèn)題

    社交網(wǎng)絡(luò)作為Web 2.0時(shí)代新興的網(wǎng)絡(luò)現(xiàn)象并沒(méi)有一個(gè)被廣泛認(rèn)可的定義。Schneider等[8]提出的OSN涵蓋了用戶和資源2個(gè)方面;Boyd[9]提出的SNS(social network site)強(qiáng)調(diào)用戶在OSN中的主導(dǎo)地位;Adamic[10]提出的 SNS(social networking service),著重強(qiáng)調(diào)社交網(wǎng)絡(luò)構(gòu)建過(guò)程和服務(wù)性質(zhì),這3種定義從不同側(cè)面定義了社交網(wǎng)絡(luò)。

    本文中討論的OSN更接近Schneider的定義,但范圍擴(kuò)展為用戶、資源及活動(dòng),其功能主要包括[9]:網(wǎng)絡(luò)功能,即創(chuàng)建、更新公開(kāi)或半公開(kāi)的用戶信息及好友列表;數(shù)據(jù)功能,即維護(hù)個(gè)人信息及提供在線聊天、社區(qū)、視頻及音樂(lè)共享、評(píng)論等功能,也包含通過(guò)應(yīng)用程序編程接口(API,application programming interface)開(kāi)發(fā)應(yīng)用插件等;訪問(wèn)控制功能,即用戶自定義其隱私設(shè)置以保護(hù)個(gè)人隱私。

    談及OSN中的安全問(wèn)題,由于其平臺(tái)的開(kāi)放性,用戶多且用戶數(shù)據(jù)量巨大,用戶填寫(xiě)真實(shí)信息比例大,因此,有著不同于傳統(tǒng)Web的安全問(wèn)題[1]。

    1)傳統(tǒng)的攻擊方式:傳統(tǒng)攻擊在社交網(wǎng)絡(luò)這一平臺(tái)同樣可以實(shí)施,如XSS蠕蟲(chóng)[11],而且結(jié)合了Ajax等技術(shù)之后其破壞力更大。

    2)網(wǎng)絡(luò)架構(gòu)攻擊:例如,Sybil Attacks[12]、分布式拒絕服務(wù)攻擊,指由于社交網(wǎng)絡(luò)本身結(jié)構(gòu)及模型帶來(lái)的安全問(wèn)題。

    3)垃圾信息:主要包含廣告信息[13]和釣魚(yú)網(wǎng)址[14]。

    4)隱私泄露:一方面是社交網(wǎng)絡(luò)提供商及第三方應(yīng)用濫用信息[15~17];另一方面是信息鏈接[18],如未授權(quán)第三方從不同途徑中整合數(shù)據(jù)以推斷一個(gè)用戶的身份或者行為。隱私泄露的實(shí)際危險(xiǎn)在于用戶無(wú)法完全控制自身信息的傳播,需通過(guò)訪問(wèn)控制實(shí)現(xiàn)用戶授權(quán)給他的朋友訪問(wèn)自身數(shù)據(jù),并對(duì)提供商及其他未授權(quán)實(shí)體隱藏?cái)?shù)據(jù)[19,20],也可以對(duì)數(shù)據(jù)進(jìn)行加密以實(shí)現(xiàn)隱私保護(hù)。

    2.2隱私及其保護(hù)

    隱私的概念在很多領(lǐng)域(如哲學(xué)、心理學(xué)、社會(huì)學(xué))已被研究多年,但一直缺乏明確地符合時(shí)代發(fā)展又經(jīng)得起實(shí)踐檢驗(yàn)的定義[21]。在某種意義上,隱私隨生活經(jīng)驗(yàn)而變化,依賴(lài)于特殊的情境[22](如時(shí)間、地點(diǎn)、職業(yè)、文化、理由),因此,它是靈活的、動(dòng)態(tài)的,很難得出一個(gè)通用的隱私概念。

    隱私保護(hù)主要包含敏感知識(shí)的保護(hù)和敏感數(shù)據(jù)的保護(hù)[23]。個(gè)人的隱私屬性,如工資、家庭住址、工作、疾病史的保護(hù)屬于敏感知識(shí)保護(hù);數(shù)據(jù)中的潛在關(guān)聯(lián)規(guī)則、序列模式等信息的保護(hù)屬于敏感數(shù)據(jù)保護(hù)。隱私保護(hù)技術(shù)的關(guān)注點(diǎn):一是數(shù)據(jù)以何種形式發(fā)布可防止隱私泄露,依靠傳統(tǒng)的訪問(wèn)控制技術(shù)和加密技術(shù)即可做到這點(diǎn);二是保證發(fā)布的數(shù)據(jù)有足夠的可用性,這要求不能切斷隱私數(shù)據(jù)的訪問(wèn)通道,也不需對(duì)數(shù)據(jù)進(jìn)行加解密,而是破壞數(shù)據(jù)項(xiàng)與個(gè)體間的對(duì)應(yīng)關(guān)系,或者降低這種對(duì)應(yīng)的概率。

    社交網(wǎng)絡(luò)中用戶的隱私保護(hù)研究主要集中于匿名和訪問(wèn)控制2個(gè)方面[24]。匿名在第3節(jié)中介紹,訪問(wèn)控制在第4節(jié)中介紹。

    3 匿名方法的研究

    近年來(lái),研究者們針對(duì)關(guān)系數(shù)據(jù)庫(kù)中數(shù)據(jù)發(fā)布的匿名問(wèn)題進(jìn)行了深入的研究,隨著社交網(wǎng)絡(luò)的發(fā)展,其隱私保護(hù)問(wèn)題成為了近年來(lái)的研究熱點(diǎn),關(guān)系數(shù)據(jù)庫(kù)中的匿名模型及算法被嘗試用于社交網(wǎng)絡(luò),本文首先介紹關(guān)系數(shù)據(jù)庫(kù)中的匿名方法的研究成果,隨后對(duì)社交網(wǎng)絡(luò)中的匿名方法研究進(jìn)展進(jìn)行介紹,最后給出數(shù)據(jù)經(jīng)匿名后的可用性度量方法。

    3.1關(guān)系數(shù)據(jù)庫(kù)中的隱私保護(hù)

    研究關(guān)系數(shù)據(jù)庫(kù)中的匿名保護(hù)方法,首先需認(rèn)識(shí)數(shù)據(jù)的匿名過(guò)程,包括:1)明確需保護(hù)的數(shù)據(jù);2)對(duì)攻擊者具有的背景知識(shí)及其攻擊方式進(jìn)行建模;3)處理數(shù)據(jù);4)定義數(shù)據(jù)可用性。需要匿名保護(hù)的數(shù)據(jù)主要是指屬性信息,在關(guān)系數(shù)據(jù)庫(kù)中,屬性劃分為3類(lèi):標(biāo)識(shí)符(ID,identifier)、準(zhǔn)標(biāo)識(shí)符(QI,quasi-identifier)、隱私屬性(SA,sensitive attributs)。標(biāo)識(shí)符指姓名、身份證號(hào)等能夠準(zhǔn)確標(biāo)識(shí)個(gè)人身份的屬性;準(zhǔn)標(biāo)識(shí)符可以是一個(gè)屬性或是多個(gè)屬性的集合,指不能明確標(biāo)識(shí)個(gè)體但可以與其他表進(jìn)行鏈接以標(biāo)識(shí)個(gè)體的屬性;隱私屬性指能使攻擊者將信息與個(gè)體相對(duì)應(yīng)的信息。

    對(duì)屬性信息匿名之后,攻擊者能否成功解匿名取決于攻擊者的背景知識(shí)強(qiáng)度及節(jié)點(diǎn)間的結(jié)構(gòu)相似性[25],針對(duì)攻擊者背景知識(shí),Zhou等[26]列舉了節(jié)點(diǎn)屬性、節(jié)點(diǎn)的度、目標(biāo)個(gè)體的鄰居結(jié)構(gòu)、目標(biāo)個(gè)體間的鏈接關(guān)系等背景知識(shí);Liu等[27]以目標(biāo)節(jié)點(diǎn)的度作為背景知識(shí)來(lái)竊取個(gè)體隱私;Backstrom 等[28]以目標(biāo)個(gè)體的結(jié)構(gòu)信息作為背景知識(shí);Wondracek等[29]依據(jù)OSN中的群成員信息來(lái)定位目標(biāo)個(gè)體;Cordella等[30]對(duì)以圖結(jié)構(gòu)為背景知識(shí)的目標(biāo)個(gè)體進(jìn)行精確子圖匹配或同構(gòu)判定;Zheleva和Liu等[31,32]在其研究中將各種類(lèi)型的背景知識(shí)模型化;前面的攻擊者均采用的是被動(dòng)攻擊,即攻擊者利用網(wǎng)絡(luò)子圖的結(jié)構(gòu)特殊性來(lái)將個(gè)體或個(gè)體間關(guān)系對(duì)應(yīng)到節(jié)點(diǎn)或邊,也可采用主動(dòng)攻擊,即攻擊者創(chuàng)建新的用戶以攻擊對(duì)象,如Zou等[33]采用嵌入的子圖作為攻擊者的背景知識(shí)。

    在完成了匿名的前兩步:明確需保護(hù)的數(shù)據(jù),明確攻擊者背景知識(shí)及對(duì)背景知識(shí)建模之后,接下來(lái)對(duì)數(shù)據(jù)進(jìn)行匿名處理,在本節(jié)中,本文首先給出了關(guān)系數(shù)據(jù)庫(kù)中的匿名方法,其次根據(jù)不同的攻擊模型對(duì)匿名方法進(jìn)行分類(lèi)說(shuō)明,最后對(duì)匿名度量方法進(jìn)行了介紹。

    3.1.1匿名方法

    關(guān)系數(shù)據(jù)庫(kù)中的匿名方法主要包括以下5類(lèi)。

    1)泛化:包括全局泛化和局部泛化,是將某一屬性值用更概括的屬性值來(lái)替代。全局泛化[34,35]指所有的屬性根據(jù)泛化樹(shù)泛化到一個(gè)層次;局部泛化指采用不同局部泛化算法實(shí)現(xiàn)匿名化。Xiao等[36]提出了一種個(gè)性化匿名方法,指允許用戶定義自身隱私屬性的泛化層次,很好地滿足了特殊需求。聚類(lèi)是一種特殊的泛化,它將表中的n條記錄劃分至m個(gè)不同聚類(lèi),每個(gè)聚類(lèi)中的點(diǎn)數(shù)不少于k個(gè)。Brand[37]和Fuller[38]都利用聚類(lèi)實(shí)現(xiàn)了k-anonymity。

    2)抑制:指用特殊符號(hào)代替現(xiàn)有屬性以使現(xiàn)有屬性值更為模糊的匿名方法,如將手機(jī)號(hào)碼寫(xiě)作159****9468以實(shí)現(xiàn)匿名。Meyerson等[39]證明,采用泛化和抑制方法實(shí)現(xiàn)k-anonymity的最優(yōu)解是一個(gè)NP(non-deterministic polynomial)難問(wèn)題,大多研究均在尋找近似解。

    3)Anatomization:Anatomization[40]不改變QI屬性值和隱私屬性值,而是將兩者分開(kāi)至2個(gè)獨(dú)立的表中,這樣,雖然數(shù)據(jù)不發(fā)生改變,但原有數(shù)據(jù)挖掘方法將不再適用,而且Anatomization發(fā)布連續(xù)數(shù)據(jù)的效果不佳。

    4)數(shù)據(jù)擾動(dòng):數(shù)據(jù)擾動(dòng)是通過(guò)添加噪音[38,41]、數(shù)據(jù)置換[42,43]、人工數(shù)據(jù)合成等方法對(duì)原始數(shù)據(jù)進(jìn)行一定的修改,但保留原始數(shù)據(jù)的統(tǒng)計(jì)信息[44,45]。添加噪音用于數(shù)值型隱私數(shù)據(jù),是用s+r代替原始數(shù)據(jù)s,其中,r是符合某一分布的隨機(jī)值;數(shù)據(jù)置換是指交換記錄的隱私屬性值;人工數(shù)據(jù)合成依據(jù)現(xiàn)有數(shù)據(jù)構(gòu)建一個(gè)統(tǒng)計(jì)模型,并從模型中抽取樣點(diǎn)來(lái)構(gòu)成合成數(shù)據(jù)以代替原始數(shù)據(jù)。

    5)貪心方法:在關(guān)系數(shù)據(jù)庫(kù)匿名中使用廣泛,Zhou等[46]提出了實(shí)現(xiàn)k-neighborhood匿名的貪心算法,并詳述了算法的步驟;Cormode等[47]針對(duì)無(wú)向無(wú)權(quán)重的單邊二分圖,依據(jù)k-anonymity和貪心算法提出(k,s)-分組匿名,該匿名方法可有效抵抗靜態(tài)攻擊及鏈接攻擊。

    3.1.2攻擊類(lèi)型與匿名實(shí)現(xiàn)模型

    不同的攻擊就會(huì)對(duì)應(yīng)有不同的匿名模型,現(xiàn)有的攻擊類(lèi)型如下。

    記錄鏈接攻擊:一個(gè)準(zhǔn)標(biāo)識(shí)符值所對(duì)應(yīng)的表中若干記錄構(gòu)成一個(gè)等價(jià)組,若一個(gè)體具有某準(zhǔn)標(biāo)識(shí)符取值,通過(guò)鏈接對(duì)應(yīng)到某條記錄,就能推算出該個(gè)體具有某屬性的概率。Sweeney等[48]提出k-anonymity模型:若某一記錄具有某一QI值,應(yīng)至少還有k-1條記錄具有此QI值,使鏈接攻擊的可能性為Wang等[49]提出模型,X、Y為2個(gè)不相交屬性集,X中每一值至少對(duì)應(yīng)Y中k個(gè)不同值,k-anonymity是其特例。

    屬性鏈接攻擊:當(dāng)一等價(jià)組內(nèi)屬性過(guò)于單一,攻擊者便可根據(jù)記錄所處等價(jià)組來(lái)推測(cè)其隱私屬性。Machanavajjhala等[50]提出l-diversity模型,要求每一QI-group至少包含l個(gè)不同的敏感屬性,利用多樣性避免此類(lèi)攻擊。Wong等[51]提出了(a,k)-anonymity模型,要求每個(gè)QI屬性至少要與k條記錄相對(duì)應(yīng),從QI屬性判斷隱私屬性時(shí)置信度不大于a。Li等[52]提出t-closeness模型,指等價(jià)類(lèi)中敏感特性的分布以及整個(gè)表中特性的分布距離不超過(guò)閾值t。

    表鏈接攻擊:表鏈接攻擊指攻擊者推測(cè)出記錄是否在表中的攻擊,Nergiz等[53]針對(duì)此類(lèi)問(wèn)題提出了δ-presence模型。

    3.1.3匿名度量與評(píng)價(jià)

    度量信息損耗以驗(yàn)證信息可用性,是算法執(zhí)行過(guò)程中決策的重要依據(jù),下面列舉6種可用的信息損耗度量方法:基于泛化樹(shù)的度量[54]、基于信息熵的度量[55]、LM(loss metric)[56]、CM(classification metric)[56]、DM(discernibility metric)[57]以及AM(ambiguity metric)[58]。

    3.2社交網(wǎng)絡(luò)中的隱私保護(hù)

    社交網(wǎng)絡(luò)數(shù)據(jù)的隱私保護(hù)匿名步驟與關(guān)系數(shù)據(jù)庫(kù)相同,不同之處在于隱私數(shù)據(jù):社交網(wǎng)絡(luò)節(jié)點(diǎn)中的屬性信息的保護(hù)與關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)保護(hù)相同,但社交網(wǎng)絡(luò)中節(jié)點(diǎn)間具有一定關(guān)系,這些關(guān)系信息屬于結(jié)構(gòu)信息,社交網(wǎng)絡(luò)中的隱私保護(hù)研究主要是針對(duì)結(jié)構(gòu)信息的保護(hù)。結(jié)構(gòu)上的隱私泄露主要分3類(lèi):個(gè)體身份泄露(identity disclosure)、連接泄露(link disclosure)、內(nèi)容泄露(content disclosure)。個(gè)體身份泄露指某節(jié)點(diǎn)被關(guān)聯(lián)到某特定個(gè)體;連接泄露指節(jié)點(diǎn)間的邊的隱私信息被攻擊者攻擊;內(nèi)容泄露指與節(jié)點(diǎn)相關(guān)的敏感信息,如郵件信息被破壞。在本節(jié)中,將依據(jù)此分類(lèi)對(duì)社交網(wǎng)絡(luò)保護(hù)模型進(jìn)行討論。

    3.2.1匿名方法

    相比于關(guān)系數(shù)據(jù)庫(kù)中常用的匿名方法:泛化及數(shù)據(jù)擾動(dòng)等,社交網(wǎng)絡(luò)中常用的匿名方法有聚類(lèi)及圖修改法等。聚類(lèi)包括邊聚類(lèi)和節(jié)點(diǎn)聚類(lèi)[31,59]:邊聚類(lèi)通過(guò)完全刪除隱私邊、隨機(jī)去掉部分邊或?qū)⒐?jié)點(diǎn)劃分至不同聚類(lèi)[23]并保留聚類(lèi)間的邊和類(lèi)型來(lái)實(shí)現(xiàn);節(jié)點(diǎn)聚類(lèi)是將節(jié)點(diǎn)合理劃分為組(通過(guò)最大相似度來(lái)度量合理性),每組不少于k個(gè)節(jié)點(diǎn),數(shù)據(jù)發(fā)布時(shí),僅公布組內(nèi)節(jié)點(diǎn)個(gè)數(shù)及邊密度以保護(hù)隱私。

    圖修改法包括最優(yōu)圖構(gòu)建法、隨機(jī)化修改方法、貪心方法。其中,最優(yōu)圖構(gòu)建法[60,61]是假設(shè)攻擊者已知目標(biāo)節(jié)點(diǎn)的度,將圖構(gòu)建問(wèn)題轉(zhuǎn)化為構(gòu)建已知度數(shù)序列的圖問(wèn)題;隨機(jī)化修改方法[59,62]是保持節(jié)點(diǎn)不變,通過(guò)隨機(jī)刪除m條邊,再隨機(jī)增加m條邊,使攻擊者獲得的結(jié)果中含有噪聲,實(shí)現(xiàn)隱私的保護(hù)。

    3.2.2信息泄露類(lèi)型與匿名實(shí)現(xiàn)模型

    1)個(gè)體身份泄露

    個(gè)體身份泄露指?jìng)€(gè)體的屬性信息、結(jié)構(gòu)位置信息、標(biāo)簽信息等被攻擊者獲得而被識(shí)別,針對(duì)該類(lèi)隱私數(shù)據(jù)的匿名模型包括:Hay等[59]研究了識(shí)別匿名網(wǎng)絡(luò)中已知個(gè)體的方法,提出了k-candidate匿名,通過(guò)隨機(jī)增加、刪除邊來(lái)應(yīng)對(duì)此類(lèi)攻擊,實(shí)現(xiàn)圖結(jié)構(gòu)查詢返回的候選節(jié)點(diǎn)數(shù)目至少是k個(gè);Liu等[27]假設(shè)攻擊者知道某些節(jié)點(diǎn)的度的信息,通過(guò)最少加邊來(lái)實(shí)現(xiàn)k-degree匿名,使圖中相同度數(shù)的節(jié)點(diǎn)至少有 k個(gè);Zhou等[46]考慮攻擊者知道由目標(biāo)節(jié)點(diǎn)的直接鄰域構(gòu)成的子圖,若結(jié)構(gòu)單一便可識(shí)別出目標(biāo)節(jié)點(diǎn),提出k-neighborhood匿名,通過(guò)泛化節(jié)點(diǎn)標(biāo)簽和加邊來(lái)保證任一節(jié)點(diǎn)和其鄰居節(jié)點(diǎn)構(gòu)成的子圖至少與其他k-1個(gè)子圖同構(gòu);Zou等[33]假設(shè)攻擊者的背景知識(shí)為一名用戶周?chē)乃凶訄D,提出k-automorphism匿名,使圖中任一子圖都與至少k-1個(gè)子圖同構(gòu),并提出k-match算法以抵抗任何以圖結(jié)構(gòu)為背景知識(shí)的攻擊。

    2)連接泄露

    連接即連接節(jié)點(diǎn)之間的邊,邊分為隱私的和公開(kāi)的,需要對(duì)隱私邊進(jìn)行保護(hù)。

    針對(duì)無(wú)權(quán)圖的連接泄露保護(hù)研究如下。Zheleva等[31]針對(duì)從匿名的網(wǎng)絡(luò)中推測(cè)出隱私關(guān)系的連接泄露提出了3種算法:去掉所有隱私邊、隨機(jī)化去除部分隱私邊、聚類(lèi)。Ying等[62]研究了2種隨機(jī)化技術(shù):① 隨機(jī)添加n條邊后隨機(jī)刪除n條邊,并提出一種光譜保護(hù)隨機(jī)化方法來(lái)引導(dǎo)在社交圖譜中選擇增加或刪除的邊;② 隨機(jī)交換邊。這2種隨機(jī)化技術(shù),前者保證邊總量不變,后者保證節(jié)點(diǎn)度數(shù)不變,并擴(kuò)展了2種方法,提出了保留特征值譜的算法。Cheng等[63]提出k-isomorphism匿名,使G包含k個(gè)兩兩同構(gòu)的非連通子圖。Liu等[27]針對(duì)圖形的匿名化問(wèn)題進(jìn)行研究,提出一種簡(jiǎn)單高效的算法,以最少的邊修改操作實(shí)現(xiàn) k-Degree匿名。Yang等[64]針對(duì)k-automorphism匿名忽略了邊泄露而k-isomorphism匿名降低了信息可用性的問(wèn)題,提出 AK-secure隱私保護(hù)模型,并提出了適用于該模型的圖匿名算法以降低信息損耗。

    對(duì)有權(quán)圖的連接泄露保護(hù)包括:①Liu等[65]研究的2種算法,高斯隨機(jī)算法及貪心擾動(dòng)算法,用以保護(hù)節(jié)點(diǎn)對(duì)間的最短路徑長(zhǎng)度,并最大限度保留一些邊的權(quán)值,從而保證數(shù)據(jù)的可用性;②Das等[66]提出以線性規(guī)劃為基礎(chǔ),適當(dāng)改變?cè)紙D中邊的權(quán)值并保護(hù)網(wǎng)絡(luò)中的線性屬性,如最短路徑、最短生成樹(shù);③Liu等[67]基于k-anonymity隱私保護(hù)模型,提出k-anonymity算法以減少加邊和權(quán)值改變。

    3)內(nèi)容泄露

    內(nèi)容泄露是指?jìng)€(gè)人隱私在網(wǎng)絡(luò)中透露給了他人,采用傳統(tǒng)的數(shù)據(jù)屏蔽技術(shù)或由用戶有選擇地開(kāi)啟和禁用服務(wù)即可解決此類(lèi)問(wèn)題。

    3.2.3匿名度量與評(píng)價(jià)

    為了保證所發(fā)布的數(shù)據(jù)的可用性,某些社交圖譜的特性要求在匿名之后有所保留。Zheleva[31]在其研究中量化了施加匿名操作后,對(duì)所發(fā)布的數(shù)據(jù)帶來(lái)的影響;Ying等[62]分析了隨機(jī)化對(duì)網(wǎng)絡(luò)中各種特性的影響,并對(duì)邊匿名所能達(dá)到的程度進(jìn)行了理論分析;Zou等[33]使用匿名前后圖修改的邊數(shù)來(lái)量化信息損失,修改的邊數(shù)越少,信息損失越少。

    4 訪問(wèn)控制方法的研究

    4.1訪問(wèn)控制模型及分類(lèi)

    訪問(wèn)控制系統(tǒng)一般包括:主體、客體和訪問(wèn)控制策略,依次指資源請(qǐng)求發(fā)起者、被訪問(wèn)的資源、對(duì)訪問(wèn)權(quán)限具體定義的語(yǔ)句。

    社交網(wǎng)絡(luò)訪問(wèn)控制模型可依據(jù)其8個(gè)特征[68]進(jìn)行分類(lèi),這 8個(gè)特征依次為:請(qǐng)求者身份,即模型設(shè)定的用戶身份證明方式;資源與好友關(guān)系決策權(quán),即資源與關(guān)系的映射或分配證書(shū)的決定權(quán);訪問(wèn)控制權(quán),即用戶是否有權(quán)決定訪問(wèn)控制規(guī)則;資源控制權(quán),即用戶對(duì)各類(lèi)資源的訪問(wèn)控制權(quán)限;好友關(guān)系管理,即用戶對(duì)好友關(guān)系的分類(lèi)細(xì)度;憑證分布,憑證即用戶使用的訪問(wèn)控制規(guī)則,憑證分布即憑證的存放地點(diǎn),最好的方式是由客戶存儲(chǔ);轉(zhuǎn)授權(quán)憑證,最好的方式是由用戶控制其傳遞;透明度,即用戶對(duì)目前訪問(wèn)控制狀態(tài)的信息掌握情況。綜合這 8個(gè)特征即可對(duì)各訪問(wèn)控制模型的優(yōu)缺點(diǎn)進(jìn)行判斷。

    4.2傳統(tǒng)的訪問(wèn)控制模型

    傳統(tǒng)訪問(wèn)控制模型最初是為了解決大型主機(jī)上的數(shù)據(jù)授權(quán)訪問(wèn)問(wèn)題,主要分為2類(lèi)[69,70]:DAC 和MAC。隨著系統(tǒng)規(guī)模的擴(kuò)大,MAC、DAC逐漸不能滿足實(shí)際需求,面向?qū)ο蟮幕诮巧脑L問(wèn)控制[71](RBAC,role-based access control)應(yīng)運(yùn)而生。RBAC將訪問(wèn)許可權(quán)分配給一定的角色,用戶飾演不同的角色來(lái)獲得角色所擁有的訪問(wèn)許可權(quán)。DAC、MAC和RBAC均為基于主客體觀點(diǎn)的被動(dòng)訪問(wèn)控制模型,其授權(quán)是靜態(tài)的;基于屬性的訪問(wèn)控制[72](ABAC,attribute-based access control)由于其可實(shí)現(xiàn)對(duì)主體、客體以及訪問(wèn)控制策略的細(xì)粒度刻畫(huà)而廣受關(guān)注,其核心思想是將主體、客體、權(quán)限以及訪問(wèn)請(qǐng)求所處的上下文環(huán)境通過(guò)屬性及屬性值對(duì)來(lái)描述[73],這樣即可實(shí)現(xiàn)屬性值的運(yùn)算,使策略描述更加精確。

    4.3面向社交網(wǎng)絡(luò)隱私保護(hù)的訪問(wèn)控制模型

    1)基于信任的訪問(wèn)控制模型

    在OSN訪問(wèn)控制模型研究初期,根據(jù)資源擁有者和請(qǐng)求者間的關(guān)系類(lèi)型及信任級(jí)別,研究出基于信任的訪問(wèn)控制模型,主要包括:Kruk等[74]提出一種訪問(wèn)權(quán)委派模型 D_FOAF(distributedfriend of a friend),考慮了U2U(user-to-user)這一關(guān)系類(lèi)型,未考慮 U2R(user-to-resource)和R2R(resource-to-resource)關(guān)系,不適用于功能愈加復(fù)雜的 OSN;Carminati等[75]提出的基于規(guī)則的訪問(wèn)控制模型,依據(jù)現(xiàn)有關(guān)系的類(lèi)型、深度及信任水平來(lái)授予關(guān)系真實(shí)性證書(shū),在關(guān)系信任值計(jì)算中一次僅支持一種關(guān)系類(lèi)型,在文獻(xiàn)[76]中,Carminati提出半分布式架構(gòu)的訪問(wèn)控制機(jī)制,由客戶端進(jìn)行訪問(wèn)控制,在文獻(xiàn)[77]中,Carminati提出了分布式安全框架,由用戶依據(jù)關(guān)系類(lèi)型、深度和信任值來(lái)控制資源的訪問(wèn)及好友關(guān)系,同時(shí)采用密碼技術(shù)來(lái)控制資源分享。

    但依據(jù)信任來(lái)進(jìn)行訪問(wèn)控制,訪問(wèn)控制管理不夠靈活、擴(kuò)展性能不佳,且在信任語(yǔ)義的定義、兼顧效率及隱私的信任值計(jì)算和監(jiān)控方案上仍有較大問(wèn)題[78]。

    2)基于語(yǔ)義網(wǎng)技術(shù)的訪問(wèn)控制模型

    語(yǔ)義網(wǎng)[79]由萬(wàn)維網(wǎng)之父蒂姆·伯納斯·李提出的概念,是WWW(world wide Web)的延伸,指將計(jì)算機(jī)所能理解的語(yǔ)義信息添加入萬(wàn)維網(wǎng)的文檔中,使萬(wàn)維網(wǎng)成為通用信息交換平臺(tái)。Carminati等[80,81]提出采用基于語(yǔ)義網(wǎng)技術(shù)的網(wǎng)頁(yè)本體語(yǔ)言(OWL,Web ontology language)和語(yǔ)義網(wǎng)規(guī)則語(yǔ)言(SWRL,semantic Web rule language)來(lái)刻畫(huà)用戶間的信任關(guān)系,并依此進(jìn)行授權(quán)、管理,提出OSN可擴(kuò)展的細(xì)粒度訪問(wèn)控制模型,并在文獻(xiàn)[81]中,以實(shí)驗(yàn)性的社交網(wǎng)絡(luò)測(cè)試所提出的訪問(wèn)控制方案。

    Masoumzadeh[82]使用社交網(wǎng)絡(luò)系統(tǒng)本體(SNO,social network system ontology)來(lái)描述信息以表達(dá)復(fù)雜的用戶、數(shù)據(jù)、用戶—數(shù)據(jù)間關(guān)系,提出了訪問(wèn)控制本體(ACO,access control ontology)概念以及更為細(xì)粒度的訪問(wèn)控制模型OSNAC,并證明了此模型的適用性,但仍需考慮本體和規(guī)則推導(dǎo)的效率以及復(fù)雜性問(wèn)題。

    3)基于關(guān)系的訪問(wèn)控制模型

    在OSN的實(shí)際應(yīng)用中,人們期望它能夠提供更真實(shí)的個(gè)人信息,且交友模式建立在現(xiàn)實(shí)生活中的社交圈,便產(chǎn)生了基于關(guān)系的訪問(wèn)控制機(jī)制。Fong等[83]對(duì)Facebook的訪問(wèn)控制機(jī)制做了形式化描述,構(gòu)建出基于實(shí)際OSN的隱私保護(hù)模型,之后,F(xiàn)ong等又引入了模態(tài)邏輯語(yǔ)言,對(duì)模態(tài)邏輯語(yǔ)言擴(kuò)展后將其應(yīng)用于訪問(wèn)控制模型構(gòu)建,形成了語(yǔ)言表達(dá)能力更強(qiáng)的基于關(guān)系的 OSN訪問(wèn)控制模型 ReBAC[84](relationship-based access control)。之后,Bruns[85]使用混合邏輯(hybrid logic)語(yǔ)言對(duì)ReBAC進(jìn)行了改進(jìn),使ReBAC表達(dá)能力更強(qiáng),效率更高。

    Fong等在訪問(wèn)控制模型設(shè)計(jì)中引入了策略語(yǔ)言,使策略語(yǔ)言成為又一研究熱點(diǎn)。Park等[86]從用戶活動(dòng)的角度,將OSN的功能和控制活動(dòng)相區(qū)分,將核心控制活動(dòng)分為 4類(lèi):屬性、策略、關(guān)系、會(huì)話,構(gòu)造出一種適用于OSN的訪問(wèn)控制框架,隨后以正則表達(dá)式為策略語(yǔ)言,提出基于U2U關(guān)系的訪問(wèn)控制模型 UURAC(user-to-user relationship-based access control),之后對(duì)其完善,使其支持U2R及R2R[87],隨后,Park等依據(jù)社交圖譜中的關(guān)系路徑類(lèi)型及跳數(shù)來(lái)制定授權(quán)策略,使策略語(yǔ)言更具靈活性,并提供簡(jiǎn)單的策略沖突消解機(jī)制[88];Pang等[89]提出一種基于雙線性對(duì)密碼體系的密碼協(xié)議,以在分布式社交網(wǎng)絡(luò)中實(shí)現(xiàn)基于關(guān)系的訪問(wèn)控制,并在實(shí)際社交網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中進(jìn)行模擬,對(duì)其效率進(jìn)行了評(píng)估。

    4)基于屬性加密的訪問(wèn)控制模型

    Shuai[90]提出基于屬性加密的訪問(wèn)控制機(jī)制Masque,以實(shí)現(xiàn)加密數(shù)據(jù)的互動(dòng)分享及靈活的訪問(wèn)控制,其中,半可信的OSN提供商不觸及用戶的敏感數(shù)據(jù)且由用戶制定個(gè)人的訪問(wèn)控制策略,但其撤銷(xiāo)及重定義以及當(dāng)用戶量增大時(shí)如何保證加解密效率有待更深入的研究。

    Baden[91]提出Persona方案,將屬性加密和傳統(tǒng)公鑰加密結(jié)合得出可由用戶自主決定訪問(wèn)策略的無(wú)中心系統(tǒng),由于個(gè)人數(shù)據(jù)加密存儲(chǔ),不要求中間媒介可信任。

    5 結(jié)束語(yǔ)

    目前,社交網(wǎng)絡(luò)中的隱私保護(hù)仍然面臨著諸多問(wèn)題和挑戰(zhàn),需要進(jìn)一步展開(kāi)研究。

    1)大規(guī)模社交網(wǎng)絡(luò)。當(dāng)前的多種隱私保護(hù)技術(shù)都僅限于小規(guī)模社交網(wǎng)絡(luò),當(dāng)規(guī)模逐漸龐大時(shí),原有技術(shù)會(huì)因?yàn)樗惴◤?fù)雜度過(guò)高而被淘汰,目前,僅有少數(shù)針對(duì)大規(guī)模社交網(wǎng)站的研究,例如,Narayanan等[92]提出一種基于網(wǎng)絡(luò)拓?fù)涞拇笠?guī)模社交網(wǎng)絡(luò)的解匿名技術(shù),利用目標(biāo)網(wǎng)絡(luò)與輔助網(wǎng)絡(luò)的結(jié)構(gòu)相似性來(lái)實(shí)現(xiàn),但這些研究并不成熟,需要更深入的探索。

    2)動(dòng)態(tài)社交網(wǎng)絡(luò)。目前,大多技術(shù)主要針對(duì)單次發(fā)布的數(shù)據(jù),但對(duì)于動(dòng)態(tài)復(fù)雜的OSN,這些技術(shù)并不能提供足夠的保護(hù),這使OSN中動(dòng)態(tài)數(shù)據(jù)發(fā)布隱私保護(hù)技術(shù)的研究成為一個(gè)重要課題[93],例如,Zou等[33]提出 k-match算法使圖形滿足k-automorphism匿名以抵抗任何以圖為背景知識(shí)的攻擊,并擴(kuò)展了k-match 算法以處理動(dòng)態(tài)網(wǎng)絡(luò)匿名發(fā)布中的問(wèn)題;谷勇浩等[94]分析了k-匿名算法,并基于此,提出基于聚類(lèi)的動(dòng)態(tài)圖發(fā)布隱私保護(hù)方法;Cheng等[63]通過(guò)泛化ID來(lái)處理動(dòng)態(tài)網(wǎng)絡(luò)多重發(fā)布問(wèn)題,但文中未能給出增刪節(jié)點(diǎn)的解決方案;Chen[95]將差分隱私保護(hù)方法應(yīng)用于OSN隱私保護(hù)中,但節(jié)點(diǎn)間的高度相關(guān)性使算法復(fù)雜度隨數(shù)據(jù)規(guī)模增長(zhǎng)較快;Malik等[96]提出了一種基于語(yǔ)義網(wǎng)技術(shù)的訪問(wèn)控制機(jī)制,通過(guò)這種語(yǔ)義標(biāo)識(shí)機(jī)制來(lái)自動(dòng)檢測(cè)敏感信息,實(shí)現(xiàn)OSN文本信息的動(dòng)態(tài)隱私保護(hù)。從這些研究來(lái)看,目前的解決方案存在著對(duì)社交圖譜動(dòng)態(tài)變化適應(yīng)性不強(qiáng)、算法效率低、未考慮或僅考慮單一的背景知識(shí)攻擊等缺陷,需要進(jìn)一步研究。

    3)策略語(yǔ)言。策略語(yǔ)言制定訪問(wèn)控制策略需遵循的格式及標(biāo)準(zhǔn),目前的訪問(wèn)控制策略語(yǔ)言有正則表達(dá)式、四值邏輯[97]、簡(jiǎn)單策略語(yǔ)言(SPL,simple policy language)、可擴(kuò)展的訪問(wèn)控制標(biāo)記語(yǔ)言[98](XACML,eXtensible access control markup language)、語(yǔ)義網(wǎng)技術(shù)等,但目前已有的策略語(yǔ)言或表達(dá)能力欠缺,或規(guī)則推導(dǎo)效率低,或策略沖突檢測(cè)及消解能力不足,因此,需設(shè)計(jì)出更好的策略語(yǔ)言,也可利用策略合成或策略整合代數(shù)融合多種邏輯語(yǔ)言形成自成體系的策略語(yǔ)言。這方面的研究取得了一定的成果:Burns[99,100]提出基于四值邏輯的策略語(yǔ)言PBel;Li等[101]基于自動(dòng)化理論及線性約束,提出一種策略合成語(yǔ)言(PCL,policy combining language),可精確表達(dá)及評(píng)估多種策略合成算法(PCA,policy combining algorithm),且實(shí)現(xiàn)了與XACML的集成;Ni等[102]提出了一種策略整合代數(shù)D-algebra來(lái)分析策略語(yǔ)言決策機(jī)制,是很好的策略語(yǔ)言設(shè)計(jì)及實(shí)現(xiàn)工具。

    4)多方訪問(wèn)控制。在OSN中,一些共享信息涉及到多名用戶,對(duì)信息相關(guān)者做擁有者、貢獻(xiàn)者、相關(guān)者以及傳播者的身份劃分,其中,擁有者指該信息存放地點(diǎn)為該用戶的空間內(nèi);貢獻(xiàn)者指該用戶在他人空間中發(fā)布某類(lèi)信息;相關(guān)者指被數(shù)據(jù)擁有者用@等方式與信息相關(guān)聯(lián)的用戶;傳播者指該用戶分享了此類(lèi)信息并且將其存在于本身的空間中。

    但多數(shù)訪問(wèn)控制模型僅支持資源擁有者指定訪問(wèn)策略,未考慮到貢獻(xiàn)者、相關(guān)者和傳播者,這就可能引起共享沖突情況的發(fā)生,Hu等[103]構(gòu)造出一種簡(jiǎn)單易用的可實(shí)現(xiàn)多用戶共享數(shù)據(jù)的訪問(wèn)控制模型,并為OSN設(shè)計(jì)了聯(lián)合授權(quán)策略以及沖突解決機(jī)制;Squicciarini等[104]針對(duì)共享內(nèi)容,提出所有權(quán)由內(nèi)容創(chuàng)建者分配給多個(gè)用戶的所有權(quán)共享方式,但這種處理方法易導(dǎo)致管理混亂;Bennett等[105]采用基于關(guān)系的訪問(wèn)控制機(jī)制,提出Alloy Analyzer以檢測(cè)共享沖突及潛在的錯(cuò)誤設(shè)置。可以看出,現(xiàn)有的多方訪問(wèn)控制解決方案缺少靈活性及細(xì)粒度性,且存在缺少表達(dá)力強(qiáng)的授權(quán)語(yǔ)言以描述復(fù)雜的多方授權(quán)問(wèn)題,有待進(jìn)一步研究。

    [1]劉建偉,李為宇,孫鈺. 社交網(wǎng)絡(luò)安全問(wèn)題及其解決方案[J]. 中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2011,41(7):565-575. LIU J W,LI W Y,SUN Y. Security issues and solutions on social networks[J]. Journal of University of Science & Technology of China,2011,41(7):565-575.

    [2]Twitter [EB/OL].https://zh.wikipedia.org/wiki/Twitter.

    [3]BILTON N. Twitter implements do not track privacy option[N].The New York Times,2012-05-26.

    [4]BAO J,CHENG J. Group trust algorithm based on social network[J]. Computer Science,2012,39(2):38-41.

    [5]WEI W,LI Y,ZHANG W. Study on GSNPP algorithm based privacy-preserving approach in social networks[J]. Computer Science,2012,39(3): 104-106.

    [6]WANG X G. Discovering critical nodes in social networks based on cooperative games[J]. Computer Science,2013,40(4): 155-161.

    [7]AJAMI R,RAMADAN N,MOHAMED N,et al. Security challenges and approaches in online social networks: a survey[J]. International Journal of Computer Science & Network Security,2011,11(20).

    [8]SCHNEIDER F,F(xiàn)ELDMANN A,KRISHNAMURTHY B,et al. Understanding online social network usage from a network perspective[C]//IMC. c2009:35-48.

    [9]BOYD D M,ELLISON N B. Social network sites: definition,history,and scholarship[J]. Journal of Computer-mediated Communication,2010,38(3):16-31.

    [10]ADAMIC L,ADAR E. How to search a social network[J]. Social Networks,2005,27(3):187-203.

    [11]NGUYEN N P,XUAN Y,THAI M T. A novel method for worm containment on dynamic social networks[C]//Military Communications Conference. c2010: 2180-2185.

    [12]WEI W,XU F,TAN C C,et al. Sybil defender: defend against sybil attacks in large social networks[C]//IEEE Infocom. c2012: 1951-1959.

    [13]WEIPPL E,GOLUCH S,KITZLER G,et al. Friend-in-the-middle attacks: exploiting social networking sites for spam[J]. Internet Computing IEEE,2011,15(3):28-34.

    [14]AHN G J,SHEHAB M,SQUICCIARINI A. Security and privacy in social networks[J]. Internet Computing,2011,15(3): 10-12.

    [15]DEY R,TANG C,ROSS K,et al. Estimating age privacy leakage in online social networks[J]. IEEE Infocom,2012,131(5):2836-2840. [16]YANG C C. Preserving privacy in social network integration with τ-tolerance[C]//2011 IEEE International Conference on Intelligence and Security Informatics(ISI). c2011:198-200.

    [17]IRANI D,WEBB S,PU C,et al. Modeling unintended personal-information leakage from multiple online social networks[J]. IEEE Internet Computing,2011,15(3):13-19.

    [18]KRISHNAMURTHY B,WILLS C E. Characterizing privacy in online social networks[C]//The first workshop on online social networks. c2008:37-42.

    [19]LUO W,XIE Q,HENGARTNER U. FaceCloak: an architecture for user privacy on social networking sites[C]//International Conference on Computational Science & Engineering. c2009:26-33.

    [20]BEYE M,JECKMANS A J P,ERKIN Z,et al. Privacy in online social networks[J]. International Journal of Computer Applications,2012,41(13):5-8.

    [21]SMITH H J,DINEV T,XU H. Information privacy research: an interdisciplinary review[J]. MIS Quarterly,2011,35(4):989-1016.

    [22]BANSAL G,ZAHEDI F,GEFEN D. The moderating influence of privacy concern on the efficacy of privacy assurance mechanisms for building trust: a multiple-context investigation[C]//The International Conference on Information Systems( ICIS). Paris,c2008.

    [23]宋文略. 社交網(wǎng)絡(luò)數(shù)據(jù)的隱私保護(hù)研究[D].南京:南京大學(xué),2011. SONG W L. Social network data privacy protection research[D]. Nanjing: Nanjing University,2001.

    [24]HUANG Q,ZHU J,SONG B,et al. Game model of user's privacy-preserving in social networds[J].Computer Science,2014,41(10):184-190.

    [25]MARTIN D J,KIFER D,MACHANAVAJJHALA A,et al. Worst-case background knowledge for privacy-preserving data publishing[C]//IEEE 23rd international Conference on Data Engineering(ICDE).c2007:126-135.

    [26]ZHOU B,PEI J,LUK W S. A brief survey on anonymization techniques for privacy preserving publishing of social network data[J]. ACM Sigkdd Explorations Newsletter,2008,10(2):12-22.

    [27]LIU K,TERZI E. Towards identity anonymization on graphs[C]//ACM Sigmod.c2008:93-106.

    [28]BACKSTROM L,DWORK C,KLEINBERG J. Wherefore art thou R3579X?: anonymized social networks,hidden patterns,and structural steganography[C]//The 16th International Conference on World Wide Web. c2007: 181-190.

    [29]WONDRACEK G,HOLZ T,KIRDA E,et al. A practical attack to de-anonymize social network users[C]//2010 IEEE Symposium on Security and Privacy(SP). c2010:223-238.

    [30]CORDELLA L P,F(xiàn)OGGIA P,SANSONE C,et al. A(sub)graph isomorphism algorithm for matching large graphs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(10):1367-1372.

    [31]ZHELEVA E,GETOOR L. Preserving the privacy of sensitive relationships in graph data[C]//Pinkdd. c2007:153-171.

    [32]LIU K,DAS K,GRANDISON T,et al. Privacy-preserving data analysis on graphs and social networks[J]. 2008.

    [33]ZOU L,CHEN L,ZSU M T. K-automorphism: a general framework for privacy preserving network publication[J].The VLDB Endowment,2009,2(1):946-957.

    [34]SAMARATI P,SWEENEY L. Generalizing data to provide anonymity when disclosing information(abstract)[C]//The 17th ACM Sigact-Sigmod-Sigart Symposium on Principles of Database Dystems. c1998:188.

    [35]SAMARATI P. Protecting respondents' identities in microdata release[J]. IEEE Transactions on Knowledge & Data Engineering,2001,13(6):1010-1027.

    [36]TAO Y,XIAO X. Personalized privacy preservation[C]//The 2006 ACM SIGMOD International Conference on Management of Data. c2010:229-240.

    [37]BRAND R. Microdata protection through noise addition[C]// Inference Control in Statistical Databases From Theory to Practice. c2002:97-116.

    [38]FULLER W A. Masking procedures for microdata disclosure limitation[J]. Journal of Official Statistics,1993.

    [39]MEYERSON A,WILLIAMS R. On the complexity of optimal k-anonymity[C]//The 23rd ACM Sigmod-Sigcat-Sigart Symposium. c2010:223-228.

    [40]XIAO X,TAO Y. Anatomy: simple and effective privacy preservation[C]//International Conference on Very Large Data Bases. c2006:139-150.

    [41]KIM J J,WINKLER W E,CENSUS B O T. Masking microdata files[C]//The Survey Research Methods. c1997:114-119.

    [42]REISS S P,POST M J,DALENIUS T. Non-reversible privacy transformations.[C]//The ACM Symposium on Principles of Database Systems. California,c1982:139-146.

    [43]DALENIUS T,REISS S P. Data-swapping: a technique for disclosure control [J]. Journal of Statistical Planning & Inference,1982,6(1):73-85.

    [44]DU W,ZHAN Z. Abstract: using randomized response techniques for privacy-preserving data mining [C]//The Ninth ACM Sigkdd International Conference on Knowledge Discovery and Data Mining,Washington DC. c2003:505-510.

    [45]EVFIMIEVSKI A,SRIKANT R,AGRAWAL R,et al. Privacy preserving mining of association rules[J]. Information Systems,2004,29(4): 343-364.

    [46]ZHOU B,PEI J. Preserving privacy in social networks against neighborhood attacks[C]//IEEE International Conference on Data Engineering. c2008:506-515.

    [47]CORMODE G,SRIVASTAVA D,YU T,et al. Anonymizing bipartite graph data using safe groupings[J]. VLDB Journal,2010,19(1):115-139.

    [48]SWEENEY L. K-anonymity: a model for protecting privacy[J]. International Journal of Uncertainty,F(xiàn)uzziness and Knowledge-Based Systems,2008,10(5):557-570.

    [49]WANG K,F(xiàn)UNG B C M. Anonymizing sequential releases[C]//IEEE Computer Science.c2006:414-423.

    [50]MACHANAVAJJHALA A,KIFER D,GEHRKE J. L-diversity: privacy beyond k -anonymity[J]. ACM Transactions on Knowledge Discovery from Data(TKDD),2007,1(1):24.

    [51]WONG C W,LI J,F(xiàn)U W C,et al. α,k)-anonymity: an enhanced k-anonymity model for privacy preserving data publishing[C]//ACM Sigkdd. c2006:754-759.

    [52]LI N,LI T,VENKATASUBRAMANIAN S. T-Closeness: privacy beyond k-anonymity and l-diversity[C]//IEEE 23rd International Conference on Data Engineering(ICDE).c2007:106-115.

    [53]NERGIZ M E,ATZORI M,CLIFTON C. Hiding the presence of individuals from shared databases[C]//The ACM Sigmod International Conference on Management of Data. c2007:665-676.

    [54]AGRAWAL R,SRIKANT R. Privacy preserving data mining[M]//Foundations and Advances in Data Mining. Berlin Heidelberg:Springer,2000:439-450.

    [55]GIONIS A,MAZZA A,TASSA T. K-anonymization revisited[C]//IEEE 24th International Conference on Data Engineering(ICDE).c2008:744-753.

    [56]IYENGAR V S. Transforming data to satisfy privacy constraints[C]//The eighth ACM Sigkdd International Conference On Knowledge Discovery And Data Mining. c2002: 279-288.

    [57]BAYARDO R J,AGRAWAL R. Data privacy through optimal k-anonymization[C]//The 21st International Conference on Data Engineering(ICDE).c2005: 217-228.

    [58]NERGIZ M E,CLIFTON C. Thoughts on k-anonymization[J].Data & Knowledge Engineering,2007,63(3):622-645.

    [59]HAY M,MIKLAU G,JENSEN D,et al. Resisting structural re-identification in anonymized social networks[J]. The Vldb Endowment,2008,1(1):797-823.

    [60]DIESTEL R. Graph theory[J]. Oberwolfach Reports,2000,311(1):67-128.

    [61]GROSS J L,YELLEN J. Graph theory and its applications,second edition(discrete mathematics and its applications)[M]. Chapman & Hall/CRC,2005.

    [62]YING X,WU X. Randomizing social networks: a spectrum preserving approach[C]//The SIAM International Conference on Data Mining. Georgia,c2008:739-750.

    [63]CHENG J,F(xiàn)U W C,LIU J. K-isomorphism: privacy preserving network publication against structural attacks[C]//International Conference on Management of Data. 2010:459-470.

    [64]YANG J,WANG B,YANG X,et al. A secure k-automorphism privacy preserving approach with high data utility in social networks[J]. Security & Communication Networks,2014,7(9): 1399-1411.

    [65]LIU L,WANG J,LIU J,et al. Privacy preserving in social networks against sensitive edge disclosure[R]. Technical Report Technical Report CMIDA-HiPSCCS 006-08,2008.

    [66]DAS S,?MER E,ABBADI A E. Anónimos: an LP-based approach for anonymizing weighted social network graphs[J]. IEEE Transac-tions on Knowledge & Data Engineering,2010,24(4):590 -604.

    [67]LIU C G,LIU I H,YAO W S,et al. K-anonymity against neighborhood attacks in weighted social networks[J]. Security & Communication Networks,2015,8(18):3864-3882.

    [68]韓鈺佳. 社交網(wǎng)絡(luò)訪問(wèn)控制安全研究[D]. 西安:西安電子科技大學(xué),2013. HAN Y J. Social network access control security research [D]. Xi'an: Xidian university,2013.

    [69]SNYDER L. Formal models of capability-based protection systems[J]. IEEE Transactions on Computers,1981,30(3):172-181.

    [70]李鳳華,蘇铓,史國(guó)振,等. 訪問(wèn)控制模型研究進(jìn)展及發(fā)展趨勢(shì)[J].電子學(xué)報(bào),2012,40(4):805-813. LI F H,SU M,SHI G Z,et al. Research status and development trends of access control model[J]. Acta Electronica Sinica,2012,40(4): 805-813.

    [71]FERRAIOLO D F,KUHN D R. Role-based access controls[C]//The 15th NIST-NCSC National Computer Security Conference. c1992:554-563.

    [72]HU V C,KUHN D R,F(xiàn)ERRAIOLO D F,et al. Attribute-based access control[J]. Computer,2015,48(2):85-88.

    [73]LIN L,HUAI J,LI X. Attribute-based access control policies composition algebra[J]. Journal of Software,2009,20(2):403-414.

    [74]KRUK S R,GRZONKOWSKI S,GZELLA A,et al. D-FOAF:distributed identity management with access rights delegation[C]//Asian Semantic Web Conference. c2006:140-154.

    [75]CARMINATI B,F(xiàn)ERRARI E,PEREGO A. Rule-based access control for social networks[M]//On the Move to Meaningful Internet Systems 2006: OTM 2006 Workshops. Berlin: Springer,2006:1734-1744.

    [76]CARMINATI B,F(xiàn)ERRARI E,PEREGO A. Enforcing access control in web-based social networks[J]. ACM Transactions on Information & System Security,2009,13(1):6:1-38.

    [77]CARMINATI B,F(xiàn)ERRARI E,PEREGO A. A decentralized security framework for Web-based social networks[J]. International Journal of Information Security & Privacy,2008,2(4):22-53.

    [78]FERRARI E. Access control,privacy and trust in on-line social networks: issues and solutions[M]. Berlin :Springer,2011.

    [79]LEE T B,HENDLER J,LASSILA O. The semantic Web[J]. Semantic Web Research & Applications,2001,284(5):28-37.

    [80]CARMINATI B,F(xiàn)ERRARI E,HEATHERLY R,et al. A semantic Web based framework for social network access control[C]//ACM Symposium on Access Control Models & Technologies. c2009:177-186.

    [81]CARMINATI B,F(xiàn)ERRARI E,HEATHERLY R. Semantic Webbased social network access control[J]. Computers & Security,2011,30(2/3):108-115.

    [82]MASOUMZADEH A,JOSHI J. OSNAC: An ontology-based access control model for social networking systems[C]//2010 IEEE Second International Conference on Social Computing(Social-Com). c2010:751-759.

    [83]FONG P W L,ANWAR M,ZHAO Z. A privacy preservation model for facebook-style social network systems[C]//The 14th European Conference on Research in Computer Cecurity. c2009:303-320.

    [84]FONG P W L. Relationship-based access control: protection model and policy language[C]//The First ACM Conference on Data & Application Security & Privacy. c2011:191-202.

    [85]BRUNS G,F(xiàn)ONG P W L,SIAHAAN I,et al. Relationship-based access control: its expression and enforcement through hybrid logic[C]//ACM Conference on Data and Application Security and Privacy. c2012:117-124.

    [86]PARK J,SANDHU R,CHENG Y. A user-activity-centric framework for access control in online social networks[J]. IEEE Internet Computing,2011,15(5):62-65.

    [87]YUAN C,PARK J,SANDHU R. A user-to-user relationship-based access control model for online social networks[C]//International Conference on Data & Applications Security & Privacy.c2012:8-24.

    [88]YUAN C,PARK J,SANDHU R. Relationship-based access control for online social networks: beyond user-to-user relationships[C]//2012 International Conference on Privacy,Security,Risk and Trust(PASSAT),and 2012 International Confernece on Social Computing(SocialCom). c2012:646-655.

    [89]PANG J,ZHANG Y. Cryptographic protocols for enforcing relationship-based access control policies[C]//IEEE Computer Software and Applications Conference. c2015.

    [90]SHUAI H,ZHU W T. Masque: access control for interactive sharing of encrypted data in social networks[C]//The 6th international conference on Network and System Security. c2012:503-515.

    [91]BADEN R,BENDER A,SPRING N,et al. Persona: an online social network with user-defined privacy[J]. ACM Sigcomm Computer Communication Review,2009,39(4):135-146.

    [92]NARAYANAN A,SHMATIKOV V. De-anonymizing social networks[C]//Eprint Arxiv:0903.c2009:173-187.

    [93]BHAGAT S,CORMODE G,KRISHNAMURTHY B,et al. Prediction promotes privacy in dynamic social networks[J]. WWW,2010.

    [94]谷勇浩,林九川,郭達(dá). 基于聚類(lèi)的動(dòng)態(tài)社交網(wǎng)絡(luò)隱私保護(hù)方法[J].通信學(xué)報(bào),2015(S1). GU Y H,LIN J C,GUO D. Clustering-based dynamic privacy preserving method for social networks[J]. Journal on Communications,2015(S1).

    [95]CHEN R,F(xiàn)UNG B C M,YU P S,et al. Correlated network data publication via differential privacy[J]. VLDB Journal,2014,23(4):653-676.

    [96]MALIK I D,Sánchez D,VIEJO A. Privacy-driven Access Control in Social Networks by Means of Automatic Semantic Annotation[J]. Computer Communications,2016,76:12-25.

    [97]BELNAP N D. A useful four-valued logic[M]//Modern Uses ofMultiple-Valued Logic. Berlin:Springer,1977:5-37.

    [98]CLIFTON C,KANTARCIOGLU M,VAIDYA J. Defining privacy for data mining[J]. National Science Foundation Workshop on Next Generation Data Mining,2002,1(26): 1.

    [99]BRUNS G,HUTH M. Access control via belnap logic: intuitive,expressive,and analyzable policy composition[J]. ACM Transactions on Information & System Security,2011,14(1):1165-1182.

    [100]BRUNS G,DANTAS D S,HUTH M. A simple and expressive semantic framework for policy composition in access control[C]//ACM Workshop on Formal Methods in Security Engineering. c2007:12-21. [101]LI N,WANG Q,QARDAJI W,et al. Access control policy combining: theory meets practice[C]//ACM Sacmat. c2009:135-144.

    [102]NI Q,BERTINO E,LOBO J. D-algebra for composing access control policy decisions[C]//The 4th International Symposium on Information,Computer,and Communications Security. c2009: 298-309.

    [103]HU H,AHN G J,JORGENSEN J. Multiparty access control for online social networks: model and mechanisms[J]. IEEE Transactions on Knowledge & Data Engineering,2013,25(7):1614-1627.

    [104]SQUICCIARINI A C,SHEHAB M,WEDE J. Privacy policies for shared content in social network sites[J]. VLDB Journal,2010,19(6):777-796.

    [105]BENNETT P,RAY I,F(xiàn)RANCE R. Analysis of a relationship based access control model[C]//The Eighth International Conference on Computer Science & Software Engineering. c2015: 1-8.

    Overview of privacy preserving in social network

    YAO Rui-xin,LI Hui,CAO Jin

    (State Key Laboratory of Integrated Service Network,School of Cyber Engineering,Xidian University,Xi'an 710071,China)

    Social network has gradually become the main way in communication with the development of information technology and the issue of privacy preserving in social network has also obtained more and more attention due to the interactive information exposed in the open social networks. Firstly,an overview of the concept of social network and privacy was givem. Secondly,the current mainly two methods: anonymity mechanism and access control technique employed for privacy preservation in social networks were reviewed and discussed. Finally,the vulnerabilities and challenges of the current mechanism were analyzed and the potential research issues for the future research works were showed.

    social network,privacy preserving,anonymity,access control

    1 引言

    隨著互聯(lián)網(wǎng)及信息技術(shù)的快速發(fā)展,社交網(wǎng)絡(luò)成為人們交流溝通的重要方式,如美國(guó)的MySpace、Facebook,日本的Mixi,英國(guó)的Bebo等,國(guó)內(nèi)有QQ、人人網(wǎng)、微信等[1]。在社交網(wǎng)絡(luò)中,人們發(fā)布真實(shí)的個(gè)人信息以達(dá)成交友目的,因此備受歡迎,但分享日志、上傳照片等行為也使越來(lái)越多的信息暴露在社交網(wǎng)絡(luò)中,信息的公開(kāi)化引起了人們對(duì)隱私保護(hù)的關(guān)注。各社交平臺(tái)也積極采取多種措施以保護(hù)隱私:Facebook為用戶提供隱私設(shè)置功能,由用戶決定信息可由哪些用戶及開(kāi)發(fā)者獲??;Twitter[2]同F(xiàn)acebook一樣,為用戶提供個(gè)性化的隱私保護(hù)設(shè)置,此外,Twitter 自2012年在Firefox瀏覽器上提供“Do Not Track”隱私保護(hù)選項(xiàng)以阻止網(wǎng)站在計(jì)算機(jī)上留下Cookie[3];QQ空間有細(xì)分的權(quán)限管理列表,可分別設(shè)置空間、說(shuō)說(shuō)、相冊(cè)的可見(jiàn)范圍,也可設(shè)置說(shuō)說(shuō)等的評(píng)論權(quán)限,通過(guò)這些細(xì)粒度訪問(wèn)控制實(shí)現(xiàn)隱私保護(hù)。

    The National Natural Science Foundation of China—Guangdong Jointly Funded Project(No.U1401251)

    TP309

    A

    10.11959/j.issn.2096-109x.2016.00036

    2016-02-17;

    2016-03-02。通信作者:姚瑞欣,nice127@163.com

    國(guó)家自然科學(xué)基金—廣東聯(lián)合基金資助項(xiàng)目(No.U1401251)

    姚瑞欣(1994-),女,山西運(yùn)城人,西安電子科技大學(xué)碩士生,主要研究方向?yàn)槊艽a學(xué)、隱私保護(hù)。

    李暉(1968-),男,河南靈寶人,博士,西安電子科技大學(xué)教授、博士生導(dǎo)師,主要研究方向?yàn)槊艽a學(xué)、無(wú)線網(wǎng)絡(luò)安全、云計(jì)算安全、信息論與編碼理論。

    曹進(jìn)(1985-),男,陜西西安人,博士,西安電子科技大學(xué)副教授,主要研究方向?yàn)闊o(wú)線網(wǎng)絡(luò)安全。

    猜你喜歡
    用戶信息模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    訂閱信息
    中華手工(2017年2期)2017-06-06 23:00:31
    關(guān)注用戶
    3D打印中的模型分割與打包
    關(guān)注用戶
    關(guān)注用戶
    如何獲取一億海外用戶
    展會(huì)信息
    av天堂中文字幕网| 欧美高清性xxxxhd video| 人妻少妇偷人精品九色| 午夜福利成人在线免费观看| 高清视频免费观看一区二区 | 国产成人aa在线观看| 国产在视频线在精品| 欧美激情久久久久久爽电影| av又黄又爽大尺度在线免费看| 亚洲国产欧美在线一区| 国产成人a∨麻豆精品| 女人被狂操c到高潮| 中文字幕av在线有码专区| 波野结衣二区三区在线| 亚洲av男天堂| 99久久精品国产国产毛片| 欧美极品一区二区三区四区| 蜜桃亚洲精品一区二区三区| 大话2 男鬼变身卡| 中文字幕av在线有码专区| 免费观看精品视频网站| 国产精品不卡视频一区二区| www.av在线官网国产| 插逼视频在线观看| freevideosex欧美| 五月伊人婷婷丁香| 国产一区亚洲一区在线观看| 国产视频首页在线观看| 性插视频无遮挡在线免费观看| 国产老妇伦熟女老妇高清| 亚洲精品成人av观看孕妇| 欧美高清性xxxxhd video| 联通29元200g的流量卡| 亚洲色图av天堂| 亚洲成人中文字幕在线播放| 亚洲精品久久午夜乱码| 狠狠精品人妻久久久久久综合| 亚洲最大成人中文| 搡女人真爽免费视频火全软件| 久久精品久久精品一区二区三区| 久久99热6这里只有精品| 成人美女网站在线观看视频| 三级国产精品欧美在线观看| 男女国产视频网站| 干丝袜人妻中文字幕| 在线播放无遮挡| 亚洲精品久久久久久婷婷小说| 国产亚洲午夜精品一区二区久久 | 又爽又黄无遮挡网站| 亚洲国产日韩欧美精品在线观看| 日韩欧美精品v在线| 乱人视频在线观看| 亚洲国产成人一精品久久久| 久久久久久久久久久免费av| 国产精品国产三级国产av玫瑰| 欧美成人一区二区免费高清观看| 一级爰片在线观看| 久久久亚洲精品成人影院| 国产亚洲午夜精品一区二区久久 | 亚洲人成网站在线观看播放| 亚洲成人精品中文字幕电影| 午夜福利视频精品| 丝袜喷水一区| 你懂的网址亚洲精品在线观看| 国产精品国产三级国产av玫瑰| 亚洲精品国产av成人精品| 真实男女啪啪啪动态图| 国产女主播在线喷水免费视频网站 | 色哟哟·www| 成年人午夜在线观看视频 | 搡女人真爽免费视频火全软件| 久久韩国三级中文字幕| 丝袜喷水一区| 国产永久视频网站| 搡老乐熟女国产| 色视频www国产| 特级一级黄色大片| 久久99热这里只有精品18| 亚洲精品影视一区二区三区av| av线在线观看网站| 永久网站在线| or卡值多少钱| 中文字幕免费在线视频6| 伦理电影大哥的女人| 免费播放大片免费观看视频在线观看| 嫩草影院入口| 青春草视频在线免费观看| 一区二区三区高清视频在线| 国产综合精华液| 麻豆乱淫一区二区| 欧美极品一区二区三区四区| 搡老乐熟女国产| 久久99精品国语久久久| 国产爱豆传媒在线观看| 欧美bdsm另类| a级毛片免费高清观看在线播放| 色播亚洲综合网| 午夜激情欧美在线| 伊人久久国产一区二区| 免费看不卡的av| 国产有黄有色有爽视频| 少妇人妻一区二区三区视频| 有码 亚洲区| 插阴视频在线观看视频| 特大巨黑吊av在线直播| 免费av观看视频| 成人毛片60女人毛片免费| 欧美日韩精品成人综合77777| 18禁在线播放成人免费| 高清在线视频一区二区三区| 成年女人看的毛片在线观看| 亚洲欧洲日产国产| 国产精品蜜桃在线观看| 天堂中文最新版在线下载 | 97超视频在线观看视频| 免费在线观看成人毛片| 一个人看视频在线观看www免费| 欧美bdsm另类| 一区二区三区乱码不卡18| 一级爰片在线观看| 少妇人妻一区二区三区视频| 大香蕉97超碰在线| 色5月婷婷丁香| 少妇人妻一区二区三区视频| 在现免费观看毛片| 国产精品99久久久久久久久| 国产不卡一卡二| 欧美xxxx黑人xx丫x性爽| 亚洲在线自拍视频| 国产三级在线视频| 国产精品一区二区在线观看99 | 狠狠精品人妻久久久久久综合| h日本视频在线播放| 国产成人免费观看mmmm| 午夜激情福利司机影院| 国产精品1区2区在线观看.| 精品午夜福利在线看| 51国产日韩欧美| 国产精品99久久久久久久久| 国产男人的电影天堂91| 蜜桃亚洲精品一区二区三区| 男女那种视频在线观看| 日本三级黄在线观看| 深爱激情五月婷婷| 日韩av在线大香蕉| 国产欧美日韩精品一区二区| 久久久久精品久久久久真实原创| 在线免费十八禁| 亚洲无线观看免费| 男人舔女人下体高潮全视频| 51国产日韩欧美| 久久精品国产亚洲av涩爱| 久久久成人免费电影| 成人av在线播放网站| 色5月婷婷丁香| 99久久精品热视频| 国产中年淑女户外野战色| 久久久久国产网址| 夫妻午夜视频| 精品久久久久久久久久久久久| 永久免费av网站大全| 美女xxoo啪啪120秒动态图| 九九爱精品视频在线观看| 亚洲第一区二区三区不卡| 91久久精品国产一区二区三区| 中文字幕亚洲精品专区| 亚洲精品aⅴ在线观看| 免费看美女性在线毛片视频| 久久精品国产鲁丝片午夜精品| ponron亚洲| 天美传媒精品一区二区| 日韩电影二区| 亚洲美女视频黄频| 熟女人妻精品中文字幕| 成人亚洲精品一区在线观看 | 免费大片黄手机在线观看| 亚洲一级一片aⅴ在线观看| 国产黄色视频一区二区在线观看| 精品国产一区二区三区久久久樱花 | 99久久精品一区二区三区| 亚洲欧美日韩无卡精品| av女优亚洲男人天堂| 欧美+日韩+精品| 少妇丰满av| 好男人在线观看高清免费视频| 日日摸夜夜添夜夜添av毛片| 色吧在线观看| 中文字幕制服av| 亚洲欧美精品自产自拍| 亚洲国产精品成人综合色| 国产色婷婷99| 免费播放大片免费观看视频在线观看| 国产乱来视频区| 三级男女做爰猛烈吃奶摸视频| 国产亚洲午夜精品一区二区久久 | 黄色配什么色好看| 综合色av麻豆| 又黄又爽又刺激的免费视频.| 久久99精品国语久久久| 国产片特级美女逼逼视频| 免费看光身美女| 久久久久久久久久黄片| 成年av动漫网址| 22中文网久久字幕| 成人无遮挡网站| 免费看不卡的av| 少妇丰满av| 国产老妇伦熟女老妇高清| 久久精品国产亚洲av涩爱| 精品午夜福利在线看| 麻豆av噜噜一区二区三区| 人体艺术视频欧美日本| 成人午夜高清在线视频| 在线播放无遮挡| 最近最新中文字幕免费大全7| 久久99热6这里只有精品| 国产熟女欧美一区二区| 一二三四中文在线观看免费高清| 日本一本二区三区精品| 亚洲欧洲国产日韩| 亚洲精品456在线播放app| 欧美xxⅹ黑人| 美女内射精品一级片tv| 不卡视频在线观看欧美| 亚洲精品国产成人久久av| 亚洲av在线观看美女高潮| 日韩人妻高清精品专区| 大香蕉97超碰在线| 成人亚洲精品一区在线观看 | 自拍偷自拍亚洲精品老妇| 婷婷六月久久综合丁香| 丰满乱子伦码专区| 熟女人妻精品中文字幕| 精品久久久噜噜| 免费观看av网站的网址| 日韩av在线大香蕉| 国产精品99久久久久久久久| 综合色av麻豆| videos熟女内射| 黄片无遮挡物在线观看| 简卡轻食公司| 肉色欧美久久久久久久蜜桃 | 国产亚洲一区二区精品| 国产成人精品久久久久久| 久久97久久精品| 99久久精品一区二区三区| 色综合亚洲欧美另类图片| 成年人午夜在线观看视频 | 男女国产视频网站| 国产色爽女视频免费观看| 亚洲精品日韩av片在线观看| 非洲黑人性xxxx精品又粗又长| 国产老妇女一区| 偷拍熟女少妇极品色| 中文字幕久久专区| 国产成人免费观看mmmm| 别揉我奶头 嗯啊视频| 一区二区三区高清视频在线| 亚洲精品影视一区二区三区av| 亚洲欧美成人精品一区二区| 色哟哟·www| 欧美成人午夜免费资源| 久久国产乱子免费精品| 建设人人有责人人尽责人人享有的 | 国产人妻一区二区三区在| 亚洲色图av天堂| 青春草亚洲视频在线观看| 成年av动漫网址| 日日啪夜夜撸| 高清欧美精品videossex| 久久久久国产网址| 一夜夜www| 亚洲三级黄色毛片| 亚洲美女视频黄频| 男人狂女人下面高潮的视频| 国产老妇女一区| 我要看日韩黄色一级片| 赤兔流量卡办理| 亚洲精品色激情综合| 精品久久久久久成人av| 欧美bdsm另类| 亚洲国产成人一精品久久久| 免费观看a级毛片全部| 国产中年淑女户外野战色| 精品一区二区三区人妻视频| 禁无遮挡网站| 全区人妻精品视频| 最后的刺客免费高清国语| 国产色婷婷99| 少妇高潮的动态图| 国产精品麻豆人妻色哟哟久久 | 日本午夜av视频| 男女边吃奶边做爰视频| 亚洲精品国产av成人精品| 国产日韩欧美在线精品| 神马国产精品三级电影在线观看| 少妇裸体淫交视频免费看高清| 免费黄网站久久成人精品| 成年女人看的毛片在线观看| 丰满乱子伦码专区| 午夜福利成人在线免费观看| 人体艺术视频欧美日本| 国产成人福利小说| 婷婷色av中文字幕| 亚洲经典国产精华液单| 天堂√8在线中文| 久久99热6这里只有精品| 久久久久久久久久久免费av| 男女边吃奶边做爰视频| 国产91av在线免费观看| 91久久精品电影网| 我要看日韩黄色一级片| 联通29元200g的流量卡| 九色成人免费人妻av| 免费黄频网站在线观看国产| 亚洲精品乱久久久久久| 一级爰片在线观看| 国产精品一区二区三区四区久久| 国产色婷婷99| av又黄又爽大尺度在线免费看| 狠狠精品人妻久久久久久综合| 亚洲国产精品sss在线观看| 在线免费观看不下载黄p国产| 国产有黄有色有爽视频| 大香蕉97超碰在线| 人妻夜夜爽99麻豆av| 国产亚洲精品久久久com| 美女脱内裤让男人舔精品视频| 国精品久久久久久国模美| 麻豆成人av视频| 噜噜噜噜噜久久久久久91| 久久久精品免费免费高清| 亚洲av成人av| 成年女人在线观看亚洲视频 | 国产老妇伦熟女老妇高清| 亚洲国产高清在线一区二区三| 天天躁日日操中文字幕| 色网站视频免费| av卡一久久| 免费大片黄手机在线观看| 日本av手机在线免费观看| 97超碰精品成人国产| 夫妻午夜视频| 国产又色又爽无遮挡免| 乱人视频在线观看| 特级一级黄色大片| 成人午夜高清在线视频| 网址你懂的国产日韩在线| 一个人免费在线观看电影| 国产伦理片在线播放av一区| 乱人视频在线观看| 精品少妇黑人巨大在线播放| 免费观看无遮挡的男女| 一个人看的www免费观看视频| 女人十人毛片免费观看3o分钟| 日韩,欧美,国产一区二区三区| 国产精品女同一区二区软件| 免费看光身美女| 国产黄片视频在线免费观看| 成人高潮视频无遮挡免费网站| 日本爱情动作片www.在线观看| 亚洲在久久综合| 观看美女的网站| 国产伦一二天堂av在线观看| 国产av国产精品国产| 国产成人freesex在线| 一级毛片久久久久久久久女| 日本熟妇午夜| 亚洲国产精品成人综合色| 国产精品.久久久| 国产成人a∨麻豆精品| 看十八女毛片水多多多| 久久久久九九精品影院| 日本黄大片高清| 午夜精品在线福利| 久久久亚洲精品成人影院| 少妇人妻精品综合一区二区| 2021天堂中文幕一二区在线观| 少妇人妻精品综合一区二区| 亚洲自拍偷在线| 久久精品久久久久久久性| 黄片无遮挡物在线观看| 成人二区视频| 久久这里只有精品中国| 免费黄频网站在线观看国产| 高清av免费在线| 秋霞伦理黄片| 久久人人爽人人爽人人片va| 国产又色又爽无遮挡免| 午夜亚洲福利在线播放| 一个人看的www免费观看视频| 精品久久久久久久末码| 国产午夜福利久久久久久| 亚洲最大成人手机在线| 22中文网久久字幕| 日本黄色片子视频| 26uuu在线亚洲综合色| 中文字幕免费在线视频6| 九九久久精品国产亚洲av麻豆| 亚洲不卡免费看| 久久久久久久久大av| 久久久久久久亚洲中文字幕| 麻豆国产97在线/欧美| 久久久欧美国产精品| 我要看日韩黄色一级片| 九草在线视频观看| 亚洲综合精品二区| 91久久精品电影网| 少妇熟女欧美另类| 亚洲熟女精品中文字幕| av线在线观看网站| 亚洲av福利一区| 联通29元200g的流量卡| 99九九线精品视频在线观看视频| 国产成人一区二区在线| 少妇猛男粗大的猛烈进出视频 | 我的女老师完整版在线观看| 成年女人在线观看亚洲视频 | 欧美丝袜亚洲另类| 久久国产乱子免费精品| 九九爱精品视频在线观看| 亚洲怡红院男人天堂| 乱码一卡2卡4卡精品| 国产精品人妻久久久影院| 久久精品熟女亚洲av麻豆精品 | 午夜精品一区二区三区免费看| 国产黄a三级三级三级人| 99久久精品一区二区三区| 听说在线观看完整版免费高清| 久久精品国产亚洲av涩爱| 一个人观看的视频www高清免费观看| 国产精品1区2区在线观看.| 高清欧美精品videossex| 两个人的视频大全免费| 日韩一区二区三区影片| 男人舔女人下体高潮全视频| 又黄又爽又刺激的免费视频.| 国产乱人视频| 久久久色成人| 22中文网久久字幕| 一级av片app| 免费播放大片免费观看视频在线观看| 嘟嘟电影网在线观看| 久久精品久久久久久噜噜老黄| 18禁动态无遮挡网站| 国产精品久久久久久精品电影| 精品久久久噜噜| 久久久精品94久久精品| 中文资源天堂在线| 亚洲高清免费不卡视频| 人妻夜夜爽99麻豆av| 非洲黑人性xxxx精品又粗又长| 97人妻精品一区二区三区麻豆| 色尼玛亚洲综合影院| 亚洲av福利一区| 亚洲av中文字字幕乱码综合| 啦啦啦中文免费视频观看日本| 在线a可以看的网站| 好男人在线观看高清免费视频| 成人毛片a级毛片在线播放| 建设人人有责人人尽责人人享有的 | 免费观看无遮挡的男女| 免费观看在线日韩| 99热全是精品| 搡女人真爽免费视频火全软件| 国产成人精品一,二区| 久久久久久久午夜电影| 日本熟妇午夜| 国产亚洲精品久久久com| 亚洲av中文av极速乱| 晚上一个人看的免费电影| 国产 亚洲一区二区三区 | 老女人水多毛片| 欧美另类一区| 成年版毛片免费区| 在线免费十八禁| 亚洲欧美日韩无卡精品| 伊人久久国产一区二区| 夫妻午夜视频| 国产精品一区二区三区四区免费观看| 日本欧美国产在线视频| 国产亚洲5aaaaa淫片| 中文字幕免费在线视频6| 亚洲精品色激情综合| 在线播放无遮挡| av卡一久久| 国产高潮美女av| 国产精品伦人一区二区| 亚州av有码| 国产亚洲精品av在线| 久久韩国三级中文字幕| 亚洲电影在线观看av| 亚洲人与动物交配视频| 成人国产麻豆网| 成人综合一区亚洲| 我要看日韩黄色一级片| 欧美日韩综合久久久久久| 精品人妻熟女av久视频| av国产免费在线观看| 亚洲人成网站高清观看| 青青草视频在线视频观看| 色网站视频免费| 国产麻豆成人av免费视频| 精品久久久久久久久亚洲| 日韩欧美国产在线观看| 最近视频中文字幕2019在线8| 久久久久久久久久久免费av| 乱系列少妇在线播放| 日韩中字成人| 欧美一级a爱片免费观看看| 免费看美女性在线毛片视频| 日本免费在线观看一区| 美女高潮的动态| 亚洲伊人久久精品综合| 欧美高清成人免费视频www| 欧美激情在线99| 国产女主播在线喷水免费视频网站 | 国产一级毛片七仙女欲春2| 麻豆av噜噜一区二区三区| 自拍偷自拍亚洲精品老妇| 别揉我奶头 嗯啊视频| 国产亚洲午夜精品一区二区久久 | 亚洲av成人精品一二三区| 精品国内亚洲2022精品成人| 久久97久久精品| av在线蜜桃| 欧美成人精品欧美一级黄| 久久久久久久久大av| 97超碰精品成人国产| 国模一区二区三区四区视频| 国产极品天堂在线| 日日啪夜夜爽| 我要看日韩黄色一级片| 在线天堂最新版资源| 久久久久性生活片| 国产成人免费观看mmmm| 日韩成人伦理影院| 一区二区三区乱码不卡18| 只有这里有精品99| 亚洲久久久久久中文字幕| 精品久久久久久久久av| 大香蕉久久网| 狂野欧美白嫩少妇大欣赏| 亚洲欧美成人综合另类久久久| 可以在线观看毛片的网站| 亚洲国产精品成人综合色| 精品人妻偷拍中文字幕| 丝瓜视频免费看黄片| 丰满乱子伦码专区| 色网站视频免费| 建设人人有责人人尽责人人享有的 | 欧美潮喷喷水| 性插视频无遮挡在线免费观看| 日韩精品青青久久久久久| av黄色大香蕉| 免费大片18禁| 欧美xxⅹ黑人| 如何舔出高潮| 久久久久久久午夜电影| 欧美日韩综合久久久久久| 国产亚洲一区二区精品| xxx大片免费视频| 国内精品一区二区在线观看| 日韩 亚洲 欧美在线| 99久久精品热视频| kizo精华| 2021少妇久久久久久久久久久| 亚洲精品成人久久久久久| av专区在线播放| 国产精品久久视频播放| 国产精品福利在线免费观看| 黄色欧美视频在线观看| 色播亚洲综合网| freevideosex欧美| 中文在线观看免费www的网站| 美女xxoo啪啪120秒动态图| 成年女人看的毛片在线观看| 久久久久久久大尺度免费视频| 麻豆国产97在线/欧美| 老司机影院毛片| 国产亚洲一区二区精品| 欧美精品国产亚洲| 白带黄色成豆腐渣| 国产精品国产三级国产专区5o| 免费不卡的大黄色大毛片视频在线观看 | 一级片'在线观看视频| 精品少妇黑人巨大在线播放| 简卡轻食公司| 久久久久久久久大av| 国产探花极品一区二区| 国产成人aa在线观看| 国产精品一及| 99re6热这里在线精品视频| 久久久久精品性色| 国产精品久久久久久精品电影| 国产精品99久久久久久久久| 久久久久精品性色| 亚洲av男天堂| 久久久久国产网址| 三级毛片av免费| 亚洲一级一片aⅴ在线观看| 人妻制服诱惑在线中文字幕| 非洲黑人性xxxx精品又粗又长| 爱豆传媒免费全集在线观看| 黄色配什么色好看| 99热全是精品| 国产成人精品婷婷| 国产男女超爽视频在线观看| 男人狂女人下面高潮的视频| 97在线视频观看| 成年女人看的毛片在线观看| 蜜桃久久精品国产亚洲av| 偷拍熟女少妇极品色| ponron亚洲| 日韩欧美国产在线观看|