• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)

    2022-04-06 07:57:06梁美玉王笑笑杜軍平
    模式識(shí)別與人工智能 2022年3期
    關(guān)鍵詞:跨媒體細(xì)粒度哈希

    梁美玉 王笑笑 杜軍平

    在線社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)的迅猛發(fā)展,如Flickr、Twitter、Facebook、新浪微博等,網(wǎng)絡(luò)中積累大量的用戶數(shù)據(jù),包括文本、圖像、視頻等不同媒體類型的跨媒體數(shù)據(jù).這些海量的跨媒體數(shù)據(jù)中蘊(yùn)含有價(jià)值的信息,而且不同媒體數(shù)據(jù)對(duì)于信息的描述是互補(bǔ)性的,因此,通過(guò)跨媒體數(shù)據(jù)搜索(如基于文本搜索圖像,或基于圖像搜索文本)可實(shí)現(xiàn)從社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)中獲取更全面、豐富的話題或事件信息[1-2].

    由于語(yǔ)義上的差距,不同媒體類型的數(shù)據(jù)之間無(wú)法直接進(jìn)行相似性對(duì)比.為了衡量不同媒體數(shù)據(jù)之間的相似性,需要學(xué)習(xí)跨媒體數(shù)據(jù)間的語(yǔ)義相關(guān)性,將不同的媒體數(shù)據(jù)映射到一個(gè)統(tǒng)一的語(yǔ)義表示空間,再進(jìn)行跨媒體相似性匹配和搜索[3-4].

    深度學(xué)習(xí)技術(shù)具有較優(yōu)的非線性特征學(xué)習(xí)能力,近年來(lái)基于深度學(xué)習(xí)的跨媒體語(yǔ)義表示學(xué)習(xí)方法吸引學(xué)者們的廣泛關(guān)注.現(xiàn)有方法主要包括兩類:基于連續(xù)的深度特征空間的方法[5-9]和跨媒體哈希方法[10-12].由于較低的存儲(chǔ)成本和快速的搜索速度,跨媒體哈希方法已成為跨媒體搜索領(lǐng)域的研究熱點(diǎn).通過(guò)跨媒體哈希技術(shù),將原始空間中高維度特征表示映射為短小的二進(jìn)制哈希編碼,然后在獲取的二進(jìn)制哈希表示空間,通過(guò)海明距離快速計(jì)算,進(jìn)行跨媒體匹配[13].

    目前的跨媒體哈希方法主要包括傳統(tǒng)淺層學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法.根據(jù)是否利用語(yǔ)義標(biāo)簽作為指導(dǎo)信息以學(xué)習(xí)跨媒體語(yǔ)義關(guān)聯(lián),跨媒體哈希方法主要分為無(wú)監(jiān)督的跨媒體哈希方法和有監(jiān)督的跨媒體哈希方法.無(wú)監(jiān)督的跨媒體哈希方法學(xué)習(xí)跨媒體相關(guān)性和媒體內(nèi)相似性,最大化不同模態(tài)數(shù)據(jù)間的語(yǔ)義關(guān)聯(lián),將來(lái)自不同模態(tài)的數(shù)據(jù)映射至一個(gè)統(tǒng)一的哈希語(yǔ)義空間,如UGACH(Unsupervised Generative Adversarial Cross-Modal Hashing Approa-ch)[12]和UCH(Unsupervised Coupled Cycle Genera-tive Adversarial Hashing Networks)[14]等.有監(jiān)督的跨媒體哈希方法利用語(yǔ)義標(biāo)簽信息指導(dǎo)跨媒體關(guān)聯(lián)學(xué)習(xí)過(guò)程,獲取統(tǒng)一的哈希表示,如CDQ(Collective Deep Quantization)[15]、SSAH(Self-Supervised Adver-sarial Hashing)[16]、SePH(Semantics-Preserving Hashing Method)[17]、SCM(Semantic Correlation Maximiza-tion)[18]、CMSSH(Cross-Modality Similarity Sensitive Hashing)[19]等.

    近年來(lái),受到深度學(xué)習(xí)特征學(xué)習(xí)能力的激勵(lì),基于深度神經(jīng)網(wǎng)絡(luò)的跨媒體哈希方法廣泛應(yīng)用于跨模態(tài)搜索領(lǐng)域[20-23].Peng等[20]提出MCSM(Modality-Specific Cross-Modal Similarity Measurement),采用基于聯(lián)合嵌入損失和注意力機(jī)制的循環(huán)注意力網(wǎng)絡(luò),為不同模態(tài)構(gòu)建獨(dú)立語(yǔ)義空間,并進(jìn)行跨模態(tài)關(guān)聯(lián)學(xué)習(xí).Zhuang等[21]提出CMNNH(Cross-Media Neural Network Hashing),保持模態(tài)間的判別能力和模態(tài)內(nèi)部數(shù)據(jù)的聯(lián)系,學(xué)習(xí)跨模態(tài)哈希函數(shù).Jiang等[22]提出DCMH(Deep Cross-Modal Hashing),將跨模態(tài)特征學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)集成在一個(gè)端到端的框架下聯(lián)合學(xué)習(xí).Shi等[23]提出EGDH(Equally-Guided Discriminative Hashing),聯(lián)合語(yǔ)義結(jié)構(gòu)和判別性,實(shí)現(xiàn)哈希編碼學(xué)習(xí).

    然而,現(xiàn)有的跨媒體哈希方法往往基于跨媒體數(shù)據(jù)的全局特征表示建立語(yǔ)義關(guān)聯(lián),未考慮數(shù)據(jù)的局部顯著性特征,因此無(wú)法有效捕捉不同模態(tài)數(shù)據(jù)間的細(xì)粒度語(yǔ)義關(guān)聯(lián),而實(shí)際上,圖像中的顯著性區(qū)域和文本中的關(guān)鍵性單詞具有較強(qiáng)的語(yǔ)義相關(guān)性.通過(guò)人眼視覺(jué)注意力機(jī)制[24-27],充分捕捉顯著性圖像區(qū)域和關(guān)鍵性的文本單詞,可發(fā)現(xiàn)更多潛在的細(xì)粒度跨媒體語(yǔ)義關(guān)聯(lián),提升跨媒體搜索的性能[28-31].

    生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)現(xiàn)已應(yīng)用在跨模態(tài)搜索領(lǐng)域,如CM-GANs(Cross-Modal GANs)[7]、ACMR(Adversarial Cross-Modal Retrieval)[8]、AGAH(Adversary Guided Asymmetric Ha-shing)[13]、SSAH(Self-Supervised Adversarial Ha-shing)[16]等.Wang等[8]提出ACMR,在實(shí)值特征空間將對(duì)抗學(xué)習(xí)技術(shù)應(yīng)用于跨模態(tài)檢索.Li等[16]提出SSAH,將對(duì)抗學(xué)習(xí)應(yīng)用于跨模態(tài)哈希,構(gòu)建兩個(gè)對(duì)抗網(wǎng)絡(luò),聯(lián)合學(xué)習(xí)不同模態(tài)數(shù)據(jù)的高維特征和統(tǒng)一哈希編碼.

    但是,現(xiàn)有的跨模態(tài)對(duì)抗哈希方法未考慮圖像和文本之間的局部顯著性細(xì)粒度特征之間的互相指導(dǎo)和協(xié)同學(xué)習(xí),無(wú)法實(shí)現(xiàn)細(xì)粒度的跨媒體關(guān)聯(lián)學(xué)習(xí)[32-34].而且,社交網(wǎng)絡(luò)中的多媒體數(shù)據(jù)通常表現(xiàn)出語(yǔ)義稀疏性和多樣性,并包含很多噪音,導(dǎo)致現(xiàn)有的跨媒體表示學(xué)習(xí)方法不能有效應(yīng)用于此類數(shù)據(jù).

    為了解決上述問(wèn)題,本文提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(Cross-Media Fine-Grained Representation Learning Model Based on Multi-modal Graph and Adversarial Hash Attention Network, CMFAH).為了獲得高質(zhì)量和緊湊的跨媒體統(tǒng)一哈希語(yǔ)義表示,將基于跨媒體注意力的細(xì)粒度特征學(xué)習(xí)、跨媒體關(guān)聯(lián)學(xué)習(xí)、對(duì)抗哈希學(xué)習(xí)集成在一個(gè)統(tǒng)一的對(duì)抗哈希注意力網(wǎng)絡(luò)下,聯(lián)合學(xué)習(xí)跨媒體統(tǒng)一語(yǔ)義表示.為了捕獲更多潛在的細(xì)粒度跨媒體語(yǔ)義關(guān)聯(lián),構(gòu)建基于跨媒體注意力的圖像和文本細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)跨媒體顯著性特征學(xué)習(xí),通過(guò)圖像和文本顯著性特征之間的互相指導(dǎo)和協(xié)同注意力學(xué)習(xí),實(shí)現(xiàn)不同模態(tài)間的細(xì)粒度語(yǔ)義關(guān)聯(lián)學(xué)習(xí).為了進(jìn)一步最大化跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)和特征分布一致性,縮小跨媒體語(yǔ)義鴻溝,構(gòu)建跨媒體GAN,通過(guò)聯(lián)合跨媒體細(xì)粒度關(guān)聯(lián)學(xué)習(xí)和對(duì)抗哈希學(xué)習(xí),獲取不同模態(tài)數(shù)據(jù)的統(tǒng)一哈希語(yǔ)義表示.此外,為了解決社交網(wǎng)絡(luò)數(shù)據(jù)的語(yǔ)義稀疏性、多樣性問(wèn)題,構(gòu)建圖像-單詞關(guān)聯(lián)圖,并在圖上通過(guò)隨機(jī)游走實(shí)現(xiàn)語(yǔ)義關(guān)系擴(kuò)展,發(fā)現(xiàn)更多潛在的圖像和單詞之間的語(yǔ)義關(guān)聯(lián).實(shí)驗(yàn)表明,CMFAH在2個(gè)公開標(biāo)準(zhǔn)跨媒體數(shù)據(jù)集上均取得較優(yōu)的跨媒體搜索性能.

    1 基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型

    1.1 模型框架

    本文解決文本和圖像之間的跨媒體搜索問(wèn)題,提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(CMFAH),用于社交網(wǎng)絡(luò)跨媒體搜索,模型框架如圖1所示.

    圖1 CMFAH模型框圖Fig.1 Framework of CMFAH

    CMFAH主要包括3部分:基于圖像-單詞關(guān)聯(lián)圖的語(yǔ)義擴(kuò)展、跨媒體細(xì)粒度特征學(xué)習(xí)、跨媒體對(duì)抗哈希.首先,構(gòu)建圖像-單詞關(guān)聯(lián)圖,學(xué)習(xí)圖像和文本單詞間的直接語(yǔ)義關(guān)聯(lián)和隱含語(yǔ)義關(guān)聯(lián),實(shí)現(xiàn)跨媒體語(yǔ)義關(guān)系擴(kuò)展.然后,基于構(gòu)建的圖像和文本細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)跨媒體細(xì)粒度顯著性特征學(xué)習(xí).基于深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的區(qū)域特征及文本的單詞特征,并結(jié)合跨媒體注意力機(jī)制學(xué)習(xí)圖像和文本的細(xì)粒度語(yǔ)義關(guān)聯(lián),分別獲取圖像和文本的細(xì)粒度特征表示,并通過(guò)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)學(xué)習(xí)圖像和文本特征的細(xì)粒度上下文特征關(guān)聯(lián),獲取語(yǔ)義增強(qiáng)后的文本和圖像特征表示.最后,構(gòu)建對(duì)抗哈希網(wǎng)絡(luò),在語(yǔ)義標(biāo)簽數(shù)據(jù)的指導(dǎo)下,通過(guò)對(duì)學(xué)習(xí)的圖像和文本統(tǒng)一特征表示進(jìn)行對(duì)抗學(xué)習(xí),通過(guò)媒體內(nèi)語(yǔ)義相似性損失、跨媒體語(yǔ)義相似性損失、跨媒體判別損失的聯(lián)合優(yōu)化,獲取高效緊湊的跨媒體統(tǒng)一哈希表示.

    1.2 問(wèn)題形式化描述

    Hv=fv(Fv,θv),Ht=ft(Ft,θt),

    其中Fv、Ft表示圖像和文本統(tǒng)一特征表示,θv、θt表示網(wǎng)絡(luò)參數(shù),進(jìn)而通過(guò)

    Bv=sgn(Hv),Bt=sgn(Ht)

    實(shí)現(xiàn)圖像和文本特征空間到哈??臻g的映射.

    1.3 模型描述

    1.3.1 基于圖像-單詞關(guān)聯(lián)圖的跨媒體語(yǔ)義擴(kuò)展

    N表示擴(kuò)展后的單詞個(gè)數(shù).結(jié)合Wikipedia知識(shí)Twk進(jìn)一步擴(kuò)充數(shù)據(jù),獲取最終的內(nèi)外部聯(lián)合擴(kuò)展后的圖像關(guān)聯(lián)文本:

    Tio=Trs+Twk.

    在此基礎(chǔ)上,基于SkipGram構(gòu)造語(yǔ)義嵌入學(xué)習(xí)模型.在該過(guò)程中,最大化上下文情境中的單詞tu和tv之間的相似度,獲取語(yǔ)義嵌入表示,目標(biāo)函數(shù)為:

    并采用分層softmax實(shí)現(xiàn)目標(biāo)函數(shù)的優(yōu)化.

    1.3.2 跨媒體細(xì)粒度特征學(xué)習(xí)

    首先,基于跨媒體協(xié)同注意力機(jī)制構(gòu)建跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)圖像和文本的細(xì)粒度特征聯(lián)合學(xué)習(xí),包括圖像特征學(xué)習(xí)和文本特征學(xué)習(xí)兩個(gè)子網(wǎng)絡(luò).

    對(duì)于圖像特征學(xué)習(xí)網(wǎng)絡(luò),構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)圖像的深度語(yǔ)義特征學(xué)習(xí)(本文采用VGG 19深度網(wǎng)絡(luò)),并提取VGG 19網(wǎng)絡(luò)的最后一個(gè)池化層的特征圖作為圖像的局部區(qū)域特征,定義為

    V={v1,v2,…,vm1},

    其中,m1表示圖像區(qū)域的總數(shù),vi表示第i個(gè)區(qū)域的視覺(jué)特征表示.

    在文本特征學(xué)習(xí)網(wǎng)絡(luò),首先基于語(yǔ)義嵌入模型word2vec,學(xué)習(xí)由圖像-單詞關(guān)聯(lián)圖進(jìn)行語(yǔ)義擴(kuò)展后的嵌入表示,并聯(lián)合TextCNN學(xué)習(xí)文本的深度語(yǔ)義特征.利用word2vec處理文本,獲得詞向量矩陣,每個(gè)單詞的詞向量維度為k,因此包含n個(gè)詞的一個(gè)句子可表示為一個(gè)n×k的矩陣,作為TextCNN的輸入.此外,TextCNN后接一個(gè)全連接層,其輸出作為每個(gè)句子的文本表示,即T={t1,t2,…,tm2},其中,m2表示文本單詞的總數(shù),tk表示第k個(gè)單詞的特征表示.

    在提取的圖像特征和文本特征的基礎(chǔ)上,基于圖像和文本不同模態(tài)之間的細(xì)粒度語(yǔ)義相關(guān)性,以及不同模態(tài)數(shù)據(jù)之間的互相指導(dǎo)學(xué)習(xí),通過(guò)跨媒體協(xié)同注意力機(jī)制學(xué)習(xí)圖像和文本的細(xì)粒度注意力特征表示.

    首先,基于余弦距離函數(shù)計(jì)算所有區(qū)域-單詞對(duì)之間的語(yǔ)義相似度,第i個(gè)圖像區(qū)域與第k個(gè)單詞之間的相似度表示為:

    其中,m1表示圖像區(qū)域的總數(shù),m2表示文本單詞的總數(shù).

    對(duì)于圖像模態(tài)的每個(gè)圖像區(qū)域vi,利用文本中的所有單詞學(xué)習(xí)圖像區(qū)域的注意力權(quán)值:

    (1)

    其中

    最終獲取到整個(gè)圖像細(xì)粒度注意力特征表示

    對(duì)于文本模態(tài)的每個(gè)文本單詞tk,利用圖像模態(tài)的所有圖像區(qū)域?qū)W習(xí)文本單詞的注意力權(quán)值:

    (2)

    其中

    最終獲取到整個(gè)文本細(xì)粒度注意力特征表示

    獲取圖像和文本的細(xì)粒度注意力特征表示之后,基于LSTM學(xué)習(xí)圖像特征和文本特征的細(xì)粒度上下文特征關(guān)聯(lián),得到語(yǔ)義增強(qiáng)后的圖像特征表示Fv={f1,f2,…,fm1}和文本特征表示Ft={f1,f2,…,fm2},其中fi、fk分別表示語(yǔ)義增強(qiáng)后的第i個(gè)圖像區(qū)域特征和第k個(gè)文本單詞特征.

    為了解決不同模態(tài)數(shù)據(jù)之間的異構(gòu)間隙問(wèn)題,本文構(gòu)建對(duì)抗哈希模型,學(xué)習(xí)跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián),將不同媒體的異構(gòu)數(shù)據(jù)映射至統(tǒng)一的哈希語(yǔ)義空間.利用生成對(duì)抗學(xué)習(xí)策略,將跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)作為跨媒體GAN中的“生成模型”,聯(lián)合學(xué)習(xí)媒體內(nèi)語(yǔ)義相似性損失函數(shù)和跨媒體語(yǔ)義相似性損失函數(shù),獲取跨媒體統(tǒng)一語(yǔ)義表示,盡可能保持模態(tài)內(nèi)語(yǔ)義相似性和模態(tài)間語(yǔ)義相似性.通過(guò)跨媒體對(duì)抗損失,對(duì)生成模型得到的跨媒體統(tǒng)一表示進(jìn)行模態(tài)判別,作為“判別模型”.聯(lián)合學(xué)習(xí)和優(yōu)化生成模型和判別模型,利用兩者之間的動(dòng)態(tài)博弈過(guò)程,最大化不同模態(tài)數(shù)據(jù)間的語(yǔ)義相關(guān)性和特征分布一致性,進(jìn)一步縮小跨媒體語(yǔ)義鴻溝.

    令跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)作為跨媒體生成對(duì)抗網(wǎng)絡(luò)中的“生成模型”,構(gòu)建生成損失函數(shù)Lgen,函數(shù)包含2個(gè)部分:媒體內(nèi)語(yǔ)義相似性損失Lintra和跨媒體語(yǔ)義相似性損失Linter.

    在盡可能地保持同模態(tài)內(nèi)部的語(yǔ)義相似性的前提下,構(gòu)建和優(yōu)化媒體內(nèi)語(yǔ)義相似性損失函數(shù):

    其中,J1和J2為2個(gè)triplet-margin loss函數(shù),J1表示添加在同一模態(tài)如圖像/文本特征級(jí)別的約束,J2表示添加在同一模態(tài)如圖像/文本哈希級(jí)別的約束,J3表示哈希量化誤差,通過(guò)實(shí)值哈希碼和二進(jìn)制哈希碼之間的均方差(Mean Square Error, MSE)計(jì)算.

    J1(F*,F+,F-)=

    勃列日涅夫執(zhí)政時(shí)期的第一個(gè)五年計(jì)劃(1966—1970年)經(jīng)濟(jì)情況較好,社會(huì)總產(chǎn)值比上個(gè)五年計(jì)劃增長(zhǎng)7.4%(1961—1965年增長(zhǎng)6.5%)。這一時(shí)期,勃列日涅夫?qū)Ω母锍址e極態(tài)度,力圖通過(guò)改革扭轉(zhuǎn)經(jīng)濟(jì)下滑趨勢(shì)。也是在這一時(shí)期,勃列日涅夫也站穩(wěn)了腳跟。但從70年代上半期開始,保守、僵化與停止改革趨勢(shì)日益明顯,后來(lái)實(shí)際上取消了改革。在1971年的蘇共二十四大后,就不準(zhǔn)用“改革”一詞了,而改用“完善”一詞。俄羅斯學(xué)者說(shuō)得好,這一改變是向“停滯”過(guò)渡的標(biāo)志。

    J2(H*,H+,H-)=

    Fv、Ft為學(xué)習(xí)的模態(tài)特征表示,Hv、Ht為學(xué)習(xí)的實(shí)值哈希碼,Bv、Bt為學(xué)習(xí)到的二進(jìn)制哈希碼.α、β、γ、margin為超參數(shù),sim為相似度函數(shù),通過(guò)cosine距離進(jìn)行計(jì)算.

    在不同模態(tài)之間添加模態(tài)間語(yǔ)義相似性約束,學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的語(yǔ)義關(guān)聯(lián)關(guān)系.構(gòu)建跨媒體語(yǔ)義相似性損失函數(shù):

    其中,J4和J5為2個(gè)Triplet-Margin loss函數(shù),分別表示添加在不同模態(tài)即圖像和文本特征級(jí)別和哈希級(jí)別的約束.

    J4(Fv,Ft,+,Ft,-)=

    J5(Hv,Ht,+,Ht,-)=

    其余參數(shù)含義與Linter一樣.

    最后,聯(lián)合媒體內(nèi)語(yǔ)義相似性損失函數(shù)和跨媒體語(yǔ)義相似性損失函數(shù),構(gòu)建跨媒體生成對(duì)抗網(wǎng)絡(luò)生成模型的總體目標(biāo)函數(shù):

    Lgen=Lintra+Linter

    .

    分別為文本和圖像模態(tài)構(gòu)建跨媒體生成對(duì)抗網(wǎng)絡(luò)中的“判別模型”.對(duì)于圖像模態(tài)判別器Dv,采用文本特征學(xué)習(xí)網(wǎng)絡(luò)作為圖像特征的生成器,將學(xué)習(xí)的圖像特征作為真實(shí)的圖像特征,而文本特征學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)的特征作為生成的圖像特征.圖像模態(tài)判別器的目的在于區(qū)分輸入的圖像特征是真是假.對(duì)于文本模態(tài)判別器的構(gòu)建也是類似的.圖像模態(tài)和文本模態(tài)的判別器均是基于三層的多層感知網(wǎng)絡(luò)(Multilayer Perceptron, MLP)實(shí)現(xiàn),網(wǎng)絡(luò)參數(shù)分別為θDv和θDt.構(gòu)建的判別器類似于以交叉熵為損失的一個(gè)二分類器,將輸入的特征進(jìn)行模態(tài)分類為0或1,1表示輸入與輸出來(lái)自同一模態(tài),0表示輸入與輸出來(lái)自不同模態(tài).定義跨媒體對(duì)抗損失函數(shù):

    學(xué)習(xí)和優(yōu)化模型,最終可生成圖像和文本的統(tǒng)一哈希語(yǔ)義表示

    Bv=sgn(Hv),Bt=sgn(Ht).

    在訓(xùn)練學(xué)習(xí)過(guò)程中,令

    B=sgn(Hv+Ht),

    使語(yǔ)義上相似的圖像和文本實(shí)例生成相似的哈希碼.整體的跨媒體語(yǔ)義表示學(xué)習(xí)目標(biāo)函數(shù)如下:

    基于隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)的反向傳播(Back Propagation, BP)算法學(xué)習(xí)所有的網(wǎng)絡(luò)參數(shù).首先,初始化所有超參數(shù)及生成模型與判別模型.再訓(xùn)練GAN:固定生成器的參數(shù),訓(xùn)練判別器;固定判別器的參數(shù),訓(xùn)練生成器.不斷迭代,直到模型收斂或達(dá)到最大迭代次數(shù).CMFAH優(yōu)化學(xué)習(xí)算法如算法1所示.

    算法 1CMFAH優(yōu)化學(xué)習(xí)算法

    輸入圖像集V,文本集T

    輸出哈希碼矩陣B

    批大小bs,最大迭代值Tmax

    Repeat

    Fortiteration do:

    根據(jù)BP算法更新參數(shù)θ:

    End For

    更新B,B=sgn(Hv+Ht)

    直到收斂

    1.4 基于CMFAH的跨媒體搜索

    基于CMFAH獲取跨媒體統(tǒng)一語(yǔ)義表示之后,采用基于內(nèi)積距離的近似最近鄰方法實(shí)現(xiàn)跨媒體相似性搜索.對(duì)于大規(guī)??缑襟w數(shù)據(jù)搜索而言,原始實(shí)值特征空間上的相似度匹配效率較低.為了在保證搜索準(zhǔn)確性的同時(shí)進(jìn)一步提高面向大規(guī)模數(shù)據(jù)量的搜索效率,本文將非對(duì)稱量化距離函數(shù)作為相似度函數(shù),計(jì)算給定查詢q(圖像或文本)和待搜索的數(shù)據(jù)點(diǎn)x(文本或圖像)之間的語(yǔ)義相似度.近似誤差分析驗(yàn)證發(fā)現(xiàn),非對(duì)稱量化距離函數(shù)可逼近實(shí)值特征空間的距離,并可在跨媒體搜索精度和時(shí)間效率之間取得平衡.基于非對(duì)稱量化距離的跨媒體語(yǔ)義相似度計(jì)算方法表示如下:

    其中,zq表示查詢q的深度特征表示,Bx表示待搜索數(shù)據(jù)點(diǎn)的哈希編碼表示.

    2 實(shí)驗(yàn)及結(jié)果分析

    2.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)數(shù)據(jù)集選取國(guó)際標(biāo)準(zhǔn)的NUS-WIDE社交跨媒體數(shù)據(jù)集和MIR-Flickr 25k社交跨媒體數(shù)據(jù)集,具體信息如表1所示.

    表1 數(shù)據(jù)集信息Table 1 Information of datasets

    NUS-WIDE數(shù)據(jù)集包含269 648個(gè)圖像-文本對(duì),含81個(gè)語(yǔ)義類別標(biāo)簽.在實(shí)驗(yàn)中選取出現(xiàn)頻率最高的前21個(gè)語(yǔ)義類別作為數(shù)據(jù)集,合計(jì)195 834個(gè)圖像-文本對(duì).隨機(jī)選取10 500個(gè)圖像-文本對(duì)作為訓(xùn)練集,2 100個(gè)圖像-文本對(duì)作為查詢集,剩余的圖像-文本對(duì)作為待檢索數(shù)據(jù)集.

    MIR-Flickr25k數(shù)據(jù)集包含25 000個(gè)圖像-文本對(duì),含38個(gè)語(yǔ)義類別標(biāo)簽.在實(shí)驗(yàn)中選擇包含24個(gè)語(yǔ)義類別的實(shí)例,總共20 015個(gè)實(shí)例.隨機(jī)選取10 000個(gè)圖像-文本對(duì)作為訓(xùn)練集,2 000個(gè)圖像-文本對(duì)作為查詢集,剩余的圖像-文本對(duì)作為待檢索數(shù)據(jù)集.

    采用的性能評(píng)價(jià)指標(biāo)為MAP(MeanAveragePrecision)和Top-k準(zhǔn)確率(P@k)曲線.

    根據(jù)所有查詢的平均準(zhǔn)確率(AveragePrecision,AP)的均值計(jì)算MAP:

    其中:Q 表示查詢次數(shù),AP(q)表示第q次查詢的平均準(zhǔn)確率.MAP值越大,說(shuō)明跨媒體搜索性能越優(yōu).

    P@k計(jì)算公式如下:

    其中,tr表示相關(guān)的搜索結(jié)果數(shù), fr表示不相關(guān)的搜索結(jié)果數(shù),tr+fr表示所有的搜索結(jié)果數(shù).

    本文選擇如下對(duì)比算法.

    1)CMSSH[19].構(gòu)建二進(jìn)制分類模型和Boosting算法,實(shí)現(xiàn)哈希學(xué)習(xí).

    2)SCM[18].構(gòu)建和最大化保持跨模態(tài)語(yǔ)義相似性矩陣,學(xué)習(xí)哈希函數(shù).

    3)UGACH[12].充分利用GAN無(wú)監(jiān)督下表示學(xué)習(xí)的能力,挖掘跨模態(tài)數(shù)據(jù)的基本流形結(jié)構(gòu).

    4)SSAH[16].構(gòu)建2個(gè)對(duì)抗網(wǎng)絡(luò),聯(lián)合學(xué)習(xí)高維特征和不同模態(tài)下的哈希編碼.

    5)AGAH[13].提出對(duì)抗學(xué)習(xí)指導(dǎo)下的多標(biāo)簽注意力機(jī)制,加強(qiáng)特征學(xué)習(xí),生成較高層級(jí)關(guān)聯(lián)和保留多標(biāo)簽語(yǔ)義的二進(jìn)制哈希碼.

    CMSSH和SCM為傳統(tǒng)的跨模態(tài)哈希算法,UGACH、SSAH和AGAH為基于對(duì)抗學(xué)習(xí)的深度跨模態(tài)哈希算法,AGAH為聯(lián)合對(duì)抗學(xué)習(xí)和注意力機(jī)制的跨模態(tài)哈希算法.

    此外,為了驗(yàn)證CMFAH的有效性,設(shè)計(jì)3種不同的變種:1)CMFAH-ca.從整個(gè)模型中刪除跨媒體注意力模塊.2)CMFAH-ia.僅添加文本對(duì)圖像的注意力.3)CMFAH-ta.僅添加圖像對(duì)文本的注意力.

    實(shí)驗(yàn)環(huán)境為NVIDIATitanXGPU.在語(yǔ)義擴(kuò)展過(guò)程中,設(shè)置圖像-單詞關(guān)聯(lián)圖中的隨機(jī)游走步長(zhǎng)為5.語(yǔ)義嵌入word2vec詞向量長(zhǎng)度為1 000維.跨媒體統(tǒng)一特征表示的維度為512維.統(tǒng)一哈希表示長(zhǎng)度分別設(shè)置為16位、32位、64位、128位.批尺寸大小為128,文本和圖像的初始學(xué)習(xí)率為0.000 7.實(shí)驗(yàn)中超參數(shù)α=β=γ=δ=φ=1.另外,針對(duì)目標(biāo)損失函數(shù)中超參數(shù)margin、對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)率gan_lr及epoch,設(shè)計(jì)參數(shù)敏感性分析實(shí)驗(yàn),最終確定margin=0.5,gan_lr=0.000 8,epoch=150.

    2.2 不同哈希編碼位數(shù)下的跨媒體搜索性能對(duì)比

    基于跨媒體搜索任務(wù),驗(yàn)證CMFAH的性能,本組實(shí)驗(yàn)將各算法在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上對(duì)比跨媒體搜索任務(wù)(圖像搜索文本I→T和文本搜索圖像T→I)的性能.實(shí)驗(yàn)中哈希編碼的長(zhǎng)度分別取16位、32位、64位和128位.

    在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上,不同算法針對(duì)不同哈希編碼長(zhǎng)度下的MAP值對(duì)比如表2和表3所示.圖2給出不同哈希編碼長(zhǎng)度下,各算法在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上的MAP平均值曲線.

    觀察表2和表3可看出,相比其它算法,CMFAH在I→T和T→I兩個(gè)跨媒體搜索任務(wù)上均取得較高的MAP值,并且哈希碼位數(shù)較短的結(jié)果優(yōu)于其它算法哈希碼位數(shù)較長(zhǎng)時(shí)的結(jié)果,說(shuō)明CMFAH性能更優(yōu).這是因?yàn)?CMFAH充分學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的語(yǔ)義關(guān)聯(lián),生成更具有判別性、高質(zhì)量的哈希碼.并且隨著哈希編碼長(zhǎng)度的增加,CMFAH的MAP值越來(lái)越高,這是因?yàn)檩^長(zhǎng)的哈希編碼能保留足夠多的語(yǔ)義信息,因此可提升跨模態(tài)搜索性能.此外,通過(guò)實(shí)驗(yàn)可發(fā)現(xiàn),一味增加哈希編碼的長(zhǎng)度,一方面并不能保證MAP值越來(lái)越高,這是因?yàn)?較長(zhǎng)的哈希編碼可能會(huì)造成模型訓(xùn)練過(guò)擬合,影響MAP值.觀察實(shí)驗(yàn)結(jié)果可看出,CMFAH在64位哈希編碼時(shí)取得最優(yōu)的MAP值.另一方面,隨著哈希編碼位數(shù)的增加,搜索時(shí)間開銷也越大.因此,為了在搜索精度和時(shí)間效率方面取得較好折衷,本文將哈希編碼位數(shù)設(shè)置為64位.

    表2 各算法在NUS-WIDE數(shù)據(jù)集上的MAP值對(duì)比Table 2 MAP comparison of different algorithms on NUS-WIDE

    表3 各算法在MIR-Flickr 25k數(shù)據(jù)集上的MAP值對(duì)比Table 3 MAP comparison of different algorithms on MIR-Flickr 25k

    (a)I→T (b)T→I

    此外,從時(shí)間效率上看,CMFAH和AGAH訓(xùn)練時(shí)長(zhǎng)類似,平均每個(gè)epoch訓(xùn)練時(shí)長(zhǎng)分別為26 s和24 s.相比AGAH,CMFAH取得更高的MAP值,在I→T搜索任務(wù)上平均提升3%,在T→I搜索任務(wù)上平均提升2%.主要原因是CMFAH基于不同模態(tài)數(shù)據(jù)間的協(xié)同注意力機(jī)制,可學(xué)習(xí)到更具顯著性的細(xì)粒度特征,并通過(guò)構(gòu)建圖像-單詞關(guān)聯(lián)圖進(jìn)行語(yǔ)義關(guān)系擴(kuò)展,發(fā)現(xiàn)更多細(xì)粒度和潛在的跨媒體語(yǔ)義關(guān)聯(lián),獲取更有判別力和精確的跨媒體統(tǒng)一哈希表示,因此跨媒體搜索的整體性能更優(yōu).

    在NUS-WIDE、MIR-Flickr 25k數(shù)據(jù)集上,各算法在I→T和T→I兩個(gè)跨媒體搜索任務(wù)上的Top-k準(zhǔn)確率曲線如圖3所示.

    Top-k準(zhǔn)確率曲線反映前k個(gè)返回的搜索結(jié)果中,正確的搜索結(jié)果所占的比例.由圖可看出,CMFAH在任何Top-k值下均取得最優(yōu)性能,并且隨著k的增大,準(zhǔn)確率有輕微下降.當(dāng)k取較大值時(shí),如k=1 000時(shí),CMFAH也取得較高的準(zhǔn)確率,這說(shuō)明當(dāng)用戶需要較多的候選結(jié)果時(shí),CMFAH也有較優(yōu)的搜索性能.

    (a1)I→T (a2)T→I

    (b1)I→T (b2)T→I

    2.3 消融性實(shí)驗(yàn)結(jié)果

    為了驗(yàn)證CMFAH的有效性,在MIR-Flickr 25k數(shù)據(jù)集上,對(duì)CMFAH的3種不同變種CMFAH-ca、CMFAH-ia和CMFAH-ta進(jìn)行對(duì)比分析.實(shí)驗(yàn)中哈希編碼位數(shù)取64位.CMFAH的不同變種的MAP值對(duì)比如表4所示.由表可看出,相比CMFAH,不添加跨媒體注意力的CMFAH-ca的MAP值平均降低0.06.僅添加任一模態(tài)的注意力的CMFAH-ia和CMFAH-ta的性能均具有顯著提升.綜合對(duì)比發(fā)現(xiàn),添加跨媒體注意力機(jī)制的CMFAH取得更高性能.由此說(shuō)明,相比單一模態(tài)的注意力機(jī)制,跨媒體注意力機(jī)制對(duì)于跨媒體搜索性能具有顯著提升作用.這主要得益于通過(guò)添加跨媒體注意力,CMFAH可充分學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的細(xì)粒度語(yǔ)義關(guān)聯(lián),取得更優(yōu)的跨媒體搜索性能.

    表4 CMFAH不同變種的MAP值對(duì)比Table 4 MAP comparison of different variants of CMFAH

    2.4 參數(shù)敏感性分析

    本組實(shí)驗(yàn)分析目標(biāo)函數(shù)中超參數(shù)margin對(duì)于模型的影響.margin值表示在一個(gè)triplet三元組中,不相似的數(shù)據(jù)對(duì)的cosine相似度相比相似對(duì)的cosine相似度之間的間隔.在64位哈希碼時(shí),不同margin值對(duì)于MAP值的影響如圖4所示.由圖可看出,MAP值隨著margin的增大而增大,當(dāng)margin>0.5時(shí)又開始下降.當(dāng)margin值較小時(shí),模型較難區(qū)分相似對(duì)和不相似對(duì),因此MAP值相對(duì)較小.當(dāng)margin=0.5時(shí),MAP在I→T和T→I搜索任務(wù)中取得更高值.因此,本文中設(shè)置margin=0.5,用于所有實(shí)驗(yàn).

    圖4 margin對(duì)MAP值的影響Fig.4 Influence of margin on MAP

    本組實(shí)驗(yàn)分析對(duì)抗哈希網(wǎng)絡(luò)學(xué)習(xí)率gan_lr對(duì)模型性能的影響.在碼長(zhǎng)為64位時(shí),gan_lr對(duì)于MAP值的影響如圖5所示.由圖可看出,當(dāng)gan_lr=0.000 8時(shí),在I→T和T→I搜索任務(wù)中取得的MAP值最高.因此,本文實(shí)驗(yàn)中設(shè)置gan_lr=0.000 8.

    圖5 gan_lr對(duì)MAP值的影響Fig.5 Influence of gan_lr on MAP

    本組實(shí)驗(yàn)分析epoch值對(duì)跨媒體搜索性能的影響.在MIR-Flickr 25k數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果如圖6所示.由圖可看出,隨著epoch的增大,模型逐步實(shí)現(xiàn)收斂,大約在epoch=150時(shí),模型收斂趨于穩(wěn)定.

    圖6 epoch對(duì)MAP值的影響Fig.6 Influence of epoch on MAP

    3 結(jié) 束 語(yǔ)

    為了解決跨媒體數(shù)據(jù)間的特征異構(gòu)和語(yǔ)義鴻溝,以及社交網(wǎng)絡(luò)數(shù)據(jù)的語(yǔ)義稀疏性、多樣性問(wèn)題,實(shí)現(xiàn)高效的大規(guī)模社交網(wǎng)絡(luò)數(shù)據(jù)跨媒體檢索,本文提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(CMFAH),將不同媒體類型的數(shù)據(jù)映射至高效的統(tǒng)一哈希語(yǔ)義空間內(nèi).構(gòu)建基于跨媒體注意力機(jī)制的跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)及對(duì)抗哈希學(xué)習(xí)網(wǎng)絡(luò),將細(xì)粒度的跨媒體語(yǔ)義關(guān)聯(lián)學(xué)習(xí)和對(duì)抗哈希學(xué)習(xí)集成在一個(gè)統(tǒng)一的框架下進(jìn)行協(xié)同學(xué)習(xí)和優(yōu)化,進(jìn)一步增強(qiáng)跨媒體統(tǒng)一表示的語(yǔ)義一致性,獲取更緊湊高效的統(tǒng)一哈希表示.此外,通過(guò)構(gòu)建圖像-單詞關(guān)聯(lián)圖,充分挖掘圖像和單詞間的直接語(yǔ)義關(guān)聯(lián)和隱含語(yǔ)義關(guān)聯(lián),實(shí)現(xiàn)語(yǔ)義關(guān)系擴(kuò)展,進(jìn)一步增強(qiáng)面向社交網(wǎng)絡(luò)數(shù)據(jù)的跨媒體語(yǔ)義關(guān)聯(lián)的學(xué)習(xí)能力,克服社交網(wǎng)絡(luò)數(shù)據(jù)的稀疏性、多樣性等問(wèn)題.今后將結(jié)合圖神經(jīng)網(wǎng)絡(luò)、對(duì)比學(xué)習(xí)等技術(shù),進(jìn)一步增強(qiáng)不同模態(tài)的深層次高階語(yǔ)義關(guān)聯(lián)學(xué)習(xí)能力.

    猜你喜歡
    跨媒體細(xì)粒度哈希
    “跨媒體表征學(xué)習(xí)及認(rèn)知推理”專欄征文通知
    “跨媒體表征學(xué)習(xí)及認(rèn)知推理”專欄征文通知
    融合判別性與細(xì)粒度特征的抗遮擋紅外目標(biāo)跟蹤算法
    細(xì)粒度的流計(jì)算執(zhí)行效率優(yōu)化方法
    基于雙線性卷積網(wǎng)絡(luò)的細(xì)粒度圖像定位
    支持細(xì)粒度權(quán)限控制且可搜索的PHR云服務(wù)系統(tǒng)
    基于OpenCV與均值哈希算法的人臉相似識(shí)別系統(tǒng)
    跨媒體出版物的平臺(tái)互動(dòng)研究
    出版與印刷(2015年3期)2015-12-19 13:15:13
    基于維度分解的哈希多維快速流分類算法
    基于跨媒體字典的圖像檢索
    怎么达到女性高潮| 精品欧美国产一区二区三| 人人妻,人人澡人人爽秒播| 夜夜躁狠狠躁天天躁| 久久久国产成人免费| 在线观看午夜福利视频| 香蕉丝袜av| 欧美在线黄色| 欧美日本亚洲视频在线播放| 男人舔女人的私密视频| 三级男女做爰猛烈吃奶摸视频| 欧美绝顶高潮抽搐喷水| 啦啦啦观看免费观看视频高清| 中文字幕精品亚洲无线码一区| 18禁美女被吸乳视频| 亚洲精品国产精品久久久不卡| 1024香蕉在线观看| 午夜免费观看网址| 精品国产美女av久久久久小说| 免费高清视频大片| 亚洲精品美女久久av网站| 国产精品免费一区二区三区在线| 99热只有精品国产| 国产一区二区激情短视频| 亚洲熟妇中文字幕五十中出| 美女黄网站色视频| 无遮挡黄片免费观看| 中文亚洲av片在线观看爽| av福利片在线观看| 国产成+人综合+亚洲专区| 可以在线观看毛片的网站| 美女被艹到高潮喷水动态| 国产综合懂色| 欧美3d第一页| 性欧美人与动物交配| 无人区码免费观看不卡| 亚洲成a人片在线一区二区| 国产v大片淫在线免费观看| 国产成人欧美在线观看| 久久久精品大字幕| 欧美三级亚洲精品| 日韩欧美一区二区三区在线观看| 中国美女看黄片| 国产激情久久老熟女| 亚洲人成网站高清观看| 天堂影院成人在线观看| 国产精品电影一区二区三区| 亚洲国产精品久久男人天堂| 国产视频内射| 女人被狂操c到高潮| 午夜精品久久久久久毛片777| 国产淫片久久久久久久久 | 色综合站精品国产| 岛国视频午夜一区免费看| 久久精品影院6| 国产一区二区激情短视频| 最近视频中文字幕2019在线8| 欧美黄色片欧美黄色片| 草草在线视频免费看| 热99在线观看视频| 日韩成人在线观看一区二区三区| 久久久久久九九精品二区国产| 天天躁狠狠躁夜夜躁狠狠躁| 午夜亚洲福利在线播放| 女人被狂操c到高潮| 一区二区三区国产精品乱码| 日本熟妇午夜| 色哟哟哟哟哟哟| 午夜福利欧美成人| 国产一区二区激情短视频| 久9热在线精品视频| 精品久久久久久久久久免费视频| 国产高清视频在线播放一区| 欧美性猛交黑人性爽| 可以在线观看的亚洲视频| 免费观看精品视频网站| 色哟哟哟哟哟哟| 亚洲av美国av| 操出白浆在线播放| 熟妇人妻久久中文字幕3abv| 啦啦啦免费观看视频1| 18禁美女被吸乳视频| 99久久精品国产亚洲精品| 欧美日韩国产亚洲二区| 男人舔女人下体高潮全视频| 日本 欧美在线| 法律面前人人平等表现在哪些方面| 白带黄色成豆腐渣| 国产精品久久久久久精品电影| 狠狠狠狠99中文字幕| 精品日产1卡2卡| 国产精品国产高清国产av| avwww免费| 夜夜爽天天搞| 午夜久久久久精精品| av天堂中文字幕网| 国产精品一区二区三区四区久久| 在线观看日韩欧美| 一本综合久久免费| 69av精品久久久久久| 国产精品香港三级国产av潘金莲| 国产精品 国内视频| 特大巨黑吊av在线直播| 激情在线观看视频在线高清| 国产欧美日韩一区二区三| 色精品久久人妻99蜜桃| 精品久久久久久久久久免费视频| 亚洲成人久久性| 天堂√8在线中文| 后天国语完整版免费观看| 国产高清三级在线| 丁香六月欧美| 国产黄片美女视频| 久久欧美精品欧美久久欧美| 亚洲美女视频黄频| 18禁国产床啪视频网站| 99国产综合亚洲精品| 久久性视频一级片| 特大巨黑吊av在线直播| 国产激情偷乱视频一区二区| 黄色日韩在线| 久久人人精品亚洲av| 哪里可以看免费的av片| 男女视频在线观看网站免费| 午夜激情福利司机影院| 国产精品一区二区免费欧美| 精品国产亚洲在线| 免费大片18禁| 男女那种视频在线观看| av天堂在线播放| 性色av乱码一区二区三区2| 校园春色视频在线观看| 久久国产精品影院| 亚洲精品美女久久av网站| 国产麻豆成人av免费视频| 国产熟女xx| 99re在线观看精品视频| 99精品久久久久人妻精品| netflix在线观看网站| 91av网一区二区| 啪啪无遮挡十八禁网站| 91老司机精品| 少妇人妻一区二区三区视频| 久久性视频一级片| 搞女人的毛片| АⅤ资源中文在线天堂| 国产精品亚洲av一区麻豆| 在线十欧美十亚洲十日本专区| 热99在线观看视频| 三级毛片av免费| 久久精品亚洲精品国产色婷小说| 热99在线观看视频| 热99re8久久精品国产| 国产免费男女视频| 国产主播在线观看一区二区| 热99re8久久精品国产| 天天一区二区日本电影三级| 亚洲精品美女久久av网站| 国产视频内射| 久久精品91蜜桃| 亚洲中文av在线| 久久精品国产99精品国产亚洲性色| h日本视频在线播放| 久久天堂一区二区三区四区| 欧美色欧美亚洲另类二区| 少妇熟女aⅴ在线视频| 久久99热这里只有精品18| 高清毛片免费观看视频网站| 欧美高清成人免费视频www| 成人三级黄色视频| 给我免费播放毛片高清在线观看| 91九色精品人成在线观看| 国产成人系列免费观看| tocl精华| 亚洲欧美日韩东京热| 国产91精品成人一区二区三区| 国产精品美女特级片免费视频播放器 | 人妻丰满熟妇av一区二区三区| av天堂在线播放| 欧美在线一区亚洲| 国产aⅴ精品一区二区三区波| 伊人久久大香线蕉亚洲五| 亚洲av熟女| 国产精品一区二区免费欧美| 久久欧美精品欧美久久欧美| 亚洲aⅴ乱码一区二区在线播放| 国产高清三级在线| www.自偷自拍.com| 欧美黑人巨大hd| 国产精品一区二区免费欧美| 巨乳人妻的诱惑在线观看| 一边摸一边抽搐一进一小说| 国产亚洲精品av在线| 国产又色又爽无遮挡免费看| 后天国语完整版免费观看| 人人妻人人看人人澡| 欧美在线黄色| tocl精华| 婷婷亚洲欧美| 久久久久久久午夜电影| 国产久久久一区二区三区| 1000部很黄的大片| 亚洲av熟女| 两个人看的免费小视频| 色在线成人网| 国产亚洲av嫩草精品影院| 亚洲av片天天在线观看| 香蕉av资源在线| 可以在线观看的亚洲视频| 亚洲va日本ⅴa欧美va伊人久久| 88av欧美| 欧美色欧美亚洲另类二区| 国产精品99久久99久久久不卡| 国产欧美日韩精品亚洲av| 久久久国产成人精品二区| 午夜两性在线视频| 国产伦人伦偷精品视频| 精品国内亚洲2022精品成人| 日韩成人在线观看一区二区三区| 麻豆国产av国片精品| 99国产精品一区二区三区| 天堂动漫精品| 熟女少妇亚洲综合色aaa.| 精品一区二区三区视频在线观看免费| 日韩欧美免费精品| 国产激情偷乱视频一区二区| 色吧在线观看| 人妻久久中文字幕网| 亚洲一区二区三区色噜噜| 久久中文字幕一级| 国产人伦9x9x在线观看| 久久国产乱子伦精品免费另类| 又大又爽又粗| 欧美日韩瑟瑟在线播放| 亚洲中文av在线| 国产精品永久免费网站| 天天躁狠狠躁夜夜躁狠狠躁| 操出白浆在线播放| 久久精品91蜜桃| 久久中文字幕人妻熟女| 精品国产乱子伦一区二区三区| 亚洲成人精品中文字幕电影| 久久久色成人| 黄色日韩在线| 51午夜福利影视在线观看| 一级毛片女人18水好多| 男人舔女人下体高潮全视频| 国产视频内射| 一进一出抽搐gif免费好疼| 婷婷精品国产亚洲av在线| 亚洲国产欧美一区二区综合| netflix在线观看网站| 日韩欧美一区二区三区在线观看| 久久久久国产一级毛片高清牌| 999久久久精品免费观看国产| 叶爱在线成人免费视频播放| 啦啦啦观看免费观看视频高清| 97人妻精品一区二区三区麻豆| 男人和女人高潮做爰伦理| 不卡av一区二区三区| 长腿黑丝高跟| 亚洲天堂国产精品一区在线| 一进一出抽搐gif免费好疼| 亚洲精品粉嫩美女一区| 母亲3免费完整高清在线观看| 成人亚洲精品av一区二区| 国产视频一区二区在线看| 舔av片在线| 一本精品99久久精品77| 久久精品夜夜夜夜夜久久蜜豆| 国产欧美日韩一区二区精品| 黑人巨大精品欧美一区二区mp4| 国产精品自产拍在线观看55亚洲| 精品国内亚洲2022精品成人| 欧美黑人欧美精品刺激| 午夜成年电影在线免费观看| 91av网一区二区| 别揉我奶头~嗯~啊~动态视频| 国产毛片a区久久久久| 亚洲无线在线观看| 在线免费观看的www视频| 欧美中文日本在线观看视频| 亚洲av成人不卡在线观看播放网| 久久午夜亚洲精品久久| 一级黄色大片毛片| 日日干狠狠操夜夜爽| 99久久精品一区二区三区| 国产精品av视频在线免费观看| 日本黄色片子视频| 午夜免费成人在线视频| 香蕉国产在线看| 曰老女人黄片| 18禁美女被吸乳视频| 国产成人精品久久二区二区免费| 亚洲,欧美精品.| 99久国产av精品| 伊人久久大香线蕉亚洲五| 性色avwww在线观看| 老司机深夜福利视频在线观看| 变态另类丝袜制服| 久久国产精品人妻蜜桃| 国产91精品成人一区二区三区| 国产精品亚洲av一区麻豆| 一进一出抽搐gif免费好疼| 麻豆av在线久日| 一本综合久久免费| 成人特级av手机在线观看| 中文在线观看免费www的网站| 欧美av亚洲av综合av国产av| 99热6这里只有精品| 国产精品久久久久久久电影 | 国产日本99.免费观看| 国产99白浆流出| 69av精品久久久久久| 亚洲专区字幕在线| or卡值多少钱| 久久久久久久久中文| 深夜精品福利| 亚洲天堂国产精品一区在线| 九九久久精品国产亚洲av麻豆 | 国产爱豆传媒在线观看| 成年人黄色毛片网站| 亚洲色图av天堂| 香蕉丝袜av| 99国产精品99久久久久| 中文字幕人妻丝袜一区二区| 久久热在线av| 久久中文看片网| 亚洲av电影不卡..在线观看| 色噜噜av男人的天堂激情| aaaaa片日本免费| 999久久久国产精品视频| 美女cb高潮喷水在线观看 | 男人的好看免费观看在线视频| 岛国在线观看网站| 男女之事视频高清在线观看| 成人永久免费在线观看视频| 一个人免费在线观看的高清视频| 国产精品野战在线观看| 深夜精品福利| 亚洲人成网站高清观看| 欧美黄色片欧美黄色片| 久久伊人香网站| 五月伊人婷婷丁香| 亚洲精品456在线播放app | 久久久国产成人精品二区| 大型黄色视频在线免费观看| 99精品久久久久人妻精品| 全区人妻精品视频| 在线观看午夜福利视频| 亚洲成人免费电影在线观看| 中国美女看黄片| 激情在线观看视频在线高清| 男女视频在线观看网站免费| 免费av不卡在线播放| 啪啪无遮挡十八禁网站| 免费无遮挡裸体视频| 51午夜福利影视在线观看| 亚洲国产日韩欧美精品在线观看 | 99久久国产精品久久久| 亚洲 国产 在线| 操出白浆在线播放| 91字幕亚洲| 别揉我奶头~嗯~啊~动态视频| 欧美三级亚洲精品| 性色avwww在线观看| h日本视频在线播放| 日日干狠狠操夜夜爽| 国产伦一二天堂av在线观看| 亚洲七黄色美女视频| 国产精品亚洲美女久久久| 噜噜噜噜噜久久久久久91| 夜夜躁狠狠躁天天躁| 精品乱码久久久久久99久播| 九色国产91popny在线| 日韩欧美三级三区| 亚洲在线自拍视频| 欧美黑人欧美精品刺激| 精品一区二区三区av网在线观看| 精品乱码久久久久久99久播| 久久久久精品国产欧美久久久| 国产av在哪里看| www.www免费av| 99国产精品一区二区三区| 美女黄网站色视频| 一本一本综合久久| 搡老妇女老女人老熟妇| 国产69精品久久久久777片 | 精品久久久久久,| 毛片女人毛片| 又黄又粗又硬又大视频| 日本 av在线| 国产亚洲av嫩草精品影院| 国产成+人综合+亚洲专区| 日韩欧美三级三区| 国产单亲对白刺激| 久久久久久人人人人人| 嫩草影院入口| 国产亚洲精品一区二区www| 国产精品一区二区三区四区久久| 婷婷丁香在线五月| 久久久久久人人人人人| 69av精品久久久久久| 精品久久久久久久人妻蜜臀av| 久久精品夜夜夜夜夜久久蜜豆| 国产美女午夜福利| 亚洲欧美精品综合一区二区三区| 视频区欧美日本亚洲| 欧美国产日韩亚洲一区| 婷婷精品国产亚洲av在线| 国产精华一区二区三区| 欧美高清成人免费视频www| 欧美午夜高清在线| 亚洲人成伊人成综合网2020| 在线观看免费视频日本深夜| www.999成人在线观看| 午夜成年电影在线免费观看| 亚洲国产精品999在线| 亚洲欧美激情综合另类| 国产爱豆传媒在线观看| 岛国在线免费视频观看| 看免费av毛片| 一级a爱片免费观看的视频| 精品国产乱码久久久久久男人| 国产精品永久免费网站| 精品国产亚洲在线| 在线免费观看的www视频| 色视频www国产| 午夜福利在线观看免费完整高清在 | 久久久国产精品麻豆| 精品久久久久久久久久免费视频| 午夜a级毛片| 搡老妇女老女人老熟妇| 亚洲中文日韩欧美视频| 国产精品一区二区三区四区久久| 日本在线视频免费播放| 男人舔女人下体高潮全视频| 国产亚洲欧美98| 成人国产一区最新在线观看| 亚洲成av人片免费观看| 亚洲专区国产一区二区| 亚洲精品中文字幕一二三四区| 在线国产一区二区在线| АⅤ资源中文在线天堂| 制服人妻中文乱码| 日本 av在线| 欧美成人免费av一区二区三区| 日本五十路高清| 午夜激情欧美在线| 午夜福利高清视频| av女优亚洲男人天堂 | 狂野欧美白嫩少妇大欣赏| 最好的美女福利视频网| 欧美中文综合在线视频| 99精品欧美一区二区三区四区| 国产精品野战在线观看| 久久久国产精品麻豆| 啦啦啦观看免费观看视频高清| 午夜福利免费观看在线| 757午夜福利合集在线观看| 麻豆av在线久日| 12—13女人毛片做爰片一| av片东京热男人的天堂| 亚洲美女视频黄频| 91老司机精品| 日韩av在线大香蕉| 在线观看66精品国产| 男女下面进入的视频免费午夜| 在线观看免费午夜福利视频| 精品人妻1区二区| 老司机福利观看| 九九久久精品国产亚洲av麻豆 | 日日干狠狠操夜夜爽| 淫妇啪啪啪对白视频| 999久久久国产精品视频| 精品久久久久久久毛片微露脸| 国产激情久久老熟女| 精品人妻1区二区| 别揉我奶头~嗯~啊~动态视频| 国产精品1区2区在线观看.| 午夜亚洲福利在线播放| 人妻丰满熟妇av一区二区三区| 久久人人精品亚洲av| 精品免费久久久久久久清纯| 亚洲在线观看片| 国产真人三级小视频在线观看| 熟女人妻精品中文字幕| av福利片在线观看| 欧美日韩乱码在线| 天堂网av新在线| 精品人妻1区二区| 国产精品美女特级片免费视频播放器 | 看免费av毛片| 在线永久观看黄色视频| 国产97色在线日韩免费| ponron亚洲| 美女cb高潮喷水在线观看 | 国产伦人伦偷精品视频| 亚洲成av人片在线播放无| 十八禁网站免费在线| 久久草成人影院| 男女下面进入的视频免费午夜| 91老司机精品| 我要搜黄色片| 久久精品91蜜桃| 精品无人区乱码1区二区| 一a级毛片在线观看| 日本一本二区三区精品| 亚洲无线在线观看| 免费无遮挡裸体视频| 精品欧美国产一区二区三| 国产男靠女视频免费网站| 欧美国产日韩亚洲一区| 国产精品日韩av在线免费观看| www日本在线高清视频| 美女cb高潮喷水在线观看 | 国内久久婷婷六月综合欲色啪| 哪里可以看免费的av片| 色老头精品视频在线观看| 一本一本综合久久| 亚洲自拍偷在线| 久久午夜综合久久蜜桃| 淫秽高清视频在线观看| 亚洲欧美精品综合一区二区三区| 在线观看日韩欧美| 一a级毛片在线观看| 啦啦啦观看免费观看视频高清| 日韩欧美免费精品| 国产精品久久久久久久电影 | 精品久久久久久久人妻蜜臀av| 亚洲av熟女| av在线蜜桃| 狂野欧美激情性xxxx| 97超视频在线观看视频| 国产亚洲精品一区二区www| 又大又爽又粗| av天堂在线播放| 高清在线国产一区| 亚洲无线在线观看| 久久国产精品影院| 国产日本99.免费观看| 1024香蕉在线观看| 欧美日本视频| 欧美在线一区亚洲| 国产高清视频在线播放一区| 国产精品亚洲av一区麻豆| 国产91精品成人一区二区三区| 一级毛片高清免费大全| 欧美黑人巨大hd| 国产三级中文精品| 亚洲第一电影网av| 亚洲狠狠婷婷综合久久图片| 精品不卡国产一区二区三区| 午夜激情欧美在线| 精品国产美女av久久久久小说| 国产激情偷乱视频一区二区| 69av精品久久久久久| 身体一侧抽搐| 一卡2卡三卡四卡精品乱码亚洲| 成年女人永久免费观看视频| 男女那种视频在线观看| 国产欧美日韩一区二区三| 蜜桃久久精品国产亚洲av| 啦啦啦免费观看视频1| 亚洲人成伊人成综合网2020| 老汉色∧v一级毛片| 丝袜人妻中文字幕| av天堂中文字幕网| 十八禁人妻一区二区| 国产亚洲精品久久久久久毛片| 俺也久久电影网| 亚洲专区国产一区二区| 欧美在线一区亚洲| 国内精品一区二区在线观看| 综合色av麻豆| 国产伦精品一区二区三区四那| 亚洲精品美女久久久久99蜜臀| 国产高清三级在线| АⅤ资源中文在线天堂| 日日摸夜夜添夜夜添小说| 麻豆国产97在线/欧美| 一级毛片高清免费大全| 久久久精品欧美日韩精品| 久久精品亚洲精品国产色婷小说| 久久中文字幕一级| 免费看光身美女| 一个人观看的视频www高清免费观看 | 亚洲国产日韩欧美精品在线观看 | 狠狠狠狠99中文字幕| 国产精品一区二区三区四区免费观看 | 91老司机精品| 国产一区二区激情短视频| 91在线观看av| 美女cb高潮喷水在线观看 | 国产在线精品亚洲第一网站| 性色av乱码一区二区三区2| 99久久久亚洲精品蜜臀av| 久久伊人香网站| 免费看美女性在线毛片视频| 1000部很黄的大片| 欧美国产日韩亚洲一区| 国内毛片毛片毛片毛片毛片| 日韩欧美 国产精品| 黄色丝袜av网址大全| 91av网站免费观看| 久久久久久人人人人人| svipshipincom国产片| 成在线人永久免费视频| 精品国产超薄肉色丝袜足j| 亚洲精品456在线播放app | 日韩国内少妇激情av| 亚洲成av人片免费观看| 久久精品aⅴ一区二区三区四区| 欧美乱码精品一区二区三区| 好男人在线观看高清免费视频|