• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)

    2022-04-06 07:57:06梁美玉王笑笑杜軍平
    模式識(shí)別與人工智能 2022年3期
    關(guān)鍵詞:跨媒體細(xì)粒度哈希

    梁美玉 王笑笑 杜軍平

    在線社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)的迅猛發(fā)展,如Flickr、Twitter、Facebook、新浪微博等,網(wǎng)絡(luò)中積累大量的用戶數(shù)據(jù),包括文本、圖像、視頻等不同媒體類型的跨媒體數(shù)據(jù).這些海量的跨媒體數(shù)據(jù)中蘊(yùn)含有價(jià)值的信息,而且不同媒體數(shù)據(jù)對(duì)于信息的描述是互補(bǔ)性的,因此,通過(guò)跨媒體數(shù)據(jù)搜索(如基于文本搜索圖像,或基于圖像搜索文本)可實(shí)現(xiàn)從社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)中獲取更全面、豐富的話題或事件信息[1-2].

    由于語(yǔ)義上的差距,不同媒體類型的數(shù)據(jù)之間無(wú)法直接進(jìn)行相似性對(duì)比.為了衡量不同媒體數(shù)據(jù)之間的相似性,需要學(xué)習(xí)跨媒體數(shù)據(jù)間的語(yǔ)義相關(guān)性,將不同的媒體數(shù)據(jù)映射到一個(gè)統(tǒng)一的語(yǔ)義表示空間,再進(jìn)行跨媒體相似性匹配和搜索[3-4].

    深度學(xué)習(xí)技術(shù)具有較優(yōu)的非線性特征學(xué)習(xí)能力,近年來(lái)基于深度學(xué)習(xí)的跨媒體語(yǔ)義表示學(xué)習(xí)方法吸引學(xué)者們的廣泛關(guān)注.現(xiàn)有方法主要包括兩類:基于連續(xù)的深度特征空間的方法[5-9]和跨媒體哈希方法[10-12].由于較低的存儲(chǔ)成本和快速的搜索速度,跨媒體哈希方法已成為跨媒體搜索領(lǐng)域的研究熱點(diǎn).通過(guò)跨媒體哈希技術(shù),將原始空間中高維度特征表示映射為短小的二進(jìn)制哈希編碼,然后在獲取的二進(jìn)制哈希表示空間,通過(guò)海明距離快速計(jì)算,進(jìn)行跨媒體匹配[13].

    目前的跨媒體哈希方法主要包括傳統(tǒng)淺層學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法.根據(jù)是否利用語(yǔ)義標(biāo)簽作為指導(dǎo)信息以學(xué)習(xí)跨媒體語(yǔ)義關(guān)聯(lián),跨媒體哈希方法主要分為無(wú)監(jiān)督的跨媒體哈希方法和有監(jiān)督的跨媒體哈希方法.無(wú)監(jiān)督的跨媒體哈希方法學(xué)習(xí)跨媒體相關(guān)性和媒體內(nèi)相似性,最大化不同模態(tài)數(shù)據(jù)間的語(yǔ)義關(guān)聯(lián),將來(lái)自不同模態(tài)的數(shù)據(jù)映射至一個(gè)統(tǒng)一的哈希語(yǔ)義空間,如UGACH(Unsupervised Generative Adversarial Cross-Modal Hashing Approa-ch)[12]和UCH(Unsupervised Coupled Cycle Genera-tive Adversarial Hashing Networks)[14]等.有監(jiān)督的跨媒體哈希方法利用語(yǔ)義標(biāo)簽信息指導(dǎo)跨媒體關(guān)聯(lián)學(xué)習(xí)過(guò)程,獲取統(tǒng)一的哈希表示,如CDQ(Collective Deep Quantization)[15]、SSAH(Self-Supervised Adver-sarial Hashing)[16]、SePH(Semantics-Preserving Hashing Method)[17]、SCM(Semantic Correlation Maximiza-tion)[18]、CMSSH(Cross-Modality Similarity Sensitive Hashing)[19]等.

    近年來(lái),受到深度學(xué)習(xí)特征學(xué)習(xí)能力的激勵(lì),基于深度神經(jīng)網(wǎng)絡(luò)的跨媒體哈希方法廣泛應(yīng)用于跨模態(tài)搜索領(lǐng)域[20-23].Peng等[20]提出MCSM(Modality-Specific Cross-Modal Similarity Measurement),采用基于聯(lián)合嵌入損失和注意力機(jī)制的循環(huán)注意力網(wǎng)絡(luò),為不同模態(tài)構(gòu)建獨(dú)立語(yǔ)義空間,并進(jìn)行跨模態(tài)關(guān)聯(lián)學(xué)習(xí).Zhuang等[21]提出CMNNH(Cross-Media Neural Network Hashing),保持模態(tài)間的判別能力和模態(tài)內(nèi)部數(shù)據(jù)的聯(lián)系,學(xué)習(xí)跨模態(tài)哈希函數(shù).Jiang等[22]提出DCMH(Deep Cross-Modal Hashing),將跨模態(tài)特征學(xué)習(xí)和哈希函數(shù)學(xué)習(xí)集成在一個(gè)端到端的框架下聯(lián)合學(xué)習(xí).Shi等[23]提出EGDH(Equally-Guided Discriminative Hashing),聯(lián)合語(yǔ)義結(jié)構(gòu)和判別性,實(shí)現(xiàn)哈希編碼學(xué)習(xí).

    然而,現(xiàn)有的跨媒體哈希方法往往基于跨媒體數(shù)據(jù)的全局特征表示建立語(yǔ)義關(guān)聯(lián),未考慮數(shù)據(jù)的局部顯著性特征,因此無(wú)法有效捕捉不同模態(tài)數(shù)據(jù)間的細(xì)粒度語(yǔ)義關(guān)聯(lián),而實(shí)際上,圖像中的顯著性區(qū)域和文本中的關(guān)鍵性單詞具有較強(qiáng)的語(yǔ)義相關(guān)性.通過(guò)人眼視覺(jué)注意力機(jī)制[24-27],充分捕捉顯著性圖像區(qū)域和關(guān)鍵性的文本單詞,可發(fā)現(xiàn)更多潛在的細(xì)粒度跨媒體語(yǔ)義關(guān)聯(lián),提升跨媒體搜索的性能[28-31].

    生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)現(xiàn)已應(yīng)用在跨模態(tài)搜索領(lǐng)域,如CM-GANs(Cross-Modal GANs)[7]、ACMR(Adversarial Cross-Modal Retrieval)[8]、AGAH(Adversary Guided Asymmetric Ha-shing)[13]、SSAH(Self-Supervised Adversarial Ha-shing)[16]等.Wang等[8]提出ACMR,在實(shí)值特征空間將對(duì)抗學(xué)習(xí)技術(shù)應(yīng)用于跨模態(tài)檢索.Li等[16]提出SSAH,將對(duì)抗學(xué)習(xí)應(yīng)用于跨模態(tài)哈希,構(gòu)建兩個(gè)對(duì)抗網(wǎng)絡(luò),聯(lián)合學(xué)習(xí)不同模態(tài)數(shù)據(jù)的高維特征和統(tǒng)一哈希編碼.

    但是,現(xiàn)有的跨模態(tài)對(duì)抗哈希方法未考慮圖像和文本之間的局部顯著性細(xì)粒度特征之間的互相指導(dǎo)和協(xié)同學(xué)習(xí),無(wú)法實(shí)現(xiàn)細(xì)粒度的跨媒體關(guān)聯(lián)學(xué)習(xí)[32-34].而且,社交網(wǎng)絡(luò)中的多媒體數(shù)據(jù)通常表現(xiàn)出語(yǔ)義稀疏性和多樣性,并包含很多噪音,導(dǎo)致現(xiàn)有的跨媒體表示學(xué)習(xí)方法不能有效應(yīng)用于此類數(shù)據(jù).

    為了解決上述問(wèn)題,本文提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(Cross-Media Fine-Grained Representation Learning Model Based on Multi-modal Graph and Adversarial Hash Attention Network, CMFAH).為了獲得高質(zhì)量和緊湊的跨媒體統(tǒng)一哈希語(yǔ)義表示,將基于跨媒體注意力的細(xì)粒度特征學(xué)習(xí)、跨媒體關(guān)聯(lián)學(xué)習(xí)、對(duì)抗哈希學(xué)習(xí)集成在一個(gè)統(tǒng)一的對(duì)抗哈希注意力網(wǎng)絡(luò)下,聯(lián)合學(xué)習(xí)跨媒體統(tǒng)一語(yǔ)義表示.為了捕獲更多潛在的細(xì)粒度跨媒體語(yǔ)義關(guān)聯(lián),構(gòu)建基于跨媒體注意力的圖像和文本細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)跨媒體顯著性特征學(xué)習(xí),通過(guò)圖像和文本顯著性特征之間的互相指導(dǎo)和協(xié)同注意力學(xué)習(xí),實(shí)現(xiàn)不同模態(tài)間的細(xì)粒度語(yǔ)義關(guān)聯(lián)學(xué)習(xí).為了進(jìn)一步最大化跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)和特征分布一致性,縮小跨媒體語(yǔ)義鴻溝,構(gòu)建跨媒體GAN,通過(guò)聯(lián)合跨媒體細(xì)粒度關(guān)聯(lián)學(xué)習(xí)和對(duì)抗哈希學(xué)習(xí),獲取不同模態(tài)數(shù)據(jù)的統(tǒng)一哈希語(yǔ)義表示.此外,為了解決社交網(wǎng)絡(luò)數(shù)據(jù)的語(yǔ)義稀疏性、多樣性問(wèn)題,構(gòu)建圖像-單詞關(guān)聯(lián)圖,并在圖上通過(guò)隨機(jī)游走實(shí)現(xiàn)語(yǔ)義關(guān)系擴(kuò)展,發(fā)現(xiàn)更多潛在的圖像和單詞之間的語(yǔ)義關(guān)聯(lián).實(shí)驗(yàn)表明,CMFAH在2個(gè)公開標(biāo)準(zhǔn)跨媒體數(shù)據(jù)集上均取得較優(yōu)的跨媒體搜索性能.

    1 基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型

    1.1 模型框架

    本文解決文本和圖像之間的跨媒體搜索問(wèn)題,提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(CMFAH),用于社交網(wǎng)絡(luò)跨媒體搜索,模型框架如圖1所示.

    圖1 CMFAH模型框圖Fig.1 Framework of CMFAH

    CMFAH主要包括3部分:基于圖像-單詞關(guān)聯(lián)圖的語(yǔ)義擴(kuò)展、跨媒體細(xì)粒度特征學(xué)習(xí)、跨媒體對(duì)抗哈希.首先,構(gòu)建圖像-單詞關(guān)聯(lián)圖,學(xué)習(xí)圖像和文本單詞間的直接語(yǔ)義關(guān)聯(lián)和隱含語(yǔ)義關(guān)聯(lián),實(shí)現(xiàn)跨媒體語(yǔ)義關(guān)系擴(kuò)展.然后,基于構(gòu)建的圖像和文本細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)跨媒體細(xì)粒度顯著性特征學(xué)習(xí).基于深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的區(qū)域特征及文本的單詞特征,并結(jié)合跨媒體注意力機(jī)制學(xué)習(xí)圖像和文本的細(xì)粒度語(yǔ)義關(guān)聯(lián),分別獲取圖像和文本的細(xì)粒度特征表示,并通過(guò)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)學(xué)習(xí)圖像和文本特征的細(xì)粒度上下文特征關(guān)聯(lián),獲取語(yǔ)義增強(qiáng)后的文本和圖像特征表示.最后,構(gòu)建對(duì)抗哈希網(wǎng)絡(luò),在語(yǔ)義標(biāo)簽數(shù)據(jù)的指導(dǎo)下,通過(guò)對(duì)學(xué)習(xí)的圖像和文本統(tǒng)一特征表示進(jìn)行對(duì)抗學(xué)習(xí),通過(guò)媒體內(nèi)語(yǔ)義相似性損失、跨媒體語(yǔ)義相似性損失、跨媒體判別損失的聯(lián)合優(yōu)化,獲取高效緊湊的跨媒體統(tǒng)一哈希表示.

    1.2 問(wèn)題形式化描述

    Hv=fv(Fv,θv),Ht=ft(Ft,θt),

    其中Fv、Ft表示圖像和文本統(tǒng)一特征表示,θv、θt表示網(wǎng)絡(luò)參數(shù),進(jìn)而通過(guò)

    Bv=sgn(Hv),Bt=sgn(Ht)

    實(shí)現(xiàn)圖像和文本特征空間到哈??臻g的映射.

    1.3 模型描述

    1.3.1 基于圖像-單詞關(guān)聯(lián)圖的跨媒體語(yǔ)義擴(kuò)展

    N表示擴(kuò)展后的單詞個(gè)數(shù).結(jié)合Wikipedia知識(shí)Twk進(jìn)一步擴(kuò)充數(shù)據(jù),獲取最終的內(nèi)外部聯(lián)合擴(kuò)展后的圖像關(guān)聯(lián)文本:

    Tio=Trs+Twk.

    在此基礎(chǔ)上,基于SkipGram構(gòu)造語(yǔ)義嵌入學(xué)習(xí)模型.在該過(guò)程中,最大化上下文情境中的單詞tu和tv之間的相似度,獲取語(yǔ)義嵌入表示,目標(biāo)函數(shù)為:

    并采用分層softmax實(shí)現(xiàn)目標(biāo)函數(shù)的優(yōu)化.

    1.3.2 跨媒體細(xì)粒度特征學(xué)習(xí)

    首先,基于跨媒體協(xié)同注意力機(jī)制構(gòu)建跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)圖像和文本的細(xì)粒度特征聯(lián)合學(xué)習(xí),包括圖像特征學(xué)習(xí)和文本特征學(xué)習(xí)兩個(gè)子網(wǎng)絡(luò).

    對(duì)于圖像特征學(xué)習(xí)網(wǎng)絡(luò),構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)圖像的深度語(yǔ)義特征學(xué)習(xí)(本文采用VGG 19深度網(wǎng)絡(luò)),并提取VGG 19網(wǎng)絡(luò)的最后一個(gè)池化層的特征圖作為圖像的局部區(qū)域特征,定義為

    V={v1,v2,…,vm1},

    其中,m1表示圖像區(qū)域的總數(shù),vi表示第i個(gè)區(qū)域的視覺(jué)特征表示.

    在文本特征學(xué)習(xí)網(wǎng)絡(luò),首先基于語(yǔ)義嵌入模型word2vec,學(xué)習(xí)由圖像-單詞關(guān)聯(lián)圖進(jìn)行語(yǔ)義擴(kuò)展后的嵌入表示,并聯(lián)合TextCNN學(xué)習(xí)文本的深度語(yǔ)義特征.利用word2vec處理文本,獲得詞向量矩陣,每個(gè)單詞的詞向量維度為k,因此包含n個(gè)詞的一個(gè)句子可表示為一個(gè)n×k的矩陣,作為TextCNN的輸入.此外,TextCNN后接一個(gè)全連接層,其輸出作為每個(gè)句子的文本表示,即T={t1,t2,…,tm2},其中,m2表示文本單詞的總數(shù),tk表示第k個(gè)單詞的特征表示.

    在提取的圖像特征和文本特征的基礎(chǔ)上,基于圖像和文本不同模態(tài)之間的細(xì)粒度語(yǔ)義相關(guān)性,以及不同模態(tài)數(shù)據(jù)之間的互相指導(dǎo)學(xué)習(xí),通過(guò)跨媒體協(xié)同注意力機(jī)制學(xué)習(xí)圖像和文本的細(xì)粒度注意力特征表示.

    首先,基于余弦距離函數(shù)計(jì)算所有區(qū)域-單詞對(duì)之間的語(yǔ)義相似度,第i個(gè)圖像區(qū)域與第k個(gè)單詞之間的相似度表示為:

    其中,m1表示圖像區(qū)域的總數(shù),m2表示文本單詞的總數(shù).

    對(duì)于圖像模態(tài)的每個(gè)圖像區(qū)域vi,利用文本中的所有單詞學(xué)習(xí)圖像區(qū)域的注意力權(quán)值:

    (1)

    其中

    最終獲取到整個(gè)圖像細(xì)粒度注意力特征表示

    對(duì)于文本模態(tài)的每個(gè)文本單詞tk,利用圖像模態(tài)的所有圖像區(qū)域?qū)W習(xí)文本單詞的注意力權(quán)值:

    (2)

    其中

    最終獲取到整個(gè)文本細(xì)粒度注意力特征表示

    獲取圖像和文本的細(xì)粒度注意力特征表示之后,基于LSTM學(xué)習(xí)圖像特征和文本特征的細(xì)粒度上下文特征關(guān)聯(lián),得到語(yǔ)義增強(qiáng)后的圖像特征表示Fv={f1,f2,…,fm1}和文本特征表示Ft={f1,f2,…,fm2},其中fi、fk分別表示語(yǔ)義增強(qiáng)后的第i個(gè)圖像區(qū)域特征和第k個(gè)文本單詞特征.

    為了解決不同模態(tài)數(shù)據(jù)之間的異構(gòu)間隙問(wèn)題,本文構(gòu)建對(duì)抗哈希模型,學(xué)習(xí)跨媒體數(shù)據(jù)的語(yǔ)義關(guān)聯(lián),將不同媒體的異構(gòu)數(shù)據(jù)映射至統(tǒng)一的哈希語(yǔ)義空間.利用生成對(duì)抗學(xué)習(xí)策略,將跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)作為跨媒體GAN中的“生成模型”,聯(lián)合學(xué)習(xí)媒體內(nèi)語(yǔ)義相似性損失函數(shù)和跨媒體語(yǔ)義相似性損失函數(shù),獲取跨媒體統(tǒng)一語(yǔ)義表示,盡可能保持模態(tài)內(nèi)語(yǔ)義相似性和模態(tài)間語(yǔ)義相似性.通過(guò)跨媒體對(duì)抗損失,對(duì)生成模型得到的跨媒體統(tǒng)一表示進(jìn)行模態(tài)判別,作為“判別模型”.聯(lián)合學(xué)習(xí)和優(yōu)化生成模型和判別模型,利用兩者之間的動(dòng)態(tài)博弈過(guò)程,最大化不同模態(tài)數(shù)據(jù)間的語(yǔ)義相關(guān)性和特征分布一致性,進(jìn)一步縮小跨媒體語(yǔ)義鴻溝.

    令跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)作為跨媒體生成對(duì)抗網(wǎng)絡(luò)中的“生成模型”,構(gòu)建生成損失函數(shù)Lgen,函數(shù)包含2個(gè)部分:媒體內(nèi)語(yǔ)義相似性損失Lintra和跨媒體語(yǔ)義相似性損失Linter.

    在盡可能地保持同模態(tài)內(nèi)部的語(yǔ)義相似性的前提下,構(gòu)建和優(yōu)化媒體內(nèi)語(yǔ)義相似性損失函數(shù):

    其中,J1和J2為2個(gè)triplet-margin loss函數(shù),J1表示添加在同一模態(tài)如圖像/文本特征級(jí)別的約束,J2表示添加在同一模態(tài)如圖像/文本哈希級(jí)別的約束,J3表示哈希量化誤差,通過(guò)實(shí)值哈希碼和二進(jìn)制哈希碼之間的均方差(Mean Square Error, MSE)計(jì)算.

    J1(F*,F+,F-)=

    勃列日涅夫執(zhí)政時(shí)期的第一個(gè)五年計(jì)劃(1966—1970年)經(jīng)濟(jì)情況較好,社會(huì)總產(chǎn)值比上個(gè)五年計(jì)劃增長(zhǎng)7.4%(1961—1965年增長(zhǎng)6.5%)。這一時(shí)期,勃列日涅夫?qū)Ω母锍址e極態(tài)度,力圖通過(guò)改革扭轉(zhuǎn)經(jīng)濟(jì)下滑趨勢(shì)。也是在這一時(shí)期,勃列日涅夫也站穩(wěn)了腳跟。但從70年代上半期開始,保守、僵化與停止改革趨勢(shì)日益明顯,后來(lái)實(shí)際上取消了改革。在1971年的蘇共二十四大后,就不準(zhǔn)用“改革”一詞了,而改用“完善”一詞。俄羅斯學(xué)者說(shuō)得好,這一改變是向“停滯”過(guò)渡的標(biāo)志。

    J2(H*,H+,H-)=

    Fv、Ft為學(xué)習(xí)的模態(tài)特征表示,Hv、Ht為學(xué)習(xí)的實(shí)值哈希碼,Bv、Bt為學(xué)習(xí)到的二進(jìn)制哈希碼.α、β、γ、margin為超參數(shù),sim為相似度函數(shù),通過(guò)cosine距離進(jìn)行計(jì)算.

    在不同模態(tài)之間添加模態(tài)間語(yǔ)義相似性約束,學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的語(yǔ)義關(guān)聯(lián)關(guān)系.構(gòu)建跨媒體語(yǔ)義相似性損失函數(shù):

    其中,J4和J5為2個(gè)Triplet-Margin loss函數(shù),分別表示添加在不同模態(tài)即圖像和文本特征級(jí)別和哈希級(jí)別的約束.

    J4(Fv,Ft,+,Ft,-)=

    J5(Hv,Ht,+,Ht,-)=

    其余參數(shù)含義與Linter一樣.

    最后,聯(lián)合媒體內(nèi)語(yǔ)義相似性損失函數(shù)和跨媒體語(yǔ)義相似性損失函數(shù),構(gòu)建跨媒體生成對(duì)抗網(wǎng)絡(luò)生成模型的總體目標(biāo)函數(shù):

    Lgen=Lintra+Linter

    .

    分別為文本和圖像模態(tài)構(gòu)建跨媒體生成對(duì)抗網(wǎng)絡(luò)中的“判別模型”.對(duì)于圖像模態(tài)判別器Dv,采用文本特征學(xué)習(xí)網(wǎng)絡(luò)作為圖像特征的生成器,將學(xué)習(xí)的圖像特征作為真實(shí)的圖像特征,而文本特征學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)的特征作為生成的圖像特征.圖像模態(tài)判別器的目的在于區(qū)分輸入的圖像特征是真是假.對(duì)于文本模態(tài)判別器的構(gòu)建也是類似的.圖像模態(tài)和文本模態(tài)的判別器均是基于三層的多層感知網(wǎng)絡(luò)(Multilayer Perceptron, MLP)實(shí)現(xiàn),網(wǎng)絡(luò)參數(shù)分別為θDv和θDt.構(gòu)建的判別器類似于以交叉熵為損失的一個(gè)二分類器,將輸入的特征進(jìn)行模態(tài)分類為0或1,1表示輸入與輸出來(lái)自同一模態(tài),0表示輸入與輸出來(lái)自不同模態(tài).定義跨媒體對(duì)抗損失函數(shù):

    學(xué)習(xí)和優(yōu)化模型,最終可生成圖像和文本的統(tǒng)一哈希語(yǔ)義表示

    Bv=sgn(Hv),Bt=sgn(Ht).

    在訓(xùn)練學(xué)習(xí)過(guò)程中,令

    B=sgn(Hv+Ht),

    使語(yǔ)義上相似的圖像和文本實(shí)例生成相似的哈希碼.整體的跨媒體語(yǔ)義表示學(xué)習(xí)目標(biāo)函數(shù)如下:

    基于隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)的反向傳播(Back Propagation, BP)算法學(xué)習(xí)所有的網(wǎng)絡(luò)參數(shù).首先,初始化所有超參數(shù)及生成模型與判別模型.再訓(xùn)練GAN:固定生成器的參數(shù),訓(xùn)練判別器;固定判別器的參數(shù),訓(xùn)練生成器.不斷迭代,直到模型收斂或達(dá)到最大迭代次數(shù).CMFAH優(yōu)化學(xué)習(xí)算法如算法1所示.

    算法 1CMFAH優(yōu)化學(xué)習(xí)算法

    輸入圖像集V,文本集T

    輸出哈希碼矩陣B

    批大小bs,最大迭代值Tmax

    Repeat

    Fortiteration do:

    根據(jù)BP算法更新參數(shù)θ:

    End For

    更新B,B=sgn(Hv+Ht)

    直到收斂

    1.4 基于CMFAH的跨媒體搜索

    基于CMFAH獲取跨媒體統(tǒng)一語(yǔ)義表示之后,采用基于內(nèi)積距離的近似最近鄰方法實(shí)現(xiàn)跨媒體相似性搜索.對(duì)于大規(guī)??缑襟w數(shù)據(jù)搜索而言,原始實(shí)值特征空間上的相似度匹配效率較低.為了在保證搜索準(zhǔn)確性的同時(shí)進(jìn)一步提高面向大規(guī)模數(shù)據(jù)量的搜索效率,本文將非對(duì)稱量化距離函數(shù)作為相似度函數(shù),計(jì)算給定查詢q(圖像或文本)和待搜索的數(shù)據(jù)點(diǎn)x(文本或圖像)之間的語(yǔ)義相似度.近似誤差分析驗(yàn)證發(fā)現(xiàn),非對(duì)稱量化距離函數(shù)可逼近實(shí)值特征空間的距離,并可在跨媒體搜索精度和時(shí)間效率之間取得平衡.基于非對(duì)稱量化距離的跨媒體語(yǔ)義相似度計(jì)算方法表示如下:

    其中,zq表示查詢q的深度特征表示,Bx表示待搜索數(shù)據(jù)點(diǎn)的哈希編碼表示.

    2 實(shí)驗(yàn)及結(jié)果分析

    2.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)數(shù)據(jù)集選取國(guó)際標(biāo)準(zhǔn)的NUS-WIDE社交跨媒體數(shù)據(jù)集和MIR-Flickr 25k社交跨媒體數(shù)據(jù)集,具體信息如表1所示.

    表1 數(shù)據(jù)集信息Table 1 Information of datasets

    NUS-WIDE數(shù)據(jù)集包含269 648個(gè)圖像-文本對(duì),含81個(gè)語(yǔ)義類別標(biāo)簽.在實(shí)驗(yàn)中選取出現(xiàn)頻率最高的前21個(gè)語(yǔ)義類別作為數(shù)據(jù)集,合計(jì)195 834個(gè)圖像-文本對(duì).隨機(jī)選取10 500個(gè)圖像-文本對(duì)作為訓(xùn)練集,2 100個(gè)圖像-文本對(duì)作為查詢集,剩余的圖像-文本對(duì)作為待檢索數(shù)據(jù)集.

    MIR-Flickr25k數(shù)據(jù)集包含25 000個(gè)圖像-文本對(duì),含38個(gè)語(yǔ)義類別標(biāo)簽.在實(shí)驗(yàn)中選擇包含24個(gè)語(yǔ)義類別的實(shí)例,總共20 015個(gè)實(shí)例.隨機(jī)選取10 000個(gè)圖像-文本對(duì)作為訓(xùn)練集,2 000個(gè)圖像-文本對(duì)作為查詢集,剩余的圖像-文本對(duì)作為待檢索數(shù)據(jù)集.

    采用的性能評(píng)價(jià)指標(biāo)為MAP(MeanAveragePrecision)和Top-k準(zhǔn)確率(P@k)曲線.

    根據(jù)所有查詢的平均準(zhǔn)確率(AveragePrecision,AP)的均值計(jì)算MAP:

    其中:Q 表示查詢次數(shù),AP(q)表示第q次查詢的平均準(zhǔn)確率.MAP值越大,說(shuō)明跨媒體搜索性能越優(yōu).

    P@k計(jì)算公式如下:

    其中,tr表示相關(guān)的搜索結(jié)果數(shù), fr表示不相關(guān)的搜索結(jié)果數(shù),tr+fr表示所有的搜索結(jié)果數(shù).

    本文選擇如下對(duì)比算法.

    1)CMSSH[19].構(gòu)建二進(jìn)制分類模型和Boosting算法,實(shí)現(xiàn)哈希學(xué)習(xí).

    2)SCM[18].構(gòu)建和最大化保持跨模態(tài)語(yǔ)義相似性矩陣,學(xué)習(xí)哈希函數(shù).

    3)UGACH[12].充分利用GAN無(wú)監(jiān)督下表示學(xué)習(xí)的能力,挖掘跨模態(tài)數(shù)據(jù)的基本流形結(jié)構(gòu).

    4)SSAH[16].構(gòu)建2個(gè)對(duì)抗網(wǎng)絡(luò),聯(lián)合學(xué)習(xí)高維特征和不同模態(tài)下的哈希編碼.

    5)AGAH[13].提出對(duì)抗學(xué)習(xí)指導(dǎo)下的多標(biāo)簽注意力機(jī)制,加強(qiáng)特征學(xué)習(xí),生成較高層級(jí)關(guān)聯(lián)和保留多標(biāo)簽語(yǔ)義的二進(jìn)制哈希碼.

    CMSSH和SCM為傳統(tǒng)的跨模態(tài)哈希算法,UGACH、SSAH和AGAH為基于對(duì)抗學(xué)習(xí)的深度跨模態(tài)哈希算法,AGAH為聯(lián)合對(duì)抗學(xué)習(xí)和注意力機(jī)制的跨模態(tài)哈希算法.

    此外,為了驗(yàn)證CMFAH的有效性,設(shè)計(jì)3種不同的變種:1)CMFAH-ca.從整個(gè)模型中刪除跨媒體注意力模塊.2)CMFAH-ia.僅添加文本對(duì)圖像的注意力.3)CMFAH-ta.僅添加圖像對(duì)文本的注意力.

    實(shí)驗(yàn)環(huán)境為NVIDIATitanXGPU.在語(yǔ)義擴(kuò)展過(guò)程中,設(shè)置圖像-單詞關(guān)聯(lián)圖中的隨機(jī)游走步長(zhǎng)為5.語(yǔ)義嵌入word2vec詞向量長(zhǎng)度為1 000維.跨媒體統(tǒng)一特征表示的維度為512維.統(tǒng)一哈希表示長(zhǎng)度分別設(shè)置為16位、32位、64位、128位.批尺寸大小為128,文本和圖像的初始學(xué)習(xí)率為0.000 7.實(shí)驗(yàn)中超參數(shù)α=β=γ=δ=φ=1.另外,針對(duì)目標(biāo)損失函數(shù)中超參數(shù)margin、對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)率gan_lr及epoch,設(shè)計(jì)參數(shù)敏感性分析實(shí)驗(yàn),最終確定margin=0.5,gan_lr=0.000 8,epoch=150.

    2.2 不同哈希編碼位數(shù)下的跨媒體搜索性能對(duì)比

    基于跨媒體搜索任務(wù),驗(yàn)證CMFAH的性能,本組實(shí)驗(yàn)將各算法在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上對(duì)比跨媒體搜索任務(wù)(圖像搜索文本I→T和文本搜索圖像T→I)的性能.實(shí)驗(yàn)中哈希編碼的長(zhǎng)度分別取16位、32位、64位和128位.

    在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上,不同算法針對(duì)不同哈希編碼長(zhǎng)度下的MAP值對(duì)比如表2和表3所示.圖2給出不同哈希編碼長(zhǎng)度下,各算法在NUS-WIDE、MIR-Flickr25k數(shù)據(jù)集上的MAP平均值曲線.

    觀察表2和表3可看出,相比其它算法,CMFAH在I→T和T→I兩個(gè)跨媒體搜索任務(wù)上均取得較高的MAP值,并且哈希碼位數(shù)較短的結(jié)果優(yōu)于其它算法哈希碼位數(shù)較長(zhǎng)時(shí)的結(jié)果,說(shuō)明CMFAH性能更優(yōu).這是因?yàn)?CMFAH充分學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的語(yǔ)義關(guān)聯(lián),生成更具有判別性、高質(zhì)量的哈希碼.并且隨著哈希編碼長(zhǎng)度的增加,CMFAH的MAP值越來(lái)越高,這是因?yàn)檩^長(zhǎng)的哈希編碼能保留足夠多的語(yǔ)義信息,因此可提升跨模態(tài)搜索性能.此外,通過(guò)實(shí)驗(yàn)可發(fā)現(xiàn),一味增加哈希編碼的長(zhǎng)度,一方面并不能保證MAP值越來(lái)越高,這是因?yàn)?較長(zhǎng)的哈希編碼可能會(huì)造成模型訓(xùn)練過(guò)擬合,影響MAP值.觀察實(shí)驗(yàn)結(jié)果可看出,CMFAH在64位哈希編碼時(shí)取得最優(yōu)的MAP值.另一方面,隨著哈希編碼位數(shù)的增加,搜索時(shí)間開銷也越大.因此,為了在搜索精度和時(shí)間效率方面取得較好折衷,本文將哈希編碼位數(shù)設(shè)置為64位.

    表2 各算法在NUS-WIDE數(shù)據(jù)集上的MAP值對(duì)比Table 2 MAP comparison of different algorithms on NUS-WIDE

    表3 各算法在MIR-Flickr 25k數(shù)據(jù)集上的MAP值對(duì)比Table 3 MAP comparison of different algorithms on MIR-Flickr 25k

    (a)I→T (b)T→I

    此外,從時(shí)間效率上看,CMFAH和AGAH訓(xùn)練時(shí)長(zhǎng)類似,平均每個(gè)epoch訓(xùn)練時(shí)長(zhǎng)分別為26 s和24 s.相比AGAH,CMFAH取得更高的MAP值,在I→T搜索任務(wù)上平均提升3%,在T→I搜索任務(wù)上平均提升2%.主要原因是CMFAH基于不同模態(tài)數(shù)據(jù)間的協(xié)同注意力機(jī)制,可學(xué)習(xí)到更具顯著性的細(xì)粒度特征,并通過(guò)構(gòu)建圖像-單詞關(guān)聯(lián)圖進(jìn)行語(yǔ)義關(guān)系擴(kuò)展,發(fā)現(xiàn)更多細(xì)粒度和潛在的跨媒體語(yǔ)義關(guān)聯(lián),獲取更有判別力和精確的跨媒體統(tǒng)一哈希表示,因此跨媒體搜索的整體性能更優(yōu).

    在NUS-WIDE、MIR-Flickr 25k數(shù)據(jù)集上,各算法在I→T和T→I兩個(gè)跨媒體搜索任務(wù)上的Top-k準(zhǔn)確率曲線如圖3所示.

    Top-k準(zhǔn)確率曲線反映前k個(gè)返回的搜索結(jié)果中,正確的搜索結(jié)果所占的比例.由圖可看出,CMFAH在任何Top-k值下均取得最優(yōu)性能,并且隨著k的增大,準(zhǔn)確率有輕微下降.當(dāng)k取較大值時(shí),如k=1 000時(shí),CMFAH也取得較高的準(zhǔn)確率,這說(shuō)明當(dāng)用戶需要較多的候選結(jié)果時(shí),CMFAH也有較優(yōu)的搜索性能.

    (a1)I→T (a2)T→I

    (b1)I→T (b2)T→I

    2.3 消融性實(shí)驗(yàn)結(jié)果

    為了驗(yàn)證CMFAH的有效性,在MIR-Flickr 25k數(shù)據(jù)集上,對(duì)CMFAH的3種不同變種CMFAH-ca、CMFAH-ia和CMFAH-ta進(jìn)行對(duì)比分析.實(shí)驗(yàn)中哈希編碼位數(shù)取64位.CMFAH的不同變種的MAP值對(duì)比如表4所示.由表可看出,相比CMFAH,不添加跨媒體注意力的CMFAH-ca的MAP值平均降低0.06.僅添加任一模態(tài)的注意力的CMFAH-ia和CMFAH-ta的性能均具有顯著提升.綜合對(duì)比發(fā)現(xiàn),添加跨媒體注意力機(jī)制的CMFAH取得更高性能.由此說(shuō)明,相比單一模態(tài)的注意力機(jī)制,跨媒體注意力機(jī)制對(duì)于跨媒體搜索性能具有顯著提升作用.這主要得益于通過(guò)添加跨媒體注意力,CMFAH可充分學(xué)習(xí)不同模態(tài)數(shù)據(jù)之間的細(xì)粒度語(yǔ)義關(guān)聯(lián),取得更優(yōu)的跨媒體搜索性能.

    表4 CMFAH不同變種的MAP值對(duì)比Table 4 MAP comparison of different variants of CMFAH

    2.4 參數(shù)敏感性分析

    本組實(shí)驗(yàn)分析目標(biāo)函數(shù)中超參數(shù)margin對(duì)于模型的影響.margin值表示在一個(gè)triplet三元組中,不相似的數(shù)據(jù)對(duì)的cosine相似度相比相似對(duì)的cosine相似度之間的間隔.在64位哈希碼時(shí),不同margin值對(duì)于MAP值的影響如圖4所示.由圖可看出,MAP值隨著margin的增大而增大,當(dāng)margin>0.5時(shí)又開始下降.當(dāng)margin值較小時(shí),模型較難區(qū)分相似對(duì)和不相似對(duì),因此MAP值相對(duì)較小.當(dāng)margin=0.5時(shí),MAP在I→T和T→I搜索任務(wù)中取得更高值.因此,本文中設(shè)置margin=0.5,用于所有實(shí)驗(yàn).

    圖4 margin對(duì)MAP值的影響Fig.4 Influence of margin on MAP

    本組實(shí)驗(yàn)分析對(duì)抗哈希網(wǎng)絡(luò)學(xué)習(xí)率gan_lr對(duì)模型性能的影響.在碼長(zhǎng)為64位時(shí),gan_lr對(duì)于MAP值的影響如圖5所示.由圖可看出,當(dāng)gan_lr=0.000 8時(shí),在I→T和T→I搜索任務(wù)中取得的MAP值最高.因此,本文實(shí)驗(yàn)中設(shè)置gan_lr=0.000 8.

    圖5 gan_lr對(duì)MAP值的影響Fig.5 Influence of gan_lr on MAP

    本組實(shí)驗(yàn)分析epoch值對(duì)跨媒體搜索性能的影響.在MIR-Flickr 25k數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果如圖6所示.由圖可看出,隨著epoch的增大,模型逐步實(shí)現(xiàn)收斂,大約在epoch=150時(shí),模型收斂趨于穩(wěn)定.

    圖6 epoch對(duì)MAP值的影響Fig.6 Influence of epoch on MAP

    3 結(jié) 束 語(yǔ)

    為了解決跨媒體數(shù)據(jù)間的特征異構(gòu)和語(yǔ)義鴻溝,以及社交網(wǎng)絡(luò)數(shù)據(jù)的語(yǔ)義稀疏性、多樣性問(wèn)題,實(shí)現(xiàn)高效的大規(guī)模社交網(wǎng)絡(luò)數(shù)據(jù)跨媒體檢索,本文提出基于多模態(tài)圖和對(duì)抗哈希注意力網(wǎng)絡(luò)的跨媒體細(xì)粒度表示學(xué)習(xí)模型(CMFAH),將不同媒體類型的數(shù)據(jù)映射至高效的統(tǒng)一哈希語(yǔ)義空間內(nèi).構(gòu)建基于跨媒體注意力機(jī)制的跨媒體細(xì)粒度特征學(xué)習(xí)網(wǎng)絡(luò)及對(duì)抗哈希學(xué)習(xí)網(wǎng)絡(luò),將細(xì)粒度的跨媒體語(yǔ)義關(guān)聯(lián)學(xué)習(xí)和對(duì)抗哈希學(xué)習(xí)集成在一個(gè)統(tǒng)一的框架下進(jìn)行協(xié)同學(xué)習(xí)和優(yōu)化,進(jìn)一步增強(qiáng)跨媒體統(tǒng)一表示的語(yǔ)義一致性,獲取更緊湊高效的統(tǒng)一哈希表示.此外,通過(guò)構(gòu)建圖像-單詞關(guān)聯(lián)圖,充分挖掘圖像和單詞間的直接語(yǔ)義關(guān)聯(lián)和隱含語(yǔ)義關(guān)聯(lián),實(shí)現(xiàn)語(yǔ)義關(guān)系擴(kuò)展,進(jìn)一步增強(qiáng)面向社交網(wǎng)絡(luò)數(shù)據(jù)的跨媒體語(yǔ)義關(guān)聯(lián)的學(xué)習(xí)能力,克服社交網(wǎng)絡(luò)數(shù)據(jù)的稀疏性、多樣性等問(wèn)題.今后將結(jié)合圖神經(jīng)網(wǎng)絡(luò)、對(duì)比學(xué)習(xí)等技術(shù),進(jìn)一步增強(qiáng)不同模態(tài)的深層次高階語(yǔ)義關(guān)聯(lián)學(xué)習(xí)能力.

    猜你喜歡
    跨媒體細(xì)粒度哈希
    “跨媒體表征學(xué)習(xí)及認(rèn)知推理”專欄征文通知
    “跨媒體表征學(xué)習(xí)及認(rèn)知推理”專欄征文通知
    融合判別性與細(xì)粒度特征的抗遮擋紅外目標(biāo)跟蹤算法
    細(xì)粒度的流計(jì)算執(zhí)行效率優(yōu)化方法
    基于雙線性卷積網(wǎng)絡(luò)的細(xì)粒度圖像定位
    支持細(xì)粒度權(quán)限控制且可搜索的PHR云服務(wù)系統(tǒng)
    基于OpenCV與均值哈希算法的人臉相似識(shí)別系統(tǒng)
    跨媒體出版物的平臺(tái)互動(dòng)研究
    出版與印刷(2015年3期)2015-12-19 13:15:13
    基于維度分解的哈希多維快速流分類算法
    基于跨媒體字典的圖像檢索
    丝瓜视频免费看黄片| 狂野欧美激情性bbbbbb| 亚洲不卡免费看| 亚洲最大成人手机在线| 日本爱情动作片www.在线观看| 亚洲精品久久午夜乱码| 国产精品99久久99久久久不卡 | 97在线视频观看| 免费观看性生交大片5| 禁无遮挡网站| 久热久热在线精品观看| 免费看不卡的av| 免费av不卡在线播放| 亚洲精品视频女| 亚洲国产av新网站| 久久人人爽av亚洲精品天堂 | 人妻系列 视频| 晚上一个人看的免费电影| av福利片在线观看| 少妇人妻一区二区三区视频| 最近中文字幕高清免费大全6| 建设人人有责人人尽责人人享有的 | 丝袜脚勾引网站| 国产一区有黄有色的免费视频| 人人妻人人澡人人爽人人夜夜| 少妇被粗大猛烈的视频| 欧美zozozo另类| 亚洲精品中文字幕在线视频 | 超碰97精品在线观看| 国产成人午夜福利电影在线观看| 亚洲精品,欧美精品| 亚洲精品国产成人久久av| 丝袜脚勾引网站| 联通29元200g的流量卡| 亚洲一区二区三区欧美精品 | 国产白丝娇喘喷水9色精品| 亚洲成人中文字幕在线播放| 丝袜美腿在线中文| 欧美成人精品欧美一级黄| 91狼人影院| av在线观看视频网站免费| 国产视频首页在线观看| 又爽又黄无遮挡网站| av在线亚洲专区| 国产精品国产三级专区第一集| 欧美另类一区| 亚洲人与动物交配视频| 波多野结衣巨乳人妻| 三级经典国产精品| 欧美日韩一区二区视频在线观看视频在线 | av在线app专区| 99热这里只有精品一区| 99久久人妻综合| 国产成人a区在线观看| 国产精品国产av在线观看| 亚洲欧美日韩东京热| 国产熟女欧美一区二区| 亚洲精品视频女| 精品国产三级普通话版| 高清av免费在线| 观看美女的网站| 亚洲国产最新在线播放| 乱系列少妇在线播放| 九九爱精品视频在线观看| 成人综合一区亚洲| 十八禁网站网址无遮挡 | 22中文网久久字幕| 国产精品精品国产色婷婷| 麻豆精品久久久久久蜜桃| 国产成人午夜福利电影在线观看| 国产一区二区在线观看日韩| 久久99热这里只频精品6学生| 亚洲精品456在线播放app| 亚洲人与动物交配视频| 高清视频免费观看一区二区| 国产午夜精品久久久久久一区二区三区| 超碰av人人做人人爽久久| 女人被狂操c到高潮| 日韩国内少妇激情av| 久久国产乱子免费精品| videossex国产| 丝袜喷水一区| 永久免费av网站大全| 国产成人福利小说| 国产精品久久久久久精品古装| 伊人久久精品亚洲午夜| 国产成人免费观看mmmm| 毛片女人毛片| 国产成人精品一,二区| 亚洲欧美一区二区三区黑人 | 大码成人一级视频| 狂野欧美白嫩少妇大欣赏| 国产精品不卡视频一区二区| 国产午夜精品久久久久久一区二区三区| 综合色丁香网| 又爽又黄a免费视频| 欧美日韩一区二区视频在线观看视频在线 | 午夜老司机福利剧场| 中文在线观看免费www的网站| 欧美三级亚洲精品| 久久ye,这里只有精品| 超碰97精品在线观看| 看免费成人av毛片| 亚洲怡红院男人天堂| 成人无遮挡网站| 丝袜喷水一区| 午夜日本视频在线| 女人十人毛片免费观看3o分钟| 丝瓜视频免费看黄片| 欧美日韩一区二区视频在线观看视频在线 | 禁无遮挡网站| 精品久久久久久久人妻蜜臀av| 午夜福利在线在线| 美女内射精品一级片tv| 亚洲丝袜综合中文字幕| 一个人看的www免费观看视频| 汤姆久久久久久久影院中文字幕| 一区二区av电影网| 国产精品久久久久久精品电影| av在线天堂中文字幕| 一本一本综合久久| 亚洲国产精品国产精品| 亚洲精品一区蜜桃| 成人欧美大片| 国产男女超爽视频在线观看| 亚洲真实伦在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 麻豆成人午夜福利视频| 狠狠精品人妻久久久久久综合| 午夜免费观看性视频| 国产高清不卡午夜福利| 国产午夜精品久久久久久一区二区三区| 久久人人爽人人爽人人片va| av卡一久久| 日本黄色片子视频| 午夜免费男女啪啪视频观看| 国产成人精品久久久久久| 97人妻精品一区二区三区麻豆| 国产成人免费无遮挡视频| 新久久久久国产一级毛片| 麻豆久久精品国产亚洲av| 狂野欧美激情性xxxx在线观看| 如何舔出高潮| 午夜福利高清视频| 卡戴珊不雅视频在线播放| 国产大屁股一区二区在线视频| 国产免费一级a男人的天堂| 日韩强制内射视频| 又爽又黄a免费视频| 午夜福利高清视频| 久久午夜福利片| 精品久久久噜噜| 亚洲精品视频女| 久久6这里有精品| 男女那种视频在线观看| 日韩av不卡免费在线播放| 日韩成人av中文字幕在线观看| 日本三级黄在线观看| 我的老师免费观看完整版| 听说在线观看完整版免费高清| 欧美 日韩 精品 国产| 熟女电影av网| 国产精品爽爽va在线观看网站| 特大巨黑吊av在线直播| 边亲边吃奶的免费视频| 性插视频无遮挡在线免费观看| 夜夜爽夜夜爽视频| 少妇被粗大猛烈的视频| 狂野欧美白嫩少妇大欣赏| 日本熟妇午夜| 亚洲一级一片aⅴ在线观看| 亚洲成人久久爱视频| 黄色配什么色好看| 一级毛片电影观看| 新久久久久国产一级毛片| 精品人妻偷拍中文字幕| 亚洲va在线va天堂va国产| 波多野结衣巨乳人妻| 久久久久精品久久久久真实原创| 秋霞在线观看毛片| av福利片在线观看| 激情五月婷婷亚洲| 丝瓜视频免费看黄片| 亚洲av欧美aⅴ国产| 69人妻影院| 亚洲人成网站高清观看| 2022亚洲国产成人精品| 亚洲欧美清纯卡通| 岛国毛片在线播放| av又黄又爽大尺度在线免费看| 人妻系列 视频| 国产男女超爽视频在线观看| 欧美日韩视频高清一区二区三区二| 国产在线一区二区三区精| 国产永久视频网站| 男插女下体视频免费在线播放| 在线播放无遮挡| 搡女人真爽免费视频火全软件| 国产老妇伦熟女老妇高清| 欧美人与善性xxx| 日韩三级伦理在线观看| 特大巨黑吊av在线直播| 2022亚洲国产成人精品| 亚洲va在线va天堂va国产| 91精品一卡2卡3卡4卡| 亚洲怡红院男人天堂| 久久精品夜色国产| 精品熟女少妇av免费看| 久久6这里有精品| 男女无遮挡免费网站观看| 国产黄片视频在线免费观看| 免费黄频网站在线观看国产| 男女下面进入的视频免费午夜| 国产片特级美女逼逼视频| 国产成人一区二区在线| 久久久久久国产a免费观看| 在线亚洲精品国产二区图片欧美 | 美女视频免费永久观看网站| 纵有疾风起免费观看全集完整版| 国产免费一区二区三区四区乱码| 尾随美女入室| 欧美国产精品一级二级三级 | 97精品久久久久久久久久精品| 国产精品一区二区在线观看99| 97超视频在线观看视频| 女人被狂操c到高潮| 亚洲欧美一区二区三区黑人 | 日韩大片免费观看网站| 特大巨黑吊av在线直播| 自拍偷自拍亚洲精品老妇| av国产久精品久网站免费入址| 人妻 亚洲 视频| 99热国产这里只有精品6| 国产淫片久久久久久久久| 亚洲在久久综合| 亚洲一级一片aⅴ在线观看| 超碰97精品在线观看| 亚洲av日韩在线播放| 久久6这里有精品| 国产午夜精品一二区理论片| 亚洲自偷自拍三级| 涩涩av久久男人的天堂| 最新中文字幕久久久久| 国产亚洲一区二区精品| 日韩av在线免费看完整版不卡| 国产精品久久久久久av不卡| 国产一区二区三区综合在线观看 | 亚洲人与动物交配视频| av在线蜜桃| 亚洲国产精品成人综合色| 久久久精品免费免费高清| 搡女人真爽免费视频火全软件| 麻豆乱淫一区二区| 午夜福利网站1000一区二区三区| 国产免费一区二区三区四区乱码| 国产精品一区二区三区四区免费观看| 国产精品精品国产色婷婷| 欧美一级a爱片免费观看看| 欧美日韩精品成人综合77777| 日韩 亚洲 欧美在线| 人体艺术视频欧美日本| 在线观看免费高清a一片| 中国美白少妇内射xxxbb| 五月玫瑰六月丁香| 乱码一卡2卡4卡精品| 成人黄色视频免费在线看| 下体分泌物呈黄色| 免费观看在线日韩| 女人十人毛片免费观看3o分钟| 国产成人午夜福利电影在线观看| 亚洲欧洲日产国产| 国产 一区 欧美 日韩| eeuss影院久久| 最近2019中文字幕mv第一页| 亚洲精品aⅴ在线观看| 日本av手机在线免费观看| 国产91av在线免费观看| 人人妻人人澡人人爽人人夜夜| 两个人的视频大全免费| 亚洲精品色激情综合| 男人和女人高潮做爰伦理| 成年女人在线观看亚洲视频 | 亚洲欧美中文字幕日韩二区| 看黄色毛片网站| 亚洲精品日韩av片在线观看| 日本爱情动作片www.在线观看| 亚洲天堂国产精品一区在线| 我的老师免费观看完整版| 国产高清国产精品国产三级 | 男女那种视频在线观看| 大话2 男鬼变身卡| 噜噜噜噜噜久久久久久91| 又爽又黄无遮挡网站| 波野结衣二区三区在线| 日韩三级伦理在线观看| 亚洲成人久久爱视频| 老司机影院毛片| 亚洲色图综合在线观看| 久久鲁丝午夜福利片| av一本久久久久| 国产日韩欧美在线精品| 五月玫瑰六月丁香| 免费少妇av软件| 国产精品秋霞免费鲁丝片| 蜜桃亚洲精品一区二区三区| 亚洲精品日韩av片在线观看| 美女视频免费永久观看网站| 亚洲熟女精品中文字幕| 麻豆乱淫一区二区| 久久99精品国语久久久| 麻豆乱淫一区二区| 汤姆久久久久久久影院中文字幕| 亚洲精品第二区| 大话2 男鬼变身卡| 好男人在线观看高清免费视频| 成人亚洲欧美一区二区av| 久久99热这里只频精品6学生| 国产精品不卡视频一区二区| 中国国产av一级| 少妇的逼水好多| 五月玫瑰六月丁香| 中文字幕久久专区| 九色成人免费人妻av| 久久久a久久爽久久v久久| 一区二区av电影网| 内地一区二区视频在线| 在线观看一区二区三区| 九九爱精品视频在线观看| 亚洲精品成人久久久久久| 99热全是精品| 国产精品偷伦视频观看了| 在线免费观看不下载黄p国产| 成人毛片a级毛片在线播放| 国产在视频线精品| 一级毛片黄色毛片免费观看视频| 免费观看的影片在线观看| av福利片在线观看| 插阴视频在线观看视频| 免费观看在线日韩| 在线 av 中文字幕| 纵有疾风起免费观看全集完整版| 人妻少妇偷人精品九色| 久久久亚洲精品成人影院| 国产片特级美女逼逼视频| 永久网站在线| 国产淫片久久久久久久久| 国产免费福利视频在线观看| av女优亚洲男人天堂| 精品熟女少妇av免费看| 精品一区二区三区视频在线| 22中文网久久字幕| 99热全是精品| 91aial.com中文字幕在线观看| 韩国av在线不卡| 男女边摸边吃奶| 国产精品久久久久久精品电影小说 | 久久热精品热| 免费在线观看成人毛片| 久久99精品国语久久久| 免费看日本二区| 国产午夜精品久久久久久一区二区三区| 国产视频内射| 国内精品美女久久久久久| 偷拍熟女少妇极品色| 国产又色又爽无遮挡免| 国产亚洲91精品色在线| 久久久久久久国产电影| 亚洲精品成人久久久久久| 蜜桃亚洲精品一区二区三区| 免费播放大片免费观看视频在线观看| 高清在线视频一区二区三区| 亚洲av免费在线观看| 看黄色毛片网站| 欧美另类一区| 国产毛片在线视频| 亚洲欧美日韩卡通动漫| 国产高清不卡午夜福利| 大香蕉97超碰在线| 人妻夜夜爽99麻豆av| 国产淫片久久久久久久久| 欧美精品一区二区大全| 亚洲人与动物交配视频| 久久99蜜桃精品久久| 性色av一级| 久久99蜜桃精品久久| 婷婷色av中文字幕| 少妇丰满av| 九九爱精品视频在线观看| 亚洲国产av新网站| 国产成人a区在线观看| 又粗又硬又长又爽又黄的视频| 久久精品熟女亚洲av麻豆精品| 国产国拍精品亚洲av在线观看| 久久久久久久久久久丰满| 日韩制服骚丝袜av| 亚洲人成网站高清观看| 久久久久久国产a免费观看| 国产精品国产av在线观看| 亚洲av电影在线观看一区二区三区 | 国产亚洲91精品色在线| 另类亚洲欧美激情| 免费大片18禁| 一个人看的www免费观看视频| 成人无遮挡网站| 免费观看av网站的网址| 国产淫片久久久久久久久| 中文字幕av成人在线电影| 少妇熟女欧美另类| 哪个播放器可以免费观看大片| 如何舔出高潮| 亚洲av.av天堂| 成人美女网站在线观看视频| 精品久久国产蜜桃| 亚洲欧美成人精品一区二区| 黄色怎么调成土黄色| 五月开心婷婷网| 国模一区二区三区四区视频| 免费观看在线日韩| 午夜激情福利司机影院| 91aial.com中文字幕在线观看| 久久久久久久大尺度免费视频| 日本wwww免费看| 尤物成人国产欧美一区二区三区| 亚洲av福利一区| 国产伦精品一区二区三区四那| 中国国产av一级| 亚洲欧美日韩东京热| 性插视频无遮挡在线免费观看| 高清午夜精品一区二区三区| 亚洲成人久久爱视频| 亚洲真实伦在线观看| 欧美 日韩 精品 国产| 99久久精品热视频| 联通29元200g的流量卡| 深爱激情五月婷婷| 女人久久www免费人成看片| 成人特级av手机在线观看| 国产淫语在线视频| 亚洲av免费在线观看| 一级黄片播放器| 免费观看无遮挡的男女| 欧美潮喷喷水| 欧美国产精品一级二级三级 | 欧美性猛交╳xxx乱大交人| 久久这里有精品视频免费| 丰满人妻一区二区三区视频av| 国产精品蜜桃在线观看| 永久免费av网站大全| 日韩欧美精品免费久久| 亚洲av二区三区四区| 日日摸夜夜添夜夜爱| 亚洲成色77777| 亚洲精品影视一区二区三区av| h日本视频在线播放| 免费观看无遮挡的男女| 不卡视频在线观看欧美| 色视频在线一区二区三区| 高清视频免费观看一区二区| 午夜免费鲁丝| 一个人看视频在线观看www免费| 久久99热这里只频精品6学生| 免费av观看视频| 国产亚洲91精品色在线| tube8黄色片| 亚洲欧洲国产日韩| 最近的中文字幕免费完整| 在线看a的网站| 日本一二三区视频观看| 三级经典国产精品| 国产精品女同一区二区软件| 少妇的逼水好多| 色哟哟·www| 国产免费又黄又爽又色| 精品午夜福利在线看| 中文在线观看免费www的网站| 久久99热这里只有精品18| 免费黄网站久久成人精品| 日韩欧美精品v在线| 国产精品国产三级国产专区5o| 国产乱人视频| 亚洲国产色片| 国产女主播在线喷水免费视频网站| 99久国产av精品国产电影| 全区人妻精品视频| 最后的刺客免费高清国语| 大陆偷拍与自拍| 久久韩国三级中文字幕| 在线天堂最新版资源| 久久久久国产精品人妻一区二区| 看非洲黑人一级黄片| 免费少妇av软件| 欧美一区二区亚洲| 夫妻性生交免费视频一级片| 最近的中文字幕免费完整| 看非洲黑人一级黄片| 精品久久久噜噜| 欧美日韩视频高清一区二区三区二| 黄色日韩在线| 国产精品99久久99久久久不卡 | 国产乱人偷精品视频| 大片电影免费在线观看免费| 久久精品国产亚洲av涩爱| 97热精品久久久久久| 亚洲av欧美aⅴ国产| 国产精品蜜桃在线观看| 啦啦啦在线观看免费高清www| 欧美人与善性xxx| 日韩免费高清中文字幕av| 亚洲精品亚洲一区二区| 国产爽快片一区二区三区| 2018国产大陆天天弄谢| 日韩国内少妇激情av| 亚洲最大成人手机在线| 国产 一区精品| videos熟女内射| 久久久精品欧美日韩精品| 老司机影院毛片| 亚洲欧美日韩另类电影网站 | 国产黄a三级三级三级人| 亚洲国产日韩一区二区| 日本欧美国产在线视频| 深夜a级毛片| 亚洲av成人精品一区久久| 国产综合精华液| 精品熟女少妇av免费看| 男人狂女人下面高潮的视频| 国产成年人精品一区二区| 欧美激情国产日韩精品一区| 亚洲av免费高清在线观看| 久久国产乱子免费精品| 日韩视频在线欧美| 亚洲精品国产成人久久av| 狂野欧美激情性bbbbbb| 99久久精品热视频| 国产精品不卡视频一区二区| 亚洲精品国产av成人精品| 国产精品偷伦视频观看了| 真实男女啪啪啪动态图| 深爱激情五月婷婷| 亚洲欧美精品自产自拍| 免费看日本二区| 啦啦啦在线观看免费高清www| 亚洲最大成人中文| 国产人妻一区二区三区在| 日本午夜av视频| 免费人成在线观看视频色| 国精品久久久久久国模美| 欧美精品人与动牲交sv欧美| 亚洲精品乱码久久久v下载方式| a级毛片免费高清观看在线播放| 成人亚洲精品一区在线观看 | 亚洲不卡免费看| 综合色av麻豆| 99视频精品全部免费 在线| 美女高潮的动态| 在线观看三级黄色| 99久久九九国产精品国产免费| 国产淫片久久久久久久久| 久久久久精品久久久久真实原创| 亚洲人成网站在线观看播放| 一区二区三区乱码不卡18| 国产黄频视频在线观看| 免费少妇av软件| 亚洲aⅴ乱码一区二区在线播放| 久久久亚洲精品成人影院| 国产亚洲5aaaaa淫片| 亚洲国产精品国产精品| 久久综合国产亚洲精品| 人妻夜夜爽99麻豆av| 内地一区二区视频在线| 激情 狠狠 欧美| 成年女人看的毛片在线观看| 亚洲av不卡在线观看| 欧美另类一区| 全区人妻精品视频| 欧美 日韩 精品 国产| 国产一区二区亚洲精品在线观看| 国产高清不卡午夜福利| 超碰97精品在线观看| 高清av免费在线| 夫妻性生交免费视频一级片| 欧美3d第一页| 777米奇影视久久| 成人免费观看视频高清| 国产视频内射| 国产av不卡久久| .国产精品久久| 欧美3d第一页| 日本猛色少妇xxxxx猛交久久| 成人亚洲精品一区在线观看 | 别揉我奶头 嗯啊视频| 国产精品人妻久久久影院| 五月开心婷婷网| 人妻系列 视频| 欧美精品国产亚洲| 国产精品.久久久| 国产中年淑女户外野战色| 黑人高潮一二区| 久久久久久久久久久免费av| 少妇熟女欧美另类| 自拍欧美九色日韩亚洲蝌蚪91 | 日韩,欧美,国产一区二区三区| 国产精品99久久99久久久不卡 | 一个人看视频在线观看www免费| 人妻少妇偷人精品九色| 一级毛片 在线播放| 内射极品少妇av片p| 最近2019中文字幕mv第一页| 亚洲一级一片aⅴ在线观看| 精品酒店卫生间| 韩国高清视频一区二区三区| 在线观看三级黄色| 老司机影院毛片| 晚上一个人看的免费电影| 噜噜噜噜噜久久久久久91|