• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    跨模態(tài)檢索技術(shù)研究綜述

    2022-12-06 10:26:32徐文婉周小平
    關(guān)鍵詞:哈希檢索語(yǔ)義

    徐文婉,周小平,王 佳

    北京建筑大學(xué) 電氣與信息工程學(xué)院,北京 100044

    進(jìn)入大數(shù)據(jù)時(shí)代,數(shù)據(jù)化的信息涉及到電子商務(wù)、健康醫(yī)療、社交網(wǎng)絡(luò)、工業(yè)機(jī)械等多個(gè)領(lǐng)域。這些信息以不同的數(shù)據(jù)類(lèi)型存儲(chǔ),模態(tài)指的就是數(shù)據(jù)類(lèi)型。現(xiàn)有研究的模態(tài)可以分為圖像[1-2]、文本[3-4]、語(yǔ)音[5]、3D圖像[6]、3D模型[7]、視頻[8]、時(shí)間[9]、空間位置[10]這幾種。以電子商務(wù)領(lǐng)域?yàn)槔?,多采用以輸入關(guān)鍵詞檢索商品標(biāo)題的單模態(tài)檢索方式,該方法所得到的信息有限,而同一商品有文本和視頻等不同模態(tài)的信息,如圖1所示,這些信息并沒(méi)有充分利用??缒B(tài)這一概念來(lái)源于人類(lèi)的多器官感知[11]:多個(gè)器官感知通道提供對(duì)感知實(shí)物的不同特征印象并傳遞給大腦,以加深對(duì)實(shí)物的特征感知??缒B(tài)檢索是指輸入的查詢數(shù)據(jù)和輸出的被查詢數(shù)據(jù)屬于不同模態(tài)的檢索方式。它比普通檢索得到的信息更為全面準(zhǔn)確且真實(shí),在海量數(shù)據(jù)中應(yīng)用能提高信息利用率和檢索效率,具有十分重要的研究意義。

    圖1 商品的文本視頻模態(tài)信息(來(lái)源:https://zhongpai.jd.com)Fig.1 Text-video modal information for commodity

    由于不同特征空間的數(shù)據(jù)存在語(yǔ)義理解的差距,各個(gè)模態(tài)的數(shù)據(jù)具有多樣性[12],如何減小語(yǔ)義差距并保留數(shù)據(jù)的有效對(duì)比特征是跨模態(tài)檢索的關(guān)鍵問(wèn)題。目前,跨模態(tài)檢索實(shí)現(xiàn)[13]的主要思路是:利用表示同一語(yǔ)義的異構(gòu)數(shù)據(jù)構(gòu)建不同模態(tài)間的對(duì)應(yīng)關(guān)系,構(gòu)建數(shù)學(xué)模型并進(jìn)行優(yōu)化求解,然后對(duì)各個(gè)模態(tài)的數(shù)據(jù)進(jìn)行相似性對(duì)比,從而檢索到同一語(yǔ)義的不同模態(tài)信息。研究者主要采用不同的建模方法和相似性對(duì)比方法解決問(wèn)題。本文系統(tǒng)整理了現(xiàn)有的跨模態(tài)檢索技術(shù),對(duì)不同的跨模態(tài)相關(guān)技術(shù)研究概括分析。首先對(duì)跨模態(tài)檢索研究進(jìn)行簡(jiǎn)要概述;然后按照數(shù)據(jù)編碼類(lèi)型分為實(shí)值表示和二進(jìn)制表示,再根據(jù)技術(shù)不同分為:基于子空間學(xué)習(xí)、基于主題統(tǒng)計(jì)模型、基于深度學(xué)習(xí)、基于傳統(tǒng)哈希和基于深度哈希五種方法,并進(jìn)行分析對(duì)比各類(lèi)技術(shù)的特點(diǎn);也為相關(guān)研究人員評(píng)估各類(lèi)方法整理了最新的多模態(tài)相關(guān)數(shù)據(jù)集;最后總結(jié)了跨模態(tài)領(lǐng)域研究遇到的挑戰(zhàn)并指出未來(lái)的研究方向。

    跨模態(tài)研究開(kāi)展以來(lái),其他研究者們也曾提供了各種分析思路:Chen等人[14]主要對(duì)圖像和文本兩種模態(tài)和基于深度學(xué)習(xí)的方法進(jìn)行綜述。陳寧等人[15]圍繞公共子空間建模技術(shù)進(jìn)行了分類(lèi)及詳細(xì)介紹,具體分為基于傳統(tǒng)統(tǒng)計(jì)分析、基于深度學(xué)習(xí)和基于哈希學(xué)習(xí)三類(lèi)技術(shù)。上述綜述研究針對(duì)跨模態(tài)檢索工作做了較好的總結(jié)和探討,圍繞不同的主要研究方法展開(kāi)調(diào)研,而本研究的創(chuàng)新點(diǎn)可以概括為以下三個(gè)方面:(1)全面整理已有的研究工作,將以圖像文本為主流的模態(tài)擴(kuò)展到其他更多模態(tài)的文獻(xiàn)研究;(2)在前人基礎(chǔ)上分析實(shí)值和二進(jìn)制兩種表示下的跨模態(tài)檢索技術(shù),包含以建模技術(shù)和相似性對(duì)比為主線的最新相關(guān)文獻(xiàn)研究;(3)總結(jié)最新的多模態(tài)數(shù)據(jù)集和面臨的挑戰(zhàn),為相關(guān)的研究提供參考資料并為工程人員指出研究方向。

    1 跨模態(tài)檢索研究概述

    本章首先對(duì)跨模態(tài)檢索問(wèn)題進(jìn)行定義,然后采用文獻(xiàn)分析工具對(duì)跨模態(tài)檢索領(lǐng)域的相關(guān)文獻(xiàn)進(jìn)行分析并總結(jié)概括研究現(xiàn)狀。

    跨模態(tài)檢索問(wèn)題主要圍繞不同模態(tài)間的語(yǔ)義如何減小相似度差距,增大非相似度差距進(jìn)行研究。用數(shù)學(xué)公式表示跨模態(tài)檢索問(wèn)題的定義可使其更加清晰,問(wèn)題符號(hào)定義如表1所示。假設(shè)以X與Y表示文本和圖像兩種模態(tài),其數(shù)據(jù)集定義為公式(1),包含該模態(tài)下n個(gè)數(shù)量的特征向量。由于不同模態(tài)之間數(shù)據(jù)無(wú)法直接比較,需要定義兩個(gè)模態(tài)X與Y的轉(zhuǎn)換函數(shù)如公式(2);數(shù)據(jù)轉(zhuǎn)換成相互對(duì)應(yīng)的特征值后,將不同特征值的數(shù)據(jù)放在同一個(gè)空間Z;最后利用相似度函數(shù)計(jì)算特征數(shù)據(jù)之間相似度,例如X模態(tài)的數(shù)據(jù)映射到公共空間Z,相似度函數(shù)計(jì)算如公式(3)。

    表1 問(wèn)題符號(hào)定義Table 1 Question symbol definition

    研究者們當(dāng)前解決跨模態(tài)檢索問(wèn)題有著各種各樣的技術(shù)方案。早期研究中主要是通過(guò)建立模型表示數(shù)據(jù)的對(duì)應(yīng)關(guān)系。2003年Jeon等人[16]提出了跨媒體關(guān)聯(lián)模型(cross-media relevance models,CMRM)。它實(shí)際上利用圖像自動(dòng)注釋來(lái)檢索圖像的方法,也屬于檢索內(nèi)容直接關(guān)聯(lián)的跨模態(tài)檢索。2008年張鴻等人[17]提出跨模態(tài)關(guān)聯(lián)圖的概念,將不同模態(tài)的關(guān)系用關(guān)聯(lián)圖的概念表示,這種方法后來(lái)也被稱為圖正則化的方法。近年來(lái),國(guó)內(nèi)外跨模態(tài)檢索發(fā)表文獻(xiàn)數(shù)量逐年遞增,這表明越來(lái)越多的研究人員開(kāi)始關(guān)注這一領(lǐng)域。

    本研究重點(diǎn)對(duì)近五年的研究成果進(jìn)行分析,采用Citespace軟件工具對(duì)跨模態(tài)領(lǐng)域的研究熱點(diǎn)進(jìn)行可視化的系統(tǒng)分析。對(duì)該領(lǐng)域近5年發(fā)表數(shù)量較多的中英文文獻(xiàn)高頻關(guān)鍵詞進(jìn)行聚類(lèi)分析如圖2所示,總結(jié)分析了以下幾點(diǎn):(1)哈希二進(jìn)制編碼出現(xiàn)頻率排名第一,表明哈希編碼用于檢索的方法是目前研究熱點(diǎn);(2)利用深度學(xué)習(xí)嵌入空間進(jìn)行檢索的方法取得了顯著進(jìn)展;(3)聯(lián)系上下文內(nèi)容加深對(duì)模態(tài)場(chǎng)景的理解,說(shuō)明基于主題場(chǎng)景分析的方法也占據(jù)了一席之地;(4)跨模態(tài)檢索研究的模態(tài)由圖像文本擴(kuò)展到音頻等更多模態(tài)。

    圖2 近年高頻關(guān)鍵詞聚類(lèi)圖Fig.2 High frequency keyword clustering map in recent years

    通過(guò)文獻(xiàn)調(diào)研與科學(xué)分析,系統(tǒng)梳理現(xiàn)有的重點(diǎn)文獻(xiàn),緊緊結(jié)合研究熱點(diǎn)進(jìn)行歸納分類(lèi)。本研究按照數(shù)據(jù)表示編碼方式將跨模態(tài)檢索技術(shù)分為實(shí)值表示與二進(jìn)制表示兩類(lèi),跨模態(tài)檢索技術(shù)分類(lèi)如圖3所示。

    圖3 跨模態(tài)檢索技術(shù)分類(lèi)Fig.3 Classification of cross-modal retrieval techniques

    2 跨模態(tài)檢索技術(shù)分析

    本章對(duì)跨模態(tài)檢索技術(shù)進(jìn)行分類(lèi)及詳細(xì)介紹,其中實(shí)值表示學(xué)習(xí)中各種模態(tài)特征的共同表示都是沒(méi)有經(jīng)過(guò)哈希轉(zhuǎn)換的值,具有相對(duì)方便的優(yōu)點(diǎn)。二進(jìn)制表示學(xué)習(xí)中各種模態(tài)特征表示為二進(jìn)制,與實(shí)值表示相比具有存儲(chǔ)空間小、易于計(jì)算的優(yōu)點(diǎn),但二進(jìn)制碼可能會(huì)產(chǎn)生信息丟失的問(wèn)題,檢索精度相對(duì)較低。

    2.1 實(shí)值表示

    在實(shí)值表示學(xué)習(xí)中,為了解決不同模態(tài)數(shù)據(jù)無(wú)法直接比較的問(wèn)題,本文主要將其分為三種方法:基于子空間學(xué)習(xí)的方法、基于主題統(tǒng)計(jì)模型的方法和基于深度學(xué)習(xí)方法。

    2.1.1 基于子空間學(xué)習(xí)的方法

    子空間學(xué)習(xí)法是跨模態(tài)檢索中一種直觀的方法,圖4以狗的檢索特征為例,說(shuō)明了子空間特征學(xué)習(xí)框架圖。該方法從不同模態(tài)提取特征中后,利用一個(gè)公共的子空間將不同模態(tài)數(shù)據(jù)映射到同一空間,從而進(jìn)行相似性度量。本小節(jié)介紹特征映射到公共子空間時(shí)所采用的不同算法,分為典型相關(guān)分析(canonical correlation analysis,CCA)及其相關(guān)方法、語(yǔ)義標(biāo)簽方法和其他方法三類(lèi)。

    圖4 子空間特征學(xué)習(xí)框架Fig.4 Subspace feature learning framework

    最經(jīng)典的是Rasiwasia等人[18]提出的CCA算法,它根據(jù)空間向量關(guān)系模型計(jì)算子空間距離以解決線性問(wèn)題。但它是一對(duì)一的兩層模型,沒(méi)有利用類(lèi)信息,也找不到原變量之間的直接映射關(guān)系,不適用于學(xué)習(xí)非線性特征。為了適用于學(xué)習(xí)非線性特征,Hwang等人[19]提出核典型相關(guān)分析方法(kernel canonical correlation analysis,KCCA),它可以表示更復(fù)雜的相關(guān)性,提高算法性能,但它訓(xùn)練速度慢,測(cè)試時(shí)要求成對(duì)數(shù)據(jù)且需要提前存儲(chǔ)訓(xùn)練集。為解除所有數(shù)據(jù)必須成對(duì)的要求,Rasiwasia等人提出基于聚類(lèi)[20](Cluster-CCA)的方法,但是它應(yīng)用于大型數(shù)據(jù)集時(shí)計(jì)算量比較大,處理效率低,后續(xù)可結(jié)合深度學(xué)習(xí)方法不斷改進(jìn)。為了得到更高級(jí)的語(yǔ)義信息,Shao等人[21]提出融合線性投影和非線性隱藏層的雙向訓(xùn)練的ICCA(Improved-CCA),改善了控制傳統(tǒng)雙視圖的CCA,使得在有類(lèi)似原始數(shù)據(jù)輸入時(shí)也有精細(xì)輸出。為了同時(shí)保證檢索效率和精度,Shu等人對(duì)ml-CCA[22]方法做出改進(jìn),提出可擴(kuò)展多標(biāo)簽典型相關(guān)分析[23](scalable multi-label-CCA)方法,不僅可以學(xué)習(xí)共同語(yǔ)義之間的相關(guān)性,還可以同時(shí)學(xué)習(xí)特征相關(guān)性以提高跨模態(tài)檢索精度。

    除CCA外還有其他的方法,Tenenbaum等人[24]提出雙線性模型(bilinear model,BLM)方法,它具有廣泛的適用性但不能準(zhǔn)確描述內(nèi)在幾何關(guān)系或物理現(xiàn)象。Chen等人[25]提出偏最小二乘法(partial least squares,PLS),這種數(shù)學(xué)計(jì)算的回歸分析模型需要很大的計(jì)算量。后來(lái)這兩種方法研究得較少,另外一種重要的方法叫語(yǔ)義標(biāo)簽法。Pereira等人[26]針對(duì)跨模態(tài)圖像文本檢索問(wèn)題提出三種匹配方法:其中CM是一種基于無(wú)監(jiān)督的跨模態(tài)關(guān)聯(lián)建模方法,SM是一種依賴于語(yǔ)義表示的監(jiān)督方法,而語(yǔ)義相關(guān)匹配(semantic correlation matching,SCM)則綜合了它們的優(yōu)點(diǎn),同時(shí)考慮了相關(guān)特征向量與語(yǔ)義空間以改善檢索效果。2020年Xu等人[27]提出基于半監(jiān)督圖正則化的語(yǔ)義一致性跨模態(tài)檢索方法(semantic consistency cross-modal retrieval,SCCMR),它將標(biāo)簽的預(yù)測(cè)和投影矩陣的優(yōu)化整合到統(tǒng)一的框架中,可以確保得到全局最優(yōu)解。Zhang等人[28]提出廣義半監(jiān)督結(jié)構(gòu)化子空間學(xué)習(xí)方法(generalized semi-supervised structured subspace learning,GSS-SL),主要利用標(biāo)簽空間作為鏈接對(duì)無(wú)標(biāo)簽信息進(jìn)行預(yù)測(cè)補(bǔ)充,從而保證檢索的準(zhǔn)確度。Xu等人[29]提出共享子空間分離方法(private-shared subspaces separation,P3S),可排除不相關(guān)的背景圖像或文本中的錯(cuò)句以提高標(biāo)簽的質(zhì)量,使得子空間學(xué)習(xí)可獲得更有效的公共表示。

    在子空間學(xué)習(xí)方法中,CCA及其改進(jìn)方法是最基礎(chǔ)的方法,現(xiàn)在常常被用作對(duì)比實(shí)驗(yàn)方法。它是將不同模態(tài)的特征映射到特征空間,建立投影矩陣從而直接度量特征相似度,但該方法需要找到對(duì)應(yīng)的特征關(guān)系,會(huì)有特征分辨力不足的問(wèn)題,需要結(jié)合深度學(xué)習(xí)等技術(shù)進(jìn)行改善。另一種語(yǔ)義標(biāo)簽的方法主要是通過(guò)補(bǔ)充預(yù)測(cè)處理標(biāo)簽,完善不同模態(tài)之間的信息相關(guān)性,提高同類(lèi)不同模態(tài)間的信息不相關(guān)性。標(biāo)簽信息越豐富它們的分辨力就會(huì)越強(qiáng)大,只是標(biāo)簽的大量補(bǔ)充是一個(gè)費(fèi)時(shí)費(fèi)力的工作,因此標(biāo)簽的補(bǔ)充預(yù)測(cè)會(huì)是未來(lái)研究的難點(diǎn)。

    2.1.2 基于主題統(tǒng)計(jì)模型學(xué)習(xí)的方法

    基于主題統(tǒng)計(jì)模型學(xué)習(xí)是另外一種通過(guò)建模來(lái)實(shí)現(xiàn)跨模態(tài)檢索的方法。主題指的是具有同一特征的抽象空間維度,主題模型是統(tǒng)計(jì)模型學(xué)習(xí)中最重要的一種。該方法利用隱藏的語(yǔ)義空間來(lái)發(fā)現(xiàn)數(shù)據(jù)中出現(xiàn)的抽象空間維度。將這些特征映射到一個(gè)公共語(yǔ)義空間來(lái)統(tǒng)計(jì)相關(guān)性,用于在一種模態(tài)中查找結(jié)果的條件概率,同時(shí)在另一種模態(tài)中查詢結(jié)果。主題模型的核心就是可以用公式(4)求解X和Y兩模態(tài)的主題聯(lián)合分布概率。

    最初的主題模型方法是將隱狄利克雷分配(linear discriminant analysis,LDA)應(yīng)用于多模態(tài)的聯(lián)合分布模型[30]。Wang等人[31]提出有監(jiān)督的多模態(tài)相互主題強(qiáng)化建模技術(shù)(multi-modal mutual topic reinforcement modeling,M3R),利用一個(gè)聯(lián)合跨模態(tài)概率圖形模型,對(duì)各模態(tài)數(shù)據(jù)相關(guān)性進(jìn)行分析,從而找到相同語(yǔ)義主題。Wu等人[32]提出具有主題約束的區(qū)域強(qiáng)化網(wǎng)絡(luò)模型(region reinforcement network with topic constraint,RRTC)來(lái)概括圖像的中心主題,從而約束原始圖像的偏差,然后考慮區(qū)域間關(guān)系和重新分配區(qū)域詞的相似性來(lái)推斷圖像和文本細(xì)粒度的對(duì)應(yīng)關(guān)系。該方法彌補(bǔ)了主題概率法檢索不夠準(zhǔn)確的缺點(diǎn)。

    除了主題統(tǒng)計(jì)模型外,統(tǒng)計(jì)模型還包括馬爾可夫模型、馬爾可夫隨機(jī)場(chǎng)等。Jia等人[33]提出多模態(tài)文檔隨機(jī)場(chǎng)(Markov random field,MRF),通過(guò)定義馬爾可夫隨機(jī)變量之間的相似性對(duì)文本進(jìn)行建模,找到內(nèi)容相關(guān)概率,最終確定最接近的檢索結(jié)果。為了避免出現(xiàn)主題沖突的情況,Wu等人[34]提出一種跨模態(tài)在線低秩相似函數(shù)學(xué)習(xí)法(cross-modal online low-rank similarity,CMOLRS)。通過(guò)訓(xùn)練數(shù)據(jù)三元組的相對(duì)相似性對(duì)跨模態(tài)關(guān)系進(jìn)行建模,并將相對(duì)關(guān)系表述為凸鉸鏈損失,利用多級(jí)語(yǔ)義相關(guān)性減小了跨模態(tài)數(shù)據(jù)之間的內(nèi)容分歧,保證檢索結(jié)果可靠性。

    基于主題統(tǒng)計(jì)模型學(xué)習(xí)的方法能夠保留它特有的主題特征,保證檢索內(nèi)容上最大的概率相關(guān)性,而且有可能發(fā)現(xiàn)有意義的潛在新情景。相較于子空間學(xué)習(xí)方法,基于概率的聯(lián)合特征學(xué)習(xí)可以消除原始空間中的冗余和噪聲問(wèn)題,從而得到更完整、客觀的描述。概率估計(jì)的方法雖然對(duì)于一些整體主題的判別有著不錯(cuò)的效果,但是它的準(zhǔn)確度可能會(huì)不理想,而且該方法對(duì)存儲(chǔ)空間要求較大,處理龐大的數(shù)據(jù)要付出昂貴的計(jì)算成本。

    2.1.3 基于深度學(xué)習(xí)的方法

    上述兩種方法主要考慮的是模態(tài)之間的建模方法,從而得到特征的有效映射。然而深度學(xué)習(xí)網(wǎng)絡(luò)主要考慮的是對(duì)有效特征的提取,并加入一些新的訓(xùn)練機(jī)制,提高模態(tài)間的不相關(guān)性和模態(tài)內(nèi)的相關(guān)性,再進(jìn)行相似性對(duì)比。對(duì)于提高高階語(yǔ)義的相關(guān)性,深度學(xué)習(xí)的跨模態(tài)檢索方法能夠處理更為龐大的真實(shí)數(shù)據(jù)集,得到了廣泛的應(yīng)用。本小節(jié)介紹了具有代表性的深度網(wǎng)絡(luò)模型與相關(guān)算法、對(duì)抗性學(xué)習(xí)合成特征方法、知識(shí)遷移學(xué)習(xí)方法和多模態(tài)通用的跨模態(tài)檢索的方法。

    從深度學(xué)習(xí)所采用神經(jīng)網(wǎng)絡(luò)模型與相關(guān)算法的不同總結(jié)出以下幾種代表類(lèi)方法。Xia等人[35]提出基于深度學(xué)習(xí)的深度典型相關(guān)分析方法(deep-CCA)訓(xùn)練大規(guī)模數(shù)據(jù),先求出兩個(gè)具有最大相關(guān)性視圖的投影向量,再通過(guò)多層堆疊的非線性變換來(lái)計(jì)算相似度,其效果明顯優(yōu)于CCA方法。Feng等人[36]提出對(duì)應(yīng)自動(dòng)編碼器模型(correspondence autoencoder,Corr AE),關(guān)聯(lián)兩個(gè)相互對(duì)應(yīng)的單峰自動(dòng)編碼器來(lái)表示隱藏信息。隨后他又提出通信受限玻爾茲曼機(jī)[37],通過(guò)不同模態(tài)學(xué)習(xí)自編碼表示并最小化模態(tài)間相關(guān)學(xué)習(xí)誤差,不斷訓(xùn)練使得模型不斷優(yōu)化。經(jīng)實(shí)驗(yàn)驗(yàn)證,這種兩兩對(duì)應(yīng)的方法能夠發(fā)現(xiàn)新的屬性,對(duì)于跨模態(tài)檢索研究有著較大促進(jìn)作用。Jiang等人[38]基于相似度理論對(duì)圖文進(jìn)行檢索,使用局部二值模式(local binary pattern,LBP)作為圖像描述符,深度信念網(wǎng)絡(luò)(deep belief network,DBN)作為深度學(xué)習(xí)算法。該方法為跨模態(tài)檢索提供了新思路,但由于理論分析的難度較大,該方法較難實(shí)際應(yīng)用。還有一種圖卷積神經(jīng)網(wǎng)絡(luò),可同時(shí)學(xué)習(xí)各個(gè)節(jié)點(diǎn)的特征與結(jié)構(gòu)信息,比卷積神經(jīng)網(wǎng)絡(luò)適應(yīng)性更廣。Dong等人[39]提出基于圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN),利用樣本與其鄰域之間的鄰接關(guān)系重構(gòu)樣本表示并基于局部圖重構(gòu)節(jié)點(diǎn)特征,將兩種模態(tài)的特征映射到公共空間中,從而獲取隱藏的高級(jí)語(yǔ)義信息并增強(qiáng)具有相同語(yǔ)義的樣本相似信息。但圖卷積網(wǎng)絡(luò)計(jì)算量比較大,難以處理新加入節(jié)點(diǎn)信息,這些問(wèn)題還有待解決。

    對(duì)抗性學(xué)習(xí)方法有著強(qiáng)大的區(qū)分能力,能夠很好地彌補(bǔ)異質(zhì)差距以提高跨模態(tài)檢索效率,是深度學(xué)習(xí)中重要的方法之一。Peng等人[40]提出跨模態(tài)生成對(duì)抗網(wǎng)絡(luò)(cross-modal generative adversarial networks,CM-GAN),使用兩對(duì)生成器和鑒別器共同工作對(duì)模態(tài)內(nèi)和模態(tài)間進(jìn)行判別,最終生成具有高分辨性的通用表示。然而CM-GAN方法傾向于全局特征的描述,為此Kou等人[41]提出結(jié)合對(duì)象注意和對(duì)抗性學(xué)習(xí)的方法。其中對(duì)象注意模型用來(lái)生成高質(zhì)量的圖像文本特征,反映更為豐富的語(yǔ)義,再加上生成對(duì)抗網(wǎng)絡(luò)用來(lái)生成高質(zhì)量的特征,使得檢索效果有所改善。Shi等人[42]基于互補(bǔ)注意機(jī)制的特征提取來(lái)提高語(yǔ)義表示相關(guān)性,并在對(duì)抗式學(xué)習(xí)框架中訓(xùn)練公共特征映射和模態(tài)分類(lèi),獲得了通用語(yǔ)義表示以減小模態(tài)間語(yǔ)義差距,其效果優(yōu)于傳統(tǒng)的深度學(xué)習(xí)算法。CM-GAN方法在各個(gè)模態(tài)生成特征時(shí)具有不穩(wěn)定性,可能會(huì)有錯(cuò)誤的數(shù)據(jù)影響檢索效果。為此Xu等人[43]提出聯(lián)合特征合成與嵌入方法(joint feature synthesis and embedding,JFSE),采用了兩個(gè)改進(jìn)的耦合GAN用于多模態(tài)特征合成,并將類(lèi)嵌入作為特征級(jí)跨模態(tài)數(shù)據(jù)合成的輔助信息,有效地關(guān)聯(lián)每個(gè)模態(tài)的特征合成。

    遷移學(xué)習(xí)是深度學(xué)習(xí)中的一種重要方法,常常會(huì)與對(duì)抗學(xué)習(xí)結(jié)合來(lái)解決跨模態(tài)檢索中的未知類(lèi)問(wèn)題。Huang等人[44]提出端到端兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的跨模態(tài)對(duì)抗混合傳輸網(wǎng)絡(luò)(modal-adversarial hybrid transfer network,MHTN),一端利用遷移學(xué)習(xí)將相關(guān)表示從單模態(tài)源域遷移到多模態(tài)目標(biāo)域;另一端在公共表示空間構(gòu)建對(duì)抗訓(xùn)練機(jī)制進(jìn)行語(yǔ)義學(xué)習(xí),實(shí)現(xiàn)了多模態(tài)數(shù)據(jù)的有效檢索。為了保留原始數(shù)據(jù)的潛在結(jié)構(gòu)以獲取更好的檢索效果,Zhen等人[45]提出深度多模態(tài)遷移學(xué)習(xí)方法(deep multimodal transfer learning,DMTL),由兩個(gè)多模態(tài)特定的神經(jīng)網(wǎng)絡(luò)和一個(gè)聯(lián)合學(xué)習(xí)模塊組成,并采用映射到公共子空間的思想實(shí)現(xiàn)跨模態(tài)檢索。遷移學(xué)習(xí)方法從先前標(biāo)記的類(lèi)別源域中遷移知識(shí),可以提高未標(biāo)記的新類(lèi)別目標(biāo)域的檢索性能,然而不能有效處理新增加的模態(tài),需要重復(fù)地訓(xùn)練數(shù)據(jù)。

    由于跨模態(tài)檢索的模態(tài)不斷增加,固定模態(tài)如圖像文本模態(tài)的研究并不能完全應(yīng)用于其他模態(tài),總需要重復(fù)訓(xùn)練或重新設(shè)計(jì)網(wǎng)絡(luò)模型,無(wú)用工作較多且設(shè)計(jì)復(fù)雜,因此學(xué)者提出通用的跨模態(tài)檢索方法。Cao等人[46]提出混合表示學(xué)習(xí)(hybrid representation learning,HRL),由堆疊受限玻爾茲曼機(jī)(SRBM)提取每種模態(tài)表示,多模態(tài)深度信念網(wǎng)絡(luò)(DBN)提取模態(tài)互表示,以及使用包含聯(lián)合自動(dòng)編碼器和三層前饋神經(jīng)網(wǎng)絡(luò)的雙層網(wǎng)絡(luò)。該方法通過(guò)多模態(tài)推斷圖像的缺失信息以挖掘潛在圖像表示,而且采用堆疊雙峰自動(dòng)編碼器可以獲得多種模態(tài)的最終共享表示。Hu等人[47]提出可擴(kuò)展的深度多模態(tài)學(xué)習(xí)(scalable deep multi-modal learning,SDML)檢索方法,在預(yù)定義公共子空間分別為n個(gè)模態(tài)訓(xùn)練獲得n個(gè)網(wǎng)絡(luò),這是第一個(gè)提出將多模態(tài)數(shù)據(jù)分別投影到預(yù)定義的公共子空間的技術(shù)。

    綜上所述,深度學(xué)習(xí)方法已經(jīng)是大數(shù)據(jù)時(shí)代跨模態(tài)檢索的重要方法,在信息數(shù)量越多時(shí)檢索效果越好,且適用于圖像文本等更多模態(tài)的檢索。隨著深度學(xué)習(xí)網(wǎng)絡(luò)模型的不斷改進(jìn)并與其他建模方法結(jié)合,能不斷地優(yōu)化處理多模態(tài)數(shù)據(jù)和特征提取問(wèn)題。對(duì)抗遷移學(xué)習(xí)方法可以檢索未知類(lèi)數(shù)據(jù),尤其是使用對(duì)抗學(xué)習(xí)可以生成相關(guān)特征以提高分辨能力,而且沒(méi)有對(duì)于模態(tài)的限制。另外,通用多模態(tài)表示技術(shù)如混合表示、多層表示的方法,能夠綜合不同技術(shù)的特點(diǎn),只要設(shè)計(jì)好合理的網(wǎng)絡(luò)結(jié)構(gòu),就能在多種模態(tài)應(yīng)用中取得很好的效果。本文認(rèn)為,在未來(lái)研究中可以將深度學(xué)習(xí)的思想與各種建模方法融合,也可以利用GAN及其改進(jìn)方法生成多模態(tài)特征以減小語(yǔ)義差距,還可以設(shè)計(jì)混合的多模態(tài)學(xué)習(xí)框架以適應(yīng)多種模態(tài)的跨模態(tài)檢索。

    2.1.4 實(shí)值表示技術(shù)總結(jié)分析

    實(shí)值表示方式可以包含不同的數(shù)據(jù)類(lèi)型,能夠保留原始數(shù)據(jù)且滿足多種模態(tài)的檢索需求,但它需要大量的存儲(chǔ)空間,不能滿足高效的檢索要求。其中子空間模型與主題統(tǒng)計(jì)模型都是為實(shí)現(xiàn)跨模態(tài)檢索提供一個(gè)數(shù)據(jù)比較的模型,基于深度學(xué)習(xí)的方法是提供一種特征提取的有效手段。本研究選取了幾種實(shí)值表示技術(shù),比較它們?cè)赪ikipedia數(shù)據(jù)集上應(yīng)用的MAP值。如表2所示,可以看出P3S在基于子空間學(xué)習(xí)的方法中效果最好,CMOLRS在基于主題概率模型的方法中效果最好,DMTL方法的MAP值遠(yuǎn)高于其他方法。

    表2 實(shí)值表示方法數(shù)據(jù)集及評(píng)價(jià)指標(biāo)對(duì)比Table 2 Comparison of real value representation method datasets and evaluation indexes

    實(shí)值表示方法還可以在檢索精度和效率、多模態(tài)的相互表示上進(jìn)一步優(yōu)化。對(duì)于檢索精度的提升,上面提到了補(bǔ)充語(yǔ)義標(biāo)簽等方法;對(duì)于檢索效率的提高,融合神經(jīng)網(wǎng)絡(luò)模型與聯(lián)合學(xué)習(xí)的機(jī)制是可行的,該方法所呈現(xiàn)的檢索效果往往優(yōu)于單一模型的檢索機(jī)制,不過(guò)融合模型太多會(huì)將簡(jiǎn)單問(wèn)題復(fù)雜化,在實(shí)際應(yīng)用中需要衡量實(shí)用價(jià)值選擇適合的方法。

    2.2 二進(jìn)制表示

    不同于實(shí)值表示的數(shù)據(jù)直接表示,二進(jìn)制表示將數(shù)據(jù)轉(zhuǎn)換成另一種更短的存儲(chǔ)方式,能夠降低存儲(chǔ)成本。利用哈希算法學(xué)習(xí)轉(zhuǎn)換數(shù)據(jù)可以提高檢索效率,跨模態(tài)哈希有二進(jìn)制碼和哈希函數(shù)兩大重點(diǎn)內(nèi)容??缒B(tài)哈希函數(shù)通常是在目標(biāo)函數(shù)中使用額外的二進(jìn)制約束,并利用迭代量化或離散優(yōu)化算法來(lái)學(xué)習(xí)二進(jìn)制代碼。本節(jié)按照二進(jìn)制實(shí)現(xiàn)算法分為基于傳統(tǒng)哈希的方法和基于深度哈希的方法。傳統(tǒng)的哈希算法是針對(duì)任意長(zhǎng)度的二進(jìn)制值,映射為較短的固定長(zhǎng)度的二進(jìn)制值以節(jié)省存儲(chǔ)空間。深度的哈希算法不再限制二進(jìn)制碼的長(zhǎng)度,只要滿足在一定范圍就可進(jìn)行計(jì)算。

    2.2.1 基于傳統(tǒng)哈希的方法

    傳統(tǒng)的哈希算法本質(zhì)上是近似最近鄰搜索的優(yōu)化問(wèn)題,求解哈希函數(shù)最優(yōu)解以更好地實(shí)現(xiàn)模態(tài)的相關(guān)表示。大部分哈希函數(shù)學(xué)習(xí)分為降維和量化兩個(gè)階段:降維是將信息從原始空間映射到低維空間表示,量化是將實(shí)際特征線性或非線性轉(zhuǎn)換為二進(jìn)制的特征空間。

    Yu等人[48]通過(guò)結(jié)合圖正則化學(xué)習(xí)哈希函數(shù)的無(wú)監(jiān)督級(jí)聯(lián)哈希技術(shù)(unsupervised concatenation hash,UCH)進(jìn)行降維,將原始特征投影到哈希碼中建模求解,該方法的MAP值遠(yuǎn)高于CCA等傳統(tǒng)的方法。Yu等人[49]之后又提出利用多個(gè)視圖之間的互補(bǔ)信息來(lái)更好地學(xué)習(xí)哈希碼的學(xué)習(xí)框架(multi-view hash,MVH),為3D模型的跨模態(tài)檢索提供一種新思路。Shen等人[50]提出采用語(yǔ)義標(biāo)簽關(guān)系來(lái)縮小模態(tài)差距的跨模態(tài)哈希監(jiān)督子空間關(guān)系學(xué)習(xí)技術(shù)(subspace relation learning for cross-modal hash,SRLCH),將兩種模態(tài)的語(yǔ)義標(biāo)簽映射到具有變換矩陣的子空間來(lái)減小相似度計(jì)算距離。Liu等人[51]提出矩陣三因子分解哈希框架(matrix trifactorization hash,MTFH),首次采用不同的哈希長(zhǎng)度對(duì)異構(gòu)數(shù)據(jù)進(jìn)行編碼的方法,能在不完全成對(duì)關(guān)系的多模態(tài)數(shù)據(jù)以及任意的哈希長(zhǎng)度編碼的場(chǎng)景下工作。它利用哈希函數(shù)學(xué)習(xí)特定于模態(tài)的哈希碼,同時(shí)學(xué)習(xí)兩個(gè)語(yǔ)義相關(guān)矩陣,以便對(duì)異構(gòu)數(shù)據(jù)的不同哈希表示進(jìn)行語(yǔ)義關(guān)聯(lián),提升了檢索效果。

    傳統(tǒng)哈希方法往往會(huì)放松離散約束,導(dǎo)致相對(duì)較高的計(jì)算成本和量化損失,故研究者們提出了各種離散優(yōu)化的方法。Zheng等人[52]提出快速離散協(xié)作多模態(tài)哈希方法(fast discrete collaborative multi-modal hash,F(xiàn)DCMH)同時(shí)具有高效計(jì)算和存儲(chǔ)的性能。首先采用高效的協(xié)作多模態(tài)映射模塊,保證多模態(tài)特征的互補(bǔ)性和語(yǔ)義相關(guān)性,此外還有一個(gè)非對(duì)稱哈希學(xué)習(xí)模塊,在公共潛在空間和哈希碼之間建立連接,將更多的標(biāo)簽信息嵌入到二進(jìn)制代碼中以增強(qiáng)對(duì)語(yǔ)義哈希碼的識(shí)別能力。Wang等人[53]提出有監(jiān)督的跨模態(tài)哈希(scalable asymmetric discrete cross-modal hash,BATCH)方法也采用了非對(duì)稱哈希模塊。和FDCMH的區(qū)別在于:它利用矩陣分解來(lái)學(xué)習(xí)標(biāo)簽和不同模態(tài)的公共潛在空間以便于關(guān)聯(lián)不同模態(tài)二進(jìn)制碼。在離散優(yōu)化模塊,它引入了量化最小化項(xiàng)和正交約束大大減少了量化誤差和冗余。Liu等人[54]提出一種有監(jiān)督的潛在語(yǔ)義增強(qiáng)離散哈希,也是利用矩陣分解獲得不同模態(tài)的個(gè)體潛在語(yǔ)義表示,采用離散優(yōu)化策略以減少量化損失。該方法是目前處理圖像到文本檢索任務(wù)時(shí)準(zhǔn)確性最高的跨模態(tài)哈希方法。

    基于傳統(tǒng)哈希的跨模態(tài)檢索方法依據(jù)樣本的二進(jìn)制編碼,能夠優(yōu)化復(fù)雜計(jì)算和減小存儲(chǔ)空間,已成為目前較為熱門(mén)的方法。但由于哈希算法會(huì)產(chǎn)生量化損失影響信息準(zhǔn)確度,離散優(yōu)化問(wèn)題會(huì)成為未來(lái)研究的關(guān)鍵。本文總結(jié)了提高效率的協(xié)作多模態(tài)映射模塊、提高識(shí)別能力的非對(duì)稱哈希模塊來(lái)減小量化損失,為哈希算法的探索提供了新思路。

    2.2.2 基于深度哈希的方法

    基于深度哈希的方法融合了深度學(xué)習(xí)和哈希算法的優(yōu)點(diǎn),不僅具有強(qiáng)大的特征學(xué)習(xí)能力,其高效的檢索性能遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)哈希算法,近年來(lái)已成為跨模態(tài)檢索研究的熱門(mén)方法。本小節(jié)對(duì)近年來(lái)主要的深度哈希算法進(jìn)行分析,最后對(duì)現(xiàn)有的方法進(jìn)行總結(jié)。

    為提高檢索效率,Cao等人[55]提出深度視覺(jué)語(yǔ)義哈希模型(deep visual semantic hash,DVSH),文中第一次提出端到端網(wǎng)絡(luò)框架,融合了多模態(tài)嵌入和跨模態(tài)哈希。多模態(tài)嵌入的一端是視覺(jué)語(yǔ)義融合網(wǎng)絡(luò),以圖像卷積神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)文本的遞歸神經(jīng)網(wǎng)絡(luò)(long shortterm memory,LSTM)緊密關(guān)聯(lián)組成;另一端是兩個(gè)特定模態(tài)的哈希網(wǎng)絡(luò),用于學(xué)習(xí)特定哈希函數(shù)便于對(duì)未知的數(shù)據(jù)編碼。另外,Deng等人[56]提出基于三元組的深度哈希網(wǎng)絡(luò)(triplet-based deep hash,TDH),使用三元組標(biāo)簽?zāi)莒`活捕捉更高級(jí)的語(yǔ)義信息并容易生成各種約束,再由圖正則化和模態(tài)內(nèi)外間雙重視圖生成三重?fù)p失函數(shù),保持哈希編碼之間原始語(yǔ)義的相似性,從而提升檢索精度。

    基于注意力機(jī)制方法能夠準(zhǔn)確定位到主要信息,減小無(wú)用信息的干擾,在深度哈希方法里廣泛應(yīng)用。Zhang等人[57]提出具有注意力機(jī)制的深度對(duì)抗性哈希(attention-aware deep adversarial hash,AADAH)用于增加內(nèi)容特征相似性的測(cè)量,證明了注意力機(jī)制針對(duì)多媒體的信息片段有強(qiáng)大的識(shí)別能力。吳吉祥等人[58]提出加入多模態(tài)注意力機(jī)制的跨模態(tài)哈希網(wǎng)絡(luò)(hash network based on multi-modal attention mechanism,HX-MAN),將注意力機(jī)制引入到端到端的深度跨模態(tài)哈希技術(shù)[59](deep cross-model hash,DCMH)方法中來(lái)提取不同模態(tài)的關(guān)鍵信息,能夠準(zhǔn)確地檢索圖像和文本模態(tài)的局部細(xì)粒度特征,明顯改善了檢索精度。Wang等人[60]提出自約束和基于注意力的哈希網(wǎng)絡(luò)(selfconstraining and attention-based hash,SCAHN),將早期和后期的標(biāo)簽約束及其融合特征集成到哈希表示和哈希函數(shù)學(xué)習(xí)中,提升了跨模態(tài)檢索的精度。

    離散優(yōu)化是解決深度哈希和傳統(tǒng)哈希中量化損失問(wèn)題的有效方法。Xu等人[61]首先提出離散跨模態(tài)哈希(discrete cross-modal hash,DCH),它學(xué)習(xí)特定模態(tài)的哈希函數(shù)以生成統(tǒng)一的二進(jìn)制代碼,然后采用離散約束求二進(jìn)制解。之后他又提出離散潛在語(yǔ)義哈希[62](discrete latent semantic hash,DLSH),使用離散優(yōu)化算法直接學(xué)習(xí)二進(jìn)制碼,再次減小量化損失。為了解決同時(shí)學(xué)習(xí)二進(jìn)制代碼和哈希函數(shù)優(yōu)化的復(fù)雜性問(wèn)題,Zhang等人[63]提出了一種兩階段監(jiān)督離散哈希(two-stage supervised discrete hash,TSDH)方法。它將各模態(tài)生成潛在標(biāo)簽后直接學(xué)習(xí)哈希函數(shù),以增強(qiáng)二進(jìn)制碼的可辨別性,分為兩階段處理可以更快進(jìn)行優(yōu)化從而提升檢索效率。

    零樣本的跨模態(tài)檢索具備可擴(kuò)展性,它可以檢索出不同模態(tài)的新類(lèi)且不需要每次對(duì)新類(lèi)重復(fù)訓(xùn)練。Liu等人[64]提出跨模態(tài)零樣本哈希方法(cross-modal zeroshot hash,CZSH),零樣本哈希學(xué)習(xí)使用類(lèi)別屬性來(lái)尋找語(yǔ)義嵌入空間,使用已知類(lèi)中的樣本訓(xùn)練的哈希模型對(duì)未知類(lèi)的樣本進(jìn)行擴(kuò)展,然而要在大量標(biāo)記數(shù)據(jù)的情況下才會(huì)有好的檢索效果。Xu等人[65]提出具有自我監(jiān)督的三元對(duì)抗網(wǎng)絡(luò)(ternary adversarial networks with self-supervision,TANSS)。它由兩個(gè)特定模態(tài)形成端到端的網(wǎng)絡(luò)結(jié)構(gòu),分別是兩個(gè)語(yǔ)義學(xué)習(xí)子網(wǎng)絡(luò)和自監(jiān)督語(yǔ)義學(xué)習(xí)子網(wǎng)絡(luò),并在整個(gè)網(wǎng)絡(luò)上應(yīng)用對(duì)抗式學(xué)習(xí)。與之前語(yǔ)義標(biāo)簽方法不同,該方法提出新的自監(jiān)督機(jī)制學(xué)習(xí)新類(lèi)標(biāo)簽,有助于有效地迭代參數(shù)優(yōu)化。

    另外,跨模態(tài)深度哈希學(xué)習(xí)中還有些其他的方法。Zhang等人[66]提出混合跨模態(tài)相似性學(xué)習(xí)模型(hybrid cross-modal similarity learning,HCMSL),首先從標(biāo)記和未標(biāo)記的跨模態(tài)對(duì)中捕獲足夠的語(yǔ)義信息,在具有相同分類(lèi)標(biāo)簽的模態(tài)內(nèi)配對(duì);然后將兩個(gè)連體CNN模型用于相同模態(tài)的樣本中學(xué)習(xí)模態(tài)內(nèi)相似性。該方法可以融合模態(tài)內(nèi)外相似性,從而減小模態(tài)差距。Li等人[67]提出多層表示學(xué)習(xí)方法(multi-level similarity learning,MLSL),首先采用多標(biāo)簽卷積神經(jīng)網(wǎng)絡(luò)框架對(duì)語(yǔ)義層信息進(jìn)行編碼,再應(yīng)用圖形匹配建模結(jié)構(gòu)層對(duì)應(yīng)關(guān)系,最后結(jié)合上下文對(duì)應(yīng)不同模態(tài)細(xì)節(jié)并采用三元組損失來(lái)減少跨模態(tài)差異,最終改善圖像文本檢索任務(wù)。Li等人[68]提出圖像文本雙向?qū)W習(xí)網(wǎng)絡(luò)(bidirectional learning network,BLN),用一種多層監(jiān)督網(wǎng)絡(luò)來(lái)學(xué)習(xí)生成表示的跨模態(tài)相關(guān)性,其雙向?qū)W習(xí)中的雙向交叉損失函數(shù)能有效減少高級(jí)語(yǔ)義信息的丟失。這些混合模型、多層表示、雙向?qū)W習(xí)方法的思想可以應(yīng)用于多模態(tài),能有效減小模態(tài)差異。

    本小節(jié)總結(jié)分析了不同的網(wǎng)絡(luò)模型以提高檢索效率和精度,如端到端網(wǎng)絡(luò)模型、三元組標(biāo)簽哈希模型、基于注意力機(jī)制的哈希網(wǎng)絡(luò),還有解決量化損失問(wèn)題的離散優(yōu)化方法,解決未知類(lèi)問(wèn)題的具有可擴(kuò)展性的零樣本跨模態(tài)檢索方法和其他綜合類(lèi)方法?;谏疃裙7椒ǖ难芯恐饕峭ㄟ^(guò)改善模型和優(yōu)化算法來(lái)尋找更佳的跨模態(tài)檢索技術(shù),目前仍然具有很大的發(fā)展空間。隨著深度學(xué)習(xí)技術(shù)的不斷優(yōu)化和哈希算法的不斷改進(jìn),在未來(lái)的研究中可以選擇更適合的模型與算法融合以提高信息利用率和檢索效率。

    2.2.3 二進(jìn)制表示技術(shù)總結(jié)分析

    二進(jìn)制表示技術(shù)的跨模態(tài)檢索本質(zhì)上是一種降維量化的方法。它的優(yōu)勢(shì)在于能夠節(jié)省存儲(chǔ)空間,提高檢索效率,得到了廣泛應(yīng)用。注意力機(jī)制與對(duì)抗性學(xué)習(xí)的方法也大大提高了采用二進(jìn)制方法的效率和精度。另外多模態(tài)的擴(kuò)展問(wèn)題也因零樣本跨模態(tài)檢索有了新突破。但降維會(huì)破壞數(shù)據(jù)原始結(jié)構(gòu),且哈希算法是不可逆的,可能會(huì)產(chǎn)生過(guò)擬合問(wèn)題。它還存在離散約束問(wèn)題,對(duì)此在傳統(tǒng)哈希和深度哈希中都提到了從算法和哈希函數(shù)學(xué)習(xí)進(jìn)行離散優(yōu)化的方法。如表3所示,本文整理了各種二進(jìn)制表示技術(shù)的數(shù)據(jù)集和評(píng)價(jià)指標(biāo),并分析了方法的特點(diǎn),以便于后續(xù)研究者使用。

    表3 二進(jìn)制表示方法數(shù)據(jù)集及評(píng)價(jià)指標(biāo)對(duì)比Table 3 Comparison of binary representation method datasets and evaluation indexes

    表4總結(jié)了所有的跨模態(tài)檢索技術(shù)并將其分為兩類(lèi)表示技術(shù)的不同類(lèi)型方法,從具體思路、優(yōu)勢(shì)、局限性和適用場(chǎng)景展開(kāi)對(duì)比分析。實(shí)值表示保留原始數(shù)據(jù)的結(jié)構(gòu),二進(jìn)制表示對(duì)數(shù)據(jù)進(jìn)行哈希轉(zhuǎn)換,可以提高檢索效率,但同時(shí)會(huì)破壞數(shù)據(jù)結(jié)構(gòu)。其中子空間學(xué)習(xí)與主題概率學(xué)習(xí)模型在處理特定場(chǎng)景問(wèn)題時(shí)具有一定優(yōu)勢(shì)。深度哈希方法或許是未來(lái)跨模態(tài)檢索技術(shù)的研究熱點(diǎn),它可以融合新的深度網(wǎng)絡(luò)模型和先進(jìn)的哈希算法,能夠處理復(fù)雜的問(wèn)題。其他的方法也同樣重要,深度哈希技術(shù)的發(fā)展也離不開(kāi)對(duì)于深度學(xué)習(xí)方法與哈希算法的進(jìn)一步深入研究。

    表4 跨模態(tài)檢索不同表示方法分析Table 4 Analysis of different representation methods for cross-modal retrieval

    3 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

    3.1 數(shù)據(jù)集

    本節(jié)對(duì)常用的多模態(tài)數(shù)據(jù)集進(jìn)行總結(jié)并分析,如表5所示。

    表5 數(shù)據(jù)集統(tǒng)計(jì)表Table 5 Dataset statistics table

    (1)Wikipedia[18]:由一個(gè)文檔語(yǔ)料庫(kù)和相關(guān)的文本和圖像對(duì)組成,分為10個(gè)語(yǔ)義類(lèi)。維基百科將每篇文章分為29個(gè)概念,最終的語(yǔ)料庫(kù)有2 866份文件。

    (2)WIKI-CMR[69]:數(shù)據(jù)主要集中在地理、人文、自然、文化和歷史領(lǐng)域,包含圖像、段落、超鏈接類(lèi)別標(biāo)簽共74 961個(gè)文檔。文檔分為11個(gè)不同的語(yǔ)義類(lèi)。圖像使用8種類(lèi)型的特征表示,包括密集篩選、Gist、PHOG、LBP和其他特征,文本使用TF-IDF表示。

    (3)NUS-WIDE[70]:數(shù)據(jù)類(lèi)似于真實(shí)世界的網(wǎng)絡(luò)圖像。包括81個(gè)類(lèi)別的約27萬(wàn)幅圖像以及5 018個(gè)相關(guān)標(biāo)簽,共6種類(lèi)型的低層圖像特征。

    (4)Pascal VOC[71]:其名稱概念為模式分析、統(tǒng)計(jì)建模、計(jì)算學(xué)習(xí)和視覺(jué)對(duì)象。它包含帶注釋的消費(fèi)者圖片,由9 963幅圖像和24 640個(gè)注釋對(duì)象組成,分為20個(gè)不同類(lèi)別。注釋中提到的實(shí)體包括類(lèi)、邊界框、視圖、截?cái)鄬?shí)體和困難實(shí)體。

    (5)Flickr 30k[72]:Flickr 30k是Flickr 8k數(shù)據(jù)集的擴(kuò)展,其包含31 783張日常圖像與158 915個(gè)相關(guān)字幕。這兩個(gè)數(shù)據(jù)集都來(lái)自Flickr網(wǎng)站,數(shù)據(jù)主要在某些動(dòng)作的人或動(dòng)物(以狗為主),可用于圖像和長(zhǎng)文本。

    (6)MS COCO[73]:由總計(jì)328 000張圖像和250 000個(gè)標(biāo)記實(shí)例的日常場(chǎng)景圖片組成,共91個(gè)不同的類(lèi)別,每個(gè)圖片有5句對(duì)應(yīng)的注釋,注釋分為標(biāo)記圖像中存在的概念、定位和標(biāo)記概念的所有實(shí)例、每個(gè)對(duì)象實(shí)例的分割共三種。

    (7)PKU XMedia[74]:數(shù)據(jù)由5 000個(gè)文本、5 000個(gè)圖像、500個(gè)視頻、1 000個(gè)音頻片段和500個(gè)3D模型組成,共20個(gè)類(lèi)別,每個(gè)類(lèi)別有600個(gè)媒體實(shí)例。數(shù)據(jù)集被隨機(jī)分成包含9 600個(gè)對(duì)象的訓(xùn)練集和包含2 400個(gè)媒體對(duì)象的測(cè)試集。

    (8)PKU XMedia Net[13]:數(shù)據(jù)有200個(gè)類(lèi)別,分為5種模態(tài)類(lèi)型,文件格式分別為txt、jpg、avi、wav和obj,其數(shù)據(jù)量依次為40 000、40 000、10 000、10 000、2 000。數(shù)據(jù)集分成81 600個(gè)媒體對(duì)象的訓(xùn)練集和2個(gè)測(cè)試集,以4∶1切分?jǐn)?shù)據(jù)集與訓(xùn)練集。

    (9)M5Product[75]:該數(shù)據(jù)集包含600萬(wàn)個(gè)多模態(tài)樣本、分為5種模態(tài)類(lèi)型。具有100萬(wàn)家商戶針對(duì)電子商品的粗粒度和細(xì)粒度注釋,600萬(wàn)個(gè)類(lèi)別注釋,包含6 000多個(gè)類(lèi)別、5 000個(gè)屬性和2 400萬(wàn)個(gè)值,比具有相似模態(tài)數(shù)量的最大公開(kāi)可用數(shù)據(jù)集大500個(gè)。

    3.2 評(píng)價(jià)指標(biāo)

    本研究的評(píng)價(jià)指標(biāo)采用廣泛使用的性能評(píng)估標(biāo)準(zhǔn)平均精度(mean average precision,MAP)。MAP度量綜合考慮了排序信息和精確率。精確率往往反映檢索的整體效果,即所有返回樣本中正確相關(guān)的樣本所占的比例。理想的情況是檢索結(jié)果排序越靠前的樣本與查詢樣本的相關(guān)性越好,平均準(zhǔn)確率(AP)可以更好地反映檢索的效果,定義如公式(5),其中N是檢索集中相關(guān)實(shí)例的數(shù)量,P(r)表示前r個(gè)檢索實(shí)例的精度。平均準(zhǔn)確率平均值定義如公式(6):

    另外,采用其他評(píng)價(jià)指標(biāo),如精度召回(precisionrecall,PR)曲線表示精度和召回之間的關(guān)系,精度是結(jié)果相關(guān)性的度量,而召回是實(shí)際返回多少相關(guān)性結(jié)果的度量;采用前N個(gè)精度曲線(TopN-precision)反映精度隨檢索實(shí)例數(shù)量變化的狀態(tài)。它們的值越大表明性能越好。對(duì)于跨模態(tài)檢索中的圖像文本模態(tài)檢索,Wikipedia數(shù)據(jù)集通常用MAP來(lái)評(píng)估算法性能,而MSCOCO、Flickr30k數(shù)據(jù)集還會(huì)用在前K個(gè)結(jié)果中檢索到的正確圖像或文本的百分比(Recall@K,R@K)來(lái)評(píng)估算法性能。

    4 結(jié)論與挑戰(zhàn)

    本文對(duì)跨模態(tài)檢索技術(shù)進(jìn)行綜述,針對(duì)如何減小語(yǔ)義差距并進(jìn)行有效相似度對(duì)比的問(wèn)題給出了解決方案。文中對(duì)實(shí)值和二進(jìn)制表示中具有代表性的技術(shù)方法進(jìn)行分類(lèi)研究討論,包括子空間學(xué)習(xí)、主題統(tǒng)計(jì)模型、深度學(xué)習(xí)、傳統(tǒng)哈希和深度哈希的五類(lèi)方法。這些跨模態(tài)檢索技術(shù)可以從海量信息中快速準(zhǔn)確地找到最有價(jià)值的數(shù)據(jù)類(lèi)型,從而提高信息利用率和檢索效率,具有重要的實(shí)際意義。

    本文根據(jù)跨模態(tài)檢索技術(shù)發(fā)展現(xiàn)狀,列出以下幾點(diǎn)跨模態(tài)檢索面臨的挑戰(zhàn),也是未來(lái)研究的重要方向。

    (1)擴(kuò)展模態(tài)范圍。不同的應(yīng)用場(chǎng)景需要選擇不同的模態(tài)數(shù)據(jù),而固定的模態(tài)數(shù)據(jù)并不能完全應(yīng)用于其他模態(tài)。未來(lái)可以利用混合表示模型、多模態(tài)學(xué)習(xí)模型等方法擴(kuò)展各模態(tài)范圍,提高跨模態(tài)方法的通用性。

    (2)精細(xì)化模態(tài)細(xì)粒度。當(dāng)前基于子空間和主題概率模型的方法可以提取顯性特征進(jìn)行相似性比較,但仍存在隱藏語(yǔ)義特征提取不完整的問(wèn)題。通過(guò)對(duì)語(yǔ)義標(biāo)簽的進(jìn)一步補(bǔ)充預(yù)測(cè)或借鑒零樣本檢索探尋未知類(lèi)可以找到更精確的語(yǔ)義特征,從而精細(xì)化模態(tài)細(xì)粒度的分類(lèi)。

    (3)提升檢索效率。檢索效率的提升包含了檢索準(zhǔn)確度和檢索速度兩部分。目前的跨模態(tài)哈希方法已經(jīng)在檢索速度上取得了一定進(jìn)展,但對(duì)哈希檢索算法的信息丟失問(wèn)題,還要繼續(xù)進(jìn)行離散優(yōu)化。對(duì)于檢索精度的提升,為滿足更高準(zhǔn)確度的檢索要求還可以繼續(xù)改進(jìn)損失函數(shù)與哈希函數(shù)。

    猜你喜歡
    哈希檢索語(yǔ)義
    語(yǔ)言與語(yǔ)義
    2019年第4-6期便捷檢索目錄
    “上”與“下”語(yǔ)義的不對(duì)稱性及其認(rèn)知闡釋
    專利檢索中“語(yǔ)義”的表現(xiàn)
    專利代理(2016年1期)2016-05-17 06:14:36
    基于OpenCV與均值哈希算法的人臉相似識(shí)別系統(tǒng)
    基于維度分解的哈希多維快速流分類(lèi)算法
    認(rèn)知范疇模糊與語(yǔ)義模糊
    基于同態(tài)哈希函數(shù)的云數(shù)據(jù)完整性驗(yàn)證算法
    一種基于Bigram二級(jí)哈希的中文索引結(jié)構(gòu)
    語(yǔ)義分析與漢俄副名組合
    欧美最新免费一区二区三区| 在线观看三级黄色| 久久97久久精品| 国产精品熟女久久久久浪| 久久久久久久大尺度免费视频| 日本一本二区三区精品| 高清视频免费观看一区二区| 亚洲精品日韩在线中文字幕| 国产一区亚洲一区在线观看| 成人无遮挡网站| 国产精品国产三级国产专区5o| 能在线免费看毛片的网站| 女的被弄到高潮叫床怎么办| 一个人看视频在线观看www免费| 中文天堂在线官网| 精品久久久久久久久av| 在现免费观看毛片| 国产精品麻豆人妻色哟哟久久| 免费av不卡在线播放| av在线观看视频网站免费| 国产精品人妻久久久影院| 一本久久精品| 中文字幕免费在线视频6| 日韩在线高清观看一区二区三区| 天堂中文最新版在线下载 | 国产成人福利小说| 久久国内精品自在自线图片| 老女人水多毛片| 欧美人与善性xxx| 久久热精品热| 国产精品国产三级国产av玫瑰| 男女无遮挡免费网站观看| 成人午夜精彩视频在线观看| 欧美潮喷喷水| 亚洲丝袜综合中文字幕| 老女人水多毛片| 欧美 日韩 精品 国产| 久久精品久久久久久久性| 欧美xxxx性猛交bbbb| 国产 精品1| 在线 av 中文字幕| 国产成人a∨麻豆精品| 久久97久久精品| 精品久久久精品久久久| 国产黄色视频一区二区在线观看| 国产成年人精品一区二区| 22中文网久久字幕| 久久精品久久久久久噜噜老黄| 亚洲精品成人久久久久久| 国产精品秋霞免费鲁丝片| 亚洲精品国产色婷婷电影| 91精品伊人久久大香线蕉| 能在线免费看毛片的网站| 男人和女人高潮做爰伦理| 国产黄色视频一区二区在线观看| 涩涩av久久男人的天堂| 成人美女网站在线观看视频| 欧美另类一区| 色视频www国产| 夜夜看夜夜爽夜夜摸| 欧美变态另类bdsm刘玥| 成人亚洲精品av一区二区| 热99国产精品久久久久久7| 亚洲精品久久午夜乱码| 超碰av人人做人人爽久久| 成人国产av品久久久| 国产高清国产精品国产三级 | 久久国内精品自在自线图片| 熟妇人妻不卡中文字幕| .国产精品久久| 看非洲黑人一级黄片| 在线观看国产h片| 六月丁香七月| 国产精品蜜桃在线观看| 不卡视频在线观看欧美| 少妇人妻久久综合中文| 日本一二三区视频观看| 别揉我奶头 嗯啊视频| av福利片在线观看| 哪个播放器可以免费观看大片| 亚洲最大成人av| 五月天丁香电影| 免费少妇av软件| 一级毛片黄色毛片免费观看视频| 日韩三级伦理在线观看| 国产精品熟女久久久久浪| 国产亚洲av片在线观看秒播厂| 国产黄片美女视频| 国产精品一及| 久久久久网色| 久热这里只有精品99| 我的老师免费观看完整版| 精品久久久久久久久av| 99热6这里只有精品| 国产欧美日韩精品一区二区| 国产成人精品久久久久久| 一本色道久久久久久精品综合| 好男人视频免费观看在线| 中文字幕制服av| 伦精品一区二区三区| eeuss影院久久| 日本av手机在线免费观看| 最近2019中文字幕mv第一页| 亚洲欧美成人精品一区二区| 日产精品乱码卡一卡2卡三| 精品一区在线观看国产| 成人二区视频| 看十八女毛片水多多多| 精品国产乱码久久久久久小说| 天美传媒精品一区二区| 日本三级黄在线观看| 国产欧美亚洲国产| 亚洲综合色惰| 色婷婷久久久亚洲欧美| 黄色欧美视频在线观看| 22中文网久久字幕| 一级毛片久久久久久久久女| 欧美极品一区二区三区四区| www.av在线官网国产| 亚洲美女视频黄频| 国语对白做爰xxxⅹ性视频网站| 久久精品国产亚洲av天美| 最近中文字幕2019免费版| 免费不卡的大黄色大毛片视频在线观看| 亚洲精品国产av成人精品| 成年女人在线观看亚洲视频 | 亚洲精品国产成人久久av| 亚洲人与动物交配视频| 另类亚洲欧美激情| 搡女人真爽免费视频火全软件| 欧美成人一区二区免费高清观看| 青春草视频在线免费观看| freevideosex欧美| 舔av片在线| 久久99热6这里只有精品| 精品一区二区三卡| 免费看a级黄色片| 少妇裸体淫交视频免费看高清| 日韩亚洲欧美综合| 亚洲无线观看免费| 深夜a级毛片| 亚洲av一区综合| 国产毛片在线视频| 久久久久久久亚洲中文字幕| 免费人成在线观看视频色| 赤兔流量卡办理| 国产伦精品一区二区三区四那| 久久亚洲国产成人精品v| 久久鲁丝午夜福利片| 精品国产一区二区三区久久久樱花 | 精华霜和精华液先用哪个| 国产成年人精品一区二区| 校园人妻丝袜中文字幕| 18禁裸乳无遮挡免费网站照片| 国产美女午夜福利| 黄色欧美视频在线观看| 国产黄片美女视频| 男的添女的下面高潮视频| 成人国产麻豆网| 亚洲av电影在线观看一区二区三区 | 亚洲国产精品成人综合色| 丝袜喷水一区| 国产乱人视频| av在线播放精品| 亚洲精品中文字幕在线视频 | 91精品伊人久久大香线蕉| 色视频www国产| 亚洲国产日韩一区二区| 精品久久久久久电影网| 欧美xxxx黑人xx丫x性爽| 中文字幕久久专区| 国产精品无大码| 亚洲,一卡二卡三卡| 亚洲av成人精品一区久久| 日韩欧美 国产精品| av一本久久久久| 欧美 日韩 精品 国产| 国产高清不卡午夜福利| 日韩强制内射视频| 中文在线观看免费www的网站| 永久网站在线| 观看美女的网站| 亚洲国产精品国产精品| av网站免费在线观看视频| 99九九线精品视频在线观看视频| 中文字幕制服av| 色网站视频免费| 大片电影免费在线观看免费| 在线亚洲精品国产二区图片欧美 | 亚洲av福利一区| a级毛色黄片| 国产成人精品福利久久| 爱豆传媒免费全集在线观看| 久久99热6这里只有精品| 成年版毛片免费区| 日本猛色少妇xxxxx猛交久久| 干丝袜人妻中文字幕| 大香蕉久久网| 高清av免费在线| 中文字幕亚洲精品专区| 国产精品久久久久久久电影| 久久久精品94久久精品| 免费黄频网站在线观看国产| 亚洲精品乱码久久久久久按摩| 国精品久久久久久国模美| 亚洲天堂国产精品一区在线| 亚洲精品久久久久久婷婷小说| 精品久久久久久久末码| 中文字幕久久专区| 日韩伦理黄色片| 国产精品一区www在线观看| 人妻一区二区av| 久久久久精品久久久久真实原创| 青春草国产在线视频| 久久久久久久久久久免费av| 国产一区二区亚洲精品在线观看| 高清在线视频一区二区三区| 久久久午夜欧美精品| 亚洲欧美日韩卡通动漫| 亚洲欧美成人精品一区二区| 18禁裸乳无遮挡动漫免费视频 | 国产午夜精品久久久久久一区二区三区| 女人十人毛片免费观看3o分钟| 欧美成人午夜免费资源| 男女啪啪激烈高潮av片| 久久午夜福利片| 亚洲av中文字字幕乱码综合| 亚洲伊人久久精品综合| 青春草国产在线视频| 全区人妻精品视频| av在线播放精品| 久久久久久久亚洲中文字幕| 国产一区二区在线观看日韩| 久久久久国产精品人妻一区二区| 久久久久久久久久人人人人人人| 中国国产av一级| av线在线观看网站| 日本与韩国留学比较| 美女cb高潮喷水在线观看| 午夜免费男女啪啪视频观看| 日韩不卡一区二区三区视频在线| 在线免费观看不下载黄p国产| 国产精品一区二区三区四区免费观看| 亚洲国产欧美人成| 在线亚洲精品国产二区图片欧美 | 欧美xxxx黑人xx丫x性爽| 可以在线观看毛片的网站| 九九久久精品国产亚洲av麻豆| 国产老妇伦熟女老妇高清| 久久精品国产亚洲av涩爱| 丰满人妻一区二区三区视频av| 国产 精品1| 大陆偷拍与自拍| 国产精品爽爽va在线观看网站| 欧美高清性xxxxhd video| 日韩av在线免费看完整版不卡| 亚洲色图综合在线观看| 久久久精品免费免费高清| 久久久久久久久大av| 亚洲人与动物交配视频| 一个人看的www免费观看视频| 麻豆国产97在线/欧美| 欧美成人精品欧美一级黄| 精品熟女少妇av免费看| 美女内射精品一级片tv| 欧美老熟妇乱子伦牲交| 各种免费的搞黄视频| 久热久热在线精品观看| 精品人妻偷拍中文字幕| 一区二区三区免费毛片| 精品少妇黑人巨大在线播放| 一级片'在线观看视频| 亚洲国产成人一精品久久久| 国产乱人视频| 国产亚洲精品久久久com| 在线精品无人区一区二区三 | 能在线免费看毛片的网站| 国产精品国产av在线观看| 国产伦在线观看视频一区| 亚洲精品亚洲一区二区| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲va在线va天堂va国产| 99热这里只有是精品在线观看| 99久久精品一区二区三区| 美女脱内裤让男人舔精品视频| 亚洲精品视频女| 日本猛色少妇xxxxx猛交久久| 日本一二三区视频观看| 别揉我奶头 嗯啊视频| 久久久欧美国产精品| 国产极品天堂在线| 我要看日韩黄色一级片| 啦啦啦啦在线视频资源| a级一级毛片免费在线观看| av在线蜜桃| 噜噜噜噜噜久久久久久91| 国产精品久久久久久精品古装| 免费看光身美女| 99久久精品热视频| 久久国内精品自在自线图片| 欧美潮喷喷水| 中文字幕av成人在线电影| 一本色道久久久久久精品综合| 男人和女人高潮做爰伦理| 亚洲国产日韩一区二区| 综合色av麻豆| 成年女人在线观看亚洲视频 | 国产精品无大码| 在现免费观看毛片| 精品熟女少妇av免费看| 国产在视频线精品| 国产精品一区二区在线观看99| 亚洲最大成人av| 日韩电影二区| 黑人高潮一二区| 国产欧美日韩一区二区三区在线 | 日本欧美国产在线视频| 少妇高潮的动态图| 欧美性猛交╳xxx乱大交人| 精品久久久噜噜| 97人妻精品一区二区三区麻豆| 亚洲成人久久爱视频| 九九在线视频观看精品| 少妇猛男粗大的猛烈进出视频 | 成人国产麻豆网| 国产69精品久久久久777片| 国产精品久久久久久久电影| 嫩草影院入口| 国产黄片美女视频| 69av精品久久久久久| 国产午夜精品一二区理论片| www.色视频.com| 欧美3d第一页| 男人舔奶头视频| 欧美成人a在线观看| 91狼人影院| 日本wwww免费看| 国产淫片久久久久久久久| 大话2 男鬼变身卡| 激情五月婷婷亚洲| 欧美成人精品欧美一级黄| 亚洲色图av天堂| 亚洲av成人精品一二三区| 久久国内精品自在自线图片| 男女那种视频在线观看| 内射极品少妇av片p| 少妇人妻一区二区三区视频| 亚洲激情五月婷婷啪啪| 偷拍熟女少妇极品色| 99久久人妻综合| 中文字幕av成人在线电影| 日日摸夜夜添夜夜爱| 中文在线观看免费www的网站| 亚洲精品,欧美精品| 日日摸夜夜添夜夜爱| 免费人成在线观看视频色| 亚洲欧美日韩无卡精品| 少妇裸体淫交视频免费看高清| 中文字幕免费在线视频6| 欧美区成人在线视频| 噜噜噜噜噜久久久久久91| 香蕉精品网在线| 亚洲色图av天堂| av免费在线看不卡| 老司机影院成人| av在线亚洲专区| 日本色播在线视频| 美女cb高潮喷水在线观看| 国产精品人妻久久久久久| 深夜a级毛片| 精品久久久久久久末码| 久久久久久久亚洲中文字幕| 国产一区二区三区av在线| 日本一二三区视频观看| 国产午夜精品一二区理论片| 欧美日韩精品成人综合77777| 婷婷色综合www| 青春草视频在线免费观看| 永久网站在线| 99九九线精品视频在线观看视频| 美女视频免费永久观看网站| 国内少妇人妻偷人精品xxx网站| 午夜免费鲁丝| 涩涩av久久男人的天堂| 精品国产一区二区三区久久久樱花 | 啦啦啦中文免费视频观看日本| 高清在线视频一区二区三区| 天天躁夜夜躁狠狠久久av| 国产黄a三级三级三级人| 超碰97精品在线观看| 国产免费一级a男人的天堂| 我要看日韩黄色一级片| a级毛色黄片| 国内精品美女久久久久久| 我要看日韩黄色一级片| 高清毛片免费看| 三级国产精品欧美在线观看| 丰满乱子伦码专区| 啦啦啦啦在线视频资源| 最近中文字幕2019免费版| 99九九线精品视频在线观看视频| 亚洲成人久久爱视频| 成人亚洲欧美一区二区av| 国产精品国产三级国产av玫瑰| 成人鲁丝片一二三区免费| 日本-黄色视频高清免费观看| 欧美国产精品一级二级三级 | 五月伊人婷婷丁香| 亚洲精品国产成人久久av| 欧美高清性xxxxhd video| 亚洲精品日韩在线中文字幕| 欧美成人一区二区免费高清观看| 秋霞伦理黄片| 美女国产视频在线观看| 午夜福利视频1000在线观看| 美女被艹到高潮喷水动态| 日韩精品有码人妻一区| 性插视频无遮挡在线免费观看| av在线老鸭窝| 午夜福利高清视频| 亚洲欧美日韩卡通动漫| 国产在线男女| 精品久久久久久电影网| 亚洲va在线va天堂va国产| 亚洲人成网站在线观看播放| 欧美日韩精品成人综合77777| 校园人妻丝袜中文字幕| 国产精品熟女久久久久浪| 美女被艹到高潮喷水动态| 日日撸夜夜添| 国产一级毛片在线| 看免费成人av毛片| 一级片'在线观看视频| 亚洲精品乱码久久久v下载方式| av.在线天堂| 搡老乐熟女国产| 久久久久性生活片| 一个人看的www免费观看视频| av一本久久久久| 精品人妻一区二区三区麻豆| 日韩av不卡免费在线播放| 18禁裸乳无遮挡免费网站照片| tube8黄色片| 久久精品人妻少妇| 在线免费十八禁| 老司机影院毛片| 日本猛色少妇xxxxx猛交久久| 欧美日韩亚洲高清精品| 欧美亚洲 丝袜 人妻 在线| 麻豆成人午夜福利视频| 你懂的网址亚洲精品在线观看| 欧美xxxx黑人xx丫x性爽| 白带黄色成豆腐渣| 嫩草影院新地址| 国产伦理片在线播放av一区| 久久久久久久久久久丰满| 精品久久久久久久人妻蜜臀av| 日韩三级伦理在线观看| 成年av动漫网址| 国产精品国产三级专区第一集| 久久综合国产亚洲精品| 免费少妇av软件| 美女主播在线视频| 五月天丁香电影| 成年版毛片免费区| 精品一区在线观看国产| 国产精品麻豆人妻色哟哟久久| av播播在线观看一区| 99九九线精品视频在线观看视频| 亚洲三级黄色毛片| 免费播放大片免费观看视频在线观看| 最近的中文字幕免费完整| 永久网站在线| 国产精品久久久久久av不卡| 80岁老熟妇乱子伦牲交| 啦啦啦在线观看免费高清www| 久热久热在线精品观看| 91午夜精品亚洲一区二区三区| 亚洲国产最新在线播放| 国产一区二区三区综合在线观看 | 99热全是精品| 纵有疾风起免费观看全集完整版| 久久99热这里只频精品6学生| 精品视频人人做人人爽| 精品国产乱码久久久久久小说| 成年免费大片在线观看| 制服丝袜香蕉在线| 男男h啪啪无遮挡| 80岁老熟妇乱子伦牲交| 在线观看三级黄色| 日本三级黄在线观看| 国产精品福利在线免费观看| 中文乱码字字幕精品一区二区三区| 国产高清不卡午夜福利| 国产亚洲午夜精品一区二区久久 | 国产永久视频网站| 嫩草影院入口| 人人妻人人看人人澡| 国产极品天堂在线| 下体分泌物呈黄色| 网址你懂的国产日韩在线| 国产精品国产三级国产av玫瑰| 特大巨黑吊av在线直播| 亚洲av中文av极速乱| 亚洲欧美日韩卡通动漫| 久久久精品免费免费高清| 少妇人妻久久综合中文| 亚洲精品日本国产第一区| 国产黄片美女视频| 一级二级三级毛片免费看| 精品久久久噜噜| 国产成人91sexporn| 午夜精品国产一区二区电影 | 久久久久久久久大av| 国产亚洲av嫩草精品影院| 亚洲经典国产精华液单| 欧美zozozo另类| 最近中文字幕2019免费版| 亚洲色图综合在线观看| 中国美白少妇内射xxxbb| 精品一区在线观看国产| 成人午夜精彩视频在线观看| 亚州av有码| 亚洲图色成人| 亚洲欧美成人综合另类久久久| 麻豆精品久久久久久蜜桃| 夜夜看夜夜爽夜夜摸| 在线观看免费高清a一片| 91精品一卡2卡3卡4卡| 国产精品一及| 亚洲av成人精品一区久久| 久久99热这里只有精品18| 青春草国产在线视频| 91午夜精品亚洲一区二区三区| 精品一区二区三区视频在线| 成人亚洲欧美一区二区av| 免费观看性生交大片5| 18+在线观看网站| 大码成人一级视频| 蜜桃久久精品国产亚洲av| 亚洲精品成人久久久久久| 少妇熟女欧美另类| 黄色日韩在线| 日本爱情动作片www.在线观看| 欧美潮喷喷水| 亚州av有码| 天堂网av新在线| 一级毛片 在线播放| 在线亚洲精品国产二区图片欧美 | 啦啦啦中文免费视频观看日本| 国产白丝娇喘喷水9色精品| 国产精品无大码| 美女视频免费永久观看网站| 汤姆久久久久久久影院中文字幕| 国产精品熟女久久久久浪| 天堂中文最新版在线下载 | 亚洲天堂av无毛| 在现免费观看毛片| av网站免费在线观看视频| 欧美xxxx性猛交bbbb| freevideosex欧美| 水蜜桃什么品种好| 日本黄大片高清| 在现免费观看毛片| 亚洲欧美一区二区三区黑人 | 午夜福利在线在线| 成人二区视频| 日本色播在线视频| 晚上一个人看的免费电影| 日本与韩国留学比较| 国产精品久久久久久精品古装| 看非洲黑人一级黄片| 亚洲精品乱码久久久v下载方式| 又大又黄又爽视频免费| 人妻少妇偷人精品九色| 1000部很黄的大片| 久久午夜福利片| 看免费成人av毛片| 91在线精品国自产拍蜜月| 国产精品一区二区三区四区免费观看| 免费观看性生交大片5| 十八禁网站网址无遮挡 | 九九爱精品视频在线观看| 少妇丰满av| 97在线人人人人妻| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 中文资源天堂在线| 欧美性感艳星| 色5月婷婷丁香| 亚洲av一区综合| 在线精品无人区一区二区三 | 亚洲怡红院男人天堂| 欧美成人午夜免费资源| 少妇人妻 视频| 九九爱精品视频在线观看| 日韩伦理黄色片| 涩涩av久久男人的天堂| 大码成人一级视频| 亚洲av中文字字幕乱码综合| av又黄又爽大尺度在线免费看| 一级爰片在线观看| 舔av片在线| 国语对白做爰xxxⅹ性视频网站| 女人久久www免费人成看片| 插阴视频在线观看视频| 男人舔奶头视频| 久久精品国产鲁丝片午夜精品| 97在线视频观看| 99re6热这里在线精品视频| 大片免费播放器 马上看| 中文天堂在线官网| 如何舔出高潮| 日韩大片免费观看网站| 可以在线观看毛片的网站| 嫩草影院新地址|