• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合雙流網(wǎng)絡(luò)和雙向五元組損失的跨人臉語(yǔ)音匹配

    2022-03-09 05:49:58鐘必能王楠楠
    關(guān)鍵詞:三元組人臉損失

    柳 欣 王 銳 鐘必能 王楠楠

    1(華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 福建廈門(mén) 361021)

    2(綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室(西安電子科技大學(xué)) 西安 710071)

    3(廈門(mén)市計(jì)算機(jī)視覺(jué)與模式識(shí)別重點(diǎn)實(shí)驗(yàn)室(華僑大學(xué)) 福建廈門(mén) 361021)

    4(廣西師范大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院 廣西桂林 541004)

    語(yǔ)音和視覺(jué)信息是人們相互交流的重要載體,也是人機(jī)交互過(guò)程中最為直接和靈活的方式.心理學(xué)中著名的“麥格克效應(yīng)”(McGurk effect)[1]表明,大腦在感知語(yǔ)音的過(guò)程中,人臉信息和語(yǔ)音信息會(huì)相互作用.同時(shí),大量神經(jīng)認(rèn)知科學(xué)的研究表明,人臉信息和語(yǔ)音信息有著相同的神經(jīng)認(rèn)知通路[2].在日常生活中,當(dāng)人們?cè)诮o好友打語(yǔ)音電話時(shí),雖然只接收到了對(duì)方的語(yǔ)音信息,但腦海中會(huì)不自覺(jué)地浮現(xiàn)出對(duì)方的人臉信息,即我們的大腦可以自動(dòng)地將接收到的語(yǔ)音信息與之前已經(jīng)存儲(chǔ)好的人臉信息進(jìn)行語(yǔ)義關(guān)聯(lián).

    上述現(xiàn)象和研究表明,個(gè)體人臉信息和語(yǔ)音信息之間是存在明顯關(guān)聯(lián)特性的.受此啟發(fā),人們已逐漸認(rèn)識(shí)到語(yǔ)音特征與視覺(jué)特征之間關(guān)聯(lián)的重要性,并進(jìn)行了多方面的跨模態(tài)匹配研究,如跨人臉-語(yǔ)音生物特征匹配、說(shuō)話人標(biāo)注以及跨人臉-語(yǔ)音檢索等[3-5].因此,有效的人臉-語(yǔ)音相關(guān)性挖掘和跨模態(tài)匹配研究能夠促進(jìn)認(rèn)知科學(xué)和人工智能技術(shù)創(chuàng)新實(shí)踐的發(fā)展,具有重要的現(xiàn)實(shí)意義,有著廣闊的應(yīng)用前景.近年來(lái),基于文本和圖像的跨媒體檢索,受到了國(guó)內(nèi)外研究學(xué)者的廣泛關(guān)注,但基于面部信息與語(yǔ)音信息的跨模態(tài)匹配和語(yǔ)義關(guān)聯(lián)挖掘研究較為匱乏.

    據(jù)文獻(xiàn)研究,現(xiàn)有的挖掘人臉信息和語(yǔ)音信息之間關(guān)聯(lián)的方法大致可以概括為2類(lèi):1)基于淺層特征相關(guān)性學(xué)習(xí)的方法;2)基于深度兼容性特征學(xué)習(xí)的方法.具體地,淺層匹配學(xué)習(xí)方法一般使用子空間相關(guān)性學(xué)習(xí)的方法進(jìn)行人臉和語(yǔ)音的語(yǔ)義相似性映射挖掘,從而達(dá)到縮小面部特征與語(yǔ)音特征間的語(yǔ)義鴻溝的目的.深度特征學(xué)習(xí)方法旨在通過(guò)多層非線性網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)復(fù)雜特征表達(dá)能力的逼近,進(jìn)而實(shí)現(xiàn)人臉和語(yǔ)音特征的跨模態(tài)語(yǔ)義關(guān)聯(lián).然而,人臉和語(yǔ)音信息的復(fù)雜多樣性和非靜態(tài)性加大了不同模態(tài)間潛層語(yǔ)義關(guān)聯(lián)的抽取難度.為滿(mǎn)足實(shí)際應(yīng)用需求,現(xiàn)有人臉-語(yǔ)音語(yǔ)義關(guān)聯(lián)方法在相關(guān)跨模態(tài)匹配方面的效果還需進(jìn)一步提升.

    基于人臉-語(yǔ)音的相關(guān)性挖掘和跨模態(tài)匹配問(wèn)題的研究尚為一項(xiàng)新穎的課題,其智能語(yǔ)義關(guān)聯(lián)研究仍處于早期發(fā)展階段[6],并且現(xiàn)有方法或多或少存在一些挑戰(zhàn),包括3方面:1)面部和語(yǔ)音底層特征因維數(shù)不同、性質(zhì)和屬性不同,使得彼此之間無(wú)法直接參與計(jì)算,進(jìn)而帶來(lái)了語(yǔ)義表征的差異性和不可比性;2)針對(duì)人臉和語(yǔ)音特征的異構(gòu)性,目前仍缺乏有效方法解決低層特征和高層語(yǔ)義之間存在的語(yǔ)義鴻溝問(wèn)題;3)現(xiàn)有的異構(gòu)特征學(xué)習(xí)和關(guān)聯(lián)性學(xué)習(xí)結(jié)合的不夠緊密,從而導(dǎo)致高層一致性語(yǔ)義挖掘的表征學(xué)習(xí)不夠充分.此外,本文通過(guò)文獻(xiàn)調(diào)研發(fā)現(xiàn),大多數(shù)跨人臉-語(yǔ)音匹配方法工作只呈現(xiàn)了部分匹配任務(wù)評(píng)測(cè)結(jié)果,而其他多樣性匹配評(píng)測(cè)任務(wù)還有待挖掘.

    針對(duì)上述挑戰(zhàn),本文提出了一種基于雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架,生成的跨模態(tài)表示在所有跨模態(tài)匹配任務(wù)上進(jìn)行全面了評(píng)估測(cè)試.首先,本文采用雙流架構(gòu)的網(wǎng)絡(luò)學(xué)習(xí)跨人臉-語(yǔ)音特征表示.傳統(tǒng)的雙流網(wǎng)絡(luò)采用2條并行且獨(dú)立的分支處理多模態(tài)數(shù)據(jù),不同模態(tài)之間缺少交互,因而很難學(xué)習(xí)出高質(zhì)量的語(yǔ)義特征.為解決特征異構(gòu)問(wèn)題,本文在雙流網(wǎng)絡(luò)的頂端引入了一種新的多模態(tài)加權(quán)殘差網(wǎng)絡(luò),并采用權(quán)重共享策略,以挖掘模態(tài)間關(guān)聯(lián),生成模態(tài)不變的跨模態(tài)表示;其次,現(xiàn)有的基于距離度量損失的方法中采用的樣本對(duì)構(gòu)造策略往往沒(méi)有挑選出合適樣本對(duì),也沒(méi)有充分利用batch中的數(shù)據(jù),使得很多有益于訓(xùn)練的樣本未能參與訓(xùn)練,極大地限制了模型的泛化性能.為解決訓(xùn)練樣本不足問(wèn)題,本文提出了多種有效的樣本對(duì)構(gòu)造策略,并基于這些策略提出了多種表現(xiàn)形式的三元組損失,這些三元組損失一起構(gòu)成一種新的雙向五元組損失(bi-quintuple loss, Bi-Q loss).通過(guò)優(yōu)化該損失,可以促使更多有益于訓(xùn)練的人臉樣本及語(yǔ)音樣本參與訓(xùn)練,進(jìn)而學(xué)到更好的跨模態(tài)表示;最后,為了保證人臉特征和語(yǔ)音特征在共享語(yǔ)義空間的可分性,本文在特征層后面引入了一個(gè)全連接層進(jìn)行身份(identity, ID)分類(lèi)學(xué)習(xí),實(shí)驗(yàn)表明結(jié)合ID損失與雙向五元組損失可以促進(jìn)模型的有效收斂,魯棒性較好.本文工作的貢獻(xiàn)主要包括3個(gè)方面:

    1) 提出了一個(gè)端到端的跨人臉-語(yǔ)音特征學(xué)習(xí)框架,該框架在雙流網(wǎng)絡(luò)的頂端引入了一種新的權(quán)重共享多模態(tài)加權(quán)殘差網(wǎng)絡(luò),可以有效挖掘模態(tài)間關(guān)聯(lián);

    2) 設(shè)計(jì)多種樣本對(duì)構(gòu)造策略并提出雙向五元組損失,極大地提高了數(shù)據(jù)利用率和模型泛化性能;

    3)本文方法具有較強(qiáng)的擴(kuò)展性和一般性.相比現(xiàn)有方法,本文學(xué)習(xí)框架在4個(gè)不同的跨人臉-語(yǔ)音關(guān)聯(lián)任務(wù)上,其跨模態(tài)匹配各項(xiàng)指標(biāo)上幾乎取得了全面提升,某些指標(biāo)上的提升近5%.

    1 相關(guān)工作

    人類(lèi)面部視覺(jué)信息和語(yǔ)音信息是人機(jī)交互過(guò)程中最為直接和靈活的方式,從而基于人臉和語(yǔ)音的關(guān)聯(lián)性挖掘及其跨模態(tài)協(xié)同感知吸引了國(guó)內(nèi)外研究學(xué)者的廣泛關(guān)注.早期針對(duì)人臉和語(yǔ)音的相關(guān)性挖掘主要是基于淺層特征相關(guān)性學(xué)習(xí)的方法.例如,Hasan等人[7]通過(guò)認(rèn)知學(xué)的角度利用功能性磁共振成像分析了人臉和語(yǔ)音在身份鑒別上的潛在關(guān)聯(lián)特性;類(lèi)似地,針對(duì)人臉和語(yǔ)音2種不同模態(tài)特征之間存在的“語(yǔ)義鴻溝”問(wèn)題,Li等人[8]通過(guò)跨模態(tài)因子分析(cross-modal factor analysis)來(lái)縮小人臉與語(yǔ)音特征間的語(yǔ)義鴻溝,接著利用典型相關(guān)分析法(canonical correlation analysis, CCA)進(jìn)一步關(guān)聯(lián)2種模態(tài)特征集,從而實(shí)現(xiàn)說(shuō)話人的跨視聽(tīng)媒體數(shù)據(jù)互標(biāo)注;Chetty等人[9]通過(guò)潛在語(yǔ)義分析和CCA方法對(duì)人臉和語(yǔ)音生物特征進(jìn)行跨模態(tài)關(guān)聯(lián),從而使得身份驗(yàn)證系統(tǒng)達(dá)到了較好的預(yù)防反欺騙性(anti-spoofing)攻擊的目的;Chakravarty等人[10]利用跨模態(tài)監(jiān)督學(xué)習(xí)方法(cross-modal supervision)對(duì)語(yǔ)音信息進(jìn)行當(dāng)前說(shuō)話人檢測(cè),取得了魯棒性的結(jié)果.研究發(fā)現(xiàn),這些淺層特征相關(guān)性學(xué)習(xí)方法缺乏從非線性異構(gòu)特征中提取有意義跨模態(tài)關(guān)聯(lián)的本質(zhì)特征能力,從而導(dǎo)致其相應(yīng)跨模態(tài)關(guān)聯(lián)匹配效果有所欠缺.

    近年來(lái),多模深度學(xué)習(xí)可以有效對(duì)多模態(tài)數(shù)據(jù)逐級(jí)提取從低層到高層的語(yǔ)義特征,展現(xiàn)出了強(qiáng)大本質(zhì)特征學(xué)習(xí)的能力.據(jù)文獻(xiàn)研究,現(xiàn)有挖掘人臉信息和語(yǔ)音信息之間關(guān)聯(lián)的深度學(xué)習(xí)方法大致可以分為2類(lèi):1)基于分類(lèi)損失的學(xué)習(xí)方法;2)基于距離度量損失學(xué)習(xí)的方法.基于分類(lèi)損失的學(xué)習(xí)方法通常把跨人臉-語(yǔ)音跨模態(tài)匹配問(wèn)題定義為分類(lèi)問(wèn)題.典型代表為Nagrani等人[3]提出的多分支卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)結(jié)構(gòu)方法,該方法首先采用多分支CNN分別提取人臉圖片和語(yǔ)音數(shù)據(jù)的特征,接著將提取好的人臉特征和語(yǔ)音特征拼接起來(lái),輸入到softmax層以獲得分類(lèi)概率.該模型然在1∶2 匹配任務(wù)上的表現(xiàn)可以媲美人類(lèi),但由于是針對(duì)特定匹配任務(wù)設(shè)計(jì)的,需要調(diào)整子網(wǎng)絡(luò)數(shù)目才能應(yīng)用于其他任務(wù),模型靈活性欠佳;近期,Wen等人[5]采用不相交映射網(wǎng)絡(luò)(disjoint mapping network, DIMNet)來(lái)監(jiān)督跨模態(tài)表示的學(xué)習(xí),在1∶2的跨模態(tài)匹配任務(wù)上獲得了較好的準(zhǔn)確率,超過(guò)了人類(lèi)主觀水平,但在一些挑戰(zhàn)性較高的匹配任務(wù)上,如1∶N匹配及跨模態(tài)檢索,該模型的表現(xiàn)有待提高.

    基于距離度量損失的學(xué)習(xí)方法通常利用多模態(tài)神經(jīng)網(wǎng)絡(luò)將人臉樣本和語(yǔ)音樣本映射到歐氏空間,并通過(guò)優(yōu)化網(wǎng)絡(luò)距離度量損失,使得同一個(gè)體的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)在歐氏空間中的距離足夠近,不同人的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)在歐氏空間中的距離足夠遠(yuǎn)[11].Nagrani等人[12]通過(guò)刻畫(huà)個(gè)人身份節(jié)點(diǎn)方式(person identity nodes, PINs)來(lái)描述身份,并采用對(duì)比損失來(lái)約束正負(fù)樣本對(duì)之間的距離,該方法提出了一種基于Curriculum的策略構(gòu)造樣本對(duì),但這種策略構(gòu)造的負(fù)樣本對(duì)中可能存在噪聲數(shù)據(jù);Xiong等人[13]采用了三元組損失來(lái)引導(dǎo)人臉-語(yǔ)音跨模態(tài)表示的學(xué)習(xí),然而該方法只構(gòu)造了跨模態(tài)三元組樣本,忽略了許多其他類(lèi)型有益于訓(xùn)練的三元組樣本,其跨模態(tài)關(guān)聯(lián)效果還有所欠缺.

    2 跨人臉-語(yǔ)音特征學(xué)習(xí)框架

    如圖1所示,本文提出的結(jié)合雙流深度網(wǎng)絡(luò)和雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架采用了常見(jiàn)的雙流網(wǎng)絡(luò)架構(gòu),包含人臉和語(yǔ)音2個(gè)分支網(wǎng)絡(luò).其中,人臉子網(wǎng)絡(luò)和語(yǔ)音子網(wǎng)絡(luò)的權(quán)重是各自獨(dú)立的,用來(lái)提取模態(tài)特有的特征;雙流網(wǎng)絡(luò)頂端的多模態(tài)加權(quán)殘差網(wǎng)絡(luò)的權(quán)重由2個(gè)模態(tài)共享,用來(lái)挖掘模態(tài)間語(yǔ)義關(guān)聯(lián),生成模態(tài)不變的跨模態(tài)表示;雙向五元組損失用于進(jìn)一步挖掘模態(tài)間關(guān)聯(lián),提高數(shù)據(jù)利用率和模型泛化性能;ID損失用于保證跨模態(tài)表示的可分性,促進(jìn)模型收斂.

    2.1 形式化定義

    2.2 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)

    針對(duì)2種模態(tài)的關(guān)聯(lián)性挖掘,雙流深度網(wǎng)絡(luò)能夠有效地進(jìn)行異構(gòu)特征的兼容性學(xué)習(xí).在跨模態(tài)特征表示學(xué)習(xí)中,文獻(xiàn)[14]為了挖掘文本模態(tài)和圖像模態(tài)之間的關(guān)聯(lián)并生成模態(tài)不變的跨模態(tài)表示,選擇在雙流網(wǎng)絡(luò)的頂端引入了權(quán)重共享的單層全連接.然而,一方面,單層全連接擬合能力有限,同時(shí)沒(méi)辦法解決非線性映射問(wèn)題,因而挖掘到的模態(tài)間關(guān)聯(lián)可能極為有限.另一方面,單純地增加全連接層數(shù)有時(shí)會(huì)使得網(wǎng)絡(luò)訓(xùn)練和優(yōu)化起來(lái)越來(lái)越復(fù)雜和困難.

    為解決上述問(wèn)題,受殘差網(wǎng)絡(luò)[15]思想的啟發(fā),本文在雙層全連接網(wǎng)絡(luò)的輸入層與輸出層之間引入了一種新的加權(quán)殘差連接,并采用權(quán)重共享策略保證生成的跨模態(tài)表示形式在同一個(gè)特征表示子空間中.本文提出的這種網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)稱(chēng)為多模態(tài)加權(quán)殘差網(wǎng)絡(luò)(multi-modal weighted residual network, MWRN).實(shí)驗(yàn)結(jié)果表明,該網(wǎng)絡(luò)可以有效地加強(qiáng)模態(tài)共享信息、挖掘模態(tài)間關(guān)聯(lián),促使模型生成更好的跨模態(tài)表示.

    (1)

    (2)

    其中,η為縮放因子,在網(wǎng)絡(luò)中是一個(gè)可學(xué)習(xí)的參數(shù).根據(jù)文獻(xiàn)[16]中的設(shè)計(jì),在網(wǎng)絡(luò)訓(xùn)練中縮放因子初始值設(shè)為0,用來(lái)避免訓(xùn)練初始階段出現(xiàn)過(guò)分的梯度波動(dòng)造成的不穩(wěn)定,從而使得模型在訓(xùn)練初期更加的穩(wěn)定,促進(jìn)整個(gè)網(wǎng)絡(luò)的訓(xùn)練平穩(wěn)性和魯棒性.

    Fig. 2 Multi-modal weighted residual network圖2 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)

    2.3 雙向五元組損失

    本文提出了一種雙向五元組損失函數(shù)進(jìn)行人臉-語(yǔ)音的語(yǔ)義關(guān)聯(lián)性學(xué)習(xí)約束,該損失由多個(gè)改進(jìn)的三元組損失構(gòu)成.具體地,三元組損失是一種常見(jiàn)的距離度量損失,其形式化定義為

    (3)

    其中,a表示固定(anchor)樣本,p表示與a屬于同一類(lèi)別的正(positive)樣本,n表示與a屬于不同類(lèi)別的負(fù)(negative)樣本,da,p表示固定樣本a與正樣本p對(duì)應(yīng)的特征表達(dá)之間的距離,da,n表示固定樣本a與負(fù)樣本n對(duì)應(yīng)的特征表達(dá)之間的距離,m表示最小間隔(margin).針對(duì)每個(gè)三元組a,p,n,三元組損失的優(yōu)化目標(biāo)是讓da,p盡可能小,da,n盡可能大,并且要讓da,p與da,n之間有一個(gè)最小的間隔m,T表示三元組樣本集合,形式化描述為

    da,p+m

    (4)

    然而,若要在整個(gè)訓(xùn)練集上構(gòu)造三元組,隨著訓(xùn)練集樣本數(shù)目增多,可能的三元組數(shù)量將呈立方級(jí)增長(zhǎng).因此,當(dāng)訓(xùn)練集非常大時(shí),訓(xùn)練將會(huì)非常耗時(shí).同時(shí),隨著訓(xùn)練的深入,大量的簡(jiǎn)單的三元組不具有判別性,并對(duì)模型表現(xiàn)的提升毫無(wú)貢獻(xiàn).為解決此問(wèn)題,文獻(xiàn)[17]提出了TriHard損失,它是一種采用基于批量(batch)的在線難樣本采樣策略的三元組損失.對(duì)于每個(gè)訓(xùn)練batch,隨機(jī)挑選B個(gè)ID,每個(gè)ID隨機(jī)挑選K個(gè)樣本,則每個(gè)batch中有B×K個(gè)樣本,其樣本集合記為Xbatch.對(duì)于每個(gè)樣本a,挑選一個(gè)最難正樣本p和最難負(fù)樣本n,最難正樣本p是Xbatch中與樣本a屬于同一ID的樣本中距離樣本a最遠(yuǎn)(語(yǔ)義最不相關(guān))的樣本,最難的負(fù)樣本n是Xbatch中與樣本a屬于不同ID的樣本中距離樣本a最近(語(yǔ)義最相關(guān))的樣本.TriHard損失的形式化定義為

    (5)

    其中,P表示Xbatch中與a的ID相同的樣本集合,Q表示Xbatch中與a的ID不同的樣本集合,m表示最小間隔.可以看到,由于TriHard損失是在每個(gè)batch上構(gòu)造三元組,而不是在整個(gè)訓(xùn)練集上,因而大大提高了模型的采樣效率與訓(xùn)練效率,同時(shí),借助難樣本的重點(diǎn)性采樣策略,簡(jiǎn)單的樣本將被過(guò)濾掉,因而提高了模型的魯棒性.為了提高模型訓(xùn)練效率,同時(shí)促使足夠多的有益于訓(xùn)練的三元組樣本參與訓(xùn)練,本文提出了多種樣本對(duì)構(gòu)造策略,進(jìn)而提出了跨模態(tài)TriHard損失以及混合模態(tài)TriHard損失.采用雙向訓(xùn)練策略的跨模態(tài)TriHard損失和混合模態(tài)TriHard損失一起構(gòu)成一種新的雙向五元組損失.

    (6)

    2.3.1 跨模態(tài)TriHard損失

    (7)

    (8)

    (9)

    跨模態(tài)TriHard損失定義為

    (10)

    跨模態(tài)TriHard損失可以有效縮減人臉模態(tài)和語(yǔ)音模態(tài)數(shù)據(jù)之間的“異構(gòu)鴻溝”,從而使得同一個(gè)ID的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)之間的距離足夠近,不同ID的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)之間的距離足夠遠(yuǎn).

    2.3.2 混合模態(tài)TriHard損失

    (11)

    (12)

    值得注意的是,由于正負(fù)樣本是在2個(gè)模態(tài)數(shù)據(jù)集上采樣得到的,因而xpos和xneg可能來(lái)自人臉模態(tài),也可能來(lái)自語(yǔ)音模態(tài),因而稱(chēng)之為混合模態(tài)三元組.以這種方式構(gòu)建的三元組稱(chēng)之為有效的混合模態(tài)TriHard三元組,滿(mǎn)足條件:

    (13)

    有效的混合模態(tài)TriHard三元組有4種表現(xiàn)形式,如圖3所示.其中,方形表示人臉樣本,圓形表示語(yǔ)音樣本,不同的顏色深淺代表不同的ID.從圖3中可以看出:第1種三元組是2.3.1節(jié)提到的跨模態(tài)TriHard三元組,固定樣本來(lái)自人臉模態(tài),正負(fù)樣本均來(lái)自語(yǔ)音模態(tài);第2種三元組中固定樣本與負(fù)樣本來(lái)自同一模態(tài),與正樣本來(lái)自不同模態(tài);第3種三元組中固定樣本與正樣本模態(tài)相同,與負(fù)樣本模態(tài)不同;第4種三元組中固定樣本及正負(fù)樣本均來(lái)自同一模態(tài),是一種模態(tài)內(nèi)TriHard三元組.綜合這些不同形式的三元組,混合模態(tài)TriHard損失的形式化定義為

    MTH(,xpos,xneg)=
    [d(,xpos)-d(,xneg)+m]+.

    (14)

    混合模態(tài)TriHard損失綜合考慮了模態(tài)間和模態(tài)內(nèi)的多種距離約束,極大地提高了模型的泛化能力.

    Fig. 3 Mixed-modal triplets with different forms圖3 不同表現(xiàn)形式的混合模態(tài)三元組

    2.3.3 雙向訓(xùn)練策略

    前面2.3.1節(jié)和2.3.2節(jié)在構(gòu)建TriHard三元組的過(guò)程中,默認(rèn)采用人臉樣本作為固定樣本,但實(shí)際上人臉樣本和語(yǔ)音樣本并沒(méi)有角色上的區(qū)別,同時(shí),很多跨模態(tài)任務(wù)都是雙向的,為了學(xué)習(xí)更適合于最終任務(wù)的跨模態(tài)表示,同時(shí)為了更多的有效的三元組樣本得以參與訓(xùn)練,本文基于雙向訓(xùn)練策略提出了雙向五元組損失.

    (15)

    (16)

    整個(gè)batch的雙向五元組損失定義為

    (17)

    雙向五元組損失可以同時(shí)優(yōu)化2個(gè)方向的五元組距離度量損失,從而可以極大地提高人臉-語(yǔ)音跨模態(tài)表示的魯棒性和模型的泛化能力.

    2.4 ID損失

    為確保人臉樣本和語(yǔ)音樣本在嵌入到公共表示空間之后的模態(tài)內(nèi)判別性得以保留,即保持良好的可分性,本文提出了基于ID損失的約束.每一個(gè)個(gè)體的身份ID可以看作一個(gè)類(lèi)別,通過(guò)在特征層后面附上一個(gè)全連接層φC(·)來(lái)實(shí)現(xiàn)對(duì)語(yǔ)義特征所屬的身份類(lèi)別的預(yù)測(cè).具體地,ID損失的定義為

    (18)

    2.5 模型訓(xùn)練

    本文提出方法的整體損失函數(shù)形式為

    (19)

    本文采用mini-batch的訓(xùn)練方式,mini-batch可以在訓(xùn)練過(guò)程中引入隨機(jī)性,同時(shí)可以提升模型訓(xùn)練速度,每個(gè)batch會(huì)隨機(jī)挑選16個(gè)ID,接著每個(gè)ID隨機(jī)挑選4張人臉圖片和4條語(yǔ)音數(shù)據(jù).同時(shí),本文采用結(jié)合權(quán)重衰減和動(dòng)量技術(shù)的隨機(jī)梯度下降(stochastic gradient descent, SGD)方法來(lái)優(yōu)化模型,其中,一方面,權(quán)重衰減(weight_decay=0.000 5)用來(lái)調(diào)節(jié)模型復(fù)雜度對(duì)損失函數(shù)的影響,以防止過(guò)擬合;另一方面,動(dòng)量(momentum=0.9)用來(lái)加速模型收斂過(guò)程.本文采用了一種動(dòng)態(tài)的學(xué)習(xí)率調(diào)整策略,學(xué)習(xí)率會(huì)隨著訓(xùn)練輪數(shù)的增加而衰減,訓(xùn)練共需50輪,訓(xùn)練過(guò)程中學(xué)習(xí)率將從初始學(xué)習(xí)率10-3衰減到10-8.

    3 實(shí)驗(yàn)與結(jié)果

    為了充分評(píng)估本文所提出方法的有效性和魯棒性,本文在公開(kāi)的Voxceleb1音視頻數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)測(cè)試,下面具體介紹實(shí)驗(yàn)詳情.

    3.1 數(shù)據(jù)集介紹

    Voxceleb1[18]是公開(kāi)的大規(guī)模音視頻數(shù)據(jù)集,由上傳到Y(jié)ouTube的采訪視頻中提取的1 251個(gè)名人的音視頻短片組成.該數(shù)據(jù)集總計(jì)包含10萬(wàn)多條音頻、2萬(wàn)多條視頻.文獻(xiàn)[12]采用SyncNet[19]方法從該數(shù)據(jù)集中提取出超過(guò)10萬(wàn)條說(shuō)話人人臉軌跡片段.在本文實(shí)驗(yàn)中,實(shí)驗(yàn)所選取的數(shù)據(jù)集是由該文獻(xiàn)作者處理好并在其官網(wǎng)公開(kāi)發(fā)布的Voxceleb1數(shù)據(jù)集,其數(shù)據(jù)集劃分方式也與作者在文獻(xiàn)[12]中的描述相同.

    3.2 實(shí)現(xiàn)細(xì)節(jié)

    本文方法依據(jù)Pytorch深度學(xué)習(xí)框架進(jìn)行配置和實(shí)現(xiàn),其中雙向五元組損失中的間隔設(shè)置為m=0.6,人臉子網(wǎng)絡(luò)采用Inception-ResNet-v1模型,并用標(biāo)準(zhǔn)的VGGFace2[20]數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化,輸入的人臉圖片采用了與PINs[12]方法和SSNet[21]相同的預(yù)處理技術(shù);語(yǔ)音子網(wǎng)絡(luò)采用與DIMNet-Voice[5]方法相同的結(jié)構(gòu),并使用在Voxceleb1上的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化.人臉特征和語(yǔ)音特征輸出維度為256.

    3.3 實(shí)驗(yàn)場(chǎng)景及評(píng)價(jià)指標(biāo)

    為了全面驗(yàn)證本文方法的有效性,本文設(shè)計(jì)了4種不同的跨人臉-語(yǔ)音匹配任務(wù),分別為跨模態(tài)驗(yàn)證、1∶2 匹配、1∶N匹配以及跨模態(tài)檢索任務(wù).

    1) 跨模態(tài)驗(yàn)證

    跨模態(tài)驗(yàn)證是指給出1張人臉圖片和1條語(yǔ)音數(shù)據(jù),判斷該數(shù)據(jù)對(duì)是否屬于同一個(gè)人,其評(píng)價(jià)標(biāo)準(zhǔn)采用AUC值作為量化指標(biāo).

    2) 1∶2 匹配

    跨模態(tài)1∶2 匹配是指給出1張人臉圖片和2條語(yǔ)音數(shù)據(jù),2條語(yǔ)音數(shù)據(jù)中只有1條與給定的人臉圖片屬于同一個(gè)人,模型的任務(wù)是預(yù)測(cè)與給定的人臉圖片匹配的那條語(yǔ)音數(shù)據(jù)的位置編號(hào),本文稱(chēng)之為人臉到語(yǔ)音(face to voice, F-V)下1∶2 匹配;類(lèi)似地,可以定義語(yǔ)音到人臉(voice to face, V-F)下1∶2 匹配.F-V下1∶2 跨模態(tài)匹配和V-F下1∶2 跨模態(tài)匹配均采用百分制匹配準(zhǔn)確率作為評(píng)價(jià)指標(biāo),匹配準(zhǔn)確率計(jì)算方式與文獻(xiàn)[2]相同.

    3) 1∶N匹配

    跨模態(tài)1∶N匹配是1∶2 匹配任務(wù)的擴(kuò)展版本,它將不匹配的樣本數(shù)量擴(kuò)增至N個(gè).隨著N的增大,任務(wù)的難度也將不斷增大.同樣地,1∶N匹配也有2個(gè)實(shí)驗(yàn)場(chǎng)景,均采用匹配準(zhǔn)確率作為評(píng)價(jià)指標(biāo).

    4) 跨模態(tài)檢索

    跨模態(tài)檢索任務(wù)中可以有一個(gè)或多個(gè)樣本與給定的查詢(xún)樣本匹配,因而匹配任務(wù)難度更大.本文采用隨機(jī)結(jié)果(Chance)作為參照依據(jù),并利用標(biāo)準(zhǔn)的百分制平均準(zhǔn)確度(mAP)作為該任務(wù)的評(píng)價(jià)指標(biāo).

    3.4 實(shí)驗(yàn)對(duì)比結(jié)果

    為了驗(yàn)證本文方法生成的跨模態(tài)表示的有效性,本文將其應(yīng)用于3.3節(jié)中提到的4種任務(wù).

    1) 跨模態(tài)驗(yàn)證

    在跨模態(tài)驗(yàn)證任務(wù)上,本文方法與現(xiàn)有方法的實(shí)驗(yàn)結(jié)果對(duì)比如表1所示.其中,“U”分組中是沒(méi)有分層的測(cè)試數(shù)據(jù),“G”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自性別相同的2個(gè)人,“N”分組中每個(gè)測(cè)試樣本對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自國(guó)籍相同的2個(gè)人,“A”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自年齡相同的2個(gè)人,“GNA”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自性別、國(guó)籍、年齡均相同的2個(gè)人.

    Table 1 Comparison with Other Methods on Verification Task

    從實(shí)驗(yàn)結(jié)果可以得到,本文方法在各個(gè)分組上的各項(xiàng)指標(biāo)幾乎全面超越了現(xiàn)有方法,取得了較好的跨模態(tài)驗(yàn)證結(jié)果.例如,本文提出方法在“U”“N”“A”上取得了優(yōu)于現(xiàn)有方法的跨模態(tài)驗(yàn)證結(jié)果.同時(shí)也注意到,相比其他分組,本文方法和其他方法在“G”分組中的表現(xiàn)都稍弱,這說(shuō)明性別信息對(duì)模型執(zhí)行跨模態(tài)驗(yàn)證任務(wù)有較大影響.

    2) 1∶2 匹配任務(wù)

    在1∶2 匹配任務(wù)上,本文方法與現(xiàn)有方法的實(shí)驗(yàn)結(jié)果對(duì)比如表2所示.實(shí)驗(yàn)結(jié)果中1∶2 匹配任務(wù)包含“F-V”和“V-F”2個(gè)跨模態(tài)匹配場(chǎng)景,并且“U”“G”“N”和“GN”代表的含義與本節(jié)跨模態(tài)驗(yàn)證部分描述一致.本文方法在這2個(gè)場(chǎng)景中的表現(xiàn)均優(yōu)于現(xiàn)有方法,表明本文方法具有較好的魯棒性.

    Table 2 Comparisons on 1∶2 Cross-Modal Matching Task表2 跨模態(tài)1∶2 匹配任務(wù)上的實(shí)驗(yàn)對(duì)比結(jié)果 %

    3) 1∶N匹配

    圖 4 展示了本文方法與現(xiàn)有方法在1∶N匹配任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比.從實(shí)驗(yàn)結(jié)果可以看到,本文方法無(wú)論是在“F-V”匹配任務(wù)上還是在“V-F”匹配任務(wù)上均輕松超越現(xiàn)有方法.當(dāng)N取較大值時(shí),本文方法表現(xiàn)仍然比其他方法好,表明本文方法相比其他方法可以更好地解決一些比較困難的任務(wù).

    Fig. 4 Comparisons with other methods on 1∶N matching task圖4 不同方法在1∶N匹配任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比

    4) 跨模態(tài)檢索

    表3展示了本文方法與現(xiàn)有方法在跨模態(tài)檢索任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比.從實(shí)驗(yàn)結(jié)果中可以看出本文方法在模態(tài)檢索任務(wù)上的表現(xiàn)遠(yuǎn)遠(yuǎn)超過(guò)隨機(jī)水平,并優(yōu)于現(xiàn)有的對(duì)比方法.因此,實(shí)驗(yàn)結(jié)果充分表明本文提出模型能夠有效學(xué)習(xí)人臉-語(yǔ)音間的語(yǔ)義關(guān)聯(lián).同時(shí),本文方法在“F-V”和“V-F”檢索場(chǎng)景中的表現(xiàn)均優(yōu)于現(xiàn)有方法,表明了本文方法的優(yōu)越性.

    Table 3 Comparison with Other Methods on Cross-modal Retrieval Task

    跨模態(tài)檢索任務(wù)是1∶N匹配任務(wù)的拓展,旨在將候選樣本規(guī)模從N個(gè)(本文實(shí)驗(yàn)中N≤5)擴(kuò)展到整個(gè)測(cè)試集,同時(shí)候選樣本中匹配樣本數(shù)量Nm也從一個(gè)增加到若干個(gè)(1

    在測(cè)試集上執(zhí)行的4個(gè)基于人臉-語(yǔ)音的跨模態(tài)匹配任務(wù)中,本文方法幾乎全面超越現(xiàn)有方法,表明本文方法擁有很好的泛化性能.為了進(jìn)一步驗(yàn)證采用本文方法得到的跨模態(tài)表示的有效性,首先,本文從測(cè)試集中隨機(jī)挑選了8個(gè)人,每人挑選40條語(yǔ)音數(shù)據(jù);接著,使用訓(xùn)練好的模型提取它們的特征;最后,采用t-SNE[24]技術(shù)對(duì)提取的特征進(jìn)行可視化,可視化結(jié)果如圖5所示.可以看到,同一個(gè)人的語(yǔ)音樣本對(duì)應(yīng)的語(yǔ)音特征聚到了一起,不同人的語(yǔ)音樣本對(duì)應(yīng)的語(yǔ)音特征相距較遠(yuǎn),表明采用本文方法提取到的跨模態(tài)表示具有較好的判別性和可分性.

    Fig. 5 Visualization of the deep voice embeddings圖5 語(yǔ)音深度特征可視化結(jié)果圖

    4 消融分析

    為了探究本文提出的多模態(tài)加權(quán)殘差網(wǎng)絡(luò)、雙向五元組損失以及其中的超參數(shù)對(duì)模型最終表現(xiàn)的影響,本文針對(duì)跨模態(tài)驗(yàn)證、1∶2 匹配、1∶3匹配以及跨模態(tài)檢索任務(wù)設(shè)計(jì)了一系列消融分析實(shí)驗(yàn).

    4.1 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)的影響

    為探究多模態(tài)加權(quán)殘差網(wǎng)絡(luò)(MWRN)對(duì)模型表現(xiàn)的影響,本文分別用單層全連接(SFC)、雙層全連接(DFC)以及引入殘差連接的雙層全連接網(wǎng)絡(luò)(DFC-R)替換MWRN進(jìn)行實(shí)驗(yàn),在4個(gè)不同任務(wù)上的實(shí)驗(yàn)結(jié)果如表4所示.可以發(fā)現(xiàn),當(dāng)把全連接層數(shù)由1層增加到2層時(shí),模型表現(xiàn)有所下降,表明更深的網(wǎng)絡(luò)可能更難訓(xùn)練和優(yōu)化;引入殘差連接后模型的表現(xiàn)有大幅提升,表明殘差連接可以很好地解決上述問(wèn)題;接著在殘差連接中引入可學(xué)習(xí)的縮放因子后,模型表現(xiàn)又有一定幅度的提升,表明可學(xué)習(xí)的縮放因子可以進(jìn)一步地減輕網(wǎng)絡(luò)訓(xùn)練的難度,建立更有效的跨模態(tài)關(guān)聯(lián),進(jìn)而促使網(wǎng)絡(luò)收斂到更優(yōu)的值.

    表4 Cross-modal Matching Performance Performance Under Different Network Settings

    4.2 各項(xiàng)損失函數(shù)的影響

    本節(jié)將探討本文提出的雙向五元組損失(Bi-Q損失)和ID損失對(duì)模型表現(xiàn)的影響.圖6展示了本文模型采用不同損失函數(shù)訓(xùn)練時(shí)在驗(yàn)證集上的1∶2 匹配任務(wù)準(zhǔn)確率在前15輪的變化曲線.

    Fig. 6 Performance of our method with different loss圖6 采用不同損失函數(shù)時(shí)本文模型的表現(xiàn)

    可以看到,單獨(dú)采用ID損失時(shí),隨著訓(xùn)練輪數(shù)的增加,模型表現(xiàn)雖然總體呈穩(wěn)定上升趨勢(shì),但最終表現(xiàn)并不是特別好;單獨(dú)采用雙向五元組損失時(shí)模型并不收斂;當(dāng)把ID損失與雙向五元組損失結(jié)合起來(lái)使用時(shí),模型很快就收斂了,并取得了不錯(cuò)表現(xiàn),表明在模型訓(xùn)練過(guò)程中嵌入身份ID信息可以保證模型訓(xùn)練過(guò)程的穩(wěn)定性,促進(jìn)模型收斂.

    4.3 間隔m取值的影響

    本節(jié)探討五元組損失中間隔m的取值對(duì)模型表現(xiàn)的影響.圖7展示了當(dāng)m取不同值時(shí)模型在4個(gè)不同跨模態(tài)匹配任務(wù)上的表現(xiàn).

    Fig. 7 Performance of our method with different m圖7 間隔m取不同值時(shí)模型表現(xiàn)

    從實(shí)驗(yàn)中可以看到,當(dāng)m=0.6時(shí)本文提出的模型的表現(xiàn)最佳,同時(shí),對(duì)于每個(gè)跨模態(tài)匹配任務(wù),當(dāng)m取不同的值時(shí)模型表現(xiàn)的波動(dòng)范圍很小,表明本文方法受m取值的影響并不大,具有較好的穩(wěn)定性.

    5 結(jié) 論

    針對(duì)跨人臉-語(yǔ)音匹配挑戰(zhàn)性問(wèn)題,本文提出了一種結(jié)合雙流網(wǎng)絡(luò)和雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架,使用該框架學(xué)到的跨模態(tài)特征可直接應(yīng)用于多種人臉-語(yǔ)音的跨模態(tài)匹配任務(wù).在公開(kāi)名人多模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:本文提出的網(wǎng)絡(luò)模型能夠?qū)Σ煌瑘?chǎng)景下名人影像數(shù)據(jù)進(jìn)行跨模態(tài)標(biāo)注,效果顯著,取得了對(duì)面部姿態(tài)變化和樣本多樣性的魯棒性,并在這些任務(wù)上的表現(xiàn)幾乎全面超越了現(xiàn)有方法,實(shí)驗(yàn)驗(yàn)證了本文提出方法的有效性.另外,除了人臉和語(yǔ)音2種模態(tài)外,本文方法預(yù)期也同樣適用于其他類(lèi)型的視聽(tīng)媒體樣本進(jìn)行跨模態(tài)匹配.

    作者貢獻(xiàn)聲明:柳欣負(fù)責(zé)算法設(shè)計(jì)與實(shí)驗(yàn);王銳負(fù)責(zé)模型優(yōu)化和編碼;鐘必能負(fù)責(zé)模型可行性分析;王楠楠負(fù)責(zé)實(shí)驗(yàn)的多樣性分析.

    猜你喜歡
    三元組人臉損失
    基于語(yǔ)義增強(qiáng)雙編碼器的方面情感三元組提取
    軟件工程(2024年12期)2024-12-28 00:00:00
    基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法*
    少問(wèn)一句,損失千金
    有特點(diǎn)的人臉
    胖胖損失了多少元
    關(guān)于余撓三元組的periodic-模
    玉米抽穗前倒伏怎么辦?怎么減少損失?
    三國(guó)漫——人臉解鎖
    一般自由碰撞的最大動(dòng)能損失
    馬面部與人臉相似度驚人
    国产xxxxx性猛交| 国产成人免费无遮挡视频| 大码成人一级视频| 精品久久久久久电影网| 在线观看免费午夜福利视频| 看非洲黑人一级黄片| 午夜老司机福利片| 久久久精品94久久精品| 亚洲精品国产色婷婷电影| 伦理电影免费视频| 国产1区2区3区精品| 精品国产国语对白av| 9191精品国产免费久久| 国产日韩一区二区三区精品不卡| 女人爽到高潮嗷嗷叫在线视频| 性色av一级| 99久久人妻综合| 日韩制服丝袜自拍偷拍| 欧美在线黄色| 久久毛片免费看一区二区三区| 两个人免费观看高清视频| 久久久精品免费免费高清| 日韩精品免费视频一区二区三区| 欧美日本中文国产一区发布| 中文字幕人妻丝袜制服| 亚洲av日韩在线播放| 又大又爽又粗| 成人国产麻豆网| 成人三级做爰电影| 一级毛片电影观看| 日韩成人av中文字幕在线观看| 中文字幕高清在线视频| 亚洲精品国产av成人精品| 好男人视频免费观看在线| 精品卡一卡二卡四卡免费| 天天躁日日躁夜夜躁夜夜| 国产精品嫩草影院av在线观看| 欧美日韩av久久| 国产精品熟女久久久久浪| 在现免费观看毛片| 午夜激情久久久久久久| 欧美激情 高清一区二区三区| 久久毛片免费看一区二区三区| 黄色视频不卡| 看免费成人av毛片| 天堂中文最新版在线下载| 母亲3免费完整高清在线观看| 只有这里有精品99| 久久久精品国产亚洲av高清涩受| 国产欧美日韩综合在线一区二区| 97在线人人人人妻| 久久狼人影院| 久久久精品免费免费高清| 亚洲成人手机| 久久ye,这里只有精品| 99久久综合免费| 免费在线观看视频国产中文字幕亚洲 | 在线观看国产h片| 国产成人免费无遮挡视频| 麻豆精品久久久久久蜜桃| 男人舔女人的私密视频| 久久狼人影院| 中文字幕人妻丝袜一区二区 | 亚洲,一卡二卡三卡| 精品卡一卡二卡四卡免费| 国产精品一区二区精品视频观看| 涩涩av久久男人的天堂| 两个人免费观看高清视频| 欧美激情极品国产一区二区三区| 最近最新中文字幕大全免费视频 | 亚洲七黄色美女视频| 日韩伦理黄色片| 久久热在线av| 老司机亚洲免费影院| 韩国高清视频一区二区三区| 黄色 视频免费看| 搡老岳熟女国产| 一级爰片在线观看| 九草在线视频观看| 日韩av在线免费看完整版不卡| 午夜日本视频在线| 国产97色在线日韩免费| 久久青草综合色| 国精品久久久久久国模美| 啦啦啦中文免费视频观看日本| 曰老女人黄片| 欧美av亚洲av综合av国产av | 国产精品免费大片| 国产精品免费大片| 夜夜骑夜夜射夜夜干| 免费看av在线观看网站| 国产亚洲精品第一综合不卡| 精品少妇黑人巨大在线播放| 久久人妻熟女aⅴ| 国产一区二区三区av在线| 久久这里只有精品19| 久久精品久久精品一区二区三区| 亚洲熟女毛片儿| 男人添女人高潮全过程视频| 蜜桃在线观看..| 欧美人与善性xxx| 永久免费av网站大全| 成人国产麻豆网| 精品午夜福利在线看| 黄片播放在线免费| 欧美国产精品va在线观看不卡| 国产 精品1| 黄色 视频免费看| 熟女av电影| 麻豆av在线久日| 又大又黄又爽视频免费| 伦理电影免费视频| 亚洲自偷自拍图片 自拍| 丰满饥渴人妻一区二区三| 亚洲精品久久成人aⅴ小说| 五月开心婷婷网| 母亲3免费完整高清在线观看| 各种免费的搞黄视频| 精品一区二区三区av网在线观看 | 两个人看的免费小视频| 高清不卡的av网站| 亚洲精品国产区一区二| 国产爽快片一区二区三区| 国产精品香港三级国产av潘金莲 | 熟女av电影| 99精国产麻豆久久婷婷| 在线观看免费日韩欧美大片| 一级毛片 在线播放| av天堂久久9| 天天躁日日躁夜夜躁夜夜| 日韩中文字幕欧美一区二区 | kizo精华| 国产精品一区二区在线观看99| 青草久久国产| 亚洲精品国产色婷婷电影| 超碰97精品在线观看| 午夜福利免费观看在线| 久久久国产一区二区| 一级黄片播放器| 亚洲精品美女久久av网站| 99久久精品国产亚洲精品| 成年人午夜在线观看视频| 亚洲欧美成人精品一区二区| 操出白浆在线播放| 老司机在亚洲福利影院| 国产成人精品在线电影| 久久久久精品国产欧美久久久 | 久久97久久精品| 亚洲精品一区蜜桃| 国产极品天堂在线| 一区二区三区乱码不卡18| 日韩电影二区| 日韩精品有码人妻一区| 久久久久精品性色| 日韩熟女老妇一区二区性免费视频| 国产成人欧美在线观看 | 熟女av电影| 国产国语露脸激情在线看| 欧美人与性动交α欧美软件| 热99久久久久精品小说推荐| 美女主播在线视频| 欧美日韩国产mv在线观看视频| 搡老岳熟女国产| 这个男人来自地球电影免费观看 | 欧美激情高清一区二区三区 | 大香蕉久久网| 伦理电影免费视频| 精品亚洲成国产av| 欧美精品一区二区免费开放| 老司机影院成人| 国产毛片在线视频| 国产国语露脸激情在线看| 超碰成人久久| 黄色视频不卡| 伦理电影免费视频| 亚洲美女搞黄在线观看| 欧美日韩成人在线一区二区| 老司机深夜福利视频在线观看 | 亚洲国产看品久久| 日韩精品有码人妻一区| 麻豆乱淫一区二区| 久久人妻熟女aⅴ| 久久热在线av| 欧美精品高潮呻吟av久久| 亚洲精品,欧美精品| 亚洲国产欧美网| 久久精品aⅴ一区二区三区四区| 欧美日韩视频精品一区| 国产精品久久久久久精品电影小说| 国产精品二区激情视频| 亚洲精品国产一区二区精华液| 亚洲成人一二三区av| av.在线天堂| 黄片播放在线免费| 少妇精品久久久久久久| 亚洲色图 男人天堂 中文字幕| 亚洲欧美清纯卡通| 另类亚洲欧美激情| 色吧在线观看| 中文字幕亚洲精品专区| 亚洲av国产av综合av卡| 午夜91福利影院| 热99久久久久精品小说推荐| 亚洲国产欧美在线一区| 黑人巨大精品欧美一区二区蜜桃| 亚洲精品,欧美精品| 人妻人人澡人人爽人人| 尾随美女入室| 亚洲综合色网址| 亚洲成人一二三区av| 天堂中文最新版在线下载| 黄色怎么调成土黄色| 巨乳人妻的诱惑在线观看| 香蕉国产在线看| 欧美国产精品va在线观看不卡| 99国产精品免费福利视频| 可以免费在线观看a视频的电影网站 | 99国产综合亚洲精品| 中文精品一卡2卡3卡4更新| 亚洲精品国产区一区二| 亚洲av欧美aⅴ国产| 国产成人免费无遮挡视频| 日韩欧美一区视频在线观看| 中国三级夫妇交换| 国产精品久久久久久精品古装| 久久精品国产亚洲av高清一级| xxxhd国产人妻xxx| 精品国产一区二区三区四区第35| 国产一区二区在线观看av| 麻豆乱淫一区二区| 美女大奶头黄色视频| 中文字幕高清在线视频| 久久天堂一区二区三区四区| 2018国产大陆天天弄谢| videos熟女内射| 亚洲av国产av综合av卡| 成年人午夜在线观看视频| 成人免费观看视频高清| 观看美女的网站| 亚洲国产看品久久| 一本色道久久久久久精品综合| 美女视频免费永久观看网站| 亚洲av日韩在线播放| 一二三四中文在线观看免费高清| 中文字幕人妻丝袜一区二区 | 国产不卡av网站在线观看| 桃花免费在线播放| 亚洲av成人不卡在线观看播放网 | 黄频高清免费视频| 国产免费视频播放在线视频| 亚洲精品美女久久久久99蜜臀 | 黄色视频在线播放观看不卡| 中文字幕另类日韩欧美亚洲嫩草| 丝袜美足系列| 十八禁网站网址无遮挡| 久久久久精品国产欧美久久久 | 久久精品亚洲熟妇少妇任你| 日韩,欧美,国产一区二区三区| 国产一区亚洲一区在线观看| 韩国精品一区二区三区| 亚洲精品自拍成人| 不卡av一区二区三区| 19禁男女啪啪无遮挡网站| 欧美少妇被猛烈插入视频| 国产亚洲精品第一综合不卡| 日本wwww免费看| 麻豆精品久久久久久蜜桃| 51午夜福利影视在线观看| 日日摸夜夜添夜夜爱| 亚洲视频免费观看视频| 国产成人啪精品午夜网站| 亚洲少妇的诱惑av| 久久久精品国产亚洲av高清涩受| 18禁动态无遮挡网站| 汤姆久久久久久久影院中文字幕| 国产精品99久久99久久久不卡 | 久热爱精品视频在线9| 国产有黄有色有爽视频| 王馨瑶露胸无遮挡在线观看| 亚洲中文av在线| 久久热在线av| 熟女av电影| 熟女少妇亚洲综合色aaa.| 丝瓜视频免费看黄片| 日本av免费视频播放| 午夜激情av网站| 免费观看av网站的网址| 一区二区三区乱码不卡18| www.av在线官网国产| 国产人伦9x9x在线观看| 亚洲人成网站在线观看播放| 黑人猛操日本美女一级片| 国产成人系列免费观看| 十分钟在线观看高清视频www| 飞空精品影院首页| 一区在线观看完整版| 欧美成人午夜精品| 色精品久久人妻99蜜桃| av女优亚洲男人天堂| 精品国产一区二区三区久久久樱花| 我的亚洲天堂| 高清视频免费观看一区二区| 两个人看的免费小视频| 欧美激情 高清一区二区三区| www.精华液| 无遮挡黄片免费观看| 国产国语露脸激情在线看| 免费看av在线观看网站| 日本av免费视频播放| a级毛片黄视频| 午夜福利在线免费观看网站| 中文字幕高清在线视频| 人人妻人人澡人人爽人人夜夜| 日韩成人av中文字幕在线观看| 另类亚洲欧美激情| 国产精品 欧美亚洲| 国产色婷婷99| 色综合欧美亚洲国产小说| 亚洲七黄色美女视频| 国产人伦9x9x在线观看| 1024香蕉在线观看| 国产精品欧美亚洲77777| 日本欧美视频一区| 又粗又硬又长又爽又黄的视频| av在线app专区| 人人妻人人澡人人看| 老汉色∧v一级毛片| 欧美日韩成人在线一区二区| 一区二区三区激情视频| 在线观看免费日韩欧美大片| 精品国产超薄肉色丝袜足j| 麻豆av在线久日| a 毛片基地| 亚洲国产精品一区二区三区在线| 在现免费观看毛片| av有码第一页| 啦啦啦在线免费观看视频4| 日韩一区二区视频免费看| 可以免费在线观看a视频的电影网站 | 一级,二级,三级黄色视频| 男人爽女人下面视频在线观看| 免费观看人在逋| 王馨瑶露胸无遮挡在线观看| 人体艺术视频欧美日本| 老司机深夜福利视频在线观看 | 大香蕉久久网| 99久久综合免费| videosex国产| 丰满少妇做爰视频| 你懂的网址亚洲精品在线观看| netflix在线观看网站| videosex国产| 丰满少妇做爰视频| 黄频高清免费视频| 国产老妇伦熟女老妇高清| 国产免费福利视频在线观看| 亚洲国产精品成人久久小说| 母亲3免费完整高清在线观看| 曰老女人黄片| 亚洲一区二区三区欧美精品| 天堂俺去俺来也www色官网| 欧美日韩成人在线一区二区| 蜜桃国产av成人99| 99热国产这里只有精品6| 飞空精品影院首页| 日韩精品有码人妻一区| 极品少妇高潮喷水抽搐| 精品久久蜜臀av无| 青春草视频在线免费观看| 又粗又硬又长又爽又黄的视频| 欧美97在线视频| 国产精品人妻久久久影院| 午夜影院在线不卡| 男女边吃奶边做爰视频| 免费看不卡的av| 亚洲欧洲精品一区二区精品久久久 | 男女免费视频国产| 下体分泌物呈黄色| 这个男人来自地球电影免费观看 | 精品国产一区二区久久| 精品亚洲乱码少妇综合久久| 久久久久视频综合| 久久精品aⅴ一区二区三区四区| 亚洲欧洲日产国产| 亚洲国产精品999| 精品第一国产精品| 成年人免费黄色播放视频| 免费观看性生交大片5| 看免费成人av毛片| 在线观看免费高清a一片| 亚洲av日韩精品久久久久久密 | 女人爽到高潮嗷嗷叫在线视频| 国产精品av久久久久免费| 夜夜骑夜夜射夜夜干| 亚洲欧美一区二区三区黑人| 日韩 亚洲 欧美在线| 亚洲精品日韩在线中文字幕| 国产无遮挡羞羞视频在线观看| 国产一区二区三区av在线| 欧美 日韩 精品 国产| 欧美日韩视频精品一区| 国产欧美日韩一区二区三区在线| 国产成人91sexporn| 国产亚洲av片在线观看秒播厂| 成人国产av品久久久| 久久久久精品久久久久真实原创| 久久久久久免费高清国产稀缺| 精品福利永久在线观看| 在线观看免费高清a一片| 免费在线观看完整版高清| 亚洲欧洲日产国产| 久久毛片免费看一区二区三区| 成人漫画全彩无遮挡| 欧美黑人欧美精品刺激| 午夜福利视频精品| 最近中文字幕2019免费版| 美国免费a级毛片| 免费观看人在逋| 美国免费a级毛片| 国产成人精品无人区| 国产精品免费视频内射| 波多野结衣一区麻豆| 熟妇人妻不卡中文字幕| 可以免费在线观看a视频的电影网站 | 亚洲美女视频黄频| 国产一区有黄有色的免费视频| 中文精品一卡2卡3卡4更新| 日韩 欧美 亚洲 中文字幕| √禁漫天堂资源中文www| 久久婷婷青草| xxx大片免费视频| 日日啪夜夜爽| 大片电影免费在线观看免费| 免费少妇av软件| 性少妇av在线| 亚洲精品一区蜜桃| 2018国产大陆天天弄谢| 精品一区二区三卡| 久久久久视频综合| 国产在线一区二区三区精| av网站免费在线观看视频| av免费观看日本| 黄色一级大片看看| 啦啦啦中文免费视频观看日本| 久久鲁丝午夜福利片| 欧美久久黑人一区二区| 国产精品久久久人人做人人爽| 激情五月婷婷亚洲| 国产av一区二区精品久久| www.精华液| 久久精品aⅴ一区二区三区四区| 亚洲综合色网址| 国产亚洲av片在线观看秒播厂| 亚洲伊人久久精品综合| 亚洲美女搞黄在线观看| 欧美日韩福利视频一区二区| 三上悠亚av全集在线观看| 国产熟女午夜一区二区三区| 国产成人欧美| 免费在线观看黄色视频的| 久久人人97超碰香蕉20202| 免费在线观看黄色视频的| 青春草亚洲视频在线观看| 少妇 在线观看| 老鸭窝网址在线观看| 男人爽女人下面视频在线观看| 亚洲欧美一区二区三区黑人| 亚洲自偷自拍图片 自拍| 成年美女黄网站色视频大全免费| 最近手机中文字幕大全| 国产精品av久久久久免费| 亚洲 欧美一区二区三区| 老汉色av国产亚洲站长工具| 最近中文字幕高清免费大全6| www.av在线官网国产| 久久97久久精品| 91成人精品电影| 菩萨蛮人人尽说江南好唐韦庄| 老汉色∧v一级毛片| 亚洲av国产av综合av卡| 日韩 亚洲 欧美在线| 母亲3免费完整高清在线观看| 日韩 亚洲 欧美在线| 18在线观看网站| 日韩一区二区三区影片| 亚洲精品自拍成人| 少妇 在线观看| 欧美日韩成人在线一区二区| 妹子高潮喷水视频| 亚洲一卡2卡3卡4卡5卡精品中文| 婷婷成人精品国产| 美女主播在线视频| 亚洲图色成人| 国产精品秋霞免费鲁丝片| 中文字幕亚洲精品专区| 99精品久久久久人妻精品| 中文字幕亚洲精品专区| 最黄视频免费看| 18禁观看日本| 日韩精品有码人妻一区| 男人舔女人的私密视频| bbb黄色大片| 精品国产一区二区三区四区第35| 天美传媒精品一区二区| 狠狠婷婷综合久久久久久88av| 少妇人妻精品综合一区二区| 你懂的网址亚洲精品在线观看| 亚洲国产最新在线播放| 老司机影院毛片| 啦啦啦在线免费观看视频4| 熟女av电影| 日本猛色少妇xxxxx猛交久久| 深夜精品福利| 亚洲欧美清纯卡通| 青草久久国产| 亚洲国产毛片av蜜桃av| 综合色丁香网| 一级毛片黄色毛片免费观看视频| 在线免费观看不下载黄p国产| 别揉我奶头~嗯~啊~动态视频 | 精品少妇内射三级| 一级,二级,三级黄色视频| 天天躁夜夜躁狠狠躁躁| 免费久久久久久久精品成人欧美视频| 19禁男女啪啪无遮挡网站| 久久久久网色| 精品国产乱码久久久久久小说| 青春草视频在线免费观看| av国产精品久久久久影院| 最近最新中文字幕大全免费视频 | 啦啦啦 在线观看视频| 久久精品亚洲熟妇少妇任你| 一区在线观看完整版| 巨乳人妻的诱惑在线观看| 日本av手机在线免费观看| 中文字幕人妻丝袜制服| 亚洲精品中文字幕在线视频| 亚洲av福利一区| 日韩,欧美,国产一区二区三区| www日本在线高清视频| 香蕉国产在线看| 午夜影院在线不卡| 啦啦啦中文免费视频观看日本| 久久99一区二区三区| 国产精品久久久久久久久免| 啦啦啦在线观看免费高清www| 99国产精品免费福利视频| 日本欧美国产在线视频| 汤姆久久久久久久影院中文字幕| 日韩中文字幕欧美一区二区 | 国产一区二区三区av在线| 国产精品99久久99久久久不卡 | 2021少妇久久久久久久久久久| 亚洲七黄色美女视频| 国产 精品1| 十八禁人妻一区二区| 另类精品久久| 国产欧美日韩综合在线一区二区| 国产深夜福利视频在线观看| 一本色道久久久久久精品综合| 日韩 欧美 亚洲 中文字幕| 国产精品 欧美亚洲| 亚洲国产精品999| 青青草视频在线视频观看| 久久av网站| 校园人妻丝袜中文字幕| 国产精品二区激情视频| 老司机影院成人| 又大又黄又爽视频免费| 久久天堂一区二区三区四区| 婷婷色综合www| 日本午夜av视频| 两个人免费观看高清视频| 9191精品国产免费久久| 久久99精品国语久久久| 国产又爽黄色视频| 丁香六月欧美| 又大又爽又粗| 欧美av亚洲av综合av国产av | 精品国产露脸久久av麻豆| 国产精品久久久久久精品古装| 亚洲欧美成人综合另类久久久| 亚洲成人免费av在线播放| 欧美中文综合在线视频| 国产av一区二区精品久久| 91老司机精品| 大陆偷拍与自拍| 国产精品久久久久久精品电影小说| 国产极品天堂在线| 日韩制服丝袜自拍偷拍| 日韩av免费高清视频| 男人添女人高潮全过程视频| 成人18禁高潮啪啪吃奶动态图| 欧美日本中文国产一区发布| netflix在线观看网站| 男的添女的下面高潮视频| 日韩中文字幕欧美一区二区 | 国产亚洲欧美精品永久| 亚洲精品一二三| 久久国产亚洲av麻豆专区| 精品国产乱码久久久久久男人| 欧美日韩av久久| 中文欧美无线码| av线在线观看网站| 可以免费在线观看a视频的电影网站 | 成人毛片60女人毛片免费| 欧美成人午夜精品| 少妇被粗大猛烈的视频| 在线观看人妻少妇| 日韩av免费高清视频| 国产在线视频一区二区| 一级a爱视频在线免费观看| 中国三级夫妇交换| 亚洲中文av在线| 建设人人有责人人尽责人人享有的|