結(jié)合雙流網(wǎng)絡(luò)和雙向五元組損失的跨人臉語(yǔ)音匹配

柳 欣 王 銳 鐘必能 王楠楠

1(華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 福建廈門(mén) 361021)

2(綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室(西安電子科技大學(xué)) 西安 710071)

3(廈門(mén)市計(jì)算機(jī)視覺(jué)與模式識(shí)別重點(diǎn)實(shí)驗(yàn)室(華僑大學(xué)) 福建廈門(mén) 361021)

4(廣西師范大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院 廣西桂林 541004)

語(yǔ)音和視覺(jué)信息是人們相互交流的重要載體，也是人機(jī)交互過(guò)程中最為直接和靈活的方式.心理學(xué)中著名的“麥格克效應(yīng)”(McGurk effect)[1]表明，大腦在感知語(yǔ)音的過(guò)程中，人臉信息和語(yǔ)音信息會(huì)相互作用.同時(shí)，大量神經(jīng)認(rèn)知科學(xué)的研究表明，人臉信息和語(yǔ)音信息有著相同的神經(jīng)認(rèn)知通路[2].在日常生活中，當(dāng)人們?cè)诮o好友打語(yǔ)音電話時(shí)，雖然只接收到了對(duì)方的語(yǔ)音信息，但腦海中會(huì)不自覺(jué)地浮現(xiàn)出對(duì)方的人臉信息，即我們的大腦可以自動(dòng)地將接收到的語(yǔ)音信息與之前已經(jīng)存儲(chǔ)好的人臉信息進(jìn)行語(yǔ)義關(guān)聯(lián).

上述現(xiàn)象和研究表明，個(gè)體人臉信息和語(yǔ)音信息之間是存在明顯關(guān)聯(lián)特性的.受此啟發(fā)，人們已逐漸認(rèn)識(shí)到語(yǔ)音特征與視覺(jué)特征之間關(guān)聯(lián)的重要性，并進(jìn)行了多方面的跨模態(tài)匹配研究，如跨人臉-語(yǔ)音生物特征匹配、說(shuō)話人標(biāo)注以及跨人臉-語(yǔ)音檢索等[3-5].因此，有效的人臉-語(yǔ)音相關(guān)性挖掘和跨模態(tài)匹配研究能夠促進(jìn)認(rèn)知科學(xué)和人工智能技術(shù)創(chuàng)新實(shí)踐的發(fā)展，具有重要的現(xiàn)實(shí)意義，有著廣闊的應(yīng)用前景.近年來(lái)，基于文本和圖像的跨媒體檢索，受到了國(guó)內(nèi)外研究學(xué)者的廣泛關(guān)注，但基于面部信息與語(yǔ)音信息的跨模態(tài)匹配和語(yǔ)義關(guān)聯(lián)挖掘研究較為匱乏.

據(jù)文獻(xiàn)研究，現(xiàn)有的挖掘人臉信息和語(yǔ)音信息之間關(guān)聯(lián)的方法大致可以概括為2類(lèi)：1)基于淺層特征相關(guān)性學(xué)習(xí)的方法；2)基于深度兼容性特征學(xué)習(xí)的方法.具體地，淺層匹配學(xué)習(xí)方法一般使用子空間相關(guān)性學(xué)習(xí)的方法進(jìn)行人臉和語(yǔ)音的語(yǔ)義相似性映射挖掘，從而達(dá)到縮小面部特征與語(yǔ)音特征間的語(yǔ)義鴻溝的目的.深度特征學(xué)習(xí)方法旨在通過(guò)多層非線性網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)復(fù)雜特征表達(dá)能力的逼近，進(jìn)而實(shí)現(xiàn)人臉和語(yǔ)音特征的跨模態(tài)語(yǔ)義關(guān)聯(lián).然而，人臉和語(yǔ)音信息的復(fù)雜多樣性和非靜態(tài)性加大了不同模態(tài)間潛層語(yǔ)義關(guān)聯(lián)的抽取難度.為滿(mǎn)足實(shí)際應(yīng)用需求，現(xiàn)有人臉-語(yǔ)音語(yǔ)義關(guān)聯(lián)方法在相關(guān)跨模態(tài)匹配方面的效果還需進(jìn)一步提升.

基于人臉-語(yǔ)音的相關(guān)性挖掘和跨模態(tài)匹配問(wèn)題的研究尚為一項(xiàng)新穎的課題，其智能語(yǔ)義關(guān)聯(lián)研究仍處于早期發(fā)展階段[6]，并且現(xiàn)有方法或多或少存在一些挑戰(zhàn)，包括3方面：1)面部和語(yǔ)音底層特征因維數(shù)不同、性質(zhì)和屬性不同，使得彼此之間無(wú)法直接參與計(jì)算，進(jìn)而帶來(lái)了語(yǔ)義表征的差異性和不可比性；2)針對(duì)人臉和語(yǔ)音特征的異構(gòu)性，目前仍缺乏有效方法解決低層特征和高層語(yǔ)義之間存在的語(yǔ)義鴻溝問(wèn)題；3)現(xiàn)有的異構(gòu)特征學(xué)習(xí)和關(guān)聯(lián)性學(xué)習(xí)結(jié)合的不夠緊密，從而導(dǎo)致高層一致性語(yǔ)義挖掘的表征學(xué)習(xí)不夠充分.此外，本文通過(guò)文獻(xiàn)調(diào)研發(fā)現(xiàn)，大多數(shù)跨人臉-語(yǔ)音匹配方法工作只呈現(xiàn)了部分匹配任務(wù)評(píng)測(cè)結(jié)果，而其他多樣性匹配評(píng)測(cè)任務(wù)還有待挖掘.

針對(duì)上述挑戰(zhàn)，本文提出了一種基于雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架，生成的跨模態(tài)表示在所有跨模態(tài)匹配任務(wù)上進(jìn)行全面了評(píng)估測(cè)試.首先，本文采用雙流架構(gòu)的網(wǎng)絡(luò)學(xué)習(xí)跨人臉-語(yǔ)音特征表示.傳統(tǒng)的雙流網(wǎng)絡(luò)采用2條并行且獨(dú)立的分支處理多模態(tài)數(shù)據(jù)，不同模態(tài)之間缺少交互，因而很難學(xué)習(xí)出高質(zhì)量的語(yǔ)義特征.為解決特征異構(gòu)問(wèn)題，本文在雙流網(wǎng)絡(luò)的頂端引入了一種新的多模態(tài)加權(quán)殘差網(wǎng)絡(luò)，并采用權(quán)重共享策略，以挖掘模態(tài)間關(guān)聯(lián)，生成模態(tài)不變的跨模態(tài)表示；其次，現(xiàn)有的基于距離度量損失的方法中采用的樣本對(duì)構(gòu)造策略往往沒(méi)有挑選出合適樣本對(duì)，也沒(méi)有充分利用batch中的數(shù)據(jù)，使得很多有益于訓(xùn)練的樣本未能參與訓(xùn)練，極大地限制了模型的泛化性能.為解決訓(xùn)練樣本不足問(wèn)題，本文提出了多種有效的樣本對(duì)構(gòu)造策略，并基于這些策略提出了多種表現(xiàn)形式的三元組損失，這些三元組損失一起構(gòu)成一種新的雙向五元組損失(bi-quintuple loss, Bi-Q loss).通過(guò)優(yōu)化該損失，可以促使更多有益于訓(xùn)練的人臉樣本及語(yǔ)音樣本參與訓(xùn)練，進(jìn)而學(xué)到更好的跨模態(tài)表示；最后，為了保證人臉特征和語(yǔ)音特征在共享語(yǔ)義空間的可分性，本文在特征層后面引入了一個(gè)全連接層進(jìn)行身份(identity, ID)分類(lèi)學(xué)習(xí)，實(shí)驗(yàn)表明結(jié)合ID損失與雙向五元組損失可以促進(jìn)模型的有效收斂，魯棒性較好.本文工作的貢獻(xiàn)主要包括3個(gè)方面：

1) 提出了一個(gè)端到端的跨人臉-語(yǔ)音特征學(xué)習(xí)框架，該框架在雙流網(wǎng)絡(luò)的頂端引入了一種新的權(quán)重共享多模態(tài)加權(quán)殘差網(wǎng)絡(luò)，可以有效挖掘模態(tài)間關(guān)聯(lián);

2) 設(shè)計(jì)多種樣本對(duì)構(gòu)造策略并提出雙向五元組損失，極大地提高了數(shù)據(jù)利用率和模型泛化性能;

3)本文方法具有較強(qiáng)的擴(kuò)展性和一般性.相比現(xiàn)有方法，本文學(xué)習(xí)框架在4個(gè)不同的跨人臉-語(yǔ)音關(guān)聯(lián)任務(wù)上，其跨模態(tài)匹配各項(xiàng)指標(biāo)上幾乎取得了全面提升，某些指標(biāo)上的提升近5%.

1 相關(guān)工作

人類(lèi)面部視覺(jué)信息和語(yǔ)音信息是人機(jī)交互過(guò)程中最為直接和靈活的方式，從而基于人臉和語(yǔ)音的關(guān)聯(lián)性挖掘及其跨模態(tài)協(xié)同感知吸引了國(guó)內(nèi)外研究學(xué)者的廣泛關(guān)注.早期針對(duì)人臉和語(yǔ)音的相關(guān)性挖掘主要是基于淺層特征相關(guān)性學(xué)習(xí)的方法.例如，Hasan等人[7]通過(guò)認(rèn)知學(xué)的角度利用功能性磁共振成像分析了人臉和語(yǔ)音在身份鑒別上的潛在關(guān)聯(lián)特性；類(lèi)似地，針對(duì)人臉和語(yǔ)音2種不同模態(tài)特征之間存在的“語(yǔ)義鴻溝”問(wèn)題，Li等人[8]通過(guò)跨模態(tài)因子分析(cross-modal factor analysis)來(lái)縮小人臉與語(yǔ)音特征間的語(yǔ)義鴻溝，接著利用典型相關(guān)分析法(canonical correlation analysis, CCA)進(jìn)一步關(guān)聯(lián)2種模態(tài)特征集，從而實(shí)現(xiàn)說(shuō)話人的跨視聽(tīng)媒體數(shù)據(jù)互標(biāo)注；Chetty等人[9]通過(guò)潛在語(yǔ)義分析和CCA方法對(duì)人臉和語(yǔ)音生物特征進(jìn)行跨模態(tài)關(guān)聯(lián)，從而使得身份驗(yàn)證系統(tǒng)達(dá)到了較好的預(yù)防反欺騙性(anti-spoofing)攻擊的目的；Chakravarty等人[10]利用跨模態(tài)監(jiān)督學(xué)習(xí)方法(cross-modal supervision)對(duì)語(yǔ)音信息進(jìn)行當(dāng)前說(shuō)話人檢測(cè)，取得了魯棒性的結(jié)果.研究發(fā)現(xiàn)，這些淺層特征相關(guān)性學(xué)習(xí)方法缺乏從非線性異構(gòu)特征中提取有意義跨模態(tài)關(guān)聯(lián)的本質(zhì)特征能力，從而導(dǎo)致其相應(yīng)跨模態(tài)關(guān)聯(lián)匹配效果有所欠缺.

近年來(lái)，多模深度學(xué)習(xí)可以有效對(duì)多模態(tài)數(shù)據(jù)逐級(jí)提取從低層到高層的語(yǔ)義特征，展現(xiàn)出了強(qiáng)大本質(zhì)特征學(xué)習(xí)的能力.據(jù)文獻(xiàn)研究，現(xiàn)有挖掘人臉信息和語(yǔ)音信息之間關(guān)聯(lián)的深度學(xué)習(xí)方法大致可以分為2類(lèi)：1)基于分類(lèi)損失的學(xué)習(xí)方法；2)基于距離度量損失學(xué)習(xí)的方法.基于分類(lèi)損失的學(xué)習(xí)方法通常把跨人臉-語(yǔ)音跨模態(tài)匹配問(wèn)題定義為分類(lèi)問(wèn)題.典型代表為Nagrani等人[3]提出的多分支卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)結(jié)構(gòu)方法，該方法首先采用多分支CNN分別提取人臉圖片和語(yǔ)音數(shù)據(jù)的特征，接著將提取好的人臉特征和語(yǔ)音特征拼接起來(lái)，輸入到softmax層以獲得分類(lèi)概率.該模型然在1∶2 匹配任務(wù)上的表現(xiàn)可以媲美人類(lèi)，但由于是針對(duì)特定匹配任務(wù)設(shè)計(jì)的，需要調(diào)整子網(wǎng)絡(luò)數(shù)目才能應(yīng)用于其他任務(wù)，模型靈活性欠佳；近期，Wen等人[5]采用不相交映射網(wǎng)絡(luò)(disjoint mapping network, DIMNet)來(lái)監(jiān)督跨模態(tài)表示的學(xué)習(xí)，在1∶2的跨模態(tài)匹配任務(wù)上獲得了較好的準(zhǔn)確率，超過(guò)了人類(lèi)主觀水平，但在一些挑戰(zhàn)性較高的匹配任務(wù)上，如1∶N匹配及跨模態(tài)檢索，該模型的表現(xiàn)有待提高.

基于距離度量損失的學(xué)習(xí)方法通常利用多模態(tài)神經(jīng)網(wǎng)絡(luò)將人臉樣本和語(yǔ)音樣本映射到歐氏空間，并通過(guò)優(yōu)化網(wǎng)絡(luò)距離度量損失，使得同一個(gè)體的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)在歐氏空間中的距離足夠近，不同人的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)在歐氏空間中的距離足夠遠(yuǎn)[11].Nagrani等人[12]通過(guò)刻畫(huà)個(gè)人身份節(jié)點(diǎn)方式(person identity nodes, PINs)來(lái)描述身份，并采用對(duì)比損失來(lái)約束正負(fù)樣本對(duì)之間的距離，該方法提出了一種基于Curriculum的策略構(gòu)造樣本對(duì)，但這種策略構(gòu)造的負(fù)樣本對(duì)中可能存在噪聲數(shù)據(jù)；Xiong等人[13]采用了三元組損失來(lái)引導(dǎo)人臉-語(yǔ)音跨模態(tài)表示的學(xué)習(xí)，然而該方法只構(gòu)造了跨模態(tài)三元組樣本，忽略了許多其他類(lèi)型有益于訓(xùn)練的三元組樣本，其跨模態(tài)關(guān)聯(lián)效果還有所欠缺.

2 跨人臉-語(yǔ)音特征學(xué)習(xí)框架

如圖1所示，本文提出的結(jié)合雙流深度網(wǎng)絡(luò)和雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架采用了常見(jiàn)的雙流網(wǎng)絡(luò)架構(gòu)，包含人臉和語(yǔ)音2個(gè)分支網(wǎng)絡(luò).其中，人臉子網(wǎng)絡(luò)和語(yǔ)音子網(wǎng)絡(luò)的權(quán)重是各自獨(dú)立的，用來(lái)提取模態(tài)特有的特征；雙流網(wǎng)絡(luò)頂端的多模態(tài)加權(quán)殘差網(wǎng)絡(luò)的權(quán)重由2個(gè)模態(tài)共享，用來(lái)挖掘模態(tài)間語(yǔ)義關(guān)聯(lián)，生成模態(tài)不變的跨模態(tài)表示；雙向五元組損失用于進(jìn)一步挖掘模態(tài)間關(guān)聯(lián)，提高數(shù)據(jù)利用率和模型泛化性能；ID損失用于保證跨模態(tài)表示的可分性，促進(jìn)模型收斂.

2.1 形式化定義

2.2 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)

針對(duì)2種模態(tài)的關(guān)聯(lián)性挖掘，雙流深度網(wǎng)絡(luò)能夠有效地進(jìn)行異構(gòu)特征的兼容性學(xué)習(xí).在跨模態(tài)特征表示學(xué)習(xí)中，文獻(xiàn)[14]為了挖掘文本模態(tài)和圖像模態(tài)之間的關(guān)聯(lián)并生成模態(tài)不變的跨模態(tài)表示，選擇在雙流網(wǎng)絡(luò)的頂端引入了權(quán)重共享的單層全連接.然而，一方面，單層全連接擬合能力有限，同時(shí)沒(méi)辦法解決非線性映射問(wèn)題，因而挖掘到的模態(tài)間關(guān)聯(lián)可能極為有限.另一方面，單純地增加全連接層數(shù)有時(shí)會(huì)使得網(wǎng)絡(luò)訓(xùn)練和優(yōu)化起來(lái)越來(lái)越復(fù)雜和困難.

為解決上述問(wèn)題，受殘差網(wǎng)絡(luò)[15]思想的啟發(fā)，本文在雙層全連接網(wǎng)絡(luò)的輸入層與輸出層之間引入了一種新的加權(quán)殘差連接，并采用權(quán)重共享策略保證生成的跨模態(tài)表示形式在同一個(gè)特征表示子空間中.本文提出的這種網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)稱(chēng)為多模態(tài)加權(quán)殘差網(wǎng)絡(luò)(multi-modal weighted residual network, MWRN).實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)可以有效地加強(qiáng)模態(tài)共享信息、挖掘模態(tài)間關(guān)聯(lián)，促使模型生成更好的跨模態(tài)表示.

(1)

(2)

其中，η為縮放因子，在網(wǎng)絡(luò)中是一個(gè)可學(xué)習(xí)的參數(shù).根據(jù)文獻(xiàn)[16]中的設(shè)計(jì)，在網(wǎng)絡(luò)訓(xùn)練中縮放因子初始值設(shè)為0，用來(lái)避免訓(xùn)練初始階段出現(xiàn)過(guò)分的梯度波動(dòng)造成的不穩(wěn)定，從而使得模型在訓(xùn)練初期更加的穩(wěn)定，促進(jìn)整個(gè)網(wǎng)絡(luò)的訓(xùn)練平穩(wěn)性和魯棒性.

Fig. 2 Multi-modal weighted residual network圖2 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)

2.3 雙向五元組損失

本文提出了一種雙向五元組損失函數(shù)進(jìn)行人臉-語(yǔ)音的語(yǔ)義關(guān)聯(lián)性學(xué)習(xí)約束，該損失由多個(gè)改進(jìn)的三元組損失構(gòu)成.具體地，三元組損失是一種常見(jiàn)的距離度量損失，其形式化定義為

(3)

其中，a表示固定(anchor)樣本，p表示與a屬于同一類(lèi)別的正(positive)樣本，n表示與a屬于不同類(lèi)別的負(fù)(negative)樣本，da,p表示固定樣本a與正樣本p對(duì)應(yīng)的特征表達(dá)之間的距離，da,n表示固定樣本a與負(fù)樣本n對(duì)應(yīng)的特征表達(dá)之間的距離，m表示最小間隔(margin).針對(duì)每個(gè)三元組a,p,n，三元組損失的優(yōu)化目標(biāo)是讓da,p盡可能小，da,n盡可能大，并且要讓da,p與da,n之間有一個(gè)最小的間隔m，T表示三元組樣本集合，形式化描述為

da,p+m

(4)

然而，若要在整個(gè)訓(xùn)練集上構(gòu)造三元組，隨著訓(xùn)練集樣本數(shù)目增多，可能的三元組數(shù)量將呈立方級(jí)增長(zhǎng).因此，當(dāng)訓(xùn)練集非常大時(shí)，訓(xùn)練將會(huì)非常耗時(shí).同時(shí)，隨著訓(xùn)練的深入，大量的簡(jiǎn)單的三元組不具有判別性，并對(duì)模型表現(xiàn)的提升毫無(wú)貢獻(xiàn).為解決此問(wèn)題，文獻(xiàn)[17]提出了TriHard損失，它是一種采用基于批量(batch)的在線難樣本采樣策略的三元組損失.對(duì)于每個(gè)訓(xùn)練batch，隨機(jī)挑選B個(gè)ID，每個(gè)ID隨機(jī)挑選K個(gè)樣本，則每個(gè)batch中有B×K個(gè)樣本，其樣本集合記為Xbatch.對(duì)于每個(gè)樣本a，挑選一個(gè)最難正樣本p和最難負(fù)樣本n，最難正樣本p是Xbatch中與樣本a屬于同一ID的樣本中距離樣本a最遠(yuǎn)(語(yǔ)義最不相關(guān))的樣本，最難的負(fù)樣本n是Xbatch中與樣本a屬于不同ID的樣本中距離樣本a最近(語(yǔ)義最相關(guān))的樣本.TriHard損失的形式化定義為

(5)

其中，P表示Xbatch中與a的ID相同的樣本集合，Q表示Xbatch中與a的ID不同的樣本集合，m表示最小間隔.可以看到，由于TriHard損失是在每個(gè)batch上構(gòu)造三元組，而不是在整個(gè)訓(xùn)練集上，因而大大提高了模型的采樣效率與訓(xùn)練效率，同時(shí)，借助難樣本的重點(diǎn)性采樣策略，簡(jiǎn)單的樣本將被過(guò)濾掉，因而提高了模型的魯棒性.為了提高模型訓(xùn)練效率，同時(shí)促使足夠多的有益于訓(xùn)練的三元組樣本參與訓(xùn)練，本文提出了多種樣本對(duì)構(gòu)造策略，進(jìn)而提出了跨模態(tài)TriHard損失以及混合模態(tài)TriHard損失.采用雙向訓(xùn)練策略的跨模態(tài)TriHard損失和混合模態(tài)TriHard損失一起構(gòu)成一種新的雙向五元組損失.

(6)

2.3.1 跨模態(tài)TriHard損失

(7)

(8)

(9)

跨模態(tài)TriHard損失定義為

(10)

跨模態(tài)TriHard損失可以有效縮減人臉模態(tài)和語(yǔ)音模態(tài)數(shù)據(jù)之間的“異構(gòu)鴻溝”，從而使得同一個(gè)ID的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)之間的距離足夠近，不同ID的人臉樣本和語(yǔ)音樣本對(duì)應(yīng)的特征表達(dá)之間的距離足夠遠(yuǎn).

2.3.2 混合模態(tài)TriHard損失

(11)

(12)

值得注意的是，由于正負(fù)樣本是在2個(gè)模態(tài)數(shù)據(jù)集上采樣得到的，因而xpos和xneg可能來(lái)自人臉模態(tài)，也可能來(lái)自語(yǔ)音模態(tài)，因而稱(chēng)之為混合模態(tài)三元組.以這種方式構(gòu)建的三元組稱(chēng)之為有效的混合模態(tài)TriHard三元組，滿(mǎn)足條件：

(13)

有效的混合模態(tài)TriHard三元組有4種表現(xiàn)形式，如圖3所示.其中，方形表示人臉樣本，圓形表示語(yǔ)音樣本，不同的顏色深淺代表不同的ID.從圖3中可以看出：第1種三元組是2.3.1節(jié)提到的跨模態(tài)TriHard三元組，固定樣本來(lái)自人臉模態(tài)，正負(fù)樣本均來(lái)自語(yǔ)音模態(tài)；第2種三元組中固定樣本與負(fù)樣本來(lái)自同一模態(tài)，與正樣本來(lái)自不同模態(tài)；第3種三元組中固定樣本與正樣本模態(tài)相同，與負(fù)樣本模態(tài)不同；第4種三元組中固定樣本及正負(fù)樣本均來(lái)自同一模態(tài)，是一種模態(tài)內(nèi)TriHard三元組.綜合這些不同形式的三元組，混合模態(tài)TriHard損失的形式化定義為

MTH(,xpos,xneg)=
[d(,xpos)-d(,xneg)+m]+.

(14)

混合模態(tài)TriHard損失綜合考慮了模態(tài)間和模態(tài)內(nèi)的多種距離約束，極大地提高了模型的泛化能力.

Fig. 3 Mixed-modal triplets with different forms圖3 不同表現(xiàn)形式的混合模態(tài)三元組

2.3.3 雙向訓(xùn)練策略

前面2.3.1節(jié)和2.3.2節(jié)在構(gòu)建TriHard三元組的過(guò)程中，默認(rèn)采用人臉樣本作為固定樣本，但實(shí)際上人臉樣本和語(yǔ)音樣本并沒(méi)有角色上的區(qū)別，同時(shí)，很多跨模態(tài)任務(wù)都是雙向的，為了學(xué)習(xí)更適合于最終任務(wù)的跨模態(tài)表示，同時(shí)為了更多的有效的三元組樣本得以參與訓(xùn)練，本文基于雙向訓(xùn)練策略提出了雙向五元組損失.

(15)

(16)

整個(gè)batch的雙向五元組損失定義為

(17)

雙向五元組損失可以同時(shí)優(yōu)化2個(gè)方向的五元組距離度量損失，從而可以極大地提高人臉-語(yǔ)音跨模態(tài)表示的魯棒性和模型的泛化能力.

2.4 ID損失

為確保人臉樣本和語(yǔ)音樣本在嵌入到公共表示空間之后的模態(tài)內(nèi)判別性得以保留，即保持良好的可分性，本文提出了基于ID損失的約束.每一個(gè)個(gè)體的身份ID可以看作一個(gè)類(lèi)別，通過(guò)在特征層后面附上一個(gè)全連接層φC(·)來(lái)實(shí)現(xiàn)對(duì)語(yǔ)義特征所屬的身份類(lèi)別的預(yù)測(cè).具體地，ID損失的定義為

(18)

2.5 模型訓(xùn)練

本文提出方法的整體損失函數(shù)形式為

(19)

本文采用mini-batch的訓(xùn)練方式，mini-batch可以在訓(xùn)練過(guò)程中引入隨機(jī)性，同時(shí)可以提升模型訓(xùn)練速度，每個(gè)batch會(huì)隨機(jī)挑選16個(gè)ID，接著每個(gè)ID隨機(jī)挑選4張人臉圖片和4條語(yǔ)音數(shù)據(jù).同時(shí)，本文采用結(jié)合權(quán)重衰減和動(dòng)量技術(shù)的隨機(jī)梯度下降(stochastic gradient descent, SGD)方法來(lái)優(yōu)化模型，其中，一方面，權(quán)重衰減(weight_decay=0.000 5)用來(lái)調(diào)節(jié)模型復(fù)雜度對(duì)損失函數(shù)的影響，以防止過(guò)擬合；另一方面，動(dòng)量(momentum=0.9)用來(lái)加速模型收斂過(guò)程.本文采用了一種動(dòng)態(tài)的學(xué)習(xí)率調(diào)整策略，學(xué)習(xí)率會(huì)隨著訓(xùn)練輪數(shù)的增加而衰減，訓(xùn)練共需50輪，訓(xùn)練過(guò)程中學(xué)習(xí)率將從初始學(xué)習(xí)率10-3衰減到10-8.

3 實(shí)驗(yàn)與結(jié)果

為了充分評(píng)估本文所提出方法的有效性和魯棒性，本文在公開(kāi)的Voxceleb1音視頻數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)測(cè)試，下面具體介紹實(shí)驗(yàn)詳情.

3.1 數(shù)據(jù)集介紹

Voxceleb1[18]是公開(kāi)的大規(guī)模音視頻數(shù)據(jù)集，由上傳到Y(jié)ouTube的采訪視頻中提取的1 251個(gè)名人的音視頻短片組成.該數(shù)據(jù)集總計(jì)包含10萬(wàn)多條音頻、2萬(wàn)多條視頻.文獻(xiàn)[12]采用SyncNet[19]方法從該數(shù)據(jù)集中提取出超過(guò)10萬(wàn)條說(shuō)話人人臉軌跡片段.在本文實(shí)驗(yàn)中，實(shí)驗(yàn)所選取的數(shù)據(jù)集是由該文獻(xiàn)作者處理好并在其官網(wǎng)公開(kāi)發(fā)布的Voxceleb1數(shù)據(jù)集，其數(shù)據(jù)集劃分方式也與作者在文獻(xiàn)[12]中的描述相同.

3.2 實(shí)現(xiàn)細(xì)節(jié)

本文方法依據(jù)Pytorch深度學(xué)習(xí)框架進(jìn)行配置和實(shí)現(xiàn)，其中雙向五元組損失中的間隔設(shè)置為m=0.6，人臉子網(wǎng)絡(luò)采用Inception-ResNet-v1模型，并用標(biāo)準(zhǔn)的VGGFace2[20]數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化，輸入的人臉圖片采用了與PINs[12]方法和SSNet[21]相同的預(yù)處理技術(shù)；語(yǔ)音子網(wǎng)絡(luò)采用與DIMNet-Voice[5]方法相同的結(jié)構(gòu)，并使用在Voxceleb1上的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化.人臉特征和語(yǔ)音特征輸出維度為256.

3.3 實(shí)驗(yàn)場(chǎng)景及評(píng)價(jià)指標(biāo)

為了全面驗(yàn)證本文方法的有效性，本文設(shè)計(jì)了4種不同的跨人臉-語(yǔ)音匹配任務(wù)，分別為跨模態(tài)驗(yàn)證、1∶2 匹配、1∶N匹配以及跨模態(tài)檢索任務(wù).

1) 跨模態(tài)驗(yàn)證

跨模態(tài)驗(yàn)證是指給出1張人臉圖片和1條語(yǔ)音數(shù)據(jù)，判斷該數(shù)據(jù)對(duì)是否屬于同一個(gè)人，其評(píng)價(jià)標(biāo)準(zhǔn)采用AUC值作為量化指標(biāo).

2) 1∶2 匹配

跨模態(tài)1∶2 匹配是指給出1張人臉圖片和2條語(yǔ)音數(shù)據(jù)，2條語(yǔ)音數(shù)據(jù)中只有1條與給定的人臉圖片屬于同一個(gè)人，模型的任務(wù)是預(yù)測(cè)與給定的人臉圖片匹配的那條語(yǔ)音數(shù)據(jù)的位置編號(hào)，本文稱(chēng)之為人臉到語(yǔ)音(face to voice, F-V)下1∶2 匹配；類(lèi)似地，可以定義語(yǔ)音到人臉(voice to face, V-F)下1∶2 匹配.F-V下1∶2 跨模態(tài)匹配和V-F下1∶2 跨模態(tài)匹配均采用百分制匹配準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，匹配準(zhǔn)確率計(jì)算方式與文獻(xiàn)[2]相同.

3) 1∶N匹配

跨模態(tài)1∶N匹配是1∶2 匹配任務(wù)的擴(kuò)展版本，它將不匹配的樣本數(shù)量擴(kuò)增至N個(gè).隨著N的增大，任務(wù)的難度也將不斷增大.同樣地，1∶N匹配也有2個(gè)實(shí)驗(yàn)場(chǎng)景，均采用匹配準(zhǔn)確率作為評(píng)價(jià)指標(biāo).

4) 跨模態(tài)檢索

跨模態(tài)檢索任務(wù)中可以有一個(gè)或多個(gè)樣本與給定的查詢(xún)樣本匹配，因而匹配任務(wù)難度更大.本文采用隨機(jī)結(jié)果(Chance)作為參照依據(jù)，并利用標(biāo)準(zhǔn)的百分制平均準(zhǔn)確度(mAP)作為該任務(wù)的評(píng)價(jià)指標(biāo).

3.4 實(shí)驗(yàn)對(duì)比結(jié)果

為了驗(yàn)證本文方法生成的跨模態(tài)表示的有效性，本文將其應(yīng)用于3.3節(jié)中提到的4種任務(wù).

1) 跨模態(tài)驗(yàn)證

在跨模態(tài)驗(yàn)證任務(wù)上，本文方法與現(xiàn)有方法的實(shí)驗(yàn)結(jié)果對(duì)比如表1所示.其中，“U”分組中是沒(méi)有分層的測(cè)試數(shù)據(jù)，“G”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自性別相同的2個(gè)人，“N”分組中每個(gè)測(cè)試樣本對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自國(guó)籍相同的2個(gè)人，“A”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自年齡相同的2個(gè)人，“GNA”分組中每個(gè)測(cè)試對(duì)中的人臉圖片和語(yǔ)音數(shù)據(jù)來(lái)自性別、國(guó)籍、年齡均相同的2個(gè)人.

Table 1 Comparison with Other Methods on Verification Task

從實(shí)驗(yàn)結(jié)果可以得到，本文方法在各個(gè)分組上的各項(xiàng)指標(biāo)幾乎全面超越了現(xiàn)有方法，取得了較好的跨模態(tài)驗(yàn)證結(jié)果.例如，本文提出方法在“U”“N”“A”上取得了優(yōu)于現(xiàn)有方法的跨模態(tài)驗(yàn)證結(jié)果.同時(shí)也注意到，相比其他分組，本文方法和其他方法在“G”分組中的表現(xiàn)都稍弱，這說(shuō)明性別信息對(duì)模型執(zhí)行跨模態(tài)驗(yàn)證任務(wù)有較大影響.

2) 1∶2 匹配任務(wù)

在1∶2 匹配任務(wù)上，本文方法與現(xiàn)有方法的實(shí)驗(yàn)結(jié)果對(duì)比如表2所示.實(shí)驗(yàn)結(jié)果中1∶2 匹配任務(wù)包含“F-V”和“V-F”2個(gè)跨模態(tài)匹配場(chǎng)景，并且“U”“G”“N”和“GN”代表的含義與本節(jié)跨模態(tài)驗(yàn)證部分描述一致.本文方法在這2個(gè)場(chǎng)景中的表現(xiàn)均優(yōu)于現(xiàn)有方法，表明本文方法具有較好的魯棒性.

Table 2 Comparisons on 1∶2 Cross-Modal Matching Task表2 跨模態(tài)1∶2 匹配任務(wù)上的實(shí)驗(yàn)對(duì)比結(jié)果 %

3) 1∶N匹配

圖 4 展示了本文方法與現(xiàn)有方法在1∶N匹配任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比.從實(shí)驗(yàn)結(jié)果可以看到，本文方法無(wú)論是在“F-V”匹配任務(wù)上還是在“V-F”匹配任務(wù)上均輕松超越現(xiàn)有方法.當(dāng)N取較大值時(shí)，本文方法表現(xiàn)仍然比其他方法好，表明本文方法相比其他方法可以更好地解決一些比較困難的任務(wù).

Fig. 4 Comparisons with other methods on 1∶N matching task圖4 不同方法在1∶N匹配任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比

4) 跨模態(tài)檢索

表3展示了本文方法與現(xiàn)有方法在跨模態(tài)檢索任務(wù)上的實(shí)驗(yàn)結(jié)果對(duì)比.從實(shí)驗(yàn)結(jié)果中可以看出本文方法在模態(tài)檢索任務(wù)上的表現(xiàn)遠(yuǎn)遠(yuǎn)超過(guò)隨機(jī)水平，并優(yōu)于現(xiàn)有的對(duì)比方法.因此，實(shí)驗(yàn)結(jié)果充分表明本文提出模型能夠有效學(xué)習(xí)人臉-語(yǔ)音間的語(yǔ)義關(guān)聯(lián).同時(shí)，本文方法在“F-V”和“V-F”檢索場(chǎng)景中的表現(xiàn)均優(yōu)于現(xiàn)有方法，表明了本文方法的優(yōu)越性.

Table 3 Comparison with Other Methods on Cross-modal Retrieval Task

跨模態(tài)檢索任務(wù)是1∶N匹配任務(wù)的拓展，旨在將候選樣本規(guī)模從N個(gè)(本文實(shí)驗(yàn)中N≤5)擴(kuò)展到整個(gè)測(cè)試集，同時(shí)候選樣本中匹配樣本數(shù)量Nm也從一個(gè)增加到若干個(gè)(1

在測(cè)試集上執(zhí)行的4個(gè)基于人臉-語(yǔ)音的跨模態(tài)匹配任務(wù)中，本文方法幾乎全面超越現(xiàn)有方法，表明本文方法擁有很好的泛化性能.為了進(jìn)一步驗(yàn)證采用本文方法得到的跨模態(tài)表示的有效性，首先，本文從測(cè)試集中隨機(jī)挑選了8個(gè)人，每人挑選40條語(yǔ)音數(shù)據(jù)；接著，使用訓(xùn)練好的模型提取它們的特征；最后，采用t-SNE[24]技術(shù)對(duì)提取的特征進(jìn)行可視化，可視化結(jié)果如圖5所示.可以看到，同一個(gè)人的語(yǔ)音樣本對(duì)應(yīng)的語(yǔ)音特征聚到了一起，不同人的語(yǔ)音樣本對(duì)應(yīng)的語(yǔ)音特征相距較遠(yuǎn)，表明采用本文方法提取到的跨模態(tài)表示具有較好的判別性和可分性.

Fig. 5 Visualization of the deep voice embeddings圖5 語(yǔ)音深度特征可視化結(jié)果圖

4 消融分析

為了探究本文提出的多模態(tài)加權(quán)殘差網(wǎng)絡(luò)、雙向五元組損失以及其中的超參數(shù)對(duì)模型最終表現(xiàn)的影響，本文針對(duì)跨模態(tài)驗(yàn)證、1∶2 匹配、1∶3匹配以及跨模態(tài)檢索任務(wù)設(shè)計(jì)了一系列消融分析實(shí)驗(yàn).

4.1 多模態(tài)加權(quán)殘差網(wǎng)絡(luò)的影響

為探究多模態(tài)加權(quán)殘差網(wǎng)絡(luò)(MWRN)對(duì)模型表現(xiàn)的影響，本文分別用單層全連接(SFC)、雙層全連接(DFC)以及引入殘差連接的雙層全連接網(wǎng)絡(luò)(DFC-R)替換MWRN進(jìn)行實(shí)驗(yàn)，在4個(gè)不同任務(wù)上的實(shí)驗(yàn)結(jié)果如表4所示.可以發(fā)現(xiàn)，當(dāng)把全連接層數(shù)由1層增加到2層時(shí)，模型表現(xiàn)有所下降，表明更深的網(wǎng)絡(luò)可能更難訓(xùn)練和優(yōu)化；引入殘差連接后模型的表現(xiàn)有大幅提升，表明殘差連接可以很好地解決上述問(wèn)題；接著在殘差連接中引入可學(xué)習(xí)的縮放因子后，模型表現(xiàn)又有一定幅度的提升，表明可學(xué)習(xí)的縮放因子可以進(jìn)一步地減輕網(wǎng)絡(luò)訓(xùn)練的難度，建立更有效的跨模態(tài)關(guān)聯(lián)，進(jìn)而促使網(wǎng)絡(luò)收斂到更優(yōu)的值.

表4 Cross-modal Matching Performance Performance Under Different Network Settings

4.2 各項(xiàng)損失函數(shù)的影響

本節(jié)將探討本文提出的雙向五元組損失(Bi-Q損失)和ID損失對(duì)模型表現(xiàn)的影響.圖6展示了本文模型采用不同損失函數(shù)訓(xùn)練時(shí)在驗(yàn)證集上的1∶2 匹配任務(wù)準(zhǔn)確率在前15輪的變化曲線.

Fig. 6 Performance of our method with different loss圖6 采用不同損失函數(shù)時(shí)本文模型的表現(xiàn)

可以看到，單獨(dú)采用ID損失時(shí)，隨著訓(xùn)練輪數(shù)的增加，模型表現(xiàn)雖然總體呈穩(wěn)定上升趨勢(shì)，但最終表現(xiàn)并不是特別好；單獨(dú)采用雙向五元組損失時(shí)模型并不收斂；當(dāng)把ID損失與雙向五元組損失結(jié)合起來(lái)使用時(shí)，模型很快就收斂了，并取得了不錯(cuò)表現(xiàn)，表明在模型訓(xùn)練過(guò)程中嵌入身份ID信息可以保證模型訓(xùn)練過(guò)程的穩(wěn)定性，促進(jìn)模型收斂.

4.3 間隔m取值的影響

本節(jié)探討五元組損失中間隔m的取值對(duì)模型表現(xiàn)的影響.圖7展示了當(dāng)m取不同值時(shí)模型在4個(gè)不同跨模態(tài)匹配任務(wù)上的表現(xiàn).

Fig. 7 Performance of our method with different m圖7 間隔m取不同值時(shí)模型表現(xiàn)

從實(shí)驗(yàn)中可以看到，當(dāng)m=0.6時(shí)本文提出的模型的表現(xiàn)最佳，同時(shí)，對(duì)于每個(gè)跨模態(tài)匹配任務(wù)，當(dāng)m取不同的值時(shí)模型表現(xiàn)的波動(dòng)范圍很小，表明本文方法受m取值的影響并不大，具有較好的穩(wěn)定性.

5 結(jié) 論

針對(duì)跨人臉-語(yǔ)音匹配挑戰(zhàn)性問(wèn)題，本文提出了一種結(jié)合雙流網(wǎng)絡(luò)和雙向五元組損失的跨人臉-語(yǔ)音特征學(xué)習(xí)框架，使用該框架學(xué)到的跨模態(tài)特征可直接應(yīng)用于多種人臉-語(yǔ)音的跨模態(tài)匹配任務(wù).在公開(kāi)名人多模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：本文提出的網(wǎng)絡(luò)模型能夠?qū)Σ煌瑘?chǎng)景下名人影像數(shù)據(jù)進(jìn)行跨模態(tài)標(biāo)注，效果顯著，取得了對(duì)面部姿態(tài)變化和樣本多樣性的魯棒性，并在這些任務(wù)上的表現(xiàn)幾乎全面超越了現(xiàn)有方法，實(shí)驗(yàn)驗(yàn)證了本文提出方法的有效性.另外，除了人臉和語(yǔ)音2種模態(tài)外，本文方法預(yù)期也同樣適用于其他類(lèi)型的視聽(tīng)媒體樣本進(jìn)行跨模態(tài)匹配.

作者貢獻(xiàn)聲明：柳欣負(fù)責(zé)算法設(shè)計(jì)與實(shí)驗(yàn)；王銳負(fù)責(zé)模型優(yōu)化和編碼；鐘必能負(fù)責(zé)模型可行性分析；王楠楠負(fù)責(zé)實(shí)驗(yàn)的多樣性分析.