基于多重視覺注意力的唇語識別

謝胤岑 薛 峰 曹明偉

唇語識別是從視頻里說話人輕微的嘴唇運動中解碼出所說的內(nèi)容(文本)的一種技術(shù),在公共安全等領(lǐng)域具有廣泛的應(yīng)用價值.

現(xiàn)有的唇語識別方法可分為兩類：單詞級別唇語識別方法和句子級別唇語識別方法.單詞級別唇語識別方法的目標是識別視頻在詞庫中對應(yīng)的單詞類別,相當(dāng)于視頻分類任務(wù).句子級別唇語識別方法的目標是將視頻翻譯成一句完整的話.本文研究內(nèi)容屬于句子級別的唇語識別,并且基于深度學(xué)習(xí)方法實現(xiàn).

現(xiàn)有的基于深度學(xué)習(xí)的唇語識別方法一般由兩部分組成：視覺編碼前端和文本解碼后端.視覺編碼前端用于提取唇語的視覺特征,主流的方法是采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)進行特征提取.一些研究[1-4]使用2D CNN,如VGG(Visual Geometry Group)[5]或ResNet-18(Residual Net-work)[6],從視頻中提取空間維度的特征.也有研究[7-9]使用3D CNN對視頻的整體進行運動建模[10].此外,還有少數(shù)工作[11-12]采用2D CNN和3D CNN結(jié)合的策略.

對于文本解碼后端,以句子級別唇讀識別方法為例,一些研究[1-2,4]采用基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recu-rrent Neural Network, RNN)的序列到序列模型(Se-quence to Sequence, Seq2Seq)[13]實現(xiàn)視頻特征序列到文本序列的轉(zhuǎn)換,也有研究[11,14]采用基于多頭注意力的Transformer[15]架構(gòu)對文本進行解碼,并行處理訓(xùn)練數(shù)據(jù).

根據(jù)輸入數(shù)據(jù)的類別,唇語識別還可劃分為視覺語音識別(Visual Speech Recognition, VSR)和視聽語音識別(Audio-Visual Speech Recognition, AV-SR).VSR的輸入數(shù)據(jù)是視頻數(shù)據(jù),AVSR的輸入數(shù)據(jù)既包含視頻數(shù)據(jù)又包含音頻信息.

Assael等[7]提出Bidirectional LipNet,結(jié)合3D CNN、Bi-GRU(Bidirectional Gated Recurrent Unit)和CTC(Connectionist Temporal Classification Loss)[16],結(jié)構(gòu)簡單,在GRID數(shù)據(jù)集[17]上準確率較高,但在CMLR數(shù)據(jù)集[2]上無法收斂.Zhang等[3]提出LipCH-Net,基于CTC實現(xiàn)從視頻到拼音的轉(zhuǎn)換,基于RNN transducer[18]實現(xiàn)從拼音到漢字的轉(zhuǎn)換,兩個階段在訓(xùn)練時可同時優(yōu)化.Zhao等[2]提出CSSMCM(Cascade Sequence-to-Sequence Model for Chinese Mandarin),預(yù)測拼音和音調(diào)的中間狀態(tài),大幅增加中文預(yù)測的準確率.由于LipCH-Net和CSSMCM均使用中文的語言特性,僅適用于中文數(shù)據(jù)集,無法泛化到其它語言的數(shù)據(jù)集.

Xu等[8]提出LCANet(Cascade Attention-CTC Deep Learning Model),在LipNet前端引入高速公路網(wǎng)絡(luò)[19],增強模型的特征選擇能力.Xue等[9]提出LCSNet(End-to-End Deep Neural Network-Based Liprea-ding Model),在LipNet上加入選擇性內(nèi)核網(wǎng)絡(luò)[20],彌補高速公路網(wǎng)絡(luò)的不足.Chen等[21]設(shè)計DualLip,實現(xiàn)唇部運動視頻和對應(yīng)文本的相互生成.

Chung等[1]基于音頻和視頻模態(tài)構(gòu)建WLAS(Watch, Listen, Attend and Spell),但未考慮視頻和音頻對齊的問題.Afouras等[11]基于交叉熵損失函數(shù)和CTC損失函數(shù),設(shè)計基于Transformer的深度AVSR,并證實唇語識別在嘈雜環(huán)境下能對語音識別起到輔助作用.Petridis等[12]采用混合CTC/注意力模型,融合音頻和視頻兩種模態(tài),并對比2種不同的模態(tài)融合策略(早期融合與晚期融合)對性能的影響.Zhao等[4]提出LIBS(Lip by Speech),使用在大規(guī)模音頻語料庫上預(yù)訓(xùn)練的語音識別模型指導(dǎo)唇語識別的訓(xùn)練.Huang等[22]提出CALLip,通過對比學(xué)習(xí)[23]解決出現(xiàn)近音詞時唇形相近的問題.Ma等[14]基于Conformer模塊,提出基于視頻和音頻雙模態(tài)訓(xùn)練的AVSR,在CMLR數(shù)據(jù)集上性能較優(yōu).

現(xiàn)有的唇語識別方法盡管在一些開源數(shù)據(jù)集上取得不錯的效果,但仍存在如下問題：視覺編碼前端捕獲的低級特征往往混雜一些與唇讀任務(wù)無關(guān)的信息,降低唇語識別的精度.這些與任務(wù)無關(guān)的信息存在于視覺特征的不同維度中.

1)在空間維度上,單幀圖像內(nèi)并非在所有區(qū)域都能提供有用的視覺特征.對于唇語識別任務(wù)而言,唇部區(qū)域的像素更值得關(guān)注.即使在處理視頻數(shù)據(jù)時,針對每幀的唇部區(qū)域進行裁剪,圖像中依然存在一些與唇部無關(guān)的像素,這些非唇部信息會影響唇語識別中解碼器的性能.

2)在時間維度上,一個視頻數(shù)據(jù)中并非所有的視頻幀都能提供較關(guān)鍵的信息.例如：在一些視頻的開始或結(jié)束位置,說話人并沒有發(fā)言,唇部沒有發(fā)生運動,因此對唇語的運動建模作用并不明顯.

3)在通道維度上,并非所有的通道都能提供有價值的信息.一般來說,隨著訓(xùn)練模型過程中參數(shù)的更新,視覺特征的多數(shù)通道都能捕獲唇部區(qū)域的關(guān)鍵細節(jié),但也會有少數(shù)通道提取的輪廓信息較模糊,影響唇語識別的準確性.

為了解決上述問題,本文提出基于多重視覺注意力的唇語識別方法(Lipreading Based on Multiple Visual Attention, LipMVA).首先,受文獻[24]、文獻[25]中相關(guān)工作的啟發(fā),設(shè)計通道注意力(Channel Attention, CA)模塊,為每個通道分配權(quán)重,自適應(yīng)校準通道級特征.然后,設(shè)計聯(lián)合時空注意力(Joint Spatial-Temporal Attention, JSTA)模塊,用于抑制視頻中一些不重要的像素和視頻幀[26-27].此外,還設(shè)計分散時空注意力(Separate Spatial-Temporal Atten-tion, SSTA)模塊,與JSTA模塊作用類似,但是實現(xiàn)的粒度不同.兩者最主要的區(qū)別在于：JSTA模塊同時利用時空的3個維度T、H、W直接計算時空注意力的整體權(quán)重,而SSTA模塊將時空維度進行拆分,分別計算時間權(quán)重和空間權(quán)重.因此,在一定程度上,SSTA模塊能比JSTA模塊實現(xiàn)更細的優(yōu)化粒度.通過兩種作用相同但粒度不同的組件,LipMVA可在時空維度上先通過聯(lián)合注意力對視覺特征進行粗粒度的提純,再通過分散注意力進行細粒度的精煉,從而實現(xiàn)由淺入深的優(yōu)化效果.此外,這3種注意力模塊僅需要少量的卷積操作即可實現(xiàn),具有較高的計算效率.在CMLR[2]、GRID[17]數(shù)據(jù)集上的實驗驗證LipMVA的有效性.

1 基于多重視覺注意力的唇語識別

本文提出基于多重視覺注意力的唇語識別方法(LipMVA),整體架構(gòu)如圖1所示.

LipMVA由3個模塊組成.第1個模塊是一個三層的3D CNN,用于提取原始的視覺特征,該部分的設(shè)計與LipNet[7]的視覺主干網(wǎng)絡(luò)保持一致,每層CNN的后面都有一個最大池化層和批量歸一化層.

第2個模塊是本文設(shè)計的多重注意力模塊,依次為CA模塊、JSTA模塊、SSTA模塊,主要用于抑制模型中的特征冗余信息,并對關(guān)鍵信息進行增強.

圖1 LipMVA的整體架構(gòu)圖

CA模塊是將文獻[25]中的通道注意力擴展到三維,并采用3D CNN取代全連接層進行通道的壓縮和恢復(fù)操作.該模塊主要能對原始的唇語視覺特征進行通道篩選,對特征輪廓模糊的通道進行抑制,對特征清晰的通道進行增強.

JSTA模塊是在CA模塊的基礎(chǔ)上再次進行改造,通過一層3D CNN對視覺特征的時空維度分配一個整體的權(quán)重,從而實現(xiàn)對時空維度特征的粗粒度優(yōu)化.

SSTA模塊可進一步彌補JSTA模塊的不足,能先將視覺特征轉(zhuǎn)換為時間維度特征和空間維度特征,再分別使用1D CNN和2D CNN分配時間權(quán)重和空間權(quán)重,即對關(guān)鍵的幀或像素進行增強,并對不重要的幀和像素進行削弱,從而實現(xiàn)對時空維度特征的細粒度優(yōu)化.

第3個模塊是結(jié)合編碼器-解碼器注意力[28]的Seq2Seq網(wǎng)絡(luò),作為模型的后端,負責(zé)將過濾后的視覺特征轉(zhuǎn)譯為目標語言的句子序列.

下面分別介紹3種視覺注意力模塊和Seq2Seq后端解碼的詳細信息.此外,為了便于闡述LipMVA,記B×C×T×H×W表示輸入到模型的原始視頻維度以及輸入到所有注意力模塊的特征維度,其中,B表示網(wǎng)絡(luò)訓(xùn)練時批處理大小,T表示視頻幀長度,C表示通道數(shù),H表示幀高度,W表示幀寬度.

1.1 通道注意力模塊

通道注意力(CA)模塊能為特征圖的所有通道自適應(yīng)分配權(quán)重.例如：對唇部輪廓清晰的通道分配較高的關(guān)注度,以增強其特征的表達;對少數(shù)輪廓模糊的通道分配較低的權(quán)重,以削弱這些通道的影響.為了實現(xiàn)這一點,需要對時空維度T、H、W進行壓縮.如圖1的CA模塊所示,給定原始視覺特征X∈RB×C×T×H×W作為輸入,首先通過3D最大池化和平均池化處理,將X的全局時空信息分別壓縮到兩個通道描述符Fmax和Favg中：

然后,使用兩層卷積核大小均為1×1×1的3D CNN分別對兩個通道描述符在通道維度上進行壓縮和恢復(fù).在這一過程中,Fmax和Favg的通道數(shù)先被第1層卷積壓縮到C/r(r表示通道的縮放比例,此處設(shè)置為16),再由第2層恢復(fù)到C,從而實現(xiàn)通道層面的自適應(yīng)校準.隨后,對兩個描述符進行加法運算,并通過Sigmoid函數(shù)激活,得到通道注意力的權(quán)重AC∈RB×C×1×1×1.最終將權(quán)重AC與X相乘,實現(xiàn)通道級別的特征過濾.CA模塊的輸出結(jié)果為：

YCA=AC?X.

1.2 聯(lián)合時空注意力模塊

聯(lián)合時空注意力(JSTA)模塊通過自適應(yīng)調(diào)整特征圖在時空維度T、H、W下的整體權(quán)重,既可增強對唇部像素以及說話幀的權(quán)重分配,又可抑制非唇部像素和未說話幀的影響.為了實現(xiàn)這一目標,需要對通道維度C進行壓縮.如圖1的JSTA模塊所示,對于輸入的視覺特征X∈RB×C×T×H×W,首先使用基于通道維度的最大池化和平均池化方法,將視覺特征X的全局通道信息分別壓縮到2個時空描述符Fmax和Favg中：

然后,將2個時空描述符Fmax和Favg沿著通道維度拼接,使通道數(shù)變?yōu)?.再通過一層卷積核大小為1×1×1的3D CNN,將通道數(shù)壓縮為1.隨后經(jīng)過Sigmoid函數(shù)的激活,得到視覺特征在時空維度上的聯(lián)合注意力權(quán)重AJ∈RB×1×T×H×W.最終將該權(quán)重AJ與X相乘,實現(xiàn)對時空級別特征的初步過濾：

YJSTA=AJ?X.

1.3 分散時空注意力模塊

分散時空注意力(SSTA)模塊作為對JSTA模塊的補充,可進一步增強模型對時空噪聲的過濾能力.SSTA模塊能對視頻特征先進行維度變換,再分別從時間維度和空間維度進行相應(yīng)的權(quán)重分配,具有多分支的可控粒度.

如圖1所示,SSTA模塊主要包括上下兩個分支,上方的分支專注于計算空間注意力的權(quán)重,而下方的分支用于分配時間注意力的權(quán)重.兩個分支均由N個子分支組成,其中,上分支包含N個卷積核大小為3×3的2D CNN,下分支包含N個卷積核大小為3的1D CNN.超參數(shù)N表示時間分支和空間分支中分別實施注意力操作的次數(shù).圖1給出N=3的情況,可通過控制N的大小調(diào)節(jié)SSTA模塊的粒度,達到最優(yōu)效果.

SSTA模塊具體的計算流程如下.給定輸入的視覺特征X∈RB×C×T×H×W,首先將其分別轉(zhuǎn)置為空間級別的特征XS以及時間級別的特征XT：

X→XS∶RB×C×T×H×W→RBT×C×H×W,
X→XT∶RB×C×T×H×W→RB×CHW×T.

從而實現(xiàn)相對于JSTA模塊更深度的時空特征過濾.

1.4 編碼器-解碼器注意力

如圖1所示,LipMVA的后端采用基于編碼器-解碼器注意力的Seq2Seq架構(gòu).設(shè)輸入視頻的幀長為T,預(yù)測序列的長度為L：圖中的[x1,x2,…,xT]作為視頻解碼器的輸入,表示視頻的每幀對應(yīng)的視覺特征;[y1,y2,…,yL]作為文本解碼器的輸出,表示預(yù)測的文本序列.

視頻編碼器GRUe為一個雙層的雙向GRU,用于建立嘴唇運動的長期時序關(guān)系.在第i個時間步下,編碼器的隱藏層向量為：

文本解碼器GRUd為一個雙層的單向GRU,用于在每次循環(huán)時預(yù)測一個中文字符或英文單詞.在第i個時間步下,解碼器的隱藏層向量為：

其中,Emb為詞嵌入矩陣,可將文本字符映射到向量空間.

其中Attn(·)表示編碼器-解碼器注意力.

最終,將上下文向量和當(dāng)前解碼器的隱藏層向量拼接,經(jīng)過線性變換后,得到當(dāng)前預(yù)測的字符概率：

至此,整個模型的損失函數(shù)定義如下：

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)集與評價指標

本文在CMLR[2]、GRID[17]數(shù)據(jù)集上進行實驗.

CMLR(https：//www.vipazoo.cn/CMLR.html)是目前最大的開源中文句子級別唇語識別數(shù)據(jù)集,采自央視新聞聯(lián)播節(jié)目,包含102 072條視頻,涉及11位說話人、3 517個漢字,每個視頻最長223幀,每個句子最長29個漢字,不包含任何英文字母、數(shù)字和標點符號.

GRID(https：//spandh.dcs.shef.ac.uk/gridcor

pus/)是一個被廣泛使用的英語句子級別唇讀語料庫,共包含32 823條視頻,涉及34位說話人.每個視頻長度均為75幀,每個句子長度均為6個單詞,每個單詞都是一些特定的詞匯.由于句子長度固定且詞典規(guī)模較小,大多數(shù)唇語識別方法在GRID數(shù)據(jù)集上可獲得比在CMLR數(shù)據(jù)集上更好的性能.

錯誤率是句子級別唇語識別常用的評價指標,值越小表明性能越優(yōu).CMLR數(shù)據(jù)集采用字符錯誤率(Character Error Rate, CER),GRID數(shù)據(jù)集采用單詞錯誤率(Word Error Rate, WER),兩者計算方法相同：

其中,N表示標簽語句的長度,S+D+I表示預(yù)測語句到標簽語句的字符串編輯距離,即預(yù)測語句變換為標簽語句所需的最少操作次數(shù),S表示替換操作次數(shù),D表示刪除操作次數(shù),I表示刪除操作次數(shù).

2.2 實驗細節(jié)設(shè)置

對于視頻的每幀,首先,使用Dlib人臉檢測器檢測面部的68個特征點.然后,參照唇部輪廓的20個特征點的位置,從唇部及其周邊區(qū)域裁剪80×160的子圖像.最后,使用仿射變換將每幀子圖像的分辨率調(diào)整為64×128,作為輸入數(shù)據(jù).

LipMVA各層參數(shù)詳見表1.在CMLR數(shù)據(jù)集上,訓(xùn)練輪次設(shè)置為60,批處理大小設(shè)置為8,初始學(xué)習(xí)率為0.000 2,SSTA模塊中參數(shù)N設(shè)置為3.在GRID數(shù)據(jù)集上,訓(xùn)練輪次設(shè)置為30,批處理大小設(shè)置為16,初始學(xué)習(xí)率為0.000 3,SSTA模塊中的參數(shù)N設(shè)置為4.

表1 LipMVA各層的參數(shù)設(shè)置

訓(xùn)練過程在單張NVIDIA RTX 3070上完成,并使用Adam[29]優(yōu)化器進行優(yōu)化.每當(dāng)錯誤率在連續(xù)2個輪次內(nèi)沒有下降時,將學(xué)習(xí)率減少一半.在訓(xùn)練過程中,使用計劃采樣(Scheduled Sampling)[30],減少解碼器在訓(xùn)練和預(yù)測中的差異,采樣率設(shè)置為0.5.在預(yù)測時,采用束搜索(Beam Search)[13]進行解碼,擴大搜索范圍,避免貪婪搜索(Greedy Search)帶來的局限性.

2.3 對比實驗

為了評價LipMVA性能,選擇如下一些經(jīng)典方法進行對比.

1)WLAS[1].基于編碼器-解碼器注意力的Seq-2Seq方法.在WLAS的基礎(chǔ)上去除音頻分支,只保留視頻模態(tài).

2)CSSMCM[2].基于編碼器-解碼器注意力的三重Seq2Seq方法,實現(xiàn)視頻到拼音再到聲調(diào)最后到漢字的流程.

3)LipCH-Net[3].端到端的中文句子級唇語方法,訓(xùn)練流程包括視頻到拼音、拼音到漢字兩個階段.

4)LIBS[4].基于視頻和音頻的知識蒸餾方法,使用預(yù)訓(xùn)練的語音識別方法作為教師模型,指導(dǎo)唇語識別方法的訓(xùn)練.

5)LipNet[7].端到端的句子級別唇語識別方法,基于3D CNN和CTC實現(xiàn),結(jié)構(gòu)簡單.

6)LCANet[8].基于高速公路網(wǎng)絡(luò)和CTC實現(xiàn)的句子級別唇語方法.

7)LCSNet[9].基于編碼器-解碼器注意力的Seq2Seq方法,使用選擇性內(nèi)核網(wǎng)絡(luò),增強模型的特征選擇能力.

8)DualLip[21].基于生成對抗網(wǎng)絡(luò)的雙向系統(tǒng),實現(xiàn)唇語視頻和文本的相互生成.

9)CALLip[22].基于視頻和音頻之間的對比學(xué)習(xí),解決說話人在說近音詞時唇形相近的問題.

10)LipFormer[31].基于編碼器-解碼器注意力的Seq2Seq方法,使用視頻和特征點兩個模態(tài)作為輸入,通過交叉注意力實現(xiàn)跨模態(tài)對齊與融合.

各方法在CMLR、GRID數(shù)據(jù)集上的指標值如表2所示,表中“-”表示該方法在原文獻中沒有實驗結(jié)果.由表可知,LipMVA在CMLR測試集上的CER達到21.49%,相比單模態(tài)模型CSSMCM,降低10.99%,相比雙模態(tài)模型LipFormer,降低6.3%.LipMVA在GRID測試集上的WER達到1.09%,為目前最優(yōu)結(jié)果,相比單模態(tài)模型WAS,降低1.91%,相比雙模態(tài)模型CALLip,降低1.39%.其主要原因在于,LipMVA的多重視覺注意力模塊能分別在通道、時間、空間維度上增強關(guān)鍵信息的表達,抑制冗余信息的干擾,顯著降低錯誤率.

2.4 排列實驗

為了探究注意力模塊的排列方式對方法性能的影響,設(shè)計若干組變體實驗,如圖2所示.

(a)變體a

(b)變體b

(c)變體c

(d)變體d

排列實驗只針對3種注意力模塊的擺放進行調(diào)整,參數(shù)及除3種模塊的其余部分均保持一致.其中,變體d的CA模塊和JSTA模塊需要分別再做一次線性變換才能和SSTA模塊的結(jié)果相加.

排列實驗結(jié)果如表3所示.由表可知,變體a和變體b的效果優(yōu)于變體c和變體d,說明3種注意力模塊在串行排列時的性能要優(yōu)于并行排列時的性能.變體a的性能略優(yōu)于變體b,說明通道注意力放在前面的效果更優(yōu).因此,本文后續(xù)的所有實驗都是基于變體a開展的.

表3 在2個數(shù)據(jù)集上的排列實驗結(jié)果

2.5 消融實驗

為了進一步驗證多重視覺注意力模塊的有效性,在CMLR、GRID數(shù)據(jù)集上設(shè)計一系列消融變體實驗,用于評估每個子模塊的性能.消融結(jié)果如表4所示,表中以完全移除多重注意力模塊的變體作為基線模型(Baseline),且各變體均沒有使用Beam Search[13]策略.

首先,通過Baseline+CA、Baseline+JSTA、Baseline+SSTA與Baseline的對比可知,3種注意力模塊都可降低錯誤率,SSTA模塊的貢獻程度最大,而CA模塊與JSTA模塊的貢獻程度相近.然后,通過Baseline+JSTA和Baseline+SSTA與Baseline的對比(或Baseline+CA+JSTA、Baseline+CA+SSTA與Base-line+CA的對比)可知,SSTA模塊對性能的提升要比JSTA模塊更明顯,因為SSTA模塊能在時空維度中實現(xiàn)比JSTA模塊更精細的優(yōu)化粒度.

此外,由LipMVA(w/o Beam Search)可知,當(dāng)3種注意力模塊同時使用時,性能提升更加顯著,這表明3種模塊可在唇語識別性能上實現(xiàn)互補,即通過對視頻特征的多維度聯(lián)合優(yōu)化,獲得更具有魯棒性的唇部運動特征.同時,由LipMVA可知,Beam Search也能進一步提升方法的性能.

表4 在2個數(shù)據(jù)集上的消融實驗結(jié)果

最后,繪制Baseline、Baseline+CA、Baseline+JSTA、Baseline+SSTA和LipMVA(w/o Beam Search)在2個數(shù)據(jù)集上訓(xùn)練時的錯誤率下降曲線,具體如圖3所示.

(a)CMLR

(b)GRID

由圖3可知,3種注意力模塊均能加快模型的收斂,當(dāng)3種模塊同時使用時,收斂速度也進一步加快.

2.6 超參數(shù)實驗

2.6.1 注意力次數(shù)N

調(diào)節(jié)SSTA模塊中注意力次數(shù)N的值,可改變分散時空注意力的優(yōu)化粒度.為了進一步探究N的大小對LipMVA整體性能的影響,在CMLR、GRID數(shù)據(jù)集上分別設(shè)置若干組超參數(shù)實驗,并且移除Beam Search解碼策略,實驗結(jié)果如表5所示,其中,當(dāng)N=0時,模型等價于Baseline+CA+JSTA.

由表5可知,在CMLR數(shù)據(jù)集上,隨著N的增大,錯誤率呈現(xiàn)先下降后上升的趨勢,在N=3時達到最低值24.90%.在GRID數(shù)據(jù)集上,隨著N的增大,錯誤率呈現(xiàn)出類似的變化趨勢,在N=4時達到最低值1.56%.

表5 SSTA模塊中注意力次數(shù)N對錯誤率的影響

產(chǎn)生這種現(xiàn)象的原因可能是：隨著N的增大,SSTA模塊的注意力分支數(shù)也隨之增多,篩選的關(guān)鍵信息不斷豐富,并在N達到某個值時趨于飽和;一旦N超過極值點,SSTA模塊的某些注意力分支可能會將一些不重要的幀或像素誤認為是關(guān)鍵信息,從而使錯誤率回升.

2.6.2 束搜索寬度K

為了探究束搜索寬度K對LipMVA性能的影響,在CMLR、GRID數(shù)據(jù)集上分別進行一系列實驗,結(jié)果如表6所示.其中,當(dāng)K=1時,方法等價于不使用Beam Search的LipMVA.

由表6可知,隨著K的增大,模型的錯誤率顯著下降.這是因為在Beam Search策略下,解碼器每次預(yù)測時會保存前K個概率最高的預(yù)測結(jié)果,從而擴大搜索的范圍和容錯性.當(dāng)K增大到一定程度時,搜索空間趨于完善,錯誤率的下降速率會趨于穩(wěn)定.

表6 束搜索寬度K對錯誤率的影響

2.7 可視化分析

本節(jié)從空間、時間、通道三個層面分別進行可視化分析,驗證本文設(shè)計的三種注意力機制分別能在不同維度對冗余信息進行抑制,對關(guān)鍵信息進行增強.

如圖4所示,本文選取某一個視頻的若干幀,并分別使用表4中的Baseline、Baseline+JSTA、Baseline+SSTA、Baseline+JSTA+SSTA和LipMVA(w/o Beam Search)繪制視覺特征的顯著性圖[32].圖像的顏色越紅,表明模型對該部位的關(guān)注度越高.

由圖4可知,由于Baseline未使用時空注意力,關(guān)注的像素難以集中在唇部.相比Baseline,Baseline+JSTA、Baseline+SSTA、Baseline+JSTA+SSTA和Lip-MVA(w/o Beam Search)更關(guān)注唇部的像素.其中,Baseline+SSTA對唇部區(qū)域的關(guān)注程度要比Baseline+JSTA更集中,說明SSTA模塊對嘴唇區(qū)域分配的權(quán)重要比JSTA模塊更多.由Baseline+JSTA+SSTA和LipMVA(w/o Beam Search)結(jié)果可知,當(dāng)兩種時空注意力模塊疊加使用時,對唇部像素的關(guān)注能得到進一步提升.

(a)原始圖像

(b)Baseline

(c)Baseline+JSTA

(d)Baseline+SSTA

(e)Baseline+JSTA+SSTA

(f)LipMVA(w/o Beam Search)

如圖5所示,選取某一個視頻的若干幀(中間4幀是處于說話狀態(tài)的幀),使用表4中的Baseline,Baseline+JSTA、Baseline+SSTA、Baseline+JSTA+SSTA和LipMVA(w/o Beam Search),分別繪制時間注意力權(quán)重圖.圖像的陰影越深,表示對該幀分配的權(quán)重越低.

(a)Baseline

(b)Baseline+JSTA

(c)Baseline+SSTA

(d)Baseline+JSTA+SSTA

(e)LipMVA(w/o Beam Search)

由圖5可知,由于Baseline沒有使用時空注意力,因此不存在時間注意力權(quán)重.相比Baseline,Baseline+JSTA、Baseline+SSTA、Baseline+JSTA+SSTA和LipMVA(w/o Beam Search)更關(guān)注處于說話狀態(tài)的幀.其中,Baseline+SSTA對不重要幀的抑制效果要優(yōu)于Baseline+JSTA,說明SSTA模塊對說話幀分配的權(quán)重之和高于JSTA模塊.由Baseline+JSTA+SSTA、LipMVA(w/o BeamSearch)的結(jié)果可知,當(dāng)兩種時空注意力模塊疊加使用時,對非說話幀的抑制效果能得到進一步增強.

如圖6所示,選取視覺特征圖中某一幀的若干通道,使用Baseline、Baseline+CA、LipMVA(w/o Beam Search),分別繪制通道注意力的權(quán)重圖.圖像的陰影越深,表示該通道分配的權(quán)重越低.

(a)Baseline

(b)Baseline+CA

(c)LipMVA(w/o Beam Search)

由圖6可知,由于Baseline沒有使用通道注意力,所有通道的權(quán)重相同.而在CA模塊的幫助下,Baseline+CA和LipMVA(w/o Beam Search)能更容易判別輪廓信息不明顯的通道,并降低它們的權(quán)重,從而更關(guān)注表征清晰的通道,提高模型的特征區(qū)分能力.

3 結(jié) 束 語

為了在唇語識別任務(wù)中實現(xiàn)對視覺特征的多維度信息過濾,本文提出基于多重視覺注意力的唇語識別方法(LipMVA),設(shè)計通道注意力(CA)模塊和兩種粒度不同的時空注意力模塊(JSTA模塊和SSTA模塊).3種注意力模塊能分別在通道、時間、空間維度上增強關(guān)鍵信息的表達,抑制冗余信息的干擾.在兩個句子級別唇語數(shù)據(jù)集CMLR和GRID上的一系列實驗表明,即使沒有音頻模態(tài)的輔助,LipMVA也能有效降低唇語識別的錯誤率.

今后將從實際應(yīng)用的角度出發(fā),重點研究訓(xùn)練集和測試集上說話人互不重疊的場景,即在訓(xùn)練集上出現(xiàn)的說話人不出現(xiàn)在測試集上,進一步提升模型的泛化能力和應(yīng)用價值.