一種多模態(tài)特征編碼的短視頻多標(biāo)簽分類方法

井佩光，李亞鑫，蘇育挺

(天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072)

隨著近年來移動互聯(lián)網(wǎng)快速發(fā)展，加之智能手機的普及，短視頻成為一種極具代表性的新興數(shù)字媒體形式。作為用戶生成內(nèi)容(User Generated Contents，UGCs)[1]之一，即用戶可以在各大網(wǎng)絡(luò)平臺自由上傳和分享自己的視頻內(nèi)容，短視頻具有內(nèi)容豐富、輕量化、時間短等特點，這也進一步促使短視頻快速傳播。數(shù)據(jù)顯示，中國短視頻用戶規(guī)模已突破8億，針對豐富的短視頻數(shù)據(jù)開展相關(guān)研究很有必要。

目前，針對短視頻的研究主要集中在以下幾個方向。短視頻場景分類：LIU等[2]抓住短視頻時短的特點，提出一個聯(lián)合建模稀疏性和多序列結(jié)構(gòu)的端到端模型，以此來捕獲視頻幀之間的時序結(jié)構(gòu)和短視頻的稀疏表示。短視頻流行度預(yù)測：JING等[3]提出一種基于低秩多視角嵌入的直推式學(xué)習(xí)方法，尋求一組具有低秩約束的特定視圖的投影矩陣，以將多視圖特征映射到公共子空間中，此外，構(gòu)建圖正則化項以提高泛化能力并進一步防止過擬合問題。短視頻用戶推薦：CHEN等[4]提出了一種融合用戶多種興趣特征表示的深度神經(jīng)網(wǎng)絡(luò)模型，采用對用戶信息、條目信息、歷史信息和鄰居信息4種用戶興趣表示進行融合。針對短視頻作為多媒體內(nèi)容往往存在多個標(biāo)注信息，筆者致力于解決短視頻多標(biāo)簽分類問題。

傳統(tǒng)的監(jiān)督學(xué)習(xí)是從樣本空間學(xué)習(xí)X到標(biāo)簽空間Y的映射關(guān)系，即W：X→Y，此時的Y多為一個標(biāo)簽，具有唯一的語義信息。不同于此，現(xiàn)實中各個標(biāo)簽會存在共現(xiàn)屬性，例如“唱歌”和“彈吉他”往往會同時出現(xiàn)在同一樣本里，標(biāo)簽之間具有很強的語義關(guān)聯(lián)性，所以其任務(wù)就變成了要學(xué)習(xí)從樣本空間到具有多語義信息的標(biāo)簽空間的映射關(guān)系，此關(guān)系為一對多。現(xiàn)有的多標(biāo)簽學(xué)習(xí)有以下方法：將多標(biāo)簽分類問題轉(zhuǎn)換為二元分類或者多分類問題，以便利用在傳統(tǒng)監(jiān)督學(xué)習(xí)上取得良好效果的分類算法；利用低秩表征來獲得公共的低秩表示，JIA等[5]提出一種利用低秩結(jié)構(gòu)來穩(wěn)定獲取標(biāo)簽之間局部關(guān)聯(lián)性的學(xué)習(xí)模型；利用深度網(wǎng)絡(luò)來進行相關(guān)性學(xué)習(xí)，CHEN等[6]提出一種基于圖的語義關(guān)聯(lián)正則化方法，用來增強表示學(xué)習(xí)的能力，其主要用于探索個人屬性方面的相互關(guān)聯(lián)，以此來進行UGCs的隱私檢測。受此啟發(fā)，筆者利用圖網(wǎng)絡(luò)在學(xué)習(xí)拓撲結(jié)構(gòu)方面的優(yōu)勢，將其應(yīng)用于多標(biāo)簽分類問題，以每個標(biāo)簽類別作為節(jié)點，挖掘標(biāo)簽關(guān)聯(lián)性，學(xué)習(xí)一組相互依賴的目標(biāo)分類器。

多模態(tài)特征融合目的是充分利用多個視角下信息[7]。在短視頻分類任務(wù)中，除在圖像分類中常用到的視覺信息外，還有音頻、文本、軌跡等特征，這些視角下特征具有異構(gòu)性，但是彼此之間又存在關(guān)聯(lián)，即模態(tài)間一致性，同時，各種信息又相互補充，即模態(tài)間互補性，如何兼顧兩者獲得最佳特征表征是多模態(tài)學(xué)習(xí)的關(guān)鍵。早期多模態(tài)融合往往采用特征拼接的方式，例如將視覺特征和音頻特征直接串聯(lián)融合，這種方法沒有考慮各個模態(tài)間的一致性，造成信息冗余和特征復(fù)雜化。之后具有代表性的融合方法是子空間學(xué)習(xí)，其基本思想是存在一個各個模態(tài)共享的子空間，以此來獲取共享信息，代表性方法是典型相關(guān)分析(Canonical Correlation Analysis，CCA)[8]，通過使兩個視圖在公共子空間上相關(guān)性最大來獲得兩個模態(tài)間最相關(guān)的成分，并將其作為兩者的公共特征。除此之外，利用深度網(wǎng)絡(luò)進行特征融合也逐漸興起。黨吉圣等[9]通過構(gòu)建注意力融合層學(xué)習(xí)全局單點特征和局部幾何特征的隱含關(guān)系，挖掘表征模型類別的幾何特征；ZHANG等[10]考慮模態(tài)缺失，整合跨模態(tài)子空間學(xué)習(xí)和無參分類器進行分類任務(wù)；張麗娟等[11]通過一個域分離網(wǎng)絡(luò)將視覺模態(tài)信息和音頻模態(tài)信息劃分為公有域部分和私有域部分，以期對兩種信息進行分離；張志昌等[12]采用注意力機制將局部信息與全局結(jié)構(gòu)信息進行向量融合，使局部和全局信息優(yōu)勢互補，增強特征的豐富性。

針對目前研究有限的短視頻分類任務(wù)，筆者提出了一種基于多模態(tài)子空間編碼的短視頻多標(biāo)簽分類方法，主要貢獻如下：

(1) 筆者提出了一個新穎的多標(biāo)簽分類框架，針對短視頻的數(shù)據(jù)特點，該框架將樣本空間多模態(tài)信息融合和標(biāo)簽空間相關(guān)性建模進行融合統(tǒng)一，充分利用樣本特征信息和標(biāo)簽的關(guān)聯(lián)語義信息，獲得更準(zhǔn)確的分類結(jié)果；

(2) 針對多模態(tài)信息，引入子空間編碼學(xué)習(xí)，搭建公共潛在表示到多模態(tài)特征信息的編碼網(wǎng)絡(luò)，兼顧各模態(tài)下一致性和互補性信息，獲取完備本征的公共表示；針對多標(biāo)簽信息，采用圖卷積網(wǎng)絡(luò)學(xué)習(xí)相互關(guān)聯(lián)耦合的標(biāo)簽語義表示，指導(dǎo)短視頻的多標(biāo)簽分類；

(3)采用交替學(xué)習(xí)的優(yōu)化策略對模型進行求解，在公開的多標(biāo)簽數(shù)據(jù)集上進行實驗，與其他算法進行比較，提高了多標(biāo)簽分類的準(zhǔn)確度，驗證了筆者所提模型的有效性。

1 基于多模態(tài)子空間編碼的短視頻多標(biāo)簽分類模型

對于視頻這種多媒體信息，傳感器的差異或視角的不同會提取出多個模態(tài)下的信息。這些信息彼此關(guān)聯(lián)，造成同一樣本不同模態(tài)特征存在冗余，不同模態(tài)下又存在其他模態(tài)缺少的信息，互相補充；同時標(biāo)簽之間具有強語義關(guān)聯(lián)，不同標(biāo)簽可能出現(xiàn)在同一個短視頻中，表現(xiàn)為標(biāo)簽共現(xiàn)。由于子空間學(xué)習(xí)在挖掘特征共性上的優(yōu)勢，筆者將其發(fā)展到多標(biāo)簽學(xué)習(xí)任務(wù)當(dāng)中，同時為了構(gòu)建標(biāo)簽間的語義關(guān)聯(lián)，提出了一種基于多模態(tài)子空間編碼的短視頻多標(biāo)簽分類模型。該模型將特征表征和標(biāo)簽語義建模統(tǒng)一到一個框架，可以同時兼顧樣本空間和標(biāo)簽空間，進而提高了最終分類結(jié)果的準(zhǔn)確性。筆者提出的模型如圖1所示，實線和虛線箭頭分別表示訓(xùn)練和測試過程。對于給定的短視頻，對其從3個模態(tài)(視覺、音頻、軌跡)提取對應(yīng)特征。在訓(xùn)練階段，構(gòu)建3個模態(tài)下子空間編碼網(wǎng)絡(luò)和標(biāo)簽空間下圖卷積網(wǎng)絡(luò)，以樣本空間的重構(gòu)損失和標(biāo)簽空間的分類損失作為約束損失函數(shù)，訓(xùn)練整體網(wǎng)絡(luò)，獲得多模態(tài)重構(gòu)映射和標(biāo)簽語義表示；在測試階段，以重構(gòu)損失作為約束，獲得測試樣本的潛在子空間表示，融合標(biāo)簽語義表示，得到測試集分類結(jié)果。

1.1 算法模型

給定一組帶有標(biāo)簽的短視頻數(shù)據(jù)集X={X(1)，X(2)，…，X(V)}，其中V是視角的個數(shù)，X(v)∈RDv×N是在第v個視角下的特征矩陣，Dv是在第v個視角下的特征維度，N是短視頻樣本數(shù)量；同時給定標(biāo)簽矩陣Y={Yij}∈{0，1}N×C，其中C為標(biāo)簽的個數(shù)，如果第i個短視頻攜帶第j個標(biāo)簽，則相應(yīng)的Yij=1，反之，Yij=0。筆者所提算法是充分利用多個模態(tài)特征的一致性和互補性，將多視角子空間學(xué)習(xí)和標(biāo)簽語義信息學(xué)習(xí)整合為一個統(tǒng)一框架，用于下游的多標(biāo)簽分類任務(wù)，提高了分類性能。

1.1.1 多模態(tài)子空間編碼

子空間學(xué)習(xí)假設(shè)存在一個公共子空間，可以刻畫出不同視角下的特征，其目的是充分利用各個視角的信息。假設(shè)存在一個共享公共表示H，其可以通過一組映射重構(gòu)出各個樣本在每個視角下特征，即X(v)=fv(H)。其中，對任意視角v，構(gòu)造屬于其所對應(yīng)的重構(gòu)映射fv(·)。分別對3個模態(tài)采用多層感知神經(jīng)網(wǎng)絡(luò)構(gòu)建對樣本特征的重構(gòu)映射。對于同一樣本，不同模態(tài)共享同一完備公共表示H，以其編碼多個模態(tài)下的樣本特征X(v)。

假設(shè)在給定公共表示的情況下，各個視角條件獨立，對于多視角子空間學(xué)習(xí)的關(guān)鍵就是對不同的可用視角進行有效的信息編碼：

p(X|H)=p(X(1)|H)p(X(2)|H)…p(X(V)|H) 。

(1)

在給定樣本X的情況下，對公共表示H進行似然建模：

(2)

(3)

(4)

1.1.2 多標(biāo)簽語義關(guān)聯(lián)學(xué)習(xí)

圖卷積網(wǎng)絡(luò)(Graph Convolutional Network，GCN)[13]由許多節(jié)點和邊組成，常用于半監(jiān)督學(xué)習(xí)任務(wù)，其本質(zhì)是通過節(jié)點間信息的傳遞更新節(jié)點的向量表示，往往應(yīng)用在非歐幾里得空間的數(shù)據(jù)上。標(biāo)簽之間存在復(fù)雜的耦合關(guān)聯(lián)，因此，采用圖方法來建模標(biāo)簽間的相互依賴，以此捕捉標(biāo)簽空間的拓撲結(jié)構(gòu)。對于圖卷積網(wǎng)絡(luò)中的第l層，其標(biāo)簽描述矩陣為H(l)∈Rd×C，對應(yīng)的相關(guān)矩陣A∈RC×C，其中C為節(jié)點的個數(shù)，d表示節(jié)點特征的維度。筆者將每個標(biāo)簽的詞嵌入向量作為節(jié)點表示，然后用圖卷積網(wǎng)絡(luò)進行更新，得到下一層的節(jié)點表示。每層的網(wǎng)絡(luò)更新規(guī)則如下：

(5)

(6)

(7)

綜合上述的重構(gòu)損失和多標(biāo)簽分類損失，可得整體目標(biāo)函數(shù)：

(8)

其目標(biāo)函數(shù)將多視角子空間學(xué)習(xí)和多標(biāo)簽語義學(xué)習(xí)集成到統(tǒng)一的框架下，兩部分在更新迭代過程中互相影響，彼此約束，保證了模型更新過程的整體性。

1.2 模型求解

由于整體目標(biāo)函數(shù)的非凸特性，筆者采用交替學(xué)習(xí)的策略更新網(wǎng)絡(luò)參數(shù)和公共表示。在每次更新時，依次固定網(wǎng)絡(luò)中的其他參數(shù)，利用反向傳播(Back Propagation，BP)[14]算法對一個參數(shù)進行學(xué)習(xí)，直至達到收斂。在這個過程中，采用隨機梯度下降(Stochastic Gradient Descent，SGD)[15]去進行迭代更新。具體參數(shù)更新過程如下：

① 固定Θh和Wg，求以下梯度進行H的更新：

(9)

其中，?(v)是U(v)關(guān)于H的梯度。由式(4)可得

(10)

② 固定H和Wg，求以下梯度進行Θh的更新：

(11)

③ 固定H和Θh，求以下梯度進行Wg的更新：

(12)

2 實驗和結(jié)果分析

2.1 實驗數(shù)據(jù)及設(shè)置

中文的實驗在大樣本短視頻多標(biāo)簽數(shù)據(jù)集MTSVRC上進行，數(shù)據(jù)集在AI Challenger 2018挑戰(zhàn)賽中由美圖公司公開發(fā)布，數(shù)據(jù)集樣例如圖2所示。

該數(shù)據(jù)集中總計含有約20萬個短視頻數(shù)據(jù)，視頻時長集中在5～15 s，短視頻信息均具有多個模態(tài)的表征，例如視覺、音頻、軌跡等。短視頻的標(biāo)簽總計有63個常見類別，標(biāo)注主要從視頻主體、場景、動作以及人物屬性多個維度展開，每個短視頻標(biāo)注1～3個標(biāo)簽。表1統(tǒng)計了攜帶不同數(shù)目標(biāo)簽的短視頻數(shù)量。

表1 攜帶不同數(shù)目標(biāo)簽的短視頻數(shù)量

針對短視頻數(shù)據(jù)集以上特點，對數(shù)據(jù)集進行預(yù)處理，提取出所需樣本特征和標(biāo)簽特征。根據(jù)短視頻集中視覺畫面，將每條短視頻按時間提取15幀關(guān)鍵幀，對其用視覺幾何組(Visual Geometry Group，VGG)[16]提取特征，再經(jīng)過平均池化形成2 048維視覺特征；每個樣本幾乎都包含聲音，筆者采用梅爾頻率倒譜系數(shù) (Mel Frequency Cepstral Coefficients，MFCC)[17]提取出維度為2 048的音頻特征；考慮到標(biāo)簽與許多動作的關(guān)聯(lián)性，采用軌跡池深卷積描述子(Trajectory-pooled Deep-convolutional Descriptors，TDD)[18]提取2 048維度軌跡特征。除此之外，對于標(biāo)簽特征，主要是文本信息，采用全局向量詞表示(Global Vectors for word representation，GloVe)[19]模型提取63個標(biāo)簽的詞嵌入向量，作為標(biāo)簽特征表示。將數(shù)據(jù)集按照4∶1比例劃分訓(xùn)練集和測試集。

2.2 評價方法

實驗過程采用了5種常用多標(biāo)簽學(xué)習(xí)的評價指標(biāo)來評估模型的性能，包括平均精度(Average Precision)、覆蓋度(Coverage)、漢明損失(Hamming Loss)、排序損失(Ranking Loss)和1-錯誤率(One-Error)。除覆蓋度外，所有的值集中在0到1之間，其中，平均精度的值越大，分類效果越好，其余4項指標(biāo)的值越小，性能越好。在實驗過程中，對于超參數(shù)的調(diào)節(jié)主要是以平均精度為主，其計算公式如下：

(13)

2.3 結(jié)果分析

2.3.1 算法收斂性

模型采用交替學(xué)習(xí)策略進行訓(xùn)練，迭代過程采用隨機梯度下降進行參數(shù)更新，批大小設(shè)置為128。為驗證文中算法的可行性，整體損失和平均精度隨訓(xùn)練次數(shù)的結(jié)果如圖3所示。從圖中可以發(fā)現(xiàn)，整體損失隨著迭代次數(shù)增加而快速降低，隨后趨于穩(wěn)定；而平均精度隨著迭代次數(shù)增加而快速升高，而后趨于穩(wěn)定，兩者基本都在25次訓(xùn)練后達到收斂。這證明模型能夠經(jīng)過訓(xùn)練后達到收斂，驗證了算法的可行性。

2.3.2 公共表示維度分析

為了研究初始化的共享公共表示H對整個模型分類效果的影響，將公共表示H的維度用d表示，實驗中將其范圍設(shè)置為64～2 048。圖4展示了不同公共表示維度下的分類性能。

從圖4中可以看出，分類性能對公共表示的維度比較敏感。當(dāng)d=512時，各項指標(biāo)達到最優(yōu)，當(dāng)維度較低時，由于其對特征信息的重構(gòu)有限，導(dǎo)致結(jié)果無法達到最好；當(dāng)維度較高時，在訓(xùn)練的過程中，結(jié)果最高，但是在測試時，結(jié)果降低，說明過大的維度導(dǎo)致了過擬合現(xiàn)象的產(chǎn)生，在訓(xùn)練時對干擾信息等噪聲也進行了學(xué)習(xí)，導(dǎo)致結(jié)果變差。由此可見，公共表示維度在最終分類結(jié)果上具有重要作用。

2.3.3 消融實驗

為驗證充分利用各個模態(tài)信息的有效性和各模態(tài)信息對結(jié)果的影響程度，在固定其他條件的情況下，分別在單個模態(tài)、兩兩組合模態(tài)和3個模態(tài)組合下進行實驗。結(jié)果如表2所示，其中V、A、T分別表示視覺模態(tài)、音頻模態(tài)和軌跡模態(tài)。

表2 不同模態(tài)組合的多標(biāo)簽分類性能對比

從表2可以看出：單個模態(tài)下視覺模態(tài)的結(jié)果要高于其他兩個模態(tài)，在短視頻這樣的媒體信息中，視覺模態(tài)含有更豐富的語義信息；相較之下，音頻模態(tài)的結(jié)果最差，一個可能的原因是在短視頻中含有較多的背景音樂等噪聲干擾。其次，無論是兩種模態(tài)相互組合還是利用全部模態(tài)信息，結(jié)果都要優(yōu)于只使用單個模態(tài)信息的結(jié)果，尤其當(dāng)采用3個模態(tài)信息組合時，結(jié)果達到最優(yōu)，這說明筆者提出的模型能夠充分利用多個模態(tài)間的一致性和互補性信息，獲得能夠體現(xiàn)原始數(shù)據(jù)的本征表示。

2.3.4 與其他算法的對比

為證明筆者所提模型在多標(biāo)簽分類任務(wù)中的有效性，在保證數(shù)據(jù)集和所需特征一致的情況下，將筆者提出的算法與其他算法進行對比，其中，所涉及到的算法有三維卷積網(wǎng)絡(luò)(3D Convolutional networks，C3D)[20]、典型相關(guān)自動編碼器(Canonical Correlated AutoEncoder，C2AE)[21]、多標(biāo)簽K最近鄰算法(Multi-Label K-Nearest Neighbor，MLKNN)[22]、谷歌網(wǎng)絡(luò)(Googlenet)[23]、具有全局和局部相關(guān)性的多標(biāo)簽學(xué)習(xí)(multi-label GLObal and loCAL label，GLOCAL)[24]、穩(wěn)健多視角子空間學(xué)習(xí)(Robust Multi-view Subspace Learning，RMSL)[25]、用流形正則化鑒別特征選擇模型(Manifold regularized Discriminative Feature Selection，MDFS)[26]、雙重關(guān)聯(lián)半監(jiān)督多標(biāo)簽學(xué)習(xí)(Dual Relation semi-supervised Multi-Label，DRML)[27]。上述算法整體上可以分為3類：基于多模態(tài)表示學(xué)習(xí)(RMSL，C2AE)、基于深度網(wǎng)絡(luò)進行特征表征(Googlenet，C3D)，基于標(biāo)簽相關(guān)性學(xué)習(xí)(GLOCAL，MLKNN，MDFS，DRML)。

將筆者提出的算法與以上算法在5個評價指標(biāo)上進行對比，結(jié)果如表3所示。

表3 不同算法的多標(biāo)簽分類性能對比

從表3可以得到：① 在表中所列方法中，筆者提出的算法在5個指標(biāo)上的綜合表現(xiàn)最優(yōu)，這證明了筆者所提算法的有效性；② 基于深度表征的算法，例如Googlenet、C3D，沒有取得較好的效果，可能是因為這類網(wǎng)絡(luò)層數(shù)較深，數(shù)據(jù)集樣本的欠缺導(dǎo)致訓(xùn)練不充分；③ 基于多模態(tài)表示學(xué)習(xí)的算法(RMSL，C2AE)取得了不錯的結(jié)果，證明了利用多個模態(tài)信息的重要性；④ 基于標(biāo)簽相關(guān)性學(xué)習(xí)的算法，例如DRML，因為考慮了標(biāo)簽間的相互依賴和分布關(guān)系，所以結(jié)果要優(yōu)于其他算法。綜合來看，筆者所提模型在對樣本特征進行處理時，充分考慮了多個模態(tài)間的一致性和互補性，盡可能保證信息的充分利用，減少信息的丟失。對于標(biāo)簽空間，利用圖卷積網(wǎng)絡(luò)學(xué)習(xí)標(biāo)簽間的分布，將兩者整合到同一個框架下，實現(xiàn)了最好的分類結(jié)果。

3 總 結(jié)

目前關(guān)于短視頻進行的相關(guān)研究相對較少，針對其在多標(biāo)簽分類中遇到的問題，筆者提出了一種多模態(tài)特征融合的短視頻多標(biāo)簽分類模型。該模型將多個視角下的子空間編碼學(xué)習(xí)與多標(biāo)簽相關(guān)性學(xué)習(xí)整合到一個統(tǒng)一框架下。該框架利用子空間編碼網(wǎng)絡(luò)學(xué)習(xí)多個視角下更本征的公共表示，同時利用圖卷積網(wǎng)絡(luò)挖掘標(biāo)簽間的語義相關(guān)性。整個網(wǎng)絡(luò)采用基于隨機梯度下降的交替學(xué)習(xí)策略進行參數(shù)的更新求解。在公開的短視頻多標(biāo)簽分類數(shù)據(jù)集上的實驗結(jié)果表明，模型充分利用各個視角下的特征信息和標(biāo)簽的語義信息，提高了分類的準(zhǔn)確性。