融合數(shù)據(jù)增強(qiáng)的遷移字典學(xué)習(xí)

王子儒，李振民

中南大學(xué) 自動(dòng)化學(xué)院，長沙 410083

人體行為識(shí)別在眾多領(lǐng)域有著廣泛的應(yīng)用，例如基于內(nèi)容的視頻檢索、人機(jī)交互和視頻監(jiān)控。人體行為識(shí)別一開始專注于研究一些由簡單動(dòng)作組成，視角特定的視頻中的行為，例如跳躍、走路或是揮手。然而，復(fù)雜行為的識(shí)別更具有應(yīng)用價(jià)值以及挑戰(zhàn)性。這類行為的特點(diǎn)包括背景雜亂、視角不固定、遮擋以及目標(biāo)的幾何和光照變化，并且存在較大的類內(nèi)差異[1]。

復(fù)雜行為識(shí)別最開始主流的方法都是基于手工特征。Dollar等人[2]提出了一種對(duì)每個(gè)檢測到的3D興趣點(diǎn)周圍的時(shí)空體積的三維立方體進(jìn)行表征的方法。Wang等人[3]對(duì)視頻進(jìn)行稠密采樣，并用四種不同的描述符表示每個(gè)跟蹤點(diǎn)。隨著基于深度學(xué)習(xí)的方法在圖像識(shí)別領(lǐng)域的發(fā)展，復(fù)雜行為識(shí)別的識(shí)別率得到了顯著的提高。大部分方法基于雙流網(wǎng)絡(luò)、3D時(shí)空網(wǎng)絡(luò)或是LSTM網(wǎng)絡(luò)。Zhang等人[4]用視頻中的運(yùn)動(dòng)矢量代替雙流網(wǎng)絡(luò)中的光流，在顯著提升了運(yùn)算速度的同時(shí)保證了識(shí)別效果。Zhu等人[5]嘗試將光流序列的計(jì)算融合到網(wǎng)絡(luò)中，并將原始圖像與光流序列合并以表示人類行為。然而，深度神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)簽樣本訓(xùn)練模型，而收集這些標(biāo)簽樣本是費(fèi)時(shí)費(fèi)力的。眾多學(xué)者提出利用遷移學(xué)習(xí)的方法解決標(biāo)簽樣本數(shù)量不足的問題。這些方法在半監(jiān)督的情況下，依然能夠得到理想的識(shí)別效果。Xu等人[6]提出了利雙重多對(duì)一編碼器，將源域特征和目標(biāo)域特征映射到同一特征空間，提取廣義特征。Zhu等人[7]提出遷移字典（WSCDD）的方法，即利用源域的大量樣本輔助構(gòu)造目標(biāo)域字典，從而獲得目標(biāo)行為的稀疏表示。WSCDD優(yōu)于其他方法的結(jié)果驗(yàn)證了方法的有效性。然而對(duì)于現(xiàn)實(shí)情況來說，半監(jiān)督學(xué)習(xí)下的復(fù)雜行為識(shí)別問題中，尋找與目標(biāo)行為屬于同一類的其他域的樣本也相當(dāng)困難。數(shù)據(jù)增強(qiáng)也是一種擴(kuò)充數(shù)據(jù)集的方法，Goodfellow等人[8]提出的生成對(duì)抗網(wǎng)絡(luò)（GAN）成為了數(shù)據(jù)增強(qiáng)的重要模型。Masaki等人[9]提出時(shí)空生成對(duì)抗網(wǎng)絡(luò)（TGAN），通過學(xué)習(xí)未標(biāo)記視頻的語義信息，利用時(shí)間生成器和圖片生成器來合成視頻。然而，盡管GAN在圖像層面上的數(shù)據(jù)增強(qiáng)有著不錯(cuò)的效果，但由于上采樣的過程中，GAN無法很好地結(jié)合背景與識(shí)別對(duì)象，導(dǎo)致當(dāng)背景并不是靜止時(shí)生成的視頻難以辨認(rèn)，也無法有效地提高識(shí)別結(jié)果。

為解決上述問題，基于復(fù)雜行為都是由數(shù)個(gè)簡單行為組序列組成的思想，本文提出基于簡單行為構(gòu)造遷移字典幫助識(shí)別復(fù)雜行為。同時(shí)，在特征層面進(jìn)行數(shù)據(jù)擴(kuò)充，避免了GAN在上采樣過程融入的無關(guān)信息，通過大量的生成特征與真實(shí)特征訓(xùn)練出可靠的遷移字典。

1 基于簡單行為的遷移字典

1.1 遷移字典

其中，βj∈?S是第j類簡單行為的轉(zhuǎn)換子矩陣，每一個(gè)轉(zhuǎn)換子矩陣都將相應(yīng)的簡單行為的稀疏表示轉(zhuǎn)化為復(fù)雜行為的稀疏表示的一部分。那么全局轉(zhuǎn)換矩陣由所有類的子矩陣構(gòu)成：

通過這個(gè)正則化項(xiàng)，就能夠獲得包含簡單行為信息的復(fù)雜行為的稀疏表示了。例如，跳高由兩個(gè)簡單行為組成，分別是跑步和后空翻。因此相應(yīng)子矩陣βj的相應(yīng)位置被置為1，而其他子矩陣則都為0。則整個(gè)模型的目標(biāo)函數(shù)為：

1.2 優(yōu)化

由于目標(biāo)函數(shù)涉及多個(gè)變量，而傳統(tǒng)的迭代方法往往需要對(duì)目標(biāo)函數(shù)進(jìn)行極為復(fù)雜的數(shù)學(xué)運(yùn)算，對(duì)于多變量函數(shù)來說，這無疑會(huì)加劇優(yōu)化過程的計(jì)算量。因此，本文采用交替迭代的方法求解參數(shù)，其思想是將多變量問題轉(zhuǎn)化為單變量問題，即在單次運(yùn)算時(shí)，保持其他的變量固定不變，只求解一個(gè)變量，則函數(shù)變?yōu)橥购瘮?shù)，能夠很方便地用梯度進(jìn)行優(yōu)化求解。交替迭代法已經(jīng)成為優(yōu)化問題中常見的有效算法[10]。需要求解的參數(shù)包括X,Xj,D,Dj和β，優(yōu)化過程可以分為四步：（1）更新X,Xj和β，計(jì)算字典D,Dj；（2）固定稀疏表示和字典，更新β；（3）固定字典，β和X，更新簡單行為的稀疏表示Xj；（4）固定字典，β和Xj，更新復(fù)雜行為稀疏表示。

圖1 遷移字典的流程圖Fig.1 Flowchart of transfer dictionary

（1）給定X,Xj和β，求解復(fù)雜行為字典D，簡單行為字典Dj。

固定其他變量，復(fù)雜行為字典與簡單行為字典的字典原子（列數(shù)）相同，則可將復(fù)雜行為字典與簡單行為字典合并[11]，公式（3）重新表示為：

當(dāng)更新字典的第i列時(shí)，固定其他列，則固定，然后通過E的奇異值分解（SVD），可以得到：

其中，U(:,1)代表U的第一列，V(1,:)代表V的第一行。將按相應(yīng)維數(shù)分開，則可得到復(fù)雜行為字典原子以及簡單行為字典原子。

（2）給定字典和稀疏表示，更新β。

本文采用快速迭代收縮閾值算法（FISTA）[13]更新β,X,Xj。β,X,Xj的更新過程所涉及的函數(shù)為非光滑凸函數(shù)，而FISTA作為更新非光滑凸函數(shù)的常用算法，是一種基于梯度的優(yōu)化求解算法，在保留了迭代收縮閾值算法（ISTA）的計(jì)算簡單性的同時(shí)，解決了ISTA收斂速度慢的問題。

FISTA的思想是，對(duì)于凸函數(shù)F(x)≡f(x)+g(x)，其中g(shù)(x)是函數(shù)中非光滑部分，在點(diǎn)y處的二次近似函數(shù)為：

忽略常數(shù)項(xiàng)，該函數(shù)的最小值表示為：

與ISTA不同，F(xiàn)ISTA并不是直接令下一次迭代點(diǎn)xk=pL(xk-1)，而是采用了Nesterov加速策略。基于梯度的更新算法中，參數(shù)的更新方向取決于當(dāng)前迭代點(diǎn)的梯度，然而這種更新方法可能會(huì)導(dǎo)致迭代方向來回振蕩從而無法在全局范圍內(nèi)朝最終目標(biāo)下降，使得迭代的次數(shù)大幅度的增加。文獻(xiàn)[14]動(dòng)量法為了解決上述問題，令參數(shù)的更新方向不僅僅考慮當(dāng)前位置的梯度，還加入了上一次迭代的梯度以對(duì)本次更新的方向進(jìn)行平滑，以避免迭代方向變化過快。而Nesterov加速策略在此基礎(chǔ)上，還加入了對(duì)本次迭代預(yù)測值的梯度，從而使梯度更加平滑，令本次更新矢量為Vk，迭代點(diǎn)為xk：

FISTA將Nesterov加速策略加入到ISTA中，用一種更聰明的辦法選擇近似函數(shù)的起始點(diǎn)：

在固定字典和稀疏表示之后，目標(biāo)函數(shù)可以改寫為：

因?yàn)榇嬖趌1范數(shù)，公式（10）并不是一個(gè)光滑函數(shù)。將公式（11）分為兩個(gè)部分：

常見的停止標(biāo)準(zhǔn)一般為設(shè)置迭代次數(shù)或是兩次迭代之間損失的差值，由于設(shè)置固定的迭代次數(shù)并不能保證損失能達(dá)到期望值，因此使用兩次迭代之間損失的差值作為停止條件。迭代的停止條件設(shè)置為：

其中，ε是值差，文獻(xiàn)[13]對(duì)迭代的停止標(biāo)準(zhǔn)的選取進(jìn)行了實(shí)驗(yàn)，從圖2中可以看出，當(dāng)停止標(biāo)準(zhǔn)小于10-3時(shí)迭代次數(shù)會(huì)大幅增加，因此本文采用10-3作為停止標(biāo)準(zhǔn)。

（3），（4）同樣使用FISTA算法，與第（2）步相同。

圖2 值差與迭代次數(shù)的關(guān)系Fig.2 Relationship between value difference and number of iterations

2 基于GAN的特征增強(qiáng)

2.1 GAN

冗余字典的學(xué)習(xí)需要大量的樣本，然而數(shù)據(jù)集本身的樣本數(shù)量并不足以訓(xùn)練好的字典，簡單行為的字典是否具有足夠的表征能力非常重要，因?yàn)樗苯佑绊懙綇?fù)雜行為的稀疏表示從而影響識(shí)別結(jié)果。數(shù)據(jù)增強(qiáng)是一種新的獲取大量數(shù)據(jù)的方法，傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法例如切割、縮放、添加噪聲并不適用于視頻數(shù)據(jù)。近年來，GAN在數(shù)據(jù)增強(qiáng)領(lǐng)域得到了廣泛的應(yīng)用。GAN最先由Goodfellow[8]提出，模型由生成器G和判別器D構(gòu)成。生成器以噪聲為輸入生成樣本，判別器以生成樣本和真實(shí)樣本為輸入并試圖區(qū)分兩者。生成器的目標(biāo)則是使生成的樣本難以被判別器區(qū)分。模型的目標(biāo)函數(shù)為：

其中，Pr是真實(shí)樣本的分布，Pz是噪聲分布。

2.2 基于CGAN的特征增強(qiáng)

利用GAN生成視頻的方法已經(jīng)有人提出[9，15]，然而效果都不能令人滿意。為了訓(xùn)練字典，只需在特征層面上進(jìn)行數(shù)據(jù)增強(qiáng)即可完成目標(biāo)。同時(shí)，GAN在訓(xùn)練過程中以真實(shí)數(shù)據(jù)作為判別模型的訓(xùn)練樣本，在模型訓(xùn)練完成之后生成器的確會(huì)生成足以以假亂真的數(shù)據(jù)，然而這類數(shù)據(jù)卻并不一定可以用于數(shù)據(jù)增強(qiáng)，同時(shí)不含標(biāo)簽信息的數(shù)據(jù)也很難用于輔助訓(xùn)練分類器。利用CGAN[16]的框架，即可通過添加標(biāo)簽信息控制生成的特征。CGAN提出了一種帶條件約束的GAN，在生成模型和判別模型的訓(xùn)練過程中均引入條件變量y，使用額外信息y對(duì)模型增加條件，可以指導(dǎo)數(shù)據(jù)生成過程。這些條件變量y可以基于多種信息，例如類別標(biāo)簽。如果條件變量y是類別標(biāo)簽，可以看做CGAN是把純無監(jiān)督的GAN變成有監(jiān)督的模型的一種改進(jìn)。帶有標(biāo)簽信息的特征可以為后續(xù)的字典學(xué)習(xí)的過程提供充足的樣本，這也是訓(xùn)練具有良好表征能力的字典所必須的。CGAN的目標(biāo)函數(shù)即為：

其中，Ys是真實(shí)樣本的標(biāo)簽分布。生成模型G由兩個(gè)相同的模塊組成，每個(gè)模塊分別由一個(gè)全連接層，一個(gè)BN層，一個(gè)dropout層以及另一個(gè)全連接層構(gòu)成。判別模型D則是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)，以sigmoid單元作為輸出層。不同于CGAN中使用交叉熵?fù)p失函數(shù)，這里采用文獻(xiàn)[17]的思想，利用L2損失函數(shù)解決CGAN面臨的判別器飽和以及模型不穩(wěn)定的問題。訓(xùn)練具有表征力的字典需要盡可能多樣的樣本，生成大量的與真實(shí)數(shù)據(jù)幾乎完全相似的特征無益于字典學(xué)習(xí)。采用文獻(xiàn)[18]中的方法，將GAN的學(xué)習(xí)問題視作勢場，依據(jù)庫侖定律，將生成器中生成的特征視作具有相同符號(hào)的靜電荷，則同種電荷之間的斥力會(huì)迫使它們分散。因此，可以在生成器中添加正則化項(xiàng)——多樣性增強(qiáng)正則化項(xiàng)（DER）：

其中，ai=G(z||yi)，是生成器生成的特征。DER使生成器專注于在特征空間的稀疏區(qū)域生成更多的樣本，而不是在稠密區(qū)域浪費(fèi)效果。與每一個(gè)特征維數(shù)直接最大化熵相比，庫侖力的最小化是軟正則化，因?yàn)閹靵隽Φ膹?qiáng)度取決于合成樣本的局部密度。通過加入DER項(xiàng)，生成的樣本仍然可以主要分布在實(shí)流形上，避免了許多無意義的變化。因此，本文認(rèn)為DER是增加生成樣本多樣性的理想正則化項(xiàng)。

3 實(shí)驗(yàn)

本文利用稠密軌跡[3]提取數(shù)據(jù)集中視頻的特征，作為至今為止表現(xiàn)相對(duì)較好，并在各個(gè)實(shí)驗(yàn)數(shù)據(jù)集上取得了不錯(cuò)的識(shí)別結(jié)果的人工提取特征的方法，稠密軌跡能很好地表示視頻中的運(yùn)動(dòng)信息。稠密軌跡包含4種描述子，分別為軌跡描述子，梯度方向直方圖（HOG），光流方向直方圖（HOF），運(yùn)動(dòng)邊界直方圖（MBH）。通過PCA進(jìn)行降維處理，利用Fisher Vector（FV）進(jìn)行編碼。并將得到的稀疏編碼輸入到linear SVM中進(jìn)行分類[19]。實(shí)驗(yàn)平臺(tái)為一臺(tái)帶有4.60 GHz i7-8700K CPU和16 GB內(nèi)存的電腦。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)使用KTH數(shù)據(jù)集[20]和Weizmann數(shù)據(jù)集[21]作為簡單行為的數(shù)據(jù)集，這兩個(gè)數(shù)據(jù)集背景簡單且固定，視頻內(nèi)容都是由單人單個(gè)行為組成，視角固定，都是在受控條件下記錄的。KTH數(shù)據(jù)集包含拳擊、拍手、揮手、慢跑、跑步、走路6個(gè)動(dòng)作，Weizmann數(shù)據(jù)集包含彎腰、開合跳、跳躍、原地跳、跑步、橫移、單腳跳、走路、單手揮、雙手揮10個(gè)動(dòng)作。因此總共有14個(gè)簡單動(dòng)作類別?；舅蓄悇e的復(fù)雜行為都可以由這14個(gè)簡單行為的組合表示。例如跳高可以由跑步和跳躍組成。實(shí)驗(yàn)使用HMDB51[22]和UCF101數(shù)據(jù)集[23]作為復(fù)雜行為數(shù)據(jù)集。這兩個(gè)數(shù)據(jù)集中的視頻片段來源于網(wǎng)絡(luò)。UCF101數(shù)據(jù)集從Youtube上收集了101類動(dòng)作共13 320個(gè)視頻，HMDB51數(shù)據(jù)集從Prelinger檔案、Youtube、Google視頻上收集了51類動(dòng)作共6 849個(gè)視頻片段，每個(gè)動(dòng)作類別至少包含了101個(gè)視頻片段。這些視頻的背景雜亂且不固定，動(dòng)作更加復(fù)雜并且更加貼近實(shí)際情況。大部分行為識(shí)別方法都在兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評(píng)估效果。最好的方法在UCF101數(shù)據(jù)集上已達(dá)到97.9%，而在HMDB51上達(dá)到了80.2%，這主要是由于數(shù)據(jù)量的差異導(dǎo)致識(shí)別率的變化[24]。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 特征增強(qiáng)

為了驗(yàn)證生成器G生成特征的質(zhì)量，本文利用TSNE對(duì)生成的特征以及真實(shí)樣本的特征進(jìn)行降維處理，得到2維向量從而可以在圖中直觀展示真實(shí)樣本的特征與生成特征的差距。圖3中，雙色圖側(cè)藍(lán)色點(diǎn)代表真實(shí)樣本特征，紅色點(diǎn)代表生成特征。多色圖展示了不同類的行為的特征分布?？梢钥吹?，生成的特征與真實(shí)的特征在同一特征空間且基本無法區(qū)分。類間結(jié)構(gòu)也與真實(shí)樣本相同。同時(shí)，將生成的特征輸入到由真實(shí)樣本訓(xùn)練好的linear SVM中，分類效果達(dá)到了95.2%，驗(yàn)證了生成特征的質(zhì)量。同時(shí)，表1、2最后一行是遷移字典加特征增強(qiáng)后的識(shí)別準(zhǔn)確率，高于其他方法的準(zhǔn)確率驗(yàn)證了特征增強(qiáng)的有效性。

3.2.2 遷移字典

盡管許多復(fù)雜行為識(shí)別方法包括基于手工特征的方法以及基于深度學(xué)習(xí)的方法在UCF101和HMDB51上都取得了出色的識(shí)別結(jié)果，然而在訓(xùn)練樣本大幅減少時(shí)，這些方法的識(shí)別效果也被大幅度地削弱了。為了驗(yàn)證遷移字典在標(biāo)簽樣本很少的情況下的識(shí)別效果，本文采用了文獻(xiàn)[11]中的實(shí)驗(yàn)辦法，隨機(jī)抽取了5%、10%、25%、50%的訓(xùn)練樣本進(jìn)行實(shí)驗(yàn)，并與WSCDD以及其他在當(dāng)前數(shù)據(jù)集上擁有最好的識(shí)別結(jié)果的方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果顯示在標(biāo)簽樣本少于50%的情況下（見表1、2），遷移字典的識(shí)別效果明顯優(yōu)于現(xiàn)有的其他方法，同時(shí)特征增強(qiáng)對(duì)識(shí)別效果也有顯著的提高。

圖3 Weizmann數(shù)據(jù)集和KTH數(shù)據(jù)集的生成特征與真實(shí)特征的分布Fig.3 Distribution of generated features and real features of Weizmann dataset and KTH dataset

表1 本文方法與其他方法在UCF101數(shù)據(jù)集上的識(shí)別結(jié)果Table 1 Identification results of this method and other methods on UCF101 dataset %

表2 本文方法與其他方法在HMDB51數(shù)據(jù)集上的識(shí)別結(jié)果Table 2 Identification results of this method and other methods on HMDB51 dataset %

4 結(jié)語

本文提出的方法利用簡單行為作為源域訓(xùn)練遷移字典，通過轉(zhuǎn)換矩陣獲得目標(biāo)行為的稀疏表示，并通過CGAN模型在特征層面上對(duì)簡單行為數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，幫助模型訓(xùn)練更具有表征力的簡單行為字典，從而提高復(fù)雜行為的稀疏表示的判別力。在UCF101和HMDB51數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法在標(biāo)簽樣本較少的情況下的有效性。未來將會(huì)進(jìn)一步研究如何在小樣本數(shù)據(jù)集上提取更具表征力的特征和更有效的分類方法。