網(wǎng)絡(luò)媒體大數(shù)據(jù)流異構(gòu)多模態(tài)目標(biāo)識別策略

文孟飛 劉偉榮 胡 超

1(中南大學(xué)信息科學(xué)與工程學(xué)院 長沙 410083)2(中南大學(xué)信息與網(wǎng)絡(luò)中心 長沙 410083)3(醫(yī)學(xué)信息研究湖南省普通高等學(xué)校重點實驗室(中南大學(xué)) 長沙 410083)4 (湖南省教育科學(xué)研究院 長沙 410005)(wmfdcf@126.com)

網(wǎng)絡(luò)媒體大數(shù)據(jù)流異構(gòu)多模態(tài)目標(biāo)識別策略

文孟飛1,4劉偉榮1胡 超2,3

1(中南大學(xué)信息科學(xué)與工程學(xué)院 長沙 410083)2(中南大學(xué)信息與網(wǎng)絡(luò)中心 長沙 410083)3(醫(yī)學(xué)信息研究湖南省普通高等學(xué)校重點實驗室(中南大學(xué)) 長沙 410083)4(湖南省教育科學(xué)研究院 長沙 410005)(wmfdcf@126.com)

如何對海量的網(wǎng)絡(luò)媒體大數(shù)據(jù)進(jìn)行準(zhǔn)確地目標(biāo)識別，是當(dāng)前的一個研究熱點和難點.針對此問題提出一種利用媒體流時間相關(guān)特性的異構(gòu)多模態(tài)目標(biāo)識別策略.首先基于媒體流中同時存在音頻和視頻信息的特征，建立一種異構(gòu)多模態(tài)深度學(xué)習(xí)結(jié)構(gòu)；結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)和限制波爾茲曼機(jī)(restricted Boltzmann machine, RBM)的算法優(yōu)點，對音頻信息和視頻信息分別并行處理，這種異構(gòu)模式可以充分利用不同深度神經(jīng)網(wǎng)絡(luò)的特點；然后生成基于典型關(guān)聯(lián)分析的共享特征表示，并進(jìn)一步利用時間相關(guān)特性進(jìn)行參數(shù)的優(yōu)化.3種對比實驗用來驗證所提策略的效果，首先將策略與單一模態(tài)算法進(jìn)行對比；然后再在復(fù)合的數(shù)據(jù)庫上建立對比實驗；最后在網(wǎng)絡(luò)視頻庫上建立對比實驗，這些對比實驗驗證了策略的有效性.

目標(biāo)識別；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；限制玻爾茲曼機(jī)；典型關(guān)聯(lián)分析

網(wǎng)絡(luò)技術(shù)的發(fā)展使互聯(lián)網(wǎng)上各種結(jié)構(gòu)化、非結(jié)構(gòu)化的海量大數(shù)據(jù)應(yīng)運(yùn)而生[1].如何建立起一種高效、準(zhǔn)確的網(wǎng)絡(luò)大數(shù)據(jù)目標(biāo)識別策略已成為國內(nèi)外學(xué)者的研究熱點[2].現(xiàn)今互聯(lián)網(wǎng)上85%以上已捕獲的都是非結(jié)構(gòu)化的文件、圖像、視頻、點擊流和地理空間數(shù)據(jù)[3].迫切需要找尋網(wǎng)絡(luò)大數(shù)據(jù)的共性規(guī)律，實現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的特征提取和目標(biāo)識別[4].機(jī)器學(xué)習(xí)是目標(biāo)識別的主要方法，目前已經(jīng)從淺層學(xué)習(xí)發(fā)展到深度學(xué)習(xí).

淺層結(jié)構(gòu)模型通常包含單層或雙層的非線性特征變換[5]，如高斯混合模型(Gaussian mixture model, GMM)[6]、條件隨機(jī)場(conditional random fields， CRF)[7]模型、支持向量機(jī)(support vector machine， SVM[8])模型以及含有單隱層的多層感知機(jī)(multi-layer perceptron， MLP)[9]模型等.淺層結(jié)構(gòu)能有效地解決許多簡單的或具有明確約束的問題，但需要依靠人工來抽取樣本的特征，難以將其擴(kuò)展到視頻的特征提取[10]，而且淺層模型的自糾錯能力比較有限[11].

針對上述問題，Hinton等人[12]于2006年提出深度置信網(wǎng)絡(luò)(deep belief network, DBN)結(jié)構(gòu)和非監(jiān)督貪心逐層訓(xùn)練算法，可表征復(fù)雜高維函數(shù)，提取多重水平的特征，獲得更多的有用信息[13].

深度學(xué)習(xí)的2種典型結(jié)構(gòu)為限制波爾茲曼機(jī)(restricted Boltzmann machine, RBM)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN).RBM在語音識別體現(xiàn)了較好的優(yōu)勢[14]，而LeCun等研究者[15]使用CNN在處理識別圖像信息取得了比其他學(xué)習(xí)方法更好的結(jié)果.

目前，隨著互聯(lián)網(wǎng)的發(fā)展以及視頻編解碼技術(shù)的成熟，視頻數(shù)據(jù)呈現(xiàn)出爆炸式的增長[16].出現(xiàn)了如優(yōu)酷、土豆、Youtube等資源豐富且訪問量巨大的視頻網(wǎng)站，為視頻數(shù)據(jù)的目標(biāo)識別提出了新的需求.目前已經(jīng)有將深度學(xué)習(xí)方法應(yīng)用到視頻數(shù)據(jù)目標(biāo)識別的若干研究成果[17-19].

上述的研究成果往往針對視頻的視覺信號進(jìn)行單一模態(tài)的處理.但對于一段視頻來說，視覺和聽覺信號都能夠為目標(biāo)識別提供重要的信息.因此出現(xiàn)了結(jié)合各種不同的模態(tài)之間的有效信息的多模態(tài)學(xué)習(xí)方法.如Leonardi等人在文獻(xiàn)[20]中使用了底層的視覺和音頻特征來檢測足球視頻中的進(jìn)球鏡頭.文獻(xiàn)[21]使用多模態(tài)方法并行處理人物口型和所發(fā)出的音節(jié).

目前這2種多模態(tài)學(xué)習(xí)方法都采用同一種深層結(jié)構(gòu)處理音頻和視頻信號.但在多模態(tài)方法中使用不同深層結(jié)構(gòu)將會取得更好的效果.如RBM對聲音的識別具有較好的識別效果，而CNN對時間相關(guān)的動態(tài)視覺信號有較強(qiáng)的魯棒性[22].

基于以上討論，本文提出一種針對媒體大數(shù)據(jù)流的異構(gòu)多模態(tài)目標(biāo)識別策略，綜合RBM的語音識別能力和CNN的圖像處理能力，并建立RBM和CNN的共享關(guān)聯(lián)表示，以更有效地識別視頻中的目標(biāo).在對視覺信號進(jìn)行處理時，進(jìn)一步利用視頻中相鄰2幀的時間相關(guān)性，優(yōu)化神經(jīng)網(wǎng)絡(luò)多層結(jié)構(gòu)的參數(shù)，提高目標(biāo)識別的準(zhǔn)確度.

1 異構(gòu)多模態(tài)深度學(xué)習(xí)的目標(biāo)識別策略

多媒體數(shù)據(jù)中目標(biāo)識別的關(guān)鍵是能夠獲取數(shù)據(jù)的主要特征.網(wǎng)絡(luò)資源中的多媒體視頻數(shù)據(jù)具有較大的復(fù)雜性與多樣性.僅僅利用視頻數(shù)據(jù)中單一模態(tài)進(jìn)行處理往往難以得到較好的效果.使用多模態(tài)結(jié)合的方法提取數(shù)據(jù)特征能夠更有效應(yīng)用于媒體數(shù)據(jù)流的特征提?。簩⒁曈X圖像和音頻數(shù)據(jù)分別作為2種模態(tài)輸入，并行進(jìn)行處理，同時得到2種模態(tài)的高層特征，進(jìn)而通過最大化2種模態(tài)之間的關(guān)聯(lián)性建立模態(tài)間的共享表示，可得到更好的識別效果.

由于視頻信息中視覺信息和聽覺信息的特點不同，本文建立了多模態(tài)的異構(gòu)深度學(xué)習(xí)框架，該框架結(jié)合了不同類別的深度網(wǎng)絡(luò)分別對視覺信息和聽覺信息進(jìn)行處理，而不同類別的深度網(wǎng)絡(luò)會對視覺信息和聽覺信息分別具有各自的優(yōu)勢.這種處理將會增加結(jié)構(gòu)的復(fù)雜程度，但是可針對不同模態(tài)的數(shù)據(jù)提取出更有效的特征，從而增加目標(biāo)識別的精度.本文分別利用RBM和CNN處理視頻數(shù)據(jù)流的音頻信號和視頻圖像信號.

RBM是一種特殊形式的玻爾茲曼機(jī)，可通過輸入數(shù)據(jù)集學(xué)習(xí)概率分布隨機(jī)生成神經(jīng)網(wǎng)絡(luò)，具有較好的泛化能力.而由多個RBM結(jié)構(gòu)堆疊而成的深度信念網(wǎng)絡(luò)能提取出多層抽象的特征，從而用于分類和目標(biāo)識別.

本文我們采用RBM模型進(jìn)行音頻處理，RBM的結(jié)構(gòu)如圖1所示，整體是一個二分圖的結(jié)構(gòu)，分為2層，一層為可見層(visible units)，一層為隱層(hidden units)，可見層也稱為輸入層.

Fig. 1 Structure of RBM圖1 RBM的結(jié)構(gòu)圖

Fig. 2 Multiple convolution operation and sample process of the convolutional neural network圖2 卷積神經(jīng)網(wǎng)絡(luò)多層卷積運(yùn)算和采樣過程圖

RBM的隱藏向量h和可見向量v之間存在對稱性的連接Wi,j，但是隱藏向量之間或者可見向量之間沒有連接.該模型通過模擬熱力學(xué)能量定義了基于h，v的聯(lián)合概率分布，如式(1)所示.由于同層變量之間沒有連接，因此根據(jù)聯(lián)合概率分布可方便計算出每一個單元的激發(fā)概率.

-lgP(v,h)∝E(v,h)=

(1)

其中，c，b為偏置參數(shù)向量，W為RBM連接權(quán)值矩陣，E(·)為RBM能量函數(shù).

根據(jù)式(1)，可定義隱層和可見層的概率分布：

(2)

(3)

(4)

每一個單元的激發(fā)概率為

(5)

(6)

CNN是多層感知機(jī)(MLP)的一個變種模型，是近幾年來快速發(fā)展并引起廣泛重視的一種高效識別方法，它是從生物學(xué)概念中演化而來的.20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)其獨特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而LeCun等人以此為基礎(chǔ)提出了CNN[15].

一般來說，CNN的基本結(jié)構(gòu)包括2層：1)特征提取層，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征.一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定下來.2)特征映射層，網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經(jīng)元的權(quán)值相等.特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性.此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù).卷積神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都緊跟著一個用來求局部平均與2次提取的計算層，這種特有的2次特征提取結(jié)構(gòu)減小了特征分辨率.其具體結(jié)構(gòu)圖如圖2所示:

(7)

子抽樣層Sl在每個出入位面上使用Kl×Kl平滑濾波：

(8)

首先將視頻模型描述為視聽雙模態(tài)，其中該模型的信號是視頻幀和與視頻幀同步的連續(xù)聲譜.本文采用了基于稀疏理論深度自動編碼器的異構(gòu)多模態(tài)深度學(xué)習(xí)策略.

深度自動編碼器是一種利用無監(jiān)督逐層貪心預(yù)訓(xùn)練和系統(tǒng)性參數(shù)優(yōu)化的多層非線性網(wǎng)絡(luò)，能夠從無標(biāo)簽數(shù)據(jù)中提取高維復(fù)雜輸入數(shù)據(jù)的分層特征，并得到原始數(shù)據(jù)的分布式特征表示的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其由編碼器、解碼器和隱含層組成.

基于稀疏理論的深度自動編碼器[10]對原始自動編碼器的隱含層添加了約束條件并增加了隱含層數(shù)量，能提取高維數(shù)據(jù)向量的稀疏解釋性因子，保留原始輸入的非零特征，增加表示算法的魯棒性，增強(qiáng)數(shù)據(jù)的線性可分性，使物體邊界變得更加清晰.

該識別模型分為輸入層、共享表示層以及輸出層.

1) 輸入層.為視頻資源的2個模態(tài)，即聲譜和視頻幀，其中聲譜采用RBM訓(xùn)練，視頻幀采用CNN訓(xùn)練.

2) 共享表示層.這一層的關(guān)鍵是找到特征模態(tài)的轉(zhuǎn)換表示從而最大化模態(tài)之間的關(guān)聯(lián)性.本文采用典型關(guān)聯(lián)分析(canonical correlation analysis, CCA)的方法尋找聲譜波和視頻幀數(shù)據(jù)的線性轉(zhuǎn)換從而形成性能優(yōu)良的共享表示.

其中，CCA是一種先將較多變量轉(zhuǎn)化為少數(shù)幾個典型變量，再通過其間的典型相關(guān)系數(shù)來描述2組多元隨機(jī)變量之間關(guān)系的統(tǒng)計方法.有助于綜合地描述2組變量之間的典型相關(guān)關(guān)系.基本過程是從2組變量各自的線性函數(shù)中各抽取一個組成一對，它們應(yīng)是相關(guān)系數(shù)達(dá)到最大值的一對，稱為第1對典型變量，類似地就可以求出第2對、第3對，……，這些成對變量之間互不相關(guān)，各對典型變量的相關(guān)系數(shù)稱為典型相關(guān)系數(shù).所得到的典型相關(guān)系數(shù)的數(shù)目不超過原2組變量中任何一組變量的數(shù)目.

3) 輸出層.這一層為聲譜和視頻的重構(gòu).還原視頻信息的同時，識別視頻中的物體.

2 基于視頻時間相關(guān)特性的參數(shù)優(yōu)化

2.1 視頻相關(guān)性描述

視頻是由一系列圖像所組成，圖像中目標(biāo)識別的方法可以用來對視頻進(jìn)行識別，一段視頻可以分解成很多幀，同一視頻中連續(xù)的2個視頻幀很有可能表示同樣的內(nèi)容，視頻的這種特性我們稱之為相關(guān)特性.將這視頻的這種特性用于視頻的目標(biāo)識別，可以使識別效果得到很大程度的提高[22].

利用視頻的時間相關(guān)性來提高識別準(zhǔn)確性已成功用于視頻的動作識別[23].實驗表明具有時間相關(guān)性視頻卷積網(wǎng)絡(luò)的識別效果明顯比采用視頻單幀進(jìn)行訓(xùn)練的卷積網(wǎng)絡(luò)效果優(yōu)越.

2.2 利用視頻相關(guān)特性的優(yōu)化

CNN中在每個卷積層和子采樣層之后都運(yùn)用了一個非線性函數(shù)tanh(·)，最后使用經(jīng)典的全連接層輸出識別標(biāo)簽向量，我們引入了softmax層，向量的概率計算為

(9)

在普通CNN對視頻的處理過程中，我們從視頻的全部圖像幀中抽取一部分作為訓(xùn)練樣本，{(xn,yn)}n=1,2,…,N，xn代表二維的輸入圖像，yn為分類或識別的標(biāo)簽.對CNN網(wǎng)絡(luò)中的相鄰幀參數(shù)θ，以最小化似然函數(shù)L(θ)為目標(biāo)，優(yōu)化參數(shù)θ.似然函數(shù)L(θ)的表達(dá)式如下：

(10)

為達(dá)到這個目的，采用隨機(jī)梯度下降算法對式(10)中的參數(shù)θ進(jìn)行訓(xùn)練，從訓(xùn)練樣本中取一個隨機(jī)樣本(x,y)，計算出梯度?L(θ)?θ后，按照式(11)更新參數(shù)θ.

(11)

得到的新參數(shù)θ能使CNN對視頻中目標(biāo)識別的性能更準(zhǔn)確.其中λ是根據(jù)實驗選擇的學(xué)習(xí)率.

為了使CNN更好地訓(xùn)練θ，以達(dá)到更好的識別正確率，我們利用視頻中存在的時間相關(guān)性進(jìn)一步對似然函數(shù)L(θ)進(jìn)行優(yōu)化.

Lcoh(θ,x1,x2)=

(12)

其中，δ為邊緣尺寸，是一個提前選取好的參數(shù)，例如δ=1.

Fig. 3 Parameter optimization by utilizing the coherence圖3 利用相關(guān)特性優(yōu)化學(xué)習(xí)參數(shù)示意圖

上述的CNN自身對目標(biāo)識別的任務(wù)和使用視頻時間相關(guān)性對網(wǎng)絡(luò)進(jìn)行優(yōu)化是同時進(jìn)行的，最后我們得到一個優(yōu)化后的參數(shù)：

(13)式(13)最小的參數(shù)θ即是我們要訓(xùn)練的θ值.在式(13)中，為了限制參數(shù)的數(shù)量，為相關(guān)似然函數(shù)Lcoh(θ,x1,x2)設(shè)置了相同的γ，如可令γ=1.

2.3 基于時間相關(guān)的異構(gòu)多模態(tài)深度學(xué)習(xí)算法

基于時間相關(guān)性的異構(gòu)多模態(tài)的結(jié)構(gòu)如圖4所示，我們將視頻中的2個模態(tài)視頻和音頻分別采用CCN和RBM進(jìn)行處理得到相應(yīng)的識別標(biāo)簽向量.

RBM網(wǎng)絡(luò)的輸入為與視頻幀相對應(yīng)的同步連續(xù)聲譜，我們采用深度自動編碼器的學(xué)習(xí)模型對音頻進(jìn)行處理，該學(xué)習(xí)模型仍然與第1節(jié)類似，分為輸入層、共享表示層以及輸出層.

1) 輸入層.為視頻資源的2個模態(tài)，即聲譜波和視頻幀，其中聲譜采用RBM訓(xùn)練，視頻幀采用CNN訓(xùn)練.

2) 共享表示層.這一層的關(guān)鍵是找到特征模態(tài)的轉(zhuǎn)換表示從而最大化模態(tài)之間的關(guān)聯(lián)性.與第1節(jié)不同的是，該共享層的視頻部分的特征由并行CNN產(chǎn)生.本文采用CCA的方法尋找聲譜數(shù)據(jù)的線性轉(zhuǎn)換從而形成性能優(yōu)良的共享表示.

3) 輸出層.為該深度學(xué)習(xí)模型的識別標(biāo)簽向量.

RBM的目標(biāo)是最大化訓(xùn)練樣本集V中的概率之積：

(14)

CNN的優(yōu)化目標(biāo)則是最大化式(9)中的概率，基于時間相關(guān)的異構(gòu)多模態(tài)深度學(xué)習(xí)算法的目的就是對參數(shù)w，θ優(yōu)化RBM和CNN的聯(lián)合概率：

(15)

具體的算法如算法1所示.

算法1. 利用時間相關(guān)性的學(xué)習(xí)參數(shù)優(yōu)化算法.

輸入：標(biāo)簽數(shù)據(jù)(an,xn,yn),n=1,2,…,N,非標(biāo)簽視頻數(shù)據(jù)an,xn,n=N+1,N+2,…,N+U；

輸出：神經(jīng)網(wǎng)絡(luò)的參數(shù)w,θ和識別標(biāo)簽label.

Repeat：

Step1. 取一個隨機(jī)標(biāo)簽樣本(an,xn,yn)；

Step2. 針對音頻輸入an，執(zhí)行一次梯度下降迭代優(yōu)化RBM的連接參數(shù)w；

Step3. 對視頻輸入幀中連續(xù)的xn,yn和似然函數(shù)L(θ,xn,yn)，執(zhí)行1次梯度下降迭代；

Step4. 對視頻輸入幀中不連續(xù)的xm,xn和相關(guān)似然函數(shù)Lcoh(θ,xm,xn)，執(zhí)行1次梯度下降迭代；

Fig. 4 Structure of heterogeneous multimodal deep learning based on temporal coherence圖4 基于時間相關(guān)的異構(gòu)多模態(tài)深度學(xué)習(xí)結(jié)構(gòu)圖

Step5. 針對音頻輸入an，再執(zhí)行1次梯度下降迭代優(yōu)化RBM的連接參數(shù)w，選擇參數(shù)w，θ最大化式(15)中的聯(lián)合概率.

Until迭代誤差小于設(shè)置的閾值.

上述算法就是通過交替更新目標(biāo)識別任務(wù)的聲譜識別和視頻圖像幀識別的參數(shù)來實現(xiàn)優(yōu)化，在視頻圖像幀中同時利用了連續(xù)幀和非連續(xù)幀的特征進(jìn)行優(yōu)化,以達(dá)到提高識別效率的目的.

3 實驗與分析

為了驗證本文提出的異構(gòu)多模態(tài)深度學(xué)習(xí)的目標(biāo)識別方法的性能，構(gòu)造了3組對比實驗:組1的測試數(shù)據(jù)來自于單一的數(shù)據(jù)庫，主要說明異構(gòu)架構(gòu)結(jié)合多種神經(jīng)網(wǎng)絡(luò)的有效性；組2的測試數(shù)據(jù)來自不同的數(shù)據(jù)庫，主要說明算法的適應(yīng)性；組3的測試數(shù)據(jù)來自視頻網(wǎng)站的電影視頻，說明算法的實際應(yīng)用性.

對比實驗采用了高性能雙CPU服務(wù)器硬件配置，帶有128 GB內(nèi)存，并配備一塊雙GPU加速卡.基于caffe開源平臺進(jìn)行深度學(xué)習(xí)異構(gòu)平臺的搭建，使用了其中的CNN工具，并加入了多層RBM神經(jīng)網(wǎng)絡(luò)和共享的關(guān)聯(lián)分析.

3.1 對比實驗1

為說明異構(gòu)深度學(xué)習(xí)架構(gòu)的有效性，將本文提出的異構(gòu)多模態(tài)策略與分別基于單一神經(jīng)網(wǎng)絡(luò)CNN和RBM的算法進(jìn)行對比.選用BANCA[24]數(shù)據(jù)庫中的視頻作為測試數(shù)據(jù)來源,該數(shù)據(jù)庫由26個被測對象(13個男性和13個女性)的發(fā)音視頻組成.每個被測對象記錄24段視頻，每段視頻大致延續(xù)15 s.在這段視頻中被測對象要么讀數(shù)字，要么讀他們自己或別人的名字與地址.某些片段會加入噪聲.

對每個被測對象的24段視頻，其中8段作為訓(xùn)練組，16段作為測試組，對比的結(jié)果如表1所示.由表1可以看出，基于異構(gòu)多模態(tài)的神經(jīng)網(wǎng)絡(luò)架構(gòu)的深度學(xué)習(xí)目標(biāo)識別結(jié)果比基于單一網(wǎng)絡(luò)的深度學(xué)習(xí)的目標(biāo)識別結(jié)果有了顯著提高.

Table 1 Comparison of Neural Network Algorithms withDifferent Structures Based on BANCA

3.2 對比實驗2

為了說明算法的適應(yīng)性，在這組實驗中分別采用來自不同的數(shù)據(jù)庫作為測試視頻的聲音和圖像幀信息，使用的數(shù)據(jù)庫如下：

1) Stanford Dataset.該數(shù)據(jù)庫是來自于斯坦福大學(xué)的一個網(wǎng)絡(luò)數(shù)據(jù)庫.我們選用其中的語音數(shù)據(jù)部分，使用庫中23名志愿者朗讀從0～9的數(shù)字、從A～Z的字母和從TIMIT標(biāo)準(zhǔn)語音庫里挑選的語句，以作為聲音訓(xùn)練和測試數(shù)據(jù).

2) Olivetti Faces.該數(shù)據(jù)庫是紐約大學(xué)的一個人臉數(shù)據(jù)庫，由40個人的400張圖片構(gòu)成，即每個人的人臉圖片為10張.每張圖片的灰度級為8 b，每個像素的灰度大小位于0～255之間，每張圖片大小為64×64.使用圖片構(gòu)造被測視頻的圖像幀,采用人工設(shè)定視頻中的人臉視頻與語音數(shù)據(jù)的對應(yīng)關(guān)系.視頻幀中的幀1，4，5作為標(biāo)簽數(shù)據(jù)，其余的圖像作為非標(biāo)簽數(shù)據(jù).

此外，為了驗證算法的有效性，我們將所提出異構(gòu)多模態(tài)深度學(xué)習(xí)方法同已有的近鄰取樣、支持向量機(jī)和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和玻爾茲曼機(jī)等目標(biāo)識別方法進(jìn)行比較.我們將所用圖像和語音數(shù)據(jù)平均分成6組，分為訓(xùn)練組L和測試組T，進(jìn)行如下操作：1)L=1，T=5; 2)L=2，T=4; 3)L=5，T=1,測試結(jié)果如表2所示:

Table 2 Comparison of Algorithms Based on StanfordDataset and Olivetti Faces

由實驗結(jié)果可以看出隨著訓(xùn)練集的規(guī)模增大，所有目標(biāo)識別方法的測試精度都得到了顯著提高.跟傳統(tǒng)的4種目標(biāo)識別方法相比，由于本文提出的異構(gòu)多模態(tài)深度學(xué)習(xí)方法能夠抽象學(xué)習(xí)目標(biāo)與時間相關(guān)的特性信息，能不依賴大量對象集進(jìn)行目標(biāo)識別訓(xùn)練，所以異構(gòu)多模態(tài)深度學(xué)習(xí)方法能始終獲得最高的訓(xùn)練精度.在訓(xùn)練組較小L=1，T=5時，異構(gòu)多模態(tài)深度學(xué)習(xí)方法的測試精度是90.35%;在訓(xùn)練組較多L=5，T=1時，測試精度提升了8.51%，誤差率只有1.14%.

3.3 對比實驗3

此外，我們利用以下3種具有復(fù)雜場景和多種表情動作的視頻數(shù)據(jù)集以驗證本算法的有效性：UCF sport actions, Hollywood2和YouTube action.這些數(shù)據(jù)集提取自實際場景，具有場景復(fù)雜、待識別目標(biāo)具有移動性、目標(biāo)捕捉困難、面對干擾較大等特性.

由于使用了帶有GPU的高性能服務(wù)器，所有的算法在訓(xùn)練后都可以在連續(xù)播放5～10幀的時間內(nèi)完成目標(biāo)識別.而本文所提出異構(gòu)算法所需要的時間略高，較所有算法的平均時間大約高出7%，但仍然對所測試的視頻基本上可以滿足實時性的要求.

在本次實驗中我們利用較多訓(xùn)練組L=5，T=1來驗證目標(biāo)識別精度.比較結(jié)果如表3所示.由仿真結(jié)果可以看出在更復(fù)雜的場景下，所有4種方法的目標(biāo)識別都更加困難.特別是針對高度復(fù)雜的好萊塢電影場景，目標(biāo)識別精度最高只有63.86%.

Table 3 Comparison of Algorithms Based on UCF, Hollywood2and YouTube Action

由于4種數(shù)據(jù)集場景具有較大的干擾，所以具有濾波作用的玻爾茲曼機(jī)方法和異構(gòu)多模態(tài)深度學(xué)習(xí)方法具有更高的識別精度.此外本文提出的異構(gòu)多模態(tài)深度學(xué)習(xí)方法能夠抽象的學(xué)習(xí)目標(biāo)與時間相關(guān)的特性信息，特別適用于移動場景目標(biāo)的識別，能始終獲得最高的目標(biāo)識別精度.

4 結(jié)束語

本文針對網(wǎng)絡(luò)媒體數(shù)據(jù)中同時包含音頻信號和時間相關(guān)的視頻圖像信號的特點，提出一種異構(gòu)多模態(tài)目標(biāo)識別的策略，結(jié)合RBM和CNN分別處理媒體數(shù)據(jù)的音頻和視頻信息，并進(jìn)一步根據(jù)視頻幀之間的時間相關(guān)性優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)，所提出的策略將2種模態(tài)特征進(jìn)行共享學(xué)習(xí)表示.通過結(jié)合2種模態(tài)之間的特征，對視頻數(shù)據(jù)進(jìn)行更為準(zhǔn)確的目標(biāo)識別.本文給出的算法實驗和比較結(jié)果，顯示了本文算法的有效性與優(yōu)越性.在下一步的研究中，將會考慮更為復(fù)雜的視頻場景和充分的噪聲干擾，并考慮不同分辨率視頻信息的融合，以增加算法在實際應(yīng)用場景的識別能力和適應(yīng)性能.

[1]Yu Wei, Li Shijun, Yang Sha, et al. Automatically discovering of inconsistency among cross-source data based on Web big data[J]. Journal of Computer Research and Development, 2015, 52(2): 295-308 (in Chinese)(余偉, 李石君, 楊莎, 等. Web大數(shù)據(jù)環(huán)境下的不一致跨源數(shù)據(jù)發(fā)現(xiàn)[J]. 計算機(jī)研究與發(fā)展, 2015, 52(2): 295-308)

[2]Chen X W, Lin X. Big data deep learning: Challenges and perspectives[J]. IEEE Access, 2014, 2: 514-525

[3]Li Guojie. The scientific value in the study of the big data[J]. Communications of CCF, 2012, 8(9): 8-15 (in Chinese)(李國杰. 大數(shù)據(jù)研究的科學(xué)價值[J]. 中國計算機(jī)學(xué)會通訊, 2012, 8(9): 8-15)

[4]Lowe D G. Object recognition from local scale-invariant features[C]Proc of the 7th IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 1999: 1150-1157

[5]Deng L, Yu D. Deep learning: Methods and applications[J]. Foundations and Trends in Signal Processing, 2014, 7(34): 197-387

[6]Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction[C]Proc of the 17th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2004: 28-31

[7]Quattoni A, Collins M, Darrell T. Conditional random fields for object recognition[C]Proc of the Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2004: 1097-1104

[8]Suykens J A K, Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300

[9]Morgan N, Bourlard H. Continuous speech recognition using multilayer perceptrons with hidden Markov models[C]Proc of Int Conf on Acoustics, Speech, and Signal Processing. Piscataway, NJ: IEEE, 1990: 413-416

[10]Le Q V, Zou W Y, Yeung S Y, et al. Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis[C]Proc of IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011: 3361-3368

[11]Arel I, Rose D C, Karnowski T P. Deep machine learning-a new frontier in artificial intelligence research[J]. IEEE Computational Intelligence Magazine, 2010, 5(4): 13-18

[12]Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507

[13]Liu Jianwei, Liu Yuan, Luo Xionglin. The research and progress of deep learning[J]. Application Research of Computers, 2014, 31(7): 1921-1930 (in Chinese)(劉建偉, 劉媛, 羅雄麟. 深度學(xué)習(xí)研究進(jìn)展[J]. 計算機(jī)應(yīng)用研究, 2014, 31(7): 1921-1930)

[14]Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups[J]. IEEE Signal Processing Magazine, 2012, 29(6): 82-97

[15]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[16]Cheng Dongyang. Multimedia content analysis based on unsupervised feature learning[D]. Shanghai: Shanghai Jiao Tong University, 2014: 1-93 (in Chinese)(程東陽. 基于無監(jiān)督特征學(xué)習(xí)的多媒體內(nèi)容算法研究[D]. 上海: 上海交通大學(xué), 2014: 1-93)

[17]You Qingzhen. The radio face recognition method based on the deep learning[D]. Harbin: Harbin Institute of Technology, 2012: 3-20 (in Chinese)(由清圳. 基于深度學(xué)習(xí)的視頻人臉識別[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2012: 3-20)

[18]Wang Y S, Fu H, Sorkine O, et al. Motion-aware temporal coherence for video resizing[J]. ACM Trans on Graphics, 2009, 28(5): 127-127

[19]Zou W, Zhu S, Yu K, et al. Deep learning of invariant features via simulated fixations in video[C]Proc of the Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2012: 3212-3220

[20]Leonardi R, Migliorati P, Prandini M. Semantic indexing of soccer audio-visual sequences: A multimodal approach based on controlled Markov chains[J]. IEEE Trans on Circuits and Systems for Video Technology, 2004, 14(5): 634-643

[21]Ngiam J, Khosla A, Kim M, et al. Multimodal deep learning[C]Proc of the 28th Int Conf on Machine Learning. New York: ACM, 2011: 689-696

[22]Mobahi H, Collobert R, Weston J. Deep learning from temporal coherence in video[C]Proc of the 26th Int Conf on Machine Learning. New York: ACM, 2009: 737-744

[23]Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos[C]Proc of the Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2014: 568-576

[24]Bailly-Baillie`re E, Bengio S, Bimbot F, et al. The BANCA database and evaluation protocol[G]LNCS 2688: Proc of the 4th Int Conf on Audio-and Video-Based Biometric Person Authentication. Berlin: Springer, 2003: 625-638

Wen Mengfei, born in 1975. Associate professor. PhD from Central South University, postdoctor of Hunan Provincial Research Institute of Education. His main research interests include automation control, computer science and multi-agent system.

Liu Weirong, born in 1976. PhD. Associate professor of Central South University. Member of CCF. His main research interests include computer science, machine learning, big data, cooperative communication and cooperative control.

Hu Chao, born in 1980. PhD from Central South University. Associate dean of Information and Network Center of Central South University. His main research interests include computer science, network management and regional medical informationization (huchao@csu.edu.cn).

A Heterogeneous Multimodal Object Recognition Strategy of the Massive Network Data Flow

Wen Mengfei1,4, Liu Weirong1, and Hu Chao2,3

1(SchoolofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083)2(InformationandNetworkCenter,CentralSouthUniversity,Changsha410083)3(KeyLaboratoryofMedicalInformationResearch(CentralSouthUniversity),CollegeofHunanProvince,Changsha4100834(HunanProvincialResearchInstituteofEducation,Changsha410005)

It is a research hot to achieve the object recognition of the massive network media data nowadays. To address the problem, an object recognition strategy is proposed to handle the massive network media data flow which adopts heterogeneous multimodal structure while utilizing the temporal coherence. Firstly, based on the video and audio co-existing feature of media network data, a heterogeneous multimodal structure is constructed to incorporate the convolutional neural network(CNN) and the restricted Boltzmann machine(RBM). The audio information is processed by restricted Boltzmann machine and the video information is processed by convolutional neural network respectively. The heterogeneous multimodal structure can exploit the merits of different deep learning neural networks. After that, the share characteristic representation are generated by using the canonical correlation analysis(CCA). Then the temporal coherence of video frame is utilized to improve the recognizing accuracy further. There kinds of experiments are adopted to validate the effectiveness of the proposed strategy. The first type of experiment compares the proposed strategy with single-mode algorithm. The second type of experiment illustrates the result based on composite database. Finally the videos coming from real websites are extracted to compare the proposed strategy with other algorithms. These experiments prove the effectiveness of the proposed heterogeneous multimodal strategy.

object recognition; deep learning; convolutional neural network (CNN); restricted Boltzmann machine (RBM); canonical correlation analysis (CCA)

2015-08-03；

2015-12-16

湖南省教育科學(xué)“十二五”規(guī)劃重點資助項目(XJK014AJC001)；國家自然科學(xué)基金項目(61379111,61672539,61202342) This work was supported by the Key Project of Educational and Scientific Foundation of Hunan Province During the 12th Five-Year Plan Period(XJK014AJC001) and the National Natural Science Foundation of China (61379111,61672539,61202342).

劉偉榮(frat@csu.edu.cn)

TP391