基于時(shí)空注意力機(jī)制的群組行為識別方法研究

王傳旭,于瀟媛

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,山東 青島 266061)

群組行為識別是通過對視頻序列中群組成員運(yùn)動特征的感知、計(jì)算、提純,并歸納出穩(wěn)定的、鮮明的模式,進(jìn)而再通過分類歸納出代表整個群組典型行為特征的群組行為類別、以及每個成員的行為類別。近年來,它已經(jīng)成為計(jì)算機(jī)視覺、人工智能等領(lǐng)域的熱點(diǎn)課題,其對體育賽事分析、異常行為檢測及預(yù)警、實(shí)時(shí)人群場景的視頻分類等方面具有重要價(jià)值。

識別群組行為的難點(diǎn)是其成員之間交互關(guān)系的建模。本工作定義群組交互關(guān)系是指群組成員之間互動關(guān)系總和,它表現(xiàn)為某一行為過程中的成員間彼此影響、相互制約,并由此把多個成員交融為一個有序群組結(jié)構(gòu)體。對此,近年提出了不少交互關(guān)系建模的深度學(xué)習(xí)方法,常見方案是圖形化交互關(guān)系圖模型,以此來刻畫場景中成員整體的交互關(guān)系,實(shí)現(xiàn)群組行為的“細(xì)膩化”描述。諸如:LIU等[1]提出基于全連接的條件隨機(jī)場模型捕捉并推理群組成員間的交互關(guān)系,首先,將視頻圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò),得到群組活動中每個人的觀測信息,以及每個成員行為類別的初步預(yù)測;然后,基于得到的單人行為信息,定義群組中兩個成員間的勢函數(shù),得出具有相近位置和相似特征信息的兩個成員之間交互關(guān)系比較強(qiáng),并使用全連接條件隨機(jī)場推理人與人交互關(guān)系的演化,最后群組行為的識別則是通過由該二元勢函數(shù)參與計(jì)算的吉布斯能量概率值實(shí)現(xiàn)判別。ZHANG等[2]通過對群組構(gòu)造加權(quán)關(guān)系圖捕捉每個成員的運(yùn)動信息和上下文信息,最后通過支持向量機(jī)對群組事件進(jìn)行分類。LAN等[3]提出了一種基于上下文的判別模型,用結(jié)構(gòu)、功能和混合模型3種不同的方法來模擬整個群組中人與人之間的交互關(guān)系。QI等[4]通過節(jié)點(diǎn)RNN 和邊RNN 構(gòu)建個體間交互的語義關(guān)系圖,從而推理得到每個子組行為和整個群組行為標(biāo)簽。

通過對整體成員之間的交互關(guān)系進(jìn)行提取和推理,提供了群組成員之間全面的交互關(guān)系,可為群組行為識別提供重要的線索。但是,如果場景中參與成員的數(shù)量過多時(shí),則其網(wǎng)絡(luò)參數(shù)量就會增加,尤其是時(shí)空全連接的網(wǎng)絡(luò)架構(gòu)會導(dǎo)致網(wǎng)絡(luò)負(fù)荷過大,影響群組行為識別算法的訓(xùn)練,進(jìn)而影響識別精度。因此,構(gòu)建高效輕量級交互關(guān)系模型成為后續(xù)的研究重點(diǎn),本工作提出的時(shí)空注意力機(jī)制建模方案可以構(gòu)建以關(guān)鍵成員為核心的簡約交互關(guān)系,并結(jié)合關(guān)鍵時(shí)序子網(wǎng)絡(luò)實(shí)現(xiàn)整體群組中顯著性時(shí)空特征的過濾,抑制無關(guān)信息干擾。

1 總體算法框架與關(guān)鍵技術(shù)分析

1.1 總體框架的概述

本研究總體網(wǎng)絡(luò)架構(gòu)如圖1所示,大致包含如下3個步驟:

第2步為幀級群組特征的生成。通過I3D 網(wǎng)絡(luò)提取場景的全局信息,并與上述簡約交互關(guān)系級聯(lián),獲得幀級群組特征。

第3步為關(guān)鍵時(shí)序的優(yōu)化。將獲得的幀級群組特征通過層疊LSTM 得到了群組行為的預(yù)判斷結(jié)果。為了獲得時(shí)序的簡約,本框架設(shè)計(jì)了一個支路通過提取的單人特征進(jìn)行單人的行為識別,進(jìn)而通過計(jì)算交合相似度系數(shù)實(shí)現(xiàn)時(shí)序幀的權(quán)重計(jì)算,以此優(yōu)化時(shí)序信息,最后對得到的簡約關(guān)鍵時(shí)空驅(qū)動下的交互關(guān)系特征進(jìn)行分類,實(shí)現(xiàn)組群行為識別。

以下將針對其中的“基于圖注意力網(wǎng)絡(luò)GAT的交互關(guān)系推理”和“利用交合相似度系數(shù)進(jìn)行時(shí)序提純”兩個環(huán)節(jié)重點(diǎn)闡述。

1.2 基于圖注意力網(wǎng)絡(luò)GAT的交互關(guān)系推理

根據(jù)預(yù)處理階段得到的成員特征構(gòu)建成員關(guān)系圖,GAT 中每個節(jié)點(diǎn)表示一個成員,每條邊代表成員與成員之間的交互關(guān)系。由于檢測器檢測到的N個人對整個群組行為的貢獻(xiàn)是不一樣的,本工作利用GAT 中的注意力機(jī)制對成員關(guān)系圖進(jìn)行提純,得到關(guān)鍵節(jié)點(diǎn)并構(gòu)建簡約交互關(guān)系模型,以此抑制無關(guān)人員的干擾。

1.2.1 成員交互關(guān)系初始化圖的建立

1.2.2 關(guān)鍵成員建模以及交互關(guān)系簡約化

而節(jié)點(diǎn)成員重要性衡量則是根據(jù)對節(jié)點(diǎn)i鄰域N i內(nèi)K個注意力概率及其K個線性加權(quán)后平均后,經(jīng)過激活函數(shù)非線性映射算出此節(jié)點(diǎn)的特征信息量輸出,該信息輸出量大則表明該節(jié)點(diǎn)更重要。將所有節(jié)點(diǎn)輸出信息量的平均值E作為閾值,并若某節(jié)點(diǎn)輸出信息量大于該閾值,則判定為關(guān)鍵節(jié)點(diǎn),并保留該節(jié)點(diǎn);僅有關(guān)鍵節(jié)點(diǎn)構(gòu)成的交互關(guān)系即為簡約化稀疏交互關(guān)系Key-Interaction。

最后將全局場景特征Global Feature和關(guān)鍵核心成員的交互關(guān)系特征Key-Interaction 進(jìn)行級聯(lián)得到了每一幀的群組特征Zt。

其中GlobalFeature表示場景級特征,‖表示級聯(lián)操作。

1.3 利用成員行為與群組行為關(guān)聯(lián)度進(jìn)行時(shí)序提純

群組行為只是發(fā)生在視頻中的特定時(shí)序區(qū)間內(nèi),該視頻段內(nèi)的時(shí)空特征才是具有“區(qū)別性”的,應(yīng)該給予足夠重視,而其它時(shí)序上的內(nèi)容應(yīng)該予以忽略。因此,構(gòu)建了關(guān)鍵時(shí)序檢測子網(wǎng)路,通過預(yù)判定單人行為和群組行為,并計(jì)算兩者的交合相似度作為評價(jià)時(shí)序重要性的定量指標(biāo),進(jìn)而實(shí)現(xiàn)視頻時(shí)空特征的時(shí)序簡約。其過程如下:

1) 首先,將幀級群組特征序列Zt送入層疊LSTM、FC層和Re LU,預(yù)判定群組行為類別得分Gt_action=(A1,A2,…,AM)。

2) 然后,利用時(shí)序檢測子網(wǎng)絡(luò),將場景視頻經(jīng)YOLO v5進(jìn)行成員檢測,并通過LSTM 預(yù)判斷當(dāng)前幀中成員個體的行為屬性得分,即:

式中C表示成員個體行為類別總數(shù),t表示當(dāng)前時(shí)序幀,和wh′表示可學(xué)習(xí)參數(shù)矩陣,gt是成員的外觀、位置以及軌跡特征,b′表示偏置向量,ot為單人行為屬性,其取決于當(dāng)前輸入gt以及LSTM 層的t-1時(shí)間的隱藏狀態(tài)h′t-1;

3) 最后,根據(jù)當(dāng)前幀成員行為屬性得分與群組行為屬性得分之間的關(guān)聯(lián)程度,進(jìn)而獲得當(dāng)前幀在輸入序列中的重要性權(quán)重βt,其可以通過計(jì)算集合Gt_action與集合ot=(o1,o2,…,oC)t的交合相似度系數(shù)來表示,即:

其中∩表示交集計(jì)算,n()表示求解集合中的元素?cái)?shù)量。

將所有幀中的群組特征和時(shí)間注意權(quán)重βt加權(quán)得到視頻級特征:

1.4 損失函數(shù)設(shè)計(jì)以及群組/個人行為識別

將整個網(wǎng)絡(luò)模型的綜合損失函數(shù)定義如下:

2 算法測試實(shí)驗(yàn)

為了驗(yàn)證所提模型的性能,在兩個公開群組行為識別數(shù)據(jù)集上進(jìn)行了測試,并且與現(xiàn)有的模型進(jìn)行對比。

2.1 數(shù)據(jù)集簡介

本實(shí)驗(yàn)中,采用的兩個群組行為識別數(shù)據(jù)集分別是CAD 數(shù)據(jù)集[5]和Volleyball數(shù)據(jù)集[6]。

1)Volleyball數(shù)據(jù)集中標(biāo)注了從55 個帶有9個球員動作標(biāo)簽和8個群組行為標(biāo)簽的視頻中精選的4 830個視頻片段。本工作使用2/3的視頻幀進(jìn)行訓(xùn)練,剩下的1/3用于測試。此數(shù)據(jù)集的9個球員動作標(biāo)簽包括:Waiting,Setting,Digging,Falling,Spiking,Blocking,Jumping,Moving,Standing。8種群組行為標(biāo)簽,即每幀行為中N個人共同完成的場景標(biāo)簽:Right Set,Right Spike,Right Winpoint,Left Winpoint,Left Pass,Right Pass,Left Spike,Left Set。

2)CAD 數(shù)據(jù)集由44個短視頻序列組成,由低分辨率手持相機(jī)拍攝。該數(shù)據(jù)集給每個人分配5種類型的行為標(biāo)簽:Crossing,Queuing,Walking,Talking和Waiting;5 個群組行為標(biāo)簽:Crossing,Queuing,Walking,Talking和Waiting,在所有視頻序列中,每隔10幀就會標(biāo)注人物的圖像位置、行為類別ID 和姿態(tài)方向,其中約73%的視頻用于訓(xùn)練,約27%的視頻用于測試。

2.2 實(shí)驗(yàn)設(shè)置和網(wǎng)絡(luò)參數(shù)初始化

本實(shí)驗(yàn)基于pytorch深度學(xué)習(xí)網(wǎng)絡(luò)框架,ubuntu版本為20.04,cuda 版本為8.0,cudnn 版本為6.0,顯卡型號為NVIDIA Corporation GP102[Ge-Force GTX 1080 Ti](rev a1)。為了降低所需內(nèi)存,使用Adam 隨機(jī)梯度下降算法學(xué)習(xí)網(wǎng)絡(luò)參數(shù),在特征提取之前將輸入圖像調(diào)整為240×640。對于排球數(shù)據(jù)集,訓(xùn)練時(shí)采用的最小批量為32幀,測試時(shí)采用的最小批量為16幀,epoch設(shè)置為200,初始學(xué)習(xí)率為0.000 2,每迭代20 次降低0.2 倍。對于CAD數(shù)據(jù)集,訓(xùn)練時(shí)采用的最小批量為16幀,測試時(shí)采用的最小批量為8幀,epoch設(shè)置為100,初始學(xué)習(xí)率為0.001,每迭代10次降低0.1倍。

2.3 基于Volleyball數(shù)據(jù)集的算法性能測試

2.3.1 消融實(shí)驗(yàn)

為了測試算法性能,設(shè)計(jì)了4種基線方法與本工作模型進(jìn)行比較,結(jié)果如表1所示。

表1 模型在Volleyball數(shù)據(jù)集上各種基線方法的比較Table 1 Comparison of various baseline methods of the model on the Volleyball dataset

Baseline1 表示將原始場景視頻幀經(jīng)YOLO v5、RoIAlign、DeepSort以及全連接層后,進(jìn)一步得到的成員初始化交互關(guān)系圖,送入softmax分類器得到的識別結(jié)果,簡稱B1。

Baseline2在B1的基礎(chǔ)上使用GAT 對成員初始化交互關(guān)系圖進(jìn)行關(guān)系推理,并將獲得的成員簡約交互關(guān)系特征送入分類器進(jìn)行識別,簡稱B2。

Baseline3在B2的基礎(chǔ)上加入了由I3D 提取的場景全局時(shí)空特征GlobalFeature,將兩個特征級聯(lián)后得到幀級群組特征進(jìn)行識別,簡稱B3。

Baseline4在B3的基礎(chǔ)上將幀級群組特征送入串聯(lián)連接的層疊LSTM 網(wǎng)絡(luò)、FC 層和ReLU 進(jìn)行識別,簡稱B4。

Baseline5(即本工作算法)在B4 的基礎(chǔ)上,增加時(shí)序幀交合相似度系數(shù)計(jì)算支路,將交合相似度系數(shù)與幀級群組特征加權(quán)得到視頻級特征后,實(shí)現(xiàn)行為識別,簡稱B5。

經(jīng)過表1實(shí)驗(yàn)對比可得:1)與基線方法B1相比,B2的準(zhǔn)確率提高了0.8%,這是因?yàn)镚AT 的關(guān)系推理能力簡約了復(fù)雜群組的初始化交互關(guān)系建模,降低了無關(guān)人員對群組行為識別的影響,因此能夠提高群組行為識別率;2)B3的準(zhǔn)確率比B1提高了1.5%,因?yàn)榧尤肓藞鼍叭謺r(shí)空特征使得到的群組交互關(guān)系特征信息更加全面準(zhǔn)確,從而能夠更準(zhǔn)確地識別群組行為;3)B4的準(zhǔn)確率比B1提高了1.7%,因?yàn)閷盈BLSTM 除具有單層LSTM 的長時(shí)記憶功能、能夠處理群組行為中長序列的上下文依賴關(guān)系并對其建模外,還可以對復(fù)雜幀級特征Zt在每一層LSTM 上建立時(shí)序關(guān)聯(lián)信息,進(jìn)一步把時(shí)空特征進(jìn)行融合,所以效果更好。4)本方法B5達(dá)到了最佳識別效果93.8%,得益于設(shè)計(jì)的時(shí)序檢測子網(wǎng)絡(luò),根據(jù)子網(wǎng)絡(luò)中當(dāng)前幀的行為屬性得分和主網(wǎng)絡(luò)中群組行為得分的關(guān)聯(lián)程度得到當(dāng)前幀的權(quán)重,將B4中的交互關(guān)系進(jìn)一步簡約得到強(qiáng)區(qū)分性的時(shí)空特征描述符,大大提高了群組行為識別的準(zhǔn)確率。這個觀察結(jié)果再次表明,噪聲群組成員和冗余視頻都會影響本模型的訓(xùn)練,而GAT 關(guān)鍵人物建模和交合相似度時(shí)序簡約對于刪除這些干擾是有效的。

2.3.2 混淆矩陣

圖2顯示了本方法在排球數(shù)據(jù)集上獲得的混淆矩陣。從混淆矩陣中,觀察到除了“Setting”和“Passing”行為準(zhǔn)確率較低外,其它活行為準(zhǔn)確率都表現(xiàn)的非常優(yōu)秀,高達(dá)98%,證明了本方法的有效性。這是因?yàn)椤癝etting”和“Passing”活動通?？雌饋硐嗨?并且在個人層面上具有相似的交互關(guān)系,容易混淆。此外,“Setting”和“Spiking”“Passing”和“Spiking”“Left Winpoint”和“Right Winpoint”也會出現(xiàn)一定程度的混淆。

圖2 提出的模型在Volleyball數(shù)據(jù)集上的混淆矩陣Fig. 2 Confusion matrix of the proposed model on the Volleyball dataset

2.4 基于CAD數(shù)據(jù)集的算法性能測試

2.4.1 CAD 數(shù)據(jù)集特殊性及其實(shí)驗(yàn)設(shè)計(jì)

群組行為識別數(shù)據(jù)集大致概括為兩大類,其一為場景中的大部分人做相似的行為,如CAD數(shù)據(jù)集,其群組行為則是把場景中大部分成員的行為作為群組行為。其二,群組行為的定義取決于場景中的“標(biāo)志性行為”,而忽略其他“大眾性平淡無奇的行為”,如圖3,在圖3(a)場景中標(biāo)志性行為是“兩個人在打架”,而周圍有較多“站立圍觀者”。從信息量的角度定義場景群組行為也應(yīng)該為“Fighting”,而非“Standing”,因 為“Fighting”行為是標(biāo)志性的,是高信息量的;類似地,在Volleyball數(shù)據(jù)集場景中,如圖3(b),左邊球員“Spiking”行為是Volleyball場景中的“標(biāo)志性行為”,而其他球員大都在“Waiting”和“Standing”,同樣地,該高信息量的“Spiking”也應(yīng)該定義為此時(shí)的群組行為類別。

圖3 群組行為的屬性取決于場景中“標(biāo)志性行為”的類別Fig. 3 Attributes of group behaviors depend on the category of"iconic behaviors"in the scene

由于CAD 數(shù)據(jù)集中組群成員間的“弱交互關(guān)系”特性,故取消了“交互關(guān)系初始化人數(shù)對識別精度的影響實(shí)驗(yàn)”,對其只進(jìn)行了消融實(shí)驗(yàn)和混淆矩陣分析。

2.4.2 消融實(shí)驗(yàn)

CAD 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果見表2。

表2 模型在CAD數(shù)據(jù)集上各種基線方法的比較Table 2 Comparison of various baseline methods of the model on the CAD

經(jīng)過對表2分析得到:1)B2與B1相比,準(zhǔn)確率提高了0.2%,提升較小,這說明CAD 數(shù)據(jù)集對關(guān)鍵人物建模不太敏感;2)B3比B1的準(zhǔn)確率提高了0.9%,比B2提高了0.7%,這說明加入場景全局時(shí)空特征是有效的;3)B4比B1提高了1.6%,比B3提高了0.7%,體現(xiàn)了層疊LSTM 強(qiáng)大的長時(shí)序動作建模功能;4)本工作方法B5比B1提高了1.9%,比B4提高了0.3%,提升較小,這表明CAD 數(shù)據(jù)集對關(guān)鍵時(shí)序的建模不太敏感,但整體上GAT 和ISC的特征選擇能力可以用來捕捉本文的CAD 數(shù)據(jù)集中的長時(shí)間結(jié)構(gòu)信息。

2.4.3 CAD 數(shù)據(jù)集的混淆矩陣

圖4顯示了本模型在CAD 數(shù)據(jù)集上獲得的混淆矩陣,從混淆矩陣中,觀察到本模型很好地用于“talking”和“Queuing”行為,表明本算法可以更好地捕獲“交互關(guān)系”這一特征,并以此作為描述符進(jìn)行識別,可以獲得較高識別精度。然而,“Crossing”和“Walking”出現(xiàn)較大混淆,原因是兩者有很高的相似性;此外,由于“Waiting”行為的運(yùn)動特征不鮮明,并且交互關(guān)系很弱,故“Waiting”行為的識別表現(xiàn)也不佳。

圖4 提出的模型在CAD數(shù)據(jù)集上的混淆矩陣Fig. 4 Confusion matrix of the proposed model on the CAD

2.5 與其它方法的比較

在Volleyball和CAD 數(shù)據(jù)集上的其它算法與本算法進(jìn)行比較,結(jié)果如表3、表4所示。

表3 在CAD數(shù)據(jù)集上與其它方法的比較Table 3 Comparison with other methods on the CAD

表4 Volleyball上與其它方法的比較Table 4 Comparison with other methods on volleyball

依據(jù)算法特點(diǎn),上述算法與本方法性能比較,可以歸納為如下3點(diǎn):

1)模型中有/無交互關(guān)系建模對群組行為識別的影響。

文獻(xiàn)[6]提出兩階段分層深度時(shí)間模型,先后得到個人級時(shí)空特征和組群級時(shí)空特征,并實(shí)現(xiàn)組群行為識別。文獻(xiàn)[8]提出一種多實(shí)例基數(shù)潛在內(nèi)核方法,可以通過計(jì)算個人的行為以及多少幀包含該活動來對群組的活動進(jìn)行分類,即對場景中執(zhí)行動作的人數(shù)關(guān)系建模并編碼以排除不包含發(fā)生事件的幀和未參與群體活動的個人,依據(jù)這些編碼實(shí)現(xiàn)群組行為分類。文獻(xiàn)[9]提出基于語義的群組行為識別方法:SBGAR(semantics based group activity recognition),此方法分為兩階段,第一階段是語義生成模型,此模型使用LSTM 為每個視頻幀生成描述符句子,第二階段是行為預(yù)測模型,此模型訓(xùn)練另一個LSTM,根據(jù)第一階段的生成語義預(yù)測最終的行為類別。文獻(xiàn)[14]模型提出Actor-transformer模型,通過兩支路將提取的靜態(tài)特征和動態(tài)特征進(jìn)行初級融合,再用transformer細(xì)化和聚合成員的特征進(jìn)行群組行為識別。以上4種方法都缺少交互關(guān)系建模這一關(guān)鍵信息的提取,使得其組群時(shí)空特征更多地只關(guān)注了底層特征,缺少高層交互關(guān)系特征的刻畫,因此表現(xiàn)不如本研究。

2)有/無關(guān)鍵人物交互關(guān)系建模對群組行為識別的影響

文獻(xiàn)[4]通過節(jié)點(diǎn)RNN 和邊RNN 構(gòu)建個體間交互的語義關(guān)系圖,從而推理得到每個子組行為和整個群組行為標(biāo)簽。文獻(xiàn)[7]提出結(jié)構(gòu)推理機(jī)(SIM),利用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建同一場景中個體之間的交互關(guān)系。文獻(xiàn)[10]采用兩層LSTM 形成一個前饋深度架構(gòu)建模交互關(guān)系,并端到端的訓(xùn)練,實(shí)現(xiàn)個人和群組行為識別。文獻(xiàn)[15]通過交互關(guān)系的強(qiáng)弱將成員分為若干小組,精準(zhǔn)刻畫每個小組內(nèi)成員的行為特征,再與I3D 網(wǎng)絡(luò)提取的全局關(guān)系特征融合進(jìn)行群組行為識別。上述4種方法雖然有交互關(guān)系建模,但沒有對關(guān)鍵人物交互關(guān)系的建模,模型不簡約,未能排除噪聲干擾,因此準(zhǔn)確率不如本工作。

3)有無關(guān)鍵幀建模對群組行為識別的影響[11-13]。

文獻(xiàn)[11]提出了角色關(guān)系圖,利用圖卷積網(wǎng)絡(luò)GCN 進(jìn)行關(guān)系推理,以此進(jìn)行關(guān)鍵人物的建模,但沒有進(jìn)行關(guān)鍵幀建模。文獻(xiàn)[12]利用Bi-LSTM 模塊為成員之間的交互關(guān)系建模,然后利用LSTM 模塊逐步聚合具有可訓(xùn)練注意力權(quán)重的Bi-LSTM 潛在輸出狀態(tài),根據(jù)個體成員行為與群組行為的關(guān)聯(lián)程度,得到關(guān)鍵人物,但是整個模塊缺少對時(shí)序信息的提純。文獻(xiàn)[13]通過CCG-LSTM 模型捕捉與群組行為相關(guān)的成員行為,并通過注意力機(jī)制量化個體行為對群組行為的貢獻(xiàn),也缺少對時(shí)序信息的提純。以上3種方法都沒有對關(guān)鍵幀建模,因此導(dǎo)致他們的準(zhǔn)確率不如本工作。

3 結(jié)語

針對如何構(gòu)建群組成員間的簡約交互關(guān)系以及如何從時(shí)序上優(yōu)選區(qū)別性強(qiáng)的時(shí)空特征構(gòu)建簡約的行為描述符,提出了一種基于時(shí)空注意力機(jī)制建?？蚣?并通過基線實(shí)驗(yàn)和對比文獻(xiàn)算法,顯示出了本工作方法的優(yōu)越性。主要得益于本工作利用GAT簡約成員初始化交互關(guān)系特征,與I3D 提取的場景全局時(shí)空特征結(jié)合得到精準(zhǔn)的全局場景加局部成員簡約交互關(guān)系特征,并設(shè)計(jì)一個子網(wǎng)絡(luò)得到視頻幀的重要性權(quán)重進(jìn)行關(guān)鍵幀的判別,以此構(gòu)建簡約的時(shí)空行為描述符,提高群組行為識別準(zhǔn)確率。

另一方面,本工作基于交互關(guān)系建模實(shí)現(xiàn)群組行為識別方法也有其不足,主要是需要較多底層特征的支持,因?yàn)榻换リP(guān)系建模主要是兩兩成員間(pair-wise)的交互關(guān)系描述,本工作采用成員的外觀和位置信息、運(yùn)動軌跡、鄰域上下文信息等信息,來初始化交互關(guān)系,這些信息需要多目標(biāo)跟蹤算法作為底層特征提取的保障,但是這些底層算法的精度卻是有限的,因此,導(dǎo)致成員間交互關(guān)系的精度有待進(jìn)一步提高。