混合注意力機(jī)制的異常行為識別

孫曉虎，余阿祥，申栩林，李洪均，2

1.南通大學(xué) 信息科學(xué)技術(shù)學(xué)院，江蘇 南通 226019

2.計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室（南京大學(xué)），南京 210093

隨著社會經(jīng)濟(jì)的快速發(fā)展，加油站等重要場所的防爆措施是否到位直接威脅到周圍群眾的人身安全和財(cái)產(chǎn)安全。據(jù)不完全統(tǒng)計(jì)，我國煙民的比例高達(dá)26.92%，且由吸煙引發(fā)的爆炸事故率高達(dá)12.2%。眾所周知，加油站的空氣中存留著易燃易爆的油氣，因此在加油站及其附近吸煙發(fā)生爆炸事故的可能性更大；此外，司機(jī)在駕駛途中抽煙、打電話等違規(guī)行為也存在著巨大的安全隱患。研究表明，打電話時(shí)出車禍的概率是正常駕駛的4倍，而車上抽煙至少由7個(gè)動作完成，更是引發(fā)車禍的隱形殺手。因此，人們迫切希望對人體異常行為進(jìn)行分析，有針對性、有重點(diǎn)性地加強(qiáng)預(yù)防，在安全隱患發(fā)生之前及時(shí)發(fā)出預(yù)警信號，做到防患于未然。

由于異常行為的不可預(yù)知性和稀疏性，將現(xiàn)有方法直接用于檢測本文所涉及的異常行為，往往達(dá)不到預(yù)期的效果。傳統(tǒng)方法采用自定義的特征來確定人體異常行為，提取的高層次特征與低層次特征缺乏交互性，存在一定的局限性。深度學(xué)習(xí)的方法雖然具有高效和高識別率的特點(diǎn)，但對圖像質(zhì)量、規(guī)格尺寸以及設(shè)備算力的要求較高，無法很好地對輸入信息進(jìn)行精細(xì)化的分配和處理。

本文主要針對人們在加油站以及駕駛途中的吸煙、打電話等異常行為展開研究。為解決加油站等場景下各種異常行為樣本的不均衡以及圖像分辨率過大、清晰度不佳導(dǎo)致模型性能下降的問題，提出了一種混合注意力機(jī)制的異常行為識別方法。

1 相關(guān)工作

目前，人體異常行為的分類識別方法根據(jù)特征提取方式的不同分為兩類，一類是基于傳統(tǒng)的人工設(shè)計(jì)提取特征的方法，一類是基于深度學(xué)習(xí)提取特征的方法。

1.1 基于傳統(tǒng)的異常行為識別方法

基于傳統(tǒng)的異常行為識別方法主要是根據(jù)特定的異常行為特點(diǎn)，通過目標(biāo)檢測、特征提取等一系列手段來判斷是否有異常行為發(fā)生。Zhai[1]從異常行為的類型和特征入手，通過提取異常行為的動作特征、顏色特征以及紋理特征，并在此基礎(chǔ)上利用支持向量機(jī)來對人體異常行為進(jìn)行識別。Wang等人[2]結(jié)合異常行為的多種特征，提出一種基于多特征融合的方法對異常行為進(jìn)行檢測，避免了單一特征的局限性，具有更好的魯棒性。Saqlain等人[3]提出一個(gè)行為分類框架，通過形態(tài)學(xué)圖像處理技術(shù)來提取人體幾何特征，并將其納入相應(yīng)的異常行為分類規(guī)則，以實(shí)現(xiàn)對異常行為的識別與分類；雖然這種方法實(shí)現(xiàn)簡單，但其行為表征的能力也受限于所提取的特征。文獻(xiàn)[4-5]在提取傳統(tǒng)異常特征的基礎(chǔ)上，提出了一種基于貝葉斯分類模型的異常行為分析方法，可有效地對人體異常行為進(jìn)行識別與分類。綜上所述，基于傳統(tǒng)的異常行為識別算法既有其優(yōu)勢，也有其劣勢。一方面，傳統(tǒng)的異常行為識別算法既不需要復(fù)雜的計(jì)算量，也不需要強(qiáng)大的硬件設(shè)備支持。因此，對于計(jì)算量較小的樣本數(shù)據(jù)來說，利用傳統(tǒng)的識別算法進(jìn)行異常行為檢測更具優(yōu)勢；另一方面，手工提取特征通常只針對特定的場景，這就造成了它的局限性和單一性，且泛化能力較差。

1.2 基于深度學(xué)習(xí)的異常行為識別方法

與傳統(tǒng)方法不同，基于深度學(xué)習(xí)的方法主要在人體行為識別分類的基礎(chǔ)上，根據(jù)場景的特殊需求，通過人為定義一些異常行為或直接基于數(shù)據(jù)對模型進(jìn)行訓(xùn)練和學(xué)習(xí)，提取出可有效表征人體行為的深度特征，加強(qiáng)模型對輸入數(shù)據(jù)的歸納性。針對基于CNN（convolutional neural network）的異常行為識別方法犧牲實(shí)時(shí)性來提升識別精度這一問題，Ko等人[6]提出了一種基于深度卷積網(wǎng)絡(luò)的統(tǒng)一框架，用于從標(biāo)準(zhǔn)RGB圖像中檢測人類異常行為，在保證識別精度的同時(shí)提高了檢測速度。文獻(xiàn)[7]將LSTM（long short term memory）與CNN相結(jié)合，有效地解決了訓(xùn)練過程中不容易收斂和分類準(zhǔn)確率較低的問題。Li等人[8]設(shè)計(jì)了一種簡單而高效的CNN架構(gòu)，該方法以原始關(guān)節(jié)坐標(biāo)和連續(xù)兩幀骨架關(guān)節(jié)的運(yùn)動作為網(wǎng)絡(luò)的額外輸入，形成一個(gè)雙流的CNN網(wǎng)絡(luò)。然而，當(dāng)前的網(wǎng)絡(luò)體系統(tǒng)仍然存在著由于網(wǎng)絡(luò)深度的加深而引起的模型復(fù)雜性提升以及帶來的過擬合問題。因此，Wang等人[9]提出了一種深雙流ConvNet用于異常行為識別，并將深雙流ConvNet與時(shí)間敏感網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)高效的學(xué)習(xí)。

上述方法雖然在一定程度上提高了異常行為檢測的識別精度，但直接將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于大分辨率圖像計(jì)算是昂貴的，因?yàn)橛?jì)算量與圖像像素的數(shù)量呈線性比例。其次，由于各種因素致使攝像頭在一些場景下拍攝的圖像質(zhì)量較差，最終導(dǎo)致識別算法的檢測效果不佳，解釋性較差。蘇江毅等人[10]通過空間流模塊和時(shí)間流模塊分別獲得數(shù)據(jù)融合后的空間信息和時(shí)間信息，同時(shí)兼顧了網(wǎng)絡(luò)的時(shí)效性和準(zhǔn)確度。胡薰尹等人[11]提出一種基于3D-LCRN的異常行為識別方法，該方法不僅能夠在光照變化、背景抖動等復(fù)雜場景中保留視頻的上下文時(shí)空相關(guān)性，而且可以有效地識別異常行為。近年來，注意力機(jī)制逐漸被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域[12-14]。深度學(xué)習(xí)中的注意力機(jī)制就注意力關(guān)注的區(qū)域可分為：通道域[15]、空間域[16]、層域[17]以及混合域[18-20]。Jaderberg等人[15]認(rèn)為池化的方法太過暴力，直接將信息合并會導(dǎo)致關(guān)鍵信息無法識別出來，因此提出一種空間轉(zhuǎn)換機(jī)制的注意力模塊，將原始圖片中的空間信息變換到另一個(gè)空間中并保留了關(guān)鍵信息。Hu等人[16]認(rèn)為圖像中每個(gè)通道的特征映射的作用權(quán)重是不一樣的，因此提出一種壓縮激勵注意力機(jī)制，使模型可以自適應(yīng)地學(xué)習(xí)到不同通道的重要程度。Li等人[17]從層域出發(fā)，將注意力機(jī)制與金字塔結(jié)構(gòu)相結(jié)合，跳出了以往的金字塔結(jié)構(gòu)，并采用一個(gè)全局池化對底層特征的權(quán)值進(jìn)行加權(quán)。上述的注意力機(jī)制僅從通道域或空間域出發(fā)，網(wǎng)絡(luò)只能單方面地“關(guān)注什么”或“關(guān)注哪里”。為了使網(wǎng)絡(luò)既可以關(guān)注到重要信息又能了解所關(guān)注的信息在哪里，Woo等人[18]在文獻(xiàn)[16]的基礎(chǔ)上進(jìn)一步拓展，提出了具有通道域和空間域的注意力機(jī)制。為避免文獻(xiàn)[18]中手工設(shè)計(jì)池化、多層感知機(jī)等復(fù)雜操作，F(xiàn)u等人[19]直接使用了非局部的自相關(guān)矩陣進(jìn)行運(yùn)算，然而其注意力機(jī)制是通過計(jì)算所有像素之間的相關(guān)性，導(dǎo)致計(jì)算復(fù)雜度較高。因此，Huang等人[20]采用縱橫交叉的思想，只計(jì)算每個(gè)像素與其同行同列即十字上的像素的相似性。

考慮到異常行為樣本的不均衡以及圖像分辨率過大、清晰度不佳等問題，本文在目標(biāo)注意的基礎(chǔ)上，從空間域和通道域出發(fā)，設(shè)計(jì)了一種混合注意力機(jī)制。

2 混合注意力機(jī)制的異常行為識別模型

本文提出一種混合注意力機(jī)制的異常行為識別方法，該方法包括兩個(gè)核心部分：卷積塊注意力模塊和卷積特征提取模塊，如圖1所示。其中，卷積塊注意力模塊的主要目的是增強(qiáng)全局顯著性信息之間的聯(lián)系，自適應(yīng)地對特征進(jìn)行細(xì)化，有效避免信息冗余的同時(shí)自動學(xué)習(xí)不同特征的重要性；同時(shí)利用卷積特征提取模塊的多級特征提取能力對高層語義特征進(jìn)行深度挖掘，并將提取到的高層語義特征與低層細(xì)節(jié)特征進(jìn)行跨層融合，使得不同尺度間的特征具有更好的交互性。因此，利用卷積塊注意力模塊和卷積特征提取模塊，更好地挖掘行為顯著性特征。同時(shí)，多級聯(lián)特征和特征壓縮為后面的異常行為識別與分類提供豐富的特征信息。

圖1 混合注意力機(jī)制的異常行為識別框架Fig.1 Abnormal behavior recognition framework with hybrid attention mechanism

2.1 卷積塊注意力模塊

考慮到卷積運(yùn)算僅在局部鄰域上工作，為增強(qiáng)全局顯著性信息之間的聯(lián)系，更好地對輸入信息進(jìn)行精細(xì)化地分配和處理，本文在卷積特征圖后結(jié)合卷積塊注意力模塊，其結(jié)構(gòu)如圖2所示。卷積塊注意力模塊是一種結(jié)合了空間和通道的注意力機(jī)制，其主要機(jī)制是將所有的注意力放在重要區(qū)域，忽略不重要的因素，以此來提高分類的準(zhǔn)確率。具體地，通道注意力模塊主要關(guān)注特征圖不同通道的重要程度，利用池化和權(quán)重共享的方式賦予每個(gè)通道不同的權(quán)重，并自適應(yīng)地調(diào)整通道間的特征響應(yīng)，區(qū)分出重要與非重要的特征信息，使得模型可以更好地捕獲顯著性通道特征。同理，空間注意力模塊則從特征圖的空間維度出發(fā)，引入注意力機(jī)制。將通道注意力模型和空間注意力模型結(jié)合，能夠更全面地反映特征在不同維度上的重要程度，關(guān)注到更關(guān)鍵的顯著性特征。

圖2 卷積塊注意力模塊Fig.2 Convolutional block attention module

首先，將卷積層的輸出特征圖F∈RH×W×C作為輸入分別經(jīng)過平均池化和最大池化來聚合特征映射的空間信息。接著，將它們分別送入一個(gè)兩層的多層感知機(jī)（第一層神經(jīng)元個(gè)數(shù)為C/r，第二層神經(jīng)元個(gè)數(shù)為C，且這個(gè)兩層的神經(jīng)網(wǎng)絡(luò)是共享的），利用多層感知機(jī)對特征圖的空間維數(shù)進(jìn)行壓縮。然后，將MLP的輸出進(jìn)行逐元素求和，再經(jīng)過Sigmoid激活函數(shù)，產(chǎn)生通道注意力圖Tc。同時(shí)，為關(guān)注到更關(guān)鍵、更有區(qū)分性的顯著性通道特征，借鑒殘差的思想將上層信息F與當(dāng)前信息Tc相乘即可得到縮放后的新特征F′。殘差結(jié)構(gòu)的引入將信息繞過部分卷積結(jié)構(gòu)直接傳入到輸出，有助于網(wǎng)絡(luò)內(nèi)的信息流動，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)重點(diǎn)關(guān)注的部分。其定義為：

其中，?(?)表示激活函數(shù)。MLP的權(quán)重W0和W1對兩個(gè)輸入都是共享的。r為壓縮率，本文取值為16。和分別表示平均池化特征和最大池化特征。

將通道注意力模塊輸出的特征圖Tc分別經(jīng)過全局最大池化和全局平均池化，并使用標(biāo)準(zhǔn)的1×1卷積，將通道數(shù)減小為1，得到兩個(gè)H×W×1的特征圖，即F′asvg和F′msax，經(jīng)過卷積操作進(jìn)行降維并經(jīng)過激活函數(shù)生成空間注意力圖Ts。同理，將上層信息F′與當(dāng)前信息Ts相乘即可得到縮放后的新特征F″，其定義為：

其中，?(?)表示Sigmoid激活函數(shù)，f表示卷積運(yùn)算，和分別表示平均池化特征和最大池化特征，?表示矩陣的逐點(diǎn)相乘，F(xiàn)″表示最終的優(yōu)化輸出。

2.2 卷積特征提取模塊

為緩解神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中丟失所學(xué)到的先驗(yàn)信息，尤其是對于小樣本任務(wù)，通過挖掘目標(biāo)對象的高層語義信息，進(jìn)一步提升網(wǎng)絡(luò)的分類效果。但實(shí)際上，不同層級的特征圖包含從輸入圖像中提取到的不同層次的信息。雖然高層具有更加豐富的語義信息，能更好地表示不同行為的特征，但其分辨率不高，對不同行為細(xì)節(jié)特征的提取能力比較差。而低層特征包含不同行為的細(xì)節(jié)信息且分辨率較高，但其語義性較低。如何將兩者相互融合，充分利用高層特征和低層特征的互補(bǔ)性，提高網(wǎng)絡(luò)對高低層特征的交互性和關(guān)注度，是改善異常行為識別模型的關(guān)鍵。因此，本文提出了一種卷積特征提取模塊（convolution feature extraction module，CFEM），如圖3所示。

圖3 卷積特征提取模塊Fig.3 Convolution feature extraction module

首先對輸入F″進(jìn)行卷積，并采用深度可分離卷積操作，在保證各通道間獨(dú)立性的同時(shí)有效地降低了參數(shù)量，其定義如下：

其中，F(xiàn)″表示輸入，U表示輸出的特征圖，f1(?)表示逐點(diǎn)卷積，f2(?)表示深度可分離卷積。

接著，將Uc=[u1,u2,…,uC]視為特征圖U通道uc∈RH′×W′的組合?？臻g壓縮由全局平均池化層執(zhí)行，產(chǎn)生帶有C個(gè)元素的向量a∈R1×1×C。其定義如下所示：

其中，Usq表示壓縮操作，H′×W′表示它的大小，ak表示向量a中的第k個(gè)元素。可以刻畫不同特征的重要程度，k的取值范圍是1~C。

該操作將全局空間信息嵌入到向量中，通過編碼使其具有通道相關(guān)性，并使其通過激活層?(a)合成矢量用于校準(zhǔn)或激勵Uc：

其中，W2、W3分別是兩個(gè)全連接層的權(quán)重，δ(?)是ReLu操作。?(?)表示Sigmoid激活函數(shù)，用于激發(fā)每個(gè)通道的重要性并將其重新放縮。隨著網(wǎng)絡(luò)的不斷學(xué)習(xí)，這些激活函數(shù)被適應(yīng)性地調(diào)整以忽略不太重要的通道并強(qiáng)調(diào)重要的通道。

同時(shí)，為實(shí)現(xiàn)空間壓縮操作，引入特征圖U的另一種表示形式Us，將其視為空間位置ui,j∈R1×1×C的組合，該操作定義如下：

其中，i∈{1,2,…,H′}，j∈{1,2,…,W′}，?表示卷積操作。

投影的每個(gè)qi,j表示空間位置(i,j)的所有通道的線性組合表示。該投影穿過激活函數(shù)層?(?)將被重新放縮至[0，1]，用于重新校準(zhǔn)或在空間上激勵Us：

其中，?(qi,j)用于表示特征圖的空間信息(i,j)的相對重要性，這種重新校準(zhǔn)相關(guān)的空間位置提供了更多的重要性，并忽略了不相關(guān)的位置。

最后，得到并行的通道和空間壓縮激勵：

其中，表示將和進(jìn)行拼接操作后得到的特征圖。

為獲取更深層次的高層特征信息，將重標(biāo)定后的特征生成一個(gè)新的特征映射Qs。具體地，將得到的特征圖，分別經(jīng)過全局平均池化和全局最大池化，并使用標(biāo)準(zhǔn)的1×1卷積，將通道數(shù)減小為1，得到兩個(gè)H′×W′×1的特征圖，即Iavg和Imax。其定義如下：

其中，Iavg和Imax分別表示平均池化特征和最大池化特征，?()表示Sigmoid激活函數(shù)，f表示卷積運(yùn)算。

將特征映射Qs加權(quán)到先前的特征U上，恢復(fù)原通道維度并進(jìn)行殘差操作，將卷積特征提取模塊經(jīng)過多級提取的高層語義特征與低層細(xì)節(jié)特征進(jìn)行融合，增強(qiáng)交互性，其定義如下：

其中，D(?)表示殘差連接，?表示矩陣相乘運(yùn)算，G′表示卷積操作，U′scale表示分配權(quán)重操作，Z表示輸出特征。

2.3 損失函數(shù)

常用的交叉熵?fù)p失函數(shù)只考慮到訓(xùn)練樣本中正確標(biāo)簽位置的損失，而忽視了錯(cuò)誤標(biāo)簽位置的損失。因此，采用標(biāo)簽平滑對交叉熵?fù)p失函數(shù)進(jìn)行修正，其曲線平滑，易于求導(dǎo)且梯度穩(wěn)定，使網(wǎng)絡(luò)具有更好的泛化性，最終對不可見的數(shù)據(jù)產(chǎn)生更準(zhǔn)確的預(yù)測，提高圖像分類的準(zhǔn)確性。

其中，k表示具體任務(wù)中分類數(shù)，y表示k類別組成的k維矩陣。ε表示平滑因子[21]，本文取值為0.1，y′表示標(biāo)簽平滑后的k類別組成的k維矩陣。

3 實(shí)驗(yàn)

本實(shí)驗(yàn)的硬件環(huán)境：CPU Intel?Xeon?Silve 4216，主頻2.10 GHz，內(nèi)存32 GB，顯卡NVIDIA TITAN RTX，顯存24 GB；軟件環(huán)境：Windows10，Python3.7，Cuda10.0，Pytorch框架。本文采用SGD優(yōu)化器，輸入圖像分辨率統(tǒng)一為456×456，使用文獻(xiàn)[22]中描述的權(quán)重初始化策略對模型進(jìn)行訓(xùn)練。模型的初始學(xué)習(xí)率為0.01，且每過6個(gè)epoch學(xué)習(xí)率變?yōu)樵瓉淼?/10，dropout=0.5。此外，還采用尺度變換、中心裁剪、明亮度變換、隨機(jī)擦除等操作對圖片進(jìn)行數(shù)據(jù)增強(qiáng)。為實(shí)現(xiàn)對加油站等地以及司機(jī)駕駛時(shí)異常行為的檢測，本文經(jīng)爬蟲構(gòu)建了異常行為數(shù)據(jù)庫，該數(shù)據(jù)集包括四種不同的行為（抽煙：2 325張，打電話：1 450張，抽煙且打電話：1 800張，正常：4 625張），共有10 200張樣本，數(shù)據(jù)集中部分行為類別如圖4所示。實(shí)驗(yàn)隨機(jī)選擇每種行為的80%作為訓(xùn)練集，10%作為驗(yàn)證集，10%作為測試集。

圖4 數(shù)據(jù)集部分行為類別Fig.4 Some behavior categories of data set

3.1 與現(xiàn)有主流算法的對比實(shí)驗(yàn)

為了評估本文所提混合注意力機(jī)制在異常行為識別上的性能，本文以EfficientNet系列為基礎(chǔ)網(wǎng)絡(luò)模型，將其與現(xiàn)有主流算法進(jìn)行對比分析，如VGG16、VGG19、MobilnetV2、Resnet50以及Resnet101。為保證比較結(jié)果的公平，本文采用公開的源碼和默認(rèn)參數(shù)來復(fù)現(xiàn)這些方法，各算法在同一數(shù)據(jù)集上的實(shí)驗(yàn)對比結(jié)果如表1所示。

表1 與主流算法的對比Table 1 Comparison with state-of-the-art algorithms

從表1可以看出，相比VGG-16、VGG-19、Mobilnet-V2、Resnet-50、Resnet-101以及EfficientNet系列，本文的方法取得了更為準(zhǔn)確的識別結(jié)果。VGG系列利用復(fù)雜的模型，能夠識別出部分異常行為，但由于該模型過于復(fù)雜，使得其在有限數(shù)據(jù)的情況下難以訓(xùn)練，因此它的性能相對其他網(wǎng)絡(luò)模型較差。ResNet系列采用殘差結(jié)構(gòu)增強(qiáng)了網(wǎng)絡(luò)的特征交互性，但仍會關(guān)注過多額外的非必要信息進(jìn)而影響網(wǎng)絡(luò)的整體性能。而本文所提出的方法利用卷積塊注意力模塊對輸入信息進(jìn)行精細(xì)化的分配和處理，并提出一種卷積特征提取模塊來進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的特征交互性，進(jìn)一步挖掘更具代表性的顯著性特征。同時(shí)，本文還采用標(biāo)簽平滑對交叉熵?fù)p失函數(shù)進(jìn)行修正，且利用數(shù)據(jù)增強(qiáng)的方法生成大量的訓(xùn)練數(shù)據(jù)，使得網(wǎng)絡(luò)能夠得到有效地訓(xùn)練，從而實(shí)現(xiàn)更加準(zhǔn)確的異常行為檢測。本文的方法相比VGG-16、VGG-19、Mobilnet-V2、Resnet-50、Resnet-101以及EfficientNet-B7分別提升了13.33、11.14、10.72、4.87、3.72和1.80個(gè)百分點(diǎn)，取得了比當(dāng)前大多數(shù)主流網(wǎng)絡(luò)更好的識別效果。

由圖5可知，基于混合注意力機(jī)制的異常行為識別方法的平均識別率達(dá)到96.22%，且對4種行為的識別能力均達(dá)到了94%以上，能夠有效地對4種行為進(jìn)行分類。其中，基于混合注意力機(jī)制的異常行為識別方法對正常行為分類的準(zhǔn)確率最高，這是因?yàn)檎Ｐ袨樘卣骱推渌惓ｎ愄卣骶哂忻黠@的差異。除此之外，抽煙、抽煙且打電話被誤分類為正常的概率為0，這充分反映了本文提出的混合注意力模型可以從整體的角度關(guān)注并提取到更關(guān)鍵、更有利于分類正異常行為的顯著性特征，提升對正常和異常行為的分類效果。另一方面，從混淆矩陣中可以看出，抽煙、打電話被誤判為抽煙且打電話的概率較大。這是由于該行為同時(shí)包含抽煙和打電話兩種動作，有更多相似的特征，容易使網(wǎng)絡(luò)造成誤判。打電話也容易被誤判為正常，這是由于打電話和正常行為本身具有很大的相似性，僅僅是動作幅度上有一定的差異，導(dǎo)致識別過程中存在一定的誤判。

圖5 基于混合注意力機(jī)制的異常行為識別混淆矩陣Fig.5 Confusion matrix for abnormal behavior recognition based on hybrid attention mechanism

為了進(jìn)一步分析本文所提出的混合注意力網(wǎng)絡(luò)的收斂性能，設(shè)計(jì)了混合注意力網(wǎng)絡(luò)和基準(zhǔn)網(wǎng)絡(luò)的收斂性實(shí)驗(yàn)，如圖6所示。

由圖6可知，在收斂過程中，本文提出的混合注意力網(wǎng)絡(luò)的收斂速度快于基準(zhǔn)網(wǎng)絡(luò)的收斂速度，且收斂曲線波動較小，精度高于基準(zhǔn)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，在特征提取過程中，通過混合注意力網(wǎng)絡(luò)可以更快、更好地提取到圖像的顯著性特征，進(jìn)而使得網(wǎng)絡(luò)的分類效果更好。

圖6 收斂性能對比實(shí)驗(yàn)Fig.6 Convergence performance comparison experiment

為了驗(yàn)證本文所提算法在小樣本條件下的性能，分別取不同比例的訓(xùn)練/驗(yàn)證/測試樣本量進(jìn)行實(shí)驗(yàn)。同時(shí)，與其他算法在比例為2∶4∶4的條件下進(jìn)行了對比實(shí)驗(yàn)，結(jié)果分別如表2、表3所示。

表2 不同比例樣本量對網(wǎng)絡(luò)性能的影響Table 2 Impact of different proportions of sample sizes on network performance

表3 在2∶4∶4比例下不同模型的測試結(jié)果Table 3 Test results of different models at ratio of 2∶4∶4單位：%

由表2可知，隨著用于學(xué)習(xí)的樣本數(shù)量越來越多，模型獲取到的特征越來越多，最終的學(xué)習(xí)效果越佳。由表3可知，除本文算法外，其他網(wǎng)絡(luò)模型的分類準(zhǔn)確率隨著訓(xùn)練樣本比例的減少均明顯降低。其中，ResNet-50相比于8∶1∶1比例下性能下降最快，下降了23.20個(gè)百分點(diǎn)，而本文所提算法僅降低了9.23個(gè)百分點(diǎn)，這充分證明了本文所提算法在小樣本分類任務(wù)上的有效性和優(yōu)越性。這是由于準(zhǔn)確分類正異常行為的關(guān)鍵在于將網(wǎng)絡(luò)的特征提取聚焦于圖像中具有足夠區(qū)分度的關(guān)鍵區(qū)域。而本文在采用卷積塊注意力模塊捕獲具有判別性特征的基礎(chǔ)上，充分利用高層語義信息和低層細(xì)節(jié)信息的互補(bǔ)性，讓模型提取到更豐富的特征，彌補(bǔ)了少數(shù)類因樣本數(shù)量較少所帶來的特征學(xué)習(xí)上的不足。

3.2 各模塊的有效性驗(yàn)證

3.2.1 卷積塊注意力模塊（CBAM）的影響

為驗(yàn)證引入的CBAM模塊是否可以有效引導(dǎo)網(wǎng)絡(luò)模型重點(diǎn)關(guān)注目標(biāo)對象的顯著性特征，有效地對輸入信息進(jìn)行精細(xì)化的分配和處理，提升網(wǎng)絡(luò)的分類性能。在EfficientNet-B7的基礎(chǔ)上，引入CBAM模塊且均以同樣的模型參數(shù)在同一數(shù)據(jù)集上進(jìn)行驗(yàn)證，測試結(jié)果如表4所示。

表4 CBAM對模型分類的影響Table 4 CBAM’s impact on model classification

從表4中可以看出，單獨(dú)引入CBAM模塊的效果優(yōu)于EfficientNet-B7，這充分表明CBAM模塊可有效關(guān)注到輸入數(shù)據(jù)的顯著性特征并對輸入信息進(jìn)行精細(xì)化地分配和處理。為更直觀地反映引入的CBAM模塊可以關(guān)注到顯著性特征，采用可視化的方法來表示模型對目標(biāo)區(qū)域的敏感程度，如圖7所示，圖中紅色部分越深說明對這部分的關(guān)注度越高。

圖7 CBAM模塊的可視化Fig.7 Visualization of CBAM module

3.2.2 卷積特征提取模塊（CFEM）的影響

為探究CFEM模塊對模型分類結(jié)果的影響，在EfficientNet-B7的基礎(chǔ)上，設(shè)計(jì)了CFEM模塊且以同樣的模型參數(shù)在同一數(shù)據(jù)集上進(jìn)行驗(yàn)證，測試結(jié)果如表5所示。

表5 CFEM對模型分類的影響Table 5 CFEM’s impact on model classification

從表5中可以看出，當(dāng)引入CFEM模塊后，模型的識別率增長了0.82個(gè)百分點(diǎn)（94.02% vs 94.84%）識別效果優(yōu)于EfficientNet-B7，這充分表明CFEM模塊所提取的高層語義特征可有效提升人體異常行為分類的準(zhǔn)確率，驗(yàn)證了所提出的CFEM模塊的有效性。另一方面，可以發(fā)現(xiàn)單獨(dú)引入CBAM模塊的效果優(yōu)于單獨(dú)引入CFEM模塊的效果，從側(cè)面說明了CBAM模塊可有效關(guān)注到目標(biāo)對象的顯著性特征，對模型的分類效果起著至關(guān)重要的作用。因此，本文將CBAM所關(guān)注到顯著性特征與CFEM所提取的高層語義特征進(jìn)行融合，取得了95.12%的識別率，其分類效果相比B7、B7+CFEM、B7+CBAM均有提升，這充分驗(yàn)證了將低層顯著性特征與高層語義特征進(jìn)行交互性融合可有效提升網(wǎng)絡(luò)模型的整體性。

3.2.3 標(biāo)簽平滑損失對模型分類的影響

為驗(yàn)證標(biāo)簽平滑損失對所提模型分類效果的影響，設(shè)置了四組對比實(shí)驗(yàn)，分別將標(biāo)簽平滑損失應(yīng)用到表5的四個(gè)模型中，實(shí)驗(yàn)結(jié)果如表6所示。

表6 標(biāo)簽平滑損失對模型分類影響Table 6 Impact of label smoothing loss on model classification

從表6可以看出，與表5相比，采用標(biāo)簽平滑損失后的模型B7、B7+CBAM、B7+CFEM、B7+CBAM+CFEM與未采用標(biāo)簽平滑損失前的模型相比，其識別精度分別提升了0.52、0.42、0.14和1.10個(gè)百分點(diǎn)，這反映出標(biāo)簽平滑可以很好地消除不同樣本特征中的差異信息，更多地保留它的高層語義信息，驗(yàn)證了其對所提方法的識別效果有著明顯的改善。

4 結(jié)束語

本文提出一種混合注意力機(jī)制的異常行為識別方法。通過卷積塊注意力模塊增強(qiáng)全局顯著性信息之間的聯(lián)系，對輸入信息進(jìn)行精細(xì)化地分配和處理，引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)輸入信息的顯著性特征；利用提出的卷積特征提取模塊來挖掘更深層次的高層語義信息，并將其與低層特征進(jìn)行融合，提升網(wǎng)絡(luò)特征交互性的同時(shí)緩解了小樣本任務(wù)信息不足的問題。結(jié)合卷積塊注意力模塊和卷積特征提取模塊可有效提升網(wǎng)絡(luò)的分類性能。最后，如何在提升網(wǎng)絡(luò)交互性的同時(shí)盡可能地減少由多級特征提取所帶來的混疊效應(yīng)對網(wǎng)絡(luò)性能的影響，仍有待進(jìn)一步研究。