基于擠壓激勵(lì)的輕量化注意力機(jī)制模塊

呂振虎，許新征，2*，張芳艷

（1.中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇徐州 221116；2.光電技術(shù)與智能控制教育部重點(diǎn)實(shí)驗(yàn)室（蘭州交通大學(xué)），蘭州 730070；3.寧夏大學(xué)智能工程與技術(shù)學(xué)院，寧夏中衛(wèi) 755000）

0 引言

注意力機(jī)制模塊是計(jì)算機(jī)視覺領(lǐng)域研究中的一個(gè)重要方向，可以使卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型增強(qiáng)對(duì)特征圖中關(guān)鍵信息的學(xué)習(xí)與理解，被廣泛嵌入卷積神經(jīng)網(wǎng)絡(luò)模型中，用于提高模型在圖像分類［1-2］、目標(biāo)檢測(cè)［3-4］和語義分割［5］等領(lǐng)域的應(yīng)用精度。對(duì)于研究注意力機(jī)制模塊問題而言，由于將其嵌入模型會(huì)增加模型所需要的計(jì)算資源，所以如何在提高模型應(yīng)用精度的同時(shí)，減少增加的參數(shù)和計(jì)算量是當(dāng)前研究的一個(gè)熱點(diǎn)。

在注意力機(jī)制模塊研究中，最經(jīng)典的是Hu 等［6］2018 年提出的擠壓激勵(lì)（Squeeze and Excitation，SE）模塊，因?yàn)榫矸e層局部感受野的限制，模型只能學(xué)習(xí)到特征圖局部位置的依賴關(guān)系，而SE 模塊通過全局平均池化獲得每個(gè)特征圖的全局信息，使用全連接層學(xué)習(xí)特征圖之間的全局依賴關(guān)系。SE 模塊使用全局平均池化和縮減率減小增加的參數(shù)和計(jì)算量，目前仍被廣泛的使用。2018 年，Park 等［7］提出了瓶頸注意力模塊（Bottleneck Attention Module，BAM），BAM 在SE 的通道注意力基礎(chǔ)之上添加了使用卷積模塊操作的空間注意力機(jī)制，兩者并行執(zhí)行。BAM 由于并行執(zhí)行兩種注意力機(jī)制，雖相比SE 進(jìn)一步提高了模型的應(yīng)用精度，但增加的參數(shù)和計(jì)算量比SE 更多。由于BAM 的缺點(diǎn)，Woo 等［8］在同年提出了卷積塊注意力模塊（Convolutional Block Attention Module，CBAM），CBAM 是BAM 的改進(jìn)版本，將BAM 中并行執(zhí)行的兩種維度注意力機(jī)制分為兩個(gè)獨(dú)立的部分。CBAM先使用通道注意力增強(qiáng)特征圖，然后將增強(qiáng)后的特征圖輸入到空間注意力模塊中進(jìn)行處理。在空間注意力模塊中CBAM 與BAM 不同的是先使用平均池化和全局池化提取特征圖的全局信息，然后使用一個(gè)卷積層進(jìn)行處理，而BAM 使用了四個(gè)卷積層，因此CBAM 相比BAM 減小了向模型中增加的參數(shù)量和計(jì)算量。

隨著研究的進(jìn)展，Wang 等［9］在2020 年提出了高效通道注意力（Efficient Channel Attention，ECA）模塊。Wang 等認(rèn)為SE 模塊中使用縮減率降維的方法會(huì)妨礙特征圖通道之間的信息交互，ECA 模塊通過自適應(yīng)大小的一維卷積實(shí)現(xiàn)無降維的局部通道交互策略。因?yàn)镋CA 模塊使用了自適應(yīng)的一維卷積，所以模塊的復(fù)雜度相比SE 模塊、BAM 和CBAM 更低一些，同時(shí)增加的參數(shù)量和計(jì)算量更小。Hou 等［10］在2021年提出了協(xié)調(diào)注意力（Coordinate Attention，CA）模塊。由于SE 模塊忽略了特征圖中感興趣目標(biāo)的位置信息，而位置信息對(duì)生成空間注意力圖很重要，所以CA 模塊對(duì)每一張?zhí)卣鲌D沿橫向和縱向分別使用平均池化獲取不同方向上的信息，然后將獲得的信息進(jìn)行拼接操作，使用1×1 卷積進(jìn)行降維，將降維后的信息沿著空間維度進(jìn)行分解，之后分別使用1×1卷積進(jìn)行升維操作，最后將獲得的信息與特征圖對(duì)應(yīng)相乘。使用CA 模塊增加的參數(shù)和計(jì)算量相比SE 模塊更少，提高的模型的應(yīng)用精度更高一些。

根據(jù)上述內(nèi)容，注意力機(jī)制模塊研究存在兩個(gè)問題：1）怎樣在使用注意力機(jī)制模塊提高模型應(yīng)用精度的同時(shí)，增加更少的參數(shù)和計(jì)算量；2）從SE 的通道注意力到BAM 的空間注意力，與后來的CA 模塊的位置信息，表明特征圖中可能仍存在著沒有被利用的信息。

針對(duì)上述問題，本文在逐維度卷積高效網(wǎng)絡(luò)（Dimension-wise convolutions for efficient Network，DiceNet）［11］使用的卷積方法基礎(chǔ)上提出了基于擠壓激勵(lì)的輕量化注意力機(jī)制模塊：高度維度擠壓激勵(lì)（Height Dimensional SE，HDSE）模塊和寬度維度擠壓激勵(lì)（Width Dimensional SE，WDSE）模塊，分別在特征圖的高度維度和寬度維度上進(jìn)行擠壓激勵(lì)操作，捕獲特征圖的信息，在提高模型應(yīng)用精度的同時(shí)，增加比SE 模塊、CA 模塊、CBAM 更少的參數(shù)和計(jì)算量，同時(shí)說明了特征圖中仍存在著可利用的信息。

1 相關(guān)理論

1.1 DiceNet的卷積方法

卷積核的可接受域有限，在通道維度上無法獲得特征圖全部有用的信息。DiceNet 不再局限于常規(guī)的通道維度卷積，它采用多維度卷積操作，對(duì)每一層的特征圖分別在通道維度、高度維度和寬度維度上做卷積提取特征信息，進(jìn)而提高模型的精度，三種卷積類型如圖1 所示。圖1 中的H和W表示特征圖的高和寬，D和n分別表示特征圖通道數(shù)目和卷積核尺寸。圖1（b）、（c）中的卷積核通道數(shù)目分別與特征圖的高度和寬度的大小相等。

圖1 三種類型的卷積Fig.1 Three types of convolutions

DiceNet 使用多維度卷積操作證明了在特征圖的高度維度和寬度維度上存在模型可用的信息，為本文的方法提供了重要的理論支持。

1.2 擠壓激勵(lì)操作

擠壓激勵(lì)操作由Hu 等［6］于2018 年提出。由于標(biāo)準(zhǔn)的卷積操作無法捕獲特征圖通道之間的關(guān)系信息，SE 模塊通過全局池化和全連接層構(gòu)建特征圖通道間的相互依賴關(guān)系，使用全局平均池化使網(wǎng)絡(luò)模型捕獲特征圖通道的全局信息，這是卷積操作無法做到的。

如圖2 所示，SE 模塊主要由三部分組成：擠壓操作（squeeze）、激勵(lì)操作（excitation）以及特征圖重標(biāo)定（scale）操作，完成對(duì)特征圖通道自適應(yīng)關(guān)系的重新校準(zhǔn)。首先使用全局平均池化進(jìn)行擠壓操作提取每個(gè)特征圖通道的全局信息，如式（1）所示：

圖2 SE模塊Fig.2 SE module

其中：Fsq表示擠壓操作；U表示特征圖張量；c表示通道索引。

然后，將擠壓操作得到的特征向量Z輸入到激勵(lì)操作中，如式（2）所示：

其中：Fex表示激勵(lì)操作；ω1與ω2分別是全連接層或者卷積層的降維權(quán)值與升維權(quán)值；σ表示Sigmoid 函數(shù)；δ代表線性整流函數(shù)（Rectified Linear Unit，ReLU）。

最后，將通道權(quán)值向量S與U對(duì)應(yīng)相乘，得到重標(biāo)定的特征圖，將重標(biāo)定的特征圖輸入下一卷積層繼續(xù)執(zhí)行。

上述就是擠壓激勵(lì)操作的全部過程。當(dāng)前，作為經(jīng)典的注意力機(jī)制模塊，擠壓激勵(lì)操作仍被廣泛使用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域中。

2 HD-SE和WD-SE模塊

卷積神經(jīng)網(wǎng)絡(luò)模型卷積層輸出的特征圖U∈RC×H×W是一個(gè)包含深度、高度與寬度的三維張量。常規(guī)的擠壓激勵(lì)操作是在深度維度上，以每個(gè)特征圖的通道為單位去處理。而HD-SE 模塊是從特征圖的高度維度去捕獲有用的信息，增強(qiáng)高度維度上的每一個(gè)特征圖張量。在將特征圖輸入到HD-SE 模塊進(jìn)行操作之前，首先將特征圖按照高度維度轉(zhuǎn)置成U1∈RH×C×W。然后，HD-SE 模塊使用全局平均池化對(duì)U1進(jìn)行擠壓操作，得到Y(jié)∈R1×1×H特征向量；之后使用降維卷積模塊對(duì)Y進(jìn)行降維得到Y(jié)1∈R1×1×H/r，使用升維卷積模塊對(duì)Y1進(jìn)行升維得到轉(zhuǎn)置后的每個(gè)特征圖的權(quán)重系數(shù)Y2∈R1×1×H；將Y2與U1對(duì)應(yīng)相乘，得到重標(biāo)定的轉(zhuǎn)置特征圖；最后，將懲罰系數(shù)β運(yùn)用到擠壓激勵(lì)后的U1中，U1恢復(fù)到RC×H×W維度，輸入到下一個(gè)卷積層。

WD-SE 模塊與HD-SE 模塊的不同之處是WD-SE 模塊是對(duì)在寬度維度上轉(zhuǎn)置后的特征圖進(jìn)行操作。WD-SE 模塊首先將特征圖轉(zhuǎn)置成U2∈RW×H×C，之后在U2上使用全局平均池化，得到Z∈R1×1×W，先后使用升維卷積塊和降維卷積塊，得到轉(zhuǎn)置后的每個(gè)特征圖的權(quán)重系數(shù)，將權(quán)重系數(shù)與U2對(duì)應(yīng)相乘，將處理后的特征圖乘以懲罰系數(shù)β。最后將U2轉(zhuǎn)置回原來的維度，輸入到下一個(gè)卷積層。

HD-SE 模塊的整個(gè)處理過程，如圖3 所示。轉(zhuǎn)置之前，特征圖的高度為H，寬度為W，個(gè)數(shù)為C，在使用tran-H 操作在高度維度上轉(zhuǎn)置之后，特征圖高度變?yōu)镃，寬度不變，個(gè)數(shù)變?yōu)镠。Fsq（·）、Fex（·，ω）和Fscale（·，·）與圖2 中的含義相同，分別表示擠壓操作、激勵(lì)操作和特征重標(biāo)定操作。?符號(hào)表示相乘操作，β表示懲罰系數(shù)。因?yàn)閃D-SE 模塊與HD-SE 模塊極為相似，此處不再給出其處理過程。

圖3 HD-SE模塊的流程Fig.3 Flow of HD-SE module

HD-SE 模塊或者WD-SE 模塊都對(duì)特征圖進(jìn)行轉(zhuǎn)置處理后進(jìn)行擠壓激勵(lì)操作。因?yàn)檗D(zhuǎn)置操作會(huì)破壞掉特征圖正常的結(jié)構(gòu)信息，將轉(zhuǎn)置后的特征圖進(jìn)行擠壓激勵(lì)操作，在得到對(duì)模型有用的信息的同時(shí)，會(huì)獲取到一些干擾、無用的特征。所以，本文提出的HD-SE 和WD-SE 模塊中使用懲罰系數(shù)β，能削弱特征圖轉(zhuǎn)置操作帶來的干擾。在模型訓(xùn)練測(cè)試初始階段，懲罰系數(shù)β在削弱無用信息的同時(shí)，也會(huì)對(duì)特征圖潛在的有用特征造成影響，但隨著模型的不斷學(xué)習(xí)，這種影響會(huì)越來越小。

當(dāng)前，主流的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括簡(jiǎn)單的卷積塊的堆疊，如VGGNet（Visual Geometry Group Network）［12］；殘差連接結(jié)構(gòu)，如ResNet（Residual Network）［13］；深度卷積和逐點(diǎn)卷積結(jié)構(gòu)，如MobileNetV1［14］；在MobileNetV1 和ResNet 的基礎(chǔ)上提出的倒殘差結(jié)構(gòu)，如MobileNetV2［15］。本文將提出的HDSE 和WD-SE 模塊分別嵌入這四種不同的結(jié)構(gòu)中。為了與SE 模塊、CA 模塊和CBAM 公平比較，HD-SE 與WD-SE 的嵌入方式是單獨(dú)嵌入，不將兩者級(jí)聯(lián)或者并聯(lián)嵌入，以驗(yàn)證其作用，具體結(jié)構(gòu)如圖4 所示。圖4（a）和（b）分別是HD-SE、WD-SE 的詳細(xì)結(jié)構(gòu)，Transpose 表示轉(zhuǎn)置操作，GAP（Global Average Pooling）表示全局平均池化操作；圖4（c）～（f）中HDSE/WD-SE 表示嵌入HD-SE 或者WD-SE。在VGGNet 簡(jiǎn)單的卷積塊堆疊結(jié)構(gòu)中，一個(gè)完整的卷積操作包括卷積+BatchNorm+ReLU，所以本文將HD-SE、WD-SE 嵌入ReLU 函數(shù)之后，如圖4（c）所示；在ResNet 殘差結(jié)構(gòu)中，一個(gè)殘差塊中包括2 個(gè)卷積操作，將HD-SE、WD-SE 嵌入于第2 個(gè)卷積操作之后，能夠獲得更多的特征圖隱藏的信息，如圖4（d）所示；在MobileNetV1 深度卷積和逐點(diǎn)卷積結(jié)構(gòu)中，深度卷積是通過廉價(jià)的操作提取特征，而逐點(diǎn)卷積作用是融合特征圖中的信息，逐點(diǎn)卷積之后的特征圖包含的信息比深度卷積處理后的更豐富，所以將HD-SE、WD-SE 嵌入到逐點(diǎn)卷積之后更為合適，如圖4（e）所示；在MobileNetV2 的倒殘差結(jié)構(gòu)中，使用文獻(xiàn)［10］在結(jié)構(gòu)中嵌入的位置，如圖4（f）所示。

圖4 HD-SE與WD-SE模塊的嵌入位置Fig.4 Embedding positions of HD-SE and WD-SE modules

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)環(huán)境為Xeon Gold 5120 處理器，NVIDIA GeForce RTX 2080 11 GB 顯存，軟件環(huán)境為Ubuntu16.04，CUDA10.1。使用PyTorch1.4.0［16］深度學(xué)習(xí)框架，在CIFAR10/100［17］分類數(shù)據(jù)集上進(jìn)行驗(yàn)證，CIFAR10/100數(shù)據(jù)集包含50000張訓(xùn)練圖片和10000張測(cè)試圖片，分別含有10/100個(gè)類別，在VGGNet、ResNet的子模型VGG16、ResNet56和MobileNetV1、MobileNetV2模型上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16、ResNet56 網(wǎng)絡(luò)中，使用SE 模塊時(shí)，由于網(wǎng)絡(luò)模型卷積層輸出的特征圖通道數(shù)遠(yuǎn)遠(yuǎn)大于縮減率r，所以縮減率通常根據(jù)經(jīng)驗(yàn)設(shè)置為4、16、32 或64。本文提出的HD-SE 模塊與WD-SE 模塊的操作對(duì)象是將特征圖在高度維度和寬度維度轉(zhuǎn)置后的特征張量，轉(zhuǎn)置后的特征圖數(shù)目為H（H=W）。在上述網(wǎng)絡(luò)模型中，隨著卷積層數(shù)的增加，特征圖的高和寬是遞減的，會(huì)出現(xiàn)轉(zhuǎn)置后的特征圖通道數(shù)目小于縮減率最小值（r=4）的情況，所以當(dāng)H與W小于縮減率r時(shí)，本文設(shè)定r等于H。

本文將提出的HD-SE 和WD-SE 與SE、CA、CBAM 和ECA模塊在測(cè)試精度、增加的參數(shù)量和計(jì)算量三類指標(biāo)上進(jìn)行比較。為了能夠讓上述四種模型對(duì)CIFAR10 和CIFAR100 進(jìn)行訓(xùn)練測(cè)試，本文使用文獻(xiàn)［18］提供的VGG16 和ResNet56 變體模型，文獻(xiàn)［19］提供的MobileNetV1 和MobileNetV2 變體模型，以適合CIFAR 數(shù)據(jù)集32×32 分辨率大小的圖片。

基本的訓(xùn)練參數(shù)設(shè)置與文獻(xiàn)［18］相同。VGG16、ResNet56 和MobileNetV2 在CIFAR10 和CIFAR100 數(shù)據(jù)集上，訓(xùn)練160 個(gè)epoch，訓(xùn)練批次和測(cè)試批次設(shè)為64，初始化學(xué)習(xí)率設(shè)為0.1，并在第80 和第120 個(gè)epoch 減少1/10，動(dòng)量設(shè)置為0.9，權(quán)值衰減設(shè)為0.000 1。在MobileNetV1 上，訓(xùn)練100個(gè)epoch，學(xué)習(xí)率初始化與VGG16、ResNet56 和MobileNetV2相同，在第50 和第75 個(gè)epoch 減少1/10。使用Cross-Entropy損失函數(shù)，利用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）學(xué)習(xí)方法。將簡(jiǎn)單的數(shù)據(jù)增強(qiáng)操作，如隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)運(yùn)用于訓(xùn)練集。為了避免參數(shù)動(dòng)蕩帶來的精度誤差，每個(gè)實(shí)驗(yàn)本文都運(yùn)行3 次，取3 次的平均值作為最終結(jié)果。為了讓HD-SE 和WD-SE 起到更好的作用，在VGG16 和MobileNetV1中，懲罰系數(shù)β，設(shè)置為0.1；在ResNet56、MobileNetV2 設(shè)置為1。

3.2 實(shí)驗(yàn)結(jié)果

1）VGG16。

將SE、CA、CBAM、ECA 和本文提出的HD-SE、WD-SE 分別嵌入VGG16 中，在上述設(shè)置下進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1和圖5 所示。在CIFAR10 上：與SE、CA 和CBAM 相比，HDSE 的測(cè)試精度提升了0.17、0.11、0.26 個(gè)百分點(diǎn)；參數(shù)量降低了0.9×106、0.18×106、0.29×106；計(jì)算量降低了0.9×106、1.07×106、0.27×106。在CIFAR100 上：與SE、CA 和CBAM 相比，WD-SE 的測(cè)試精度提升了0.77、0.63、1.53 個(gè)百分點(diǎn)；計(jì)算量降低了0.9×106、1.07×106、0.27×106；HD-SE 測(cè)試精度為73.81%，雖比WD-SE 測(cè)試精度差，但比其余模塊的測(cè)試精度好。HD-SE、WD-SE 與ECA 相比較，參數(shù)量和計(jì)算量相似，但HD-SE 和WD-SE 的測(cè)試精度比ECA 高。六種模塊的訓(xùn)練損失與測(cè)試精度如圖5 所示。

圖5 六種模塊在VGG16上訓(xùn)練損失與測(cè)試精度的比較Fig.5 Comparison of training loss and test accuracy of six modules on VGG16

表1 VGG16在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.1 Results of VGG16 on CIFAR10/100 datasets

2）ResNet56。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE 和WD-SE 模塊按照?qǐng)D4（d）嵌入ResNet56 模型中，實(shí)驗(yàn)結(jié)果如表2 和圖6 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE 相比，測(cè)試精度提升了0.09 個(gè)百分點(diǎn)；與CA、CBAM 相比，測(cè)試精度降低了0.3、0.14 個(gè)百分點(diǎn)；與SE、CA 相比，參數(shù)量降低了0.02×106；與SE、CA、CBAM 相比，計(jì)算量降低了0.01×106、0.46×106、1.18×106；WD-SE 模塊測(cè)試精度為93.84%，與HDSE 效果相近。WD-SE 模塊在CIFAR100 上的結(jié)果：與SE、CA、CBAM 相比，測(cè)試精度提升了0.27、0.31、0.28 個(gè)百分點(diǎn)；參數(shù)量降低了0.03×106、0.03×106、0.01×106；計(jì)算量與CIFAR10 下的HD-SE 相同；HD-SE 測(cè)試精度為72.39%，與WD-SE 相比，降低了0.14 個(gè)百分點(diǎn)。HD-SE 和WD-SE 增加的參數(shù)量和計(jì)算量與ECA 相比，增加了0.01×106，但在CIFAR10 上三種模塊實(shí)現(xiàn)的結(jié)果相似。在CIFAR100 上，與ECA 相比，HD-SE 和WD-SE 實(shí)現(xiàn)了更好的測(cè)試精度。訓(xùn)練損失和測(cè)試精度詳情如圖6 所示。

圖6 六種模塊在ResNet56上訓(xùn)練損失與測(cè)試精度的比較Fig.6 Comparison of training loss and test accuracy of six modules on ResNet56

表2 ResNet56在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.2 Results of ResNet56 on CIFAR10/100 datasets

3）MobileNetV1。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE、WDSE 模塊分別嵌入MobileNetV1 逐點(diǎn)卷積之后進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3 和圖7 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE、CA、CBAM 和ECA 相比，測(cè)試精度提升了0.31、0.27、0.46、0.65 個(gè)百分點(diǎn)；與SE、CA 和CBAM 相比，參數(shù)量降低了1.92×106、0.37×106、0.48×106；計(jì)算量降低了1.91×106、1.66×106、0.17×106；與ECA 相比，計(jì)算量增加了0.01×106。WD-SE 實(shí)現(xiàn)了91.92%的測(cè)試精度，比HD-SE 低，但比其余模塊高一些。在CIFAR100 上：HD-SE 和WD-SE 比其余模塊實(shí)現(xiàn)了更好的結(jié)果，其中HD-SE 的測(cè)試精度比WD-SE高0.15 個(gè)百分點(diǎn)，本文提出的HD-SE 和WD-SE 增加的參數(shù)量和計(jì)算量比SE、CA 和CBAM 都要低。訓(xùn)練損失和測(cè)試精度如圖7 所示。

圖7 六種模塊在MobileNetV1上訓(xùn)練損失與測(cè)試精度的比較Fig.7 Comparison of training loss and test accuracy of six modules on MobileNetV1

表3 MobileNetV1在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.3 Results of MobileNetV1 on CIFAR10/100 datasets

4）MobileNetV2。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE 和WD-SE 模塊分別嵌入MobileNetV2 倒殘差塊（Inverted Residuals Block）中的3×3 深度卷積之后，根據(jù)上述設(shè)置進(jìn)行的實(shí)驗(yàn)結(jié)果如表4 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE 相比，測(cè)試精度提升了0.13 個(gè)百分點(diǎn)；與CA、ECA 相比，測(cè)試精度降低了0.07 和0.18 個(gè)百分點(diǎn)；與SE 相比，參數(shù)量、計(jì)算量降低了2.25×106、2.26×106；WD-SE 的測(cè)試精度為93.43%，與SE 相似。在CIFAR100 上：HD-SE 的測(cè)試精度為75.01%，比WD-SE 降低了0.14 個(gè)百分點(diǎn)。訓(xùn)練損失和測(cè)試精度如圖8 所示。

表4 MobileNetV2在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.4 Results of MobileNetV2 on CIFAR10/100 datasets

圖8 六種模塊在MobileNetV2上訓(xùn)練損失與測(cè)試精度的比較Fig.8 Comparison of training loss and test accuracy of six modules on MobileNetV2

3.3 實(shí)驗(yàn)結(jié)果分析

從實(shí)驗(yàn)結(jié)果可看出：本文提出的HD-SE 與WD-SE 模塊能夠增強(qiáng)網(wǎng)絡(luò)模型的學(xué)習(xí)能力，提高模型應(yīng)用精度。嵌入HD-SE 與WD-SE 模塊對(duì)網(wǎng)絡(luò)增加的參數(shù)和計(jì)算量比SE、CA模塊和CBAM 要少得多，可以忽略不計(jì)。在VGG16 與MobileNetV1 中，本文設(shè)置的懲罰系數(shù)β為0.1，而在ResNet56 殘差網(wǎng)絡(luò)和MobileNetV2 中設(shè)為1。通過實(shí)驗(yàn)發(fā)現(xiàn)，β為1 時(shí)，VGG16 與MobileNetV1 在CIFAR10/100 數(shù)據(jù)上的精度比SE 與CA 模塊低，甚至還會(huì)低于基礎(chǔ)模型的精度；同樣，在殘差網(wǎng)絡(luò)ResNet56 和MobileNetV2 中，當(dāng)β為0.1 時(shí)，仍然會(huì)低于基礎(chǔ)模型的精度。VGG16 和MobileNetV1 兩個(gè)模型與ResNet56 和MobileNetV2 的不同之處，是前兩者沒有殘差連接，而后兩者有殘差連接。似乎是因?yàn)闅埐钸B接保留了原特征圖的結(jié)構(gòu)信息，而不需要懲罰系數(shù)，所以在ResNet56 和MobileNetV2 中懲罰系數(shù)設(shè)為1。在VGG16 與ResNet56 模型中，HD-SE、WD-SE 模塊會(huì)加速模型的收斂，比SE、CA、CBAM和ECA 模塊要好，如圖5～6 所示。在MobileNetV1 中，HDSE、WD-SE 使網(wǎng)絡(luò)最后的收斂損失比SE、CA、CBAM 大，但實(shí)現(xiàn)的測(cè)試精度相似，甚至更好。這是因?yàn)樵谔卣鲌D的高度維度與寬度維度進(jìn)行擠壓激勵(lì)雖能夠捕獲對(duì)模型有用的信息，但同時(shí)破壞了特征圖的正常的結(jié)構(gòu)信息，導(dǎo)致模型收斂損失較大。

HD-SE 與WD-SE 模塊在MobileNetV2 上的實(shí)驗(yàn)結(jié)果表明，與SE、CA 模塊和CBAM 相比，雖然測(cè)試精度降低了，但減少了參數(shù)量和計(jì)算量；與ECA 模塊相比，HD-SE 和WD-SE 模塊不具備優(yōu)勢(shì)，可能是因?yàn)镸obileNetV2 中的多種結(jié)構(gòu)（深度卷積、逐點(diǎn)卷積、殘差連接）在提取原圖片特征時(shí)，提高了特征圖信息的復(fù)雜性；HD-SE 與WD-SE 模塊中的轉(zhuǎn)置操作又可能會(huì)進(jìn)一步加深特征圖信息的復(fù)雜性，使其阻礙了更多有用信息的提取。所以，HD-SE 與WD-SE 模塊在MobileNetV2上的性能比ECA 模塊稍差。

實(shí)驗(yàn)結(jié)果表明：與SE、CA、CBAM 和ECA 模塊相比，本文所提HD-SE 和WD-SE 模塊在結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)模型，如VGG、ResNet 和MobileNetV1 中更具優(yōu)勢(shì)。同時(shí)可以看出，在一般的普通卷積塊的堆疊或加上殘差連接的網(wǎng)絡(luò)模型中適合使用WD-SE 模塊，在如MobileNetV1 結(jié)構(gòu)的模型中適合使用HD-SE 模塊。

4 結(jié)語

本文為了解決注意力機(jī)制模塊研究領(lǐng)域存在的問題，以DiceNet 中的逐維度卷積為理論基礎(chǔ)，借鑒擠壓激勵(lì)方法，設(shè)計(jì)了基于擠壓激勵(lì)的兩種輕量化注意力機(jī)制模塊。通過實(shí)驗(yàn)結(jié)果表明，本文提出的模塊是可行的。未來將在更多圖像視覺上進(jìn)行實(shí)驗(yàn)，進(jìn)一步優(yōu)化其結(jié)構(gòu)。