基于多重注意力機(jī)制的服裝圖像實(shí)例分割

徐瑩珩，鐘躍崎,2

(1.東華大學(xué) 紡織學(xué)院，上海 201620； 2.東華大學(xué) 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 201620)

近年來，隨著服裝設(shè)計(jì)行業(yè)的蓬勃發(fā)展，時(shí)裝圖像的視覺分析引起了越來越多的關(guān)注。 其中，服裝圖像的細(xì)粒度分割任務(wù)有助于統(tǒng)一服裝屬性的分類和細(xì)分。一方面，服裝圖像的精確細(xì)分可以更好地獲得消費(fèi)者的穿著偏好，從而更好地滿足消費(fèi)者的品味并提高時(shí)尚設(shè)計(jì)的針對(duì)性。 另一方面，消費(fèi)者可以更好地了解服裝信息以及不同服裝部件之間的聯(lián)系，增強(qiáng)購(gòu)物體驗(yàn)。

自2012年AlexNet研究[1]以來，深度學(xué)習(xí)算法得到了快速發(fā)展。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法，如隨機(jī)森林(Random Forest)、支持向量機(jī)(Support Vector Machine)和條件隨機(jī)場(chǎng)(Conditional Random Field)相比，深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks, DCNN)顯示了強(qiáng)大的特征提取和表征能力。然而，此類圖像分割方法，特別是基于全卷積網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)[2]的方法，雖然取得了很大進(jìn)展，但是由于網(wǎng)絡(luò)結(jié)構(gòu)的固定，F(xiàn)CN無法充分理解空間上下文信息，使得最終使用上采樣(Upsampling)將特征圖還原到原始圖像大小時(shí)，會(huì)導(dǎo)致像素定位不準(zhǔn)確，分割效果不佳。

為了解決該問題，本文在經(jīng)典的圖像分割網(wǎng)絡(luò)Mask-RCNN[3]的基礎(chǔ)上，添加了一種雙通路的非局部的注意力機(jī)制[4]，可用于對(duì)時(shí)裝圖像進(jìn)行細(xì)粒度的實(shí)例分割，將其稱為MA-Mask-RCNN(Multi Attention Mask-RCNN)網(wǎng)絡(luò)。

1 相關(guān)方法分析

1.1 分割網(wǎng)絡(luò)

圖像中每個(gè)像素點(diǎn)都與周圍像素有一定的關(guān)聯(lián)，大量像素間的互相聯(lián)系定義了圖像中的各種對(duì)象。上下文(context)特征就是一個(gè)像素及其周邊像素間的某種聯(lián)系。圖像的實(shí)例分割，其實(shí)質(zhì)是對(duì)圖像中每個(gè)像素點(diǎn)進(jìn)行分類。為了提高深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像的理解，提高網(wǎng)絡(luò)獲取上下文信息的能力，從而提高分割網(wǎng)絡(luò)的分割能力，前人提出了許多方法。

第1種方法是DeeplabV2[5]和DeeplabV3[6]網(wǎng)絡(luò)，包含由空洞卷積組成的空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)結(jié)構(gòu)。該結(jié)構(gòu)通過空洞卷積提高卷積核的感受野，可以獲取不同尺度下的上下文信息。而在PSPNet[7]中，使用了金字塔池化結(jié)構(gòu)(Pyramid Pooling Module，PPM)，該結(jié)構(gòu)可生成4個(gè)不同比例尺的特征圖，之后再通過上采樣和按位加法運(yùn)算，獲得包含足夠上下文信息的特征圖用于實(shí)例分割。與之類似的分割網(wǎng)絡(luò)還有很多，包括Unet[8]，RefineNet[9]，DFN[10]，SegNet[11]，Deeplabv3+[12]，SPGNet[13]等使用編碼-解碼結(jié)構(gòu)(Encoding-Decoding)來恢復(fù)圖像中的位置信息，同時(shí)保留高級(jí)語(yǔ)義特征，提升分割效果。而在GCN[14]中，則使用了圖卷積和全局池化來獲取全局上下文信息。

第2種方法是利用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network， RNN)可以捕獲長(zhǎng)距離像素之間依存關(guān)系的特征，但是這種關(guān)聯(lián)通常受到RNN的長(zhǎng)期存儲(chǔ)能力的限制，通常會(huì)消耗大量時(shí)間和算力。

1.2 注意力機(jī)制

注意力機(jī)制(attention mechanism)廣泛用于機(jī)器翻譯，場(chǎng)景識(shí)別和語(yǔ)義分割中。非局部注意力機(jī)制(non-local attention mechanism)將自我注意力(self-attention)機(jī)制作為子模塊添加到機(jī)器視覺任務(wù)中，以進(jìn)行視頻分類，目標(biāo)檢測(cè)和實(shí)例分割。CCNet[15]、DANet[16]和HMANet[17]分別改進(jìn)了非局部注意力機(jī)制，并設(shè)計(jì)了單通道、雙通道和三通道的不同注意力模塊，將其用于航空影像的全景分割。其中，CCNet提出了Criss-Cross模塊，解決了注意力機(jī)制中參數(shù)量過大的問題。通過2個(gè)串行Criss-Cross模塊組成循環(huán)十字串行注意力模塊(Recurrent Criss-Cross Attention， RCCA)，可獲取全圖的空間上下文信息。DANet使用了通道注意力模塊和位置注意力模塊并行的結(jié)構(gòu)，可以學(xué)習(xí)到多種上下文信息。HMANet構(gòu)造了一個(gè)復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)。將類別的增強(qiáng)注意力模塊(Class Augmented Attention，CAA)和區(qū)域改組注意力模塊(Region Shuffle Attention，RSA)并行連接后，與輸入的原始特征圖組合起來，構(gòu)成了混合多重注意力模塊，從而實(shí)現(xiàn)多種上下文信息的融合。

注意力機(jī)制可以提升神經(jīng)網(wǎng)絡(luò)對(duì)圖像的理解能力，有利于提取圖像中的深度特征，提升服裝圖像細(xì)微部分的分割能力。但是目前的注意力機(jī)制更多的關(guān)注于如衛(wèi)星云圖、地形地勢(shì)圖等大型場(chǎng)景，對(duì)于服裝圖像而言，尚沒有一種合適的網(wǎng)絡(luò)可用于細(xì)粒度的分割。

2 網(wǎng)絡(luò)設(shè)計(jì)

為了解決目前分割在服裝細(xì)微部件上分割精度低的問題，本文在經(jīng)典的圖像分割網(wǎng)絡(luò)Mask-RCNN[13]的基礎(chǔ)上，添加了一種雙通路的非局部的注意力機(jī)制[14]，可用于對(duì)時(shí)裝圖像進(jìn)行細(xì)粒度的實(shí)例分割，將其稱為MA-Mask-RCNN(Multi Attention Mask-RCNN)網(wǎng)絡(luò)。

首先將服裝圖像輸入MA-Mask-RCNN，再通過骨干網(wǎng)絡(luò)進(jìn)行特征提取，之后通過多重注意力機(jī)制，訓(xùn)練神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)上下文信息，接著將所得特征圖發(fā)送到區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)中生成候選框，最后在原始圖像的基礎(chǔ)上進(jìn)行實(shí)例分割。換言之，MA-Mask-RCNN分3個(gè)階段完成圖像的細(xì)粒度實(shí)例分割：

①將原始圖像輸入到特征提取骨干網(wǎng)絡(luò)ResNet中進(jìn)行特征提取，得到特征圖X。

②將所提取的特征圖發(fā)送到通道注意力和位置注意力2個(gè)網(wǎng)絡(luò)分支中獲取包含上下文信息的特征圖，對(duì)該特征圖中的像素按位相加，可獲得具有上下文信息的特征圖X′。同時(shí)，另一支路通過特征Mask-RCNN自帶的金字塔模塊(Feature Pyramid Networks，F(xiàn)PN)，之后將2個(gè)支路得到的特征圖按像素相加，得到包含多重上下文信息的注意力特征圖X″。

③將得到的特征圖X″輸入Mask-RCNN網(wǎng)絡(luò)的頭部即可完成分類、回歸和掩碼操作。

3 MA-Mask-RCNN網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

參考非局部注意力機(jī)制設(shè)計(jì)了一個(gè)細(xì)粒度的實(shí)例分割網(wǎng)絡(luò)MA-Mask-RCNN，如圖1所示。并行結(jié)構(gòu)的注意力模塊由上層位置注意力模塊(Position Attention Module，PAM)和下層通道注意力模塊(Channel Attention Module，CAM)構(gòu)成。其中，PAM模塊旨在從特征圖中的提取基于類的相關(guān)性，而CAM模塊則通過類通道的加權(quán)來改善特征重建的過程，以獲得更好的上下文表達(dá)。特別地，在PAM模塊中用CCNet中的Criss-Cross Attention模塊代替了傳統(tǒng)的非局部注意力模塊，從而減少網(wǎng)絡(luò)參數(shù)的數(shù)量，降低計(jì)算復(fù)雜性，同時(shí)從同一通道的不同位置中學(xué)習(xí)全局上下文信息。

圖1 MA-Mask-RCNN的結(jié)構(gòu)

如圖1所示，經(jīng)過骨干網(wǎng)絡(luò)提取的特征圖X，輸入PAM和CAM模塊，分別得到包含位置、通道上下文信息的特征圖D，并將其接位相加得到X′，同時(shí)將特征圖X輸入FPN模塊中構(gòu)成完整的多重注意力模塊(Multiple Attention Module)，并將這2個(gè)部分的輸出按位相加，以獲得充分學(xué)習(xí)了上下文信息的特征圖X″，然后將該特征圖送入RPN模塊得到目標(biāo)框的位置，最后輸入FCN和CNN以輸出最終的分割圖。

3.2 骨干網(wǎng)絡(luò)

本文選擇ResNet101[18]作為特征提取的骨干網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以通過殘差連接結(jié)構(gòu)提取大量有效特征，在具體實(shí)現(xiàn)時(shí)，還需為ResNet增加空洞卷積以提高卷積核的感受野。同時(shí)，作為特征提取器，刪除了最后的全連接層。輸出特征圖X，其尺寸為原始圖像的1/8。將X通過1×1卷積層后，送入雙分支注意力模塊。

3.3 雙分支注意力模塊

非局部注意力旨在給出空間某處的像素與空間中其余像素之間的聯(lián)系：

(1)

式中：x為輸入的任意位置像素點(diǎn)，y是輸出，i表示當(dāng)前位置的響應(yīng)，j表示全局響應(yīng)。xi是一個(gè)向量，其維度與x的通道數(shù)一致，而函數(shù)f(xi,xj)則是用于計(jì)算xi與xj之間的相似關(guān)系。函數(shù)g(xj)=Wgxj為一元映射，其中Wg是需要神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的權(quán)重矩陣，可以通過1×1的卷積實(shí)現(xiàn)，而式(1)中的C(x)則是歸一化函數(shù)。

從式(1)可以看出，為了計(jì)算輸出層的一個(gè)像素點(diǎn)，需要將輸入圖像的每個(gè)像素點(diǎn)都加以考慮。f(xi,xj)可選擇使用高斯函數(shù)、嵌入式高斯函數(shù)、向量點(diǎn)積和串聯(lián)函數(shù)等形式。在具體實(shí)現(xiàn)時(shí)，本文選擇使用高斯函數(shù)來計(jì)算xi與xj之間的相似性：

f(xi,xj)=exiΤxj

(2)

3.3.1 通道注意力模塊(CAM)

通道注意力模塊的結(jié)構(gòu)如圖2所示，輸入為特征圖X。

圖2 通道注意力模塊的結(jié)構(gòu)

對(duì)輸入CAM的特征圖X∈C×H×W，通過變形(reshape)和轉(zhuǎn)置，分別生成新的特征圖A∈C×N和AΤ∈N×C，其中N=H×W，然后將A和AΤ經(jīng)過乘法(?)運(yùn)算為新的特征張量，送入Softmax層得到通道注意力特征圖B∈C×C:

(3)

式中：Bij表示第i個(gè)通道對(duì)第j個(gè)通道的影響。為了將其還原至與X相同的維度，將B與X做矩陣乘法，并將其維度變形為C×H×W，最后再與X按位相加，得到D∈C×H×W：

(4)

式中：Xi和Xj分別為第i和第j個(gè)通道的特征圖，β是一個(gè)可學(xué)習(xí)的參數(shù)(初始值為0)。由式(4)可知，每個(gè)通道的最終的特征是所有通道的特征與原始特征的加權(quán)和，這確定了不同通道特征圖(Xi和Xj)之間的長(zhǎng)距離相關(guān)性，有助于區(qū)別不同類別的特征。

3.3.2 位置注意力模塊(PAM)

區(qū)分不同特征的重點(diǎn)是對(duì)場(chǎng)景的理解，捕獲更多上下文信息尤為重要。然而，在傳統(tǒng)的FCN中，當(dāng)特征被提取和分類時(shí)，一些局部特征會(huì)導(dǎo)致錯(cuò)誤的分類，從而影響分割效果。

PAM旨在利用整個(gè)圖像中任意2個(gè)點(diǎn)之間的關(guān)聯(lián)來增強(qiáng)其各自特征的表達(dá)，并利用非局部注意力模塊使圖像中的任一像素與圖像中的其他像素建立遠(yuǎn)程依賴關(guān)系。這使得網(wǎng)絡(luò)不僅可以學(xué)習(xí)局部特征，還可以捕獲全局空間上下文信息。PAM的結(jié)構(gòu)如圖3所示。由骨架網(wǎng)絡(luò)輸出的特征圖X，再通過3個(gè)1×1的卷積之后，輸出Q∈C′×H×W,K∈C′×H×W，V∈C×H×W，其中C′

圖3 位置注意力模塊的結(jié)構(gòu)

給定Q上任意位置的像素u，可以得到向量Qu∈C′，由于Q與K均定義在H×W的區(qū)域上，因此在K中可以得到與u同一行或同一列的特征向量Ku∈(H+W-1)×C′。其中，特征向量Ku中的第i個(gè)元素為Ki,u∈C′，由此定義Affinity操作如下：

(5)

bi,u∈B建立了圖3中十字區(qū)域內(nèi)像素間的聯(lián)系，其中i=[1,2,…,H+W-1]。

同理，對(duì)于V中任意位置的像素u，可以得到向量Vu∈C，以及V中與像素u位置同一行或同一列的特征向量φu∈(H+W-1)×C，與B做矩陣乘法運(yùn)算，并將維度變形到C×H×W，再與X按位相加，最終輸出D∈C×H×W：

(6)

式中：Du是D∈C×H×W在u處的特征向量，Bi,u是在特征圖B上i通道u處的標(biāo)量。

經(jīng)過一次PAM后，可學(xué)習(xí)到十字區(qū)域的上下文信息。而為了學(xué)習(xí)到全圖的上下文信息，還需要再做一次PAM。這種設(shè)計(jì)在學(xué)習(xí)全圖的上下文信息的同時(shí)，減少了網(wǎng)絡(luò)的參數(shù)，減輕了算力的負(fù)擔(dān)。

3.3.3 特征融合

為了充分利用長(zhǎng)距離上下文信息，將CAM和PAM獲得的特征圖逐像素相加，以完成特征融合，得到特征圖X′。為了將輸出的X′與FPN提取的多尺度特征圖P融合，對(duì)X′進(jìn)行下采樣操作，得到不同尺度的X′。如圖4所示，從FPN提取的多尺度特征圖P和注意力模塊輸出的特征圖X′執(zhí)行按位相加運(yùn)算，得到特征圖X″。

圖4 FPN網(wǎng)絡(luò)與注意力模塊特征融合

如圖4所示，將X″發(fā)送到感興趣區(qū)域?qū)ζ?Regions of Interest，ROI Align)以生成感興趣區(qū)域，然后將其分為2支，分別發(fā)送到FCN以獲取掩碼(Mask)以及用于分類和回歸的CNN中，從而完成分割，分類和回歸。

4 實(shí)驗(yàn)部分

4.1 數(shù)據(jù)集

實(shí)驗(yàn)中使用的是Kaggle競(jìng)賽中的Imaterialist-fashion(2019)[19]數(shù)據(jù)集，其中的數(shù)據(jù)來自于日常生活、名人活動(dòng)和在線購(gòu)物場(chǎng)景，共計(jì)50 000張服裝圖像，包含46種服裝類別，其中每件服裝至多包含19個(gè)服裝部件(如衣領(lǐng)，袖口，口袋等)。為訓(xùn)練和驗(yàn)證MA-Mask-RCNN的性能，將其中40 000張用于訓(xùn)練集，10 000張用于測(cè)試集。

4.2 測(cè)試指標(biāo)

鑒于每張圖像都包含多個(gè)重疊的類別目標(biāo)，因此除了評(píng)估模型的預(yù)測(cè)框和掩碼，還必須評(píng)估分類效果，故使用掩碼的mAP(平均精度)值來評(píng)估MA-Mask-RCNN網(wǎng)絡(luò)對(duì)服裝圖像的細(xì)分能力。

4.3 實(shí)驗(yàn)細(xì)節(jié)

本文所有實(shí)驗(yàn)均在一臺(tái)搭載Intel i7 8700f，3.7 GHz CPU，8 G內(nèi)存，和一塊顯存為12 G的NVIDIA GeForce RTX 2080ti顯卡的PC機(jī)上進(jìn)行，并使用PyTorch深度學(xué)習(xí)框架驗(yàn)證算法的性能和計(jì)算效率。

訓(xùn)練時(shí)，使用在mmdetection框架下發(fā)布的預(yù)訓(xùn)練權(quán)重。為了防止過擬合，采用學(xué)習(xí)率衰減的方法，將初始學(xué)習(xí)率設(shè)置為0.002 5，并在完成第8次和第11個(gè)輪次(epoch)后，將此時(shí)學(xué)習(xí)率乘以0.8進(jìn)行衰減。優(yōu)化器采用動(dòng)量梯度下降法(動(dòng)量為0.9，將權(quán)重衰減系數(shù)為0.000 1)。同時(shí)，使用Inplace-ABNsync[20]代替ResNet網(wǎng)絡(luò)中的Batch Norm層，以節(jié)省內(nèi)存并避免在訓(xùn)練或驗(yàn)證數(shù)據(jù)時(shí)出現(xiàn)梯度爆炸。每5個(gè)輪次執(zhí)行一次驗(yàn)證集驗(yàn)證，總共訓(xùn)練12個(gè)輪次。在完成訓(xùn)練之后，在測(cè)試集上測(cè)試網(wǎng)絡(luò)的相關(guān)性能表現(xiàn)。

使用MS-RCNN[21]和Hybird Cascade Mask RCNN(HTC)[22]作為對(duì)照，并選擇Mask-RCNN作為基線網(wǎng)絡(luò)。

4.4 Imaterialist數(shù)據(jù)集上的實(shí)驗(yàn)

4.4.1 對(duì)照實(shí)驗(yàn)

本文提出的MA-Mask-RCNN消融實(shí)驗(yàn)結(jié)果如表1所示。

表1 在驗(yàn)證集上的消融實(shí)驗(yàn)

由表1可以看出，僅添加位置注意模塊，Mask RCNN的性能已有一定程度的提高，其mAP增加了約2%。僅添加通道注意力模塊時(shí)，其可以將Mask RCNN的mAP提高0.8%。與Mask RCNN相比，已取得了進(jìn)步。此外，將2個(gè)注意力模塊整合在一起后，網(wǎng)絡(luò)性能將進(jìn)一步提高2.2%。此外，實(shí)驗(yàn)還比較了基于Mask RCNN的其他改進(jìn)網(wǎng)絡(luò)的分割性能。表2比較了Mask RCNN，MS-RCNN和HTC的分割效果?？梢钥吹?，添加注意力機(jī)制后，mAP增加了2.2%，這與MSR-CNN分割性能相近。暗示級(jí)聯(lián)結(jié)構(gòu)的網(wǎng)絡(luò)性能可能比直接串行連接的網(wǎng)絡(luò)更好，原因可能在于直接串行連接時(shí)，該注意力范圍所指示的區(qū)域，并不利于類別信息的提取。

表2 與現(xiàn)有方法的對(duì)照實(shí)驗(yàn)

由表2可以清楚地看到，添加注意力模塊后，MA-Mask-RCNN網(wǎng)絡(luò)與基線網(wǎng)絡(luò)相比，APm的結(jié)果增加了2%，與MS-RCNN的分割能力相似。此外， HTC網(wǎng)絡(luò)獲得了最高的APm，這表明選擇骨干網(wǎng)絡(luò)和網(wǎng)絡(luò)的級(jí)聯(lián)結(jié)構(gòu)確實(shí)可以增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力和分割能力。

4.4.2 實(shí)驗(yàn)可視化

圖5～9展示了MA-Mask-RCNN和基線網(wǎng)絡(luò)之間所進(jìn)行的定性比較。圖中(a)～(c)分別為原始圖像、基線網(wǎng)絡(luò)分割結(jié)果和本文提出的MA-Mask-RCNN實(shí)例分割的結(jié)果，并使用紅色的虛線框來標(biāo)記難以分類的衣服邊緣，如衣服的邊緣或袖口等位置。

圖5 服裝衣領(lǐng)細(xì)粒度分割效果對(duì)比

圖6 服裝輪廓細(xì)粒度分割效果對(duì)比

圖7 細(xì)小服裝部件細(xì)粒度分割效果對(duì)比1

圖8 細(xì)小服裝部件細(xì)粒度分割效果對(duì)比2

圖9 服裝邊緣細(xì)粒度分割效果對(duì)比

很顯然，紅色矩形框選中了衣領(lǐng)、褶皺、帽子、鞋子等難以分割的細(xì)微服裝部件。本文提出的MA-Mask-RCNN網(wǎng)絡(luò)完美地還原了細(xì)分的細(xì)節(jié)，而基線網(wǎng)絡(luò)在細(xì)分某些細(xì)微零件時(shí)存在很大缺陷。這說明MA-Mask-RCNN可以更準(zhǔn)確地預(yù)測(cè)分割圖，獲取更精細(xì)的邊界信息并保持對(duì)象連續(xù)性，證明了學(xué)習(xí)上下文信息有助于服裝邊緣的分割。

5 結(jié)論與展望

針對(duì)服裝圖像的密集預(yù)測(cè)和實(shí)例分割的任務(wù)，本文提出了一種新穎的基于注意力的框架，即多重注意Mask-RCNN(MA-Mask-RCNN)，該框架可以從空間和通道的尺度捕獲全局的上下文信息。實(shí)驗(yàn)結(jié)果表明，基于MA-Mask-RCNN的模型在服裝分割任務(wù)中取得了良好的效果，并優(yōu)于目前使用最多的Mask-RCNN網(wǎng)絡(luò)。

未來還可針對(duì)以下2點(diǎn)進(jìn)行優(yōu)化：①對(duì)于改進(jìn)的MA-Mask-RCNN，可以借鑒MS-RCNN，對(duì)Mask分支添加評(píng)分機(jī)制，分別獲得Mask的得分，以提高網(wǎng)絡(luò)掩碼的訓(xùn)練效果，加速收斂并獲得更好的分割效果。②可以使用級(jí)聯(lián)連接代替直接連接，網(wǎng)絡(luò)的分割效果可能會(huì)提升。