基于組注意力卷積和特征重建的輕量分割算法

胡國(guó)清，譚海亮，戈明亮

(華南理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，廣東 廣州 510641)

0 引 言

由于圖像分割[1]任務(wù)不僅僅需要進(jìn)行像素分類(lèi)，還需要對(duì)圖像進(jìn)行重建恢復(fù)，因此算法需要同時(shí)獲得低層次和高層次的語(yǔ)義特征。導(dǎo)致網(wǎng)絡(luò)模型需要更多的通道記憶圖像中的各層次特征，網(wǎng)絡(luò)模型愈發(fā)趨于復(fù)雜龐大，實(shí)現(xiàn)高效提取對(duì)于分割有效的語(yǔ)義特征成為一個(gè)研究熱點(diǎn)。

全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network,FCN)的提出實(shí)現(xiàn)了端到端的語(yǔ)義分割，成為后續(xù)語(yǔ)義分割工作的范本[2]。為了解決FCN中存在的全局上下文信息缺失的問(wèn)題，Chen等[3]提出了空洞卷積并構(gòu)建了Deeplab系列算法，通過(guò)擴(kuò)大感受野提高算法能夠獲取特征信息能力,將空洞卷積與空間金字塔結(jié)合的模塊(atrousspatial pyramid pooling,ASPP),從而實(shí)現(xiàn)了獲取不同空間維度的特征信息，對(duì)不同尺度的類(lèi)別對(duì)象均具有良好的分割能力。Badrinarayanan等[4]提出的SegNet采用編碼器-解碼器的結(jié)構(gòu)形式，由編碼器實(shí)現(xiàn)對(duì)圖像語(yǔ)義特征的提取，解碼器完成圖像復(fù)原及分類(lèi)。以此延伸的U-net、PSPNet等通過(guò)跳躍連接和金字塔等方式將多空間尺度的特征進(jìn)行融合[5]，從而對(duì)底層細(xì)節(jié)特征和高層抽象特征都具有感知能力，對(duì)于圖像邊緣信息分割效果有了較大提高。

目前的語(yǔ)義分割研究大多著眼于對(duì)準(zhǔn)確性的提升，而圖像分割的準(zhǔn)精度提升接近瓶頸，些微精度的提升代價(jià)相當(dāng)高昂，為此本文關(guān)注于圖像分割的精度和算法復(fù)雜性的平衡性，提出冗余特征重建和組注意力卷積模塊來(lái)實(shí)現(xiàn)特征高效提取，并構(gòu)建了一種精簡(jiǎn)的語(yǔ)義分割網(wǎng)絡(luò)。

1 相關(guān)工作

近年來(lái)針對(duì)模型精簡(jiǎn)的研究受到越來(lái)越多的關(guān)注，相關(guān)工作主要分為模型壓縮、模型設(shè)計(jì)及知識(shí)精餾等技術(shù)。

1.1 模型壓縮技術(shù)

模型壓縮的目標(biāo)是對(duì)于一個(gè)預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，通過(guò)修剪或量化等手段優(yōu)化模型來(lái)降低其計(jì)算量和模型參數(shù)量，Wang等[6]通過(guò)將神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的權(quán)重值較小的連接視為冗余連接，將其修剪來(lái)減少網(wǎng)絡(luò)中參數(shù)。He等[7]發(fā)現(xiàn)在實(shí)際模型推理中將對(duì)模型中貢獻(xiàn)較小的通道進(jìn)行修剪更有利于網(wǎng)絡(luò)加速。Jacob等[8]提出將神經(jīng)網(wǎng)絡(luò)中的權(quán)重使用離散值進(jìn)行量化，以此減少網(wǎng)絡(luò)的浮點(diǎn)計(jì)算。此后網(wǎng)絡(luò)量化被進(jìn)一步推進(jìn)，使用一個(gè)比特位來(lái)表達(dá)網(wǎng)絡(luò)權(quán)重[9]，這極大提高了網(wǎng)絡(luò)的計(jì)算效率。知識(shí)蒸餾技術(shù)使用一種訓(xùn)練良好的復(fù)雜網(wǎng)絡(luò)來(lái)指導(dǎo)一個(gè)小型網(wǎng)絡(luò)的學(xué)習(xí)[10]。通過(guò)對(duì)模型壓縮的方法雖然能夠極大降低網(wǎng)絡(luò)模型的參數(shù)量，進(jìn)而加速網(wǎng)絡(luò)推理，但是由于需要進(jìn)行網(wǎng)路預(yù)訓(xùn)練，并通過(guò)網(wǎng)絡(luò)修剪進(jìn)行微調(diào)，網(wǎng)絡(luò)學(xué)習(xí)能力通常會(huì)受到預(yù)訓(xùn)練模型的性能的限制。

1.2 緊湊模型設(shè)計(jì)

近年來(lái)緊湊的網(wǎng)絡(luò)模型設(shè)計(jì)受到越來(lái)越多的學(xué)者重視，早期Inception[11]結(jié)構(gòu)通過(guò)將傳統(tǒng)稠密網(wǎng)絡(luò)轉(zhuǎn)變?yōu)橄∈杈W(wǎng)絡(luò)，增加了網(wǎng)絡(luò)深度和寬度的同時(shí)減少了網(wǎng)絡(luò)參數(shù)的數(shù)量，性能遠(yuǎn)超經(jīng)典網(wǎng)絡(luò)AlexNet和VGGNet,由此發(fā)展而來(lái)的Xception[12]通過(guò)深度可分卷積替換普通卷積來(lái)提升網(wǎng)絡(luò)參數(shù)的利用效率。MobileNet[13]研究了深度可分卷積操作中兩個(gè)超參數(shù)對(duì)效率提升的影響，并提出了一種線(xiàn)性網(wǎng)絡(luò)結(jié)構(gòu)。MobileNetsV2[14]提出反向殘差塊結(jié)構(gòu)改善網(wǎng)絡(luò)效率。Forrest等[15]通過(guò)1*1卷積替換3*3卷積核延遲下采樣等策略構(gòu)建了SqueezeNet,并驗(yàn)證了策略和網(wǎng)絡(luò)效率提升的有效性。Tan等[16]系統(tǒng)性研究了卷積核大小對(duì)網(wǎng)絡(luò)準(zhǔn)確性和效率的影響，創(chuàng)新性提出的混合卷積MixConv模塊。AlexNet中最早由于模型訓(xùn)練中顯卡內(nèi)存限制，提出了組卷積概念，由于組卷積分隔了各通道分組之間的信息流通，為此Zhang等[17]提出分組混合方法來(lái)加強(qiáng)組卷積中分組中的信息交互，并提出了ShuffleNet。由此可以看出通過(guò)緊湊網(wǎng)絡(luò)模型設(shè)計(jì)能夠大幅節(jié)省計(jì)算和內(nèi)存開(kāi)銷(xiāo)。

2 本文方法

由于模型壓縮技術(shù)在準(zhǔn)確性的限制和訓(xùn)練繁瑣，越來(lái)越多的研究著眼于設(shè)計(jì)緊湊型網(wǎng)絡(luò)模型，本小節(jié)將會(huì)深入描述本文提出的冗余特征重建模塊和組注意力卷積模塊的工作原理，并構(gòu)建一種輕量化卷積神經(jīng)網(wǎng)絡(luò)。

2.1 冗余特征重建模塊RFR

深度卷積神經(jīng)網(wǎng)絡(luò)由于含有大量參數(shù)，能夠擬合各種模型并提供一定冗余性防止過(guò)擬合問(wèn)題，但是網(wǎng)絡(luò)結(jié)構(gòu)中各個(gè)層的冗余特征并不同等重要，低層次的特征通常包含大量干擾信息，因此耗費(fèi)大量參數(shù)生成低層冗余特征的回報(bào)并不總是收到合理的回報(bào)，為此本文提出對(duì)低層級(jí)網(wǎng)絡(luò)結(jié)構(gòu)中的冗余特征進(jìn)行重建生成。MobileNet及Xception等雖然已經(jīng)通過(guò)簡(jiǎn)化網(wǎng)絡(luò)來(lái)降低冗余特征提取但卻降低了網(wǎng)絡(luò)中間層的泛化能力，本文并不尋求將冗余特征丟棄，而是通過(guò)較小的計(jì)算代價(jià)生成冗余特征來(lái)維持網(wǎng)絡(luò)泛化能力和計(jì)算量的平衡。

對(duì)于給定輸入X∈Rc×h×w, 其中c是特征通道數(shù)，h和w為輸入數(shù)據(jù)的高和寬，二維卷積操作可表示為

Y=X*f+b

(1)

其中，*表示卷積運(yùn)算符，b為偏置項(xiàng)，輸出數(shù)據(jù)Y∈Rh′×w′×n， 卷積運(yùn)算f∈Rc×k×k×n， 由于卷積神經(jīng)網(wǎng)絡(luò)中存在過(guò)參數(shù)化問(wèn)題,卷積層中參數(shù)可通過(guò)網(wǎng)絡(luò)中一部分參數(shù)子集來(lái)進(jìn)行估計(jì)[18]，對(duì)于卷積操作可通過(guò)奇異值分解方式進(jìn)行近似。

給定二維權(quán)重W∈Rm×k, 其矩陣SVD分解W=USVT,U∈Rm×m,S∈Rm×k,V∈Rk×k，S為對(duì)角矩陣，V、U為正交矩陣，可以通過(guò)保留矩陣S中前t維度的分量來(lái)達(dá)到數(shù)據(jù)降維的目的，從而有W′=U′S′V′T,U′∈Rm×t,S′∈Rt×t,V′∈Rk×t， 則有

(2)

其中，I為單位矩陣，誤差估計(jì)由對(duì)角矩陣的衰減限制，因此存在一種分解方式使得分解的誤差估計(jì)足夠小，通過(guò)SVD估計(jì)原算法計(jì)算復(fù)雜度可由O(nmk) 降至O(nmt+nt2+ntk)， 對(duì)于張量WS∈Rm×n×k可通過(guò)逐維度進(jìn)行近似，通過(guò)尋求分解來(lái)最小化誤差估計(jì)

(3)

其中，α∈Rm,β∈Rn,γ∈Rk, ?表示外積運(yùn)算。

誤差估計(jì)δ可以通過(guò)優(yōu)化方法來(lái)實(shí)現(xiàn)對(duì)原算法的逼近并降低計(jì)算量[19]，本文通過(guò)使用計(jì)算成本較小的線(xiàn)性計(jì)算生成冗余數(shù)據(jù)來(lái)逼近誤差δ，實(shí)際實(shí)現(xiàn)中的分解參數(shù)由深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)。

對(duì)于卷積操作，其分解模式中前t維特征是對(duì)模型推理影響較大的特征，稱(chēng)為固有特征，而其余特征為影響較小的冗余特征，由于輸出特征圖中存在許多冗余特征，冗余特征之間相似度較高，因此可借助現(xiàn)存的固有特征生成。其原理如圖1所示。

圖1 RFR模塊

圖1中符號(hào)*表示卷積操作，?表示concat操作，Lk表示第k個(gè)線(xiàn)性運(yùn)算符，固有特征通過(guò)普通卷積提取，通常來(lái)說(shuō)使用的參數(shù)量更少，而冗余特征則通過(guò)線(xiàn)性操作生成，這便是冗余特征重建模塊RFR。對(duì)于固有特征

Y′=X*f′

(4)

f′∈Rc×k×k×m為固有特征提取的濾波器，其中m≤n， 關(guān)系式中偏置項(xiàng)為簡(jiǎn)單起見(jiàn)已經(jīng)省略，對(duì)于冗余特征則通過(guò)線(xiàn)性運(yùn)算生成

Yij=Li,j(Y′i),j=1,2,…s, ?i=1,2,…m

(5)

Yij為固有特征Y′中第i通道特征分量Y′i生成的第j個(gè)特征，線(xiàn)性運(yùn)算符Li,j表示第i個(gè)固有特征生成其第j個(gè)冗余特征的運(yùn)算符。線(xiàn)性操作可使用卷積操作完成，其卷積核大小為k′×k′， 固有特征卷積核大小為k×k， 則通過(guò)RFR對(duì)算法的效率提升有

(6)

k和k′具有相同數(shù)量級(jí)，依據(jù)Tan等[16]的研究建議，本文采用大小為3*3的卷積核。

2.2 組注意力卷積模塊GAC

神經(jīng)網(wǎng)絡(luò)訓(xùn)練中由于數(shù)據(jù)量過(guò)大，機(jī)器的顯存不足以一次性加載大批次數(shù)據(jù)，為此AlexNet提出了組卷積的概念，SqueezeNet通過(guò)組卷積將現(xiàn)有網(wǎng)絡(luò)從4.8 M壓縮至0.47 M，而網(wǎng)絡(luò)性能表現(xiàn)并沒(méi)有降低，表明了深度卷積是極度稀疏的，而標(biāo)準(zhǔn)卷積是稠密卷積操作，因此本文通過(guò)組卷積來(lái)壓縮模型參數(shù)。由于組卷積將各個(gè)分組之間的數(shù)據(jù)分隔，分組間的信息流通受到限制，ShuffleNet通過(guò)分組混合的方法來(lái)融合各個(gè)分組的信息。注意到ShuffleNet中各個(gè)分組之間通過(guò)均勻混合的方式融合各通道特征，然而卷積操作的感受野僅僅在這個(gè)局部，各個(gè)分組之間簡(jiǎn)單的混合也無(wú)法恰當(dāng)共享多個(gè)通道之間的上下文信息，為此本文將注意力機(jī)制引入組卷積中。

注意力機(jī)制可以視為將計(jì)算資源分配給包含信息更豐富的部分的方法[20],這種機(jī)制已經(jīng)在許多序列化學(xué)習(xí)和圖像理解任務(wù)中得到應(yīng)用。本文提出的GAC模塊通過(guò)注意力機(jī)制將各個(gè)通道分組中更為重要部分賦予更大權(quán)重再混合，增強(qiáng)組卷積對(duì)重要特征的學(xué)習(xí)能力，弱化噪聲的影響。

為了改善組卷積中各通道分組的獨(dú)立性，強(qiáng)調(diào)特征映射中特定語(yǔ)義特征，通過(guò)全局平均池化提取全局上下文信息，通過(guò)Fs q壓縮全局特征信息為一個(gè)單獨(dú)通道來(lái)衡量各個(gè)通道之間的特征模式，對(duì)于輸入數(shù)據(jù)X第c通道數(shù)據(jù)Xc，F(xiàn)s q壓縮操作中輸出特征T第c通道數(shù)據(jù)Tc有

(7)

其中，h、w分別為特征圖的高和寬。

Fs q壓縮各通道特征之后，再通過(guò)Fex操作獲取全局權(quán)重信息，其中全連接層捕獲各通道之間的依賴(lài)關(guān)系，依據(jù)MobileNet的建議，避免在此處采用ReLU造成信息丟失，而直接在其后通過(guò)softmax層提供非線(xiàn)性特征聯(lián)系

(8)

其中，C為特征的通道數(shù)，W為全連接操作，W∈RC×C,zc為輸出特征圖Y第c通道的激活值。最后一個(gè)操作是對(duì)數(shù)據(jù)進(jìn)行逐通道數(shù)乘

Yc=zcXc

(9)

其中，Yc為輸出特征Y的第c通道數(shù)據(jù)。

GAC模塊的原理如圖2所示,圖中Fg表示組卷積，F(xiàn)s表示Shuffle操作，⊙表示逐通道數(shù)乘。

圖2 GAC模塊

模塊通過(guò)全局平均池化來(lái)獲取通道的特征信息，并借由全連接操作關(guān)聯(lián)各通道，轉(zhuǎn)換為通道的權(quán)重，從而對(duì)特定通道施加更多的關(guān)注，而不再是獨(dú)立平等地處理各個(gè)通道的局部信息。該模塊也可以通過(guò)更為復(fù)雜的策略實(shí)現(xiàn)自注意力機(jī)制，本文為了限制該機(jī)制對(duì)模型計(jì)算帶來(lái)的負(fù)擔(dān)，采取了相對(duì)簡(jiǎn)單可行的注意力方案。

2.3 構(gòu)建語(yǔ)義分割網(wǎng)絡(luò)

為了驗(yàn)證RFR和GAC模塊的有效性，基于輕量級(jí)分割網(wǎng)絡(luò)ESPNet[21]進(jìn)行對(duì)比實(shí)驗(yàn)，并借鑒經(jīng)典網(wǎng)絡(luò)ESPNet的思想，結(jié)合所提出的RFR模塊和GAC模塊構(gòu)建一種精簡(jiǎn)語(yǔ)義分割網(wǎng)絡(luò)，其結(jié)構(gòu)如圖3所示，其中β和γ為網(wǎng)絡(luò)模型超參數(shù)。

圖3 本文語(yǔ)義分割網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)主要分為編碼器和解碼器兩部分，其中編碼器通過(guò)卷積和下采樣等操作提取圖像在各個(gè)空間尺度的語(yǔ)義特征，解碼器通過(guò)卷積和上采樣將圖像逐步恢復(fù)至原始圖像大小，并進(jìn)行像素級(jí)分類(lèi)，解碼器和編碼器之間通過(guò)跳躍連接融合底層特征和高層語(yǔ)義特征，對(duì)于分割任務(wù)具有重要意義。在編碼器部分通過(guò)RFR模塊可以快捷地以較小代價(jià)提取所需要的底層語(yǔ)義特征，在底層特征中存在大量的噪聲，對(duì)分割任務(wù)的貢獻(xiàn)不盡相同，RFR模塊保留了更為重要的固有特征并生成廉價(jià)的冗余特征，有助于后續(xù)模塊的學(xué)習(xí)泛化。在解碼器階段，U型網(wǎng)絡(luò)通過(guò)將跳躍連接將底層特征和高層特征拼接，這造成了特征通道大幅增加，對(duì)網(wǎng)絡(luò)訓(xùn)練和推理造成很大的計(jì)算負(fù)擔(dān)，GAC模塊通過(guò)組卷積手段既保留了跳躍連接帶來(lái)的上下文信息，又減少了模型的計(jì)算量，同時(shí)借助混合操作和自注意力機(jī)制加強(qiáng)各個(gè)獨(dú)立通道之間的聯(lián)系，將計(jì)算資源較好地關(guān)注于更為重要的特征上。

網(wǎng)絡(luò)中由GAC模塊完成下采樣操作，通過(guò)反卷積DConv實(shí)現(xiàn)上采樣，而普通卷積Conv和RFR模塊不改變特征圖分辨率,其中ESP模塊為ESPNet中所提模塊，如圖4所示，圖中虛線(xiàn)框部分為本文實(shí)驗(yàn)替換模式。

圖4 ESPNet中ESP模塊

3 實(shí) 驗(yàn)

為驗(yàn)證本文提出模塊和算法的有效性，本文在Cityscapes[22]數(shù)據(jù)集上進(jìn)行實(shí)際訓(xùn)練和測(cè)試，該數(shù)據(jù)集是目前流行的城市場(chǎng)景語(yǔ)義理解數(shù)據(jù)集，包括5000張高質(zhì)量被精確標(biāo)注的城市場(chǎng)景圖像，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包括29 755 001 525張圖像，并分為19類(lèi)場(chǎng)景。

3.1 網(wǎng)絡(luò)訓(xùn)練

實(shí)驗(yàn)采用平均交并比(mean intersection over union,mIOU)作為評(píng)價(jià)指標(biāo)，計(jì)算的是數(shù)據(jù)中所有類(lèi)別的交集和并集的平均值，其值越大表示分割效果越好

(10)

其中，j為預(yù)測(cè)值，i為真實(shí)值，即pij表示將標(biāo)簽為i的樣本預(yù)測(cè)為j。

本文使用語(yǔ)義分割任務(wù)中常用的損失函數(shù)是SoftmaxCrossEntroy

(11)

3.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提出模塊的有效性，以輕量化語(yǔ)義分割網(wǎng)絡(luò)ESPNet為baseline，①以RFR模塊替換ESPNet中空洞卷積部分，實(shí)驗(yàn)分組記為ESPNet+RFR，②在ESP模塊中替換1×1卷積，實(shí)驗(yàn)分組記為ESPNet+GAC,其實(shí)驗(yàn)數(shù)據(jù)對(duì)比見(jiàn)表1。ESPNet網(wǎng)絡(luò)中ESP模塊如圖4所示，表2對(duì)比了現(xiàn)有方法的參數(shù)量和網(wǎng)絡(luò)大小及相應(yīng)的在Cityscapes上的分割準(zhǔn)確性信息，其中FCN分割準(zhǔn)確率較高，但相應(yīng)的計(jì)算代價(jià)也最高，而ENet[23]則在網(wǎng)絡(luò)規(guī)模上更為精簡(jiǎn)，ESPNet融合RFR模塊之后分割準(zhǔn)確率提高了1.3%，而融合GAC模塊之后準(zhǔn)確率提升了0.6%。Ours網(wǎng)絡(luò)參數(shù)量相較于FCN降低了80倍，而分割效果與FCN基本持平。對(duì)比于輕量級(jí)網(wǎng)絡(luò)ENet和ESPNet，本文方法同樣以較低的計(jì)算代價(jià)，而分割效果較ENet提升了5.4%,較ESPNet提高了3.4%，而參數(shù)量維持在同一數(shù)量級(jí)水平，表明了所提出網(wǎng)絡(luò)在計(jì)算代價(jià)和分割性能上取得了良好的平衡。圖5給出了算法性能的對(duì)比。

表1 模塊分割實(shí)驗(yàn)數(shù)據(jù)對(duì)比

表2 算法在Cityscapes上分割效果mIOU效果對(duì)比

圖5 算法分割性能對(duì)比

圖6所示是網(wǎng)絡(luò)在Cityscapes上測(cè)試集部分樣本的分割示例，其中圖6(a)為輸入樣本圖像，圖6(b)為分割圖像的Ground Truth,圖6(c)為本文方法(其中網(wǎng)絡(luò)結(jié)構(gòu)超參數(shù)β=3，γ=9)可以看出圖像中對(duì)象邊緣較為清晰，僅有部分細(xì)小的對(duì)象邊緣分割效果欠佳。

表3詳細(xì)給出了算法在Cityscapes測(cè)試集上的各類(lèi)別的分割平均交并比的對(duì)比情況。

我們將RFR模塊的輸入輸出特征圖進(jìn)行了可視化處理，如圖7所示，其中圖7(a)為模型輸入樣本圖像，圖7(b)為網(wǎng)絡(luò)模型第一級(jí)RFR模塊的輸出特征圖，其中上半部分為RFR提取的固有特征，而下半部分為RFR通過(guò)線(xiàn)性算子生成的冗余特征，可見(jiàn)生成的冗余特征相比原先的固有特征具有足夠的區(qū)分度，說(shuō)明提取的固有特征能較好完成高層次的語(yǔ)義信息提取，而通過(guò)廉價(jià)的線(xiàn)性算子生成的冗余特征也足夠豐富以幫助后續(xù)環(huán)節(jié)的推理。

圖6 網(wǎng)絡(luò)在cityscapes上的分割示例

表3 算法在Cityscapes數(shù)據(jù)集per-class分割性能表現(xiàn)

圖7 RFR模塊輸入輸出特征

為了分析注意力機(jī)制對(duì)組卷積的貢獻(xiàn)，我們從數(shù)據(jù)集中各城市數(shù)據(jù)中選取了若干個(gè)樣本并統(tǒng)計(jì)GAC模塊中各通道激活值的分布情況，各城市樣本的平均激活值和通道的分布關(guān)系如圖8所示。從圖中可以看出對(duì)于不同城市街景，GAC模塊的各通道激活值分布基本一致，而不同通道的激活值則表現(xiàn)出較大差異，這表明對(duì)于網(wǎng)絡(luò)而言，GAC模塊中組卷積各個(gè)通道所學(xué)習(xí)的通道重要性并不平等，而不同城市場(chǎng)景激活值分布相近是由于淺層的GAC模塊提取高層次語(yǔ)義信息不足，淺層圖像色彩、紋理等特征相近，因此提取的淺層特征對(duì)不同場(chǎng)景是共享的。GAC通過(guò)注意力機(jī)制實(shí)現(xiàn)了對(duì)組卷積的各個(gè)通道特征的調(diào)整，提高了網(wǎng)絡(luò)的學(xué)習(xí)效率。

圖8 GAC模塊各通道激活值分布

4 結(jié)束語(yǔ)

為了減少語(yǔ)義分割任務(wù)中神經(jīng)網(wǎng)絡(luò)的計(jì)算量和推理耗時(shí)，本文提出了冗余特征重建模塊和組注意力卷積模塊，以此通過(guò)較少的參數(shù)量來(lái)更高效提取重要特征。RFR模塊通過(guò)將一個(gè)卷積操作分解為提取固有特征和生成冗余特征兩個(gè)步驟，減少了參數(shù)量并保留冗余特征來(lái)幫助后續(xù)操作的泛化學(xué)習(xí)，GAC通過(guò)組卷積來(lái)減少普通卷積操作的參數(shù)量，并引入混合和注意力機(jī)制來(lái)改善組卷積的分組間的信息流動(dòng)性問(wèn)題。基于所提出的模塊構(gòu)建了一種語(yǔ)義分割網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明所提出模塊對(duì)改善網(wǎng)絡(luò)學(xué)習(xí)能力和減輕計(jì)算負(fù)擔(dān)具有積極作用，所提出的網(wǎng)絡(luò)在分割準(zhǔn)確性和計(jì)算代價(jià)方面取得了良好的平衡。