基于上下文注意力機(jī)制的實(shí)時(shí)語(yǔ)義分割

于潤(rùn)潤(rùn)，姜曉燕，朱凱贏，蔣光好

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620)

為提高神經(jīng)網(wǎng)絡(luò)的分割質(zhì)量，現(xiàn)有語(yǔ)義分割研究方法[1]使用了較深的卷積網(wǎng)絡(luò)和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，雖然取得了更高精度，但也增加了網(wǎng)絡(luò)的參數(shù)數(shù)量。大部分語(yǔ)義分割算法需要耗費(fèi)大量計(jì)算和顯存資源，限制了該技術(shù)在移動(dòng)設(shè)備上的應(yīng)用。因此，實(shí)時(shí)語(yǔ)義分割概念被提出，并成為了分割算法的重要研究方向。針對(duì)網(wǎng)絡(luò)參數(shù)量大和推理速度慢的問題，目前的解決方法有兩種：(1)輕量化特征提取層結(jié)構(gòu)；(2)多分支結(jié)構(gòu)。兩種結(jié)構(gòu)從減少網(wǎng)絡(luò)卷積參數(shù)和解耦網(wǎng)絡(luò)任務(wù)兩個(gè)角度來達(dá)到實(shí)時(shí)預(yù)測(cè)的目的。CAP (Context Aware Pruning for Semantic Segmentation)[2]網(wǎng)絡(luò)通過模型剪枝，對(duì)網(wǎng)絡(luò)特征通道數(shù)目進(jìn)行輕量化處理，提升了網(wǎng)絡(luò)預(yù)測(cè)速度，但該方法精度較低。ICNet(ICNet for Real-time Semantic Segmentation on High Resolution Images)[3]設(shè)計(jì)了三分支網(wǎng)絡(luò)，輸入圖像以低、中、高3種分辨率輸入到不同深度的網(wǎng)絡(luò)中，經(jīng)過多層次信息融合獲得最終特征信息，在實(shí)時(shí)的前提下，獲得了較高的分割精度?；贗CNet[3]網(wǎng)絡(luò)，本文提出了更加輕量的雙分支級(jí)聯(lián)網(wǎng)絡(luò)來解耦語(yǔ)義分割任務(wù)，獲得了更快的網(wǎng)絡(luò)推理速度。

實(shí)時(shí)分割網(wǎng)絡(luò)由于其網(wǎng)絡(luò)的輕量性，導(dǎo)致特征抽象能力較弱，缺少上下文信息。語(yǔ)義分割是像素級(jí)分類任務(wù)，同類物體像素點(diǎn)預(yù)測(cè)相對(duì)獨(dú)立，特征上下文信息缺失將導(dǎo)致分割結(jié)果類內(nèi)一致性較差。如圖1(a)[4]所示，由于像素點(diǎn)的預(yù)測(cè)過程互相獨(dú)立，特征缺少上下文信息，導(dǎo)致牛身體的一部分被預(yù)測(cè)成為了馬。同類物體處于圖像中的不同位置，因此特征表征不同，網(wǎng)絡(luò)需要上下文信息，以便向同類物體的所有像素分配同類標(biāo)簽。特征缺少上下文信息還會(huì)導(dǎo)致類間不可區(qū)分性。不同類別的物體在圖像中具有相似的顏色和紋理信息，網(wǎng)絡(luò)提取的特征表征相似，網(wǎng)絡(luò)需要利用上下文信息，加強(qiáng)兩種類別之間的區(qū)分能力。如圖1(b)[4]所示，電腦機(jī)箱和電腦顯示器兩個(gè)類別具有相似的顏色和紋理信息，機(jī)箱中的部分像素點(diǎn)被誤分類成為顯示器。為了解決這個(gè)問題，DFN(Discriminative Feature Network)[5]網(wǎng)絡(luò)從一個(gè)更加宏觀的角度重新思考語(yǔ)義分割，將一致的語(yǔ)義標(biāo)簽分配給一類物體而不是每個(gè)單一像素。該方法采用Smooth Network抓取不同尺度的語(yǔ)境信息，并通過全局平均池化抓取全局語(yǔ)境，學(xué)習(xí)一個(gè)魯棒特征表征。Border Network負(fù)責(zé)區(qū)分外觀相似但標(biāo)簽不同的相鄰圖像塊，明確地使用語(yǔ)義邊界指導(dǎo)特征的學(xué)習(xí)，并在訓(xùn)練時(shí)增加了語(yǔ)義邊界監(jiān)督，增大了類間差距。但是該方法的網(wǎng)絡(luò)參數(shù)量較大，因此不適用于實(shí)時(shí)語(yǔ)義分割。

(a)

針對(duì)類內(nèi)不一致和類間不可區(qū)分的問題，本文設(shè)計(jì)了兩種輕量級(jí)的注意力機(jī)制來解決實(shí)時(shí)語(yǔ)義分割任務(wù)中特征缺少上下文信息的問題。為加強(qiáng)分割結(jié)果的類內(nèi)一致性，本文通過輕量級(jí)的通道注意力機(jī)制，在通道層面進(jìn)行全局上下文信息的加強(qiáng)，使得同類別的像素點(diǎn)特征向量最大響應(yīng)都處于同一層，即加強(qiáng)通道上特征凝聚程度。為加強(qiáng)特征可區(qū)分性，本文通過使用輕量級(jí)的空間注意力模型，加強(qiáng)空間特征點(diǎn)之間上下文信息的流動(dòng)，增強(qiáng)了同類別特征響應(yīng)，減弱了其它類別的特征響應(yīng)，從而加強(qiáng)了不同類別之間的特征區(qū)分能力。

本文設(shè)計(jì)了一種輕量自適應(yīng)通道注意力機(jī)制和空間注意力機(jī)制，加強(qiáng)了實(shí)時(shí)語(yǔ)義分割結(jié)果的類內(nèi)一致性和實(shí)時(shí)語(yǔ)義分割結(jié)果的類間可區(qū)分性。為了使網(wǎng)絡(luò)輕量化，本文設(shè)計(jì)了雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)，采用高級(jí)特征分支獲取抽象的語(yǔ)義信息，通過低級(jí)特征分支獲取豐富的空間細(xì)節(jié)信息。將雙分支特征融合后，可以用較低的計(jì)算量獲得良好的分割結(jié)果。最后，本文在語(yǔ)義分割數(shù)據(jù)集CamVid和Cityscapes上進(jìn)行了大量實(shí)驗(yàn)以證明本文提出方法的有效性。

1 注意力模型

近年來，基于注意力模型[6]的分割網(wǎng)絡(luò)取得了較大的研究進(jìn)展。注意力機(jī)制源于人類視覺研究。人類大腦每時(shí)每刻都在接收海量的數(shù)據(jù)信息，大腦選擇性地關(guān)注部分信息，忽略其它冗余信息。在語(yǔ)義分割領(lǐng)域，最典型的注意力機(jī)制為文獻(xiàn)[7]提出的雙注意力網(wǎng)絡(luò)模型DANet(Dual Attention Network)。雙注意力網(wǎng)絡(luò)包含通道注意力和空間注意力兩個(gè)模型，兩者并行來處理輸入特征，通過融合通道空間信息增強(qiáng)的特征，可獲得較精確的分割結(jié)果?？臻g注意力模塊(Position Attention Module)進(jìn)行所有位置特征點(diǎn)的互相關(guān)聯(lián)，選擇性地聚合加權(quán)不同位置的特征。特征圖A(C×H×W)經(jīng)過3個(gè)卷積操作，獲得3個(gè)特征圖B、C、D，進(jìn)而重組(reshape)為C×N，其中N=H×W，C為特征通道數(shù)。注意力圖計(jì)算式為

S=Softmax (BT×C)

(1)

式中，S表示特征中任意兩點(diǎn)之間的依賴關(guān)系矩陣。

空間注意力模塊特征計(jì)算式為

F=Reshape(α×D×BT)

(2)

式中，重組后大小為C×H×W；α為尺度因子，是可學(xué)習(xí)的參數(shù)，訓(xùn)練時(shí)被初始化為0。將依賴關(guān)系圖加權(quán)到每個(gè)特征點(diǎn)進(jìn)行空間注意力關(guān)系加強(qiáng)。

DANet[7]的通道注意力模塊(Channel Attention Module)負(fù)責(zé)進(jìn)行所有通道信息整合，選擇性地強(qiáng)調(diào)互相依賴的通道映射關(guān)系。將特征圖A(C×H×W)進(jìn)行重組和轉(zhuǎn)置操作后得到特征G(C×N)和K(N×C)，其中N=H×W。將兩個(gè)特征圖相乘獲得注意力圖計(jì)算式

X=Softmax(G×K)

(3)

式中，X表示特征中任意兩個(gè)通道之間的依賴關(guān)系矩陣。通道注意力模塊特征計(jì)算式如下

X=Reshape(β×XT×A′)+A

(4)

式中，重組后大小為C×H×W；β為尺度因子，是可學(xué)習(xí)的參數(shù)，訓(xùn)練時(shí)初始化為0；A′為A重組結(jié)果，大小為C×N。

以DANet[7]為代表的注意力機(jī)制取得了良好的分割效果，但其需要計(jì)算像素點(diǎn)之間的關(guān)系矩陣，計(jì)算量較大，無法在實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)使用。文獻(xiàn)[8]提出了SENet(Squeeze-and-Excitation Network)，其輕量通道注意力模塊通過全局平均池化獲取每個(gè)通道的特征響應(yīng)，進(jìn)而獲取全局感受野。其計(jì)算式為

(5)

式中，u(i，j)為輸入特征；H、W為特征的高和寬。使用兩個(gè)全連接層來增加非線性，調(diào)整通道層面的權(quán)重，通道特征注意力計(jì)算式為

S=Sigmoid(Fex(ReLU(Fex(U)))

(6)

式中，F(xiàn)ex(·)為全連接操作；Sigmoid(·)獲得[0，1]區(qū)間的權(quán)重結(jié)果。在通道層面增強(qiáng)特征之間的互相依賴關(guān)系，可獲得更精確的分割結(jié)果。

2 提出的網(wǎng)絡(luò)模型

2.1 輕量級(jí)自適應(yīng)通道注意力模塊

實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)中，特征缺少上下文信息，導(dǎo)致預(yù)測(cè)結(jié)果中類內(nèi)存在一致性較差的問題，因此本文基于SENet[8]中的輕量通道注意力網(wǎng)絡(luò)，提出了一種輕量的自適應(yīng)通道注意力模塊，結(jié)構(gòu)如圖2所示。

圖2 自適應(yīng)通道注意力結(jié)構(gòu)圖

將輸入特征A(C×H×W)送入全局平均池化(Global Average Pooling，GAP)和全局最大池化(Global Max Pooling，GMP)用以獲取全局特征信息。全局平均池化用于獲取特征全局分布，每個(gè)全局平均池化的結(jié)果都具有特征全局感受野。全局最大池化用于獲取每個(gè)特征通道上最大的特征響應(yīng)。將上述兩個(gè)特征信息向量拼接(Concate)在一起，形成特征在通道上的表征信號(hào)。本文利用深度分離卷積學(xué)習(xí)特征通道信息之間的依賴關(guān)系，依據(jù)文獻(xiàn)[9]，在深度分離卷積中的通道卷積部分，設(shè)計(jì)了自適應(yīng)卷積核大小的一維卷積核，通道卷積的參數(shù)k決定原始特征提取出的通道特征的相互交互關(guān)系，k越大，交互的范圍越大。將注意力機(jī)制安插在網(wǎng)絡(luò)的不同位置時(shí)，輸入特征的通道數(shù)是不同的。k應(yīng)該和輸入特征通道數(shù)C有關(guān)，即k=δ(C)。依據(jù)傳統(tǒng)算法中高斯核函數(shù)被應(yīng)用于處理未知的映射關(guān)系，將k和C之間關(guān)系定義為

(7)

式中，γ、b為超參數(shù)，分別設(shè)置為2和1；|t|odd表示最接近t的奇數(shù)，主要原因是通道數(shù)C通常被設(shè)置為2的整數(shù)次冪，一維卷積核共享參數(shù)。

通道表征信號(hào)經(jīng)過自適應(yīng)的通道卷積和標(biāo)準(zhǔn)點(diǎn)卷積特征融合后可獲得C×1×1特征；經(jīng)過Sigmoid(·)獲得[0，1]區(qū)間的注意力圖。該權(quán)重作用在輸入特征上，在通道層面增強(qiáng)特征之間的互相依賴關(guān)系，并增強(qiáng)了特征在通道層面的上下文關(guān)系。

2.2 輕量級(jí)空間注意力模塊

為了在空間層面加強(qiáng)特征的上下文聯(lián)系，增強(qiáng)特征在空間域特征點(diǎn)的互相依賴關(guān)系，獲得實(shí)時(shí)語(yǔ)義分割結(jié)果中更好的類間可區(qū)分性，本文設(shè)計(jì)了輕量的空間注意力模塊，結(jié)構(gòu)圖如圖3所示。

圖3 空間注意力結(jié)構(gòu)圖

圖中輸入特征A(C×H×W)在每個(gè)特征點(diǎn)通道上使用GAP和GMP，所獲得的特征經(jīng)過拼接操作得到2×H×W的特征B，即輸入特征的空間關(guān)系表征。為使特征信息在空間域進(jìn)行特征交互，需使用較大的卷積核。為了減少計(jì)算量，本文使用分組卷積，獲得了特征C，即特征點(diǎn)上下文依賴關(guān)系的特征。分組卷積使用沿著x和y方向的一維卷積核，維度為k×1和1×k。本文將k×k的卷積核進(jìn)行拆分，從而減少了參數(shù)數(shù)量。特征C經(jīng)過Sigmoid(·)獲得[0，1]區(qū)間的空間注意力權(quán)重結(jié)果， 使用分組卷積，卷積核大小為7。注意力圖和輸入特征相乘后，即可獲得空間上下文信息加強(qiáng)的特征信息。

2.3 雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)

文獻(xiàn)[2]中，三分支級(jí)聯(lián)結(jié)構(gòu)過度分解了分割任務(wù)，中分辨率分支雖然增加了網(wǎng)絡(luò)的參數(shù)量，但不能有效提升網(wǎng)絡(luò)結(jié)果?；诖?，本文設(shè)計(jì)了一種雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖

本文級(jí)聯(lián)網(wǎng)絡(luò)為兩個(gè)分支：低分辨率分支和高分辨分支。低分辨率分支輸入圖片為原圖的1/4，雖然空間細(xì)節(jié)缺失，但是經(jīng)過網(wǎng)絡(luò)特征映射后可以獲得較好的高級(jí)語(yǔ)義信息。低分辨率分支網(wǎng)絡(luò)為PSPNet(Pyramid Scene Parsing Network)[10]，在網(wǎng)絡(luò)最高層特征輸出添加輕量的自適應(yīng)通道注意力，增加了高層語(yǔ)義信息的上下文信息，提高了分割結(jié)果的類內(nèi)一致性。高分辨率路徑輸入圖片為原圖，下采樣網(wǎng)絡(luò)是3個(gè)簡(jiǎn)單的卷積層和池化層的堆疊，最大程度上保留了圖像的空間細(xì)節(jié)信息。下采樣網(wǎng)絡(luò)最高層特征使用文獻(xiàn)[3]中的特征融合模塊 (Cascade Feature Fusion，CFF)，通過融合低分辨率分支的特征圖，使特征圖中包含高級(jí)語(yǔ)義信息和空間細(xì)節(jié)信息。與此同時(shí)，連接輕量的空間注意力模塊，增強(qiáng)空間域中特征點(diǎn)上下文信息，促進(jìn)了信息流動(dòng)，提高了分割結(jié)果中的類間可區(qū)分性。本文在低分辨率分支和高分辨率分支使用交叉熵?fù)p失函數(shù)來監(jiān)督學(xué)習(xí)。

3 實(shí)驗(yàn)驗(yàn)證

3.1 標(biāo)準(zhǔn)數(shù)據(jù)集

CamVid[11]數(shù)據(jù)集是自動(dòng)駕駛領(lǐng)域常用數(shù)據(jù)集，由車載攝像頭拍攝的視頻構(gòu)成，圖片分辨率為720×960，共標(biāo)注了11個(gè)語(yǔ)義類別，將全部標(biāo)注好的圖片分為376張訓(xùn)練集、101張驗(yàn)證集和233張測(cè)試集。針對(duì)CamVid數(shù)據(jù)集中存在的類別不平衡的問題，本文為每個(gè)語(yǔ)義類別分配一個(gè)權(quán)重

(8)

式中，r為超參數(shù)，實(shí)驗(yàn)中設(shè)置為1.02；c1表示類別信息；Pcl表示c1類出現(xiàn)的概率。為擴(kuò)增數(shù)據(jù)集的數(shù)據(jù)量，將數(shù)據(jù)集中所有圖片進(jìn)行圖像縮小操作。

Cityscapes[12]數(shù)據(jù)集是高分辨率的街景數(shù)據(jù)集，圖片分辨率為1 024×2 048，共標(biāo)注了19個(gè)語(yǔ)義類別。數(shù)據(jù)集分為精細(xì)標(biāo)注和粗糙標(biāo)注兩部分：第1部分為5 000張精準(zhǔn)標(biāo)注的圖片，其中2 975張圖片為訓(xùn)練集，500張圖片為驗(yàn)證集，1 525張圖片為測(cè)試集；第2部分為19 998張粗糙標(biāo)注的圖片，可以用來擴(kuò)充訓(xùn)練集。數(shù)據(jù)集涵蓋了50個(gè)城市不同場(chǎng)景、不同天氣下的圖片，是一個(gè)多變的街景數(shù)據(jù)集。本文實(shí)驗(yàn)不使用Cityscapes數(shù)據(jù)集中粗糙標(biāo)注的訓(xùn)練集。

3.2 評(píng)價(jià)指標(biāo)

本文對(duì)數(shù)據(jù)集測(cè)試結(jié)果使用平均交并比mIoU(Mean of Inetersection over Union)，即所有類別的交并比(IoU)結(jié)果的平均值來對(duì)結(jié)果進(jìn)行評(píng)價(jià)。平均交并比為圖像語(yǔ)義分割中重要的評(píng)價(jià)指標(biāo)，其計(jì)算式為

(9)

式中，數(shù)據(jù)集共K個(gè)類；Rii表示正確預(yù)測(cè)的像素?cái)?shù)量；Rij表示i類被預(yù)測(cè)成為j類的錯(cuò)誤像素個(gè)數(shù)；Rji表示表示j類被預(yù)測(cè)成為i類的錯(cuò)誤像素個(gè)數(shù)。mIoU范圍為[0，1]，值越大代表分割出的結(jié)果越準(zhǔn)確。

3.3 實(shí)驗(yàn)評(píng)估

3.3.1 實(shí)驗(yàn)設(shè)置

本文訓(xùn)練過程中，使用Adam優(yōu)化器，設(shè)置CamVid和Cityscapes數(shù)據(jù)集的初始學(xué)習(xí)率為0.001，batch size分別為4和2。在訓(xùn)練過程中，學(xué)習(xí)率按照poly策略進(jìn)行動(dòng)態(tài)設(shè)置

(10)

式中，lr表示學(xué)習(xí)率；lr_init表示初始學(xué)習(xí)率；iter表示當(dāng)前迭代次數(shù)；iter_max表示最大迭代次數(shù)；power為0.9。模型在CamVid和Cityscapes數(shù)據(jù)集上總共迭代訓(xùn)練180次和200次。所有實(shí)驗(yàn)均在GPU為GTX 1080Ti且操作系統(tǒng)為Ubuntu18.04的機(jī)器上運(yùn)行。

3.3.2 CamVid數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

本文在來源于CamVid數(shù)據(jù)集的測(cè)試集上將本文方法與主流分割算法進(jìn)行了對(duì)比，結(jié)果如表1所示。相較于基線ICNet[2]，本文方法的mIoU和FPS(Frames Per Second)分別提升了1.1%和0.8。雖然本文方法的精度低于PSPNet50[10]，但運(yùn)行速度提升了5.3倍。本文特征提取網(wǎng)絡(luò)為ResNet50，而DFANet(Deep Feature Aggregation Network)[15]使用輕量型的骨干網(wǎng)絡(luò)，因此DFANet的預(yù)測(cè)時(shí)間更短。圖5為本文方法在CamVid數(shù)據(jù)集上的分割結(jié)果圖，其中Image為輸入圖像，GT(Ground Truth)為圖像分割真值圖。該結(jié)果表明本文提出的輕量通道和空間注意力模塊獲得了更精確的分割結(jié)果。

表1 在CamVid數(shù)據(jù)集上的結(jié)果

3.3.3 Cityscapes數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

本文方法與當(dāng)前分割算法在Cityscapes數(shù)據(jù)集的測(cè)試集上的實(shí)驗(yàn)結(jié)果比較如表2所示，其中DR表示是否使用了粗糙標(biāo)注的圖像。本文方法的性能在Cityscapes數(shù)據(jù)集上的提升比較大，與基線網(wǎng)絡(luò)ICNet[3]相比，本文方法的mIOU提升了2.0%，驗(yàn)證了其有效性。雖然FRRN(Full-Resolution Residual Networks)[13]的精度高于本算法精度，但在預(yù)測(cè)時(shí)間上，本文算法比其快了14.6倍。本文方法與其它算法的精度和實(shí)時(shí)性對(duì)比圖如圖6所示。

表2 在Cityscapes數(shù)據(jù)集上的結(jié)果

圖6 實(shí)時(shí)性和精度對(duì)比可視化圖

可視化的分割結(jié)果如圖7所示，其中Image為輸入圖像，GT為圖像分割真值圖。基于上下文注意力機(jī)制的方法能夠有效分割圖像中的物體，分割結(jié)果圖中類內(nèi)不一致和類間不可分情況出現(xiàn)較少，證明了所提出的輕量自適應(yīng)通道注意力模塊可有效加強(qiáng)高層語(yǔ)義特征在通道層面的上下文信息，并增強(qiáng)特征的類內(nèi)一致性，也驗(yàn)證了本文提出的輕量空間注意力機(jī)制可增強(qiáng)高分辨率通道在空間層面的上下文信息，促進(jìn)特征信息在相鄰特征點(diǎn)上的流動(dòng)，減少類間不可分的情況。從結(jié)果中可知，本文方法精度略高于DFANet A[15]、Fast-SCNN(Fast Semantic Segmentation Network)[16]和GAS (Graph- guided Architecture Search Network)[18]，且預(yù)測(cè)時(shí)間大幅下降。

圖7 Cityscapes數(shù)據(jù)集分割結(jié)果圖

3.3.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的輕量級(jí)自適應(yīng)通道注意力模塊和輕量級(jí)空間注意力模塊的有效性，在Cityscapes數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)分組為：(1)不使用輕量級(jí)自適應(yīng)通道注意力模塊LACAM (Lightweight Adaptive Channel Attention Module)和輕量級(jí)空間注意力模塊LSAM(Lightweight Spatial Attention Module)且只使用雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)(DCFE-Net)；(2)使用輕量級(jí)自適應(yīng)通道注意力模塊(DCFE-Net + LACAM)；(3)使用輕量級(jí)空間注意力模塊(DCFE-Net + LSAM)；(4)輕量級(jí)自適應(yīng)通道注意力模塊和輕量級(jí)空間注意力聯(lián)合使用(DCFE-Net + LACAM + LSAM)。實(shí)驗(yàn)結(jié)果如表3所示，圖8展示了分割結(jié)果對(duì)比圖，其中GT為圖像分割真值圖。

圖8 消融實(shí)驗(yàn)結(jié)果圖

表3 在Cityscapes數(shù)據(jù)集上的對(duì)比結(jié)果

4 結(jié)束語(yǔ)

本文提出了一種上下文信息增強(qiáng)的實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)，在更加輕量化實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)的前提下解決了分割結(jié)果中出現(xiàn)類內(nèi)不一致和類間不可分問題。本文利用雙路徑級(jí)聯(lián)特征提取網(wǎng)絡(luò)，解耦語(yǔ)義分割任務(wù)分為低分辨率分支和高分辨率分支，網(wǎng)絡(luò)可以實(shí)時(shí)預(yù)測(cè)。利用深度分離卷積對(duì)通道層面特征依賴關(guān)系建模，自適應(yīng)通道卷積核大小，調(diào)整各通道特征響應(yīng)值，強(qiáng)化高層特征上下文表征能力，加強(qiáng)實(shí)時(shí)語(yǔ)義分割結(jié)果類內(nèi)一致性。此外，本文還利用分組卷積，以較小的計(jì)算量獲得了較大的特征信息流動(dòng)區(qū)域，在空間層面加強(qiáng)特征上下文聯(lián)系，增強(qiáng)了特征空間細(xì)節(jié)信息，加強(qiáng)了實(shí)時(shí)語(yǔ)義分割結(jié)果類別間可區(qū)分性。實(shí)驗(yàn)驗(yàn)證結(jié)果表明，本文所提出方法在權(quán)威數(shù)據(jù)集CamVid和Cityscapes上取得了較好的性能。