雙層殘差語義分割網(wǎng)絡(luò)及交通場(chǎng)景應(yīng)用

譚?？?，趙志誠，謝新林

（太原科技大學(xué) 電子信息工程學(xué)院，山西 太原 030024）

近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，計(jì)算機(jī)視覺領(lǐng)域取得顯著的成就。越來越多的交通場(chǎng)景需要精確且高效的分割技術(shù)，實(shí)現(xiàn)交通場(chǎng)景的圖像語義分割成為廣大人員研究的問題之一。交通場(chǎng)景的圖像語義分割，是對(duì)交通場(chǎng)景圖像底層的像素進(jìn)行相應(yīng)類別的分類，為自動(dòng)駕駛中的車輛控制、路徑規(guī)劃等問題提供一個(gè)高效的解決方法。常見的圖像分割算法有。傳統(tǒng)方法的圖像分割和深度學(xué)習(xí)的圖像語義分割。傳統(tǒng)的圖像分割算法主要有閾值分割法、邊緣檢測(cè)法、交互式圖像分割法等。閾值分割法主要是根據(jù)圖像中像素的顏色或灰度值對(duì)不同的分割目標(biāo)來設(shè)定不同的閾值，根據(jù)不同的閾值對(duì)每個(gè)像素點(diǎn)進(jìn)行分類[1]。在交通應(yīng)用場(chǎng)景中，當(dāng)圖像像素的灰度值接近甚至重疊時(shí)，該方法很難得到準(zhǔn)確的分割結(jié)果。

邊緣檢測(cè)法通過檢測(cè)確定區(qū)域的邊界，再根據(jù)邊界把圖像分割成不同的區(qū)域[2]。該分割算法具有一定的局限性，適合分割邊緣的灰度值變化較大且噪聲比較小的圖像。交互式圖像分割法，是一種基于圖劃分的方法，該算法針對(duì)大量復(fù)雜交通場(chǎng)景的圖像分割存在一定的難度[3-4]。

將深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)引入交通場(chǎng)景的圖像語義分割領(lǐng)域中成為發(fā)展的潮流，通用的深度神經(jīng)網(wǎng)絡(luò)主要有：文獻(xiàn)[5]提出的AlexNet 網(wǎng)絡(luò)；文獻(xiàn)[6]提出的卷積神經(jīng)網(wǎng)絡(luò)模型（visual geometry group,VGG）網(wǎng)絡(luò)；文獻(xiàn)[7]提出的卷積網(wǎng)絡(luò)模型（GoogLeNet）網(wǎng)絡(luò)；由微軟實(shí)驗(yàn)室提出的Resnet網(wǎng)絡(luò)，該網(wǎng)絡(luò)由一系列的殘差網(wǎng)絡(luò)堆疊而成，可以在增加其網(wǎng)絡(luò)深度的同時(shí)有效地解決梯度消失與梯度爆炸等問題[8]。

文獻(xiàn)[9] 利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）對(duì)使用類別定位過濾器對(duì)圖像粗略地分割，對(duì)小目標(biāo)的分割精度很低。文獻(xiàn)[10]提出了全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional Network,FCN），該網(wǎng)絡(luò)利用卷積層代替CNN 的全連接層，進(jìn)行上采樣操作恢復(fù)輸入圖像的分辨率，并在PASCAL VOC2012[11]以及室內(nèi)環(huán)境語義分割數(shù)據(jù)集NYUDv2[12]進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)FCN對(duì)于小目標(biāo)邊緣細(xì)節(jié)的分割模糊甚至識(shí)別錯(cuò)誤。文獻(xiàn)[13]提出的U-net 網(wǎng)絡(luò)，通過跳躍連接融合兩路徑的特征信息，實(shí)現(xiàn)圖像語義分割，但由于該網(wǎng)絡(luò)未充分考慮各像素與像素之間的關(guān)聯(lián)，缺乏語義特征的空間一致性。

基于此，本文提出一種基于雙層殘差網(wǎng)絡(luò)的圖像語義分割網(wǎng)絡(luò)（dresnet network,DResnet）。首先利用雙層殘差網(wǎng)絡(luò)對(duì)圖像進(jìn)行更加全面的特征提取，獲得更多高分辨率的細(xì)節(jié)信息，并將輸出的不同尺度的特征圖進(jìn)行融合作為上采樣網(wǎng)絡(luò)的輸入；其次通過深層跳躍連接將高層信息與底層特征融合，充分利用底層的細(xì)節(jié)特征；最后將DResnet 網(wǎng)絡(luò)應(yīng)用到交通場(chǎng)景中，采用網(wǎng)絡(luò)分支訓(xùn)練方法對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練以及測(cè)試。根據(jù)交通數(shù)據(jù)集CamVid 和Cityscapes 的實(shí)驗(yàn)結(jié)果表明，本文提出的DResnet 網(wǎng)絡(luò)對(duì)分割小目標(biāo)物體具有一定的優(yōu)勢(shì)。

1 DResNet 語義分割網(wǎng)絡(luò)

圖像語義分割的任務(wù)主要包括準(zhǔn)確地分類、精確地分割物體的邊緣輪廓兩方面，F(xiàn)CN 能夠在一定程度上對(duì)圖像各物體分類以及預(yù)測(cè)出物體的邊緣輪廓，但對(duì)于邊緣細(xì)節(jié)的分割，準(zhǔn)確度很低，這是因?yàn)镕CN 中的池化操作，在增大感受野的同時(shí)使圖像損失了部分邊緣細(xì)節(jié)信息。

為此，本文提出了DResnet，具體結(jié)構(gòu)如圖1所示。DResnet 由雙層殘差網(wǎng)絡(luò)特征提取、跳躍特征融合網(wǎng)絡(luò)組成。利用雙層殘差網(wǎng)絡(luò)對(duì)訓(xùn)練集圖像進(jìn)行雙層特征提取，并將每一層輸出特征圖進(jìn)行相應(yīng)位置融合，輸出融合特征圖X1～X5；在跳躍特征融合網(wǎng)絡(luò)中，首先將最高層（第5 層）的融合特征圖進(jìn)行2 倍反卷積操作，從第4 層到第1 層，依次將融合特征圖與其高一層的反卷積操作結(jié)果相加融合得到特征圖W1～W4，然后對(duì)其進(jìn)行2 倍反卷積操作，從而添加更多的跳躍連接結(jié)構(gòu)，將高層信息與底層信息進(jìn)行充分融合，最終將不同分辨率的特征圖上采樣恢復(fù)至原輸入圖像的相同尺寸。

圖1 DResnet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 DResnet network structure

1.1 雙層殘差網(wǎng)絡(luò)

從提高網(wǎng)絡(luò)特征提取能力的角度出發(fā)，本文提出了雙層殘差網(wǎng)絡(luò)代替原FCN 網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)VGG，雙層網(wǎng)絡(luò)在提取的特征圖融合了更多的邊緣細(xì)節(jié)特征。還可以解決由神經(jīng)網(wǎng)絡(luò)層數(shù)加深而引起的梯度消失或者梯度爆炸問題[14-15]以及網(wǎng)絡(luò)模型出現(xiàn)的退化問題[16]。

具體來說，雙層殘差特征提取網(wǎng)絡(luò)如圖2 所示。該網(wǎng)絡(luò)包含兩個(gè)相同的特征提取網(wǎng)絡(luò)單元，每一單元均由5 層組成。整體網(wǎng)絡(luò)的輸入為RGB 三維數(shù)組，第1 層由大小為7×7，步長為2 的卷積核進(jìn)行卷積操作，輸出的特征圖尺寸為原輸入的1/2，卷積之后進(jìn)行批量歸一化處理、Relu 函數(shù)激活以及最大池化下采樣操作，池化窗口大小為3×3，步長為2；第2 層到第4 層由不同數(shù)量的Block1 模塊和Block2 模塊構(gòu)成，對(duì)應(yīng)的Block 模塊如圖3 所示，本文的主特征提取網(wǎng)絡(luò)（第2 層）由4 個(gè)Block1 構(gòu)成；第3 層由1 個(gè)Block2 和3 個(gè)Block1 構(gòu)成；第4 層由1 個(gè)Block 2 和5 個(gè)Block1 構(gòu)成；第5 層由1 個(gè)Block 2 和2 個(gè)Block1 模塊構(gòu)成。

圖2 雙層殘差特征提取網(wǎng)絡(luò)Fig.2 Double residual feature extraction network

圖3 Block 模塊結(jié)構(gòu)Fig.3 Block module structure

1.2 跳躍特征融合網(wǎng)絡(luò)

考慮原FCN 網(wǎng)絡(luò)模型存在池化操作，在增大感受野的同時(shí)，減小了特征圖的分辨率，從而導(dǎo)致這些高層語義特征和之前的底層細(xì)節(jié)特征分辨率不一致，將底層特征與高層特征有效地融合，對(duì)提高網(wǎng)絡(luò)的分割精度至關(guān)重要。

本文在原FCN 網(wǎng)絡(luò)的基礎(chǔ)上融合了更底層第1 層與第2 層的細(xì)節(jié)特征信息，具體結(jié)構(gòu)如圖1 所示。具體步驟：將第5 層輸出的融合特征圖X5進(jìn)行2 倍反卷積操作，將其大小恢復(fù)至原圖的1/16，與第4 層輸出的融合特征圖X4進(jìn)行疊加得到特征圖W1；再對(duì)特征圖W1進(jìn)行2 倍反卷積操作，將其大小恢復(fù)至原圖的1/8，與第3 層輸出的融合特征圖X3進(jìn)行疊加得到特征圖W2；再對(duì)其進(jìn)行2 倍反卷積操作，將其大小恢復(fù)原圖的1/4，與第2 層輸出的融合特征圖X2進(jìn)行疊加得到特征圖W3；再進(jìn)行2 倍反卷積操作，將圖像恢復(fù)至原圖的1/2，與第1 層輸出的特征圖融合X1進(jìn)行疊加得到特征圖W4；最后進(jìn)行2 倍反卷積操作，得到與輸入相同大小尺寸的圖像。

利用跳躍特征融合，將高層的語義信息與底層的細(xì)節(jié)信息相結(jié)合，降低了由上采樣操作所帶來的部分細(xì)節(jié)特征損失，提高了交通場(chǎng)景下圖像語義分割的精度。

1.3 網(wǎng)絡(luò)分支訓(xùn)練

本文為了獲得更高精度的語義分割結(jié)果，在下采樣過程加入了雙層殘差網(wǎng)絡(luò)，在上采樣過程中加入了更多的卷積層，整體增加了網(wǎng)絡(luò)的深度，為了使DResnet 網(wǎng)絡(luò)得到充分的學(xué)習(xí)，更好地對(duì)圖像中的細(xì)節(jié)信息的訓(xùn)練，本文提出了網(wǎng)絡(luò)分支訓(xùn)練法，先對(duì)整個(gè)訓(xùn)練集的目標(biāo)的大體輪廓位置進(jìn)行訓(xùn)練，其次，在此基礎(chǔ)上對(duì)所訓(xùn)練的目標(biāo)進(jìn)行細(xì)節(jié)方面的準(zhǔn)確訓(xùn)練，可以提高網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確度。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)是基于深度學(xué)習(xí)Pytorch 開源框架進(jìn)行的，實(shí)驗(yàn)環(huán)境的配置：操作系統(tǒng)為64bit-Ubuntu16.04，GPU 為GeForce RTX 2080 Ti，內(nèi)存為64 GB，網(wǎng)絡(luò)鏡像為Pytorch 1.7.1，數(shù)據(jù)處理為Python 3.8。

2.2 實(shí)驗(yàn)數(shù)據(jù)集

本文采用數(shù)據(jù)集CamVid 和Cityscapes 驗(yàn)證本文DResnet 網(wǎng)絡(luò)的有效性。

CamVid 是常用的交通場(chǎng)景數(shù)據(jù)集之一，本文使用其中的701 張的逐像素語義分割的圖像數(shù)據(jù)集，其中訓(xùn)練集、測(cè)試集、驗(yàn)證集各421、168、112張，每張圖像的分辨率為720 dpi×960 dpi。

Cityscapes 是一個(gè)側(cè)重于城市環(huán)境理解的數(shù)據(jù)集，主要包含50 個(gè)城市不同場(chǎng)景、不同季節(jié)的5000 張精細(xì)標(biāo)注的圖像，其中訓(xùn)練集、測(cè)試集、驗(yàn)證集各2975、500、1525 張，每張圖像的分辨率為1024 dpi×2048 dpi。

數(shù)據(jù)處理：1）由于該數(shù)據(jù)集類別過多且部分類別與其它類別的界定相對(duì)比較模糊，所以參考文獻(xiàn)[17-21]，在實(shí)驗(yàn)時(shí)選擇CamVid 12 類和Cityscapes 20 類，CamVid 12 類主要包括背景、天空、建筑物、電線桿、道路、人行道、樹、信號(hào)標(biāo)志、柵欄、汽車、行人、騎自行車的人；Cityscapes 20 類主要包括背景、道路、人行道、建筑物、墻、柵欄、桿、交通燈、交通標(biāo)志、植被、地形、天空、人、騎手、汽車、卡車、公共汽車、火車、摩托車、自行車等。2）由于該數(shù)據(jù)集的分辨率過高以及GPU 服務(wù)器顯存有限，對(duì)2 組數(shù)據(jù)集分別進(jìn)行中心裁剪至352 dpi×480 dpi、512 dpi×1024 dpi，再輸入網(wǎng)絡(luò)訓(xùn)練。

2.3 訓(xùn)練參數(shù)

為了得到交通場(chǎng)景分割較好結(jié)果的網(wǎng)絡(luò)，進(jìn)行了特征提取網(wǎng)絡(luò)的替換、特征融合方法的相關(guān)實(shí)驗(yàn)，測(cè)試的對(duì)象為CamVid 12 類和Cityscapes 20 類。該實(shí)驗(yàn)在相同數(shù)據(jù)集、固定參數(shù)下進(jìn)行實(shí)驗(yàn)，考慮到硬件原因，將兩數(shù)據(jù)集中圖片大小分別裁剪為352 dpi×480 dpi 和512 dpi×1024 dpi，采用反向傳播和隨機(jī)梯度下降法來進(jìn)行訓(xùn)練，將訓(xùn)練批次大小設(shè)置為4，設(shè)置基礎(chǔ)學(xué)習(xí)率為0.0001，經(jīng)過10 次epoch 迭代后，對(duì)應(yīng)的學(xué)習(xí)率減半。沖量設(shè)置為0.9，迭代次數(shù)為200 次。在設(shè)置完超參數(shù)之后，分別對(duì)不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并保存訓(xùn)練最好的權(quán)重，作為網(wǎng)絡(luò)模型最終的參數(shù)，然后對(duì)測(cè)試集進(jìn)行測(cè)試，得到不同網(wǎng)絡(luò)的最終分割結(jié)果。

2.4 評(píng)價(jià)指標(biāo)

在圖像語義分割技術(shù)中，為了合理評(píng)價(jià)改進(jìn)網(wǎng)絡(luò)的分割精度，本文采用平均交并比、準(zhǔn)確率以及平均像素準(zhǔn)確率3 個(gè)評(píng)價(jià)指標(biāo)。

1）平均交并比PMIOU（mean intersection over union,MIOU），作為圖像語義分割最常用的評(píng)價(jià)指標(biāo)，通過計(jì)算標(biāo)簽集合與預(yù)測(cè)結(jié)果集合的交集與并集之比，并計(jì)算所有類別的平均值，計(jì)算公式為

式中：k為圖像中的類別總數(shù)（不包含背景）；Pii為真實(shí)像素類別為i被預(yù)測(cè)為像素為i的像素?cái)?shù)量；Pij為真實(shí)像素類別為i被預(yù)測(cè)為像素為j的像素?cái)?shù)量。

2）平均像素準(zhǔn)確率PMPA（mean pixel accuracy,MPA），首先對(duì)每個(gè)類計(jì)算正確預(yù)測(cè)的像素比值，其次對(duì)所有的類取平均，計(jì)算公式為

3）平均準(zhǔn)確率PACC（accuracy,ACC），所有分割正確的像素點(diǎn)與總像素點(diǎn)的比值，計(jì)算公式為

3 實(shí)驗(yàn)結(jié)果分析

3.1 CamVid 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文網(wǎng)絡(luò)的可行性，本文在Cam-Vid 數(shù)據(jù)集上得到原FCN 網(wǎng)絡(luò)、不同深度Resnet 網(wǎng)絡(luò)、不同深度DResnet 網(wǎng)絡(luò)的測(cè)試分割結(jié)果。分別使用相同的數(shù)據(jù)劃分對(duì)FCN、Resnet-34、DResnet-34 不同的特征提取網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)分支訓(xùn)練，得到表1 所示的結(jié)果，由表1 可以看出，DResnet 網(wǎng)絡(luò)可以得到更高分割精度的結(jié)果。

表1 不同網(wǎng)絡(luò)在CamVid 測(cè)試集結(jié)果對(duì)比 Table 1 Comparison of the results of different networks in the CamVid test set %

原FCN 網(wǎng)絡(luò)、不同深度DResnet 網(wǎng)絡(luò)的測(cè)試分割結(jié)果，具體如表2 所示。可以看出，隨著DResnet 網(wǎng)絡(luò)的層數(shù)不斷加深，網(wǎng)絡(luò)的3 項(xiàng)測(cè)試評(píng)價(jià)指標(biāo)的測(cè)試精度逐漸增加，但當(dāng)網(wǎng)絡(luò)達(dá)到50 層時(shí)，測(cè)試的PMIOU精度出現(xiàn)下降，這是因?yàn)樵谟?xùn)練的過程中出現(xiàn)了過擬合，考慮到網(wǎng)絡(luò)本身的參數(shù)問題、訓(xùn)練集的數(shù)目問題以及測(cè)試精度問題，本文通過實(shí)驗(yàn)分析，選擇DResnet-34 網(wǎng)絡(luò)作為主網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)。

表2 不同深度DResnet 在CamVid 測(cè)試集結(jié)果對(duì)比 Table 2 Comparison of the results of different depths of DResnet in the CamVid test set %

跳躍特征融合網(wǎng)絡(luò)實(shí)驗(yàn)。為選取合適的上采樣網(wǎng)絡(luò)，在DResnet-34 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)的基礎(chǔ)上，對(duì)融合不同尺度特征圖網(wǎng)絡(luò)DResnet-2S 到DResnet-32S 進(jìn)行訓(xùn)練與測(cè)試，得到測(cè)試結(jié)果如表3 所示。

表3 不同跳躍特征融合在CamVid 測(cè)試集結(jié)果對(duì)比Table 3 Comparison of the results of different jump features fusion in the CamVid test set %

由表3 可以看出，僅僅融合Layer5 層的特征圖，DResnet-32S 網(wǎng)絡(luò)的平均交并比PMIOU僅僅為56.74%，測(cè)試的PACC為60.00%，通過不斷地融合不同Layer 層的特征圖，測(cè)試精度出現(xiàn)了上升，融合所有尺度的特征圖，DResnet-2S 網(wǎng)絡(luò)的測(cè)試準(zhǔn)確度PACC高達(dá)61.93%，平均交并比PMIOU達(dá)到59.44%。

從表4 中可以看出，不同深度的DResnet 網(wǎng)絡(luò)對(duì)電線桿（Pole）、信號(hào)標(biāo)志（SignSymbol）、柵欄（Fence）、行人（Pedestrian）、騎自行車的人（Bicyclist）等小目標(biāo)的物體的分割精度提升較大，整體的PMIOU由49.72% 提升到59.44%，通過增加DResnet 網(wǎng)絡(luò)的深度，可以改善部分小目標(biāo)的分割精度。

表4 不同網(wǎng)絡(luò)在CamVid 測(cè)試集的各類別精度Table 4 Accuracy of each category of different networks in the CamVid test set %

3.2 Cityscapes 實(shí)驗(yàn)結(jié)果

為了進(jìn)一步驗(yàn)證DResnet 網(wǎng)絡(luò)的可行性，在另一交通數(shù)據(jù)集Cityscapes 上進(jìn)行實(shí)驗(yàn)，但考慮到該數(shù)據(jù)集圖像較多以及顯存硬件原因，本文選取DResnet34 網(wǎng)絡(luò)作為主特征提取網(wǎng)絡(luò)，分別對(duì)FCN、不同特征融合的DResnet 網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)分支訓(xùn)練以及測(cè)試，測(cè)試結(jié)果見表5。

表5 不同跳躍特征融合在Cityscapes測(cè)試集結(jié)果對(duì)比Table 5 Comparison of the results of different jumpfeatures fusion in the Cityscapes test set %

從表5 中可以看出，DResnet-32S 網(wǎng)絡(luò)僅融合特征圖X5，平均交并比PMIOU僅達(dá)到47.16%，測(cè)試準(zhǔn)確度PACC達(dá)到41.29%，DResnet-2S 網(wǎng)絡(luò)融合所有尺度的特征圖，再對(duì)其進(jìn)行上采樣操作，測(cè)試準(zhǔn)確度PACC高達(dá)42.33%，平均交并比PMIOU達(dá)到47.77%。因此再次驗(yàn)證融合所有尺度特征圖的融合方法可以提高整體的測(cè)試分割精度。

在Cityscapes 測(cè)試集上部分預(yù)測(cè)結(jié)果如圖4所示，第1 列為Cityscapes 測(cè)試集的RGB 圖像，第2 列為對(duì)應(yīng)的標(biāo)簽，第3 列為FCN-8s 的測(cè)試結(jié)果，第4 列為DResnet-18 的測(cè)試結(jié)果，第5 列為DResnet-34 的測(cè)試結(jié)果。對(duì)比FCN-8s 與DResnet網(wǎng)絡(luò)的結(jié)果圖，可以明顯地看出DResnet-34 網(wǎng)絡(luò)分割后的柵欄、桿、交通標(biāo)志、人等小物體邊緣更加精細(xì)，分割邊界更加規(guī)整。

圖4 Cityscapes 測(cè)試集部分圖像預(yù)測(cè)結(jié)果Fig.4 Cityscapes test set partial image prediction results

4 結(jié)束語

本文提出了一種基于雙層殘差網(wǎng)絡(luò)特征提取、跳躍特征融合的圖像語義分割網(wǎng)絡(luò)（DResnet）。它能夠解決由特征提取網(wǎng)絡(luò)帶來的分辨率減小以及空間細(xì)節(jié)信息損失問題。DResnet 網(wǎng)絡(luò)構(gòu)建雙層殘差特征提取網(wǎng)絡(luò)與跳躍特征融合網(wǎng)絡(luò)，雙層殘差網(wǎng)絡(luò)對(duì)標(biāo)準(zhǔn)訓(xùn)練集的圖像同時(shí)進(jìn)行兩次特征提取操作，以獲得更全面的圖像細(xì)節(jié)特征信息；跳躍特征融合網(wǎng)絡(luò)在第1 層與第2 層開始融合跳躍連接，更好地融合圖像的背景信息與語義信息，使網(wǎng)絡(luò)獲得更高的特征提取能力與識(shí)別精度。通過交通場(chǎng)景數(shù)據(jù)集CamVid 和Cityscapes 的實(shí)驗(yàn)結(jié)果表明，本文的DResnet 網(wǎng)絡(luò)模型在CamVid 12 類上的評(píng)價(jià)指標(biāo)PMIOU、PMPA、PACC分別提高了9.72%、3.63%、7.68%，在Cityscapes 20 類上的評(píng)價(jià)指標(biāo)PMIOU、PMPA、PACC分別提高了3.42%、1.64%、3.48%。