基于小目標類別注意力機制與特征融合的AF-ICNet 非結(jié)構(gòu)化場景語義分割方法

艾青林，張俊瑞，吳飛青

（1 浙江工業(yè)大學(xué) 特種裝備制造與先進加工技術(shù)教育部/浙江省重點實驗室，杭州 310023）

（2 浙大寧波理工學(xué)院 信息科學(xué)與工程學(xué)院，寧波 315100）

0 引言

非結(jié)構(gòu)化道路可行駛區(qū)域檢測技術(shù)是計算機視覺與自動駕駛研究領(lǐng)域的熱點之一。在實際道路駕駛、大型工程作業(yè)以及機器人野外工作場景中，存在大量非結(jié)構(gòu)化道路場景。非結(jié)構(gòu)化道路相比于結(jié)構(gòu)化道路，具有道路與周邊顏色差異較小，道路目標物種類較多、信息復(fù)雜等特點。使用傳統(tǒng)方法檢測非結(jié)構(gòu)化道路區(qū)域，存在檢測精度低、實時性差、小目標檢測效果差等問題［1］。由于小目標障礙物和行人會對道路可行駛區(qū)域檢測造成嚴重干擾，而小目標在圖像中分辨率低、攜帶的信息較少而導(dǎo)致其特征表征能力較差，大型類別的主導(dǎo)也容易導(dǎo)致小目標類別被忽視［2］，因此如何提升非結(jié)構(gòu)化道路小目標檢測能力是目前亟待解決的技術(shù)問題。

近年來，基于神經(jīng)網(wǎng)絡(luò)的道路圖像分割方法得到了快速發(fā)展，比如FCN［3］、SegNet［4］、U-Net［5］、DeepLab［6］等經(jīng)典網(wǎng)絡(luò)。其中，張凱航等提出基于SegNet 的非結(jié)構(gòu)道路可行駛區(qū)域語義分割［7］，龔志力等提出基于改進DeepLabV3+的非結(jié)構(gòu)化道路分割方法［8］，這些分割方法雖然可以有效分割非結(jié)構(gòu)化道路區(qū)域，但實時性較差，其中部分網(wǎng)絡(luò)的實際分割速度FPS 小于1 幀/s，無法部署在實時性要求較高的系統(tǒng)中。而輕量型網(wǎng)絡(luò)ENet［9］、ICNet［10］等雖然實時性較好，但對小目標物體的分割效果較差。為了兼顧網(wǎng)絡(luò)的實時性與非結(jié)構(gòu)化道路中小目標物體分割精度，本文提出基于小目標類別注意力機制與特征融合的AF-ICNet（Attention and Feature fusion ICNet）非結(jié)構(gòu)化道路場景語義分割方法，該方法主要內(nèi)容有1）修改網(wǎng)絡(luò)特征融合，使用空洞卷積特征金字塔替代池化以減少池化對網(wǎng)絡(luò)特征提取的影響，并使用不同尺度的特征融合以擴大網(wǎng)絡(luò)感受野，提高整體網(wǎng)絡(luò)對圖像的分割精度。2）基于小目標類別建立CA 注意力機制（Coordinate attention）模塊，形成通道和空間注意力信息的長期依賴關(guān)系，以提高網(wǎng)絡(luò)對不同復(fù)雜道路及小目標物體語義分割精度。3）建立融合權(quán)重的損失函數(shù)，針對非結(jié)構(gòu)化道路的樣本類別不均衡問題，對圖像樣本類別賦予不同的權(quán)重，以進一步提升網(wǎng)絡(luò)對圖像中小目標類別的分割精度。

1 基于AF-ICNet 的非結(jié)構(gòu)化道路語義分割方法

1.1 基于小目標注意力與特征融合的AF 結(jié)構(gòu)

1.1.1 擴大感受野的空洞空間卷積特征融合

在ICNet 中，考慮到此前的基于FCN 的語義分割網(wǎng)絡(luò)無法有效的融合全局特征信息，網(wǎng)絡(luò)中使用了空間金字塔池化（Pyramid Pooling Module，PPM）模塊，用于聚合不同區(qū)域的特征信息進而獲取全局的特征信息。PPM 模塊結(jié)構(gòu)如圖1 所示。PPM 通過融合上下層不同大小的特征信息，實現(xiàn)了多尺度的特征融合。PPM 雖然增強了特征表征能力，但是其中大量使用的GAP 全局池化操作，在增大感受野的同時也降低了圖像分辨率，為保證網(wǎng)絡(luò)可以正常訓(xùn)練，需要統(tǒng)一圖像尺寸，這會導(dǎo)致上采樣恢復(fù)至輸入大小時，池化造成的細節(jié)信息的丟失無法恢復(fù)。

圖1 金字塔池化PPM 結(jié)構(gòu)Fig.1 Pyramid pooling module structure

針對此問題，本文參考DeeplabV2［11］模型，修改原網(wǎng)絡(luò)中的特征融合模塊，為減少大量池化的影響，替換網(wǎng)絡(luò)中的PPM，使用空洞空間卷積池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）。改進后特征融合如圖2（a）所示，網(wǎng)絡(luò)使用空洞卷積替代了大多數(shù)的池化。采樣率的不同會對網(wǎng)絡(luò)分割產(chǎn)生影響，經(jīng)過實驗分析，本文使用了效果最好的四種不同采樣率的卷積，分別為一個1×1 卷積和三個3×3 的采樣率為6、12、18 的空洞卷積，以有效的獲取多尺度信息。三個帶padding 的空洞卷積，使得卷積的感受野分別擴大到了23×23、47×47、71×71，如圖2（b）所示，不同的感受野卷積結(jié)果進行Concat 操作，小感受野便于網(wǎng)絡(luò)獲取精細的特征信息，大感受野便于獲取目標在圖像中的整體空間信息，通過大小不同感知野的特征融合，提升了網(wǎng)絡(luò)對非結(jié)構(gòu)化道路的整體分割效果。

圖2 空洞空間卷積池化金字塔ASPP 結(jié)構(gòu)Fig.2 Atrous spatial pyramid pooling structure

1.1.2 增強小目標分割的CA 注意力機制

在非結(jié)構(gòu)化道路環(huán)境中，注意到非結(jié)構(gòu)化道路中的小目標類別數(shù)量較多，為進一步提升網(wǎng)絡(luò)對小目標物體信息的獲取能力，在網(wǎng)絡(luò)中引入注意力機制。通道注意力經(jīng)典網(wǎng)絡(luò)SENet［12］僅僅考慮通道之間的關(guān)系來衡量每個通道的重要性，往往會忽略目標的位置信息。增加了空間注意力機制的CBAM［13］中通道注意力信息和空間注意力信息是相互獨立的，相較于SENet 提升有限。為此，本文研究一種融合空間與通道信息的新型注意力方法——CA 注意力機制（Coordinate Attention）。將其與ICNet 網(wǎng)絡(luò)語義分割結(jié)合，在保證實時性的基礎(chǔ)上，進一步實現(xiàn)小目標類別分割精度的提升［14］。

將全局池化進行兩個維度的分解，即使用（H，1）或（1，W）的池化核，使其分別沿著水平坐標與垂直坐標方向，對每個通道進行編碼操作，即可將上述全局池化編碼公式分解為

基于以上生成的兩個特征，進一步將兩個特征圖進行結(jié)合操作，然后使用1×1 的卷積，對其進行變換操作

式中，F(xiàn)1為1×1 的卷積變換函數(shù)，方括號表示沿空間維度的結(jié)合操作，δ為非線性激活函數(shù)h-Swish。將中間特征映射f分解成兩個單獨的張量f h∈RC/r×H和f w∈RC/r×W，r為模塊大小縮減率。分別將f h與f w變換為具有相同通道數(shù)的張量，并經(jīng)過sigmoid 激活，得到的gh與gw為

最后得到的注意力模塊輸出為

在本文網(wǎng)絡(luò)中，CA 注意力機制模塊如圖3 所示。將輸入分別沿X和Y方向進行平均池化，經(jīng)過維度轉(zhuǎn)換后，將輸入的C×H×W的向量轉(zhuǎn)換為了C×H×1 和C×W×1 兩個向量。池化后將兩個方向的信息沿同一維度進行合并操作。使用r減少通道數(shù)以降低模型復(fù)雜度。經(jīng)過批歸一化（Batch normalization）和激活函數(shù)h-Swish 后，將網(wǎng)絡(luò)再次沿先前維度分離、卷積以恢復(fù)到最初的大小。經(jīng)sigmoid 激活后，與原輸出合并進行reweight 操作。兩個方向的單獨分離處理可以使網(wǎng)絡(luò)得到沿著兩個空間方向的長期依賴關(guān)系，同時保留了精確的位置信息，有利于網(wǎng)絡(luò)更加精確地定位到所需位置，提升網(wǎng)絡(luò)對于非結(jié)構(gòu)化道路環(huán)境中小目標物體類別分界處邊緣的分割效果。

圖3 坐標注意力機制結(jié)構(gòu)Fig.3 Coordinate attention structure

1.1.3 注意力機制與特征融合組合模塊（AF）

為了提升非結(jié)構(gòu)化道路小目標類別的分割精度，本文基于ASPP 特征融合與CA 注意力機制，提出改進的AF（Attention and Feature fusion）模塊結(jié)構(gòu)，如圖4 所示。模塊以ASPP 為基礎(chǔ)骨干，在每個支路嵌入CA注意力機制，使網(wǎng)絡(luò)同時關(guān)注到不同感知野的注意力信息。ASPP 有效獲取了不同采樣率獲取的圖像特征，可以有效提升網(wǎng)絡(luò)整體的分割精度，但針對小目標類別提升有限。因此通過在不同尺度特征信息后增添CA 注意力，彌補了ASPP 的不足。修改嵌入CA 注意力相比網(wǎng)絡(luò)整體，參數(shù)不在一個量級，因此即使在每條支路均添加了CA 注意力，網(wǎng)絡(luò)仍然處于輕量級，可以保證分割的實時性。

圖4 AF 模塊結(jié)構(gòu)Fig.4 Attention and feature fusion structure

1.2 緩解類別不均衡的雙權(quán)重交叉熵損失函數(shù)

道路類別像素數(shù)量統(tǒng)計如圖5 所示。道路圖像部分類別，如車輛、綠化帶、道路等樣本出現(xiàn)頻次較高，而部分小目標類別出現(xiàn)頻次則遠低于平均值，數(shù)據(jù)集存在嚴重的類別分布不均衡的問題。出現(xiàn)頻率較小的類別在交叉熵損失函數(shù)計算中權(quán)重占比較小，訓(xùn)練過程中占比較大的類別會很快達到較高的精度，而較小的類別精度很難再提升。ICNet 選用的是標準交叉熵損失函數(shù)。分別在三條支路上進行損失函數(shù)計算，總損失函數(shù)值由三條支路函數(shù)值疊加求得，標準的交叉熵損失函數(shù)并不能緩解類別平衡問題。

圖5 Cityscapes 數(shù)據(jù)集與IDD 數(shù)據(jù)集的樣本分布Fig.5 Sample distribution of Cityscapes dataset and IDD dataset

為此本文修改損失函數(shù)，設(shè)計帶權(quán)重的交叉熵損失函數(shù)，以提升網(wǎng)絡(luò)對占比較小類別的關(guān)注。帶類別權(quán)重的交叉熵損失函數(shù)表達式為

式中，參數(shù)ωi用于平衡樣本權(quán)重，針對像素較少類別，參數(shù)ωi應(yīng)較大，以提升對其的關(guān)注。本文參考ENet 類別平衡方法［15］，定義權(quán)重ωi為

式中，pi表示為相應(yīng)類別i在圖像中的像素占比。c為一設(shè)定超參數(shù)，用于限制權(quán)重間的間隔，c值越大，樣本權(quán)重間的差值就越小。類別在圖像中的像素占比越小，權(quán)重參數(shù)ωi就越大，也越有利于網(wǎng)絡(luò)對這些類別的信息提取能力。

基于以上權(quán)重損失函數(shù)，改進后的網(wǎng)絡(luò)總損失函數(shù)表達式為

式中，T表示支路數(shù)，在本文中T取3，λt表示支路權(quán)重，根據(jù)支路的不同分辨率圖像，給定不同的數(shù)值，取值范圍［0，1］。ωi表示類別權(quán)重，根據(jù)不同的道路復(fù)雜程度，c的值有所不同。

通過計算分析，c取值在［1，1.1］區(qū)間內(nèi)，可以保證類別權(quán)重差值在合理范圍內(nèi)。c較小時，類別權(quán)重差異過大，網(wǎng)絡(luò)對占比較大類別的關(guān)注度過低，會影響整體的分割精度。c較大時類別權(quán)重差異較小，會退化到標準交叉熵損失函數(shù)。本文在取值范圍內(nèi)對c與λ進行了參數(shù)敏感性分析，如圖6 所示。

圖6 λ 與c 的參數(shù)敏感性分布Fig.6 Parameter sensitivity distribution of λ and c

從圖6 可知，對于參數(shù)λ，當(dāng)λ在0.4～0.6 區(qū)間取值時，不同數(shù)據(jù)集的分割精度MIoU 均取得了較高值。對于參數(shù)c，Cityscapes 數(shù)據(jù)集在c=1.1 時MIoU 取得最大值，IDD 數(shù)據(jù)集則是在c=1.02 時MIoU 取得最大值。分析認為，對于復(fù)雜程度較高的非結(jié)構(gòu)化道路，c的取值影響類別權(quán)重差值，而較大的權(quán)重差值會提升網(wǎng)絡(luò)的分割能力，因此c的取值非常重要。改進的損失函數(shù)通過對不同類別賦予不同的權(quán)重，增強了網(wǎng)絡(luò)對像素占比較少樣本的特征提取能力，有效地提升了網(wǎng)絡(luò)對小目標類別的分割精度。

1.3 AF-ICNet 網(wǎng)絡(luò)整體結(jié)構(gòu)

本文提出的AF-ICNet 網(wǎng)絡(luò)整體結(jié)構(gòu)如圖7 所示，網(wǎng)絡(luò)經(jīng)由三個支路，分別對不同分辨率的圖像進行特征提取。輸入圖像的分辨率基于Base size，分別壓縮與擴張為0.5×Base size 與2×Base size，分辨率從小到大分別輸入到三個支路中，記為Sub1、Sub2、Sub4。Sub1 采用較復(fù)雜的PSPNet 網(wǎng)絡(luò)骨干，大量的道路語義信息均在此支路中獲取，但是由于圖像分辨率較低，網(wǎng)絡(luò)對小目標的語義信息獲取能力較差。Sub2 分支與Sub1 分支在骨干網(wǎng)絡(luò)第一步的三層間共享部分卷積參數(shù)，通過低分辨率與中分辨率卷積參數(shù)的共享，加快了網(wǎng)絡(luò)的分割速度。本文刪除了Sub1 中的PPM 模塊，修改Sub2 分支，將ASPP 與CA 注意力機制相結(jié)合，建立AF 模塊。改進的Sub2 支路兼顧網(wǎng)絡(luò)實時性同時，進一步提升網(wǎng)絡(luò)對圖中的小目標類別的特征提取能力。Sub4 輸入分辨率較大，因此采用更少的網(wǎng)絡(luò)層數(shù)。每個卷積后均連接批歸一化（Batch normalization）及ReLU 激活函數(shù)。為融合不同支路間的特征信息，在層級間使用級聯(lián)特征融合（Cascade Feature Fusion，CCF），輸入雙通道信息F1、F2，F(xiàn)1先進行雙線性插值并使用大小為3×3，空洞率為2 的卷積核來精修上采樣特征。F2使用1×1 的卷積使其特征數(shù)量與F1保持一致。F1、F2均進行批歸一化操作，然后直接特征圖相加并經(jīng)過激活函數(shù)ReLU。經(jīng)由三條支路以不同分辨率獲取特征信息，網(wǎng)絡(luò)有效地獲取了不同分辨率的非結(jié)構(gòu)化道路的語義信息。

圖7 AF-ICNet 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.7 The structure of AF-ICNet

2 數(shù)據(jù)集測試與分析

2.1 不同道路環(huán)境數(shù)據(jù)集選取

為滿足多路況復(fù)雜道路環(huán)境檢測的需求，本文使用了標準化道路數(shù)據(jù)集Cityscapes 及非結(jié)構(gòu)化道路數(shù)據(jù)集IDD（Indian Driving Dataset）進行訓(xùn)練與測試。

Cityscapes 是一個關(guān)于城市街道場景的語義理解圖像數(shù)據(jù)集，包括2 975 張訓(xùn)練集圖像，500 張驗證集圖像和1 525 張測試集圖像。原數(shù)據(jù)集包含19 個密集像素標注。由圖8 可知，結(jié)構(gòu)化道路圖像中道路邊緣較為明確，道路比較平坦，紋理基本一致。車輛、道路標志信號等較為明確。AF-ICNet 網(wǎng)絡(luò)可以進一步提升對樣本中小目標物體特征提取能力。

圖8 Cityscapes 數(shù)據(jù)集訓(xùn)練樣本圖片F(xiàn)ig.8 Cityscapes dataset training sample image

IDD 數(shù)據(jù)集由VARMA G 等于2019 年提出，這是一個專用于非結(jié)構(gòu)化環(huán)境中道路場景感知的數(shù)據(jù)集。它由一位于車上的前置攝像頭在印度的海得拉巴、班加羅爾及其郊區(qū)道路上進行拍攝獲得［16］。

本文根據(jù)實際道路與數(shù)據(jù)集標注情況，選取其中的9 947 張精細標注圖像，將數(shù)據(jù)集分割為6 993 張訓(xùn)練集圖像，925 張驗證集圖像和2 029 張測試集圖像。數(shù)據(jù)集包含多級標簽標注?？紤]非結(jié)構(gòu)化道路實際分割需求，選取3 級標簽數(shù)據(jù)，將圖像分割為26 個類別。圖9 為IDD 數(shù)據(jù)集的樣本圖與標簽圖。由圖可知，非結(jié)構(gòu)化道路圖像中道路邊緣較不明顯，道路紋理大都不一致，且車輛、行人等小目標物體較多，無明顯的道路標志，因此提取非結(jié)構(gòu)化道路特征信息難度較大。

圖9 IDD 數(shù)據(jù)集訓(xùn)練樣本圖片F(xiàn)ig.9 IDD dataset training sample image

2.2 數(shù)據(jù)集訓(xùn)練環(huán)境配置

實驗在一臺CPU 為Intel i5-9400F、GPU 為GTX2070、內(nèi)存16 GB 的計算機上運行。實驗環(huán)境操作系統(tǒng)Ubuntu 18.04，語言環(huán)境為Python 3.6，編譯環(huán)境為Pytorch 1.10.1，CUDA 版本11.3。

為了使網(wǎng)絡(luò)可以正常訓(xùn)練數(shù)據(jù)集，在訓(xùn)練時設(shè)置Cityscapes 與IDD 數(shù)據(jù)集的Base size 為1 024，網(wǎng)絡(luò)中Sub1 與Sub4 尺寸大小將被分別resize 為0.5×Base size 與2×Base size。Crop size 設(shè)置為960。兩個數(shù)據(jù)集的Batch size 均設(shè)置為4。優(yōu)化器采用隨機梯度下降（Stochastic gradient descent，SGD）算法更新參數(shù)。為加速優(yōu)化，采用動量梯度下降（Momentum SGD），在SGD 基礎(chǔ)上引入一階動量，減少震蕩過程，在加速收斂的同時保證梯度下降的平穩(wěn)性，其優(yōu)化公式為

相比起傳統(tǒng)的SGD，Momentum SGD 引入動量超參數(shù)γ，取值滿足0≤γ<1，本文中選取γ=0.9。使用學(xué)習(xí)率衰減調(diào)度器，在提供更快的收斂速度的同時保證算法收斂。學(xué)習(xí)率η初始選取0.01，衰減率選取0.000 1。訓(xùn)練輪數(shù)選取200 輪，每一輪訓(xùn)練后均進行驗證集驗證。

2.3 數(shù)據(jù)集實驗評價指標

網(wǎng)絡(luò)分割精度評估指標為平均交并比（Mean Intersection over Union，MIoU）與像素精確率（Pixel Accuracy，PixAcc），實時性評估指標為實驗測試速度FPS（幀/s）。

2.3.1 平均交并比MIoU

采用混淆矩陣統(tǒng)計模型分類的結(jié)果，分類結(jié)果混淆矩陣如表1 所示。

表1 TP、FP、FN、FP 含義Table 1 The meaning of TP，F(xiàn)P，F(xiàn)N，F(xiàn)P

交并比IoU 在語義分割中表示真實值和預(yù)測值兩個集合的交集與并集之比。根據(jù)混淆矩陣，IoU 可以改寫成式（12），MIoU 為對所有類別的IoU 求平均值。

2.3.2 像素精確率PixAcc

像素精確度PixAcc 表示圖像中正確分類的像素所占百分比。根據(jù)混淆矩陣，PixAcc 可以改寫為

2.3.3 每秒傳輸幀數(shù)FPS

FPS 表示畫面每秒傳輸幀數(shù)，用于判斷分割圖像的速度，計算公式為

為測試圖像分割幀數(shù)，在每次預(yù)測前后分別對當(dāng)前時間進行記錄，以獲得時間差Δt，B表示Batch size。FPS 越高，網(wǎng)絡(luò)的實時性越好。

2.4 數(shù)據(jù)集訓(xùn)練測試與結(jié)果分析

2.4.1 Cityscapes 數(shù)據(jù)集訓(xùn)練與測試

基于AF-ICNet 進行訓(xùn)練和驗證實驗，在訓(xùn)練過程中，模型每完成一個epoch，進行驗證集驗證，記錄驗證集的損失函數(shù)值、MIoU 以及PixAcc。通過以上操作，可以及時掌握模型的訓(xùn)練情況。

由圖10 可知，改進損失函數(shù)的函數(shù)值在Cityscapes 數(shù)據(jù)集上隨著迭代輪數(shù)的增加而降低，MIoU 整體呈現(xiàn)隨輪數(shù)增加而上升的趨勢，并最后達到了較高數(shù)值，證明改進的損失函數(shù)與訓(xùn)練策略在Cityscapes 數(shù)據(jù)集上的有效性。

圖10 Cityscapes 數(shù)據(jù)集訓(xùn)練過程曲線Fig.10 Cityscapes dataset training process curve

經(jīng)過200 輪訓(xùn)練后，模型在驗證集上的結(jié)果與現(xiàn)有模型結(jié)果對比如表2 所示。從表2 中信息可以看出，本文網(wǎng)絡(luò)算法（AF-ICNet）在Cityscapes 數(shù)據(jù)集上有良好的表現(xiàn)。AF-ICNet 在驗證集上的MIoU 達到了71.5%，高于SegNet 與ENet 網(wǎng)絡(luò)，略低于DeepLabV3 Plus-MobileNet。本文網(wǎng)絡(luò)的PixAcc 達到了81.3%。

表2 AF-ICNet 在Cityscapes 數(shù)據(jù)集上的測試結(jié)果Table 2 Test results of AF-ICNet on Cityscapes dataset

針對小目標類別，AF-ICNet 同樣取得了更高的結(jié)果。Cityscapes 中占比較小的行人、交通燈、交通標志類別的IoU 分別從73.4%、55.5%、67.3%提升到了76.3%、61.2%、72.2%，證明了AF-ICNet 有效的提升了小目標類別的分割精度。FPS 達到了43.5 幀/s，雖低于ENet 與ICNet 網(wǎng)絡(luò)，但遠高于SegNet 與DeepLabV3Plus-MobileNet，滿足實時性要求。本文網(wǎng)絡(luò)的MIoU 達到了與高精度網(wǎng)絡(luò)DeepLabV3Plus-MobileNet 相近的精度，但是參數(shù)量卻遠低于該網(wǎng)絡(luò)，F(xiàn)PS 也遠高于該網(wǎng)絡(luò)。證明了改進AF-ICNet 能在保證實時性的情況下，實現(xiàn)高精度的道路語義分割。

圖11 為ICNet 與AF-ICNet 對驗證集的分割測試結(jié)果，圖中虛線框為邊界混淆區(qū)域，實線框為小目標類別區(qū)域。對于整體分割準確率，AF-ICNet 略優(yōu)于ICNet，如圖11 虛線框所示。AF-ICNet 分割邊緣更貼近標簽圖像，對于相似類別的區(qū)分能力較強，例如道路與步行道類別。

圖11 Cityscapes 數(shù)據(jù)集分割測試結(jié)果Fig.11 Test result of Cityscapes dataset

AF-ICNet 對小目標類別分割精度明顯優(yōu)于ICNet，如圖11 實線框所示。ICNet 對于遠景的小目標提取能力較差，往往會將這類小目標類別歸于遠景中的大目標類別。AF-ICNet 則能夠有效地將遠景小目標類別提取出來，并且當(dāng)圖像中存在多種小目標類別混雜情況時，AF-ICNet 能夠?qū)⑿∧繕藚^(qū)分開來。

2.4.2 IDD 數(shù)據(jù)集訓(xùn)練與測試

基于AF-ICNet 進行訓(xùn)練和驗證實驗，模型每完成一個epoch，進行驗證集驗證，記錄驗證集的損失函數(shù)值、MIoU 以及PixAcc。

由圖12 可知，改進損失函數(shù)的函數(shù)值在IDD 數(shù)據(jù)集上走勢與Cityscapes 數(shù)據(jù)集類似，MIoU 最后同樣達到了較高數(shù)值，證明改進的損失函數(shù)與訓(xùn)練策略在IDD 數(shù)據(jù)集上的有效性。經(jīng)過200 輪訓(xùn)練后，模型在驗證集上的結(jié)果與現(xiàn)有模型結(jié)果對比如表3 所示。

圖12 IDD 數(shù)據(jù)集訓(xùn)練過程曲線Fig.12 IDD dataset training process curve

表3 AF-ICNet 在IDD 數(shù)據(jù)集上的測試結(jié)果Table 3 Test results of AF-ICNet on IDD dataset

從表3 中信息可以看出，本文網(wǎng)絡(luò)算法（AF-ICNet）在IDD 數(shù)據(jù)集上同樣有良好的表現(xiàn)。AF-ICNet 在驗證集上的MIoU 達到了62.5%，高于其他網(wǎng)絡(luò)。PixAcc 達到了89.8%。針對小目標類別，AF-ICNet 同樣取得了更高的結(jié)果。非結(jié)構(gòu)化道路中占比較小較難分割的的的行人、騎者、交通信號類別的IoU 分別從58.8%、70.0%、26.3%提升到了60.4%、72.0%、34.3%，證明了AF-ICNet 有效的提升了小目標類別的分割精度。FPS 達到了41.7 幀/s，雖低于ENet 與ICNet 網(wǎng)絡(luò)，但仍遠高于SegNet 與DeepLabV3Plus-MobileNet，滿足實時性要求。AF-ICNet 在IDD 數(shù)據(jù)集上的MIoU 超出DeepLabV3Plus-MobileNet 1.3%，證明了本文改進AF-ICNet 對非結(jié)構(gòu)化道路的分割精度提升很大。

由于非結(jié)構(gòu)化道路復(fù)雜程度更大，ICNet 與AF-ICNet 對驗證集分割精度差距進一步加大，如圖13 所示，圖中虛線框為邊界混淆區(qū)域，實線框為小目標類別區(qū)域。對于整體分割準確率，ICNet 分割圖像中出現(xiàn)了更多的相似類別的混淆情況，與標簽圖像相比錯誤率顯著增大，AF-ICNet 的整體分割精度則高于ICNet，如圖13 中的虛線框所示。

AF-ICNet 對遠景圖像中的小目標分割能力比ICNet 更強，如圖13 中的實線框所示。即使在圖像中占比極小的遠景小目標物體，AF-ICNet 仍然有很強的能力將其分割出來，而ICNet 的小目標分割效果則明顯劣于AF-ICNet。

圖13 IDD 數(shù)據(jù)集非結(jié)構(gòu)化道路分割測試結(jié)果Fig.13 Test result of unstructured road segmentation of IDD dataset

2.5 消融實驗

消融實驗類似于控制變量的思想，在機器學(xué)習(xí)領(lǐng)域常使用消融實驗來分析不同的因素對神經(jīng)網(wǎng)絡(luò)實驗產(chǎn)生的影響［19-20］。為進一步分析各改進模塊對原始模型ICNet 的影響，將本文的方法分別裁剪成4 組進行訓(xùn)練。其中，第1 組為原始的ICNet 模型，第2 組增加使用權(quán)重交叉熵損失函數(shù)，第3 組在第2 組基礎(chǔ)上增加改進ASPP，第4 組在第3 組基礎(chǔ)上增加CA 注意力機制，即為本文的AF-ICNet 方法。消融實驗結(jié)果如表5 所示，其中“√”表示實驗中包括該結(jié)構(gòu)，“×”表示實驗中未包括該結(jié)構(gòu)。

表4 消融實驗Table 4 Ablation experiment

分析消融實驗，各改進模塊對于網(wǎng)絡(luò)分割精度均有明顯提升。對于Cityscapes 數(shù)據(jù)集，使用權(quán)重交叉熵損失函數(shù)，MIoU 提升了1.1%。增加ASPP 特征融合，MIoU 進一步提升了0.2%。在ASPP 基礎(chǔ)上增加CA模塊，形成AF-ICNet 網(wǎng)絡(luò)，MIoU 再次提升0.5%，達到71.5%，而PixAcc 為81.3%。對于IDD 數(shù)據(jù)集，使用權(quán)重交叉熵損失函數(shù)，MIoU 提升了0.6%。增加ASPP 特征融合，MIoU 進一步提升0.6%，證明了ASPP 有效提升了非結(jié)構(gòu)化道路分割精度。在ASPP 基礎(chǔ)上增加CA 模塊，形成AF-ICNet 網(wǎng)絡(luò)，MIoU 再次提升0.4%，達到62.5%，而PixAcc 為89.8%。AF-ICNet 網(wǎng)絡(luò)的FPS 雖略低于原網(wǎng)絡(luò)，但是仍滿足實時性要求。綜上，AF-ICNet 與原ICNet 相比，能在保證實時性要求的同時，大幅提升網(wǎng)絡(luò)的分割精度。

3 實景測試實驗

3.1 實驗測試系統(tǒng)

為驗證AF-ICNet 網(wǎng)絡(luò)模型在實際環(huán)境中的測試效果，本文進行了非結(jié)構(gòu)化道路的實景測試實驗。搭建了實驗測試系統(tǒng)，如圖14 所示。實驗測試系統(tǒng)由TurtleBot 機器人底盤、筆記本電腦、Microsoft KinectV1相機等組成。使用筆記本電腦控制TurtleBot 機器人的移動，并采集相機圖像。筆記本電腦配置如下：CPU為Intel i7-9750H、GPU 為GTX1660Ti、內(nèi)存16 GB。電腦操作系統(tǒng)為Windows11，語言環(huán)境為Python 3.8，編譯環(huán)境為Pytorch 1.10.1，CUDA 版本11.3。使用實驗測試系統(tǒng)對非結(jié)構(gòu)化道路進行實景測試，如圖15 所示。實驗中相機拍攝RGB 圖像分辨率為1 280×960，拍攝速度FPS 為12 幀/s，滿足實時性需求。實驗選取非結(jié)構(gòu)化程度較高的場景，其具有道路邊線不明確，紋理不一致等問題。同時為驗證本文方法對小目標的分割效果，人為增加小目標障礙物。

圖14 實驗測試系統(tǒng)Fig.14 The experimental testing system

圖15 非結(jié)構(gòu)化道路現(xiàn)場測試圖Fig.15 The image of field work on unstructured roads

3.2 現(xiàn)場測試實驗分析

利用搭建的實驗測試系統(tǒng)在現(xiàn)場拍攝圖像，選取了非結(jié)構(gòu)化程度較高的道路，并按照非結(jié)構(gòu)化數(shù)據(jù)集訓(xùn)練的模型結(jié)果，使用AF-ICNet 網(wǎng)絡(luò)進行語義分割，結(jié)果如下圖16 所示。

圖16 現(xiàn)場測試非結(jié)構(gòu)化道路分割結(jié)果Fig.16 Segmentation results of unstructured roads tested in the field

從圖16 中可知，AF-ICNet 網(wǎng)絡(luò)能有效分割出非結(jié)構(gòu)化道路類別，其中關(guān)于小目標類別與邊界混淆區(qū)域的分割效果比ICNet 網(wǎng)絡(luò)更好。圖16 實線框為小目標障礙物區(qū)域。對比分割圖像可以看出，AF-ICNet 在小目標分割中取得了更好的效果，小目標障礙物的邊緣更加平滑，與原圖像的匹配度更高。圖16 虛線框為邊界混淆區(qū)域，從圖中可知，AF-ICNet 能將道路中的邊界混淆區(qū)域準確地分割出來，從而可以有效地獲取非結(jié)構(gòu)化道路的語義信息。在移動測試平臺上，AF-ICNet 網(wǎng)絡(luò)單幀1 280×960 高分辨率圖像的分割速度為17 幀/s，這證明本文網(wǎng)絡(luò)在性能配置一般的計算機上對高分辨率圖像的處理速度同樣較快。當(dāng)分辨率為1 280×720 時，分割速度達到了31 幀/s，完全滿足道路實時性檢測要求。實景測試實驗表明，AF-ICNet 在測試場景應(yīng)用中取得良好的檢測效果，具有很強的實際應(yīng)用價值。

4 結(jié)論

本文針對非結(jié)構(gòu)化道路環(huán)境語義分割存在誤檢率較高、邊界容易混淆、小目標檢測能力較差等問題，提出基于小目標注意力機制與特征融合的AF-ICNet 復(fù)雜道路語義分割方法。采用空洞空間卷積池化金字塔融合不同尺度特征感受野以增強網(wǎng)絡(luò)的全局感知能力。利用CA 注意力機制模塊提升了網(wǎng)絡(luò)對圖像中占比較小類別的信息提取能力。修改交叉熵損失函數(shù)提升了網(wǎng)絡(luò)對出現(xiàn)頻次較少類別的關(guān)注。數(shù)據(jù)集測試實驗表明，AF-ICNet 對Cityscapes 數(shù)據(jù)集分割精度MIoU 與PixAcc 分別達到了71.5%與81.3%，對IDD 數(shù)據(jù)集分割精度MIoU 與PixAcc 分別達到了62.5%與89.8%。搭建實驗系統(tǒng)進行了實景測試。實景測試證明，AF-ICNet 網(wǎng)絡(luò)對小目標類別與非結(jié)構(gòu)化道路整體分割能力提升顯著，與ICNet 網(wǎng)絡(luò)相比，在保證測試實時性的情況下，實現(xiàn)了更高精度的語義分割。未來研究工作中將增加道路環(huán)境的復(fù)雜度，如增加雨、雪、霧等復(fù)雜天氣條件，在進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，實現(xiàn)更加復(fù)雜非結(jié)構(gòu)化場景的語義信息提取和分割。