基于多尺度特征融合的道路場景語義分割

高建瓴，陳 楠，喻明毫

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025）

0 引言

當(dāng)前，伴隨著人工智能研究熱潮的全球興起，深度學(xué)習(xí)方法也隨即得到了高速發(fā)展，在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用迄至目前已然臻至成熟，同時也還是現(xiàn)如今進(jìn)行的人工智能研究中至關(guān)重要的理論組成部分。深度學(xué)習(xí)中的圖像語義分割主要是為了對輸入圖像信息進(jìn)行圖像語義劃分、劃分為像素級別的分類，以更好地實(shí)現(xiàn)對目標(biāo)對象的精確識別定位，從而完整地呈現(xiàn)其輪廓特征。有關(guān)研究已經(jīng)逐漸成為計(jì)算機(jī)視覺領(lǐng)域的一個熱點(diǎn)，且另有研究指出，語義分割任務(wù)也是計(jì)算機(jī)視覺領(lǐng)域的一個難點(diǎn)。

圖像語義分割是一類利用圖像中的高層語義特征對單個圖像像素進(jìn)行語義預(yù)測識別和語義分類的重要技術(shù)。隨著當(dāng)代人工智能技術(shù)的不斷深入發(fā)展，在各種計(jì)算機(jī)視覺前沿理論研究體系中，圖像語義分割已經(jīng)日漸成為居于核心的基礎(chǔ)部分，在諸多領(lǐng)域中皆有著廣泛的應(yīng)用價值，例如在醫(yī)療影像領(lǐng)域，圖像語義分割能夠分割出細(xì)節(jié)信息，使醫(yī)生能夠從圖像中更清晰地了解到病人的身體信息，為醫(yī)生診斷病情提供幫助。在人們拍照時，語義分割方法能夠精準(zhǔn)地識別臉部輪廓信息，輔助人臉美化算法，釋放人類愛美的天性。在自動駕駛中，圖像語義分割能夠幫助汽車識別場景中的道路、障礙物等信息并進(jìn)行精確定位，使汽車能夠安全地行駛。隨著技術(shù)革新和生產(chǎn)生活中需求的大幅提升，就越發(fā)體現(xiàn)出對語義分割技術(shù)進(jìn)行創(chuàng)新研究的重要性，且如前文所述，語義分割任務(wù)也是計(jì)算機(jī)視覺領(lǐng)域的一個難點(diǎn)。主要表現(xiàn)在：

（1）在物體層次上，由于光照、距離等拍攝條件的不同，相同的物體在圖像中的表現(xiàn)可能差距很大，而且各物體之間經(jīng)常存在遮擋、割裂等現(xiàn)象，因此正確地標(biāo)記出各物體的語義信息并不容易。

（2）在類別層次上，由于圖像內(nèi)容復(fù)雜多變，相同類別的物體在圖像中可能千差萬別，而不同類別的物體又可能高度相似。

（3）在背景層次上，現(xiàn)實(shí)場景中的圖像往往存在繁雜凌亂的背景，這也明顯增大了圖像語義分割任務(wù)的難度。

在交通道路場景中，判斷汽車行車路況從而躲避障礙進(jìn)行安全駕駛，對場景的環(huán)境進(jìn)行感知是一個棘手、且重要的問題。道路中的場景復(fù)雜多變，傳統(tǒng)方法無法實(shí)現(xiàn)對道路場景中各個物體的檢測。如今眾多的科研人員將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到無人駕駛的環(huán)境感知領(lǐng)域，而當(dāng)下的無人駕駛技術(shù)中大多利用的是價格昂貴的激光雷達(dá)來進(jìn)行環(huán)境感知，另有研究指出視覺感知成本低廉，也有助于產(chǎn)品化，同時卷積神經(jīng)網(wǎng)絡(luò)還是近來的研究熱點(diǎn)，因此基于卷積神經(jīng)網(wǎng)絡(luò)對道路場景進(jìn)行語義分割獲取環(huán)境信息技術(shù)進(jìn)行研究很有必要。

在當(dāng)前基于計(jì)算機(jī)視覺的圖像理解分析這一類別的應(yīng)用中，圖像語義分割技術(shù)是最重要的組成部分之一，不僅已被廣泛使用在工業(yè)界中，即便是在當(dāng)下的學(xué)術(shù)界，也是研究攻關(guān)的熱門方向之一。作為圖像信息處理當(dāng)中最重要、最基礎(chǔ)、而且也最復(fù)雜的技術(shù)問題之一，圖像語義分割相關(guān)技術(shù)的完善將能夠帶動其他領(lǐng)域的發(fā)展，在當(dāng)今社會具有廣闊的市場前景和實(shí)用價值，因而也有著重要的研究意義。

當(dāng)下已問世的大多數(shù)語義分割模型都是以編碼器-解碼器作為網(wǎng)絡(luò)的核心，編碼器是將信息進(jìn)行編碼，輸入到特征空間中，以此獲取圖像的特性信息；解碼器則將輸入的信息編碼映射到空間的分類器中以執(zhí)行分割。雖然語義分割常常被應(yīng)用于實(shí)時分割的任務(wù)中，但是，目前的大部分卷積神經(jīng)網(wǎng)絡(luò)層次較深、實(shí)時性不夠高，計(jì)算量比較大并且需要很長的處理時間，本文則基于快速卷積神經(jīng)網(wǎng)絡(luò)模型（Fast-SCNN），在其主干網(wǎng)絡(luò)模塊中，結(jié)合模型剪枝、多尺度卷積優(yōu)化等操作，提出新的網(wǎng)絡(luò)模型CRFast-SCNN。研究中，先在編碼部分進(jìn)行模型剪枝，壓縮模型的體積，提高該網(wǎng)絡(luò)的推理速度，接著就在其主干網(wǎng)絡(luò)部分進(jìn)行多尺度卷積優(yōu)化操作，擴(kuò)大感受野，提高大目標(biāo)邊界準(zhǔn)確率，保證分割的精度。最后通過對模型進(jìn)行訓(xùn)練。驗(yàn)證了改進(jìn)后的CRFast-SCNN相較于傳統(tǒng)語義分割網(wǎng)絡(luò)的準(zhǔn)確率更高。

1 語義分割相關(guān)模型

2014年，提出和定義了一個全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）。目前看來，該類網(wǎng)絡(luò)技術(shù)主要是應(yīng)用于圖像語義信息的分割，改編自預(yù)先訓(xùn)練好的分類網(wǎng)絡(luò)VGG-Net結(jié)構(gòu)（Very Deep Convolutional Networks，VGG-Net）。該網(wǎng)絡(luò)中的所有全連接層全部被替換成可直接輸入任意大小尺寸圖像的卷積層。不僅如此，還進(jìn)一步提出了像素精度、平均像素精度和等語義分割模型的評價標(biāo)準(zhǔn)。FCN在網(wǎng)絡(luò)計(jì)算中也首次真正地實(shí)現(xiàn)了深度卷積神經(jīng)網(wǎng)絡(luò)從端到端的語義分割。在該項(xiàng)研究之后，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像語義分割進(jìn)入了一個快速發(fā)展時期，于是學(xué)界經(jīng)常使用全卷積神經(jīng)網(wǎng)絡(luò)來解決圖像的語義分割問題。

Ronneberger等人在2015年提出的U-Net通過簡單地拼接解碼器獲得的特征映射和解碼器在每個對應(yīng)階段的上采樣特征映射，構(gòu)建了一個梯形網(wǎng)絡(luò)模型結(jié)構(gòu)。通過跳躍連接（Skip Connection，SC）架構(gòu)，該方法允許網(wǎng)絡(luò)解碼器在網(wǎng)絡(luò)編碼結(jié)構(gòu)的任何階段學(xué)習(xí)編碼器池化操作中丟失的圖像特征。這種網(wǎng)絡(luò)結(jié)構(gòu)在低樣本數(shù)據(jù)集的醫(yī)學(xué)圖像分割方面取得了可觀成果，也進(jìn)行了大量的實(shí)驗(yàn)研究。

2016年，劍橋大學(xué)團(tuán)隊(duì)基于FCN設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SegNet，具有堆成編碼解碼結(jié)構(gòu)。一部分編碼結(jié)構(gòu)是采用了基于VGG-16網(wǎng)絡(luò)的前13層卷積網(wǎng)絡(luò)，都對應(yīng)著一個特定類型的解碼器，下采樣方式使用最大池化，在上采樣階段，使用下采樣中記錄的邊界信息精確映射到原始位置，通過逐層恢復(fù)細(xì)節(jié)來提高分割精度，用于道路場景的分割。盡管多層最大池化與上采樣可以獲得更多的平移不變特征，但特征的空間分辨率仍將丟失，精度仍有提高的空間。

2016年，PSPNet基于FCN的不足已然顯現(xiàn)。雖然FCN是當(dāng)時語義分割效果最好的模型，但是當(dāng)FCN進(jìn)行語義分割預(yù)測時，不考慮全局信息，也就導(dǎo)致不能快速正確地判斷像素的上下文信息。為了更好地解決上述所有問題，PSPNet模型中選用了金字塔池化模塊，該模塊可以更有效地聚合不同區(qū)域間的上下文信息，進(jìn)而獲取全局信息的處理能力也得到了極大的提升，文章通過實(shí)驗(yàn)驗(yàn)證了該結(jié)構(gòu)的有效性。

深度殘差網(wǎng)絡(luò)（Dilated REsidual Networks，DRN）是2017年CVPR收 錄 的 論 文Dilated REsidual Networks中提出的模型，該文主要提出了在語義分割中使用膨脹卷積，并且還解決了使用膨脹卷積時產(chǎn)生的問題。

2019年，DANet模型則被提出，因?yàn)榫矸e運(yùn)算產(chǎn)生布局感受野，所以同一標(biāo)簽的像素的相應(yīng)特征可能不同，這種差異將導(dǎo)致類別內(nèi)的不一致，會對識別的準(zhǔn)確率產(chǎn)生影響。為了使像素級別識別特征的能力得到提高，DANet提出利用注意機(jī)制建立特征之間的關(guān)聯(lián)，用來獲取全局上下文信息。

然而，最先進(jìn)的實(shí)時語義分割仍然具有挑戰(zhàn)性，通常需要高端的GPU。受到雙分支方法的啟發(fā)，F(xiàn)ast-SCNN采用了共享的淺層網(wǎng)絡(luò)路徑來進(jìn)行編碼，同時以低分辨率高效地學(xué)習(xí)上下文信息。

2 本文網(wǎng)絡(luò)模型與結(jié)構(gòu)

Fast-SCNN是2019年提出的一種快速卷積神經(jīng)網(wǎng)絡(luò)，該模型在高分辨率圖像上也能達(dá)到實(shí)時效果，內(nèi)存消耗低、很適合在嵌入式設(shè)備上運(yùn)行，模型比較小，相對于其他語義分割網(wǎng)絡(luò)具有參數(shù)少、運(yùn)算速度快、效率高等優(yōu)點(diǎn)，并且也具有一定的準(zhǔn)確性，可以滿足在道路場景上進(jìn)行語義分割的實(shí)時性和準(zhǔn)確率的要求。

但是Fast-SCNN網(wǎng)絡(luò)也仍然具有升級的空間，后期可以繼續(xù)改進(jìn)提高。本文對Fast-SCNN采用了模型剪枝和多尺度卷積優(yōu)化的改進(jìn)方法，提出了一種多尺度特征道路場景語義分割的模型CRFast-SCNN。

2.1 Fast-SCNN網(wǎng)絡(luò)介紹

Fast-SCNN受雙分支結(jié)構(gòu)和經(jīng)典的編碼器解碼器框架啟發(fā)，模型前面幾個層是用來提取低層次的特征，將第一部分改為一個淺層學(xué)習(xí)下采樣的模塊，使上述2個框架的核心思路結(jié)合起來，從而構(gòu)建一個快速的語義分割模型。Fast-SCNN的結(jié)構(gòu)如圖1所示。

圖1 Fast-SCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Fast-SCNN network structure

由圖1可知，整個網(wǎng)絡(luò)由學(xué)習(xí)下采樣模塊、全局特征提取器、特征融合模塊和分類器四部分組成。這里給出研究闡釋如下。

（1）學(xué)習(xí)下采樣模塊：該模塊的卷積層總共有3個，先是1個普通的卷積層，后面2個則使用了深度可分離卷積層，這2層主要是用來提高效率。一般情況下，每個卷積層的步長設(shè)置為2，該模塊輸出特征的長度（或?qū)挾龋┮泊蠹s為輸入圖像尺寸的1／8。每一個卷積層卷積核大小均為3×3，每一個卷積層后都會緊接著一個層和一個激活函數(shù)。

（2）全局特征提取器：Fast-SCNN利用全局特征提取器來實(shí)時獲取全局上下文信息，全局特征提取器的結(jié)構(gòu)有些類似于傳統(tǒng)的兩分支結(jié)構(gòu)中的深度分支。在傳統(tǒng)的深度分支中，其輸入圖像的分辨率一般很低，而全局特征提取器的輸入是在經(jīng)過學(xué)習(xí)下采樣模塊處理后所得到的特征圖。當(dāng)輸入圖像和輸出圖像大小一致時，使用殘差連接以及深度可分離卷積，可以減少參數(shù)數(shù)量以及浮點(diǎn)操作的數(shù)量。此外，在模塊最后還添加了一個金字塔池模塊（PPM），高模塊可以根據(jù)區(qū)域的不同來進(jìn)行上下文信息的聚合。

（3）特征融合模塊：特征融合模塊的主要作用之一是融合2個重要分支的輸出特征，F(xiàn)ast-SCNN進(jìn)行特征融合的結(jié)構(gòu)一般比較清晰簡單，可以在一定時間內(nèi)最大限度地提升計(jì)算效率。

繼續(xù)融合時，2個深度分支上輸出特征的大小必須一致，因此，就要同時對深度分支的輸出特征進(jìn)行上采樣操作。在2個分支的末端，都加上了一個尺寸為1×1的卷積操作，主要功能是進(jìn)行最終通道數(shù)的調(diào)整，將2個分支最終的輸出特征予以相加，再使用激活函數(shù)來進(jìn)行非線性函數(shù)的變換操作。

（4）分類器：該模塊主要由2個深度可分離卷積，加上一個尺寸為1×1的常規(guī)卷積組成，這樣就使網(wǎng)絡(luò)性能得到提高。模塊中還有一個操作。在進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時，使用來計(jì)算損耗，在實(shí)際推理時，將操作替換為操作，就可以大幅提高推理的速度。

研究歸納后得到的前述4部分的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1。表1中，表示瓶頸殘差塊的膨脹系數(shù)；表示該計(jì)算模塊輸出的特征圖通道數(shù)；表示該模塊重復(fù)的次數(shù)；表示卷積的步長。

表1 Fast-SCNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Fast-SCNN network structure parameters

2.2 Fast-SCNN網(wǎng)絡(luò)改進(jìn)

道路場景語義分割對實(shí)時性和準(zhǔn)確率都有一定的要求。因此，在選擇深度學(xué)習(xí)的網(wǎng)絡(luò)框架時，就要同時兼顧到實(shí)時性和準(zhǔn)確率。相較于傳統(tǒng)的語義分割網(wǎng)絡(luò)模型，F(xiàn)ast-SCNN在實(shí)時性和準(zhǔn)確率上有著較好的表現(xiàn)，但仍具有一定可塑性，可進(jìn)一步加以改進(jìn)與提高。因此通過對原網(wǎng)絡(luò)的詳盡分析可知，為了更適用于道路場景語義分割，本文擬對Fast-SCNN網(wǎng)絡(luò)從下面2個方面來進(jìn)行改進(jìn)：

（1）網(wǎng)絡(luò)模型剪枝：通過多次實(shí)驗(yàn)，找到模型中存在的某個模塊對整體效果影響不大，而且去掉之后還可以提高模型計(jì)算速度，對該部分進(jìn)行微調(diào)，從而提高了推理速度。

（2）多尺度特征卷積：在殘差網(wǎng)絡(luò)中使用殘差分層的方式進(jìn)行連接，可以在更細(xì)粒度級別表達(dá)多尺度特征，可以增加每層網(wǎng)絡(luò)的感受野大小，保證分割精度。

2.2.1 模型剪枝

由表1可知，在Fast-SCNN模型中的全局特征提取器中相同膨脹系數(shù)的層的重復(fù)次數(shù)都為3，經(jīng)過多次對比實(shí)驗(yàn)，本文中的改進(jìn)對比實(shí)驗(yàn)結(jié)果見表2。 由表2可知，減少層的重復(fù)次數(shù)后，模型效果并未下降，計(jì)算速度還有了一定的提高，由此可以看出原模型中的全局特征提取部分存在一定的信息冗余，過多的層會增加模型的參數(shù)量和計(jì)算量，雖然產(chǎn)生的影響較小，但是減少后卻可以進(jìn)一步降低參數(shù)數(shù)量和計(jì)算量，以及提高網(wǎng)絡(luò)的計(jì)算速度。這里即將模型剪枝后的網(wǎng)絡(luò)模型命名為CFast-SCNN。

表2 Bottleneck改進(jìn)對比實(shí)驗(yàn)Tab.2 Bottleneck improved comparison experiments

2.2.2 多尺度特征融合

Fast-SCNN網(wǎng)絡(luò)借用了PSPNet網(wǎng)絡(luò)中的金字塔池化部分，并使用多級池化技術(shù)實(shí)現(xiàn)了全局信息的獲取，以及當(dāng)前熱門的多分支結(jié)構(gòu)，改進(jìn)后的Fast-SCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。由圖2可知，具體來說，在對卷積進(jìn)行下采樣步驟后，使用多級池化方法從淺至深的方向提取出圖像的多層次特征；同時，從第二分支中了解高圖像分辨率級別的淺層信息特征，并有效填充因多級池化方法而引起的空間信息流失；網(wǎng)絡(luò)中的卷積部分通常使用的是深度可分離卷積，這類卷積算法有助于縮小模型規(guī)模和提高推理速度。雖然Fast-SCNN可以將通過多次卷積下采樣操作所得的輸出結(jié)果與金字塔池化進(jìn)行融合，但最終得到的圖像語義特征卻容易丟掉了圖像中某些小型物件的淺層特性。這將導(dǎo)致難以檢測到過小尺寸的邊緣特征信息。網(wǎng)絡(luò)中經(jīng)過池化層后再進(jìn)行了4倍上采樣，使得其1／8圖像的特征信息差值變大，使得網(wǎng)絡(luò)對邊緣像素進(jìn)行標(biāo)簽預(yù)測時的效果也會變差。至此，將經(jīng)過上采樣后的特征信息和從第二分支得到的通道信息進(jìn)行了融合，而對于上采樣后的特征信息，則不能進(jìn)行通道上的特征識別，這就使得整個網(wǎng)絡(luò)的信息分割精度在一定程度上有所降低。

圖2 改進(jìn)后的Fast-SCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Improved Fast-SCNN network structure

改進(jìn)后的結(jié)果可分述如下：

（1）模型剪枝，減少全局特征提取器部分產(chǎn)生的冗余信息，降低參數(shù)量，減少計(jì)算量。

（2）多次重復(fù)進(jìn)行下采樣，使網(wǎng)絡(luò)更大概率地學(xué)習(xí)到圖像中更深層的語義特征信息，針對細(xì)節(jié)信息，加強(qiáng)網(wǎng)絡(luò)的識別精度。

（3）為避免擴(kuò)展計(jì)算產(chǎn)生的誤差，在完成金字塔池化部分后，調(diào)整上采樣的采樣倍數(shù)。

（4）基于U-Net網(wǎng)絡(luò)中編碼器和解碼器對稱的思路，在高層語義特征進(jìn)行上采樣后融合3組不同尺寸的特征信息，尺寸分別為1／4、1／8、1／16，可以識別更多淺層細(xì)節(jié)信息。

（5）獲取高層語義特征后，將該特征信息進(jìn)行上采樣，再將其與淺層信息融合到一起，能更好地學(xué)習(xí)到通道間信息，使網(wǎng)絡(luò)模型擁有區(qū)域不同通道信息的能力。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

Cityscapes數(shù)據(jù)集是一個大型公開的城市道路場景數(shù)據(jù)集，圖像來源分別為在50個不同城市的街道上拍攝采集的城市街景圖。Cityscapes數(shù)據(jù)集圖片示例見圖3。該數(shù)據(jù)集中包含了5000張像素級別標(biāo)注的高質(zhì)量圖片，其中訓(xùn)練集有2795張，測試集與驗(yàn)證集有500張，用于基準(zhǔn)測試的有1525張。此外，為了進(jìn)一步地驗(yàn)證弱監(jiān)督語義分割模型，還包含20000張帶有粗略標(biāo)注的圖像。數(shù)據(jù)集中包括8個類別。這8個類別涵蓋了19個子類別。常用的19個語義類別是：道路（Road）、人行道（Sidewalk）、建筑物（Building）、墻壁（Wall）、柵欄（Fence）、欄桿（Pole）、交通燈（Traffic light）、交通標(biāo)志（Traffic sign）、草 叢（Vegetation）、地 面（Terrain）、天 空（Sky）、行人（Person）、騎行者（Rider）、汽車（Car）、卡車（Truck）、公交車（Bus）、火車（Train）、摩托車（Motorcycle）、自行車（Bicycle）。

圖3 Cityscapes數(shù)據(jù)集圖片示例Fig.3 An example of Cityscapes dataset pictures

3.2 評價標(biāo)準(zhǔn)

本文選用平均交并比（Mean Intersection over Union，）作為模型效果的評價指標(biāo)。計(jì)算每一類的然后求取平均值。在眾多的語義分割評價指標(biāo)中，因其具有簡潔、代表性較強(qiáng)的特點(diǎn)，故而成為研究中最常用的度量標(biāo)準(zhǔn)。

假設(shè)圖像中共有1個類別，P表示本屬類卻預(yù)測為類的像素點(diǎn)總數(shù)，P表示第類像素預(yù)測正確的個數(shù)，評價指標(biāo)的計(jì)算可由如下公式進(jìn)行計(jì)算：

3.3 參數(shù)設(shè)置

文章仿真實(shí)驗(yàn)是基于Ubuntu 18.014操作系統(tǒng)，處理器為Intel Xeon Silver 4210，RAM為64 G內(nèi)存。編譯環(huán)境采用Python3.6編譯環(huán)境及Pytorch1.6框架。本文使用Fast-SCNN和改進(jìn)后的CFast-SCNN在Cityscapes數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證。使用標(biāo)準(zhǔn)梯度下降法訓(xùn)練模型，參數(shù)設(shè)置：批量大小為50，基礎(chǔ)學(xué)習(xí)率為0.12，學(xué)習(xí)動量為0.9，權(quán)重衰減系數(shù)設(shè)置為4e-5，這樣一來每次訓(xùn)練都可以得到最佳性能。

3.4 實(shí)驗(yàn)結(jié)果

改進(jìn)后的模型和原模型在Cityscapes數(shù)據(jù)集上的比較結(jié)果見表3所示。

表3 各模型在Cityscapes數(shù)據(jù)集上訓(xùn)練的結(jié)果Tab.3 Results of each model's training on the Cityscapes dataset

由表3中可以看出在Cityscapes數(shù)據(jù)集上，改進(jìn)后的模型效果優(yōu)于改進(jìn)前的模型效果。改進(jìn)后的CFast-SCNN相較于原模型在平均交并比（）上有7.26%的提升。改進(jìn)后模型在準(zhǔn)確率上也有所提高，達(dá)到了預(yù)期的實(shí)驗(yàn)效果。

在設(shè)置超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)都為最優(yōu)的情況下，隨著迭代次數(shù)的不斷增加，網(wǎng)絡(luò)損失函數(shù)曲線圖和變化曲線圖分別如圖4、圖5所示。

將圖4與圖5進(jìn)行對比可以看出，改進(jìn)后的模型CFast-SCNN經(jīng)過75次迭代后，損失函數(shù)值下降很明顯，精度值在經(jīng)過50次迭代后則有顯著提升。損失值越低，在訓(xùn)練過程中產(chǎn)生的損失越少，網(wǎng)絡(luò)準(zhǔn)確率較高。值提升也證明了改進(jìn)后CFast-SCNN網(wǎng)絡(luò)的有效性。

圖4 Fast-SCNN的損失圖和訓(xùn)練精度圖Fig.4 Loss diagram and training accuracy diagram of Fast-SCNN

圖5 CFast-SCNN的損失圖和訓(xùn)練精度圖Fig.5 Loss diagram and training accuracy diagram of CFast-SCNN

4 結(jié)束語

作為計(jì)算機(jī)視覺中圖像理解的重要一環(huán)，圖像語義分割技術(shù)不僅在工業(yè)界的需求正日益凸顯，而且也是當(dāng)下學(xué)術(shù)界的研究熱點(diǎn)之一。本文提出的改進(jìn)后CFast-SCNN道路場景語義分割模型，可以滿足當(dāng)下在實(shí)際環(huán)境中道路場景的分割準(zhǔn)確率和實(shí)時性的需求。研究可知，改進(jìn)后的模型相比原模型在各方面性能上都有了一定的提高。未來也還會在網(wǎng)絡(luò)的改進(jìn)上開展更多研究。