• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于深度學(xué)習(xí)的輕量級道路圖像語義分割算法

      2021-07-02 00:35:44馮子亮
      計算機(jī)應(yīng)用 2021年5期
      關(guān)鍵詞:注意力語義卷積

      胡 嵽,馮子亮

      (四川大學(xué)計算機(jī)學(xué)院,成都 610065)

      (*通信作者電子郵箱1626429788@qq.com)

      0 引言

      圖像語義分割[1-3]是計算機(jī)視覺中的基礎(chǔ)性技術(shù)之一,主要針對圖像中的每個像素點的語義信息來進(jìn)行分類分割,在自動駕駛、機(jī)器人視覺以及智能場景理解領(lǐng)域具有非常重要的應(yīng)用價值。道路圖像語義分割作為自動駕駛領(lǐng)域不可或缺的重要一環(huán),協(xié)助車道線檢測以及行人檢測與識別等任務(wù)[2]。現(xiàn)存的圖像語義分割網(wǎng)絡(luò)模型存在模型參數(shù)量巨大、計算復(fù)雜等缺點,未能達(dá)到移動端進(jìn)行快速實時語義分割的要求。因此,本文使用深度可分離卷積設(shè)計出了一種輕量級對稱式U 型編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)模型MUNet,融合不同層級特征來填充丟失細(xì)節(jié)。在下采樣中丟失的空間信息其實不能簡單地通過融合就能被完整恢復(fù),所以本文在MUNet 中加入稀疏短連接,加強(qiáng)相鄰網(wǎng)絡(luò)層間的信息互通,捕捉邊緣上下文信息并進(jìn)行特征復(fù)用。由于現(xiàn)階段的分割網(wǎng)絡(luò)較難分割較小目標(biāo),比如道路場景下的電線桿,以及具有相似外觀的不同目標(biāo)或者是具有不同外觀的同一目標(biāo)[3]。為了解決這些問題,本文在網(wǎng)絡(luò)中融合了注意力機(jī)制,更好地捕捉全局上下文信息,減少類間粘連以及類內(nèi)分隔的發(fā)生,在極大地減少參數(shù)量降低計算復(fù)雜度的同時得到更精細(xì)的分割結(jié)果。在實際訓(xùn)練中由于語義分割這類像素級密集預(yù)測任務(wù)的特殊性以及硬件限制,通常會設(shè)置很小的batch size,在這樣的情況下使用批歸一化(Batch Normalization,BN)[4]并不能得到很好的結(jié)果,因此本文選擇使用組歸一化(Group Normalization,GN)[5]來替代BN進(jìn)行更有效的歸一化。

      本文的主要工作如下:

      1)使用深度可分離卷積設(shè)計出一種輕量級對稱式U 型編碼-解碼結(jié)構(gòu)網(wǎng)絡(luò)模型,聯(lián)合不同層級特征,在極大地減小參數(shù)量以及計算量的同時也保證了網(wǎng)絡(luò)分割精度;

      2)在編碼端以及解碼端不同網(wǎng)絡(luò)層次之間加入稀疏短連接,進(jìn)一步補(bǔ)充下采樣過程中丟失的空間細(xì)節(jié);

      3)在網(wǎng)絡(luò)中融入注意力機(jī)制,這樣的注意力機(jī)制融合了長距離依賴以及通道注意力依賴,能更好地利用全局上下文信息;

      4)使用GN 來替代BN,在batch size 很小的情況,也能得到很好的分割結(jié)果。

      1 相關(guān)工作

      1.1 圖像語義分割

      在圖像語義分割任務(wù)中,為了獲得更豐富的特征圖,網(wǎng)絡(luò)通常會融合多尺度信息、直接增大感受野或者使用注意力機(jī)制等方法。其中融合多尺度信息的方法可分為編碼器-解碼器結(jié)構(gòu)以及金字塔結(jié)構(gòu)等。使用類似編碼器-解碼器結(jié)構(gòu)的圖像語義分割網(wǎng)絡(luò)有全卷積神經(jīng)網(wǎng)絡(luò)(Fully Concolutional neural Network,F(xiàn)CN)[6]、U-Net[7]、SegNet[8]、深層特征聚合網(wǎng)絡(luò)(Deep Feature Aggregation Network,DFANet)[9]等,將編碼端獲取到的信息映射到解碼端,便于解碼端很好地恢復(fù)分割目標(biāo)細(xì)節(jié)信息。而金字塔場景分析網(wǎng)絡(luò)(Pyramid Scene Parsing Network,PSPNet)[10]等網(wǎng)絡(luò)則通過金字塔結(jié)構(gòu)融合多尺度信息,聚合不同區(qū)域的同類目標(biāo)上下文信息。DeepLabv3+[11]將編碼器-解碼器結(jié)構(gòu)和金字塔結(jié)構(gòu)相結(jié)合,聯(lián)合兩種結(jié)構(gòu)的優(yōu)勢,提高模型分割效率。

      為了獲得大感受野從而促使網(wǎng)絡(luò)分割性能得到提升,語義分割網(wǎng)絡(luò)選擇大卷積核或者空洞卷積。通過使用大卷積核來獲得足夠大的感受野的操作往往會耗費大量的計算資源,因此一些網(wǎng)絡(luò),比如全局卷積網(wǎng)絡(luò)(Global Convolutional Network,GCN)[12]通過堆疊小卷積來替代大卷積核,在降低參數(shù)量和計算量的同時獲得和大卷積核類似的感受野??斩淳矸e在語義分割中是一個強(qiáng)有力的工具來有效地調(diào)整卷積感受野[13],DeepLabv3+中也使用了空洞卷積,組成了空間金字塔結(jié)構(gòu)融合多尺度語義信息,但使用空洞卷積會大量消耗內(nèi)存。

      注意力機(jī)制作為圖像語義分割網(wǎng)絡(luò)中獲取全局上下文信息有力的工具之一,在近年來的分割網(wǎng)絡(luò)中被廣泛使用,比如判別特征網(wǎng)絡(luò)(Discriminative Feature Network,DFNet)[14]利用卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)[15]選擇更具判別力的特征,解決分割目標(biāo)類內(nèi)不一致問題。

      1.2 注意力機(jī)制

      計算機(jī)視覺中的注意力機(jī)制主要通過一層新的權(quán)重將圖片中關(guān)鍵的特征標(biāo)識出來,讓深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到每一張圖片中需要關(guān)注的區(qū)域,加強(qiáng)卷積空間特征表達(dá),得到更多的全局上下文信息。目前在圖像語義分割中使用的注意力機(jī)制主要是軟注意力機(jī)制,包含空間注意力以及通道注意力機(jī)制,單獨加入通道注意力或者將空間注意力以及通道注意力進(jìn)行融合[15-21]。軟注意力機(jī)制中還有自注意力機(jī)制,這是軟注意力機(jī)制的另一種特殊形式,主要代表是非局部注意力網(wǎng)絡(luò)(Non-Local neural Network,NLNet)[22],提出了一種Non-local操作獲取圖像中位置長距離依賴。為了更好地獲得更多的全局上下文信息,全局上下文網(wǎng)絡(luò)(Global Context Network,GCNet)[23]還將NLNet中的Non-local操作以及文獻(xiàn)[21]中的通道注意力機(jī)制相結(jié)合,得到結(jié)合兩者優(yōu)點的注意力機(jī)制,簡單有效地對全局上下文進(jìn)行建模,更好地補(bǔ)充網(wǎng)絡(luò)中的語義信息,增加提取特征的多樣性。

      1.3 輕量級神經(jīng)網(wǎng)絡(luò)

      為了降低常規(guī)卷積帶來爆炸式增長的計算量,很多方法選擇構(gòu)建參數(shù)量以及計算量較少但有效的神經(jīng)網(wǎng)絡(luò)。構(gòu)建這樣簡單有效的神經(jīng)網(wǎng)絡(luò)的方式主要有兩種:一種是選擇使用深度可分離卷積或者組卷積組成輕量級神經(jīng)網(wǎng)絡(luò)[24-31];另一種就是進(jìn)行模型裁剪[32-34]。由于模型裁剪可能會帶來不可恢復(fù)的細(xì)節(jié)丟失,同時如何進(jìn)行相對有效的裁剪工作仍需進(jìn)一步的理論支撐,現(xiàn)階段主要是選擇前一種方式來獲得輕量級神經(jīng)網(wǎng)絡(luò)快速有效地分割目標(biāo)。

      2 模型設(shè)計

      2.1 網(wǎng)絡(luò)架構(gòu)

      本文主要使用文獻(xiàn)[24]提出的深度可分離卷積設(shè)計出一種輕量級對稱式U型編碼器-解碼器結(jié)構(gòu)網(wǎng)絡(luò)模型MUNet,極大地減小參數(shù)量以及計算量。文獻(xiàn)[24]中的深度可分離卷積由一系列的深度卷積(depthwise convolution)以及1×1 點卷積(pointwise convolution)組成,其與標(biāo)準(zhǔn)卷積的對比如圖1 所示,圖1中Dk表示卷積核的尺寸,M表示輸入通道的大小,而N表示輸出通道的大小。

      MUNet 基礎(chǔ)卷積塊借鑒文獻(xiàn)[30]提出的MobileNetv2 網(wǎng)絡(luò)中的倒置殘差卷積塊結(jié)構(gòu),具體結(jié)構(gòu)如圖2所示。

      圖2 倒置殘差卷積塊Fig.2 Inverted residual convolutional block

      在MUNet 中也引入了在文獻(xiàn)[30]以及[31]中出現(xiàn)的relu6 以及h-swish 激活函數(shù)。relu6 函數(shù)主要是為了避免低精度浮點數(shù)無法精確描述數(shù)值而帶來的精度損失,可表示為:

      h-swish 函數(shù)計算成本低,因此在本文中MUNet 的設(shè)計也采用了這樣的激活函數(shù)盡可能地減少計算量,可表示為:

      最終設(shè)計得到的輕量級對稱式U 型編碼器-解碼器架構(gòu)的網(wǎng)絡(luò)模型MUNet的具體結(jié)構(gòu)如圖3所示。圖中虛線框內(nèi)表示MUNet 的基礎(chǔ)卷積塊,網(wǎng)絡(luò)的左端作為編碼端使用步長為2 的深度可分離卷積進(jìn)行下采樣,網(wǎng)絡(luò)的右端作為解碼端使用雙線性插值進(jìn)行上采樣還原下采樣過程縮減的圖像尺寸,以獲得更高分辨率的分割特征圖。編碼端和解碼端對應(yīng)大小的特征進(jìn)行通道級別的特征融合,通過融合不同層級特征來彌補(bǔ)圖像經(jīng)過下采樣操作丟失的細(xì)節(jié)。網(wǎng)絡(luò)中的稀疏短距離連接主要為相隔一層的兩個卷積塊之間進(jìn)行通道級融合,在基礎(chǔ)卷積塊中加入注意力機(jī)制,目的是來提取更充沛的全局上下文信息。

      圖3 MUNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of MUNet

      2.2 稀疏短距離連接

      MUNet在網(wǎng)絡(luò)編碼端以及解碼端中設(shè)計了前面層和后面層的稀疏短距離連接,將相鄰網(wǎng)絡(luò)層卷積得到的高層語義特征以及底層細(xì)節(jié)特征進(jìn)行通道級別的融合,實現(xiàn)特征復(fù)用從而得到更好的分割結(jié)果。與文獻(xiàn)[35]和文獻(xiàn)[36]中的前后層密集連接不同,為了實現(xiàn)模型參數(shù)量和性能表現(xiàn)之間更好的折中,本文實現(xiàn)的是稀疏短距離連接,即每層網(wǎng)絡(luò)并不作為相鄰層的直接輸入,而是作為相鄰層的下一層的額外輸入。

      使用公式表示網(wǎng)絡(luò)在第i層的輸出為:

      Fi(·)為非線性轉(zhuǎn)化函數(shù),由一系列深度可分離卷積等操作組成,這里的第i層在本文中實際上表示由多個卷積層組成的第i個卷積塊層。編碼端以及解碼端的稀疏短連接結(jié)構(gòu)類似,在編碼端的稀疏短連接具體結(jié)構(gòu)如圖4所示。

      圖4 MUNet稀疏短連接結(jié)構(gòu)Fig.4 MUNet sparse short connection structure

      2.3 注意力機(jī)制

      MUNet使用編碼器-解碼器結(jié)構(gòu)來融合多尺度信息,但是這類方法捕獲的是同類上下文,而忽略了不同類別的上下文關(guān)系。為了能有效聚合不同類別上下文信息,在物體邊緣處獲得更精確的預(yù)測,本文在MUNet 中融入了類似文獻(xiàn)[23]中的混合注意力機(jī)制GC 模塊,該注意力機(jī)制將Non-local 模塊以及Squeeze-and-Excitate(SE)[21]模塊進(jìn)行有效融合,進(jìn)一步提升網(wǎng)絡(luò)分割性能。

      SE 模塊對不同通道進(jìn)行權(quán)值重標(biāo)定,由于其主要捕捉通道依賴,缺乏對空間信息的全局上下文建模。而Non-local 模塊主要捕捉長距離依賴,旨在從其他位置聚集信息來增強(qiáng)當(dāng)前位置的特征,這樣的操作計算量巨大。因此,SE 模塊和Non-local 模塊的融合能夠達(dá)到取長補(bǔ)短的效果,對整個特征進(jìn)行全局上下文建模,增加特征提取的多樣性。

      在本文中使用的GC模塊用公式可表示為:

      在式(4)中將輸入的特征圖定義為x=,z為模塊的輸出,Np表示特征圖的位置數(shù)量,Wk、Wv1以及Wv2為線性轉(zhuǎn)換矩陣,表示1×1卷積。

      具體模塊細(xì)節(jié)如圖5所示。

      圖5 MUNet中使用的GC模塊結(jié)構(gòu)Fig.5 GC block structure used in MUNet

      GC 模塊主要分為三部分:第一部分使用1×1 卷積以及Softmax 函數(shù)來進(jìn)行全局上下文建模;第二部分使用類似SE模塊的設(shè)計來捕捉通道依賴;第三部分是將第二部分得到的結(jié)果與模塊原始輸入進(jìn)行通道級融合,聚合全局上下文信息到具體特征中。

      2.4 組歸一化

      針對BN 在batch size 較小時其結(jié)果反而不是很好的問題,本文選擇使用GN 來有效替代BN。GN 按組劃分輸入通道,對每組計算均值以及方差來進(jìn)行歸一化,其計算獨立于batch size,因此和BN 相比,更適合于batch size 較小的歸一化情況。GN歸一化方式和BN之間的對比如圖6所示,圖中的C表示通道維度,N表示batch size,陰影部分的像素表示通過這部分像素值聚合得到的均值以及方差來進(jìn)行歸一化。

      圖6 歸一化方式比較Fig.6 Comparison of normalization modes

      3 實驗結(jié)果

      3.1 實驗設(shè)置

      實驗在一臺CPU 為Intel Core i7、GPU 為GTX 1080、內(nèi)存大小為64 GB 的計算機(jī)上運行,實驗環(huán)境具體采用操作系統(tǒng)Ubuntu 16.04,編程語言python3.7.6,深度學(xué)習(xí)框架tensorflow-gpu1.14.0,GPU加速工具CUDA10.0以及cuDNN 7.6.4。

      實驗用的數(shù)據(jù)集是劍橋駕駛場景標(biāo)注視頻數(shù)據(jù)集(Cambridge-driving Labeled Video Database,CamVid)[37],是第1 個從駕駛汽車的角度拍攝,具有目標(biāo)類別語義標(biāo)簽的道路場景視頻圖像集合。主要提供32 個精細(xì)標(biāo)注語義標(biāo)簽,實際上訓(xùn)練集圖像只有421 張,測試集圖像168 張,原始訓(xùn)練圖像大小都為960×720。為了使網(wǎng)絡(luò)能夠正常訓(xùn)練這些數(shù)據(jù),在訓(xùn)練時將圖像裁剪成512×512 大小,同時進(jìn)行水平翻轉(zhuǎn)以及垂直翻轉(zhuǎn)來進(jìn)行數(shù)據(jù)增強(qiáng)。

      MUNet 網(wǎng)絡(luò)訓(xùn)練時batch size 由于硬件限制設(shè)置為1,優(yōu)化算法使用均方根傳遞(Root Mean Square prop,RMSProp)算法,初始學(xué)習(xí)率(learning rate)設(shè)置為0.000 1,使用交叉熵函數(shù)作為損失函數(shù),relu、relu6以及h-swish交替作為激活函數(shù)。

      實驗采用的評估指標(biāo)是平均交并比(Mean Intersection over Union,MIoU)、總的模型參數(shù)量以及模型計算量(FLoating Point Operations,F(xiàn)LOPs)。MIoU 主要是用來評估模型分割結(jié)果,計算預(yù)測值和真實值重疊的比例。參數(shù)量計算模型總的可訓(xùn)練參數(shù)量,主要評估模型的空間復(fù)雜度;FLOPs指的是浮點運算數(shù),可以用來評估模型的時間復(fù)雜度。

      3.2 對比實驗

      為了驗證稀疏短距離連接、注意力機(jī)制GC模塊以及組歸一化GN 方法的有效性,本文在CamVid 數(shù)據(jù)集上進(jìn)行了對比實驗,測試圖像也同樣裁剪成了512×512 大小。具體實驗設(shè)計以及結(jié)果如表1所示。

      表1 MUNet在CamVid數(shù)據(jù)集上的對比實驗結(jié)果Tab.1 Comparison of experimental results of MUNet on CamVid dataset

      在表1 中,只使用深度可分離卷積構(gòu)建的U 型編碼器-解碼器網(wǎng)絡(luò)原始模型得到的MIoU 為55.67%。與原始的MUNet相比,僅加入稀疏短連接后的模型分割結(jié)果MIoU 增加了2.60 個百分點;僅加入GC 注意力機(jī)制后的模型分割結(jié)果MIoU 增加了1.06 個百分點;加入稀疏短連接以及GC 后的MUNet 模型分割結(jié)果MIoU 增加了3.04 個百分點;在上面的網(wǎng)絡(luò)中將GN 替代BN 對網(wǎng)絡(luò)層進(jìn)行有效的歸一化,最后得到的分割結(jié)果MIoU增加了3.91個百分點。

      為了對比其他注意力機(jī)制對MUNet 的影響,本文還設(shè)計了在原始MUNet 中融合另外兩種不同注意力機(jī)制SE block[21]以及CBAM[15]的對比實驗,實驗結(jié)果如表2所示。

      表2 不同注意力機(jī)制對比實驗結(jié)果Tab.2 Comparison of experimental results of different attention mechanisms

      分別增加了GC 注意力機(jī)制和SE注意力機(jī)制的網(wǎng)絡(luò)和原網(wǎng)絡(luò)相比,參數(shù)量和FLOPs 的增加都非常小。在表2 中參數(shù)量和計算量按照科學(xué)計數(shù)法表示,相應(yīng)結(jié)果乘以106,折算下來兩種注意力機(jī)制在參數(shù)量和計算量上的差別微乎其微,但使用GC block的網(wǎng)絡(luò)MIoU會更高。CBAM注意力機(jī)制較為復(fù)雜,所以在MUNet中增加少量的CBAM 模塊得到的MIoU比未加之前更差,同時CBAM所增加的參數(shù)量和計算量也是這三種注意力機(jī)制中最多的,這樣的CBAM并不適合在設(shè)計輕量級網(wǎng)絡(luò)的情況下使用。對比其他兩種注意力機(jī)制,使用GC注意力模塊后的模型分割結(jié)果是最好的,增加的參數(shù)量以及計算量相對較少,在模型分割結(jié)果和復(fù)雜度之間是最好的折中。

      3.3 結(jié)果與分析

      在1 000 輪訓(xùn)練下,當(dāng)測試圖像都裁剪為512×512 大小時,MUNet和其他現(xiàn)存的圖像語義分割模型在CamVid數(shù)據(jù)集上的對比實驗結(jié)果如表3所示。

      表3 圖像語義分割模型實驗結(jié)果Tab.3 Experimental results of image semantic segmentation models

      在表3 中,本文提出的MUNet 模型在參數(shù)量和計算量都很少的情況下,分割結(jié)果MIoU 高于使用ResNet101[38]作為基準(zhǔn)網(wǎng)絡(luò)來提取特征的PSPNet、DeepLabv3+、GCN、RefineNet[39]圖像語義分割網(wǎng)絡(luò)。而MUNet 和其他輕量級語義分割模型在CamVid數(shù)據(jù)集上的對比實驗結(jié)果如表4所示。

      表4 輕量級語義分割模型實驗結(jié)果Tab.4 Experimental results of light-weighted semantic segmentation models

      和屬于輕量級網(wǎng)絡(luò)的快速語義分割模型(Fast Semantic Segmentation Network,F(xiàn)SSNet)[2]以及高效神經(jīng)網(wǎng)絡(luò)(Efficient neural Network,ENet)[40]比較,MUNet 的參數(shù)量會多一些,但分割效果更好,其MIoU 比FSSNet 網(wǎng)絡(luò)的MIoU 高約1 個百分點左右,比ENet網(wǎng)絡(luò)的MIoU高8.28個百分點,是模型參數(shù)量以及計算量和模型分割精度之間相對較好的折中。FSSNet原文沒有給出計算量指標(biāo),因此兩者在計算量維度上無法進(jìn)行比較。

      由于硬件限制,對于分辨率為960×780 大小的原始輸入圖像,將其裁剪為512×512 大小進(jìn)行訓(xùn)練。測試的時候,對于不同分辨率大小的測試圖像,模型分割結(jié)果是不一樣的,如表5所示。

      表5 MUNet對不同分辨率圖像的分割結(jié)果Tab.5 Segmentation results of MUNet for different resolution images

      模型針對分辨率稍大一些的測試圖像,能獲得更多的細(xì)節(jié)信息,分割結(jié)果也相應(yīng)地會更好。在表5 中當(dāng)測試圖像分辨率為720×720 時,MUNet 模型分割結(jié)果是最好的,其MIoU達(dá)到了61.92%。模型具體分割結(jié)果對比如圖7所示。在圖7中,主要選取了CamVid 數(shù)據(jù)集中比較典型的4 種道路場景,涵蓋了行人、車輛、路燈、車道線以及小動物等不同類別,這些類別在道路場景中大小不一。為了更好地展示網(wǎng)絡(luò)分割效果,圖7中的所有圖都被裁剪為512×512,由于篇幅的限制,在結(jié)果圖顯示中只選取了具有代表性的PSPNet 以及RefineNet和MUNet模型分割結(jié)果圖進(jìn)行比較。

      圖7 測試圖像、精細(xì)標(biāo)注以及分割結(jié)果Fig.7 Test images,accurate labeling and segmentation results

      場景1 中,道路上視野遠(yuǎn)處車輛少而行人較多,難點在于視線正前方遠(yuǎn)處這塊人流聚集區(qū)域的識別與分割;而場景2和場景3 屬于在城市道路場景中人車交匯比較復(fù)雜的場景,虛線框處的騎著自行車的行人和視線遠(yuǎn)處緊挨著大型公交車的行人在車流中不容易被識別出來,但是這些類別卻是真實駕駛場景中最應(yīng)該注意分割的類別;場景4 中如圖中虛線框所示,視線遠(yuǎn)處的車輛行人和紅綠燈下的狗都是需要特別注意的分割重點,因此在分割中應(yīng)該要能把這些類別都清晰地分割出來。綜合比較三種網(wǎng)絡(luò)在這四種場景下的分割結(jié)果圖,MUNet 是最能將上述四種場景中的難重點完整分割出來的網(wǎng)絡(luò),其他兩種網(wǎng)絡(luò)的分割結(jié)果都存在著不同程度的變形。

      實驗結(jié)果表明,本文提出的MUNet 模型能夠較好地適應(yīng)不同的道路場景,對于簡單一點的場景,不管地面交通標(biāo)記還是正在行駛中的車輛行人,模型的分割結(jié)果和精細(xì)標(biāo)注非常接近。然而對于復(fù)雜情況,由于復(fù)雜道路場景中細(xì)節(jié)過多,模型無法很好地對遠(yuǎn)處微小物體以及多種目標(biāo)混合區(qū)域進(jìn)行完美的分割,比如在圖7 最后一個場景中,對于視野遠(yuǎn)處的道路柵欄和車道線,容易出現(xiàn)分割不完整或者是沒有分割到的情況。

      4 結(jié)語

      本文基于深度可分離卷積,設(shè)計出一種對稱U型編碼器-解碼器式輕量級圖像語義分割網(wǎng)絡(luò)MUNet,并在其中加入稀疏短連接設(shè)計、注意力機(jī)制以及組歸一化方法,在極大地減少網(wǎng)絡(luò)模型參數(shù)量以及計算量的同時,較好地提升網(wǎng)絡(luò)分割性能。和其他輕量級網(wǎng)絡(luò)相比,文章提出的MUNet 雖然在分割性能上表現(xiàn)較好,但在參數(shù)量和計算量方面仍需繼續(xù)改進(jìn)。

      本文實驗過程中設(shè)計了不同分辨率測試圖像的對比實驗,而這也給之后的工作帶來一些啟發(fā),嘗試加入多尺度輸入圖像去獲得更精細(xì)的分割結(jié)果。由于硬件限制,本文實驗僅使用小數(shù)據(jù)集訓(xùn)練1 000輪得到接近收斂的模型,在硬件設(shè)施允許的情況下,其實可以使用大數(shù)據(jù)集得到更優(yōu)的分割結(jié)果。

      猜你喜歡
      注意力語義卷積
      讓注意力“飛”回來
      基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
      語言與語義
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      “揚眼”APP:讓注意力“變現(xiàn)”
      傳媒評論(2017年3期)2017-06-13 09:18:10
      A Beautiful Way Of Looking At Things
      “上”與“下”語義的不對稱性及其認(rèn)知闡釋
      認(rèn)知范疇模糊與語義模糊
      一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識別方法
      玉龙| 榕江县| 淮阳县| 土默特左旗| 玛多县| 江山市| 钦州市| 西安市| 兴隆县| 镇江市| 寻乌县| 桂东县| 阳谷县| 黔江区| 靖西县| 莱阳市| 周宁县| 沾化县| 延安市| 东乌珠穆沁旗| 元阳县| 巫溪县| 南靖县| 永定县| 武邑县| 靖江市| 龙胜| 景洪市| 额尔古纳市| 澜沧| 乌拉特中旗| 阿合奇县| 墨竹工卡县| 合阳县| 那坡县| 青河县| 新乡市| 西青区| 宝丰县| 江口县| 桃江县|