基于深度神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割研究綜述

景莊偉,管海燕,彭代峰,于永濤

(1.南京信息工程大學(xué) a.地理科學(xué)學(xué)院; b.遙感與測(cè)繪工程學(xué)院,南京 210044;2.淮陰工學(xué)院 計(jì)算機(jī)與軟件工程學(xué)院,江蘇 淮安 223003)

0 概述

近年來(lái),計(jì)算機(jī)視覺(jué)、模式識(shí)別、測(cè)繪與遙感以及地理信息科學(xué)等領(lǐng)域取得了較多研究成果,語(yǔ)義分割作為上述領(lǐng)域的研究重點(diǎn),引起了學(xué)者們的廣泛關(guān)注,具有廣闊的應(yīng)用前景。語(yǔ)義分割是一種典型的計(jì)算機(jī)視覺(jué)問(wèn)題,其將一些原始數(shù)據(jù),如平面圖像和三維點(diǎn)云等作為輸入,并通過(guò)一系列技術(shù)操作將像素或點(diǎn)按照原始數(shù)據(jù)表達(dá)語(yǔ)義的不同進(jìn)行分組[1]。其中,圖像語(yǔ)義分割是將圖像中不同類(lèi)型的對(duì)象進(jìn)行語(yǔ)義信息標(biāo)注分割,其目標(biāo)是將場(chǎng)景圖像分割解析為與語(yǔ)義類(lèi)別相關(guān)的不同圖像區(qū)域,包括背景(如道路、草地、天空等)和離散對(duì)象(如人、建筑、汽車(chē)等)。語(yǔ)義分割任務(wù)需要在復(fù)雜多變的背景中正確地識(shí)別不同的離散對(duì)象并標(biāo)記出語(yǔ)義信息,然而,物體對(duì)象常受到遮擋、割裂和照明等環(huán)境的影響,使得語(yǔ)義分割的難度增大。

傳統(tǒng)的圖像分割方法根據(jù)圖像的顏色、空間結(jié)構(gòu)和紋理信息等特征進(jìn)行處理分析,如基于像素級(jí)的聚類(lèi)分割法[2]、基于像素級(jí)的閾值分割法[3]、基于像素級(jí)的決策樹(shù)分類(lèi)法[4]以及基于“圖割”的圖像分割法[5]等。由于計(jì)算機(jī)能力有限以及沒(méi)有數(shù)據(jù)訓(xùn)練階段,這一時(shí)期的方法只能處理一些灰度圖,通過(guò)提取圖像的低級(jí)特征進(jìn)行分割,無(wú)法達(dá)到語(yǔ)義分割[6]。隨著GPU的飛速發(fā)展,深度學(xué)習(xí)(Deep Learning,DL)技術(shù)廣泛應(yīng)用于圖像處理、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、機(jī)器人控制等領(lǐng)域,為語(yǔ)義分割技術(shù)的發(fā)展提供了有效支撐。研究人員使用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)從帶有大量標(biāo)注的數(shù)據(jù)中提取出語(yǔ)義信息和圖像特征,再依據(jù)這些信息學(xué)習(xí)推理出原始圖像中像素的標(biāo)簽,通過(guò)端到端訓(xùn)練的方式挖掘出每個(gè)像素的高階語(yǔ)義并實(shí)現(xiàn)圖像對(duì)象的分類(lèi)。與梯度方向直方圖(Histogram of Oriented Gradient,HOG)、尺度不變特征變換(Scale Invariant Feature Transform,SIFT)、局部二值模式(Local Binary Patterns,LBP)等傳統(tǒng)手工設(shè)計(jì)的特征相比,DNN學(xué)習(xí)的特征更加豐富、表達(dá)能力更強(qiáng),其成為圖像語(yǔ)義分割領(lǐng)域的主流方法。

目前,已有一些綜述性論文[7-9]對(duì)基于深度學(xué)習(xí)的圖像語(yǔ)義分割研究進(jìn)行了總結(jié)和分析。然而,文獻(xiàn)[7]主要對(duì)基于監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割的網(wǎng)絡(luò)架構(gòu)進(jìn)行總結(jié),僅列舉部分算法,文獻(xiàn)[8]雖然列舉了100多種分割算法,但部分算法僅歸類(lèi)為其他類(lèi)別,并未對(duì)他們的優(yōu)勢(shì)和貢獻(xiàn)進(jìn)行對(duì)比分析,文獻(xiàn)[9]所做的綜述工作由于涉及的范圍較為廣泛,對(duì)于每一類(lèi)方法并不能做到詳細(xì)的描述。本文在上述研究成果的基礎(chǔ)上進(jìn)行補(bǔ)充完善。在算法規(guī)模方面,添加最近提出的新算法,總結(jié)80余種語(yǔ)義分割算法,根據(jù)標(biāo)注類(lèi)型和學(xué)習(xí)方式的不同,將他們分為全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法和弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法兩類(lèi)。全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法使用人工高精度加工的像素級(jí)標(biāo)注作為訓(xùn)練樣本,弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法則使用弱標(biāo)注數(shù)據(jù)作為訓(xùn)練樣本,這兩類(lèi)方法按照研究?jī)?nèi)容和改進(jìn)特點(diǎn)的不同又可分為若干類(lèi)子方法,本文對(duì)其進(jìn)行具體的闡述和分析。在數(shù)據(jù)集內(nèi)容方面,本文在新增最新公共數(shù)據(jù)集的同時(shí)增加常用的圖像語(yǔ)義分割遙感數(shù)據(jù)集,以進(jìn)行較全面的圖像語(yǔ)義分割研究。

1 全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法

人工標(biāo)注的樣本能夠提供大量細(xì)節(jié)信息和局部特征,有利于提高網(wǎng)絡(luò)訓(xùn)練效率和分割精確度。因此,目前主流的語(yǔ)義分割網(wǎng)絡(luò)模型大多是全監(jiān)督學(xué)習(xí)類(lèi)型。針對(duì)傳統(tǒng)分類(lèi)神經(jīng)網(wǎng)絡(luò)有固定尺寸的輸入、產(chǎn)生非空間輸出以及全連接層有固定維度等問(wèn)題,文獻(xiàn)[10]提出一種可以接受任意尺寸圖像輸入的全卷積網(wǎng)絡(luò)(Fully Convolutional Network,FCN),如圖1所示,FCN將CNN模型中的全連接層替換為全卷積層以進(jìn)行像素級(jí)的稠密估計(jì),利用增大數(shù)據(jù)尺寸的反卷積層對(duì)特征圖進(jìn)行上采樣,對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè),并保留原始輸入圖像中的空間信息,將粗糙的分割結(jié)果轉(zhuǎn)換為精細(xì)的分割結(jié)果,在此基礎(chǔ)上,采用結(jié)合不同深度層的跳躍結(jié)構(gòu),融合深層粗糙特征(全局語(yǔ)義信息)和淺層精細(xì)特征(局部位置信息),從而將圖像分類(lèi)網(wǎng)絡(luò)轉(zhuǎn)變?yōu)閳D像分割網(wǎng)絡(luò)。

圖1 FCN網(wǎng)絡(luò)框架Fig.1 Network framework of FCN

FCN解決了傳統(tǒng)分割網(wǎng)絡(luò)由于使用像素塊而帶來(lái)的重復(fù)存儲(chǔ)和計(jì)算卷積問(wèn)題,從而推動(dòng)了圖像語(yǔ)義分割的快速發(fā)展。但其仍存在一些缺陷:1)反卷積過(guò)程粗糙,對(duì)圖像細(xì)節(jié)不敏感;2)沒(méi)有考慮像素之間的聯(lián)系,缺乏空間一致性;3)未有效考慮圖像上下文特征信息,無(wú)法充分利用空間位置信息,導(dǎo)致局部特征和全局特征的利用率失衡;4)訓(xùn)練復(fù)雜,計(jì)算量大,不能實(shí)現(xiàn)實(shí)時(shí)分割;5)固定網(wǎng)絡(luò)的感受野不能自適應(yīng)物體尺寸。因此,研究人員在FCN的基礎(chǔ)上,提出一系列圖像語(yǔ)義分割方法。如圖2所示,本文根據(jù)改進(jìn)思路的不同,又將其分成8個(gè)小類(lèi):DeepLab系列方法,基于編解碼器方法,基于注意力機(jī)制方法,基于概率圖模型方法,基于圖像金字塔方法,基于生成對(duì)抗網(wǎng)絡(luò)方法,基于優(yōu)化卷積方法,基于循環(huán)神經(jīng)網(wǎng)絡(luò)方法。

圖2 基于全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法Fig.2 Image semantic segmentation methods based on fully supervised learning

1.1 DeepLab系列方法

針對(duì)FCN未考慮全局信息、缺乏空間一致性而導(dǎo)致分割結(jié)果不夠精細(xì)的問(wèn)題,文獻(xiàn)[11]提出了DeepLab網(wǎng)絡(luò),如圖3所示,該網(wǎng)絡(luò)結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)進(jìn)行粗分割,利用全連接條件隨機(jī)場(chǎng)(Fully Connected Conditional Random Field,FCCRF)優(yōu)化粗分割圖像提高深度網(wǎng)絡(luò)的定位準(zhǔn)確性,最終實(shí)現(xiàn)圖像語(yǔ)義分割。CHEN等人[12]在DeepLab模型的基礎(chǔ)上提出DeepLab V2網(wǎng)絡(luò)。DeepLab V2在以下2個(gè)方面進(jìn)行了改進(jìn):1)擴(kuò)張卷積解決了DCNN下采樣導(dǎo)致特征分辨率降低的問(wèn)題;2)空洞空間金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)方法整合了多尺度特征。隨后,CHEN等人[13]借鑒了文獻(xiàn)[14-15]的思想提出了Deeplab V3網(wǎng)絡(luò),該網(wǎng)絡(luò)改進(jìn)了DeepLab V2網(wǎng)絡(luò)的擴(kuò)張卷積和ASPP模塊,去除了FCCRF模塊并在ASPP中使用批量歸一化(Batch Normalization,BN)層。針對(duì)DeepLab V3池化和帶步長(zhǎng)卷積造成一些物體邊界細(xì)節(jié)信息丟失且擴(kuò)張卷積計(jì)算代價(jià)過(guò)高的問(wèn)題,該團(tuán)隊(duì)又提出了DeepLab V3+網(wǎng)絡(luò)[16],其將DeepLab V3作為網(wǎng)絡(luò)的編碼器,并在此基礎(chǔ)上增加了解碼器模塊用于恢復(fù)目標(biāo)邊界細(xì)節(jié)信息。同時(shí),將深度可分離卷積添加到ASPP和解碼器模塊中,提高編碼器-解碼器網(wǎng)絡(luò)的運(yùn)行速率和魯棒性,實(shí)現(xiàn)了圖像語(yǔ)義分割精度和速度的均衡。

圖3 DeepLab的基本框架Fig.3 General framework of DeepLab

DeepLab系列方法對(duì)FCN進(jìn)行優(yōu)化改進(jìn),增大了感受野,提取到稠密的圖像特征。其次使用條件隨機(jī)場(chǎng)進(jìn)行結(jié)構(gòu)預(yù)測(cè),并通過(guò)擴(kuò)張卷積、多孔空間金字塔池化、深度可分離卷積等技術(shù)獲得多尺度圖像信息,對(duì)空間變換具有較高的不變性,從而提高了分割結(jié)果的空間精度。

1.2 基于編解碼器方法

由于池化操作降低了特征圖分辨率,因此,RONNEBERGER等人[17]提出了一種編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型U-Net。U-Net由收縮路徑和擴(kuò)展路徑2個(gè)部分組成。收縮路徑是一個(gè)編碼器,利用下采樣操作捕捉圖片中的上下文信息,逐層提取影像特征。擴(kuò)展路徑是一個(gè)解碼器,利用上采樣操作還原影像的位置信息,逐步恢復(fù)物體細(xì)節(jié)和圖像分辨率。U-Net解決了圖像語(yǔ)義分割對(duì)大量樣本和計(jì)算資源的需求問(wèn)題,適用于樣本較少的影像分割任務(wù)。隨后,改進(jìn)的UNet++[18]模型通過(guò)短連接填充、疊加不同層次特征等操作,既提升了分割精度又大幅縮減了參數(shù)數(shù)量。

BADRINARAYANAN等人[19]針對(duì)自動(dòng)駕駛汽車(chē)存在的語(yǔ)義分割問(wèn)題,提出了SegNet網(wǎng)絡(luò),如圖4所示(彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML版)。SegNet網(wǎng)絡(luò)基于先驗(yàn)概率計(jì)算每個(gè)像素點(diǎn)的分類(lèi),是一種編碼器-解碼器的深層體系結(jié)構(gòu)網(wǎng)絡(luò),編碼器由全卷積網(wǎng)絡(luò)構(gòu)成并通過(guò)卷積池化等操作進(jìn)行下采樣,解碼器由反卷積構(gòu)成并根據(jù)編碼器的傳輸索引對(duì)其輸入進(jìn)行上采樣。隨后,文獻(xiàn)[20]在SegNet網(wǎng)絡(luò)的基礎(chǔ)上提出了Bayesian SegNet網(wǎng)絡(luò),其引入貝葉斯網(wǎng)絡(luò)和高斯過(guò)程,解決了先驗(yàn)概率無(wú)法給出分類(lèi)結(jié)果置信度的問(wèn)題,提升了網(wǎng)絡(luò)的學(xué)習(xí)能力。NOH等人[21]基于FCN提出了一個(gè)完全對(duì)稱(chēng)的DeconvNet網(wǎng)絡(luò),該網(wǎng)絡(luò)利用FCN與反卷積網(wǎng)絡(luò)進(jìn)行互補(bǔ),使用FCN提取總體形狀,利用反卷積網(wǎng)絡(luò)提取精細(xì)邊界,既能應(yīng)對(duì)不同尺度大小的物體,又能更好地識(shí)別物體的細(xì)節(jié),提高了分割效率。

圖4 SegNet網(wǎng)絡(luò)框架Fig.4 Network framework of SegNet

針對(duì)編碼-解碼結(jié)構(gòu),有學(xué)者從以下方面對(duì)模型進(jìn)行了改進(jìn):1)提高模型語(yǔ)義分割速度,比如ENet[22]、深度特征聚合網(wǎng)絡(luò)DFANet[23]、LEDNet[24]等實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)模型;2)融合不同分辨率特征,比如可學(xué)習(xí)的“上采樣”模塊——UpsamPling[25];3)增大感受野,提高定位精度,比如全局卷積網(wǎng)絡(luò)(Global Convolutional Network,GCN)[26];4)捕獲多尺度上下文信息,保證目標(biāo)位置信息的精細(xì)恢復(fù),如層疊反卷積網(wǎng)絡(luò)(Stacked Deconvolutional Network,SDN)[27]。

基于編解碼器的方法通過(guò)上池化或反卷積等操作組成的解碼器對(duì)低分辨率特征圖進(jìn)行上采樣處理,避免了池化操作后特征圖分辨率降低的問(wèn)題,還原了圖像的空間維度和像素的位置信息。

1.3 基于注意力機(jī)制方法

注意力機(jī)制的基本思想是在運(yùn)算過(guò)程中忽略無(wú)關(guān)信息而關(guān)注重點(diǎn)信息。注意力機(jī)制通過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算出梯度并通過(guò)前向傳播和后向反饋來(lái)學(xué)習(xí)獲得注意力權(quán)重。基于FCN的語(yǔ)義分割框架的固定卷積核結(jié)構(gòu)只能接受短距離的上下文信息,為了捕獲長(zhǎng)距離依賴(lài)信息,學(xué)者們提出了擴(kuò)張卷積、空間金字塔等方法,然而這些方法并不能生成密集的上下文信息。為此,ZHAO等人[28]將注意機(jī)制引入到語(yǔ)義分割任務(wù)中,提出了PSANet網(wǎng)絡(luò),通過(guò)預(yù)測(cè)注意力圖來(lái)學(xué)習(xí)聚合每個(gè)位置的上下文信息。但是,這些基于注意力機(jī)制的方法需要生成巨大的注意力圖來(lái)計(jì)算每個(gè)像素之間的關(guān)系,具有高計(jì)算復(fù)雜度并占據(jù)大量的GPU內(nèi)存。為了提高語(yǔ)義分割效率,一系列網(wǎng)絡(luò)結(jié)構(gòu)相繼被提出,如十字交叉注意力(Criss-Cross attention Network,CCNet)模塊[29]、BiSeNet網(wǎng)絡(luò)[30]、ACNet網(wǎng)絡(luò)[31]、HMANet網(wǎng)絡(luò)[32]等。CCNet模塊可以插入任意完全卷積的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)端到端的高效分割;BiSeNet網(wǎng)絡(luò)無(wú)需任何上采樣操作即可整合全局語(yǔ)境信息,大幅降低了運(yùn)算時(shí)的計(jì)算成本,提高了分割速度;ACNet網(wǎng)絡(luò)利用集成注意力機(jī)制的三平行分支架構(gòu)和注意力輔助模塊平衡了RGB-D圖像中RGB圖像特征和深度圖像特征;HMANet是一個(gè)用于航空?qǐng)D像語(yǔ)義分割的混合多注意力網(wǎng)絡(luò)。

近年來(lái),自注意力機(jī)制[33]在圖像語(yǔ)義分割任務(wù)中取得了顯著效果[34-36]。WANG等人[34]較早將自注意力機(jī)制引入到語(yǔ)義分割任務(wù)中,通過(guò)非局部操作算子減少堆疊層,保持輸入和輸出尺度不變,從而將自注意力機(jī)制嵌入到分割網(wǎng)絡(luò)架構(gòu)中。隨后,雙重注意網(wǎng)絡(luò)(Dual Attention Network,DANet)[35]、期望最大化注意力機(jī)制網(wǎng)絡(luò)(Expectation-Maximization Attention mechanism networks,EMA)[36]等方法相繼被提出,降低了空間復(fù)雜度和時(shí)間復(fù)雜度。

將注意力機(jī)制引入語(yǔ)義分割任務(wù)中,通過(guò)注意力機(jī)制模塊學(xué)習(xí)上下文信息,并對(duì)注意力機(jī)制進(jìn)行優(yōu)化得到十字交叉注意力模塊或自注意力機(jī)制模塊,通過(guò)捕獲全局的信息來(lái)獲得更大的感受野,可以減少對(duì)外部信息的依賴(lài),從而更容易捕獲數(shù)據(jù)或特征的內(nèi)部相關(guān)性。

1.4 基于概率圖模型方法

概率圖模型(PGM)在CNN的基礎(chǔ)上,以像素點(diǎn)為節(jié)點(diǎn)、像素點(diǎn)之間的概率相關(guān)關(guān)系為邊,有效捕獲像素點(diǎn)之間的依賴(lài)關(guān)系,獲取圖像全局信息和像素級(jí)語(yǔ)義信息,進(jìn)而為語(yǔ)義分割過(guò)程提供豐富的圖像上下文內(nèi)容。常用的PGM包括條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)、馬爾可夫隨機(jī)場(chǎng)(Markov Random Field,MRF)、貝葉斯網(wǎng)絡(luò)(Bayesian Network)等。

CRF模型是最常納入到深度學(xué)習(xí)框架的概率圖模型之一。LIN等人[37]綜合利用CRF與CNN進(jìn)行結(jié)構(gòu)化預(yù)測(cè),在信息的傳遞推理過(guò)程中預(yù)測(cè)信息,避免了額外的學(xué)習(xí)或信息評(píng)估的計(jì)算,從而提升了速度并減少了運(yùn)算量,在大數(shù)據(jù)量的圖像語(yǔ)義分割情況下更具有拓展性。盡管上述方法取得了較豐富的上下文信息,但它們僅將圖像輸入到CRF一元項(xiàng)和成對(duì)項(xiàng)中進(jìn)行結(jié)構(gòu)化預(yù)測(cè),而忽略了對(duì)CRF中高階勢(shì)能項(xiàng)(Higher Order Potential,HOP)進(jìn)行充分利用,導(dǎo)致圖像語(yǔ)義分割的效果粗糙。于是,ARNAB等人[38]提出將2種類(lèi)型的HOP嵌入到CNN中進(jìn)行端到端訓(xùn)練,提高了分割性能。隨后,VEMULAPALLI等人[39]嘗試使用高斯條件隨機(jī)場(chǎng)(Gaussian Conditional Random Field,GCRF)代替CRF對(duì)分割結(jié)果進(jìn)行優(yōu)化。另外,部分學(xué)者提出了FCN與CRF相結(jié)合的模型SegModel[40]和DFCN-DCRF[41]。SegModel模型利用FCN的識(shí)別特征與CRF的結(jié)構(gòu)化預(yù)測(cè)能力,將細(xì)分特征、高階上下文和邊界指導(dǎo)相結(jié)合,實(shí)現(xiàn)語(yǔ)義分割。DFCN-DCRF模型結(jié)合RGB-D全卷積神經(jīng)網(wǎng)絡(luò)(DFCN)與深度敏感的全連接條件隨機(jī)場(chǎng)(DCRF),將深度信息添加至DFCN和DCRF中,以提高語(yǔ)義分割的準(zhǔn)確率。

MFR模型能夠提供先驗(yàn)知識(shí)與不確定性描述間相聯(lián)系的紐帶。對(duì)于圖像邊緣的幾何特征、圖像表面的局部?jī)?nèi)在特征及灰度變化率等信息,使用MRF模型描述待分割圖像的先驗(yàn)分布效果較好。因此,一些學(xué)者將標(biāo)簽上下文信息和高階關(guān)系融合到MRF中,并利用平均場(chǎng)(MF)算法在圖形處理單元進(jìn)行并行加速處理,從而減少了計(jì)算量,提高了分割效率[42]。另外,還有學(xué)者利用MRF來(lái)加強(qiáng)網(wǎng)絡(luò)中空間標(biāo)記的連續(xù)性[43]。

概率圖模型以結(jié)構(gòu)化預(yù)測(cè)的方式優(yōu)化粗分割物體邊界,捕獲上下文信息,并充分利用不同位置的局部特征來(lái)逐步提高分割精度。

1.5 基于圖像金字塔方法

使用概率圖模型擴(kuò)展CNN架構(gòu),雖然能有效捕獲圖像的上下文特征,但是概率圖模型在網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中增加了計(jì)算量和計(jì)算時(shí)間,分割速度較慢。因此,有些學(xué)者基于多尺度、多層級(jí)的金字塔結(jié)構(gòu),通過(guò)融合不同尺度、不同層次的特征來(lái)捕獲圖像中隱含的上下文信息,從而避免過(guò)多損耗,提高了語(yǔ)義分割的速率與性能。

金字塔結(jié)構(gòu)中產(chǎn)生的特征的每一層(包括高分辨率的低層)都是語(yǔ)義信息加強(qiáng)的,LIN等人[44]提出特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN),該網(wǎng)絡(luò)將低分辨率、高語(yǔ)義信息的高層特征和高分辨率、低語(yǔ)義信息的低層特征進(jìn)行自上而下的側(cè)邊連接,使得所有尺度下的特征都有豐富的語(yǔ)義信息。DeepLab V2[12]提出空洞空間金字塔池化(ASPP)來(lái)增加多尺度的感受域。YANG等人[45]結(jié)合DeepLab的ASPP方法和DenseNet的密集連接,構(gòu)成了DenseASPP網(wǎng)絡(luò)。該網(wǎng)絡(luò)以更密集的方式連接一組擴(kuò)張卷積,獲得更大的接收野和更密集的采樣點(diǎn),完成街景分類(lèi)任務(wù)。HE等人[46]認(rèn)為ASPP雖然能在一定程度上處理尺度變化問(wèn)題,但很難在擴(kuò)張率和尺度變化范圍之間取得平衡,因此,其提出動(dòng)態(tài)多尺度網(wǎng)絡(luò)(Dynamic Multi-scale Network,DMNet),通過(guò)動(dòng)態(tài)卷積模塊中的上下文感知過(guò)濾器估計(jì)特定規(guī)模的語(yǔ)義表示。如圖5所示,ZHAO等人[15]提出的金字塔場(chǎng)景解析網(wǎng)絡(luò)(Pyramid Scene Parsing Network,PSPNet),通過(guò)對(duì)不同區(qū)域的上下文進(jìn)行聚合,提升了整體網(wǎng)絡(luò)運(yùn)用全局上下文信息的能力。隨后ZHAO等人[47]從壓縮PSPNet的角度出發(fā),提出了實(shí)時(shí)分割的圖像級(jí)聯(lián)網(wǎng)絡(luò)(Image Cascade Network,ICNet)。HE等人[48]發(fā)現(xiàn)全局導(dǎo)向的局部親和力(Global-guided Local Affinity,GLA)在構(gòu)建有效的語(yǔ)境特征中起著至關(guān)重要的作用,并在此基礎(chǔ)上提出了自適應(yīng)金字塔上下文網(wǎng)絡(luò)(APCNet),使用多個(gè)自適應(yīng)上下文模塊(Adaptive Context Modules,ACM)自適應(yīng)地構(gòu)建多尺度上下文表示。WU等人[49]提出了聯(lián)合金字塔上采樣(Joint Pyramid Upsampling,JPU)模塊代替擴(kuò)張卷積,對(duì)低分辨率特征映射上采樣生成高分辨率特征映射,該方法在不損失精度的情況下可大幅降低計(jì)算復(fù)雜度和內(nèi)存占用。

圖5 PSPNet網(wǎng)絡(luò)框架Fig.5 Network framework of PSPNet

1.6 基于生成對(duì)抗網(wǎng)絡(luò)方法

除金字塔結(jié)構(gòu)外,生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)也可代替CRF捕獲圖像上下文信息,在不增加模型訓(xùn)練時(shí)間和復(fù)雜度的情況下增加長(zhǎng)距離空間標(biāo)簽的連續(xù)性,具有較強(qiáng)的空間一致性。

LUC等人[50]首次將GAN引入語(yǔ)義分割領(lǐng)域,使用判別器識(shí)別真實(shí)標(biāo)簽與分割圖像,縮小標(biāo)簽與分割圖像之間的高階不一致性。HOFFMAN等人[51]結(jié)合GAN與領(lǐng)域適應(yīng)性,使源域與目標(biāo)域共享標(biāo)記空間,并通過(guò)最優(yōu)化目標(biāo)損失函數(shù)來(lái)減少特定偏移和全局偏移的影響,提出用于語(yǔ)義分割的領(lǐng)域適應(yīng)性框架。在醫(yī)學(xué)圖像分割領(lǐng)域,XUE等人[52]針對(duì)U-Net[17]網(wǎng)絡(luò)無(wú)法有效解決圖像中像素類(lèi)別不平衡的問(wèn)題,基于GAN思想提出了一種具有多尺度L1損失函數(shù)的對(duì)抗網(wǎng)絡(luò),使用判別器和分割器學(xué)習(xí)分割對(duì)象的全局特征和局部特征,以捕獲像素之間的長(zhǎng)距離和短距離的空間關(guān)系。

GAN模型擁有不斷生成數(shù)據(jù)和辨別數(shù)據(jù)真假的能力,考慮到特征學(xué)習(xí)的相關(guān)性,將對(duì)抗學(xué)習(xí)應(yīng)用到半監(jiān)督或弱監(jiān)督的學(xué)習(xí)任務(wù)中成為解決小樣本特征學(xué)習(xí)問(wèn)題的關(guān)鍵。目前已有較多基于GAN的方法應(yīng)用于弱監(jiān)督標(biāo)注數(shù)據(jù)以進(jìn)行圖像的語(yǔ)義分割,如基于GAN的細(xì)胞圖像分割[53]、堆疊生成對(duì)抗網(wǎng)絡(luò)方法[54]以及文獻(xiàn)[55]所提方法。但是,GAN模型的優(yōu)化過(guò)程不穩(wěn)定,在處理大規(guī)模圖像數(shù)據(jù)時(shí),其可延展性和解釋性仍有待提高。

1.7 基于優(yōu)化卷積方法

由于FCN采取了反卷積方式對(duì)圖像上采樣輸出預(yù)測(cè)結(jié)果,從而造成特征圖分辨率降低、部分像素的空間位置信息丟失等問(wèn)題。因此,研究人員對(duì)普通卷積操作采取了各種優(yōu)化方法。YU等人[56]利用擴(kuò)張卷積聚合多尺度上下文信息,可以在不損失分辨率、不改變參數(shù)數(shù)量的情況下增加感受野,在獲得圖像多尺度局部特征的同時(shí)保留大部分像素的空間位置信息,從而提升分割準(zhǔn)確率。但是,擴(kuò)張卷積操作易造成局部信息丟失等問(wèn)題,WANG等人[57]利用混合擴(kuò)張卷積(Hybrid Dilated Convolution,HDC)框架優(yōu)化擴(kuò)張卷積,擴(kuò)大感受野聚合全局信息。同時(shí),針對(duì)解碼過(guò)程中使用雙線性插值方法帶來(lái)的細(xì)節(jié)信息丟失問(wèn)題,WANG等人[57]設(shè)計(jì)密集上采樣卷積(Dense Upsampling Convolution,DUC)用來(lái)捕獲在雙線性上采樣過(guò)程中丟失的細(xì)節(jié)信息。另外,MEHTA等人[58]提出了ESPNet方法,將標(biāo)準(zhǔn)卷積分解為減少計(jì)算量的逐點(diǎn)卷積和擴(kuò)大感受野的空間金字塔型擴(kuò)張卷積2個(gè)步驟,解決了資源或者樣本數(shù)據(jù)受限的問(wèn)題。針對(duì)卷積層的固定卷積對(duì)建模不同空間分布視覺(jué)元素低效的問(wèn)題,HU等人[59]提出一種常規(guī)卷積替代層——局部關(guān)系層,自適應(yīng)地確定聚合權(quán)重,有效組合視覺(jué)元素為高級(jí)別特征,從而有助于語(yǔ)義分割。TAKIKAWA等人[60]認(rèn)為直接將數(shù)據(jù)集的所有信息輸入至網(wǎng)絡(luò)并不能獲得最佳結(jié)果,因此,提出一種雙流CNN架構(gòu)(形狀流和經(jīng)典流),形狀流處理邊界相關(guān)的信息,與經(jīng)典流并行地處理信息,同時(shí)利用一個(gè)新型門(mén)控制兩路信息交互。該模型在較小和較薄物體上的性能表現(xiàn)較好,在Cityscapes數(shù)據(jù)集上表現(xiàn)優(yōu)于DeepLab V3+。

優(yōu)化神經(jīng)網(wǎng)絡(luò)中的卷積結(jié)構(gòu),進(jìn)行不同方面的優(yōu)化或者移除傳統(tǒng)的卷積、池化等操作,可以增大感受野,獲取像素的空間位置信息,有效減緩特征圖分辨率下降的問(wèn)題,并降低計(jì)算復(fù)雜度和內(nèi)存占用。

1.8 基于循環(huán)神經(jīng)網(wǎng)絡(luò)方法

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是目前深度學(xué)習(xí)中的另一種主流模型,其不僅可以學(xué)習(xí)當(dāng)前時(shí)刻的信息,還可以依賴(lài)先前的序列信息,有利于建模全局內(nèi)容和保留歷史信息,促進(jìn)圖像上下文信息的利用。

借鑒RNN的思想,VISIN等人[61]利用CNN提取的局部特征和RNN檢索的全局空間的依賴(lài)關(guān)系,基于圖像分割模型ReNet提出了ReSeg網(wǎng)絡(luò)。同樣受ReNet的啟發(fā),LI等人[62]提出了LSTM-CF(Long Short-Term Memorized Context Fusion)網(wǎng)絡(luò),可同時(shí)輸入光度和深度圖像。LSTM-CF模型利用基于長(zhǎng)短時(shí)間記憶(LSTM)的融合層整合豎直方向上的光度和深度通道的上下文信息,完成網(wǎng)絡(luò)端到端的訓(xùn)練和測(cè)試。但是,僅利用LSTM進(jìn)行圖像處理時(shí)需要將圖像切成固定大小的塊,靈活性差。為解決該問(wèn)題,LIANG等人[63]提出Graph-LSTM網(wǎng)絡(luò),將每個(gè)任意形狀的超像素作為節(jié)點(diǎn),并自適應(yīng)地為圖像構(gòu)造無(wú)向圖,通過(guò)建立基于距離的超像素圖并應(yīng)用LSTM傳播鄰域信息來(lái)模擬長(zhǎng)期依賴(lài)關(guān)系和空間連接。隨后,該團(tuán)隊(duì)從編碼分層信息的角度對(duì)Graph-LSTM進(jìn)行改進(jìn)[64]。針對(duì)文獻(xiàn)[13-14]僅單純地將FCCRF加在FCN的末梢分別訓(xùn)練FCN和FCCRF造成它們之間的交互聯(lián)系缺乏的問(wèn)題,ZHENG等人[65]提出CRFasRNN網(wǎng)絡(luò),其將CRF的學(xué)習(xí)、推理和求解過(guò)程迭代建模為RNN的相關(guān)運(yùn)算過(guò)程,通過(guò)迭代平均場(chǎng)算法將該過(guò)程嵌入CNN模型中。

RNN具有保留先前信息的能力,可遞歸處理歷史信息和建模歷史記憶,易于提取圖像中的像素序列信息,并且可以通過(guò)對(duì)圖像的長(zhǎng)期語(yǔ)義依賴(lài)關(guān)系進(jìn)行建模來(lái)捕獲上下文信息。另外,可以通過(guò)將RNN與卷積層相結(jié)合嵌入到深度神經(jīng)網(wǎng)絡(luò)中,一方面可利用卷積層提取局部空間特征,另一方面可利用RNN層提取像素序列特征。

2 弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法

基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行全監(jiān)督學(xué)習(xí)的分割模型已成為圖像語(yǔ)義分割的主流方法,在分割效果上不斷取得突破。然而這些方法需要大量人工標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練,不僅耗時(shí)耗力,且很難大批量獲取標(biāo)簽數(shù)據(jù)。因此,研究人員將目標(biāo)轉(zhuǎn)向輕量級(jí)標(biāo)注數(shù)據(jù),提出一系列弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法,進(jìn)一步提高語(yǔ)義分割性能。本文根據(jù)不同類(lèi)型的弱監(jiān)督標(biāo)注數(shù)據(jù),將弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法分為6類(lèi):基于邊界框標(biāo)注方法,基于涂鴉級(jí)標(biāo)注方法,基于點(diǎn)級(jí)標(biāo)注方法,基于圖像級(jí)標(biāo)注方法,基于混合標(biāo)注方法,基于附加數(shù)據(jù)源方法。圖6所示為弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法的時(shí)間發(fā)展軸。

圖6 基于弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法Fig.6 Image semantic segmentation methods based on weakly supervised learning

2.1 基于邊界框標(biāo)注方法

基于邊界框標(biāo)注方法利用包括整個(gè)物體的矩形區(qū)域作為訓(xùn)練樣本,提供標(biāo)注信息。邊界框標(biāo)注數(shù)據(jù)不僅包含了豐富的監(jiān)督信息和物體位置,同時(shí)還減少了標(biāo)簽工作,并且可以利用大量可用的邊界框注釋來(lái)改善掩碼監(jiān)督的結(jié)果。

DAI等人[66]基于FCN,利用候選區(qū)域方法提出BoxSup網(wǎng)絡(luò)。以邊界框標(biāo)注的圖像作為訓(xùn)練樣本,運(yùn)用MCG(Multiscale Combinatorial Grouping)算法得到初步的候選區(qū)域,將其作為監(jiān)督信息輸入到FCN中進(jìn)行優(yōu)化和更新;然后,利用訓(xùn)練網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行預(yù)測(cè),FCN再對(duì)網(wǎng)絡(luò)實(shí)現(xiàn)優(yōu)化更新,如此重復(fù)迭代直到準(zhǔn)確率收斂到給定閾值。DeepCut[67]將分類(lèi)問(wèn)題視為在稠密連接的條件隨機(jī)場(chǎng)下的能量最小化問(wèn)題,并通過(guò)不斷迭代地更新訓(xùn)練目標(biāo)以實(shí)現(xiàn)分割,逐步提高圖像的分割精度。

早期多數(shù)弱監(jiān)督學(xué)習(xí)方法由于使用簡(jiǎn)單迭代來(lái)訓(xùn)練模型,得到的結(jié)果和真實(shí)標(biāo)簽存在明顯差距。SONG等人[68]利用邊界框驅(qū)動(dòng)分類(lèi)區(qū)域掩蔽模型(Box-driven Class-wise masking Model,BCM)刪除每個(gè)類(lèi)的不相關(guān)區(qū)域,建立邊界框監(jiān)督生成的像素級(jí)細(xì)分建議和每個(gè)類(lèi)別的填充率,再利用填充率引導(dǎo)的自適應(yīng)損失(Filling Rate guided adaptive loss,FR-loss)幫助模型忽略提案中錯(cuò)誤標(biāo)記的像素。該方法從邊界框標(biāo)注數(shù)據(jù)中獲取全局統(tǒng)計(jì)信息以調(diào)整模型學(xué)習(xí),減少了錯(cuò)誤標(biāo)簽像素引起的負(fù)面影響。

2.2 基于涂鴉級(jí)標(biāo)注方法

涂鴉(scribble)在交互式圖像分割中有著廣泛的應(yīng)用,其被認(rèn)為是最方便用戶(hù)的交互方式之一。涂鴉級(jí)標(biāo)注是通過(guò)對(duì)圖像進(jìn)行涂寫(xiě)得到任意形式的線段,可用于標(biāo)注沒(méi)有明確形狀的物體,提供其位置和范圍信息。

LIN等人[69]提出ScribbleSup模型的涂鴉圖像標(biāo)注方式。該模型的自動(dòng)標(biāo)注階段是將語(yǔ)義標(biāo)簽從涂鴉線條傳播給其他像素,用GraphCut算法自動(dòng)完成對(duì)所有訓(xùn)練圖像的標(biāo)記。然后將通過(guò)涂鴉方式進(jìn)行標(biāo)記的圖像輸入FCN模型進(jìn)行圖像訓(xùn)練,獲得圖像語(yǔ)義分割結(jié)果。TANG等人[70]將標(biāo)記像素的部分交叉熵和未標(biāo)記像素的歸一化切割相結(jié)合,提出并評(píng)估一種在涂鴉級(jí)數(shù)據(jù)標(biāo)注下歸一化切割損失的方法,其顯著提高了弱監(jiān)督訓(xùn)練質(zhì)量。文獻(xiàn)[71]提出的門(mén)控全連接條件隨機(jī)場(chǎng)損失(Gated CRF Loss)方法,關(guān)注涂鴉級(jí)標(biāo)注數(shù)據(jù),在訓(xùn)練過(guò)程中對(duì)有標(biāo)注像素點(diǎn)使用交叉熵?fù)p失函數(shù),對(duì)于無(wú)標(biāo)注像素點(diǎn)使用門(mén)控CRF損失函數(shù),無(wú)需額外預(yù)處理或后處理,能夠?qū)崿F(xiàn)端到端的訓(xùn)練。

2.3 基于點(diǎn)級(jí)標(biāo)注方法

實(shí)例點(diǎn)是一種簡(jiǎn)單提供物體位置信息的稀疏弱標(biāo)注方式,能夠粗略標(biāo)注物體的中間位置。在相同注釋預(yù)算的情況下,點(diǎn)級(jí)監(jiān)督可以更有效地利用注釋時(shí)間,生成更有效的模型。

BEARMAN等人[72]將點(diǎn)級(jí)監(jiān)督信息與CNN模型中的損失函數(shù)相結(jié)合,在可忽略的額外時(shí)間內(nèi)加強(qiáng)對(duì)語(yǔ)義分割的監(jiān)督,取得了較好的分割效果。MANINIS等人[73]根據(jù)分割對(duì)象的4個(gè)極端點(diǎn)(最左側(cè)、最右側(cè)、頂部、底部像素),提出一種半自動(dòng)分割的CNN架構(gòu)Deep Extreme Cut(DEXTR)。首先創(chuàng)建熱圖并在極值點(diǎn)區(qū)域激活,連接熱圖和輸入圖像的RGB 3個(gè)通道形成4個(gè)通道數(shù)據(jù)輸入至CNN中,實(shí)現(xiàn)圖像或者視頻的對(duì)象分割。該方法在5個(gè)不同數(shù)據(jù)集上分別進(jìn)行語(yǔ)義、實(shí)例、視頻和交互式分割實(shí)驗(yàn),均獲得了較好的分割結(jié)果。

2.4 基于圖像級(jí)標(biāo)注方法

與其他類(lèi)型的標(biāo)注相比,圖像級(jí)標(biāo)注無(wú)需進(jìn)行像素標(biāo)注,使用類(lèi)別標(biāo)簽作為訓(xùn)練標(biāo)注,制作簡(jiǎn)單,工作量小,因而成為弱監(jiān)督學(xué)習(xí)圖像語(yǔ)義分割的主流方法。部分圖像級(jí)標(biāo)注方法將DNN中的卷積層輸出視為像素級(jí)標(biāo)簽的潛在置信度分?jǐn)?shù),全局池化操作融合所有像素的輸出概率得分以生成圖像級(jí)的類(lèi)別得分,作為已標(biāo)注訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練分割網(wǎng)絡(luò)。在此框架內(nèi),PINHEIRO等人[74]采用多實(shí)例學(xué)習(xí)機(jī)制構(gòu)建圖像標(biāo)簽與像素語(yǔ)義之間的關(guān)聯(lián),使用超像素和MCG算法等平滑每個(gè)像素級(jí)的類(lèi)標(biāo)簽。PAPANDREOU等人[75]采用期望最大化遞歸預(yù)測(cè)潛在的像素級(jí)標(biāo)簽,并作為新的訓(xùn)練數(shù)據(jù)來(lái)更新模型,以實(shí)現(xiàn)期望最大化。DURAND等人[76]將FCN提取的特征圖分解為多通道特征,每個(gè)通道對(duì)應(yīng)一個(gè)顯著局部特征,聚合池化后的多通道特征圖,最后使用圖像級(jí)真實(shí)標(biāo)簽信息進(jìn)行學(xué)習(xí)。

圖像級(jí)標(biāo)注的監(jiān)督信息相較于像素級(jí)標(biāo)注過(guò)于粗糙,在圖像語(yǔ)義分割任務(wù)中難以獲得令人滿(mǎn)意的分割效果。通過(guò)融合的新思想,擴(kuò)展目標(biāo)對(duì)象區(qū)域,深度挖掘監(jiān)督信息,能有效地提高圖像級(jí)標(biāo)注的分割精度。KOLESNIKOV等人[77]融合多種復(fù)合損失函數(shù),提出SEC(Seed,Expand,and Constrain)算法。受SEC算法的啟發(fā),HUANG等人[78]利用經(jīng)典種子區(qū)域增長(zhǎng)(classical Seeded Region Growing,SRG)方法逐步增加種子區(qū)域的像素級(jí)監(jiān)督,最終生成準(zhǔn)確、完整的像素級(jí)標(biāo)簽。WEI等人[79]研究空洞卷積并提出MDC(Multi-Dilated Convolutional)模塊,將已標(biāo)注區(qū)域的知識(shí)推廣到相鄰、不確定區(qū)域生成密集目標(biāo)定位預(yù)測(cè)結(jié)果。AHN等人[80]利用AffinityNet網(wǎng)絡(luò)生成分割標(biāo)簽,在無(wú)需外部數(shù)據(jù)或額外的監(jiān)督信息的情況下,來(lái)補(bǔ)償物體形狀的缺失信息。ZHOU等人[81]使用圖像級(jí)的類(lèi)別標(biāo)注監(jiān)督信息,通過(guò)探索類(lèi)別響應(yīng)峰值使分類(lèi)網(wǎng)絡(luò)能夠很好地提取實(shí)例分割掩膜。該方法不僅計(jì)算成本小,并且僅用分類(lèi)標(biāo)注就能完成有效的分割任務(wù),從而提高了弱監(jiān)督的逐點(diǎn)定位結(jié)果以及語(yǔ)義分割的性能。

WEI等人[82]將顯著性作為圖像額外先驗(yàn)知識(shí)進(jìn)行信息提取,提出一種STC方法,通過(guò)自下而上地檢測(cè)圖像顯著性區(qū)域,利用顯著性區(qū)域圖和圖片標(biāo)簽信息構(gòu)建像素間的語(yǔ)義關(guān)系,并結(jié)合圖像級(jí)注釋推斷出復(fù)雜圖像的像素級(jí)分割掩碼作為監(jiān)督信息進(jìn)行學(xué)習(xí),從而逐漸提升分割性能。

2.5 基于混合標(biāo)注方法

雖然上述4種標(biāo)注方法可以有效減少標(biāo)注成本和標(biāo)注時(shí)間,降低對(duì)大量訓(xùn)練數(shù)據(jù)的需求,但是由于弱標(biāo)注圖像數(shù)據(jù)的局限性,僅使用某一種弱標(biāo)注數(shù)據(jù)的訓(xùn)練效果并不理想。如果混合多種標(biāo)注數(shù)據(jù),取長(zhǎng)補(bǔ)短,則可能取得較好的分割結(jié)果。XU等人[83]構(gòu)建了一個(gè)統(tǒng)一的標(biāo)注框架,該框架結(jié)合像素級(jí)標(biāo)注、圖像級(jí)標(biāo)注、邊界框標(biāo)注和其他部分標(biāo)注(如涂鴉級(jí)標(biāo)注)等各種不同類(lèi)型的標(biāo)注,生成像素級(jí)標(biāo)注數(shù)據(jù)。

基于半監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法大多綜合使用少量像素級(jí)標(biāo)注圖像和大量弱標(biāo)注圖像。例如,PAPANDREOU等人[75]提出的隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)將少量像素級(jí)注釋圖像與大量弱注釋圖像組合在一起時(shí)獲得了優(yōu)異的性能,幾乎達(dá)到全監(jiān)督學(xué)習(xí)圖像語(yǔ)義分割方法的效果。HONG等人[84]提出基于解耦深層編碼器-解碼器的DecoupledNet半監(jiān)督分割架構(gòu),將分割與分類(lèi)任務(wù)分離,分類(lèi)網(wǎng)絡(luò)使用豐富的圖像級(jí)注釋數(shù)據(jù)進(jìn)行模型學(xué)習(xí),然后,少量帶有強(qiáng)注釋的訓(xùn)練示例共同優(yōu)化連接層和分割網(wǎng)絡(luò)。該方法沒(méi)有循環(huán)迭代步驟,所以具有較好的擴(kuò)展性。

HUNG等人[55]基于GAN基本框架,將分割網(wǎng)絡(luò)作為生成器,采用全卷積方式的鑒別器。全卷積鑒別器不僅提供像素級(jí)的鑒別,還可以為無(wú)標(biāo)簽數(shù)據(jù)生成置信圖,從而提供額外的監(jiān)督信號(hào),以實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)。IBRAHIM等人[85]使用一組完全監(jiān)督的圖像和一組邊界框標(biāo)注的圖像作為訓(xùn)練樣本,通過(guò)輔助模型和自校正模塊來(lái)訓(xùn)練主分割模型,訓(xùn)練性能接近全監(jiān)督學(xué)習(xí)模型,但其標(biāo)注工作大幅減少。

2.6 基于附加數(shù)據(jù)源方法

上述點(diǎn)級(jí)標(biāo)注和涂鴉級(jí)標(biāo)注等標(biāo)注數(shù)據(jù)難以直接獲得,需要一定的人工交互操作。盡管這些類(lèi)型的標(biāo)注數(shù)據(jù)比像素級(jí)標(biāo)注數(shù)據(jù)更容易獲得,但是弱監(jiān)督學(xué)習(xí)的主要目標(biāo)是減少所需的人工交互操作。因此,一些研究人員使用附加數(shù)據(jù)源,在沒(méi)有額外人工標(biāo)注的情況下加入更強(qiáng)的監(jiān)督信息[86]。

相比于單張圖像,視頻數(shù)據(jù)更易獲取,且視頻也逐漸成為信息傳播的主要媒介。文獻(xiàn)[87]將視頻作為附加數(shù)據(jù)源進(jìn)行語(yǔ)義分割,為了從網(wǎng)絡(luò)存儲(chǔ)庫(kù)(例如YouTube)中自動(dòng)收集相關(guān)的視頻剪輯,HONG等人[87]利用全自動(dòng)視頻檢索算法,使用類(lèi)標(biāo)簽作為搜索關(guān)鍵詞從Web存儲(chǔ)庫(kù)爬取視頻,并利用由弱標(biāo)簽學(xué)習(xí)的DCNN分類(lèi)器從視頻中選擇相關(guān)區(qū)間來(lái)優(yōu)化搜索結(jié)果。另外,HONG等人[88]使用基于注意力模型的新型編解碼器架構(gòu),將不相關(guān)類(lèi)別的分割知識(shí)遷移到弱監(jiān)督的語(yǔ)義分割任務(wù)中。同樣,文獻(xiàn)[89]提出了一種通用半監(jiān)督語(yǔ)義分割方法,利用每個(gè)領(lǐng)域的少數(shù)標(biāo)注樣本和大量未標(biāo)注數(shù)據(jù)來(lái)訓(xùn)練聯(lián)合模型。

3 語(yǔ)義分割實(shí)驗(yàn)對(duì)比與分析

本章首先梳理常用公開(kāi)圖像數(shù)據(jù)集和遙感圖像數(shù)據(jù)集,然后對(duì)當(dāng)前語(yǔ)義分割算法的實(shí)驗(yàn)性能評(píng)估指標(biāo)進(jìn)行歸納,在此基礎(chǔ)上,對(duì)現(xiàn)有語(yǔ)義分割算法的性能進(jìn)行綜合對(duì)比和分析。

3.1 數(shù)據(jù)集

自語(yǔ)義分割發(fā)展以來(lái),圖像一直是該領(lǐng)域的關(guān)注重點(diǎn),因此,二維圖像數(shù)據(jù)集的數(shù)據(jù)量豐富,涉及范圍廣。本節(jié)列舉語(yǔ)義分割領(lǐng)域中常見(jiàn)的公共圖像數(shù)據(jù)集和遙感圖像數(shù)據(jù)集,分別如表1、表2所示,其中,“—”表示該方法未提供相應(yīng)的結(jié)果。

表1 常用的圖像語(yǔ)義分割公共數(shù)據(jù)集Table 1 Common image semantic segmentation public datasets

表2 常用的圖像語(yǔ)義分割遙感數(shù)據(jù)集Table 2 Common image semantic segmentation remote sensing datasets

3.2 結(jié)果分析

本節(jié)將按照?qǐng)D1和圖2所示語(yǔ)義分割模型的實(shí)驗(yàn)結(jié)果分別進(jìn)行分析與對(duì)比。隨著語(yǔ)義分割技術(shù)的發(fā)展和數(shù)據(jù)處理能力的提高,該技術(shù)的應(yīng)用范圍更加廣泛,除了運(yùn)用復(fù)雜的網(wǎng)絡(luò)提高算法的分割準(zhǔn)確率外,現(xiàn)實(shí)中的應(yīng)用程序(如自動(dòng)駕駛、行人檢測(cè)等)更需要實(shí)時(shí)高效的分割網(wǎng)絡(luò)。因此,本節(jié)在對(duì)比分割準(zhǔn)確率的同時(shí),從參數(shù)數(shù)量和運(yùn)行速率2個(gè)方面分析部分輕量級(jí)網(wǎng)絡(luò)的實(shí)時(shí)性。

目前已經(jīng)提出許多用于評(píng)估語(yǔ)義分割準(zhǔn)確率的評(píng)價(jià)指標(biāo),語(yǔ)義分割算法的性能評(píng)價(jià)標(biāo)準(zhǔn)主要分為精確度、時(shí)間復(fù)雜度和內(nèi)存損耗3個(gè)方面。其中,精確度是最關(guān)鍵的指標(biāo),雖然現(xiàn)有的文獻(xiàn)對(duì)語(yǔ)義分割成果采用了許多不同的精度衡量方法,如平均準(zhǔn)確率(Mean Accuracy,MA)、總體準(zhǔn)確率(Overall Accuracy,OA)、平均交并比(mean Intersection over Union,mIoU)和帶權(quán)交并比(Frequency Weighted Intersection over Union,FWIoU),但本質(zhì)上他們都是準(zhǔn)確率及交并比(IoU)的變體。在精確度結(jié)果評(píng)價(jià)時(shí),一般選擇OA和mIoU這2種評(píng)價(jià)指標(biāo)進(jìn)行綜合分析。其中,mIoU表示數(shù)據(jù)分割的預(yù)測(cè)值與真實(shí)值之間的交集和并集之比,是目前語(yǔ)義分割領(lǐng)域使用頻率最高和最常見(jiàn)的標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo),具體計(jì)算方法如式(1)所示。其中,假設(shè)共有k+1個(gè)類(lèi)別(包括一個(gè)背景類(lèi)),Pij是將i類(lèi)預(yù)測(cè)為j類(lèi)的點(diǎn)數(shù),Pii表示真實(shí)值為i、預(yù)測(cè)值為i的點(diǎn)數(shù),Pij表示真實(shí)值為i、預(yù)測(cè)值為j的點(diǎn)數(shù),Pji表示真實(shí)值為j、預(yù)測(cè)值為i的點(diǎn)數(shù)。

(1)

表3所示為全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法的mIoU實(shí)驗(yàn)結(jié)果對(duì)比,主要的比較因素有基礎(chǔ)網(wǎng)絡(luò)、是否使用PGM方法以及5類(lèi)二維公共數(shù)據(jù)集的評(píng)價(jià)指標(biāo)結(jié)果,“×”表示未使用PGM方法。

表3 基于全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法mIoU結(jié)果對(duì)比Table 3 Comparison of mIoU results of image semantic segmentation method based on fully supervised learning %

從表3可以看出,目前對(duì)靜態(tài)圖像進(jìn)行語(yǔ)義分割時(shí),大部分算法選用PASCAL VOC 2012 作為測(cè)試數(shù)據(jù)集,當(dāng)對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行解析或?qū)崟r(shí)圖像語(yǔ)義分割時(shí),很多算法選用CityScapes作為測(cè)試數(shù)據(jù)集。

基于PASCAL VOC 2012測(cè)試數(shù)據(jù)集,DeepLab V3、DeepLab V3+、DUC+HDC、GCN+、Upsampling、PSPNet、PSANet、DANet和EMANet等算法的mIoU值都超過(guò)了80%,對(duì)圖像數(shù)據(jù)中不同尺度物體有較好的識(shí)別率,目標(biāo)分割結(jié)果的邊界比較接近真實(shí)分割邊界。這些算法均是在2017年以后提出,說(shuō)明基于深度學(xué)習(xí)的圖像語(yǔ)義分割方法正穩(wěn)步發(fā)展。其中,DeepLab V3+分割效果最好,主要是由于該算法吸取DeepLab系列方法的優(yōu)點(diǎn),并結(jié)合深度可分離卷積來(lái)簡(jiǎn)化模型和提高分割效率,從而實(shí)現(xiàn)圖像語(yǔ)義分割精度和速度的均衡。

基于CityScapes數(shù)據(jù)集,DeepLab V3+、DenseASPP、DUC+HDC、GSCNN、PSPNet、PSANet、CCNet和DANet等算法的mIoU值均超過(guò)了80%,分割精度基本滿(mǎn)足街道場(chǎng)景圖像語(yǔ)義分割的要求,然而這些算法的實(shí)時(shí)性存在不足。ENet、ESPNet、ICNet和BiSeNet這4種算法雖然分割準(zhǔn)確率不如上述算法,但這些算法模型尺寸小,計(jì)算成本低,能夠?qū)崟r(shí)響應(yīng)。

針對(duì)算法參數(shù)數(shù)量和運(yùn)行速率2個(gè)方面,本文從全監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法中選擇代表性較強(qiáng)、實(shí)時(shí)性較高的算法進(jìn)行分析對(duì)比。實(shí)驗(yàn)均在CityScapes測(cè)試數(shù)據(jù)集中進(jìn)行,速度分析結(jié)果如表4所示,主要的比較參數(shù)有參數(shù)數(shù)量、運(yùn)行時(shí)間和每秒幀數(shù),其中,運(yùn)行時(shí)間代表分割一張圖像所消耗的時(shí)間,每秒幀數(shù)代表每秒能夠分割的圖像總數(shù)量。

表4 CityScapes測(cè)試數(shù)據(jù)集中的算法速度對(duì)比Table 4 Comparison of algorithms speed in CityScapes test dataset

從表4可以看出,各類(lèi)算法的分割速度有較大差異,其中,Enet、ICNet、BiSeNet和DFANet這4種分割算法速度較快,實(shí)時(shí)性較強(qiáng),適用于實(shí)時(shí)圖像語(yǔ)義分割。ENet算法的思路啟發(fā)來(lái)自于文獻(xiàn)[119],其集成了幾個(gè)加速因子,包括多分支模塊、下采樣、較小的解碼器、濾波器張量分解等。ICNet網(wǎng)絡(luò)利用其處理低分辨率圖像時(shí)的效率和處理高分辨率圖像時(shí)的高推理質(zhì)量的優(yōu)勢(shì),在提高分割精確度的同時(shí)加快了分割速率。BiSeNet提出了用于高分辨率圖像的淺層網(wǎng)絡(luò)過(guò)程和快速下采樣的深度網(wǎng)絡(luò),以在分類(lèi)能力和感受野之間取得平衡,其為目前在分割效率和準(zhǔn)確性之間取得均衡效果最優(yōu)的算法之一。

表5列舉了在最具代表性的數(shù)據(jù)集上基于深度學(xué)習(xí)的弱監(jiān)督學(xué)習(xí)圖像語(yǔ)義分割方法的實(shí)驗(yàn)結(jié)果,主要的比較因素有基礎(chǔ)網(wǎng)絡(luò)、是否使用PGM方法、監(jiān)督信息、實(shí)驗(yàn)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)。從表5可以看出,基于邊框標(biāo)注和基于涂鴉標(biāo)注算法在PASCAL VOC 2012數(shù)據(jù)集上的mIoU均超過(guò)了70%,分割準(zhǔn)確率較高。在其他的弱監(jiān)督網(wǎng)絡(luò)算法中,一些網(wǎng)絡(luò)直接利用這些標(biāo)注作為輸入,也有一些網(wǎng)絡(luò)是在這些標(biāo)注的基礎(chǔ)上生成部分像素點(diǎn)標(biāo)注數(shù)據(jù),再進(jìn)行全監(jiān)督訓(xùn)練,其分割效果不明顯,分割邊界粗糙且不連續(xù),mIoU均普遍較低,分割性能與全監(jiān)督的語(yǔ)義分割算法相差較大。

表5 基于弱監(jiān)督學(xué)習(xí)的圖像語(yǔ)義分割方法mIoU結(jié)果對(duì)比Table 5 Comparison of mIoU results of image semantic segmentation methods based on weakly supervised learning

4 未來(lái)研究方向

近年來(lái),隨著自動(dòng)駕駛、安防監(jiān)控等應(yīng)用的不斷發(fā)展,用戶(hù)對(duì)模型尺寸、計(jì)算成本、分割精度等方面提出了更高的要求。因此,研究人員通過(guò)限制輸入圖像大小或修剪網(wǎng)絡(luò)中冗余通道等方法來(lái)提高推理和預(yù)測(cè)速度,從而降低計(jì)算復(fù)雜度。盡管這些方法在一定程度上提升了語(yǔ)義分割的效果,但它們?nèi)菀讈G失目標(biāo)邊界和小物體周?chē)徲虻目臻g細(xì)節(jié),并且淺層網(wǎng)絡(luò)易降低特征辨別能力。大型深度學(xué)習(xí)網(wǎng)絡(luò)模型在參數(shù)優(yōu)化過(guò)程中會(huì)消耗大量資源,為減小內(nèi)存需求,避免維度災(zāi)難問(wèn)題,學(xué)者們常采取主成分分析、池化、下采樣等操作減小計(jì)算量、降低維度,但這些操作容易漏檢含有重要語(yǔ)義信息的小尺度區(qū)域。另一方面,模型泛化能力弱是目前語(yǔ)義分割領(lǐng)域急需解決的問(wèn)題,大部分深度神經(jīng)網(wǎng)絡(luò)模型只對(duì)特定數(shù)據(jù)集具有較高的分割效果。深度神經(jīng)網(wǎng)絡(luò)模型在模型遷移學(xué)習(xí)時(shí),算法不能獲得令人滿(mǎn)意的語(yǔ)義分割效果,從而限制了其應(yīng)用范圍。本章在上述深度神經(jīng)網(wǎng)絡(luò)語(yǔ)義分割技術(shù)評(píng)述分析的基礎(chǔ)上,對(duì)語(yǔ)義分割領(lǐng)域未來(lái)的研究方向進(jìn)行展望。

1)三維點(diǎn)云數(shù)據(jù)的語(yǔ)義分割

深度神經(jīng)網(wǎng)絡(luò)框架已廣泛應(yīng)用于圖像處理領(lǐng)域,并取得了較好的性能表現(xiàn)。因此,很多學(xué)者將一些深度學(xué)習(xí)算法拓展到三維點(diǎn)云領(lǐng)域。然而,三維點(diǎn)云自身存在的無(wú)序性、密度不一致性、非結(jié)構(gòu)性、信息的不完整性等為點(diǎn)云語(yǔ)義分割帶來(lái)了難度。另外,三維點(diǎn)云語(yǔ)義分割過(guò)于依賴(lài)大量數(shù)據(jù)集,如何大規(guī)模地獲取三維數(shù)據(jù)并建立相關(guān)公共數(shù)據(jù)集也是需要解決的問(wèn)題。在二維圖像中,無(wú)/弱監(jiān)督方法可減少標(biāo)注成本和標(biāo)注時(shí)間,如果將其應(yīng)用到三維點(diǎn)云語(yǔ)義分割中,不僅能解決大數(shù)據(jù)量的需求問(wèn)題,而且可在提高網(wǎng)絡(luò)模型精度的同時(shí)提升分割速率,因此,三維點(diǎn)云語(yǔ)義分割技術(shù)在未來(lái)具有很大的應(yīng)用前景。

2)訓(xùn)練數(shù)據(jù)庫(kù)和應(yīng)用場(chǎng)景

基于深度學(xué)習(xí)的語(yǔ)義分割方法需要海量數(shù)據(jù)庫(kù)作為支撐,目前已有的數(shù)據(jù)集并不能滿(mǎn)足語(yǔ)義分割發(fā)展的需求,構(gòu)建豐富、有效且全面的數(shù)據(jù)集是目前進(jìn)行語(yǔ)義分割的首要條件。另外,像素級(jí)標(biāo)注等工作都需要消耗大量的人力、財(cái)力以及時(shí)間,標(biāo)注成本高。因此,如何快速、高精度地實(shí)現(xiàn)自動(dòng)標(biāo)注也是未來(lái)的一個(gè)研究熱點(diǎn)。

3)視頻序列數(shù)據(jù)集

目前可用的視頻序列數(shù)據(jù)集較少,導(dǎo)致針對(duì)視頻數(shù)據(jù)的語(yǔ)義分割方法研究進(jìn)展緩慢。帶有時(shí)間序列的視頻數(shù)據(jù)在語(yǔ)義分割過(guò)程中可利用其時(shí)空序列信息提供高階特征,從而提高分割準(zhǔn)確性和效率。如何獲取更多高質(zhì)量的視頻數(shù)據(jù),并充分利用視頻中豐富的時(shí)空序列特征進(jìn)行分析,將是語(yǔ)義分割領(lǐng)域的重要研究方向之一。

4)全景圖像分割技術(shù)

全景圖像分割技術(shù)對(duì)目標(biāo)區(qū)域(前景對(duì)象)和背景區(qū)域分別利用不同的模型實(shí)現(xiàn)語(yǔ)義分割[120]。2019年,KIRILLOV等人[121]結(jié)合語(yǔ)義分割FCN和實(shí)例分割R-CNN模型,設(shè)計(jì)Panoptic FPN模型,提高了語(yǔ)義分割的穩(wěn)健性和準(zhǔn)確性。鑒于全景圖像分割技術(shù)的語(yǔ)義分割有效性和概念的簡(jiǎn)單性,該方法的前景有待進(jìn)一步挖掘與探索。

5)網(wǎng)絡(luò)架構(gòu)輕量化

隨著自動(dòng)駕駛、行人檢測(cè)和環(huán)境感知等應(yīng)用領(lǐng)域的發(fā)展,人們對(duì)語(yǔ)義分割實(shí)時(shí)性的要求也越來(lái)越高。目前,基于網(wǎng)絡(luò)輕量化的實(shí)時(shí)分割研究方向主要分為2類(lèi):網(wǎng)絡(luò)壓縮和卷積操作分解。第1類(lèi)通過(guò)不同的壓縮技術(shù)(如參數(shù)剪枝[18]、散列法[122]、量化[123]等)減小網(wǎng)絡(luò)的訓(xùn)練預(yù)測(cè)規(guī)模,從而減少推斷所需的計(jì)算資源;第2類(lèi)根據(jù)卷積分解原理(Convolution Factorization Principle,CFP)構(gòu)建實(shí)時(shí)運(yùn)行的模型架構(gòu),如Enet[24]采用ResNet、ICNet[47]的級(jí)聯(lián)網(wǎng)絡(luò)等。輕量化的網(wǎng)絡(luò)架構(gòu)在保持高精度語(yǔ)義分割的同時(shí)可降低模型復(fù)雜度,縮短響應(yīng)時(shí)間,實(shí)現(xiàn)實(shí)時(shí)分割,是未來(lái)的重要研究方向之一。

5 結(jié)束語(yǔ)

本文從語(yǔ)義分割的應(yīng)用和深度學(xué)習(xí)的發(fā)展角度出發(fā),在算法特點(diǎn)以及模型結(jié)構(gòu)方面分析歸納一些性能較為突出的圖像語(yǔ)義分割方法,并進(jìn)行分類(lèi)、梳理和評(píng)估,對(duì)比其在常用數(shù)據(jù)集上的分割效果。分析結(jié)果表明,全監(jiān)督學(xué)習(xí)圖像語(yǔ)義分割方法的分割效果普遍優(yōu)于弱監(jiān)督學(xué)習(xí)圖像語(yǔ)義分割方法,但前者分割速率較低,后續(xù)研究將在保持全監(jiān)督學(xué)習(xí)方法高分割精度的同時(shí)縮短其分割時(shí)長(zhǎng)或有效提升弱監(jiān)督學(xué)習(xí)方法的分割效果。面對(duì)未來(lái)應(yīng)用需求更加豐富、性能要求更加嚴(yán)苛的形勢(shì),語(yǔ)義分割技術(shù)的發(fā)展也將面臨更多的挑戰(zhàn)。因此,下一步將對(duì)基于深度神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割進(jìn)行深入探索和研究。