深度學(xué)習(xí)的圖像實(shí)例分割方法綜述

張繼凱，趙 君，張 然，呂曉琪，聶俊嵐

1(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010) 2(內(nèi)蒙古工業(yè)大學(xué)，呼和浩特 010051) 3(燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島，066004)

1 概 述

實(shí)例分割是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)經(jīng)典任務(wù)，它將整個(gè)圖像分成一個(gè)個(gè)像素組，然后對(duì)其進(jìn)行標(biāo)記和分類.分類任務(wù)就是識(shí)別單個(gè)對(duì)象的圖像是什么，而分割需要確定對(duì)象的邊界、差異和彼此之間的聯(lián)系.所以，實(shí)例分割既具備語(yǔ)義分割的特點(diǎn)，對(duì)圖像中的每一個(gè)像素進(jìn)行分類，也具備目標(biāo)檢測(cè)的一部分特點(diǎn)，定位出圖像中同一類的不同實(shí)例.通常實(shí)例分割要面對(duì)多個(gè)物體重疊和復(fù)雜的背景，這也是為什么實(shí)例分割一直是一項(xiàng)挑戰(zhàn)性的任務(wù).以往，實(shí)例分割方法的思路可大體分為兩大類，一類是自上而下的基于檢測(cè)的方法，在邊界框中處理實(shí)例分割，即在邊界框中分割對(duì)象.另一類是自下而上的基于語(yǔ)義分割的方法，此類方法可概括為對(duì)像素進(jìn)行標(biāo)簽預(yù)測(cè)然后聚類.而SOLO算法[1]的出現(xiàn)，創(chuàng)造了第3類實(shí)例分割方法，直接實(shí)例分割方法，通過掩膜標(biāo)簽，對(duì)實(shí)例分割進(jìn)行端到端的優(yōu)化，突破傳統(tǒng)的局部邊框檢測(cè)和像素點(diǎn)聚合方法，直接進(jìn)行像素級(jí)別的實(shí)例分割.綜上所述，本文針對(duì)近幾年基于深度學(xué)習(xí)的實(shí)例分割方法進(jìn)行分類梳理，整理如圖1所示.

實(shí)例分割和物體檢測(cè)非常相關(guān)，在物體檢測(cè)的基礎(chǔ)上，要求分割出物體的像素，所以在一定意義上，目標(biāo)檢測(cè)的發(fā)展也影響著實(shí)例分割的性能.目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可分為包含兩次目標(biāo)檢測(cè)過程的兩階段檢測(cè)算法和包含一次目標(biāo)檢測(cè)過程的單階段檢測(cè)算法，兩階段檢測(cè)算法的精度普遍高于單階段檢測(cè)算法的原因是經(jīng)過兩次目標(biāo)檢測(cè)提升了算法的準(zhǔn)確性，但同時(shí)也增加了模型復(fù)雜度，制約了模型計(jì)算效率的提高.單階段檢測(cè)算法結(jié)構(gòu)簡(jiǎn)單、計(jì)算效率高，能夠方便地進(jìn)行端到端的訓(xùn)練，在實(shí)時(shí)目標(biāo)檢測(cè)領(lǐng)域中有很大的應(yīng)用潛力.最近的一些為實(shí)現(xiàn)實(shí)時(shí)的實(shí)例分割方法進(jìn)而選擇單階段檢測(cè)器作為目標(biāo)檢測(cè)框架，推動(dòng)了單階段實(shí)例分割方法的發(fā)展.本文首先介紹了實(shí)例分割方法的分類，然后介紹了圖2所示的典型算法，并對(duì)其模型進(jìn)行了深入分析，最后對(duì)實(shí)例分割方法的發(fā)展趨勢(shì)進(jìn)行了展望和總結(jié).

圖1 基于深度學(xué)習(xí)的圖像實(shí)例分割方法Fig.1 Image instance segmentation method based on deep learning

圖2 本文重點(diǎn)闡述的圖像實(shí)例分割方法Fig.2 This article focuses on the image instance segmentation method

2 自上而下的基于檢測(cè)的方法

自上而下的基于檢測(cè)的方法是先檢測(cè)再分割，先利用先進(jìn)的檢測(cè)器如Faster R-CNN[2]檢測(cè)每個(gè)實(shí)例的區(qū)域，然后在每個(gè)區(qū)域內(nèi)分割出實(shí)例掩膜.基于檢測(cè)的方法通常精度較高且依賴于準(zhǔn)確的邊界框檢測(cè)，計(jì)算量很大.

2.1 Mask R-CNN

實(shí)例分割不僅要求能準(zhǔn)確識(shí)別所有目標(biāo)，還需要分割出單個(gè)實(shí)例.2017年He等提出 Mask R-CNN[3]算法，該算法是在Faster R-CNN的基礎(chǔ)上添加一個(gè)與分類和邊界框回歸分支并行的掩膜分支來預(yù)測(cè)分割掩膜.Faster R-CNN是在R-CNN[4]系列算法的基礎(chǔ)上提出RPN網(wǎng)絡(luò)來得到準(zhǔn)確的候選區(qū)域，是一個(gè)實(shí)現(xiàn)多物體分類與定位的端到端檢測(cè)模型.由于Faster R-CNN的輸入輸出網(wǎng)絡(luò)采用的是ROIPool，在計(jì)算映射坐標(biāo)時(shí)進(jìn)行了四舍五入，導(dǎo)致ROI與提取的特征不對(duì)齊，這對(duì)預(yù)測(cè)像素級(jí)的掩膜有很大影響.針對(duì)取整誤差，Mask R-CNN提出RoIAlign層來消除RoIPool的量化誤差，使用雙線性插值來更精確地找到每個(gè)塊對(duì)應(yīng)的特征，從而正確地將提取的特征與輸入對(duì)齊.

繼Mask R-CNN之后，Masklab[5]加入了方向特征用于分割同一類別的實(shí)例，利用方向預(yù)測(cè)估計(jì)每個(gè)像素與其對(duì)應(yīng)的實(shí)例中心的方向，實(shí)現(xiàn)分割同一語(yǔ)義類的實(shí)例.PANet[6]引入了自底向上的路徑增強(qiáng)、動(dòng)態(tài)特征池化和全連接層融合，以提高實(shí)例分割的性能.Yan等使用Mask R-CNN模型提取目標(biāo)肺結(jié)節(jié)邊緣像素坐標(biāo)，并引入Sobel算子來加強(qiáng)邊緣像素點(diǎn)的檢測(cè)，然后使用閾值分割的方法進(jìn)行降噪，增強(qiáng)了模型對(duì)細(xì)小肺結(jié)節(jié)的分割效果[7].針對(duì)復(fù)雜物體分割缺失嚴(yán)重，邊緣不清晰等問題，Zhan等提出一種結(jié)合多種圖像分割算法的實(shí)例分割方案，得到更加精細(xì)的分割掩膜[8].雖然Mask R-CNN及其改進(jìn)在實(shí)例分割和檢測(cè)精度方面具有很好的效果，該類算法最大缺陷是檢測(cè)速度難以滿足實(shí)時(shí)的需要，其次mask分支的分辨率被固定在一定的尺寸導(dǎo)致其產(chǎn)生的掩膜較粗糙，難以應(yīng)用在實(shí)際中.

2.2 Mask Scroing R-CNN

針對(duì)Mask R-CNN算法中采用分類置信度作為評(píng)價(jià)掩膜的質(zhì)量分?jǐn)?shù)，但掩膜的分割質(zhì)量與分類置信度沒有太強(qiáng)的關(guān)聯(lián)，所以Mask Scroing R-CNN[9]采用預(yù)測(cè)掩膜與標(biāo)注掩膜的交并比MaskIoU來描述掩膜的分割質(zhì)量，并添加一個(gè)新的分支MaskIoU Head，將預(yù)測(cè)的MaskIoU和分類的分?jǐn)?shù)相乘得到掩膜分?jǐn)?shù)，該分?jǐn)?shù)既能識(shí)別語(yǔ)義類別，又能識(shí)別實(shí)例掩膜的完整性.通過掩膜打分從而預(yù)測(cè)出實(shí)際掩膜的質(zhì)量分?jǐn)?shù)，使網(wǎng)絡(luò)優(yōu)先輸出更完整的掩膜，進(jìn)而提高實(shí)例分割的性能.Mask Scroing R-CNN簡(jiǎn)稱MS RCNN，網(wǎng)絡(luò)框架如圖3所示.

該方法的改進(jìn)不同于之前對(duì)實(shí)例定位或分割掩膜的改進(jìn)，而是側(cè)重于對(duì)掩膜進(jìn)行打分，通過校正掩膜質(zhì)量和掩膜評(píng)分之間的偏差，使網(wǎng)絡(luò)優(yōu)先考慮更準(zhǔn)確的掩膜預(yù)測(cè).缺點(diǎn)是具有較高分類分?jǐn)?shù)的低質(zhì)量掩膜會(huì)影響重疊對(duì)象的分割性能，因?yàn)榫W(wǎng)絡(luò)會(huì)將重疊部分分配給分類得分較高的掩膜.Liu等受到Mask Scoring RCNN的啟發(fā)，設(shè)計(jì)了一個(gè)簡(jiǎn)潔的掩膜質(zhì)量分支，將前景得分圖與ROI特征圖融合來預(yù)測(cè)掩膜的質(zhì)量，減輕了預(yù)測(cè)掩膜質(zhì)量與分類分?jǐn)?shù)之間的不一致，提高了分割精度[10].Kang等提出了評(píng)分掩模，通過假邊界和真邊界之間填充不同值來更有效地學(xué)習(xí)邊界以提高實(shí)例分割的性能[11].雖然給掩膜打分比較新穎，對(duì)后續(xù)工作也有一定的啟發(fā)意義，但新增的打分分支導(dǎo)致掩膜與檢測(cè)分支相關(guān)，使掩膜受限于box.

2.3 PolarMask

兩階段的實(shí)例分割方法精度高但速度較慢，為提高分割速度，單階段的實(shí)例分割方法相繼提出.InstanceFCN[12]網(wǎng)絡(luò)通過一組實(shí)例敏感的得分圖，使用組裝模塊在滑動(dòng)窗口中生成實(shí)例.TensorMask[13]使用結(jié)構(gòu)化的4D張量表示空間域上的掩膜，研究了密集滑動(dòng)窗口的實(shí)例分割范式.相較于逐像素的密集回歸方法，利用極坐標(biāo)的方法預(yù)測(cè)輪廓的點(diǎn)來分割實(shí)例的方法更簡(jiǎn)潔，Schmidt等利用極坐標(biāo)表示法檢測(cè)顯微圖像中的細(xì)胞[14]，ESESeg[15]方法使用極坐標(biāo)對(duì)實(shí)例進(jìn)行建模.受其上的兩種方法的啟發(fā)，Xie等提出單階段實(shí)例分割方法PolarMask[16]，在無錨框的目標(biāo)檢測(cè)算法FCOS[17]的基礎(chǔ)上進(jìn)一步細(xì)化邊界輪廓，使其適用于掩膜分割任務(wù).該算法基于極坐標(biāo)系對(duì)輪廓進(jìn)行建模，且輪廓上的點(diǎn)由距離和角度確定，由于預(yù)先設(shè)置了角度間隔，網(wǎng)絡(luò)僅需要預(yù)測(cè)出射線長(zhǎng)度，根據(jù)樣本中心和射線長(zhǎng)度，計(jì)算出相應(yīng)輪廓點(diǎn)的坐標(biāo)，然后由樣本中心從0°出發(fā)，連接每一個(gè)輪廓點(diǎn)，最終得到目標(biāo)的輪廓及其掩膜如圖4所示.

圖3 Mask Scroing R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Mask Scroing R-CNN network structure

圖4 PolarMask輪廓及掩碼生成Fig.4 PolarMask contour and mask generation

該方法是將實(shí)例分割轉(zhuǎn)化為兩個(gè)并行任務(wù)：實(shí)例中心點(diǎn)分類和密集距離回歸來共同預(yù)測(cè)實(shí)例輪廓.為了進(jìn)一步優(yōu)化正樣本采樣和密集距離損失函數(shù)，提出Polar CenterNess和Polar IoU Loss.Polar CenterNess為預(yù)測(cè)的極中心點(diǎn)分配權(quán)重，權(quán)重乘以分類分?jǐn)?shù)來挑選出高質(zhì)量的正樣本，使射線的回歸距離更加準(zhǔn)確.Polar IoU Loss近似計(jì)算出預(yù)測(cè)掩膜與標(biāo)注掩膜的交并比來優(yōu)化掩膜的回歸，使掩膜分支快速且穩(wěn)定收斂.雖然構(gòu)思巧妙，對(duì)后續(xù)的實(shí)例分割研究有啟發(fā)意義，但缺點(diǎn)是使用極坐標(biāo)預(yù)測(cè)的多邊形掩膜比真實(shí)掩膜要粗糙，且只能描繪出單個(gè)實(shí)例的輪廓.針對(duì)PolarMask對(duì)非圓形物體預(yù)測(cè)的中心居中度低的問題，Benbarka等提出歸一化中心度來保留非圓形物體的位置并增加被預(yù)測(cè)的可能性[18].受到Polarmask多邊形分割的啟發(fā)，Hurtik等提出在特定的邊界框中學(xué)習(xí)與大小無關(guān)的多邊形輪廓，并且多邊形頂點(diǎn)的數(shù)量可以動(dòng)態(tài)調(diào)整以便精確分割形狀復(fù)雜的物體[19].

2.4 YOLACT

計(jì)算機(jī)視覺中學(xué)習(xí)模板的方法應(yīng)用廣泛，文獻(xiàn)[20，21]設(shè)計(jì)了表示特征的原型模板進(jìn)行目標(biāo)檢測(cè)，而在實(shí)例分割領(lǐng)域中YOLACT[22]也利用不同模板組合進(jìn)行實(shí)例分割.YOLACT類似于SSD[23]和YOLO[24]系列對(duì)彌補(bǔ)目標(biāo)檢測(cè)無單階網(wǎng)絡(luò)所做的工作，致力于填補(bǔ)實(shí)例分割單階段網(wǎng)絡(luò)的空白.YOLACT在單階段檢測(cè)器上添加一個(gè)掩膜分支來分割實(shí)例，且不添加特征定位步驟如repooling，得到更為精細(xì)的分割掩膜.

YOLACT為每張圖片生成k個(gè)原型掩膜并預(yù)測(cè)k個(gè)掩膜系數(shù)，一個(gè)系數(shù)對(duì)應(yīng)于一個(gè)原型掩膜.將正/負(fù)掩膜系數(shù)線性組合原型掩膜得到最后的預(yù)測(cè)結(jié)果.YOLACT網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.為了提高并行分支的運(yùn)算速度，YOLACT提出了一種Fast NMS算法代替?zhèn)鹘y(tǒng)的NMS，使用矩陣表示候選框的得分并同時(shí)能刪除多個(gè)低于閾值的候選框，對(duì)精度影響較小的同時(shí)加快了NMS的計(jì)算速度.

由于YOLACT的實(shí)時(shí)性和通用性，Bak等采用YOLACT對(duì)電影中的視頻幀先進(jìn)行語(yǔ)義分割，然后使用CNN[25，26]對(duì)鏡頭分類，實(shí)現(xiàn)對(duì)各種電影的分析與分類[27].Konya等通過YOLACT技術(shù)對(duì)X射線的腰錐骨進(jìn)行分割，其分割的準(zhǔn)確性較高且視覺效果好并能分割重疊的椎骨，為臨床醫(yī)學(xué)決策提供支持[28].Zheng等提出完全I(xiàn)oU損失和Cluster-NMS來增強(qiáng)邊界框回歸和非最大抑制中的幾何因素，并在實(shí)時(shí)分割框架YOLACT中應(yīng)用，進(jìn)一步提高平均精度和平均召回率的同時(shí)保持實(shí)時(shí)的推理速度[29].

2.5 YOLACT++

為進(jìn)一步提高YOLACT的實(shí)時(shí)精度，作者又提出了YOLACT++方法[30]，在進(jìn)一步提高檢測(cè)精度的同時(shí)降低了一點(diǎn)速度.從3個(gè)方面進(jìn)行改進(jìn)：a)主干網(wǎng)絡(luò)中引入可變形卷積[31]，通過與目標(biāo)實(shí)例對(duì)齊來增強(qiáng)網(wǎng)絡(luò)對(duì)不同尺度、旋轉(zhuǎn)角度和縱橫比實(shí)例的處理能力，實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)特征的靈活采樣；b)優(yōu)化預(yù)測(cè)頭，當(dāng)畫面某個(gè)位置存在多個(gè)重疊的實(shí)例時(shí)，為準(zhǔn)確地進(jìn)行實(shí)例分割，引入覆蓋更多比例的anchor，以獲得更大的召回率；c)受到Mask Scoring R-CNN的啟發(fā)，在網(wǎng)絡(luò)中引入了圖6所示的6個(gè)卷積層和一個(gè)全局池化層構(gòu)成的fast mask re-scoring分支，將框的質(zhì)量和掩膜質(zhì)量結(jié)合.來對(duì)預(yù)測(cè)的掩膜進(jìn)行綜合排序，得到按分割質(zhì)量排序的掩膜，消除了預(yù)測(cè)掩膜的排序僅僅依靠于關(guān)聯(lián)不大的分類置信度.

圖5 YOLACT網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 YOLACT network structure

圖6 Fast mask re-scoring網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Fast mask re-scoring network structure

前兩種改進(jìn)使得YOLACT ++受定位失敗的影響較小，第3種改進(jìn)使得掩膜的排序更為合適，保證了輸出的目標(biāo)掩膜具有最佳的質(zhì)量.在COCO數(shù)據(jù)集上，該模型以33.5fps的速度達(dá)到34.1mAP，達(dá)到實(shí)時(shí)的同時(shí)較YOLACT提升了性能.

2.6 BlendMask

BlendMask[32]借鑒了YOLACT方法中的掩碼bases加權(quán)求和，結(jié)合了自上而下和自下而上的方法的思路，設(shè)計(jì)了一個(gè)blender模塊，將高層特征提供的全局語(yǔ)義信息和較低層特征提供的位置信息融合，使網(wǎng)絡(luò)學(xué)到了更加豐富的特征表示.在COCO數(shù)據(jù)集上BlendMask達(dá)到了41.3mAP，在精度和速度上都超越了Mask R-CNN.

BlendMask架構(gòu)包括檢測(cè)網(wǎng)絡(luò)和mask分支，網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，檢測(cè)網(wǎng)絡(luò)是采用的基于anchor-free的FCOS目標(biāo)檢測(cè)模型，mask分支包括：底部模塊提取底層的細(xì)節(jié)特征，預(yù)測(cè)score maps；top layer用于預(yù)測(cè)實(shí)例的attentions，學(xué)習(xí)一些實(shí)例級(jí)信息，指導(dǎo)score maps捕獲位置敏感信息并抑制外部區(qū)域，起到實(shí)例感知指導(dǎo)的作用；blender module整合分?jǐn)?shù)以及attentions，融合特征以得到高質(zhì)量的分割掩膜.該方法的優(yōu)點(diǎn)是簡(jiǎn)化了全局特征圖表示，減少了所需的通道數(shù)，輸出分辨率不受頂層采樣的限制，產(chǎn)生高質(zhì)量的掩膜.

圖7 BlendMask 網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 BlendMask network structure

3 自下而上的基于語(yǔ)義分割的方法

自下而上的基于分割的方法是先對(duì)每個(gè)像素的類別標(biāo)簽進(jìn)行預(yù)測(cè)，然后將其分組形成實(shí)例分割結(jié)果.此類方法是學(xué)習(xí)一個(gè)關(guān)聯(lián)程度，對(duì)每個(gè)像素點(diǎn)都賦予一個(gè)embedding 向量，該向量能將不同實(shí)例的像素點(diǎn)拉開，相同實(shí)例的像素點(diǎn)拉近，然后使用聚類后處理方法，將實(shí)例區(qū)分開來.通常基于分割的方法依賴于逐像素點(diǎn)的embedding學(xué)習(xí)和聚類后處理.

3.1 SGN 用于實(shí)例分割的序列分組網(wǎng)絡(luò)

針對(duì)實(shí)例分割任務(wù)的復(fù)雜性，SGN[33]將實(shí)例分割分解為一系列的子任務(wù)，由一系列神經(jīng)網(wǎng)絡(luò)來完成特定的子任務(wù)，然后將這些任務(wù)組合生成最終的分割掩膜.借鑒分水嶺算法[34]產(chǎn)生與目標(biāo)實(shí)例相對(duì)應(yīng)的連通分量和Kirillov等提出的邊緣輪廓來分割物體[35]的想法，將SGN網(wǎng)絡(luò)設(shè)計(jì)為3個(gè)部分，第一個(gè)網(wǎng)絡(luò)在水平和垂直方向上掃描圖片，將行列的斷點(diǎn)像素連接成水平和垂直分割線.LineNet網(wǎng)絡(luò)將水平和垂直分割線合并到屬于同一個(gè)標(biāo)注實(shí)例內(nèi)部連通的實(shí)例組件上.MergerNet網(wǎng)絡(luò)將線組成的實(shí)例部件組合成最終的實(shí)例掩膜，對(duì)于遮擋造成的實(shí)例的切割，將碎片實(shí)例合并成目標(biāo)實(shí)例，解決了某一實(shí)例的零散碎片被當(dāng)成單獨(dú)實(shí)例的分裂問題.網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示.

該方法的優(yōu)點(diǎn)是實(shí)現(xiàn)了任務(wù)分解，缺點(diǎn)是沒有實(shí)現(xiàn)端到端的訓(xùn)練且每一個(gè)子任務(wù)都是順序執(zhí)行，再進(jìn)行合并生成最終的實(shí)例，花費(fèi)時(shí)間的開銷較大.受到任務(wù)分解思路的影響，WISE網(wǎng)絡(luò)[36]將實(shí)例分割分為定位分支和嵌入分支，分別得到每個(gè)對(duì)象的位置和其屬于的實(shí)例，并將像素分組形成完整的實(shí)例掩膜.與SGN通過幾個(gè)子網(wǎng)分別學(xué)習(xí)并依靠獨(dú)立的步驟來獲得最終結(jié)果不同，Gong等提出一個(gè)部位分組網(wǎng)絡(luò)[37]來分析圖像中的人員，通過語(yǔ)義部位分割來識(shí)別像素屬于的人體部位，實(shí)例邊緣檢測(cè)將分割的人體部位分配給對(duì)應(yīng)的人體，使用統(tǒng)一的網(wǎng)絡(luò)以端到端的方式共同優(yōu)化了兩個(gè)相關(guān)的任務(wù).

圖8 順序分組網(wǎng)絡(luò)Fig.8 Sequential grouping networks

3.2 基于判別損失函數(shù)的語(yǔ)義實(shí)例分割

在實(shí)例分割任務(wù)中，度量學(xué)習(xí)在圖像分類任務(wù)中經(jīng)常用于判斷兩個(gè)樣本之間的相似性，如Chopra等通過學(xué)習(xí)相似性度量來對(duì)新樣本進(jìn)行分類[38]，Schroff等提出三元組損失函數(shù)[39]，該函數(shù)利用特征空間上的點(diǎn)的距離對(duì)樣本分類.文獻(xiàn)[40-43]使用度量學(xué)習(xí)來學(xué)習(xí)嵌入，以確保來自同一實(shí)例的像素具有相似的嵌入，對(duì)學(xué)習(xí)到的嵌入執(zhí)行聚類以獲得最終的實(shí)例標(biāo)簽.其中代表性的是Brabandere等提出一種基于度量學(xué)習(xí)原理的判別損失函數(shù)[43]來代替語(yǔ)義分割中softmax損失，使同實(shí)例物體中的像素映射到高維空間后得到的embedding 向量之間的距離相近，不同實(shí)例的embedding 向量之間的距離較遠(yuǎn).該損失函數(shù)包括：拉力，將同一實(shí)例中的所有像素點(diǎn)拉近到嵌入空間中的同一個(gè)點(diǎn)，懲罰同一實(shí)例中所有元素與其平均值之間的距離；推力，將每一個(gè)聚類的中心點(diǎn)推的更遠(yuǎn)；正則化，將各聚類的中心點(diǎn)盡可能靠近原點(diǎn).

該方法的優(yōu)點(diǎn)是通過對(duì)損失函數(shù)的優(yōu)化，使屬于同一實(shí)例的像素靠在一起，而不同的實(shí)例以較大的間距分開，并可以處理復(fù)雜的遮擋且不依賴目標(biāo)候選區(qū)域或遞歸機(jī)制.但該方法的缺點(diǎn)是，與一張圖片中只含同一類別的多個(gè)實(shí)例相比，一張圖片包含多個(gè)類別的實(shí)例分割效果不佳.隨后，Kulikov等提出訓(xùn)練著色網(wǎng)絡(luò)進(jìn)行實(shí)例分割，同一對(duì)象的像素著相同顏色，不同但相鄰實(shí)例的像素著不同顏色[44]，與文獻(xiàn)[43]相比，使用分類學(xué)習(xí)和基于連接組件的后處理代替了度量學(xué)習(xí)和基于聚類的后處理，簡(jiǎn)化了流程.Neven等提出聚類損失函數(shù)[45]使屬于該對(duì)象的像素指向該對(duì)象中心周圍的特定區(qū)域，并共同學(xué)習(xí)特定實(shí)例的聚類帶寬，從而最大程度地提高了所得實(shí)例掩膜的交并比.

3.3 SSAP

基于提議的方法易受邊框預(yù)測(cè)的準(zhǔn)確性的影響，文獻(xiàn)[41，45]采用基于語(yǔ)義分割的無提議方法通過實(shí)例嵌入來區(qū)分實(shí)例，使屬于同一實(shí)例的點(diǎn)在嵌入空間中是較接近的，而屬于不同類別的點(diǎn)在嵌入空間中是遠(yuǎn)離的，避免了基于提議的方法中的邊界框?qū)?shí)例分割框架的影響.受到Liu等提出的學(xué)習(xí)實(shí)例感知的親和力并通過聚類將像素分組為實(shí)例[46]的啟發(fā)，Gao等提出一種單階段的無提議實(shí)例分割方法SSAP[47]，通過學(xué)習(xí)像素對(duì)的親和力金字塔來學(xué)習(xí)兩個(gè)像素屬于同一實(shí)例的概率，使用語(yǔ)義分割和親和力金字塔聯(lián)合學(xué)習(xí)生成多尺度實(shí)例預(yù)測(cè)，然后通過級(jí)聯(lián)圖分區(qū)順序生成實(shí)例，將兩階段合并為一階段，有效減少計(jì)算成本，加快運(yùn)行速度.網(wǎng)絡(luò)結(jié)構(gòu)如圖9所示.

圖9 SSAP網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 SSAP network structure

親和力分支學(xué)習(xí)親和力金字塔，語(yǔ)義分支沿著解碼器網(wǎng)絡(luò)的層次結(jié)構(gòu)進(jìn)行語(yǔ)義分割.親和力金字塔從較高的分辨率圖像中學(xué)習(xí)近距離的親和力，即學(xué)習(xí)小實(shí)例的預(yù)測(cè)或大實(shí)例的局部預(yù)測(cè)；從較低分辨率圖像中學(xué)習(xí)遠(yuǎn)距離的親和力，即學(xué)習(xí)較大實(shí)例的預(yù)測(cè)，進(jìn)而在不同分辨率下生成的多尺度親和力金字塔.級(jí)聯(lián)圖分區(qū)模塊將圖分區(qū)機(jī)制與金字塔的層次方法結(jié)合，利用親和力金字塔和語(yǔ)義分割聯(lián)合學(xué)習(xí)的多尺度預(yù)測(cè)，圖分區(qū)從親和力金字塔及其相應(yīng)的語(yǔ)義分割特征圖的最頂層開始逐步完善實(shí)例預(yù)測(cè)，高層的低分辨率特征圖生成的候選區(qū)指導(dǎo)低層的高分辨率的實(shí)例預(yù)測(cè)，順序生成實(shí)例預(yù)測(cè).該方法實(shí)現(xiàn)了單階段實(shí)例分割，速度和精度都有提升，但每一個(gè)分辨率下都產(chǎn)生多尺度預(yù)測(cè)較占用內(nèi)存.

3.4 Deep Snake

基于輪廓的圖像分割方法利用對(duì)象邊界的頂點(diǎn)組成物體形狀，利用輪廓進(jìn)行對(duì)象分割.傳統(tǒng)的蛇算法如文獻(xiàn)[48-51]通過人工設(shè)計(jì)的能量函數(shù)優(yōu)化輪廓坐標(biāo)，將初始輪廓變形到對(duì)象邊界.文獻(xiàn)[15，52]提出基于學(xué)習(xí)的方法不同于迭代優(yōu)化輪廓的傳統(tǒng)蛇算法，而是嘗試從RGB圖像中回歸輪廓點(diǎn)的坐標(biāo)，提高了輪廓分割的速度.由于已有的基于輪廓的方法不受到bbox準(zhǔn)確性的限制且含有更少的參數(shù)量，但無法完整地探索輪廓的空間拓?fù)浣Y(jié)構(gòu).Peng等受到Kass傳統(tǒng)蛇算法[48]及蛇算法改進(jìn)[53]的啟發(fā)，提出Deep snake[54]算法提取圖像頂點(diǎn)的特征，回歸出每個(gè)頂點(diǎn)處的偏移量以逐步調(diào)整輪廓來逼近物體邊界.該算法引入了循環(huán)卷積來處理輪廓頂點(diǎn)，基于學(xué)習(xí)到的特征得到每個(gè)頂點(diǎn)需要調(diào)整的偏移量以盡可能準(zhǔn)確地包圍實(shí)例，而后通過迭代得到更為精確的輪廓邊界來提高目標(biāo)邊緣的預(yù)測(cè)精度.雖然基于輪廓的方法實(shí)現(xiàn)了32.3 fps實(shí)時(shí)性能，但要迭代3次才能預(yù)測(cè)出準(zhǔn)確的偏移量來提高預(yù)測(cè)的精度.

圖10 Deep snake 算法分割過程Fig.10 Deep snake algorithm segmentation process

4 直接實(shí)例分割法

不像自上而下的方法依賴于準(zhǔn)確的邊框檢測(cè)，受到錨邊框位置與尺度的限制，也不像自下而上的方法依賴于嵌入學(xué)習(xí)，需后處理流程，直接實(shí)例分割法是直接分割例的掩膜，直接學(xué)習(xí)實(shí)例掩膜的標(biāo)簽，端到端地預(yù)測(cè)實(shí)例的掩膜與語(yǔ)義類別，無需邊框和聚類操作，實(shí)現(xiàn)端到端地優(yōu)化.

4.1 SOLO算法

不同于自上而下的方法學(xué)習(xí)邊框中的掩膜和自上而下的方法學(xué)習(xí)像素對(duì)之間的關(guān)系，SOLO網(wǎng)絡(luò)一次性地對(duì)物體進(jìn)行預(yù)測(cè)而不需要先用RPN來對(duì)建議區(qū)域進(jìn)行提取，預(yù)測(cè)每個(gè)像素所在物體的實(shí)例類別，實(shí)例類別是量化后的物體中心位置和物體的尺寸，將回歸問題轉(zhuǎn)化為分類問題，通過固定個(gè)數(shù)的通道對(duì)不同數(shù)量的實(shí)例進(jìn)行建模，且不依賴于后處理方法如聚類操作或 embedding 學(xué)習(xí)，算法更簡(jiǎn)單、靈活.

SOLO模型的思想是將圖片劃分成S×S的網(wǎng)格，如果物體的中心落在了某個(gè)網(wǎng)格中，那該網(wǎng)格就有兩個(gè)任務(wù)：a)由分類分支負(fù)責(zé)預(yù)測(cè)該物體的語(yǔ)義類別；b)掩膜分支負(fù)責(zé)預(yù)測(cè)該物體的實(shí)例掩膜.模型框架如圖11所示.SOLO在骨干網(wǎng)絡(luò)后面使用了FPN[55]，F(xiàn)PN的每一層后都接上述兩個(gè)并行分支，進(jìn)行類別和位置的預(yù)測(cè).每個(gè)分支的網(wǎng)格數(shù)目因?qū)嵗笮∫蚕鄳?yīng)不同，小的實(shí)例對(duì)應(yīng)更多的的網(wǎng)格，將所有網(wǎng)格的結(jié)果匯總得到該圖像的實(shí)例分割結(jié)果.該算法的實(shí)驗(yàn)結(jié)果也非?？捎^，在 COCO 測(cè)試集上AP達(dá)到了37.8%，在精度上超越了兩階段算法Mask R-CNN和之前所有的一階段算法.針對(duì)SOLO算法僅使用2D位置區(qū)分不同的實(shí)例，對(duì)重疊物體的分割性能不佳，Zeng等提出通過預(yù)測(cè)實(shí)例重心和以重心為中心的4D向量來區(qū)分對(duì)象的重疊部分[56]，利用兩物體4D向量表示的邊框不同，通過計(jì)算候選對(duì)象邊界框的IoU，實(shí)現(xiàn)重疊部分的像素分類.

圖11 SOLO模型的框架Fig.11 Framework of SOLO

4.2 SOLOv2

SOLOv2[57]在SOLO算法的基礎(chǔ)上進(jìn)行了兩點(diǎn)改進(jìn)，一個(gè)是mask分支，另一個(gè)是提出了NMS矩陣代替了SOLO算法中的NMS.在SOLO算法中即使將mask 分支頭部解耦，但仍然存在頭部信息參數(shù)數(shù)量較大且預(yù)測(cè)結(jié)果冗余的問題.所以SOLOv2提出將mask頭部分解為內(nèi)核分支和特征分支，mask頭部結(jié)構(gòu)如圖12所示.內(nèi)核分支和特征分支進(jìn)行卷積提取特征，生成掩膜，掩膜數(shù)最多的時(shí)候是每個(gè)網(wǎng)格都有目標(biāo)出現(xiàn).這種卷積方法初步過濾掉一些沒有目標(biāo)的網(wǎng)格，為后續(xù)減少了計(jì)算.極大值抑制矩陣計(jì)算預(yù)測(cè)掩膜之間的交并比，根據(jù)閾值利用交并比矩陣刪除掩膜分?jǐn)?shù)低的重疊率高的掩膜，并行對(duì)多個(gè)掩膜進(jìn)行計(jì)算，提高了極大值抑制算法的速度.

圖12 SOLOv2 mask 頭部Fig.12 SOLOv2 mask head

SOLOv2提出的根據(jù)輸入動(dòng)態(tài)地學(xué)習(xí)內(nèi)核權(quán)重的動(dòng)態(tài)頭部和同時(shí)處理多個(gè)掩膜進(jìn)而更新多個(gè)掩膜分?jǐn)?shù)的矩陣運(yùn)算，使得SOLOv2在ResNet-101主干網(wǎng)絡(luò)中掩膜mAP達(dá)到了39.7%.

5 實(shí)例分割算法的實(shí)驗(yàn)對(duì)比

本節(jié)首先介紹一下實(shí)例分割算法常用的公開數(shù)據(jù)集，然后對(duì)當(dāng)前算法常用的性能評(píng)估指標(biāo)進(jìn)行闡述，最后對(duì)比分析當(dāng)前實(shí)例分割算法及其改進(jìn)算法的性能.

5.1 實(shí)例分割相關(guān)數(shù)據(jù)集

在圖像分割領(lǐng)域中，2D數(shù)據(jù)集數(shù)據(jù)量豐富、應(yīng)用廣泛，并帶有像素級(jí)標(biāo)簽，大多數(shù)研究也主要使用2D數(shù)據(jù)集，表1列舉了實(shí)例分割算法中廣泛使用的數(shù)據(jù)集，以便讀者快速瀏覽.但在數(shù)據(jù)量較小的領(lǐng)域如醫(yī)學(xué)，常使用數(shù)據(jù)增強(qiáng)來增加樣本的數(shù)量，通過對(duì)圖像進(jìn)行平移、反轉(zhuǎn)、變形、色彩空間轉(zhuǎn)換等增加訓(xùn)練樣本的數(shù)量.事實(shí)證明，在有限的數(shù)據(jù)集中(如醫(yī)學(xué)圖像分析中的數(shù)據(jù)集)數(shù)據(jù)增強(qiáng)可以提高模型的性能，有利于加快收斂速度，減少過擬合以及增強(qiáng)泛化能力.表1展示了實(shí)例分割算法中常用的公共數(shù)據(jù)集.

表1 常用的圖像實(shí)例分割公共數(shù)據(jù)集Table 1 Commonly datasets for instance segmentation

5.2 實(shí)驗(yàn)結(jié)果分析與對(duì)比

目前，實(shí)例分割算法的實(shí)驗(yàn)性能可以從多個(gè)方面進(jìn)行評(píng)估，比如精度、速度和內(nèi)存占用.在精度方面采用AP作為評(píng)價(jià)指標(biāo)，AP表示掩膜平均精度，取IoU閾值的平均值，不同下標(biāo)表示在不同計(jì)算條件下得到的計(jì)算結(jié)果，如AP50和AP75分別表示以 IoU 閾值為50%和75%時(shí)的計(jì)算結(jié)果，APS、APM和APL分別表示針對(duì)小、中、大物體的計(jì)算結(jié)果.速度是決定實(shí)時(shí)應(yīng)用的重要條件，通常取決于硬件和實(shí)驗(yàn)條件，表2采用fps衡量算法每秒分割圖像的幀數(shù).如果模型用于內(nèi)存容量有限的設(shè)備，則內(nèi)存占用空間也很重要.

表2 不同算法的分割速度比較Table 2 Speed analysis of algorithms

表2列舉了具有代表性算法的精度和速度，通過對(duì)比發(fā)現(xiàn)，自上而下的方法的分割精度相對(duì)較高，但分割速度有較大差異.硬件設(shè)備影響著實(shí)驗(yàn)的速度，為了對(duì)各硬件的性能有大致的了解，本文以V100為基準(zhǔn)，與其他顯卡進(jìn)行性能比率的換算，以便讀者了解硬件對(duì)速度的影響.通過分析，發(fā)現(xiàn)Mask R-CNN及其改進(jìn)算法、TensorMask、RetinaMask的分割精度較高但其實(shí)時(shí)性不強(qiáng)，YOLACT和BlendMask算法在保持較高精度的同時(shí)加強(qiáng)了網(wǎng)絡(luò)的實(shí)時(shí)性，Box2Pix和EOLO 方法采用了簡(jiǎn)潔輕巧的特征提取網(wǎng)絡(luò)加快了分割速度但沒有實(shí)現(xiàn)高效的分割效果.而自下而上的方法大多采用了后處理技術(shù)，其實(shí)時(shí)性能和精度較差，但最近推出的Deep snake和EmbedMask算法進(jìn)一步追求精度的同時(shí)兼顧速度.直接實(shí)例分割方法使用特征圖的通道來直接預(yù)測(cè)實(shí)例蒙版且不依賴于后處理方法，精度和速度具佳.隨著進(jìn)一步研究的發(fā)展，在保持精度的同時(shí)其實(shí)時(shí)性也成為進(jìn)一步追求的目標(biāo).

表3 不同實(shí)例分割算法的性能Table 3 Performance of different instance segmentation algorithms

表3展示了實(shí)例分割算法在常用數(shù)據(jù)集上的分割精度，通過對(duì)比，在分割大物體方面，算法的分割效果差異不大.在分割小物體方面，由于小物體比大物體更難檢測(cè)，算法分割效果不盡相同，其中PANet和BlendMask的精度優(yōu)于其他算法，主要原因是利用了特征融合來加強(qiáng)了細(xì)節(jié)特征的表示.綜合來看，Mask R-CNN及其改進(jìn)算法MS R-CNN、PANet在精度方面依舊保持領(lǐng)先位置，BlendMask使用了多次信息融合進(jìn)一步提高了準(zhǔn)確性，超越了實(shí)例分割基準(zhǔn)Mask R-CNN.文獻(xiàn)[33]和文獻(xiàn)[43-45]相比于自上而下的方法在精度方面不占優(yōu)勢(shì)，主要原因是過度依賴密集預(yù)測(cè)的質(zhì)量，對(duì)于類別較多的復(fù)雜場(chǎng)景泛化能力有限，需要復(fù)雜的后處理技術(shù)，但該方面的研究仍在進(jìn)一步的探索來提高準(zhǔn)確率且其構(gòu)思一直啟發(fā)著后續(xù)的研究.SOLO系列算法不受錨的位置的影響，引入“實(shí)例類別”的概念將實(shí)例掩膜分割問題轉(zhuǎn)換為一個(gè)分類問題，在精度方面超越了Mask R-CNN的同時(shí)速度也達(dá)到了實(shí)時(shí)，SOLO算法是目前在分割性能和實(shí)時(shí)性之間達(dá)到均衡的最先進(jìn)的算法.為了更直觀的表述典型算法的核心，表4對(duì)典型算法的網(wǎng)絡(luò)特點(diǎn)進(jìn)行了描述，并根據(jù)應(yīng)用場(chǎng)景對(duì)算法進(jìn)行了對(duì)比分析，詳細(xì)介紹如表4所示.

6 結(jié) 語(yǔ)

6.1 總 結(jié)

本文從算法特點(diǎn)方面綜述了一些較為突出的圖像實(shí)例分割方法，對(duì)算法進(jìn)行了分類、梳理并對(duì)比了其在常用數(shù)據(jù)集上的分割效果.分析結(jié)果表明，自下而上的方法的精度要落后于自上而下的方法，尤其當(dāng)數(shù)據(jù)集的場(chǎng)景和語(yǔ)義類別非常多樣時(shí)，而且自下而上的方法需要非常復(fù)雜的后處理技術(shù)，這也在一定程度上限制了自下而上的研究工作的發(fā)展.直接實(shí)例分割方法采用區(qū)分位置信息的方式，簡(jiǎn)化了實(shí)例分割的過程，提高了分割性能.直接實(shí)例分割方法未來有很大的進(jìn)步空間，利用實(shí)例的位置信息和尺度信息，來區(qū)分出不同的實(shí)例，推動(dòng)了實(shí)時(shí)實(shí)例分割方法的發(fā)展，會(huì)給物體檢測(cè)與實(shí)例分割帶來新的突破.面對(duì)未來應(yīng)用需求更加豐富，對(duì)基于深度學(xué)習(xí)的圖像實(shí)例分割的探索和研究仍有進(jìn)一步提升的空間.

表4 不同網(wǎng)絡(luò)模型的特點(diǎn)分析Table 4 Analysis of the characteristics of different network models

6.2 展 望

自上而下的實(shí)例分割研究比較多，由追求精度的兩階段向追求速度的單階段發(fā)展，自下而上的實(shí)例分割方法在盡量減少后處理的同時(shí)也在追求速度，雖然自下而上的研究相對(duì)較少，但其提供了巧妙的思路，對(duì)后面的研究有啟發(fā)性.直接方法的出現(xiàn)是一種新的思路，有很大的發(fā)展與探索空間.針對(duì)實(shí)例分割問題，仍有待解決的問題值得進(jìn)一步探究和優(yōu)化，未來的研究工作可參考如下幾個(gè)方面：

1)針對(duì)重疊物體的分割

在一些挑戰(zhàn)性的數(shù)據(jù)集上，圖像中某一區(qū)域存在多個(gè)重疊的實(shí)例時(shí)，網(wǎng)絡(luò)通過學(xué)習(xí)但沒有將其正確的分割，盡管有些網(wǎng)絡(luò)通過引入覆蓋更多比例的錨點(diǎn)、在主干中應(yīng)用可變形卷積等以更好地進(jìn)行特征采樣，但還是不夠精確，所以如何改進(jìn)網(wǎng)絡(luò)對(duì)重疊物體的分割有很大的研究意義也是目前研究急需解決的難點(diǎn)之一.

2)針對(duì)遮擋而導(dǎo)致對(duì)象分裂的問題

由于遮擋使得一個(gè)物體被分成多個(gè)部分，造成實(shí)例的碎片化，比如在Cityscapes數(shù)據(jù)集上汽車被桿子遮擋造成汽車被分割的情況就很常見.目前的碎片合并方法計(jì)算量大，結(jié)構(gòu)復(fù)雜又費(fèi)時(shí)，準(zhǔn)確性也沒有達(dá)到預(yù)期的效果，所以針對(duì)遮擋造成實(shí)例分裂問題，如何提高網(wǎng)絡(luò)對(duì)實(shí)例碎片化處理有進(jìn)一步的研究?jī)r(jià)值.

3)針對(duì)邊緣輪廓優(yōu)化問題

針對(duì)一些輪廓復(fù)雜的特征實(shí)例，普遍對(duì)邊界區(qū)域的分割較為模糊、不夠精細(xì).Alexander學(xué)者觀察到分割不準(zhǔn)確的部分大多物體的邊緣，提出PointRend網(wǎng)絡(luò)[69]對(duì)預(yù)測(cè)出來的mask中選擇Top N個(gè)最模糊的點(diǎn)進(jìn)行預(yù)測(cè)，以恢復(fù)更精細(xì)網(wǎng)格上的細(xì)節(jié)分割，細(xì)化了邊緣輪廓的分割.雖然邊緣只占了整個(gè)物體中非常小的一部分，但優(yōu)化物體邊緣對(duì)提高分割質(zhì)量至關(guān)重要.精細(xì)的分割仍是實(shí)例分割所追求的目標(biāo)，精細(xì)的邊緣輪廓分割也是研究的重點(diǎn)之一.

4)針對(duì)單階段目標(biāo)檢測(cè)算法性能優(yōu)化

由于實(shí)例分割方法以目標(biāo)檢測(cè)算法為基礎(chǔ)，準(zhǔn)確的目標(biāo)檢測(cè)算法有利于實(shí)例分割性能的提高，所以目標(biāo)檢測(cè)算法的研究改善也在一定程度上促進(jìn)了實(shí)例分割的發(fā)展.但近年來，anchor-free方法的目標(biāo)檢測(cè)網(wǎng)絡(luò)容量更小、超參數(shù)更少、速度更快、準(zhǔn)確率更高，選擇和改進(jìn)基于anchor-free單階段檢測(cè)器的實(shí)例分割方法來實(shí)現(xiàn)實(shí)時(shí)性是后續(xù)發(fā)展的重要方向.

5)信息融合

BlendMask將高層級(jí)粗糙的實(shí)例信息和低層級(jí)的細(xì)粒度信息融合起來，使網(wǎng)絡(luò)學(xué)到了更加豐富的特征表示.高層感受野大，具有豐富的語(yǔ)義信息，低層有很多局部信息，能提供更多的細(xì)節(jié)信息.所以，信息融合使得分割結(jié)果更好.如何更好更簡(jiǎn)潔的進(jìn)行信息融合，讓網(wǎng)絡(luò)學(xué)習(xí)到更好的特征值得進(jìn)一步研究.

6)針對(duì)實(shí)例嵌入的優(yōu)化

對(duì)于生成大量的逐像素點(diǎn)的嵌入特征，使用一些聚類等方法來組合特征的策略，優(yōu)點(diǎn)是通過逐像素點(diǎn)的預(yù)測(cè)，局部一致性和位置信息很好地保留了下來.其缺點(diǎn)是過于依賴密集預(yù)測(cè)的質(zhì)量，造成掩膜的割裂與錯(cuò)誤連接，導(dǎo)致性能不佳.如何優(yōu)化實(shí)例像素的嵌入進(jìn)而提高自下而上的方法的精度，對(duì)提高模型的性能起重要作用.