基于深度學(xué)習(xí)的實(shí)例分割研究綜述

蘇麗，孫雨鑫，苑守正

（1.哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院, 黑龍江 哈爾濱 150001; 2.哈爾濱工程大學(xué) 船舶裝備智能化技術(shù)與應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室, 黑龍江 哈爾濱 150001）

近年來(lái)，深度學(xué)習(xí)和統(tǒng)一計(jì)算設(shè)備構(gòu)架(compute unified device architecture, CUDA)等并行計(jì)算技術(shù)迅速發(fā)展直接推動(dòng)了計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域進(jìn)入了新的技術(shù)時(shí)代，實(shí)例分割作為計(jì)算機(jī)視覺(jué)基礎(chǔ)研究問(wèn)題之一，其技術(shù)可廣泛應(yīng)用于汽車自動(dòng)駕駛，機(jī)器人控制，輔助醫(yī)療和遙感影像等領(lǐng)域。

在計(jì)算機(jī)視覺(jué)的基本任務(wù)中目標(biāo)檢測(cè)是預(yù)測(cè)圖像中目標(biāo)位置和類別。語(yǔ)義分割則是在像素級(jí)別上對(duì)目標(biāo)分類。而實(shí)例分割可看作目標(biāo)檢測(cè)和語(yǔ)義分割的結(jié)合體，旨在檢測(cè)圖像中所有目標(biāo)實(shí)例，并針對(duì)每個(gè)實(shí)例標(biāo)記屬于該類別的像素。即不僅需要對(duì)不同類別目標(biāo)進(jìn)行像素級(jí)別分割，還要對(duì)不同目標(biāo)進(jìn)行區(qū)分。與其他計(jì)算機(jī)視覺(jué)研究問(wèn)題相比，實(shí)例分割的挑戰(zhàn)性在于：

1)需要預(yù)測(cè)并區(qū)分圖像中每個(gè)目標(biāo)的位置和語(yǔ)義掩碼，并且由于實(shí)例的不可知形狀使得預(yù)測(cè)實(shí)例分割的掩碼比目標(biāo)檢測(cè)任務(wù)預(yù)測(cè)矩形邊界框更靈活；

2)密集目標(biāo)的相互遮擋與重疊使網(wǎng)絡(luò)很難有效區(qū)分不同實(shí)例，并且小目標(biāo)的實(shí)例分割由于普遍缺少細(xì)節(jié)導(dǎo)致分割精度仍然很低；

3)繁瑣精細(xì)的數(shù)據(jù)標(biāo)注耗費(fèi)大量人力與時(shí)間，如何減少成本，有效利用現(xiàn)有未標(biāo)注或粗糙標(biāo)注的數(shù)據(jù)提升實(shí)例分割精度仍是一個(gè)亟待解決的問(wèn)題。

1980年日本學(xué)者福島邦彥[1]提出的神經(jīng)認(rèn)知機(jī)模型可以稱為卷積神經(jīng)網(wǎng)絡(luò)的前身，Lecun[2]提出反向傳播算法使網(wǎng)絡(luò)訓(xùn)練成為可能，之后2012年AlexNet[3]在ImageNet圖像識(shí)別大賽上獲得冠軍。從此深度卷積神經(jīng)網(wǎng)絡(luò)引起人們關(guān)注，研究者用它解決計(jì)算機(jī)視覺(jué)任務(wù)。近年來(lái)，實(shí)例分割的研究基本是建立在基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)和語(yǔ)義分割基礎(chǔ)之上。因此，從研究發(fā)展來(lái)看實(shí)例分割任務(wù)是卷積神經(jīng)網(wǎng)絡(luò)成功運(yùn)用在計(jì)算機(jī)視覺(jué)領(lǐng)域的產(chǎn)物[4]。實(shí)例分割方法主要?dú)w納為兩階段與單階段兩類，其中兩階段實(shí)例分割有兩種解決思路，分別是自上而下基于檢測(cè)的方法和自下而上基于分割的方法。而單階段實(shí)例分割可細(xì)化為感知實(shí)例分割，建模掩碼，Transformer嵌入及一些其他方法。

本文從實(shí)例分割的研究現(xiàn)狀，算法優(yōu)缺點(diǎn)和主流方法性能對(duì)比，特殊條件下的應(yīng)用，常用數(shù)據(jù)集與權(quán)威評(píng)價(jià)指標(biāo)等角度出發(fā)對(duì)一些具有啟發(fā)性的研究成果進(jìn)行整理，歸納和分析，為相關(guān)研究提供有價(jià)值的參考。

1 實(shí)例分割研究現(xiàn)狀

從研究時(shí)間線來(lái)看，實(shí)例分割技術(shù)根據(jù)處理過(guò)程目前主要?dú)w納為兩類：兩階段和單階段，如圖1所示，本文將分別進(jìn)行介紹。

圖1 本文涉及的實(shí)例分割方法Fig.1 Paper focuses on the instance segmentation methods

1.1 兩階段的實(shí)例分割

兩階段實(shí)例分割是以處理階段劃分，其中自上而下的基于檢測(cè)方法是先檢測(cè)出圖像中實(shí)例所在區(qū)域，再對(duì)候選區(qū)域進(jìn)行像素級(jí)別分割。而自下而上的基于分割思想則將實(shí)例分割看作一個(gè)聚類任務(wù)，通過(guò)將像素分組為圖像中呈現(xiàn)的任意數(shù)量的目標(biāo)實(shí)例，最后判斷每組的類別來(lái)生成實(shí)例掩碼，這種不需要束縛于目標(biāo)框的影響。

1.1.1 自上而下的實(shí)例分割

自上而下的實(shí)例分割研究受益于目標(biāo)檢測(cè)的豐碩成果。下面介紹一下代表性的方法。

2014年Hariharan等[5]在SDS中首次實(shí)現(xiàn)檢測(cè)和分割同時(shí)進(jìn)行，也是最早的實(shí)例分割算法，奠定了后續(xù)研究基礎(chǔ)[6]。如圖2所示，具體分為4步：1)建議框生成，使用非極大值抑制(non-maximum suppession, NMS)[7]為每張圖片產(chǎn)生2000個(gè)候選區(qū)域；2)特征提取，聯(lián)合訓(xùn)練兩個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)網(wǎng)絡(luò)同時(shí)提取候選區(qū)域和區(qū)域前景特征；3)區(qū)域分類，利用CNN中提取到的特征訓(xùn)練SVM分類器對(duì)上述區(qū)域進(jìn)行分類；4)區(qū)域細(xì)化，采用NMS來(lái)剔除多余區(qū)域，最后使用CNN中的特征來(lái)生成特定類別的粗略掩碼預(yù)測(cè)，以細(xì)化候選區(qū)域?qū)⒃撗诖a與原始候選區(qū)域結(jié)合起來(lái)可以進(jìn)一步高分割效果。

圖2 SDS網(wǎng)絡(luò)Fig.2 SDS network

雖然SDS效果遜色后續(xù)方法，但SDS先用檢測(cè)生成候選區(qū)域再對(duì)其語(yǔ)義分割的思想為后續(xù)實(shí)例分割提供了重要的研究啟發(fā)。2015年該團(tuán)隊(duì)又對(duì)SDS重新分析認(rèn)為，只使用CNN最高層的特征來(lái)解決實(shí)例分割問(wèn)題存在著掩碼細(xì)節(jié)粗糙的缺陷，即高層特征的語(yǔ)義信息豐富有利于目標(biāo)分類，但缺少精確的位置信息。例如：在底層特征圖中可以定位目標(biāo)部件，但是沒(méi)有豐富語(yǔ)義信息判別區(qū)分這個(gè)目標(biāo)部件具體屬于哪個(gè)物體。所以，引入Hypercolumns[8](所有CNN層對(duì)應(yīng)該像素位置的激活輸出值所組成的向量)作為特征描述符，將底層特征與高層特征融合從而提升分類的精確性并改善目標(biāo)分割細(xì)節(jié)。

之后，CFM[9]算法首次將掩碼（mask）這一概念引入到實(shí)例分割中。CFM通過(guò)矩形框生成特征圖的掩碼，并將任意區(qū)域生成固定大小的特征以方便處理。這里是從卷積特征中提取掩碼而非原始圖像中提取。

DeepMask[10]是首個(gè)直接從原始圖像數(shù)據(jù)學(xué)習(xí)產(chǎn)生分割候選的工作。簡(jiǎn)單講，給定一個(gè)圖片塊作為輸入，輸出一個(gè)與類別無(wú)關(guān)的mask和相應(yīng)的分?jǐn)?shù)。它最大的特點(diǎn)是不依賴于邊緣、超像素或者其他任何輔助形式的分割，是用分割的方法來(lái)生成高召回率的候選區(qū)域。但缺點(diǎn)是只能捕捉目標(biāo)大致外形，不能準(zhǔn)確描繪目標(biāo)邊界。為了優(yōu)化DeepMask的掩碼，SharpMask[11]先在前向反饋通道中生成粗略的掩碼，并在自上而下的通道中引入較低層次富有位置的特征逐步加以細(xì)化，最后產(chǎn)生具有更高保真度的能精確框定物體邊界的掩碼。

但是上面提到的方法都需要先在原圖生成掩膜候選區(qū)域，沒(méi)有充分利用深度學(xué)習(xí)特征及大規(guī)模訓(xùn)練數(shù)據(jù)的優(yōu)勢(shì)并且推斷時(shí)間緩慢，這些都是影響實(shí)例分割準(zhǔn)確性的瓶頸。2016年，何凱明團(tuán)隊(duì)在多任務(wù)網(wǎng)絡(luò)級(jí)聯(lián)(MNC)[12]中提出了一種級(jí)聯(lián)結(jié)構(gòu)，如圖3中將實(shí)例分割任務(wù)分解為目標(biāo)定位、掩碼生成以及目標(biāo)分類3個(gè)子任務(wù)，共用一個(gè)主干網(wǎng)絡(luò)，將3個(gè)不同功能的網(wǎng)絡(luò)分支級(jí)聯(lián)起來(lái)。每個(gè)階段都以前一階段的結(jié)果作為輸入。整個(gè)網(wǎng)絡(luò)是端到端的。這樣主干網(wǎng)絡(luò)的訓(xùn)練可以共享3個(gè)子任務(wù)的監(jiān)督，有利于訓(xùn)練出更好的特征。這種設(shè)計(jì)另一個(gè)優(yōu)點(diǎn)是可以快速地進(jìn)行推斷。

圖3 MNC網(wǎng)絡(luò)Fig.3 MNC network

隨著計(jì)算機(jī)并行處理數(shù)據(jù)能力的提升和目標(biāo)檢測(cè)網(wǎng)絡(luò)性能的快速更新，實(shí)例分割研究趨勢(shì)打開(kāi)了一個(gè)新的局面。前沿的設(shè)計(jì)思想和領(lǐng)域的認(rèn)識(shí)革新碰撞出新的學(xué)術(shù)火花。

2017年何凱明團(tuán)隊(duì)提出簡(jiǎn)單通用且性能強(qiáng)大的兩階段Mask R-CNN[13]，是Faster R-CNN[14]思想應(yīng)用在實(shí)例分割的經(jīng)典之作，用于許多衍生應(yīng)用的基線算法，也是現(xiàn)今使用最多，效率最高的實(shí)例分割算法。它的成功又激起實(shí)例分割領(lǐng)域新的技術(shù)浪潮。Mask R-CNN[13]在目標(biāo)分類和回歸分支上增加了用于預(yù)測(cè)每個(gè)感興趣區(qū)域(region of interest, ROI)的語(yǔ)義分割分支。網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，基礎(chǔ)網(wǎng)絡(luò)中采用了當(dāng)時(shí)較為優(yōu)秀的ResNet-FPN[15-16]結(jié)構(gòu)，多層特征圖有利于多尺度物體及小物體的檢測(cè)。首先，將輸入圖片送入到特征提取網(wǎng)絡(luò)得到特征圖，然后對(duì)特征圖的每一個(gè)像素位置設(shè)定固定個(gè)數(shù)的ROI(也可以稱為錨框)，然后將ROI區(qū)域送入?yún)^(qū)域推薦網(wǎng)絡(luò)(region proposal network, RPN)進(jìn)行二分類(前景和背景)以及坐標(biāo)回歸，以獲得修正后的ROI區(qū)域。為了保證特征分辨率，對(duì)ROI執(zhí)行提出的ROI Align[13]操作替換原始的ROI Pooling[14]，取消了取整操作，而是通過(guò)雙線性插值的方法保留所有的浮點(diǎn)數(shù)。最后增加了一個(gè)mask掩碼分支來(lái)預(yù)測(cè)每一個(gè)像素的類別。采用了全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network, FCN)[17]的網(wǎng)絡(luò)結(jié)構(gòu)，利用卷積與反卷積構(gòu)建端到端的網(wǎng)絡(luò)，對(duì)每一個(gè)像素分類，實(shí)現(xiàn)了較好的分割效果。同時(shí)，2018年Masklab[18]也改進(jìn)了Faster R-CNN[14]，并產(chǎn)生兩個(gè)額外的輸出，即語(yǔ)義分割和實(shí)例中心方向。由于Mask R-CNN對(duì)實(shí)例分割研究具有重要的啟發(fā)意義，后續(xù)涌現(xiàn)了一系列相關(guān)的工作，具體方法如下。

圖4 Mask R-CNN網(wǎng)絡(luò)Fig.4 Mask R-CNN network

2018年P(guān)ANet[19]在Mask R-CNN基礎(chǔ)上引入自下而上的路徑改進(jìn)并擴(kuò)展了金字塔特征提取網(wǎng)絡(luò)，使用自適應(yīng)融合的ROI區(qū)域特征池化，很好地融合了不同層次的特征信息。DetNet[20]將空洞卷積加到骨干結(jié)構(gòu)中既保證了特征分辨率同時(shí)又增大感受野，并提出重新對(duì)檢測(cè)、分割任務(wù)訓(xùn)練骨干網(wǎng)絡(luò)以提高特征表達(dá)能力。

2019年MS R-CNN[21]提出現(xiàn)有的mask打分策略是使用分類的指標(biāo)，缺乏針對(duì)性的評(píng)價(jià)機(jī)制。故在Mask R-CNN基礎(chǔ)上修改了mask評(píng)價(jià)標(biāo)準(zhǔn)，通過(guò)添加Mask IOU分支來(lái)預(yù)測(cè)mask并且給其打分來(lái)提升模型實(shí)例分割性能。同年，何凱明團(tuán)隊(duì)提出PointRend[22]將實(shí)例分割看作圖像處理中渲染問(wèn)題，細(xì)化Mask R-CNN產(chǎn)生的粗糙掩碼邊緣，先在邊緣上選幾個(gè)點(diǎn)再提取點(diǎn)的特征進(jìn)行迭代計(jì)分計(jì)算達(dá)到細(xì)化掩碼的目的。

2020年BMask R-CNN[23]則將目標(biāo)邊緣信息加入Mask R-CNN中用于監(jiān)督網(wǎng)絡(luò)以增強(qiáng)掩碼預(yù)測(cè)。

2021年BPR[24]提出一個(gè)后處理細(xì)化模塊以提高M(jìn)ask R-CNN的邊界質(zhì)量。RefineMask[25]利用邊緣信息和語(yǔ)義分割信息細(xì)化Mask R-CNN生成的粗糙掩碼邊緣。姜世浩等[26]在Mask R-CNN基礎(chǔ)上引入兩條分支，基于整體嵌套邊緣檢測(cè)2021年BPR[24]提出一個(gè)后處理細(xì)化模塊以提高M(jìn)ask R-CNN的邊界質(zhì)量。BPR利用一種裁剪細(xì)化的策略，先通過(guò)實(shí)例分割網(wǎng)絡(luò)(如Mask R-CNN)得到粗糙的掩碼。隨后在掩碼的邊界上提取出一系列的方塊，這些方塊被送入一個(gè)細(xì)化網(wǎng)絡(luò)作二分類的前景與背景分割，進(jìn)而實(shí)現(xiàn)對(duì)邊界處的方塊進(jìn)行優(yōu)化。該網(wǎng)絡(luò)可以解決Mask R-CNN預(yù)測(cè)的掩碼存在邊界粗糙的問(wèn)題。RefineMask[25]則利用邊緣信息和語(yǔ)義分割信息細(xì)化Mask R-CNN生成的粗糙掩碼邊緣。通過(guò)多階段的方式在實(shí)例分割過(guò)程中逐級(jí)融合更多的細(xì)粒度信息，因此逐步精細(xì)化了實(shí)例掩模。最后，RefineMask成功地克服了以往分割中所遇到的困難案例(如物體的彎曲部分被過(guò)度平滑)，并輸出了準(zhǔn)確的邊界。模型生成邊緣特征圖，一條基于FCN生成偏重于空間位置信息的語(yǔ)義特征圖。融合以上得到的多個(gè)特征圖，生成信息更加豐富的新特征。

但是上述自上而下的實(shí)例分割方法缺點(diǎn)在于：

1)在一定程度上嚴(yán)重依賴精確的目標(biāo)檢測(cè)且得到的實(shí)例掩碼分辨率相對(duì)較低；

2)對(duì)于多實(shí)例的復(fù)雜場(chǎng)景，由于兩階段方法在前期需要單獨(dú)設(shè)計(jì)網(wǎng)絡(luò)生成大量建議區(qū)域，其推理時(shí)間與建議框的數(shù)量成正比，因此在推斷速度上緩慢；

3)仍然無(wú)法很好地區(qū)分同一類別重疊的不同實(shí)例個(gè)體且掩碼分割細(xì)節(jié)不夠平滑。

1.1.2 自下而上的實(shí)例分割

為了擺脫目標(biāo)檢測(cè)邊界框?qū)罄m(xù)分割的限制，研究者們從另一個(gè)角度思考實(shí)例分割問(wèn)題，將實(shí)例分割看作是一個(gè)圖像聚類任務(wù)。也就是需要將圖像中屬于一個(gè)物體的所有像素聚成一個(gè)集合，并判斷這個(gè)物體的類別。這種基于分割的方法通常會(huì)學(xué)習(xí)經(jīng)過(guò)特殊設(shè)計(jì)的轉(zhuǎn)換形式或?qū)嵗吔?，并以類似嵌入的方式將點(diǎn)聚類到實(shí)例掩碼中。下面介紹幾種代表方法。

BAI M等[27]利用FCN網(wǎng)絡(luò)來(lái)學(xué)習(xí)分水嶺變換的能量，然后利用能量分割，將圖像分成若干個(gè)區(qū)域，每個(gè)區(qū)域就代表了一個(gè)實(shí)例。Associative embedding[28]利用學(xué)習(xí)到的關(guān)系嵌入成組來(lái)分配像素。Brabandere等[29]引入判別損失函數(shù)通過(guò)推開(kāi)屬于不同實(shí)例的像素并拉近同一實(shí)例中的像素來(lái)有效地學(xué)習(xí)像素級(jí)別的實(shí)例嵌入。SGN[30]使用序列組合網(wǎng)絡(luò)將實(shí)例分割問(wèn)題分解成一系列子類分組問(wèn)題。每個(gè)網(wǎng)絡(luò)都解決了語(yǔ)義復(fù)雜度不斷提高的子分組問(wèn)題，以便逐步從像素中組成對(duì)象。Gao等[31]學(xué)習(xí)像素對(duì)親和力金字塔，即兩個(gè)像素屬于同一實(shí)例的概率，并通過(guò)級(jí)聯(lián)圖分區(qū)順序生成實(shí)例。Fathi等[32]和Brabandere等[33]把問(wèn)題分解成為逐像素語(yǔ)義分割，逐像素對(duì)應(yīng)實(shí)例的坐標(biāo)進(jìn)行預(yù)測(cè)和區(qū)分類別的實(shí)例個(gè)數(shù)。同時(shí)，嘗試?yán)锰卣髑度氲姆绞?，為每一個(gè)像素學(xué)習(xí)一個(gè)特征，并根據(jù)特征的距離對(duì)像素進(jìn)行聚類。

這類方法通過(guò)將像素分組為圖像中呈現(xiàn)的任意數(shù)量的對(duì)象實(shí)例來(lái)生成實(shí)例掩碼，與自上而下的方法相比，自下而上方法的缺點(diǎn)是：

1)嚴(yán)重依賴于密集的預(yù)測(cè)質(zhì)量，導(dǎo)致性能不夠標(biāo)準(zhǔn)或產(chǎn)生碎片掩碼；

2)由于聚類過(guò)程使得很難將其應(yīng)用于復(fù)雜的情況，通常在準(zhǔn)確性上落后。尤其是在具有不同復(fù)雜場(chǎng)景和語(yǔ)義類別較多的數(shù)據(jù)集上泛化能力有限。

3)預(yù)測(cè)之后的處理技術(shù)很復(fù)雜。

綜上分析兩類方法，自上而下嚴(yán)重依賴目標(biāo)檢測(cè)效果，自下而上雖然天然克服了基于建議框的缺陷，轉(zhuǎn)為對(duì)每個(gè)像素的嵌入學(xué)習(xí)和分組進(jìn)行處理，但一般無(wú)法端到端訓(xùn)練，且受限于聚類算法，性能一般有限。那么，是否存在一種方法，可以繞過(guò)這些條條框框來(lái)直接作實(shí)例分割呢？

1.2 單階段的實(shí)例分割

受單階段的目標(biāo)檢測(cè)啟發(fā)，現(xiàn)有方法將實(shí)例分割統(tǒng)一到FCN[17]框架下，如以單階段全卷積一階段目標(biāo)檢測(cè)(fully convolutional one-stage object detection, FCOS)[34]為目標(biāo)檢測(cè)框架衍生出一系列單階段的實(shí)例分割算法。還有一些研究重新思考了掩碼的合理表征方式，從而提升實(shí)例分割精度。近兩年研究人員也將自然語(yǔ)言處理中的Transformer模型成功應(yīng)用到圖像實(shí)例分割領(lǐng)域且有了較好的效果。此外，其他方法則結(jié)合了實(shí)例分割和目標(biāo)檢測(cè)的優(yōu)勢(shì)加以實(shí)現(xiàn)。單階段的實(shí)例分割任務(wù)難點(diǎn)在于不添用建議框的輔助下如何直接區(qū)分不同物體，特別是同類別的不同實(shí)例和如何完整的保存逐像素點(diǎn)含有的位置信息和語(yǔ)義信息。

1.2.1 感知實(shí)例分割

本質(zhì)上，實(shí)例分割可看作實(shí)例位置感知的語(yǔ)義分割，需要在區(qū)域級(jí)別上進(jìn)行操作，并且同一像素在不同區(qū)域中可能具有不同的語(yǔ)義，如圖5所示。

圖5(a)中的FCN網(wǎng)絡(luò)簡(jiǎn)潔、高效已經(jīng)廣泛應(yīng)用在語(yǔ)義分割中。最早利用FCN網(wǎng)絡(luò)實(shí)現(xiàn)實(shí)例分割的是圖(b)中的Instance FCN[35]，它以位置敏感圖的形式將實(shí)例信息引入語(yǔ)義分割中實(shí)現(xiàn)了平移可變性。將原有FCN單一輸出通道變?yōu)槎鄠€(gè)對(duì)實(shí)例位置敏感的通道，通過(guò)聚合位置敏感圖得到每個(gè)實(shí)例掩碼。

圖5(c)中的全卷積感知實(shí)例分割(FCN instance-aware)[36]改進(jìn) Instance FCN不能輸出對(duì)象類別信息的問(wèn)題，提出內(nèi)和外的位置敏感評(píng)分圖來(lái)同時(shí)進(jìn)行檢測(cè)和分割實(shí)例。兩個(gè)子任務(wù)不僅共享卷積特征而且共享位置敏感評(píng)分圖。隨后，王子愉等[37]在全卷積感知實(shí)例分割的檢測(cè)分支中使用了具有大型可分離卷積來(lái)獲得更精確的邊界框。同時(shí)設(shè)計(jì)了一個(gè)包含邊界細(xì)化操作的分割模塊以獲得更精確的掩模。

圖5 FCN系列網(wǎng)絡(luò)Fig.5 FCN series network

2019年加利福尼亞大學(xué)提出一個(gè)新的實(shí)例分割算法[38]。這個(gè)簡(jiǎn)單的全卷積實(shí)例分割模型是一個(gè)實(shí)時(shí)實(shí)例分割算法，這比以前的任何算法都要快得多，盡管它的精度不是很高。YOLACT將整個(gè)任務(wù)拆分為了兩個(gè)子部分，一個(gè)部分是得到類似于FCN的語(yǔ)義分割原型圖，另一個(gè)部分得到檢測(cè)框，通過(guò)融合原型圖和檢測(cè)框，得到掩碼。該團(tuán)隊(duì)接下來(lái)對(duì)此YOLACT算法進(jìn)行了加強(qiáng)，提出YOLACT的改進(jìn)版YOLACT++[39]，速度高達(dá)33.5 fps，將實(shí)時(shí)實(shí)例分割又推上了新的高潮。

2020年，CondInst[40]可以做到真正的高速，同時(shí)保證高精度，徹底去掉了檢測(cè)器的輔助。它用動(dòng)態(tài)卷積的思想生成實(shí)例敏感的濾波器來(lái)編碼實(shí)例信息，不依賴目標(biāo)框及ROI Pooling等特征對(duì)齊手段。用FCOS檢測(cè)實(shí)例類別，然后用動(dòng)態(tài)網(wǎng)絡(luò)生成的掩碼頭參數(shù)結(jié)合提取到含相對(duì)坐標(biāo)信息的掩碼特征圖執(zhí)行卷積操作生成最終的實(shí)例mask。同年，SOLO[41]將圖像作為輸入，在全卷積特征圖上輸出相應(yīng)類別概率直接輸出實(shí)例蒙版，無(wú)目標(biāo)框監(jiān)督，既不需要ROI Pooling也不需要進(jìn)行檢測(cè)后處理過(guò)程[42]。SOLO先劃分正樣本的柵格，并且把每一個(gè)柵格對(duì)應(yīng)一個(gè)物體的掩碼,相當(dāng)于一個(gè)正樣本對(duì)應(yīng)一張圖，這張圖中只有這個(gè)正樣本的掩碼。SOLOv2[43]在文獻(xiàn)[40]基礎(chǔ)上又提出動(dòng)態(tài)學(xué)習(xí)分割目標(biāo)掩碼的思想，將其分解為學(xué)習(xí)掩碼核和生成掩碼兩個(gè)支路。此外，引入專門針對(duì)掩碼的后處理方法Matrix NMS可以一次完成具有并行矩陣運(yùn)算，比傳統(tǒng)用于目標(biāo)檢測(cè)的NMS[44]能產(chǎn)生更好的結(jié)果。

Point INS[45]從基于點(diǎn)特征實(shí)例分割的兩個(gè)難點(diǎn)入手：如何用點(diǎn)特征進(jìn)行更強(qiáng)健的掩碼表達(dá)和解決一階段潛在存在特征錯(cuò)誤分配建議框而帶來(lái)后續(xù)分割錯(cuò)亂的問(wèn)題，提出實(shí)例感知卷積(實(shí)例無(wú)關(guān)的特征和感知權(quán)重相配合)。而CenterMask[46]從另一方面解決基于點(diǎn)特征的一階段實(shí)例分割即不同目標(biāo)實(shí)例的區(qū)分和逐像素特征對(duì)齊。將其分解為兩個(gè)子任務(wù)：1)局部掩碼(使用目標(biāo)中心點(diǎn))來(lái)表示分離實(shí)例，特別在多目標(biāo)重疊環(huán)境下效果顯著全局顯著；2)在整張圖片中生成全局的分割掩碼。最后，融合粗略但實(shí)例感知的局部掩碼和精確但實(shí)例未知的全局掩碼以形成最終實(shí)例的掩碼。BlendMask[47]是通過(guò)更合理的blender模塊融合高層和底層的語(yǔ)義信息輔助來(lái)提取更準(zhǔn)確的實(shí)例分割特征。AdaptIS[48]的思想與其他主流方法不同，它輸入不僅是一張圖像，還需要人為指定一個(gè)點(diǎn)。即只需要一個(gè)目標(biāo)身上的點(diǎn)，就可以分割出這個(gè)目標(biāo)實(shí)例的分割掩碼。

1.2.2 建模掩碼

傳統(tǒng)的掩碼mask表征方式是二值化，也就是用一個(gè)矩陣表示，矩陣中元素只有0和1，1表示該位置是物體，0表示背景。目前，大多數(shù)掩碼局限于二維矩形框，而現(xiàn)實(shí)世界中的物體大多都是不規(guī)則的多邊形，所以一些研究人員從如何合理建模掩碼的角度出發(fā)研究實(shí)例分割問(wèn)題。

2019年Tensormask[49]通過(guò)4D的結(jié)構(gòu)化張量在空間域中構(gòu)建掩碼，是一種基于局部掩碼的編碼方式，也是首個(gè)密集滑動(dòng)窗口實(shí)例分割系統(tǒng)。雖然思想新穎但它的推理速度慢于兩階段Mask R-CNN且訓(xùn)練時(shí)間是Mask R-CNN的6倍。2020年，Polarmask[50]則提出了一種新的掩碼編碼形式，使用極坐標(biāo)建模來(lái)表示多邊形目標(biāo)，將每個(gè)像素的掩碼預(yù)測(cè)轉(zhuǎn)變成在極坐標(biāo)系下中心點(diǎn)分類和距離回歸問(wèn)題。而分析Polarmask的分割結(jié)果發(fā)現(xiàn)存在邊緣信息模糊的問(wèn)題，因此提出了輪廓點(diǎn)細(xì)化的方法，通過(guò)對(duì)輪廓點(diǎn)角度偏置和距離的預(yù)測(cè)，使網(wǎng)絡(luò)能夠提取出更準(zhǔn)確的實(shí)例輪廓。同年，Deep Snake[51]用邊緣建模的方式表征物體。并結(jié)合傳統(tǒng)snake算法，先給定一個(gè)初始邊緣，在提取好的特征圖上給邊緣的每個(gè)節(jié)點(diǎn)提取一個(gè)特征，這樣得到一個(gè)定義在邊緣上的特征。然后用循環(huán)卷積(circular convolution)[51]構(gòu)成的網(wǎng)絡(luò)進(jìn)行邊緣上的特征學(xué)習(xí)，最后映射為指向物體輪廓的偏移，用于變形邊緣。

雖然上面基于輪廓建模的方法具有易于優(yōu)化和快速推斷的優(yōu)點(diǎn)。但是也有著天生的缺點(diǎn)，沒(méi)有有效的表征目標(biāo)中出現(xiàn)的空洞。因此，MEInst[52]脫離目標(biāo)檢測(cè)的影響，考慮對(duì)掩碼的寬度×高度進(jìn)行壓縮，從信息論的角度來(lái)說(shuō)傳統(tǒng)掩碼表示中一定存在著信息冗余，因此可以更低的比特?cái)?shù)對(duì)其進(jìn)行表征，通過(guò)使用主成分分析法將掩碼編碼成一個(gè)統(tǒng)一的矩陣。

2021年實(shí)例分割建模掩碼的核心則是在沒(méi)有實(shí)例像素標(biāo)注時(shí)如何完成實(shí)例分割任務(wù)。LSNet[53]類比Polarmask提出一種通用建模方式可用于檢測(cè)，實(shí)例分割和姿態(tài)估計(jì)領(lǐng)域。Implicit PointRend[54]提出基于點(diǎn)的實(shí)例級(jí)別標(biāo)注，是實(shí)例分割中的一種新的弱監(jiān)督形式。它可以將標(biāo)準(zhǔn)的邊界框標(biāo)注與標(biāo)簽點(diǎn)結(jié)合起來(lái)。BoxInst[55]提出僅利用邊界框監(jiān)督完成實(shí)例分割，核心思想是重新設(shè)計(jì)實(shí)例分割中掩碼損失，而無(wú)需修改分割網(wǎng)絡(luò)本身。新的損失函數(shù)可以監(jiān)督掩碼訓(xùn)練，而無(wú)需依賴掩碼注釋。

1.2.3 Transformer嵌入

最近，Transformer模型在自然語(yǔ)言處理中的突破引起了計(jì)算機(jī)視覺(jué)社區(qū)的極大興趣。Transformer的關(guān)鍵部件是多頭注意力，這可以顯著提高模型的能力。目前，已有研究人員將Transformer應(yīng)用到圖像實(shí)例分割領(lǐng)域且有了較好的效果。ISTR[56]是首個(gè)基于Transformer的端到端實(shí)例分割框架。ISTR通過(guò)預(yù)測(cè)低維掩碼嵌入和循環(huán)細(xì)化策略同時(shí)檢測(cè)和分割實(shí)例，與自下而上和自上而下的框架相比，為實(shí)現(xiàn)實(shí)例分割提供了新的視角。SOTR[57]利用Transformer簡(jiǎn)化了分割流程，使用兩個(gè)并行子任務(wù)：1)通過(guò)Transformer預(yù)測(cè)每個(gè)實(shí)例類別；2)利用多級(jí)上采樣模塊動(dòng)態(tài)生成分割掩碼。此外提出的雙Transformer在一定程度上提高了分割精度和訓(xùn)練收斂性?？梢?jiàn)，編碼器-解碼器Transformer模型可以通過(guò)一系列可學(xué)習(xí)的掩碼嵌入將實(shí)例分割任務(wù)統(tǒng)一。與CNN相比，視覺(jué)Transformer在實(shí)例分割領(lǐng)域具有很強(qiáng)的競(jìng)爭(zhēng)力。

1.2.4 其他方法

經(jīng)過(guò)上面介紹可知實(shí)例分割在一定程度上依附于目標(biāo)檢測(cè)任務(wù)，近年來(lái)出現(xiàn)了非常多優(yōu)秀的算法解決這兩個(gè)問(wèn)題，且都取得了優(yōu)異的效果。實(shí)際上，目標(biāo)檢測(cè)屬于目標(biāo)級(jí)別的任務(wù)，這類任務(wù)更關(guān)注物體級(jí)別的特征，對(duì)分辨率的需求不高，但需要更多的高級(jí)語(yǔ)義信息。而實(shí)例分割任務(wù)屬于像素級(jí)別的任務(wù)，這類任務(wù)需要給出逐像素的輸出，對(duì)分辨率的需求較高，需要更多的細(xì)節(jié)信息。但是，卻鮮有文章深入分析兩者之間的關(guān)聯(lián)。這里介紹目前的幾種工作。

HTC[58]一項(xiàng)具有代表性的工作，它采用級(jí)聯(lián)體系結(jié)構(gòu)逐步完善了兩個(gè)任務(wù)，并取得了可喜的成就。但是，這種多階段設(shè)計(jì)帶來(lái)了成本相對(duì)高的計(jì)算量。Cascade R-CNN[59]為每個(gè)級(jí)聯(lián)階段添加了一個(gè)分割分支，將級(jí)聯(lián)架構(gòu)擴(kuò)展到實(shí)例分段任務(wù)。RDS Net[60]設(shè)計(jì)了雙流網(wǎng)絡(luò)在很大程度上克服了實(shí)例掩碼的低分辨率，對(duì)目標(biāo)框的嚴(yán)重依賴性以及邊界框的定位錯(cuò)誤。它引入3個(gè)模塊即目標(biāo)框輔助實(shí)例掩碼關(guān)系模塊，掩碼修剪模塊和掩碼細(xì)化目標(biāo)定位模塊。Embed Mask[61]通過(guò)引入建議框嵌入和像素嵌入的概念將基于建議框的方法和基于細(xì)分的方法結(jié)合在一起，以便根據(jù)實(shí)例建議框的嵌入相似性將像素分配給實(shí)例建議框。

綜上所述，單階段的實(shí)例分割算法種類繁雜，解決思路比較開(kāi)闊，目前從精度和速度上看是最有效的算法，同時(shí)也擺脫了檢測(cè)框的限制，是未來(lái)研究的趨勢(shì)。

1.3 算法優(yōu)缺點(diǎn)對(duì)比和實(shí)驗(yàn)結(jié)果比較

本小節(jié)對(duì)文中涉及到的部分實(shí)例分割算法進(jìn)行優(yōu)缺點(diǎn)比較和性能分析。表1是不同實(shí)例分割算法的優(yōu)缺點(diǎn)對(duì)比。表2是不同實(shí)例分割算法在COCO (microsoft common objects in context)數(shù)據(jù)集上的性能對(duì)比。本文在最大程度上選擇相同的基礎(chǔ)網(wǎng)絡(luò)且沒(méi)有引入任何訓(xùn)練技巧，以保證算法性能比較的公平性。比較的結(jié)果均在COCO公開(kāi)測(cè)試數(shù)據(jù)集上測(cè)試，因?yàn)镃OCO數(shù)據(jù)集是實(shí)例分割最常用的數(shù)據(jù)集，圖片背景復(fù)雜，目標(biāo)種類和數(shù)量多，目標(biāo)尺寸相對(duì)較小，有很大難度。算法性能主要比較的參數(shù)是精度（COCO評(píng)價(jià)標(biāo)準(zhǔn)，詳細(xì)介紹見(jiàn)3.5）及模型參數(shù)量（#Params）和推斷速度（fps）。其中，fps指每秒幀數(shù)，值越大算法速度越快，“?”表示未知，學(xué)習(xí)率規(guī)則“1×”表示模型訓(xùn)練 12 個(gè) epoch（180K iterations）,“3×”為 36 個(gè)epoch，以此類推。表1和表2主要從兩階段和單階段這兩類對(duì)通用場(chǎng)景下的實(shí)例分割算法進(jìn)行分類總結(jié)。從精度上看，相同基礎(chǔ)網(wǎng)絡(luò)時(shí)兩階段普遍優(yōu)于單階段，且模型所需訓(xùn)練迭代次數(shù)少。從速度上看，單階段則快于兩階段，且精度也是處于平均水平，但以大量訓(xùn)練迭代次數(shù)為代價(jià)。因此，應(yīng)用時(shí)需要根據(jù)具體需求選擇合適的算法。綜上分析，沒(méi)有一種算法可以兼顧精度高和速度快，未來(lái)還可以從同時(shí)提升實(shí)例分割的速度與精度入手。

表1 不同實(shí)例分割算法的優(yōu)缺點(diǎn)對(duì)比Table 1 Comparison of the advantages and disadvantages of different instance segmentation algorithms

表2 不同實(shí)例分割算法的性能對(duì)比Table 2 Performance comparison of different instance segmentation algorithms

2 實(shí)例分割的特殊應(yīng)用

實(shí)例分割作為像素級(jí)別的目標(biāo)識(shí)別任務(wù)，目前已廣泛應(yīng)用在遙感影像[62-67]，文字檢測(cè)[68-70]，人臉檢測(cè)[71-72]，輔助駕駛系統(tǒng)[73-76]，醫(yī)療圖像處理[77-78]等各個(gè)場(chǎng)景下。

遙感圖像中需要對(duì)標(biāo)的物體進(jìn)行識(shí)別，進(jìn)而分析與測(cè)繪[79]。李瀾[80]將Mask R-CNN應(yīng)用于高分辨率光學(xué)遙感影像的目標(biāo)檢測(cè)和實(shí)例分割任務(wù)中，目的是在地圖上找到遺漏的地理實(shí)體并提高矢量地圖的質(zhì)量。瑚敏君等[65]在Mask R-CNN原有的特征提取中每個(gè)層級(jí)的特征圖后再增加一層卷積操作。然后，在原有掩碼預(yù)測(cè)結(jié)構(gòu)的基礎(chǔ)上增加一個(gè)分支實(shí)現(xiàn)了高效、準(zhǔn)確的高分辨率遙感影像建筑物提取算法。王昌安[79]則用于光遙感影像中近岸艦船的檢測(cè)任務(wù)。

輔助駕駛系統(tǒng)不僅需要在行駛過(guò)程中識(shí)別不同的車道線，進(jìn)行駕駛模式的決策，而且也需要對(duì)周圍的車輛、行人等進(jìn)行分析，判斷周圍的駕駛環(huán)境等這些都用到了實(shí)例分割[81-82]。鄧琉元等[83]針對(duì)無(wú)人駕駛中用到的環(huán)視相機(jī)所呈環(huán)形圖像中存在目標(biāo)幾何畸變難以建模問(wèn)題，在Mask R-CNN中引入可變形卷積和可變形ROI Pooling來(lái)提升網(wǎng)絡(luò)對(duì)幾何形變的建模能力以實(shí)現(xiàn)環(huán)視魚(yú)眼圖像中準(zhǔn)確的交通目標(biāo)實(shí)例分割。蔡英鳳等[73]和田錦等[74]將實(shí)例分割模型用于車道線檢測(cè)解決了傳統(tǒng)的車道線檢測(cè)算法易受光照變化、陰影遮擋等環(huán)境干擾的缺陷。最后，所提算法可以完成復(fù)雜交通場(chǎng)景下的多車道線實(shí)時(shí)檢測(cè)。除此之外，陳健雄[84]提出實(shí)例分割模型也可以有效識(shí)別中低速磁浮列車上接觸軌固件的松動(dòng)狀態(tài)，保證了城市軌道交通的安全運(yùn)行。

醫(yī)療圖像處理需要對(duì)血管、骨骼、細(xì)胞等區(qū)域進(jìn)行分割與檢測(cè)，幫助醫(yī)生進(jìn)行診斷和研究[81]。同時(shí)降低誤診率和漏診率，所以實(shí)例分割也是重要的關(guān)鍵技術(shù)之一。趙旭[77]研究基于實(shí)例分割的乳腺超聲腫瘤識(shí)別，分割出乳腺超聲圖像的腫瘤區(qū)。鄭楊等[78]在Mask R-CNN中加入空洞卷積完成宮頸細(xì)胞圖像分割。吳宇[85]則提出一個(gè)級(jí)聯(lián)的3D椎骨分割網(wǎng)絡(luò)。

可見(jiàn)，實(shí)例分割應(yīng)用已經(jīng)非常廣泛，都是建立在兩階段Mask R-CNN[13]基礎(chǔ)之上并有很好的算法效果。未來(lái)，實(shí)例分割技術(shù)一定會(huì)有更大的發(fā)展應(yīng)用前景。

3 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

深度學(xué)習(xí)領(lǐng)域關(guān)注的是通過(guò)使用計(jì)算機(jī)算法自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律性，并通過(guò)使用這些規(guī)律性來(lái)采取一些行動(dòng)。可見(jiàn)，數(shù)據(jù)規(guī)模驅(qū)動(dòng)深度學(xué)習(xí)領(lǐng)域的發(fā)展，收集一個(gè)大規(guī)模的數(shù)據(jù)集也是實(shí)例分割研究中重要的工作。目前，公開(kāi)的大型數(shù)據(jù)集大多是由公司、科研團(tuán)隊(duì)或特別舉辦的專業(yè)比賽等收集創(chuàng)建的，需要大量人工進(jìn)行手動(dòng)標(biāo)注，時(shí)間成本高[86]。本節(jié)簡(jiǎn)要?dú)w納幾種常用的實(shí)例分割數(shù)據(jù)集及評(píng)價(jià)指標(biāo)。

3.1 COCO數(shù)據(jù)集

COCO[87]起源于2014年由微軟出資標(biāo)注的Microsoft COCO數(shù)據(jù)集，與ImageNet競(jìng)賽一樣，被視為是計(jì)算機(jī)視覺(jué)領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一。COCO數(shù)據(jù)集是一個(gè)大型的、豐富的目標(biāo)檢測(cè)，實(shí)例分割和字幕數(shù)據(jù)集。這個(gè)數(shù)據(jù)集以場(chǎng)景理解為目標(biāo)，主要從復(fù)雜的日常場(chǎng)景中截取，圖像中的目標(biāo)通過(guò)精確的分割進(jìn)行位置的標(biāo)定。圖像包括91類目標(biāo)，328 000個(gè)影像和2 500 000個(gè)標(biāo)簽。目前為止有實(shí)例分割的最大且使用最廣泛的數(shù)據(jù)集，提供的類別有80類，有超過(guò)33萬(wàn)張圖片，其中20萬(wàn)張有標(biāo)注，整個(gè)數(shù)據(jù)集中個(gè)體的數(shù)目超過(guò)150萬(wàn)個(gè)。使用時(shí)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集3個(gè)部分，已成為比較實(shí)例分割算法性能最重要的公開(kāi)數(shù)據(jù)集。

3.2 Cityscapes數(shù)據(jù)集

Cityscapes[88]是一個(gè)大規(guī)模城市場(chǎng)景數(shù)據(jù)集，主要用于語(yǔ)義分割任務(wù)，擁有5 000張?jiān)诔鞘协h(huán)境中駕駛場(chǎng)景的圖像（2 975張訓(xùn)練集，500張驗(yàn)證集，1 525張測(cè)試集）記錄了50個(gè)不同城市的街道場(chǎng)景。它具有19個(gè)類別的密集像素標(biāo)注（97%coverage），其中8種類別具有實(shí)例級(jí)別分割標(biāo)注。

3.3 Mapillary Vistas數(shù)據(jù)集

Mapillary Vistas[89]數(shù)據(jù)集是一個(gè)新建立的，大場(chǎng)景的街景數(shù)據(jù)集，用于圖像語(yǔ)義分割以及圖像實(shí)例分割，旨在進(jìn)一步開(kāi)發(fā)用于視覺(jué)道路場(chǎng)景理解的先進(jìn)算法。它包括25 000張高分辨率的彩色圖像，分成66個(gè)類，其中有37個(gè)類別是特定的附加于實(shí)例的標(biāo)簽。對(duì)物體的標(biāo)簽注釋可以使用多邊形進(jìn)行稠密，精細(xì)的描繪。與Cityscapes相比，Mapillary Vistas的精細(xì)注釋總量大了5倍，并包含來(lái)自世界各地在各種條件下捕獲的圖像，包括不同天氣，季節(jié)和時(shí)間的圖像。

3.4 LVIS數(shù)據(jù)集

LVIS[90](large vocabulary instance segmentation)是由Facebook AI Research于2019年建立的大型詞匯實(shí)例分割數(shù)據(jù)集。目前公布的實(shí)例分割數(shù)據(jù)集的目標(biāo)類別還是較少，與實(shí)際應(yīng)用場(chǎng)景下存在大量（未知）類別相違背。故LVIS收集了164 000張圖像，對(duì)1 000多個(gè)對(duì)象類別標(biāo)注，共有220萬(wàn)個(gè)高質(zhì)量的實(shí)例分割掩碼標(biāo)簽。相比于COCO數(shù)據(jù)集，LVIS人工標(biāo)注掩碼具有更大的重疊面積和更好的邊界連續(xù)性，更精確的掩碼。并且在數(shù)據(jù)成長(zhǎng)尾分布(類別種類多而單類的實(shí)例個(gè)數(shù)少)時(shí)仍有很好的訓(xùn)練效果。

3.5 評(píng)價(jià)指標(biāo)

這里以常用COCO數(shù)據(jù)集的評(píng)價(jià)指標(biāo)為例。COCO數(shù)據(jù)集官方評(píng)價(jià)標(biāo)準(zhǔn)如表3所示。AP代表所有類別的平均精度，作為最終COCO評(píng)價(jià)整體標(biāo)準(zhǔn)。AP的定義使用并交比(intersection-overunion, IOU)的標(biāo)準(zhǔn)，即兩個(gè)實(shí)例掩碼的重疊度。表3中area是指分割掩碼mask中像素的數(shù)量。同時(shí)AP也計(jì)算不同尺度目標(biāo)如大目標(biāo)，中目標(biāo)以及小目標(biāo)的實(shí)例分割精度。

表3 COCO數(shù)據(jù)集的評(píng)價(jià)指標(biāo)Table 3 Evaluation index of COCO dataset

4 未來(lái)展望

綜合來(lái)看，實(shí)例分割技術(shù)正趨向兼并算法實(shí)時(shí)性和性能高精度的方向發(fā)展。單階段的實(shí)例分割在性能上不弱于兩階段的實(shí)例分割，但相較于兩階段法的網(wǎng)絡(luò)架構(gòu)更為簡(jiǎn)潔，高效且易于訓(xùn)練。由現(xiàn)存算法的性能比較來(lái)看還有提升空間。所以，總體期望發(fā)展的方向應(yīng)該是在追求精度提升的基礎(chǔ)上實(shí)現(xiàn)快速實(shí)時(shí)實(shí)例分割，更好地適用于實(shí)際應(yīng)用。此外，

1)筆者認(rèn)為實(shí)例分割與目標(biāo)檢測(cè)，語(yǔ)義分割等其他高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)可以互惠互利，可重點(diǎn)研究在不同圖像感知任務(wù)之間的相互關(guān)系。此外，自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)兩大任務(wù)可以彼此互鑒。最近，自然語(yǔ)言處理中常用的Transformer[91,92]在計(jì)算機(jī)視覺(jué)(computer vision, CV)領(lǐng)域已經(jīng)做了一些初步探索，未來(lái)針對(duì)CV的特點(diǎn)設(shè)計(jì)更適配視覺(jué)特性的Transformer將會(huì)帶來(lái)更好的性能提升[93]。

2)目標(biāo)間遮擋和交疊情況仍然是實(shí)例分割最具挑戰(zhàn)性的問(wèn)題，可借鑒圖卷積神經(jīng)網(wǎng)絡(luò)，膠囊網(wǎng)絡(luò)和目標(biāo)檢測(cè)中的推理關(guān)系網(wǎng)絡(luò)來(lái)有效解決遮擋情況下的實(shí)例分割問(wèn)題。

3)目前實(shí)例分割只針對(duì)單獨(dú)的目標(biāo)，沒(méi)有考慮目標(biāo)間的關(guān)系。從目標(biāo)檢測(cè)的經(jīng)驗(yàn)來(lái)看，圖像中不同目標(biāo)是具有空間和語(yǔ)義的上下文聯(lián)系，這種信息的流動(dòng)和融合有助于目標(biāo)檢測(cè)精度的提升。實(shí)例分割可以借鑒注意力機(jī)制，圖神經(jīng)網(wǎng)絡(luò)的方法來(lái)建立目標(biāo)在空間布局以及幾何形狀之間的聯(lián)系。

4)從現(xiàn)有算法的精度來(lái)看，小目標(biāo)的實(shí)例分割問(wèn)題仍然是一個(gè)挑戰(zhàn)。COCO數(shù)據(jù)集中定義像素總數(shù)小于322為小目標(biāo)。可見(jiàn)其在圖像中像素面積占比很小，經(jīng)過(guò)多次采樣和池化等定會(huì)缺少很多細(xì)節(jié)。而實(shí)例分割是一個(gè)需要精確和完整的像素信息才能完成的任務(wù)，兩者產(chǎn)生矛盾。未來(lái)的研究可以小目標(biāo)檢測(cè)為切入點(diǎn)，結(jié)合超分辨率圖像任務(wù)、生成對(duì)抗網(wǎng)絡(luò)、尺度自適應(yīng)和注意力機(jī)制等策略來(lái)提高小目標(biāo)的實(shí)例分割精度。

5)實(shí)例分割大多是有監(jiān)督學(xué)習(xí)，其數(shù)據(jù)采用人工手動(dòng)進(jìn)行像素標(biāo)注的方式，繁瑣的數(shù)據(jù)標(biāo)注耗費(fèi)大量的人力和時(shí)間。為了減少成本，使用自監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)方式從已有未標(biāo)注或少量標(biāo)注數(shù)據(jù)中自動(dòng)生成標(biāo)簽實(shí)現(xiàn)實(shí)例分割。也可利用現(xiàn)有的已標(biāo)注邊界框作為先驗(yàn)信息輔助鎖定目標(biāo)范圍。

6)從實(shí)際應(yīng)用的角度，現(xiàn)有網(wǎng)絡(luò)設(shè)計(jì)的復(fù)雜度高，占用內(nèi)存大，速度和準(zhǔn)確度之間還不能達(dá)到平衡。輕量化的網(wǎng)絡(luò)架構(gòu)，滿足速度快和精度高的需求將是實(shí)例分割未來(lái)探究的重要內(nèi)容。