融合多尺度邊界特征的顯著實(shí)例分割

何 麗，張紅艷，房婉琳

天津財(cái)經(jīng)大學(xué) 理工學(xué)院，天津300222

顯著性檢測(cè)是計(jì)算機(jī)視覺(jué)應(yīng)用中的一項(xiàng)基本任務(wù)。因?yàn)橄鄬?duì)于視線中出現(xiàn)的所有物體，人們往往會(huì)更加關(guān)注于自己所感興趣的物體，而感興趣的物體就是顯著物體。顯著性檢測(cè)在目標(biāo)識(shí)別、圖像視頻壓縮、圖像檢索、圖像重定向等中有著重要的應(yīng)用價(jià)值。但是，顯著性檢測(cè)只是能夠獲得顯著性區(qū)域的位置，卻無(wú)法區(qū)分出各個(gè)實(shí)例。實(shí)例分割不僅要在實(shí)例層級(jí)上進(jìn)行目標(biāo)的分類和定位，還要在像素層級(jí)上得到精確的分割掩碼，是一種更接近人類真實(shí)視覺(jué)感受的計(jì)算機(jī)視覺(jué)任務(wù)。但實(shí)例分割得到的分割結(jié)果是除去背景外的所有物體，這之中包括顯著物體和不顯著物體。為了實(shí)現(xiàn)基于顯著性檢測(cè)的實(shí)例識(shí)別，Li 等人正式提出顯著實(shí)例分割的概念。顯著實(shí)例分割是目前計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)較新的研究方向，其目的在于檢測(cè)出圖像中的顯著物體，并對(duì)各個(gè)顯著物體進(jìn)行像素級(jí)的分割。最近，F(xiàn)an 等人提出的S4Net（single stage salient-instance segmentation）利用了目標(biāo)對(duì)象和其周圍背景的特征分離能力，提出了基于區(qū)域特征提取層ROIMasking 的顯著實(shí)例分割。但是，為了對(duì)圖像進(jìn)行深層次的特征提取，卷積神經(jīng)網(wǎng)絡(luò)會(huì)進(jìn)行多次的卷積和池化操作，使得到的特征圖尺寸與輸入圖像相差數(shù)倍，再經(jīng)過(guò)上采樣操作恢復(fù)到原尺寸后，會(huì)造成目標(biāo)對(duì)象細(xì)節(jié)信息或邊界信息的丟失，從而導(dǎo)致目標(biāo)對(duì)象的邊界分割粗糙，整體分割效果變差，并最終影響分割的精確度。

上述方法未充分考慮到實(shí)例的邊界信息對(duì)分割結(jié)果影響，為了解決此問(wèn)題，本文在S4Net 模型的基礎(chǔ)上，提出了一種新的結(jié)合實(shí)例邊界特征提取的端到端顯著實(shí)例分割方法（salient instance segmentation via multiscale boundary characteristic network，MBCNet）。該方法借鑒了在邊緣檢測(cè)和語(yǔ)義實(shí)例分割的思想，在S4Net 的基礎(chǔ)上并行設(shè)計(jì)了一個(gè)多尺度融合的邊界特征提取分支，以更好地提取實(shí)例邊界的特征信息，實(shí)現(xiàn)了將邊界特征信息與顯著性實(shí)例分割的有效整合；為實(shí)現(xiàn)在同一網(wǎng)絡(luò)中并行訓(xùn)練目標(biāo)實(shí)例的邊界特征提取和顯著實(shí)例分割兩個(gè)任務(wù)，在MBCNet中設(shè)計(jì)了一個(gè)邊界-分割的聯(lián)合損失函數(shù)。為驗(yàn)證MBCNet 的先進(jìn)性，本文在saliency instance 數(shù)據(jù)集上將MBCNet與目前主要的顯著實(shí)例分割方法進(jìn)行了實(shí)驗(yàn)比較。實(shí)驗(yàn)結(jié)果顯示，MBCNet 在mAP和mAP兩個(gè)評(píng)估指標(biāo)上均獲得了明顯優(yōu)勢(shì)。本文的貢獻(xiàn)主要體現(xiàn)在以下三方面：

（1）將目標(biāo)實(shí)例的邊界特征提取整合到了實(shí)例分割模型中，設(shè)計(jì)了一個(gè)多尺度融合的邊界特征提取分支，該分支以基礎(chǔ)網(wǎng)絡(luò)中F3、F4 和F5 三個(gè)層次的特征作為輸入，并通過(guò)與實(shí)例分割分支聯(lián)合訓(xùn)練的方法實(shí)現(xiàn)對(duì)實(shí)例多尺度特征的有效融合。

（2）針對(duì)邊界特征提取分支，提出了帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊，該模塊在訓(xùn)練中可以學(xué)習(xí)到實(shí)例不同層次的特征，獲得更加豐富的實(shí)例邊界信息。

（3）針對(duì)訓(xùn)練過(guò)程中目標(biāo)實(shí)例的邊界特征提取和顯著實(shí)例分割任務(wù)，提出了一個(gè)邊界-分割聯(lián)合損失函數(shù)，通過(guò)共享特征層將邊界特征提取分支學(xué)習(xí)到的實(shí)例邊界信息傳遞到分割網(wǎng)絡(luò)中，使得在同一深度網(wǎng)絡(luò)中，能同時(shí)實(shí)現(xiàn)實(shí)例邊界特征提取和顯著實(shí)例分割兩個(gè)任務(wù)。

1 相關(guān)工作

1.1 實(shí)例分割

實(shí)例分割任務(wù)既要完成目標(biāo)檢測(cè)中的定位任務(wù)，又要盡可能做到像素級(jí)的分類準(zhǔn)確。實(shí)例分割方法目前也主要分為兩大類：兩階段實(shí)例分割和單階段實(shí)例分割。兩階段實(shí)例分割方法主要包括自下而上的基于語(yǔ)義分割的方法和自上而下的基于檢測(cè)的方法。自下而上的分割思路是首先進(jìn)行像素級(jí)別的語(yǔ)義分割，然后通過(guò)聚類和度量學(xué)習(xí)等手段進(jìn)行實(shí)例識(shí)別。這種方法的泛化能力較差，在類別多的復(fù)雜場(chǎng)景中性能不佳。自上而下的方法則需要先在圖像中產(chǎn)生目標(biāo)候選框，然后對(duì)候選區(qū)域做分類與回歸。而實(shí)現(xiàn)目標(biāo)候選框提取的模型代表為Faster R-CNN，該模型使用區(qū)域選擇網(wǎng)絡(luò)（region proposal network，RPN）取代選擇性搜索（selective search）來(lái)產(chǎn)生候選框，真正實(shí)現(xiàn)了端到端的訓(xùn)練，大大減少了計(jì)算量，并在時(shí)間和精度上獲得了較大提升；Mask RCNN在Faster R-CNN 網(wǎng)絡(luò)基礎(chǔ)上添加了一個(gè)分割分支，提出了使用ROIAlign 方法來(lái)替代ROIPooling，并取消了兩次取整操作，使得分割精度得到進(jìn)一步提升。但相對(duì)于輸入圖像，分割分支處的特征圖會(huì)進(jìn)行多次的下采樣操作，導(dǎo)致分割邊界產(chǎn)生鋸齒狀，非常不利于對(duì)實(shí)例邊界的預(yù)測(cè)。單階段實(shí)例分割受單階段目標(biāo)檢測(cè)的啟發(fā)，具有速度優(yōu)勢(shì)。Bolya等提出的YOLACT模型具有最大的優(yōu)勢(shì)就是實(shí)時(shí)性，它將實(shí)例分割任務(wù)拆分成兩個(gè)并行的任務(wù)：首先通過(guò)一個(gè)Protonet 網(wǎng)絡(luò)，為每張圖片生成一組不依賴于任何實(shí)例的原型掩碼；然后對(duì)每個(gè)實(shí)例預(yù)測(cè)其線性組合系數(shù)，并通過(guò)線性組合生成實(shí)例掩碼。Xie等提出的PolarMask 模型參考了FCOS（fully convolutional onestage object detection）模型的設(shè)計(jì)思想，用極坐標(biāo)的方法將實(shí)例分割任務(wù)轉(zhuǎn)化為實(shí)例中心的分類和密集距離回歸的問(wèn)題，因?yàn)闃O坐標(biāo)是由距離和角度確定的，所以可以很好地利用極坐標(biāo)的方向優(yōu)勢(shì)獲得物體的輪廓。

單階段方法在計(jì)算速度上優(yōu)于兩階段，分割精度也在逐漸逼近兩階段，甚至有趕超的趨勢(shì)。但由于實(shí)例分割任務(wù)中不是所有類別和物體都是顯著的，相較于本文任務(wù)，仍存在很大的不同。

1.2 顯著實(shí)例分割

顯著實(shí)例分割的概念是由顯著性檢測(cè)擴(kuò)展而來(lái)，顯著性檢測(cè)是通過(guò)檢測(cè)到圖像中最顯著的物體，并將它們從中分割出來(lái)的一項(xiàng)任務(wù)。早期的顯著性檢測(cè)主要分為兩種：自底向上學(xué)習(xí)模型和自頂向下學(xué)習(xí)模型。這些模型主要根據(jù)圖像的顏色、亮度、紋理等特征，基于局部或全局對(duì)比度來(lái)進(jìn)行學(xué)習(xí)。之后Liu 等將機(jī)器學(xué)習(xí)算法應(yīng)用于顯著性檢測(cè)任務(wù)中。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)在顯著性檢測(cè)中表現(xiàn)出明顯的優(yōu)勢(shì)，Li等提出的基于多尺度深度特征（multiscale deep features，MDF）的顯著性檢測(cè)算法通過(guò)對(duì)輸入圖像分別進(jìn)行被考慮區(qū)域、相鄰區(qū)域和整個(gè)圖像三個(gè)尺度的特征提取，將獲得的三個(gè)卷積神經(jīng)網(wǎng)絡(luò)與具有兩個(gè)全連接層的深度神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)了多尺度信息的提取與融合；Zhao 等利用CNN 提取出超像素局部和全局上下文特征，對(duì)圖像進(jìn)行單尺度分割，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的分類與回歸，實(shí)現(xiàn)對(duì)圖像的顯著性檢測(cè)。為了解決顯著目標(biāo)不完整的問(wèn)題，于明等提出基于多圖流形排序的顯著性檢測(cè)算法。根據(jù)超像素的顏色和空間特征，分別構(gòu)造K 正則圖和KNN 圖，利用流形排序算法計(jì)算得到顯著性值。常振等在傳統(tǒng)基于貝葉斯模型的顯著性檢測(cè)基礎(chǔ)上，提出一種結(jié)合圖像背景先驗(yàn)和凸包先驗(yàn)的多尺度顯著性檢測(cè)算法，通過(guò)超像素分割將原圖分割成不同尺度的超像素進(jìn)行融合，有效減少噪聲和冗余，使得顯著區(qū)域更為明顯。盧珊妹等提出多特征注意力循環(huán)網(wǎng)絡(luò)進(jìn)行顯著性檢測(cè)，利用空洞卷積和注意力機(jī)制來(lái)進(jìn)行多尺度特征提取與融合。

顯著性檢測(cè)只關(guān)注于顯著性目標(biāo)區(qū)域的檢測(cè)，屬于二元問(wèn)題，而顯著實(shí)例分割則需要在其基礎(chǔ)上，得到顯著物體的像素級(jí)實(shí)例識(shí)別與分割。因此，Li等正式定義了顯著實(shí)例分割任務(wù)，并提出了MSRNet（instancelevel salient object segmentation）模型。該模型利用多尺度深度網(wǎng)絡(luò)得到顯著區(qū)域圖（salient region map）和顯著物體輪廓圖（salient object contour map），然后依次經(jīng)過(guò)MCG（modified conjugate gradients）和MAP（mean average precision）方法對(duì)輪廓圖進(jìn)行計(jì)算，從而獲得更加精確的顯著物體建議框。因?yàn)轱@著物體建議框和顯著區(qū)域存在一定的差異，于是使用條件隨機(jī)場(chǎng)（conditional random field，CRF）方法對(duì)兩者的差異點(diǎn)進(jìn)行多分類，最終得到顯著實(shí)例的分割結(jié)果。但MSRNet 高度依賴于輪廓圖和后期獲得的實(shí)例建議框，且計(jì)算量大。

之后，F(xiàn)an等人提出了一個(gè)端到端單階段的顯著實(shí)例分割網(wǎng)絡(luò)S4Net。與實(shí)例分割中使用ROIPooling和ROIAlign方法提取建議框內(nèi)的特征信息有所不同，S4Net模型借鑒了GrabCut的思想，利用目標(biāo)對(duì)象和其周圍背景的特征分離能力，提出了基于區(qū)域特征提取層ROIMasking 的顯著實(shí)例分割方法。其中，二值ROIMasking通過(guò)檢測(cè)分支獲得特征圖和建議區(qū)域，并為建議區(qū)域生成二值掩膜，然后通過(guò)擴(kuò)張得到二值ROIMasking 的擴(kuò)張建議區(qū)域。與二值ROIMasking相比，擴(kuò)張后的區(qū)域能夠獲得更多的背景信息，從而使分割分支具有更大的感受野。為了更好利用興趣區(qū)域周圍的背景信息，S4Net 通過(guò)將感興趣區(qū)域周圍的掩碼值設(shè)置為-1，將二值ROIMasking 升級(jí)為三元ROIMasking，使分割分支能夠更好地識(shí)別建議框之外的背景。但是，S4Net 存在與Mask R-CNN 模型類似的問(wèn)題，即深度網(wǎng)絡(luò)中的多次卷積和下采樣會(huì)使實(shí)例邊界分割不平滑，從而導(dǎo)致整體分割效果差。

最近，Pei 等人提出了一種新的MDNN 模型，該模型框架是無(wú)提案、無(wú)類別的。MDNN 模型使用密集連接的子區(qū)域化網(wǎng)絡(luò)（densely connected subitizing network，DSN）對(duì)子區(qū)域進(jìn)行預(yù)測(cè)和計(jì)數(shù)，使用密集連接的全卷積網(wǎng)絡(luò)（densely connected fully convolutional network，DFCN）進(jìn)行顯著區(qū)域檢測(cè)，然后基于得到的子區(qū)域計(jì)數(shù)和顯著區(qū)域，采用基于自適應(yīng)深度特征的譜聚類算法對(duì)顯著區(qū)域進(jìn)行分割，得到最終的顯著實(shí)例。

1.3 邊緣檢測(cè)

邊緣檢測(cè)主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法大多是利用圖像的底層特征如顏色、紋理、亮度差異來(lái)進(jìn)行邊緣的判斷與切分，如傳統(tǒng)的檢測(cè)算子Sobel、Canny等；基于信息理論設(shè)計(jì)的手工特征SCG（sparse code gradients）、gPb（globalized probability of boundary）等。傳統(tǒng)邊緣檢測(cè)方法大都依賴于人為設(shè)置的經(jīng)驗(yàn)值，存在很大的局限性。深度學(xué)習(xí)因其自身強(qiáng)大的學(xué)習(xí)能力，對(duì)圖像信息進(jìn)行像素級(jí)到語(yǔ)義級(jí)的信息提取，可以更好地獲取細(xì)節(jié)到全局的信息，明顯優(yōu)于傳統(tǒng)方法。Xie 等提出的整體嵌套邊緣檢測(cè)（holistically-nested edge detection，HED），通過(guò)全卷積神經(jīng)網(wǎng)絡(luò)和深度監(jiān)督網(wǎng)絡(luò)來(lái)進(jìn)行圖像到圖像的預(yù)測(cè)，解決了端到端的訓(xùn)練和多尺度的特征學(xué)習(xí)問(wèn)題。Yang 等借鑒全卷積網(wǎng)絡(luò)在語(yǔ)義分割任務(wù)中的應(yīng)用思想，提出了一個(gè)全卷積編解碼網(wǎng)絡(luò)（object contour detection with a fully convolutional encoder-decoder network，CEDN），該網(wǎng)絡(luò)使用編碼-解碼的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行物體輪廓的提取，用VGG16 初始化編碼器，解碼器采用交替的池化層和卷積層組合而成。CEDN 可以支持任意尺寸的圖像輸入，且相比于底層邊緣檢測(cè)，更加側(cè)重于高層目標(biāo)輪廓的檢測(cè)。因?yàn)镃NN 下的實(shí)例分割往往存在邊界模糊和準(zhǔn)確度低的問(wèn)題，董子昊等在HED 的基礎(chǔ)上，提出多類別邊緣感知的圖像分割方法。其中利用亞像素的圖像增強(qiáng)算法來(lái)實(shí)現(xiàn)多尺度的特征融合，構(gòu)建出用于邊緣檢測(cè)深度多尺度編解碼模型，從而獲得更加精確的邊緣特征。

2 MBCNet顯著實(shí)例分割模型

為了改進(jìn)顯著實(shí)例分割中存在的邊界分割粗糙問(wèn)題，提升顯著實(shí)例分割的精度，本文在基準(zhǔn)方法S4Net 的基礎(chǔ)上，提出一種融合多尺度邊界特征的端到端顯著實(shí)例分割方法（MBCNet）。該方法利用邊緣檢測(cè)思想，通過(guò)設(shè)計(jì)一個(gè)目標(biāo)實(shí)例的邊界特征提取分支，結(jié)合帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來(lái)促進(jìn)實(shí)例邊界信息的提取。該方法可以在同一深度神經(jīng)網(wǎng)絡(luò)框架下同時(shí)完成目標(biāo)實(shí)例的邊界特征提取和顯著實(shí)例分割任務(wù)，并利用提出的邊界-分割聯(lián)合損失函數(shù)，將提取到的邊界特征通過(guò)網(wǎng)絡(luò)共享層傳遞到分割分支中，以此來(lái)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

MBCNet 主要由基礎(chǔ)網(wǎng)絡(luò)和三個(gè)主要的分支網(wǎng)絡(luò)組成，整體網(wǎng)絡(luò)框架圖如圖1 所示。在圖1 中，基礎(chǔ)網(wǎng)絡(luò)選用ResNet50+FPN 模型作為主干結(jié)構(gòu)進(jìn)行特征提取。ResNet50+FPN輸出的5個(gè)有效特征層，能夠?yàn)楹罄m(xù)各分支提供不同尺度的特征信息。MBCNet的三個(gè)分支分別是：顯著實(shí)例定位分支、顯著實(shí)例分割分支和目標(biāo)實(shí)例的邊界特征提取分支。顯著實(shí)例定位分支采用單階段目標(biāo)檢測(cè)方法，對(duì)圖像中的顯著實(shí)例進(jìn)行定位；顯著實(shí)例分割分支采用S4Net 中的實(shí)例分割分支，實(shí)現(xiàn)對(duì)顯著實(shí)例的像素級(jí)分割；目標(biāo)實(shí)例的邊界特征提取分支是本文提出的一種新的多尺度融合的邊界特征提取分支，該分支通過(guò)帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來(lái)提取實(shí)例的邊界特征信息，并通過(guò)網(wǎng)絡(luò)共享層進(jìn)行邊界信息的傳遞。

圖1 MBCNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of MBCNet

2.1 目標(biāo)實(shí)例的邊界特征提取分支

由于不同實(shí)例的大小和位置關(guān)系的不同，現(xiàn)有的實(shí)例分割任務(wù)中分割的結(jié)果仍存在實(shí)例邊界不光滑等問(wèn)題。而現(xiàn)有基于深度學(xué)習(xí)的邊緣檢測(cè)主要使用編碼器-解碼器(encoder-decoder)結(jié)構(gòu)的邊緣檢測(cè)算法。該類算法利用深度神經(jīng)網(wǎng)絡(luò)中的卷積、池化等操作所構(gòu)成的編碼器對(duì)輸入圖像的像素位置信息和圖像特征信息進(jìn)行編碼，然后利用反卷積或上采樣等操作所構(gòu)成的解碼器來(lái)還原圖像的語(yǔ)義信息和像素的位置信息。借鑒于邊緣檢測(cè)任務(wù)的實(shí)現(xiàn)思想，本文在ResNet50+FPN 基礎(chǔ)網(wǎng)絡(luò)完成初步特征提取的編碼部分的基礎(chǔ)上，構(gòu)建了一個(gè)新的目標(biāo)實(shí)例的邊界特征提取分支，用來(lái)完成邊界特征提取的解碼部分，以更好地實(shí)現(xiàn)對(duì)目標(biāo)實(shí)例邊界特征的細(xì)化處理。為了更清晰地獲取目標(biāo)實(shí)例的邊界特征，邊界特征提取分支融合了多個(gè)邊界細(xì)化模塊。關(guān)于邊界細(xì)化模塊的具體介紹見2.2 節(jié)，邊界特征提取該分支的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 邊界特征提取分支的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of boundary feature extraction branch

為了進(jìn)一步融合圖像的空間和語(yǔ)義信息，并使模型在不過(guò)多增加計(jì)算壓力的同時(shí)，能夠?qū)W習(xí)到多尺度的特征信息，本文選取基礎(chǔ)網(wǎng)絡(luò)ResNet50+FPN的F3、F4 和F5 三個(gè)特征層作為邊界特征提取分支的輸入。MBCNet通過(guò)對(duì)F4 和F5 兩個(gè)高層特征圖分別進(jìn)行雙線性插值（I1、I2）來(lái)調(diào)整特征圖尺寸，使得插值后和低層特征圖F3 保持相同的分辨率，以便于后續(xù)對(duì)不同層次的特征圖進(jìn)行信息融合。然后分別通過(guò)普通卷積（C1）操作后送入邊界細(xì)化模塊（BR1、BR2、BR3）。經(jīng)過(guò)邊界細(xì)化模塊處理的特征層首先采用級(jí)聯(lián)（Cc2）操作，對(duì)多尺度的邊界特征進(jìn)行信息整合，然后使用一個(gè)1×1 的卷積（C2）進(jìn)行信道壓縮，使信息整合后的特征層通道數(shù)變?yōu)?4；將整合后的特征層再次送入邊界細(xì)化模塊（BR4）中，以一個(gè)更全面的感受野來(lái)提取特征的整體信息；最后通過(guò)一個(gè)卷積核為3×3、通道數(shù)為1 的卷積（C3）得到目標(biāo)實(shí)例的邊界特征結(jié)果。具體的目標(biāo)實(shí)例的邊界特征提取分支的各層參數(shù)如表1 所示。

表1 目標(biāo)實(shí)例的邊界特征提取分支各層參數(shù)Table 1 Parameters of each layer of boundary feature extraction branch of target instance

目標(biāo)實(shí)例的邊界特征提取分支不僅可以很好地利用基礎(chǔ)網(wǎng)絡(luò)輸出的特征中所包含的實(shí)例邊界信息，而且經(jīng)過(guò)多次邊界細(xì)化模塊的學(xué)習(xí)，可以有效增大特征的感受野，更好地獲得實(shí)例細(xì)節(jié)處的邊界特征。同時(shí)，邊界特征提取分支和顯著實(shí)例分割分支可以同時(shí)進(jìn)行訓(xùn)練，并將各自學(xué)習(xí)到的特征信息通過(guò)網(wǎng)絡(luò)共享層進(jìn)行信息融合。邊界特征提取分支將學(xué)習(xí)到的實(shí)例邊界特征送回網(wǎng)絡(luò)共享層，在網(wǎng)絡(luò)共享層實(shí)現(xiàn)實(shí)例邊界權(quán)重信息的更新，使得顯著實(shí)例分割分支不僅能夠通過(guò)自身網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)到實(shí)例的整體特征信息，還能夠利用邊界特征提取分支學(xué)習(xí)到的實(shí)例邊界特征信息，進(jìn)一步提升顯著實(shí)例分割任務(wù)的分割精度。

2.2 邊界細(xì)化模塊

目前的實(shí)例分割方法在實(shí)例的整體分割精度上已經(jīng)獲得了很大提升，但在實(shí)例邊界的分割上仍不盡如人意。因此，受到文獻(xiàn)[25]的啟發(fā)，為了獲得更加完整的目標(biāo)實(shí)例邊界特征，本文構(gòu)建了邊界細(xì)化模塊（boundary refinement block，BR block），具體結(jié)構(gòu)如圖3 所示。

圖3 邊界細(xì)化模塊結(jié)構(gòu)Fig.3 Structure of BR block

邊界細(xì)化模塊采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，首先使用一個(gè)3×3 的普通卷積進(jìn)行初步的特征提取，然后利用ReLU 激活函數(shù)濾掉其他冗余信息；為了獲得不同范圍的特征信息，在邊界細(xì)化模塊中使用3 種不同感受野的卷積核組合而成的混合空洞卷積（hybrid dilation convolution，HDC）來(lái)對(duì)特征圖進(jìn)行邊界信息的提?。蛔詈笸ㄟ^(guò)殘差結(jié)構(gòu)將原始輸入的特征圖與經(jīng)過(guò)卷積等一系列操作后的特征圖進(jìn)行維度拼接與特征融合，在提升特征提取精度的同時(shí)，可以獲得豐富的實(shí)例邊界特征信息。

相比使用普通卷積造成的感受野范圍有限，并且如果增大感受野則必須增大卷積核，使得計(jì)算量增加，而連續(xù)使用相同空洞率的空洞卷積會(huì)造成網(wǎng)格（gridding）效應(yīng)等問(wèn)題?；旌峡斩淳矸e可以在不改變卷積參數(shù)量的前提下，通過(guò)增大空洞率來(lái)提升卷積核的感受野。同時(shí)，混合空洞卷積的特征提取能夠覆蓋所有的像素點(diǎn)，可以提取到不同尺寸實(shí)例的特征，能夠獲得目標(biāo)實(shí)例在整個(gè)圖像上更遠(yuǎn)距離的上下文信息，得到更加細(xì)致的邊界特征。因此，本文使用了一個(gè)空洞率=[1,2,5]，核大小為3×3 的混合空洞卷積，通道數(shù)均為64，分別進(jìn)行不同空洞率的空洞卷積后，再利用一個(gè)1×1 卷積進(jìn)行特征融合，特征融合方法如式（1）所示。

其中，(·)為普通卷積；(·)為完成通道數(shù)的疊加；(,)是空洞率=的空洞卷積。

邊界細(xì)化模塊可以讓分割網(wǎng)絡(luò)更加關(guān)注實(shí)例的邊界特征，更好地實(shí)現(xiàn)實(shí)例整體與邊界的擬合。

2.3 損失函數(shù)

針對(duì)圖1 描述的顯著實(shí)例定位、顯著實(shí)例分割和目標(biāo)實(shí)例的邊界特征提取三種不同的學(xué)習(xí)任務(wù)，這里分別使用由分類損失、回歸損失、邊界-分割損失構(gòu)成的多任務(wù)損失函數(shù)來(lái)聯(lián)合訓(xùn)練模型，并將模型總的損失函數(shù)定義如式（2）所示：

其中，為分類損失；為回歸損失；為邊界-分割聯(lián)合損失。

使用S4Net 中的定義，計(jì)算方法如式（3）所示。在顯著實(shí)例定位分支中，由于負(fù)樣本數(shù)通常遠(yuǎn)多于正樣本數(shù)，式（3）通過(guò)分別計(jì)算正樣本和負(fù)樣本的損失來(lái)避免在訓(xùn)練過(guò)程中損失函數(shù)被負(fù)樣本支配的問(wèn)題。

采用Fast R-CNN中的平滑L1 損失函數(shù)，計(jì)算方式如式（4）和式（5）所示。

目標(biāo)實(shí)例的邊界特征提取分支的作用是通過(guò)網(wǎng)絡(luò)中的特征共享層將學(xué)習(xí)到的實(shí)例邊界特征信息傳遞到實(shí)例分割分支中，以達(dá)到提升邊界分割效果的作用。根據(jù)分支的結(jié)構(gòu)，這里為顯著實(shí)例分割和目標(biāo)實(shí)例的邊界特征提取雙分支訓(xùn)練定義了一個(gè)新的聯(lián)合損失函數(shù)，其計(jì)算方法如式（6）所示。為了更好地權(quán)衡顯著實(shí)例分割和目標(biāo)實(shí)例的邊界特征提取對(duì)分割結(jié)果的影響，引入一個(gè)比例系數(shù)(0 ≤≤3)。

在式（6）中，為顯著實(shí)例分割分支的損失函數(shù)，采用的是Mask R-CNN中使用的交叉熵?fù)p失函數(shù)；為目標(biāo)實(shí)例的邊界特征提取分支的損失函數(shù)，定義為預(yù)測(cè)邊界和真實(shí)邊界之間的均方誤差，計(jì)算方法如式（7）所示。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)使用的數(shù)據(jù)集選取的是Li 等提出的專門用于顯著實(shí)例分割任務(wù)的數(shù)據(jù)集saliency instance，數(shù)據(jù)集中的圖像主要選自數(shù)據(jù)集DUT-OMRON、ECSSD、HKU-IS、MSO，大都含有多個(gè)顯著目標(biāo)，其中多個(gè)目標(biāo)可能是分離的，也可能是相互遮擋的。該數(shù)據(jù)集最初收集了1 388 張圖片，由3 名人工標(biāo)注者進(jìn)行標(biāo)注。為了減少標(biāo)簽不一致對(duì)訓(xùn)練結(jié)果的影響，最終選擇1 000 張具有相同標(biāo)注結(jié)果的高質(zhì)量顯著實(shí)例圖像。本文以這1 000 幅圖像作為實(shí)驗(yàn)數(shù)據(jù)集，隨機(jī)選取500 張圖片用于訓(xùn)練，200 張用于驗(yàn)證，300 張用于測(cè)試。

3.2 實(shí)驗(yàn)環(huán)境和評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)的硬件環(huán)境為NVIDIA Quadro K1200，訓(xùn)練時(shí)的初始學(xué)習(xí)率設(shè)置為0.002，權(quán)重衰減為0.000 1，動(dòng)量為0.9。實(shí)驗(yàn)在一個(gè)GPU 上共訓(xùn)練40 000 次迭代。實(shí)驗(yàn)基于Tensorflow 框架，以ImageNet 訓(xùn)練的ResNet-50 模型為預(yù)訓(xùn)練模型。

實(shí)驗(yàn)評(píng)價(jià)指標(biāo)使用不同IoU 閾值下的平均精度均值（mAP）來(lái)進(jìn)行模型性能評(píng)估和相關(guān)實(shí)驗(yàn)比較。mAP 采取COCO 數(shù)據(jù)集定義的計(jì)算方法，且算法中的IoU 采用掩膜IoU，計(jì)算方式如式（8）和式（9）所示。其中，表示一張圖片中顯著實(shí)例的個(gè)數(shù)，表示數(shù)據(jù)集中圖片的總數(shù)量。以mAP為例，表示使用IoU 是否大于0.5 來(lái)確定預(yù)測(cè)的掩膜在評(píng)估中是否為陽(yáng)性，其余IoU 閾值的指標(biāo)表示方法相同。這里主要使用實(shí)例分割研究中常用的mAP和mAP兩個(gè)評(píng)價(jià)指標(biāo)對(duì)MBCNet的有效性進(jìn)行評(píng)價(jià)。

3.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)對(duì)比主要從相關(guān)模型的mAP 指標(biāo)、實(shí)例分割結(jié)果可視化、不同實(shí)例個(gè)數(shù)對(duì)分割結(jié)果的影響等方面進(jìn)行，將本文提出的MBCNet與顯著實(shí)例分割領(lǐng)域目前表現(xiàn)較好的MSRNet、S4Net 和MDNN 進(jìn)行實(shí)驗(yàn)對(duì)比。由于MSRNet 和MDNN 的模型沒(méi)有提供可復(fù)現(xiàn)的代碼，且MBCNet 模型是在S4Net 的基礎(chǔ)上提出的，這里對(duì)MSRNet 和MDNN 的實(shí)驗(yàn)結(jié)果比較僅限于mAP 指標(biāo)。以下對(duì)比實(shí)驗(yàn)中，不做特殊說(shuō)明時(shí)，MBCNet中聯(lián)合損失函數(shù)的比例系數(shù)取值均為1。

由于顯著實(shí)例分割是一個(gè)較新的研究任務(wù)，目前關(guān)于顯著實(shí)例分割模型的研究并不多。在顯著實(shí)例分割領(lǐng)域有較好表現(xiàn)的模型主要有Li 等提出的MSRNet，F(xiàn)an 等提出的S4Net 和Pei 等提出的MDNN。因此，這里將MBCNet分別與這三個(gè)模型進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如表2 所示。

表2 不同模型的實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of experimental results of different models %

通過(guò)表2 對(duì)比可以看出，本文提出的MBCNet 在mAP和mAP兩個(gè)評(píng)估指標(biāo)上均獲得了明顯優(yōu)勢(shì)。其中，在mAP、mAP上較MSRNet 分別提升了23.60 個(gè)百分點(diǎn)、15.64 個(gè)百分點(diǎn)，較S4Net 分別提升了2.20 個(gè)百分點(diǎn)、4.24 個(gè)百分點(diǎn)，較MDNN 分別提升了4.00 個(gè)百分點(diǎn)、0.07 個(gè)百分點(diǎn)。而且，在訓(xùn)練時(shí)間上，S4Net 訓(xùn)練整個(gè)網(wǎng)絡(luò)共花費(fèi)3.97 h，MBCNet 的訓(xùn)練時(shí)間為4.5 h。雖然MBCNet 的訓(xùn)練時(shí)間與S4Net相比有一定提升，但MBCNet在額外增加了邊界特征提取分支網(wǎng)絡(luò)的前提下，模型訓(xùn)練時(shí)間提升的幅度有限，并且在測(cè)試方面，MBCNet 仍能保證和S4Net一樣的速度，0.148 s可以完成對(duì)一張圖片的分割。

由此表明，MBCNet 中的目標(biāo)實(shí)例的邊界特征提取分支和帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊的引入對(duì)提升顯著性實(shí)例分割的準(zhǔn)確率起到了很好的提升作用，但在模型訓(xùn)練時(shí)間上增加的開銷有限。

為了更好地說(shuō)明MBCNet 中的實(shí)例邊界特征提取分支對(duì)顯著實(shí)例分割的貢獻(xiàn)，這里選擇了測(cè)試集中部分圖像的分割結(jié)果與目前表現(xiàn)較好的S4Net 分割結(jié)果進(jìn)行了比較，對(duì)比結(jié)果如圖4 所示。

圖4 分割結(jié)果的可視化對(duì)比Fig.4 Visual comparison of segmentation results

從圖4 結(jié)果對(duì)比可以看出，S4Net 模型的分割結(jié)果中出現(xiàn)了顯著物體定位錯(cuò)誤（A、D）、邊界分割模糊不準(zhǔn)確、存在多余分割（B）、實(shí)例分割存在部分缺漏（C、D）和實(shí)例分割不連續(xù)（E）等現(xiàn)象。而MBCNet的分割結(jié)果相對(duì)較好，無(wú)論是多個(gè)目標(biāo)是相互分離的，還是存在相互遮擋，MBCNet 都能更好地進(jìn)行區(qū)分，實(shí)例邊界更加清晰，分割效果也更加完整。這主要是因?yàn)檫吔缣卣魈崛》种У囊?，使得模型在顯著性物體定位時(shí)能夠獲得更加完整的實(shí)例邊界信息。并且，混合空洞卷積的邊界細(xì)化模塊也提升了模型對(duì)實(shí)例細(xì)節(jié)的處理能力，讓目標(biāo)實(shí)例的邊界和細(xì)節(jié)更加清晰、細(xì)致，使分割出來(lái)的實(shí)例更加完整。

為了進(jìn)一步說(shuō)明MBCNet 在分割實(shí)例邊界細(xì)節(jié)上的良好表現(xiàn)，圖5 展示了MBCNet 和S4Net 在分割顯著實(shí)例邊界細(xì)節(jié)處的結(jié)果對(duì)比。仔細(xì)觀察圖5 可以發(fā)現(xiàn)：在A 組圖中，S4Net 對(duì)動(dòng)物的腿部只分割出了一部分，而MBCNet可以將動(dòng)物的腿部完整地識(shí)別出來(lái)；在B 組圖中，MBCNet 對(duì)人的腳部輪廓?jiǎng)澐指油暾?；在C 組圖中，S4Net 對(duì)人的整個(gè)手肘和小臂造成了遺漏，而MBCNet能夠更好地將人的手肘和小臂分割出來(lái)。

圖5 邊界細(xì)節(jié)劃分的結(jié)果對(duì)比Fig.5 Comparison of boundary detail partition

總體來(lái)說(shuō)，在MBCNet 模型中，通過(guò)網(wǎng)絡(luò)共享層可以將邊界特征提取分支學(xué)習(xí)到的目標(biāo)實(shí)例邊界信息傳遞到實(shí)例分割分支中，使得分割任務(wù)在關(guān)注實(shí)例整體特征的同時(shí)，還能關(guān)注到其邊界和細(xì)節(jié)處的特征信息，進(jìn)而能夠更清晰地識(shí)別目標(biāo)實(shí)例的邊界，提升目標(biāo)實(shí)例的分割完整性，最終達(dá)到提高模型分割效果的目的。

表3 展示了S4Net和MBCNet對(duì)不同實(shí)例個(gè)數(shù)的圖像分割所得到的不同分割結(jié)果。從表3 可以看出，隨著圖像中實(shí)例個(gè)數(shù)的增加，兩種方法的分割性能都呈下降趨勢(shì)。但是，MBCNet 在mAP指標(biāo)下完全優(yōu)于S4Net，并且在mAP指標(biāo)下，當(dāng)實(shí)例個(gè)數(shù)不大于2時(shí)，MBCNet的分割效果優(yōu)于S4Net。因此，可以驗(yàn)證本文提出的MBCNet，不論在稀疏顯著實(shí)例還是密集顯著實(shí)例的分割場(chǎng)景下，都能保持良好的分割性能。

表3 不同實(shí)例個(gè)數(shù)的分割結(jié)果對(duì)比Table 3 Comparison of segmentation results with different number of instances %

為了獲得最佳的多尺度融合效果，實(shí)驗(yàn)中對(duì)基礎(chǔ)網(wǎng)絡(luò)輸出的5 個(gè)特征層按順序進(jìn)行了不同尺度的融合實(shí)驗(yàn)，結(jié)果如表4 所示。

表4 多尺度融合策略對(duì)分割結(jié)果的影響對(duì)比Table 4 Comparison of effects of multi-scale fusion strategies on segmentation results

從表4 中可以看出，當(dāng)邊界特征提取分支輸入的特征層數(shù)大于3 時(shí)，模型在mAP和mAP兩個(gè)指標(biāo)上獲得了相對(duì)較好的結(jié)果，但每次迭代訓(xùn)練的時(shí)間會(huì)隨著特征層數(shù)的增加而增加；當(dāng)輸入的特征層數(shù)為2 時(shí)，雖然模型迭代訓(xùn)練的時(shí)間減少了，但模型在mAP和mAP兩個(gè)指標(biāo)上的值也有不同程度的下降，這說(shuō)明輸入特征層數(shù)過(guò)少會(huì)導(dǎo)致目標(biāo)實(shí)例邊界特征信息的丟失；當(dāng)輸入的特征層數(shù)為3 時(shí)，F(xiàn)3、F4、F5三個(gè)特征層的融合（MBCNet）獲得了最好的分割效果和時(shí)間效率。另外，從實(shí)驗(yàn)結(jié)果的比較中可以看出，最底層的F6對(duì)邊界特征信息提取的貢獻(xiàn)并不明顯。

為了驗(yàn)證邊界細(xì)化模塊在MBCNet中的有效性，本文在保持模型其他部分不變的基礎(chǔ)上，對(duì)邊界細(xì)化模塊在邊界特征提取分支上的各種組合分別進(jìn)行了實(shí)驗(yàn)。其中，Base 表示邊界特征提取分支中不使用邊界細(xì)化模塊，Base+BR1+BR2+BR3 表示僅對(duì)基礎(chǔ)網(wǎng)絡(luò)的F3、F4 和F5 三個(gè)特征層邊界信息提取使用邊界細(xì)化模塊，Base+BR4 表示僅對(duì)融合后的多尺度信息使用邊界細(xì)化模塊，Base+BR1+BR2+BR3+BR4表示對(duì)三個(gè)特征層和融合后的多尺度信息均使用邊界細(xì)化模塊，實(shí)驗(yàn)結(jié)果如表5 所示。

表5 邊界細(xì)化模塊各種組合的實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of experimental results of various combinations of BR block %

從表5 中可以看出，Base+BR1+BR2+BR3+BR4在mAP和mAP兩個(gè)指標(biāo)上的結(jié)果最好，并且Base+BR1+BR2+BR3 和Base+BR4 在兩個(gè)指標(biāo)上的結(jié)果均優(yōu)于Base，這說(shuō)明邊界細(xì)化模塊在邊界特征提取分支中的使用可以進(jìn)一步提升模型的顯著實(shí)例分割效果。為了最大化邊界細(xì)化模塊的作用，本文提出的MBCNet 模型將BR1、BR2、BR3、BR4 同時(shí)增加到邊界特征提取分支中，獲得了最佳的顯著實(shí)例分割效果。

為了驗(yàn)證邊界細(xì)化模塊中的混合空洞卷積和殘差結(jié)構(gòu)在MBCNet中的有效性，本文分別構(gòu)建了不使用殘差結(jié)構(gòu)和不使用混合空洞卷積的網(wǎng)絡(luò)結(jié)構(gòu)，并將其記作MBCNet_noResidual 和MBCNet_noHDC。在MBCNet_noHDC 中，使用普通卷積替代混合空洞卷積，除此之外，其他所有訓(xùn)練參數(shù)、訓(xùn)練的方法和迭代次數(shù)均保持一致，結(jié)果如表6 所示。

從表6 中可以看出，在mAP和mAP兩個(gè)評(píng)估指標(biāo)上，MBCNet 均優(yōu)于MBCNet_noHDC 和MBCNet_noResidual，這說(shuō)明使用混合空洞卷積和殘差結(jié)構(gòu)能夠達(dá)到提升分割效果的目的?；旌峡斩淳矸e可以在不增加額外計(jì)算量的情況下，擴(kuò)大感受野，為邊界特征提取分支提供更完整的邊界上下文信息，減少學(xué)習(xí)過(guò)程中的有用信息丟失。殘差結(jié)構(gòu)的使用可以實(shí)現(xiàn)輸入特征信息和卷積等特征提取操作后的特征層信息的有效融合，為目標(biāo)實(shí)例的邊界特征提取提供更加豐富的有用信息。殘差網(wǎng)絡(luò)結(jié)構(gòu)的引入雖然增加了少量的訓(xùn)練時(shí)間成本，但可以使模型的分割效果獲得較大幅度的提升。

表6 混合空洞卷積和殘差結(jié)構(gòu)對(duì)分割結(jié)果影響對(duì)比Table 6 Comparison of influence of HDC and residual structure on segmentation results

為了更進(jìn)一步說(shuō)明混合空洞卷積對(duì)邊界特征提取的有效性，圖6 展示了混合空洞卷積對(duì)分割結(jié)果的影響。左列展示的是MBCNet的分割結(jié)果，右列展示的是MBCNet_noHDC 的分割結(jié)果。

圖6 MBCNet和MBCNet_noHDC 的分割結(jié)果的可視化對(duì)比Fig.6 Visual comparison of segmentation results between MBCNet and MBCNet_noHDC

從圖6 中可以看出：在A 組左圖中，人和狗的整體和邊界進(jìn)行了很好的區(qū)分，而右圖則視為一體，這表明混合空洞卷積可以很好地將密集的實(shí)例區(qū)分開來(lái)；B、C 組左圖中因?yàn)榛旌峡斩淳矸e自身有著可以增大感受野范圍的優(yōu)勢(shì)，所以對(duì)于圖像中較大尺寸的目標(biāo)實(shí)例會(huì)產(chǎn)生較為顯著的分割效果，而右圖中沒(méi)有混合空洞卷積支撐的MBCNet_noHDC 則無(wú)法以一個(gè)較為全面的感受野來(lái)進(jìn)行實(shí)例的整體識(shí)別，導(dǎo)致了分割結(jié)果的不連續(xù)和存在部分缺失的情況；D 組圖中雖然兩個(gè)模型都將挨著的兩朵花區(qū)分開來(lái)，但MBCNet 因?yàn)榭梢詫?duì)細(xì)節(jié)進(jìn)行更好的處理，所以在兩朵花的連接處它表現(xiàn)出了邊界細(xì)節(jié)特征提取的優(yōu)勢(shì)，獲得了更佳的分割效果；在E 組圖中，左圖的MBCNet 對(duì)小尺寸目標(biāo)實(shí)例的特征提取更加完整，相比右圖MBCNet_noHDC 來(lái)說(shuō)得到了更好的整體和邊界的分割效果。

3.3.7 聯(lián)合損失函數(shù)中的取值分析

本文在設(shè)計(jì)聯(lián)合損失函數(shù)時(shí)，定義了一個(gè)比例系數(shù)，用來(lái)權(quán)衡顯著實(shí)例分割分支和邊界特征提取分支對(duì)學(xué)習(xí)結(jié)果的影響。為了獲得最佳的值，這里對(duì)的取值進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 聯(lián)合損失函數(shù)中λ不同取值的結(jié)果對(duì)比Fig.7 Comparison of different values of scale factor λ of joint loss function

從圖7 中可以看出，從0 開始增加的值，模型在mAP和mAP兩個(gè)指標(biāo)上的值均呈上升趨勢(shì)；當(dāng)=1.0 時(shí)，模型在這兩個(gè)指標(biāo)上的值均達(dá)到了最高；之后隨著值的增加，mAP和mAP兩個(gè)指標(biāo)的值逐漸下降。這說(shuō)明，值的變化對(duì)模型的性能會(huì)產(chǎn)生不同程度的影響，同時(shí)也說(shuō)明本文提出的邊界特征提取分支和聯(lián)合訓(xùn)練方法對(duì)模型的性能具有重要影響。

為了說(shuō)明本文提出的邊界-分割聯(lián)合損失函數(shù)的作用，這里分別比較了在S4Net 的實(shí)例分割分支中使用的、在MBCNet 的顯著實(shí)例分割分支和目標(biāo)實(shí)例的邊界特征提取分支中分別使用的和，以及使用邊界-分割聯(lián)合損失函數(shù)的mAP和mAP，結(jié)果如表7 所示。

表7 不同組合的損失函數(shù)結(jié)果對(duì)比Table 7 Comparison of loss function of different combinations %

從表7 的結(jié)果對(duì)比可以看出，使用本文提出的邊界-分割聯(lián)合損失函數(shù)獲得了最好的分割效果。這表明邊界特征提取分支在聯(lián)合損失函數(shù)的監(jiān)督下，能夠通過(guò)網(wǎng)絡(luò)中的特征共享層將學(xué)習(xí)到的實(shí)例邊界特征信息傳遞到實(shí)例分割分支中，進(jìn)一步提升分割質(zhì)量。

4 結(jié)束語(yǔ)

本文充分考慮到邊界特征對(duì)實(shí)例分割結(jié)果的影響，提出一種結(jié)合實(shí)例邊界信息的端到端顯著實(shí)例分割方法MBCNet。在MBCNet 設(shè)計(jì)了一個(gè)多尺度融合的邊界特征提取分支，使用帶有混合空洞卷積和殘差網(wǎng)絡(luò)結(jié)構(gòu)的邊界細(xì)化模塊來(lái)獲得更加完整的實(shí)例邊界特征信息和實(shí)例細(xì)節(jié)信息，并通過(guò)網(wǎng)絡(luò)共享層實(shí)現(xiàn)實(shí)例分割過(guò)程中邊界特征和語(yǔ)義特征的有效整合。為了實(shí)現(xiàn)在同一個(gè)網(wǎng)絡(luò)中同時(shí)完成實(shí)例分割和邊界特征提取兩個(gè)任務(wù)，在MBCNet構(gòu)造了一個(gè)邊界-分割的聯(lián)合損失函數(shù)。實(shí)驗(yàn)結(jié)果表明本文方法在顯著性實(shí)例分割任務(wù)中的有效性，驗(yàn)證了實(shí)例邊界特征提取分支的引入可以進(jìn)一步提升顯著性實(shí)例分割的準(zhǔn)確率。本文方法在mAP和mAP分別達(dá)到了88.90%和67.94%，高于同任務(wù)模型S4Net上的結(jié)果。