基于密集特征金字塔的細(xì)胞圖像實(shí)例分割網(wǎng)絡(luò)

董高君，許樂(lè)樂(lè)，馬忠松，于 歌

(1. 中國(guó)科學(xué)院空間應(yīng)用工程與技術(shù)中心太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室， 北京100049； 2. 中國(guó)科學(xué)院大學(xué)， 北京100049)

1 引言

航天器上通常搭載多種類型空間科學(xué)載荷設(shè)備，以開展多樣的空間科學(xué)實(shí)驗(yàn)。 基于實(shí)驗(yàn)產(chǎn)生的海量圖像數(shù)據(jù)，研究人員開展了表型分析相關(guān)研究，比如提取圖像中實(shí)驗(yàn)對(duì)象的表型特征，包括形態(tài)、尺度、面積、體積、生長(zhǎng)曲線等，以及時(shí)了解實(shí)驗(yàn)對(duì)象在太空的狀態(tài)，保障實(shí)驗(yàn)的順利開展。圖像分割技術(shù)可以實(shí)現(xiàn)對(duì)圖像中目標(biāo)的精細(xì)識(shí)別，為后續(xù)研究工作的開展奠定基礎(chǔ)，因此成為科學(xué)實(shí)驗(yàn)表型分析的重要技術(shù)手段。 對(duì)于空間科學(xué)實(shí)驗(yàn)中的細(xì)胞圖像，面對(duì)復(fù)雜場(chǎng)景，比如光照不均、實(shí)驗(yàn)對(duì)象互相交疊等問(wèn)題，傳統(tǒng)的基于閾值、顏色等的統(tǒng)計(jì)分析方法無(wú)法取得較好的分割精度。

近年來(lái)，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域蓬勃發(fā)展，為復(fù)雜場(chǎng)景下的細(xì)胞圖像分割引領(lǐng)了新的技術(shù)方向。 張文秀等使用經(jīng)典語(yǔ)義分割網(wǎng)絡(luò)U-Net實(shí)現(xiàn)細(xì)胞的分割，并結(jié)合殘差塊和注意力機(jī)制，提取更多的細(xì)胞細(xì)節(jié)信息，減緩亮度不均勻、對(duì)比度較低的模型干擾；細(xì)化網(wǎng)絡(luò)RefineNet基于U-Net 模型提出了改進(jìn)的語(yǔ)義分割模型，在編碼-解碼結(jié)構(gòu)的基礎(chǔ)上添加了殘差卷積單元以及多分辨率融合模塊，使之在細(xì)胞分割任務(wù)中具有更良好的性能；全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)作為常用的語(yǔ)義分割模型，使用反卷積的方法將高維特征圖上采樣至原始大小。 上述方法主要實(shí)現(xiàn)對(duì)細(xì)胞圖像的像素級(jí)語(yǔ)義分割，無(wú)法區(qū)分緊密相鄰的細(xì)胞實(shí)例。

由于語(yǔ)義分割不能區(qū)分同一類別的不同實(shí)例，目前研究人員已經(jīng)提出了許多實(shí)例分割算法，包括基于分割的方法和基于檢測(cè)的方法。 基于分割的方法通常先進(jìn)行語(yǔ)義分割，然后采用聚類等方法得到不同的實(shí)例目標(biāo)。 深度掩碼DeepMask就是在目視圖像生成器(Visual Geometry Group，VGG)的基礎(chǔ)上發(fā)展出來(lái)的基于分割的方法，該網(wǎng)絡(luò)使用VGG 提取圖像特征之后，添加了2 個(gè)分支用于產(chǎn)生分割掩碼和產(chǎn)生估計(jì)掩碼分?jǐn)?shù)值，以達(dá)到實(shí)例分割的目的；基于檢測(cè)的方法通常先基于目標(biāo)檢測(cè)技術(shù)，檢測(cè)圖像中感興趣的目標(biāo)，然后對(duì)這些目標(biāo)進(jìn)行二值分割，得到實(shí)例分割結(jié)果。 而遞歸卷積神經(jīng)網(wǎng)絡(luò)(Recurrent Convolutional Neural Networks，R-CNN)是一種常用的基于檢測(cè)的目標(biāo)檢測(cè)和圖像分割的方法，該方法先利用選擇性搜索算法生成目標(biāo)候選區(qū)域，然后用支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行類別識(shí)別；Fast R-CNN 在此基礎(chǔ)上進(jìn)行了一些改進(jìn)，最后類別的判斷和邊框的回歸也用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)實(shí)現(xiàn)；Faster R-CNN 在Fast R-CNN 上做了一些調(diào)整，生成候選區(qū)域的部分也直接改為用CNN 實(shí)現(xiàn)，即區(qū)域建議生成網(wǎng)絡(luò)(Region Proposal Network，RPN) 和感興趣區(qū)域池化(Region of Interest Pooling，RoI Pooling)。

Mask R-CNN是基于Faster R-CNN提出的一種經(jīng)典實(shí)例分割算法，可以區(qū)分圖像中不同的實(shí)例對(duì)象，該方法在原有邊界框預(yù)測(cè)分支的基礎(chǔ)上提出增加掩碼預(yù)測(cè)分支來(lái)完成對(duì)每個(gè)實(shí)例的精細(xì)分割，并將RoI Pooling 改為用RoI Align 提升候選區(qū)域和特征圖匹配的準(zhǔn)確度，該算法在多種任務(wù)場(chǎng)景，例如醫(yī)學(xué)、室內(nèi)場(chǎng)景等取得了令人滿意的結(jié)果；路徑聚合網(wǎng)絡(luò)(Path Aggregation Network，PANet)是基于Mask R-CNN 的雙路徑增強(qiáng)實(shí)例分割網(wǎng)絡(luò)，基于特征金字塔引入自下而上的外觀增強(qiáng)結(jié)構(gòu)，將低層特征的細(xì)節(jié)信息添加至高層特征，再進(jìn)行多尺度特征的細(xì)節(jié)特征增強(qiáng)；混合任務(wù)級(jí)聯(lián)(Hybrid Task Cascade，HTC)充分利用Mask R-CNN 中邊框檢測(cè)分支和掩碼預(yù)測(cè)分支間的互惠關(guān)系，交替執(zhí)行2 個(gè)任務(wù)分支，以提升實(shí)例分割精度；混合掩碼網(wǎng)絡(luò)BlendMask通過(guò)預(yù)測(cè)位置敏感實(shí)例特征和注意力特征圖來(lái)實(shí)現(xiàn)實(shí)例分割；掩碼分?jǐn)?shù)遞歸卷積神經(jīng)網(wǎng)絡(luò)(Mask Scoring R-CNN， MS R-CNN)基 于Mask RCNN，提出掩碼IoU 預(yù)測(cè)分支來(lái)評(píng)估掩碼預(yù)測(cè)分支的掩碼得分值，改善實(shí)例分割質(zhì)量。 以上方法在實(shí)例分割任務(wù)中取得了良好的成績(jī)，但在復(fù)雜場(chǎng)景(如背景噪聲干擾，透明實(shí)例交疊等)下的目標(biāo)實(shí)例分割中仍面臨挑戰(zhàn)。 Mask R-CNN 雖然是眾多分割方法的基礎(chǔ)框架，但是其在特征提取過(guò)程中，沒(méi)有充分融合高層語(yǔ)義結(jié)構(gòu)信息和低層細(xì)節(jié)外觀信息，從而無(wú)法有效處理復(fù)雜場(chǎng)景(如光照不均、背景雜亂等)情況下的實(shí)例分割任務(wù)。

本文針對(duì)空間科學(xué)實(shí)驗(yàn)中細(xì)胞圖像的分割任務(wù)，提出一種基于Mask R-CNN 的實(shí)例分割新算法，以解決上述噪聲干擾及實(shí)例交疊問(wèn)題，可稱之為基于密集特征金字塔的實(shí)例分割算法(Dense Feature Pyramid Mask，DFP-Mask)，適用于對(duì)復(fù)雜場(chǎng)景下細(xì)胞圖像進(jìn)行精確的實(shí)例分割。 該方法在多尺度特征自頂向下的信息傳輸過(guò)程中以密集連接的方式控制特征圖間的信息傳遞，將高層語(yǔ)義結(jié)構(gòu)信息傳遞至所有低層特征，改善低層特征的語(yǔ)義理解能力，同時(shí)抑制背景噪聲。 通過(guò)實(shí)驗(yàn)定量比較和視覺(jué)比較，從準(zhǔn)確率、召回率等指標(biāo)驗(yàn)證方法的提升效果和有效性。

2 基于密集特征金字塔的實(shí)例分割

2.1 網(wǎng)絡(luò)架構(gòu)

圖1 展示了基于Mask R-CNN 的DFP-Mask網(wǎng)絡(luò)架構(gòu)。 該架構(gòu)首先由殘差網(wǎng)絡(luò)(Residual Network，ResNet)網(wǎng)絡(luò)初步提取圖像特征圖，圖2(b)中C2～C5 表示ResNet-101中conv2～conv5的最后殘差塊的輸出。 DFP 模塊通過(guò)密集連接將C2～C5 的多尺度特征融合，用于后續(xù)產(chǎn)生和匹配候選框。 然后區(qū)域候選網(wǎng)絡(luò)RPN 產(chǎn)生大量實(shí)例的錨框anchor，用非極大值抑制法NMS 選取概率最大的2000 個(gè)錨框作為感興趣區(qū)域候選框(RoI)。 使用RoI Align 的方法將候選框與該框?qū)?yīng)的特征圖(圖2(b)中P2 ～P6 的輸出)匹配，分別用于實(shí)例的掩碼生成和候選框的回歸。 最后合并輸出實(shí)例分割的結(jié)果。

2.2 密集特征金字塔

在DFP-Mask 中，用于提取多尺度特征的網(wǎng)絡(luò)由特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks，F(xiàn)PN)替換為密集特征金字塔DFP。 在FPN 中，P2～P4 分別由上一級(jí)特征圖上采樣，并與同一級(jí)的C2～C4 相加獲得，P5 由C5 直接傳入，P6 由P5 下采樣直接獲得，如圖2(a)所示。

圖1 DFP-Mask 網(wǎng)絡(luò)架構(gòu)Fig.1 Architecture of DFP-Mask

由于FPN 的不同層級(jí)之間的特征信息無(wú)法相互融合。 而在C2 ～C5 中，較高層的特征圖(如C5)包含更多的語(yǔ)義結(jié)構(gòu)信息，而較低層的特征圖(如C2)包含更多的細(xì)節(jié)外觀信息，同時(shí)含有更多的背景噪聲。 為了充分融合多尺度特征的語(yǔ)義結(jié)構(gòu)和細(xì)節(jié)外觀信息，將C2 ～C5 傳輸至DFP 中獲得多尺度特征P2 ～P6。 具體來(lái)說(shuō)，對(duì)P5 特征圖進(jìn)行下采樣，進(jìn)一步獲得包含更多上下文信息的P6 特征圖。

在DFP 自頂向下(P6 ～P2)的信息傳輸過(guò)程中，高層特征與所有低層特征進(jìn)行密集連接，將較小的特征圖進(jìn)行線性差值，擴(kuò)展到與相應(yīng)的特征圖同樣大小，再相加。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure

例如，P4 除了與P5 上采樣得到的特征圖相加外，也將P6 線性插值到與P4 一樣大小并相加。 其他層的特征圖同理。 以此將其豐富的語(yǔ)義結(jié)構(gòu)信息傳遞至所有低層特征，同時(shí)抑制噪聲干擾，提升每層特征的上下文理解能力，改善復(fù)雜背景下的目標(biāo)識(shí)別精度。

2.3 基于密集特征金字塔的實(shí)例分割

密集特征金字塔生成的特征圖包涵多個(gè)尺度圖像信息，有利于提高后續(xù)錨框的生成和匹配的準(zhǔn)確性。

經(jīng)過(guò)DFP 中自上而下的特征圖緊密連接操作，得到P2～P6 的多尺度語(yǔ)義增強(qiáng)特征。 這些特征圖被輸入到區(qū)域候選網(wǎng)絡(luò)RPN 中，獲取可能包含對(duì)象實(shí)例的感興趣區(qū)域RoI。 最后，對(duì)于每個(gè)RoI，基于Mask R-CNN 的掩碼預(yù)測(cè)分支(Mask)和邊界框預(yù)測(cè)分支(Bounding-box)分別預(yù)測(cè)實(shí)例掩碼、類別和邊界框位置，以獲取最終的實(shí)例分割結(jié)果。 網(wǎng)絡(luò)架構(gòu)的分割表現(xiàn)詳見(jiàn)實(shí)驗(yàn)部分。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用的細(xì)胞數(shù)據(jù)集來(lái)自中國(guó)載人航天工程天舟一號(hào)小鼠肝卵圓細(xì)胞培養(yǎng)皿，包含200 張圖像。 每張圖像中細(xì)胞實(shí)例數(shù)目為10 到60 個(gè)，多個(gè)細(xì)胞間存在重疊遮擋現(xiàn)象和背景噪聲。 細(xì)胞圖像大小為1280×1024 像素，真實(shí)實(shí)例分割圖像通過(guò)人工標(biāo)注獲得(每個(gè)細(xì)胞標(biāo)注為不同顏色)。數(shù)據(jù)集以7 ∶2 ∶1的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，訓(xùn)練集包括140 張圖像，驗(yàn)證集包括40 張圖像，測(cè)試集包括20 張圖像。

3.2 實(shí)驗(yàn)設(shè)置

實(shí) 驗(yàn) 中 基 于 Keras 2.1.3 和 TensorFlow 1.13.1 深度學(xué)習(xí)框架進(jìn)行網(wǎng)絡(luò)構(gòu)建，采用1 塊NVIDIA Tesla K80 GPU 進(jìn)行網(wǎng)絡(luò)訓(xùn)練和實(shí)例分割推斷。

由于細(xì)胞數(shù)據(jù)集中圖像數(shù)量有限，采用COCO(Common Objects in Context)數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重進(jìn)行網(wǎng)絡(luò)初始化，并對(duì)細(xì)胞數(shù)據(jù)集執(zhí)行3 個(gè)階段的訓(xùn)練過(guò)程。 網(wǎng)絡(luò)參數(shù)更新采用動(dòng)量為0.9 的隨機(jī)梯度下降方法。 其中，階段1 訓(xùn)練網(wǎng)絡(luò)的頭部，包括RPN、邊界框預(yù)測(cè)分支和掩碼預(yù)測(cè)分支，此階段的訓(xùn)練持續(xù)40 個(gè)epoch，且學(xué)習(xí)率為0.001；階段2 訓(xùn)練ResNet 的C3 特征圖及更高層的網(wǎng)絡(luò)，此階段迭代80 個(gè)epoch，并且采用0.001 的學(xué)習(xí)率；階段3 微調(diào)網(wǎng)絡(luò)的所有層，此階段采用0.01 的學(xué)習(xí)率并重復(fù)40 個(gè)epoch。 訓(xùn)練過(guò)程中采用0.0001 的權(quán)重衰減來(lái)防止過(guò)擬合。此外，使用batch 為4 的小批量進(jìn)行梯度更新。

4 結(jié)果

為了驗(yàn)證DFP-Mask 算法的有效性，對(duì)Mask R-CNN 算法和本文DFP-Mask 算法進(jìn)行對(duì)比。

4.1 評(píng)估指標(biāo)

使用precision，recall 和F1 分?jǐn)?shù)評(píng)估像素級(jí)別的分割結(jié)果，precision 表示準(zhǔn)確率，recall 表示召回率，F(xiàn)1-score 是同時(shí)兼顧了準(zhǔn)確率和召回率的指標(biāo)。 使用COCO 數(shù)據(jù)集的標(biāo)準(zhǔn)度量指標(biāo)平均精確率mAP來(lái)定量評(píng)估細(xì)胞圖像的分割結(jié)果。 定義如式(1)～(3)所示：

其中，TP 為正確的分為正類的個(gè)數(shù)；FP 為錯(cuò)誤的分為正類的個(gè)數(shù)；FN 為錯(cuò)誤的分為負(fù)類的個(gè)數(shù)；t 表示mask IoU 閾值(10 個(gè)IoU 閾值，即0.50，0.55，0.60，……，0.95)。 對(duì)于多個(gè)類別，mAP 為所有類別AP 的平均值，如式(4) ～(5)所示：

其中，n表示閾值個(gè)數(shù)，c 表示實(shí)例類別，n表示類別數(shù)。

4.2 定量比較結(jié)果

針對(duì)DFP-Mask 和Mask R-CNN 模型比較了不同的評(píng)估指標(biāo)，結(jié)果如表1 所示。 數(shù)據(jù)表明：DFP-Mask 比Mask R-CNN 能夠得到更好的分割結(jié)果。 DFP-Mask 在 precision 指標(biāo)上提高了2.03%，在recall 指標(biāo)上提高了3.77%，在mAP 指標(biāo)上提高了1%。 以上結(jié)果，尤其是mAP 指標(biāo)的提升，表明本文提出的DFP-Mask 算法在細(xì)胞分割中具有較大的應(yīng)用前景。

4.3 視覺(jué)比較結(jié)果

為進(jìn)一步驗(yàn)證算法的分割性能，比較Mask R-CNN 和DFP-Mask 的視覺(jué)分割結(jié)果(圖3)。 圖3(a)中原始圖像中細(xì)胞實(shí)例間的交疊遮擋使得對(duì)實(shí)例的準(zhǔn)確分割有一定困難。 在Mask R-CNN中，因?yàn)镕PN 自頂向下的特征傳遞過(guò)程中沒(méi)有充分利用高層語(yǔ)義結(jié)構(gòu)信息，使得低層特征的語(yǔ)義理解能力提升有限，因而在細(xì)胞交疊位置的分割結(jié)果存在部分空缺(圖3(c)中的紅色箭頭處)，而DFP-Mask 中DFP 采用密集連接的方式將高層特征的語(yǔ)義信息傳遞至所有低層特征，極大地提升了低層特征的語(yǔ)義理解能力，從而獲得了更好的分割結(jié)果(圖3(d))。

表1 定量評(píng)估結(jié)果Table 1 Quantitative evaluation results /%

5 討論

本文驗(yàn)證了在噪聲干擾及實(shí)例交疊情況下DFP-Mask 能夠得到較好的實(shí)例分割結(jié)果。 通過(guò)密集特征金字塔網(wǎng)絡(luò)提取多尺度特征，增強(qiáng)了每層特征的語(yǔ)義結(jié)構(gòu)信息，提升了提取特征的抗噪聲干擾能力，因此對(duì)于空間科學(xué)實(shí)驗(yàn)等復(fù)雜場(chǎng)景也具有較大的應(yīng)用潛力，比如背景雜亂、噪聲干擾以及實(shí)例交疊情況下的圖像分割等。 基于實(shí)例分割結(jié)果，可以得到每一個(gè)實(shí)驗(yàn)對(duì)象，比如單個(gè)細(xì)胞。 進(jìn)一步可針對(duì)單個(gè)實(shí)驗(yàn)對(duì)象，通過(guò)統(tǒng)計(jì)分析的方法提取其周長(zhǎng)、面積、體積、圓度等表型量，了解單個(gè)實(shí)驗(yàn)對(duì)象的生長(zhǎng)發(fā)育情況。 為利于后續(xù)實(shí)驗(yàn)對(duì)象的分析，DFP-Mask 可以進(jìn)一步添加邊緣檢測(cè)分支，用于提高實(shí)例邊緣的分割準(zhǔn)確度，細(xì)化邊緣細(xì)節(jié)信息，從而為空間科學(xué)實(shí)驗(yàn)提供有效的分析工具。

DFP-Mask 除了用于細(xì)胞圖像外，還可用于空間植物圖像的表型特征提取，比如在水稻、擬南芥等的培養(yǎng)過(guò)程中，采集的圖像也會(huì)存在光照不均、培養(yǎng)箱背景干擾、培養(yǎng)箱上倒影干擾等復(fù)雜場(chǎng)景情況，采用DFP-Mask 可以增強(qiáng)實(shí)驗(yàn)對(duì)象的語(yǔ)義結(jié)構(gòu)信息，同時(shí)降低噪聲干擾，提高實(shí)例分割結(jié)果，進(jìn)而提高實(shí)驗(yàn)對(duì)象表型特征提取的有效性。

6 結(jié)論

1)本文基于空間科學(xué)實(shí)驗(yàn)中的細(xì)胞圖像，提出一種基于密集特征金字塔的實(shí)例分割模型(DFP-Mask)來(lái)解決復(fù)雜場(chǎng)景下的細(xì)胞分割難題。在DFP-Mask 中，采用了自上而下的密集連接方式(DFP)提取多尺度特征，以提升多尺度特征的語(yǔ)義理解能力并同時(shí)抑制背景干擾。

2)在天舟一號(hào)小鼠肝卵圓細(xì)胞數(shù)據(jù)集上的定量評(píng)估和視覺(jué)分割結(jié)果均表明，DFP-Mask 在復(fù)雜場(chǎng)景情況下的實(shí)例分割能力優(yōu)于Mask R-CNN。

3)DFP-Mask 算法可進(jìn)一步提取空間科學(xué)實(shí)驗(yàn)對(duì)象的表型特征，包括數(shù)量、形態(tài)、體積等。

4)本文DFP-Mask 算法將為空間科學(xué)實(shí)驗(yàn)及醫(yī)學(xué)實(shí)驗(yàn)的智能分析提供一種新的技術(shù)手段，如在有雜質(zhì)干擾情況下細(xì)胞或植物的分割等。

致謝：感謝中國(guó)載人航天工程提供的天舟一號(hào)細(xì)胞圖像數(shù)據(jù)。

圖3 視覺(jué)分割結(jié)果Fig.3 Visual segmentation results