基于二級(jí)U-Net 的小樣本下秀麗隱桿線蟲(chóng)端泡分割方法*

曹 思 劉 俊

（1.武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 武漢 430070）

（2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室 武漢 430070）

1 引言

秀麗隱桿線蟲(chóng)作為最為常用的模式生物之一，被廣泛用于神經(jīng)、藥物及人類壽命等研究。秀麗隱桿線蟲(chóng)是一種蟲(chóng)體透明，以細(xì)菌為食，平均壽命只有兩周，在實(shí)驗(yàn)室可以培養(yǎng)，非常適合用于壽命研究。對(duì)于秀麗隱桿線蟲(chóng)的壽命研究的方法可分為兩大類，一是基于基因的研究，如Ellis等［1］，首次發(fā)現(xiàn)了基因調(diào)控的細(xì)胞程序性死亡，并且指出人以及哺乳動(dòng)物細(xì)胞凋亡基因與秀麗隱桿線蟲(chóng)的細(xì)胞程序性死亡是相似的；Adolfo 等［2］使用sod-3 啟動(dòng)子作為壽命預(yù)測(cè)器，通過(guò)追蹤基因的表達(dá)來(lái)預(yù)測(cè)壽命。二是基于現(xiàn)象學(xué)的研究，如Catherine 等［3］發(fā)現(xiàn)隨著年齡增長(zhǎng)，端泡紋理熵的增加；Cheng等［4］發(fā)現(xiàn)長(zhǎng)壽與短壽的秀麗隱桿線蟲(chóng)的咽部抽吸跨度不同。

秀麗隱桿線蟲(chóng)的端泡是研究其壽命與老化的重要部位之一［3～4］。從秀麗隱桿線蟲(chóng)的顯微圖像中自動(dòng)分割出端泡部位成為了一個(gè)重要的任務(wù)。本研究嘗試了如今在很多分割任務(wù)中表現(xiàn)優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)，如使用U-Net等在數(shù)據(jù)樣本上進(jìn)行實(shí)驗(yàn)。但是由于可以用于訓(xùn)練與測(cè)試的只有29 張圖像，樣本量太少，透明的蟲(chóng)體帶來(lái)許多相似像素的干擾，并且不同成長(zhǎng)階段的樣本間的端泡部位在圖像上的表現(xiàn)差異過(guò)大，即使在數(shù)據(jù)擴(kuò)充的情況下仍然無(wú)法取得好的效果。

小樣本數(shù)據(jù)訓(xùn)練后的模型表現(xiàn)差的主要原因有以下幾點(diǎn)：1）數(shù)據(jù)不平衡［5］：本來(lái)就小的數(shù)據(jù)集內(nèi)部還有較大的差異，使得模型難以學(xué)習(xí)到正確的正負(fù)樣本，訓(xùn)練得到的模型本身不具有代表性；2）訓(xùn)練的數(shù)據(jù)不具備預(yù)測(cè)能力：新出現(xiàn)的需要預(yù)測(cè)的數(shù)據(jù)與訓(xùn)練集本身的差異過(guò)大，導(dǎo)致模型學(xué)習(xí)到的效果只能代表所有可能出現(xiàn)的樣本中的極少數(shù)；3）數(shù)據(jù)擴(kuò)充［6］對(duì)效果的提升有上限：即使使用現(xiàn)在流行的數(shù)據(jù)擴(kuò)充方法，比如基礎(chǔ)變換（旋轉(zhuǎn)、縮放、翻折等），基礎(chǔ)形變（扭曲，伸縮，錯(cuò)位等）也只能再增加一部分的預(yù)測(cè)能力。無(wú)法得到更多的突破，過(guò)多的擴(kuò)充甚至造成過(guò)擬合；4）遷移學(xué)習(xí)［7］無(wú)法解決特定應(yīng)用場(chǎng)景問(wèn)題：比如在COCO 數(shù)據(jù)集下訓(xùn)練的分割模型是針對(duì)80 個(gè)類別的現(xiàn)實(shí)事物?？梢詫⑵溥w移到相關(guān)類別的分割與分類，但是遷移到其他領(lǐng)域，如微生物的細(xì)胞分割等是沒(méi)有效果的，或者是負(fù)面效果的。也就是當(dāng)特定應(yīng)用場(chǎng)景下沒(méi)有相關(guān)預(yù)訓(xùn)練模型的時(shí)候，遷移的效果不佳。本研究為了尋找秀麗隱桿線蟲(chóng)小樣本數(shù)據(jù)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，進(jìn)行了各種對(duì)比實(shí)驗(yàn)，采用合理的管道數(shù)據(jù)增強(qiáng)方式并提出二級(jí)分割網(wǎng)絡(luò)，以及加入最大包含損失來(lái)減小內(nèi)部干擾，使得秀麗隱桿線蟲(chóng)端泡的自動(dòng)分割任務(wù)可以在小樣本下達(dá)到良好的精度，足夠用于開(kāi)展后續(xù)的研究工作。

2 材料與數(shù)據(jù)擴(kuò)充

2.1 秀麗隱桿線蟲(chóng)顯微圖像的獲取與概述

采集顯微圖像是微生物研究中最容易獲取圖像的方式之一。本研究采用生命科學(xué)學(xué)院培養(yǎng)的秀麗隱桿線蟲(chóng)的頭部顯微圖像作為訓(xùn)練樣本與測(cè)試樣本。采集的圖像為不同時(shí)期（第一天，第三天，第五天，第七天，第九天）的樣本，得到咽部不同時(shí)期的成長(zhǎng)狀態(tài)，泛化本研究的應(yīng)用范圍。受樣本采集時(shí)間、成像環(huán)境、儀器設(shè)備等影響，采集到的顯微圖像會(huì)出現(xiàn)光照不均勻與噪聲較多。本研究感興趣的部位是秀麗隱桿線蟲(chóng)的端泡，在顯微圖像下，不同生長(zhǎng)時(shí)期下端泡部位的邊緣信息變化較大，且內(nèi)部像素紋理信息與蟲(chóng)體的其他部分有著較大的相似度，同時(shí)還受到觀察的培養(yǎng)物質(zhì)，包括養(yǎng)料、自身產(chǎn)生的廢物與玻片污染對(duì)圖像質(zhì)量的影響，如圖1，加大了分割的難度。本研究采用了29 幅1048×786 像素的圖像，其中20 幅用于訓(xùn)練，9 幅用于測(cè)試。端泡區(qū)域的標(biāo)準(zhǔn)值標(biāo)注，采用了生命科學(xué)學(xué)院專家的手工標(biāo)注，如圖1。

圖1 秀麗隱桿線蟲(chóng)的顯微圖像與手工標(biāo)注

2.2 秀麗隱桿線蟲(chóng)顯微圖像的擴(kuò)充與預(yù)處理

圖像變換的擴(kuò)充方法在很早就被提出用于增強(qiáng)小樣本數(shù)據(jù)集，具體的擴(kuò)充方法應(yīng)當(dāng)基于本樣本的特征進(jìn)行選擇，否則可能造成負(fù)面影響，擴(kuò)充的數(shù)量也對(duì)結(jié)果有著不同程度的影響。本研究針對(duì)數(shù)據(jù)樣本數(shù)量較少，只有20張用于訓(xùn)練，將訓(xùn)練集進(jìn)行多尺度的變換，用于擴(kuò)充數(shù)據(jù)集，提高模型的泛化能力與健壯性。本研究首先進(jìn)行了最常用的隨機(jī)縮放與隨機(jī)旋轉(zhuǎn)。這樣的處理可以在數(shù)量層面上實(shí)現(xiàn)數(shù)據(jù)量的增長(zhǎng)，模擬出不同角度的采樣效果與目標(biāo)區(qū)域大小變化，這種方式擴(kuò)充可以在一定程度上提高訓(xùn)練效果，但是在擴(kuò)充量繼續(xù)增大時(shí)并不能得到更多的效果提升。根據(jù)秀麗隱桿線蟲(chóng)的身體柔軟與姿態(tài)多變的生物特征增加了隨機(jī)小范圍扭曲，模擬了蟲(chóng)體的運(yùn)動(dòng)變化。變換的程度參數(shù)也需要根據(jù)樣本來(lái)定，在基本能夠預(yù)測(cè)樣本變化趨勢(shì)的情況下去采用合理的變換。本研究除了使用簡(jiǎn)單的單類變換，還使用了管道變換擴(kuò)充方法來(lái)提升擴(kuò)充后數(shù)據(jù)的復(fù)雜性與得到更魯棒的訓(xùn)練模型。

每一次變換可以用式（1）來(lái)表示，其中X 為原始輸入的樣本圖像，Y 為變換后的樣本圖像，trans（）為某一種變換方式，N 為變換的數(shù)量，Para 為變換的參數(shù)，動(dòng)態(tài)調(diào)整參數(shù)可以得到同一類型下不同程度的變換等。

初始的變換就可以表示為以下公式，其中Rotate_random（）為隨機(jī)旋轉(zhuǎn)變換，Zoom_random（）為隨機(jī)縮放變換，Distortiom_random（）為隨機(jī)扭曲變換：

這樣就得到了設(shè)定好數(shù)量的擴(kuò)充圖，而管道變換擴(kuò)充將各個(gè)變換作為管道的一節(jié)，節(jié)與節(jié)之間的自由組合成一種管道，經(jīng)過(guò)管道的原圖就會(huì)按照管道的順序得到新的圖像，結(jié)構(gòu)如圖2 所示，可以表示為以下公式：

圖2 變換管道結(jié)構(gòu)圖

用不同的管道組合方式就可以得到更多樣的擴(kuò)充效果，在結(jié)合初始的擴(kuò)充方法就得到更好的擴(kuò)充數(shù)據(jù)集。

3 方法

3.1 U-Net網(wǎng)絡(luò)

U-Net 是 由Olaf 等［8］在2015 年ISBI 競(jìng) 賽 中 提出的一種優(yōu)秀的圖像分割卷積神經(jīng)網(wǎng)絡(luò)，并且以遠(yuǎn)超第二名的成績(jī)?nèi)〉昧?015 年ISBI 競(jìng)賽的冠軍。U-Net 是基于全卷積神經(jīng)網(wǎng)絡(luò)［9］的改進(jìn)，廣泛應(yīng)用于神經(jīng)元分割［8］、CT 圖像分割［10］等醫(yī)學(xué)圖像的分割。在其他領(lǐng)域如橋梁檢測(cè)［11］、遙感圖像［12］分割等也有著良好的表現(xiàn)。U-Net網(wǎng)絡(luò)呈現(xiàn)左右對(duì)稱的U型結(jié)構(gòu)，如圖3所示。

圖3 Olaf提出的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

左邊被稱為收縮路徑，采用卷積來(lái)提取特征，每一次包含兩個(gè)3×3 的卷積操作，采用最大池化來(lái)減少計(jì)算參數(shù)，每一次包含一個(gè)2×2 的最大池化操作，池化過(guò)后的圖像大小會(huì)變?yōu)樵瓐D的1/2。右邊被稱為擴(kuò)張路徑，使用復(fù)制疊加來(lái)保留底層上下本信息與特征到高層網(wǎng)絡(luò)，采用反卷積來(lái)恢復(fù)圖像大小，最后，1×1 的卷積操作用來(lái)分類像素，最終實(shí)現(xiàn)端到端的模型。

3.2 改進(jìn)的兩級(jí)網(wǎng)絡(luò)結(jié)構(gòu)

是在對(duì)數(shù)據(jù)增強(qiáng)之后使用U-Net 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)雖然可以收斂，但是在實(shí)際的測(cè)試中還是出現(xiàn)了過(guò)擬合現(xiàn)象，基本無(wú)法預(yù)測(cè)新的目標(biāo)。分析發(fā)現(xiàn)，按照現(xiàn)有的圖像標(biāo)記方式，如圖1 所示，目標(biāo)區(qū)域與背景區(qū)域在像素層面上有許多相似的地方，給網(wǎng)絡(luò)識(shí)別正負(fù)樣例帶來(lái)了干擾，而對(duì)小樣本的擴(kuò)充，相當(dāng)于一定程度上放大這種干擾，使得網(wǎng)絡(luò)過(guò)擬合，難以預(yù)測(cè)新的目標(biāo)。所以本研究將圖像中整個(gè)咽部即端泡以及前端紋理相似的部分作為一個(gè)整體進(jìn)行標(biāo)記，如圖4。

圖4 秀麗隱桿線蟲(chóng)的整個(gè)咽部標(biāo)注方法示例

經(jīng)過(guò)測(cè)試發(fā)現(xiàn)在這樣的分割方案下，第一步只需要基本確定咽部的位置與基本的輪廓，但是需要保持輪廓盡可能包含整個(gè)目標(biāo)區(qū)域。第二步再?gòu)恼麄€(gè)咽部分割出端泡部分，這樣做就相對(duì)之前從整個(gè)圖像中分割出端泡要簡(jiǎn)單一些，沒(méi)有了復(fù)雜的背景與相似像素干擾。這樣就可以在降低任務(wù)的復(fù)雜程度，得到想要的效果，從而消除小樣本帶來(lái)的特征提取困難與過(guò)擬合。系統(tǒng)的實(shí)現(xiàn)流程如圖5。

圖5 系統(tǒng)流程結(jié)構(gòu)圖

第一級(jí)網(wǎng)絡(luò)以秀麗隱桿線蟲(chóng)的顯微圖像與整個(gè)咽部ground truth作為輸入，經(jīng)過(guò)U-Net網(wǎng)絡(luò)的收縮路徑的卷積與池化提取咽部的像素特征，再經(jīng)過(guò)擴(kuò)張路徑還原咽部的像素并分類像素，得到一個(gè)整個(gè)咽部的分割模型。使用第一級(jí)的模型，我們可以得到一個(gè)整個(gè)咽部的掩模，將輸出的掩模作用于原圖再與端泡的ground truth 輸入到第二級(jí)網(wǎng)絡(luò)再經(jīng)過(guò)一次U-Net 得到我們需要的端泡的分割模型。在本研究中改變了原版U-net 卷積結(jié)構(gòu)，分別采用兩個(gè)3*3*32、兩個(gè)3*3*64、兩個(gè)3*3*128、兩個(gè)3*3*256、兩個(gè)3*3*512 卷積結(jié)構(gòu)，具體實(shí)現(xiàn)與網(wǎng)絡(luò)整體結(jié)構(gòu)示意圖如圖6。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相當(dāng)于將復(fù)雜任務(wù)分解為兩個(gè)簡(jiǎn)單任務(wù)的組合。第一級(jí)解決了端泡的定位與像素干擾的問(wèn)題，這不需要太高的分割精度，但是需要較高的召回率（Recall）才能保證不會(huì)因?yàn)榈谝患?jí)網(wǎng)絡(luò)的干擾，造成最終分割端泡的效果不好。

圖6 二級(jí)U-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.3 最大包含損失

本研究提出的是一種二級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)，分配兩個(gè)任務(wù)給兩個(gè)級(jí)別的網(wǎng)絡(luò)，但是實(shí)驗(yàn)中發(fā)現(xiàn)第一級(jí)的某些圖的分割結(jié)果不能完全包含需要分割的端泡部位。這樣就給第二級(jí)網(wǎng)絡(luò)帶來(lái)干擾，造成二次誤差，影響最終的分割效果。所以第一級(jí)的任務(wù)還需要做到在能達(dá)到盡可能大的精度下最大限度包含端泡目標(biāo)區(qū)域。因此需要在原來(lái)的網(wǎng)絡(luò)上加入本研究提出的最大包含損失來(lái)提升第一級(jí)網(wǎng)絡(luò)輸出的召回率。

本研究在兩種常用于圖像分割的損失函數(shù)下進(jìn)行了實(shí)驗(yàn)，包括交叉熵?fù)p失（BCE_Loss）與骰子系數(shù)損失（Dice_Loss）。本研究的基礎(chǔ)損失選用骰子系數(shù)損失。骰子系數(shù)可以定義為式（2），骰子系數(shù)損失定義為式（3）。

其中TP 為正確分割的端泡像素，F(xiàn)P 為將背景分割為端泡的像素，F(xiàn)N 為了未被分割出的端泡像素，TN為正確分割的背景像素［13］，如圖7。

圖7 分割結(jié)果標(biāo)識(shí)

本研究第一級(jí)網(wǎng)絡(luò)的目的是為了提高召回率，就是要抑制欠分割的部分，即圖7 中的FN 部分，本研究將欠分割率［14］應(yīng)用到損失函數(shù)中?？梢詫⑶贩指盥时硎緸槭剑?）。

于是整體損失函數(shù)可以表示為

其中α與β分別作為損失函數(shù)兩部分的權(quán)重。在實(shí)際實(shí)驗(yàn)中通過(guò)不斷加大β值來(lái)減少欠分割所占的比重。實(shí)驗(yàn)發(fā)現(xiàn)，在β＞10α?xí)r開(kāi)始產(chǎn)生效果。

4 實(shí)驗(yàn)與評(píng)價(jià)

4.1 實(shí)驗(yàn)環(huán)境

1）硬件環(huán)境：

CPU：Intel（R）Xeon（R）CPU E5-2676 v3 @2.40GHz

內(nèi)存：32GB

GPU：NVIDIA GeForce GTX 1080ti*8

2）操作系統(tǒng)：Ubuntu 16.04

3）軟件環(huán)境：Pytorch 0.40

4.2 實(shí)驗(yàn)評(píng)價(jià)

本研究是在Pytorch 深度學(xué)習(xí)框架下進(jìn)行的網(wǎng)絡(luò)搭建與開(kāi)發(fā)，在一臺(tái)Linux 服務(wù)器使用八塊NVIDIA GeForce 1080ti 做GPU 運(yùn)算。根據(jù)本研究提出的二級(jí)U-Net分割網(wǎng)絡(luò)，與最大包含損失在將訓(xùn)練集分別擴(kuò)充到520 張、2020 張與5020 張進(jìn)行了實(shí)驗(yàn)。在第一級(jí)網(wǎng)絡(luò)用來(lái)分析數(shù)據(jù)增強(qiáng)與最大包含損失的效果，兩級(jí)網(wǎng)絡(luò)的整合用來(lái)分析最終端泡分割的效果。為了在像素級(jí)別評(píng)價(jià)分割性能，本研究使用四個(gè)評(píng)價(jià)指標(biāo)［11］：分割精度（Precision），召回率（Recall），骰子系數(shù)（Dice Coefficient）與 杰卡德系數(shù)（Jaccard Index）。除骰子系數(shù)見(jiàn)式（2）外，其余三個(gè)評(píng)價(jià)指標(biāo)定義如下：

4.3 數(shù)據(jù)擴(kuò)充的實(shí)驗(yàn)

在第一級(jí)網(wǎng)絡(luò)中使用Baseline的U-Net網(wǎng)絡(luò)在數(shù)據(jù)集大小分別為20、520、2020、5020 作為訓(xùn)練集的情況下進(jìn)行訓(xùn)練，得到的結(jié)果如表1。實(shí)驗(yàn)發(fā)現(xiàn)，擴(kuò)充數(shù)據(jù)確實(shí)可以提高分割效果，但在擴(kuò)充數(shù)據(jù)過(guò)大時(shí)提升的效果開(kāi)始減小，如圖8 和圖9。從增加的訓(xùn)練時(shí)間與資源占用來(lái)看，過(guò)于巨大的數(shù)據(jù)擴(kuò)充量并不是小樣本提升訓(xùn)練效果的最佳選擇，具體的擴(kuò)充量選擇需要由具體應(yīng)用決定。

表1 不同數(shù)據(jù)集擴(kuò)充量下整個(gè)咽部分割實(shí)驗(yàn)結(jié)果對(duì)比

圖8 不同數(shù)據(jù)擴(kuò)充量的結(jié)果對(duì)比圖

圖9 不同數(shù)據(jù)擴(kuò)充量的訓(xùn)練時(shí)間

4.4 最大包含損失實(shí)驗(yàn)

在第一級(jí)網(wǎng)絡(luò)中，分別使用Dice_loss與最大包含損失作為損失函數(shù)，在數(shù)據(jù)擴(kuò)充量為2020 的數(shù)據(jù)集下進(jìn)行訓(xùn)練實(shí)驗(yàn)。兩種損失的變化曲線如圖10 所示，在迭代到大約175 次時(shí)，訓(xùn)練模型的損失達(dá)到基本穩(wěn)定的數(shù)值，測(cè)試時(shí)采用訓(xùn)練過(guò)程中損失數(shù)值最低的模型。

圖10 訓(xùn)練損失變化圖

在加入了最大包含損失之后，雖然準(zhǔn)確性與Dice 系數(shù)沒(méi)有明顯的提升或者略有下降，但是Recall明顯增加并達(dá)到較高的值。第一級(jí)網(wǎng)絡(luò)只作為粗分割，這樣的結(jié)果是符合后續(xù)步驟的條件的。采用最大包含損失后，分割的邊界往外部擴(kuò)張，包含端泡的部位比使用原始的損失函數(shù)時(shí)更加完整，如圖11。

圖11 使用不同損失函數(shù)的分割結(jié)果對(duì)比

表2 Dice損失與最大包含損失的在整個(gè)咽部分割的實(shí)驗(yàn)結(jié)果

4.5 端泡最終分割實(shí)驗(yàn)

本研究加入最大包含損失后，分別在Baseline U-Net 與兩級(jí)網(wǎng)絡(luò)的結(jié)構(gòu)中進(jìn)行訓(xùn)練，并且加入流行的分割網(wǎng)絡(luò)SegNet［15］作為對(duì)照，得到的結(jié)果見(jiàn)表3。整體的實(shí)驗(yàn)效果對(duì)比圖見(jiàn)圖12。可以看到在小樣本下，單純的單級(jí)網(wǎng)絡(luò)幾乎無(wú)法分割出目標(biāo)區(qū)域，在改進(jìn)的二級(jí)網(wǎng)絡(luò)后，得到的分割效果有極大的提升，可以得到滿足后續(xù)工作開(kāi)展的效果。

表3 單級(jí)網(wǎng)絡(luò)與加入最大包含損失的二級(jí)網(wǎng)絡(luò)的端泡分割實(shí)驗(yàn)結(jié)果對(duì)比

圖12 本文提出的方法與Baseline U-net的端泡分割實(shí)驗(yàn)結(jié)果對(duì)照

5 結(jié)語(yǔ)

本研究將小樣本的秀麗隱桿線蟲(chóng)數(shù)據(jù)集應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)，探索了數(shù)據(jù)擴(kuò)充方案對(duì)小樣本的分割效果的影響，在傳統(tǒng)網(wǎng)絡(luò)對(duì)小樣本不友好的條件下，提出了二級(jí)分割網(wǎng)絡(luò)，配合最大包含損失來(lái)降低第一級(jí)分割效果不好的部分對(duì)最終分割效果的影響，達(dá)到較好的效果，為小樣本數(shù)據(jù)的分割任務(wù)提出了新的方案。