基于殘差U-Net網(wǎng)絡(luò)的染色體圖像分割方法

張 林，張雪利，路 霖，劉 輝

(1.中國礦業(yè)大學(xué) 地下空間智能控制教育部工程研究中心，江蘇 徐州 221116;2.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116)

0 引 言

人體健康細(xì)胞中存在23對染色體，其中前22對為常染色體，最后一對為性染色體[1-2]，它們作為遺傳物質(zhì)的主要載體[3-4]，在相同的生長階段呈現(xiàn)各自固定的形態(tài)。但是，在放射線照射、化學(xué)藥物等污染條件下染色體有可能形成病變，表現(xiàn)為數(shù)目或形態(tài)的異常，從而引發(fā)遺傳性疾病[5]。目前的染色體異常與否依賴于其成像分析，常見的成像技術(shù)包括GRQ帶技術(shù)、熒光原位雜交技術(shù)(fluorescence in situ hybridization，F(xiàn)ISH)、光譜核型分析技術(shù)等，這些技術(shù)已成為唐氏綜合征[6]、威廉姆斯綜合征[7]等遺傳性疾病診斷的重要依據(jù)[8-9]。目前，診斷染色體異常主要是依靠自動分析系統(tǒng)，但當(dāng)染色體出現(xiàn)重疊時(shí)，則需要人工先將重疊的染色體分割，再進(jìn)行自動識別。這樣的流程存在以下問題：一方面，識別的效果完全依賴于人工分割，主觀性較強(qiáng)；另一方面，人工分割增加了診斷的成本。因此，研究一種準(zhǔn)確率高并且診斷成本低的自動分割方法已成為核型分析領(lǐng)域的關(guān)鍵問題。

近年來，卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域[10-14]，U-Net作為一種高效實(shí)用的卷積神經(jīng)網(wǎng)絡(luò)，在圖像語義分割任務(wù)中表現(xiàn)出顯著優(yōu)勢[15-17]。例如Olaf等[18]提出了一種基于U-Net網(wǎng)絡(luò)實(shí)現(xiàn)細(xì)胞的分割方法，姜慧明等[19]提出了一種基于改進(jìn)U型卷積網(wǎng)絡(luò)實(shí)現(xiàn)細(xì)胞核的分割方法。在染色體分割中，Hu等[15]提出了構(gòu)建包含卷積層、池化層和反卷積層的U-Net網(wǎng)絡(luò)，實(shí)現(xiàn)了重疊染色體的快速準(zhǔn)確分割。然而，研究發(fā)現(xiàn)，網(wǎng)絡(luò)中廣泛使用的池化層丟失了很多對圖像分割具有重要作用的位置信息，并且可能會丟失整體和部分之間的關(guān)系。此外，網(wǎng)絡(luò)層數(shù)的增加會帶來梯度消失問題，從而降低圖像分割的準(zhǔn)確率。

本文針對上述問題構(gòu)建了一種改進(jìn)的殘差U-Net網(wǎng)絡(luò)分割方法。該方法通過在U-Net中集成殘差結(jié)構(gòu)，實(shí)現(xiàn)染色體重疊區(qū)域和非重疊區(qū)域的分割；通過空洞卷積替換標(biāo)準(zhǔn)卷積，減少了特征信息的丟失；通過不同尺度的空洞卷積替換U-Net網(wǎng)絡(luò)底層的卷積層，實(shí)現(xiàn)了多尺度感受野提取特征；通過改進(jìn)壓縮路徑和擴(kuò)張路徑中間的跳躍連接，可以使不同尺度特征進(jìn)行融合。

1 方 法

1.1 數(shù)據(jù)來源及預(yù)處理

本文使用的是Kaggle上公開的染色體圖像數(shù)據(jù)庫[20]，如圖1所示。將獲得的圖像進(jìn)行重疊從而獲得重疊染色體，具體操作為:①將DAPI和Cy3圖像合并成一張圖像，并提取出其中的46條染色體；②將46條染色體圖像進(jìn)行平移、旋轉(zhuǎn)等操作，并將2條不同的染色體進(jìn)行重疊，最后獲得13 434張88×88像素的灰度圖像。與此同時(shí)，還獲得了標(biāo)簽圖像。

圖1 基于FISH技術(shù)獲取的染色體圖像Fig.1 Chromosome image acquired by FISH technology

1.2 分割網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)包括收縮路徑和擴(kuò)張路徑2部分，作為全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)的改進(jìn)，不再是對圖像的簡單編、解碼。U-Net通過結(jié)合收縮路徑提取的特征和上采樣過程中的特征，能夠保留下采樣過程中的重要特征信息并且利用標(biāo)準(zhǔn)卷積代替全連接層，大大減少了訓(xùn)練參數(shù)，提高了網(wǎng)絡(luò)運(yùn)行的效率。但是池化層還是會丟失很多對圖像分割有意義的位置信息，可以考慮采用空洞卷積替換卷積層和池化層。隨著網(wǎng)絡(luò)層數(shù)的增加，可能會出現(xiàn)梯度消失或網(wǎng)絡(luò)退化的問題。梯度消失問題可以通過標(biāo)準(zhǔn)的初始化和正則化來解決；網(wǎng)絡(luò)退化問題是冗余的網(wǎng)絡(luò)層造成的，為使冗余網(wǎng)絡(luò)層能夠完成恒等映射，在網(wǎng)絡(luò)中引入殘差模塊，殘差模塊中使用短跳躍連接可以解決上述問題[21]。

U-Net中的跳躍連接也被稱為長跳躍連接，主要是將收縮路徑中的特征傳輸?shù)綌U(kuò)張路徑中用于后續(xù)的分割。此外，U-Net網(wǎng)絡(luò)只把收縮路徑和擴(kuò)張路徑中相同尺度的淺層特征和深層特征進(jìn)行融合，雖然將淺層提取的一些簡單特征進(jìn)行利用，但還是會出現(xiàn)特征信息的丟失[22]。因此，為充分利用多個(gè)淺層提取的特征，本文將收縮路徑中不同尺度的特征進(jìn)行融合，再和擴(kuò)張路徑提取的特征融合。跳躍連接的結(jié)構(gòu)如圖2所示。

圖2 跳躍連接的結(jié)構(gòu)Fig.2 Structure of skip connection

本文借鑒空洞卷積的思想，提出了一種多尺度空洞卷積模塊，其結(jié)構(gòu)如圖3所示。在重疊染色體分割中，染色體重疊區(qū)域大小不一，理論上大小不一的感受野能夠更好地提取特征?？斩淳矸e通過調(diào)整膨脹率，可以得到不同尺度的感受野，獲得多尺度特征信息[23-24]。鑒于此，本文采用不同尺度的空洞卷積替換U-Net網(wǎng)絡(luò)底層的卷積層。本文根據(jù)使用的圖像中目標(biāo)區(qū)域大小的不同，設(shè)置膨脹率分別為1，3，5，從而能有效地分割不同尺度的重疊區(qū)域，提高網(wǎng)絡(luò)整體的分割性能。

圖3 多尺度空洞卷積結(jié)構(gòu)Fig.3 Structure of multiscale dilated convolution

本文所提的網(wǎng)絡(luò)主要由U-Net網(wǎng)絡(luò)、殘差模塊、空洞卷積、跳躍連接和多尺度空洞卷積模塊組成。該網(wǎng)絡(luò)有3個(gè)優(yōu)點(diǎn)：①殘差模塊可以簡化網(wǎng)絡(luò)的訓(xùn)練；②殘差模塊內(nèi)以及U-Net的淺層和深層之間的跳躍連接有助于信息的傳播，使其保留更多的特征信息；③多尺度空洞卷積可以獲取不同尺度的特征信息，提高網(wǎng)絡(luò)的分割準(zhǔn)確性。

在本文中，采用殘差U-Net網(wǎng)絡(luò)對重疊染色體進(jìn)行分割，每層由3個(gè)空洞卷積層和1個(gè)殘差模塊組成。每個(gè)卷積層中都包含了批歸一化層和線性整流(rectified linear unit, ReLU)激活函數(shù)，并且通過調(diào)整空洞卷積的步長來增加特征圖的感受野。在U-Net網(wǎng)絡(luò)底層使用多尺度空洞卷積替換標(biāo)準(zhǔn)卷積，壓縮路徑和擴(kuò)張路徑中間的跳躍連接采用不同尺度的特征融合，使得網(wǎng)絡(luò)能夠提取更多的空間特征以達(dá)到更好的分割性能。在擴(kuò)張路徑中，反卷積的作用是對特征圖進(jìn)行上采樣，恢復(fù)特征圖的分辨率。網(wǎng)絡(luò)的輸出層由1×1卷積層和Sigmoid激活函數(shù)組成[25-27]。其中，1×1卷積層用于減少特征圖的數(shù)量，Sigmoid激活函數(shù)用于計(jì)算特征圖中每個(gè)像素的類別，從而輸出圖像分割圖。其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 殘差U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of residual U-Net

1.3 相關(guān)參數(shù)

本文的卷積層采用了ReLU激活函數(shù)。當(dāng)x>0時(shí)，它不存在飽和問題，并能保持梯度不變，可以解決梯度消失的問題。網(wǎng)絡(luò)的輸出層采用的是Sigmoid激活函數(shù)，輸出為(0, 1)，作為使用最廣泛的激活函數(shù)，在特征相差不大時(shí)效果較好。

另外，本文的損失函數(shù)使用了交叉熵?fù)p失函數(shù)和Tversky損失函數(shù)，交叉熵?fù)p失函數(shù)的表達(dá)式為

(1)

本文使用的數(shù)據(jù)集中，染色體區(qū)域(前景)占整個(gè)圖像的小部分，而周圍的背景占比很高。因此，網(wǎng)絡(luò)在使用交叉熵?fù)p失函數(shù)進(jìn)行最小化處理時(shí)，會使損失函數(shù)更傾向于背景。為了解決這個(gè)問題，本文使用了Tversky損失函數(shù)，其表達(dá)式為

(2)

(2)式中：Tp為原屬于目標(biāo)區(qū)域的像素被預(yù)測為相應(yīng)區(qū)域的像素?cái)?shù)目；FP為原不屬于目標(biāo)區(qū)域的像素但被預(yù)測為相應(yīng)區(qū)域的像素?cái)?shù)目；FN為原屬于目標(biāo)區(qū)域的像素但未能被正確預(yù)測為相應(yīng)區(qū)域的像素?cái)?shù)目；α和β分別是假陰性和假陽性的系數(shù)，且α+β=1，通過調(diào)整α和β可以平衡FP和FN，減小前景和背景占比失衡對實(shí)驗(yàn)結(jié)果的影響。

2 實(shí)驗(yàn)及分析

2.1 數(shù)據(jù)集

本文從所建的數(shù)據(jù)庫中隨機(jī)選取64%，16%，20%的數(shù)據(jù)分別作為訓(xùn)練集、驗(yàn)證集、測試集。其中，訓(xùn)練集用來訓(xùn)練模型，驗(yàn)證集用來調(diào)節(jié)模型的參數(shù)使其性能達(dá)到最優(yōu)，測試集用來測試模型的性能。數(shù)據(jù)集如圖5所示。

圖5 實(shí)驗(yàn)數(shù)據(jù)集Fig.5 Experimental dataset

2.2 評價(jià)標(biāo)準(zhǔn)

本文采用交并比(intersection over union，IoU)作為模型的評價(jià)標(biāo)準(zhǔn)[15]，表示為

(3)

此外，本文在實(shí)驗(yàn)中發(fā)現(xiàn)，染色體重疊區(qū)域可能很小，在這種情況下，即使是極少的像素判斷錯(cuò)誤也會導(dǎo)致重疊區(qū)域IoU1(2條染色體重疊部分的IoU值)得分的大幅降低，過分?jǐn)U大了這類錯(cuò)誤的影響。因此，在重疊區(qū)域IoU1得分基礎(chǔ)上，本文額外提出計(jì)算每個(gè)染色體的IoU2(2條染色體IoU得分的平均值)得分，和重疊區(qū)域IoU1得分一起作為模型的評價(jià)指標(biāo)。

2.3 參數(shù)設(shè)置及訓(xùn)練

網(wǎng)絡(luò)在訓(xùn)練的過程中，采用Adam優(yōu)化器進(jìn)行優(yōu)化。網(wǎng)絡(luò)訓(xùn)練次數(shù)的選擇對網(wǎng)絡(luò)的分割性能至關(guān)重要。如果訓(xùn)練次數(shù)太少，模型無法很好地?cái)M合訓(xùn)練數(shù)據(jù)的分布，會出現(xiàn)欠擬合；如果訓(xùn)練次數(shù)太多，模型過度依賴訓(xùn)練數(shù)據(jù)的分布，容易出現(xiàn)過擬合。圖6展示了訓(xùn)練集、驗(yàn)證集的損失值與迭代次數(shù)的關(guān)系，可以看出，損失值隨著迭代次數(shù)的增加而降低。當(dāng)訓(xùn)練次數(shù)超過30 時(shí)，驗(yàn)證集的損失值趨于穩(wěn)定。因此，本文實(shí)驗(yàn)中的訓(xùn)練次數(shù)設(shè)置為30。

圖6 迭代次數(shù)和損失值的關(guān)系Fig.6 Relationship between the number of iterations and the loss

2.4 實(shí)驗(yàn)結(jié)果及分析

為了評估殘差U-Net網(wǎng)絡(luò)中殘差模塊、空洞卷積、跳躍連接和多尺度空洞卷積對分割結(jié)果的有效性，設(shè)計(jì)了8組對比實(shí)驗(yàn)，評估不同情況下網(wǎng)絡(luò)的分割性能，如表1所示?？梢钥闯?，在相同的數(shù)據(jù)集和評價(jià)標(biāo)準(zhǔn)下，將標(biāo)準(zhǔn)卷積替換成空洞卷積的分割結(jié)果明顯高于標(biāo)準(zhǔn)卷積的分割結(jié)果，使用多尺度空洞卷積模塊提高了網(wǎng)絡(luò)分割準(zhǔn)確率，將網(wǎng)絡(luò)中普通的跳躍連接替換成不同尺度的特征融合提高了網(wǎng)絡(luò)的整體性能。在網(wǎng)絡(luò)中增加殘差模塊，減少了信息丟失的問題，保護(hù)了信息的完整性，并且有效避免了網(wǎng)絡(luò)退化的問題。

表1 消融實(shí)驗(yàn)結(jié)果對比

表2給出了不同分割網(wǎng)絡(luò)在染色體數(shù)據(jù)上的分割結(jié)果。 可以看出，本文提出的網(wǎng)絡(luò)優(yōu)于現(xiàn)有的圖像分割方法，和U-Net網(wǎng)絡(luò)相比，IoU分別提高了1.5%和2.37%。

表2 不同網(wǎng)絡(luò)結(jié)果對比

為了評估Tversky損失函數(shù)的有效性，在基于殘差U-Net網(wǎng)絡(luò)上進(jìn)行了對比實(shí)驗(yàn)，其結(jié)果如圖7所示?？梢钥闯?，當(dāng)α=0.4，β=0.6時(shí)，前景和背景的占比失衡對實(shí)驗(yàn)結(jié)果的影響最小，IoU1為96.36%，IoU2為97.31%。

圖7 比較實(shí)驗(yàn)結(jié)果Fig.7 Results of comparative experiments

不同算法的分割結(jié)果如圖8所示，進(jìn)行對比可以發(fā)現(xiàn)，利用殘差U-Net網(wǎng)絡(luò)得到的分割圖像與標(biāo)簽圖像差距最小。相較于其他網(wǎng)絡(luò)，殘差U-Net網(wǎng)絡(luò)可以更好地處理邊緣信息，分割效果圖更貼合真實(shí)圖像。

綜上所述，本文提出的方法的分割結(jié)果比現(xiàn)有的圖像分割方法更準(zhǔn)確。在原有的U-Net網(wǎng)絡(luò)中加入殘差模塊，可避免網(wǎng)絡(luò)深度增加導(dǎo)致的退化問題；使用空洞卷積替換標(biāo)準(zhǔn)卷積，可以減少特征信息的丟失；采用多尺度空洞卷積替換U-Net網(wǎng)絡(luò)底層的卷積層，實(shí)現(xiàn)了圖像特征的多尺度感受野提取，提高了整體的分割性能；壓縮路徑和擴(kuò)張路徑中間的跳躍連接使用不同尺度的特征信息，實(shí)現(xiàn)了高度靈活的特征融合。此外，使用Tversky損失函數(shù)可以很好地解決前景和背景失衡對整個(gè)分割結(jié)果的影響。

圖8 不同算法的分割結(jié)果Fig.8 Segmentation results of different algorithms

3 結(jié)束語

本文構(gòu)建了一種殘差U-Net網(wǎng)絡(luò)用于重疊染色體的分割。該網(wǎng)絡(luò)通過引入殘差模塊，解決了網(wǎng)絡(luò)深度增加帶來梯度消失，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練效果欠佳的問題；引入不同尺度的特征信息，實(shí)現(xiàn)了高靈活特征融合；引入多尺度空洞卷積的疊加，降低圖像尺寸的同時(shí)獲得不同尺度的感受野，減少了特征信息的丟失，以適應(yīng)不同尺寸的染色體重疊區(qū)域的分割需求。實(shí)驗(yàn)結(jié)果表明，采用殘差模塊、空洞卷積、多尺度空洞卷積和多尺度特征融合疊加的方法，選擇Tversky作為損失函數(shù)，能夠有效提高重疊染色體的分割性能，所提分割網(wǎng)絡(luò)的性能優(yōu)于其他模型，驗(yàn)證了Tversky損失函數(shù)的有效性。但本文構(gòu)建的殘差U-Net網(wǎng)絡(luò)仍存在計(jì)算量較大的缺點(diǎn)，在未來的工作中，將著重研究保證重疊染色體分割性能前提下的模型裁剪問題。