一種改進(jìn)的U-Net網(wǎng)絡(luò)用于黑色素瘤病變分割研究

代楚航 文正洙

摘要：殘差網(wǎng)絡(luò)（ResNet）和密集連接網(wǎng)絡(luò)（DenseNet）顯著提高了深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）的訓(xùn)練效率和性能，但二者存在識(shí)別連續(xù)特征能力不足、模型復(fù)雜等缺陷。密集殘差（DR-Net）網(wǎng)絡(luò)將殘差網(wǎng)絡(luò)與密集連接網(wǎng)絡(luò)的優(yōu)異處結(jié)合起來，模型結(jié)構(gòu)較DenseNet精簡(jiǎn)，與ResNet相比，額外加入了的跳躍鏈接。研究將該方法集成到一個(gè)編碼器-解碼器DCNN模型中，用于圖像分割。利用ISIC2017挑戰(zhàn)測(cè)試集，得到訓(xùn)練完成的DRU-Net卷積網(wǎng)絡(luò)評(píng)估指標(biāo)。結(jié)果表明，與基于ResNet、基于DenseNet的方法相比，該研究方法獲得了更高的分割精度。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);醫(yī)學(xué)圖像分割;黑色素瘤;DR-Net;ResNet;DenseNet

中圖分類號(hào)：TP183? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）18-0001-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

黑色素瘤作為一種常見且高危險(xiǎn)性的皮膚癌，目前的檢測(cè)方法是在皮膚鏡下生成高分辨率的皮損圖像。但醫(yī)療資源緊張，癌變?cè)\斷耗時(shí)且對(duì)醫(yī)生專業(yè)素養(yǎng)要求極高，因此計(jì)算機(jī)輔助醫(yī)療顯得格為重要，而皮膚病變圖像分割在該診斷研究中占據(jù)尤其重要的位置。過去十年間，有如閾值處理、活動(dòng)輪廓模型、監(jiān)督學(xué)習(xí)等[1-2]算法被開發(fā)出來用于皮損圖像分割。但以上方法均有耗時(shí)、復(fù)雜、對(duì)醫(yī)學(xué)知識(shí)儲(chǔ)備要求較高等不足之處。由Long等人開發(fā)的一種用于語義分割[3]的全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN），該模型DCNN反卷積層被卷積層替換，對(duì)標(biāo)簽圖進(jìn)行上采樣獲取每一特征像素的分類結(jié)果。2015，U-Net[4]這種新類FCN結(jié)構(gòu)被Ronneberger等人提出，首次被應(yīng)用于細(xì)胞圖像分割。目前提出的U-Net的幾種變體，主要集中于提高特征信息在層內(nèi)和層間傳遞的分割精度和效率。

如，H-DenseU-Net[5]結(jié)合了密集連接的網(wǎng)絡(luò)[6]和U-Net的方法，用于三維肝臟和腫瘤分割。U-Net++[7]應(yīng)用不同層間的密集跳躍連接，將編碼器與解碼器連接到一起。MDU-Net[8]提出在U-net中同時(shí)增加三個(gè)多尺度的密集連接，即密集編碼器、解碼器及其之間的連接。以往的研究，多通過集成復(fù)雜的網(wǎng)絡(luò)模塊獲得更好的性能，這需要學(xué)習(xí)更多參數(shù)。本研究對(duì)比殘差網(wǎng)絡(luò)與密集網(wǎng)絡(luò)的性能，提出一些改進(jìn)。相較殘差網(wǎng)絡(luò)、密集網(wǎng)絡(luò)的方法，本研究的方法需要更少的模塊參數(shù)。

2 DRU-Net

選擇U-Net作為不同網(wǎng)絡(luò)塊性能比較的基本結(jié)構(gòu)。除了原始的U-Net之外，每一層都添加一個(gè)批規(guī)范化（BN），用于網(wǎng)絡(luò)模型實(shí)現(xiàn)更快更穩(wěn)定的訓(xùn)練任務(wù)。區(qū)別于傳統(tǒng)Conv-ReLU，ResNet在C-R-C-R的環(huán)節(jié)中加入了快速連接，如圖1所示。DenseNet結(jié)構(gòu)由數(shù)個(gè)相互連接的密集塊組成，如圖2所示。每個(gè)密集塊的輸入，是當(dāng)前所有密集塊的輸出與第一個(gè)密集塊的原始輸入連接的特征圖。

殘差連接原理是將輸入與輸出特征相加，密集連接模塊將之前連接模塊的輸出與原本輸入連接到一起。殘差網(wǎng)絡(luò)最大的不足之處是缺少先前卷積輸入的連續(xù)特征。而密集連接網(wǎng)絡(luò)可以從先前的卷積塊中提取特征，保證梯度有效傳輸?shù)耐瑫r(shí)，融合更豐富的信息，在連續(xù)圖層中進(jìn)行特征提取，但此方法需額外進(jìn)行特征圖降維，高效特征圖合并的代價(jià)是額外的運(yùn)算參數(shù)與繁雜的網(wǎng)絡(luò)結(jié)構(gòu)。

綜合兩種兩個(gè)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)，DRU-Net在編碼器與解碼器中應(yīng)用如圖3兩種方法。

研究將第一個(gè)Conv-BN操作的輸出和最后一個(gè)Conv-BN的輸出之間添加一個(gè)額外的連接（圖1中的圓形部分）進(jìn)行特征圖求和操作。將編碼器中的第一個(gè)卷積與最后一個(gè)卷積結(jié)果做殘差連接，再與輸入連接得到合并輸出結(jié)果。在解碼器中，在第一個(gè)卷積塊與最后的卷積結(jié)果間，應(yīng)用殘差連接操作，再與輸入經(jīng)卷積1×1降維后的結(jié)果拼接，得到合并輸出結(jié)果。綜合兩種操作的模塊即為密集殘差模塊（DR）。研究將集成的密集殘差模塊（DR）應(yīng)用到U-Net的編碼器和解碼器中，得到改進(jìn)的DRU-Net網(wǎng)絡(luò)模型?；谏鲜鲂薷?，DRU-Net的總體方案如圖4所示。

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)數(shù)據(jù)集與運(yùn)行環(huán)境

3.1.1 ISIC2017

本研究應(yīng)用國(guó)際皮膚成像協(xié)作組織（ISIC）提供的開源黑色素瘤病變皮膚鏡圖像數(shù)據(jù)庫ISIC2017數(shù)據(jù)集。包含2000幅訓(xùn)練圖片、150幅驗(yàn)證圖片和600幅測(cè)試圖片，尺寸540×722～4499×6748。每幅圖像均包含人工標(biāo)注。經(jīng)裁剪翻轉(zhuǎn)等處理后，擴(kuò)增為13000張，尺寸統(tǒng)一改為512×512。

3.1.2 運(yùn)行環(huán)境

實(shí)驗(yàn)的仿真平臺(tái)為Pycharm，利用TensorFlow框架對(duì)模型進(jìn)行了訓(xùn)練和測(cè)試。GPU為RTX2080Ti（11G），操作系統(tǒng)為Windows 10，編程語言Python3.7。對(duì)比模型的編碼器與解碼器路徑層數(shù)均為5。實(shí)驗(yàn)選用Adam優(yōu)化器，損失函數(shù)為交叉熵?fù)p失函數(shù)，初始學(xué)習(xí)率設(shè)為0.001。對(duì)ISIC2017數(shù)據(jù)集，所有方法均進(jìn)行50次迭代訓(xùn)練，批次大小為8。

3.2 算法評(píng)價(jià)指標(biāo)

皮膚病圖像分割主要工作是分割病變區(qū)域，因此衡量算法性能時(shí)，選用像素分割精度（ACC）、DICE相似系數(shù)（DIC）和Jaccard系數(shù)（JAI）作為評(píng)價(jià)指標(biāo)。當(dāng)Jaccard系數(shù)小于0.65時(shí)結(jié)果規(guī)定為0。三種指標(biāo)系數(shù)越大相似性越高。具體形式為：

[ACC=TP+TNTP+TN+FP+FN]

[DIC=2TP2TP+FN+FP]

[JAI=TPTP+FN+FP]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

TP、TN、FN及FP分別代表真陽性、真陰性、假陰性及假陽性區(qū)域的像素個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

在ISIC 2017數(shù)據(jù)集分別對(duì)訓(xùn)練好的U-Net、殘差U-Net網(wǎng)絡(luò)（RU-Net）、密集連接U-Net網(wǎng)絡(luò)（DU-Net）與改進(jìn)DRU-Net網(wǎng)絡(luò)進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表1表明，U-Net的ACC精度，DIC系數(shù)與Jaccard系數(shù)值最低。在DIC、Jaccard與精度ACC方面，DU-Net的性能優(yōu)于U-Net與RU-Net。對(duì)比本次實(shí)驗(yàn)的其他網(wǎng)絡(luò)，本研究的改進(jìn)DRU-Net在各項(xiàng)指標(biāo)性能上均為最優(yōu)。U-Net、RU-Net、DU-Net的可視化預(yù)測(cè)圖如圖5所示?？梢钥闯觯珼RU-Net的分割結(jié)果，尤其是病變邊界周圍區(qū)域，與真實(shí)標(biāo)簽更為接近。U-Net與RU-Net無法精確的分割病變邊界。

4 討論

本研究將基于編碼-解碼器結(jié)構(gòu)的改進(jìn)卷積網(wǎng)絡(luò)DRU-Net用于黑色素瘤病變分割任務(wù)。結(jié)合Dense-Net和Res-Net的優(yōu)勢(shì)。將每一層的輸入到輸出進(jìn)行連接，利用特征映射聚合的方?式，使得模型學(xué)習(xí)效率更高。通過在ISIC2017皮膚損傷數(shù)據(jù)集上評(píng)估U-Net，RU-Net，DU-Net與改進(jìn)DRU-Net方法。本研究的改進(jìn)DRU-Net具有顯著的優(yōu)異性，尤其針對(duì)像素少、待分割區(qū)域面積小的皮損圖像。筆者只證明了改進(jìn)DRU-Net在編碼器-解碼器DCNN模型中圖像分割精度的優(yōu)異性。將此改進(jìn)模型應(yīng)用于其他具有更大數(shù)據(jù)集的適用性與優(yōu)異性將會(huì)在之后的工作中研究。

參考文獻(xiàn)：

[1] Korotkov K，Garcia R.Computerized analysis of pigmented skin lesions：a review[J].Artificial Intelligence in Medicine，2012，56（2）：69-90.

[2] Silveira M，Nascimento J C，Marques J S，et al.Comparison of segmentation methods for melanoma diagnosis in dermoscopy images[J].IEEE Journal of Selected Topics in Signal Processing，2009，3（1）：35-45.

[3] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[4] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：convolutional networks for biomedical image segmentation[J/OL].[2015?05?18].https：//arxiv.org/pdf/1505.04597.pdf.

[5] Li X M，Chen H，Qi X J，et al.H-DenseUNet：hybrid densely connected UNet for liver and tumor segmentation from CT volumes[J].IEEE Transactions on Medical Imaging，2018，37（12）：2663-2674.

[6] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[7] Zhou Z W，Rahman Siddiquee M M，Tajbakhsh N，et al.UNet++：a nested U-net architecture for medical image segmentation[C]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support，2018：3-11.

[8] Zhang J W， Jin Y Z， Xu J L， et al， MDU-Net： Multi-scale Densely Connected U-Net for biomedical image segmentation[J] .10.48550/arXiv.1812.00352，2018.

【通聯(lián)編輯：唐一東】