DUNet++：基于UNet++改進(jìn)的皮膚病變分割網(wǎng)絡(luò)

周澤華 全星日

關(guān)鍵詞：黑色素瘤皮膚病變分割；UNet++；ISIC2016；空洞卷積；卷積神經(jīng)網(wǎng)絡(luò)

0 引言

黑色素瘤起源于黑色素細(xì)胞的惡性轉(zhuǎn)化，它可以逐漸擴(kuò)散和轉(zhuǎn)移，是最具有侵襲性和致命的皮膚癌類型。雖然惡性黑色素瘤擁有如此高的死亡率，但早期診斷和干預(yù)可以將患者的存活率大大提高，并改善不良預(yù)后。在黑色素瘤的早期診斷中，計(jì)算機(jī)輔助診斷系統(tǒng)作為醫(yī)生的重要診斷決策工具，可以幫助臨床醫(yī)生專注于疾病的特定區(qū)域，并提取詳細(xì)信息以進(jìn)行更準(zhǔn)確的診斷，但目前其算法性能仍有較大的進(jìn)步空間，仍面臨著巨大的挑戰(zhàn)。諸多研究人員在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了眾多優(yōu)秀模型并不斷改進(jìn)，在此過程中，Olaf Ronneberger等人[1]在全卷積網(wǎng)絡(luò)FCN思想上提出了U-Net網(wǎng)絡(luò)架構(gòu)，該架構(gòu)采用由編碼階段和解碼階段組成的U型結(jié)構(gòu)，在醫(yī)學(xué)圖像分割任務(wù)上獲得了較好的結(jié)果，被大量引用和用以改進(jìn)，F(xiàn)isherYu提出空洞卷積概念[2]，該結(jié)構(gòu)在不改變模型參數(shù)的前提下提高卷積層的感受野，使其看得更廣，可以更好地統(tǒng)籌全局信息，進(jìn)而在一定程度上提高模型的分割精度；Zongwei Zhou等人[3]在U-Net模型基礎(chǔ)上進(jìn)行改進(jìn)，提出了UNet++網(wǎng)絡(luò)架構(gòu)，該架構(gòu)把U-Net網(wǎng)絡(luò)結(jié)構(gòu)的前4層連接在一起，并引入深監(jiān)督機(jī)制，讓網(wǎng)絡(luò)自身去學(xué)習(xí)不同深度的特征權(quán)重，UNet++架構(gòu)在圖像分割任務(wù)中具有優(yōu)秀的分割性能。本文基于UNet++模型進(jìn)行改進(jìn)，提出了一種在皮膚病圖像分割任務(wù)中性能表現(xiàn)更好的網(wǎng)絡(luò)模型，在ISIC2016挑戰(zhàn)皮膚病變數(shù)據(jù)集分割任務(wù)中擁有比U-Net、SegNet、UNet++、AttU_net等模型更好的分割性能。

1 基于UNet++改進(jìn)的DUNet++

在UNet++網(wǎng)絡(luò)中，每個(gè)卷積塊由兩層conv-BatchNorm-ReLU組成，通過標(biāo)準(zhǔn)3×3卷積層來提取圖像特征，通過下采樣和上采樣分別獲得淺層特征和深層特征，通過跳過連接將同層中前部的淺層特征傳遞給后部并與深層特征相融合。在這種稠密連接的方式中，每一層都盡量多地保存全局信息和細(xì)節(jié)信息，最后將這些信息共享給最后一層，進(jìn)而較好地保留和重構(gòu)了全局信息和細(xì)節(jié)信息。

在圖像分割任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用卷積層與池化層進(jìn)行特征提取，同時(shí)減小了圖像的尺寸，之后再通過上采樣將圖像尺寸還原，圖像在放大縮小的過程中分辨率會(huì)降低，導(dǎo)致圖像語義信息有所丟失。應(yīng)用擴(kuò)張卷積層[3]可以獲得更大的感受野，在一定程度上緩解因圖像分辨率降低導(dǎo)致的語義信息丟失。

不同擴(kuò)張率的感受野大小對比如圖1所示，標(biāo)準(zhǔn)的3×3卷積核只能看到對應(yīng)3×3區(qū)域的大小，擴(kuò)張率為2的3×3空洞卷積在卷積核參數(shù)不變的情況下將感受野擴(kuò)大為7×7。擴(kuò)張率為4的3×3空洞卷積更是在卷積核參數(shù)不變的情況下，將感受野擴(kuò)大為15×15。更大的感受野使得空洞卷積塊在特征提取過程中可以看得更多，即可以更好地統(tǒng)籌全局信息。

本研究提出了一種新的用于皮膚病圖像分割的卷積神經(jīng)網(wǎng)絡(luò)模型，稱為DUNet++（Dilated UNet++）。在該網(wǎng)絡(luò)中，將除了輸入端第一個(gè)以外的所有雙層標(biāo)準(zhǔn)卷積塊替換為擴(kuò)張率分別為1、2、3的三層空洞卷積塊。DUNet++的模型架構(gòu)如圖2所示。圖3為雙層標(biāo)準(zhǔn)3×3卷積塊與本實(shí)驗(yàn)所用的擴(kuò)張率分別為1、2、3的三層空洞卷積塊的對比。

2 實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)集與圖像預(yù)處理

本研究使用的數(shù)據(jù)集是針對黑色素瘤皮膚病變分割的ISIC2016挑戰(zhàn)皮膚病變數(shù)據(jù)集。該數(shù)據(jù)集包含900張用于訓(xùn)練的黑色素瘤皮膚病變RGB圖像及其二進(jìn)制注釋標(biāo)簽和用于測試的包含379張黑色素瘤皮膚病變RGB圖像及其二進(jìn)制注釋標(biāo)簽。

病變圖像色彩信息在分類任務(wù)中很重要，但在分割任務(wù)中色彩信息對分割結(jié)果影響不大，而病變區(qū)域邊緣梯度信息卻是分割任務(wù)的重要根據(jù)。本研究對使用的ISIC2016挑戰(zhàn)皮膚病變數(shù)據(jù)集進(jìn)行預(yù)處理。首先使用雙線性插值法和最鄰近插值法分別將黑色素瘤病變圖像及其二進(jìn)制注釋標(biāo)簽尺寸統(tǒng)一調(diào)整為512×512像素，然后將其轉(zhuǎn)為灰度圖，去除色彩信息，保留邊緣梯度信息，減少模型計(jì)算量。

2.2 實(shí)驗(yàn)數(shù)據(jù)分析

本實(shí)驗(yàn)使用IoU、Recall、Precision、Accurcry、DICE系數(shù)和F1-score來評估本文提出的模型和各對比模型在ISIC2016數(shù)據(jù)集上的分割精度。六種評估指標(biāo)均根據(jù)混淆矩陣計(jì)算。在混淆矩陣中，TP：像素點(diǎn)實(shí)際是病變像素，模型將其正確預(yù)測為病變像素；TN：像素點(diǎn)實(shí)際是皮膚像素，模型將其正確預(yù)測為皮膚像素；FP：像素點(diǎn)實(shí)際是皮膚像素，模型將其錯(cuò)誤預(yù)測為病變像素；FN：像素點(diǎn)實(shí)際是病變像素，模型將其錯(cuò)誤預(yù)測為皮膚像素?；煜仃嚫袷饺绫?所示。

對于本研究提出的DUNet++模型和用于對比的U-Net[1]、UNet++[3]、AttU_net、R2U_net[4]、SegNet 和UNet3+[5]模型，均使用了BCEWithLogitsLoss作為損失函數(shù)，并應(yīng)用了RMSProp optimizer，初始學(xué)習(xí)率設(shè)置為0.000 1。對于ISIC 2016挑戰(zhàn)皮膚病變數(shù)據(jù)集，本研究的模型和其他對比模型均經(jīng)過了40 epoch的訓(xùn)練，batchsize 設(shè)置為1。最后將各模型分割性能在IoU、Recall、Precision、Accurcry、DICE系數(shù)和F1-score六項(xiàng)評估指標(biāo)上進(jìn)行對比，各方法分割性能對比結(jié)果如表2所示。

由表2中對比數(shù)據(jù)可見，在基于ISIC2016挑戰(zhàn)皮膚病變圖像數(shù)據(jù)集的分割任務(wù)中，本研究提出的DU?Net++模型在各項(xiàng)指標(biāo)上的表現(xiàn)均優(yōu)于其他對比模型，在與本模型作為改進(jìn)基準(zhǔn)的原版UNet++模型的對比中，其IoU、Recall、Precision、Accurcry、DICE系數(shù)和F1-score 六項(xiàng)評估指標(biāo)分?jǐn)?shù)分別提高了1.78%、2.14%、0.68%、0.50%、1.29%和1.38%，說明在本研究改進(jìn)點(diǎn)上獲得了較好的結(jié)果。

3 結(jié)論

由于惡性黑色素瘤的高致死率和進(jìn)行早期診斷治療后的高生存率，準(zhǔn)確的計(jì)算機(jī)輔助診斷算法對黑色素瘤的早期診斷意義重大，它可以幫助醫(yī)生對黑色素瘤患者的病灶進(jìn)行早期診斷和分割，給醫(yī)生提供更多時(shí)間進(jìn)行治療方案決策和后期治療，有效提高患者生存率。本研究提出一種基于UNet++改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)DUNet++，在UNet++網(wǎng)絡(luò)中引入空洞卷積，并展示了DUNet++和其他一些對比模型在預(yù)測結(jié)果和評估指標(biāo)上的對比。根據(jù)本實(shí)驗(yàn)結(jié)果，針對ISIC2016挑戰(zhàn)皮膚病變數(shù)據(jù)集，DUNet++在IoU、Recall、Preci?sion等六項(xiàng)評估指標(biāo)上均超過了本實(shí)驗(yàn)用作對比的U-Net、AttU_net、UNet++[2]、R2U_net[4]、SegNet 和UNet3+[5]模型。這說明在皮膚病變圖像分割任務(wù)中，本研究提出的DUNet++網(wǎng)絡(luò)模型在分割性能上有優(yōu)勢。