一種改進的I?Unet網(wǎng)絡(luò)的皮膚病圖像分割算法

蔣宏達 葉西寧

摘 ?要： 黑色素瘤是常見的皮膚癌，皮膚病圖像分割在皮膚癌診斷過程中起到至關(guān)重要的作用。為了利用I?Unet深度神經(jīng)網(wǎng)絡(luò)強大的編碼解碼功能來自動分割出皮膚病病灶區(qū)域，文中提出一種改進的I?Unet網(wǎng)絡(luò)的皮膚病圖像分割算法。該方法采用空洞卷積擴大卷積感受野，利用類Inception和循環(huán)神經(jīng)網(wǎng)絡(luò)（RCNN）分別提取圖像不同尺度的特征，并進行多尺度特征融合，運用全連接條件隨機場（CRF）進行圖像后處理。結(jié)果表明，所提算法在皮膚病圖像分割中取得了良好的效果，算法的Jaccard系數(shù)達到了0.780，Dice系數(shù)穩(wěn)定在0.871;與同類最佳研究結(jié)果相比，Jaccard系數(shù)及Dice系數(shù)分別提高了1.5%，2.2%，表明該方法有效提升了網(wǎng)絡(luò)圖像分割的性能。

關(guān)鍵詞： 皮膚病; I?Unet網(wǎng)絡(luò); 圖像分割; 空洞卷積; 特征融合; 全連接條件隨機場

中圖分類號： TN711?34; TP391 ? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）12?0052?05

Abstract： Melanoma is the most common form of cancer， and the skin disease image segmentation plays an important role in the diagnosis process of the skin cancer. Therefore， an improved skin disease image segmentation algorithm based on the I?Unet network is proposed in this paper， so as to automatically segment out the focus area of the skin disease by utilizing the powerful encoding and decoding function of the I?Unet deep neural network. In the method， the dilated convolution is used to expand the receptive field of the convolution. The classification Inception and recurrent convolutional neural network （RCNN） are used to respectively extract different scales of image features and conduct multi?scale feature fusion. The fully?connected conditional random field （CRF） is used for image post?processing. The results show that the proposed algorithm can achieve a good effect in image segmentation of the skin disease， with its Jaccard coefficient reaching 0.780， and Dice coefficient stabilizing at 0.871， respectively improved by 1.5% and 2.2% in comparison with the best?in?class research results， which indicates that the method can effectively improve the performance of network image segmentation.

Keywords： skin disease; I?Unet network; image segmentation; dilated convolution; feature fusion; fully?connected conditional random field

0 ?引 ?言

黑色素瘤是一種常見且具有威脅性的皮膚癌，晚期的黑色素瘤通常會擴散到身體的其他部位，其危害通常是致命的。如今，盡管有一些先進的治療技術(shù)，如放射治療和免疫治療，在臨床實踐中越來越多地與手術(shù)相結(jié)合，但過去5年晚期黑色素瘤患者的生存率仍然低至15%，而早期發(fā)現(xiàn)黑色素瘤患者的生存率則超過95%。因為早期的黑色素瘤是可以治療的，并且大多數(shù)可以治愈。皮膚病的檢測方法通常是采用先進的皮膚鏡技術(shù)，在皮膚鏡下可以生成高分辨率的皮膚病圖像，但是皮膚病的診斷依舊需要非常專業(yè)的醫(yī)生。由于皮膚科醫(yī)生的緊缺，加上皮膚病的診斷通常是耗時且?guī)в幸欢ǖ闹饔^性，因此，計算機輔助診斷（Computer Aided Diagnosis， CAD）就顯得尤為重要，而皮膚病圖像的分割是該診斷研究中的一個關(guān)鍵環(huán)節(jié)。在過去的幾十年中，研究人員開發(fā)了各種計算機算法來克服這些挑戰(zhàn)，這些算法可以大致分為聚類、閾值處理、區(qū)域分裂合并、活動輪廓模型和監(jiān)督學(xué)習(xí)等。在文獻[1?2]中已經(jīng)討論并比較了各種方法的優(yōu)點和缺點，但是，上述方法提取特征往往需要比較專業(yè)的知識，整個過程又通常比較耗時、繁瑣，而且手工提取的特征未必會帶來好的分割效果。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network， DCNN）已成為機器學(xué)習(xí)和計算機視覺領(lǐng)域最強大的工具之一。這些模型具有從原始圖像數(shù)據(jù)中學(xué)習(xí)分層特征的能力，因此不需要手工制作特征。Long等人首先提出了一種用于語義分割的全卷積網(wǎng)絡(luò)[3]（Fully Convolutional Network，F(xiàn)CN），用卷積層替換DCNN中的常規(guī)全連接層以獲得粗標(biāo)簽圖，然后用反卷積層對粗標(biāo)簽圖進行上采樣以獲得每個像素的分類結(jié)果。對于醫(yī)學(xué)圖像的分割，Ronneberger等人提出一種新的類FCN結(jié)構(gòu)，即U?Net，用于生物細胞圖像分割[4]。該方法在醫(yī)學(xué)領(lǐng)域引起了極大的關(guān)注，目前該方法已應(yīng)用??于許多不同的任務(wù)，也都取得了不錯的效果，如圖像分割、圖像轉(zhuǎn)換等[4]。雖然該網(wǎng)絡(luò)相比以往算法在分割效果上有所突破，但依舊存有不足，通過對U?Net網(wǎng)絡(luò)的性能分析，針對不足之處提出改進的I?Unet架構(gòu)。主要的創(chuàng)新點如下：

1） 利用空洞卷積[5]代替常規(guī)的卷積操作以擴大卷積感受野，更好地統(tǒng)籌全局信息。

2） 利用類Inception和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Convolutional Neural Network，RCNN）架構(gòu)作多尺度特征融合。

3） 利用交叉熵損失訓(xùn)練模型，用Dice損失作模型參數(shù)的微調(diào)。

4） 利用全連接CRF[5]作圖像后處理。

1 ?改進的I?Unet網(wǎng)絡(luò)

改進的I?Unet網(wǎng)絡(luò)依舊采用編碼?解碼架構(gòu)，并在解碼網(wǎng)絡(luò)實現(xiàn)對編碼和解碼對應(yīng)層的特征融合，圖1為其整體框架圖。其中Conv_Block是改進的編碼網(wǎng)絡(luò)，由空洞卷積、Inception架構(gòu)以及RCL層組成，其結(jié)構(gòu)如圖2所示;Deconv_Block是解碼網(wǎng)絡(luò)，由反卷積模塊、RCL層組成，其結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)最后加上全連接CRF模塊作為圖像后處理，此模塊不參與整個模型的訓(xùn)練。

1.1 ?空洞卷積

一些研究表明，在語義分割或其他像素級的預(yù)測任務(wù)中，DCNN已經(jīng)取得了不錯的效果。然而，在這些網(wǎng)絡(luò)中，由于常規(guī)卷積操作的池化層及池化間隔（通常大于1）的存在，雖然可以增大感受野，但是也會減小特征圖大小，導(dǎo)致分辨率降低，一些信息就會丟失，此時再將上采樣恢復(fù)到原圖大小時，便會影響分割精度。因此本文采用空洞卷積（Dilated Convolution）代替常規(guī)卷積操作。該操作的優(yōu)點在于即使不做池化操作，也可以增大感受野，而增大感受野的目的在于能更好地學(xué)習(xí)圖像的全局信息。

圖1 ?改進的I?Unet網(wǎng)絡(luò)結(jié)構(gòu)

圖2 ?改進的編碼網(wǎng)絡(luò)Conv_Block結(jié)構(gòu)

圖3 ?改進的解碼網(wǎng)絡(luò)Deconv_Block結(jié)構(gòu)

式中：[k]代表卷積核大小;[p]代表卷積過程中補零數(shù);[s]代表卷積步伐;[d]為空洞卷積采樣率，[d]的增大會導(dǎo)致卷積核變大，但同時會減小特征圖大小;[i]代表輸入特征圖大小;[n]和[o]分別為空洞卷積之后的新卷積核大小和輸出特征圖大小。

1.2 ?Inception和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

U?Net網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)的一種變形，編碼器通過卷積和池化操作逐漸降低輸出特征的空間分辨率，解碼器則逐步修復(fù)物體的細節(jié)和空間分辨率。編碼器和解碼器之間通常存在跳躍式連接（Skip Connection），因此能幫助解碼器更好地修復(fù)目標(biāo)的細節(jié)。然而經(jīng)典的U?Net網(wǎng)絡(luò)編碼部分僅由3×3的卷積層和2×2的池化層組成，單一的卷積操作往往學(xué)習(xí)不到圖像不同尺度的特征信息，同時也限制了網(wǎng)絡(luò)的深度和寬度。本文采用Inception架構(gòu)取代單一的卷積操作，通過1×3，3×1，5×5，1×7，7×1，1×1等卷積核的組合，在減少模型參數(shù)量的同時不僅使網(wǎng)絡(luò)變得更寬、更深、更容易訓(xùn)練，增強了網(wǎng)絡(luò)的非線性能力，而且也能學(xué)習(xí)到圖像不同尺度的特征信息，具體結(jié)構(gòu)如圖4所示。

圖4 ?Inception模型基礎(chǔ)結(jié)構(gòu)

此外，CNN是一種前饋式的網(wǎng)絡(luò)結(jié)構(gòu)，一些研究表明循環(huán)式神經(jīng)網(wǎng)絡(luò)架構(gòu)在計算機視覺領(lǐng)域取得了顯著成功。RCNN架構(gòu)的核心組件是循環(huán)神經(jīng)網(wǎng)絡(luò)層（Recurrent Convolutional Layer，RCL），RCL的操作由前饋網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)共同組成。假設(shè)[t]表示循環(huán)次數(shù)，[u（t）]是前饋網(wǎng)絡(luò)的輸入，[x（t-1）]表示[t-1]時刻循環(huán)網(wǎng)絡(luò)的輸入，[（i，j）]表示在RCL網(wǎng)絡(luò)中第[k]張輸出特征圖中的位置，[wfk]和[wrk]分別表示前饋神經(jīng)網(wǎng)絡(luò)的卷積參數(shù)和循環(huán)網(wǎng)絡(luò)的卷積參數(shù)，則網(wǎng)絡(luò)[t]時刻的輸出為：

1.3 ?全連接條件隨機場

DCNN生成的標(biāo)簽圖（分割結(jié)果）通常比較平滑，而分割的目標(biāo)是要恢復(fù)詳細的局部結(jié)構(gòu)而不是平滑它，尤其是圖像邊緣部分。因此，本文采用全連接條件隨機場做圖像后處理，恢復(fù)圖像細節(jié)部分，進一步提高分割的準(zhǔn)確率。對于輸入寬為[W]、高為[H]的圖像[I]，將其作為觀測數(shù)據(jù)，全連接條件隨機場可被定義為圖像[I]上的一系列變量[{x1，x2，…，xW×H}]，其中[xi]表示第[i]個像素的所分配的標(biāo)簽類別，作為預(yù)測值，取值范圍為語義標(biāo)簽種類集合[L={l1，l2，…，lM}]。對于圖像的某一標(biāo)簽分布情況，[x∈LW×H]的吉布斯能量分布函數(shù)可表示為：

式中：[k1]，[k2]兩個高斯核組成二元項能量函數(shù);[σα]，[σβ]，[σγ]為高斯核的標(biāo)準(zhǔn)差參數(shù);[ω1]和[ω2]為兩個高斯函數(shù)的權(quán)重分配;[pi]，[pj]和[Ii]，[Ij]分別表示像素點[i]，[j]的位置信息和顏色信息;[k1]傾向于將位置相近且顏色相似的像素點歸為同一類標(biāo)簽;[k2]可以將孤立的點融合為與周圍像素相同的標(biāo)簽，從而增加分割結(jié)果的平滑性;[μ（xi，xj）]表示兩個標(biāo)簽之間的兼容性度量，如果[xi]和[xj]所代表的語義類別不相互兼容，那么對應(yīng)的[μ（xi，xj）]數(shù)值較大，從而使能量函數(shù)整體上升。

2 ?實驗結(jié)果與分析

2.1 ?實驗設(shè)計

2.1.1 ?實驗數(shù)據(jù)

實驗數(shù)據(jù)取自ISIC Archive官方皮膚病數(shù)據(jù)集[6]，該數(shù)據(jù)集是目前已知公開的最大的皮膚病數(shù)據(jù)集，主要包括痣、惡性黑色素瘤、脂溢性角化病三類皮膚病，有一定的權(quán)威性，共有2 594張皮膚鏡圖像和對應(yīng)的圖像標(biāo)簽，其中含有2 000張訓(xùn)練集，594張測試集。

2.1.2 ?算法評價指標(biāo)

實驗采用Jaccard系數(shù)和Dice系數(shù)作為定量評價指標(biāo)，且規(guī)定當(dāng)Jaccard系數(shù)小于0.65時計算結(jié)果為0。Jaccard系數(shù)常用于比較有限樣本集之間的相似性與差異性，Jaccard系數(shù)值越大，樣本相似度越高。Dice系數(shù)同樣用于評估兩者的相似性，Dice系數(shù)越大，相似性就越高。上述兩種評價指標(biāo)雖在表達方式上有所差異，但在內(nèi)容上都是對分割精度的定量指標(biāo)。皮膚病圖像分割主要關(guān)心的是病灶區(qū)域，所以衡量算法的性能時，僅計算圖像病灶區(qū)域的Jaccard系數(shù)和Dice系數(shù)。具體形式為：

2.1.3 ?訓(xùn)練算法的選取

深度卷積神經(jīng)網(wǎng)絡(luò)有多種訓(xùn)練算法，常用的有隨機梯度下降（Stochastic Gradient Descent，SGD）以及一些自適應(yīng)訓(xùn)練方法，如自適應(yīng)梯度下降（Adaptive Subgradient， Adagrad），自適應(yīng)學(xué)習(xí)率調(diào)整法 （Adaptive Learning Rate Method， Adadelta）和自適應(yīng)動量估計（Adaptive Moment Estimation， Adam）等。實驗采用收斂速度較快的Adam算法作為本次訓(xùn)練算法。

2.1.4 ?訓(xùn)練過程

實驗采用Intel Core 4.2 GHz i7?7700K CPU和擁有11 GB顯存的NVIDIA GeForce GTX?1080ti GPU來訓(xùn)練網(wǎng)絡(luò)模型。利用Python編程語言進行開發(fā)設(shè)計，同時借助Tensorflow深度學(xué)習(xí)框架搭建深度神經(jīng)網(wǎng)絡(luò)模型。訓(xùn)練過程采用交叉熵損失函數(shù)作為訓(xùn)練起始階段的損失函數(shù)如下：

式中：[yi]代表每個像素點的實際標(biāo)簽值;[yi]為每個像素點的預(yù)測標(biāo)簽值;[n]為樣本數(shù)量。在模型迭代到一定收斂程度時，采用[1-D（X，Y）]作為Dice損失對模型參數(shù)做最后的微調(diào)訓(xùn)練。對于皮膚病二分類分割任務(wù)，規(guī)定病灶區(qū)域為前景區(qū)域，非病灶區(qū)域為背景區(qū)域，因此，對于前景和背景都會產(chǎn)生一個Dice系數(shù)和Dice損失。實驗過程采用多損失訓(xùn)練方法，并對前景區(qū)域和背景區(qū)域分配不同的損失權(quán)重比，如下：

式中：[Dice_loss1]表示前景區(qū)域的Dice損失;[Dice_loss2]為背景區(qū)域的Dice損失。表1給出實驗在沒有做CRF后處理的情況下，利用改進的I?Unet網(wǎng)絡(luò)進行訓(xùn)練，使用Dice損失做微調(diào)前后結(jié)果對比。實驗結(jié)果表明，利用多損失訓(xùn)練方法能在一定程度上提升分割精度。

表1 ?兩種不同訓(xùn)練方法下的實驗結(jié)果

2.2 ?實驗結(jié)果及分析

本文設(shè)計5組實驗來評估改進的I?Unett網(wǎng)絡(luò)在皮膚病分割任務(wù)中的性能，分別對空洞卷積、Inception架構(gòu)、RCNN網(wǎng)絡(luò)以及CRF后處理進行實驗測試。圖5對實驗結(jié)果做了可視化處理;圖5a）代表原始圖像;圖5b）代表模型預(yù)測輸出的熱力圖（即概率圖）;圖5c）代表實際標(biāo)注;圖5d）代表在沒有采用CRF后處理情況下，改進的I?Unet網(wǎng)絡(luò)的預(yù)測結(jié)果，圖5e）代表在使用CRF后處理之后的預(yù)測結(jié)果。從圖5中可以看出，CRF作為圖像后處理，能一定程度上精細化圖像邊緣分割，使得圖像病灶區(qū)域的分割更為準(zhǔn)確。表2給出了各個改進方案下模型取得的效果，比較表中5個模型：U?Net1，U?Net2，U?Net3，U?Net4以及I?Unet，當(dāng)采用經(jīng)典U?Net網(wǎng)絡(luò)（U?Net1）進行預(yù)測時Jaccard系數(shù)僅為0.744，Dice系數(shù)為0.815。結(jié)合圖5可視化結(jié)果可知，在加入本文提出的各種改進方案之后，每一種改進方案，都在一定程度上提升了模型性能。其中I?Unet模型預(yù)測效果達到最佳，Jaccard系數(shù)為0.780，Dice系數(shù)為0.871。實驗結(jié)果表明，本文所提出的改進方案能有效提高皮膚病圖像的分割精度。

圖5 ?皮膚病分割可視化結(jié)果

表2 ?采用不同改進策略的U?Net網(wǎng)絡(luò)在皮膚病

2.3 ?同類研究對比

將本文改進的I?Unet網(wǎng)絡(luò)皮膚病圖像分割方法與同樣采用ISIC Archive官方數(shù)據(jù)的其他研究進行比較，比較結(jié)果如表3所示。文獻[7]中采用遷移學(xué)習(xí)的方法，利用VGG?16作為基礎(chǔ)網(wǎng)絡(luò)，通過上采樣形成U型網(wǎng)絡(luò)進行訓(xùn)練，實驗分割精度Jaccrad系數(shù)為0.754，Dice系數(shù)則有0.839。文獻[8]提出一種多尺度網(wǎng)絡(luò)特征融合的分割方法，實驗以ResNet殘差網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)，最終Jaccard系數(shù)為0.760，Dice系數(shù)為0.844。文獻[9]采用U?Net網(wǎng)絡(luò)進行模型訓(xùn)練及測試，最終Jaacrd系數(shù)為0.762，Dice系數(shù)為0.847。文獻[10]采用具有編碼?解碼架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional?Deconvolutional Neural Networks，CDNN）做皮膚病圖像分割，最終Jaccard系數(shù)精度為0.765，Dice系數(shù)為0.849。與其他研究相比，本文應(yīng)用改進的I?Unet網(wǎng)絡(luò)對皮膚病圖像進行分割，獲得了最佳的分割精度，說明了本文研究工作的有效性。

表3 ?同類研究對比

3 ?結(jié) ?語

本文提出一種基于改進的I?Unet網(wǎng)絡(luò)的皮膚病自動分割方法，利用網(wǎng)絡(luò)強大的編碼和解碼能力，通過擴大卷積感受野，采用多尺度特征融合技術(shù)，以及CRF圖像處理等一系列改進技術(shù)，本文模型得到了進一步優(yōu)化。實驗結(jié)果表明，該方法有效提高了皮膚病分割的準(zhǔn)確率，在醫(yī)療圖像分割領(lǐng)域有一定的參考意義，也為今后繼續(xù)該方面的深入研究奠定了基礎(chǔ)。

參考文獻

[1] KOROTKOV K， GARCIA R. Computerized analysis of pigmented skin lesions： a review [J]. Artificial intelligence in medicine， 2012， 56（2）： 69?90.

[2] SILVEIRA M， NASCIMENTO J C， MARQUES J S， et al. Comparison of segmentation methods for melanoma diagnosis in dermoscopy images [J]. IEEE journal of selected topics in signal processing， 2009， 3（1）： 35?45.

[3] SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（4）： 640?651.

[4] RONNEBERGER O， FISCHER P， BROX T. U?Net： convolutional networks for biomedical image segmentation [J/OL]. [2015?05?18]. https：//arxiv.org/pdf/1505.04597.pdf.

[5] CHEN L， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs [J]. IEEE transactions on pattern analysis & machine intelligence， 2018， 40（4）： 834?848.

[6] GUTMAN D， CODELLA N C F， CELEBI E， et al. Skin lesion analysis toward melanoma detection： a challenge at the international symposium on biomedical imaging （ISBI） [J/OL]. [2016?05?04]. https：//arxiv.org/pdf/1605.01397.pdf.

[7] MENEGOLA A， TAVARES J， FORNACIALI M， et al. RECOD titans at ISIC challenge 2017 [J/OL]. [2017?03?14]. https：//arxiv.org/pdf/1703.04819.pdf.

[8] BI L， KIM J， AHN E， et al. Automatic skin lesion analysis using large?scale dermoscopy images and deep residual networks [J/OL]. [2017?03?17]. https：//arxiv.org/ftp/arxiv/papers/1703/1703.04197.pdf.

[9] BERSETH M. ISIC 2017： skin lesion analysis towards melanoma detection [J/OL]. [2017?03?01]. https：//arxiv.org/ftp/arxiv/papers/1703/1703.00523.pdf.

[10] YUAN Y. Automatic skin lesion segmentation with fully convolutional?deconvolutional networks [J/OL]. [2017?09?28]. https：//arxiv.org/pdf/1703.05165.pdf.