基于多尺度編碼-解碼網(wǎng)絡(luò)的皮膚病變圖像分割

楊國(guó)亮，洪志陽(yáng)，許楠

江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院，江西贛州341000

前言

皮膚病變往往容易導(dǎo)致皮膚癌，而在眾多的皮膚癌病癥中，惡性黑色素瘤是致命的，占皮膚癌死亡率的75%［1］。據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全球每年至少發(fā)生約200萬(wàn)到300萬(wàn)例非黑色素瘤皮膚癌患者和132 000例惡性黑色素瘤皮膚癌患者。惡性黑色素瘤在全球的發(fā)病率持續(xù)上升，而對(duì)于早期的惡性黑色素瘤進(jìn)行切除，其治愈率高達(dá)95%［2］。但是，黑色素瘤早期階段的檢測(cè)是很困難的，因?yàn)樗鼈冾愃朴诔Ｒ?jiàn)的痣或者由于皮膚表面的毛發(fā)、皮膚的顏色、毛細(xì)血管、皮膚病變區(qū)域與未病變區(qū)域之間的對(duì)比度較低等因素而影響檢測(cè)。皮膚病變的臨床評(píng)估是通過(guò)眼睛檢查或臨床照相來(lái)確定可疑病變，然后通過(guò)皮膚鏡進(jìn)一步檢查。因此，皮膚病變圖像的計(jì)算分析在皮膚癌預(yù)防中非常重要［3］。研究人員通過(guò)開(kāi)發(fā)算法和計(jì)算機(jī)輔助診斷系統(tǒng)（ComputerAided Diagnosis,CAD）來(lái)幫助皮膚科醫(yī)生分割出皮膚病變區(qū)域用以診斷惡性黑色素瘤。

在過(guò)去的幾十年中，關(guān)于皮膚病變圖像分割的研究一直在持續(xù)進(jìn)行。傳統(tǒng)的圖像分割算法中，皮膚病變圖像分割的方法主要包括基于閾值［4-5］的區(qū)域增長(zhǎng)［6-7］分割方法以及基于活動(dòng)輪廓的方法［8-9］等。而近年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network,CNN）［10］的分割方法首先被應(yīng)用在圖像分割領(lǐng)域。但其存在著存儲(chǔ)方面開(kāi)銷過(guò)大、計(jì)算效率低下，丟失關(guān)鍵信息等問(wèn)題。因此，在2015 年Shelhamer等［11］提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks,FCN）用于圖像分割領(lǐng)域，取得了較好的分割效果。此后，研究者借助FCN網(wǎng)絡(luò)結(jié)構(gòu)的思想提出了不同類型的分割網(wǎng)絡(luò)算法并取得了令人滿意的分割結(jié)果。其中，在這眾多的分割網(wǎng)絡(luò)算法中主要有Badrinarayanan等［12］提出的SegNet網(wǎng)絡(luò)，Chen等［13］提出的DeepLab網(wǎng)絡(luò)，Ronneberger等［14］提出的U-Net網(wǎng)絡(luò)。

由于上述網(wǎng)絡(luò)的提出，皮膚病變圖像分割也迎來(lái)了新的發(fā)展并取得一系列的成果。本文也正是基于以上網(wǎng)絡(luò)的設(shè)計(jì)思路，在SegNet網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)思想基礎(chǔ)上提出一種基于多尺度編碼-解碼網(wǎng)絡(luò)（Multi-Scale Encoder-Decoder Network,MSEDN）的皮膚病變分割算法。該算法是通過(guò)在SegNet網(wǎng)絡(luò)編碼-解碼的結(jié)構(gòu)上增加了多尺度的輸入的形式，同時(shí)在編碼層中的池化層2（pool2）輸出一個(gè)二進(jìn)制雙線性插值的中間預(yù)測(cè)特征圖到解碼層的最后一層卷積塊進(jìn)行級(jí)聯(lián)輸入提高最終的分割精度。MSEDN網(wǎng)絡(luò)不僅繼承了SegNet網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練速度快、訓(xùn)練模型存儲(chǔ)小等特點(diǎn)，同時(shí)采用多尺度輸入的方式增強(qiáng)網(wǎng)絡(luò)對(duì)皮膚病變圖像信息的充分學(xué)習(xí)，輸出二進(jìn)制雙線性插值的中間預(yù)測(cè)特征圖［15］到解碼層的最后一層卷積塊進(jìn)行級(jí)聯(lián)輸入使得編碼層提取的特征圖信息能夠進(jìn)行充分解碼輸出。

1 SegNet網(wǎng)絡(luò)

SegNet網(wǎng)絡(luò)是Badrinarayanan等［12］提出來(lái)的，用以解決無(wú)人駕駛或智能機(jī)器人的圖像語(yǔ)義分割問(wèn)題的深度網(wǎng)絡(luò)。其主要由編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)兩部分組成，最后將解碼網(wǎng)絡(luò)的輸出特征圖輸入到一個(gè)Softmax分類器中得到最終的分割結(jié)果。

此外，SegNet網(wǎng)絡(luò)是一個(gè)對(duì)稱網(wǎng)絡(luò)，其編碼網(wǎng)絡(luò)結(jié)構(gòu)跟VGG16網(wǎng)絡(luò)［16］結(jié)構(gòu)一樣，包括卷積層（Convolution）、激活層（ReLU）、池化層（Pool）以及批量歸一化層（Batch Normalization,BN）5個(gè)卷積塊共13層組成。其解碼結(jié)構(gòu)也由5個(gè)上采樣塊共13層組成，包括上采樣層（Upsample）、Convolution層、ReLU層和BN層。編碼層與解碼層之間是一一對(duì)應(yīng)的關(guān)系，將圖像輸入到編碼網(wǎng)絡(luò)結(jié)構(gòu)的第1個(gè)卷積塊通過(guò)卷積激活池化操作提取圖像特征輸出到下一個(gè)卷積塊以及相應(yīng)的解碼網(wǎng)絡(luò)結(jié)構(gòu)的最后一部分的上采樣塊進(jìn)行圖像的復(fù)原。同理，編碼網(wǎng)絡(luò)剩余的4個(gè)卷積塊以及解碼網(wǎng)絡(luò)的剩余的4個(gè)上采樣塊也是一一對(duì)應(yīng)的。這樣通過(guò)編碼網(wǎng)絡(luò)不斷提取圖像的特征向下傳輸并傳輸?shù)脚c之對(duì)應(yīng)的解碼網(wǎng)絡(luò)，對(duì)圖像進(jìn)行解碼還原使得整個(gè)網(wǎng)絡(luò)構(gòu)成一個(gè)對(duì)稱網(wǎng)絡(luò)，最后通過(guò)SoftMax分類器實(shí)現(xiàn)圖像的分割。

SegNet網(wǎng)絡(luò)是在FCN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的思想上進(jìn)一步改進(jìn)得到的，F(xiàn)CN網(wǎng)絡(luò)相較于VGG16網(wǎng)絡(luò)其最大的特點(diǎn)是將兩層全連接層改為卷積層，并在其后進(jìn)行上采樣層，采用跳躍融合的結(jié)構(gòu)。而SegNet網(wǎng)絡(luò)則直接將VGG16網(wǎng)絡(luò)的兩層全連接層去掉，進(jìn)行上采樣以及編碼網(wǎng)絡(luò)與解碼網(wǎng)絡(luò)之間信息的直接編解碼。在SegNet網(wǎng)絡(luò)中，其解碼網(wǎng)絡(luò)是整個(gè)網(wǎng)絡(luò)最重要的部分。解碼網(wǎng)絡(luò)中的上采樣（Upsample）的指數(shù)（Indices）與編碼網(wǎng)絡(luò)中的指數(shù)一樣，這樣可以保留分割圖像中的高頻信息，并大大減少訓(xùn)練參數(shù)，提高圖像邊界的描述以及加快訓(xùn)練速度，降低內(nèi)存等。

然而，SegNet網(wǎng)絡(luò)的編碼網(wǎng)絡(luò)結(jié)構(gòu)在提取輸入圖像特征時(shí)，由于輸入尺度的原因可能導(dǎo)致圖像的部分關(guān)鍵特征信息未能提取。同時(shí)，SegNet網(wǎng)絡(luò)的編碼結(jié)構(gòu)和解碼結(jié)構(gòu)均有5個(gè)部分，網(wǎng)絡(luò)相對(duì)復(fù)雜易造成過(guò)擬合，在皮膚病變圖像分割結(jié)果上仍存在些許不足。因此，在此基礎(chǔ)上本文提出了一種基于MSEDN的皮膚病變圖像分割算法。

2 多尺度編碼-解碼網(wǎng)絡(luò)

MSEDN是在SegNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)思路的基礎(chǔ)上進(jìn)行修改而得到的網(wǎng)絡(luò),采用SegNet網(wǎng)絡(luò)的對(duì)稱網(wǎng)絡(luò)結(jié)構(gòu)的形式。其不僅繼承了SegNet網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練速度快、訓(xùn)練模型存儲(chǔ)小等特點(diǎn)，同時(shí)考慮到SegNet網(wǎng)絡(luò)結(jié)構(gòu)中編碼層結(jié)構(gòu)根據(jù)VGG16網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行編寫(xiě)的，每一層提取的輸入圖像的特征圖是有限的，不能夠較為完整的將整個(gè)輸入圖像的特征都提取到編碼層中進(jìn)行編碼，存在信息提取缺失。因此，對(duì)編碼層采用多尺度輸入的方式，增加編碼層對(duì)輸入圖像特征圖信息的提取，并將不同尺度輸入的編碼層進(jìn)行融合，通過(guò)最大池化層傳遞到相應(yīng)的解碼層以及下一編碼層中，使得網(wǎng)絡(luò)對(duì)圖像的學(xué)習(xí)進(jìn)一步加強(qiáng)。在編碼網(wǎng)絡(luò)的第2層卷積塊pool2輸出二進(jìn)制雙線性插值的中間預(yù)測(cè)特征圖到解碼層的最后一層卷積塊進(jìn)行級(jí)聯(lián)輸入使得編碼層提取的特征圖信息能夠充分解碼輸出，利于最后對(duì)皮膚病變圖像的分割，提高分割精度。

MSEDN網(wǎng)絡(luò)主體上也是一種編碼-解碼網(wǎng)絡(luò)，其中編碼網(wǎng)絡(luò)結(jié)構(gòu)主體部分跟VGG16網(wǎng)絡(luò)結(jié)構(gòu)相似，主要是由4個(gè)卷積塊組成［17］，包括Convolution層、ReLU層、BN層和Pool層。同時(shí)，借助inception-v2網(wǎng)絡(luò)［18］結(jié)構(gòu)形式使得編碼網(wǎng)絡(luò)為多尺度輸入結(jié)構(gòu)。而解碼層結(jié)構(gòu)相應(yīng)地由4個(gè)上采樣塊組成，包括Convolution層、ReLU層、Upsample層以及BN層，其仍與SegNet網(wǎng)絡(luò)的解碼網(wǎng)絡(luò)結(jié)構(gòu)一樣。最后，在解碼網(wǎng)絡(luò)后面加一個(gè)SoftMax分類器，實(shí)現(xiàn)整體網(wǎng)絡(luò)對(duì)皮膚病變圖像的分割，達(dá)到最佳的分割效果。MSEDN網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

圖1 MSEDN網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of multi-scale encoder-decoder network(MSEDN)

如圖1所示，MSEDN網(wǎng)絡(luò)的整體架構(gòu)以“退出（dropout）”層為中心將整個(gè)網(wǎng)絡(luò)分為兩部分，即編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)。在編碼網(wǎng)絡(luò)中每個(gè)卷積塊采用多尺度輸入的方式，皮膚病變圖像通過(guò)不同尺度的E1層進(jìn)行卷積、批量歸一化、激活操作，然后輸入到pool1層中。采用最大池化的方式提取關(guān)鍵信息傳輸?shù)较乱粋€(gè)卷積塊，同時(shí)將提取的關(guān)鍵信息相應(yīng)地輸入到解碼網(wǎng)絡(luò)中的上采樣塊中進(jìn)行解碼。當(dāng)信息傳輸?shù)絧ool4層后，通過(guò)dropout層防止信息過(guò)擬合，然后傳遞到解碼網(wǎng)絡(luò)的Upsample4層進(jìn)行上采樣并繼續(xù)逐層解碼傳輸。最后，通過(guò)SoftMax分類器得到最后的皮膚病變圖像的分割結(jié)果。此外，在pool2層輸出一個(gè)二進(jìn)制雙線性插值（Binary Bilinear Interpolation,BBI）的中間預(yù)測(cè)層到D1層，實(shí)現(xiàn)編碼網(wǎng)絡(luò)中間高頻信息進(jìn)一步傳輸?shù)浇獯a網(wǎng)絡(luò)進(jìn)行圖像還原，提高圖像邊界的描述及分割精度。

對(duì)于BBI來(lái)說(shuō)，其是將兩個(gè)不同變量的插值函數(shù)進(jìn)行線性插值擴(kuò)展，主要意思即在兩個(gè)方向分別進(jìn)行一次線性插值。假設(shè)圖像上相鄰的4個(gè)點(diǎn)分別為Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)、Q22=(x2,y2) ，求未知函數(shù)f在點(diǎn)p(x,y)的值。因此，先在x方向進(jìn)行線性插值，得：

其中，R1=(x,y1)，R2=(x,y2)，然后，在y方向進(jìn)行線性插值，得：

因此，綜上求得f(x,y)：

3 實(shí)驗(yàn)內(nèi)容

3.1 數(shù)據(jù)集與實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)采用的數(shù)據(jù)集是2016年國(guó)際生物醫(yī)學(xué)圖像之皮膚病變分析黑色素瘤檢測(cè)挑戰(zhàn)賽（ISBI 2016 Skin Lesion AnalysisTowardsMelanoma Detection Challenge）的公共數(shù)據(jù)集［19］，該數(shù)據(jù)集包括900張訓(xùn)練圖像，379張測(cè)試圖像，以及相應(yīng)的人工分割的真實(shí)標(biāo)簽圖像。由于數(shù)據(jù)集中的圖像大小，分辨率等不同導(dǎo)致其對(duì)MSEDN網(wǎng)絡(luò)的訓(xùn)練結(jié)果會(huì)產(chǎn)生一定的影響，因此將數(shù)據(jù)集圖像進(jìn)行預(yù)處理。通過(guò)對(duì)圖像進(jìn)行簡(jiǎn)單的尺寸變換、裁剪、翻轉(zhuǎn)等操作，使得數(shù)據(jù)集符合MSEDN網(wǎng)絡(luò)的訓(xùn)練要求。

本實(shí)驗(yàn)將數(shù)據(jù)集圖像分辨率統(tǒng)一設(shè)置為512×512，同時(shí)將人工分割的真實(shí)標(biāo)簽圖像進(jìn)行處理制作索引圖，便于整個(gè)網(wǎng)絡(luò)的訓(xùn)練及測(cè)試。同時(shí)，實(shí)驗(yàn)是基于深度學(xué)習(xí)框架-Caffe框架［20］實(shí)現(xiàn)的，所有的運(yùn)算都在一塊內(nèi)存為8 G的Nvidia GeForce GT750M的顯卡上來(lái)加速網(wǎng)絡(luò)訓(xùn)練。在MSEDN網(wǎng)絡(luò)訓(xùn)練過(guò)程中，采用隨機(jī)下降梯度法（Stochastic Gradient Descent,SGD）來(lái)更新網(wǎng)絡(luò)權(quán)值，網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為0.001，動(dòng)量（momentum）設(shè)置為0.9，權(quán)重衰減為0.000 5，最大迭代次數(shù)為4萬(wàn)次。在網(wǎng)絡(luò)的測(cè)試階段，將測(cè)試集中的圖像逐張輸入到訓(xùn)練好的MESEDN網(wǎng)絡(luò)模型中，通過(guò)網(wǎng)絡(luò)的前向傳播與反向求導(dǎo)的方式計(jì)算測(cè)試集圖像的分割結(jié)果，并輸出每張測(cè)試圖像的分割效果圖。

3.2 評(píng)估指標(biāo)

本文對(duì)皮膚病變圖像的分割性能的評(píng)估指標(biāo)由ISBI2016 Lesion AnalysisTowardsMelanoma Detection Challenge提供，作為皮膚病變圖像最終分割性能的評(píng)判標(biāo)準(zhǔn)。對(duì)于皮膚病變圖像分割性能的評(píng)估指標(biāo)主要包括：逐像素分割精度（Accuracy,Ac）、Dice相似度（Dic）、Jaccard指數(shù)（Jac）。其中，對(duì)于Accuracy、Dic以及定義如下：

其中，Ntp、Ntn、Nfp和Nfn分別表示真陽(yáng)性、真陰性、假陽(yáng)性和假陰性數(shù)，它們都是像素級(jí)上定義的。若病變像素的預(yù)測(cè)是病變，則認(rèn)為病變像素是真陽(yáng)性；否則被認(rèn)為是假陰性。如果非病變像素的預(yù)測(cè)是非病變的，則認(rèn)為是真陰性；否則判定為假陽(yáng)性。

3.3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)對(duì)ISBI 2016皮膚病變圖像數(shù)據(jù)集中的進(jìn)行訓(xùn)練和測(cè)試，來(lái)驗(yàn)證本文所提出的MSEDN分割網(wǎng)絡(luò)的有效性以及準(zhǔn)確性。

3.3.1 MSEDN網(wǎng)絡(luò)的選擇 MSEDN網(wǎng)絡(luò)在對(duì)皮膚病變圖像數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，其訓(xùn)練損失（loss）值變化圖如圖2所示。

圖2 MSEDN網(wǎng)絡(luò)訓(xùn)練loss變化圖Fig.2 Changes of MSEDN training loss

觀察圖2可以發(fā)現(xiàn)MSEDN網(wǎng)絡(luò)在訓(xùn)練過(guò)程中，隨著迭代次數(shù)不斷增加，loss值逐漸趨于穩(wěn)定。當(dāng)網(wǎng)絡(luò)訓(xùn)練迭代趨于最大迭代次數(shù)4萬(wàn)次，loss值基本穩(wěn)定，這時(shí)所得訓(xùn)練模型具有一定準(zhǔn)確性。此外，MSEDN網(wǎng)絡(luò)是在SegNet網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)思路的基礎(chǔ)上進(jìn)行修改而得到的網(wǎng)絡(luò)，而SegNet網(wǎng)絡(luò)又是在FCN網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上提出的。因此，通過(guò)對(duì)比MSEDN網(wǎng)絡(luò)與SegNet網(wǎng)絡(luò)、FCN網(wǎng)絡(luò)分別在皮膚病變圖像的分割結(jié)果，從而驗(yàn)證MSEDN網(wǎng)絡(luò)的有效性和準(zhǔn)確性。本文采用逐像素分割精度Ac、Dic、Jac 3項(xiàng)評(píng)估指標(biāo)來(lái)對(duì)最后的分割結(jié)果進(jìn)行評(píng)估。實(shí)驗(yàn)是在Caffe中進(jìn)行的，結(jié)果如表1所示。

表1 MSEDN網(wǎng)絡(luò)、SegNet網(wǎng)絡(luò)以及FCN網(wǎng)絡(luò)分割結(jié)果Tab.1 Segmentation results of MSEDN network,SegNet network,and FCN network

通過(guò)觀察表可知，MSEDN網(wǎng)絡(luò)在皮膚病變圖像的各項(xiàng)評(píng)估指標(biāo)上均明顯高于FCN網(wǎng)絡(luò)與SegNet網(wǎng)絡(luò)，表明MSEDN網(wǎng)絡(luò)對(duì)于皮膚病變圖像分割具有顯著效果，驗(yàn)證了MSEDN網(wǎng)絡(luò)的有效性及準(zhǔn)確性。

最后，根據(jù)MSEDN網(wǎng)絡(luò)在皮膚病變圖像分割的各項(xiàng)評(píng)估指標(biāo)上取得的顯著結(jié)果，得到其最終的分割效果圖，如圖3所示。

圖3 皮膚病變圖像分割效果圖Fig.3 Segmentation of skin lesion images

3.3.2 對(duì)比與評(píng)估 本文實(shí)驗(yàn)數(shù)據(jù)集采用是ISBI 2016皮膚病變圖像的公共數(shù)據(jù)集，在其官方網(wǎng)站提供部分參賽人員在皮膚病變圖像分割各項(xiàng)評(píng)估指標(biāo)結(jié)果。選取官網(wǎng)中前5名皮膚病變圖像分割各項(xiàng)評(píng)估結(jié)果與MSEDN網(wǎng)絡(luò)的分割結(jié)果進(jìn)行比較，結(jié)果如表2所示。

表2 ISBI 2016前5名皮膚病變圖像的分割結(jié)果與本文實(shí)驗(yàn)結(jié)果對(duì)比Tab.2 Comparison of segmentation results of skin lesion images in top 5 ISBI 2016 patients

MSEDN網(wǎng)絡(luò)各項(xiàng)評(píng)估指標(biāo)均顯著超過(guò)ISBI 2016前5名，無(wú)論是在逐像素分割精度、Dice相似度，還是Jaccard指數(shù)均有很大提升，表明該網(wǎng)絡(luò)在皮膚病變圖像分割上具有有效性和準(zhǔn)確性，所提算法優(yōu)勢(shì)顯著。

4 結(jié)論

針對(duì)皮膚病變圖像分割在醫(yī)療診斷中所起的作用，本文所提出的基于MSEDN的皮膚病變圖像分割算法有效地幫助醫(yī)生進(jìn)行診斷。通過(guò)采用多尺度的輸入方式對(duì)輸入圖像進(jìn)行編碼傳輸?shù)较鄳?yīng)的解碼網(wǎng)絡(luò)以及下一層網(wǎng)絡(luò)。同時(shí)，在pool2層輸出一個(gè)二進(jìn)制雙線性插值的中間預(yù)測(cè)層到解碼網(wǎng)絡(luò)的D1層，實(shí)現(xiàn)編碼網(wǎng)絡(luò)中間高頻信息進(jìn)一步傳輸?shù)浇獯a網(wǎng)絡(luò)進(jìn)行圖像還原，提高圖像邊界的描述及分割精度。MSEDN網(wǎng)絡(luò)在皮膚病變圖像分割上所取得的成果，表明該分割算法對(duì)比其他的分割算法具有一定的優(yōu)勢(shì)，驗(yàn)證了該網(wǎng)絡(luò)的有效性及準(zhǔn)確性。此外，算法的所有計(jì)算均是在同一塊GPU上實(shí)現(xiàn)的，雖然對(duì)最終的分割結(jié)果產(chǎn)生些許影響，但總體達(dá)到實(shí)驗(yàn)的最佳要求。最后，MSEDN網(wǎng)絡(luò)在皮膚病變圖像的成功，表明了其在其他醫(yī)學(xué)圖像分割存在著廣泛的應(yīng)用前景。