融合類激活映射和視野注意力的皮膚病變分割

張 宇，梁鳳梅，劉建霞

太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600

皮膚癌是常見癌癥之一。擁有高轉(zhuǎn)移率的黑色素瘤作為最致命的皮膚癌，發(fā)病率也最高，罹患該病的患者早期診斷治愈后存活率超95%，但晚期發(fā)現(xiàn)后5年存活率低于15%[1]。因此，皮膚病變的早期快速診斷與及時治療對患者和醫(yī)學(xué)研究都是至關(guān)重要的。

皮膚鏡檢查被廣泛用于皮膚病變的無創(chuàng)早期診斷。然而，僅根據(jù)皮膚科醫(yī)生經(jīng)驗(yàn)對黑色素瘤進(jìn)行檢測，主觀性相對較強(qiáng)且檢測過程耗時。近年來，隨著計(jì)算機(jī)視覺的發(fā)展，醫(yī)學(xué)圖像分割已成為計(jì)算機(jī)輔助診斷的重要組成部分，它可以幫助醫(yī)生快速準(zhǔn)確地診斷皮膚鏡圖像，提供醫(yī)學(xué)圖像的專業(yè)解釋[2]。但是，由于圖像對比度低、病變大小不一、顏色多變等因素的存在，導(dǎo)致病變邊界模糊，分割精度較低；此外，氣泡、頭發(fā)、標(biāo)尺標(biāo)記、血管和照明等不同程度的干擾對分割皮膚病變圖像造成了較大的困難。

皮膚病變圖像的計(jì)算機(jī)輔助分割方法分為無監(jiān)督法和有監(jiān)督法兩大類，傳統(tǒng)無監(jiān)督的分割方法主要有聚類、閾值分割[3]、區(qū)域生長法[4]和活動輪廓模型[5]等，但其獲得的病變分割結(jié)果精度有待提高。近年來，有監(jiān)督的深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）方法已廣泛應(yīng)用于各個領(lǐng)域，尤其在醫(yī)學(xué)圖像分割領(lǐng)域。端到端的編碼解碼結(jié)構(gòu)是醫(yī)學(xué)圖像分割中最常見的，基于CNN 的皮膚病變分割方法被廣泛提出。Bi等人[6]提出了一種分級分割方法，利用淺層全卷積網(wǎng)絡(luò)學(xué)習(xí)位置信息，通過深層網(wǎng)絡(luò)學(xué)習(xí)病變邊界等細(xì)節(jié)信息。Chen 等人[7]提出了基于DCNN 的圖像分割方法DeepLab，后又在其基礎(chǔ)上提出了DeepLabV2、Deep-LabV3 和DeepLab V3+[8]網(wǎng)絡(luò)，其中DeepLab V3+模型主要由提取多尺度信息的空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）模塊[9]和細(xì)化分割結(jié)果的解碼器結(jié)構(gòu)組成，該模型在圖像語義分割中表現(xiàn)出較好的效果。Abraham 等人[10]提出一種基于Tversky 指數(shù)的新?lián)p失函數(shù)，結(jié)合U-Net 提高了皮膚病變分割精度，證明了損失函數(shù)的重要性。此外，基于注意力的網(wǎng)絡(luò)已廣泛用于計(jì)算機(jī)視覺中的不同任務(wù)，Tong等人[11]結(jié)合三重注意力機(jī)制，提出一種皮膚病變分割的U-Net擴(kuò)展網(wǎng)絡(luò)，證明了注意力可改善網(wǎng)絡(luò)的語義分割結(jié)果。王雪等人[12]將多尺度特征模塊融入U-Net 中，捕獲病變中多尺度信息。Ashraf 等人[13]通過將三種深度學(xué)習(xí)模型相結(jié)合，對皮膚鏡圖像進(jìn)行復(fù)雜的前后處理，同時結(jié)合測試時增強(qiáng)和條件隨機(jī)場模塊提高了病變分割精度。盡管現(xiàn)有的深度學(xué)習(xí)方法在皮膚病變分割方面表現(xiàn)出一定的性能，但臨床中要實(shí)現(xiàn)皮膚病變自動分割診斷，仍需高精度的病變邊緣分割作為支撐，也就是說，皮膚病變精確分割仍是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

損失函數(shù)是深度學(xué)習(xí)模型中的重要組成部分，而在醫(yī)學(xué)圖像分割任務(wù)中最常采用交叉熵?fù)p失[14]或Dice 損失函數(shù)[15]，合理選擇或改進(jìn)損失函數(shù)可有效優(yōu)化網(wǎng)絡(luò)模型。在圖像分割任務(wù)中，將對分割結(jié)果優(yōu)化貢獻(xiàn)大的像素點(diǎn)（如邊界像素）稱為硬像素，其在訓(xùn)練過程中可產(chǎn)生較大誤差。與之對應(yīng)的容易被識別的像素點(diǎn)（如內(nèi)部病變和背景像素）稱為易像素[16-17]，其在訓(xùn)練中產(chǎn)生誤差較小。而在皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡，使網(wǎng)絡(luò)無法精確監(jiān)督病變邊界像素，導(dǎo)致分割結(jié)果邊界模糊。

針對以上難點(diǎn)，本文對DeepLab V3+模型做部分改進(jìn)以提高分割精度和邊緣檢測精度：（1）生成病變圖像類激活映射圖，輸入到網(wǎng)絡(luò)作先驗(yàn)信息；（2）利用視野注意力機(jī)制實(shí)現(xiàn)局部跨視野交互，提高網(wǎng)絡(luò)對多視野中有益視野信息的關(guān)注；（3）調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化分割模型；（4）改進(jìn)損失函數(shù)，提高對硬像素誤差的關(guān)注。

1 算法原理與網(wǎng)絡(luò)結(jié)構(gòu)

1.1 類激活映射

深度學(xué)習(xí)模型在不斷更新參數(shù)尋找最優(yōu)解的過程中，訓(xùn)練會陷入低學(xué)習(xí)率區(qū)而導(dǎo)致耗時。皮膚病變區(qū)域通常只占皮膚鏡圖像的一小部分，圖像中大部分是正常皮膚組織，且多帶干擾因素，如頭發(fā)、標(biāo)尺、血液、血管和氣泡等。為解決以上問題，本文將皮膚病變圖像的類激活映射[18]（classification activation mapping，CAM）作為先驗(yàn)信息，融合到網(wǎng)絡(luò)編碼器中。

類激活映射是一種可視化卷積神經(jīng)網(wǎng)絡(luò)工具，本文將關(guān)注的地方用暖色調(diào)顯示，弱關(guān)注的地方用冷色調(diào)顯示。改進(jìn)Xception[19]網(wǎng)絡(luò)來生成類激活映射圖，將其預(yù)先在ImageNet 數(shù)據(jù)集上訓(xùn)練完成，且不參與整個模型的訓(xùn)練過程。為避免在生成CAM過程中丟失小病變信息和病變細(xì)節(jié)信息，去除Xception網(wǎng)絡(luò)模型的最后一層池化層，如圖1 所示，在其后接全局平均池化層（global average pooling，GAP），GAP 首先把網(wǎng)絡(luò)生成的特征圖轉(zhuǎn)化為特征向量，不同的特征映射圖分別生成不同的特征向量值W1，W2，W3，…，Wn（如圖1），然后用這些特征向量值對相應(yīng)的特征映射圖進(jìn)行加權(quán)，最后用熱力圖將加權(quán)后的特征映射按通道歸一化生成類激活映射圖。

圖1 CAM結(jié)構(gòu)圖Fig.1 CAM structure

本文使用的DeepLab V3+模型中特征提取模塊也為Xception網(wǎng)絡(luò)，故生成的類激活映射與改進(jìn)后的空間金字塔生成的特征映射分辨率相同，因此可直接融合到網(wǎng)絡(luò)中作為先驗(yàn)信息。

1.2 視野注意力機(jī)制

視野（感受野）在深度學(xué)習(xí)網(wǎng)絡(luò)中扮演重要角色，它反映輸出特征圖在輸入圖像中映射的具體區(qū)域大小。小視野特征圖像包含局部信息，大視野特征圖則包含全局上下文信息，但同時也包含一些無用信息。本文對ASPP 模塊進(jìn)行改進(jìn)，原結(jié)構(gòu)將不同感受野處理后的特征圖直接拼接，忽略了它們之間的內(nèi)部相關(guān)性，無法自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值，導(dǎo)致網(wǎng)絡(luò)無法精確提取病變輪廓，使得邊緣分割不準(zhǔn)等問題產(chǎn)生。為解決以上問題，本文對高效通道注意力（efficient channel attention，ECA）模塊[20]進(jìn)行改進(jìn)并應(yīng)用于ASPP模塊上，設(shè)計(jì)出一種融合視野注意力的空洞空間金字塔池化模塊（receptive field attention ASPP，F(xiàn)-ASPP），具體結(jié)構(gòu)如圖2所示。

圖2 F-ASPP模塊結(jié)構(gòu)圖Fig.2 Structure diagram of F-ASPP module

實(shí)際中ECA模塊只采用全局平均池化來捕獲不同通道間關(guān)系，其主要強(qiáng)調(diào)整體背景信息，而全局最大池化（global max pooling，GMP）可反映細(xì)節(jié)特征紋理，在特征提取中同樣重要，故本文在進(jìn)行視野注意力權(quán)重計(jì)算時，將5 個不同視野生成的特征立方體塊Fn∈RH×W×C同時進(jìn)行全局平均池化和最大池化，計(jì)算過程如式（1）和（2）：

其中，H、W、C分別代表不同視野特征塊的長、寬和通道，F(xiàn)n(i,j,k)代表視野塊中的特定位置的像素值。

然后將不同視野塊生成的最大池化和平均池化特征圖分別拼接為Fmp∈R1×1×5和Fap∈R1×1×5（見圖2），并通過共享權(quán)值1D 卷積層轉(zhuǎn)化為特征向量，計(jì)算過程如式（3），這樣通過極少的參數(shù)，可獲得不同視野下特征圖之間的相關(guān)性；在網(wǎng)絡(luò)模型有監(jiān)督訓(xùn)練的過程中會不斷更新1D卷積層的參數(shù)，直至達(dá)到最優(yōu)解，進(jìn)而自適應(yīng)的調(diào)整不同視野特征圖所占權(quán)重。再將處理后的Fmp和Fap按視野求和并用Sigmoid函數(shù)激活生成最終的權(quán)重值，最后將其與對應(yīng)視野塊中的每個通道進(jìn)行加權(quán)，生成帶視野注意力的特征圖，實(shí)現(xiàn)局部跨視野交互，增加網(wǎng)絡(luò)對不同病變大小的感知度和對不同區(qū)域病變邊界的敏感性。

式中，Conv1D(·)為一維卷積層，其卷積核大小為3，σ(·)為激活函數(shù)。

同時，為減小模型參數(shù)量，將原ASPP模塊中的3×3空洞卷積換為3×1 和1×3 的級聯(lián)對稱空洞卷積，如圖2中左半部分所示，相比原結(jié)構(gòu)此部分減少了33%的計(jì)算量。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

圖3 為本文網(wǎng)絡(luò)結(jié)構(gòu)的整體框架圖，以DeepLab V3+為主網(wǎng)絡(luò)，主網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)選擇改進(jìn)Xception網(wǎng)絡(luò)，其生成的特征圖的分辨率與CAM分辨率大小相同，同時將其末尾的兩個深度可分離卷積替換為可分離的空洞卷積，這樣可補(bǔ)償去除下采樣層帶來的感受野減少的問題。再將CAM圖與F-ASPP提取后的特征圖連接，然后采用1×1 卷積層、批量歸一化層和ReLU 激活函數(shù)（圖3融合層）進(jìn)行信息融合，即融合先驗(yàn)信息與深層特征信息。最后將融合后的特征圖提供給網(wǎng)絡(luò)的解碼器，以實(shí)現(xiàn)更準(zhǔn)確的病變分割。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)整體框架圖Fig.3 Overall framework diagram of network structure

相對低分辨率表征來說，高分辨率表征包含更精細(xì)的空間信息，為充分保留高分辨率表征所特有的特征細(xì)節(jié)，本設(shè)計(jì)增加了兩個解碼器與編碼器之間的跨層融合，分別加在1/2 下采樣和1/8 下采樣之后，見圖3 中點(diǎn)畫線。最后通過二倍上采樣恢復(fù)原始圖像分辨率和空間細(xì)節(jié)信息完成解碼過程，輸出最終分割結(jié)果，以上進(jìn)行的拼接操作中的特征圖分辨率均相同。

1.4 混合損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練中，由于皮膚病變圖像中硬像素和易像素之間存在嚴(yán)重的不平衡，若僅使用Dice損失函數(shù)雖然對類不平衡數(shù)據(jù)有很強(qiáng)的兼容性，但它對硬像素和易像素的關(guān)注度相同，無法精確監(jiān)督病變邊界像素，最終會導(dǎo)致分割結(jié)果邊界模糊，為進(jìn)一步優(yōu)化網(wǎng)絡(luò)，本文采用改進(jìn)后的混合損失函數(shù)，具體如式（4）：

其中，N表示像素數(shù)，pi表示第i個像素屬于病變的預(yù)測概率，yi表示第i個像素的真實(shí)標(biāo)簽，ε表示平滑因子；Lrank為排序損失函數(shù)，λ為Lrank損失函數(shù)的權(quán)重值。

由于硬像素在訓(xùn)練過程中易產(chǎn)生較大的誤差，合理處理后可為監(jiān)督學(xué)習(xí)過程提供更多信息，而易像素在訓(xùn)練過程中產(chǎn)生誤差較小，故在損失函數(shù)中融合排序損失來對硬像素和易像素增加額外的罰分約束。排序損失根據(jù)每批前向傳播后的誤差，分別對病變（正例）和背景（反例）的像素進(jìn)行排序，根據(jù)排序動態(tài)選擇病變和背景中誤差最大的前k個像素作為本區(qū)域硬像素，考慮每一對病變和背景像素點(diǎn)，如果病變像素的預(yù)測值小于背景，則記一個“罰分”，若相等，則記0.5個“罰分”，計(jì)算過程如式（6）。這樣可制約硬像素帶來的更多誤差，進(jìn)而精確監(jiān)督病變邊界，提升網(wǎng)絡(luò)性能。

其中，Ⅱ(*)為指示函數(shù)，在是否符合*中條件時分別等于1和0，f(H+i)和f(Hj)是輸入圖像的第i個病變硬像素和第j個背景硬像素的預(yù)測值。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集和預(yù)處理

本文主要使用2017 年國際皮膚成像合作組織（ISIC-2017）制作的皮膚病變分割挑戰(zhàn)數(shù)據(jù)集[21]，它分別包含2 000 組訓(xùn)練、150 組驗(yàn)證和600 組測試集圖像，每組數(shù)據(jù)都包含原圖像、專家手動標(biāo)注分割金標(biāo)準(zhǔn)（二值圖像）等，且數(shù)據(jù)集中的圖像均為分辨率在450×600 像素以上不等的RGB彩色圖像。

為提高模型訓(xùn)練性能和降低計(jì)算成本，需對訓(xùn)練集中原圖片擴(kuò)充和縮放，故在訓(xùn)練前對圖像作如下增強(qiáng)操作：從每張訓(xùn)練圖像的中心以原始圖像大小的50%到100%的比例隨機(jī)裁剪，并在垂直和水平方向上隨機(jī)旋轉(zhuǎn)，在圖像分辨率的[0.01，0.1]范圍內(nèi)進(jìn)行仿射平移，從0°到10°內(nèi)隨機(jī)旋轉(zhuǎn)等，最后將增強(qiáng)后的圖像調(diào)整為224×224進(jìn)行訓(xùn)練，且將原圖像對應(yīng)的二值標(biāo)簽作相同操作，這樣將訓(xùn)練集擴(kuò)充到40 000組圖像。

同時，選擇由IEEE EMBS 國際年會組織提供的PH2[22]數(shù)據(jù)集來驗(yàn)證本文所提算法的泛化性，其包含200組皮膚鏡圖像，且每組圖像均包含原圖像和經(jīng)專家標(biāo)注的診斷金標(biāo)準(zhǔn)（二值圖像）等。此數(shù)據(jù)集僅用于測試，不參與模型的訓(xùn)練過程。

2.1.2 性能評價指標(biāo)

本文使用Jaccard 指數(shù)（JA）和準(zhǔn)確率（Acc）作為模型優(yōu)劣的評價指標(biāo)，JA指數(shù)表示預(yù)測結(jié)果與真實(shí)結(jié)果的相似性與差異性，JA 值越大，相似性越高，說明預(yù)測結(jié)果在細(xì)節(jié)（邊緣）等方面與真實(shí)結(jié)果更相近；Acc表示模型判斷病變與非病變區(qū)域的能力。同時采用Dice系數(shù)、靈敏度Se和特異性Sp作為補(bǔ)充評價指標(biāo)，其定義如下：

上式均依據(jù)混淆矩陣計(jì)算得到，其中TP為真陽性，TP為假陽性，F(xiàn)N為假陰性，TN為真陰性。

2.2 實(shí)驗(yàn)參數(shù)配置

本實(shí)驗(yàn)所用設(shè)備CPU型號為AMD Ryzen74800H，顯卡為NVIDIA GTX1660Ti，運(yùn)行內(nèi)存為16 GB，深度學(xué)習(xí)框架為pytorch-1.7.1。

訓(xùn)練細(xì)節(jié)：改進(jìn)Xception網(wǎng)絡(luò)預(yù)先在ImageNet數(shù)據(jù)集[23]上訓(xùn)練好參數(shù)，而主網(wǎng)絡(luò)中的Xception在MSCOCO[24]上進(jìn)行預(yù)訓(xùn)練，其余需要訓(xùn)練的卷積核均采用HE 初始化法初始化參數(shù)。訓(xùn)練階段優(yōu)化算法為Adam，一次訓(xùn)練所選取的樣本數(shù)為8，epoch 為150，初始學(xué)習(xí)率設(shè)置為0.001，在連續(xù)5次迭代后損失函數(shù)都沒有變化則學(xué)習(xí)率衰減為原來的一半。改進(jìn)后的損失函數(shù)的超參數(shù)設(shè)置為λ=0.1，k=40。

2.3 對比實(shí)驗(yàn)結(jié)果及分析

2.3.1 與基礎(chǔ)網(wǎng)絡(luò)比較

為檢驗(yàn)本文算法的有效性，將該算法與U-Net、SegNet 和DeepLab V3+這三種基于語義分割的基礎(chǔ)網(wǎng)絡(luò)在ISIC-2017和PH2數(shù)據(jù)集上分別進(jìn)行對比實(shí)驗(yàn)。此三種算法均采用端到端的編碼解碼器結(jié)構(gòu)，屬于具有代表性的基礎(chǔ)分割網(wǎng)絡(luò)。對比結(jié)果如表1所示，表中最后一行為本文算法分別在兩個不同數(shù)據(jù)集上各指標(biāo)的表現(xiàn)結(jié)果，與其他三種基礎(chǔ)網(wǎng)絡(luò)相比，本文算法在兩個數(shù)據(jù)集上各指標(biāo)均遠(yuǎn)高于基礎(chǔ)網(wǎng)絡(luò)，表明此算法成功提高了皮膚病變分割精度，綜合分割性能較基礎(chǔ)網(wǎng)絡(luò)更優(yōu)，且有較好的泛化性。

表1 在不同數(shù)據(jù)集上與基礎(chǔ)網(wǎng)絡(luò)比較結(jié)果Table 1 Compare results with basic network on different datasets

為更直觀反映本文算法的有效性，選擇基礎(chǔ)網(wǎng)絡(luò)（U-Net、SegNet 和DeepLab V3+）和本文算法在ISIC-2017數(shù)據(jù)集上的部分典型分割結(jié)果圖進(jìn)行比較，結(jié)果如圖4所示，白色為病變區(qū)域，黑色為背景。其中（a）為輸入圖像，（b）為真實(shí)標(biāo)簽，（c）～（e）分別為各算法的結(jié)果圖，（f）為本文算法的結(jié)果圖，圖中紅色矩形框所標(biāo)注部分為較其他算法分割效果顯著提高的部分（下同）?？v觀圖4 可知，與其他算法相比，本文算法對較小病變或特大病變的分割敏感性更強(qiáng)，對邊緣輪廓感知更準(zhǔn)確（如病例1和病例2）；針對病變與膚色接近（病例3）和有干擾因素的病變（病例4），本文算法可確保病變區(qū)域分割準(zhǔn)確；針對邊緣模糊雜亂無章的病變情況（病例5），本文算法比其他算法分割結(jié)果更精確。通過對比，進(jìn)一步證明本文算法在皮膚病變分割領(lǐng)域的優(yōu)越性。

圖4 不同算法分割結(jié)果圖對比Fig.4 Comparison of segmentation results of different algorithms

2.3.2 與其他先進(jìn)方法比較

為進(jìn)一步驗(yàn)證算法的有效性，將本文算法與近幾年發(fā)布的先進(jìn)皮膚病變分割網(wǎng)絡(luò)分別在ISIC-2017和PH2數(shù)據(jù)集上進(jìn)行對比，對比算法的評價指標(biāo)均來自各算法的原文獻(xiàn)。對比結(jié)果如表2 所示，結(jié)果表明，在ISIC-2017數(shù)據(jù)集上，本文算法的JA、Acc和Se參數(shù)分別高于目前最先進(jìn)的Ashraf 等人[13]提出的融合前后處理的病變分割算法2.1、8.4和5.6個百分點(diǎn)，而由于Ashraf等人算法犧牲Acc精度來提升Dice系數(shù)，故本文算法的Dice系數(shù)略低于此算法，但在可接受范圍內(nèi)。且本文算法的JA參數(shù)和Acc在所對比的近幾年先進(jìn)算法中效果最佳，分別達(dá)到0.826 和0.952，屬于目前最優(yōu)水平。同時，在PH2 數(shù)據(jù)集上對比也有相同表現(xiàn)，本文算法的JA、Dice系數(shù)和Acc 指標(biāo)均高于近幾年先進(jìn)算法，分別達(dá)到了0.892、0.942和0.965，為目前最優(yōu)水平，表明該算法有一定的泛化能力。

表2 在ISIC-2017和PH2數(shù)據(jù)集上與先進(jìn)算法比較結(jié)果Table 2 Comparison results with basic networks and advanced algorithms on ISIC-2017and PH2 datasets

同時，為可視化所提算法與其他先進(jìn)算法的對比結(jié)果，在ISIC-2017數(shù)據(jù)集上，選擇所對比方法中最近兩年的先進(jìn)算法（Tong等人[11]和Ashraf等人[13]），將其與本文算法的分割結(jié)果圖進(jìn)行對比。結(jié)果圖分別如圖5 和圖6，其中（a）為輸入圖像，（b）為真實(shí)標(biāo)簽，（c）為所對比算法的分割結(jié)果圖，此結(jié)果圖均來自各算法的原文獻(xiàn)，（d）列為本文算法結(jié)果圖?？v觀對比結(jié)果圖可以看出，在準(zhǔn)確分割病變情況下，本文算法對病變的邊緣輪廓分割更精確；對于分割有誤的病例（如圖6第1個病例），相比其他算法也呈現(xiàn)出較好的分割效果，充分體現(xiàn)了本文算法的先進(jìn)性。

圖5 與文獻(xiàn)[11]所提算法分割結(jié)果圖對比Fig.5 Comparison of segmentation results with reference[11]

圖6 與文獻(xiàn)[13]所提算法分割結(jié)果圖對比Fig.6 Comparison of segmentation results with reference[13]

綜合表1、表2和圖4～圖6可以發(fā)現(xiàn)，本文算法在皮膚病變分割領(lǐng)域的整體性能優(yōu)于其他先進(jìn)算法，尤其是JA和Acc指標(biāo)在兩個數(shù)據(jù)集上提升均最為明顯，表明該算法對皮膚病變分割的預(yù)測結(jié)果與真實(shí)結(jié)果更接近，邊緣分割更精確，在目前皮膚病變領(lǐng)域綜合分割性能具有相對優(yōu)勢。

2.4 分解實(shí)驗(yàn)及分析

2.4.1 CAM可視化實(shí)驗(yàn)

為更直觀反映所提CAM 對分割網(wǎng)絡(luò)的有效性，選取部分原圖像的CAM可視化結(jié)果與分割金標(biāo)準(zhǔn)進(jìn)行對比，結(jié)果如圖7所示，為方便對比，將圖像分辨率做微小調(diào)整。

圖7 CAM可視化對比結(jié)果圖Fig.7 CAM visualization comparison results

從對比結(jié)果圖可知，針對較?。ǖ谝涣校⑤^大（第二列）、病變與膚色接近（第三列）和有干擾（第四列）的不同病變情況，與二值標(biāo)簽相比，所提模塊均可生成較準(zhǔn)確的病變激活映射圖，在網(wǎng)絡(luò)訓(xùn)練過程中可限制弱關(guān)注區(qū)域，為網(wǎng)絡(luò)尋找全局最優(yōu)解提供先驗(yàn)指導(dǎo)，獲得病變的準(zhǔn)確位置信息，因此算法融合CAM有益于分割精度提升。

2.4.2 視野權(quán)重計(jì)算方法對比

為驗(yàn)證所提視野注意力機(jī)制模塊中，同時使用全局平均池化（GAP）和全局最大池化（GMP）計(jì)算特征權(quán)重的有效性，在ISIC-2017數(shù)據(jù)集上作了3組對比實(shí)驗(yàn)，即僅用GAP、僅用GMP 和兩者兼用對不同視野特征立體塊進(jìn)行特征權(quán)重計(jì)算，并選擇JA和Acc作為評價指標(biāo)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同方法計(jì)算視野權(quán)重因子對比Table 3 Comparison of visual field weighting factors calculated by different methods

從表3 中結(jié)果可知，同時使用GAP 和GMP 計(jì)算視野塊特征權(quán)重時，JA 參數(shù)和Acc 最高，病變分割效果最佳，故本文算法在視野注意力機(jī)制中同時使用GAP 和GMP計(jì)算特征權(quán)重最有效。

2.4.3 消融實(shí)驗(yàn)及分析

此部分將原DeepLab V3+網(wǎng)絡(luò)應(yīng)用改進(jìn)Xception網(wǎng)絡(luò)并增加兩條編碼解碼器間跳躍連接，損失函數(shù)僅采用Dice損失，作為基準(zhǔn)網(wǎng)絡(luò)（模型1），在ISIC-2017數(shù)據(jù)集上做了5組消融實(shí)驗(yàn)。其中模型2是在模型1的基礎(chǔ)上增加CAM模塊，模型3在模型1的基礎(chǔ)上增加F-ASPP模塊，模型4在模型1基礎(chǔ)上增加排序損失，模型2、3和4分別為了驗(yàn)證本文提出的類激活映射作先驗(yàn)信息、視野注意力機(jī)制和混合損失函數(shù)對模型分割性能提升的有效性及每個模塊對最終結(jié)果的具體影響，模型5為本文最終使用的模型。消融實(shí)驗(yàn)結(jié)果如表4所示。

表4 ISIC-2017數(shù)據(jù)集上消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results on ISIC-2017 dataset

對比結(jié)果表明，相比基準(zhǔn)網(wǎng)絡(luò)模型1，模型2 的Acc提高了0.011，JA參數(shù)也有所提高，表明該模型的整體像素分割性能提升，結(jié)合2.4.1小節(jié)對比結(jié)果，進(jìn)一步證明使用CAM作網(wǎng)絡(luò)先驗(yàn)信息可為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除病變圖像的部分干擾；模型3 比基準(zhǔn)模型1 的JA 參數(shù)提高了0.023，表明模型對病變分割的預(yù)測結(jié)果與真實(shí)結(jié)果更貼合，重合度更高，結(jié)合圖4 中對較小或較大的病變分割結(jié)果對比圖，進(jìn)一步證明了融合F-ASPP模塊后的模型可自適應(yīng)地調(diào)整不同視野提取的特征圖，增加網(wǎng)絡(luò)對不同病變大小的感知度和敏感性；而模型4相比基準(zhǔn)各參數(shù)均有小幅提升，證明了所提損失函數(shù)更關(guān)注硬像素的誤差。在集成這幾個模塊的最終模型5中，JA參數(shù)和準(zhǔn)確率最高，其JA參數(shù)比基準(zhǔn)網(wǎng)絡(luò)提高了4.0個百分點(diǎn)，準(zhǔn)確率比基準(zhǔn)網(wǎng)絡(luò)提高2.1個百分點(diǎn)，表明所提模型在不同模塊作用下病變分割預(yù)測結(jié)果與標(biāo)準(zhǔn)更相似，綜合分割性能更好，進(jìn)一步證明本文所提的模塊針對皮膚病分割均是有效的。

2.5 損失函數(shù)超參數(shù)設(shè)置

所提損失函數(shù)中有兩個重要的超參數(shù)，分別為選定硬像素個數(shù)k和Lrank損失的權(quán)重因子λ，為研究這兩參數(shù)對分割結(jié)果的影響，本文將k分別設(shè)置為10、30、40、50 和100，λ分別設(shè)置為0.05、0.1、0.2 和0.3 做了大量實(shí)驗(yàn)，并以JA參數(shù)作為評價指標(biāo)，結(jié)果如圖8所示，實(shí)驗(yàn)結(jié)果表明，當(dāng)λ=0.1，k=40 時，JA參數(shù)比其他各組實(shí)驗(yàn)都高，達(dá)到0.826，分割效果最好，故本設(shè)計(jì)中損失函數(shù)的超參數(shù)選取該組值。

圖8 損失函數(shù)超參數(shù)設(shè)置結(jié)果圖Fig.8 Loss function superparameter setting result diagram

3 結(jié)束語

本文針對復(fù)雜多變、形態(tài)不一的皮膚病變，提出一種基于DeepLab V3+網(wǎng)絡(luò)改進(jìn)的皮膚病變分割模型。該改進(jìn)模型首先生成類激活映射圖，作為先驗(yàn)信息融合到網(wǎng)絡(luò)編碼階段，為網(wǎng)絡(luò)提供準(zhǔn)確的定位信息并消除毛發(fā)等干擾對分割造成的影響；結(jié)合高效通道注意力（ECA）模塊對ASPP 模塊進(jìn)行改進(jìn)，提出一種融合視野注意力的空洞空間金字塔模塊（F-ASPP），自適應(yīng)地調(diào)整各視野間的特征響應(yīng)值，實(shí)現(xiàn)局部跨視野交互；最后在損失函數(shù)中增加排序損失，優(yōu)化分割網(wǎng)絡(luò)。通過在ISIC-2017 和PH2 數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文所提網(wǎng)絡(luò)對不同尺度病變和病變邊緣的分割敏感度更高，綜合分割性能最優(yōu)，為臨床上快速準(zhǔn)確診斷皮膚病變和后續(xù)治療提供了有力依據(jù)。

在未來的工作中，除了考慮如何將所提模型的分割結(jié)果合理應(yīng)用于皮膚病變自動分類中，提高分類準(zhǔn)確度，同時應(yīng)適當(dāng)對網(wǎng)絡(luò)進(jìn)行剪枝，選擇合適的嵌入式設(shè)備與皮膚鏡設(shè)備連接，制作可在臨床實(shí)際中應(yīng)用的皮膚病變自動分割儀器，提高醫(yī)生診斷病變和后續(xù)治療的效率。