基于高分辨率復(fù)合網(wǎng)絡(luò)的皮膚病變分割

梁禮明，周瓏頌，馮 駿，盛校棋，吳 健*

（1.江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000；2.華南理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東 廣州 510006）

1 引 言

皮膚癌是人類最常見的惡性腫瘤，其中黑色素瘤是最致命的皮膚病變之一。早期黑色素瘤可以通過簡(jiǎn)單的外科手術(shù)進(jìn)行切除，治愈率高達(dá)95%。然而，晚期黑色素瘤致死率超過85%，可見皮膚病的早期診斷和治療至關(guān)重要［1］?，F(xiàn)在，皮膚病專家主要依靠肉眼觀察和皮膚鏡診斷來確定皮膚病變區(qū)域，但是受到毛發(fā)、血管和傷疤等外在干擾因素影響，即使是擁有豐富臨床經(jīng)驗(yàn)的醫(yī)生也難以準(zhǔn)確分割出皮膚病變區(qū)域。因此，迫切需要能夠自動(dòng)識(shí)別和自動(dòng)分割皮膚病變區(qū)域的方法，以協(xié)助醫(yī)療人員診斷皮膚疾?。?］。

為解決皮膚病變圖像難以分割的問題，業(yè)界提出傳統(tǒng)和深度學(xué)習(xí)方法［3］，傳統(tǒng)學(xué)習(xí)主要關(guān)注皮膚病變?cè)夹畔?，以活?dòng)輪廓模型圖像分割、閾值圖像分割和支持向量機(jī)為主［4-6］。深度學(xué)習(xí)需要先驗(yàn)標(biāo)記信息，利用人工標(biāo)注圖像對(duì)分類器進(jìn)行特征訓(xùn)練，Ronneberger等［7］基于全卷積網(wǎng)絡(luò)提出U-Net概念應(yīng)用于醫(yī)學(xué)圖像分割，U-Net解碼層能夠重用相應(yīng)編碼層特征圖，更好地融合高低級(jí)語義特征。Sun等［8］將高分辨率網(wǎng)絡(luò)（High-Resolution Network，HRNet）用 于 語 義 分 割，HRNet通過并行卷積和重復(fù)進(jìn)行多尺度融合來保持高分辨率表示。Radman等［9］提出一種深度殘差網(wǎng)絡(luò)（Deep Residual Network，DResNet），利用殘差網(wǎng)絡(luò)來學(xué)習(xí)圖像塊與標(biāo)簽塊間的非線性映射，并平均相鄰圖像塊的重疊區(qū)域，以保證合成結(jié)果中高像素的一致性。Baghersalimi等［10］提出一種由密集模塊和跳躍連接構(gòu)成的高效全卷積神經(jīng)網(wǎng)絡(luò)，其中密集模塊可以重用前層信息，并輸出給后層，確保皮膚病變信息最大化傳遞。Wei等［11］利 用 分 割 器 和 判 別 器 組 成 密 集U型 生成對(duì)抗網(wǎng)絡(luò)，分割器中引入密集模塊，確保在密集尺度范圍內(nèi)皮膚病變信息最大化傳遞，判別器中對(duì)抗性特征匹配損失可以穩(wěn)定模型訓(xùn)練，引導(dǎo)注意力模塊專注于多尺度病變區(qū)域。隨著卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展，研究人員試圖組合多種網(wǎng)絡(luò)來提升皮膚病變圖像的分割精度，Sarker等［12］提出一種基于擴(kuò)張殘差和金字塔池化的皮膚病變分割網(wǎng)絡(luò)，網(wǎng)絡(luò)中編碼器依賴擴(kuò)張殘差網(wǎng)絡(luò)（Dilated Residual Networks，DRN）提取病變特征，解碼器依賴金字塔池化網(wǎng)絡(luò)（Pyramid Pool?ing Networks，PPN）重構(gòu)皮膚圖像，結(jié)合DRN和PPN可以從皮膚病變圖像中提取更多特征，提高網(wǎng)絡(luò) 分割性 能。孟等［13］結(jié)合U-Net和HRNet構(gòu)建一種復(fù)合網(wǎng)絡(luò)，保持高分辨率表征的HRNet與對(duì)稱結(jié)構(gòu)的U-Net組合，使得網(wǎng)絡(luò)能夠充分捕捉淺層信息，提高圖像分割準(zhǔn)確率。

雖然上述方法在分割領(lǐng)域取得了較好的研究成果，但在分割皮膚病變圖像時(shí)仍存在缺陷，文獻(xiàn)［7］和文獻(xiàn)［8］中網(wǎng)絡(luò)分割皮膚病變圖像精度較低，易發(fā)生病變區(qū)域誤分割。文獻(xiàn)［10］和文獻(xiàn)［11］中密集模塊能夠減輕梯度消失，但隨著網(wǎng)絡(luò)層數(shù)的遞增，特征圖維度隨之增加，帶來大量浮點(diǎn)運(yùn)算量和參數(shù)，影響模型實(shí)際應(yīng)用。文獻(xiàn)［12］中擴(kuò)張殘差能夠增大卷積感受野，但是過大感受野容易導(dǎo)致網(wǎng)格效應(yīng)，造成病變區(qū)域局部特征信息缺失。文獻(xiàn)［13］中U-Net和HRNet只是簡(jiǎn)單疊加，解碼器部分的淺層信息與深層信息不能有效融合。

針對(duì)上述存在問題，本文提出一種高分辨率復(fù)合網(wǎng)絡(luò)（High-Resolution Composite Network，HCNet）應(yīng)用于皮膚病變圖像分割，HCNet由高分辨率網(wǎng)絡(luò)和U型網(wǎng)絡(luò)復(fù)合而成。首先預(yù)處理操作細(xì)化皮膚病變圖像，增強(qiáng)病變皮膚與正常皮膚對(duì)比度，降低異物遮擋對(duì)病變區(qū)域的干擾。其次用改進(jìn)的條件參數(shù)卷積組成多尺度稠密模塊發(fā)掘病變區(qū)域的多尺度特征，增強(qiáng)模型對(duì)復(fù)雜目標(biāo)的識(shí)別能力，條件參數(shù)卷積以函數(shù)運(yùn)算卷積核的方式完成普通卷積工作，提高模型性能的同時(shí)保持高效推理。然后用混合池化模塊級(jí)聯(lián)編解碼部分，聚合皮膚病變圖像中長(zhǎng)距離依賴關(guān)系和短距離依賴關(guān)系，提取分布緊密的語義和帶狀結(jié)構(gòu)語義，級(jí)聯(lián)方式可以減少特征缺失和增強(qiáng)病變像素傳遞。最后引入Focal Tversky Loss函數(shù)來抑制正負(fù)樣本不均問題，弱化因病變區(qū)域像素占整體像素較少而引起的誤分割。

2 網(wǎng)絡(luò)構(gòu)造

2.1 網(wǎng)絡(luò)設(shè)計(jì)

傳統(tǒng)U型網(wǎng)絡(luò)（U-Net）中編碼器和解碼器對(duì)稱相連，編碼器部分捕獲皮膚病變圖像局域特征，獲取目標(biāo)空間信息與位置信息，解碼器部分對(duì)局域像素進(jìn)行預(yù)測(cè)，將目標(biāo)對(duì)應(yīng)到相應(yīng)像素點(diǎn)中，重構(gòu)皮膚病變圖像。但是編碼器存在逐層壓縮特征圖分辨率的情況，不能保證高分辨率圖像在網(wǎng)絡(luò)中全局傳遞，高分辨率網(wǎng)絡(luò)可將高分辨率圖像融進(jìn)下層編碼器中，實(shí)現(xiàn)不同分辨率圖像的聚合，有利于多尺度特征的獲取，優(yōu)化圖像淺層信息。U-Net對(duì)稱結(jié)構(gòu)能夠提高皮膚病變像素的分類能力，HRNet可以保持皮膚病變圖像高分辨率傳遞。因此本文用HRNet替代U型網(wǎng)絡(luò)原編解碼結(jié)構(gòu)組成復(fù)合性網(wǎng)絡(luò)，實(shí)現(xiàn)高分辨率圖像全網(wǎng)絡(luò)傳遞，進(jìn)一步增強(qiáng)像素類別預(yù)測(cè)的準(zhǔn)確性，網(wǎng)絡(luò)框架設(shè)計(jì)如圖1所示。

圖1 網(wǎng)絡(luò)框架設(shè)計(jì)圖Fig.1 Network frame design chart

2.2 條件參數(shù)卷積

深度卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)影像分割任務(wù)中取得較好的性能，網(wǎng)絡(luò)性能的改進(jìn)主要來自增加模型容量和數(shù)據(jù)集預(yù)處理，增加模型容量會(huì)帶來大量浮點(diǎn)運(yùn)算和參數(shù)，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間過長(zhǎng)和影響實(shí)際應(yīng)用。通常添加卷積層或增加卷積大小來提高模型容量，文獻(xiàn)［14］提出條件參數(shù)卷積（Conditionally Parameterized Convolutions，Cond?Conv），以函數(shù)運(yùn)算卷積核的形式來挑戰(zhàn)普通卷積（Convolution，Conv）工作方式，達(dá)到優(yōu)化模型效果，條件參數(shù)卷積工作如圖2（a）所示，普通卷積工作如圖2（b）所示。條件參數(shù)卷積一次輸入可以組合多個(gè)卷積核參數(shù)，定義如公式（1），而普通卷積組合多個(gè)卷積核參數(shù)則需要多次輸入，定義如公式（2）。條件參數(shù)卷積獨(dú)特的運(yùn)算形式使其可以在數(shù)學(xué)上等同于普通卷積層，但只需一次卷積運(yùn)算。因此在條件參數(shù)卷積中添加卷積核參數(shù)，比增加卷積數(shù)量更加合理，既可以提高模型容量和性能，又可以保持高效推理。

圖2 改進(jìn)的條件參數(shù)卷積Fig.2 Improved conditional parameter convolutions

其中：?代表卷積運(yùn)算，σ代表激活函數(shù)，αi代表第i個(gè)梯度下降法學(xué)習(xí)的權(quán)重系數(shù)，Wi代表第i個(gè)卷積核參數(shù)，i∈n，n表示卷積核參數(shù)數(shù)量，x代表輸入數(shù)據(jù)。

輸入數(shù)據(jù)由條件參數(shù)卷積、批歸一化（Batch Normalization，BN）層和ReLU激活函數(shù)處理，但神經(jīng)網(wǎng)絡(luò)進(jìn)行小批量樣本訓(xùn)練時(shí)，BN層對(duì)隨機(jī)小批量具有依賴性從而導(dǎo)致網(wǎng)絡(luò)性能退化。Singh等［15］提出一種濾波器響應(yīng)歸一化（Filter Response Normalization，F(xiàn)RN），F(xiàn)RN獨(dú)立處理批次樣本的激活通道，減小樣本數(shù)量對(duì)網(wǎng)絡(luò)性能的負(fù)面影響，歸一化后執(zhí)行仿射變換消除歸一化影響。條件參數(shù)卷積操作后產(chǎn)生形狀為[B，H，W，C]的四維濾波器響應(yīng)P，其中B代表批量大小，H和W分別代表圖像的高度和寬度，C代表濾波器數(shù)量（或稱通道數(shù)量），向量p=Pbc∈RH×W代表第b個(gè)批處理中第c個(gè)濾波器輸出，則FRN操作如下：

其中：v2是p的均方范數(shù)，ε是常量以防止被零除，λ和β是學(xué)習(xí)參數(shù)，j∈n，n代表P中向量數(shù)量。

濾波器響應(yīng)歸一化缺乏平均中心可能導(dǎo)致激活過程中產(chǎn)生偏離零的任意偏差，偏差與Re?LU激活函數(shù)結(jié)合會(huì)對(duì)學(xué)習(xí)產(chǎn)生負(fù)面影響，因此引用學(xué)習(xí)閾值τ來改進(jìn)ReLU激活函數(shù)，定義TLU激活函數(shù)來解決偏差問題，即：

2.3 多尺度稠密模塊

本文利用改進(jìn)的條件參數(shù)卷積（CondConv）設(shè)計(jì)多尺度稠密模塊（Multiscale Dense Module，MDM）以優(yōu)化網(wǎng)絡(luò)框架，結(jié)構(gòu)如圖3所示。多尺度稠密模塊以密集網(wǎng)絡(luò)［16］（DenseNet）為主體，密集網(wǎng)絡(luò)利用前饋方式將模型各層彼此相連，實(shí)現(xiàn)層與層間密集連接和特征重用，但隨著網(wǎng)絡(luò)層數(shù)的遞增，特征圖維度隨之增加。因此本文設(shè)計(jì)的密集模塊舍棄部分跳躍連接，并利用改進(jìn)的條件參數(shù)卷積替代普通卷積，在提高模型容量和性能的同時(shí)降低網(wǎng)絡(luò)參數(shù)。

圖3 多尺度稠密模塊Fig.3 Multiscale dense module

多尺度稠密模塊由四個(gè)改進(jìn)的條件參數(shù)卷積（CondConv）層、一個(gè)DropBlock層和一個(gè)條紋池化層［17］（Strip Pooling）共同組成，改進(jìn)的條件參數(shù)卷積用于病變特征提取，DropBlock層通過隨機(jī)丟棄方式解決過度擬合問題。編碼器依賴最大池化層（Maxpooling）進(jìn)行下采樣，最大池化層利用正方形池化核處理密集目標(biāo)，提供全局上下文信息。但是當(dāng)圖像中目標(biāo)區(qū)域是長(zhǎng)條形或離散分布時(shí)，正方形池化核不能很好地提取遠(yuǎn)距離特征，條紋池化層可以利用長(zhǎng)條狀池化核處理離散分布目標(biāo)，提取遠(yuǎn)距離特征，捕獲局部上下文信息。條紋池化層分為垂直和水平條紋池化，以像素值求平均的方式將輸入特征圖形狀由H×W轉(zhuǎn)化為H×1和1×W，然后將垂直特征圖沿著左右方向進(jìn)行擴(kuò)容，水平特征圖沿著上下方向進(jìn)行擴(kuò)容，最后Sigmoid激活函數(shù)獲取注意力系數(shù)ζ∈［0，1］，注意力系數(shù)與原特征圖相乘確定其像素權(quán)重，與目標(biāo)任務(wù)關(guān)系越緊密的圖像被保留的特征越多。密集網(wǎng)絡(luò)使前層輸出作為本層輸入，并將本層輸出傳遞給后層，實(shí)現(xiàn)特征信息重用，捕獲密集目標(biāo)，條紋池化層捕獲遠(yuǎn)距離特征，使皮膚病變圖像中離散分布區(qū)域和帶狀結(jié)構(gòu)區(qū)域連接成為可能，捕獲離散分布目標(biāo)，密集網(wǎng)絡(luò)和條紋池化層的結(jié)合，實(shí)現(xiàn)了多尺度目標(biāo)的捕捉。

2.4 混合池化模塊

皮膚病變圖像經(jīng)過編碼層下采樣后直接輸入解碼層中恢復(fù)圖像信息，可能導(dǎo)致深層特征圖未獲得足夠感受野，難以捕獲深層語義信息。由條紋池化和金字塔池化［18］組合而成的混合池化模 塊［19］（Mixed Pooling Module，MPM），可 以 有效地融合多尺度特征并擴(kuò)大特征圖感受野。其中，特征圖的局部上下文信息由垂直和水平條紋池化層捕獲，條紋池化層的長(zhǎng)條狀池化核使皮膚病變圖像中離散分布區(qū)域和帶狀結(jié)構(gòu)區(qū)域連接成為可能，聚合長(zhǎng)距離依賴關(guān)系。特征圖的全局上下文信息由金字塔池化層捕獲，金字塔池化層的正方形池化核可以提取皮膚病變圖像中分布緊密的語義，聚合短距離依賴關(guān)系，混合池化模塊結(jié)構(gòu)如圖4所示。

皮膚病變特征圖X∈RH×W×C，H、W和C分別代表特征圖的高度、寬度和通道數(shù)，為避免不相關(guān)區(qū)域信息污染，提高目標(biāo)區(qū)分度，特征提取多分支單獨(dú)進(jìn)行。Pool_H和Pool_W表示垂直和水平條紋池化層，對(duì)皮膚病變特征圖進(jìn)行垂直和水平方向壓縮，輸出特征圖X1∈RH×1×C/4和X2∈R1×W×C/4，并 對(duì) 輸 出 特 征 圖 進(jìn) 行 上 采 樣（Upsample）處理，恢復(fù)圖像尺寸捕獲長(zhǎng)距離依賴關(guān) 系。Pool_S3和Pool_S5表 示3×3和5×5的金字塔池化，對(duì)皮膚病變特征圖進(jìn)行不同比例的壓 縮 ，輸 出 特 征 圖X3∈RH/3×W/3×C/4和X4∈RH/5×W/5×C/4，輸出特征圖再進(jìn)行上采樣并與原始特征圖X相加，捕獲短距離依賴關(guān)系。最后調(diào)整通道數(shù)拼接Y1和Y2得到最終輸出Y，混合池化模塊實(shí)現(xiàn)了特征圖全局信息和局部信息的整合，建立長(zhǎng)短程依賴關(guān)系。

圖4 混合池化模塊Fig.4 Mixed pooling module

2.5 雙殘差模塊

深層語義信息的解碼十分重要，如果上采樣忽略深層語義信息的重建，可能導(dǎo)致病變區(qū)域模糊和殘缺，傳統(tǒng)HRNet結(jié)構(gòu)較為簡(jiǎn)單，難以訓(xùn)練復(fù)雜目標(biāo)和重建細(xì)節(jié)信息，同時(shí)存在梯度消失和梯度爆炸問題，解碼部分若像編碼部分一樣添加多尺度稠密模塊會(huì)使網(wǎng)絡(luò)結(jié)構(gòu)過于臃腫。因此本文設(shè)計(jì)出雙殘差模塊（Double Residual Mod?ule，DRM）用于圖像解碼特征重建，使用3×3卷積（Conv）、濾波器響應(yīng)歸一化（FRN）、TLU激活函數(shù)和DropBlock層來構(gòu)建殘差學(xué)習(xí)塊，兩個(gè)殘差學(xué)習(xí)塊組合成雙殘差塊，如圖5所示。

圖5 雙殘差模塊Fig.5 Double residual module

2.6 損失函數(shù)

皮膚病變分割任務(wù)中常用Dice-coefficient Loss函數(shù)緩解類別間不平衡的影響，但該函數(shù)不能優(yōu)化假陰性和假陽性權(quán)重，導(dǎo)致最終結(jié)果精度較 高，而 召 回 率 較 低。Tversky Loss［20］函 數(shù) 能 夠平衡假陰性和假陽性，優(yōu)化精度和召回率關(guān)系，但部分皮膚病變圖像上存在難以區(qū)分的較小感興趣區(qū)域（Region Of Interest，ROI）。因此在原損失函數(shù)基礎(chǔ)上引入超參數(shù)γ構(gòu)成Focal Tver?sky Loss函數(shù)，增強(qiáng)模型對(duì)病變區(qū)域和較小感興趣區(qū)域之間的辨識(shí)度，更好地適應(yīng)前景（病變皮膚）與背景（正常皮膚）像素比例不平衡的分割任務(wù)，新?lián)p失函數(shù)定義為：

其中：TP表示真陽性，正確分類皮膚病變區(qū)域像素?cái)?shù)量；TN表示真陰性，正確分類非皮膚病變區(qū)域像素?cái)?shù)量；FP表示假陽性，錯(cuò)誤分類皮膚病變區(qū)域像素?cái)?shù)量；FN表示假陰性，錯(cuò)誤分類非皮膚病變區(qū)域像素?cái)?shù)量；參數(shù)α和β用來調(diào)整假陰性和假陽性權(quán)重，緩解類別間不平衡的影響；超參數(shù)γ用來抑制ROI干擾。

2.7 網(wǎng)絡(luò)結(jié)構(gòu)

皮膚病變圖像具有復(fù)雜的形態(tài)結(jié)構(gòu)，分割時(shí)容易丟失特征信息和誤分割病變區(qū)域，為提高分割精度，本文提出高分辨率復(fù)合網(wǎng)絡(luò)（HCNet）應(yīng)用于皮膚病變圖像分割，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。HCNet由前端圖像預(yù)處理（Image Preprocessing，IP）、編碼器（Encode）、解碼器（Decode）和混合池化模塊（MPM）組成。編碼器部分用來獲取皮膚病變圖像空間與位置信息，由多尺度稠密模塊（MDM）和HRNet架構(gòu)組成，對(duì)皮膚病變圖像進(jìn)行通道擴(kuò)張和空間收縮，將尺度為256×256×3的皮膚病變圖像變成16×16×512，多尺度稠密模塊能夠進(jìn)行特征重用，HRNet能夠保證高清特征圖全局傳遞，有效地減少下采樣過程中特征信息的丟失。解碼器部分用來預(yù)測(cè)像素類別，重新構(gòu)建皮膚病變信息，由雙殘差模塊（DRM）和反向HRNet架構(gòu)組成，對(duì)皮膚病變圖像進(jìn)行通道收縮和空間擴(kuò)張，將16×16×512的皮膚病變圖像恢復(fù)為256×256×32，雙殘差模塊在上采樣時(shí)能夠發(fā)掘深層語義信息和重建細(xì)節(jié)特征，分割出邊緣輪廓更加清晰的圖像?；旌铣鼗K（MPM）用于傳遞編解碼部分底層信息，利用金字塔池化和條紋池化捕獲特征圖全局和局部特征，建立目標(biāo)特征長(zhǎng)短程依賴關(guān)系。網(wǎng)絡(luò)末端是Sigmoid激活函 數(shù) 和Focal Tversky Loss函 數(shù)，Sigmoid激 活函數(shù)對(duì)前景和背景進(jìn)行分類，F(xiàn)ocal Tversky Loss函數(shù)抑制因正負(fù)樣本不均而引起的誤分割，使分割結(jié)果更為優(yōu)異。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

?

本 文 采 用ISBI2016數(shù) 據(jù) 集［21］、ISBI2017數(shù)據(jù) 集［22］、ISIC2018數(shù) 據(jù) 集［23］和PH2數(shù) 據(jù) 集［24］作為實(shí)驗(yàn)樣本。ISBI2016數(shù)據(jù)集包含900張訓(xùn)練圖片和379張測(cè)試圖片，ISBI2017數(shù)據(jù)集包含2 000張訓(xùn)練圖片、150張驗(yàn)證圖片和600張測(cè)試圖片。ISIC2018數(shù)據(jù)集包含2 594張圖片，將其劃分為1 815張訓(xùn)練圖片、259張驗(yàn)證圖片和520張測(cè)試圖片，PH2數(shù)據(jù)集包含200張圖片，作為ISIC2018數(shù)據(jù)集的額外測(cè)試集。

實(shí)驗(yàn)仿真平臺(tái)為PyCharm，實(shí)驗(yàn)環(huán)境為Ten?sorFlow2.0，實(shí)驗(yàn)計(jì)算機(jī)配置為Intel Core TM i7-6700H CPU，Nvidia GeForce GTX 2070 GPU，16 G內(nèi)存。模型采用Adam算法優(yōu)化Fo?cal Tversky Loss函數(shù)，迭代次數(shù)設(shè)置為50，初始學(xué)習(xí)率設(shè)置為1e-5，訓(xùn)練批量設(shè)置為8。Focal Tversky Loss函數(shù)中參數(shù)α設(shè)置為0.7，參數(shù)β設(shè)置為0.3，超參數(shù)γ設(shè)置為0.75。

3.2 圖像預(yù)處理

皮膚病變圖像在收集時(shí)存在毛發(fā)遮掩、顏色差異和多病變區(qū)域現(xiàn)象，導(dǎo)致收集的圖像中病變區(qū)域模糊。為提高病變區(qū)域分割準(zhǔn)確率，本文對(duì)皮膚病變圖像進(jìn)行預(yù)處理操作，圖像預(yù)處理步驟如下：

（1）形態(tài)學(xué)操作。形態(tài)學(xué)腐蝕運(yùn)算使病變區(qū)域減小，收縮目標(biāo)邊界以消除毛發(fā)遮掩；形態(tài)學(xué)膨脹運(yùn)算使病變區(qū)域增大，恢復(fù)目標(biāo)尺度以填充空洞區(qū)域；本文對(duì)存在大量毛發(fā)的皮膚病變圖像進(jìn)行腐蝕和膨脹運(yùn)算，弱化毛發(fā)對(duì)分割精度的影響。

（2）樣 本 擴(kuò) 充。ISBI2016、ISBI2017和ISIC2018數(shù)據(jù)集中樣本數(shù)量較少，為防止模型在訓(xùn)練時(shí)產(chǎn)生過擬合現(xiàn)象，因此需要對(duì)皮膚病變圖像數(shù)據(jù)集進(jìn)行圖片擴(kuò)充，本文采用彈性變換、網(wǎng)格失真、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、灰度變換、隨機(jī)通道、旋轉(zhuǎn)、轉(zhuǎn)置、高斯模糊等方法來擴(kuò)充圖片數(shù)量，增加模型訓(xùn)練樣本，并將皮膚病變圖像分辨率調(diào)整為256×256。圖像預(yù)處理部分操作如圖7所示。

圖7 圖像預(yù)處理部分操作Fig.7 Image preprocessing part of the operation

3.3 評(píng)估指標(biāo)

本 文 使 用 準(zhǔn) 確 度（Accuracy，Acc）、特 異 性（Specificity，Spe）、敏感度（Sensitivity，Sen）、Jaccard指 數(shù)（Jaccard Index，J）和Dice相 似 系 數(shù)（Dice Similarity Coefficient，D）作為本文網(wǎng)絡(luò)性能的評(píng)價(jià)依據(jù)。準(zhǔn)確度揭示出正確分類像素?cái)?shù)量與總像素?cái)?shù)量比率的關(guān)系，特異性表示檢測(cè)正常皮膚像素?cái)?shù)量與真實(shí)正常皮膚像素?cái)?shù)量比率的關(guān)系，敏感度表示檢測(cè)病變皮膚像素?cái)?shù)量與真實(shí)病變皮膚像素?cái)?shù)量比率的關(guān)系，定義如下：

骨康膠囊對(duì)SaOS-2人成骨樣細(xì)胞增殖、分化及礦化的影響 … ………………… 楊 健，等(5):517

其中：TP表示真陽性，正確分類皮膚病變區(qū)域像素?cái)?shù)量；TN表示真陰性，正確分類非皮膚病變區(qū)域像素?cái)?shù)量；FP表示假陽性，錯(cuò)誤分類皮膚病變區(qū)域像素?cái)?shù)量；FN表示假陰性，錯(cuò)誤分類非皮膚病變區(qū)域像素?cái)?shù)量。

3.4 不同網(wǎng)絡(luò)主觀性對(duì)比

為驗(yàn)證高分辨率復(fù)合網(wǎng)絡(luò)（HCNet）對(duì)皮膚病變圖像分割的有效性，本文選取文獻(xiàn)［7］中U型 網(wǎng) 絡(luò)（U-Net）、文 獻(xiàn)［8］中 高 分 辨 率 網(wǎng) 絡(luò)（HRNet）、文 獻(xiàn)［25］中 密 集 編 解 碼 結(jié) 構(gòu) 網(wǎng) 絡(luò)（DEDNet）、文獻(xiàn)［26］中綜合注意卷積神經(jīng)網(wǎng)絡(luò)（CANet）與本文高分辨率復(fù)合網(wǎng)絡(luò)（HCNet）進(jìn)行指標(biāo)對(duì)比。U-Net中編碼器和解碼器對(duì)稱連接，編碼器中下采樣使特征圖大小減半卷積核數(shù)量翻倍，解碼器通過直連方式整合上采樣層和編碼器輸入特征，恢復(fù)目標(biāo)尺寸。HRNet能夠?qū)⒏叻直媛侍卣鲌D融進(jìn)下層編碼器中，使圖像保持高分辨率傳遞，優(yōu)化網(wǎng)絡(luò)淺層信息。DED?Net以U型網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)，在編碼部分中添加密集網(wǎng)絡(luò)和空洞空間卷積池化金字塔，并用密集跳躍連接組合編碼部分和解碼部分。CANet是在U型網(wǎng)絡(luò)中添加聯(lián)合空間注意模塊、通道注意模塊和尺度注意模塊，分別用來提高前景區(qū)域關(guān)注度、重新校準(zhǔn)通道特征響應(yīng)和強(qiáng)調(diào)最顯著多尺度特征圖。普通卷積高分辨率復(fù)合網(wǎng)絡(luò)（CH?Net）是將改進(jìn)的條件參數(shù)卷積還原成普通卷積層，其余結(jié)構(gòu)與本文高分辨率復(fù)合網(wǎng)絡(luò)一致。在同樣實(shí)驗(yàn)環(huán)境下對(duì)上述六種網(wǎng)絡(luò)進(jìn)行測(cè)試，對(duì)比結(jié)果見表1和表2，最優(yōu)指標(biāo)加粗表示。

表1 ISBI2016和ISBI2017數(shù)據(jù)集上不同網(wǎng)絡(luò)結(jié)果Tab.1 Results of different networks on ISBI2016 and ISBI2017 datasets

表2 PH2和ISIC2018數(shù)據(jù)集上不同網(wǎng)絡(luò)結(jié)果Tab.2 Results of different networks on PH2 and ISIC2018 datasets

表1給出本文網(wǎng)絡(luò)和其他五種網(wǎng)絡(luò)在IS?BI2016和ISBI2017數(shù)據(jù)集上的性能指標(biāo)，表2給出本文網(wǎng)絡(luò)和其他五種網(wǎng)絡(luò)在PH2和ISIC2018數(shù)據(jù)集上的性能指標(biāo)，綜合對(duì)比本文高分辨率復(fù)合網(wǎng)絡(luò)（HCNet）性能較優(yōu)。CHNet是將改進(jìn)的條件參數(shù)卷積還原成普通卷積層，其余結(jié)構(gòu)和HCNet一 致，在ISBI2017數(shù)據(jù)集 上，HCNet網(wǎng) 絡(luò)參數(shù)（Parameter）是CHNet網(wǎng)絡(luò)參數(shù)的70.40%，單 輪 訓(xùn) 練 時(shí) 長(zhǎng)（Time）是 其74.40%。在ISIC2018數(shù)據(jù)集上，HCNet網(wǎng)絡(luò)參數(shù)是CHNet網(wǎng)絡(luò)參數(shù)的70.40%，單輪訓(xùn)練時(shí)長(zhǎng)是其76.60%?？梢姼倪M(jìn)的條件參數(shù)卷積既可以提高模型容量和性能，又可以保持高效推理。雖然HCNet在網(wǎng)絡(luò)參數(shù)和單輪訓(xùn)練時(shí)長(zhǎng)上不如UNet，但在準(zhǔn)確度、特異性、敏感度、Jaccard指數(shù)和Dice相似系數(shù)等評(píng)價(jià)指標(biāo)上明顯高于U-Net，能更好地平衡參數(shù)時(shí)間與分割性能關(guān)系。

在表1和表2中本文網(wǎng)絡(luò)HCNet準(zhǔn)確度均為最高，四個(gè)數(shù)據(jù)集上的準(zhǔn)確度分別為96.14%、93.72%、94.31%和95.73%，準(zhǔn)確度揭示出正確分類像素?cái)?shù)量與總像素?cái)?shù)量比率的關(guān)系，說明HCNet對(duì)皮膚病變區(qū)域像素和皮膚正常區(qū)域像素分類性能最優(yōu)。Dice相似系數(shù)可以衡量標(biāo)簽圖像與分割圖像的相似程度，本文網(wǎng)絡(luò)HCNet的Dice相似系數(shù)均為最高，四個(gè)數(shù)據(jù)集上分別為93.16%、88.56%、91.59%和92.00%，說明HC?Net分割結(jié)果更加貼合真實(shí)標(biāo)簽，性能指標(biāo)證明HCNet分割結(jié)果相比其他網(wǎng)絡(luò)更優(yōu)，病變區(qū)域誤分割率更低。

圖8展示出不同網(wǎng)絡(luò)對(duì)皮膚病變圖像分割的結(jié)果，圖片（a）~（f）來源于ISBI2016數(shù)據(jù)集，圖片（g）~（l）來源于ISBI2017數(shù)據(jù)集，從上到下依次 為 原 始 圖 像、標(biāo) 簽（Ground Truth）、U-Net、HRNet、DEDNet、CANet、CHNet和HCNet分割結(jié)果。HCNet分割圖對(duì)比其他網(wǎng)絡(luò)更為優(yōu)異，在圖片（a）和（g）中皮膚病變區(qū)域與皮膚正常區(qū)域界線分明，對(duì)比度較高，本文網(wǎng)絡(luò)及其他網(wǎng)絡(luò)均可較好地分割出病變區(qū)域。在圖片（d）中皮膚病變區(qū)域邊界輪廓曲折復(fù)雜，U-Net和HRNet作為基礎(chǔ)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)特征重構(gòu)能力不足、容易丟失邊緣特征信息，HCNet在解碼部分引入雙殘差模塊，增強(qiáng)目標(biāo)邊緣特征重構(gòu)能力，使病變區(qū)域邊界輪廓準(zhǔn)確清晰。在圖片（h）中皮膚病變區(qū)域分為深色和淺色區(qū)域，在U-Net和HRNet分割結(jié)果圖中，缺失的病變區(qū)域較多，CANet和CHNet只能分割出深色病變區(qū)域，忽略了淺色病變區(qū)域，說明上述網(wǎng)絡(luò)圖像特征提取能力不足，特征信息丟失情況嚴(yán)重，HCNet中多尺度稠密模塊能夠?qū)崿F(xiàn)特征信息重用和捕獲多尺度特征，使分割結(jié)果與標(biāo)簽基本一致。對(duì)比結(jié)果說明本文網(wǎng)絡(luò)HCNet能夠更好地提取和重構(gòu)病變特征，減少特征信息缺失，使分割結(jié)果邊界輪廓準(zhǔn)確清晰。

圖9中圖片（a）~（f）來源于PH2數(shù)據(jù)集，圖片（g）~（l）來源于ISIC2018數(shù)據(jù)集，綜合分析HCNet分割圖較其他網(wǎng)絡(luò)更為優(yōu)異。在圖片8中皮膚病變圖像中存在大量毛發(fā)，HRNet和CANet易將真實(shí)皮膚病變區(qū)域縮小或擴(kuò)大，UNet、DEDNet和CHNet受毛發(fā)影響，病變輪廓分割效果較差，本文網(wǎng)絡(luò)HCNet預(yù)處理操作能夠弱化干擾因素，降低毛發(fā)對(duì)病變區(qū)域的影響，分割出來的圖像與真實(shí)標(biāo)簽貼合度較高，擁有更強(qiáng)的魯棒性。

圖8 ISBI2016和ISBI2017數(shù)據(jù)集上不同網(wǎng)絡(luò)分割結(jié)果Fig.8 Different network segmentation results on ISBI2016 and ISBI2017 datasets

圖9 PH2和ISIC2018數(shù)據(jù)集上不同網(wǎng)絡(luò)分割結(jié)果Fig.9 Different network segmentation results on PH2 and ISIC2018 datasets

圖10 不同網(wǎng)絡(luò)分割細(xì)節(jié)結(jié)果Fig.10 Segmentation detail results of different networks

圖11給出ISBI2016數(shù)據(jù)集上的訓(xùn)練Dice相似系數(shù)、訓(xùn)練Jaccard指數(shù)、訓(xùn)練損失和驗(yàn)證損失變化曲線，圖12給出ISIC2018數(shù)據(jù)集上的訓(xùn)練Dice相似系數(shù)、訓(xùn)練Jaccard指數(shù)、訓(xùn)練損失和驗(yàn)證損失變化曲線，評(píng)價(jià)指標(biāo)曲線圖能夠更加直觀地突顯HCNet優(yōu)越性能。Jaccard指數(shù)可以衡量樣本間的差異性，Jaccard指數(shù)越高證明網(wǎng)絡(luò)對(duì)皮膚病變區(qū)域的識(shí)別度越好，分割正常皮膚區(qū)域與病變皮膚區(qū)域準(zhǔn)確度越高。Dice相似系數(shù)可以衡量標(biāo)簽圖像與分割圖像的相似程度，Dice相似系數(shù)越高說明分割結(jié)果越貼合真實(shí)標(biāo)簽。損失函數(shù)能夠衡量分割圖像與標(biāo)簽圖像不一致程度，損失越小網(wǎng)絡(luò)擬合度越好。圖11和圖12可以看出本文網(wǎng)絡(luò)HCNet的Jaccard指數(shù)和Dice相似系數(shù)收斂最快且數(shù)值最高，訓(xùn)練損失和驗(yàn)證損失相比其他網(wǎng)絡(luò)更低，圖中上方曲線為驗(yàn)證損失曲線，下方曲線為訓(xùn)練損失曲線。

圖12 ISIC2018數(shù)據(jù)集上的指標(biāo)變化曲線Fig.12 Index change curves on ISIC2018 datasets

3.5 不同網(wǎng)絡(luò)客觀性對(duì)比

表3給出本文網(wǎng)絡(luò)與其他參考文獻(xiàn)網(wǎng)絡(luò)在ISBI2016數(shù)據(jù)集上客觀對(duì)比結(jié)果，最優(yōu)指標(biāo)加粗表 示。EXB、CUMED、Mahudr、SFU-mial和TMUteam［27］代表ISBI2016挑戰(zhàn)賽中排名前五的網(wǎng)絡(luò)，與EXB相比本文網(wǎng)絡(luò)HCNet在準(zhǔn)確度上提高0.84%，敏感度上提高2.62%，特異性上提高0.74%，Dice相似系數(shù)上提高2.16%，Jaccard指數(shù)上提高2.71%，HCNet各項(xiàng)指標(biāo)均高于挑戰(zhàn)賽中第一名網(wǎng)絡(luò)。對(duì)比其他文獻(xiàn)，無論是在像素分割準(zhǔn)確度、敏感度，還是Jaccard指數(shù)和Dice相似系數(shù)上本文網(wǎng)絡(luò)指標(biāo)均有較大提升。次優(yōu)參考文獻(xiàn)［28］提出一種反饋?zhàn)⒁饩W(wǎng)絡(luò)，反饋機(jī)制能夠重用參數(shù)，豐富特征信息，降低池化操作中特征丟失，在不進(jìn)行數(shù)據(jù)增強(qiáng)的情況下獲得高質(zhì)量特征圖。其特異性比本文網(wǎng)絡(luò)高0.19%，但準(zhǔn)確度、敏感度、Dice相似系數(shù)和Jaccard指數(shù)分別比本文網(wǎng)絡(luò)低0.05%、1.12%、0.65%和0.78%，本文網(wǎng)絡(luò)進(jìn)行皮膚病變圖像預(yù)處理，在增強(qiáng)數(shù)據(jù)樣本的同時(shí)降低外在因素干擾，實(shí)驗(yàn)結(jié)果分析說明數(shù)據(jù)增強(qiáng)具有必要性。

表4給出本文網(wǎng)絡(luò)與其他參考文獻(xiàn)網(wǎng)絡(luò)在ISBI2017數(shù)據(jù)集上客觀對(duì)比結(jié)果。文獻(xiàn)［11］利用分割器和判別器組成密集U型生成對(duì)抗網(wǎng)絡(luò)，分割器中引入密集模塊，以確保在密集尺度范圍內(nèi)皮膚病變信息最大化傳遞，判別器中對(duì)抗性特征匹配損失可以穩(wěn)定模型訓(xùn)練和引導(dǎo)注意模塊專注于多尺度病變區(qū)域，使Jaccard指數(shù)最高80.45%，高于本文3.26%，敏感度高于本文3.80%，但本文特異性和Dice相似系數(shù)比其高5.38%和0.70%，本文網(wǎng)絡(luò)采用多尺度稠密模塊和Focal Tversky Loss函數(shù)，對(duì)抗性特征匹配損失函數(shù)側(cè)重于敏感度，F(xiàn)ocal Tversky Loss函數(shù)側(cè)重于特異性，二種損失函數(shù)各有優(yōu)點(diǎn)。文獻(xiàn)［34］提出一種SkinNet，將U-Net編解碼器中的普通卷積層替換為密集卷積層，并在網(wǎng)絡(luò)最底端加入1~32擴(kuò)張率的空洞卷積去擴(kuò)大感受野，捕獲非本地圖像信息特征，SkinNet敏感度達(dá)到最高93.0%，比本文網(wǎng)絡(luò)高9.46%，特異性比本文網(wǎng)絡(luò)低8.02%，空洞卷積雖然能夠擴(kuò)大感受野，提取全局信息，但擴(kuò)張率過大時(shí)，會(huì)使3×3卷積退化成1×1卷積，丟失空間上連續(xù)信息。

表3 ISBI2016數(shù)據(jù)集上不同網(wǎng)絡(luò)客觀性對(duì)比Tab.3 Objectivity comparison of different networks on ISBI2016 datasets

表4 ISBI2017數(shù)據(jù)集上不同網(wǎng)絡(luò)客觀性對(duì)比Tab.4 Objectivity comparison of different networks on ISBI2017 datasets

表5給出本文網(wǎng)絡(luò)與其他參考文獻(xiàn)網(wǎng)絡(luò)在ISIC2018數(shù)據(jù)集上客觀對(duì)比結(jié)果。本文網(wǎng)絡(luò)HCNet除敏感度外，其他指標(biāo)均為最高，對(duì)比其他參考文獻(xiàn)準(zhǔn)確度分別提升2.33%、1.15%、1.03%和0.05%。文獻(xiàn)［37］將空間細(xì)節(jié)嵌入到高級(jí)語義特征中并建立遠(yuǎn)程依賴關(guān)系，原始皮膚病變圖像中的信息，逐漸補(bǔ)充編碼器中的語義和細(xì)節(jié)信息，使敏感度最高96.7%，比HCNet高5.03%，但HCNet的Dice相似系數(shù)和Jaccard指數(shù)比文獻(xiàn)［37］分別高4.3%和5.79%。綜合對(duì)比ISBI2016數(shù) 據(jù) 集、ISBI2017數(shù) 據(jù) 集 和ISIC2018數(shù)據(jù)集結(jié)果，證明本文提出的高分辨率復(fù)合網(wǎng)絡(luò)整體性能優(yōu)于現(xiàn)有網(wǎng)絡(luò)，能夠充分提取特征信息和精確定位皮膚病變區(qū)域，對(duì)皮膚病變圖像具有較好的分割效果。

表5 ISIC2018數(shù)據(jù)集上不同網(wǎng)絡(luò)客觀性對(duì)比Tab.5 Objectivity comparison of different networks on ISIC2018 datasets

3.6 消融實(shí)驗(yàn)

為驗(yàn)證高分辨率復(fù)合網(wǎng)絡(luò)（HCNet）各模塊具體作用，本文在ISBI2016和ISBI2017數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。HCNet_1是將高分辨率網(wǎng)絡(luò)和U型網(wǎng)絡(luò)結(jié)合，不添加其他模塊，HCNet_2在HCNet_1的基礎(chǔ)上添加多尺度稠密模塊，HC?Net_3在HCNet_1的基礎(chǔ)上添加混合池化模塊，HCNet_4在HCNet_1的基礎(chǔ)上添加雙殘差模塊，HCNet_5在HCNet_2的基礎(chǔ)上添加雙殘差模塊，實(shí)驗(yàn)結(jié)果如表6所示。

消融研究展示了各模塊具體作用，其中HC?Net_1是直接將高分辨率網(wǎng)絡(luò)替代U型網(wǎng)絡(luò)原編解碼結(jié)構(gòu)，直接復(fù)合雖然能夠使分割性能指標(biāo)有所提升，但是提升數(shù)值并不顯著。HCNet_2在HCNet_1的基礎(chǔ)上添加多尺度稠密模塊，多尺度稠密模塊利用前饋方式將模型各層彼此相連，實(shí)現(xiàn)層與層間密集連接和特征重用，條紋池化層通過垂直和水平條紋池化捕獲多尺度特征，充分提取圖像信息，精確定位出皮膚病變區(qū)域，分割性能指標(biāo)有顯著性提高，特異性達(dá)到最高分別為97.57%和98.73%。HCNet_3在HCNet_1的基礎(chǔ)上添加混合池化模塊，處于網(wǎng)絡(luò)底端的混合池化模塊可以擴(kuò)大感受野，實(shí)現(xiàn)特征圖全局信息和局部信息的整合，建立特征長(zhǎng)短程依賴關(guān)系，使解碼部分獲取更多有用信息，敏感度達(dá)到最高分別為95.50%和84.95%。HCNet_4是在HC?Net_1的基礎(chǔ)上添加雙殘差模塊，HCNet_5是在HCNet_2的基礎(chǔ)上添加雙殘差模塊，雙殘差模塊在重建編碼部分送入的信息時(shí)，能夠挖掘深層語義信息，使分割出的皮膚病變圖像邊緣輪廓清晰。相比HCNet_4中分割指標(biāo)，HCNet_5中分割指標(biāo)更為優(yōu)異，因?yàn)槎喑叨瘸砻苣K提取出更多特征，使雙殘差模塊重建皮膚病變圖像時(shí)有更多可用信息，Dice相似系數(shù)分別為93.03%和88.12%。消融實(shí)驗(yàn)結(jié)果說明本文網(wǎng)絡(luò)HCNet中多尺度稠密模塊用于提高特異性，混合池化模塊用于提高敏感度，雙殘差模塊用于提高Dice相似系數(shù)。

表6 各模塊消融實(shí)驗(yàn)Tab.6 Ablation Experiment of each module

4 結(jié) 論

針對(duì)皮膚病變圖像分割時(shí)存在異物遮擋、特征信息缺失和病變區(qū)域誤分割等問題，本文提出一種基于高分辨率復(fù)合網(wǎng)絡(luò)的皮膚病變分割方法，以高分辨率網(wǎng)絡(luò)為對(duì)稱結(jié)構(gòu)，實(shí)現(xiàn)高清特征圖全網(wǎng)絡(luò)傳遞。首先對(duì)皮膚病變圖像進(jìn)行細(xì)化，減少異物對(duì)分割性能的影響，再擴(kuò)充圖片數(shù)量避免過度擬合；其次利用正反向高分辨率網(wǎng)絡(luò)構(gòu)建編碼部分和解碼部分，進(jìn)行皮膚病變圖像特征的提取和重建，多尺度稠密模塊充分提取特征，雙殘差模塊挖掘深層語義信息，減少特征信息缺失情況；最后Focal Tversky Loss函數(shù)抑制正負(fù)樣本不均引起的分割誤差，從而使分割結(jié)果更為優(yōu)異。在ISBI2016、ISBI2017和ISIC2018數(shù)據(jù)集上準(zhǔn)確度分別為96.14%、93.72%和95.73%，分割性能優(yōu)于現(xiàn)有方法，對(duì)皮膚疾病的診斷具有一定應(yīng)用價(jià)值。高分辨率復(fù)合網(wǎng)絡(luò)通過多形式卷積核建立長(zhǎng)短程依賴關(guān)系。未來考慮通過特征圖三維形狀重塑來建立特征長(zhǎng)短程依賴關(guān)系，提高皮膚病變圖像分割的精度。