基于Self-Attention StyleGAN的皮膚癌圖像生成與分類

趙 宸，帥仁俊，馬 力，劉文佳，吳夢(mèng)麟

1.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京211816

2.南京市衛(wèi)生信息中心，南京210003

3.南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院，江蘇 常州213003

與其他類型的癌癥相比，皮膚癌的高發(fā)病率使之成為了世界上最嚴(yán)重的健康問題之一[1]。近五十年來，全世界黑色素瘤的發(fā)病率在急劇上升。對(duì)于黑色素瘤患者來說，五年以內(nèi)生存率為95%，而晚期則只有15%，這種非常顯著的差異突出了及時(shí)地識(shí)別并發(fā)現(xiàn)黑色素瘤對(duì)于患者維持生命的重要性。因此，及時(shí)發(fā)現(xiàn)皮膚癌是降低皮膚癌發(fā)病率的關(guān)鍵因素[2]。

皮膚鏡是一種用來消除皮膚表面反射的成像技術(shù)。當(dāng)表面反射被消除時(shí)，深層皮膚癌病變的可視化得到增強(qiáng)[3]。這種技術(shù)與標(biāo)準(zhǔn)攝影相比可以產(chǎn)生較高的診斷準(zhǔn)確率。為了改善皮膚癌病變疾病的診斷效果，在臨床中引入了皮膚鏡檢查以協(xié)助皮膚科醫(yī)生進(jìn)行診斷[4]。但在臨床醫(yī)學(xué)中，醫(yī)生對(duì)于皮膚鏡的病變圖像（尤其是黑色素瘤）的肉眼識(shí)別率存在一定的誤差，而且對(duì)于黑色素瘤的識(shí)別要求醫(yī)生有一定的技術(shù)與經(jīng)驗(yàn)。皮膚癌病變識(shí)別的容錯(cuò)率較低，誤識(shí)別會(huì)對(duì)患者產(chǎn)生非常嚴(yán)重的后果[5]。

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，人工智能和深度學(xué)習(xí)技術(shù)得到了廣泛的應(yīng)用，尤其是在圖像處理方面取得了很大的進(jìn)步，深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNS）能夠精確地檢測、分割識(shí)別醫(yī)學(xué)圖像中的區(qū)域與對(duì)象[6]。深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)臨床應(yīng)用越來越廣泛，不僅僅是模式識(shí)別領(lǐng)域中的圖像分類，在圖像生成方面也達(dá)到了很好的效果[7-8]。

Milton[9]提出了一種基于深度學(xué)習(xí)模型的集成神經(jīng)網(wǎng)絡(luò)，包括PNASNet-5-large、Inception-ResNetv2、SeNet154和Inceptionv4。在將皮膚鏡檢查圖像輸入網(wǎng)絡(luò)之前，需要對(duì)其進(jìn)行處理和適當(dāng)增強(qiáng)。在ISIC2018數(shù)據(jù)集上，準(zhǔn)確性為0.76。但樣本量不足，準(zhǔn)確度較低。Akram 等[10]提出了一個(gè)基于集成的深度神經(jīng)網(wǎng)絡(luò)，并在ISIC2018皮膚癌病變數(shù)據(jù)集中進(jìn)行了分類測試。該方法集成了圖像深層的特征信息，生成了最具區(qū)別性的特征向量，并保留了原始特征空間。Hu等[11]提出了一種綜合分類方法，該方法結(jié)合了基于屏蔽和深度卷積殘差網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)，通過一系列實(shí)驗(yàn)驗(yàn)證了該方法的有效性。該模型使用更少的訓(xùn)練樣本在皮膚疾病數(shù)據(jù)集上獲得了更好的分類結(jié)果。

Rashid 等[12]將生成對(duì)抗網(wǎng)絡(luò)（GAN）應(yīng)用于皮膚癌病變圖像數(shù)據(jù)的增強(qiáng)，并且GAN 的鑒別器還充當(dāng)了最終分類器，從ISIC2018挑戰(zhàn)數(shù)據(jù)集中進(jìn)行識(shí)別7個(gè)皮膚癌病變類別。作者還利用遷移學(xué)習(xí)來微調(diào)DenseNet和ResNet 架構(gòu)，并將其分類性能與基于GAN 的數(shù)據(jù)增強(qiáng)模型進(jìn)行比較。所提出的方法在平衡精度得分方面獲得了顯著的性能提升。Baur 等[13]提出了一種深層識(shí)別的GAN（DDGAN）。合成了逼真的256×256 皮膚病灶圖像，并對(duì)DDGAN、DC-GAN和LAPGAN進(jìn)行了比較，表明DDGAN 和LAPGAN 都可以學(xué)習(xí)數(shù)據(jù)集的分布并合成逼真的樣本。

Baur等[14]利用了漸進(jìn)式增長的概念，該概念與其他GAN體系結(jié)構(gòu)（如DC-GAN和LAPGAN）在數(shù)量和質(zhì)量上都進(jìn)行了比較。結(jié)果表明，借助漸進(jìn)式生長，可以合成皮膚癌病變的高度真實(shí)的皮膚鏡圖像，即使是專業(yè)的皮膚科醫(yī)生也很難將其與真實(shí)的皮膚病區(qū)分開。Bissoto等[15]采用pix2pixHD GAN進(jìn)行圖像合成。他們不是從隨機(jī)噪聲中生成圖像，而是從語義圖和實(shí)例圖合成圖像。為了反映GAN 系列生成網(wǎng)絡(luò)對(duì)圖像模式識(shí)別的重要性，Bissoto等[16]從6個(gè)方面總結(jié)和比較了近年來的GAN：架構(gòu)貢獻(xiàn)、條件技術(shù)、法線和約束貢獻(xiàn)、損失函數(shù)、圖像到圖像的轉(zhuǎn)換以及驗(yàn)證指標(biāo)。結(jié)果表明，StyleGAN對(duì)黑色素瘤生成的影響比其他GAN更現(xiàn)實(shí)和更合適。Gong等[17]利用StyleGAN 生成高質(zhì)量圖像，以解決ISIC2019 數(shù)據(jù)集的最小和不均勻分布，并提高了CNN的分類準(zhǔn)確性。他們的方法提高了皮膚鏡圖像分類的準(zhǔn)確性?；赟tyleGAN 在增強(qiáng)皮膚癌數(shù)據(jù)方面的出色表現(xiàn)，選擇優(yōu)化改進(jìn)StyleGAN并將其用于皮膚癌分類項(xiàng)目。

從以上文獻(xiàn)來看，當(dāng)前皮膚癌病變圖像合成研究中最重要的挑戰(zhàn)之一是通過上述方法生成的圖像的分辨率和質(zhì)量較差，且神經(jīng)網(wǎng)絡(luò)的魯棒性低。可需要更先進(jìn)的GAN架構(gòu)生成高分辨率圖像應(yīng)用于皮膚癌病變圖像合成。

為解決上述問題，本文提出了一種基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)（self-attention style-based GAN，SA-StyleGAN）與SE-ResNeXt-50 相結(jié)合的皮膚癌病變圖像生成與分類的框架。使用SA-StyleGAN 擴(kuò)展數(shù)據(jù)集樣本，通過合成新的樣本圖像來增加模型生成圖像的多樣性以及不確定性。對(duì)于圖像分類，使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50 上構(gòu)建分類器。使用改進(jìn)的損失函數(shù)可以減少類別內(nèi)的樣本距離，擴(kuò)大不同皮膚癌病變圖像類別之間的樣本距離，更好地分析ISIC2019圖像的特征并最終產(chǎn)生更好的分類模型。

1 研究方法

在本文中，提出了一種基于自注意力的樣式生成對(duì)抗網(wǎng)絡(luò)（SA-StyleGAN）與SE-ResNeXt-50相結(jié)合的皮膚癌病變圖像生成與分類的框架。首先對(duì)ISIC2019 數(shù)據(jù)集的樣本圖像使用SA-StyleGAN進(jìn)行樣本擴(kuò)充，之后將所有樣本圖像送入已經(jīng)過ImageNet數(shù)據(jù)集預(yù)訓(xùn)練過且經(jīng)過遷移學(xué)習(xí)的SE-ResNeXt-50進(jìn)行分類，最后得到分類的結(jié)果以及各項(xiàng)結(jié)果性能指標(biāo)。所提出模型的總體框架如圖1所示。

圖1 生成與分類模型框架流程圖Fig.1 Framework flowchart of generation and classification model

提出的皮膚癌病變樣本圖像聲稱與分類框架包括三個(gè)主要部分：

（1）根據(jù)基于樣式對(duì)抗生成網(wǎng)絡(luò)的基本架構(gòu)，提出了SA-StyleGAN，以生成高質(zhì)量的皮膚癌病變樣本圖像，并提供給SE-ResNeXt-50分類模型進(jìn)行分類。

（2）將Angular SoftMax（A-SoftMax）損失函數(shù)與SE-ResNeXt-50 分類神經(jīng)網(wǎng)絡(luò)相結(jié)合，解決樣本不平衡造成的數(shù)據(jù)影響，來平衡不同類別樣本的權(quán)重，從而可以改善分類模型的性能。

（3）使用遷移學(xué)習(xí)來訓(xùn)練SE-ResNeXt-50 模型，以提供適當(dāng)?shù)念A(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型參數(shù)來對(duì)ISIC2019 皮膚癌病變圖像進(jìn)行分類，并獲得出色的平衡多類別準(zhǔn)確性（BMA）。

圖2顯示了皮膚癌病變樣本圖像生成，分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖。使用SA-StyleGAN平衡，擴(kuò)充數(shù)據(jù)集樣本，從而通過合成新的樣本圖像來增加模型不確定性，來均衡不同類別樣本的權(quán)重。對(duì)于圖像分類，使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50上構(gòu)建分類器，通過預(yù)訓(xùn)練的模型對(duì)樣本進(jìn)行分類，最終得到分類結(jié)果以及各項(xiàng)性能指標(biāo)。

圖2 皮膚癌病變樣本圖像生成、分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖Fig.2 Structure diagram of skin cancer lesion sample generative classification with transfer learning

1.1 基于樣式的生成對(duì)抗網(wǎng)絡(luò)（StyleGAN）

基于樣式的生成對(duì)抗網(wǎng)絡(luò)（StyleGAN）是由Karras等[18]提出的。與其他對(duì)抗生成網(wǎng)絡(luò)不同，StyleGAN中的樣式（用Gram矩陣表示）借用了樣式轉(zhuǎn)換并實(shí)現(xiàn)了無監(jiān)督的高度可控圖像生成。

StyleGAN包括三個(gè)部分：潛碼（latent code）和非線性映射網(wǎng)絡(luò)（nonlinear mapping network），噪聲（noise）以及生成網(wǎng)絡(luò)（synthesis network）。這三個(gè)部分將在下面詳細(xì)描述。

1.1.1 潛碼和非線性映射網(wǎng)絡(luò)

潛在代碼中的每個(gè)維度對(duì)應(yīng)于皮膚癌病變圖像中所關(guān)注的特征，例如區(qū)域、顏色和頭發(fā)。當(dāng)要更改病變圖像特征時(shí)，必須找到相應(yīng)的尺寸并調(diào)整潛碼的值。初始潛碼(z1,z2∈Z) 經(jīng)過正則化后進(jìn)入非線性映射網(wǎng)絡(luò)，并獲得非線性映射（8 層MLP）后，得到了w1,w2∈W。此時(shí)，圖像尺寸不變。經(jīng)過仿射變換和解耦合后，獲得y=(ys,yb)代表樣式的樣式，并用于完成綜合網(wǎng)絡(luò)中的自適應(yīng)實(shí)例規(guī)范化（AdaIN）。

為了進(jìn)一步實(shí)現(xiàn)解耦合，使用了混合正則化操作。在訓(xùn)練期間，圖像的一部分由兩個(gè)潛在代碼生成（也就是說，圖像由兩個(gè)潛在代碼生成的各種樣式控制）。該方法可以防止相鄰皮膚癌病變類型的相關(guān)性。

1.1.2 噪聲

生成網(wǎng)絡(luò)在每次卷積后，將噪聲添加到皮膚癌病變圖像中的每個(gè)像素，以實(shí)現(xiàn)多樣性和隨機(jī)性。該噪聲僅影響需要變化的皮膚癌病變，而不會(huì)改變圖像中皮膚的良性皮膚和關(guān)鍵特征。

1.1.3 生成網(wǎng)絡(luò)

在合成網(wǎng)絡(luò)中，對(duì)原始病變圖像進(jìn)行卷積并逐步取樣。在此過程中，y=(ys,yb)用于表示來自非線性映射網(wǎng)絡(luò)的皮膚樣式，并接受噪聲以完成卷積，AdaIN 和采樣操作。AdaIN公式如下：

其中，μ(xi)和σ(xi)是通過使用每個(gè)通道的特征圖中的所有像素獲得的平均值和方差（即，特征圖更改為平均值0和方差1），而特定的ith 是第i層的特征圖像。

1.2 基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)（SAStyleGAN）

StyleGAN為高分辨率圖像的合成以及對(duì)合成圖像的樣式和特征的精細(xì)控制做出了巨大貢獻(xiàn)。但這種結(jié)構(gòu)主要設(shè)計(jì)用于具有連續(xù)信息和樣式明顯變化的圖像。皮膚癌病變圖像與這些圖像之間存在顯著差異。本文致力于通過更改樣式控制方法并根據(jù)原始Style-GAN簡化生成器和鑒別器體系結(jié)構(gòu)來解決這些問題。

皮膚癌病變的圖案，顏色和樣式遠(yuǎn)沒有其他圖像豐富，而且它們的變化不像人臉圖像那樣連續(xù)。由于此限制，將復(fù)雜的GAN 架構(gòu)直接應(yīng)用于皮膚癌病變圖像的合成是不合適的。在原始StyleGAN 的基礎(chǔ)上，本文對(duì)樣式控制方法進(jìn)行了一些修改，并簡化了生成器和鑒別器的結(jié)構(gòu)。擬議的修改如下：

（1）本文放棄了混合正則化工具。皮膚病灶混合的樣式會(huì)導(dǎo)致樣式在生成的圖像中重疊，這很難區(qū)分和處理。因此，在修改的模型中僅使用一個(gè)潛在代碼。由于在臨床醫(yī)學(xué)中，不同皮膚病變的形狀紋理較為相似，所以生成的病變圖像的質(zhì)量需要足夠高。圖3 為使用了初始StyleGAN 兩個(gè)潛在代碼和使用了本文SA-Style-GAN一個(gè)潛在代碼生成的樣本對(duì)比圖。

圖3 使用了初始StyleGAN兩個(gè)潛在代碼和使用了本文SA-StyleGAN一個(gè)潛在代碼生成的樣本對(duì)比圖Fig.3 Sample comparison diagram generated by using two latent codes of initial StyleGAN and one latent code generated by proposed SA-StyleGAN

可以看出，在使用StyleGAN初始的兩潛在代碼時(shí)，生成的皮膚病變樣本圖像會(huì)產(chǎn)生類似風(fēng)格遷移的扭曲，很難被歸類，是屬于質(zhì)量較低的樣本。而本文使用的單潛在代碼則可以有效地消除樣本圖像扭曲不清晰等問題，為分類器提供高質(zhì)量的樣本圖像，也為醫(yī)學(xué)皮膚領(lǐng)域提供更有意義的參考價(jià)值。

（2）本文修改了StyleGAN 生成器的結(jié)構(gòu)。由于皮膚病變圖像風(fēng)格和色彩的單一性，對(duì)于皮膚分類器而言，224×224 相比于256×256 的樣本在分類器中神經(jīng)網(wǎng)絡(luò)參數(shù)量更少，為了減少高分辨率帶給生成器的計(jì)算壓力，在保證生成樣本質(zhì)量的情況下提高生成器的處理效率，將生成器的最后一個(gè)模塊的尺寸設(shè)置為224×224。

圖4 為使用StyleGAN 初始噪聲部分和本文SAStyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比。

圖4 使用StyleGAN初始噪聲部分和本文SA-StyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比圖Fig.4 Detailed comparison of results of original noise part of StyleGAN and improved noise part of proposed SA-StyleGAN

在使用初始StyleGAN 噪聲部分來生成樣本圖像時(shí)，噪聲會(huì)導(dǎo)致生成的圖像包含許多不必要的噪點(diǎn)，為減少噪聲對(duì)生成器的影響，在每個(gè)綜合網(wǎng)絡(luò)模塊中，除了第一層（兩次添加噪聲模塊）外，其他層僅添加一次噪聲模塊。即在第二個(gè)3×3 卷積層之前添加一個(gè)噪聲模塊，在第二個(gè)3×3 卷積層之后添加一個(gè)噪聲模塊，依此類推。

通過圖4可看出，使用本文SA-StyleGAN改進(jìn)的噪聲部分生成的樣本幾乎沒有噪點(diǎn)，樣本質(zhì)量更優(yōu)。由于皮膚病變樣本圖像各類別病變較為相似，顏色風(fēng)格相近且單一，同一類型病變不同發(fā)展時(shí)期特殊性導(dǎo)致的外形難以區(qū)分等特殊性，皮膚科臨床醫(yī)學(xué)對(duì)于樣本的質(zhì)量與細(xì)節(jié)要求較高，本文的改進(jìn)噪聲部分可為皮膚科臨床區(qū)分病變類型提供更真實(shí)客觀的樣本。

（3）修改了StyleGAN 鑒別器的結(jié)構(gòu)。如圖3 所示，合成網(wǎng)絡(luò)單元的不同模塊被級(jí)聯(lián)，并且在一個(gè)訓(xùn)練周期之后直接從初始輸入生成預(yù)定大小的圖像。然后將生成的圖像直接輸入到鑒別器。鑒別器由幾個(gè)鑒別器塊組成，每個(gè)鑒別器塊具有三個(gè)卷積層和兩個(gè)平均池化層。此外，判別結(jié)果在退出和最后兩個(gè)完全連接的層之后輸出。

（4）增加自我注意力模塊的最佳位置是在中高層特征圖上（生成256×256像素的皮膚癌病變圖像的情況下為27 和28 層）。盡管使用了漸進(jìn)式訓(xùn)練和使用了自我注意機(jī)制，但由于高分辨率的不穩(wěn)定訓(xùn)練行為，生成的樣本仍遭受一些偽影的影響。為了減輕不穩(wěn)定的訓(xùn)練行為，使用了兩個(gè)時(shí)間尺度的更新規(guī)則。為上一層的特征圖，其中Nj是特征圖中的位置數(shù)。使用的權(quán)重αj計(jì)算模型在特征圖x中jth的位置，其中Wk是1×1卷積模塊。

使用權(quán)重αj，通過加權(quán)平均將所有位置的特征分組來獲取全局特征（global attention pooling）。

第i個(gè)位置zi的最終重定義的特征為：

其中，Wv執(zhí)行特征變換以捕獲通道方面的依賴關(guān)系。逐個(gè)廣播元素添加用于將全局上下文特征聚合到每個(gè)位置的特征。

本文生成的皮膚癌病變圖像特征來自于在合成網(wǎng)絡(luò)中學(xué)習(xí)到的各種圖像的特征以及最初在混合規(guī)則中設(shè)置的潛在代碼。合成網(wǎng)絡(luò)學(xué)習(xí)到的主要特征是：（1）皮膚癌病變圖像中的頭發(fā)，（2）皮膚癌病變的顏色，以及（3）皮膚癌病變的形狀和面積。引入噪聲后，可以從合成網(wǎng)絡(luò)的卷積層逐層學(xué)習(xí)皮膚癌病變圖像的樣式，并將其與接收到的噪聲結(jié)合起來以生成新的皮膚癌病變圖像，并進(jìn)一步擴(kuò)大ISIC2019的隨機(jī)性和多樣性。圖5 顯示了SA-StyleGAN的網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 SA-StyleGAN的結(jié)構(gòu)示意圖Fig.5 Structure diagram of SA-StyleGAN

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，使用現(xiàn)有知識(shí)來解決不同但相關(guān)的領(lǐng)域問題[19]。遷移學(xué)習(xí)的目的是利用現(xiàn)有數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，然后將預(yù)訓(xùn)練的模型直接應(yīng)用于目標(biāo)數(shù)據(jù)集的訓(xùn)練[20]。使用SE-ResNeXt-50在1 000個(gè)類別的ImageNet數(shù)據(jù)集[21]上預(yù)先訓(xùn)練了模型參數(shù)，之后調(diào)整了卷積層的預(yù)訓(xùn)練參數(shù)來初始化網(wǎng)絡(luò)參數(shù)。通過遷移學(xué)習(xí)可以顯著提高分割模型的精度。

1.4 SE-ResNeXt-50

SE（Squeeze-and-Excitation）模塊[22]可通過顯式建模通道之間的相互依賴關(guān)系，自適應(yīng)地重新校準(zhǔn)各通道的特征響應(yīng)。這些塊可以堆疊在一起，形成SENet 架構(gòu)，在不同的數(shù)據(jù)集都有很好的泛化能力，并為現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)帶來顯著的性能改善。

圖6 是SE 模塊的結(jié)構(gòu)示意圖。給定一個(gè)輸入x∈，其特征通道數(shù)為c1，通過一系列卷積等一般變換(Ftr()) 后得到一個(gè)特征通道數(shù)為c2的輸入uc。之后是壓縮（Squeeze）操作Fsq(?)，把每個(gè)輸入的皮膚癌病變特征圖的空間維度從H×W壓縮到1。之后通過全局平均池化層完成，順著空間維度來進(jìn)行特征c1壓縮，將每個(gè)二維的特征通道變成一個(gè)具有整體卷積層的感受野實(shí)數(shù)zc：

圖6 特征壓縮與激發(fā)模塊結(jié)構(gòu)示意圖Fig.6 Structure diagram of SE module

zc表征著在特征通道上響應(yīng)的全局分布，而且使得靠近輸入的層也可以獲得整體的感受野，之后將輸出的維度和輸入的特征通道數(shù)相匹配。

激發(fā)操作（Excitation）Fex(?,w) 是通過一個(gè)bottleneck結(jié)構(gòu)來捕捉不同通道的內(nèi)部依賴，來分析得到特征通道的裁剪系數(shù)sc。通過參數(shù)w來為每個(gè)特征通道生成權(quán)重，δ為sigmoid激活函數(shù)。

最后是重置權(quán)重的操作，本文將激發(fā)操作的輸出權(quán)重看作是經(jīng)過特征選擇后的每個(gè)特征通道的重要程度，然后通過Fscale()逐通道加權(quán)到先前的特征上，完成在通道維度上的對(duì)原始特征的重標(biāo)定。

ResNeXt[23]是一種簡單、高度模塊化的圖像具有多分支結(jié)構(gòu)的分類網(wǎng)絡(luò)結(jié)構(gòu)，通過重復(fù)一個(gè)聚合了一組具有相同拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)換的構(gòu)建塊來進(jìn)行構(gòu)建。

如圖7 所示，ResNeXt 的主要結(jié)構(gòu)由四種Residual block（RB）構(gòu)成，首先經(jīng)過7×7 的卷積層與3×3 的最大池化層，之后分別經(jīng)過3個(gè)RB1、4個(gè)RB2、6個(gè)RB3、3個(gè)RB4，在經(jīng)過最后的全局平均池化全連接層后，得到最后的皮膚癌病變分類結(jié)果。ResNeXt結(jié)構(gòu)如圖8所示。

圖7 四種殘差塊（RB）的結(jié)構(gòu)示意圖Fig.7 Structure diagram of four residual block（RB）

圖8 ResNeXt的結(jié)構(gòu)示意圖Fig.8 Structure diagram of ResNeXt

為了提高模型的準(zhǔn)確率，傳統(tǒng)的方法主要是增加網(wǎng)絡(luò)的深度或?qū)挾龋请S著超參數(shù)數(shù)量的增加，網(wǎng)絡(luò)設(shè)計(jì)的難度和時(shí)間空間復(fù)雜度也會(huì)增加。因此本文提出的SE-ResNeXt結(jié)構(gòu)可以在不增加參數(shù)復(fù)雜度的前提下提高準(zhǔn)確率，同時(shí)還減少了超參數(shù)的數(shù)量。從工程應(yīng)用場景上來分析，本生成分類模型主要的應(yīng)用場景為醫(yī)院皮膚科信息科室，主要用于高效區(qū)分各種難以區(qū)分的臨床皮膚病變病例，及時(shí)地對(duì)患者的病情進(jìn)行識(shí)別分析，提高黑色素瘤患者的存活率，如圖9。

圖9 初始ResNeXt與改進(jìn)ResNeXt的對(duì)比圖Fig.9 Comparison of initial ResNeXt and improved ResNeXt

本文使用了Angular SoftMax（A-SoftMax）損失[24]作為分類模型的損失函數(shù)，它引入了歸一化權(quán)重，零偏置和角余量的概念?？梢詳U(kuò)大不同類樣本間的距離，縮小同類樣本間的距離。A-SoftMax損失公式如下：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文實(shí)驗(yàn)所采用的數(shù)據(jù)集是國際皮膚影像協(xié)作組織ISIC2019 挑戰(zhàn)賽[25-27]公開使用的皮膚病圖像數(shù)據(jù)集，該數(shù)據(jù)集包括25 331 張訓(xùn)練圖片和8 239 張測試圖片。實(shí)驗(yàn)過程中，本文隨機(jī)從5 066 張訓(xùn)練圖片中抽取其20%作為驗(yàn)證集，參考其驗(yàn)證結(jié)果來對(duì)模型進(jìn)行調(diào)節(jié)，將剩下的20 265張圖像80%作為訓(xùn)練數(shù)據(jù)集，在訓(xùn)練過程中對(duì)訓(xùn)練數(shù)據(jù)使用SA-StyleGAN進(jìn)行數(shù)據(jù)樣本擴(kuò)充，對(duì)驗(yàn)證集和測試集數(shù)據(jù)不做數(shù)據(jù)增強(qiáng)操作。最后在測試集上進(jìn)行測試得到最終的分類結(jié)果，根據(jù)其輸出來計(jì)算分類評(píng)估指標(biāo)。

2.2 預(yù)處理

本文使用訓(xùn)練集中每種類型皮膚癌病變的數(shù)據(jù)來生成更多的樣本，并將其納入實(shí)驗(yàn)中。通過SA-StyleGAN對(duì)8 種類型的皮膚癌病變圖像分別生成1 000 張圖片，并邀請(qǐng)專業(yè)的檢查專家對(duì)其進(jìn)行區(qū)分。結(jié)果表明，生成的皮膚癌病變圖像與真實(shí)的ISIC2019圖像相差不大，可以作為訓(xùn)練數(shù)據(jù)集。

2.3 性能指標(biāo)

2.3.1 生成圖像結(jié)果性能指標(biāo)

Inception score（IS）[28]是GAN生成的圖像質(zhì)量的量度，它使用預(yù)訓(xùn)練的初始網(wǎng)絡(luò)[29]通過計(jì)算來提取生成的圖像特征：

DKL()、p(y|x)、p(y)、y、x分別表示KL 散度公式、樣本的條件標(biāo)簽分布、從所有樣本獲得的邊際分布、給定圖片以及圖片中的主要對(duì)象。高值表示樣本圖像類似于特定的ImageNet類別。

Fréchet inception distance（FID）[30]將一組生成的圖像嵌入到由特定起始層或任何CNN[29]表示的特征空間中。它使用連續(xù)的多元高斯分布來表示實(shí)際數(shù)據(jù)和生成數(shù)據(jù)的嵌入特征分布，并且這兩個(gè)高斯分布之間的Fréchet距離是通過以下公式計(jì)算的：

μr和Cr分別表示實(shí)際數(shù)據(jù)的均值和協(xié)方差，而μg和Cg分別表示所生成數(shù)據(jù)的均值和協(xié)方差。由于FID具有良好的可識(shí)別性、魯棒性和計(jì)算效率，因此它是GAN的良好度量。

2.3.2 分類結(jié)果性能指標(biāo)

為了全面評(píng)估模型的分類性能，使用了均衡權(quán)重多類精確度（BMA）、敏感度（SE）、平均精度（AP）、特異性（SP）、骰子系數(shù)（DC）、曲線下面積（AUC）作為評(píng)估指標(biāo)。

NTP、NTN、NFP、NFN、p、r、TPR、FPR、C分別表示真陽性、真陰性、假陽性、假陰性、精度、召回率、真陽性率、假陽性率，ISIC2019中皮膚癌病變的類別數(shù)。

2.4 結(jié)果與分析

為了更好地驗(yàn)證本文的實(shí)驗(yàn)結(jié)果，使用SA-StyleGAN、StyleGAN[18]、PGAN[31]、DC-GAN[32]、LAPGAN[33]和GAN[34]分別生成1 000 了個(gè)皮膚癌病變圖像，然后對(duì)樣品進(jìn)行20次評(píng)估。實(shí)驗(yàn)結(jié)果如表1和圖10所示。

表1 各模型生成的皮膚癌病變圖像性能指標(biāo)對(duì)比Table 1 Comparison of performance indexes of skin cancer lesion images generated by each model

圖10 不同對(duì)抗生成網(wǎng)絡(luò)生成的樣本圖像Fig.10 Sample images generated by different generative adversarial networks

由表1可知，由SA-StyleGAN生成的皮膚癌樣本圖像的IS值（越高越好）最高，達(dá)到3.37。比其他五種方法的IS值分別高0.26、1.02、0.89、1.23、1.84，所提出方法的FID值（越低越好）最低，達(dá)到0.83，比其他五種方法分別低1.78、0.52、1.01、1.59、3.04。精確度和查全率的值都在0 到1 的范圍內(nèi)，接近1 的值表示良好的結(jié)果。與其他五個(gè)模型相比，SA-StyleGAN 在四個(gè)指標(biāo)上得分最高，這表明SA-StyleGAN 生成的圖像質(zhì)量更高，且網(wǎng)絡(luò)性能更出色。

圖11顯示了SA-StyleGAN生成的一些皮膚癌病變圖像。

圖11 SA-StyleGAN生成的皮膚癌病變圖像Fig.11 Skin cancer lesion images generated by SA-StyleGAN

在經(jīng)過100 個(gè)epoch 后，整個(gè)模型產(chǎn)生了良好的結(jié)果，測試損失達(dá)到最小，相應(yīng)的測試BMA 為0.947 1。表2 顯示了不同類型皮膚癌病變的BMA、AUC、AP、SE、SP、DC的結(jié)果。

表2 在ISIC2019數(shù)據(jù)集上的分類結(jié)果Table 2 Classification results in ISIC2019 test dataset

表3 顯示了不同神經(jīng)網(wǎng)絡(luò)在ISIC2019 數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果，可以看出本文使用的SE-ResNeXt-50在獲得了最高精度的情況下，參數(shù)量較少且訓(xùn)練時(shí)間較短，在保證高精確分類結(jié)果的同時(shí)，也兼?zhèn)淞烁咝У倪\(yùn)算效率。

表3 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果Table 3 Classification results in ISIC2019 test dataset

混淆矩陣（也稱為誤差矩陣）是準(zhǔn)確性評(píng)估的標(biāo)準(zhǔn)格式。皮膚癌病變分類模型輸出分為八類，因此用8×8矩陣表示，圖12顯示了ISIC2019分類結(jié)果的混淆矩陣。

圖12 分類結(jié)果的均值混淆矩陣Fig.12 Confusion matrix of average classification results

本文在不同的神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)集中對(duì)SA-StyleGAN進(jìn)行了測試，測試的結(jié)果如表4～6所示。

表4 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集中分類的結(jié)果Table 4 Classification results of different neural networks in ISIC2019 data set

表5 在ISIC2019中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 5 Classification results of using SA-StyleGAN for sample augmentation in ISIC2019

通過表4～6 可以看出，在ISIC2019 中，不同的神經(jīng)網(wǎng)絡(luò)在使用了本文提出的SA-StyleGAN 進(jìn)行數(shù)據(jù)及樣本擴(kuò)充之后得到的分類結(jié)果比沒有使用時(shí)的分類結(jié)果有顯著的提升，CNN、RNN-CNN、ResNet、DenseNet、SE-ResNeXt-50 使用了SA-StyleGAN 的結(jié)果比沒有使用的結(jié)果分別高2.12、3.42、2.06、2.12、3.92 個(gè)百分點(diǎn)。在ImageNet數(shù)據(jù)集中的分類結(jié)果表示，SA-StyleGAN在其他分類任務(wù)數(shù)據(jù)集中也可以得到很好的效果來輔助分類。

表6 在ImageNet中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 6 Classification results of using SA-StyleGAN for sample augmentation in ImageNet

表7表明，本文方法的BMA比Guissous等[35]提出的DenseNet-Inception-v3高6.71個(gè)百分點(diǎn)，比Pacheco等[36]提出的基于CNN 的整體分類模型高4.61 個(gè)百分點(diǎn)，比Nahata等[37]提出的Inception-ResNet高3.71個(gè)百分點(diǎn)，比基于Gessert 等[38]提出的深度學(xué)習(xí)模型集合的分類模型高3.21個(gè)百分點(diǎn)。與現(xiàn)有研究相比，本文提出方法得到了更精確的分類BMA，且生成了高質(zhì)量的皮膚癌病變樣本圖像。

表7 在ISIC2019數(shù)據(jù)集上本文方法與最新現(xiàn)有研究的結(jié)果對(duì)比Table 7 Comparison of results of proposed method with the latest existing research on ISIC2019 data set

在本文中，使用SE-ResNeXt-50解決了當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)增加時(shí)由反向傳播引起的梯度消失。在引入角余量，歸一化權(quán)重和零偏差之后，新?lián)p失函數(shù)在ISIC2019分類任務(wù)中實(shí)現(xiàn)了良好的分類精度。實(shí)現(xiàn)了最大的類內(nèi)樣本距離小于最小的類內(nèi)樣本距離的識(shí)別標(biāo)準(zhǔn)，減少了數(shù)據(jù)集內(nèi)的類內(nèi)不平衡的情況。使用SA-StyleGAN來生成高質(zhì)量的皮膚癌病變圖像并擴(kuò)展ISIC2019 數(shù)據(jù)集，從而有效減少皮膚癌病變數(shù)據(jù)集樣本類別內(nèi)的樣本失衡。遷移學(xué)習(xí)用于將ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練加權(quán)參數(shù)遷移到SE-ResNeXt-50來處理ISIC2019數(shù)據(jù)集，從而提高了模型的學(xué)習(xí)效率和BMA的收斂速度。

當(dāng)對(duì)模型進(jìn)行測試和仿真時(shí)，有必要在發(fā)現(xiàn)難以區(qū)分的皮膚癌病變圖像時(shí)將人工智能系統(tǒng)與皮膚科醫(yī)生的臨床經(jīng)驗(yàn)相結(jié)合。計(jì)算機(jī)輔助診斷的意義在于良好的療效和預(yù)后。它也可以協(xié)助醫(yī)生進(jìn)行臨床病理判斷和診斷。

3 結(jié)束語

本文提出了一種新的皮膚癌病變圖像生成與分類框架，使用SA-StyleGAN來進(jìn)行皮膚癌病變數(shù)據(jù)集樣本擴(kuò)充，解決了現(xiàn)有皮膚癌病變圖像數(shù)據(jù)集各類樣本數(shù)量、權(quán)重不均衡，圖像不清晰且質(zhì)量差的問題，為分類模型提供了高質(zhì)量的訓(xùn)練樣本圖像。本文SA-StyleGAN在ISIC2019 皮膚癌病變數(shù)據(jù)集的實(shí)驗(yàn)生成樣本圖像的各項(xiàng)性能指標(biāo)都顯著優(yōu)于現(xiàn)有的其他對(duì)抗生成網(wǎng)絡(luò)。本文使用的SE-ResNeXt-50 分類模型可以更好地處理樣本圖像不同層次的圖像信息，降低了神經(jīng)網(wǎng)絡(luò)分類任務(wù)的難度。本文的工作可以幫助皮膚科醫(yī)生進(jìn)行診斷，并為基于人工智能的皮膚鏡圖像分析提供有價(jià)值的參考。在未來的工作中，將致力于將本文的生成與分類框架用于其他樣本數(shù)量不足且樣本圖像質(zhì)量較差的疾病數(shù)據(jù)集，另一個(gè)重點(diǎn)將是進(jìn)一步加強(qiáng)和改進(jìn)自動(dòng)分類系統(tǒng)。將致力于將該計(jì)算機(jī)輔助診斷系統(tǒng)移植到移動(dòng)設(shè)備上，更好地為患者和皮膚科醫(yī)生服務(wù)。