基于深度卷積神經(jīng)網(wǎng)絡(luò)的色素性皮膚病識別分類

何雪英，韓忠義，魏本征

(山東中醫(yī)藥大學(xué) 理工學(xué)院，濟南 250355)(*通信作者電子郵箱hxy0104@163.com)

0 引言

皮膚作為人體最大的器官，通常直接暴露在空氣中，使得皮膚病成為人類最常見的疾病之一，全世界30%～70%的人有與皮膚有關(guān)的健康問題[1]，僅在美國，每年就有540萬新的皮膚癌病例[2]。黑素瘤(melanoma)作為一種致死率最高的惡性皮膚腫瘤，每年導(dǎo)致的死亡人數(shù)就超過9 000[3]。早期發(fā)現(xiàn)可以將黑素瘤的5年存活率由14%提高至99%左右, 因而皮膚病的早期診斷、早期治療至關(guān)重要。

臨床上，皮膚病的早期診斷除一般的視覺篩查外，基于皮膚影像的皮膚病診斷是最常使用的一種診療手段。相比其他皮膚影像，皮膚鏡通過消除皮膚表面的反射，可以將更深層次的肉眼無法辨別的病變特征可視化，和肉眼檢查相比，可以將診斷敏感性提高10%～30%[4]，在一定程度上降低了活檢率。但基于人工的皮膚鏡圖像分析不僅耗時、費力，診斷結(jié)果易受醫(yī)生經(jīng)驗等主觀因素影響。借助于計算機輔助診斷(Computer-Aided Diagnosis, CAD)系統(tǒng)，實現(xiàn)基于皮膚鏡圖像的皮膚病的自動識別分類，可以提高診斷的效率和準(zhǔn)確率。而精準(zhǔn)地細分類，使得醫(yī)生可以根據(jù)不同病變的特殊臨床表現(xiàn)有針對性地制定最佳治療方案, 因而具有重要的現(xiàn)實意義和臨床研究價值。

然而，基于皮膚鏡圖像的皮膚病的自動識別分類是一項非常有挑戰(zhàn)性的工作：一方面，各種分類識別算法模型存在一定的局限性，總體識別率還有待進一步提高；另一方面，皮膚鏡圖像會包含諸如光照不均、黑框、毛發(fā)、皮膚紋理等噪聲，也在一定程度上影響了皮膚病變的識別，但更重要的是，皮膚病變的臨床和病理類型繁雜，病灶外觀的類間相似度高，類內(nèi)差異性大，如圖1所示, 而且當(dāng)病灶發(fā)生病變時，外觀變化比較大，甚至可以演化為其他病變類型，給皮膚病的識別分類帶來了巨大的困難。

圖1 三類色素性皮膚病變

色素性皮膚病是由于黑素細胞和黑素生成異常造成的一類常見皮膚疾病，色素的減少或增多會引起皮膚顏色的改變，因此，色素性皮膚病的識別分類難度更大。本文自動分類的三類色素性皮膚病變：黑素瘤、色素痣(nevus)和脂溢性角化病(seborrheic keratosis)，就是三類臨床上極易混淆的病變類型，如圖1所示。它們均屬于皮膚表面發(fā)生的色素性損傷，其中黑素瘤屬于惡性程度極高的一類腫瘤，色素痣屬于良性腫瘤。由于二者均是來源于黑色素細胞的一類腫瘤，臨床表現(xiàn)往往非常相似，尤其是當(dāng)色素痣發(fā)生病變時，更加難區(qū)分。脂溢性角化病也是一種良性腫瘤，但由于增生的表皮細胞內(nèi)常常有黑色素的沉著，發(fā)生炎癥或受刺激的損害與惡性黑色素瘤非常相似，臨床上通常需要通過組織病理檢查來鑒別。

有關(guān)自動分類色素性皮膚病變圖像的研究早在1987年就已出現(xiàn)在文獻[5]中。隨著皮膚鏡技術(shù)和機器學(xué)習(xí)算法的發(fā)展，基于皮膚鏡圖像分析和傳統(tǒng)機器學(xué)習(xí)算法的皮膚病分類逐漸成為了一種趨勢：文獻[6]在分割病灶后，提取形狀、顏色、紋理等特征信息，運用集成分類器實現(xiàn)黑素瘤的檢測； Barata等[7]對比說明了顏色和紋理特征在黑素瘤檢測中的不同作用； Sheha等[8]從分割的感興趣區(qū)域提取幾何和色度特征，利用Fisher和t檢驗方法選取最優(yōu)特征用于人工神經(jīng)網(wǎng)絡(luò)和支持向量機分類，實現(xiàn)了色素性皮膚病的診斷。值得注意的是，這些方法涉及一系列的圖像預(yù)處理、特征提取和選擇等繁雜且效率低下的問題，特征的設(shè)計受限于領(lǐng)域?qū)＜业膶I(yè)知識，要提取出具有區(qū)分性的高質(zhì)量特征往往存在一定的困難，有意義和有代表性的高質(zhì)量特征是皮膚病識別分類成功的關(guān)鍵因素。

隨著深度學(xué)習(xí)的發(fā)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)在計算機視覺領(lǐng)域的成功應(yīng)用[9]，為CNN在醫(yī)學(xué)圖像處理領(lǐng)域中的應(yīng)用奠定了基礎(chǔ)。深度學(xué)習(xí)是“端到端”的模型，直接學(xué)習(xí)從原始輸入到期望輸出的映射，避免了傳統(tǒng)機器學(xué)習(xí)算法中復(fù)雜的特征提取過程，而且能夠提取具有代表性的高層特征，尤其在細粒度圖像識別方面具有極大的優(yōu)勢和潛力。斯坦福大學(xué)人工智能實驗室采用深度學(xué)習(xí)方法對皮膚鏡圖像和臨床皮損圖像進行自動分類，充分利用細粒度標(biāo)簽的優(yōu)勢訓(xùn)練CNN-PA(CNN-Partitioning Algorithm)模型，對129 450幅皮膚鏡和臨床皮損圖像進行3分類和9分類，精度分別可達72.1%和55.4%，利用3類和9類標(biāo)簽訓(xùn)練的CNN粗分類結(jié)果分別為69.4%和48.9%，而兩位皮膚病專家在相應(yīng)分類任務(wù)上的平均識別結(jié)果分別為65.8%和54.15%，代表了皮膚圖像自動分析領(lǐng)域的最新研究進展，相關(guān)研究成果[10]2017年1月發(fā)表在Nature上，本文的研究在一定程度上受到該研究的啟發(fā)。文獻[11]結(jié)合深度學(xué)習(xí)和機器學(xué)習(xí)方法，設(shè)計了一個用于皮膚病灶分割和分類的系統(tǒng)； Mishra等[12]在總結(jié)對比基于皮膚鏡圖像的各種分割算法的基礎(chǔ)上，進行了黑素瘤的檢測； 文獻[13]利用VGG16網(wǎng)絡(luò)，采用三種不同的遷移學(xué)習(xí)策略，實現(xiàn)了皮膚鏡圖像的二分類任務(wù)，取得了較好的結(jié)果； Li等[14]利用兩個全卷積殘差網(wǎng)絡(luò)同時實現(xiàn)了皮膚病灶的分割和分類； 文獻[15-17]采用常用的深度學(xué)習(xí)模型實現(xiàn)了黑素瘤的檢測。然而，這些方法大都集中在皮膚病發(fā)病率較高的國家，且主要針對黑素瘤檢測相關(guān)的二分類識別，我國在這方面的研究相對較少，還缺少一個完整的針對色素性皮膚病的識別分類系統(tǒng)。

基于以上問題，本文訓(xùn)練了一個結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了基于皮膚鏡圖像的色素性皮膚病的自動識別分類。通過給不同類別設(shè)置有差異的損失函數(shù)權(quán)重來緩解數(shù)據(jù)集中存在的類別不平衡問題，提高模型的識別率，算法流程如圖2所示。采用數(shù)據(jù)增強方法[18]和遷移學(xué)習(xí)[19]來避免深度學(xué)習(xí)模型在受樣本量限制時易出現(xiàn)的過擬合問題。

圖2 模型流程

1 數(shù)據(jù)增強和遷移學(xué)習(xí)

缺乏大規(guī)模的訓(xùn)練數(shù)據(jù)，是CNN應(yīng)用于醫(yī)學(xué)圖像分類面臨的主要挑戰(zhàn)之一。深度卷積神經(jīng)網(wǎng)絡(luò)強大的表達能力，需要大規(guī)模的有標(biāo)記樣本來驅(qū)動模型訓(xùn)練，才能防止過擬合。本文所采用的數(shù)據(jù)集中，訓(xùn)練集僅包含2 000幅標(biāo)記圖像，為避免過擬合，本文采用了常用的兩種解決方案：

1)數(shù)據(jù)增強。使用不小于0.5倍原圖大小的正方形在原圖的隨機位置處摳取圖像塊；對圖像進行隨機的水平和垂直翻轉(zhuǎn)及鏡像。通過數(shù)據(jù)增強擴充了訓(xùn)練樣本的數(shù)量，增加了訓(xùn)練樣本的多樣性，不僅能夠避免過擬合，還可以提高模型的識別性能。

2)遷移學(xué)習(xí)。通過遷移學(xué)習(xí)，模型可以獲得優(yōu)化的初始參數(shù)，從而加快訓(xùn)練的速度，提高模型的識別率和泛化能力。本文使用ImageNet(約128萬幅自然圖像，1 000種類別)上預(yù)訓(xùn)練好的VGG19模型，遷移到我們的數(shù)據(jù)集上進行微調(diào)訓(xùn)練。本文將模型輸出類別數(shù)設(shè)置為3。

2 深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是一類特殊的人工神經(jīng)網(wǎng)絡(luò)，作為最常使用的深度學(xué)習(xí)模型之一，被廣泛應(yīng)用于圖像處理相關(guān)領(lǐng)域。以二維或三維圖像直接作為網(wǎng)絡(luò)的輸入，通過多個隱層結(jié)構(gòu)的變換，實現(xiàn)高層次特征的提取。這種端到端的自動學(xué)習(xí)特征的過程，避免了人工提取特征的繁雜和局限。相比全連接的神經(jīng)網(wǎng)絡(luò)，訓(xùn)練更簡單，泛化能力更好。

通過初步實驗，對比目前常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet、ResNet、GoogLeNet等，以VGGNet[20]作為本文模型的基礎(chǔ)架構(gòu)，如圖3所示。該模型在ILSVRC2014競賽中獲得定位任務(wù)的第1名和分類任務(wù)的第2名，具備良好的穩(wěn)定性和泛化性，被廣泛應(yīng)用于細粒度圖像定位與檢索[21]。

圖3 VGG19結(jié)構(gòu)

2.1 網(wǎng)絡(luò)架構(gòu)設(shè)計

輸入層 負責(zé)從數(shù)據(jù)集載入圖像，產(chǎn)生一個輸出向量作為卷積層的輸入。本文模型加載增強后的數(shù)據(jù)集，RGB3通道皮膚鏡圖像，圖像進行歸一化預(yù)處理，減去訓(xùn)練集圖像像素均值，自動縮減為224×224大小，以適應(yīng)VGGNet。

卷積層 卷積層的單元組織為特征圖(feature map)，每個單元通過一定大小的卷積核作用于上一層特征圖的局部區(qū)域，局部區(qū)域的加權(quán)和經(jīng)過ReLU非線性單元處理，獲取圖像的局部特征。同一特征圖的所有單元共享一個卷積核，而同一層的不同特征使用不同的卷積核。

本文的VGG19模型包含5個卷積塊(block)，第1、2塊內(nèi)有2個卷積層，其余3塊內(nèi)有4個卷積層，所有卷積都使用ReLU非線性激活函數(shù)。5個block的卷積核數(shù)量分別為64、128、256、512、512，每塊內(nèi)的卷積核數(shù)目相同。卷積層全部為3×3的小卷積核，采用保持輸入輸出大小相同的技巧(stride、padding均設(shè)為1)，在增強網(wǎng)絡(luò)容量和模型深度的同時減少了卷積參數(shù)的數(shù)量，降低了計算復(fù)雜度。

池化層 通過將語義上相似的特征點合并，實現(xiàn)特征降采樣，以減小下一層的輸入大小，從而減少網(wǎng)絡(luò)的參數(shù)個數(shù)，減小計算量。常見的策略有最大池化(Max-pooling)、平均池化(Mean-pooling)和隨機池化(stochastic pooling)。本文模型中每個block后面都連接一個最大池化層，大小為2×2。

此外，學(xué)習(xí)率為0.001，訓(xùn)練epoch為100。

2.2 加權(quán)Softmax損失函數(shù)

(1)

Softmax分類器的損失函數(shù)如式(2)所示：

(2)

其中1{yi=j}為指示性函數(shù)。其取值規(guī)則為：

由于不同類別的訓(xùn)練樣本數(shù)目之間的偏差造成的數(shù)據(jù)不平衡，是醫(yī)學(xué)圖像處理過程中普遍存在的問題。不平衡的訓(xùn)練樣本會導(dǎo)致訓(xùn)練模型側(cè)重樣本數(shù)目較多的類別，而“輕視”樣本數(shù)目較少的類別，這樣模型在測試數(shù)據(jù)上的泛化能力就會受到影響。

本文通過在Softmax損失函數(shù)中設(shè)置權(quán)重系數(shù)w，讓小類樣本乘以較大的權(quán)重，大類樣本乘以較小的權(quán)重，來緩解本文數(shù)據(jù)集中存在的類別不平衡問題，從而提高模型的識別率。加權(quán)Softmax損失函數(shù)可表示為式(3)：

(3)

其中：wj=M/Mj表示損失函數(shù)的權(quán)重，M表示訓(xùn)練樣本的總數(shù)量，Mj表示訓(xùn)練樣本所屬類別的樣本數(shù)量。最后通過隨機梯度下降法最小化誤差函數(shù)。

3 實驗與結(jié)果

3.1 數(shù)據(jù)集

本文采用ISIC(International Skin Imaging Collaboration)Archive公開數(shù)據(jù)集ISIC2017 (https://isic-archive.com/)，該數(shù)據(jù)集包括3個獨立的皮膚鏡圖像數(shù)據(jù)集：訓(xùn)練集(2 000幅)、驗證集(600幅)和測試集(150幅)，每個數(shù)據(jù)集包含三種類型的色素性皮損圖像：黑素瘤、色素痣和脂溢性角化病。三種類型的皮膚鏡腫瘤圖像在三個數(shù)據(jù)集中的具體分布情況見表1, 實驗在數(shù)據(jù)增強后的數(shù)據(jù)集上開展。

表1 3種類別的腫瘤圖像在三個數(shù)據(jù)集上分布情況

3.2 評價標(biāo)準(zhǔn)

為全面衡量模型的分類性能，除了采用識別正確率(accuracy)這一常用評價標(biāo)準(zhǔn)外，同時考慮皮膚病識別的召回率，即敏感性(sensitivity)。

敏感性的計算公式：

其中：q表示類別個數(shù)，TP表示真正例(True Positive)，F(xiàn)N表示假反例(False Negative)。當(dāng)accuracy和SE的取值都較大時，說明模型具有較好的識別分類性能。

3.3 實驗和結(jié)果

為保證模型對未知數(shù)據(jù)的泛化能力，增強后的訓(xùn)練集、驗證集和測試集仍為三個獨立的數(shù)據(jù)集，互不交叉。訓(xùn)練過程中利用驗證集實時評測模型的預(yù)測性能，調(diào)節(jié)參數(shù)，優(yōu)化模型，最后選取驗證集準(zhǔn)確率最高的那一輪訓(xùn)練結(jié)果作為最終的模型，用于測試集數(shù)據(jù)的預(yù)測。

為驗證本文模型的有效性，另外選擇ResNet-34[22]和GoogLeNet[23]兩種模型作對比實驗。為驗證設(shè)置類別權(quán)重對緩解類別不平衡問題的效果，在各個模型上分別采用設(shè)置權(quán)重和不設(shè)置權(quán)重兩種訓(xùn)練策略。本文模型在Lenovo ThinkStation，Intel i7 CPU，NVIDIA Quadro K2200GPU上訓(xùn)練，使用PyTorch框架。

本文模型與其他深度學(xué)習(xí)模型在兩種訓(xùn)練策略上的實驗對比結(jié)果見表2，其中w表示訓(xùn)練過程中設(shè)置的不同類別的權(quán)重。由表2可知本文方法的識別正確率和敏感性值均高于其他方法的對應(yīng)值，并且在不設(shè)置權(quán)重時，本文模型的識別正確率和敏感性結(jié)果也均高于其他模型的對應(yīng)結(jié)果，表明本文方法的有效性。對比每類方法設(shè)置權(quán)重和不設(shè)置權(quán)重的結(jié)果可知，敏感性均有所提高，識別正確率除ResNet外也均有所提升，表明設(shè)置權(quán)重能夠一定程度上緩解類別不平衡問題。

表2 不同模型在兩種訓(xùn)練策略下的對比結(jié)果

三種模型采用兩種訓(xùn)練策略時，每一類的具體識別結(jié)果對比見圖4。由圖4可知：本文方法大幅提高了黑色素瘤識別的正確率，同時在均衡另外兩類的識別正確率的基礎(chǔ)上，提高了它們的平均識別正確率，進一步表明本文方法的有效性。另外，由圖4還可以看出，黑素瘤的總體識別正確率偏低，溢脂性角化病和色素痣的識別正確率普遍較高，這和本文數(shù)據(jù)集的分布有一定的關(guān)系，同時也說明黑素瘤與另外兩類病變的極度相似性。并且，所有方法的識別正確率均普遍偏低，也表明了色素性皮膚病變的區(qū)分難度較大。

圖4 不同方法下每類的識別正確率比較

4 結(jié)語

本文研究了色素性皮膚病的計算機輔助診斷，訓(xùn)練了一個結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了基于皮膚鏡圖像的色素性皮膚病的自動識別分類。本文的深度學(xué)習(xí)模型準(zhǔn)確率更高，同時避免了人工提取特征的復(fù)雜性和局限性。通過給不同類別樣本設(shè)置不同的損失權(quán)重系數(shù)，在一定程度上緩解了數(shù)據(jù)不平衡帶來的問題，提高了模型的性能。采用的數(shù)據(jù)增強和遷移學(xué)習(xí)方法有效避免了模型在訓(xùn)練樣本不足時易出現(xiàn)的過擬合問題。實驗證明本文方法具有較高的識別正確率和敏感性，在一定程度上滿足了更高要求的臨床需求。