基于矩陣膠囊網(wǎng)絡(luò)的皮膚鏡圖像黑色素瘤分類識別算法及研究

林凱迪，杜洪波*，王鴻菲，朱立軍

(1.沈陽工業(yè)大學(xué) 理學(xué)院，沈陽 110870； 2.北方民族大學(xué) 信息與計算科學(xué)學(xué)院，銀川 750021)

據(jù)世界衛(wèi)生組織統(tǒng)計，每年有1/3的癌癥是皮膚癌.近年來，我國的皮膚癌發(fā)病率逐年提高，但目前全國的皮膚科醫(yī)生僅有2萬多名，存在嚴(yán)重短缺和分布不均的情況，同時皮膚病種類多樣，有2 000多種，存在著不同疾病相似的癥狀，同一疾病不同的癥狀，這都極大地阻礙了醫(yī)生的診斷，尤其是在醫(yī)療資源不發(fā)達(dá)的地方，皮膚病的確診率非常低[1].而皮膚鏡是一種無創(chuàng)性顯微圖像分析技術(shù)在皮膚癌早期的診斷和篩查中有顯著作用[2-4].因此，運用皮膚鏡圖像來進行計算機輔助診斷技術(shù)也應(yīng)運而生，并得到了廣泛的應(yīng)用.

Ballerini等[5]對K最近鄰算法進行改進，并實現(xiàn)了皮膚鏡圖像的分類.Celebi等[6]先對皮膚鏡圖像做分割處理，再提取病灶的特征，然后使用支持向量機進行二分類，實現(xiàn)了惡性黑色素瘤的識別.以上方法均需要人工提取病灶的特征.隨著深度學(xué)習(xí)的發(fā)展，研究人員將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到皮膚鏡圖像的檢測中.與傳統(tǒng)計算機輔助檢測方法相比，深度學(xué)習(xí)方法具有兩種顯著優(yōu)勢：① 自動提取特征；② 識別準(zhǔn)確率更高.Codella等[7]將卷積神經(jīng)網(wǎng)絡(luò)與支持向量機結(jié)合，實現(xiàn)了皮膚鏡圖像中黑色素瘤的識別.Kawahara等[8]使用改進的AlexNet網(wǎng)絡(luò)來提取皮膚病圖像中的特征，再結(jié)合支持向量機進行圖像的識別.李航等[9]使用深度殘差網(wǎng)絡(luò)提取皮膚鏡圖像的特征，并采用支持向量機進行分類任務(wù)，得到了85%的準(zhǔn)確率.

但是，對于皮膚鏡圖像的識別與分類問題，由于基于卷積神經(jīng)網(wǎng)絡(luò)的方法在特征提取方面的能力有限，還存在許多缺點和不足，黑色素瘤的識別準(zhǔn)確率并不理想.膠囊網(wǎng)絡(luò)是Hinton等[10]于2017年提出的一種新型深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，將神經(jīng)元由標(biāo)量提升為向量.用一組神經(jīng)元組成可以表示特征(或?qū)嶓w)間的空間關(guān)系以及特征(或?qū)嶓w)存在的概率來表示膠囊.動態(tài)路由算法使用路由迭代的方式連接不同隱藏層之間的膠囊，使膠囊以更少的模型參數(shù)獲得更強的泛化能力.李勵澤等[11]使用該模型進行了色素新皮膚病識別的研究，準(zhǔn)確率達(dá)到82.24%.

隨后，Hinton于2018年提出了使用EM(expectation-maximization)算法的矩陣膠囊網(wǎng)絡(luò)[12]，其膠囊包括姿態(tài)矩陣和激活概率,感受野的增加使得該網(wǎng)絡(luò)可以擬合復(fù)雜圖像.因此，本文將特征表征能力更強的矩陣膠囊網(wǎng)絡(luò)應(yīng)用到皮膚鏡圖像的分類中，實驗數(shù)據(jù)采用國際皮膚成像組織(international skin imaging collaboration,ISIC)2017年公布的圖像，基于TensorFlow深度學(xué)習(xí)框架的結(jié)果表明，使用矩陣膠囊網(wǎng)絡(luò)可以達(dá)到更高的準(zhǔn)確率.

1 矩陣膠囊網(wǎng)絡(luò)

1.1 基礎(chǔ)結(jié)構(gòu)

矩陣膠囊網(wǎng)絡(luò)由卷積層、初始膠囊層、卷積膠囊層和全連接層組成[10].其結(jié)構(gòu)如圖1所示，該模型以大小為5×5的卷積層開始，具有32個通道(A=32)，步長為2，采用ReLU非線性函數(shù)進行激活.初始膠囊層利用1×1×32×(4×4+1)的卷積核計算得到，通道數(shù)為32(B=32)，4×4是姿態(tài)矩陣的大小，1是激活概率；初始膠囊層后是兩個3×3卷積膠囊層(K=3)，每個膠囊層有32個膠囊類型(C=D=32)，步長分別為2和1.最后一層卷積膠囊層連接到最終的膠囊層，每個輸出級別由動態(tài)路由規(guī)則計算得到一個輸出膠囊[13].

圖1 矩陣膠囊網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Matrix capsule network structure

1.2 動態(tài)路由規(guī)則

假設(shè)膠囊j∈ΩL+1的姿態(tài)矩陣服從正態(tài)分布，則可以用分布的均值表示該姿態(tài)矩陣的輸出.將L層膠囊i的輸出與轉(zhuǎn)換矩陣Wij的乘積作為膠囊j姿態(tài)矩陣的分布的觀測值，而每個L層膠囊i連接到膠囊j的概率Rij則是隱藏參數(shù)，因此使用了EM算法來實現(xiàn)動態(tài)路由規(guī)則[13].EM算法通過迭代的方式進行參數(shù)估計，由兩步構(gòu)成.E步:求期望(expectation)，根據(jù)M步的結(jié)果更新膠囊i到膠囊j的連接概率；M步：求極大(maximization)，計算L+1層膠囊j姿態(tài)矩陣的分布期望與是否激活.

首先，初始化膠囊層間的連接概率.假設(shè)ΩL為L層膠囊的集合,ΩL+1表示L+1層膠囊的集合，i,j表示不同的膠囊且?i∈ΩL,j∈ΩL+1，則：

(1)

在M步，首先更新膠囊i到膠囊j的連接概率：

Rij=Rij×ai，

(2)

其中，ai為膠囊i的激活概率.接著對膠囊j的均值方差進行點估計：

(3)

(4)

?h:aj←logistic(λ(βa-∑hcosth)).

(5)

其中，βu,β,λ在訓(xùn)練中得出.接下來進入E步的計算.根據(jù)M步所估計的期望求膠囊i的輸出屬于膠囊j的分布的概率：

(6)

其中，Pj表示分布概率.然后根據(jù)Pj，更新連接概率Rij：

(7)

E步結(jié)束.最后，對以上兩個步驟迭代得到動態(tài)路由結(jié)果.

2 實驗與分析

2.1 實驗環(huán)境

實驗仿真環(huán)境為python3.6，Anaconda3，TensorFlow1.15，Keras2.2.4.硬件環(huán)境為深度學(xué)習(xí)GPU運算塔式服務(wù)器主機，采用可支持兩個INTEL XEON SP的可擴展處理器(10核/20線程2.2 G)，內(nèi)存為雙16 G(24個DIMM插槽)，GPU使用1塊GeForce RTX3070.

2.2 實驗數(shù)據(jù)集

皮膚鏡是一種表皮透光顯微鏡，醫(yī)生診斷可疑皮膚病變的常見非侵入性方法便是采用分析患者皮膚鏡圖像的方法.使用手持式放大設(shè)備，讓肉眼看不見的皮膚結(jié)構(gòu)可以看見，以此來區(qū)分惡性皮膚病變與良性黑素細(xì)胞痣，在診斷黑色素瘤方面尤為重要[14].為了增強皮膚病變區(qū)域的成像清晰度，皮膚鏡設(shè)備包括可放大10到14倍的高質(zhì)量鏡片和照明系統(tǒng).皮膚鏡及皮膚鏡下的皮膚如圖2和圖3所示.

圖2 非黑色素瘤示例Fig.2 Example of non-melanoma

圖3 黑色素瘤示例Fig.3 Example of melanoma

皮膚鏡圖像是交叉偏振濾光鏡(非接觸式皮膚鏡)或油/凝膠界面(浸入式皮膚鏡)等專業(yè)設(shè)備產(chǎn)生的圖片.臨床圖像是由常規(guī)的方法獲取的圖片，如手機或普通相機捕獲的圖像.從臨床圖像相比，皮膚鏡圖像的成像質(zhì)量更高，有利于圖像處理，因此本文使用皮膚鏡圖像作為實驗數(shù)據(jù).

皮膚鏡圖像數(shù)據(jù)集因為其數(shù)據(jù)的專業(yè)性，分類標(biāo)記的過程需要醫(yī)生專家的參與，是成本很高的數(shù)據(jù)集.本文采用國際皮膚成像合作組織ISIC(International Skin Imaging Collaboration)于2017年提供的數(shù)據(jù)集，共2 000張皮膚鏡圖像.訓(xùn)練集和測試集中的黑色素瘤與非黑色素瘤的分布如表1所示.

表1 數(shù)據(jù)集中黑色素瘤與非黑色素瘤數(shù)量Tab.1 Number of melanoma and non-melanoma in the data set

3 實驗仿真及分析

3.1 結(jié)果分析

為了使訓(xùn)練對模型的初始化和超參數(shù)不那么敏感，采用傳播損失(spread loss)作為反向傳播的損失函數(shù).第i類(不是真標(biāo)簽)的損失被定義為：

Li=(max(0,m-(at-ai)))2，

(8)

其中，at是目標(biāo)類的激活值，ai是類i的激活值.總損失為：

(9)

模型訓(xùn)練的傳播損失結(jié)果如圖4所示.同時，輸出模型的重構(gòu)損失如圖5所示.

圖4 傳播損失 圖5 重構(gòu)損失Fig.4 Spread loss Fig.5 Reconstruction loss

可以看出，當(dāng)訓(xùn)練次數(shù)不斷增加，損失值逐漸趨于0.結(jié)合學(xué)習(xí)率(圖6)的結(jié)果圖可以得知，模型在訓(xùn)練到4 000步時達(dá)到穩(wěn)定狀態(tài)，模型開始收斂.

圖6 學(xué)習(xí)率 圖7 測試集精確度Fig.6 Learning rate Fig.7 Test set accuracy

測試集的識別準(zhǔn)確率如圖7所示，平均準(zhǔn)確率為98.2%.這說明，矩陣膠囊網(wǎng)絡(luò)在皮膚病識別上的準(zhǔn)確率較高，有很大的應(yīng)用潛力.

3.2 算法性能驗證

F1指數(shù)是根據(jù)準(zhǔn)確率和召回率給出的一種綜合評價，是兩者的調(diào)和均值.實驗采用F1指數(shù)作為模型性能的評價指標(biāo).

(10)

(11)

其中，P為準(zhǔn)確率，R為召回率.TP表示真陽性，F(xiàn)P表示假陽性，F(xiàn)N表示假陰性.F1的計算公式如下：

(12)

實驗結(jié)果如表2所示.

表2 評價指標(biāo)結(jié)果Tab.2 Evaluation index result

評價一個算法的優(yōu)異常常選用準(zhǔn)確率，但在實際應(yīng)用中很容易實現(xiàn)一個沒有用處的算法，所以選取了F1值來衡量本文的算法，通過引入召回率，也就是被正確識別出來的個體數(shù)與該數(shù)據(jù)集的總體數(shù)的比例.由表2可知該算法的準(zhǔn)確率和召回率都較高，最終得到的F1值也較高，可見運用了矩陣膠囊網(wǎng)絡(luò)模型的穩(wěn)定性較高.

3.3 對比實驗分析

為了驗證本文模型的有效性和優(yōu)勢，選擇了卷積神經(jīng)網(wǎng)絡(luò)的AlexNet、ResNet、VGGNet以及矩陣膠囊網(wǎng)絡(luò)等網(wǎng)絡(luò)在ISIC2017數(shù)據(jù)集上進行了對比實驗.

AlexNet發(fā)展了LeNet，在2012年的ILSVRC大賽上奠定了卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域的優(yōu)勢地位；VGG網(wǎng)絡(luò)在AlexNet的基礎(chǔ)上減小了卷積核的大小，提高了網(wǎng)絡(luò)的深度，使得VGGNet有更廣泛的應(yīng)用；2015年ResNet被提出，通過提出殘差網(wǎng)絡(luò)結(jié)構(gòu)有效地解決了隨著網(wǎng)絡(luò)層數(shù)增加而產(chǎn)生的梯度消失現(xiàn)象.這幾種網(wǎng)絡(luò)模型都是卷積神經(jīng)網(wǎng)絡(luò)中有代表性的模型，本文也將通過與這幾種網(wǎng)絡(luò)結(jié)構(gòu)的實驗結(jié)果進行對比.

首先，定義識別精度如下：

(13)

其中，Acc為模型的識別精度，α為top1預(yù)測正確數(shù)，即數(shù)據(jù)集全部識別完成后得到的結(jié)果與數(shù)據(jù)集圖像本身標(biāo)簽相同的圖像數(shù)量.β為測試圖像的總數(shù).

皮膚鏡圖像數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上的分類結(jié)果如表3所示.從實驗結(jié)果可以得出以下結(jié)論：①AlexNet因網(wǎng)絡(luò)結(jié)構(gòu)較為簡單所以耗時最短，占用內(nèi)存最少，同時識別精度也較低；VGGNet通過小的卷積核的堆疊來替換大的卷積核的辦法來減少參數(shù)量，提高了其學(xué)習(xí)能力，獲得了較好的識別精度；ResNet的殘差網(wǎng)絡(luò)結(jié)構(gòu)在VGGNet的基礎(chǔ)上進一步提高了識別精度，并且減少了所耗時長.② 在識別精度上，使用EM算法的矩陣膠囊網(wǎng)絡(luò)明顯高于其他網(wǎng)絡(luò)模型，證明了矩陣膠囊網(wǎng)絡(luò)在皮膚病識別領(lǐng)域的優(yōu)勢，同時也說明矩陣膠囊網(wǎng)絡(luò)在圖像識別領(lǐng)域中有更大的應(yīng)用潛力.③VGGNet16、CapsNet和CapsNet(EM)三種網(wǎng)絡(luò)更耗時，尤其是CapsNet(EM)，因此，如何降低矩陣膠囊網(wǎng)絡(luò)的耗費時長，提高網(wǎng)絡(luò)的效率成為進一步研究的一個方向.④ 從占用內(nèi)存的情況來看，矩陣膠囊網(wǎng)絡(luò)占用更多的內(nèi)存，比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型有較大的差距，在以后的研究中應(yīng)有所改進.

表3 不同模型上的分類結(jié)果Tab.3 Classification results on different models

4 結(jié)論

主要研究了對黑色素瘤的分類識別模型，創(chuàng)新性的將矩陣膠囊網(wǎng)絡(luò)運用到皮膚病診斷領(lǐng)域，通過搭建訓(xùn)練CapsNet(EM)網(wǎng)絡(luò)結(jié)構(gòu)，在ISIC2017數(shù)據(jù)集上得到了較高的識別準(zhǔn)確率，比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率高，表明矩陣膠囊網(wǎng)絡(luò)在圖像的識別處理上更有潛力，同時實驗結(jié)果的識別準(zhǔn)確率98.21%也明顯高于文獻[11]中使用向量膠囊網(wǎng)絡(luò)獲得的82.24%的識別準(zhǔn)確率，可見矩陣膠囊網(wǎng)絡(luò)有著廣泛的應(yīng)用空間，在一些對精度與準(zhǔn)確性要求較高的領(lǐng)域也更有優(yōu)勢，具有更大的應(yīng)用潛力與研究價值.