基于改進(jìn)ResNeXt的黑色素瘤識(shí)別算法

蘇炅　曾志高　易勝秋　文志強(qiáng)　朱文球　袁鑫攀

關(guān)鍵詞：注意力機(jī)制；黑色素瘤識(shí)別；輔助診斷；遷移學(xué)習(xí)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）20-0036-04

0 引言

皮膚癌是一種危險(xiǎn)的疾病，早期發(fā)現(xiàn)是提高生存率的必要條件。皮膚色素性惡性病變的死亡率非常高，尤其是黑色素瘤，發(fā)病率和死亡率更高。據(jù)統(tǒng)計(jì)，美國(guó)在2022年有99 780名成年人（57 180名男性和42600 名女性）被診斷出患有皮膚侵襲性黑色素瘤。2020年全球有324 635人被診斷患有黑色素瘤。黑色素瘤是日常生活中常見(jiàn)癌癥。隨著人們年齡的增長(zhǎng)，黑色素瘤的發(fā)展更加常見(jiàn)。而且黑色素瘤和非黑色瘤在視覺(jué)上極為相似，很難分辨清楚。初期是一類可治愈的疾病，而且治愈率也很高，但等到晚期發(fā)現(xiàn)，生存率就會(huì)大大降低，并且治療后生存期很短，一般治療后存活時(shí)間只有6～9個(gè)月[1]。

黑色素瘤診斷一般是醫(yī)生對(duì)皮膚鏡圖像進(jìn)行目視檢查，存在人為因素和傳統(tǒng)的手工特征提取難以提取等問(wèn)題。由于標(biāo)記手段的限制，皮膚病變的大規(guī)模標(biāo)注數(shù)據(jù)一般較難獲得。近年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)也在圖像分類方向取得了很大進(jìn)展，它也有能力幫助醫(yī)生及專家做出正確的決定，從而高精度地診斷患者的病情。這些模型可以通過(guò)訪問(wèn)更多的數(shù)據(jù)來(lái)提高其性能，主要任務(wù)是對(duì)圖像進(jìn)行分類。研究關(guān)于黑色素瘤識(shí)別分類結(jié)合計(jì)算機(jī)輔助診斷具有一定的價(jià)值。

斯坦福大學(xué)人工智能實(shí)驗(yàn)室和斯坦福大學(xué)醫(yī)學(xué)院與CNN深度學(xué)習(xí)方法合作，在文獻(xiàn)[2]中實(shí)現(xiàn)了對(duì)皮膚科和臨床皮膚病變圖像的自動(dòng)分類。他們使用一個(gè)單一的深度卷積神經(jīng)網(wǎng)絡(luò)GoogleNet Inceptionv3 [3] 進(jìn)行皮膚病變分類，分類精度大概是55%～72%，通過(guò)圖片特征的初篩略超過(guò)專家水平。Mijwil 等人[4]提出采用卷積神經(jīng)網(wǎng)絡(luò)模型，使用了數(shù)據(jù)集包含從2019年至2020年的ISIC（International Skin Imag?ing Collaboration）檔案中獲得的高分辨率圖像，比較三種基礎(chǔ)網(wǎng)絡(luò)來(lái)進(jìn)行實(shí)驗(yàn)，選擇出識(shí)別皮膚圖像分類的最佳架構(gòu)，并能準(zhǔn)確地將腫瘤類型分為良性或惡性。在完成所有測(cè)試之后，實(shí)驗(yàn)結(jié)果最好的架構(gòu)是InceptionV3，這項(xiàng)工作的準(zhǔn)確率約為86.90%。文獻(xiàn)[5]用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合傳統(tǒng)的機(jī)器學(xué)習(xí)方法來(lái)進(jìn)行皮膚疾病分類識(shí)別，提出了一種增強(qiáng)模型，將支持向量機(jī)作為決策的基分類器。在ISIC公開(kāi)數(shù)據(jù)集上實(shí)現(xiàn)了86%的準(zhǔn)確性，得到顯著改善。趙宸等人[6]提出了基于自注意力的樣式生成對(duì)抗網(wǎng)絡(luò)，來(lái)解決樣本不清晰等問(wèn)題，但是模型可遷移性效果不好。Ha?sib Zunair等人[7]提出了一個(gè)兩階段框架網(wǎng)絡(luò)，用于皮膚病變圖像的自動(dòng)分類，使用對(duì)抗訓(xùn)練和遷移學(xué)習(xí)進(jìn)行黑色素瘤檢測(cè)，相較之前的工作有一定提升，AUC值達(dá)到了81.18%。但是對(duì)抗訓(xùn)練的計(jì)算開(kāi)銷過(guò)高，耗時(shí)過(guò)長(zhǎng)。

基于上述分析，一些皮膚癌分類任務(wù)中深層次網(wǎng)絡(luò)容易過(guò)擬合、黑色素瘤和非黑色素瘤的區(qū)分難度大，以及黑色素瘤分類準(zhǔn)確率還有待提高等問(wèn)題，本文提出了一種改進(jìn)的ResNeXt[8]模型的黑色素瘤分類算法。該算法添加了SE注意力機(jī)制，有助于模型更準(zhǔn)確地定位和識(shí)別重點(diǎn)信息。使用遷移學(xué)習(xí)初始化網(wǎng)絡(luò)模型的部分參數(shù)，并且引入了Focal loss函數(shù)，來(lái)解決樣本不平衡的問(wèn)題。算法中使用一系列數(shù)據(jù)增強(qiáng)手段進(jìn)行訓(xùn)練，來(lái)加強(qiáng)模型的特征表達(dá)能力，進(jìn)一步提升模型的分類性能。

1 方法介紹

針對(duì)黑色素瘤與非黑色素瘤的二分類問(wèn)題，本文提出改進(jìn)的算法包括三個(gè)模塊，包括預(yù)處理模塊、ResNeXt卷積模塊、注意力機(jī)制模塊。首先使用圖像轉(zhuǎn)置，旋轉(zhuǎn)隨機(jī)調(diào)整亮度等方法進(jìn)行數(shù)據(jù)增強(qiáng)等預(yù)處理方式，再將預(yù)處理后的圖像輸入ResNeXt 卷積網(wǎng)絡(luò)，經(jīng)過(guò)特征提取后，結(jié)合注意力機(jī)制，最后利用全連接層與Softmax函數(shù)，將分類結(jié)果轉(zhuǎn)化成概率分布進(jìn)行分類識(shí)別。整個(gè)框架流程如圖1所示。

1.1 ResNext_101網(wǎng)絡(luò)層基本結(jié)構(gòu)

ResNeXt是ResNet[9]和Inception的重構(gòu)網(wǎng)絡(luò)，其基本思想是將殘差網(wǎng)絡(luò)和多尺度思想結(jié)合起來(lái)，避免了網(wǎng)絡(luò)模型過(guò)深帶來(lái)的梯度彌散現(xiàn)象。ResNeXt使用了一種介于普通卷積和深度可分離卷積的方式：用組卷積代替?zhèn)鹘y(tǒng)卷積，降低訓(xùn)練參數(shù)量。使用ResNext_101的網(wǎng)絡(luò)結(jié)構(gòu)，表示此網(wǎng)絡(luò)的深度101層。ResNeXt 的相同拓?fù)浣Y(jié)構(gòu)的分支設(shè)計(jì)有利于運(yùn)行速度提升。ResNeXt_101網(wǎng)絡(luò)層基本結(jié)構(gòu)如表1所示。

ResNeXt網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)相同，超參數(shù)也減少了很多，在同等參數(shù)規(guī)模下增加了網(wǎng)絡(luò)結(jié)構(gòu)，提高了模型的表達(dá)能力。文獻(xiàn)[10]中也用到了殘差結(jié)構(gòu)，提取皮膚鏡圖像的高維特征，使用殘差學(xué)習(xí)能防止網(wǎng)絡(luò)梯度退化、降低網(wǎng)絡(luò)訓(xùn)練難度，圖2為ResNeXt基本模塊。

通過(guò)相同的拓?fù)浣Y(jié)構(gòu)增加了分支卷積方法，路徑為分支的數(shù)目，使用整個(gè)結(jié)構(gòu)能夠減少?gòu)?fù)雜度，從而提高模型的準(zhǔn)確率。

先對(duì)256個(gè)通道的輸入特征進(jìn)行卷積，輸出128 通道的特征；將128個(gè)通道的特征分為32組，每組4個(gè)通道；在每一組中，對(duì)這4個(gè)通道的輸入特征做卷積，輸出4個(gè)通道的特征；將32組輸出的特征在通道維度聚合，形成128個(gè)通道的輸出特征；對(duì)128個(gè)通道的特征做卷積，輸出256個(gè)通道的特征；將上述輸出結(jié)果與輸入特征進(jìn)行元素相加。圖3 為ResNeXt 結(jié)構(gòu)示意圖。

1.2 圖像預(yù)處理

在數(shù)據(jù)集分布均勻且數(shù)量大的情況下，卷積神經(jīng)網(wǎng)絡(luò)能發(fā)揮出優(yōu)秀的特征提取能力。ISIC數(shù)據(jù)集會(huì)存在分布不均勻的問(wèn)題，而且容易受光照等其他因素影響，從而影響之后訓(xùn)練的結(jié)果，導(dǎo)致過(guò)擬合。為減輕過(guò)擬合現(xiàn)象，采用了圖像轉(zhuǎn)置、翻轉(zhuǎn)、旋轉(zhuǎn)、隨機(jī)亮度調(diào)整、隨機(jī)對(duì)比度調(diào)整，對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)旋轉(zhuǎn)（0°～10°），隨機(jī)縮放（10%） ，隨機(jī)移動(dòng)等操作進(jìn)行數(shù)據(jù)增強(qiáng)。

1.3 注意力機(jī)制

Hu J等人[11]提出了SE（Squeeze-and-Excitation） 結(jié)構(gòu)，提高模型的抗干擾能力和算法的準(zhǔn)確度。圖中存在的許多結(jié)構(gòu)信息往往會(huì)在訓(xùn)練過(guò)程中丟失，造成識(shí)別精度降低。其主要結(jié)構(gòu)如圖4所示。圖像經(jīng)過(guò)圖像預(yù)處理之后，經(jīng)過(guò)ResNeXt網(wǎng)絡(luò)，并融入注意力機(jī)制。其核心在于連接全連接層和下采樣層構(gòu)造壓縮和激勵(lì)模塊來(lái)獲得特征圖的通道權(quán)重信息，從通道域的角度賦予圖像不同位置不同的權(quán)重，得到更重要的特征信息。其中X是輸入特征圖、H為高、W為寬、C為通道數(shù)，最后通過(guò)一維特征向量對(duì)原來(lái)的特征圖進(jìn)行縮放。

1.5 Cosine Warm up 學(xué)習(xí)率策略

在網(wǎng)絡(luò)訓(xùn)練的初期階段使用較大的學(xué)習(xí)率，會(huì)造成網(wǎng)絡(luò)模型對(duì)于數(shù)據(jù)的過(guò)擬合偏離最優(yōu)點(diǎn)。CosineWarm up是一種學(xué)習(xí)率優(yōu)化方法，通過(guò)預(yù)熱學(xué)習(xí)率的方式，能夠先讓網(wǎng)絡(luò)模型在早期訓(xùn)練時(shí)使用預(yù)熱的較小學(xué)習(xí)率，使得網(wǎng)絡(luò)模型慢慢趨于穩(wěn)定。待到網(wǎng)絡(luò)模型具有一定先驗(yàn)知識(shí)且相對(duì)穩(wěn)定后，再使用較大的學(xué)習(xí)率進(jìn)行訓(xùn)練，可以加速網(wǎng)絡(luò)模型的收斂。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)配置和數(shù)據(jù)集

實(shí)驗(yàn)運(yùn)行環(huán)境為：編程環(huán)境為Python3.8，Py?Torch1.13深度學(xué)習(xí)框架，硬件環(huán)境處理器型號(hào)為Inter（R）Core（TM）i5-12400@2.5GHz，顯卡型號(hào)為NVIDIAGe Force RTX 3060，內(nèi)存為16GB，操作系統(tǒng)為Win?dows11。

實(shí)驗(yàn)數(shù)據(jù)集來(lái)自kaggle提供的公開(kāi)數(shù)據(jù)集，包含國(guó)際皮膚成像協(xié)作組織ISIC2019 和ISIC2020融合的數(shù)據(jù)，圖片大小為512×512，訓(xùn)練集與測(cè)試集劃分比例為4 ： 1。

本文參數(shù)設(shè)置：訓(xùn)練過(guò)程中迭代次數(shù)（epochs）共為100，batch size設(shè)置為8。采用K折交叉驗(yàn)證的方法，K值取5。訓(xùn)練輪數(shù)控制在20輪。初始的學(xué)習(xí)率設(shè)置為0.000 3。損失函數(shù)使用Focal loss函數(shù)，使用遷移學(xué)習(xí)在ImageNet上訓(xùn)練好的模型開(kāi)始訓(xùn)練。

2.2 實(shí)驗(yàn)具體步驟

實(shí)驗(yàn)首先使用圖像增強(qiáng)手段，基于SE-ResNeXt-FCL算法的遷移學(xué)習(xí)模型，將大型自然圖像ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的深度殘差網(wǎng)絡(luò)提取特征，并對(duì)其使用均值池化操作得到特征向量。將訓(xùn)練集數(shù)據(jù)導(dǎo)入模型訓(xùn)練，等訓(xùn)練結(jié)束后，使用測(cè)試集檢驗(yàn)?zāi)Ｐ妥罱K的精確度與損失率，得到基于皮膚圖像數(shù)據(jù)集的分類模型。在模型訓(xùn)練的過(guò)程中，模型輸入圖像后通過(guò)多層卷積操作可以提取出圖像從低級(jí)到高級(jí)的復(fù)雜特征。在殘差塊后引入注意力機(jī)制，關(guān)注重要特征。經(jīng)過(guò)所有卷積層的卷積操作，最終得到特征矩陣，再通過(guò)全連接層與Softmax函數(shù)將分類結(jié)果轉(zhuǎn)化成概率分布來(lái)實(shí)現(xiàn)黑色素瘤的識(shí)別分類。

2.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果使用AUC（Area under Curve）值和準(zhǔn)確率進(jìn)行性能評(píng)估。AUC實(shí)際上就是ROC（Receiver Oper?ating Characteristic） 曲線下的面積，直觀地反映了ROC曲線表達(dá)的分類能力。即計(jì)算所有的 P×N個(gè)正負(fù)樣本對(duì)中，有多少個(gè)組中的正樣本得分大于負(fù)樣本得分。其中P為正類樣本的數(shù)目，N為負(fù)類樣本的數(shù)目。ranki 代表第i 條樣本的序號(hào)（概率得分從小到大排，排在第rank個(gè)位置上），具體公式如式（4） 所示：

為了驗(yàn)證SE-ResNeXt-FCL算法在黑色素瘤識(shí)別的準(zhǔn)確性。還使用了準(zhǔn)確率來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)。TP 是為黑色素瘤正確分類的個(gè)數(shù)，TN 為將非黑色素瘤正確分類的個(gè)數(shù)，F(xiàn)P 為將黑色素瘤分類錯(cuò)誤的個(gè)數(shù)，F(xiàn)N為將非黑色素瘤分類錯(cuò)誤的個(gè)數(shù)，有準(zhǔn)確率（Accu?racy） 公式如式（5）所示：

實(shí)驗(yàn)使用了一些經(jīng)典神經(jīng)網(wǎng)絡(luò)在相同條件下進(jìn)行對(duì)比。皮膚鏡圖像數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上的分類結(jié)果如表2所示，從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：Mobilenet_v2是輕量化網(wǎng)絡(luò)結(jié)構(gòu)所以耗時(shí)最短，AUC 值也最低。Effientnet網(wǎng)絡(luò)在Resnet101的基礎(chǔ)上AUC 值進(jìn)一步提高，但是增加了所耗時(shí)長(zhǎng)。在識(shí)別的精度上，使用本文算法明顯高于其他網(wǎng)絡(luò)模型，證明了本文算法在皮膚病識(shí)別領(lǐng)域的優(yōu)勢(shì)。

由表2可知，提出的SE-ResNeXt101-FCL算法的AUC值最高。由于注意力機(jī)制增強(qiáng)了重要特征的權(quán)重，同時(shí)引入了Focal loss函數(shù)，在樣本失衡問(wèn)題上得到一定程度上解決，在樣本失衡的情況下提高了準(zhǔn)確性，但由于網(wǎng)絡(luò)結(jié)構(gòu)殘差多次堆疊參數(shù)量的增大，包括注意力機(jī)制的融合，推理時(shí)間也會(huì)在一定程度上延長(zhǎng)。為更好地明確加入不同結(jié)構(gòu)的作用，消融實(shí)驗(yàn)結(jié)果如表3所示。

引入SE注意力模塊后，能夠明顯提高神經(jīng)網(wǎng)絡(luò)特征提取能力，表現(xiàn)在AUC值較原算法有所提高。準(zhǔn)確率提升即說(shuō)明遷移學(xué)習(xí)能夠在一定程度上提升模型的準(zhǔn)確率。本文算法將遷移學(xué)習(xí)、SE和Focal loss 損失函數(shù)的優(yōu)點(diǎn)結(jié)合，實(shí)現(xiàn)準(zhǔn)確率為96.05%，改進(jìn)的算法SE-ResNeXt101-FCL較原ResNeXt算法AUC值提升了5%～7%。

3 結(jié)論

本文提出的SE-ResNeXt101-FCL 算法，使用了ISIC公開(kāi)數(shù)據(jù)集，并進(jìn)行對(duì)比實(shí)驗(yàn)分析，驗(yàn)證了學(xué)習(xí)模型性能的改善。實(shí)驗(yàn)結(jié)果表明，使用SEResNeXt101-FCL算法，AUC值提升5%～7%，比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型要高。同時(shí)，黑色素瘤識(shí)別準(zhǔn)確率較原算法要高，準(zhǔn)確率為96.05%，本文提出的模型參數(shù)較大，下一步的工作將是刪去網(wǎng)絡(luò)中不必要的結(jié)構(gòu)，在保持較高準(zhǔn)確率的前提下優(yōu)化網(wǎng)絡(luò)參數(shù)，加快推理速度也可以為其他疾病樣本進(jìn)行進(jìn)一步的檢測(cè)，以便于早日幫助醫(yī)生提出更好的治療方案，更好地滿足臨床應(yīng)用。