基于Inception深度殘差網(wǎng)絡(luò)的皮膚黑色素癌圖像分類算法①

張榮梅,張 琦,劉院英

(河北經(jīng)貿(mào)大學(xué) 信息技術(shù)學(xué)院,石家莊 050061)

皮膚黑色素癌[1]是由一種黑素細(xì)胞引起的惡性皮膚癌.傳統(tǒng)的基于機(jī)器學(xué)習(xí)的皮膚黑色素癌圖像識(shí)別方法[2–4]主要包括兩部分:圖像特征提取和圖像識(shí)別.由于皮膚黑色素癌圖像的特殊性,皮膚黑色素癌與非黑色素癌之間的類內(nèi)差異大,類間差異小.利用傳統(tǒng)的人工特征提取方法無法精確地提取出皮膚黑色素癌圖像的特征,診斷準(zhǔn)確率偏低.近幾年,卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別技術(shù)中表現(xiàn)良好,基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的皮膚黑色素癌圖像識(shí)別技術(shù)可以通過網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)學(xué)習(xí)提取訓(xùn)練集圖像中的特征并用于分類,分類效果顯著.

2016年,Kawahara 等人[5]利用CNN 網(wǎng)絡(luò)識(shí)別皮膚癌圖像,并利用Dermofit 皮膚癌數(shù)據(jù)集訓(xùn)練,得到的診斷準(zhǔn)確率為78.1%.2018年,Dorj 等人[6]提出利用AlexNet 網(wǎng)絡(luò)提取皮膚癌圖像的特征,通過收集3753幅皮膚癌圖像訓(xùn)練,得到的分類準(zhǔn)確率為95.1%.2019年,管秋等人[7]利用深度殘差網(wǎng)絡(luò)識(shí)別皮膚黑色素癌,并通過ISIC2016 數(shù)據(jù)集(2016年國際皮膚影像協(xié)會(huì)ISIC皮膚癌數(shù)據(jù)集)訓(xùn)練,識(shí)別準(zhǔn)確率為86.8%.胡海根等人[8]通過掩蓋技術(shù)對(duì)ISIC2017 數(shù)據(jù)集(2017年國際皮膚影像協(xié)會(huì)ISIC 皮膚癌數(shù)據(jù)集)進(jìn)行隨機(jī)掩蓋與非隨機(jī)掩蓋增強(qiáng),形成兩個(gè)不同的數(shù)據(jù)集,利用深度殘差網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練,同時(shí)對(duì)兩個(gè)訓(xùn)練模型集成學(xué)習(xí),得到的識(shí)別準(zhǔn)確率為86.7%.

基于CNN 網(wǎng)絡(luò)的圖像識(shí)別技術(shù)需要大量的訓(xùn)練數(shù)據(jù)集為基礎(chǔ),但是在醫(yī)療影像識(shí)別領(lǐng)域,醫(yī)療數(shù)據(jù)的獲取途徑有限,無法得到大規(guī)模的醫(yī)療數(shù)據(jù).數(shù)據(jù)量過小就容易出現(xiàn)過擬合的問題.遷移學(xué)習(xí)可以有效地解決數(shù)據(jù)集數(shù)量小的問題,它首先通過依靠其他圖像數(shù)據(jù)集訓(xùn)練獲取網(wǎng)絡(luò)模型參數(shù),再遷移應(yīng)用到目標(biāo)網(wǎng)絡(luò)模型中,從而提高目標(biāo)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率.因此,很多學(xué)者開始使用遷移學(xué)習(xí)技術(shù)識(shí)別皮膚黑色素癌圖像.2017年,Esteva 等人[9]收集整理了12 萬張由專業(yè)的皮膚癌醫(yī)生標(biāo)注的皮膚癌圖像,利用遷移學(xué)習(xí)在InceptionV3結(jié)構(gòu)中訓(xùn)練,達(dá)到了91%的準(zhǔn)確率.Bi 等人[10]將ISIC 2017 數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù),使用ResNet 網(wǎng)絡(luò)進(jìn)行遷移訓(xùn)練,識(shí)別的準(zhǔn)確率達(dá)到了91.5%.2018年,董青青等人[11]利用ISIC 2016 數(shù)據(jù)集在改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練,利用CNN 網(wǎng)絡(luò)做遷移訓(xùn)練,準(zhǔn)確率達(dá)到了91.92%.2019年,柏朋成[12]利用深度殘差網(wǎng)絡(luò)識(shí)別皮膚黑色素癌,并利用ISIC 2017 數(shù)據(jù)集遷移訓(xùn)練,識(shí)別準(zhǔn)確率為85.3%.

基于遷移學(xué)習(xí)的皮膚癌影像識(shí)別技術(shù)都是依靠其他領(lǐng)域的圖像數(shù)據(jù)(如ImageNet 數(shù)據(jù)集[13]) 訓(xùn)練獲取特征,這種方法只能提取皮膚黑色素癌圖像的高層次卷積層的特征,即全局特征,并不能充分挖掘圖像的局部特征.而在皮膚黑色素癌影像中,局部紋理結(jié)構(gòu)信息是區(qū)分黑色素瘤的重要標(biāo)志.深度殘差網(wǎng)絡(luò)(deep Residual Network,ResNet)可以訓(xùn)練學(xué)習(xí)皮膚黑色素癌圖像的局部特征和全局特征,同時(shí)解決訓(xùn)練過程中過擬合的問題,在皮膚黑色素癌識(shí)別中的效果優(yōu)良.

雖然ResNet 網(wǎng)絡(luò)解決了深層次網(wǎng)絡(luò)中的過擬合問題,但是該網(wǎng)絡(luò)仍然存在訓(xùn)練參數(shù)多、訓(xùn)練時(shí)間長的問題.為了提高網(wǎng)絡(luò)的訓(xùn)練效率,提高皮膚黑色素癌的識(shí)別準(zhǔn)確率,本文提出了IDRN 算法,通過將Inception模塊與殘差模塊結(jié)合,利用Inception 模型代替?zhèn)鹘y(tǒng)ResNet 網(wǎng)絡(luò)中的卷積層、池化層,并利用SeLU 函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)對(duì)皮膚黑色素癌圖像進(jìn)行識(shí)別診斷.最后利用旋轉(zhuǎn)、翻轉(zhuǎn)操作對(duì)ISIC2017 皮膚癌數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)后,將增強(qiáng)后的數(shù)據(jù)集在IDRN 模型中進(jìn)行訓(xùn)練.實(shí)驗(yàn)結(jié)果表明,本文提出的IDRN 算法在皮膚黑色素癌分類中準(zhǔn)確率達(dá)到了94.32%,遠(yuǎn)遠(yuǎn)超過了其他網(wǎng)絡(luò)模型.

1 深度殘差網(wǎng)絡(luò)與Inception 結(jié)構(gòu)

1.1 深度殘差網(wǎng)絡(luò)

在CNN 模型中,通過增加網(wǎng)絡(luò)層數(shù),可以整合低、中、高不同層次的圖像特征,包含了局部圖像到全局圖像等不同的特征.因此在一定程度下,卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)越大,提取的圖像特征就越豐富,識(shí)別準(zhǔn)確率越高.但是這樣就會(huì)出現(xiàn)梯度消失和網(wǎng)絡(luò)退化的問題.盡管正則化等方法已經(jīng)優(yōu)化了梯度消失問題,但是當(dāng)網(wǎng)絡(luò)層數(shù)絕對(duì)增加時(shí),梯度消失仍然存在,模型會(huì)產(chǎn)生退化現(xiàn)象.2016年,He 等[14]提出了ResNet 網(wǎng)絡(luò)結(jié)構(gòu),解決了深度網(wǎng)絡(luò)存在的問題.

ResNet 網(wǎng)絡(luò)由多組殘差網(wǎng)絡(luò)結(jié)構(gòu)組成,每個(gè)殘差網(wǎng)絡(luò)結(jié)構(gòu)包含了若干個(gè)殘差學(xué)習(xí)模塊(又稱為殘差塊).一個(gè)殘差學(xué)習(xí)結(jié)構(gòu)是通過多個(gè)卷積層以及快捷連接(shortcut connection)構(gòu)成,圖1為一個(gè)殘差學(xué)習(xí)結(jié)構(gòu).

根據(jù)圖1可知,在殘差學(xué)習(xí)結(jié)構(gòu)中輸入為X,輸出為H(X),H(X)主要由殘差映射函數(shù)F(X)和快捷連接X兩部分組成,即H(X)=F(X)+X.其中,F(X)是X在主路徑上的輸出.而快捷連接可以實(shí)現(xiàn)殘差學(xué)習(xí),可以將某一層神經(jīng)元的輸出直接跨越多層網(wǎng)絡(luò)直接傳送給后面的某一層網(wǎng)絡(luò)中.恒等映射可以解決多層網(wǎng)絡(luò)中出現(xiàn)的網(wǎng)絡(luò)退化的問題.具體原理是殘差網(wǎng)絡(luò)通過訓(xùn)練殘差映射函數(shù)F(X)中的參數(shù)訓(xùn)練學(xué)習(xí),當(dāng)模型判斷當(dāng)前殘差塊為冗余層時(shí),就會(huì)將F(X)的參數(shù)訓(xùn)練為0,使結(jié)構(gòu)的輸出為輸入X,保證經(jīng)過該恒等層的輸入X和輸出H(X)完全相同,從而實(shí)現(xiàn)恒等映射.

圖1 殘差學(xué)習(xí)結(jié)構(gòu)

在ResNet 網(wǎng)絡(luò)中,由于網(wǎng)絡(luò)模型參數(shù)量較大,通常會(huì)先利用1×1的卷積核將X降維.同時(shí),考慮到殘差層F(X)與輸入數(shù)據(jù)X的維度是否一致,何愷明教授提出了恒等映射殘差模塊以及卷積殘差模塊(如圖2和圖3所示).當(dāng)F(X)與X的維度相同時(shí),使用恒等映射殘差模塊實(shí)現(xiàn);計(jì)算公式為:

圖2 恒等映射殘差模塊

圖3 卷積殘差模塊

其中,X為殘差塊的輸入,H(X)為殘差塊的輸出,F(X)為殘差映射函數(shù),ReLU()為激活函數(shù).

而當(dāng)F(X)與X的維度不同時(shí),使用卷積殘差模塊,利用 φ (X)線性投影將輸入數(shù)據(jù)X進(jìn)行維度變化,再與F(X)相加.計(jì)算公式為:

其中,φ (X)為線性投影.

深度殘差網(wǎng)絡(luò)ResNet50 由恒等映射殘差模塊以及卷積殘差模塊組成,圖4為ResNet50的網(wǎng)絡(luò)結(jié)構(gòu).其中Conv_block 模塊為卷積殘差模塊,idebtity_block模塊為恒等映射殘差模塊.ResNet50 網(wǎng)絡(luò)包含50 層網(wǎng)絡(luò)結(jié)構(gòu),分別為1 層卷積層、48 層殘差結(jié)構(gòu)和1 層全連接層.

圖4 ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)

在ResNet50 網(wǎng)絡(luò)中,輸入圖像大小為224×224×3,經(jīng)過7×7 卷積層以及池化層后變?yōu)?6×56×64 大小的特征向量,然后經(jīng)過3個(gè)block1 殘差模塊后,轉(zhuǎn)化為56×56×256 大小;再經(jīng)過4個(gè)block2 殘差模塊,轉(zhuǎn)化為28×28×512 大小;其次通過6個(gè)block3 模塊,轉(zhuǎn)化為14×14×1024 大小;再通過3個(gè)block4 殘差模塊,轉(zhuǎn)化為7×7×2048 大小;最后通過平均池化以及全連接層將特征圖像拉伸為2048個(gè)神經(jīng)元后利用Softmax 分類輸出.

1.2 Inception 結(jié)構(gòu)

2014年,Szegedy 等[15]提出GoogLeNet 模型,第一次提出Inception 結(jié)構(gòu).由于皮膚黑色素癌數(shù)據(jù)集的數(shù)量有限,采用傳統(tǒng)的ResNet 網(wǎng)絡(luò)訓(xùn)練參數(shù)過多,容易出現(xiàn)過擬合的情況.利用Inception 結(jié)構(gòu)提取圖像特征可以在橫向增加網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)多尺度提取輸入圖像特征向量,實(shí)現(xiàn)了在增加網(wǎng)絡(luò)神經(jīng)元個(gè)數(shù)并大大地減少網(wǎng)絡(luò)參數(shù)數(shù)量.

傳統(tǒng)的Inception 模塊將1×1、3×3、以及5×5的卷積層與池化層并行連接,并將結(jié)果連接輸出.Inception 模塊主要通過1×1的卷積核來降低圖像的維度,達(dá)到減少網(wǎng)絡(luò)參數(shù)的效果.在后續(xù)Inception V2 模型中,為了進(jìn)一步地減少網(wǎng)絡(luò)的參數(shù),Google 團(tuán)隊(duì)提出將5×5的卷積核用兩個(gè)3×3的卷積核代替,更小的卷積核來減少模型的參數(shù),實(shí)現(xiàn)了卷積核感受野不變的情況下,降低了模型的參數(shù)數(shù)量,具體網(wǎng)絡(luò)如圖5所示.之后,Inception V3 模型提出了將7×7的卷積核分解為1×7和7×1的兩個(gè)一維卷積,進(jìn)一步減少了模型參數(shù)量,增加了網(wǎng)絡(luò)的深度.

圖5 Inception V2 模塊

2 基于Inception 深度殘差網(wǎng)絡(luò)皮膚黑色素癌分類識(shí)別算法

2.1 基于深度殘差網(wǎng)絡(luò)的改進(jìn)

深度殘差網(wǎng)絡(luò)模型解決了極深卷積神經(jīng)網(wǎng)絡(luò)中存在的梯度消失和網(wǎng)絡(luò)退化的問題,但是該網(wǎng)絡(luò)中的參數(shù)數(shù)量過大,訓(xùn)練時(shí)間長.針對(duì)以上的問題,本文提出了IDRN 算法,將Inception 結(jié)構(gòu)引入到傳統(tǒng)的ResNet網(wǎng)絡(luò)中,代替原始網(wǎng)絡(luò)中的卷積層和池化層,從而減少算法的時(shí)間復(fù)雜度;同時(shí)改進(jìn)網(wǎng)絡(luò)的激活函數(shù),提高了算法對(duì)皮膚黑色素癌圖像的識(shí)別準(zhǔn)確率.

2.1.1 引入Inception 模塊

Inception 模塊實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)橫向維度的擴(kuò)展,從廣度出發(fā),提高網(wǎng)絡(luò)模型的準(zhǔn)確率,極大地減少了網(wǎng)絡(luò)模型的參數(shù)數(shù)量.本文利用改進(jìn)后的Inception V2 模塊代替?zhèn)鹘y(tǒng)ResNet50 網(wǎng)絡(luò)中的第1 層卷積層與第2 層池化層,通過對(duì)輸入圖像并行地執(zhí)行多個(gè)卷積操作,最后將結(jié)果拼接為一個(gè)特征向量輸入到殘差模塊中.利用Inception 模型代替?zhèn)鹘y(tǒng)ResNet50 網(wǎng)絡(luò)中的卷積池化層,可以實(shí)現(xiàn)通過多種不同大小的卷積核多尺度提取皮膚黑色素癌圖像的特征,豐富圖像特征信息.同時(shí),改進(jìn)后的Inception 結(jié)構(gòu)也大大地減少了ResNet50 網(wǎng)絡(luò)的參數(shù)數(shù)量,結(jié)構(gòu)如圖6所示.

圖6中第1 列包括3個(gè)3×3的卷積核,實(shí)現(xiàn)了7×7 卷積核卷積效果,第2 列包括2個(gè)3×3的卷積核,實(shí)現(xiàn)了5×5的卷積核卷積的效果,第3 列為池化層.經(jīng)過Inception 結(jié)構(gòu)實(shí)現(xiàn)了將輸入圖像分別通過不同大小的來提取不同尺度的信息,豐富了圖像的特征信息,提高圖像識(shí)別的準(zhǔn)確率.同時(shí),傳統(tǒng)的ResNet50 網(wǎng)絡(luò)為7×7的卷積層和池化層,在這一層中訓(xùn)練參數(shù)為9408個(gè).而本文改進(jìn)后的Inception 結(jié)構(gòu)將參數(shù)數(shù)量減少為1296個(gè),提高了模型的訓(xùn)練速度.

圖6 改進(jìn)后的Inception 結(jié)構(gòu)

2.1.2 改用SeLU 激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)中,卷積池化操作為線性操作,通常還需要通過一層激活函數(shù)變化來提高模型的非線性.傳統(tǒng)的激活函數(shù)包括Sigmod 函數(shù)、tanh 函數(shù)、ReLU函數(shù)等,而ResNet 使用ReLU 激活函數(shù),用來解決梯度消失的問題.但是ReLU 函數(shù)處于負(fù)半軸時(shí)梯度為0,會(huì)出現(xiàn)神經(jīng)元死亡的情況,影響之后的計(jì)算;其次,ReLU函數(shù)具有稀疏處理作用,容易丟失圖像的有效特征;并且ReLU 函數(shù)的正半軸部分的導(dǎo)數(shù)恒為1,當(dāng)梯度極小時(shí)依然存在梯度消失.

針對(duì)ReLU 函數(shù)的缺點(diǎn),IDRN 算法提出使用SeLU函數(shù)[16]作為激活函數(shù),SeLU 函數(shù)如式(3)所示.

其中,λ>1.由式(3)可知,SeLU 激活函數(shù)的正半軸導(dǎo)數(shù)為λ,這樣就可以進(jìn)一步減少梯度消失;同時(shí),在函數(shù)的負(fù)半軸不為零,防止了神經(jīng)元死亡情況的出現(xiàn),能夠全面地學(xué)習(xí)圖像特征,改進(jìn)后的殘差學(xué)習(xí)模塊如圖7所示.

圖7 改進(jìn)后的殘差學(xué)習(xí)模塊

2.2 Inception 深度殘差網(wǎng)絡(luò)結(jié)構(gòu)

本文在ResNet50 網(wǎng)絡(luò)的基礎(chǔ)上,利用Inception結(jié)構(gòu)代替了ResNet50 網(wǎng)絡(luò)初始階段的卷積池化層,同時(shí)利用SeLU 函數(shù)作為網(wǎng)絡(luò)中的激活函數(shù),并修改了輸出節(jié)點(diǎn)的個(gè)數(shù).改進(jìn)后的IDRN 模型主要包括改進(jìn)后的Inception 結(jié)構(gòu)和殘差網(wǎng)絡(luò).其中,Inception 結(jié)構(gòu)是由3 條卷積池化網(wǎng)絡(luò)并行連接而成(具體結(jié)構(gòu)見圖6).殘差網(wǎng)絡(luò)則是IDRN 網(wǎng)絡(luò)的主要部分,它由4個(gè)殘差網(wǎng)絡(luò)結(jié)構(gòu)組成,每個(gè)殘差結(jié)構(gòu)均由若干個(gè)殘差塊構(gòu)成.最后通過均值池化層以及Softmax 線性分類器對(duì)皮膚黑色素癌進(jìn)行分類,得到輸出結(jié)果.整體網(wǎng)絡(luò)結(jié)構(gòu)包含54 層,分別為4 層Inception 結(jié)構(gòu),以及由殘差塊組成的48 層殘差結(jié)構(gòu)和平均池化層、全連接層,IDRN 模型與ResNet50 模型結(jié)構(gòu)對(duì)比.

通過表1模型結(jié)構(gòu)可以計(jì)算,對(duì)于一張像素為224×224 大小的RGB 皮膚黑色素癌圖像作為模型的輸入圖像,采用本文改進(jìn)的Inception 深度殘差網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練參數(shù)為1.79×107個(gè).若采用傳統(tǒng)的ResNet50網(wǎng)絡(luò)模型,則訓(xùn)練參數(shù)高達(dá)2.55×107個(gè).從理論上分析,本文提出的IDRN 算法相較于ResNet50 網(wǎng)絡(luò)減少7.6×106個(gè)訓(xùn)練參數(shù),可以解決深度殘差網(wǎng)絡(luò)訓(xùn)練參數(shù)數(shù)量過多的問題,可以有效地降低模型的訓(xùn)練時(shí)間和時(shí)間復(fù)雜度.

表1 IDRN 模型與ResNet50 模型結(jié)構(gòu)對(duì)比

圖8為IDRN 算法的網(wǎng)絡(luò)結(jié)構(gòu)圖,輸入的皮膚鏡圖像大小為224×224 像素,通道數(shù)為RGB 三通道.輸入圖像首先通過改進(jìn)Inception 結(jié)構(gòu),經(jīng)過不同大小的卷積核并行提取圖像特征并進(jìn)行連接,轉(zhuǎn)換為56×56×64 大小的特征向量;然后經(jīng)過3個(gè)ResNet_1 殘差模塊后,將圖像的特征向量轉(zhuǎn)化為56×56×256 大小;再經(jīng)過4個(gè)ResNet_2 殘差模塊,將圖像特征向量變化成28×28×512 大小;其次通過6個(gè)ResNet_3 模塊,將特征向量轉(zhuǎn)化為14×14×1024 大小;再通過3個(gè)ResNet_4 殘差模塊,將特征圖像轉(zhuǎn)化為7×7×2048 大小;最后通過平均池化以及全連接層將特征圖像拉伸為2048個(gè)神經(jīng)元后,通過Softmax 分類器將皮膚癌圖像分為黑色素癌、黑色素痣以及脂溢性角化病3 類.

圖8 IDRN 網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)及數(shù)據(jù)增強(qiáng)

本文實(shí)驗(yàn)數(shù)據(jù)采用2017年國際皮膚影像協(xié)會(huì)提供的黑色素皮膚癌病變識(shí)別的皮膚鏡數(shù)據(jù)集[17].該數(shù)據(jù)集包括惡性黑色素癌、黑色素痣以及脂溢性角化病3 類,其中包括2000 張訓(xùn)練集,600 張測試集,圖像數(shù)據(jù)為JPG 格式.為了防止網(wǎng)絡(luò)過擬合,通過圖像旋轉(zhuǎn)的方式對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng),主要包括順時(shí)針旋轉(zhuǎn)90 度、180 度、270 度以及水平翻轉(zhuǎn)4 種操作.經(jīng)過數(shù)據(jù)增強(qiáng)后的ISIC2017 皮膚癌訓(xùn)練集有10000 張,測試集3000 張.同時(shí),因?yàn)榫W(wǎng)絡(luò)中存在全連接層,本文將皮膚癌數(shù)據(jù)集進(jìn)行了預(yù)處理,將數(shù)據(jù)統(tǒng)一為224×224 像素大小的圖像.

3.2 參數(shù)設(shè)置

本文實(shí)驗(yàn)在Windows10 64 位平臺(tái)環(huán)境上運(yùn)行,基本配置是Intel Core i5-4590 四核處理器,16 GB DDR3內(nèi)存,NVIDIA GTX1050 Ti 獨(dú)立顯卡.同時(shí)使用Keras 開源框架驗(yàn)證IDRN 算法對(duì)皮膚黑色素癌圖像的識(shí)別效果.

3.2.1 學(xué)習(xí)率

本文實(shí)驗(yàn)學(xué)習(xí)率的調(diào)整采用固定更新策略,通過保持實(shí)驗(yàn)環(huán)境、迭代次數(shù)、激活函數(shù)不變,分別運(yùn)行學(xué)習(xí)率為1×10?2、1×10?3、1×10?4以及1×10?5時(shí),IDRN 算法在皮膚癌數(shù)據(jù)集上的識(shí)別準(zhǔn)確率,當(dāng)網(wǎng)絡(luò)模型的迭代次數(shù)為25 次,每次迭代的Batch-size為10 時(shí),運(yùn)行結(jié)果如圖9所示.

通過圖9可以得到,學(xué)習(xí)率為1×10?4時(shí)與學(xué)習(xí)率為1×10?5時(shí)相差不大,僅高于1%.但是相比于學(xué)習(xí)率為1×10?3時(shí),增長了18%左右的準(zhǔn)確率.同時(shí),由于學(xué)習(xí)率越小,模型收斂的速度越慢,運(yùn)行時(shí)間越長,因此本文采用學(xué)習(xí)率為1×10?4作為本文IDRN 算法的學(xué)習(xí)率.

圖9 學(xué)習(xí)率對(duì)比實(shí)驗(yàn)

3.2.2 SeLU 激活函數(shù)

本文利用SeLU 激活函數(shù)代替?zhèn)鹘y(tǒng)ResNet 網(wǎng)絡(luò)中的ReLU 激活函數(shù).通過實(shí)驗(yàn)表明,在僅僅改變激活函數(shù)的情況下,IDRN 算法在ISIC2017 皮膚癌數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),當(dāng)網(wǎng)絡(luò)模型的迭代次數(shù)為10 次,每次迭代的Batch-size為10,學(xué)習(xí)率為1×10?4時(shí),實(shí)驗(yàn)結(jié)果如表2所示.通過表2數(shù)據(jù)可以得知,采用SeLU 激活函數(shù)的模型訓(xùn)練準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于采用ReLU 激活函數(shù)的模型.

表2 激活函數(shù)對(duì)比實(shí)驗(yàn)

3.3 實(shí)驗(yàn)結(jié)果

在本文實(shí)驗(yàn)中,由于內(nèi)存限制,每一個(gè)batch_size只能設(shè)置為10,因此本文實(shí)驗(yàn)是在學(xué)習(xí)率為1×10?4,迭代次數(shù)為25 次,batch_size為10,激活函數(shù)為SeLU 函數(shù),輸入圖像尺寸為224×224 大小的情況下進(jìn)行的.同時(shí),為驗(yàn)證本文模型的有效性,將本文提出的IDRN 算法與幾種不同深度的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型在同一實(shí)驗(yàn)參數(shù)下進(jìn)行對(duì)比實(shí)驗(yàn).通過將AlexNet[18]、VGG16[19]、GoogLeNet 以及ResNet50 模型分別在ISIC2017 皮膚黑色素癌數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示.

從表3中可以得到,本文提出的IDRN 算法模型在皮膚黑色素癌數(shù)據(jù)集中的表現(xiàn)最好,識(shí)別準(zhǔn)確率達(dá)到了90%,相比于AlexNet、VGG16、GoogLeNet 以及ResNet50,本文提出的算法模型在準(zhǔn)確率得到了提升.同時(shí),對(duì)于網(wǎng)絡(luò)的訓(xùn)練參數(shù),IDRN 算法比ResNet50、

表3 實(shí)驗(yàn)對(duì)比結(jié)果

Alexnet 算法模型的訓(xùn)練參數(shù)少,VGG16 模型的訓(xùn)練參數(shù)最多,GoogLeNet 模型的訓(xùn)練參數(shù)最少;對(duì)于模型訓(xùn)練過程中平均每張圖片的訓(xùn)練時(shí)間,IDRN 算法模型比ResNet50的訓(xùn)練時(shí)間短,AlexNet 模型的訓(xùn)練時(shí)間最小,VGG16 模型的訓(xùn)練時(shí)間最長.綜合比較得知,本文提出的IDRN 算法的訓(xùn)練參數(shù)以及每張圖像的平均訓(xùn)練時(shí)間都比ResNet50 模型得到了減少,同時(shí)對(duì)于皮膚癌圖像的識(shí)別準(zhǔn)確率得到了提高.

將測試集作為輸入數(shù)據(jù)在訓(xùn)練好的IDRN 模型中進(jìn)行預(yù)測與評(píng)估后,得到的評(píng)估結(jié)果如表4所示.

表4 IDRN 模型實(shí)驗(yàn)結(jié)果

通過表4可以得知,IDRN 算法在測試集中表現(xiàn)良好,證明本文提出的網(wǎng)絡(luò)模型具有很好地泛化能力,對(duì)于皮膚黑色素癌識(shí)別診斷可以起到輔助診斷的效果.

4 結(jié)論

本文針對(duì)皮膚黑色素癌圖像識(shí)別困難,利用深度殘差網(wǎng)絡(luò)可以有效地解決過擬合問題,提高識(shí)別準(zhǔn)確率.但是針對(duì)傳統(tǒng)的深度殘差網(wǎng)絡(luò)識(shí)別皮膚黑色素癌圖像存在訓(xùn)練參數(shù)多、時(shí)間效率低等問題,本文提出了基于Inception 深度殘差網(wǎng)絡(luò)的IDRN 皮膚黑色素癌分類識(shí)別算法.通過理論分析深度殘差網(wǎng)絡(luò)結(jié)構(gòu),利用Inception 模型代替網(wǎng)絡(luò)層中的卷積層和池化層,減少模型的訓(xùn)練參數(shù)數(shù)量.同時(shí)使用SeLU 函數(shù)作為網(wǎng)絡(luò)的激活函數(shù),提高算法的識(shí)別準(zhǔn)確率.通過實(shí)驗(yàn)表明,本文提出的IDRN 算法比其他傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在ISIC2017 皮膚癌數(shù)據(jù)集中的表現(xiàn)要好,識(shí)別準(zhǔn)確率提高為94.32%.在未來的研究中需要進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),可以考慮對(duì)任意尺寸的輸入圖像進(jìn)行識(shí)別,進(jìn)一步提高實(shí)驗(yàn)準(zhǔn)確率.

本文的IDRN 算法同樣適用于其他領(lǐng)域的圖像識(shí)別研究,對(duì)其他領(lǐng)域圖像識(shí)別任務(wù)具有良好的泛化性能,有一定的研究意義.